JP2018534687A - ３次元空間内の仮想オブジェクトの選択 - Google Patents

３次元空間内の仮想オブジェクトの選択 Download PDF

Info

Publication number
JP2018534687A
JP2018534687A JP2018519943A JP2018519943A JP2018534687A JP 2018534687 A JP2018534687 A JP 2018534687A JP 2018519943 A JP2018519943 A JP 2018519943A JP 2018519943 A JP2018519943 A JP 2018519943A JP 2018534687 A JP2018534687 A JP 2018534687A
Authority
JP
Japan
Prior art keywords
user
user input
virtual
objects
interactable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018519943A
Other languages
English (en)
Other versions
JP2018534687A5 (ja
JP6831840B2 (ja
Inventor
ジェイムズ エム． パウダーリー，
ジェイムズ エム． パウダーリー，
サバンナ ナイルズ，
サバンナ ナイルズ，
フランク ハミルトン，
フランク ハミルトン，
マーシャル エー． フォンテイン，
マーシャル エー． フォンテイン，
ロニー アボビッツ，
ロニー アボビッツ，
アリシャ ネープルズ，
アリシャ ネープルズ，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2018534687A publication Critical patent/JP2018534687A/ja
Publication of JP2018534687A5 publication Critical patent/JP2018534687A5/ja
Priority to JP2021012808A priority Critical patent/JP7296995B2/ja
Application granted granted Critical
Publication of JP6831840B2 publication Critical patent/JP6831840B2/ja
Priority to JP2023097014A priority patent/JP2023121761A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Abstract

ウェアラブルシステムを使用して３次元空間内の仮想オブジェクトと相互作用するためのシステムおよび方法が、開示される。ウェアラブルシステムは、ユーザが、ユーザ入力デバイスおよび姿勢を使用して、仮想オブジェクトと相互作用することを可能にするようにプログラムされることができる。ウェアラブルシステムはまた、ユーザの環境内の仮想オブジェクトのレイアウト等のコンテキスト情報を自動的に判定し、コンテキスト情報に基づいて、ユーザ入力モードを切り替えることができる。

Description

（関連出願の相互参照）
本願は、米国仮出願第６２／２４４，１１５号、出願日２０１５年１０月２０日、発明の名称“ＵＳＥＲ ＡＰＰＬＩＣＡＴＩＯＮＳ， ＩＮＴＥＲＦＡＣＥＳ， ＡＮＤ ＥＸＰＥＲＩＥＮＣＥＳ ＷＩＴＨ ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ ＤＩＳＰＬＡＹ ＤＥＶＩＣＥＳ”、米国仮出願第６２／３０１，４２２号、出願日２０１６年２月２９日、発明の名称 “ＳＥＬＥＣＴＩＮＧ ＶＩＲＴＵＡＬ ＯＢＪＥＣＴＳ ＩＮ ３Ｄ ＳＰＡＣＥ”、および第６２／３１６，１７９号、出願日２０１６年３月３１日、発明の名称“ＳＥＬＥＣＴＩＮＧ ＶＩＲＴＵＡＬ ＯＢＪＥＣＴＳ ＩＮ ３Ｄ ＳＰＡＣＥ”に対する３５ Ｕ．Ｓ．Ｃ．§１１９（ｅ）の下での優先権を主張するものである。上記仮出願の全ては、その全体が参照により本明細書中に援用される。
本開示は、仮想現実、拡張現実、および混合現実イメージングおよび可視化システムに関し、特に、３次元（３Ｄ）空間内の仮想オブジェクトと相互作用するためのシステムに関する。
現代のコンピューティングおよびディスプレイ技術は、デジタル的に再現された画像またはその一部が、本物であるように見える、またはそのように知覚され得る様式でユーザに提示される、いわゆる「仮想現実」、「拡張現実」、または「複合現実」体験のためのシステムの開発を促進している。仮想現実または「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対して透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。拡張現実または「ＡＲ」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化の拡張としてデジタルまたは仮想画像情報を伴う。複合現実または「ＭＲ」は、物理的および仮想オブジェクトが、共存し、リアルタイムで相互作用する、新しい環境を生成するための実世界と仮想世界の融合に関連する。結論から述べると、ヒト視知覚系は、非常に複雑であって、他の仮想または実世界画像要素の中で仮想画像要素の快適かつ自然な感覚で豊かな提示を促進する、ＶＲ、ＡＲ、またはＭＲ技術を生成することは、困難である。本明細書に開示されるシステムおよび方法は、ＶＲ、ＡＲ、およびＭＲ技術に関連する種々の課題に対処する。
いくつかの実施形態では、ウェアラブルデバイスのためのユーザ入力モードを変更するためのシステムが、開示される。本システムは、３次元（３Ｄ）ビューをユーザに提示するように構成される、ウェアラブルデバイスのディスプレイシステムであって、３Ｄビューは、相互作用可能オブジェクトを備える、ディスプレイシステムと、ユーザ入力を受信するように構成される、ユーザ入力デバイスと、ユーザの姿勢と関連付けられたデータを取得するように構成される、センサと、ユーザ入力デバイスと通信する、ハードウェアプロセッサとを備えることができる。ハードウェアプロセッサは、相互作用可能オブジェクトと相互作用するための現在のユーザ入力モードが、第１のユーザ入力モードであるかまたは第２のユーザ入力モードであるかを判定し、第１のユーザ入力モードは、少なくとも部分的に、ユーザの姿勢に基づき、第２のユーザ入力モードは、少なくとも部分的に、ユーザ入力デバイスからのユーザ入力に基づくようにプログラムされることができる。現在のユーザ入力モードが第１のユーザ入力モードであることの判定に応答して、ハードウェアプロセッサは、センサを使用して、ユーザの姿勢を監視し、ディスプレイシステムを介して、少なくとも部分的に、監視される姿勢に基づいて、第１のユーザ入力モードと関連付けられた第１の形状における焦点インジケータをユーザの姿勢に関連する方向に提示し、第１のインジケーションを受信し、第２のユーザ入力モードに切り替え、第１のインジケーションに応答して、現在のユーザ入力モードを第２のユーザ入力モードに切り替えることができる。現在のユーザ入力モードが第２のユーザ入力モードであることの判定に応答して、ハードウェアプロセッサは、ユーザ入力デバイスからのユーザ入力を監視し、ディスプレイシステムを介して、少なくとも部分的に、監視される入力に基づいて、第２のユーザ入力モードと関連付けられた第２の形状における焦点インジケータを提示し、第２のインジケーションを受信し、第１のユーザ入力モードに切り替え、第２のインジケーションに応答して、現在のユーザ入力モードを第１のユーザ入力モードに切り替えることができる。
ある実施形態では、ウェアラブルデバイスのためのユーザ入力モードを変更するための方法が、開示される。本方法は、コンピュータプロセッサを備えるウェアラブルデバイスの制御下で行われてもよい。ウェアラブルデバイスは、ユーザの動眼視野（ＦＯＲ）内の相互作用可能オブジェクトとのユーザ相互作用を可能にするように構成されることができ、ＦＯＲは、ウェアラブルデバイスのディスプレイシステムを介してユーザによって知覚可能なユーザの周囲の環境の一部を備える。本方法は、ユーザの姿勢を判定するステップと、ディスプレイシステムを介して、標的相互作用可能オブジェクトと関連付けられた第１の焦点インジケータをユーザの姿勢に関連する方向に表示するステップであって、標的相互作用可能オブジェクトは、複数の仮想オブジェクトを備える、ステップと、標的相互作用可能オブジェクトの選択を受信するステップと、ユーザ入力モードを姿勢からユーザ入力デバイス上での手のジェスチャに切り替えるためのオプションをユーザに提示するステップと、ディスプレイシステムを介して、複数の仮想オブジェクトを表示するステップと、ユーザがユーザ入力モードを姿勢からユーザ入力デバイス上での手のジェスチャに切り替えたことの判定に応答して、ディスプレイシステムを介して、複数の仮想オブジェクトのうちの標的仮想オブジェクトと関連付けられた第２の焦点インジケータを表示するステップと、少なくとも部分的に、ユーザ入力デバイスからのユーザ入力に基づいて、第２の焦点インジケータを更新するステップとを含む。
いくつかの実施形態では、３次元（３Ｄ）空間内に位置する仮想オブジェクトを選択するためのウェアラブルシステムおよび方法が、開示される。ウェアラブルシステムは、仮想オブジェクトを３Ｄ空間内に提示するように構成される、ディスプレイシステムと、相互作用可能オブジェクトを３Ｄ空間内に記憶するように構成される、非一過性データ記憶と、ユーザの姿勢を判定するように構成される、センサと、ディスプレイシステム、データ記憶装置、およびセンサと通信するようにプログラムされる、ハードウェアプロセッサとを備えることができる。ウェアラブルシステムおよび方法は、少なくとも部分的に、センサから受信されたデータに基づいて、ユーザの姿勢を判定し、少なくとも部分的に、ユーザの姿勢に基づいて、ユーザの視野（ＦＯＶ）を判定し、ＦＯＶは、ユーザによって所与の時間に知覚されたユーザの環境の一部を備え、ＦＯＶ内の相互作用可能オブジェクトのグループを識別し、少なくとも部分的に、ユーザの姿勢に基づいて、ＦＯＶ内の標的相互作用可能オブジェクトを識別し、標的相互作用可能オブジェクトと関連付けられた選択イベントを開始することができる。
本明細書に説明される主題の１つまたはそれを上回る実装の詳細が、付随の図面および以下の説明に記載される。他の特徴、側面、および利点は、説明、図面、および請求項から明白となるであろう。本概要または以下の発明を実施するための形態のいずれも、本発明の主題の範囲を定義または限定することを主張するものではない。
図１は、人物によって視認されるある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。
図２は、ウェアラブルシステムの実施例を図式的に図示する。
図３は、複数の深度平面を使用して３次元画像をシミュレートするためのアプローチの側面を図式的に図示する。
図４は、画像情報をユーザに出力するための導波管スタックの実施例を図式的に図示する。
図５は、導波管によって出力され得る、例示的出射ビームを示す。
図６は、導波管装置と、光を導波管装置へまたはそこから光学的に結合するための光学結合器サブシステムと、多焦点立体ディスプレイ、画像、またはライトフィールドの生成において使用される、制御サブシステムとを含む、光学システムを示す、概略図である。
図７は、ウェアラブルシステムの実施例のブロック図である。
図８は、認識されるオブジェクトに関連して仮想コンテンツをレンダリングする方法の実施例のプロセスフロー図である。
図９は、ウェアラブルシステムの別の実施例のブロック図である。
図１０は、ウェアラブルシステムへのユーザ入力を判定するための方法の実施例のプロセスフロー図である。
図１１は、仮想ユーザインターフェースと相互作用するための方法の実施例のプロセスフロー図である。
図１２は、視野内の仮想オブジェクトおよび動眼視野内の仮想オブジェクトの実施例を図示する。
図１３Ａは、ユーザ入力デバイスのタッチスクリーン上のタッチジェスチャを用いた相互作用可能オブジェクトの選択の実施例を図示する。
図１３Ｂは、ユーザ入力デバイスの手のジェスチャを用いた選択可能オブジェクトのフィルタ処理の実施例を図示する。
図１４は、頭部姿勢のための座標系の実施例である。
図１５は、頭部姿勢を用いた相互作用可能オブジェクトとの相互作用の実施例を図示する。
図１６は、手のジェスチャを用いた相互作用可能オブジェクトとの相互作用の実施例を図示する。
図１７は、天気アプリケーションとの例示的相互作用イベントを図示する。
図１８は、３Ｄ仮想オブジェクトとの相互作用の例示的ユーザ体験を図示する。
図１９は、姿勢とユーザ入力デバイス上の手のジェスチャの組み合わせを使用した仮想オブジェクトの選択のための例示的プロセスを図示する。
図２０は、姿勢とユーザ入力デバイス上の手のジェスチャの組み合わせを使用した仮想オブジェクトとの相互作用のための例示的プロセスを図示する。
図２１は、コンテキスト情報に基づいて、頭部姿勢から手のジェスチャへの入力制御を切り替えるための例示的プロセスを図示する。
図２２は、コンテキスト情報に基づいて、ユーザ相互作用のモードを切り替えるための例示的プロセスを図示する。
図２３は、仮想オブジェクトのグループを備える、相互作用可能オブジェクトとの相互作用の例示的プロセスを図示する。
図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図されない。
（概観）
ＡＲ／ＶＲ／ＭＲデバイスの使用を用いることで、ユーザは、仮想ユーザインターフェースを使用して、３次元（３Ｄ）空間内のオブジェクトを標的化および選択することを所望し得る。例えば、ユーザは、アイテムに物理的に接近する、それを握持する、またはそれに触れる等、身体姿勢を使用して、仮想オブジェクトを選択してもよい。ユーザはまた、仮想光線またはビームを用いて、オブジェクトをポインティングし、クリックすることによって、仮想オブジェクトを選択してもよい。しかし、これらの技法は、ユーザが選択を達成するためにその姿勢を静止して保持することが要求され得るため、疲労を生じさせ得、かつオブジェクトを精密に選択することが困難であり得る。
本開示は、これらの問題の一部または全部に対処する、ウェアラブルシステムの実施例を提供する。一実施例として、ユーザは、その頭部を移動させ、オブジェクトのグループに眼を向けてもよい。ユーザの視野の中心の最近傍のオブジェクトは、潜在的標的オブジェクトとしてハイライトされることができ、ユーザは、ユーザ入力デバイス（例えば、タッチスクリーン上でスワイプすることによって）を作動し、ハイライトをあるオブジェクトから別のオブジェクトに移行させることができる。ユーザは、ユーザ入力デバイスを再び作動させることによって（例えば、タッチスクリーンに触れることによって）、標的オブジェクトの選択を確認することができる。いったん選択されると、ＡＲユーザインターフェースは、ユーザが、選択された標的オブジェクトに付加的アクションを行うことを可能にしてもよい（例えば、オブジェクトと関連付けられたメニューの表示またはそこからの選択、標的オブジェクトが現れるゲームと関連付けられたアクションを行う等）。本技法は、疲労を軽減させながら、ユーザが関心のあるオブジェクトを選択するために特に有利であり得る。これは、頭部姿勢を精密に制御することが困難であるためである。ウェアラブルシステムは、ユーザの頭部姿勢に基づいて、着目オブジェクトを予備的に識別する一方、ユーザが、手のジェスチャを使用して、オブジェクトを精密に選択することを可能にすることができる。
いくつかの実装では、相互作用可能オブジェクトは、複数の仮想オブジェクトを含んでもよい。例えば、仮想ユーザインターフェース平面は、例えば、ビデオストリーミングアプリケーション、仮想授業アプリケーション、天気アプリケーション、ゲームアプリケーション、天文学アプリケーション等、複数の仮想アプリケーションを含んでもよい。ウェアラブルシステムは、相互作用可能オブジェクトの特性に基づいて、異なるユーザ入力モードをサポートしてもよい。例えば、相互作用可能オブジェクトが、ユーザインターフェース平面（サイズが大型であり得る）であるとき、ウェアラブルシステムは、ユーザが、姿勢を使用して、それと相互作用することを可能にしてもよい。一方、相互作用可能オブジェクトが、比較的に小型であるとき、ウェアラブルシステムは、代わりに、ユーザ入力デバイスをデフォルト入力モードとして設定し、ユーザが、仮想オブジェクトと精密に相互作用することを可能にしてもよい。これらの実装は、大型のオブジェクトの移動および標的化が、ユーザの移動にあまり精度を要求しない場合がある一方、小型のオブジェクトの移動および選択が、ユーザが精密に標的化することを要求し得るため、有利であり得る。
ウェアラブルシステムはまた、コンテキスト情報に基づいて、ユーザ入力モードを判定することができる。例えば、ウェアラブルシステムは、ユーザの環境内の仮想オブジェクトのレイアウトを判定することができる。ウェアラブルシステムが、ユーザの視線方向に仮想オブジェクトの高密度クラスタを検出すると、ウェアラブルシステムは、ユーザに、入力制御を頭部制御から手の制御に切り替えるオプションを与えてもよい。このように、ユーザは、仮想オブジェクトとより精密に相互作用することができる。別の実施例として、ＡＲシステムは、オブジェクトの配向（例えば、垂直または水平）を検出し、ユーザのための適切な相互作用（例えば、ユーザの正面に垂直に現れるテレビアプリケーションの音量制御またはユーザのデスク上に水平に現れる仮想キーボードのタイピング制御）を提供してもよい。
ウェアラブルシステムは、ユーザが、例えば、ネットワークを介して、ユーザの環境の世界マップをパスする、またはウェアラブルシステム間で仮想コンテンツを通信する（または仮想コンテンツをアップデートする）ことによって、仮想コンテンツを他者（同様にウェアラブルシステムを装着している）と共有することを可能にすることができる。
（３Ｄディスプレイの実施例）
図１は、人物によって視認される、ある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。図１では、ＭＲ場面１００は、描写され、ＭＲ技術のユーザには、人々、木々、背景内の建物、およびコンクリートプラットフォーム１２０を特徴とする、実世界公園状設定１１０が見える。これらのアイテムに加え、ＭＲ技術のユーザはまた、実世界プラットフォーム１２０上に立っているロボット像１３０と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ１４０とが「見える」と知覚するが、これらの要素は、実世界には存在しない。
３Ｄディスプレイが、真の深度感覚、より具体的には、表面深度のシミュレートされた感覚を生成するために、ディスプレイの視野内の点毎に、その仮想深度に対応する遠近調節応答を生成することが望ましくあり得る。ディスプレイ点に対する遠近調節応答が、収束および立体視の両眼深度キューによって判定されるようなその点の仮想深度に対応しない場合、ヒトの眼は、遠近調節衝突を体験し、不安定なイメージング、有害な眼精疲労、頭痛、および遠近調節情報の不在下では、表面深度のほぼ完全な欠如をもたらし得る。
ＶＲ、ＡＲ、およびＭＲ体験は、複数の深度平面に対応する画像が視認者に提供されるディスプレイを有する、ディスプレイシステムによって提供されることができる。画像は、深度平面毎に異なってもよく（例えば、場面またはオブジェクトの若干異なる提示を提供する）、視認者の眼によって別個に集束され、それによって、異なる深度平面上に位置する場面に関する異なる画像特徴に合焦させるために要求される眼の遠近調節に基づいて、または合焦からずれている異なる深度平面上の異なる画像特徴を観察することに基づいて、ユーザに深度キューを提供することに役立ち得る。本明細書のいずれかに議論されるように、そのような深度キューは、信用できる深度の知覚を提供する。
図２は、ウェアラブルシステム２００の実施例を図示する。ウェアラブルシステム２００は、ディスプレイ２２０と、ディスプレイ２２０の機能をサポートするための種々の機械的および電子的モジュールおよびシステムとを含む。ディスプレイ２２０は、ユーザ、装着者、または視認者２１０によってウェアラブルである、フレーム２３０に結合されてもよい。ディスプレイ２２０は、ユーザ２１０の眼の正面に位置付けられることができる。ディスプレイ２２０は、ＡＲ／ＶＲ／ＭＲコンテンツをユーザに提示することができる。ディスプレイ２２０は、ユーザの頭部に装着される、頭部搭載型ディスプレイ（ＨＭＤ）を提示することができる。いくつかの実施形態では、スピーカ２４０が、フレーム２３０に結合され、ユーザの外耳道に隣接して位置付けられる（いくつかの実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音響制御を提供する）。
ウェアラブルシステム２００は、ユーザの周囲の環境内の世界を観察する、外向きに面したイメージングシステム４６４（図４に示される）を含むことができる。ウェアラブルシステム２００はまた、ユーザの眼移動を追跡することができる、内向きに面したイメージングシステム４６２（図４に示される）を含むことができる。内向きに面したイメージングシステムは、一方の眼の移動または両方の眼の移動のいずれかを追跡することができる。内向きに面したイメージングシステム４６２は、フレーム２３０に取り付けられてもよく、内向きに面したイメージングシステムによって取得された画像情報を処理し、例えば、ユーザ２１０の眼、眼の移動、または眼姿勢の瞳孔直径または配向を判定し得る、処理モジュール２６０または２７０と電気通信してもよい。
実施例として、ウェアラブルシステム２００は、外向きに面したイメージングシステム４６４または内向きに面したイメージングシステム４６２を使用して、ユーザの姿勢の画像を取得することができる。画像は、静止画像、ビデオのフレームまたはビデオ、その組み合わせ、または同等物であってもよい。
ディスプレイ２２０は、有線導線または無線接続等によって、フレーム２３０に固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ２１０に（例えば、バックパック式構成において、ベルト結合式構成において）可撤式に取り付けられる等、種々の構成において搭載され得る、ローカルデータ処理モジュール２６０に動作可能に結合される（２５０）。
ローカル処理およびデータモジュール２６０は、ハードウェアプロセッサおよび不揮発性メモリ（例えば、フラッシュメモリ）等のデジタルメモリを備えてもよく、その両方は、データの処理、キャッシング、および記憶を補助するために利用され得る。データは、ａ）画像捕捉デバイス（例えば、内向きに面したイメージングシステムおよび／または外向きに面したイメージングシステム内のカメラ）、マイクロホン、慣性測定ユニット（ＩＭＵ）、加速度計、コンパス、全地球測位システム（ＧＰＳ）、無線デバイス、またはジャイロスコープ等の（例えば、フレーム２３０に動作可能に結合される、または別様にユーザ２１０に取り付けられ得る）センサから捕捉されるデータ、または、ｂ）場合によってはそのような処理または読出後にディスプレイ２２０への伝達のために、遠隔処理モジュール２７０および／または遠隔データリポジトリ２８０を使用して取得または処理されるデータを含んでもよい。ローカル処理およびデータモジュール２６０は、これらの遠隔モジュールがローカル処理およびデータモジュール２６０へのリソースとして利用可能であるように、有線または無線通信リンクを介して等、通信リンク２６２または２６４によって遠隔処理モジュール２７０または遠隔データリポジトリ２８０に動作可能に結合されてもよい。加えて、遠隔処理モジュール２８０および遠隔データリポジトリ２８０は、相互に動作可能に結合されてもよい。
いくつかの実施形態では、遠隔処理モジュール２７０は、データおよび／または画像情報を分析および処理するように構成される、１つまたはそれを上回るプロセッサを備えてもよい。いくつかの実施形態では、遠隔データリポジトリ２８０は、デジタルデータ記憶設備を備え得、これは、「クラウド」リソース構成におけるインターネットまたは他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、ローカル処理およびデータモジュールにおいて実施され、遠隔モジュールからの完全に自律的な使用を可能にする。
ヒト視覚系は、複雑であって、深度の現実的知覚を提供することは、困難である。理論によって限定されるわけではないが、オブジェクトの視認者は、輻輳・開散運動（ｖｅｒｇｅｎｃｅ）および遠近調節（ａｃｃｏｍｍｏｄａｔｉｏｎ）の組み合わせに起因して、オブジェクトを３次元として知覚し得ると考えられる。相互に対する２つの眼の輻輳・開散運動（すなわち、眼の視線を収束させ、オブジェクト上に固定させるための、相互に向かった、または、そこから離れるような瞳孔の回転運動）は、眼の水晶体の集束（または「遠近調節」）と密接に関連付けられる。通常条件下では、眼の水晶体の焦点を変更する、または眼を遠近調節し、１つのオブジェクトから異なる距離における別のオブジェクトに焦点を変更することは、「遠近調節−輻輳・開散運動反射」として知られる関係下、自動的に、輻輳・開散運動における合致する変化を同一距離に生じさせるであろう。同様に、輻輳・開散運動における変化は、通常条件下、遠近調節における合致する変化を誘起するであろう。遠近調節と輻輳・開散運動との間のより良好な合致を提供するディスプレイシステムは、３次元画像のより現実的かつ快適なシミュレーションを形成し得る。
図３は、複数の深度平面を使用して３次元画像をシミュレートするためのアプローチの側面を図示する。図３を参照すると、ｚ−軸上の眼３０２および３０４からの種々の距離におけるオブジェクトは、それらのオブジェクトが合焦するように、眼３０２および３０４によって遠近調節される。眼３０２および３０４は、特定の遠近調節された状態をとり、オブジェクトをｚ−軸に沿った異なる距離に合焦させる。その結果、特定の遠近調節された状態は、特定の深度平面におけるオブジェクトまたはオブジェクトの一部が、眼がその深度平面に対して遠近調節された状態にあるとき、合焦するように、関連付けられた焦点距離を有して、深度平面３０６のうちの特定の１つと関連付けられると言え得る。いくつかの実施形態では、３次元画像は、眼３０２および３０４毎に、画像の異なる提示を提供することによって、また、深度平面のそれぞれに対応する画像の異なる提示を提供することによって、シミュレートされてもよい。例証を明確にするために、別個であるように示されるが、眼３０２および３０４の視野は、例えば、ｚ−軸に沿った距離が増加するにつれて、重複し得ることを理解されたい。加えて、例証を容易にするために、平坦であるように示されるが、深度平面の輪郭は、深度平面内の全ての特徴が特定の遠近調節された状態において眼と合焦するように、物理的空間内で湾曲されてもよいことを理解されたい。理論によって限定されるわけではないが、人間の眼は、典型的には、深度知覚を提供するために、有限数深度面を解釈し得ると考えられる。その結果、知覚される深度の高度に真実味のあるシミュレーションが、これらの限定された数の深度面のそれぞれに対応する画像の異なる表現を眼に提供することによって達成され得る。
（導波管スタックアセンブリ）
図４は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ウェアラブルシステム４００は、複数の導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４００ｂを使用して、３次元知覚を眼／脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ４８０を含む。いくつかの実施形態では、ウェアラブルシステム４００は、図２のウェアラブルシステム２００に対応してもよく、図４は、ウェアラブルシステム２００のいくつかの部分をより詳細に図式的に示す。例えば、いくつかの実施形態では、導波管アセンブリ４８０は、図２のディスプレイ２２０の中に統合されてもよい。
図４を継続して参照すると、導波管アセンブリ４８０はまた、複数の特徴４５８、４５６、４５４、４５２を導波管の間に含んでもよい。いくつかの実施形態では、特徴４５８、４５６、４５４、４５２は、レンズであってもよい。他の実施形態では、特徴４５８、４５６、４５４、４５２は、レンズではなくてもよい。むしろ、それらは、単に、スペーサであってもよい（例えば、空気間隙を形成するためのクラッディング層または構造）。
導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４０ｂまたは複数のレンズ４５８、４５６、４５４、４５２は、種々のレベルの波面曲率または光線発散を伴って、画像情報を眼に送信するように構成されてもよい。各導波管レベルは、特定の深度平面と関連付けられてもよく、その深度平面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス４２０、４２２、４２４、４２６、４２８は、それぞれ、眼４１０に向かって出力するために、各個別の導波管を横断して入射光を分散させるように構成され得る、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの中に画像情報を投入するために利用されてもよい。光は、画像投入デバイス４２０、４２２、４２４、４２６、４２８の出力表面から出射し、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの対応する入力縁の中に投入される。いくつかの実施形態では、光の単一ビーム（例えば、コリメートされたビーム）が、各導波管の中に投入され、特定の導波管と関連付けられる深度面に対応する特定の角度（および発散量）において眼４１０に向かって指向される、クローン化されたコリメートビームの場全体を出力してもよい。
いくつかの実施形態では、画像投入デバイス４２０、４２２、４２４、４２６、４２８は、それぞれ、それぞれの対応する導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの中に投入するための画像情報を生成する、離散ディスプレイである。いくつかの他の実施形態では、画像投入デバイス４２０、４２２、４２４、４２６、４２８は、例えば、１つまたはそれを上回る光学導管（光ファイバケーブル等）を介して、画像情報を画像投入デバイス４２０、４２２、４２４、４２６、４２８のそれぞれにパイピングし得る、単一の多重化されたディスプレイの出力端である。
コントローラ４６０が、スタックされた導波管アセンブリ４８０および画像投入デバイス４２０、４２２、４２４、４２６、４２８の動作を制御する。コントローラ４６０は、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂへの画像情報のタイミングおよび提供を調整する、プログラミング（例えば、非一過性コンピュータ可読媒体内の命令）を含む。いくつかの実施形態では、コントローラ４６０は、単一一体型デバイスまたは有線または無線通信チャンネルによって接続される分散型システムであってもよい。コントローラ４６０は、いくつかの実施形態では、処理モジュール２６０または２７０（図２に図示される）の一部であってもよい。
導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、全内部反射（ＴＩＲ）によって、光を各個別の導波管内で伝搬させるように構成されてもよい。導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂはそれぞれ、主要上部および底部表面と、それらの主要上部と底部表面との間に延在する縁とを伴う、平面である、または別の形状（例えば、湾曲）を有してもよい。図示される構成では、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂはそれぞれ、光を再指向させ、各個別の導波管内で伝搬させ、導波管から、画像情報を眼４１０に出力することによって、光を導波管から抽出するように構成される、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａを含んでもよい。抽出された光はまた、外部結合光と称され得、光抽出光学要素はまた、外部結合光学要素と称され得る。抽出された光のビームは、導波管によって、導波管内で伝搬する光が光再指向要素に衝打する場所に出力される。光抽出光学要素（４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａ）は、例えば、反射または回折光学特徴であってもよい。説明を容易にし、図面を明確にするために、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの底部主要表面に配置されて図示されるが、いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、上部または底部主要表面に配置されてもよい、または直接導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの容積内に配置されてもよい。いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、透明基板に取り付けられ、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂを形成する、材料の層内に形成されてもよい。いくつかの他の実施形態では、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、モノリシック材料片であってもよく、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、その材料片の表面上および／または内部に形成されてもよい。
図４を継続して参照すると、本明細書に議論されるように、各導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、光を出力し、特定の深度平面に対応する画像を形成するように構成される。例えば、眼の最近傍の導波管４３２ｂは、そのような導波管４３２ｂの中に投入されるにつれて、コリメートされた光を眼４１０に送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表し得る。次の導波管４３４ｂは、眼４１０に到達し得る前に、第１のレンズ４５２（例えば、負のレンズ）を通して通過する、コリメートされた光を送出するように構成されてもよい。第１のレンズ４５２は、眼／脳が、その次の導波管４３４ｂから生じる光が光学無限遠から眼４１０に向かって内向きにより近い第１の焦点面から生じるように解釈するように、若干の凸面波面曲率を生成するように構成されてもよい。同様に、第３の導波管４３６ｂは、眼４１０に到達する前に、その出力光を第１のレンズ４５２および第２のレンズ４５４の両方を通して通過させる。第１および第２のレンズ４５２および４５４の組み合わせられた屈折力は、眼／脳が、第３の導波管４３６ｂから生じる光が次の導波管４３４ｂからの光であった光学無限遠から人物に向かって内向きにさらにより近い第２の焦点面から生じるように解釈するように、波面曲率の別の増分量を生成するように構成されてもよい。
他の導波管層（例えば、導波管４３８ｂ、４４０ｂ）およびレンズ（例えば、レンズ４５６、４５８）も同様に、スタック内の最高導波管４４０ｂを用いて、人物に最も近い焦点面を表す集約焦点パワーのために、その出力をそれと眼との間のレンズの全てを通して送出するように構成される。スタックされた導波管アセンブリ４８０の他側の世界４７０から生じる光を視認／解釈するとき、レンズ４５８、４５６、４５４、４５２のスタックを補償するために、補償レンズ層４３０が、スタックの上部に配置され、下方のレンズスタック４５８、４５６、４５４、４５２の集約パワーを補償してもよい。そのような構成は、利用可能な導波管／レンズ対と同じ数の知覚される焦点面を提供する。導波管の光抽出光学要素およびレンズの集束側面は両方とも、静的であってもよい（例えば、動的または電気アクティブではない）。いくつかの代替実施形態では、いずれかまたは両方とも、電気アクティブ特徴を使用して、動的であってもよい。
図４を継続して参照すると、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、光をその個別の導波管から再指向し、かつ導波管と関連付けられた特定の深度平面のための適切な発散またはコリメーション量を用いて本光を出力するように構成されてもよい。その結果、異なる関連付けられた深度平面を有する導波管は、関連付けられた深度平面に応じた異なる発散量を用いて光を出力する、異なる構成の光抽出光学要素を有してもよい。いくつかの実施形態では、本明細書に議論されるように、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、具体的角度において光を出力するように構成され得る、立体または表面特徴であってもよい。例えば、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、体積ホログラム、表面ホログラム、および／または回折格子であってもよい。回折格子等の光抽出光学要素は、２０１５年６月２５日に公開された米国特許公開第２０１５／０１７８９３９号（参照することによってその全体として本明細書に組み込まれる）に説明される。
いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、回折パターンを形成する回折特徴、すなわち、「回折光学要素」（本明細書では、「ＤＯＥ」とも称される）である。好ましくは、ＤＯＥは、ビームの光の一部のみが、ＤＯＥの各交差点を用いて、眼４１０に向かって偏向される一方、残りが、全内部反射を介して、導波管を通して移動し続けるように、比較的に低回折効率を有する。画像情報を搬送する光は、したがって、複数の場所において導波管から出射する、いくつかの関連出射ビームに分割され、その結果、導波管内でバウンスする本特定のコリメートされたビームに関して、眼３０４に向かって非常に均一な出射放出パターンとなることができる。
いくつかの実施形態では、１つまたはそれを上回るＤＯＥは、能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切替可能であってもよい。例えば、切替可能なＤＯＥは、微小液滴がホスト媒体中に回折パターンを構成する、ポリマー分散液晶の層を備えてもよく、微小液滴の屈折率は、ホスト材料と実質的に合致する屈折率に切り替えられることができる（その場合、パターンは、入射光を著しく回折しない）、または微小液滴は、ホスト媒体のものに合致しない屈折率に切り替えられることができる（その場合、パターンは、入射光を能動的に回折する）。
いくつかの実施形態では、深度平面または被写界深度の数および分布は、視認者の眼の瞳孔サイズまたは配向に基づいて、動的に変動されてもよい。被写界深度は、視認者の瞳孔サイズと反比例して変化してもよい。その結果、視認者の眼の瞳孔のサイズが減少するにつれて、被写界深度は、その平面の場所が眼の焦点深度を越えるため判別不能である１つの平面が、判別可能となり、瞳孔サイズの低減および被写界深度の相当する増加に伴って、より合焦して現れ得るように増加する。同様に、異なる画像を視認者に提示するために使用される、離間される深度平面の数は、減少された瞳孔サイズに伴って減少されてもよい。例えば、視認者は、一方の深度平面から他方の深度平面への眼の遠近調節を調節せずに、第１の深度平面および第２の深度平面の両方の詳細を１つの瞳孔サイズにおいて明確に知覚することが可能ではない場合がある。しかしながら、これらの２つの深度平面は、同時に、遠近調節を変化させずに、別の瞳孔サイズにおいてユーザに合焦するには十分であり得る。
いくつかの実施形態では、ディスプレイシステムは、瞳孔サイズおよび／または配向の判定に基づいて、または特定の瞳孔サイズ／または配向を示す電気信号の受信に応じて、画像情報を受信する導波管の数を変動させてもよい。例えば、ユーザの眼が、２つの導波管と関連付けられた２つの深度平面間を区別不能である場合、コントローラ４６０は、これらの導波管のうちの１つへの画像情報の提供を停止するように構成またはプログラムされてもよい。有利には、これは、システムへの処理負担を低減させ、それによって、システムの応答性を増加させ得る。導波管のためのＤＯＥがオンおよびオフ状態間で切替可能である実施形態では、ＤＯＥは、導波管が画像情報を受信するとき、オフ状態に切り替えられてもよい。
いくつかの実施形態では、出射ビームに視認者の眼の直径未満の直径を有するという条件を満たさせることが望ましくあり得る。しかしながら、本条件を満たすことは、視認者の瞳孔のサイズの変動性に照らして、困難であり得る。いくつかの実施形態では、本条件は、視認者の瞳孔のサイズの判定に応答して出射ビームのサイズを変動させることによって、広範囲の瞳孔サイズにわたって満たされる。例えば、瞳孔サイズが減少するにつれて、出射ビームのサイズもまた、減少し得る。いくつかの実施形態では、出射ビームサイズは、可変開口を使用して変動されてもよい。
ウェアラブルシステム４００は、世界４７０の一部をイメージングする、外向きに面したイメージングシステム４６４（例えば、デジタルカメラ）を含むことができる。世界４７０の本部分は、視野（ＦＯＶ）と称され得、イメージングシステム４６４は、時として、ＦＯＶカメラとも称される。視認者による視認またはイメージングのために利用可能な領域全体は、動眼視野（ＦＯＲ）と称され得る。ＦＯＲは、装着者が、その身体、頭部、または眼を移動させ、空間内の実質的に任意の方向を知覚するため、ウェアラブルシステム４００を囲繞する４πステラジアンの立体角を含んでもよい。他の状況では、装着者の移動は、より抑制されてもよく、それに応じて、装着者のＦＯＲは、より小さい立体角に接し得る。外向きに面したイメージングシステム４６４から得られた画像は、ユーザによって行われるジェスチャ（例えば、手または指のジェスチャ）を追跡し、ユーザの正面における世界４７０内のオブジェクトを検出する等のために、使用されることができる。
ウェアラブルシステム４００はまた、眼移動および顔移動等のユーザの移動を観察する、内向きに面したイメージングシステム４６６（例えば、デジタルカメラ）を含むことができる。内向きに面したイメージングシステム４６６は、眼４１０の画像を捕捉し、眼３０４の瞳孔のサイズまたは配向を判定するために使用されてもよい。内向きに面したイメージングシステム４６６は、ユーザが見ている方向（例えば、眼姿勢）を判定する際にため使用するため、またはユーザのバイオメトリック識別のため（例えば、虹彩識別を介して）、画像を得るために使用されることができる。いくつかの実施形態では、少なくとも１つのカメラが、眼毎に、独立して、各眼の瞳孔サイズまたは眼姿勢を別個に判定し、それによって、各眼への画像情報の提示がその眼に対して動的に調整されることを可能にするために利用されてもよい。いくつかの他の実施形態では、単一眼４１０のみの瞳孔直径または配向（例えば、対の眼あたり単一カメラのみを使用して）が、判定され、ユーザの両眼に関して類似すると仮定される。内向きに面したイメージングシステム４６６によって得られる画像は、ユーザに提示されるべきオーディオまたは視覚的コンテンツを決定するためにウェアラブルシステム４００によって使用され得る、ユーザの眼姿勢または気分を判定するために分析されてもよい。ウェアラブルシステム４００はまた、ＩＭＵ、加速度計、ジャイロスコープ等のセンサを使用して、頭部姿勢（例えば、頭部位置または頭部配向）を判定してもよい。
ウェアラブルシステム４００は、ユーザが、コマンドをコントローラ４６０に入力し、ウェアラブルシステム４００と相互作用し得る、ユーザ入力デバイス４６６を含むことができる。例えば、ユーザ入力デバイス４６６は、トラックパッド、タッチスクリーン、ジョイスティック、多自由度（ＤＯＦ）コントローラ、容量感知デバイス、ゲームコントローラ、キーボード、マウス、指向性パッド（Ｄパッド）、ワンド、触知デバイス、トーテム（例えば、仮想ユーザ入力デバイスとして機能する）等を含むことができる。ある場合には、ユーザは、指（例えば、親指）を使用して、タッチセンサ式入力デバイスを押下またはその上でスワイプし、入力をウェアラブルシステム４００に提供してもよい（例えば、ユーザ入力をウェアラブルシステム４００によって提供されるユーザインターフェースに提供するために）。ユーザ入力デバイス４６６は、ウェアラブルシステム４００の使用の間、ユーザの手によって保持されてもよい。ユーザ入力デバイス４６６は、ウェアラブルシステム４００と有線または無線通信することができる。
図５は、導波管によって出力された出射ビームの実施例を示す。１つの導波管が、図示されるが、導波管アセンブリ４８０内の他の導波管も、同様に機能してもよく、導波管アセンブリ４８０は、複数の導波管を含むことを理解されたい。光５２０が、導波管４３２ｂの入力縁４３２ｃにおいて導波管４３２ｂの中に投入され、ＴＩＲによって導波管４３２ｂ内を伝搬する。光５２０がＤＯＥ４３２ａに衝突する点において、光の一部が、出射ビーム５１０として導波管から出射する。出射ビーム５１０は、略平行として図示されるが、それらはまた、導波管４３２ｂと関連付けられた深度平面に応じて、ある角度で眼４１０に伝搬するように再指向されてもよい（例えば、発散出射ビームを形成する）。略平行出射ビームは、光を外部結合し、眼４１０から長距離（例えば、光学無限遠）において深度平面上に設定されるように現れる画像を形成する光抽出光学要素を伴う、導波管を示し得ることを理解されたい。他の導波管または他の光抽出光学要素のセットは、眼４１０がより近い距離に遠近調節し、網膜に合焦させることを要求し、光学無限遠より眼４１０に近い距離からの光として脳によって解釈されるであろう、より多く発散する出射ビームパターンを出力してもよい。
図６は、導波管装置と、光を導波管装置へまたはそこから光学的に結合するための光学結合器サブシステムと、多焦点立体ディスプレイ、画像、またはライトフィールドの生成において使用される制御サブシステムとを含む、光学システムを示す、概略図である。光学システムは、導波管装置と、光を導波管装置にまたはそこから光学的に結合するための光学結合器サブシステムと、制御サブシステムとを含むことができる。光学システムは、多焦点立体、画像、またはライトフィールドを生成するために使用されることができる。光学システムは、１つまたはそれを上回る一次平面導波管６３２ａ（１つのみのが図６に示される）と、一次導波管６３２ａの少なくともいくつかのそれぞれと関連付けられた１つまたはそれを上回るＤＯＥ６３２ｂとを含むことができる。平面導波管６３２ｂは、図４を参照して議論される導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４０ｂに類似することができる。光学システムは、分散導波管装置を採用し、光を第１の軸（図６の図では、垂直またはＹ−軸）に沿って中継し、第１の軸（例えば、Ｙ−軸）に沿って光の有効射出瞳を拡張させてもよい。分散導波管装置は、例えば、分散平面導波管６２２ｂと、分散平面導波管６２２ｂと関連付けられた少なくとも１つのＤＯＥ６２２ａ（二重破線によって図示される）とを含んでもよい。分散平面導波管６２２ｂは、少なくともいくつかの点において、それと異なる配向を有する一次平面導波管６３２ｂと類似または同じであってもよい。同様に、少なくとも１つのＤＯＥ６２２ａは、少なくともいくつかの点において、ＤＯＥ６３２ａと類似または同じであってもよい。例えば、分散平面導波管６２２ｂまたはＤＯＥ６２２ａは、それぞれ、一次平面導波管６３２ｂまたはＤＯＥ６３２ａと同一材料から成ってもよい。図６に示される光学ディスプレイシステム６００の実施形態は、図２に示されるウェアラブルシステム２００の中に統合されることができる。
中継され、射出瞳が拡張された光は、分散導波管装置から１つまたはそれを上回る一次平面導波管６３２ｂの中に光学的に結合され得る。一次平面導波管６３２ｂは、好ましくは、第１の軸に直交する、第２の軸（例えば、図６の図では、水平またはＸ−軸）に沿って、光を中継することができる。着目すべきこととして、第２の軸は、第１の軸に対して非直交軸であることができる。一次平面導波管６３２ｂは、その第２の軸（例えば、Ｘ−軸）に沿って、光の有効射出瞳を拡張させる。例えば、分散平面導波管６２２ｂは、光を垂直またはＹ−軸に沿って中継および拡張させ、光を水平またはＸ−軸に沿って中継および拡張させ得る、一次平面導波管６３２ｂにその光を通過させることができる。
光学システムは、単一モード光ファイバ６４０の近位端の中に光学的に結合され得る、１つまたはそれを上回る着色光源（例えば、赤色、緑色、および青色レーザ光）６１０を含んでもよい。光ファイバ６４０の遠位端は、圧電材料の中空管６４２を通して螺合または受容されてもよい。遠位端は、固定されない可撓性カンチレバー６４４として、管６４２から突出する。圧電管６４２は、４つの象限電極（図示せず）と関連付けられることができる。電極は、例えば、管６４２の外側、外側表面または外側周縁、または直径に鍍着されてもよい。コア電極（図示せず）もまた、管６４２のコア、中心、内側周縁、または内径に位置してもよい。
例えば、ワイヤ６６０を介して電気的に結合される、駆動電子機器６５０は、対向する対の電極を駆動し、圧電管６４２を独立して２つの軸において屈曲させる。光ファイバ６４４の突出する遠位先端は、機械的共鳴モードを有する。共鳴の周波数は、光ファイバ６４４の直径、長さ、および材料性質に依存し得る。圧電管６４２をファイバカンチレバー６４４の第１の機械的共鳴モードの近傍で振動させることによって、ファイバカンチレバー６４４は、振動させられ、大偏向を通して掃引し得る。
２つの軸において共鳴振動を刺激することによって、ファイバカンチレバー６４４の先端は、２次元（２−Ｄ）走査を充填する面積内において２軸方向に走査される。光源６１０の強度をファイバカンチレバー６４４の走査と同期して変調させることによって、ファイバカンチレバー６４４から発せられる光は、画像を形成する。そのような設定の説明は、米国特許公開第２０１４／０００３７６２号（参照することによってその全体として本明細書に組み込まれる）に提供されている。
光学結合器サブシステムのコンポーネントは、走査ファイバカンチレバー６４４から発せられる光をコリメートすることができる。コリメートされた光は、鏡付き表面６４８によって、少なくとも１つの回折光学要素（ＤＯＥ）６２２ａを含有する、狭分散平面導波管６２２ｂの中に反射されることができる。コリメートされた光は、ＴＩＲによって分散平面導波管６２２ｂに沿って（図６の図に対して）垂直に伝搬し、そうすることによって、ＤＯＥ６２２ａと繰り返し交差する。ＤＯＥ６２２ａは、好ましくは、低回折効率を有する。これは、光の一部（例えば、１０％）をＤＯＥ６２２ａとの交差点の各点においてより大きい一次平面導波管６３２ｂの縁に向かって回折させ、光の一部をＴＩＲを介して分散平面導波管６２２ｂの長さを辿ってそのオリジナル軌道上で継続させる。
ＤＯＥ６２２ａとの交差点の各点において、付加的光が、一次導波管６３２ｂの入口に向かって回折されることができる。入射光を複数の外部結合セットに分割することによって、光の射出瞳は、分散平面導波管６２２ｂ内のＤＯＥ４によって垂直に拡張されることができる。分散平面導波管６２２ｂから外部結合された本垂直に拡張された光は、一次平面導波管６３２ｂの縁に進入することができる。
一次導波管６３２ｂに進入する光は、ＴＩＲを介して、一次導波管６３２ｂに沿って（図６の図に対して）水平に伝搬することができる。光は、複数の点においてＤＯＥ６３２ａと交差するにつれて、ＴＩＲを介して、一次導波管６３２ｂの長さの少なくとも一部に沿って水平に伝搬する。ＤＯＥ６３２ａは、有利には、線形回折パターンおよび半径方向対称回折パターンの総和である、位相プロファイルを有し、光の偏向および集束の両方を生成するように設計または構成され得る。ＤＯＥ６３２ａは、有利には、ビームの光の一部のみが、ＤＯＥ６３２ａの各交差点において視認者の眼に向かって偏向される一方、光の残りが、ＴＩＲを介して、一次導波管６３２ｂを通して伝搬し続けるように、低回折効率（例えば、１０％）を有し得る。
伝搬する光とＤＯＥ６３２ａとの間の交差点の各点において、光の一部は、一次導波管６３２ｂの隣接面に向かって回折され、光がＴＩＲから逃散し、一次導波管６３２ｂの面から発せられることを可能にする。いくつかの実施形態では、ＤＯＥ６３２ａの半径方向対称回折パターンは、加えて、ある焦点レベルを回折された光に付与し、個々のビームの光波面を成形（例えば、曲率を付与する）することと、ビームを設計される焦点レベルに合致する角度に操向することとの両方を行う。
それに応じて、これらの異なる経路は、異なる角度におけるＤＯＥ６３２ａの多重度、焦点レベル、および／または射出瞳において異なる充填パターンをもたらすことによって、光を一次平面導波管６３２ｂの外部で結合させることができる。射出瞳における異なる充填パターンは、有利には、複数の深度平面を伴うライトフィールドディスプレイを生成するために使用されることができる。導波管アセンブリ内の各層またはスタック内の層のセット（例えば、３層）が、個別の色（例えば、赤色、青色、緑色）を生成するために採用されてもよい。したがって、例えば、第１の３つの隣接する層のセットが、赤色、青色および緑色光を第１の焦点深度において生成するために採用されてもよい。第２の３つの隣接する層のセットが、それぞれ、赤色、青色、および緑色光を第２の焦点深度において生成するために採用されてもよい。複数のセットが、種々の焦点深度を伴うフル３Ｄまたは４Ｄカラー画像ライトフィールドを生成するために採用されてもよい。
（ウェアラブルシステムの他のコンポーネント）
多くの実装では、ウェアラブルシステムは、上記に説明されるウェアラブルシステムのコンポーネントに加えて、またはその代替として、他のコンポーネントを含んでもよい。ウェアラブルシステムは、例えば、１つまたはそれを上回る触知デバイスまたはコンポーネントを含んでもよい。触知デバイスまたはコンポーネントは、触覚をユーザに提供するように動作可能であってもよい。例えば、触知デバイスまたはコンポーネントは、仮想コンテンツ（例えば、仮想オブジェクト、仮想ツール、他の仮想構造）に触れると、圧力および／またはテクスチャの感覚を提供してもよい。触覚は、仮想オブジェクトが表す物理的オブジェクトの感覚を再現してもよい、または仮想コンテンツが表す想像上のオブジェクトまたはキャラクタ（例えば、ドラゴン）の感覚を再現してもよい。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって装着されてもよい（例えば、ユーザウェアラブルグローブ）。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって保持されてもよい。
ウェアラブルシステムは、例えば、ユーザによって操作可能であって、ウェアラブルシステムへの入力またはそれとの相互作用を可能にする、１つまたはそれを上回る物理的オブジェクトを含んでもよい。これらの物理的オブジェクトは、本明細書では、トーテムと称され得る。いくつかのトーテムは、例えば、金属またはプラスチック片、壁、テーブルの表面等、無生物オブジェクトの形態をとってもよい。ある実装では、トーテムは、実際には、任意の物理的入力構造（例えば、キー、トリガ、ジョイスティック、トラックボール、ロッカスイッチ）を有していなくてもよい。代わりに、トーテムは、単に、物理的表面を提供してもよく、ウェアラブルシステムは、ユーザに対してトーテムの１つまたはそれを上回る表面上にあるように見えるように、ユーザインターフェースをレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムの１つまたはそれを上回る表面上に常駐するように見えるように、コンピュータキーボードおよびトラックパッドの画像をレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムとしての役割を果たす、アルミニウムの薄い長方形プレートの表面上に見えるように、仮想コンピュータキーボードおよび仮想トラックパッドをレンダリングしてもよい。長方形プレート自体は、いかなる物理的キーまたはトラックパッドまたはセンサを有していない。しかしながら、ウェアラブルシステムは、仮想キーボードまたは仮想トラックパッドを介して行われた選択または入力として、長方形プレートを用いたユーザ操作または相互作用またはタッチを検出し得る。ユーザ入力デバイス４６６（図４に示される）は、トラックパッド、タッチパッド、トリガ、ジョイスティック、トラックボール、ロッカまたは仮想スイッチ、マウス、キーボード、多自由度コントローラ、または別の物理的入力デバイスを含み得る、トーテムの実施形態であってもよい。ユーザは、単独で、または姿勢と組み合わせて、トーテムを使用し、ウェアラブルシステムおよび／または他のユーザと相互作用してもよい。
本開示のウェアラブルデバイス、ＨＭＤ、およびディスプレイシステムと使用可能な触知デバイスおよびトーテムの実施例は、米国特許公開第２０１５／００１６７７７号（参照することによってその全体として本明細書に組み込まれる）に説明されている。
（例示的ウェアラブルシステム、環境、およびインターフェース）
ウェアラブルシステムは、高被写界深度をレンダリングされたライトフィールド内で達成するために、種々のマッピング関連技法を採用してもよい。仮想世界をマッピングする際、実世界内の全ての特徴および点を把握し、仮想オブジェクトを実世界に関連して正確に描くことが有利である。この目的を達成するために、ウェアラブルシステムのユーザから捕捉されたＦＯＶ画像が、実世界の種々の点および特徴についての情報を伝達する新しい写真を含むことによって、世界モデルに追加されることができる。例えば、ウェアラブルシステムは、マップ点（２Ｄ点または３Ｄ点等）のセットを収集し、新しいマップ点を見出し、世界モデルのより正確なバージョンをレンダリングすることができる。第１のユーザの世界モデルは、第２のユーザが第１のユーザを囲繞する世界を体験し得るように、（例えば、クラウドネットワーク等のネットワークを経由して）第２のユーザに通信されることができる。
図７は、ＭＲ環境７００の実施例のブロック図である。ＭＲ環境７００は、入力（例えば、ユーザのウェアラブルシステムからの視覚的入力７０２、室内カメラ等の定常入力７０４、種々のセンサからの感覚入力７０６、ユーザ入力デバイス５０４からのジェスチャ、トーテム、眼追跡、ユーザ入力等）を１人またはそれを上回るユーザウェアラブルシステム（例えば、ウェアラブルシステム２００またはディスプレイシステム２２０）または定常室内システム（例えば、室内カメラ等）から受信するように構成されてもよい。ウェアラブルシステムは、種々のセンサ（例えば、加速度計、ジャイロスコープ、温度センサ、移動センサ、深度センサ、ＧＰＳセンサ、内向きに面したイメージングシステム、外向きに面したイメージングシステム等）を使用して、ユーザの環境の場所および種々の他の属性を判定することができる。本情報はさらに、異なる視点からの画像または種々のキューを提供し得る、部屋内の定常カメラからの情報で補完されてもよい。カメラ（室内カメラまたは外向きに面したイメージングシステムのカメラ等）によって取得された画像データは、マッピング点のセットに低減されてもよい。
１つまたはそれを上回るオブジェクト認識装置７０８が、受信されたデータ（例えば、点の集合）を通してクローリングし、点を認識またはマッピングし、画像をタグ付けし、マップデータベース７１０を用いて、意味論情報をオブジェクトに結び付けることができる。マップデータベース７１０は、経時的に収集された種々の点およびその対応するオブジェクトを備えてもよい。種々のデバイスおよびマップデータベースは、ネットワーク（例えば、ＬＡＮ、ＷＡＮ等）を通して相互に接続され、クラウドにアクセスすることができる。
マップデータベース内の本情報および点の集合に基づいて、オブジェクト認識装置７０８ａ−７０８ｎは、オブジェクトを認識し、オブジェクトを意味論情報で補完し、命をオブジェクトに与えてもよい。例えば、オブジェクト認識装置が、点のセットがドアであることを認識する場合、システムは、いくつかの意味論情報を結び付けてもよい（例えば、ドアは、ヒンジを有し、ヒンジを中心として９０度移動を有する）。オブジェクト認識装置が、点のセットが鏡であることを認識する場合、システムは、鏡が、部屋内のオブジェクトの画像を反射させ得る、反射表面を有するという意味論情報を結び付けてもよい。経時的に、マップデータベースは、システム（ローカルに常駐し得る、または無線ネットワークを通してアクセス可能であり得る）がより多くのデータを世界から蓄積するにつれて成長する。いったんオブジェクトが認識されると、情報は、１つまたはそれを上回るウェアラブルシステムに伝送されてもよい。例えば、ＭＲ環境７００は、Ｃａｌｉｆｏｒｎｉａで生成している場面についての情報を含んでもよい。環境７００は、Ｎｅｗ Ｙｏｒｋにおける１人またはそれを上回るユーザに伝送されてもよい。ＦＯＶカメラおよび他の入力から受信されたデータに基づいて、オブジェクト認識装置および他のソフトウェアコンポーネントは、場面が世界の異なる部分に存在し得る第２のユーザに正確に「パス」され得るように、種々の画像から収集された点をマッピングし、オブジェクトを認識すること等ができる。環境７００はまた、場所特定目的のために、トポロジマップを使用してもよい。
図８は、認識されたオブジェクトに関連して仮想コンテンツをレンダリングする方法８００の実施例のプロセスフロー図である。方法８００は、仮想場面がウェアラブルシステムのユーザに表され得る方法を説明する。ユーザは、その場面から地理的に遠隔に存在してもよい。例えば、ユーザは、Ｎｅｗ Ｙｏｒｋに存在し得るが、Ｃａｌｉｆｏｒｎｉａで現在起こっている場面を視認することを所望し得る、またはＣａｌｉｆｏｒｎｉａに存在する友人と散歩に行くことを所望し得る。
ブロック８１０では、ＡＲシステムは、ユーザの環境に関する入力をユーザおよび他のユーザから受信してもよい。これは、種々の入力デバイスおよびマップデータベース内にすでに保有されている知識を通して達成されてもよい。ユーザのＦＯＶカメラ、センサ、ＧＰＳ、眼追跡等が、ブロック８１０において、情報をシステムに伝達する。システムは、ブロック８２０において、本情報に基づいて、大まかな点を判定してもよい。大まかな点は、ユーザの周囲における種々のオブジェクトの配向および位置を表示および理解する際に使用され得る、姿勢データ（例えば、頭部姿勢、眼姿勢、身体姿勢、または手のジェスチャ）を判定する際に使用されてもよい。オブジェクト認識装置７０８ａ−７０８ｎは、ブロック８３０において、これらの収集された点を通してクローリングし、マップデータベースを使用して、１つまたはそれを上回るオブジェクトを認識してもよい。本情報は、次いで、ブロック８４０において、ユーザの個々のウェアラブルシステムに伝達されてもよく、所望の仮想場面が、ブロック８５０において、適宜、ユーザに表示されてもよい。例えば、所望の仮想場面（例えば、ＣＡにおけるユーザ）が、Ｎｅｗ Ｙｏｒｋにおけるユーザの種々のオブジェクトおよび他の周囲に関連して、適切な配向、位置等において表示されてもよい。
図９は、ウェアラブルシステムの別の実施例のブロック図である。本実施例では、ウェアラブルシステム９００は、世界に関するマップデータを含み得る、マップを備える。マップは、部分的に、ウェアラブルシステム上にローカルに常駐してもよく、部分的に、有線または無線ネットワークによってアクセス可能なネットワーク化された記憶場所（例えば、クラウドシステム内）に常駐してもよい。姿勢プロセス９１０が、ウェアラブルコンピューティングアーキテクチャ（例えば、処理モジュール２６０またはコントローラ４６０）上で実行され、ウェアラブルコンピューティングハードウェアまたはユーザの位置および配向を判定するために、マップからのデータを利用してもよい。姿勢データは、ユーザが、システムを体験し、その世界内で動作するにつれて、オンザフライで収集されたデータから算出されてもよい。データは、実または仮想環境内のオブジェクトに関する画像、センサ（概して、加速度計およびジャイロスコープコンポーネントを備える、慣性測定ユニット等）からのデータ、および表面情報を備えてもよい。
大まかな点表現は、同時場所特定およびマッピング（入力が画像／視覚のみである構成を指す、ＳＬＡＭまたはＶ−ＳＬＡＭ）プロセスの出力であってもよい。システムは、世界内の種々のコンポーネントの場所だけではなく、世界が成っているものを見出すように構成されることができる。姿勢は、マップを埋めることおよびマップからのデータを使用することを含め、多くの目標を達成する、構築ブロックであってもよい。
一実施形態では、大まかな点位置は、それ自体では完全に適正であり得ず、さらなる情報が、多焦点ＡＲ、ＶＲ、またはＭＲ体験を生成するために必要とされ得る。概して深度マップ情報を指す、稠密表現が、少なくとも部分的に、本間隙を充填するために利用されてもよい。そのような情報は、立体視９４０と称されるプロセスから算出されてもよく、深度情報は、三角測量または飛行時間感知等の技法を使用して判定される。画像情報およびアクティブパターン（アクティブプロジェクタを使用して生成される赤外線パターン等）が、立体視プロセス９４０への入力としての役割を果たし得る。有意な量の深度マップ情報が、ともに融合されてもよく、このうちのいくつかは、表面表現を用いて要約されてもよい。例えば、数学的に定義可能な表面は、ゲームエンジンのような他の処理デバイスへの効率的（例えば、大規模点クラウドと比較して）かつ摘要可能な入力であってもよい。したがって、立体視プロセス（例えば、深度マップ）９４０の出力は、融合プロセス９３０において組み合わせられてもよい。姿勢は、同様に、本融合プロセス９３０への入力であってもよく、融合９３０の出力は、マッププロセス９２０を埋めるための入力となる。サブ表面が、トポグラフィマッピング等において相互に接続し、より大きい表面を形成してもよく、マップは、点および表面の大規模ハイブリッドとなる。
複合現実プロセス９６０における種々の側面を解決するために、種々の入力が、利用されてもよい。例えば、図９に描写される実施形態では、ゲームパラメータは、システムのユーザが１匹またはそれを上回るモンスタと種々の場所においてモンスタバトルゲームをプレーしていること、モンスタが死んでいる、種々の条件下で逃げている（ユーザがモンスタを撃つ場合等）、種々の場所における壁または他のオブジェクト、および同等物を判定するための入力であってもよい。世界マップは、複合現実に対する別の有用な入力となる、そのようなオブジェクトが相互に対して存在する場所に関する情報を含んでもよい。世界に対する姿勢は、同様に、入力となり、ほぼあらゆる双方向システムに対して重要な役割を果たす。
ユーザからの制御または入力は、ウェアラブルシステム９００への別の入力である。本明細書に説明されるように、ユーザ入力は、視覚的入力、ジェスチャ、トーテム、オーディオ入力、感覚入力等を含むことができる。動き回るまたはゲームをプレーするために、例えば、ユーザは、ウェアラブルシステム９００に、何をしたいかに関して命令する必要があり得る。空間内で自ら移動するだけではなく、利用され得る種々の形態のユーザ制御が、存在する。一実施形態では、トーテム（例えば、ユーザ入力デバイス）、または玩具銃等のオブジェクトが、ユーザによって保持され、システムによって追跡されてもよい。システムは、好ましくは、ユーザがアイテムを保持していることを把握し、ユーザがアイテムと行っている相互作用の種類を理解するように構成されるであろう（例えば、トーテムまたはオブジェクトが、銃である場合、システムは、場所および配向だけではなく、ユーザが、そのようなアクティビティがカメラのいずれかの視野内にないときでも、何が起こっているかの判定を補助し得る、ＩＭＵ等のセンサを装備し得る、トリガまたは他の感知ボタンまたは要素をクリックしているかどうかも理解するように構成されてもよい。）
手のジェスチャ追跡または認識もまた、入力情報を提供してもよい。ウェアラブルシステム９００は、ボタン押下のため、左または右、停止、握持、保持等をジェスチャするために、手のジェスチャを追跡および解釈するように構成されてもよい。例えば、１つの構成では、ユーザは、非ゲーム環境において電子メールまたはカレンダを通してフリップする、または別の人物または演奏者と「フィストバンプ」を行うことを所望し得る。ウェアラブルシステム９００は、動的であり得る、またはそうではない場合がある、最小量の手のジェスチャを活用するように構成されてもよい。例えば、ジェスチャは、停止を示すために手を広げる、ＯＫを示すために親指を上げる、ＯＫではないことを示すために親指を下げる、または指向性コマンドを示すために左右または上下に手をフリップする等、単純な静的ジェスチャであってもよい。
眼追跡は、別の入力である（例えば、ユーザが見ている場所を追跡し、ディスプレイ技術を制御し、具体的深度または範囲においてレンダリングする）。一実施形態では、眼の輻輳・開散運動が、三角測量を使用して判定されてもよく、次いで、その特定の人物のために開発された輻輳・開散運動／遠近調節モデルを使用して、遠近調節が、判定されてもよい。
カメラシステムに関して、図９に示される例示的ウェアラブルシステム９００は、３つの対のカメラ、すなわち、ユーザの顔の両側に配列される相対的広ＦＯＶまたは受動ＳＬＡＭ対のカメラと、ユーザの正面に配向され、立体視イメージングプロセス９４０をハンドリングし、また、ユーザの顔の正面の手のジェスチャおよびトーテム／オブジェクトの軌道を捕捉するための異なる対のカメラとを含むことができる。ステレオプロセス９４０に対するＦＯＶカメラおよび対のカメラは、外向きに面したイメージングシステム４６４（図４に示される）の一部であってもよい。ウェアラブルシステム９００は、眼ベクトルおよび他の情報を三角測量するために、ユーザの眼に向かって配向される眼追跡カメラ（図４に示される内向きに面したイメージングシステム４６２の一部であってもよい）を含むことができる。ウェアラブルシステム９００はまた、１つまたはそれを上回るテクスチャ化光プロジェクタ（赤外線（ＩＲ）プロジェクタ等）を備え、テクスチャを場面の中に投入してもよい。
図１０は、ウェアラブルシステムへのユーザ入力を判定するための方法１０００の実施例のプロセスフロー図である。本実施例では、ユーザは、トーテムと相互作用してもよい。ユーザは、複数のトーテムを有してもよい。例えば、ユーザは、ソーシャルメディアアプリケーションのための指定される１つのトーテム、ゲームをプレーするための別のトーテム等を有してもよい。ブロック１０１０では、ウェアラブルシステムは、トーテムの運動を検出してもよい。トーテムの移動は、外向きに面したシステムを通して認識されてもよい、またはセンサ（例えば、触知グローブ、画像センサ、手トラックデバイス、眼追跡カメラ、頭部姿勢センサ等）を通して検出されてもよい。
少なくとも部分的に、検出されたジェスチャ、眼姿勢、頭部姿勢、またはトーテムを通した入力に基づいて、ウェアラブルシステムは、ブロック１０２０において、基準フレームに対するトーテム（またはユーザの眼または頭部またはジェスチャ）の位置、配向、および／または移動を検出する。基準フレームは、それに基づいてウェアラブルシステムがトーテム（またはユーザ）の移動をアクションまたはコマンドに変換する、マップ点のセットであってもよい。ブロック１０３０では、トーテムとのユーザの相互作用が、マッピングされる。基準フレーム１０２０に対するユーザ相互作用のマッピングに基づいて、システムは、ブロック１０４０において、ユーザ入力を判定する。
例えば、ユーザは、トーテムまたは物理的オブジェクトを前後に移動させ、仮想ページを捲り、次のページに移動する、または１つのユーザインターフェース（ＵＩ）ディスプレイ画面から別のＵＩ画面に移動することを示してもよい。別の実施例として、ユーザは、ユーザのＦＯＲ内の異なる実または仮想オブジェクトを見るために、その頭部または眼を移動させてもよい。特定の実または仮想オブジェクトにおけるユーザの視線が、閾値時間より長い場合、その実または仮想オブジェクトは、ユーザ入力として選択されてもよい。いくつかの実装では、ユーザの眼の輻輳・開散運動が、追跡されることができ、遠近調節／輻輳・開散運動モデルが、ユーザが合焦している深度平面に関する情報を提供する、ユーザの眼の遠近調節状態を判定するために使用されることができる。いくつかの実装では、ウェアラブルシステムは、レイキャスティング技法を使用して、ユーザの頭部姿勢または眼姿勢の方向に沿っている実または仮想オブジェクトを判定することができる。種々の実装では、レイキャスティング技法は、実質的に殆ど横幅を伴わない細い光線束を投じる、または実質的横幅を伴う光線（例えば、円錐または円錐台）を投じることを含むことができる。
ユーザインターフェースは、本明細書に説明されるようなディスプレイシステム（図２におけるディスプレイ２２０等）によって投影されてもよい。それはまた、１つまたはそれを上回るプロジェクタ等の種々の他の技法を使用して表示されてもよい。プロジェクタは、画像をキャンバスまたは球体等の物理的オブジェクト上に投影してもよい。ユーザインターフェースとの相互作用は、システムの外部またはシステムの一部の１つまたはそれを上回るカメラを使用して（例えば、内向きに面したイメージングシステム４６２または外向きに面したイメージングシステム４６４を使用して）追跡されてもよい。
図１１は、仮想ユーザインターフェースと相互作用するための方法１１００の実施例のプロセスフロー図である。方法１１００は、本明細書に説明されるウェアラブルシステムによって行われてもよい。
ブロック１１１０では、ウェアラブルシステムは、特定のＵＩを識別してもよい。ＵＩのタイプは、ユーザによって与えられてもよい。ウェアラブルシステムは、特定のＵＩがユーザ入力（例えば、ジェスチャ、視覚的データ、オーディオデータ、感覚データ、直接コマンド等）に基づいてポピュレートされる必要があることを識別してもよい。ブロック１１２０では、ウェアラブルシステムは、仮想ＵＩのためのデータを生成してもよい。例えば、ＵＩの境界、一般的構造、形状等と関連付けられたデータが、生成されてもよい。加えて、ウェアラブルシステムは、ウェアラブルシステムがユーザの物理的場所に関連してＵＩを表示し得るように、ユーザの物理的場所のマップ座標を判定してもよい。例えば、ＵＩが、身体中心である場合、ウェアラブルシステムは、リングＵＩがユーザの周囲に表示され得る、または平面ＵＩが壁上またはユーザの正面に表示され得るように、ユーザの物理的立ち位置、頭部姿勢、または眼姿勢の座標を判定してもよい。ＵＩが、手中心の場合、ユーザの手のマップ座標が、判定されてもよい。これらのマップ点は、ＦＯＶカメラ、感覚入力を通して受信されたデータ、または任意の他のタイプの収集されたデータを通して導出されてもよい。
ブロック１１３０では、ウェアラブルシステムは、データをクラウドからディスプレイに送信してもよい、またはデータは、ローカルデータベースからディスプレイコンポーネントに送信されてもよい。ブロック１１４０では、ＵＩは、送信されたデータに基づいて、ユーザに表示される。例えば、ライトフィールドディスプレイは、仮想ＵＩをユーザの眼の一方または両方の中に投影することができる。いったん仮想ＵＩが生成されると、ウェアラブルシステムは、ブロック１１５０において、単に、ユーザからのコマンドを待機し、より多くの仮想コンテンツを仮想ＵＩ上に生成してもよい。例えば、ＵＩは、ユーザの身体の周囲の身体中心リングであってもよい。ウェアラブルシステムは、次いで、コマンド（ジェスチャ、頭部または眼移動、ユーザ入力デバイスからの入力等）を待機してもよく、認識される場合（ブロック１１６０）、コマンドと関連付けられた仮想コンテンツが、ユーザに表示されてもよい（ブロック１１７０）。実施例として、ウェアラブルシステムは、複数のステムトラックをミックスする前に、ユーザの手のジェスチャを待機してもよい。
ＡＲシステム、ＵＩ、およびユーザ体験（ＵＸ）の付加的実施例は、米国特許公開第２０１５／００１６７７７号（参照することによってその全体として本明細書に組み込まれる）に説明されている。
（動眼視野（ＦＯＲ）および視野（ＦＯＶ）内の例示的オブジェクト）
図１２は、視野（ＦＯＶ）内の仮想オブジェクトおよび動眼視野（ＦＯＲ）内の仮想オブジェクトの実施例を図式的に図示する。図４を参照して議論されるように、ＦＯＲは、ウェアラブルシステムを介してユーザによって知覚可能なユーザの周囲の環境の一部を備える。図１２では、ＦＯＲ１２００は、ウェアラブルシステムを介して、ユーザによって知覚され得る、オブジェクトのグループ（例えば、１２１０、１２２０、１２３０、１２４２、および１２４４）を含有することができる。ユーザのＦＯＲ１２００内のオブジェクトは、仮想および／または物理的オブジェクトであってもよい。例えば、ユーザのＦＯＲ１２００は、椅子、ソファ、壁等の物理的オブジェクトを含んでもよい。仮想オブジェクトは、例えば、削除されたファイルのためのゴミ箱、コマンドを入力するための端末、ファイルまたはディレクトリにアクセスするためのファイルマネージャ、アイコン、メニュー、オーディオまたはビデオストリーミングのためのアプリケーション、オペレーティングシステムからの通知等のオペレーティングシステムオブジェクトを含んでもよい。仮想オブジェクトはまた、例えば、アバタ、ゲーム内の仮想オブジェクト、グラフィックまたは画像等、アプリケーション内のオブジェクトを含んでもよい。いくつかの仮想オブジェクトは、オペレーティングシステムオブジェクトおよびアプリケーション内のオブジェクトの両方であることができる。いくつかの実施形態では、ウェアラブルシステムは、仮想要素を既存の物理的オブジェクトに追加することができる。例えば、ウェアラブルシステムは、部屋内のテレビと関連付けられた仮想メニューを追加してもよく、仮想メニューは、ユーザに、ウェアラブルシステムを使用して、テレビをオンにする、またはチャンネルを変更するためのオプションを与えてもよい。
仮想オブジェクトは、３次元（３Ｄ）、２次元（２Ｄ）、または１次元（１Ｄ）オブジェクトであってもよい。例えば、図１６に図式的に図示されるように、仮想オブジェクトは、３Ｄコーヒーマグカップ１６３６（物理的コーヒーメーカーのための仮想制御を表してもよい）であってもよい。仮想オブジェクトはまた、掛け時計１６３４（ユーザの現在の時間を表示する）の２Ｄグラフィカル表現であってもよい。いくつかの実装では、１つまたはそれを上回る仮想オブジェクトは、別の仮想オブジェクト内に表示されてもよい（またはそれと関連付けられる）。例えば、図１３を参照すると、仮想コーヒーマグカップ１６３６は、ユーザインターフェース平面１５１４の内側に示されるが、仮想コーヒーマグカップは、本２Ｄ平面仮想空間内に３Ｄであるように現れる。
ユーザのＦＯＲ内のオブジェクトは、図９を参照して説明されるような世界マップの一部であることができる。オブジェクトと関連付けられたデータ（例えば、場所、意味情報、性質等）が、例えば、アレイ、リスト、ツリー、ハッシュ、グラフ等の種々のデータ構造内に記憶されることができる。各記憶されたオブジェクトのインデックスは、適用可能である場合、例えば、オブジェクトの場所によって判定されてもよい。例えば、データ構造は、基準位置からのオブジェクトの距離等の単一座標によって、オブジェクトをインデックス化してもよい（例えば、基準位置の左または右までの距離、基準位置の上部または底部からの距離、または基準位置からの深度）。基準位置は、ユーザの位置（ユーザの頭部の位置等）に基づいて判定されてもよい。基準位置はまた、ユーザの環境内の仮想または物理的オブジェクト（標的相互作用可能オブジェクト等）の位置に基づいて判定されてもよい。このように、ユーザの環境内の３Ｄ空間は、２Ｄユーザインターフェースの中に畳み込まれてもよく、仮想オブジェクトは、基準位置からのオブジェクトの距離に従って配列される。
ＦＯＲ１２００内では、ユーザが所与の時間に知覚する世界の部分は、ＦＯＶ１２５０と称される（例えば、ＦＯＶ１２５０は、ユーザが現在見ているＦＯＲの部分を包含してもよい）。図１２では、ＦＯＶ１２５０は、破線１２５２によって図式的に図示される。ウェアラブルシステムのユーザは、オブジェクト１２４２、オブジェクト１２４４、およびオブジェクト１２３０の一部等、ＦＯＶ１２５０内の複数のオブジェクトを知覚することができる。ＦＯＶは、ウェアラブルデバイスのディスプレイのサイズまたは光学特性に依存することができる。例えば、ＡＲディスプレイは、ユーザがディスプレイの特定の部分を通して見るとき、ＡＲ機能性のみを提供する、光学を含んでもよい。ＦＯＶ１２５０は、例えば、スタックされた導波管アセンブリ４８０（図４）または平面導波管６００（図６）等、ＡＲディスプレイを通して見ているとき、ユーザによって知覚可能な立体角に対応してもよい。
ユーザの姿勢（例えば、頭部姿勢または眼姿勢）が変化するにつれて、ＦＯＶ１２５０も、対応して、変化し、ＦＯＶ１２５０内のオブジェクトもまた、変化し得る。例えば、マップ１２１０は、最初に、図１２では、ユーザのＦＯＶの外側にある。ユーザが、マップ１２１０に向かって見る場合、マップ１２１０は、ユーザのＦＯＶ１２５０の中に移動してもよく、（例えば）オブジェクト１２３０は、ユーザのＦＯＶ１２５０の外側に移動してもよい。本明細書に説明されるであろうように、ウェアラブルシステムは、ＦＯＲ１２００内のオブジェクトおよびＦＯＶ１２５０内のオブジェクトを追跡してもよい。
（相互作用可能オブジェクトの実施例）
図１２では、ユーザは、ユーザのＦＯＲ１２００内のオブジェクトのサブセットと相互作用することができる。本オブジェクトのサブセットは、時として、相互作用可能オブジェクトと称され得る。いくつかの実装では、相互作用可能オブジェクトは、ユーザの環境内の全てのオブジェクト（仮想および物理的）を包含してもよい一方、他の実装では、相互作用可能オブジェクトは、ユーザの環境内のオブジェクトの一部のみを含んでもよい。
ウェアラブルシステムは、ユーザのＦＯＶ１２５０内にある、相互作用可能オブジェクトのサブグループ（例えば、１２４２、１２４４、および１２３０）を識別することができる。ＦＯＶ内の相互作用可能オブジェクトのサブグループは、ユーザが現在それらを知覚しており、それらを選択する（例えば、それらを移動させる、それらをアクティブ化する、それらについての情報を得る等）ことができるため、時として、選択可能オブジェクトとも称される。本明細書に議論されるように、ユーザがその身体、頭部、または眼を移動させると、ユーザのＦＯＶは、変化することができる。一般に、いくつかのオブジェクトは、ＦＯＶ内に留まり、いくつかのオブジェクトは、ＦＯＶの内側から外側に移動し（もはや選択可能ではない）、ＦＯＶの外側にあった他のオブジェクトは、ＦＯＶの中に移動する（選択可能なる）であろう。それに応じて、ウェアラブルシステムは、ユーザの身体、頭部、または眼姿勢に基づいて、ＦＯＶ内の相互作用可能オブジェクトのサブグループを更新することができる。
ウェアラブルシステムは、ユーザのＦＯＶ内の標的相互作用可能オブジェクトを識別してもよい。標的相互作用可能オブジェクトは、ユーザが相互作用することを所望するオブジェクトまたはウェアラブルシステムがユーザが相互作用するであろうことを予期するオブジェクト（例えば、ユーザが見ている相互作用可能オブジェクトまたはユーザのＦＯＶの中心の最近傍の相互作用可能オブジェクト）であってもよい。標的相互作用可能オブジェクトは、オブジェクトの場所、ユーザの選好、またはユーザの姿勢等、種々のルールを使用して識別されることができる。例えば、ウェアラブルシステムは、ＦＯＶの中心に最も近いオブジェクトを標的相互作用可能オブジェクトであると選定することができる。ウェアラブルシステムはまた、ユーザのＦＯＶ内の最左オブジェクトまたは最右オブジェクトを標的相互作用可能オブジェクトであると選定することができる。別の実施例として、ウェアラブルシステムは、単独で、またはＩＭＵと組み合わせて、内向きに面したイメージングシステム４６２（図４に示される）を使用して、ユーザの視線の方向を判定することができる。ウェアラブルシステムは、ユーザの視線の方向と衝突するオブジェクトを標的相互作用可能オブジェクトとして識別することができる。
いくつかの実装では、ＡＲシステムは、相互作用可能オブジェクトの法線がユーザに面するように、標的相互作用可能オブジェクトを自動的に配向することができる。例えば、仮想ＴＶ画面は、最初に、部屋の天井に向かって上向きに面してもよい。いったんＡＲシステムが、ユーザが仮想ＴＶ画面に向かって見ていることを判定すると、ＡＲシステムは、仮想ＴＶ画面がユーザに面するように、仮想ＴＶ画面を自動的に回転させることができる。
（焦点インジケータの実施例）
ウェアラブルシステムは、ユーザが標的相互作用可能オブジェクトをより容易に知覚することができるように、焦点インジケータを標的相互作用可能オブジェクトに割り当ててもよい。焦点インジケータは、ユーザに表示されることができる。例えば、焦点インジケータは、後光、色、知覚されるサイズまたは深度の変化（例えば、選択されたときに標的オブジェクトをより近くにおよび／またはより大きく現せさせる）、またはユーザの注意を引き出す他の視覚的効果を備えることができる。焦点インジケータはまた、振動、リングトーン、ビープ等の可聴または触知効果を含むことができる。
いくつかの実施形態では、ウェアラブルシステムは、最初に、本明細書に説明されるルールに基づいて、オブジェクトを標的相互作用可能オブジェクトとして識別し、ユーザの姿勢における変化に基づいて、標的相互作用可能オブジェクトを別のオブジェクトに変更してもよい。その結果、焦点インジケータは、ユーザがその姿勢を変化させるにつれて、１つのオブジェクトから他のオブジェクトに移動してもよい。
ウェアラブルシステムはまた、ユーザの現在の位置に対応する、カーソルを表示してもよい。カーソルは、幾何学的円錐、光線のビーム、十字線、矢印、卵形、円形、多角形、または他の１Ｄ、２Ｄ、または３Ｄ形状等の種々の形状をとってもよい。カーソルは、焦点インジケータと同一形態で提示されてもよい。例えば、カーソルは、焦点インジケータと同一の視覚的効果、オーディオ効果、または触知効果を有してもよい。実施例として、カーソルは、ユーザの頭部位置に対応する、十字線であってもよい。別の実施例として、カーソルは、ユーザ入力デバイスと関連付けられた現在の位置に対応する、矢印の形状を有してもよい。ユーザがその姿勢を変化させる、またはユーザ入力デバイスを作動させるにつれて、カーソルは、それに応じて移動することができる。カーソルは、ユーザが移動するにつれて、１つまたはそれを上回るオブジェクトまたはユーザの環境内の空空間を指示してもよい。例えば、図１６を参照すると、ＡＲシステムは、位置１６２０から位置１６２４または位置１６２２から位置１６２０等、仮想ユーザインターフェース１５１４上のカーソルを移動させることができる。
ウェアラブルシステムは、焦点インジケータに加え、またはその代替として、カーソルを提示することができる。例えば、図１５では、ウェアラブルシステムは、十字線（ユーザの視線の方向に対応することができる）を表示するか、または薄青色後光を焦点インジケータとして提供するかのいずれか、または両方を仮想オブジェクト１５１４上で行うことができる。いくつかの実装では、カーソルは、焦点インジケータの実施形態である。例えば、ユーザが仮想オブジェクトを見つめているとき、ウェアラブルシステムは、仮想オブジェクトの周囲の後光、十字線オブジェクト、またはオブジェクト上の矢印を提示してもよい。これらの視覚的インジケーションは、ユーザが相互作用することに関心がある標的オブジェクトおよびユーザの現在の位置の両方を表してもよい。
（相互作用可能オブジェクトとの例示的相互作用）
ユーザは、ウェアラブルシステムを通して、ユーザのＦＯＲ１２００内の相互作用可能オブジェクト、特に、ユーザの現在のＦＯＶ１２５０内の相互作用可能オブジェクトと相互作用することができる。例えば、仮想オブジェクト１２３０は、経時的に株価の変化を示す、グラフであってもよい。仮想オブジェクト１２３０を選択することによって、ユーザは、仮想オブジェクト１２３０と相互作用し、例えば、株価情報を得る、株を購入または販売する、企業についての情報を得る等を行ってもよい。これらの相互作用を行うために、ウェアラブルシステムは、ユーザが種々のアクション（例えば、株価情報を得る）を行うことを可能にすることができる、仮想オブジェクトと関連付けられたメニュー、ツールバー等を表示してもよい。
ユーザは、例えば、オブジェクトを選択する、オブジェクトを移動させる、オブジェクトと関連付けられたメニューまたはツールバーを開く、または新しい選択可能オブジェクトのセットを選定する等によって、種々の技法を使用してそのＦＯＶ内のオブジェクトと相互作用することができる。ユーザは手のジェスチャを使用して、オブジェクトと相互作用し、例えば、マウスをクリックする、タッチパッド上でタップする、タッチスクリーン上でスワイプする、容量ボタン上にかざす、または触れる、キーボードまたはゲームコントローラ上（例えば、５方向Ｄパッド）のキーを押下する、ジョイスティック、ワンド、またはトーテムをオブジェクトに向かって指示する、リモコン上のボタンを押下する、またはユーザ入力デバイスとの他の相互作用等によって、ユーザ入力デバイス（例えば、図４におけるユーザ入力デバイス４６６参照）を作動させてもよい。ユーザはまた、例えば、ある時間周期にわたってオブジェクトを注視する、または腕を用いて指示する、足をタップする、閾値時間間隔の間、ある回数にわたって眼を瞬きさせる等、頭部、眼、手、足、または他の身体姿勢を使用して、相互作用可能オブジェクトと相互作用してもよい。ユーザ入力デバイス上での手のこれらのジェスチャおよびユーザの姿勢は、ＡＲシステムに、例えば、ユーザインターフェース動作が行われる（標的相互作用可能オブジェクトと関連付けられたメニューが表示される、ゲーム内のアバタ上でゲーム動作が行われる等）、選択イベントを開始させることができる。
選択イベントの開始に応じて、ＡＲシステムは、本明細書に説明されるルールを使用して、焦点インジケータをユーザのＦＯＶ内の標的相互作用可能オブジェクトに割り当てることができる。例えば、図１２では、ＡＲシステムは、ＦＯＶの中央点に最も近いため、焦点インジケータをオブジェクト１２４４に割り当ててもよい。
選択イベントの間、ユーザは、本明細書に説明される種々の手のジェスチャを使用して、標的相互作用可能オブジェクトを変更することができる。例えば、図１２では、ユーザは、タッチスクリーン上で左向きにスワイプさせることができ、これは、ＡＲシステムに、標的相互作用可能オブジェクトをオブジェクト１２４４からオブジェクト１２３０に変更させることができる。ＡＲシステムはまた、それに応じて、可視焦点インジケータをオブジェクト１２４４からオブジェクト１２３０に移行することができる。
いくつかの実装では、手のジェスチャは、ＡＲシステムに、ユーザのＦＯＶ内の選択可能オブジェクトのリストを更新させてもよい。例えば、図１２では、ユーザが、右向きにスワイプすると、ＡＲシステムは、オブジェクト１２１０をユーザのＦＯＶの中に移動させ、オブジェクト１２３０をユーザのＦＯＶから移動させることができる。ＡＲシステムはまた、選択可能オブジェクトの新しいグループに基づいて、標的相互作用可能オブジェクトを更新してもよい。例えば、オブジェクト１２１０がＦＯＶの中に移動された後、システムは、標的相互作用可能オブジェクトをオブジェクト１２４４からオブジェクト１２４２に変更してもよい。
ユーザは、本明細書で議論される手のジェスチャまたは姿勢を使用して、標的相互作用可能オブジェクトの選択を確認することができる。標的相互作用可能オブジェクトの選択を確認するユーザのアクションは、選択イベントを開始するために使用されたものと同一または異なるアクションであってもよい。ＡＲシステムは、ユーザが選択を確認するとき、例えば、焦点インジケータの色、明るさ、または形状を変更することによって、焦点インジケータを変化させてもよい。
ユーザは、標的相互作用可能オブジェクト上で一連のユーザインターフェース動作の選択を行うことができる。これらの動作は、時として、相互作用イベントと称され得る。相互作用イベントは、例えば、相互作用可能オブジェクトのサイズ調整、相互作用可能オブジェクトのメニューの表示、メニューのブラウジング、メニュー上でのアイテムの選択、アイテムの検索、ゲームのプレー、ビデオの鑑賞、電話会議の実施、標的相互作用可能オブジェクトのプレビュー等を備えることができる。相互作用イベントは、選択イベントと並行して、または連続して、生じてもよい。いくつかの実装では、相互作用イベントは、選択イベントの一部であってもよい。
いくつかの実施形態では、いったん選択イベントが開始されると、ウェアラブルシステムは、ユーザのＦＯＶが選択イベントが開始された後も変化する場合でも、ウェアラブルシステムがユーザのＦＯＶ内の選択可能オブジェクトのグループの更新を停止するであろうように、ユーザのＦＯＶを「ロック」してもよい。いくつかの実装では、ユーザは、依然として、ユーザ入力デバイスの作動または姿勢の変化を通して、焦点インジケータをユーザのＦＯＶ内の選択可能オブジェクト間で移行させることができる。
選択イベントは、ユーザ入力またはウェアラブルシステムとの他の相互作用によって終了されることができる。例えば、選択イベントは、標的相互作用可能オブジェクトの選択を確認する、相互作用イベントを開始する、ユーザ入力デバイスを作動させ、選択イベントを終了する、選択イベントを終了する効果を有する、頭部または身体姿勢における変化を判定する等によって、終了されることができる。
（手のジェスチャを使用した３Ｄ空間内の仮想オブジェクトの選択の実施例）
ユーザは、ユーザ入力デバイスを作動させることによって、相互作用可能オブジェクトを標的化および選択してもよい。図１３Ａは、ユーザ入力デバイス１３００のタッチスクリーン１３１０上のタッチジェスチャを用いた相互作用可能オブジェクトの選択の実施例である。ユーザ入力デバイスは、図４に示されるユーザ入力デバイス４６６の実施形態であってもよい。タッチジェスチャは、ウェアラブルシステムをトリガし、焦点インジケータをユーザのＦＯＶ内の標的相互作用可能オブジェクトに割り当てることができる。タッチジェスチャもまた、単独で、または組み合わせて、ウェアラブルシステムに、選択イベントを開始させる、相互作用イベントを開始させる、選択イベントを終了させる、相互作用イベントを終了させる、標的相互作用可能オブジェクトの選択を確認させる等を行わせることができる。
図１３Ｂは、ユーザ入力デバイス上での手のジェスチャを用いた選択可能オブジェクトのフィルタ処理の実施例である。ユーザは、ユーザ入力デバイス１３００上の経路に沿ってスワイプしてもよい。例えば、図１３Ｂにおける矢印１３１４によって示されるように、ユーザは、タッチスクリーン１３１０上の右に向かって経路に沿ってスワイプしてもよい。任意のタイプの経路が、使用されることができる（例えば、入力デバイスに対して水平、垂直、対角線、または他の軌道）、または任意のタイプの方向が、使用されることができる（例えば、左または右、上または下等）。
スワイプジェスチャは、ウェアラブルシステムに、可視焦点インジケータを１つのオブジェクトから他のオブジェクトに移動させることができる。図１２に示される実施例を参照すると、ユーザが、右向きにスワイプすると（図１３Ｂにおける実施例に示されるように）、ＡＲシステムは、焦点インジケータをオブジェクト１２４４からオブジェクト１２４２に移行することができる。いくつかの実施形態では、スワイプジェスチャは、ＡＲシステムに、ユーザのＦＯＶ内の選択可能オブジェクトのリストを更新させることができる。例えば、ユーザが右向きスワイプすると、ＡＲシステムは、オブジェクト１２１０をユーザのＦＯＶの中に移動させ、オブジェクト１２３０をユーザのＦＯＶから移動させることができる。可視焦点インジケータを受信するオブジェクトはまた、それに応じて更新されることができる（例えば、オブジェクト１２４４から１２４２に）。
スワイプジェスチャは、タッチジェスチャ（図１３Ａを参照して説明される）および頭部姿勢（図１４を参照して説明される）と組み合わせて使用され、ＦＯＲまたはＦＯＶ内の３Ｄ仮想オブジェクトをフィルタ処理および選択してもよい。本明細書に議論されるように、ユーザはまた、他のジェスチャまたは移動を使用して、選択可能オブジェクトのセットを変更し、標的相互作用可能オブジェクトを変更してもよい。
（頭部姿勢を使用した３Ｄ空間内の仮想オブジェクトの選択の実施例）
図１４は、頭部姿勢のための座標系の実施例である。頭部１４１０は、複数の自由度を有してもよい。頭部１４１０が異なる方向に向かって移動するにつれて、頭部姿勢は、自然静止方向１４２０に対して変化するであろう。図１４における座標系は、頭部の自然静止状態１４２０に対して頭部姿勢を測定するために使用され得る、３つの角度自由度（例えば、ヨー、ピッチ、およびロール）を示す。図１４に図示されるように、頭部１４１０は、順方向および逆方向に傾斜する（例えば、ピッチ）、左および右に旋回させる（例えば、ヨー）、横方向に傾斜させる（例えば、ロール）ことができる。他の実装では、頭部姿勢を測定するための他の技法または角度表現も、使用されることができ、例えば、任意の他のタイプのオイラー角系である。
ウェアラブルシステムは、本明細書に説明される（図２、４、および７等を参照して）種々のセンサを使用して、ユーザの頭部姿勢を判定することができる。例えば、ウェアラブルシステムは、ＩＭＵまたは内向きに面したイメージングシステムを使用して、ユーザの頭部姿勢または眼姿勢を計算することができる。ウェアラブルシステムは、これらのセンサによって取得されたデータを使用して、標的相互作用可能オブジェクトを識別することができる。例えば、標的相互作用可能オブジェクトは、ユーザの視線の方向と衝突する、オブジェクトであってもよい。ウェアラブルシステムは、標的相互作用可能オブジェクトを識別し、ある方向に向かって延在される視線に基づいて、可視焦点インジケータを標的相互作用可能オブジェクトに割り当てることができる（例えば、焦点インジケータは、ユーザが閾値時間より長くオブジェクトを見ている場合、標的オブジェクトに割り当てられる）。
ウェアラブルシステムは、例えば、選択イベントの間のロール、ヨー、またはピッチ等、頭部姿勢における変化に基づいて、標的相互作用可能オブジェクトとなるオブジェクトを判定および更新することができる。例えば、図１２を参照すると、ユーザが、その頭部１４１０を左向きに旋回させると、標的相互作用可能オブジェクトは、オブジェクト１２４４からオブジェクト１２３０等のその近隣オブジェクトに更新されてもよい。いくつかの実装では、ウェアラブルシステムは、焦点インジケータをオブジェクト１２４４からオブジェクト１２３０に移行して、本更新を反映することができる。
ウェアラブルシステムはまた、頭部姿勢における変化に基づいて、ユーザのＦＯＶ内の選択可能オブジェクトのリストを更新することができる。例えば、ユーザは、頭部１４１０を右向きに旋回させてもよく、これは、ウェアラブルシステムに、オブジェクト１２３０をユーザのＦＯＶから移動させ、オブジェクト１２１０をユーザのＦＯＶ１２５０の中に移動させることができる。標的相互作用可能オブジェクトはまた、本明細書に説明されるルールを使用して、それに応じて更新されることができる。
ユーザは、頭部姿勢または眼姿勢の種々の変化を使用して、複数の平面間で切り替えてもよい。ユーザはまた、頭部姿勢または眼姿勢の変動を使用して、選択イベントを開始する、標的相互作用可能オブジェクトの選択を確認する、相互作用イベントを開始する、相互作用イベントの間、標的相互作用可能オブジェクトと相互作用する、選択イベントを終了する、またはユーザインターフェースと他の相互作用を行ってもよい。
いくつかの実装では、ウェアラブルシステムは、ユーザがその深度平面においてのみ仮想オブジェクトと相互作用し得るように、ある深度平面をユーザの頭部移動に関連付けることができる。例えば、ウェアラブルシステムは、ユーザの頭部位置に対応するカーソル（例えば、十字線）をある深度平面に設定することができる。その結果、ユーザが、その頭部を移動させるにつれて、カーソルは、設定された深度平面内で移行され、ユーザは、他の仮想オブジェクトが異なる深度平面に存在する場合でも、設定された深度平面におけるオブジェクト間で選択することができる。いくつかの実装では、深度平面は、仮想ユーザインターフェースを伴ってもよい。ウェアラブルシステムは、ユーザが標的ユーザインターフェース平面内の仮想オブジェクトと相互作用し得るように、十字線を標的仮想ユーザインターフェースの深度平面に設定することができる。
（頭部姿勢とユーザ入力デバイス上での手のジェスチャの組み合わせを用いた例示的相互作用）
ユーザはまた、ユーザの姿勢とユーザの手のジェスチャの組み合わせを使用して、仮想オブジェクトを選択することができる。実施例として、ユーザは、ユーザのＦＯＶ内の仮想オブジェクトのグループを知覚することができる。本仮想オブジェクトのグループは、本明細書に説明される選択可能オブジェクトの実施形態であってもよい。仮想オブジェクトのグループは、図２、４−６を参照して説明されるライトフィールドディスプレイを使用して提示されてもよい。ライトフィールドディスプレイは、いくつかの仮想オブジェクトが別の仮想オブジェクトの正面に現れ得るように、異なる深度平面における仮想オブジェクトをユーザに投影することができる。
ウェアラブルシステムは、現在ユーザのＦＯＶ内にある、仮想オブジェクトのアレイを維持することができる。ウェアラブルシステムは、ユーザの環境内の仮想オブジェクトの位置を仮想オブジェクトのためのアレイインデックスとして使用してもよい。例えば、ウェアラブルシステムは、ｘ−ｙ−ｚ座標（例えば図６に示される、ｘ−ｙ−ｚ座標）内の仮想オブジェクトのｙ−値をオブジェクトのためのアレイインデックスとして使用することができる。他の実施形態では、ウェアラブルシステムは、単独で、またはｙ−値と組み合わせて、ｘ−値またはｚ−値を使用して、仮想オブジェクトのアレイインデックスを判定することができる。
ユーザが、その頭部またはその視線の方向を移動させるにつれて、ユーザのＦＯＶ内に現れる仮想オブジェクトのグループは、変化してもよい。ウェアラブルシステムはまた、それに応じて、アレイを更新することができる。いくつかの実装では、ウェアラブルシステムは、ユーザが選択イベントを開始すると、アレイを使用して、仮想オブジェクトをユーザのＦＯＲ内に維持し、ＦＯＶ内の仮想オブジェクトのグループを識別することができる。
ユーザは、ユーザ入力デバイスを作動させることによって、選択イベントをユーザのＦＯＶ内の仮想オブジェクト上で開始することができる。選択イベントの開始に応じて、ウェアラブルシステムは、ユーザのＦＯＶ内の仮想オブジェクトの全て（または一部）を含む、ユーザインターフェースを提示することができる。いくつかの実装では、ウェアラブルシステムは、仮想ユーザインターフェースメニュー等の「隠れ仮想オブジェクト」または仮想オブジェクトについてのある情報等を表示することができる。「隠れ仮想オブジェクト」は、選択イベントの開始に応じて知覚可能になってもよいが、選択イベンの開始に先立って、またはその後、隠されている。
いくつかの実施形態では、選択イベントの開始に応じて、ウェアラブルシステムは、ユーザのＦＯＶ内の仮想オブジェクトの位置を変化させてもよい。例えば、ウェアラブルシステムは、全ての仮想オブジェクトが実質的に同一深度平面に現れるように、遠隔オブジェクトをユーザにより近づける、または近傍オブジェクトをユーザから離れるように移動させることができる。いくつかの実装では、ウェアラブルシステムは、仮想オブジェクトがユーザのＦＯＶのサイズに適合し得るように、仮想オブジェクトのサイズを変化（増加または減少）させることができる。加えて、または代替として、ウェアラブルシステムは、仮想オブジェクトの一部（仮想電子メールアプリケーションのコンテンツの代わりに、アイコンを示す等）をユーザに示すことができる。
ウェアラブルシステムはまた、選択イベントの開始に応じて、ユーザのＦＯＶ内の仮想オブジェクトを複数の深度平面の中にまとめることができる。各深度平面は、仮想ユーザインターフェースと関連付けられてもよい。
ウェアラブルシステムは、仮想オブジェクトのアレイインデックスを使用して、仮想オブジェクトを１つまたはそれを上回るユーザインターフェース上に配列することができる。例えば、ウェアラブルシステムは、そのｙ−軸値がある範囲内にある仮想オブジェクトを同一ユーザインターフェース上にまとめて提示することができる。加えて、または代替として、ウェアラブルシステムは、ユーザの姿勢に基づいて、仮想オブジェクトを深度平面上に配列することができる。例えば、ユーザの視線の方向における複数の仮想オブジェクトが存在し得る場合、それらがユーザの環境内の異なる深度平面にあるため、ウェアラブルシステムは、選択イベントの開始に応じて、これらの仮想オブジェクトをユーザのＦＯＶの内側に提示する一方、他の仮想オブジェクトをユーザのＦＯＶの外側に設置することができる。ユーザは、図１２および１３を参照して説明される技法を使用して、仮想オブジェクトをＦＯＶの内外に移動させることができる。
ウェアラブルシステムは、標的相互作用可能オブジェクトを識別し、標的相互作用可能オブジェクトを示す焦点インジケータを提示することができる。ウェアラブルシステムは、標的相互作用可能オブジェクトの近傍の仮想オブジェクトを再編成し、ユーザのＦＯＶ内の再編成された仮想オブジェクトを提示することができる。例えば、図１２を参照すると、ウェアラブルシステムは、基準位置（標的相互作用可能オブジェクトの位置等）からの仮想オブジェクトの距離に基づいて、標的相互作用可能オブジェクトの近傍の仮想オブジェクトのグループを識別することができる。ウェアラブルシステムは、アレイインデックスｘ−ｙ−ｚ座標（図６に示される）内の値、または標的相互作用可能オブジェクトからの距離等に基づいて、これらの仮想オブジェクトの位置を再編成することができる。図１２に示されるように、オブジェクト１２４２、１２４４、および１２３０は、ユーザのＦＯＲ内に異なる初期位置を有してもよい。例えば、オブジェクト１２４２は、オブジェクト１２４４より高くに（例えば、ユーザの部屋の天井のより近くに）位置付けられてもよく、オブジェクト１２４４よりユーザから離れてもよい。オブジェクト１２３０の初期位置は、ユーザのＦＯＲ内のオブジェクト１２４４より低くてもよい（例えば、ユーザの部屋の床により近い）。ウェアラブルシステムが、オブジェクト１２４４を標的相互作用可能オブジェクトとして識別すると、ウェアラブルシステムは、ｙ−軸値に基づいて、ユーザの３Ｄ空間を２Ｄユーザインターフェースの中に「畳み込む」ことができ、より大きいｙ−軸値を伴うオブジェクトは、ユーザのＦＯＶの左側に位置付けられる。それに応じて、ＦＯＶ１２５０内では、仮想オブジェクト１２４２は、仮想オブジェクト１２３０の左である、仮想オブジェクト１２４４の左に現れる。他の実施例では、仮想オブジェクトの再編成のための異なる技法が、使用されてもよい。例えば、ＦＯＶ１２５０は、３Ｄ空間内の仮想オブジェクトの２Ｄ投影を示してもよい。図１２に説明されるように、ユーザは、手のジェスチャを使用して、焦点インジケータをＦＯＶ内のオブジェクト間で移行させることができる。ユーザはまた、手のジェスチャを使用して、標的相互作用可能オブジェクトを変更することができ、これは、新しい標的相互作用可能オブジェクトの近傍の仮想オブジェクトの再編成に基づいて、ウェアラブルシステムにＦＯＶ内の仮想オブジェクトの別のセットを提示させ得る。ウェアラブルシステムが、複数のユーザインターフェースを異なる深度平面に提示するように構成される場合、ユーザはまた、手のジェスチャを使用して、複数の深度平面間で焦点インジケータを移行させ、ユーザインターフェースを切り替えることができる。いくつかの実施形態では、ウェアラブルシステムは、仮想オブジェクトがもはやユーザのＦＯＶ内にないとき、再編成に先立って、仮想オブジェクトの位置をそのオリジナル位置に復元してもよい。いくつかの状況では、再編成された仮想オブジェクトを提示する仮想ユーザインターフェースは、ユーザが選択イベントを標的相互作用可能オブジェクト上で開始した後に生成されてもよい。複数のユーザインターフェースとの相互作用に関する付加的詳細はさらに、図１５を参照して説明される。
（コンテキスト情報に基づくユーザ相互作用の実施例）
ウェアラブルシステムは、コンテキスト情報に基づいて、ユーザの相互作用のモード（例えば、姿勢またはユーザ入力デバイス上での手のジェスチャ）を自動的に選択または推奨することができる。コンテキスト情報は、オブジェクトのタイプ（例えば、物理的または仮想）、オブジェクトのレイアウト（例えば、オブジェクトの密度、オブジェクトの場所およびサイズ等）、ユーザの特性、または環境内のオブジェクトとのユーザの現在の相互作用、組み合わせ、または同等物を含むことができる。例えば、レイキャスティング（図１０を参照して説明される）の間、ウェアラブルシステムは、ユーザが相互に近接して位置する複数の仮想オブジェクトを見ていることを検出し得る。ウェアラブルシステムは、ユーザのＦＯＶ内の仮想オブジェクトの密度を計算することができる。密度がある閾値を超えると、ウェアラブルシステムは、ユーザに、ユーザ相互作用のモードを切り替えることを推奨することができる。例えば、密度がある閾値を超える（オブジェクトが相互に非常に近接して位置することを示す）と、ウェアラブルシステムは、オブジェクトとのより精密な相互作用を可能にするように、ユーザ相互作用のモードを頭部姿勢からユーザ入力デバイス上での手のジェスチャに切り替えることができる。別の実施例として、密度がある閾値を下回って降下する（オブジェクトが相互から離れていることを示す）と、ウェアラブルシステムは、ユーザ相互作用のモードをユーザ入力デバイス上での手のジェスチャから頭部姿勢に切り替えることができる。これらの実装は、頭部位置が正確に制御することが困難であり得、ユーザが、その頭部を正確に位置付け、高密度にクラスタ化されたオブジェクトと相互作用しようとするとき、ユーザを疲労させ得るため、特に有利であり得る。一方、ユーザ入力デバイス上での手のジェスチャは、ユーザの位置のより精緻化された制御を提供し得るが、ユーザが、低密度に位置するオブジェクトを選択するために、長距離にわたってその手を移動させる必要があるとき、ユーザを疲労させ得る。
図１５および１６は、コンテキスト情報に基づいたユーザ相互作用のモードの変更の実施例を提供する。図１５は、頭部姿勢を用いた相互作用可能オブジェクトとの相互作用の実施例を図示する。図１６は、ユーザ入力デバイス上での手のジェスチャを用いた相互作用可能オブジェクトとの相互作用の実施例を図示する。図１６に示されるユーザ入力デバイス１６１０は、図４に説明されるユーザ入力デバイス４６６の実施形態であってもよい。
図１５では、ユーザのＦＯＲは、仮想ユーザインターフェース１５１２、１５１４、および１５１６等の相互作用可能オブジェクトを含む。いくつかの実装では、仮想ユーザインターフェース１５１２、１５１４、および１５１６は、他の仮想オブジェクト（１Ｄ、２Ｄ、または３Ｄ）を仮想ユーザインターフェース平面内に含む、平面オブジェクトであってもよい。仮想ユーザインターフェース１５１２、１５１４、および１５１６は、大サイズを有し、相互に隣接して高密度に位置しない。その結果、ウェアラブルシステムは、仮想ユーザインターフェースを選択するために、ユーザがユーザ入力デバイス上で長距離を移動させる必要がないため、頭部移動がユーザ相互作用の最適モードであり得ることを判定してもよい。ウェアラブルシステムは、レイキャスティング技法を使用して、ユーザが仮想ユーザインターフェース１５１４を現在見ていることを識別してもよい。ユーザは、選択イベントを仮想ユーザインターフェース１５１４上で開始し、ユーザインターフェース１５１４内のオブジェクトと相互作用してもよい。図１６に示されるように、仮想ユーザインターフェース１５１４は、例えば、仮想ＴＶ画面１６３２、仮想コーヒーカップ１６３６、仮想掛け時計１６３４、カメラアプリケーション１６５２、天気アプリケーション１６３８、および音楽アプリケーション等、複数の仮想オブジェクトを含むことができる。
（コンテキスト情報に基づくユーザ相互作用のモードの推奨の実施例）
実施例として、図１６では、ウェアラブルシステムは、仮想ＴＶ１６３２、仮想掛け時計１６３４、仮想コーヒーマグカップ１６３６、および天気アプリケーション１６３８間の相対的位置を判定することができる。これらの４つのオブジェクトは、相互に近接するため、ウェアラブルシステムが、ユーザの現在の位置が位置１６２０にあることを判定すると、ウェアラブルシステムは、ユーザに、頭部姿勢から手制御に切り替えることを所望するかどうかのオプションを提示してもよい。
一方、オブジェクト１６５２（カメラアプリケーション）は、他のオブジェクトをその近傍に有していない。それに応じて、ウェアラブルシステムは、ユーザ入力デバイスを使用してオブジェクト１６５２と相互作用するオプションを提供しなくてもよい。しかし、ユーザは、依然として、頭部姿勢および眼姿勢等の姿勢を使用して、オブジェクト１６５２と相互作用してもよい。
ユーザは、ユーザ入力デバイスを使用して、または身体姿勢を変更することによって（頭部の点頭等）、ユーザ相互作用のモードの切替を確認することができる。ユーザ相互作用のモードが、ユーザ入力デバイスに切り替えられると、ユーザは、ユーザ入力デバイス１６１０を作動させ、仮想オブジェクトと相互作用することができる。例えば、ユーザは、ユーザ入力デバイス１６１０上の経路に沿ってスワイプすることができ、これは、カーソルを位置１６２０から位置１６２４に移行させる。同様に、ユーザは、ユーザ入力デバイス１６１０を作動させることができ、これは、カーソル（矢印の形状であってもよい）を位置１６２０から１６２２に移動させる。これらの実施例に加え、ユーザは、ユーザ入力デバイス１６１０上の任意のタイプの経路（例えば、入力デバイスに対して水平、垂直、または対角線）または任意のタイプの方向（例えば、左または右、上または下等）に沿ってスワイプしてもよい。
カーソルが位置１６２４にあるとき、カーソルの一部は、仮想ＴＶ画面１６３２と重複する。ユーザは、ユーザ入力デバイス１６１０を作動させ（例えば、タッチスクリーンをクリックすることによって）、仮想ＴＶ画面１６３２を選択してもよい。ウェアラブルシステムが、仮想ＴＶ画面１６３２の選択を受信すると、ウェアラブルシステムは、ＴＶ画面と関連付けられた１つまたはそれを上回る仮想メニュー（例えば、仮想メニュー１６４２ａおよび１６４２ｂ）を表示してもよい。例えば、仮想メニューは、例えば、音調の調節、ビデオアプリケーション（例えば、映画またはテレビストリーミングサービス）の選定、電話会議の開始の選定等のオプションを含んでもよい。
（コンテキスト情報に基づくユーザ相互作用モードの自動的切替の実施例）
ウェアラブルシステムはまた、ユーザ相互作用のモードを自動的に切り替えることができる。例えば、ユーザ相互作用のモードは、ユーザが仮想ユーザインターフェース平面１５１２、１５１４、１５１６間で選択するとき、頭部姿勢に設定されてもよい。いったんユーザが、仮想ユーザインターフェース平面を選択すると、ユーザ相互作用のモードは、ユーザ入力デバイス上での手のジェスチャに自動的に変更されてもよい（図１６に示されるように）。別の実施例として、ユーザ相互作用のモードは、オブジェクトが十分に低密度であるとき、またはオブジェクトのレイアウトがある基準を満たすとき（オブジェクト間に遮蔽が存在しないとき等）、身体姿勢に設定されることができる。ウェアラブルシステムは、オブジェクトが高密度に位置するとき、またはオブジェクトのレイアウトがもはや基準を満たさないとき（１つのオブジェクトが別のオブジェクトを遮蔽するとき等）、ユーザ相互作用のモードをユーザ入力デバイス上での手のジェスチャに自動的に変更することができる。
ウェアラブルシステムは、２Ｄ空間内のオブジェクトの相対的位置に加えて、または代替として、３Ｄ空間内のオブジェクトの相対的位置を検討することができる。例えば、ユーザインターフェース１５１４は、２Ｄユーザインターフェースの代わりに、３Ｄユーザインターフェースであってもよい。図１６に示されるように、天気アプリケーション１６３８が、コーヒーマグカップアプリケーション１６３６よりユーザから離れた深度平面内に位置してもよい。ユーザの視線の方向が位置１６２０にあるとき、ウェアラブルシステムは、音楽アプリケーション１６５４が仮想掛け時計１６３４より離れて現れ得る場合でも、ユーザの視線の方向と交差する、２つの仮想オブジェクト（仮想掛け時計１６３４および音楽アプリケーション１６５４）を検出してもよい。本情報に基づいて、ウェアラブルシステムは、オブジェクトが相互に十分に近いことを判定してもよい。それに応じて、ウェアラブルシステムは、ユーザ相互作用のモードを手のジェスチャに自動的に切り替える、またはユーザが手のジェスチャに切り替えるオプションを促してもよい。
（コンテキスト情報に基づく他の例示的ユーザインターフェース特徴）
いくつかの実装では、ウェアラブルシステムは、ユーザが手のジェスチャに切り替えたとき、仮想オブジェクトの高密度クラスタを１つまたはそれを上回る固定された深度平面に再位置付けしてもよい。図１２、１３Ａ−１３Ｂを参照して説明されるように、ユーザは、固定された深度平面内の仮想オブジェクトを選択する、または手のジェスチャを使用して深度平面を切り替えることができる。本実装は、それぞれ３Ｄ空間内の若干異なる深度平面に位置する仮想オブジェクト間をナビゲートすることによって生じるユーザ入力デバイス上の煩雑動作を低減させるため、特に有利であり得る。
ウェアラブルシステムは、ユーザ相互作用のモードが１つの方法から別の方法に変更すると、単独で、または組み合わせて、焦点インジケータまたはカーソルを変化させることができる。例えば、ウェアラブルシステムは、ユーザがユーザ相互作用のモードを頭部姿勢からユーザ入力デバイス上での手のジェスチャ（およびその逆）に変更すると、焦点インジケータの色を変化させてもよい。別の実施例では、ウェアラブルシステムは、焦点インジケータの外観を十字線形状から矢印形状（図１６に示される）に変化させ、入力制御を頭部姿勢からユーザ入力デバイス上での手のジェスチャに変更するオプションを示してもよい。
いくつかの実装では、焦点インジケータまたはカーソルにおける変化は、単独で、または組み合わせて、ユーザ相互作用のモードを変更するためのオプションが利用可能になったことを示すために使用されてもよい。例えば、ユーザが、ユーザ入力デバイス上での手のジェスチャを使用して、低密度に位置付けられたオブジェクトのグループと相互作用する間、ウェアラブルシステムは、焦点インジケータの外観を矢印から十字線に変化させ、頭部姿勢を使用する相互作用のオプションが利用可能であることを示すことができる。ユーザは、例えば、ユーザ入力デバイスを作動させる（ユーザ入力デバイスをタップする等）、または身体姿勢を変化させる（その頭部の点頭等）ことによって、手のジェスチャから頭部姿勢への変更を確認することができる。別の実施例として、ウェアラブルシステムは、焦点インジケータとしてのユーザ入力デバイス上に振動を提供し、ユーザ相互作用の代替モードが利用可能になったことを示すことができる。
実施例は、１つのオブジェクトの選択を参照して説明されるが、ウェアラブルシステムは、複数の標的オブジェクトを識別し、複数の標的オブジェクトを選択するように構成されてもよい。ＡＲシステムは、選択イベントを標的相互作用可能オブジェクトのサブグループ上で再帰的に行うように構成されてもよい。例えば、ＡＲシステムは、レイキャスティング（図１０に説明される）における仮想円錐と衝突する、いくつかの標的オブジェクトを識別してもよい。標的オブジェクトは、相互作用可能オブジェクトを含んでもよい。ＡＲシステムは、これらの標的オブジェクトを拡大し、ユーザが、本明細書に説明される姿勢および／または手のジェスチャを使用して、これらの標的オブジェクト内で選択することを可能にすることができる。さらに、実施例は、頭部姿勢とユーザ入力デバイス上での手のジェスチャとの間の変更を参照して説明されるが、類似技法もまた、ユーザ相互作用の他のモード間で切り替えるために使用されることができる。例えば、ウェアラブルシステムは、類似技法を採用して、単独で、または組み合わせて、ユーザ相互作用のモードを身体姿勢、手のジェスチャ、頭部姿勢、足姿勢、眼姿勢等間で変更してもよい。
（相互作用イベントの実施例）
ユーザは、ユーザが相互作用可能オブジェクトを選択した後、相互作用イベントをそのＦＯＶ内の相互作用可能オブジェクト上で開始することができる。いくつかの実装では、仮想オブジェクトは、物理的オブジェクトに対応してもよい。その結果、ユーザが、相互作用イベントを仮想オブジェクト上で行うと、仮想オブジェクトは、物理的オブジェクトと通信し、それによって、ユーザが、仮想ユーザインターフェースを介して、物理的オブジェクトと相互作用することを可能にしてもよい。例えば、図１６における３Ｄコーヒーマグカップ１６３６は、ユーザの環境内のコーヒーマシンと通信してもよい。３Ｄコーヒーマグカップ１６３６に示される水位は、コーヒー生成進行度を表してもよい。実施例として、水位は、最初に、コーヒーマシンがアイドルであるため、不可視であってもよい。ユーザは、３Ｄコーヒーマグカップ１６３６を選択し、相互作用イベントを開始することができ、これは、ウェアラブルシステムに、命令をユーザの台所内のコーヒーマシンに送信させ、コーヒーの淹出を開始させる。淹出プロセスの間、３Ｄコーヒーマグカップ１６３６内の水位は、コーヒーマシンがより多くのコーヒーを生成するにつれて徐々に増加してもよい。コーヒーマシンが、淹出を終了すると、ウェアラブルシステムは、３Ｄコーヒーマグカップ１６３６が一杯であることを示してもよい。いくつかの実装では、ウェアラブルシステムはまた、焦点インジケータ（音または後光等）を３Ｄコーヒーマグカップ上に提供して、コーヒーの淹出を終了したことを示してもよい。
別の実施例として、ウェアラブルシステムは、相互作用イベントの間、ユーザの環境内の物理的オブジェクトと関連付けられた仮想コンテンツを提示することができる。図１６では、ユーザは、天気アプリケーション１６３８を選択し、相互作用イベントを天気アプリケーション１６３８上で開始することができる。図１７は、天気アプリケーション１６３８との例示的相互作用イベントを図示する。本実施例では、ウェアラブルシステムのユーザは、その自宅の外に居てもよく、遠くの嵐雲１７１０および竜巻１７２０等の物理的オブジェクトを知覚することができる。ユーザはまた、道路１７３０、車両１７３２、および建物１７３４等の他の物理的オブジェクトも知覚することができる。
ウェアラブルシステムは、ユーザの環境の画像を分析することによって、ユーザの場所を識別することができる。ユーザが、相互作用イベントを天気アプリケーション１６３８（図１６に示される）上で開始すると、ウェアラブルシステムは、ユーザのＦＯＲ内の物理的オブジェクト上に重畳されたＡＲ／ＭＲ場面１７００を提示することができる。ウェアラブルシステムは、ジオロケーションセンサ（例えば、全地球測位システム（ＧＰＳ）センサ）を使用して、ユーザの場所およびユーザの近傍の天気についての情報（例えば、ユーザが視認している嵐雲１７１０および竜巻１７２０の存在）を判定することができる。いくつかの実装では、ウェアラブルシステムはまた、外向きに面したイメージングシステムを使用して、ユーザの環境の画像を取得することができる。ウェアラブルシステムは、単独で、または組み合わせて、外向きに面したイメージングシステム４６４、内向きに面したイメージングシステム４６２、またはＩＭＵ（図４に説明される）等のセンサを使用して、ユーザが嵐１７１０および竜巻１７２０に向かって見ていることを判定することができる。
ウェアラブルシステムは、ネットワーク（有線または無線）と通信し、嵐についての情報にアクセスし、例えば、嵐注意報１７５０の有無および持続時間、竜巻の速度１７５４、天気予報１７６２（例えば、時間の関数として、温度、降水確率）、嵐の方向１７５６（例えば、時間の関数として、嵐の位置）、予期される雨量１７６６等の情報をユーザに仮想コンテンツとして表示することができる。本情報は、情報の少なくとも一部が嵐雲１７１０または竜巻１７２０の場所またはその近傍で知覚されるように、テキストまたはグラフィックを介して、ユーザに提示されることができる（例えば、仮想コンテンツは、物理的コンテンツ上に重畳されるように現れることができる）。例えば、図１７に示されるように、矢印１７５２は、嵐（例えば、竜巻）の方向を示し、それらが３Ｄであるように現れ、ウェアラブルシステムのユーザの視点から竜巻１７２０上またはその周囲に重畳される。風速１７５４は、方向矢印１７５２の近傍に提示されることができる。ウェアラブルシステムは、装着者に、例えば、気温予報１７６２、雨が現在降っている、または降ることが予期される場所（例えば、嵐雲１７１０の下方の斜破線１７６４を介して示される）、予期される降水量（参照番号１７６６を用いて示されるように）、嵐内の風の方向１７５２および速度１７５４（例えば、竜巻１７２０の異なる高度において）等の嵐についての他の情報も提示することができる。
ウェアラブルシステムは、ウェアラブルシステムのユーザに対して、ユーザからの適切な距離（例えば、嵐１７１０および竜巻１７２０上またはその近傍）に現れ、適切に定寸、成形、またはスケーリングされるように（例えば、図１７に図式的に示されるように）、ライトフィールドディスプレイ（図４−６に示される）を使用して、現実的３Ｄ仮想コンテンツ１７５０、１７５２、１７５４、１７５６、１７６２、１７６４、１７６６を提示することができる。
ウェアラブルシステムはまた、２人またはそれを上回るユーザが、相互作用可能オブジェクトと相互作用することを可能にすることができる。両ユーザは、その個別のウェアラブルシステム（その頭部搭載型デバイス等）を装着してもよい。図１８は、３Ｄ仮想オブジェクトと相互作用する複数のユーザの例示的ユーザ体験を図示する。本実施例では、ユーザは、ウェアラブルデバイス１８５２を装着している。ユーザは、ウェアラブルデバイス１８５２を通して仮想コンテンツ１８００を知覚することができる。本実施例では、仮想コンテンツは、天文学的オブジェクト１８１０（例えば、星、または他の場合には、銀河系、惑星、星雲、または太陽系）を含むことができる。仮想コンテンツ１８００についての情報は、仮想コンテンツ上またはそれに隣接して現れるように表示されることができる。例えば、星または惑星１８３０の軌道１８２０、星座、近傍の星等が、天文学的オブジェクト１８１０の近傍に表示されることができる。ウェアラブルシステムは、ユーザインターフェースを、姿勢またはユーザ入力デバイスを使用して、異なるアクションが選択され得る（例えば、ジェスチャによって）仮想メニュー１８３２または仮想入力特徴１８４０にアクセスし得る装着者に提示することができる。例えば、図１８に示されるように、仮想メニュー１８３２は、装着者が、表示されている仮想コンテンツ１８００のプロファイルを編集／削除または保存することを可能にしてもよい。プロファイルは、装着者（または別の認可されるユーザ）が、異なる時間または場所において仮想コンテンツにアクセスすることを可能にすることができる。別の仮想メニューは、ユーザが、仮想コンテンツと相互作用し、表示されている仮想コンテンツを修正することを可能にしてもよい。例えば、図１８に示されるように、ユーザ入力要素１８４０は、装着者が、「惑星を追加する」ことを可能にすることができる（例えば、仮想ボタン１８４０の位置において装着者の指を「押下」する等のジェスチャを用いて仮想ボタン１８４０を選択することによって）。選択後、装着者は、機能性にアクセスし（例えば、仮想メニュー、仮想ドロップダウンボックス等を介して）、惑星の名称、直径、温度、または距離等の情報を用いて、惑星プロファイルを作成することが可能になってもよい。選択後、付加的仮想コンテンツ（本実施例では、付加的惑星）が、装着者に表示されることができる。
ウェアラブルシステムは、ユーザが、例えば、ネットワークを介して、ユーザの環境の世界マップをパスする、または仮想コンテンツをウェアラブルシステム間で通信する（または仮想コンテンツを更新する）ことによって、仮想コンテンツを他者と共有することを可能にすることができることができる。例えば、図１８に示されるように、ウェアラブルシステム２００を装着している別のユーザ１８５０は、第１のユーザによって共有および操作されている仮想コンテンツを視認することができる。両ユーザは、相互および仮想コンテンツと相互作用する体験を享受することができる。天文学的オブジェクト１８１０が、本実施例では使用されるが、仮想コンテンツ１８００は、任意のタイプのコンテンツであることができる。例えば、百科事典が、アクセスされ、１つまたはそれを上回る主題に関するコンテンツが、表示および共有されてもよい（仮想テキスト、仮想画像、音等とともに）。仮想コンテンツを共有するユーザのグループは、仮想コンテンツを視認するために、同一場所に物理的に存在する必要がなく、多くのユーザ（例えば、２、３、４、５、１０、１００人、またはそれを上回る）が、実質的に同時に、共有仮想コンテンツを視認することができる。
実施例は、仮想惑星系および天気アプリケーションを参照して説明されるが、それらの実施例は、限定ではない。本明細書に説明される技法はまた、相互作用可能仮想コンテンツをＡＲ／ＭＲ／ＶＲ環境内に提示する、他のアプリケーションにも適用されることができる。例えば、ウェアラブルシステムは、衣類のショッピングアプリケーションを含むようにプログラムされることができる。ユーザが百貨店に居る間、アプリケーションは、百貨店と関連付けられたデータベースにアクセスし、衣類の情報またはラックを識別することができる。アプリケーションは、アクセスされた情報を百貨店内の物理的衣類上に重畳された仮想コンテンツ上に提示することができる。
（姿勢およびユーザ入力デバイスの組み合わせを使用した仮想オブジェクトの選択の例示的プロセス）
図１９は、姿勢とユーザ入力デバイス上での手のジェスチャの組み合わせを使用して仮想オブジェクトを選択するための例示的プロセスを図示する。プロセス１９００は、本明細書に説明されるウェアラブルシステム（例えば、ＨＭＤ）によって（例えば、処理モジュール２６０、２７０の一方または両方によって）行われることができる。ウェアラブルシステムは、ユーザ入力デバイス（例えば、図４におけるユーザ入力デバイス４６６参照）と、外向きに面したイメージングシステム（例えば、図４における外向きに面したイメージングシステム４６４参照）および内向きに面したイメージングシステム（例えば、図４における内向きに面したイメージングシステム４６２参照）等の種々のイメージングシステムとを含んでもよい。
ブロック１９１０では、ウェアラブルシステムは、ユーザのＦＯＲ内の相互作用可能オブジェクトを識別することができる。相互作用可能オブジェクトは、アレイ等のデータ構造を使用して、例えば、遠隔データリポジトリ２８０（図２に示される）内に記憶されてもよい。ユーザのＦＯＲ内の相互作用可能オブジェクトは、ユーザのＦＯＲ内の全てのオブジェクトのサブセットであることができる。ウェアラブルシステムは、外向きに面したイメージングシステム４６２および他のセンサ（ＩＭＵおよびＧＰＳ等）を使用して、ユーザの場所を判定し、本場所情報を使用して、ユーザの環境内の相互作用可能オブジェクトを判定することができる。
ブロック１９２０では、ウェアラブルシステムは、本明細書に説明されるセンサを使用して、ユーザの姿勢を測定することができる。ウェアラブルシステムは、内向きに面したイメージングシステム４６２を使用して、ユーザの方向を識別することができる。
ブロック１９３０では、ウェアラブルシステムは、ユーザの視線の方向に基づいて、ユーザのＦＯＶ内の相互作用可能オブジェクトを識別することができる。ＦＯＶはまた、レイキャスティングを使用して、ユーザの視線の方向と交差する相互作用可能オブジェクトを判定することができる。いくつかの実装では、ユーザのＦＯＶ内の相互作用可能オブジェクトは、選択可能オブジェクトと称され得る。ウェアラブルシステムは、選択可能オブジェクトの位置を使用して、選択可能オブジェクトをアレイ内に記憶することができる。例えば、ウェアラブルシステムは、ｘ−軸値（例えば、図６におけるｘ−ｙ−ｚ座標参照）に基づいて、選択可能オブジェクト（および／または相互作用可能オブジェクト）をインデックス化することができる。ウェアラブルシステムは、ｘ−軸値に基づいてオブジェクトをソートし、選択可能オブジェクトを１Ｄまたは２ＤビューにおいてユーザのＦＯＶ内に左から右に提示することができる。
いくつかの実装では、ウェアラブルシステムは、選択可能オブジェクトのためだけの別個のアレイを有していなくてもよい。これらの実装では、ウェアラブルシステムは、例えば、選択可能オブジェクトのアレイインデックス（ユーザのＦＯＶに基づいて判定される）を使用して、選択可能オブジェクトを相互作用可能オブジェクトのアレイから識別し、読み出すことができる。
しかしながら、いくつかの実施形態では、ウェアラブルシステムは、２つのアレイを維持してもよく、１つのアレイは、ユーザのＦＯＲ内の相互作用可能オブジェクトのためのものである一方、別のアレイは、ユーザのＦＯＶ内の選択可能オブジェクトのためのものである。例えば、相互作用可能オブジェクトのためのアレイは、遠隔データリポジトリ２８０（図２に示される）内に保たれてもよい一方、選択可能オブジェクトのためのアレイは、ウェアラブルシステムのローカルのデータ記憶内に保たれてもよい。本実装は、ウェアラブルシステムのローカル記憶装置およびデータ処理容量が限定され得る一方、遠隔データリポジトリがより大きいデータ記憶装置およびより強力なデータ処理容量を有し得るため、有利であり得る。全ての相互作用可能オブジェクトのサブセットのみをウェアラブルシステムのローカル記憶に保つことによって、ウェアラブルシステムのハードウェア要件を低減させ、ウェアラブルシステム内のデータオーバーフローの可能性を減少させ得る。
相互作用可能オブジェクトが、ユーザのＦＯＶ内に存在しない場合、ウェアラブルシステムは、ブロック１９１０に戻ることができる。ウェアラブルシステムは、ユーザの姿勢を持続的に監視し、ユーザのＦＯＶを更新し、ユーザのＦＯＶ内の相互作用可能オブジェクトのリストを持続的に判定することができる。
ブロック１９４０では、ウェアラブルシステムは、ユーザが選択イベントをユーザのＦＯＶ内のオブジェクト上で開始することを所望するかどうかを判定することができる。ウェアラブルシステムは、単独で、または組み合わせて、例えば、長時間にわたるオブジェクトの注視、点頭等のユーザの頭部姿勢、またはユーザ入力デバイスからの入力等の種々のインジケーションに基づいて、そのような判定を行うことができる。ウェアラブルシステムが、ユーザがオブジェクトの選択を所望するインジケーションを受信する場合、ウェアラブルシステムは、ユーザが、本明細書に説明される種々の手のジェスチャを使用して、選択可能オブジェクトと相互作用することを可能にしてもよい。例えば、ユーザは、ユーザ入力デバイス上の軌道に沿ってスワイプし、選択可能オブジェクトをブラウジングする、またはユーザ入力デバイスをクリックし、選択可能オブジェクトを選択することができる。
選択イベントの開始は、ウェアラブルシステムに、ユーザのＦＯＶ内の標的相互作用可能オブジェクトを識別させ（ブロック１９４０において）、焦点インジケータを標的相互作用可能オブジェクトに割り当てさせてもよい（ブロック１９５０において）。標的相互作用可能オブジェクトは、ＦＯＶの左または右側のオブジェクトであってもよい。可視焦点インジケータはまた、中心におけるオブジェクトが標的相互作用可能オブジェクトであるとき、ＦＯＶの中心においてオブジェクト上に設置されてもよい。ウェアラブルシステムはまた、３Ｄ眼追跡を使用して、ユーザの眼姿勢の方向を判定し、可視焦点インジケータをユーザの眼姿勢の方向と交差するオブジェクト上に設置してもよい。
ブロック１９６０では、ユーザは、本明細書に説明される種々のジェスチャを使用して、焦点インジケータを別のオブジェクトに移行することができる。標的相互作用可能オブジェクトは、それに応じて、他のオブジェクトに更新されることができる。例えば、ユーザは、焦点インジケータをその現在の位置からその近隣オブジェクトに移動させることができ、その結果、標的相互作用可能オブジェクトは、近隣オブジェクトに更新される。
いくつかの実施形態では、これらのジェスチャは、ウェアラブルシステムに、仮想オブジェクトをユーザのＦＯＶ内の経路に沿って移動させてもよい（可視焦点インジケータ自体を移行する代わりに）。例えば、図１２を参照すると、ユーザが、タッチパッド上で左向きにスワイプすると、オブジェクト１２３０を完全にＦＯＶの中に移動させる一方、オブジェクト１２４２の位置を左向きにシフトさせる効果を有してもよい。
図２０は、姿勢とユーザ入力デバイス上での手のジェスチャの組み合わせを使用して仮想オブジェクトと相互作用するための例示的プロセスを図示する。プロセス２０００は、本明細書に説明されるウェアラブルシステムによって行われることができる。
ブロック２０１０では、ウェアラブルシステムは、ユーザのＦＯＲ内の相互作用可能オブジェクトのグループを判定することができる。相互作用可能オブジェクトのグループは、ユーザの環境内のオブジェクトのサブセットであることができる。相互作用可能オブジェクトは、仮想オブジェクトおよび／または物理的オブジェクトであることができる。いくつかの実施形態では、ＡＲシステムは、仮想要素を既存の物理的オブジェクトに追加することができる。例えば、ＡＲシステムは、仮想メニューを部屋内のテレビに追加してもよく、仮想メニューは、ユーザに、ＡＲシステムを使用してテレビをオンにするオプションを与えてもよい。
図１２を参照して説明されるように、ＡＲシステムは、相互作用可能オブジェクトおよび相互作用可能オブジェクトと関連付けられた情報を種々のデータ構造内に記憶してもよい。オブジェクトの場所は、オブジェクトと関連付けられた情報を記憶するためのインデックスとして使用されてもよい。
ブロック２０２０では、ウェアラブルシステムは、ユーザの姿勢を判定することができる。ユーザの姿勢は、単独で、または組み合わせて、頭部、眼、足、または他の身体姿勢であってもよい。ウェアラブルシステムは、例えば、内向きに面したイメージングシステム４６２、ユーザ入力デバイス４６６上で受信された入力、または外向きに面したイメージングシステム４６４等の図４に示される種々のセンサを使用して、ユーザの姿勢を判定することができる。
ブロック２０３０では、ウェアラブルシステムは、ユーザの姿勢に基づいて、ユーザのＦＯＶを判定することができる。ＦＯＶは、ユーザによって所与の時間に知覚されたＦＯＲの一部を備えることができる。ユーザのＦＯＶに基づいて、ブロック２０４０では、ＡＲシステムは、ユーザのＦＯＶ内の相互作用可能オブジェクトのサブグループを判定することができる。本相互作用可能オブジェクトのサブグループは、時として、選択可能オブジェクトとも称される。ユーザのＦＯＶが変化するにつれて、ユーザのＦＯＶ内の選択可能オブジェクトもまた、変化する。
ブロック２０５０では、ウェアラブルシステムは、相互作用可能オブジェクトのサブグループからの標的相互作用可能オブジェクトの選択を受信する。ウェアラブルシステムは、最初に、図１２を参照して説明されるように、種々のルール（ユーザのＦＯＶに対する標的相互作用可能オブジェクトの場所等）に基づいて、標的相互作用可能オブジェクトを選定することができる。ＡＲシステムは、焦点インジケータを標的相互作用可能オブジェクトに割り当てることができる。可視焦点インジケータは、ユーザのＦＯＶが変化するにつれて、１つのオブジェクトから他のオブジェクトに移動してもよい。
いくつかの実施形態では、ウェアラブルシステムは、ユーザがユーザ入力デバイスを作動させた後、標的相互作用可能オブジェクトを識別することができる。ユーザは、図１２−１３を参照して説明される種々の手のジェスチャを使用して、ユーザ入力デバイスを作動させることができる。これらの手のジェスチャは、ウェアラブルシステムをトリガし、焦点インジケータをユーザのＦＯＶ内の標的相互作用可能オブジェクトに割り当てることができる。いくつかの実装では、ＡＲシステムが、標的相互作用可能オブジェクトの選択をユーザから受信すると、ＡＲシステムは、ユーザのＦＯＶが変化する間、ユーザのＦＯＶ内の選択可能オブジェクトのグループの更新を停止してもよい。ユーザは、依然として、相互作用可能オブジェクトをブラウジングする、または可視焦点インジケータをそのＦＯＶ内の１つのオブジェクトから他のオブジェクトに移行させることができる。
ブロック２０７０では、ユーザは、選択イベントを標的相互作用可能オブジェクト上で開始することを決定してもよい。選択イベントは、本明細書に説明される姿勢およびジェスチャを使用して、開始されることができる。いくつかの実施形態では、選択イベントの開始は、ウェアラブルシステムをトリガし、可視焦点インジケータを標的相互作用可能オブジェクトに割り当ててもよい。ウェアラブルシステムは、ユーザのＦＯＶが、ユーザの姿勢における変化に伴って変化し得る場合でも、ユーザのＦＯＶ内の選択可能オブジェクトのグループの更新を停止してもよい。ユーザは、本明細書に説明されるジェスチャを使用して、可視焦点インジケータをユーザのＦＯＶ内の１つのオブジェクトから他のオブジェクトに移行してもよい。例えば、ユーザは、タッチパッド上の軌道（左および右等）に沿ってスワイプしてもよく、これは、ウェアラブルシステムに、可視焦点インジケータを１つのオブジェクトからその最近傍近隣に移動させることができる。
いくつかの実装では、ユーザは、選択イベントの間または後、相互作用イベントを開始してもよい。相互作用イベントはまた、選択イベントの一部であってもよい。例えば、図１２を参照して説明されるように、相互作用イベントは、相互作用可能オブジェクトのサイズ調整、相互作用可能オブジェクトのメニューの表示、メニューのブラウジング、メニュー上のアイテムの選択、アイテムの検索、ゲームのプレー、ビデオの鑑賞、電話会議の実施等を備えることができる。ユーザは、本明細書に説明される種々の姿勢およびジェスチャを使用して、相互作用イベントに参加することができる。ユーザはまた、本明細書で議論される姿勢およびジェスチャを使用して、標的相互作用可能オブジェクトの選択を確認してもよい。
（コンテキスト情報に基づくオブジェクトとの相互作用の例示的プロセス）
図２１は、コンテキスト情報に基づいて、入力制御を頭部姿勢から手のジェスチャに切り替えるための例示的プロセスを図示する。プロセス２１００は、本明細書に説明されるウェアラブルシステムによって（例えば、処理モジュール２６０、２７０の一方または両方によって）行われることができる。
ウェアラブルシステムは、ユーザの現在の位置を示すカーソルを表示することができる。カーソルは、ユーザの頭部位置に対応する十字線であることができる。ユーザが移動するにつれて、カーソルは、標的相互作用可能オブジェクトに移動されてもよい。ユーザは、単独で、または組み合わせて、姿勢、ユーザ入力デバイス上での手のジェスチャを使用して、標的相互作用可能オブジェクトを選択することができる。プロセス２１００では、ユーザは、最初に、頭部姿勢を使用して、オブジェクトと相互作用してもよい。ブロック２１１０では、ウェアラブルシステムは、ユーザが標的相互作用可能オブジェクトを選択したかどうかを判定することができる。標的相互作用可能オブジェクトは、２Ｄ平面仮想ユーザインターフェースであってもよい。ユーザが標的相互作用可能オブジェクトを選択していない場合、プロセスは、ブロック２１９０において終了する。いくつかの実施形態では、ウェアラブルシステムは、ユーザが移動するにつれて、ユーザの現在の位置を持続的に判定することができる。ウェアラブルシステムは、ユーザの頭部姿勢に基づいて、ユーザのＦＯＶ内の他の標的相互作用可能オブジェクトも識別することができる。
ブロック２１２０に示されるように、ウェアラブルシステムが、２Ｄ平面仮想ユーザインターフェース等の標的相互作用可能オブジェクトの選択を受信すると、ウェアラブルシステムは、焦点インジケータを標的相互作用可能オブジェクトに割り当ててもよい。例えば、ウェアラブルシステムは、後光を標的相互作用可能オブジェクトの周囲に表示し、標的相互作用可能オブジェクトが３Ｄ空間内に浮かんでいるように現れるように、標的相互作用可能オブジェクトをユーザにより近づけることができる。ウェアラブルシステムはまた、カーソル（頭部位置に対応する）の法線および深度を標的相互作用可能オブジェクトの法線および深度と同一となるように設定することができる。その結果、ユーザは、頭部姿勢を使用して、標的相互作用可能オブジェクト内の仮想オブジェクトと継続して相互作用してもよい。
ブロック２１３０では、ウェアラブルシステムは、ユーザの相互作用と関連付けられたコンテキストを識別することができる。例えば、ウェアラブルシステムは、ユーザのＦＯＶ内の仮想オブジェクト（または物理的オブジェクト）のレイアウトを判定することができる。
ブロック２１４０では、ウェアラブルシステムが、レイアウトがあるパターンを満たす（１つの仮想オブジェクトが別の仮想オブジェクトによって遮蔽されている等）、または密度がある閾値を超えることを判定する場合、ウェアラブルシステムは、ユーザに、入力制御のモードを切り替えるためのオプションを提供してもよい。実施例として、ウェアラブルシステムは、ユーザに、頭部姿勢からユーザ入力デバイスに相互作用モードを切り替えるためのオプションを提供してもよい。
ブロック２１４２に示されるように、ユーザが、切り替えないことを選定する場合、ユーザは、依然として、頭部姿勢を使用して、相互作用可能オブジェクトを標的化および選択することができる。プロセスは、ブロック２１９０において終了する。
ユーザが、入力制御を手のジェスチャに切り替えることを選定する場合、ブロック２１５０では、ユーザは、ユーザ入力デバイスを作動させ、仮想オブジェクトと相互作用することができる。ブロック２１６０では、ウェアラブルシステムは、２Ｄ平面仮想ユーザインターフェース上のＵＩ要素等の標的仮想オブジェクトのユーザの選択を受信することができる。例えば、図１６を参照すると、ユーザは、天気アプリケーション１６３８、コーヒー生成アプリケーション１６３６等を選択することができる。ユーザが、ブロック２１６０において、標的仮想オブジェクトを選択しない場合、ユーザは、ブロック６１５０に示されるように、ユーザ入力デバイスを継続して作動させてもよい。
ウェアラブルシステムは、選択イベントまたは相互作用イベントを選択された仮想オブジェクト上で開始することができる。例えば、ウェアラブルシステムは、焦点インジケータを選択された仮想オブジェクト上に提供することができる。ウェアラブルシステムはまた、選択された仮想オブジェクトと関連付けられたＶＲ／ＡＲ／ＭＲ場面を提示することができる。例えば、ウェアラブルシステムは、ユーザが相互作用し得る、場面１７００（図１７に示される）および１８００（図１８に示される）を提示することができる。
ブロック２１８０では、ウェアラブルシステムは、ユーザが選択イベントまたは相互作用イベントを完了したかどうかを判定することができる。ウェアラブルシステムが、ユーザが標的仮想オブジェクトとの相互作用を終了したことを判定する場合、プロセス２１００は、ブロック２１９０において終了する。いくつかの実施形態では、ブロック２１９０では、ウェアラブルシステムは、ユーザインターフェース制御のモードを手のジェスチャから頭部姿勢に戻るように切り替えることができる。
図２２は、コンテキスト情報に基づいて、ユーザ相互作用のモードを切り替えるための例示的プロセスを図示する。プロセス２２００は、本明細書に説明されるウェアラブルシステムによって（例えば、処理モジュール２６０、２７０の一方または両方によって）行われることができる。
ブロック２２１０では、ウェアラブルシステムは、相互作用可能オブジェクトと相互作用するためにユーザが使用する、現在の入力モードを判定することができる。現在の入力モードは、姿勢またはユーザ入力デバイス上での手のジェスチャであってもよい。
ブロック２２２０では、ウェアラブルシステムは、ユーザのＦＯＶ内のオブジェクトのレイアウト、ユーザのＦＯＶ内のオブジェクトの密度、ユーザのＦＯＶ内のオブジェクトの特性（サイズ、位置、オブジェクトタイプ等）等のコンテキスト情報を判定することができる。
コンテキスト情報に基づいて、ウェアラブルシステムは、ブロック２２３０において、現在のユーザ入力モードを変更するためのオプションを提示することができる。例えば、ユーザが、頭部姿勢を使用して、オブジェクトと相互作用する間、ウェアラブルシステムは、ウェアラブルシステムがユーザの視線の方向におけるオブジェクトの高密度グループを識別すると、ユーザ入力モードをユーザ入力デバイスに変更するためのオプションを提示することができる。別の実施例として、ウェアラブルシステムは、ウェアラブルシステムがオブジェクトが低密度に位置することを判定すると、現在のユーザ入力モードをユーザ入力デバイスから頭部姿勢に変更するためのオプションを提供することができる。
別の実施例として、ウェアラブルシステムは、ユーザが、姿勢を使用して、ユーザインターフェース平面（他の仮想オブジェクトを含んでもよい）と相互作用する一方、ユーザ入力デバイスを使用して、ユーザインターフェース要素（ユーザインターフェース平面内のアプリケーション等）と相互作用することを可能にしてもよい。その結果、ウェアラブルシステムが、ユーザがユーザインターフェース平面を選択したことを検出すると、ウェアラブルシステムは、ユーザ入力モードを頭部姿勢からユーザ入力デバイスに変更してもよい。一方、ユーザがユーザインターフェース要素との相互作用を終了すると、ウェアラブルシステムは、ユーザ入力モードをユーザ入力デバイスから頭部姿勢に変更してもよい。
いくつかの実装では、焦点インジケータ（カーソルを含む）の外観が、異なるユーザ入力モードに基づいて、変化されてもよい。例えば、ウェアラブルシステムは、十字線を使用して、ユーザが頭部姿勢を使用してオブジェクトと相互作用することを示す一方、矢印を使用して、ユーザがユーザ入力デバイスを使用してオブジェクトと相互作用することを示してもよい。いくつかの実装では、ウェアラブルシステムは、焦点インジケータの外観を変化させ、ユーザ入力モードを切り替えるためのオプションが利用可能であることを示すことができる。例えば、ウェアラブルシステムは、最初に、ユーザが頭部姿勢と相互作用するとき、十字線を表示してもよい。ウェアラブルシステムが、オブジェクトの高密度グループを検出するとき、ウェアラブルシステムは、矢印（十字線の代わりに）を表示し、ユーザがユーザ入力モードをユーザ入力デバイスに切り替えることができることを示してもよい。しかしながら、ユーザが、オブジェクトの高密度グループから離れるように移動すると、ウェアラブルシステムは、焦点インジケータを矢印から十字線に戻るように変化させてもよい。
ブロック２２４０では、ユーザは、新しいユーザ入力モードのためのオプションを選択することができる。例えば、ユーザは、ユーザ入力デバイスを作動させ、ユーザ入力モードを頭部姿勢からユーザ入力デバイス上での手のジェスチャに変更することを所望することを確認することができる。ウェアラブルシステムは、それに応じて、現在のユーザ入力モードを新しく選択されたモードに更新することができる。ウェアラブルシステムはまた、焦点インジケータを新しく選択されたモードと関連付けられたものに更新してもよい。
図２３は、仮想オブジェクトのグループを備える相互作用可能オブジェクトと相互作用する例示的プロセスを図示する。プロセス２３００は、本明細書に説明されるウェアラブルシステムによって（例えば、処理モジュール２６０、２７０の一方または両方によって）行われることができる。ウェアラブルシステムは、ユーザ入力デバイス４６６（図４に示される）、ライトフィールドディスプレイ（図２または４−６を参照して説明される）、外向きに面したイメージングシステム４６４（図４に示される）および内向きに面したイメージングシステム４６２（図４に示される）等の種々のセンサを含んでもよい。
ブロック２３１０では、ウェアラブルシステムは、ユーザの姿勢を判定する。姿勢は、頭部、眼、足、または他の身体姿勢等であってもよい。ウェアラブルシステムは、例えば、内向きに面したイメージングシステム４６２、外向きに面したイメージングシステム４６４（図１０を参照して説明されるＦＯＶカメラ等）、ＩＭＵ等、種々のセンサを使用して、ユーザの姿勢を判定することができる。
ウェアラブルシステムは、ユーザのＦＯＲ内の相互作用可能オブジェクトのグループを判定することができる。例えば、ウェアラブルシステムは、ユーザの環境内のオブジェクトの情報を備える、ユーザの環境のマップにアクセスすることができる。ブロック６２３０では、ウェアラブルシステムは、相互作用可能オブジェクトのグループから標的相互作用可能オブジェクトを判定することができる。標的相互作用可能オブジェクトは、ユーザの姿勢に基づいて、判定されてもよい。例えば、標的相互作用可能オブジェクトは、ユーザの視線の方向と交差するオブジェクトであってもよい。ユーザの姿勢が変化するにつれて、標的相互作用可能オブジェクトもまた、変化してもよい。
ブロック２３３０では、ウェアラブルシステムは、標的相互作用可能オブジェクトの選択を受信することができる。ユーザは、単独で、または組み合わせて、ユーザ入力デバイスを作動させる、姿勢を変更することによって、標的相互作用可能オブジェクトを選択することができる。ブロック２３４０に示されるように、ウェアラブルシステムは、標的相互作用可能オブジェクトの選択を受信した後（ブロック６２５０に示されるように）、焦点インジケータを標的相互作用可能オブジェクトに割り当てることができる。
いくつかの実装では、１つまたはそれを上回る仮想オブジェクトはさらに、標的相互作用可能オブジェクト内に表示されてもよい。例えば、仮想ユーザインターフェースは、天気アプリケーション、ビデオストリーミングアプリケーション等のユーザインターフェース要素を含んでもよい。ブロック２３５０では、ウェアラブルシステムは、選択された標的相互作用可能オブジェクトと関連付けられた仮想オブジェクトのグループを判定することができる。ユーザは、頭部姿勢および手のジェスチャを使用して、仮想オブジェクトのグループと相互作用することができる。例えば、ユーザは、姿勢または手のジェスチャを使用して、仮想オブジェクトのグループ内の仮想オブジェクトを選択することができる。ユーザはまた、ビデオゲームのプレー、ＶＲ／ＡＲ／ＭＲ場面の視認、または選択された仮想オブジェクトとの他のユーザインターフェース相互作用等の相互作用イベントを開始することができる。
いくつかの実施形態では、ウェアラブルシステムは、ユーザが標的相互作用可能オブジェクトを選択すると、相互作用のモードを姿勢からユーザ入力デバイスに変更してもよい。例えば、ユーザは、最初に、頭部姿勢を使用して、その環境内の相互作用可能オブジェクトを標的化および選択してもよい。いったんユーザが、標的相互作用可能オブジェクトを選択すると、ウェアラブルシステムは、ユーザが、ユーザ入力デバイスを使用して、標的相互作用可能オブジェクト内の仮想オブジェクトと相互作用し得るように、入力モードを頭部姿勢からユーザ入力デバイスに変更することができる。いったんユーザが、仮想オブジェクトとの相互作用を終了すると、ウェアラブルシステムは、ユーザが、その環境内の他の相互作用可能オブジェクトを継続して標的化し、それと相互作用し得るように、入力モードを頭部姿勢に戻るように変更してもよい。ある実装では、ウェアラブルシステムは、ユーザが入力制御のモードを切り替えるためのオプションを提供することができる。例えば、ユーザが、標的相互作用可能オブジェクトを選択後、頭部姿勢から手のジェスチャに切り替えないことを決定する場合、ユーザは、頭部姿勢を使用して、標的相互作用可能オブジェクト内の仮想オブジェクトと継続して相互作用することができる。
（付加的ユーザインターフェース体験）
（ＡＲおよびＭＲ視覚的体験の付加的実施例）
上記に説明されるように、ウェアラブルシステム（頭部搭載型ディスプレイ等）は、物理的世界上に重畳された３Ｄ仮想オブジェクトを提示するように構成されることができる。例えば、ウェアラブルデバイスのユーザは、学校の体育館に居て、ローカルの物理的環境および物理的オブジェクト（例えば、体育館および体育館内で着座または起立している生徒）を知覚するだけではなく、また、物理的世界（例えば、学校の体育館）上に重畳された仮想オブジェクトを知覚してもよい。仮想オブジェクトは、水しぶきによって囲繞される飛び上がるクジラを含んでもよい。例えば、ユーザは、クジラが、学校の体育館の床から現れ、体育館を部分的に横断して飛び上がり、床上の大きな水しぶきの中に着水し、次いで、消失するという体験を知覚することができる。本実施例では、ウェアラブルシステムは、領域のサブ領域から（例えば、体育館の床から）発生するよう装着者によって知覚されように、飛び上がるクジラの画像を表示するために、装着者が視認している外界内の領域の寸法（例えば、本実施例では、体育館のサイズ）を判定し、飛び上がるクジラおよび水しぶきが現実的かつ生きているようにユーザに現れるように、図４−６に説明されるライトフィールドディスプレイを使用することができる。いくつかの実装では、ウェアラブルシステムは、ユーザ（例えば、図２に示されるスピーカ２４０を介して）に、ユーザに表示される画像に伴う、飛び上がるクジラの音を提示することができる。ＡＲシステムは、（加えて、または代替として）テキストまたはグラフィック等の付加的仮想コンテンツをユーザによって視認される場面上に表示することができる。例えば、ＡＲシステムは、仮想クジラが体育館の床から飛び上がるように見える前、間、または後、クジラについての情報（クジラのタイプ、年齢、習性等）を装着者に表示し得る。
別の実施例として、ウェアラブルシステムのユーザは、小売市場内に居てもよい。ユーザは、環境内の実際の物理的人々および市場を歩き回る宇宙飛行士の画像を含む仮想コンテンツを視認することができる。仮想コンテンツは、ウェアラブルシステムのディスプレイのＦＯＶ内に重畳されてもよい。
ウェアラブルシステムは、物理的世界の画像を修正し、ＭＲ体験をユーザに提供することができる。例えば、ユーザには、ｖ−編隊で飛んでいる物理的鳥の群れが見え得る。外向きに面したイメージングシステム（例えば、図４に示される）は、本物理的コンテンツを捕捉することができ、ウェアラブルシステムは、それを処理し、ｖ−編隊で飛んでいる鳥の群れを識別することができる。ウェアラブルシステムは、群れに、編隊内またはその近傍を飛んでいる仮想オブジェクト（例えば、本実施例では、ドラゴン）を追加する、またはそれと１羽の（またはそれを上回る）鳥を置換することができる。別の実施例として、ウェアラブルシステムは、ビーチに浮かんでいる、またはその上を飛んでいる仮想オブジェクト（例えば、仮想クジラ）を物理的浜辺のユーザのビューに追加することができる。現実的画像を異なる距離に現れるように提示するライトフィールドディスプレイの能力は、ウェアラブルディスプレイシステムが、装着者の近傍またはそこから離れるようにクジラの画像を提示することを可能にする。いくつかの実装では、ウェアラブルシステムは、仮想コンテンツが仮想陰影を有するよう現れるように、陰影マッピング技法を使用することができ、これはまた、ウェアラブルシステムによって表示される仮想コンテンツをより現実的なものにし得る。
いくつかの実装では、ウェアラブルシステムのユーザは、仮想画像のシーケンスをＡＲ／ＭＲ環境内で知覚することができる。例えば、ユーザは、そのカップのように丸めた手を見ているとする。小型のゾウ等の仮想オブジェクトが、ユーザが仮想オブジェクトがユーザのカップのように丸めた手内に存在するよう知覚するように、ウェアラブルシステムのディスプレイによって表示されてもよい。ウェアラブルシステムは、外向きに面したイメージングシステムを使用して、装着者の手（および手の後の任意の背景）を含む領域等の環境の領域をイメージングすることができる。ウェアラブルシステムは、仮想コンテンツ（例えば、ゾウ）がスケーリングされ得、コンテンツが視認されている全体的領域の特定のサブ領域（例えば、手）内の適切なサイズおよび距離に現れるように、装着者の手までの距離を判定することができる。ウェアラブルシステムは、装着者がゾウを装着者の手内に保持しているように場面を現れさせることができる。ゾウの位置は、時間的シーケンスの前半と比較して、時間的シーケンスにおいてゾウがユーザのより近くに現れ得るように、画像毎に変化してもよい。飛び跳ねるゾウの画像は、音（例えば、音声、音楽）を伴うことができる。
（仮想オブジェクトとの相互作用の付加的実施例）
仮想ユーザインターフェースとのユーザ相互作用の実施例として、ウェアラブルシステムのユーザは、人々が踊っている物理的部屋内の仮想オブジェクトを知覚し、それと相互作用することができる。本実施例では、ユーザは、ディスクジョッキー（ＤＪ）であってもよく、ウェアラブルシステムは、ＤＪに、ＤＪの手の移動（例えば、ジェスチャ）によって操作され得る、仮想ＵＩを表示することができる。仮想ＵＩは、ＤＪがＵＩと相互作用することを可能にする、仮想コンテンツを含むことができる。本実施例では、仮想ＵＩは、踊っている人に再生される音を制御し得る、ＤＪオーディオ制御システムであるように構成されることができる。ＵＩは、ジェスチャを介してＤＪによって調節され得る、ダイヤル（例えば、ジョグシャトルダイヤル）、スイッチ、スライダ、ボタン、またはターンテーブル等のユーザ入力特徴を含むことができる。仮想ＵＩは、音レベルグラフィックまたはイコライザ等の出力特徴を含むことができる。出力特徴は、音レベルまたはオーディオミックスがＤＪによって変更されるにつれて、リアルタイムで応答することができる。ウェアラブルシステムの外向きに面したイメージングシステムは、ＤＪの手および腕をイメージングし、ＤＪのジェスチャ（例えば、手または指移動）を判定することができる。判定されたジェスチャに応答して、ウェアラブルシステムは、例えば、音量の増減、音楽のフェーディングまたはパニング、音楽の混合等によって、オーディオを調節することができる。
別の実施例として、ウェアラブルシステムのユーザは、患者に手術を行っている医師とともに、手術室を視認することができる。ウェアラブルシステムは、ユーザに、手術を受けている患者の解剖学的構造または臓器（心臓等）を表示する仮想コンテンツを提示することができる。仮想臓器の配向および位置は、ジェスチャ（例えば、装着者が心臓の仮想画像に到達し、それを握持または移動させることを介して）またはユーザ入力デバイスを介して調節されることができる。仮想臓器は、心臓の理想化（例えば、教科書画像）または患者の心臓の実際の画像（例えば、外科手術の間に撮影された、または外科手術に先立って事前にマッピングされた）を表すことができる。ウェアラブルシステムのライトフィールドディスプレイ能力（図４−６に説明される）は、装着者が臓器の３Ｄ画像を視認することを可能にする。いくつかの実装では、ユーザは、環境内のオブジェクト（仮想および／または物理的オブジェクト）と相互作用するために、環境（例えば、手術室）内に物理的に存在する必要がない。ユーザは、例えば、医師と通信する（例えば、スピーカを介して）、または仮想臓器の仮想画像と相互作用すること等によって、医師のアバタまたは手術室の外観と相互作用することができる。
ユーザはまた、ウェアラブルシステムを使用して、教育的仮想コンテンツを視認し、それと相互作用することができる。本実施例では、教育的仮想コンテンツは、ポインタを保持し、教育的授業の一部として装着者に表示されるグラフィック（例えば、数字）を指示する、アバタ（例えば、生徒に魅力的であって、かつ怖がらせないように設計された創造物）を含むことができる。ウェアラブルシステムと通信する教育的システムは、教育的授業の一部として装着者に提示されるための教育的仮想コンテンツを生成および配信することができる。仮想コンテンツは、テキスト、画像、ビデオ、グラフィック、および音を含むことができる。例えば、アバタは、数学の授業を生徒に説明することができる（例えば、４×５＝？）。ある場合には、ウェアラブルシステムは、周囲環境内の音、例えば、生徒の音声を受信することができる、マイクロホンを含む。生徒は、質問を尋ねることができ、ウェアラブルシステム（または教育的システム）は、音声認識技術を使用して、質問を電子フォーマットに変換することができ、教育的システムは、応答をウェアラブルシステムに返信することができる。例えば、アバタは、質問に回答する、仮想コンテンツの異なる部分を指示して（例えば、ワンドを用いて）、回答を説明する等によって、生徒の質問に応答し得る。
別のＡＲ体験では、ウェアラブルシステム（ＨＭＤ等）のユーザは、物理的オブジェクト（例えば、別の人物および家）および仮想エンターテインメントディスプレイを視認することができる。仮想エンターテインメントディスプレイは、スポーツイベントの提示（本実施例では、バスケットボールの試合）を示す。仮想エンターテインメントディスプレイは、ウェアラブルシステムのユーザに、観戦されている試合または他の試合（例えば、得点、実況中継、試合の再現、プレーヤ統計、順位等）についての情報を提示することができる。仮想エンターテインメントディスプレイは、３Ｄとして現れることができ、ユーザが、ディスプレイの周囲を移動し、仮想エンターテインメントディスプレイの異なる側（異なるコンテンツ、異なるゲーム、異なるスポーツ、またはさらに異なるエンターテインメントジャンル（例えば、映画）をディスプレイの異なる側に表示することができる）を見ることを可能にする。スポーツイベントは、スポーツイベントが生じるにつれて、リアルタイムでユーザに提示されてもよい。これは、ユーザがスポーツイベントに物理的に存在しない場合でも、ユーザに、スポーツイベントと相互作用する能力を提供する。特定のユーザは、ジェスチャまたはユーザ入力デバイスを使用することによって、仮想エンターテインメントディスプレイを制御してもよい。ある場合には、単一ユーザが、仮想エンターテインメントディスプレイの制御を有する一方、他のユーザは、ディスプレイ上のアクションを鑑賞することができるが、表示されているコンテンツを改変することはできない。他の実装では、仮想エンターテインメントディスプレイは、複数のユーザのアクションの結果として作成または更新されたコンテンツを提示することができる。
（複数のユーザ間の付加的例示的相互作用）
あるグループの人物がそれぞれ、ウェアラブルデバイスを装着するとき、ユーザは、ＡＲ／ＶＲ／ＭＲ環境内で別のユーザと相互作用することができる。例えば、グループ内の人々は、装着しているウェアラブルデバイスを介して、仮想コンテンツ（画像、ビデオ、音、テキスト等を含むことができる）を享受する、それと相互作用する、それを共有する、またはそれを操作する（例えば、ジェスチャを介して）ことができる。
そのようなユーザ相互作用は、仮想ゲーム内で生じてもよい。プレーヤがゲーム内で相互に関わるにつれて、ウェアラブルデバイスは、仮想コンテンツおよび音をウェアラブルデバイスのユーザに提示することができる。本実施例では、ユーザは、物理的オブジェクト（例えば、ベッド、テーブル、窓、およびゲームの別のプレーヤ４０４）を伴う部屋を知覚することができる。ユーザはまた、他のプレーヤの周囲を飛んでいる、火を吹くドラゴンを知覚することができる。プレーヤの一方または両方は、ジェスチャ（例えば、手またはアームジェスチャ）、トーテム（例えば、ワンド）、またはコントローラまたはインターフェース（物理的または仮想）によって、ドラゴンの位置、移動、およびアクション（例えば、火を吹くかどうか）を制御してもよい。ある場合には、他のプレーヤは、部屋内に物理的に存在せず、物理的に存在するようにウェアラブルデバイスのユーザに表示される（例えば、テレプレゼンスを介して）。例えば、ウェアラブルデバイスは、ゲームをプレーする際、他のプレーヤのアバタ（仮想子供の形態等）を提示することができる。子供のアバタ（およびドラゴン）は、ウェアラブルシステムまたは別のゲーム用システムによって生成され、装着者への表示のために、ウェアラブルシステムに通信されることができる。子供のアバタは、他のプレーヤの実際の外観の表現であってもよい、または他のプレーヤがウェアラブルのユーザによって知覚されるように選定した形態として選択されてもよい。他のプレーヤは、ヒトプレーヤまたは機械プレーヤであることができる。他の実施例では、１人を上回るプレーヤが、装着者の環境内に現れることができる（例えば、部屋内、部屋外に居て、窓を通して見ている等）。画像を装着者から異なる距離（例えば、異なる深度平面）にあるように提示するライトフィールドディスプレイ（例えば、図４−６を参照して説明されるライトフィールドディスプレイ等）の能力は、ゲームの現実性およびプレー性を大幅に向上させることができる。ドラゴンに加え、ウェアラブルデバイスは、随意に、他の情報（例えば、テキストまたはグラフィック）をユーザ（例えば、ゲームプレー統計またはステータス）に表示することができる。
図７を参照して説明されるように、ウェアラブルデバイスは、物理的または仮想環境のマップおよび環境内のオブジェクトを別のウェアラブルデバイスにパスすることができる。例えば、ウェアラブルデバイスは、ユーザの部屋のマップおよび部屋内の仮想オブジェクトを別のユーザのウェアラブルデバイスにパスすることができる。それに応じて、ユーザは、同一環境内に居るように、仮想オブジェクトと相互作用することができる。
（付加的実施形態）
第１の側面では、仮想コンテンツを視認するための方法であって、ユーザの視野内の領域に関連する領域データにアクセスするステップと、領域データを分析し、仮想コンテンツが表示されることになる領域のサブ領域を識別するステップと、領域データおよびサブ領域データに部分的に基づいて、仮想コンテンツにアクセスする、またはそれを生成するステップと、ユーザによって視認されると、仮想コンテンツが領域のサブ領域内または上に配置されるよう現れるように、仮想コンテンツを表示するステップとを含む、方法。
第２の側面では、識別されたサブ領域は、領域内の物理的オブジェクトを備える、側面１に記載の方法。
第３の側面では、領域データは、ユーザの視野内の領域の画像の分析から得られる、側面１または側面２に記載の方法。
第４の側面では、仮想コンテンツは、新しく受信された領域データまたはサブ領域データに部分的に基づいて修正される、側面１から３のいずれか１項に記載の方法。
第５の側面では、ユーザ入力を受信するステップと、少なくとも部分的に、ユーザ入力に基づいて、付加的仮想コンテンツにアクセスする、またはそれを生成するステップと、付加的仮想コンテンツを表示するステップとをさらに含む、側面１から４のいずれか１項に記載の方法。
第６の側面では、サブ領域は、ユーザの近傍の領域の一部を備える、側面１から５のいずれか１項に記載の方法。
第７の側面では、仮想コンテンツと相互作用するための方法であって、仮想コンテンツにアクセスする、またはそれを生成するステップと、仮想コンテンツをユーザの視野内に表示するステップと、仮想コンテンツと関連付けられた仮想ユーザインターフェースを表示するステップと、ユーザ入力を受信するステップと、ユーザ入力と仮想ユーザインターフェースのユーザ入力特徴と関連付けられた機能を関連付けるステップと、機能を行うステップとを含む、方法。
第８の側面では、受信されたユーザ入力に部分的に基づいて、仮想コンテンツを操作または修正するステップをさらに含む、側面７に記載の方法。
第９の側面では、ユーザ入力は、ジェスチャである、側面７から８のいずれか１項に記載の方法。
第１０の側面では、ユーザ入力は、ユーザの眼の移動である、側面７から９のいずれか１項に記載の方法。
第１１の側面では、仮想コンテンツは、教育的コンテンツまたはエンターテインメントコンテンツを備える、側面７から１０のいずれか１項に記載の方法。
第１２の側面では、仮想コンテンツまたは仮想ユーザインターフェースは、ユーザによって知覚されるとき、３次元であるように現れる、側面７から１１のいずれか１項に記載の方法。
第１３の側面では、仮想ユーザインターフェースのユーザ入力特徴は、ダイヤル、スイッチ、スライダ、またはボタンを備える、側面７から１２のいずれか１項に記載の方法。
第１４の側面では、仮想ユーザインターフェースは、仮想ユーザインターフェースの機能性に関連する情報を表示するように構成される、出力特徴を備える、側面７から１３のいずれか１項に記載の方法。
第１５の側面では、出力特徴は、リアルタイムで更新される、側面１４に記載の方法。
第１６の側面では、情報を拡張現実環境内に表示する方法であって、ユーザの場所を判定するステップと、ユーザの視野内の物理的オブジェクトを識別するステップと、少なくとも部分的に、識別された物理的オブジェクトに関連する情報に基づいて、場所または識別された物理的オブジェクトにアクセスする、またはそれを生成するステップと、情報に基づいて、仮想コンテンツを生成するステップと、情報がユーザに物理的オブジェクトと関連付けられて現れるように、仮想コンテンツを表示するステップとを含む、方法。
第１７の側面では、仮想コンテンツは、テキスト、画像、グラフィック、またはビデオを備える、側面１６に記載の方法。
第１８の側面では、表示される仮想コンテンツと関連付けられたオーディオを再生するステップをさらに含む、側面１６または側面１７に記載の方法。
第１９の側面では、少なくとも部分的に、ユーザ入力に基づいて、付加的仮想コンテンツを表示するステップをさらに含む、側面１６から１８のいずれか１項に記載の方法。
第２０の側面では、命令が実行されると、ハードウェアプロセッサが側面１から１９のいずれか１項に記載の方法を行うように、実行可能命令でプログラムされる、ハードウェアプロセッサ。
第２１の側面では、側面２０に記載のハードウェアプロセッサと、画像をウェアラブルディスプレイシステムのユーザの眼に提供するように構成される、ディスプレイとを備える、ウェアラブルディスプレイシステム。
第２２の側面では、ディスプレイは、ライトフィールドディスプレイを備える、側面２１に記載のウェアラブルディスプレイシステム。
第２３の側面では、ディスプレイは、画像を複数の深度平面に表示するように構成される、側面２１または側面２２に記載のウェアラブルディスプレイシステム。
第２４の側面では、物理的オブジェクトを備える領域の画像を捕捉するように構成される、画像捕捉デバイスをさらに備え、ウェアラブルディスプレイシステムは、ユーザによって知覚される仮想コンテンツを物理的オブジェクトのうちの１つまたはそれを上回るものと関連付けられるよう表示するように構成される、側面２１から２３のいずれか１項に記載のウェアラブルディスプレイシステム。
第２５の側面では、３次元（３Ｄ）空間内に位置する仮想オブジェクトを選択するための方法であって、コンピュータハードウェアを備える拡張現実（ＡＲ）システムの制御下であって、ＡＲシステムは、ユーザの動眼視野（ＦＯＲ）内の相互作用可能オブジェクトとのユーザ相互作用を可能にするように構成され、ＦＯＲは、ＡＲシステムを介してユーザによって知覚可能なユーザの周囲の環境の一部を備える、ＡＲシステムの制御下で、ユーザのＦＯＲ内の相互作用可能オブジェクトのグループを判定するステップと、ユーザの姿勢を判定するステップと、少なくとも部分的に、ユーザの姿勢に基づいて、ユーザの視野（ＦＯＶ）を判定するステップであって、ＦＯＶは、ユーザによって所与の時間に知覚されたＦＯＲの一部を備える、ステップと、ユーザの姿勢またはＦＯＶにおける変化に基づいて、ユーザのＦＯＶ内に位置する相互作用可能オブジェクトのサブグループを更新するステップと、標的相互作用可能オブジェクトの選択を相互作用可能オブジェクトのサブグループから受信するステップと、選択イベントを標的相互作用可能オブジェクト上で開始するステップとを含む、方法。
第２６の側面では、相互作用可能オブジェクトのグループをデータ構造内に記憶するステップをさらに含む、側面２５に記載の方法。
第２７の側面では、相互作用可能オブジェクトのグループ内の各相互作用可能オブジェクトは、少なくとも部分的に、ユーザのＦＯＶ内の相互作用可能オブジェクトの場所に基づいて、データ構造内に表される、側面２６に記載の方法。
第２８の側面では、場所は、ユーザのＦＯＶの縁からの距離を備える、側面２７に記載の方法。
第２９の側面では、標的相互作用可能オブジェクトの選択を相互作用可能オブジェクトのサブグループから受信するステップは、第１の入力をユーザデバイスから受信するステップと、第１の入力に応答して、標的相互作用可能オブジェクトを相互作用可能オブジェクトのサブグループから識別するステップとを含む、側面２５に記載の方法。
第３０の側面では、第２の入力をユーザデバイスから受信するステップと、第２の入力に応答して、相互作用イベントを標的相互作用可能オブジェクト上で開始するステップとをさらに含む、側面２５に記載の方法。
第３１の側面では、標的相互作用可能オブジェクトは、ユーザのＦＯＶの中央点に最も近い相互作用可能オブジェクトのサブグループ内の相互作用可能オブジェクトである、側面３０に記載の方法。
第３２の側面では、標的相互作用可能オブジェクトは、ユーザのＦＯＶ内の相互作用可能オブジェクトのサブグループ内の最左または最右相互作用可能オブジェクトである、側面３０に記載の方法。
第３３の側面では、相互作用イベントを開始するステップは、標的相互作用可能オブジェクトのサイズ調整、標的相互作用可能オブジェクトのメニューの表示、標的相互作用可能オブジェクトのメニューのブラウジング、メニュー上の第１のアイテムの選択、データベース内の第２のアイテムの検索、標的相互作用可能オブジェクトと関連付けられたビデオゲームのプレー、ビデオの鑑賞、または電話会議の実施のうちの１つまたはそれを上回るものを含む、側面３０−３２のいずれか１項に記載の方法。
第３４の側面では、標的相互作用可能オブジェクトの選択を受信するステップは、ユーザの姿勢に基づいて、ユーザの視線の経路を判定し、ユーザの視線の経路と交差するオブジェクトを標的相互作用可能オブジェクトとして選択することによって行われる、側面２５に記載の方法。
第３５の側面では、可視焦点インジケータを標的相互作用可能オブジェクトに割り当てるステップをさらに含む、側面２５−３４のいずれか１項に記載の方法。
第３６の側面では、可視焦点インジケータは、ハイライト、後光背光、色変化、サイズ変化、または標的相互作用可能オブジェクトの知覚された深度における変化を備える、側面３５に記載の方法。
第３７の側面では、選択イベントを開始するステップは、標的相互作用可能オブジェクトを標的相互作用可能オブジェクトになる異なる相互作用可能オブジェクトに変更するステップ、標的相互作用可能オブジェクトと関連付けられたメニューを開くステップ、またはユーザから標的相互作用可能オブジェクトを選択する確認を受信するステップのうちの１つまたはそれを上回るものを含む、側面２５に記載の方法。
第３８の側面では、相互作用可能オブジェクトのグループは、仮想オブジェクトを備える、側面２５−３７のいずれか１項に記載の方法。
第３９の側面では、ユーザの姿勢は、眼姿勢を備える、側面２５−３８のいずれか１項に記載の方法。
第４０の側面では、ユーザの姿勢は、頭部姿勢を備える、側面２５−３９のいずれか１項に記載の方法。
第４１の側面では、３次元（３Ｄ）空間内に位置する仮想オブジェクトを選択するための拡張現実（ＡＲ）システムであって、ディスプレイシステムと、ネットワークインターフェースと、ネットワークインターフェースおよびディスプレイシステムと通信し、ユーザのＦＯＲ内の相互作用可能オブジェクトのグループを判定し、ユーザの姿勢を判定し、少なくとも部分的に、ユーザの姿勢に基づいて、ユーザの視野（ＦＯＶ）を判定し、ＦＯＶは、ユーザによって所与の時間に知覚されたＦＯＲの一部を備え、ユーザの姿勢またはＦＯＶにおける変化に基づいて、ユーザのＦＯＶ内に位置する相互作用可能オブジェクトのサブグループを更新し、標的相互作用可能オブジェクトの選択を相互作用可能オブジェクトのサブグループから受信し、選択イベントを標的相互作用可能オブジェクト上で開始するように構成される、コンピュータプロセッサとを備える、システム。
第４２の側面では、コンピュータプロセッサはさらに、相互作用可能オブジェクトのグループをデータ構造内に記憶するように構成される、側面４１に記載のシステム。
第４３の側面では、相互作用可能オブジェクトのグループ内の１つまたはそれを上回る相互作用可能オブジェクトは、少なくとも部分的に、ユーザのＦＯＶ内の相互作用可能オブジェクトの場所に基づいて、データ構造内に表される、側面４２に記載のシステム。
第４４の側面では、場所は、ユーザのＦＯＶの縁からの距離を備える、側面４３に記載のシステム。
第４５の側面では、標的相互作用可能オブジェクトの選択を相互作用可能オブジェクトのサブグループから受信するように構成される、コンピュータプロセッサは、第１の入力をユーザデバイスから受信し、第１の入力に応答して、標的相互作用可能オブジェクトを相互作用可能オブジェクトのサブグループから識別することを含む、側面４１−４４のいずれか１項に記載のシステム。
第４６の側面では、標的相互作用可能オブジェクトは、ユーザのＦＯＶの中央点に最も近い相互作用可能オブジェクトのサブグループ内の相互作用可能オブジェクトである、側面４１−４５のいずれか１項に記載のシステム。
第４７の側面では、標的相互作用可能オブジェクトは、ユーザのＦＯＶ内の相互作用可能オブジェクトのサブグループ内の最左または最右相互作用可能オブジェクトである、側面４１−４５のいずれか１項に記載のシステム。
第４８の側面では、標的相互作用可能オブジェクトの選択を相互作用可能オブジェクトのサブグループから受信するように構成される、コンピュータプロセッサは、ユーザの姿勢に基づいて、ユーザの視線の経路を判定し、ユーザの視線の経路と交差するオブジェクトを標的相互作用可能オブジェクトとして選択することを含む、側面４１−４７に記載のシステム。
第４９の側面では、コンピュータプロセッサはさらに、可視焦点インジケータを標的相互作用可能オブジェクトに割り当てるように構成される、側面４１−４８のいずれか１項に記載のシステム。
第５０の側面では、可視焦点インジケータは、ハイライト、後光背光、色変化、サイズ変化、または標的相互作用可能オブジェクトの知覚された深度における変化を備える、側面４９に記載のシステム。
第５１の側面では、選択イベントを開始するように構成される、コンピュータプロセッサは、標的相互作用可能オブジェクトを標的相互作用可能オブジェクトになる異なる相互作用可能オブジェクトに変更すること、標的相互作用可能オブジェクトと関連付けられたメニューを開くこと、またはユーザから標的相互作用可能オブジェクトを選択する確認を受信することのうちの１つまたはそれを上回るものを含む、側面４１−５０に記載のシステム。
第５２の側面では、相互作用可能オブジェクトのグループは、仮想オブジェクトを備える、側面４１−５１のいずれか１項に記載の方法。
第５３の側面では、ユーザの姿勢は、眼姿勢を備える、側面４１−５２のいずれか１項に記載の方法。
第５４の側面では、ユーザの姿勢は、頭部姿勢を備える、側面５１−５３のいずれか１項に記載の方法。
第５５の側面では、３次元（３Ｄ）空間内の仮想オブジェクトと相互作用するためのシステムであって、複数の相互作用可能オブジェクトを表示するための拡張現実ディスプレイと、ユーザ入力デバイスと、ユーザの姿勢を判定するように構成される、１つまたはそれを上回るセンサと、１つまたはそれを上回るプロセッサであって、１つまたはそれを上回るプロセッサは、仮想オブジェクトを選択するために、第１のユーザ入力モードと第２のユーザ入力モードとの間で切り替えるように構成され、第１のユーザ入力モードは、少なくとも部分的に、ユーザの姿勢に基づき、第２のユーザ入力モードは、少なくとも部分的に、ユーザ入力デバイスからの信号に基づき、さらに、システムが第１のユーザ入力モードで動作している間、ユーザの姿勢を監視し、少なくとも部分的に、監視される姿勢に基づいて、第１のユーザ入力モードと関連付けられた第１の焦点インジケータをユーザの姿勢に関連する方向に表示し、第２のユーザ入力モードに切り替えるためのインジケーションを受信し、インジケーションはさらに、標的相互作用可能オブジェクトの選択を示し、システムが第２のユーザ入力モードで動作している間、ユーザ入力デバイスからのユーザ入力を監視し、少なくとも部分的に、監視されるユーザ入力に基づいて、第２のユーザ入力モードと関連付けられた第２の焦点インジケータを表示するように構成される、１つまたはそれを上回るプロセッサとを備える、システム。
第５６の側面では、第１の焦点インジケータは、第１の形状におけるカーソルを備え、第２の焦点インジケータは、第２の形状におけるカーソルを備える、側面５５に記載のシステム。
第５７の側面では、第１の形状は、十字線を備え、第２の形状は、矢印を備える、側面５６に記載のシステム。
第５８の側面では、１つまたはそれを上回るプロセッサはさらに、第１の焦点インジケータまたは第２の焦点インジケータの場所と関連付けられたコンテキスト情報を判定し、少なくとも部分的に、コンテキスト情報に基づいて、異なるユーザ入力モードに切り替えるためのオプションを表示するように構成される、側面５５に記載のシステム。
第５９の側面では、標的相互作用可能オブジェクトは、１つまたはそれを上回る仮想オブジェクトを備える、側面５５−５８のいずれか１項に記載のシステム。
第６０の側面では、ユーザの姿勢は、頭部姿勢、眼姿勢、または身体姿勢のうちの少なくとも１つを備える、側面５５−５９のいずれか１項に記載のシステム。
第６１の側面では、ユーザ入力デバイスは、親指パッド、トラックパッド、Ｄパッド、またはタッチスクリーンである、側面５５−６０のいずれか１項に記載のシステム。
第６２の側面では、３次元（３Ｄ）空間内に位置する相互作用可能オブジェクトを選択するための方法であって、コンピュータハードウェアを備える拡張現実（ＡＲ）システムの制御下であって、ＡＲシステムは、ユーザの動眼視野（ＦＯＲ）内の相互作用可能オブジェクトとのユーザ相互作用を可能にするように構成され、ＦＯＲは、ＡＲシステムを介してユーザによって知覚可能なユーザの周囲の環境の一部を備え、ＡＲシステムは、ユーザ入力デバイスをさらに備える、ＡＲシステムの制御下で、ユーザのＦＯＲ内の仮想オブジェクトと関連付けられた相互作用可能オブジェクトのグループを判定するステップと、ユーザの姿勢を判定するステップと、少なくとも部分的に、ユーザの姿勢に基づいて、相互作用可能オブジェクトのグループから標的相互作用可能オブジェクトを判定するステップと、焦点インジケータと選択された標的相互作用可能オブジェクトを関連付けるステップと、少なくとも部分的に、ユーザ入力デバイスの入力に基づいて、選択イベントを選択された標的表面上で開始するステップとを含む、方法。
第６３の側面では、標的相互作用可能オブジェクトを判定するステップは、レイキャスティングによって行われる、側面６２に記載の方法。
第６４の側面では、レイキャスティングは、光線束を投じるステップを含む、側面６３に記載の方法。
第６５の側面では、レイキャスティングは、実質的横方向幅を伴う光線を投じるステップを含む、側面６３に記載の方法。
第６６の側面では、焦点インジケータは、ユーザに可視である、側面６２に記載の方法。
第６７の側面では、焦点インジケータをユーザに表示するステップをさらに含む、側面６６に記載の方法。
第６８の側面では、少なくとも部分的に、ユーザの姿勢に基づいて、ユーザの視野（ＦＯＶ）を判定するステップであって、ＦＯＶは、ユーザによって所与の時間に知覚されたＦＯＲの一部を備える、ステップと、視野（ＦＯＶ）内の１つまたはそれを上回る相互作用可能オブジェクトのコンテキスト情報にアクセスするステップと、少なくとも部分的に、コンテキスト情報に基づいて、ユーザ入力モードのための１つまたはそれを上回るオプションを提供するステップとをさらに含む、側面６２に記載の方法。
第６９の側面では、ユーザ入力モードのためのオプションの選択を受信するステップと、現在のユーザ入力モードを判定するステップと、現在のユーザ入力モードが選択されたオプションと異なることの判定に応答して、現在のユーザ入力モードを選択されたオプションに更新するステップとをさらに含む、側面６８に記載の方法。
第７０の側面では、焦点インジケータを更新し、現在のユーザ入力モードが変更されたことを示すステップをさらに含む、側面６９に記載の方法。
第７１の側面では、ユーザ入力モードは、ユーザの姿勢またはユーザ入力デバイスのうちの１つまたはそれを上回るものを含む、側面７０に記載の方法。
第７２の側面では、相互作用可能オブジェクトのグループは、１つまたはそれを上回る仮想ユーザインターフェース平面を備える、側面６２−７１のいずれか１項に記載の方法。
第７３の側面では、ユーザの姿勢は、眼姿勢、頭部姿勢、または身体姿勢のうちの少なくとも１つを備える、側面６２−７２のいずれか１項に記載の方法。
第７４の側面では、３次元（３Ｄ）環境内の仮想オブジェクトと相互作用するための方法であって、コンピュータハードウェアを備える拡張現実（ＡＲ）システムの制御下であって、ＡＲシステムは、ユーザの動眼視野（ＦＯＲ）内の相互作用可能オブジェクトとのユーザ相互作用を可能にするように構成され、ＦＯＲは、ＡＲシステムを介してユーザによって知覚可能なユーザの周囲の環境の一部を備え、ＡＲシステムは、ユーザ入力デバイスをさらに備える、ＡＲシステムの制御下で、ユーザの姿勢を判定するステップと、標的相互作用可能オブジェクトと関連付けられた第１の焦点インジケータをユーザの姿勢に関連する方向に表示するステップであって、標的相互作用可能オブジェクトは、複数の仮想オブジェクトを備える、ステップと、標的相互作用可能オブジェクトの選択を受信するステップと、複数の仮想オブジェクトを表示するステップと、標的仮想オブジェクトと関連付けられた第２の焦点インジケータを表示するステップと少なくとも部分的に、ユーザ入力デバイスからの入力に基づいて、第２の焦点インジケータを更新するステップとを含む、方法。
第７５の側面では、第１の焦点インジケータは、第１の形状におけるカーソルを備え、第２の焦点インジケータは、第２の形状におけるカーソルを備える、側面７４に記載の方法。
第７６の側面では、第１の形状は、十字線を備え、第２の形状は、矢印を備える、側面７５に記載の方法。
第７７の側面では、ユーザの姿勢は、頭部姿勢、眼姿勢、または身体姿勢のうちの少なくとも１つを備える、側面７４−７６のいずれか１項に記載の方法。
第７８の側面では、ユーザ入力デバイスは、親指パッド、トラックパッド、Ｄパッド、またはタッチスクリーンである、側面７４−７７のいずれか１項に記載の方法。
第７９の側面では、３次元（３Ｄ）空間内の仮想オブジェクトと相互作用するための方法であって、コンピュータハードウェアを備える拡張現実（ＡＲ）システムの制御下であって、ＡＲシステムは、ユーザの動眼視野（ＦＯＲ）内の相互作用可能オブジェクトとのユーザ相互作用を可能にするように構成され、ＦＯＲは、ＡＲシステムを介してユーザによって知覚可能なユーザの周囲の環境の一部を備え、ＡＲシステムは、ユーザ入力デバイスをさらに備える、ＡＲシステムの制御下で、ＡＲシステムが第１のユーザ入力モードであって、少なくとも部分的に、ユーザの姿勢に基づく、第１のユーザ入力モードで動作している間、ユーザの姿勢を監視するステップと、少なくとも部分的に、監視される姿勢に基づいて、第１のユーザ入力モードと関連付けられた第１の焦点インジケータをユーザの姿勢に関連する方向に表示するステップと、第２のユーザ入力モードに切り替えるためのインジケーションを受信するステップであって、インジケーションはさらに、標的相互作用可能オブジェクトの選択を示す、ステップと、ＡＲシステムが、第２のユーザ入力モードであって、少なくとも部分的に、ユーザ入力デバイスからの信号に基づく、第２のユーザ入力モードで動作している間、ユーザ入力デバイスからのユーザ入力を監視するステップと、少なくとも部分的に、監視されるユーザ入力に基づいて、第２のユーザ入力モードと関連付けられた、第２の焦点インジケータを表示するステップとを含む、方法。
第８０の側面では、第１の焦点インジケータは、第１の形状におけるカーソルを備え、第２の焦点インジケータは、第２の形状におけるカーソルを備える、側面７９に記載の方法。
第８１の側面では、第１の形状は、十字線を備え、第２の形状は、矢印を備える、側面８０に記載の方法。
第８２の側面では、第１の焦点インジケータまたは第２の焦点インジケータの場所と関連付けられたコンテキスト情報を判定するステップと、少なくとも部分的に、コンテキスト情報に基づいて、異なるユーザ入力モードに切り替えるためのオプションを表示するステップとをさらに含む、側面７９に記載の方法。
第８３の側面では、標的相互作用可能オブジェクトは、１つまたはそれを上回る仮想オブジェクトを備える、側面７９−８２のいずれか１項に記載の方法。
第８４の側面では、ユーザの姿勢は、頭部姿勢、眼姿勢、または身体姿勢のうちの少なくとも１つを備える、側面７９−８３のいずれか１項に記載の方法。
第８５の側面では、ユーザ入力デバイスは、親指パッド、トラックパッド、Ｄパッド、またはタッチスクリーンである、側面７９−８４のいずれか１項に記載の方法。
第８６の側面では、側面６２−８５のいずれか１項に記載の方法を行うようにプログラムされる、コンピュータハードウェアを備える、拡張現実デバイス。
第８７の側面では、ウェアラブルデバイスのためのユーザ入力モードを変更するためのシステムであって、３次元（３Ｄ）ビューをユーザに提示するように構成される、ウェアラブルデバイスのディスプレイシステムであって、３Ｄビューは、相互作用可能オブジェクトを備える、ウェアラブルデバイスのディスプレイシステムと、ユーザ入力を受信するように構成される、ユーザ入力デバイスと、ユーザの姿勢と関連付けられたデータを取得するように構成される、センサと、ユーザ入力デバイスと通信する、ハードウェアプロセッサであって、相互作用可能オブジェクトと相互作用するための現在のユーザ入力モードが、第１のユーザ入力モードであるかまたは第２のユーザ入力モードであるかを判定し、第１のユーザ入力モードは、少なくとも部分的に、ユーザの姿勢に基づき、第２のユーザ入力モードは、少なくとも部分的に、ユーザ入力デバイスからのユーザ入力に基づき、現在のユーザ入力モードが第１のユーザ入力モードであることの判定に応答して、センサを使用して、ユーザの姿勢を監視し、ディスプレイシステムを介して、少なくとも部分的に、監視される姿勢に基づいて、第１のユーザ入力モードと関連付けられた第１の形状における焦点インジケータをユーザの姿勢に関連する方向に提示し、第１のインジケーションを受信し、第２のユーザ入力モードに切り替え、第１のインジケーションに応答して、現在のユーザ入力モードを第２のユーザ入力モードに切り替え、現在のユーザ入力モードが第２のユーザ入力モードであることの判定に応答して、ユーザ入力デバイスからのユーザ入力を監視し、ディスプレイシステムを介して、少なくとも部分的に、監視される入力に基づいて、第２のユーザ入力モードと関連付けられた第２の形状における焦点インジケータを提示し、第２のインジケーションを受信し、第１のユーザ入力モードに切り替え、第２のインジケーションに応答して、現在のユーザ入力モードを第１のユーザ入力モードに切り替えるようにプログラムされる、プロセッサとを備える、システム。
第８８の側面では、ユーザの姿勢は、頭部姿勢、眼姿勢、足姿勢、または身体姿勢のうちの少なくとも１つを備える、またはセンサは、内向きに面したイメージングシステム、外向きに面したイメージングシステム、または慣性測定ユニットのうちの少なくとも１つを備える、またはディスプレイシステムは、相互作用可能オブジェクトのうちの１つまたはそれを上回るものを複数の深度平面に表示するように構成される、ライトフィールドディスプレイを備える、側面８７に記載のシステム。
第８９の側面では、プロセッサはさらに、少なくとも部分的に、ユーザの姿勢に基づいて、ユーザの視野（ＦＯＶ）を判定し、ＦＯＶは、ユーザによって所与の時間に知覚されたユーザの環境の一部を備え、ＦＯＶと関連付けられたコンテキスト情報を判定し、コンテキスト情報は、ＦＯＶ内の相互作用可能オブジェクトのレイアウト、ＦＯＶのサイズ、ユーザのＦＯＶ内の相互作用可能オブジェクトのうちの１つまたはそれを上回るもののサイズのうちの少なくとも１つを備え、少なくとも部分的に、コンテキスト情報に基づいて、第１のユーザ入力モードから第２のユーザ入力モードに、または、第２のユーザ入力モードから第１のユーザ入力モードに切り替えるためのオプションを提示するようにプログラムされる、側面８７−８８のいずれか１項に記載のシステム。
第９０の側面では、オプションを提示するために、プロセッサは、現在のユーザ入力モードが第１のユーザ入力モードにあるとき、第２の形状における焦点インジケータを提示し、現在のユーザ入力モードが第２のユーザ入力モードにあるとき、第１の形状における焦点インジケータを提示するようにプログラムされる、側面８９に記載のシステム。
第９１の側面では、第１のインジケーションは、ユーザの姿勢における変化を備え、第２のインジケーションは、ユーザ入力デバイスの作動を備える、側面８７−９０のいずれか１項に記載のシステム。
第９２の側面では、ウェアラブルデバイスのためのユーザ入力モードを変更するための方法であって、コンピュータプロセッサを備えるウェアラブルデバイスの制御下であって、ウェアラブルデバイスは、ユーザの動眼視野（ＦＯＲ）内の相互作用可能オブジェクトとのユーザ相互作用を可能にするように構成され、ＦＯＲは、ウェアラブルデバイスのディスプレイシステムを介してユーザによって知覚可能なユーザの周囲の環境の一部を備える、ウェアラブルデバイスの制御下で、ユーザの姿勢を判定するステップと、ディスプレイシステムを介して、標的相互作用可能オブジェクトと関連付けられた第１の焦点インジケータをユーザの姿勢に関連する方向に表示するステップであって、標的相互作用可能オブジェクトは、複数の仮想オブジェクトを備える、ステップと、標的相互作用可能オブジェクトの選択を受信するステップと、ユーザ入力モードを姿勢からユーザ入力デバイス上での手のジェスチャに切り替えるためのオプションをユーザに提示するステップと、ディスプレイシステムを介して、複数の仮想オブジェクトを表示するステップと、ユーザがユーザ入力モードを姿勢からユーザ入力デバイス上での手のジェスチャに切り替えたことの判定に応答して、ディスプレイシステムを介して、複数の仮想オブジェクトのうちの標的仮想オブジェクトと関連付けられた第２の焦点インジケータを表示するステップと、少なくとも部分的に、ユーザ入力デバイスからのユーザ入力に基づいて、第２の焦点インジケータを更新するステップとを含む、方法。
第９３の側面では、オプションは、標的相互作用可能オブジェクトの選択または複数の仮想オブジェクトまたは標的相互作用可能オブジェクトと関連付けられたコンテキスト情報に応答して提示される、側面９２に記載の方法。
第９４の側面では、コンテキスト情報は、複数の仮想オブジェクトの密度を備え、ユーザ入力モードを姿勢からユーザ入力デバイス上での手のジェスチャに切り替えるためのオプションは、複数の仮想オブジェクトの密度が閾値密度を超えることの判定に応答して提示される、側面９３に記載の方法。
第９５の側面では、標的仮想オブジェクトは、少なくとも部分的に、ユーザの姿勢に基づいて、識別される、側面９２−９４のいずれか１項に記載の方法。
第９６の側面では、第２の焦点インジケータを更新するステップは、第２の焦点インジケータを標的仮想オブジェクトから複数の仮想オブジェクトのうちの別の仮想オブジェクトに移行するステップを含む、側面９２−９５のいずれか１項に記載の方法。
第９７の側面では、選択イベントを標的仮想オブジェクト上で開始するステップをさらに備え、選択イベントは、標的仮想オブジェクトと関連付けられたメニューを開くステップまたは標的仮想オブジェクトを選択するインジケーションを受信するステップのうちの少なくとも１つをさらに含む、側面９２−９６のいずれか１項に記載の方法。
第９８の側面では、複数の仮想オブジェクトは、天気アプリケーションまたは天文学アプリケーションのうちの少なくとも１つを備え、天気アプリケーションの選択に応答して、ウェアラブルデバイスは、ユーザの環境内のオブジェクト上に重畳された仮想天気情報を表示するようにプログラムされ、天文学アプリケーションの選択に応答して、ウェアラブルデバイスは、ユーザの環境上に重畳された３次元仮想惑星を備える相互作用可能惑星系を表示するようにプログラムされる、側面９２−９７のいずれか１項に記載の方法。
第９９の側面では、３次元（３Ｄ）空間内に位置する仮想オブジェクトを選択するためのウェアラブルシステムであって、仮想オブジェクトを３Ｄ空間内に提示するように構成される、ディスプレイシステムと、相互作用可能オブジェクトを３Ｄ空間内に記憶するように構成される、非一過性データ記憶と、ユーザの姿勢を判定するように構成される、センサと、ディスプレイシステム、データ記憶、およびセンサと通信し、少なくとも部分的に、センサから受信されたデータに基づいて、ユーザの姿勢を判定し、少なくとも部分的に、ユーザの姿勢に基づいて、ユーザの視野（ＦＯＶ）を判定し、ＦＯＶは、ユーザによって所与の時間に知覚されたユーザの環境の一部を備え、ＦＯＶ内の相互作用可能オブジェクトのグループを識別し、少なくとも部分的に、ユーザの姿勢に基づいて、ＦＯＶ内の標的相互作用可能オブジェクトを識別し、標的相互作用可能オブジェクトと関連付けられた選択イベントを開始するようにプログラムされる、ハードウェアプロセッサとを備える、ウェアラブルシステム。
第１００の側面では、相互作用可能オブジェクトのグループは、データ構造内に記憶され、各相互作用可能オブジェクトと関連付けられたインデックスは、少なくとも部分的に、３Ｄ空間内の相互作用可能オブジェクトの位置に基づいて、判定される、側面９９に記載のウェアラブルシステム。
第１０１の側面では、標的相互作用可能オブジェクト上での選択イベントの開始に応答して、ウェアラブルシステムのプロセッサは、２次元（２Ｄ）インターフェース内に、３Ｄ空間内の標的相互作用可能オブジェクトの閾値範囲内の仮想オブジェクトを提示するようにプログラムされる、側面９９−１００のいずれか１項に記載のウェアラブルシステム。
第１０２の側面では、２Ｄインターフェースは、ユーザ入力デバイスを介して相互作用可能である、側面１０１に記載のウェアラブルシステム。
第１０３の側面では、ＦＯＶ内の標的相互作用可能オブジェクトを識別するために、プロセッサは、ユーザの姿勢に基づいて、ユーザの視線の経路を判定し、視線の経路と交差する相互作用可能オブジェクトを標的相互作用可能オブジェクトとして選択するステップ、またはユーザのＦＯＶ内の最左または最右相互作用可能オブジェクトを標的相互作用可能オブジェクトとして選択するステップであって、最左または最右相互作用可能オブジェクトは、少なくとも部分的に、相互作用可能オブジェクトのグループと関連付けられたインデックスに基づいて選択される、ステップのうちの少なくとも１つを行うように構成される、側面９９−１０２のいずれか１項に記載のウェアラブルシステム。
第１０４の側面では、プロセッサは、ユーザ入力デバイスからの入力の受信またはユーザの姿勢の変化の検出のうちの少なくとも１つに応答して、選択イベントを開始するように構成される、側面９９−１０３のいずれか１項に記載のウェアラブルシステム。
第１０５の側面では、プロセッサはさらに、標的相互作用可能オブジェクトと関連付けられた焦点インジケータを提示するように構成される、側面９９−１０４のいずれか１項に記載のウェアラブルシステム。
第１０６の側面では、ユーザの場所と関連付けられたデータを取得するように構成される、ジオロケーションセンサをさらに備え、標的相互作用可能オブジェクトは、ジオロケーションセンサによって取得されたデータに基づいて、ユーザの場所を判定し、遠隔コンピューティングデバイスと通信し、ユーザの場所に基づいて、天気データを取得し、天気データと関連付けられた仮想要素を生成し、仮想要素をユーザの３Ｄ空間内に重畳するようにプログラムされる、天気アプリケーションを備える、側面９９−１０５のいずれか１項に記載のウェアラブルシステム。
（結論）
本明細書に説明される、および／または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、１つまたはそれを上回る物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および／または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ（例えば、サーバ）または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、または解釈されるプログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、（適切な特殊化された実行可能命令を利用する）特定用途向けハードウェアまたは１つまたはそれを上回る物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、および／または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。本方法およびモジュール（またはデータ）はまた、無線ベースおよび有線／ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として（例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として）伝送され得、種々の形態（例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして）をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。
本明細書に説明される、および／または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能（例えば、論理または算術）またはステップを実装するための１つまたはそれを上回る実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されることができる。いくつかの実施形態では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、任意の特定のシーケンスに限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行に、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそれから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証を目的とし、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変形例が、可能である。
本プロセス、方法、およびシステムは、ネットワーク（または分散）コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線または無線ネットワークまたは任意の他のタイプの通信ネットワークであり得る。
本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。
別個の実装の文脈において本明細書に説明されるある特徴はまた、単一の実装における組み合わせにおいて実装されることができる。逆に、単一の実装の文脈において説明される種々の特徴もまた、複数の実装において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいてアクションするものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの１つまたはそれを上回る特徴は、いくつかの場合では、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要または必須ではない。
とりわけ、「〜できる（ｃａｎ）」、「〜し得る（ｃｏｕｌｄ）」、「〜し得る（ｍｉｇｈｔ）」、「〜し得る（ｍａｙ）」、「例えば（ｅ．ｇ．，）」、および同等物等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、および／またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図される。したがって、そのような条件文は、概して、特徴、要素、および／またはステップが、１つまたはそれを上回る実施形態に対していかようにも要求されること、または１つまたはそれを上回る実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および／またはステップが任意の特定の実施形態において含まれる、または実施されるべきかどうかを決定するための論理を必然的に含むことを示唆することを意図されない。用語「〜を備える」、「〜を含む」、「〜を有する」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され（およびその排他的意味において使用されず）、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの１つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「ａ」、「ａｎ」、および「ｔｈｅ」は、別様に規定されない限り、「１つまたはそれを上回る」または「少なくとも１つ」を意味するように解釈されるべきである。
本明細書で使用されるように、項目のリスト「のうちの少なくとも１つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある実施例として、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」は、Ａ、Ｂ、Ｃ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、およびＡ、Ｂ、およびＣを網羅することが意図される。語句「Ｘ、Ｙ、およびＺのうちの少なくとも１つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等がＸ、Ｙ、またはＺのうちの少なくとも１つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Ｘのうちの少なくとも１つ、Ｙのうちの少なくとも１つ、およびＺのうちの少なくとも１つがそれぞれ存在するように要求することを示唆することを意図されない。
同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、または連続的順序で実施される必要はない、または、全ての図示される動作が実施される必要はないと認識されるべきである。さらに、図面は、フローチャートの形態で１つまたはそれを上回る例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、１つまたはそれを上回る付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。

Claims (20)

  1. ウェアラブルデバイスのためのユーザ入力モードを変更するためのシステムであって、
    ３次元（３Ｄ）ビューをユーザに提示するように構成される、ウェアラブルデバイスのディスプレイシステムであって、前記３Ｄビューは、相互作用可能オブジェクトを備える、ウェアラブルデバイスのディスプレイシステムと、
    ユーザ入力を受信するように構成される、ユーザ入力デバイスと、
    前記ユーザの姿勢と関連付けられたデータを取得するように構成される、センサと、
    前記ユーザ入力デバイスと通信する、ハードウェアプロセッサであって、
    前記相互作用可能オブジェクトと相互作用するための現在のユーザ入力モードが、第１のユーザ入力モードであるかまたは第２のユーザ入力モードであるかを判定することであって、
    前記第１のユーザ入力モードは、少なくとも部分的に、前記ユーザの姿勢に基づいており、
    前記第２のユーザ入力モードは、少なくとも部分的に、前記ユーザ入力デバイスからのユーザ入力に基づいている、ことと、
    前記現在のユーザ入力モードが前記第１のユーザ入力モードであることの判定に応答して、
    前記センサを使用して、前記ユーザの姿勢を監視することと、
    前記ディスプレイシステムを介して、少なくとも部分的に、前記監視される姿勢に基づいて、前記第１のユーザ入力モードと関連付けられた第１の形状における焦点インジケータを前記ユーザの姿勢に関連する方向に提示することと、
    第１のインジケーションを受信し、前記第２のユーザ入力モードに切り替えることと、
    前記第１のインジケーションに応答して、前記現在のユーザ入力モードを前記第２のユーザ入力モードに切り替えることと、
    前記現在のユーザ入力モードが前記第２のユーザ入力モードであることの判定に応答して、
    前記ユーザ入力デバイスからのユーザ入力を監視することと、
    前記ディスプレイシステムを介して、少なくとも部分的に、前記監視される入力に基づいて、前記第２のユーザ入力モードと関連付けられた第２の形状における焦点インジケータを提示することと、
    第２のインジケーションを受信し、前記第１のユーザ入力モードに切り替え、
    前記第２のインジケーションに応答して、前記現在のユーザ入力モードを前記第１のユーザ入力モードに切り替えることと
    を行うようにプログラムされる、ハードウェアプロセッサと
    を備える、システム。
  2. 前記プロセッサはさらに、
    少なくとも部分的に、前記ユーザの姿勢に基づいて、前記ユーザの視野（ＦＯＶ）を判定することであって、前記ＦＯＶは、前記ユーザによって所与の時間に知覚された前記ユーザの環境の一部を備える、ことと、
    前記ＦＯＶと関連付けられたコンテキスト情報を判定することであって、前記コンテキスト情報は、前記ＦＯＶ内の前記相互作用可能オブジェクトのレイアウト、前記ＦＯＶのサイズ、前記ユーザのＦＯＶ内の前記相互作用可能オブジェクトのうちの１つまたはそれを上回るもののサイズのうちの少なくとも１つを備える、ことと、
    少なくとも部分的に、前記コンテキスト情報に基づいて、前記第１のユーザ入力モードから前記第２のユーザ入力モードにまたは前記第２のユーザ入力モードから前記第１のユーザ入力モードに切り替えるためのオプションを提示することと
    を行うようにプログラムされる、請求項１に記載のシステム。
  3. 前記オプションを提示するために、前記プロセッサは、前記現在のユーザ入力モードが前記第１のユーザ入力モードにあるとき、前記第２の形状における前記焦点インジケータを提示し、前記現在のユーザ入力モードが前記第２のユーザ入力モードにあるとき、前記第１の形状における前記焦点インジケータを提示するようにプログラムされる、請求項３に記載のシステム。
  4. 前記第１のインジケーションは、前記ユーザの姿勢における変化を備え、前記第２のインジケーションは、前記ユーザ入力デバイスの作動を備える、請求項１に記載のシステム。
  5. 前記ユーザの姿勢は、頭部姿勢、眼姿勢、足姿勢、または身体姿勢のうちの少なくとも１つを備える、または前記センサは、内向きに面したイメージングシステム、外向きに面したイメージングシステム、または慣性測定ユニットのうちの少なくとも１つを備える、または前記ディスプレイシステムは、前記相互作用可能オブジェクトのうちの１つまたはそれを上回るものを複数の深度平面に表示するように構成される、ライトフィールドディスプレイを備える、請求項１−４のいずれか１項に記載のシステム。
  6. ウェアラブルデバイスのためのユーザ入力モードを変更するための方法であって、
    コンピュータプロセッサを備えるウェアラブルデバイスの制御下であって、前記ウェアラブルデバイスは、ユーザの動眼視野（ＦＯＲ）内の相互作用可能オブジェクトとのユーザ相互作用を可能にするように構成され、前記ＦＯＲは、前記ウェアラブルデバイスのディスプレイシステムを介して前記ユーザによって知覚可能な前記ユーザの周囲の環境の一部を備える、ウェアラブルデバイスの制御下で、
    ユーザの姿勢を判定するステップと、
    前記ディスプレイシステムを介して、標的相互作用可能オブジェクトと関連付けられた第１の焦点インジケータを前記ユーザの姿勢に関連する方向に表示するステップであって、前記標的相互作用可能オブジェクトは、複数の仮想オブジェクトを備える、ステップと、
    前記標的相互作用可能オブジェクトの選択を受信するステップと、
    前記ユーザ入力モードを姿勢からユーザ入力デバイス上での手のジェスチャに切り替えるためのオプションを前記ユーザに提示するステップと、
    前記ディスプレイシステムを介して、前記複数の仮想オブジェクトを表示するステップと、
    前記ユーザが前記ユーザ入力モードを姿勢から前記ユーザ入力デバイス上での手のジェスチャに切り替えたことの判定に応答して、前記ディスプレイシステムを介して、前記複数の仮想オブジェクトのうちの標的仮想オブジェクトと関連付けられた第２の焦点インジケータを表示するステップと、
    少なくとも部分的に、前記ユーザ入力デバイスからのユーザ入力に基づいて、前記第２の焦点インジケータを更新するステップと
    を含む、方法。
  7. 前記オプションは、前記標的相互作用可能オブジェクトの選択または前記複数の仮想オブジェクトまたは前記標的相互作用可能オブジェクトと関連付けられたコンテキスト情報に応答して提示される、請求項６に記載の方法。
  8. 前記コンテキスト情報は、前記複数の仮想オブジェクトの密度を備え、前記ユーザ入力モードを姿勢からユーザ入力デバイス上での手のジェスチャに切り替えるためのオプションは、前記複数の仮想オブジェクトの密度が閾値密度を超えることの判定に応答して提示されるステップを含む、請求項７に記載の方法。
  9. 前記第２の焦点インジケータを更新するステップは、前記第２の焦点インジケータを前記標的仮想オブジェクトから前記複数の仮想オブジェクトのうちの別の仮想オブジェクトに移行するステップを含む、請求項６に記載の方法。
  10. 選択イベントを前記標的仮想オブジェクト上で開始するステップをさらに含み、前記選択イベントは、前記標的仮想オブジェクトと関連付けられたメニューを開くステップまたは前記標的仮想オブジェクトを選択するインジケーションを受信するステップのうちの少なくとも１つを備える、請求項６に記載の方法。
  11. 前記標的仮想オブジェクトは、少なくとも部分的に、前記ユーザの姿勢に少なくとも部分的に基づいて、識別される、請求項６−１０のいずれか１項に記載の方法。
  12. 前記複数の仮想オブジェクトは、天気アプリケーションまたは天文学アプリケーションのうちの少なくとも１つを備え、前記天気アプリケーションの選択に応答して、前記ウェアラブルデバイスは、前記ユーザの環境内のオブジェクト上に重畳された仮想天気情報を表示するようにプログラムされ、前記天文学アプリケーションの選択に応答して、前記ウェアラブルデバイスは、前記ユーザの環境上に重畳された３次元仮想惑星を備える相互作用可能惑星系を表示するようにプログラムされる、請求項６に記載の方法。
  13. ３次元（３Ｄ）空間内に位置する仮想オブジェクトを選択するためのウェアラブルシステムであって、
    仮想オブジェクトを３Ｄ空間内に提示するように構成される、ディスプレイシステムと、
    相互作用可能オブジェクトを前記３Ｄ空間内に記憶するように構成される、非一過性データ記憶と、
    ユーザの姿勢を判定するように構成される、センサと、
    前記ディスプレイシステム、前記データ記憶、および前記センサと通信するようにプログラムされる、ハードウェアプロセッサであって、
    少なくとも部分的に、前記センサから受信されたデータに基づいて、前記ユーザの姿勢を判定することと、
    少なくとも部分的に、前記ユーザの姿勢に基づいて、前記ユーザの視野（ＦＯＶ）を判定することであって、前記ＦＯＶは、前記ユーザによって所与の時間に知覚された前記ユーザの環境の一部を備える、ことと、
    前記ＦＯＶ内の相互作用可能オブジェクトのグループを識別することと、
    少なくとも部分的に、前記ユーザの姿勢に基づいて、前記ＦＯＶ内の標的相互作用可能オブジェクトを識別することと、
    前記標的相互作用可能オブジェクトと関連付けられた選択イベントを開始することと
    を行う、ハードウェアプロセッサと
    を備える、ウェアラブルシステム。
  14. 前記相互作用可能オブジェクトのグループは、データ構造内に記憶され、各相互作用可能オブジェクトと関連付けられたインデックスは、少なくとも部分的に、前記３Ｄ空間内の前記相互作用可能オブジェクトの位置に基づいて、判定される、請求項１３に記載のウェアラブルシステム。
  15. 前記標的相互作用可能オブジェクト上での選択イベントの開始に応答して、前記ウェアラブルシステムのプロセッサは、２次元（２Ｄ）インターフェース内に、前記３Ｄ空間内の前記標的相互作用可能オブジェクトの閾値範囲内の仮想オブジェクトを提示するようにプログラムされる、請求項１３に記載のウェアラブルシステム。
  16. 前記２Ｄインターフェースは、ユーザ入力デバイスを介して相互作用可能である、請求項１５に記載のウェアラブルシステム。
  17. 前記ＦＯＶ内の標的相互作用可能オブジェクトを識別するために、前記プロセッサは、
    前記ユーザの姿勢に基づいて、前記ユーザの視線の経路を判定し、前記視線の経路と交差する相互作用可能オブジェクトを前記標的相互作用可能オブジェクトとして選択するステップ、または
    前記ユーザのＦＯＶ内の最左または最右相互作用可能オブジェクトを前記標的相互作用可能オブジェクトとして選択するステップであって、前記最左または前記最右相互作用可能オブジェクトは、少なくとも部分的に、前記相互作用可能オブジェクトのグループと関連付けられたインデックスに基づいて選択される、ステップ、
    のうちの少なくとも１つを行うように構成される、請求項１３に記載のウェアラブルシステム。
  18. 前記プロセッサは、ユーザ入力デバイスからの入力の受信または前記ユーザの姿勢の変化の検出のうちの少なくとも１つに応答して、前記選択イベントを開始するように構成される、請求項１３に記載のウェアラブルシステム。
  19. 前記プロセッサはさらに、前記標的相互作用可能オブジェクトと関連付けられた焦点インジケータを提示するように構成される、請求項１３−１９のいずれか１項に記載のウェアラブルシステム。
  20. 前記ユーザの場所と関連付けられたデータを取得するように構成される、ジオロケーションセンサをさらに備え、前記標的相互作用可能オブジェクトは、天気アプリケーションを備え、前記天気アプリケーションは、
    前記ジオロケーションセンサによって取得されたデータに基づいて、前記ユーザの場所を判定することと、
    遠隔コンピューティングデバイスと通信し、前記ユーザの場所に基づいて、天気データを取得することと、
    前記天気データと関連付けられた仮想要素を生成することと、
    前記仮想要素を前記ユーザの３Ｄ空間内に重畳することと
    を行うようにプログラムされる、請求項１３に記載のウェアラブルシステム。
JP2018519943A 2015-10-20 2016-10-18 ３次元空間内の仮想オブジェクトの選択 Active JP6831840B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021012808A JP7296995B2 (ja) 2015-10-20 2021-01-29 ３次元空間内の仮想オブジェクトの選択
JP2023097014A JP2023121761A (ja) 2015-10-20 2023-06-13 ３次元空間内の仮想オブジェクトの選択

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201562244115P 2015-10-20 2015-10-20
US62/244,115 2015-10-20
US201662301422P 2016-02-29 2016-02-29
US62/301,422 2016-02-29
US201662316179P 2016-03-31 2016-03-31
US62/316,179 2016-03-31
PCT/US2016/057554 WO2017070121A1 (en) 2015-10-20 2016-10-18 Selecting virtual objects in a three-dimensional space

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021012808A Division JP7296995B2 (ja) 2015-10-20 2021-01-29 ３次元空間内の仮想オブジェクトの選択

Publications (3)

Publication Number Publication Date
JP2018534687A true JP2018534687A (ja) 2018-11-22
JP2018534687A5 JP2018534687A5 (ja) 2019-10-03
JP6831840B2 JP6831840B2 (ja) 2021-02-17

Family

ID=58524174

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2018519943A Active JP6831840B2 (ja) 2015-10-20 2016-10-18 ３次元空間内の仮想オブジェクトの選択
JP2021012808A Active JP7296995B2 (ja) 2015-10-20 2021-01-29 ３次元空間内の仮想オブジェクトの選択
JP2023097014A Pending JP2023121761A (ja) 2015-10-20 2023-06-13 ３次元空間内の仮想オブジェクトの選択

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2021012808A Active JP7296995B2 (ja) 2015-10-20 2021-01-29 ３次元空間内の仮想オブジェクトの選択
JP2023097014A Pending JP2023121761A (ja) 2015-10-20 2023-06-13 ３次元空間内の仮想オブジェクトの選択

Country Status (10)

Country Link
US (5) US10521025B2 (ja)
EP (2) EP3365724B1 (ja)
JP (3) JP6831840B2 (ja)
KR (2) KR20240028564A (ja)
CN (2) CN113220116A (ja)
AU (2) AU2016341196B2 (ja)
CA (1) CA3002369A1 (ja)
IL (3) IL293873B2 (ja)
NZ (1) NZ741866A (ja)
WO (1) WO2017070121A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021199913A1 (ja) * 2020-03-31 2021-10-07 ソニーグループ株式会社 情報処理装置、情報処理方法および情報処理プログラム
JP2022537614A (ja) * 2019-06-21 2022-08-29 テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド マルチ仮想キャラクターの制御方法、装置、およびコンピュータプログラム

Families Citing this family (127)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6684559B2 (ja) * 2015-09-16 2020-04-22 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
JP6831840B2 (ja) 2015-10-20 2021-02-17 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． ３次元空間内の仮想オブジェクトの選択
EP3417307A4 (en) * 2016-02-18 2019-09-11 Edx Technologies, Inc. SYSTEMS AND METHODS FOR AUGMENTED REALITY DISPLAYS OF NETWORKS
US10048751B2 (en) 2016-03-31 2018-08-14 Verizon Patent And Licensing Inc. Methods and systems for gaze-based control of virtual reality media content
US10586391B2 (en) * 2016-05-31 2020-03-10 Accenture Global Solutions Limited Interactive virtual reality platforms
WO2018005692A1 (en) 2016-06-28 2018-01-04 Against Gravity Corp . Systems and methods for detecting collaborative virtual gestures
US10514752B2 (en) * 2016-07-07 2019-12-24 Google Llc Methods and apparatus to determine objects to present in virtual reality environments
CA3031771A1 (en) 2016-07-25 2018-02-01 Magic Leap, Inc. Imaging modification, display and visualization using augmented and virtual reality eyewear
US10678397B2 (en) * 2016-09-26 2020-06-09 Htc Corporation Method for providing demonstration information in simulation environment, and associated simulation system
WO2018090056A2 (en) * 2016-11-14 2018-05-17 Taqtile Cross-platform multi-modal virtual collaboration and holographic maps
AU2017362344B2 (en) 2016-11-16 2023-09-28 Magic Leap, Inc. Multi-resolution display assembly for head-mounted display systems
JP6996115B2 (ja) * 2017-05-29 2022-01-17 セイコーエプソン株式会社 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
JP2018097141A (ja) * 2016-12-13 2018-06-21 富士ゼロックス株式会社 頭部装着型表示装置、仮想物体表示システム
JP7096836B2 (ja) 2017-03-22 2022-07-06 マジック リープ， インコーポレイテッド ディスプレイシステムのための深度ベース中心窩化レンダリング
KR102528488B1 (ko) 2017-03-24 2023-05-02 매직 립, 인코포레이티드 홍채 코드들의 축적 및 신뢰도 할당
JP6714280B2 (ja) * 2017-03-28 2020-06-24 株式会社ノーニューフォークスタジオ 情報処理システム、情報処理方法、情報処理プログラム
IL270002B2 (en) 2017-04-19 2023-11-01 Magic Leap Inc Multimodal task execution and text editing for a wearable system
KR102555443B1 (ko) 2017-05-01 2023-07-12 매직 립, 인코포레이티드 콘텐츠를 공간 3d 환경에 매칭
CN110998566B (zh) 2017-06-30 2024-04-12 交互数字Vc控股公司 基于眼睛跟踪和生理测量而生成和显示360度视频的方法和装置
US20190019011A1 (en) * 2017-07-16 2019-01-17 Tsunami VR, Inc. Systems and methods for identifying real objects in an area of interest for use in identifying virtual content a user is authorized to view using an augmented reality device
CN107396086A (zh) * 2017-07-28 2017-11-24 歌尔科技有限公司 基于vr头戴设备播放视频的方法及vr头戴设备
US20190043241A1 (en) * 2017-08-03 2019-02-07 Facebook, Inc. Generating animations on a social-networking system
US10943399B2 (en) 2017-08-28 2021-03-09 Microsoft Technology Licensing, Llc Systems and methods of physics layer prioritization in virtual environments
US10366291B2 (en) 2017-09-09 2019-07-30 Google Llc Systems, methods, and apparatus for providing image shortcuts for an assistant application
CN109557677A (zh) * 2017-09-26 2019-04-02 歌尔科技有限公司 显示设备和方法
US11861136B1 (en) * 2017-09-29 2024-01-02 Apple Inc. Systems, methods, and graphical user interfaces for interacting with virtual reality environments
CN107678551B (zh) * 2017-10-19 2021-12-28 京东方科技集团股份有限公司 手势识别方法和装置、电子设备
CN107908278B (zh) * 2017-10-20 2020-04-28 华为技术有限公司 一种虚拟现实vr界面生成的方法和装置
US10678333B2 (en) * 2017-11-14 2020-06-09 Verizon Patent And Licensing Inc. Methods and systems for presenting haptically perceptible virtual objects
US10671238B2 (en) * 2017-11-17 2020-06-02 Adobe Inc. Position-dependent modification of descriptive content in a virtual reality environment
AU2018388581A1 (en) 2017-12-22 2020-07-23 Magic Leap, Inc. Methods and system for managing and displaying virtual content in a mixed reality system
CN108319363A (zh) * 2018-01-09 2018-07-24 北京小米移动软件有限公司 基于vr的产品展示方法、装置及电子设备
WO2019143864A1 (en) 2018-01-17 2019-07-25 Magic Leap, Inc. Display systems and methods for determining registration between a display and a user's eyes
AU2019209930B2 (en) 2018-01-17 2023-08-03 Magic Leap, Inc. Eye center of rotation determination, depth plane selection, and render camera positioning in display systems
US11114199B2 (en) 2018-01-25 2021-09-07 Mako Surgical Corp. Workflow systems and methods for enhancing collaboration between participants in a surgical procedure
US10540941B2 (en) 2018-01-30 2020-01-21 Magic Leap, Inc. Eclipse cursor for mixed reality displays
US11567627B2 (en) 2018-01-30 2023-01-31 Magic Leap, Inc. Eclipse cursor for virtual content in mixed reality displays
CA3089646A1 (en) 2018-02-22 2019-08-20 Magic Leap, Inc. Browser for mixed reality systems
EP3756079A4 (en) 2018-02-22 2021-04-28 Magic Leap, Inc. OBJECT GENERATION WITH PHYSICAL MANIPULATION
EP3765943A4 (en) 2018-03-16 2021-12-22 Magic Leap, Inc. DEPTH-BASED FOVEA REPRESENTATION FOR DISPLAY SYSTEMS
US10408972B1 (en) * 2018-04-20 2019-09-10 Adam Baker System and method for lightning strike prediction and warning
WO2019226691A1 (en) 2018-05-22 2019-11-28 Magic Leap, Inc. Transmodal input fusion for a wearable system
JP7136931B2 (ja) 2018-06-05 2022-09-13 マジック リープ， インコーポレイテッド 空間３ｄ環境へのコンテンツのマッチング
US11157159B2 (en) 2018-06-07 2021-10-26 Magic Leap, Inc. Augmented reality scrollbar
US11243083B2 (en) * 2018-06-11 2022-02-08 International Business Machines Corporation Implementing route generation with augmented reality
US11733824B2 (en) * 2018-06-22 2023-08-22 Apple Inc. User interaction interpreter
US10852853B2 (en) * 2018-06-28 2020-12-01 Dell Products L.P. Information handling system touch device with visually interactive region
US10817077B2 (en) 2018-06-28 2020-10-27 Dell Products, L.P. Information handling system touch device context aware input tracking
US10664101B2 (en) 2018-06-28 2020-05-26 Dell Products L.P. Information handling system touch device false touch detection and mitigation
US10761618B2 (en) 2018-06-28 2020-09-01 Dell Products L.P. Information handling system touch device with automatically orienting visual display
US10795502B2 (en) 2018-06-28 2020-10-06 Dell Products L.P. Information handling system touch device with adaptive haptic response
US10635199B2 (en) 2018-06-28 2020-04-28 Dell Products L.P. Information handling system dynamic friction touch device for touchscreen interactions
US11169601B2 (en) * 2018-07-12 2021-11-09 Toyota Research Institute, Inc. Methods and systems for determining teleoperating user intent via eye tracking
CN111198609A (zh) * 2018-11-16 2020-05-26 广东虚拟现实科技有限公司 交互显示方法、装置、电子设备及存储介质
CN112689869A (zh) 2018-07-24 2021-04-20 奇跃公司 用于确定显示器与用户的眼睛之间的配准的显示系统和方法
US10665206B2 (en) 2018-07-30 2020-05-26 Honeywell International Inc. Method and system for user-related multi-screen solution for augmented reality for use in performing maintenance
CN109144349A (zh) * 2018-08-07 2019-01-04 西交利物浦大学 一种虚拟、增强或混合现实头显运动方向识别方法及系统
CN109407935A (zh) * 2018-09-14 2019-03-01 歌尔科技有限公司 一种虚拟现实显示控制方法、装置和系统
WO2020059277A1 (ja) * 2018-09-20 2020-03-26 富士フイルム株式会社 情報処理装置、情報処理システム、情報処理方法、及びプログラム
JP7365355B2 (ja) 2018-10-09 2023-10-19 古野電気株式会社 映像生成装置及び映像生成方法
WO2020081677A2 (en) * 2018-10-17 2020-04-23 Meta View, Inc. Systems and methods to provide a mobile computing platform as a physical interface tool for an interactive space
CN111309142A (zh) 2018-12-11 2020-06-19 托比股份公司 用于切换显示设备的输入模态的方法和设备
KR102174039B1 (ko) * 2018-12-12 2020-11-04 한국광기술원 증강현실을 이용하여 어디에서도 파일을 편집할 수 있는 장치 및 방법
CN109766006B (zh) * 2019-01-02 2021-02-05 京东方科技集团股份有限公司 虚拟现实场景的显示方法、装置及设备
TWI707251B (zh) 2019-01-03 2020-10-11 晶翔機電股份有限公司 用於依靠一穿戴裝置而與一虛擬實境互動的操作方法及其操作裝置
US11320911B2 (en) * 2019-01-11 2022-05-03 Microsoft Technology Licensing, Llc Hand motion and orientation-aware buttons and grabbable objects in mixed reality
EP3948747A4 (en) 2019-04-03 2022-07-20 Magic Leap, Inc. MANAGEMENT AND DISPLAY OF WEB PAGES IN A VIRTUAL THREE-DIMENSIONAL SPACE USING A MIXED REALITY SYSTEM
US10978019B2 (en) 2019-04-15 2021-04-13 XRSpace CO., LTD. Head mounted display system switchable between a first-person perspective mode and a third-person perspective mode, related method and related non-transitory computer readable storage medium
EP3734415A1 (en) * 2019-04-30 2020-11-04 XRSpace CO., LTD. Head mounted display system switchable between a first-person perspective mode and a third-person perspective mode, related method and related non-transitory computer readable storage medium
EP3734416A1 (en) * 2019-04-30 2020-11-04 XRSpace CO., LTD. Head mounted display system capable of indicating a tracking unit to track a hand gesture or a hand movement of a user or not, related method and related non-transitory computer readable storage medium
WO2020236827A1 (en) 2019-05-20 2020-11-26 Magic Leap, Inc. Systems and techniques for estimating eye pose
USD962981S1 (en) 2019-05-29 2022-09-06 Magic Leap, Inc. Display screen or portion thereof with animated scrollbar graphical user interface
CN110164440B (zh) * 2019-06-03 2022-08-09 交互未来(北京)科技有限公司 基于捂嘴动作识别的语音交互唤醒电子设备、方法和介质
JP2021005157A (ja) * 2019-06-25 2021-01-14 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置および画像処理方法
CN110308794A (zh) * 2019-07-04 2019-10-08 郑州大学 具有两种显示模式的虚拟现实头盔及显示模式的控制方法
US20220301217A1 (en) * 2019-07-05 2022-09-22 Magic Leap, Inc. Eye tracking latency enhancements
KR102252110B1 (ko) * 2019-08-07 2021-05-17 한국과학기술연구원 중첩된 가상 오브젝트의 용이하고 정확한 선택을 지원하는 사용자 인터페이스 장치 및 이의 제어 방법
US10943388B1 (en) * 2019-09-06 2021-03-09 Zspace, Inc. Intelligent stylus beam and assisted probabilistic input to element mapping in 2D and 3D graphical user interfaces
US10991163B2 (en) 2019-09-20 2021-04-27 Facebook Technologies, Llc Projection casting in virtual environments
US11170576B2 (en) 2019-09-20 2021-11-09 Facebook Technologies, Llc Progressive display of virtual objects
US11086406B1 (en) 2019-09-20 2021-08-10 Facebook Technologies, Llc Three-state gesture virtual controls
US11176745B2 (en) 2019-09-20 2021-11-16 Facebook Technologies, Llc Projection casting in virtual environments
US11189099B2 (en) 2019-09-20 2021-11-30 Facebook Technologies, Llc Global and local mode virtual object interactions
US11086476B2 (en) * 2019-10-23 2021-08-10 Facebook Technologies, Llc 3D interactions with web content
US11493989B2 (en) * 2019-11-08 2022-11-08 Magic Leap, Inc. Modes of user interaction
KR20210063928A (ko) 2019-11-25 2021-06-02 삼성전자주식회사 증강 현실 서비스를 제공하기 위한 전자 장치 및 그의 동작 방법
US11175730B2 (en) 2019-12-06 2021-11-16 Facebook Technologies, Llc Posture-based virtual space configurations
US11269181B2 (en) 2019-12-09 2022-03-08 Magic Leap, Inc. Systems and methods for operating a head-mounted display system based on user identity
US11475639B2 (en) 2020-01-03 2022-10-18 Meta Platforms Technologies, Llc Self presence in artificial reality
CN111246014B (zh) * 2020-01-13 2021-04-06 维沃移动通信有限公司 通话方法、头戴式设备及介质
US11354026B1 (en) * 2020-01-28 2022-06-07 Apple Inc. Method and device for assigning an operation set
CN111459288B (zh) * 2020-04-23 2021-08-03 捷开通讯(深圳)有限公司 一种运用头控实现语音输入的方法和装置
US11257280B1 (en) 2020-05-28 2022-02-22 Facebook Technologies, Llc Element-based switching of ray casting rules
US11256336B2 (en) 2020-06-29 2022-02-22 Facebook Technologies, Llc Integration of artificial reality interaction modes
KR20220003254A (ko) * 2020-07-01 2022-01-10 삼성전자주식회사 증강 현실을 제공하는 전자 장치 및 그 방법
JP2023536064A (ja) 2020-07-23 2023-08-23 マジック リープ， インコーポレイテッド 交互サンプリングを使用した眼追跡
US11176755B1 (en) 2020-08-31 2021-11-16 Facebook Technologies, Llc Artificial reality augments and surfaces
US11227445B1 (en) 2020-08-31 2022-01-18 Facebook Technologies, Llc Artificial reality augments and surfaces
US11178376B1 (en) 2020-09-04 2021-11-16 Facebook Technologies, Llc Metering for display modes in artificial reality
US11816759B1 (en) * 2020-09-24 2023-11-14 Apple Inc. Split applications in a multi-user communication session
US11562528B2 (en) 2020-09-25 2023-01-24 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US20220101002A1 (en) * 2020-09-30 2022-03-31 Kyndryl, Inc. Real-world object inclusion in a virtual reality experience
TWI761976B (zh) * 2020-09-30 2022-04-21 幻景啟動股份有限公司 互動系統
US10989783B1 (en) * 2020-10-26 2021-04-27 Listen Technologies Corporation False positive immunity in beacon systems, and related systems, methods, and devices
EP4244821A1 (en) * 2020-11-10 2023-09-20 Noderix Teknoloji Sanayi Ticaret Anonim Sirketi Systems and methods for personalized and interactive extended reality experiences
US11113893B1 (en) 2020-11-17 2021-09-07 Facebook Technologies, Llc Artificial reality environment with glints displayed by an extra reality device
EP4195005A1 (en) * 2020-12-17 2023-06-14 Samsung Electronics Co., Ltd. Electronic device and operation method of electronic device
US11461973B2 (en) 2020-12-22 2022-10-04 Meta Platforms Technologies, Llc Virtual reality locomotion via hand gesture
US11409405B1 (en) 2020-12-22 2022-08-09 Facebook Technologies, Llc Augment orchestration in an artificial reality environment
KR20220091141A (ko) * 2020-12-23 2022-06-30 삼성전자주식회사 센서 어레이를 포함하는 전자 장치 및 그 제어 방법
US11954242B2 (en) 2021-01-04 2024-04-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
CN113673292A (zh) * 2021-01-14 2021-11-19 南方科技大学 一种电容成像传感器及手势形态感知方法
US11294475B1 (en) 2021-02-08 2022-04-05 Facebook Technologies, Llc Artificial reality multi-modal input switching model
US11804040B2 (en) * 2021-03-17 2023-10-31 Qualcomm Incorporated Keypoint-based sampling for pose estimation
WO2022220459A1 (en) * 2021-04-14 2022-10-20 Samsung Electronics Co., Ltd. Method and electronic device for selective magnification in three dimensional rendering systems
JP2022163813A (ja) * 2021-04-15 2022-10-27 キヤノン株式会社 装着型の情報端末、その制御方法及びプログラム
US11762952B2 (en) 2021-06-28 2023-09-19 Meta Platforms Technologies, Llc Artificial reality application lifecycle
US11295503B1 (en) 2021-06-28 2022-04-05 Facebook Technologies, Llc Interactive avatars in artificial reality
US20230082420A1 (en) * 2021-09-13 2023-03-16 Qualcomm Incorporated Display of digital media content on physical surface
US11798247B2 (en) 2021-10-27 2023-10-24 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US11748944B2 (en) 2021-10-27 2023-09-05 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
WO2023075894A1 (en) * 2021-11-01 2023-05-04 Microsoft Technology Licensing, Llc. Real-time gestures in shared electronic canvases
US11893205B2 (en) 2021-11-01 2024-02-06 Microsoft Technology Licensing, Llc Real-time gestures in shared electronic canvases
US20230259199A1 (en) * 2022-02-15 2023-08-17 Google Llc Selection of real-world objects using a wearable device
US20240062484A1 (en) * 2022-08-16 2024-02-22 Perfect Mobile Corp. Systems and methods for rendering an augmented reality object with adaptive zoom feature
US11947862B1 (en) * 2022-12-30 2024-04-02 Meta Platforms Technologies, Llc Streaming native application content to artificial reality devices
US11861030B1 (en) * 2023-08-17 2024-01-02 Datchat, Inc. Technology platform for providing secure group-based access to sets of digital assets

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120105486A1 (en) * 2009-04-09 2012-05-03 Dynavox Systems Llc Calibration free, motion tolerent eye-gaze direction detector with contextually aware computer interaction and communication methods
WO2013028813A1 (en) * 2011-08-23 2013-02-28 Microsoft Corporation Implicit sharing and privacy control through physical behaviors using sensor-rich devices
WO2014164901A1 (en) * 2013-03-11 2014-10-09 Magic Leap, Inc. System and method for augmented and virtual reality
JP2015503141A (ja) * 2011-10-28 2015-01-29 マジック リープ， インコーポレイテッド 拡張現実および仮想現実のためのシステムおよび方法
US20150049018A1 (en) * 2011-07-14 2015-02-19 Google Inc. Virtual Window in Head-Mounted Display
JP2015524110A (ja) * 2012-06-01 2015-08-20 マイクロソフト コーポレーション コンテキスト・ユーザー・インターフェース

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
US6776480B2 (en) 2001-07-18 2004-08-17 Sola International Holdings, Ltd. Spectacle frames for shaped lenses defined by monoformal carrier surfaces
US6885363B2 (en) 2002-05-09 2005-04-26 Gateway, Inc. Pointing device dwell time
USD514570S1 (en) 2004-06-24 2006-02-07 Microsoft Corporation Region of a fingerprint scanning device with an illuminated ring
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
JP4895352B2 (ja) 2006-02-07 2012-03-14 任天堂株式会社 対象選択プログラム、対象選択装置、対象選択システム、および対象選択方法
US20080211771A1 (en) 2007-03-02 2008-09-04 Naturalpoint, Inc. Approach for Merging Scaled Input of Movable Objects to Control Presentation of Aspects of a Shared Virtual Environment
US20100265182A1 (en) * 2009-04-20 2010-10-21 Microsoft Corporation Context-based state change for an adaptive input device
US20100325572A1 (en) * 2009-06-23 2010-12-23 Microsoft Corporation Multiple mouse character entry
KR101647722B1 (ko) * 2009-11-13 2016-08-23 엘지전자 주식회사 영상표시장치 및 그 동작방법
US8884984B2 (en) * 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
US20120113223A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
KR101997845B1 (ko) 2010-12-24 2019-10-01 매직 립, 인코포레이티드 인체공학적 머리 장착식 디스플레이 장치 및 광학 시스템
CN107656615B (zh) 2011-05-06 2021-09-14 奇跃公司 大量同时远程数字呈现世界
US8942913B2 (en) * 2011-09-20 2015-01-27 Infosys Limited System and method for on-road traffic density analytics using video stream mining and statistical techniques
EP2760363A4 (en) 2011-09-29 2015-06-24 Magic Leap Inc TACTILE GLOVE FOR HUMAN COMPUTER INTERACTION
US20130104085A1 (en) 2011-10-21 2013-04-25 Digital Artforms, Inc. Systems and methods for human-computer interaction using a two handed interface
EP4036862A1 (en) 2011-11-23 2022-08-03 Magic Leap, Inc. Three dimensional virtual and augmented reality display system
KR102028732B1 (ko) 2012-04-05 2019-10-04 매직 립, 인코포레이티드 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들
WO2013188464A1 (en) 2012-06-11 2013-12-19 Magic Leap, Inc. Multiple depth plane three-dimensional display using a wave guide reflector array projector
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
KR20150054967A (ko) 2012-09-11 2015-05-20 매직 립, 인코포레이티드 인체공학적 헤드 마운티드 디스플레이 디바이스 및 광학 시스템
US9310611B2 (en) * 2012-09-18 2016-04-12 Qualcomm Incorporated Methods and systems for making the use of head-mounted displays less obvious to non-users
WO2014113506A1 (en) 2013-01-15 2014-07-24 Magic Leap, Inc. Ultra-high resolution scanning fiber display
WO2014129105A1 (ja) * 2013-02-22 2014-08-28 ソニー株式会社 ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイ及びヘッドマウントディスプレイ制御プログラム
KR102271198B1 (ko) 2013-03-15 2021-06-29 매직 립, 인코포레이티드 디스플레이 시스템 및 방법
US9335547B2 (en) * 2013-03-25 2016-05-10 Seiko Epson Corporation Head-mounted display device and method of controlling head-mounted display device
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9329682B2 (en) * 2013-06-18 2016-05-03 Microsoft Technology Licensing, Llc Multi-step virtual object selection
US20140376773A1 (en) * 2013-06-21 2014-12-25 Leap Motion, Inc. Tunable operational parameters in motion-capture and touchless interface operation
US10295338B2 (en) 2013-07-12 2019-05-21 Magic Leap, Inc. Method and system for generating map data from an image
US9437170B1 (en) * 2013-08-12 2016-09-06 Roberto Quevedo Montesdeoca Systems and methods for augmented reality display
EP4321915A3 (en) 2013-10-16 2024-05-01 Magic Leap, Inc. Virtual or augmented reality headsets having adjustable interpupillary distance
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
CN107219628B (zh) * 2013-11-27 2020-05-01 奇跃公司 虚拟和增强现实系统与方法
US9244539B2 (en) * 2014-01-07 2016-01-26 Microsoft Technology Licensing, Llc Target positioning with gaze tracking
KR102207799B1 (ko) 2014-01-31 2021-01-26 매직 립, 인코포레이티드 멀티-포컬 디스플레이 시스템 및 방법
CN110376743B (zh) 2014-01-31 2022-03-04 奇跃公司 多焦点显示系统和方法
US10303324B2 (en) * 2014-02-10 2019-05-28 Samsung Electronics Co., Ltd. Electronic device configured to display three dimensional (3D) virtual space and method of controlling the electronic device
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
AU2015297035B2 (en) 2014-05-09 2018-06-28 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
USD759657S1 (en) 2014-05-19 2016-06-21 Microsoft Corporation Connector with illumination region
KR102193052B1 (ko) 2014-05-30 2020-12-18 매직 립, 인코포레이티드 가상 또는 증강 현실 장치로 가상 콘텐츠 디스플레이를 생성하기 위한 방법들 및 시스템들
USD752529S1 (en) 2014-06-09 2016-03-29 Comcast Cable Communications, Llc Electronic housing with illuminated region
USD758367S1 (en) 2015-05-14 2016-06-07 Magic Leap, Inc. Virtual reality headset
US10101803B2 (en) * 2015-08-26 2018-10-16 Google Llc Dynamic switching and merging of head, gesture and touch input in virtual reality
JP6831840B2 (ja) 2015-10-20 2021-02-17 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． ３次元空間内の仮想オブジェクトの選択
USD805734S1 (en) 2016-03-04 2017-12-26 Nike, Inc. Shirt
USD794288S1 (en) 2016-03-11 2017-08-15 Nike, Inc. Shoe with illuminable sole light sequence

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120105486A1 (en) * 2009-04-09 2012-05-03 Dynavox Systems Llc Calibration free, motion tolerent eye-gaze direction detector with contextually aware computer interaction and communication methods
US20150049018A1 (en) * 2011-07-14 2015-02-19 Google Inc. Virtual Window in Head-Mounted Display
WO2013028813A1 (en) * 2011-08-23 2013-02-28 Microsoft Corporation Implicit sharing and privacy control through physical behaviors using sensor-rich devices
JP2015503141A (ja) * 2011-10-28 2015-01-29 マジック リープ， インコーポレイテッド 拡張現実および仮想現実のためのシステムおよび方法
JP2015524110A (ja) * 2012-06-01 2015-08-20 マイクロソフト コーポレーション コンテキスト・ユーザー・インターフェース
WO2014164901A1 (en) * 2013-03-11 2014-10-09 Magic Leap, Inc. System and method for augmented and virtual reality
US20140306866A1 (en) * 2013-03-11 2014-10-16 Magic Leap, Inc. System and method for augmented and virtual reality

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022537614A (ja) * 2019-06-21 2022-08-29 テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド マルチ仮想キャラクターの制御方法、装置、およびコンピュータプログラム
JP7344974B2 (ja) 2019-06-21 2023-09-14 テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド マルチ仮想キャラクターの制御方法、装置、およびコンピュータプログラム
US11962930B2 (en) 2019-06-21 2024-04-16 Tencent Technology (Shenzhen) Company Limited Method and apparatus for controlling a plurality of virtual characters, device, and storage medium
WO2021199913A1 (ja) * 2020-03-31 2021-10-07 ソニーグループ株式会社 情報処理装置、情報処理方法および情報処理プログラム

Also Published As

Publication number Publication date
AU2016341196B2 (en) 2021-09-16
AU2021282503C1 (en) 2023-03-16
CN113220116A (zh) 2021-08-06
EP3365724B1 (en) 2021-05-05
CA3002369A1 (en) 2017-04-27
JP6831840B2 (ja) 2021-02-17
US11175750B2 (en) 2021-11-16
NZ741866A (en) 2019-07-26
CN108369345A (zh) 2018-08-03
IL293873B1 (en) 2023-11-01
IL258705B (en) 2022-07-01
IL293873B2 (en) 2024-03-01
CN108369345B (zh) 2021-05-04
JP2023121761A (ja) 2023-08-31
KR20240028564A (ko) 2024-03-05
IL258705A (en) 2018-06-28
US20220075458A1 (en) 2022-03-10
KR20180070681A (ko) 2018-06-26
EP3365724A1 (en) 2018-08-29
IL307648A (en) 2023-12-01
JP2021108126A (ja) 2021-07-29
US20170109936A1 (en) 2017-04-20
US10521025B2 (en) 2019-12-31
AU2021282503A1 (en) 2022-01-06
US11733786B2 (en) 2023-08-22
AU2016341196A1 (en) 2018-05-10
IL293873A (en) 2022-08-01
EP3862852A1 (en) 2021-08-11
WO2017070121A1 (en) 2017-04-27
EP3365724A4 (en) 2019-06-12
AU2021282503B2 (en) 2022-12-15
US20230057175A1 (en) 2023-02-23
US20230350504A1 (en) 2023-11-02
KR102641655B1 (ko) 2024-02-27
US11507204B2 (en) 2022-11-22
JP7296995B2 (ja) 2023-06-23
US20200081555A1 (en) 2020-03-12

Similar Documents

Publication Publication Date Title
JP7296995B2 (ja) ３次元空間内の仮想オブジェクトの選択
JP7209041B2 (ja) 姿勢および複数のｄｏｆコントローラを用いた３ｄ仮想オブジェクトとの相互作用
JP7118007B2 (ja) 視野周辺の視覚的背光

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190826

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190826

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200821

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201208

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20201229

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210129

R150 Certificate of patent or registration of utility model

Ref document number: 6831840

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250