JP2021128795A - 姿勢および複数のｄｏｆコントローラを用いた３ｄ仮想オブジェクトとの相互作用 - Google Patents

姿勢および複数のｄｏｆコントローラを用いた３ｄ仮想オブジェクトとの相互作用 Download PDF

Info

Publication number
JP2021128795A
JP2021128795A JP2021083134A JP2021083134A JP2021128795A JP 2021128795 A JP2021128795 A JP 2021128795A JP 2021083134 A JP2021083134 A JP 2021083134A JP 2021083134 A JP2021083134 A JP 2021083134A JP 2021128795 A JP2021128795 A JP 2021128795A
Authority
JP
Japan
Prior art keywords
user
objects
virtual object
cone
multiplier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021083134A
Other languages
English (en)
Other versions
JP7209041B2 (ja
Inventor
パウダーリー ジェイムズ
Powderly James
パウダーリー ジェイムズ
ナイルズ サバンナ
Niles Savannah
ナイルズ サバンナ
ハミルトン フランク
Hamilton Frank
ハミルトン フランク
エー． フォンテイン マーシャル
A Fontaine Marshal
エー． フォンテイン マーシャル
アーミステッド フーバー ポール
Armistead Hoover Paul
アーミステッド フーバー ポール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2021128795A publication Critical patent/JP2021128795A/ja
Priority to JP2022128859A priority Critical patent/JP7186913B2/ja
Priority to JP2023001014A priority patent/JP7549681B2/ja
Application granted granted Critical
Publication of JP7209041B2 publication Critical patent/JP7209041B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】姿勢および複数のＤＯＦコントローラを用いた３Ｄ仮想オブジェクトとの相互作用の提供。
【解決手段】ウェアラブルシステムは、仮想コンテンツを３次元空間内に提示するように構成される、ディスプレイシステムと、ユーザ入力を受信するように構成されるユーザ入力デバイスと、ユーザの姿勢を検出するように構成される１つまたはそれを上回るセンサとを備えることができる。ウェアラブルシステムは、コンテキスト情報に基づいて、ユーザの環境内のオブジェクトとの種々のユーザ相互作用をサポートすることができる。実施例として、ウェアラブルシステムは、コンテキスト情報に基づいて円錐投射の間、仮想円錐の開口のサイズを調節することができる（例えばユーザの姿勢に伴って）。別の実施例として、ウェアラブルシステムは、コンテキスト情報に基づいて、ユーザ入力デバイスの作動と関連付けられた仮想オブジェクトの移動の量を調節することができる。
【選択図】図１２Ｂ

Description

（関連出願の相互参照）
本願は、米国仮出願第６２／３１６，０３０号、出願日２０１６年３月３１日、発明の名称“ＣＯＮＥ ＣＡＳＴＩＮＧ ＷＩＴＨ ＤＹＮＡＭＩＣＡＬＬＹ ＵＰＤＡＴＥＤ ＡＰＥＲＴＵＲＥ”および第６２／３２５，６７９号、出願日２０１６年４月２１日、発明の名称“ＤＹＮＡＭＩＣ ＭＡＰＰＩＮＧ ＯＦ ＵＳＥＲ ＩＮＰＵＴ ＤＥＶＩＣＥ”に対する３５ Ｕ．Ｓ．Ｃ．§１１９（ｅ）のもとでの優先権の利益を主張するものであり、これらの両方は、全体が参照により本明細書中に援用される。
本開示は、仮想現実および拡張現実イメージングおよび可視化システムに関し、より具体的には、コンテキスト情報に基づいた仮想オブジェクトとの相互作用に関する。
現代のコンピューティングおよびディスプレイ技術は、デジタル的に再現された画像またはその一部が、本物であるように見える、またはそのように知覚され得る様式でユーザに提示される、いわゆる「仮想現実」、「拡張現実」、または「複合現実」体験のためのシステムの開発を促進している。仮想現実または「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。拡張現実または「ＡＲ」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。複合現実または「ＭＲ」は、物理的および仮想オブジェクトが、共存し、リアルタイムで相互作用する、新しい環境を生成するための実世界と仮想世界の融合に関連する。結論から述べると、ヒトの視知覚系は、非常に複雑であって、他の仮想または実世界画像要素の中で仮想画像要素の快適かつ自然のような感覚で豊かな提示を促進する、ＶＲ、ＡＲ、またはＭＲ技術の生成は、困難である。本明細書に開示されるシステムおよび方法は、ＶＲ、ＡＲ、およびＭＲ技術に関連する種々の課題に対処する。
一実施形態では、ウェアラブルデバイスのためのオブジェクトと相互作用するためのシステムが、開示される。本システムは、３次元（３Ｄ）ビューをユーザに提示し、ユーザの動眼視野（ＦＯＲ）内のオブジェクトとのユーザ相互作用を可能にするように構成される、ウェアラブルデバイスのディスプレイシステムを備える。ＦＯＲは、ディスプレイシステムを介してユーザによって知覚可能なユーザの周囲の環境の一部を含むことができる。本システムはまた、ユーザの姿勢と関連付けられたデータを入手するように構成される、センサと、センサおよびディスプレイシステムと通信する、ハードウェアプロセッサとを備えることができる。ハードウェアプロセッサは、センサによって入手されたデータに基づいて、ユーザの姿勢を判定することと、ＦＯＲ内のオブジェクトのグループ対する円錐投射を開始することであって、円錐投射は、少なくとも部分的にユーザの姿勢に基づく方向に開口を伴う仮想円錐を投射することを含む、ことと、ユーザの環境と関連付けられたコンテキスト情報を分析することと、少なくとも部分的にコンテキスト情報に基づいて、仮想円錐の開口を更新することと、円錐投射のための仮想円錐の視覚的表現をレンダリングすることとを行うようにプログラムされる。
別の実施形態では、ウェアラブルデバイスのためのオブジェクトと相互作用するための方法が、開示される。本方法は、３次元（３Ｄ）空間内の第１の位置においてユーザに表示される標的仮想オブジェクトの選択を受信することと、標的仮想オブジェクトに関する移動のインジケーションを受信することと、標的仮想オブジェクトと関連付けられたコンテキスト情報を分析することと、少なくとも部分的にコンテキスト情報に基づいて、標的仮想オブジェクトの移動に適用されるための乗数を計算することと、標的仮想オブジェクトに関する移動量を計算することであって、移動量は、少なくとも部分的に移動のインジケーションおよび乗数に基づく、ことと、ユーザに、第２の位置において標的仮想オブジェクトを表示することであって、第２の位置は、少なくとも部分的に第１の位置および移動量に基づく、こととを含む。
さらに別の実施形態では、ウェアラブルデバイスのためのオブジェクトと相互作用するためのシステムが、開示される。本システムは、３次元（３Ｄ）ビューをユーザに提示するように構成される、ウェアラブルデバイスのディスプレイシステムを備え、３Ｄビューは、標的仮想オブジェクトを備える。本システムはまた、ディスプレイシステムと通信する、ハードウェアプロセッサを備えることができる。ハードウェアプロセッサは、標的仮想オブジェクトに関する移動のインジケーションを受信することと、標的仮想オブジェクトと関連付けられたコンテキスト情報を分析することと、少なくとも部分的にコンテキスト情報に基づいて、標的仮想オブジェクトの移動に適用される乗数を計算することと、標的仮想オブジェクトに関する移動量を計算することであって、移動量は、少なくとも部分的に移動のインジケーションおよび乗数に基づく、ことと、ディスプレイシステムによって、標的仮想オブジェクトを第２の位置に表示することであって、第２の位置は、少なくとも部分的に、第１の位置および移動量に基づく、こととを行うようにプログラムされる。
本明細書に説明される主題の１つまたはそれを上回る実装の詳細が、付随の図面および以下の説明に記載される。他の特徴、側面、および利点は、説明、図面、および請求項から明白となるであろう。本概要または以下の発明を実施するための形態のいずれも、本発明の主題の範囲を定義または限定することを主張するものではない。
本発明は、例えば、以下を提供する。
（項目１）
ウェアラブルデバイスのためのオブジェクトと相互作用するためのシステムであって、前記システムは、
３次元（３Ｄ）ビューをユーザに提示し、ユーザの動眼視野（ＦＯＲ）内のオブジェクトとのユーザ相互作用を可能にするように構成される、ウェアラブルデバイスのディスプレイシステムであって、前記ＦＯＲは、前記ディスプレイシステムを介して前記ユーザによって知覚可能な前記ユーザの周囲の環境の一部を含む、ウェアラブルデバイスのディスプレイシステムと、
前記ユーザの姿勢と関連付けられたデータを入手するように構成されるセンサと、
前記センサおよび前記ディスプレイシステムと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
前記センサによって入手されたデータに基づいて、前記ユーザの姿勢を判定することと、
前記ＦＯＲ内のオブジェクトのグループ上への円錐投射を開始することであって、前記円錐投射は、少なくとも部分的に前記ユーザの姿勢に基づく方向に開口を伴う仮想円錐を投射することを含む、ことと、
前記ユーザの環境と関連付けられたコンテキスト情報を分析することと、
少なくとも部分的に前記コンテキスト情報に基づいて、前記仮想円錐の開口を更新することと、
前記円錐投射のための前記仮想円錐の視覚的表現をレンダリングすることと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、システム。
（項目２）
前記コンテキスト情報は、前記ユーザの視野（ＦＯＶ）内のオブジェクトのサブグループのタイプ、レイアウト、場所、サイズ、または密度のうちの少なくとも１つを備え、前記ＦＯＶは、前記ディスプレイシステムを介して前記ユーザによって所与の時間に知覚可能な前記ＦＯＲの一部を含む、項目１に記載のシステム。
（項目３）
前記ユーザのＦＯＶ内の前記オブジェクトのサブグループの密度は、
前記オブジェクトのサブグループ内のオブジェクトの数を計算すること、
前記オブジェクトのサブグループによって被覆される前記ＦＯＶのパーセンテージを計算すること、または
前記オブジェクトのサブグループ内のオブジェクトに関する等高線マップを計算すること
のうちの少なくとも１つによって計算される、項目２に記載のシステム。
（項目４）
前記ハードウェアプロセッサはさらに、前記仮想円錐と前記ＦＯＲ内のオブジェクトのグループの中の１つまたはそれを上回るオブジェクトとの間の衝突を検出するようにプログラムされ、前記衝突の検出に応答して、前記ハードウェアプロセッサはさらに、焦点インジケータを前記１つまたはそれを上回るオブジェクトに提示するようにプログラムされる、項目１−３のいずれか１項に記載のシステム。
（項目５）
前記ハードウェアプロセッサは、遮蔽曖昧性解消技法を前記仮想円錐と衝突する１つまたはそれを上回るオブジェクトに適用し、遮蔽されたオブジェクトを識別するようにプログラムされる、項目４に記載のシステム。
（項目６）
前記円錐は、中心光線を備え、前記開口は、前記中心光線を横断する、項目１−５のいずれか１項に記載のシステム。
（項目７）
前記仮想円錐は、近位端を備え、前記近位端は、前記ユーザの眼間の場所、ユーザの腕の一部上の場所、ユーザ入力デバイス上の場所、または前記ユーザの環境内の任意の他の場所のうちの少なくとも１つの場所にアンカリングされる、項目１−６のいずれか１項に記載のシステム。
（項目８）
前記ハードウェアプロセッサはさらに、ユーザ入力デバイスから、前記仮想円錐の深度を深度平面にアンカリングするインジケーションを受信するようにプログラムされ、円錐投射は、前記深度平面内の前記オブジェクトのグループ上に実施される、項目１−７のいずれか１項に記載のシステム。
（項目９）
ウェアラブルデバイスのためのオブジェクトと相互作用するための方法であって、前記方法は、３次元（３Ｄ）空間内の第１の位置においてユーザに表示される標的仮想オブジェクトの選択を受信することと、
前記標的仮想オブジェクトに関する移動のインジケーションを受信することと、
前記標的仮想オブジェクトと関連付けられたコンテキスト情報を分析することと、
少なくとも部分的に前記コンテキスト情報に基づいて、前記標的仮想オブジェクトの移動に適用されるための乗数を計算することと、
前記標的仮想オブジェクトに関する移動量を計算することであって、前記移動量は、少なくとも部分的に前記移動のインジケーションおよび前記乗数に基づく、ことと、
前記ユーザに、第２の位置において前記標的仮想オブジェクトを表示することであって、前記第２の位置は、少なくとも部分的に前記第１の位置および前記移動量に基づく、ことと
を含む、方法。
（項目１０）
前記コンテキスト情報は、前記ユーザから前記標的仮想オブジェクトまでの距離を含む、項目９に記載の方法。
（項目１１）
前記乗数は、前記距離の増加に伴って比例して増加する、項目１０に記載の方法。
（項目１２）
前記移動は、位置変化、速度、または加速のうちの１つまたはそれを上回るものを含む、項目９−１１のいずれか１項に記載の方法。
（項目１３）
前記移動のインジケーションは、前記ウェアラブルデバイスと関連付けられたユーザ入力デバイスの作動または前記ユーザの姿勢の変化のうちの少なくとも１つを含む、項目９−１２のいずれか１項に記載の方法。
（項目１４）
前記姿勢は、頭部姿勢、眼姿勢、または身体姿勢のうちの１つまたはそれを上回るものを含む、項目１３に記載の方法。
（項目１５）
ウェアラブルデバイスのためのオブジェクトと相互作用するためのシステムであって、前記システムは、
３次元（３Ｄ）ビューをユーザに提示するように構成される、ウェアラブルデバイスのディスプレイシステムであって、前記３Ｄビューは、標的仮想オブジェクトを備える、ウェアラブルデバイスのディスプレイシステムと、
前記ディスプレイシステムと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
前記標的仮想オブジェクトに関する移動のインジケーションを受信することと、
前記標的仮想オブジェクトと関連付けられたコンテキスト情報を分析することと、
少なくとも部分的に前記コンテキスト情報に基づいて、前記標的仮想オブジェクトの移動に適用されるための乗数を計算することと、
前記標的仮想オブジェクトに関する移動量を計算することであって、前記移動量は、少なくとも部分的に前記移動のインジケーションおよび前記乗数に基づく、ことと、
前記ディスプレイシステムによって、第２の位置において前記標的仮想オブジェクトを表示すことであって、前記第２の位置は、少なくとも部分的に、前記第１の位置および前記移動量に基づく、ことと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、システム。
（項目１６）
前記標的仮想オブジェクトの移動のインジケーションは、前記ウェアラブルデバイスのユーザの姿勢の変化または前記ウェアラブルデバイスと関連付けられたユーザ入力デバイスから受信された入力を含む、項目１５に記載のシステム。
（項目１７）
前記コンテキスト情報は、前記ユーザから前記標的仮想オブジェクトまでの距離を含む、項目１５−１６のいずれか１項に記載のシステム。
（項目１８）
前記乗数は、前記距離が閾値距離未満であるとき、１に等しく、前記閾値距離は、前記ユーザの手が届く範囲と等しい、項目１７に記載のシステム。
（項目１９）
前記乗数は、前記距離の増加に伴って比例して増加する、項目１７−１８のいずれか１項に記載のシステム。
（項目２０）
前記移動は、位置変化、速度、または加速のうちの１つまたはそれを上回るものを含む、項目１５−１９のいずれか１項に記載のシステム。
図１は、人物によって視認されるある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。
図２は、ウェアラブルシステムの実施例を図式的に図示する。
図３は、複数の深度平面を使用して３次元画像をシミュレートするためのアプローチの側面を図式的に図示する。
図４は、画像情報をユーザに出力するための導波管スタックの実施例を図式的に図示する。
図５は、導波管によって出力され得る、例示的出射ビームを示す。
図６は、導波管装置と、光を導波管装置へまたはそこから光学的に結合するための光学結合器サブシステムと、多焦点立体ディスプレイ、画像、またはライトフィールドの生成において使用される、制御サブシステムとを含む、光学システムを示す、概略図である。
図７は、ウェアラブルシステムの実施例のブロック図である。
図８は、認識されるオブジェクトに関連して仮想コンテンツをレンダリングする方法の実施例のプロセスフロー図である。
図９は、ウェアラブルシステムの別の実施例のブロック図である。
図１０は、ウェアラブルシステムへのユーザ入力を判定するための方法の実施例のプロセスフロー図である。
図１１は、仮想ユーザインターフェースと相互作用するための方法の実施例のプロセスフロー図である。
図１２Ａは、無視不可能な開口を伴う円錐投射の実施例を図示する。
図１２Ｂおよび１２Ｃは、異なる動的に調節された開口を伴う円錐投射を使用して仮想オブジェクトを選択する実施例である。 図１２Ｂおよび１２Ｃは、異なる動的に調節された開口を伴う円錐投射を使用して仮想オブジェクトを選択する実施例である。
図１２Ｄ、１２Ｅ、１２Ｆ、１２Ｇは、オブジェクトの密度に基づいて開口を動的に調節する実施例を説明する。 図１２Ｄ、１２Ｅ、１２Ｆ、１２Ｇは、オブジェクトの密度に基づいて開口を動的に調節する実施例を説明する。 図１２Ｄ、１２Ｅ、１２Ｆ、１２Ｇは、オブジェクトの密度に基づいて開口を動的に調節する実施例を説明する。 図１２Ｄ、１２Ｅ、１２Ｆ、１２Ｇは、オブジェクトの密度に基づいて開口を動的に調節する実施例を説明する。
図１３、１４、および１５は、動的に調節可能な開口を伴う円錐投射を使用して相互作用可能オブジェクトを選択するための例示的プロセスのフローチャートである。 図１３、１４、および１５は、動的に調節可能な開口を伴う円錐投射を使用して相互作用可能オブジェクトを選択するための例示的プロセスのフローチャートである。 図１３、１４、および１５は、動的に調節可能な開口を伴う円錐投射を使用して相互作用可能オブジェクトを選択するための例示的プロセスのフローチャートである。
図１６は、ユーザ入力デバイスを使用して仮想オブジェクトを移動させる実施例を図式的に図示する。
図１７は、距離の関数としての乗数の実施例を図式的に図示する。
図１８は、ユーザ入力デバイスの移動に応答して仮想オブジェクトを移動させるための例示的プロセスのフローチャートを図示する。
図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図されない。
概要
ウェアラブルシステムは、仮想コンテンツをＡＲ／ＶＲ／ＭＲ環境内に表示するように構成されることができる。ウェアラブルシステムは、ユーザが、ユーザの環境内の物理的または仮想オブジェクトと相互作用することを可能にすることができる。ユーザは、例えば、オブジェクトを選択および移動させることによって、姿勢を使用することによって、またはユーザ入力デバイスを作動させることによって、オブジェクトと相互作用することができる。例えば、ユーザは、ユーザ入力デバイスをある距離にわたって移動させてもよく、仮想オブジェクトは、ユーザ入力デバイスに追従し、同一距離量だけ移動するであろう。同様に、ウェアラブルシステムは、円錐投射を使用して、ユーザが、仮想オブジェクトを姿勢に伴って選択または標的化することを可能にしてもよい。ユーザがその手を移動させるにつれて、ウェアラブルシステムは、それに従って、異なる仮想オブジェクトをユーザの視野内で標的化および選択することができる。
これらのアプローチは、オブジェクトが比較的に遠くに離間されている場合、ユーザを疲労させ得る。これは、仮想オブジェクトを所望の場所に移動させる、または所望のオブジェクトに到達するために、ユーザが、同様に長い距離にわたって、ユーザ入力デバイスを移動させる、または身体の移動量を増加させる（例えば、腕または頭部の移動量を増加させる）必要があるためである。加えて、遠距離のオブジェクトのための精密な位置付けは、遠く離れた場所における微量の調節を確認することが困難であり得るため、困難であり得る。一方、オブジェクトがともにより近いとき、ユーザは、所望のオブジェクトと正確に相互作用するために、より精密な位置付けを好み得る。
ユーザの疲労を低減させ、ウェアラブルシステムとの動的ユーザ相互作用を提供するために、ウェアラブルシステムは、コンテキスト情報に基づいて、ユーザインターフェース動作を自動的に調節することができる。
コンテキスト情報に基づいて動的ユーザ相互作用を提供する実施例として、ウェアラブルシステムは、コンテキスト係数に基づいて、円錐投射内の円錐の開口を自動的に更新することができる。例えば、ユーザが、その頭部をオブジェクトの高密度を伴う方向に向かって方向転換する場合、ウェアラブルシステムは、円錐内に仮想選択可能オブジェクトが殆ど存在しないように、円錐開口を自動的に減少させてもよい。同様に、ユーザが、その頭部をオブジェクトの低密度を伴う方向に方向転換する場合、ウェアラブルシステムは、円錐開口を自動的に増加させ、より多くのオブジェクトを円錐内に含むか、または仮想オブジェクトと円錐開口を重複させるために必要な移動量を減少させるかのいずれかを行ってもよい。
別の実施例として、ウェアラブルシステムは、ユーザ入力デバイス（および／またはユーザの移動）の移動量を仮想オブジェクトのより大きな移動量に変換し得る乗数（ｍｕｌｔｉｐｌｉｅｒ）を提供することができる。その結果、ユーザは、オブジェクトが離れて位置するとき、長い距離を物理的に移動し、仮想オブジェクトを所望の場所に移動させる必要はない。しかしながら、乗数は、仮想オブジェクトがユーザに近いとき（例えば、ユーザの手の届く範囲内）、１に設定されてもよい。故に、ウェアラブルシステムは、ユーザ移動と仮想オブジェクト移動との間の１対１の操作を提供することができる。これは、ユーザが、精度増加を伴って、近傍仮想オブジェクトと相互作用することを可能にし得る。コンテキスト情報に基づくユーザ相互作用の実施例は、以下に詳細に説明される。
ウェアラブルシステムの３Ｄディスプレイの実施例
ウェアラブルシステム（本明細書では、拡張現実（ＡＲ）システムとも称される）は、２Ｄまたは３Ｄ仮想画像をユーザに提示するために構成されることができる。画像は、組み合わせまたは同等物における、静止画像、ビデオのフレーム、またはビデオであってもよい。ウェアラブルシステムは、ユーザ相互作用のために、単独で、または組み合わせて、ＶＲ、ＡＲ、またはＭＲ環境を提示し得る、ウェアラブルデバイスを含むことができる。ウェアラブルデバイスは、頭部搭載型デバイス（ＨＭＤ）であることができる。
図１は、人物によって視認される、ある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。図１では、ＭＲ場面１００が、描写され、ＭＲ技術のユーザには、人々、木々、背景内の建物、およびコンクリートプラットフォーム１２０を特徴とする、実世界公園状設定１１０が見える。これらのアイテムに加え、ＭＲ技術のユーザはまた、実世界プラットフォーム１２０上に立っているロボット像１３０と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ１４０とが「見える」と知覚するが、これらの要素は、実世界には存在しない。
３Ｄディスプレイが、真の深度感覚、より具体的には、表面深度のシミュレートされた感覚を生成するために、ディスプレイの視野内の点毎に、その仮想深度に対応する遠近調節応答を生成することが望ましくあり得る。ディスプレイ点に対する遠近調節応答が、収束および立体視の両眼深度キューによって判定されるようなその点の仮想深度に対応しない場合、ヒトの眼は、遠近調節衝突を体験し、不安定なイメージング、有害な眼精疲労、頭痛、および遠近調節情報の不在下では、表面深度のほぼ完全な欠如をもたらし得る。
ＶＲ、ＡＲ、およびＭＲ体験は、複数の深度平面に対応する画像が視認者に提供されるディスプレイを有する、ディスプレイシステムによって提供されることができる。画像は、深度平面毎に異なってもよく（例えば、場面またはオブジェクトの若干異なる提示を提供する）、視認者の眼によって別個に集束され、それによって、異なる深度平面上に位置する場面に関する異なる画像特徴に合焦させるために要求される眼の遠近調節に基づいて、または合焦からずれている異なる深度平面上の異なる画像特徴を観察することに基づいて、ユーザに深度キューを提供することに役立ち得る。本明細書のいずれかに議論されるように、そのような深度キューは、信用できる深度の知覚を提供する。
図２は、ウェアラブルシステム２００の実施例を図示する。ウェアラブルシステム２００は、ディスプレイ２２０と、ディスプレイ２２０の機能をサポートするための種々の機械的および電子的モジュールおよびシステムとを含む。ディスプレイ２２０は、ユーザ、装着者、または視認者２１０によってウェアラブルである、フレーム２３０に結合されてもよい。ディスプレイ２２０は、ユーザ２１０の眼の正面に位置付けられることができる。ディスプレイ２２０は、ＡＲ／ＶＲ／ＭＲコンテンツをユーザに提示するができる。ディスプレイ２２０は、ユーザの頭部上に装着される、頭部搭載型ディスプレイ（ＨＭＤ）を備えることができる。いくつかの実施形態では、スピーカ２４０が、フレーム２３０に結合され、ユーザの外耳道に隣接して位置付けられる（いくつかの実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音響制御を提供する）。
ウェアラブルシステム２００は、ユーザの周囲の環境内の世界を観察する、外向きに面したイメージングシステム４６４（図４に示される）を含むことができる。ウェアラブルシステム２００はまた、ユーザの眼移動を追跡することができる、内向きに面したイメージングシステム４６２（図４に示される）を含むことができる。内向きに面したイメージングシステムは、一方の眼の移動または両方の眼の移動のいずれかを追跡することができる。内向きに面したイメージングシステム４６２は、フレーム２３０に取り付けられてもよく、内向きに面したイメージングシステムによって取得された画像情報を処理し、例えば、ユーザ２１０の眼、眼の移動、または眼姿勢の瞳孔直径または配向を判定し得る、処理モジュール２６０または２７０と電気通信してもよい。
実施例として、ウェアラブルシステム２００は、外向きに面したイメージングシステム４６４または内向きに面したイメージングシステム４６２を使用して、ユーザの姿勢の画像を取得することができる。画像は、静止画像、ビデオのフレームまたはビデオ、その組み合わせ、または同等物であってもよい。
ディスプレイ２２０は、有線導線または無線接続等によって、フレーム２３０に固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ２１０に（例えば、バックパック式構成において、ベルト結合式構成において）可撤式に取り付けられる等、種々の構成において搭載され得る、ローカルデータ処理モジュール２６０に動作可能に結合される（２５０）。
ローカル処理およびデータモジュール２６０は、ハードウェアプロセッサおよび不揮発性メモリ（例えば、フラッシュメモリ）等のデジタルメモリを備えてもよく、その両方とも、データの処理、キャッシング、および記憶を補助するために利用され得る。データは、（ａ）画像捕捉デバイス（例えば、内向きに面したイメージングシステムおよび／または外向きに面したイメージングシステム内のカメラ）、マイクロホン、慣性測定ユニット（ＩＭＵ）、加速度計、コンパス、全地球測位システム（ＧＰＳ）ユニット、無線デバイス、またはジャイロスコープ等の（例えば、フレーム２３０に動作可能に結合される、または別様にユーザ２１０に取り付けられ得る）センサから捕捉されるデータ、または、（ｂ）場合によってはそのような処理または読出後にディスプレイ２２０への伝達のために、遠隔処理モジュール２７０または遠隔データリポジトリ２８０を使用して取得または処理されるデータを含んでもよい。ローカル処理およびデータモジュール２６０は、これらの遠隔モジュールがローカル処理およびデータモジュール２６０へのリソースとして利用可能であるように、有線または無線通信リンクを介して等、通信リンク２６２または２６４によって遠隔処理モジュール２７０または遠隔データリポジトリ２８０に動作可能に結合されてもよい。加えて、遠隔処理モジュール２８０および遠隔データリポジトリ２８０は、相互に動作可能に結合されてもよい。
いくつかの実施形態では、遠隔処理モジュール２７０は、データおよび／または画像情報を分析および処理するように構成される、１つまたはそれを上回るプロセッサを備えてもよい。いくつかの実施形態では、遠隔データリポジトリ２８０は、デジタルデータ記憶設備を備え得、これは、「クラウド」リソース構成におけるインターネットまたは他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、ローカル処理およびデータモジュールにおいて実施され、遠隔モジュールからの完全に自律的な使用を可能にする。
ヒト視覚系は、複雑であって、深度の現実的知覚を提供することは、困難である。理論によって限定されるわけではないが、オブジェクトの視認者は、輻輳・開散運動（ｖｅｒｇｅｎｃｅ）および遠近調節（ａｃｃｏｍｍｏｄａｔｉｏｎ）の組み合わせに起因して、オブジェクトを３次元として知覚し得ると考えられる。相互に対する２つの眼の輻輳・開散運動（すなわち、眼の注視を収束させ、オブジェクト上に固定させるための相互に向かって、またはそこから離れるような瞳孔の転動運動）は、眼の水晶体の集束（または「遠近調節」）と密接に関連付けられる。通常条件下では、眼の水晶体の焦点を変更する、または眼を遠近調節し、１つのオブジェクトから異なる距離における別のオブジェクトに焦点を変更することは、「遠近調節−輻輳・開散運動反射」として知られる関係下、自動的に、輻輳・開散運動における整合する変化を同一距離に生じさせるであろう。同様に、輻輳・開散運動における変化は、通常条件下、遠近調節における整合する変化を誘起するであろう。遠近調節と輻輳・開散運動との間のより良好な整合を提供するディスプレイシステムは、３次元画像のより現実的かつ快適なシミュレーションを形成し得る。
図３は、複数の深度平面を使用して３次元画像をシミュレートするためのアプローチの側面を図示する。図３を参照すると、ｚ−軸上の眼３０２および３０４からの種々の距離におけるオブジェクトは、それらのオブジェクトが合焦するように、眼３０２および３０４によって遠近調節される。眼３０２および３０４は、特定の遠近調節された状態をとり、オブジェクトをｚ−軸に沿った異なる距離に合焦させる。その結果、特定の遠近調節された状態は、特定の深度平面におけるオブジェクトまたはオブジェクトの一部が、眼がその深度平面に対して遠近調節された状態にあるとき、合焦するように、関連付けられた焦点距離を有する、深度平面３０６のうちの特定の１つと関連付けられると言え得る。いくつかの実施形態では、３次元画像は、眼３０２および３０４毎に、画像の異なる提示を提供することによって、また、深度平面のそれぞれに対応する画像の異なる提示を提供することによって、シミュレートされてもよい。例証を明確にするために、別個であるように示されるが、眼３０２および３０４の視野は、例えば、ｚ−軸に沿った距離が増加するにつれて、重複し得ることを理解されたい。加えて、例証を容易にするために、平坦であるように示されるが、深度平面の外形は、深度平面内の全ての特徴が特定の遠近調節された状態における眼と合焦するように、物理的空間内で湾曲され得ることを理解されたい。理論によって限定されるわけではないが、ヒトの眼は、有限数深度平面を解釈し、典型的には、深度知覚を提供することができると考えられる。その結果、知覚された深度の高度に真実味のあるシミュレーションが、眼にこれらの限定数の深度平面のそれぞれに対応する画像の異なる提示を提供することによって達成され得る。
導波管スタックアセンブリ
図４は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ウェアラブルシステム４００は、複数の導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４００ｂを使用して、３次元知覚を眼／脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ４８０を含む。いくつかの実施形態では、ウェアラブルシステム４００は、図２のウェアラブルシステム２００に対応してもよく、図４は、ウェアラブルシステム２００のいくつかの部分をより詳細に概略的に示す。例えば、いくつかの実施形態では、導波管アセンブリ４８０は、図２のディスプレイ２２０の中に統合されてもよい。
図４を継続して参照すると、導波管アセンブリ４８０はまた、複数の特徴４５８、４５６、４５４、４５２を導波管間に含んでもよい。いくつかの実施形態では、特徴４５８、４５６、４５４、４５２は、レンズであってもよい。他の実施形態では、特徴４５８、４５６、４５４、４５２は、レンズではなくてもよい。むしろ、それらは、単に、スペーサであってもよい（例えば、空気間隙を形成するためのクラッディング層または構造）。
導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４０ｂまたは複数のレンズ４５８、４５６、４５４、４５２は、種々のレベルの波面曲率または光線発散を用いて、画像情報を眼に送信するように構成されてもよい。各導波管レベルは、特定の深度平面と関連付けられてもよく、その深度平面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス４２０、４２２、４２４、４２６、４２８は、それぞれ、眼４１０に向かって出力するために、各個別の導波管を横断して入射光を分散させるように構成され得る、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの中に画像情報を投入するために利用されてもよい。光は、画像投入デバイス４２０、４２２、４２４、４２６、４２８の出力表面から出射し、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの対応する入力縁の中に投入される。いくつかの実施形態では、光の単一ビーム（例えば、コリメートされたビーム）が、各導波管の中に投入され、特定の導波管と関連付けられた深度平面に対応する特定の角度（および発散量）において眼４１０に向かって指向される、クローン化されたコリメートビームの場全体を出力してもよい。
いくつかの実施形態では、画像投入デバイス４２０、４２２、４２４、４２６、４２８は、それぞれ、それぞれの対応する導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの中への投入のための画像情報を生成する、離散ディスプレイである。いくつかの他の実施形態では、画像投入デバイス４２０、４２２、４２４、４２６、４２８は、例えば、画像情報を１つまたはそれを上回る光学導管（光ファイバケーブル等）を介して、画像投入デバイス４２０、４２２、４２４、４２６、４２８のそれぞれに送り得る、単一の多重化されたディスプレイの出力端である。
コントローラ４６０が、スタックされた導波管アセンブリ４８０および画像投入デバイス４２０、４２２、４２４、４２６、４２８の動作を制御する。コントローラ４６０は、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂへの画像情報のタイミングおよび提供を調整する、プログラミング（例えば、非一過性コンピュータ可読媒体内の命令）を含む。いくつかの実施形態では、コントローラ４６０は、単一の一体型デバイスまたは有線または無線通信チャネルによって接続される分散型システムであってもよい。コントローラ４６０は、いくつかの実施形態では、処理モジュール２６０または２７０（図２に図示される）の一部であってもよい。
導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、全内部反射（ＴＩＲ）によって各個別の導波管内で光を伝搬するように構成されてもよい。導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂはそれぞれ、主要な上部および底部表面およびそれらの主要上部表面と底部表面との間に延在する縁を伴う、平面である、または別の形状（例えば、湾曲）を有してもよい。図示される構成では、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂはそれぞれ、光を再指向させ、各個別の導波管内で伝搬させ、導波管から、画像情報を眼４１０に出力することによって、光を導波管から抽出するように構成される、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａを含んでもよい。抽出された光はまた、外部結合光と称され得、光抽出光学要素はまた、外部結合光学要素と称され得る。抽出された光のビームは、導波管によって、導波管内を伝搬する光が光再指向要素に衝打する場所に出力される。光抽出光学要素（４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａ）は、例えば、反射または回折光学特徴であってもよい。説明の容易性、図面の明確性のために、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの底部主要表面に配置されて図示されるが、いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、上部または底部主要表面に配置されてもよい、または導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの容積内に直接配置されてもよい。いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、透明基板に取り付けられ、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂを形成する、材料の層内に形成されてもよい。いくつかの他の実施形態では、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、材料のモノリシック部品であってもよく、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、材料のその部品の表面上および／またはその内部に形成されてもよい。
図４を継続して参照すると、本明細書に議論されるように、各導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、光を出力し、特定の深度平面に対応する画像を形成するように構成される。例えば、眼の最近傍の導波管４３２ｂは、そのような導波管４３２ｂの中に投入されるにつれて、コリメートされた光を眼４１０に送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表し得る。次の導波管４３４ｂは、眼４１０に到達し得る前に、第１のレンズ４５２（例えば、負のレンズ）を通して通過する、コリメートされた光を送出するように構成されてもよい。第１のレンズ４５２は、眼／脳が、その次の上方の導波管４３４ｂから生じる光を光学無限遠から眼４１０に向かって内向きにより近い第１の焦点面から生じるように解釈するように、若干の凸面波面曲率を生成するように構成されてもよい。同様に、第３の上方の導波管４３６ｂは、眼４１０に到達する前に、その出力光を第１のレンズ４５２および第２のレンズ４５４の両方を通して通過させる。第１および第２のレンズ４５２および４５４の組み合わせられた屈折力は、眼／脳が、第３の導波管４３６ｂから生じる光が次の上方の導波管４３４ｂからの光であったよりも光学無限遠から人物に向かって内向きにさらにより近い第２の焦点面から生じるように解釈するように、別の漸増量の波面曲率を生成するように構成されてもよい。
他の導波管層（例えば、導波管４３８ｂ、４４０ｂ）およびレンズ（例えば、レンズ４５６、４５８）も同様に構成され、スタック内の最高導波管４４０ｂを用いて、人物に最も近い焦点面を表す集約焦点力のために、その出力をそれと眼との間のレンズの全てを通して送出する。スタックされた導波管アセンブリ４８０の他側の世界４７０から生じる光を視認／解釈するとき、レンズ４５８、４５６、４５４、４５２のスタックを補償するために、補償レンズ層４３０が、スタックの上部に配置され、下方のレンズスタック４５８、４５６、４５４、４５２の集約力を補償してもよい。そのような構成は、利用可能な導波管／レンズ対と同じ数の知覚される焦点面を提供する。導波管の光抽出光学要素およびレンズの集束側面は両方とも、静的であってもよい（例えば、動的または電気活性ではない）。いくつかの代替実施形態では、一方または両方とも、電気活性特徴を使用して動的であってもよい。
図４を継続して参照すると、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、光をその個別の導波管から再指向し、かつ導波管と関連付けられた特定の深度平面のための適切な発散またはコリメーション量を用いて本光を出力するように構成されてもよい。その結果、異なる関連付けられた深度平面を有する導波管は、関連付けられた深度平面に応じて、異なる量の発散を伴う光を出力する、異なる構成の光抽出光学要素を有してもよい。いくつかの実施形態では、本明細書に議論されるように、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、具体的角度において光を出力するように構成され得る、立体または表面特徴であってもよい。例えば、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、体積ホログラム、表面ホログラム、および／または回折格子であってもよい。回折格子等の光抽出光学要素は、２０１５年６月２５日に公開された米国特許公開第２０１５／０１７８９３９号（参照することによってその全体として本明細書に組み込まれる）に説明される。
いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、回折パターンを形成する回折特徴、すなわち、「回折光学要素」（本明細書では、「ＤＯＥ」とも称される）である。好ましくは、ＤＯＥは、ビームの光の一部のみが、ＤＯＥの各交差点を用いて、眼４１０に向かって偏向される一方、残りが、全内部反射を介して、導波管を通して移動し続けるように、比較的に低回折効率を有する。画像情報を搬送する光は、したがって、複数の場所において導波管から出射する、いくつかの関連出射ビームに分割され、その結果、導波管内でバウンスする本特定のコリメートされたビームに関して、眼３０４に向かって非常に均一なパターンの出射放出となることができる。
いくつかの実施形態では、１つまたはそれを上回るＤＯＥは、能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切替可能であってもよい。例えば、切替可能なＤＯＥは、ポリマー分散液晶の層を備えてもよく、その中で微小液滴は、ホスト媒体中に回折パターンを備え、微小液滴の屈折率は、ホスト材料の屈折率に実質的に整合するように切り替えられることができる（その場合、パターンは、入射光を著しく回折させない）、または微小液滴は、ホスト媒体のものに整合しない屈折率に切り替えられることができる（その場合、パターンは、入射光を能動的に回折させる）。
いくつかの実施形態では、深度平面または被写界深度の数および分布は、視認者の眼の瞳孔サイズまたは配向に基づいて、動的に変動されてもよい。被写界深度は、視認者の瞳孔サイズと反比例して変化してもよい。その結果、視認者の眼の瞳孔のサイズが減少するにつれて、被写界深度は、その平面の場所が眼の焦点深度を越えるため判別不能である１つの平面が、判別可能となり、瞳孔サイズの低減および被写界深度の相当する増加に伴って、より合焦して現れ得るように増加する。同様に、異なる画像を視認者に提示するために使用される、離間される深度平面の数は、減少された瞳孔サイズに伴って減少されてもよい。例えば、視認者は、一方の深度平面から他方の深度平面への眼の遠近調節を調節せずに、第１の深度平面および第２の深度平面の両方の詳細を１つの瞳孔サイズにおいて明確に知覚することが可能ではない場合がある。しかしながら、これらの２つの深度平面は、同時に、遠近調節を変化させずに、別の瞳孔サイズにおいてユーザに合焦するには十分であり得る。
いくつかの実施形態では、ディスプレイシステムは、瞳孔サイズおよび／または配向の判定に基づいて、または特定の瞳孔サイズ／または配向を示す電気信号の受信に応じて、画像情報を受信する導波管の数を変動させてもよい。例えば、ユーザの眼が、２つの導波管と関連付けられた２つの深度平面間を区別不能である場合、コントローラ４６０は、これらの導波管のうちの１つへの画像情報の提供を停止するように構成またはプログラムされてもよい。有利には、これは、システムへの処理負担を低減させ、それによって、システムの応答性を増加させ得る。導波管のためのＤＯＥがオンおよびオフ状態間で切替可能である実施形態では、ＤＯＥは、導波管が画像情報を受信するとき、オフ状態に切り替えられてもよい。
いくつかの実施形態では、出射ビームに視認者の眼の直径未満の直径を有するという条件を満たさせることが望ましくあり得る。しかしながら、本条件を満たすことは、視認者の瞳孔のサイズの変動性に照らして、困難であり得る。いくつかの実施形態では、本条件は、視認者の瞳孔のサイズの判定に応答して出射ビームのサイズを変動させることによって、広範囲の瞳孔サイズにわたって満たされる。例えば、瞳孔サイズが減少するにつれて、出射ビームのサイズもまた、減少し得る。いくつかの実施形態では、出射ビームサイズは、可変開口を使用して変動されてもよい。
ウェアラブルシステム４００は、世界４７０の一部分をイメージングする、外向きに面したイメージングシステム４６４（例えば、デジタルカメラ）を含むことができる。世界４７０のこの一部分は、視野（ＦＯＶ）と称され得、イメージングシステム４６４は、時として、ＦＯＶカメラとも称される。視認者による視認またはイメージングのために利用可能な領域全体は、動眼視野（ＦＯＲ）と称され得る。ＦＯＲは、装着者が、その身体、頭部、または眼を移動させ、空間内の実質的に任意の方向を知覚するため、ウェアラブルシステム４００を囲繞する４πステラジアンの立体角を含んでもよい。他の状況では、装着者の移動は、より抑制されてもよく、それに応じて、装着者のＦＯＲは、より小さい立体角に対応し得る。外向きに面したイメージングシステム４６４から得られた画像は、ユーザによって行われるジェスチャ（例えば、手または指のジェスチャ）を追跡し、ユーザの正面における世界４７０内のオブジェクトを検出する等のために、使用されることができる。
ウェアラブルシステム４００はまた、眼移動および顔移動等のユーザの移動を観察する、内向きに面したイメージングシステム４６６（例えば、デジタルカメラ）を含むことができる。内向きに面したイメージングシステム４６６は、眼４１０の画像を捕捉し、眼３０４の瞳孔のサイズまたは配向を判定するために使用されてもよい。内向きに面したイメージングシステム４６６は、ユーザが見ている方向（例えば、眼姿勢）を判定する際に使用するため、またはユーザのバイオメトリック識別のため（例えば、虹彩識別を介して）、画像を得るために使用されることができる。いくつかの実施形態では、少なくとも１つのカメラが、眼毎に、独立して、各眼の瞳孔サイズまたは眼姿勢を別個に判定し、それによって、各眼への画像情報の提示がその眼に対して動的に調整されることを可能にするために利用されてもよい。いくつかの他の実施形態では、単一眼４１０のみの瞳孔直径または配向（例えば、対の眼あたり単一カメラのみを使用して）が、判定され、ユーザの両眼に関して類似すると仮定される。内向きに面したイメージングシステム４６６によって得られる画像は、ユーザに提示されるべきオーディオまたは視覚的コンテンツを決定するためにウェアラブルシステム４００によって使用され得る、ユーザの眼姿勢または気分を判定するために分析されてもよい。ウェアラブルシステム４００はまた、ＩＭＵ、加速度計、ジャイロスコープ等のセンサを使用して、頭部姿勢（例えば、頭部位置または頭部配向）を判定してもよい。
ウェアラブルシステム４００は、ユーザが、コマンドをコントローラ４６０に入力し、ウェアラブルシステム４００と相互作用し得る、ユーザ入力デバイス４６６を含むことができる。例えば、ユーザ入力デバイス４６６は、トラックパッド、タッチスクリーン、ジョイスティック、多自由度（ＤＯＦ）コントローラ、容量感知デバイス、ゲームコントローラ、キーボード、マウス、指向性パッド（Ｄパッド）、ワンド、触知デバイス、トーテム（例えば、仮想ユーザ入力デバイスとして機能する）等を含むことができる。マルチＤＯＦコントローラは、コントローラの一部または全部の可能性として考えられる平行移動（例えば、左／右、前方／後方、または上／下）または回転（例えば、ヨー、ピッチ、またはロール）におけるユーザ入力を感知することができる。平行移動をサポートする、マルチＤＯＦコントローラは、３ＤＯＦと称され得る一方、平行移動および回転をサポートする、マルチＤＯＦコントローラは、６ＤＯＦと称され得る。ある場合には、ユーザは、指（例えば、親指）を使用して、タッチセンサ式入力デバイスを押下またはその上でスワイプし、入力をウェアラブルシステム４００に提供してもよい（例えば、ユーザ入力をウェアラブルシステム４００によって提供されるユーザインターフェースに提供するために）。ユーザ入力デバイス４６６は、ウェアラブルシステム４００の使用の間、ユーザの手によって保持されてもよい。ユーザ入力デバイス４６６は、ウェアラブルシステム４００と有線または無線通信することができる。
図５は、導波管によって出力された出射ビームの実施例を示す。１つの導波管が、図示されるが、導波管アセンブリ４８０内の他の導波管も、同様に機能してもよく、導波管アセンブリ４８０は、複数の導波管を含むことを理解されたい。光５２０が、導波管４３２ｂの入力縁４３２ｃにおいて導波管４３２ｂの中に投入され、ＴＩＲによって導波管４３２ｂ内を伝搬する。光５２０がＤＯＥ４３２ａに衝突する点において、光の一部が、出射ビーム５１０として導波管から出射する。出射ビーム５１０は、略平行として図示されるが、それらはまた、導波管４３２ｂと関連付けられた深度平面に応じて、ある角度で眼４１０に伝搬するように再指向されてもよい（例えば、発散出射ビームを形成する）。略平行出射ビームは、光を外部結合し、眼４１０から長距離（例えば、光学無限遠）における深度平面に設定されるように現れる画像を形成する光抽出光学要素を伴う、導波管を示し得ることを理解されたい。他の導波管または他の光抽出光学要素のセットは、より発散する、出射ビームパターンを出力してもよく、これは、眼４１０がより近い距離に遠近調節し、網膜に合焦させることを要求し、光学無限遠より眼４１０に近い距離からの光として脳によって解釈されるであろう。
図６は、導波管装置と、光を導波管装置へまたはそこから光学的に結合するための光学結合器サブシステムと、多焦点立体ディスプレイ、画像、またはライトフィールドの生成において使用される制御サブシステムとを含む、光学システムを示す、概略図である。光学システムは、導波管装置と、光を導波管装置にまたはそこから光学的に結合するための光学結合器サブシステムと、制御サブシステムとを含むことができる。光学システムは、多焦点立体、画像、またはライトフィールドを生成するために使用されることができる。光学システムは、１つまたはそれを上回る一次平面導波管６３２ａ（１つのみのが図６に示される）と、一次導波管６３２ａの少なくともいくつかのそれぞれと関連付けられた１つまたはそれを上回るＤＯＥ６３２ｂとを含むことができる。平面導波管６３２ｂは、図４を参照して議論される導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４０ｂに類似することができる。光学システムは、分散導波管装置を採用し、光を第１の軸（図６の図では、垂直またはＹ−軸）に沿って中継し、第１の軸（例えば、Ｙ−軸）に沿って光の有効射出瞳を拡張させてもよい。分散導波管装置は、例えば、分散平面導波管６２２ｂと、分散平面導波管６２２ｂと関連付けられた少なくとも１つのＤＯＥ６２２ａ（二重破線によって図示される）とを含んでもよい。分散平面導波管６２２ｂは、少なくともいくつかの点において、それと異なる配向を有する一次平面導波管６３２ｂと類似または同じであってもよい。同様に、少なくとも１つのＤＯＥ６２２ａは、少なくともいくつかの点において、ＤＯＥ６３２ａと類似または同じであってもよい。例えば、分散平面導波管６２２ｂまたはＤＯＥ６２２ａは、それぞれ、一次平面導波管６３２ｂまたはＤＯＥ６３２ａと同一材料から成ってもよい。図６に示される光学ディスプレイシステム６００の実施形態は、図２に示されるウェアラブルシステム２００の中に統合されることができる。
中継され、射出瞳が拡張された光は、分散導波管装置から１つまたはそれを上回る一次平面導波管６３２ｂの中に光学的に結合され得る。一次平面導波管６３２ｂは、好ましくは、第１の軸に直交する、第２の軸（例えば、図６の図では、水平またはＸ−軸）に沿って、光を中継することができる。着目すべきこととして、第２の軸は、第１の軸に対して非直交軸であることができる。一次平面導波管６３２ｂは、その第２の軸（例えば、Ｘ−軸）に沿って、光の有効射出瞳を拡張させる。例えば、分散平面導波管６２２ｂは、光を垂直またはＹ−軸に沿って中継および拡張させ、光を水平またはＸ−軸に沿って中継および拡張させ得る、一次平面導波管６３２ｂにその光を通過させることができる。
光学システムは、単一モード光ファイバ６４０の近位端の中に光学的に結合され得る、１つまたはそれを上回る有色光源（例えば、赤色、緑色、および青色レーザ光）６１０を含んでもよい。光ファイバ６４０の遠位端は、圧電材料の中空管６４２を通して螺合または受容されてもよい。遠位端は、固定されない可撓性カンチレバー６４４として、管６４２から突出する。圧電管６４２は、４つの象限電極（図示せず）と関連付けられることができる。電極は、例えば、管６４２の外側、外側表面または外側周縁、または直径に鍍着されてもよい。コア電極（図示せず）もまた、管６４２のコア、中心、内側周縁、または内径に位置してもよい。
例えば、ワイヤ６６０を介して電気的に結合される、駆動電子機器６５０は、対向する対の電極を駆動し、圧電管６４２を独立して２つの軸において屈曲させる。光ファイバ６４４の突出する遠位先端は、機械的共鳴モードを有する。共鳴の周波数は、光ファイバ６４４の直径、長さ、および材料性質に依存し得る。圧電管６４２をファイバカンチレバー６４４の第１の機械的共鳴モードの近傍で振動させることによって、ファイバカンチレバー６４４は、振動させられ、大偏向を通して掃引し得る。
２つの軸において共振振動を刺激することによって、ファイバカンチレバー６４４の先端は、２次元（２−Ｄ）走査を充填する面積内において２軸方向に走査される。光源６１０の強度をファイバカンチレバー６４４の走査と同期して変調させることによって、ファイバカンチレバー６４４から発せられる光は、画像を形成することができる。そのような設定の説明は、米国特許公開第２０１４／０００３７６２号（参照することによってその全体として本明細書に組み込まれる）に提供されている。
光学結合器サブシステムのコンポーネントは、走査ファイバカンチレバー６４４から発せられる光をコリメートすることができる。コリメートされた光は、鏡付き表面６４８によって、少なくとも１つの回折光学要素（ＤＯＥ）６２２ａを含有する、狭分散平面導波管６２２ｂの中に反射されることができる。コリメートされた光は、ＴＩＲによって分散平面導波管６２２ｂに沿って（図６の図に対して）垂直に伝搬し、そうすることによって、ＤＯＥ６２２ａと繰り返し交差することができる。ＤＯＥ６２２ａは、好ましくは、低回折効率を有する。これは、光の一部（例えば、１０％）をＤＯＥ６２２ａとの交差点の各点においてより大きい一次平面導波管６３２ｂの縁に向かって回折させ、光の一部をＴＩＲを介して分散平面導波管６２２ｂの長さを辿ってそのオリジナル軌道上で継続させる
ことができる。
ＤＯＥ６２２ａとの交差点の各点において、付加的光が、一次導波管６３２ｂの入口に向かって回折されることができる。入射光を複数の外部結合セットに分割することによって、光の射出瞳は、分散平面導波管６２２ｂ内のＤＯＥ４によって垂直に拡張されることができる。分散平面導波管６２２ｂから外部結合された本垂直に拡張された光は、一次平面導波管６３２ｂの縁に進入することができる。
一次導波管６３２ｂに進入する光は、ＴＩＲを介して、一次導波管６３２ｂに沿って（図６の図に対して）水平に伝搬することができる。光は、複数の点においてＤＯＥ６３２ａと交差するにつれて、ＴＩＲを介して、一次導波管６３２ｂの長さの少なくとも一部に沿って水平に伝搬する。ＤＯＥ６３２ａは、有利には、線形回折パターンおよび半径方向対称回折パターンの総和である、位相プロファイルを有し、光の偏向および集束の両方を生成するように設計または構成され得る。ＤＯＥ６３２ａは、有利には、ビームの光の一部のみが、ＤＯＥ６３２ａの各交差点において視認者の眼に向かって偏向される一方、光の残りが、ＴＩＲを介して、一次導波管６３２ｂを通して伝搬し続けるように、低回折効率（例えば、１０％）を有し得る。
伝搬する光とＤＯＥ６３２ａとの間の交差点の各点において、光の一部は、一次導波管６３２ｂの隣接面に向かって回折され、光がＴＩＲから逃散し、一次導波管６３２ｂの面から発せられることを可能にする。いくつかの実施形態では、ＤＯＥ６３２ａの半径方向対称回折パターンは、加えて、ある焦点レベルを回折された光に付与し、個々のビームの光波面を成形（例えば、曲率を付与する）し、かつビームを設計される焦点レベルに整合する角度に操向することの両方を行う。
故に、これらの異なる経路は、異なる角度におけるＤＯＥ６３２ａの多重度、焦点レベル、および／または射出瞳において異なる充填パターンをもたらすことによって、光を一次平面導波管６３２ｂの外部で結合させることができる。射出瞳における異なる充填パターンは、有利には、複数の深度平面を伴うライトフィールドディスプレイを生成するために使用されることができる。導波管アセンブリ内の各層またはスタック内の層のセット（例えば、３層）が、個別の色（例えば、赤色、青色、緑色）を生成するために採用されてもよい。したがって、例えば、第１の３つの隣接する層のセットが、それぞれ、赤色、青色および緑色光を第１の焦点深度において生成するために採用されてもよい。第２の３つの隣接する層のセットが、それぞれ、赤色、青色、および緑色光を第２の焦点深度において生成するために採用されてもよい。複数のセットが、種々の焦点深度を伴うフル３Ｄまたは４Ｄカラー画像ライトフィールドを生成するために採用されてもよい。
（ウェアラブルシステムの他のコンポーネント）
多くの実装では、ウェアラブルシステムは、上記に説明されるウェアラブルシステムのコンポーネントに加えて、またはその代替として、他のコンポーネントを含んでもよい。ウェアラブルシステムは、例えば、１つまたはそれを上回る触知デバイスまたはコンポーネントを含んでもよい。触知デバイスまたはコンポーネントは、触覚をユーザに提供するように動作可能であってもよい。例えば、触知デバイスまたはコンポーネントは、仮想コンテンツ（例えば、仮想オブジェクト、仮想ツール、他の仮想構造）に触れると、圧力および／またはテクスチャの感覚を提供してもよい。触覚は、仮想オブジェクトが表す物理的オブジェクトの感覚を再現してもよい、または仮想コンテンツが表す想像上のオブジェクトまたはキャラクタ（例えば、ドラゴン）の感覚を再現してもよい。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって装着されてもよい（例えば、ユーザウェアラブルグローブ）。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって保持されてもよい。
ウェアラブルシステムは、例えば、ユーザによって操作可能であって、ウェアラブルシステムへの入力またはそれとの相互作用を可能にする、１つまたはそれを上回る物理的オブジェクトを含んでもよい。これらの物理的オブジェクトは、本明細書では、トーテムと称され得る。いくつかのトーテムは、例えば、金属またはプラスチック片、壁、テーブルの表面等、無生物オブジェクトの形態をとってもよい。ある実装では、トーテムは、実際には、任意の物理的入力構造（例えば、キー、トリガ、ジョイスティック、トラックボール、ロッカスイッチ）を有していなくてもよい。代わりに、トーテムは、単に、物理的表面を提供してもよく、ウェアラブルシステムは、ユーザにトーテムの１つまたはそれを上回る表面上にあるように見えるように、ユーザインターフェースをレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムの１つまたはそれを上回る表面上に常駐するように見えるように、コンピュータキーボードおよびトラックパッドの画像をレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムとしての役割を果たす、アルミニウムの薄い長方形プレートの表面上に見えるように、仮想コンピュータキーボードおよび仮想トラックパッドをレンダリングしてもよい。長方形プレート自体は、任意の物理的キーまたはトラックパッドまたはセンサを有していない。しかしながら、ウェアラブルシステムは、仮想キーボードまたは仮想トラックパッドを介して行われた選択または入力として、長方形プレートを用いたユーザ操作または相互作用またはタッチを検出し得る。ユーザ入力デバイス４６６（図４に示される）は、トラックパッド、タッチパッド、トリガ、ジョイスティック、トラックボール、ロッカまたは仮想スイッチ、マウス、キーボード、多自由度コントローラ、または別の物理的入力デバイスを含み得る、トーテムの実施形態であってもよい。ユーザは、単独で、または姿勢と組み合わせて、トーテムを使用し、ウェアラブルシステムおよび／または他のユーザと相互作用してもよい。
本開示のウェアラブルデバイス、ＨＭＤ、およびディスプレイシステムと使用可能な触知デバイスおよびトーテムの実施例は、米国特許公開第２０１５／００１６７７７号（参照することによってその全体として本明細書に組み込まれる）に説明されている。
（例示的ウェアラブルシステム、環境、およびインターフェース）
ウェアラブルシステムは、高被写界深度をレンダリングされたライトフィールド内で達成するために、種々のマッピング関連技法を採用してもよい。仮想世界をマッピングする際、実世界内の全ての特徴および点を把握し、仮想オブジェクトを実世界に関連して正確に描くことが有利である。この目的を達成するために、ウェアラブルシステムのユーザから捕捉されたＦＯＶ画像が、実世界の種々の点および特徴についての情報を伝達する新しい写真を含むことによって、世界モデルに追加されることができる。例えば、ウェアラブルシステムは、マップ点（２Ｄ点または３Ｄ点等）のセットを収集し、新しいマップ点を見出し、世界モデルのより正確なバージョンをレンダリングすることができる。第１のユーザの世界モデルは、第２のユーザが第１のユーザを囲繞する世界を体験し得るように、（例えば、クラウドネットワーク等のネットワークを経由して）第２のユーザに通信されることができる。
図７は、ＭＲ環境７００の実施例のブロック図である。ＭＲ環境７００は、入力（例えば、ユーザのウェアラブルシステムからの視覚的入力７０２、室内カメラ等の定常入力７０４、種々のセンサからのセンサ入力７０６、ユーザ入力デバイス４６６からのジェスチャ、トーテム、眼追跡、ユーザ入力等）を１またはそれを上回るユーザのウェアラブルシステム（例えば、ウェアラブルシステム２００またはディスプレイシステム２２０）または定常室内システム（例えば、室内カメラ等）から受信するように構成されてもよい。ウェアラブルシステムは、種々のセンサ（例えば、加速度計、ジャイロスコープ、温度センサ、移動センサ、深度センサ、ＧＰＳセンサ、内向きに面したイメージングシステム、外向きに面したイメージングシステム等）を使用して、ユーザの環境の場所および種々の他の属性を判定することができる。本情報はさらに、異なる視点からの画像または種々のキューを提供し得る、部屋内の定常カメラからの情報で補完されてもよい。カメラ（室内カメラまたは外向きに面したイメージングシステムのカメラ等）によって取得された画像データは、マッピング点のセットに低減されてもよい。
１つまたはそれを上回るオブジェクト認識装置７０８が、受信されたデータ（例えば、点の集合）を通してクローリングし、点を認識またはマッピングし、画像をタグ付けし、マップデータベース７１０を用いて、意味論情報をオブジェクトに結び付けることができる。マップデータベース７１０は、経時的に収集された種々の点およびその対応するオブジェクトを備えてもよい。種々のデバイスおよびマップデータベースは、ネットワーク（例えば、ＬＡＮ、ＷＡＮ等）を通して相互に接続され、クラウドにアクセスすることができる。
本情報およびマップデータベース内の点集合に基づいて、オブジェクト認識装置７０８ａ−７０８ｎは、環境内のオブジェクトを認識してもよい。例えば、オブジェクト認識装置は、顔、人物、窓、壁、ユーザ入力デバイス、テレビ、ユーザの環境内の他のオブジェクト等を認識することができる。１つまたはそれを上回るオブジェクト認識装置が、ある特性を伴うオブジェクトのために特殊化されてもよい。例えば、オブジェクト認識装置７０８ａは、顔を認識するために使用されてもよい一方、別のオブジェクト認識装置は、トーテムを認識するために使用されてもよい。
オブジェクト認識は、種々のコンピュータビジョン技法を使用して実施されてもよい。例えば、ウェアラブルシステムは、外向きに面したイメージングシステム４６４（図４に示される）によって入手された画像を分析し、場面再構成、イベント検出、ビデオ追跡、オブジェクト認識、オブジェクト姿勢推定、学習、インデックス化、運動推定、または画像復元等を実施することができる。１つまたはそれを上回るコンピュータビジョンアルゴリズムが、これらのタスクを実施するために使用されてもよい。コンピュータビジョンアルゴリズムの非限定的実施例は、スケール不変特徴変換（ＳＩＦＴ）、スピードアップロバスト特徴（ＳＵＲＦ）、配向ＦＡＳＴおよび回転ＢＲＩＥＦ（ＯＲＢ）、バイナリロバスト不変スケーラブルキーポイント（ＢＲＩＳＫ）、高速網膜キーポイント（ＦＲＥＡＫ）、Ｖｉｏｌａ−Ｊｏｎｅｓアルゴリズム、Ｅｉｇｅｎｆａｃｅｓアプローチ、Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズム、Ｈｏｒｎ−Ｓｃｈｕｎｋアルゴリズム、Ｍｅａｎ−ｓｈｉｆｔアルゴリズム、視覚的同時位置推定およびマッピング（ｖＳＬＡＭ）技法、シーケンシャルベイズ推定器（例えば、カルマンフィルタ、拡張カルマンフィルタ等）、バンドル調節、適応閾値化（および他の閾値化技法）、反復最近傍点（ＩＣＰ）、セミグローバルマッチング（ＳＧＭ）、セミグローバルブロックマッチング（ＳＧＢＭ）、特徴点ヒストグラム、種々の機械学習アルゴリズム（例えば、サポートベクトルマシン、ｋ最近傍アルゴリズム、単純ベイズ、ニューラルネットワーク等（畳み込みまたは深層ニューラルネットワークを含む）、または他の教師あり／教師なしモデル等）等を含む。
オブジェクト認識は、加えて、または代替として、種々の機械学習アルゴリズムによって実施されることができる。いったん訓練されると、機械学習アルゴリズムは、ＨＭＤによって記憶されることができる。機械学習アルゴリズムのいくつかの実施例は、教師ありまたは教師なし機械学習アルゴリズムを含むことができ、回帰アルゴリズム（例えば、通常の最小２乗回帰等）、インスタンスベースのアルゴリズム（例えば、学習ベクトル量子化等）、決定ツリーアルゴリズム（例えば、分類および回帰ツリー等）、ベイズアルゴリズム（例えば、単純ベイズ等）、クラスタリングアルゴリズム（例えば、ｋ−平均クラスタリング等）、関連付けルール学習アルゴリズム（例えば、アプリオリアルゴリズム等）、人工ニューラルネットワークアルゴリズム（例えば、Ｐｅｒｃｅｐｔｒｏｎ等）、深層学習アルゴリズム（例えば、Ｄｅｅｐ Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅ、すなわち、深層ニューラルネットワーク等）、次元削減アルゴリズム（例えば、主成分分析等）、アンサンブルアルゴリズム（例えば、Ｓｔａｃｋｅｄ Ｇｅｎｅｒａｌｉｚａｔｉｏｎ等）、および／または他の機械学習アルゴリズムを含む。いくつかの実施形態では、個々のモデルは、個々のデータセットのためにカスタマイズされることができる。例えば、ウェアラブルデバイスは、ベースモデルを生成または記憶することができる。ベースモデルは、開始点として使用され、データタイプ（例えば、テレプレゼンスセッション内の特定のユーザ）、データセット（例えば、テレプレゼンスセッション内のユーザの取得される付加的画像のセット）、条件付き状況、または他の変形例に特有の付加的モデルを生成してもよい。いくつかの実施形態では、ウェアラブルＨＭＤは、複数の技法を利用して、集約されたデータの分析のためのモデルを生成するように構成されることができる。他の技法は、事前に定義された閾値またはデータ値を使用することを含んでもよい。
マップデータベース内の本情報および点の集合に基づいて、オブジェクト認識装置７０８ａ−７０８ｎは、オブジェクトを認識し、オブジェクトを意味論情報で補完し、命をオブジェクトに与えてもよい。例えば、オブジェクト認識装置が、点のセットがドアであることを認識する場合、システムは、いくつかの意味論情報を結び付けてもよい（例えば、ドアは、ヒンジを有し、ヒンジを中心として９０度移動を有する）。オブジェクト認識装置が、点のセットが鏡であることを認識する場合、システムは、鏡が、部屋内のオブジェクトの画像を反射させ得る、反射表面を有するという意味論情報を結び付けてもよい。経時的に、マップデータベースは、システム（ローカルに常駐し得る、または無線ネットワークを通してアクセス可能であり得る）がより多くのデータを世界から蓄積するにつれて成長する。いったんオブジェクトが認識されると、情報は、１つまたはそれを上回るウェアラブルシステムに伝送されてもよい。例えば、ＭＲ環境７００は、Ｃａｌｉｆｏｒｎｉａで生成している場面についての情報を含んでもよい。環境７００は、Ｎｅｗ Ｙｏｒｋにおける１人またはそれを上回るユーザに伝送されてもよい。ＦＯＶカメラおよび他の入力から受信されたデータに基づいて、オブジェクト認識装置および他のソフトウェアコンポーネントは、場面が世界の異なる部分に存在し得る第２のユーザに正確に「パス」され得るように、種々の画像から収集された点をマッピングし、オブジェクトを認識すること等ができる。環境７００はまた、場所特定目的のために、トポロジマップを使用してもよい。
図８は、認識されたオブジェクトに関連して仮想コンテンツをレンダリングする方法８００の実施例のプロセスフロー図である。方法８００は、仮想場面がウェアラブルシステムのユーザに表され得る方法を説明する。ユーザは、その場面から地理的に遠隔に存在してもよい。例えば、ユーザは、Ｎｅｗ Ｙｏｒｋに存在し得るが、Ｃａｌｉｆｏｒｎｉａで現在起こっている場面を視認することを所望し得る、またはＣａｌｉｆｏｒｎｉａに存在する友人と散歩に行くことを所望し得る。
ブロック８１０では、ウェアラブルシステムは、ユーザの環境に関する入力をユーザおよび他のユーザから受信してもよい。これは、種々の入力デバイスおよびマップデータベース内にすでに保有されている知識を通して達成されてもよい。ユーザのＦＯＶカメラ、センサ、ＧＰＳ、眼追跡等が、ブロック８１０において、情報をシステムに伝達する。システムは、ブロック８２０において、本情報に基づいて、スパース点（ｓｐａｒｓｅ ｐｏｉｎｔ）を判定してもよい。スパース点は、ユーザの周囲における種々のオブジェクトの配向および位置を表示および理解する際に使用され得る、姿勢データ（例えば、頭部姿勢、眼姿勢、身体姿勢、または手のジェスチャ）を判定する際に使用されてもよい。オブジェクト認識装置７０８ａ〜７０８ｎは、ブロック８３０において、これらの収集された点を通してクローリングし、マップデータベースを使用して、１つまたはそれを上回るオブジェクトを認識してもよい。本情報は、次いで、ブロック８４０において、ユーザの個々のウェアラブルシステムに伝達されてもよく、所望の仮想場面が、ブロック８５０において、適宜、ユーザに表示されてもよい。例えば、所望の仮想場面（例えば、ＣＡにおけるユーザ）が、Ｎｅｗ Ｙｏｒｋにおけるユーザの種々のオブジェクトおよび他の周囲に関連して、適切な配向、位置等において表示されてもよい。
図９は、ウェアラブルシステムの別の実施例のブロック図である。本実施例では、ウェアラブルシステム９００は、世界に関するマップデータを含み得る、マップを備える。マップは、部分的に、ウェアラブルシステム上にローカルに常駐してもよく、部分的に、有線または無線ネットワークによってアクセス可能なネットワーク化された記憶場所（例えば、クラウドシステム内）に常駐してもよい。姿勢プロセス９１０が、ウェアラブルコンピューティングアーキテクチャ（例えば、処理モジュール２６０またはコントローラ４６０）上で実行され、ウェアラブルコンピューティングハードウェアまたはユーザの位置および配向を判定するために、マップからのデータを利用してもよい。姿勢データは、ユーザが、システムを体験し、その世界内で動作するにつれて、オンザフライで収集されたデータから算出されてもよい。データは、実または仮想環境内のオブジェクトに関する画像、センサ（概して、加速度計およびジャイロスコープコンポーネントを備える、慣性測定ユニット等）からのデータ、および表面情報を備えてもよい。
スパース点表現は、同時場所特定およびマッピング（入力が画像／視覚のみである構成を指す、ＳＬＡＭまたはＶ−ＳＬＡＭ）プロセスの出力であってもよい。システムは、世界内の種々のコンポーネントの場所だけではなく、世界が成っているものを見出すように構成されることができる。姿勢は、マップを埋めることおよびマップからのデータを使用することを含め、多くの目標を達成する、構築ブロックであってもよい。
一実施形態では、スパース点位置は、それ自体では完全に適正であり得ず、さらなる情報が、多焦点ＡＲ、ＶＲ、またはＭＲ体験を生成するために必要とされ得る。概して、深度マップ情報を指す、稠密表現が、少なくとも部分的に、本間隙を充填するために利用されてもよい。そのような情報は、立体視９４０と称されるプロセスから算出されてもよく、深度情報は、三角測量または飛行時間感知等の技法を使用して判定される。画像情報およびアクティブパターン（アクティブプロジェクタを使用して生成される赤外線パターン等）が、立体視プロセス９４０への入力としての役割を果たし得る。有意な量の深度マップ情報が、ともに融合されてもよく、このうちのいくつかは、表面表現を用いて要約されてもよい。例えば、数学的に定義可能な表面は、ゲームエンジンのような他の処理デバイスへの効率的（例えば、大規模点クラウドと比較して）かつ摘要可能な入力であってもよい。したがって、立体視プロセス（例えば、深度マップ）９４０の出力は、融合プロセス９３０において組み合わせられてもよい。姿勢は、同様に、本融合プロセス９３０への入力であってもよく、融合９３０の出力は、マッププロセス９２０を埋めるための入力となる。サブ表面が、トポグラフィマッピング等において相互に接続し、より大きい表面を形成してもよく、マップは、点および表面の大規模ハイブリッドとなる。
複合現実プロセス９６０における種々の側面を解決するために、種々の入力が、利用されてもよい。例えば、図９に描写される実施形態では、ゲームパラメータは、システムのユーザが１匹またはそれを上回るモンスタと種々の場所においてモンスタバトルゲームをプレーしていること、種々の条件（ユーザがモンスタを撃つ場合等）下でモンスタが死んでいるかまたは逃げていること、種々の場所における壁または他のオブジェクト、および同等物を判定するための入力であってもよい。世界マップは、複合現実に対する別の有用な入力となる、そのようなオブジェクトが相互に対して存在する場所に関する情報を含んでもよい。世界に対する姿勢は、同様に、入力となり、ほぼあらゆる双方向システムに対して重要な役割を果たす。
ユーザからの制御または入力は、ウェアラブルシステム９００への別の入力である。本明細書に説明されるように、ユーザ入力は、視覚的入力、ジェスチャ、トーテム、オーディオ入力、センサ入力等を含むことができる。動き回るまたはゲームをプレーするために、例えば、ユーザは、ウェアラブルシステム９００に、何をしたいかに関して命令する必要があり得る。空間内で自ら移動するだけではなく、利用され得る種々の形態のユーザ制御が、存在する。一実施形態では、トーテム（例えば、ユーザ入力デバイス）、または玩具銃等のオブジェクトが、ユーザによって保持され、システムによって追跡されてもよい。システムは、好ましくは、ユーザがアイテムを保持していることを把握し、ユーザがアイテムと行っている相互作用の種類を理解するように構成されるであろう（例えば、トーテムまたはオブジェクトが、銃である場合、システムは、場所および配向だけではなく、ユーザが、そのようなアクティビティがカメラのいずれかの視野内にないときでも何が起こっているかを判定することを補助し得るセンサ（ＩＭＵ等）を装備し得るトリガまたは他の感知ボタンまたは要素をクリックしているかどうかも理解するように構成されてもよい。）
手のジェスチャ追跡または認識もまた、入力情報を提供してもよい。ウェアラブルシステム９００は、ボタン押下のため、左または右、停止、握持、保持等をジェスチャするために、手のジェスチャを追跡および解釈するように構成されてもよい。例えば、１つの構成では、ユーザは、非ゲーム環境において電子メールまたはカレンダを通してフリップする、または別の人物または演奏者と「フィストバンプ」を行うことを所望し得る。ウェアラブルシステム９００は、動的であり得る、またはそうではない場合がある、最小量の手のジェスチャを活用するように構成されてもよい。例えば、ジェスチャは、停止を示すために手を広げる、ＯＫを示すために親指を上げる、ＯＫではないことを示すために親指を下げる、または指向性コマンドを示すために左右または上下に手をフリップする等、単純な静的ジェスチャであってもよい。
眼追跡は、別の入力である（例えば、ユーザが見ている場所を追跡し、ディスプレイ技術を制御し、具体的深度または範囲においてレンダリングする）。一実施形態では、眼の輻輳・開散運動が、三角測量を使用して判定されてもよく、次いで、その特定の人物のために開発された輻輳・開散運動／遠近調節モデルを使用して、遠近調節が、判定されてもよい。
カメラシステムに関して、図９に示される例示的ウェアラブルシステム９００は、３つの対のカメラ、すなわち、ユーザの顔の両側に配列される相対的広ＦＯＶまたは受動ＳＬＡＭ対のカメラと、ユーザの正面に配向され、立体視イメージングプロセス９４０をハンドリングし、また、ユーザの顔の正面の手のジェスチャおよびトーテム／オブジェクトの軌道を捕捉するための異なる対のカメラとを含むことができる。ステレオプロセス９４０に対するＦＯＶカメラおよび対のカメラは、外向きに面したイメージングシステム４６４（図４に示される）の一部であってもよい。ウェアラブルシステム９００は、眼ベクトルおよび他の情報を三角測量するために、ユーザの眼に向かって配向される眼追跡カメラ（図４に示される内向きに面したイメージングシステム４６２の一部であってもよい）を含むことができる。ウェアラブルシステム９００はまた、１つまたはそれを上回るテクスチャ化光プロジェクタ（赤外線（ＩＲ）プロジェクタ等）を備え、テクスチャを場面の中に投入してもよい。
図１０は、ウェアラブルシステムへのユーザ入力を判定するための方法１０００の実施例のプロセスフロー図である。本実施例では、ユーザは、トーテムと相互作用してもよい。ユーザは、複数のトーテムを有してもよい。例えば、ユーザは、ソーシャルメディアアプリケーションのための指定される１つのトーテム、ゲームをプレーするための別のトーテム等を有してもよい。ブロック１０１０では、ウェアラブルシステムは、トーテムの運動を検出してもよい。トーテムの移動は、外向きに面したシステムを通して認識されてもよい、またはセンサ（例えば、触知グローブ、画像センサ、手追跡デバイス、眼追跡カメラ、頭部姿勢センサ等）を通して検出されてもよい。
少なくとも部分的に、検出されたジェスチャ、眼姿勢、頭部姿勢、またはトーテムを通した入力に基づいて、ウェアラブルシステムは、ブロック１０２０において、基準フレームに対するトーテム（またはユーザの眼または頭部またはジェスチャ）の位置、配向、および／または移動を検出する。基準フレームは、それに基づいてウェアラブルシステムがトーテム（またはユーザ）の移動をアクションまたはコマンドに変換する、マップ点のセットであってもよい。ブロック１０３０では、トーテムとのユーザの相互作用が、マッピングされる。基準フレーム１０２０に対するユーザ相互作用のマッピングに基づいて、システムは、ブロック１０４０において、ユーザ入力を判定する。
例えば、ユーザは、トーテムまたは物理的オブジェクトを前後に移動させ、仮想ページを捲り、次のページに移動する、または１つのユーザインターフェース（ＵＩ）ディスプレイ画面から別のＵＩ画面に移動することを示してもよい。別の実施例として、ユーザは、ユーザのＦＯＲ内の異なる実または仮想オブジェクトを見るために、その頭部または眼を移動させてもよい。特定の実または仮想オブジェクトにおけるユーザの注視が、閾値時間より長い場合、その実または仮想オブジェクトは、ユーザ入力として選択されてもよい。いくつかの実装では、ユーザの眼の輻輳・開散運動が、追跡されることができ、遠近調節／輻輳・開散運動モデルが、ユーザが合焦している深度平面に関する情報を提供する、ユーザの眼の遠近調節状態を判定するために使用されることができる。いくつかの実装では、ウェアラブルシステムは、レイキャスティング技法を使用して、ユーザの頭部姿勢または眼姿勢の方向に沿っている実または仮想オブジェクトを判定することができる。種々の実装では、レイキャスティング技法は、実質的に殆ど横幅を伴わない細い光線束を投じる、または実質的横幅を伴う光線（例えば、円錐または円錐台）を投じることを含むことができる。
ユーザインターフェースは、本明細書に説明されるようなディスプレイシステム（図２におけるディスプレイ２２０等）によって投影されてもよい。また、それは、１つまたはそれを上回るプロジェクタ等の種々の他の技法を使用して表示されてもよい。プロジェクタは、画像をキャンバスまたは球体等の物理的オブジェクト上に投影してもよい。ユーザインターフェースとの相互作用は、システムの外部またはシステムの一部の１つまたはそれを上回るカメラを使用して（例えば、内向きに面したイメージングシステム４６２または外向きに面したイメージングシステム４６４を使用して）追跡されてもよい。
図１１は、仮想ユーザインターフェースと相互作用するための方法１１００の実施例のプロセスフロー図である。方法１１００は、本明細書に説明されるウェアラブルシステムによって行われてもよい。
ブロック１１１０では、ウェアラブルシステムは、特定のＵＩを識別してもよい。ＵＩのタイプは、ユーザによって与えられてもよい。ウェアラブルシステムは、特定のＵＩがユーザ入力（例えば、ジェスチャ、視覚的データ、オーディオデータ、感覚データ、直接コマンド等）に基づいてポピュレートされる必要があることを識別してもよい。ブロック１１２０では、ウェアラブルシステムは、仮想ＵＩのためのデータを生成してもよい。例えば、ＵＩの境界、一般的構造、形状等と関連付けられたデータが、生成されてもよい。加えて、ウェアラブルシステムは、ウェアラブルシステムがユーザの物理的場所に関連してＵＩを表示し得るように、ユーザの物理的場所のマップ座標を判定してもよい。例えば、ＵＩが、身体中心である場合、ウェアラブルシステムは、リングＵＩがユーザの周囲に表示され得る、または平面ＵＩが壁上またはユーザの正面に表示され得るように、ユーザの物理的立ち位置、頭部姿勢、または眼姿勢の座標を判定してもよい。ＵＩが、手中心の場合、ユーザの手のマップ座標が、判定されてもよい。これらのマップ点は、ＦＯＶカメラ、センサ入力を通して受信されたデータ、または任意の他のタイプの収集されたデータを通して導出されてもよい。
ブロック１１３０では、ウェアラブルシステムは、データをクラウドからディスプレイに送信してもよい、またはデータは、ローカルデータベースからディスプレイコンポーネントに送信されてもよい。ブロック１１４０では、ＵＩは、送信されたデータに基づいて、ユーザに表示される。例えば、ライトフィールドディスプレイは、仮想ＵＩをユーザの眼の一方または両方の中に投影することができる。いったん仮想ＵＩが生成されると、ウェアラブルシステムは、ブロック１１５０において、単に、ユーザからのコマンドを待機し、より多くの仮想コンテンツを仮想ＵＩ上に生成してもよい。例えば、ＵＩは、ユーザの身体の周囲の身体中心リングであってもよい。ウェアラブルシステムは、次いで、コマンド（ジェスチャ、頭部または眼移動、ユーザ入力デバイスからの入力等）を待機してもよく、認識される場合（ブロック１１６０）、コマンドと関連付けられた仮想コンテンツが、ユーザに表示されてもよい（ブロック１１７０）。実施例として、ウェアラブルシステムは、複数のステムトラックをミックスする前に、ユーザの手のジェスチャを待機してもよい。
ウェアラブルシステム、ＵＩ、およびユーザ体験（ＵＸ）の付加的実施例は、米国特許公開第２０１５／００１６７７７号（参照することによってその全体として本明細書に組み込まれる）に説明されている。
（コンテキスト情報に基づくユーザ相互作用の概要）
ウェアラブルシステムは、コンテキスト情報に基づいて、ＦＯＲ内のオブジェクトとの種々のユーザ相互作用をサポートすることができる。例えば、ウェアラブルシステムは、ユーザが円錐投射を使用してオブジェクトと相互作用することに伴って、円錐投射の開口のサイズを調節することができる。別の実施例として、ウェアラブルシステムは、コンテキスト情報に基づいて、ユーザ入力デバイスの作動と関連付けられた仮想オブジェクトの移動量を調節することができる。これらの相互作用の詳細な実施例は、以下に提供される。
（例示的オブジェクト）
ユーザのＦＯＲは、ウェアラブルシステムを介して、ユーザによって知覚され得る、オブジェクトのグループを含有することができる。ユーザのＦＯＲ１２００内のオブジェクトは、仮想および／または物理的オブジェクトであってもよい。仮想オブジェクトは、例えば、削除されたファイルのためのゴミ箱、コマンドを入力するための端末、ファイルまたはディレクトリにアクセスするためのファイルマネージャ、アイコン、メニュー、オーディオまたはビデオストリーミングのためのアプリケーション、オペレーティングシステムからの通知等のオペレーティングシステムオブジェクトを含んでもよい。仮想オブジェクトはまた、例えば、アバタ、ゲーム内の仮想オブジェクト、グラフィックまたは画像等、アプリケーション内のオブジェクトを含んでもよい。いくつかの仮想オブジェクトは、オペレーティングシステムオブジェクトおよびアプリケーション内のオブジェクトの両方であることができる。いくつかの実施形態では、ウェアラブルシステムは、仮想要素を既存の物理的オブジェクトに追加することができる。例えば、ウェアラブルシステムは、部屋内のテレビと関連付けられた仮想メニューを追加してもよく、仮想メニューは、ユーザに、ウェアラブルシステムを使用して、テレビをオンにする、またはチャンネルを変更するためのオプションを与えてもよい。
ユーザのＦＯＲ内のオブジェクトは、図９を参照して説明されるような世界マップの一部であることができる。オブジェクトと関連付けられたデータ（例えば、場所、意味情報、性質等）が、例えば、アレイ、リスト、ツリー、ハッシュ、グラフ等の種々のデータ構造内に記憶されることができる。各記憶されたオブジェクトのインデックスは、適用可能である場合、例えば、オブジェクトの場所によって判定されてもよい。例えば、データ構造は、基準位置からのオブジェクトの距離等の単一座標によって、オブジェクトをインデックス化してもよい（例えば、基準位置の左（または右）までの距離、基準位置の上部（または底部）からの距離、または基準位置からの深度）。いくつかの実装では、ウェアラブルシステムは、ユーザに対して仮想オブジェクトを異なる深度平面に表示可能なライトフィールドディスプレイを備える。相互作用可能オブジェクトは、異なる固定深度平面に位置する複数のアレイの中に編成されることができる。
ユーザは、ユーザのＦＯＲ内のオブジェクトのサブセットと相互作用することができる。本オブジェクトのサブセットは、時として、相互作用可能オブジェクトと称され得る。ユーザは、例えば、オブジェクトを選択することによって、オブジェクトを移動させることによって、オブジェクトと関連付けられたメニューまたはツールバーを開くことによって、または相互作用可能オブジェクトの新しいセットを選定することによって等、種々の技法を使用してオブジェクトと相互作用することができる。ユーザは、例えば、マウスをクリックする、タッチパッドをタップする、タッチスクリーンをスワイプする、容量ボタンに手をかざす、またはそれをタッチする、キーボードまたはゲームコントローラ（例えば、５方向ｄ−パッド）上のキーを押下する、ジョイスティック、ワンド、またはトーテムをオブジェクトに向かって向ける、遠隔制御上のボタンを押下する、またはユーザ入力デバイス等との他の相互作用等、手のジェスチャを使用して、ユーザ入力デバイス（例えば、図４におけるユーザ入力デバイス４６６参照）を作動させることによって、相互作用可能オブジェクトと相互作用してもよい。ユーザはまた、例えば、ある時間期間にわたってオブジェクトを注視する、または指し示す等、頭部、眼、または身体姿勢を使用して、相互作用可能オブジェクトと相互作用してもよい。これらの手のジェスチャおよびユーザの姿勢は、ウェアラブルシステムに、選択イベントを開始させることができ、例えば、ユーザインターフェース動作が実施される（標的相互作用可能オブジェクトと関連付けられたメニューが表示される、ゲーム内のアバタ上でゲーム動作が実施される等）。
（円錐投射の実施例）
本明細書に説明されるように、ユーザは、姿勢を使用して、その環境内のオブジェクトと相互作用することができる。例えば、ユーザが、部屋を見渡すと、テーブル、椅子、壁、および壁のうちの１つ上の仮想テレビディスプレイが見え得る。ユーザが見ているオブジェクトを判定するために、ウェアラブルシステムは、円錐投射技法を使用してもよく、これは、概して説明すると、不可視の円錐をユーザが見ている方向に投影し、円錐と交差する任意のオブジェクトを識別するものである。円錐投射は、（ウェアラブルシステムの）ＨＭＤから物理的または仮想オブジェクトに向かって、側方厚さを有していない、単一光線を投射することを伴い得る。単一光線を伴う円錐投射はまた、光線投射とも称され得る。
光線投射は、衝突検出エージェントを使用して、光線に沿ってトレースし、任意のオブジェクトが光線と交差するかどうかと、その場所を識別することができる。ウェアラブルシステムは、慣性測定ユニット（例えば、加速度計）、眼追跡カメラ等を使用して、ユーザの姿勢（例えば、身体、頭部、または眼方向）を追跡し、ユーザが見ている方向を判定することができる。ウェアラブルシステムは、ユーザの姿勢を使用して、光線を投射すべき方向を判定することができる。光線投射技法はまた、ハンドヘルド多自由度（ＤＯＦ）入力デバイス等のユーザ入力デバイス４６６と併用されることができる。例えば、ユーザは、マルチＤＯＦ入力デバイスを作動させ、ユーザが動き回る間、光線のサイズおよび／または長さをアンカリングすることができる。別の実施例として、光線をＨＭＤから投射するのではなく、ウェアラブルシステムは、光線をユーザ入力デバイスから投射することができる。
ある実施形態では、無視可能厚を伴う光線を投射するのではなく、ウェアラブルシステムは、無視不可能開口（中心光線１２２４を横断する）を有する円錐を投射することができる。図１２Ａは、無視不可能開口を伴う円錐投射の実施例を図示する。円錐投射は、調節可能開口を伴う円錐形（または他の形状）の体積１２２０を投射することができる。円錐１２２０は、幾何学的円錐であることができ、これは、近位端１２２８ａと、遠位端１２２８ｂとを有する。開口のサイズは、円錐の遠位端１２２８ｂのサイズに対応することができる。例えば、大開口は、円錐の遠位端１２２８ｂ（例えば、ＨＭＤ、ユーザ、またはユーザ入力デバイスから離れた端部）における大表面積に対応してもよい。別の実施例として、大開口は、円錐１２２０の遠位端１２２８ｂ上の大きな直径１２２６に対応することができる一方、小開口は、円錐１２２０の遠位端１２２８ｂ上の小さな直径１２２６に対応することができる。図１２Ａをさらに参照して説明されるように、円錐１２２０の近位端１２２８ａは、その原点を種々の位置、例えば、ユーザのＡＲＤの中心（例えば、ユーザの眼間）、ユーザの四肢（例えば、手の指等の手）のうちの１つ上の点、ユーザによって保持または操作されるユーザ入力デバイスまたはトーテム（例えば、玩具の武器）を有することができる。
中心光線１２２４は、円錐の方向を表すことができる。円錐の方向は、ユーザの身体姿勢（頭部姿勢、手のジェスチャ等）またはユーザの注視方向（眼姿勢とも称される）に対応することができる。図１２Ａにおける実施例１２０６は、姿勢を伴う円錐投射を図示し、ウェアラブルシステムは、ユーザの頭部姿勢または眼姿勢を使用して、円錐の方向１２２４を判定することができる。本実施例はまた、頭部姿勢のための座標系を図示する。頭部１２５０は、多自由度を有してもよい。頭部１２５０が異なる方向に向かって移動するにつれて、頭部姿勢は、自然静止方向１２６０に対して変化するであろう。図１２Ａにおける座標系は、頭部姿勢を頭部の自然静止状態１２６０に対して測定するために使用され得る、３つの角度自由度（例えば、ヨー、ピッチ、およびロール）を示す。図１２Ａに図示されるように、頭部１２５０は、前後に傾斜する（例えば、ピッチ）、左右に方向転換する（例えば、ヨー）、および横方向に傾斜する（例えば、ロール）ことができる。他の実装では、頭部姿勢を測定するための他の技法または角度表現、例えば、任意の他のタイプのオイラー角系も、使用されることができる。ウェアラブルシステムは、ＩＭＵを使用して、ユーザの頭部姿勢を判定してもよい。内向きに面したイメージングシステム４６２（図４に示される）は、ユーザの眼姿勢を判定するために使用されることができる。
実施例１２０４は、姿勢を伴う円錐投射の別の実施例を示し、ウェアラブルシステムは、ユーザの手のジェスチャに基づいて、円錐の方向１２２４を判定することができる。本実施例では、円錐１２２０の近位端１２２８ａは、ユーザの指１２１４の先端にある。ユーザが、その指を別の場所に向けるにつれて、円錐１２２０（および中心光線１２２４）の位置は、それに応じて移動されることができる。
円錐の方向はまた、ユーザ入力デバイスの位置または配向またはユーザ入力デバイスの作動に対応することができる。例えば、円錐の方向は、ユーザ入力デバイスのタッチ表面上のユーザ描写軌道に基づいてもよい。ユーザは、その指をタッチ表面上で前方に移動させ、円錐の方向が前方であることを示すことができる。実施例１２０２は、ユーザ入力デバイスを用いた別の円錐投射を図示する。本実施例では、近位端１２２８ａは、武器形状のユーザ入力デバイス１２１２の先端に位置する。ユーザ入力デバイス１２１２が、移動されるにつれて、円錐１２２０および中心光線１２２４もまた、ユーザ入力デバイス１２１２とともに移動することができる。
円錐の方向はさらに、ＨＭＤの位置または配向に基づくことができる。例えば、円錐は、ＨＭＤが傾斜されているとき、第１の方向に、ＨＭＤが傾斜されていないとき、第２の方向に投射されてもよい。
（円錐投射の開始）
ウェアラブルシステムは、ユーザ１２１０が、例えば、マウスをクリックする、タッチパッドをタップする、タッチスクリーンをスワイプする、容量ボタンに手をかざす、またはタッチする、キーボードまたはゲームコントローラ（例えば、５方向ｄ−パッド）上のキーを押下する、ジョイスティック、ワンド、またはトーテムをオブジェクトに向かって向ける、遠隔制御上のボタンを押下する、またはユーザ入力デバイス等との他の相互作用によって、ユーザ入力デバイス４６６を作動させると、円錐投射を開始することができる。
ウェアラブルシステムはまた、例えば、１つの方向に向かっての長時間の注視または手のジェスチャ（例えば、外向きに面したイメージングシステム４６４の正面で手を振る）等、ユーザの姿勢１２１０に基づいて、円錐投射を開始してもよい。いくつかの実装では、ウェアラブルシステムは、コンテキスト情報に基づいて、円錐投射イベントを自動的に開始することができる。例えば、ウェアラブルシステムは、ユーザが、ＡＲディスプレイのメインページに居るとき、円錐投射を自動的に開始してもよい。別の実施例では、ウェアラブルシステムは、ユーザの注視方向におけるオブジェクトの相対的位置を判定することができる。ウェアラブルシステムが、オブジェクトが相互から比較的に離れて位置することを判定する場合、ウェアラブルシステムは、円錐投射を自動的に開始してもよく、したがって、ユーザは、疎らに位置するオブジェクトのグループ内のオブジェクトを選択するために、精度を伴って移動する必要はない。
（円錐の例示的性質）
円錐１２２０は、例えば、サイズ、形状、または色等の種々の性質を有してもよい。これらの性質は、円錐がユーザに知覚可能であるように、ユーザに表示されてもよい。ある場合には、円錐１２２０の一部が、表示されてもよい（例えば、円錐の端部、円錐の表面、円錐の中心光線等）。他の実施形態では、円錐１２２０は、直方体、多面体、角錐、円錐台等であってもよい。円錐の遠位端１２２８ｂは、任意の断面、例えば、円形、卵形、多角形、または不規則形を有することができる。
図１２Ａ、１２Ｂ、および１２Ｃでは、円錐１２２０は、近位端１２２８ａと、遠位端１２２８ｂとを有することができる。近位端１２２８ａ（中心光線１２２４のゼロ点とも称される）は、円錐投射が生じる場所と関連付けられることができる。近位端１２２８ａは、仮想円錐がその場所から放出されるように現れる、３Ｄ空間内の場所にアンカリングされてもよい。場所は、ユーザの頭部上の位置（ユーザの眼間等）、ポインタとして機能するユーザ入力デバイス（例えば、６ＤＯＦハンドヘルドコントローラまたは３ＤＯＦハンドヘルドコントローラ等）、指先（ジェスチャ認識によって検出されることができる）等であってもよい。ハンドヘルドコントローラに関して、近位端１２２８ａがアンカリングされる場所は、デバイスの形状因子に依存してもよい。例えば、武器形状のコントローラ１２１２（シューティングゲームにおいて使用するため）では、近位端１２２８ａは、コントローラ１２１２の銃口の先端にあってもよい。本実施例では、円錐の近位端１２２８ａは、銃身の中心から生じ、円錐１２２０または（円錐１２２０の中心光線１２２４）は、円錐投射の中心が武器形状のコントローラ１２１２の銃身と同心となるであろうように、前方に投影することができる。円錐の近位端１２２８ａは、種々の実施形態では、ユーザの環境内の任意の場所にアンカリングされることができる。
いったん円錐１２２０の近位端１２２８ａが、ある場所にアンカリングされると、円錐１２２０の方向および移動は、その場所と関連付けられたオブジェクトの移動に基づいてもよい。例えば、実施例１２０６を参照して説明されるように、円錐がユーザの頭部にアンカリングされると、円錐１２２０は、ユーザの頭部姿勢に基づいて移動することができる。別の実施例として、実施例１２０２では、円錐１２２０がユーザ入力デバイスにアンカリングされると、円錐１２２０は、ユーザ入力デバイスの作動に基づいて、例えば、ユーザ入力デバイスの位置または配向の変化に基づいて、移動されることができる。
円錐の遠位端１２２８ｂは、終端閾値に到達するまで延在することができる。終端閾値は、円錐と環境内の仮想または物理的オブジェクト（例えば、壁）との間の衝突を伴ってもよい。終端閾値はまた、閾値距離に基づいてもよい。例えば、遠位端１２２８ｂは、円錐がオブジェクトと衝突するまで、または遠位端１２２８ｂと近位端１２２８ａとの間の距離が閾値距離（例えば、２０センチメートル、１メートル、２メートル、１０メートル等）に到達するまで、近位端１２２８ａから離れて延在し続けることができる。いくつかの実施形態では、円錐は、衝突が円錐とオブジェクトとの間に生じ得る場合でも、オブジェクトを越えて延在することができる。例えば、遠位端１２２８ｂは、実世界オブジェクト（テーブル、椅子、壁等）を通して延在し、終端閾値に到達すると終端することができる。終端閾値が、ユーザの現在の部屋の外側に位置する仮想部屋の壁であると仮定すると、ウェアラブルシステムは、仮想部屋の表面に到達するまで、円錐を現在の部屋を越えて延在させることができる。ある実施形態では、世界メッシュが、１つまたはそれを上回る部屋の広がりを定義するために使用されることができる。ウェアラブルシステムは、仮想円錐が世界メッシュの一部と交差しているかどうかを判定することによって、終端閾値の存在を検出することができる。有利には、いくつかの実施形態では、円錐が実世界オブジェクトを通して延在するとき、ユーザは、仮想オブジェクトを容易に標的化することができる。実施例として、ＨＭＤは、仮想穴を物理的壁上に提示することができ、ユーザが物理的に他の部屋内に存在しない場合でも、それを通してユーザは、他の部屋内の仮想コンテンツと遠隔で相互作用することができる。ＨＭＤは、図９に説明される世界マップに基づいて、他の部屋内のオブジェクトを判定することができる。
円錐１２２０は、深度を有することができる。円錐１２２０の深度は、円錐１２２０の近位端１２２８ａと遠位端１２２８ｂとの間の距離によって表されてもよい。円錐の深度は、ウェアラブルシステム、ユーザ、またはそれらの組み合わせによって、自動的に調節されることができる。例えば、ウェアラブルシステムが、オブジェクトがユーザから離れて位置することを判定すると、ウェアラブルシステムは、円錐の深度を増加させてもよい。いくつかの実装では、円錐の深度は、ある深度平面にアンカリングされてもよい。例えば、ユーザは、円錐の深度をユーザの１メートル以内の深度平面にアンカリングするように選定してもよい。その結果、円錐投射の間、ウェアラブルシステムは、１メートル境界の外側にあるオブジェクトを捕捉しないであろう。ある実施形態では、円錐の深度が、ある深度平面にアンカリングされる場合、円錐投射は、その深度平面におけるオブジェクトのみを捕捉するであろう。故に、円錐投射は、アンカリングされた深度平面よりユーザに近いまたはユーザから離れたオブジェクトを捕捉しないであろう。円錐１２２０の深度の設定に加え、またはその代替として、ウェアラブルシステムは、円錐投射が深度平面または深度平面未満におけるオブジェクトとのユーザ相互作用を可能にし得るように、遠位端１２２８ｂを深度平面に設定することができる。
ウェアラブルシステムは、ある手のジェスチャ、身体姿勢、注視方向、ユーザ入力デバイスの作動、音声コマンド、または他の技法の検出に応じて、円錐の深度、近位端１２２８ａ、または遠位端１２２８ｂをアンカリングすることができる。本明細書に説明される実施例に加え、またはその代替として、近位端１２２８ａ、遠位端１２２８ｂのアンカリング場所、またはアンカリングされた深度は、例えば、ユーザ相互作用のタイプ、円錐がアンカリングされるオブジェクトの機能等のコンテキスト情報に基づくことができる。例えば、近位端１２２８ａは、ユーザ有用性および操作感に起因して、ユーザの頭部の中心にアンカリングされることができる。別の実施例として、ユーザが、手のジェスチャまたはユーザ入力デバイスを使用して、オブジェクトを指し示すとき、近位端１２２８ａは、ユーザの指先またはユーザ入力デバイスの先端にアンカリングされ、ユーザが指し示す方向の正確度を増加させることができる。
円錐１２２０は、色を有することができる。円錐１２２０の色は、ユーザの選好、ユーザの環境（仮想または物理的）等に依存してもよい。例えば、ユーザが、緑色の葉が生い茂った木々の集合である、仮想ジャングル内に居るとき、ウェアラブルシステムは、ユーザが円錐の場所に関するより良好な可視性を有し得るように、濃灰色円錐を提供し、円錐とユーザの環境内のオブジェクトとの間のコントラストを増加させてもよい。
ウェアラブルシステムは、ユーザへの表示のために、円錐の少なくとも一部の視覚的表現を生成することができる。円錐１２２０の性質は、円錐１２２０の視覚的表現内に反映されてもよい。円錐１２２０の視覚的表現は、円錐の開口、円錐の表面、中心光線等、円錐の少なくとも一部に対応することができる。例えば、仮想円錐が、幾何学的円錐である場合、仮想円錐の視覚的表現は、ユーザの眼間の位置から延在する、灰色幾何学的円錐を含んでもよい。別の実施例として、視覚的表現は、実または仮想コンテンツと相互作用する、円錐の部分を含んでもよい。仮想円錐が幾何学的円錐であると仮定すると、視覚的表現は、幾何学的円錐の底辺が仮想オブジェクトを標的化および選択するために使用され得るため、幾何学的円錐の底辺を表す円形パターンを含んでもよい。ある実施形態では、視覚的表現は、ユーザインターフェース動作に基づいてトリガされる。実施例として、視覚的表現は、オブジェクトの状態と関連付けられてもよい。ウェアラブルシステムは、オブジェクトが静止状態またはホバリング状態（オブジェクトが移動または選択されることができる）から変化すると、視覚的表現を提示することができる。ウェアラブルシステムはさらに、オブジェクトがホバリング状態から選択された状態に変化すると、視覚的表現を隠蔽することができる。いくつかの実装では、オブジェクトがホバリング状態にあるとき、ウェアラブルシステムは、入力をユーザ入力デバイスから受信することができ（円錐投射に加え、またはその代替として）、オブジェクトがホバリング状態にあるとき、ユーザがユーザ入力デバイスを使用して仮想オブジェクトを選択することを可能にすることができる。
ある実施形態では、円錐１２２０は、ユーザに不可視であってもよい。ウェアラブルシステムは、焦点インジケータを１つまたはそれを上回るオブジェクトに割り当て、円錐の方向および／または場所を示してもよい。例えば、ウェアラブルシステムは、焦点インジケータを、ユーザの正面にあって、ユーザの注視方向と交差する、オブジェクトに割り当ててもよい。焦点インジケータは、後光、色、知覚されたサイズまたは深度変化（例えば、選択されると、標的オブジェクトをより近くにおよび／またはより大きく現せさせる）、カーソルスプライトグラフィックの形状変化（例えば、カーソルは、円形から矢印に変化される）、またはユーザの注意を引く他の可聴、触知、または視覚的効果を備えることができる。
円錐１２２０は、中心光線１２２４を横断する開口を有することができる。いくつかの実施形態では、中心光線１２２４は、ユーザ１２１０に不可視である。開口のサイズは、円錐の遠位端１２２８ｂのサイズに対応することができる。例えば、大開口は、円錐１２２０の遠位端１２２８ｂ上の大きな直径１２２６に対応することができる一方、小開口は、円錐１２２０の遠位端１２２８ｂ上の小さな直径１２２６に対応することができる。
図１２Ｂおよび１２Ｃを参照してさらに説明されるように、開口は、ユーザ、ウェアラブルシステム、またはそれらの組み合わせによって調節されることができる。例えば、ユーザは、ＡＲディスプレイ上に示される開口のオプションの選択等、ユーザインターフェース動作を通して開口を調節してもよい。ユーザはまた、ユーザ入力デバイスを作動させることによって、例えば、ユーザ入力デバイスをスクロールすることによって、またはボタンを押下し、開口のサイズをアンカリングすることによって、開口を調節してもよい。ユーザからの入力に加えて、またはその代替として、ウェアラブルシステムは、以下に説明される１つまたはそれを上回るコンテキスト係数に基づいて、開口のサイズを更新することができる。
（動的に更新される開口を伴う円錐投射の実施例）
円錐投射は、ユーザの環境内のオブジェクトと相互作用するとき、特に、それらのオブジェクトが、ユーザからの少量の移動が光線の大移動に変換され得る距離に位置するとき、精度を増加させるために使用されることができる。円錐投射はまた、円錐を１つまたはそれを上回る仮想オブジェクトに重複させるために、ユーザからの必要な移動量を減少させるためにも使用され得る。いくつかの実装では、ユーザは、例えば、多くのオブジェクトが存在するとき、より狭い円錐を使用し、より少ないオブジェクトが存在するとき、より広い円錐を使用することによって、円錐の開口を手動で更新し、標的オブジェクトを選択する速度および精度を改良することができる。他の実装では、ウェアラブルシステムは、手動更新に加えて、または代替として、ユーザの環境内のオブジェクトと関連付けられたコンテキスト係数を判定し、自動円錐更新を可能にすることができ、これは、ユーザ入力が殆ど必要とされないため、有利には、ユーザが環境内のオブジェクトと相互作用することをより容易にすることができる。
図１２Ｂおよび１２Ｃは、ユーザのＦＯＲ１２００内のオブジェクト（例えば、１２３０ａ、１２３０ｂ、１２３０ｃ、１２３０ｄ、１２３０ｅ）のグループ１２３０（これらのオブジェクトの少なくともいくつかは、ユーザのＦＯＶ内にある）上への円錐投射の実施例を提供する。オブジェクトは、仮想および／または物理的オブジェクトであってもよい。円錐投射の間、ウェアラブルシステムは、円錐（ユーザに可視または不可視）１２２０をある方向に投射し、円錐１２２０と交差する任意のオブジェクトを識別することができる。例えば、図１２Ｂでは、オブジェクト１２３０ａ（太線で示される）が、円錐１２２０と交差する。図１２Ｃでは、オブジェクト１２３０ｄおよび１２３０ｅ（太線で示される）が、円錐１２２０と交差する。オブジェクト１２３０ｂ、１２３０ｃ（灰色で示される）は、円錐１２２０の外側にあって、円錐１２２０と交差しない。
ウェアラブルシステムは、コンテキスト情報に基づいて、開口を自動的に更新することができる。コンテキスト情報は、ユーザの環境に関連する情報（例えば、ユーザの仮想または物理的環境の光条件）、ユーザの選好、ユーザの物理的条件（例えば、ユーザが近視であるかどうか）、ユーザの環境内のオブジェクトのタイプ（例えば、物理的または仮想的）等のユーザの環境内のオブジェクトと関連付けられた情報、またはオブジェクトのレイアウト（例えば、オブジェクトの密度、オブジェクトの場所およびサイズ等）、ユーザが相互作用するオブジェクトの特性（例えば、オブジェクトの機能、オブジェクトによってサポートされるユーザインターフェース動作のタイプ等）、それらの組み合わせ、または同等物を含んでもよい。密度は、例えば、投影された面積あたりのオブジェクトの数、立体角あたりのオブジェクトの数等、種々の方法において測定されることができる。密度は、例えば、近隣オブジェクト間の間隔（より小さい間隔は、密度増加を反映する）等の他の方法で表されてもよい。ウェアラブルシステムは、オブジェクトの場所情報を使用して、領域内のオブジェクトのレイアウトおよび密度を判定することができる。図１２Ｂに示されるように、ウェアラブルシステムは、オブジェクトのグループ１２３０の密度が高いことを判定してもよい。ウェアラブルシステムは、故に、より小さい開口を伴う円錐１２２０を使用してもよい。図１２Ｃでは、オブジェクト１２３０ｄおよび１２３０ｃは、相互から比較的に離れて位置するため、ウェアラブルシステムは、より大きい開口を伴う円錐１２２０（図１２Ｂにおける円錐と比較して）を使用してもよい。オブジェクトの密度の計算および密度に基づく開口サイズの調節に関する付加的詳細はさらに、図１２Ｄ−１２Ｇに説明される。
ウェアラブルシステムは、ユーザの姿勢に基づいて、開口（例えば、サイズまたは形状）を動的に更新することができる。例えば、ユーザは、最初に、図１２Ｂにおけるオブジェクトのグループ１２３０を見ている場合があるが、ユーザがその頭部を方向転換するにつれて、ユーザは、図１２Ｃにおけるオブジェクトのグループを見ることになり得る（オブジェクトは、相互に対して疎らに位置する）。その結果、ウェアラブルシステムは、開口のサイズを増加させてもよい（例えば、図１２Ｂと図１２Ｃとの間の円錐の開口の変化によって示されるように）。同様に、ユーザが、その頭部を戻し、図１２Ｂにおけるオブジェクトのグループ１２３０を見る場合、ウェアラブルシステムは、開口のサイズを減少させてもよい。
加えて、または代替として、ウェアラブルシステムは、ユーザの選好に基づいて、開口サイズを更新することができる。例えば、ユーザが、アイテムの大グループを同時に選択することを好む場合、ウェアラブルシステムは、開口のサイズを増加させてもよい。
コンテキスト情報に基づいて開口を動的に更新する別の実施例として、ユーザが暗環境内に居る、またはユーザが近視である場合、ウェアラブルシステムは、ユーザがオブジェクトを捕捉することをより容易にするように、開口のサイズを増加させてもよい。ある実装では、第１の円錐投射は、複数のオブジェクトを捕捉することができる。ウェアラブルシステムは、第２の円錐投射を実施し、捕捉されたオブジェクト間の標的オブジェクトをさらに選択することができる。ウェアラブルシステムはまた、ユーザが、身体姿勢またはユーザ入力デバイスを使用して、標的オブジェクトを捕捉されたオブジェクトから選択することを可能にすることができる。オブジェクト選択プロセスは、再帰的プロセスであることができ、１回、２回、３回、またはそれを上回る円錐投射が、実施され、標的オブジェクトを選択してもよい。
（オブジェクトの密度に基づく開口の動的更新の実施例）
図１２Ｂおよび１２Ｃを参照して説明されるように、円錐の開口は、ユーザのＦＯＲ内のオブジェクトの密度に基づいて、円錐投射の間、動的に更新されることができる。図１２Ｄ、１２Ｅ、１２Ｆ、１２Ｇは、オブジェクトの密度に基づいて、開口を動的に調節する実施例を説明する。図１２Ｄは、ユーザのＦＯＲ１２０８内のオブジェクトの密度と関連付けられた等高線マップを図示する。仮想オブジェクト１２７１は、小テクスチャ化ドットによって表される。仮想オブジェクトの密度は、所与の領域内の等高線線の量によって反映される。例えば、等高線は、領域１２７２内で相互に近接し、領域１２７２内のオブジェクトの密度が高いことを表す。別の実施例として、領域１２７８内の等高線線は、比較的に疎らである。故に、領域１２７８内のオブジェクトの密度は、低い。
開口１２７０の視覚的提示は、図１２Ｄでは、陰影円形に図示される。本実施例における視覚的表現は、仮想円錐１２２０の遠位端１２２８ｂに対応することができる。開口サイズは、所与の領域内のオブジェクトの密度に基づいて変化することができる。例えば、開口サイズは、円形の中心がある、オブジェクトの密度に依存することができる。図１２Ｄに図示されるように、開口が領域１２７２内にあるとき、開口１２７０のサイズは、減少することができる（開口円形の比較的に小サイズによって示されるように）。しかしながら、ユーザが、ＦＯＲ１２０８内の領域１２７６から開始するとき、開口１２７０のサイズは、領域１２７２においてサイズが若干大きくなる。ユーザが、その頭部姿勢をさらに変化させ、領域１２７４を見ると、開口のサイズは、領域１２７４におけるオブジェクトの密度が領域１２７６のものより低いため、領域１２７６におけるサイズより大きくなる。さらに別の実施例として、領域１２７８では、開口１２７０のサイズは、ＦＯＲ１２０８の領域１２７８内に任意のオブジェクトが殆ど存在しないため、増加するであろう。密度は、これらの実施例では、等高線マップを用いて図示されるが、密度はまた、ヒートマップ、表面プロット、または他のグラフィカルまたは数値表現を使用して判定されることもできる。一般に、用語「等高線マップ」は、これらの他のタイプの密度表現（１Ｄ、２Ｄ、または３Ｄにおいて）も含む。さらに、等高線マップは、概して、ユーザに提示されないが、ＡＲＤプロセッサによって計算および使用され、円錐の性質を動的に判定してもよい。等高線マップは、物理的または仮想オブジェクトがユーザのＦＯＶまたはＦＯＲ内で移動するにつれて、動的に更新されてもよい。
種々の技法が、オブジェクトの密度を計算するために採用されることができる。一実施例として、密度は、ユーザのＦＯＶ内の仮想オブジェクトの全てをカウントすることによって計算されることができる。仮想オブジェクトの数は、ＦＯＶ内の仮想オブジェクトの数に基づいて開口のサイズを規定する、関数への入力として使用されてもよい。図１２Ｅにおける画像１２８２ａは、円形、楕円形、および三角形によって表される、３つの仮想オブジェクトと、テクスチャ化円形を使用して図示される、開口１２８０の仮想表現とを伴う、ＦＯＶを示す。しかしながら、仮想オブジェクトの数が、３つ（画像１２８２ａ内）から２つ（画像１２８２ｂ内）に減少すると、開口１２８０のサイズは、それに応じて増加することができる。ウェアラブルシステムは、図１２Ｆにおける関数１２８８を使用して、増加量を計算することができる。本図では、開口のサイズは、ｙ−軸１２８６ｂによって表される一方、ＦＯＶ内の仮想オブジェクトの数（または密度）は、ｘ−軸１２８６ａによって表される。図示されるように、仮想オブジェクトの数が、増加する（例えば、密度が増加する）と、開口のサイズは、関数１２８８に従って減少する。ある実施形態では、最小開口サイズは、ゼロであって、これは、円錐を単一光線に低減させる。関数１２８８は、線形関数として図示されるが、１つまたはそれを上回る冪乗則関数等の任意の他のタイプの関数もまた、使用されてもよい。いくつかの実施形態では、関数１２８８は、１つまたはそれを上回る閾値条件を含んでもよい。例えば、オブジェクトの密度が、ある低閾値に到達すると、開口１２８０のサイズは、オブジェクトの密度がさらに減少し得る場合でも、もはや増加しないであろう。一方、オブジェクトの密度が、ある高閾値に到達すると、開口１２８０のサイズは、オブジェクトの密度がさらに増加し得る場合でも、もはや減少しないであろう。しかしながら、密度が、低閾値と高閾値との間にあるとき、開口サイズは、例えば、指数関数に従って減少し得る。
図１２Ｇは、密度を計算するための別の例示的技法を図示する。例えば、ＦＯＶ内の仮想オブジェクトの数を計算することに加え、またはその代替として、ウェアラブルシステムは、仮想オブジェクトによって被覆されるＦＯＶのパーセンテージを計算することができる。画像１２９２ａおよび１２９２ｂは、ＦＯＶ内のオブジェクトの数に基づく開口サイズの調節を図示する。本実施例で図示されるように、仮想画像によって被覆されるＦＯＶのパーセンテージは、画像１２９２ａと１２９２ｂとの間で異なるが（画像１２９２ａ内のオブジェクトは、より疎らに位置付けられる）、開口１２８０のサイズは、オブジェクトの数（例えば、３つの仮想オブジェクト）が画像１２９２ａおよび１２９２ｂにわたって同一であるため、これらの２つの画像において変化しない。対照的に、画像１２９４ａおよび１２９４ｂは、仮想オブジェクトによって被覆されるＦＯＶのパーセンテージに基づく開口サイズの調節を図示する。画像１２９４ａに示されるように、開口１２８０は、より低いパーセンテージのＦＯＶが仮想オブジェクトによって被覆されるため、サイズを増加させるであろう（画像１２９２ａ内の残りの同一のものとは対照的に）。
（衝突の実施例）
ウェアラブルシステムは、１つまたはそれを上回るオブジェクトが、円錐投射の間、円錐と衝突するかどうかを判定することができる。ウェアラブルシステムは、衝突検出エージェントを使用して、衝突を検出してもよい。例えば、衝突検出エージェントは、円錐の表面と交差するオブジェクトを識別し、および／または円錐の内側にあるオブジェクトを識別することができる。ウェアラブルシステムは、円錐の体積および場所およびオブジェクトの場所情報（図９を参照して説明される世界マップ内に記憶されるように）に基づいて、そのような識別を行うことができる。ユーザの環境内のオブジェクトは、メッシュ（世界メッシュとも称される）と関連付けられてもよい。衝突検出エージェントは、円錐に関する部分がオブジェクトのメッシュと重複するかどうかを判定し、衝突を検出することができる。ある実装では、ウェアラブルシステムは、円錐とある深度平面上のオブジェクトとの間の衝突のみを検出するように構成されてもよい。
ウェアラブルシステムは、焦点インジケータを円錐と衝突するオブジェクトに提供してもよい。例えば、図１２Ｂおよび１２Ｃでは、焦点インジケータは、オブジェクトの全部または一部の周囲の赤色ハイライトであってもよい。故に、図１２Ｂでは、ウェアラブルシステムが、オブジェクト１２３０ａが円錐１２２０と交差することを判定すると、ウェアラブルシステムは、オブジェクト１２３０ａの周囲の赤色ハイライトをユーザ１２１０に表示することができる。同様に、図１２Ｃでは、ウェアラブルシステムは、オブジェクト１２３０ｅおよび１２３０ｄを円錐１２２０と交差するオブジェクトとして識別する。ウェアラブルシステムは、赤色ハイライトをオブジェクト１２３０ｄおよびオブジェクト１２３０ｅの周囲に提供することができる。
衝突が、複数のオブジェクトを伴うとき、ウェアラブルシステムは、１つまたはそれを上回るオブジェクトを複数のオブジェクトの中から選択するために、ユーザインターフェース要素を提示してもよい。例えば、ウェアラブルシステムは、焦点インジケータを提供することができ、これは、ユーザが現在相互作用している標的オブジェクトを示すことができる。ユーザは、手のジェスチャを使用して、ユーザ入力デバイスを作動させ、焦点インジケータを別の標的オブジェクトに移動させることができる。
いくつかの実施形態では、オブジェクトは、ユーザの３Ｄ環境内の別のオブジェクトの背後にあり得る（例えば、近くのオブジェクトは、少なくとも部分的に、より遠距離のオブジェクトを遮蔽する）。有利には、ウェアラブルシステムは、円錐投射の間、曖昧性解消技法を適用し（例えば、遮蔽されたオブジェクトを判定する、遮蔽されたオブジェクト間の深度順序または位置を判定する等のために）、正面におけるオブジェクトおよび背面におけるオブジェクトの両方を捕捉してもよい。例えば、紙シュレッダが、ユーザの部屋内のコンピュータの背後にあり得る。ユーザは、シュレッダが見えない場合があるが（コンピュータによって遮断されるため）、ウェアラブルシステムは、円錐をコンピュータの方向に投射し、シュレッダおよびコンピュータの両方に関する衝突を検出することができる（シュレッダおよびコンピュータは両方とも、ウェアラブルシステムの世界マップ内にあるため）。ウェアラブルシステムは、ポップアップメニューを表示し、ユーザがシュレッダまたはコンピュータのいずれかを選択する選択肢を提供することができる、またはウェアラブルシステムは、コンテキスト情報を使用して、選択すべきオブジェクトを判定してもよい（例えば、ユーザが、文書の削除を試みようとする場合、システムは、紙シュレッダを選択してもよい）。ある実装では、ウェアラブルシステムは、正面におけるオブジェクトのみを捕捉するように構成されてもよい。本実施例では、ウェアラブルシステムは、円錐とシュレッダとの間の衝突のみを検出するであろう。
衝突の検出に応じて、ウェアラブルシステムは、例えば、オブジェクトを選択する、オブジェクトを移動させる、オブジェクトと関連付けられたメニューまたはツールバーを開く、またはゲーム内のアバタ上でゲーム動作を実施する等、種々の方法において、ユーザが相互作用可能オブジェクトと相互作用することを可能にしてもよい。ユーザは、姿勢（例えば、頭部、身体姿勢）、手のジェスチャ、ユーザ入力デバイスからの入力、それらの組み合わせ、または同等物を通して、相互作用可能オブジェクトと相互作用してもよい。例えば、円錐が複数の相互作用可能オブジェクトと衝突するとき、ユーザは、ユーザ入力デバイスを作動させ、複数の相互作用可能オブジェクトの中から選択してもよい。
（開口を動的に更新する例示的プロセス）
図１３は、動的に調節可能な開口を伴う円錐投射を使用してオブジェクトを選択するための例示的プロセスのフローチャートである。本プロセス１３００は、ウェアラブルシステム（図２および４に示される）によって実施されることができる。
ブロック１３１０では、ウェアラブルシステムは、円錐投射を開始することができる。円錐投射は、ユーザの姿勢またはユーザ入力デバイス上の手のジェスチャによってトリガされることができる。例えば、円錐投射は、ユーザ入力デバイス上のクリックによって、および／またはユーザが長時間にわたってある方向を見ることによって、トリガされてもよい。ブロック１３２０に示されるように、ウェアラブルシステムは、例えば、オブジェクトのタイプ、オブジェクト（物理的または仮想）のレイアウト、オブジェクトの場所、オブジェクトのサイズ、オブジェクトの密度、オブジェクトとユーザとの間の距離等、ユーザの環境の顕著な特徴を分析することができる。例えば、ウェアラブルシステムは、ユーザの正面におけるオブジェクトの数およびオブジェクトのサイズを判定することによって、ユーザの注視方向におけるオブジェクトの密度を計算することができる。環境の顕著な特徴は、本明細書に説明されるコンテキスト情報の一部であってもよい。
ブロック１３３０では、ウェアラブルシステムは、コンテキスト情報に基づいて、開口のサイズを調節することができる。図１２Ｂおよび１２Ｃを参照して議論されるように、ウェアラブルシステムは、オブジェクが疎らに位置するとき、および／または障害物が存在しないとき、開口サイズを増加させることができる。大開口サイズは、円錐１２２０の遠位端１２２８ｂ上の大きな直径１２２６に対応することができる。ユーザが動き回る、および／または環境を変化させるにつれて、ウェアラブルシステムは、コンテキスト情報に基づいて、開口のサイズを更新してもよい。コンテキスト情報は、ユーザの選好、ユーザの姿勢、円錐の特性（例えば、深度、色、場所等）等の他の情報と組み合わせられ、開口を判定および更新することができる。
ウェアラブルシステムは、ブロック１３４０において、円錐投射可視化をレンダリングすることができる。円錐投射可視化は、無視不可能開口を伴う円錐を含むことができる。図１２Ａ、１２Ｂ、および１２Ｃを参照して説明されるように、円錐は、種々のサイズ、形状、または色を有してもよい。
ブロック１３５０では、ウェアラブルシステムは、円錐投射を変換し、衝突を走査することができる。例えば、ウェアラブルシステムは、図１６−１８を参照して説明される技法を使用して、円錐の移動量を変換することができる。ウェアラブルシステムはまた、円錐の位置をユーザの環境内のオブジェクトの位置に対して計算することによって、円錐が１つまたはそれを上回るオブジェクトと衝突しているかどうかを判定することができる。図１２Ａ、１２Ｂ、および１２Ｃを参照して議論されるように、１つまたはそれを上回るオブジェクトが、円錐の表面と交差する、または円錐内にあることができる。
ウェアラブルシステムが、衝突を検出しない場合、ブロック１３６０では、ウェアラブルシステムは、ブロック１３２０を繰り返し、ウェアラブルシステムは、ユーザの環境を分析し、ユーザの環境に基づいて、開口を更新することができる（ブロック１３３０に示されるように）。ウェアラブルシステムが、衝突を検出する場合、ウェアラブルシステムは、例えば、焦点インジケータを衝突されたオブジェクト上に設置することによって、衝突を示すことができる。円錐が、複数の相互作用可能オブジェクトと衝突すると、ウェアラブルシステムは、曖昧性解消技法を使用して、１つまたはそれを上回る遮蔽されたオブジェクトを捕捉することができる。
ブロック１３８０では、ユーザは、随意に、図１２Ａ、１２Ｂ、および１２Ｃを参照して説明されるように、種々の方法において、衝突されたオブジェクトと相互作用することができる。例えば、ユーザは、オブジェクトを選択する、オブジェクトと関連付けられたメニューを開く、またはオブジェクト等を移動させることができる。
図１４は、動的に調節可能な開口を伴う円錐投射を使用して、オブジェクトを選択するための例示的プロセスの別のフローチャートである。本プロセス１４００は、ウェアラブルシステム（図２および４に示される）によって実施されることができる。ブロック１４１０では、ウェアラブルシステムは、ユーザのＦＯＲ内のオブジェクトのグループを判定する。
ブロック１４２０では、ウェアラブルシステムは、ユーザのＦＯＲ内のオブジェクトのグループ上への円錐投射を開始することができる。ウェアラブルシステムは、ユーザ入力デバイスからの入力（例えば、ワンドのスイング）または姿勢（例えば、ある手のジェスチャ）に基づいて、円錐投射を開始することができる。ウェアラブルシステムはまた、ある条件に基づいて、円錐投射を自動的にトリガすることができる。例えば、ウェアラブルシステムは、ユーザがウェアラブルシステムのメインディスプレイに居るとき、円錐投射を自動的に開始してもよい。円錐投射は、仮想円錐を使用してもよく、これは、中心光線と、中心光線を横断する開口とを有してもよい。中心光線は、ユーザの注視方向に基づいてもよい。
ブロック１４３０では、ウェアラブルシステムは、ユーザの姿勢を判定することができる。ユーザの姿勢は、単独で、または組み合わせて、頭部、眼、または身体姿勢であってもよい。ウェアラブルシステムは、ユーザの姿勢に基づいて、ユーザのＦＯＶを判定することができる。ＦＯＶは、ユーザによって所与の時間に知覚されるＦＯＲの一部を含むことができる。
ユーザのＦＯＶに基づいて、ブロック１４４０では、ウェアラブルシステムは、ユーザのＦＯＶ内にあるオブジェクトのサブグループを判定することができる。ユーザのＦＯＶが変化するにつれて、ユーザのＦＯＶ内のオブジェクトもまた、変化し得る。ウェアラブルシステムは、ユーザのＦＯＶ内のオブジェクトのコンテキスト情報を分析するように構成されることができる。例えば、ウェアラブルシステムは、ＦＯＶ内のオブジェクトのサイズおよび場所に基づいて、オブジェクトの密度を判定してもよい。
ブロック１４５０では、ウェアラブルシステムは、円錐投射イベントに関する開口のサイズを判定することができる。開口のサイズは、コンテキスト情報に基づいて判定されてもよい。例えば、ウェアラブルシステムが、オブジェクトの密度が高いことを判定すると、ウェアラブルシステムは、小開口を伴う円錐を使用して、ユーザ相互作用の精度を増加させてもよい。いくつかの実施形態では、ウェアラブルシステムはまた、円錐の深度を調節することができる。例えば、ウェアラブルシステムが、オブジェクトの全てがユーザから離れて位置することを判定すると、ウェアラブルシステムは、円錐をこれらのオブジェクトを有する深度平面まで延在させてもよい。同様に、ウェアラブルシステムが、オブジェクトがユーザに近接して位置することを判定する場合、ウェアラブルシステムは、円錐の深度を収縮させてもよい。
ウェアラブルシステムは、ブロック１４６０において円錐投射の視覚的表現を生成することができる。円錐投射の視覚的表現は、図１２Ｂおよび１２Ｃを参照して説明されるように、円錐の性質を組み込むことができる。例えば、ウェアラブルシステムは、色、形状、および深度を伴う、仮想円錐を表示することができる。仮想円錐の場所は、ユーザの頭部姿勢、身体姿勢、または注視方向と関連付けられてもよい。円錐は、幾何学的円錐、直方体、多面体、角錐、円錐台、または規則的形状である場合もある、またはそうではない場合もある、他の３次元形状であってもよい。
ユーザが動き回るにつれて、円錐はまた、ユーザとともに移動することができる。図１５−１８を参照してさらに説明されるように、ユーザが動き回るにつれて、ユーザの移動に対応する円錐の移動量もまた、コンテキスト情報に基づいて、計算されることができる。例えば、ＦＯＶ内のオブジェクトの密度が低い場合、ユーザの若干の移動は、円錐の大移動をもたらすことができる。一方、密度が高い場合、その同一移動は、円錐のより小さい移動をもたらし得、それによって、オブジェクトとのより精緻化された相互作用を可能にする。
図１５は、動的に調節可能な開口を伴う円錐投射のための例示的プロセス１５００である。図１５におけるプロセス１５００は、ウェアラブルシステム（図２および４に示される）によって実施されることができる。ブロック１５１０では、ウェアラブルシステムは、ユーザの環境内のコンテキスト情報を判定することができる。コンテキスト情報は、オブジェクトのレイアウト、オブジェクトの密度、オブジェクトとユーザとの間の距離等、ユーザの環境の情報および／またはオブジェクトと関連付けられた情報を含んでもよい。
ブロック１５２０では、ウェアラブルシステムは、コンテキスト情報に基づいて、動的に調節可能な開口を伴う円錐を投射することができる。例えば、オブジェクトの密度が低いとき、開口は、大きくてもよい。
ブロック１５３０では、ウェアラブルシステムは、オブジェクトと円錐との間の衝突を検出することができる。いくつかの実施形態では、ウェアラブルシステムは、オブジェクトの場所および円錐の場所に基づいて、衝突を検出することができる。オブジェクトの少なくとも一部が円錐と重複する場合、衝突が、検出される。いくつかの実施形態では、円錐は、複数のオブジェクトと衝突してもよい。ウェアラブルシステムは、曖昧性解消技法を適用し、１つまたはそれを上回る遮蔽されたオブジェクトを捕捉することができる。その結果、ウェアラブルシステムは、円錐と遮蔽されたオブジェクトとの間の衝突を検出することができる。
衝突の検出に応じて、ウェアラブルシステムは、焦点インジケータを円錐と衝突するオブジェクトに割り当ててもよい。ウェアラブルシステムはまた、オブジェクトを衝突されたオブジェクトから選択する等のユーザインターフェースオプションを提供することができる。ブロック１５４０では、ウェアラブルシステムは、衝突されたオブジェクトとのユーザ相互作用を受信するように構成されることができる。例えば、ユーザは、オブジェクトを移動させる、オブジェクトと関連付けられたメニューを開く、オブジェクトを選択する等を行ってもよい。
（コンテキスト情報に基づく移動の変換の概要）
円錐投射の間、円錐の開口を調節することに加え、またはその代替として、コンテキスト情報もまた、ユーザ入力デバイスまたはユーザの身体の一部（例えば、ユーザの姿勢の変化）と関連付けられた移動を、例えば、仮想オブジェクトを移動させる等のユーザインターフェース動作に変換するために使用されることができる。
ユーザは、ユーザ入力デバイスを作動させることによって、および／または頭部、眼、または身体姿勢等の姿勢を使用することによって、仮想オブジェクトを移動させる、または焦点インジケータを移送することができる。ＡＲ／ＶＲ／ＭＲ世界において明白であるように、仮想オブジェクトの移動は、仮想オブジェクトがコンピュータ生成された画像であって、物理的オブジェクトではないため、仮想オブジェクトの実際の物理的移動を指すわけではない。仮想オブジェクトの移動は、ＡＲまたはＶＲシステムによってユーザに表示されるような仮想オブジェクトの見掛け移動を指す。
図１６は、ユーザ入力デバイスを使用して仮想オブジェクトを移動させる実施例を図式的に図示する。例えば、ユーザは、ユーザ入力デバイスを使用して仮想オブジェクトを選択することによって、仮想オブジェクトを保持および移動させ、ユーザ入力デバイス４６６を物理的に移動させることによって、仮想オブジェクトを移動させてもよい。ユーザ入力デバイス４６６は、最初に、第１の位置１６１０ａにあってもよい。ユーザ１２１０は、ユーザ入力デバイス４６６を作動させることによって（例えば、デバイス上のタッチセンサ式パッドを作動させることによって）、第１の位置１６１０ｂに位置する標的仮想オブジェクト１６４０を選択してもよい。標的仮想オブジェクト１６４０は、ウェアラブルシステムによって表示および移動され得る、任意のタイプの仮想オブジェクトであることができる。例えば、仮想オブジェクトは、アバタ、ユーザインターフェース要素（例えば、仮想ディスプレイ）、またはウェアラブルシステムによって表示される任意のタイプのグラフィカル要素（例えば、焦点インジケータ等）であってもよい。ユーザ１２１０は、ユーザ入力デバイス４６６を軌道１６５０ｂに沿って移動させることによって、標的仮想オブジェクトを第１の位置１６１０ｂから第２の位置１６２０ｂに移動させることができる。しかしながら、標的仮想オブジェクトは、ユーザから離れている場合があるため、ユーザは、標的仮想オブジェクトがその所望の場所に到達する前に、ユーザ入力デバイスを長距離移動させる必要があり得、これは、ユーザに、大きな手および腕の移動を使用させ、最終的には、ユーザの疲労につながり得る。
ウェアラブルシステムの実施形態は、コントローラの移動に基づく量と、仮想オブジェクトまでの距離に伴って増加する傾向にある乗数とによって、仮想オブジェクトを移動させることによって、遠距離仮想オブジェクトを急速かつ効率的に移動させるための技法を提供し得る。そのような実施形態は、有利には、ユーザが、より短い手および腕の移動を使用して、遠距離仮想オブジェクトを移動させることを可能にし、それによって、ユーザの疲労を軽減させ得る。
ウェアラブルシステムは、ユーザ入力デバイスの移動を標的仮想オブジェクトの移動にマッピングするための乗数を計算することができる。標的仮想オブジェクトの移動は、入力コントローラの移動と、乗数とに基づいてもよい。例えば、標的仮想オブジェクトの移動量は、乗数によって乗算される入力コントローラの移動量と等しくてもよい。これは、標的仮想オブジェクトが所望の場所に到達する前にユーザが移動させる必要がある量を低減させ得る。例えば、図１６に示されるように、ウェアラブルシステムは、ユーザが、仮想オブジェクトを位置１６２０ｂから位置１６１０ｂまで移動させるために、ユーザ入力デバイスを軌道１６５０ａ（軌道１６５０ｂより短い）に沿って移動させることを可能にする、乗数を判定してもよい。
加えて、または代替として、ユーザ１２１０は、頭部姿勢を使用して、仮想オブジェクトを移動させることができる。例えば、図１６に示されるように、頭部は、多自由度を有し得る。頭部が異なる方向に向かって移動するにつれて、頭部姿勢は、自然静止方向１２６０に対して変化するであろう。図１６における例示的座標系は、頭部姿勢を頭部の自然静止状態１２６０に対して測定するために使用され得る、３つの角度自由度（例えば、ヨー、ピッチ、およびロール）を示す。図１６に図示されるように、頭部は、前後に傾斜する（例えば、ピッチ）、左右に方向転換する（例えば、ヨー）、および横方向に傾斜する（例えば、ロール）ことができる。他の実装では、頭部姿勢を測定するための他の技法または角度表現、例えば、任意の他のタイプのオイラー角系も、使用されることができる。ウェアラブルシステム（例えば、図２におけるウェアラブルシステム２００および図４におけるウェアラブルシステム４００参照）は、本明細書に議論されるように、例えば、加速度計、慣性測定ユニット等を使用して、ユーザの頭部姿勢を判定するために使用されてもよい。ウェアラブルシステムはまた、眼姿勢（例えば、眼追跡カメラによって測定されるように）および頭部姿勢に基づいて、仮想オブジェクトを移動させてもよい。例えば、ユーザは、長時間にわたってオブジェクトを注視することによって仮想オブジェクトを選択し、頭部姿勢を使用して選択されたオブジェクトを移動させてもよい。本明細書に説明されるユーザ入力デバイスの移動をマッピングするための技法はまた、ユーザの頭部、眼、および／または身体姿勢の変化にも適用されることができる、すなわち、仮想オブジェクトの移動量は、乗数×ユーザの身体（例えば、眼、頭部、手等）の物理的移動量である
。
（距離に基づく乗数の実施例）
上記に説明されるように、ウェアラブルシステムは、ユーザ入力デバイスの移動を標的仮想オブジェクトの移動にマッピングするための乗数を計算することができる。乗数は、例えば、ユーザと標的仮想オブジェクトとの間の距離等のコンテキスト情報に基づいて計算されてもよい。例えば、図１６に示されるように、乗数は、ユーザ１２１０の頭部の位置と仮想オブジェクト１６４０の位置との間の距離を使用して計算されてもよい。
図１７は、距離の関数としての乗数の実施例を図式的に図示する。図１７に示されるように、軸１７０４は、乗数の大きさを示す。軸１７０２は、２つの端点間の種々の距離（例えば、フィートまたはメートル単位）を図示する。端点は、種々の方法において判定されてもよい。例えば、一方の端点は、ユーザの位置（例えば、ユーザのＡＲＤから測定される）またはユーザ入力デバイスの場所であってもよい。他方の端点は、標的仮想オブジェクトの位置であってもよい。
ユーザと仮想オブジェクトとの間の距離は、距離を計算するための端点が変化するにつれて変化し得る。例えば、ユーザおよび／または仮想オブジェクトは、動き回り得る。ユーザ１２１０は、ユーザ入力デバイスを作動させ、仮想オブジェクトをより近くに引き寄せてもよい。本プロセスの間、乗数は、本明細書に説明される種々の係数に基づいて変化し得る。例えば、乗数は、仮想オブジェクトがユーザにより近づくについて減少する、または仮想オブジェクトがユーザからより離れるにつれて増加してもよい。
曲線１７１０、１７２０、および１７３０は、乗数と距離との間の関係の実施例を図示する。曲線１７１０によって示されるように、乗数は、距離が閾値１７５２未満であるとき、１に等しくあり得る。曲線１７１０は、距離と閾値１７５２および閾値１７５４の間の乗数との間の線形関係を示す。図１６を参照して説明されるように、本比例線形関係は、ウェアラブルシステムに、ユーザ入力デバイスの位置の小変化をより離れて位置するオブジェクトに関する位置の大変化（閾値１７５４まで）にマッピングさせ得る。曲線１７１０は、閾値１７５４においてその最大値に到達し、したがって、任意のさらなる距離の増加は、乗数の大きさを変化させないであろう。これは、非常に遠距離の仮想オブジェクトがユーザ入力デバイスの小移動に応答して非常に大距離を移動することを防止し得る。
曲線１７１０における乗数の閾値化は、随意である（閾値１７５２、１７５４のいずれかまたは両方において）。ウェアラブルシステムは、閾値複数の閾値を使用せずに乗数を生成してもよい。
より精密な１対１操作を可能にするために、一例示的閾値は、ユーザの手が届く範囲であってもよい。ユーザの手が届く範囲は、ユーザまたはＨＭＤによって設定され得る、調節可能パラメータであってもよい（異なる手が届く範囲を伴うユーザを考慮するため）。ユーザの手が届く範囲は、種々の実装では、約１０ｃｍ〜約１．５ｍの範囲内であってもよい。図１６を参照すると、例えば、標的仮想オブジェクトが、手が届く範囲内である場合、ユーザ１２１０がユーザ入力デバイス４６６を軌道１６５０ａに沿って位置１６１０ａから位置１６２０ａに移動させるにつれて、標的仮想オブジェクトもまた、軌道１６５０ａに沿って移動し得る。標的仮想オブジェクト１６４０が、手が届く範囲より離れる場合、乗数は、増加してもよい。例えば、図１６では、標的仮想オブジェクト１６４０が、最初に、位置１６１０ｂにある場合、ユーザ入力デバイス４６６が、位置１６１０ａから位置１６２０ａに移動するにつれて、標的仮想オブジェクト１６４０は、位置１６１０ｂから位置１６２０ｂに移動し、それによって、ユーザ入力デバイス４６６のものを上回る距離量を移動することができる。
距離と乗数との間の関係は、線形関係に限定されない。むしろ、種々のアルゴリズムおよび／または係数に基づいて判定されてもよい。例えば、図１７に示されるように、曲線１７２０は、距離と乗数との間の１つまたはそれを上回る冪乗則関数を使用して生成されてもよく、例えば、乗数は、距離のある累乗に比例する。累乗は、０．５、１．５、２であってもよい。同様に、曲線１７３０は、ユーザ選好に基づいて生成されてもよく、乗数は、オブジェクトがユーザ調節可能閾値距離内にあるとき、１と等しい。
実施例として、仮想オブジェクトの移動（例えば、角度移動）は、変数ｄｅｌｔａ＿ｏｂｊｅｃｔによって表されてもよく、ユーザ入力デバイスの移動は、変数ｄｅｌｔａ＿ｉｎｐｕｔによって表されてもよい。デルタは、乗数によって関連付けられる。
Figure 2021128795
ユーザ入力デバイス内のセンサまたはＡＲＤの外向きに面したカメラが、ｄｅｌｔａ＿ｉｎｐｕｔを測定するために使用されてもよい。距離ｄの関数としての乗数は、ルックアップテーブル、関数形態（例えば、冪乗則）、または曲線（例えば、図１７における実施例参照）から判定されることができる。いくつかの実装では、距離は、ユーザから入力デバイスまでの距離によって正規化されてもよい。例えば、距離ｄは、以下のように判定されてもよい。
Figure 2021128795
方程式（２）では、正規化された距離は、無次元であって、オブジェクトが入力デバイスの距離にある場合、１と等しい。前述のように、乗数は、手が届く範囲内（例えば、カメラから入力デバイス間での距離内）のオブジェクトに関して１に設定されてもよい。故に、方程式（２）は、ウェアラブルシステムが、ユーザが入力デバイスを保持する場所に基づいて、手の長さ距離を動的に調節することを可能にする。例示的冪乗則乗数は、以下となり得る。
Figure 2021128795
式中、累乗ｐは、例えば、１（線形）、２（二次）、または任意の他の整数または実数である。
（他の例示的乗数）
乗数はまた、ユーザの物理的および／または仮想環境についてのコンテキスト情報等の他の係数を使用して計算されることができる。例えば、仮想オブジェクトが、オブジェクトの高密度クラスタ内に位置する場合、ウェアラブルシステムは、より小さい乗数を使用して、オブジェクトを設置する精度を増加させてもよい。コンテキスト情報はまた、仮想オブジェクトの性質を含んでもよい。例えば、ドライビングゲームでは、ウェアラブルシステムは、優れた車には大きい乗数を、平凡な車には小さい乗数を提供してもよい。
乗数は、移動方向に依存してもよい。例えば、図６に示されるｘ−ｙ−ｚ座標では、ｘ−軸に関する乗数は、ｚ−軸に関する乗数と異なり得る。図１６を参照すると、仮想オブジェクト１６４０を１６１０ｂから１６２０ｂに移動させる代わりに、ユーザ１２１０は、仮想オブジェクト１６４０を自身により近くに引き寄せることを所望し得る。本状況では、ウェアラブルシステムは、仮想オブジェクト１６４０を１６１０ｂから１６２０ｂに移動させる乗数より小さい乗数を使用してもよい。このように、仮想オブジェクト１６４０は、ユーザに非常に近接して突然現れることはなくなり得る。
ウェアラブルシステムは、ユーザが、乗数を構成することを可能にすることができる。例えば、ウェアラブルシステムは、ユーザに、乗数を選定するためのいくつかのオプションを与えてもよい。低速移動を好むユーザは、小さい大きさを伴う乗数を選定することができる。ユーザはまた、ウェアラブルシステムが乗数を自動的に判定するために使用するであろう、ある係数および／または係数の重要性を提供してもよい。例えば、ユーザは、距離の加重を仮想オブジェクトの性質と関連付けられた加重より高く設定することができる。故に、距離は、仮想オブジェクトの性質より乗数の大きさに大きい影響を及ぼすであろう。さらに、図１７を参照して説明されるように、乗数は、１つまたはそれを上回る閾値を有してもよい。閾値のうちの１つまたはそれを上回るものは、係数（コンテキスト情報から判定された係数等）のセットの値に基づいて計算されてもよい。ある実施形態では、１つの閾値は、係数の１つのセットに基づいて計算されてもよい一方、別の閾値は、係数の別のセット（係数の第１のセットと重複しなくてもよい）に基づいて計算されてもよい。
（乗数の例示的適用）
図１６および１７を参照して説明されるように、ウェアラブルシステムは、ユーザ入力デバイスの移動を仮想オブジェクトの移動にマッピングするための乗数を適用することができる。移動は、速度、加速、または位置変化（回転、１つの場所から他の場所への移動等）を含んでもよい。例えば、ウェアラブルシステムは、仮想オブジェクトがより離れて位置するとき、仮想オブジェクトをより高速で移動させるように構成されてもよい。
別の実施例として、乗数はまた、仮想オブジェクトの加速を判定するために使用されてもよい。仮想オブジェクトが、ユーザから離れているとき、仮想オブジェクトは、ユーザがユーザ入力デバイスを作動させ、仮想オブジェクトを移動させる際、大初期加速を有してもよい。いくつかの実施形態では、加速のための乗数は、ある閾値後、ピークに達する、または減少してもよい。例えば、オブジェクトを過度に高速で移動させることを回避するために、ウェアラブルシステムは、仮想オブジェクトが軌道の中間点に到達すると、または仮想オブジェクトの速度が閾値に到達すると、加速のための乗数を減少させてもよい。
いくつかの実装では、ウェアラブルシステムは、焦点インジケータを使用して、ユーザ入力デバイスおよび／またはユーザの姿勢（例えば、頭部、身体、眼姿勢）の現在の位置を示してもよい。乗数は、焦点インジケータの位置変化を示すように適用されてもよい。例えば、ウェアラブルシステムは、円錐投射の間、仮想円錐を示してもよい（図１２−１５における円錐投射の説明参照）。円錐の深度が、遠距離場所に設定されると、ウェアラブルシステムは、大きな乗数を適用してもよい。故に、ユーザが動き回るにつれて、仮想円錐は、長い距離量を移動し得る。
加えて、または代替として、ウェアラブルシステムは、ユーザ入力デバイスの移動を複数の仮想オブジェクトの移動にマッピングすることができる。例えば、仮想ゲームでは、プレーヤは、ユーザ入力デバイスを作動させることによって、仮想兵士のグループをともに移動させることができる。ウェアラブルシステムは、乗数を仮想兵士のグループにともに適用することによって、および／または乗数をグループ内の仮想兵士のそれぞれに適用することによって、ユーザ入力デバイスの移動を仮想兵士のグループの移動に変換することができる。
（仮想オブジェクトを移動させる例示的プロセス）
図１８は、ユーザ入力デバイスの移動に応答して、仮想オブジェクトを移動させるための例示的プロセスのフローチャートを図示する。プロセス１８００は、図２および４に示されるウェアラブルシステムによって実施されることができる。
ブロック１８１０では、ウェアラブルシステムは、標的仮想オブジェクトの選択を受信する。仮想オブジェクトは、３Ｄ空間内の第１の位置において、ウェアラブルシステムによって表示されてもよい。ユーザは、ユーザ入力デバイスを作動させることによって、標的仮想オブジェクトを選択することができる。加えて、または代替として、ウェアラブルシステムは、ユーザが、種々の身体、頭部、または眼姿勢を使用して、標的仮想オブジェクトを移動させることをサポートするように構成されることができる。例えば、ユーザは、その指を標的仮想オブジェクトに向けることによって、標的仮想オブジェクトを選択してもよく、その腕を移動させることによって、標的仮想オブジェクトを移動させてもよい。
ブロック１８２０では、ウェアラブルシステムは、標的仮想オブジェクトに関する移動のインジケーションを受信することができる。ウェアラブルシステムは、そのようなインジケーションをユーザ入力デバイスから受信してもよい。ウェアラブルシステムはまた、そのようなインジケーションをセンサ（例えば、外向きに面したイメージングシステム４６４等）から受信してもよく、これは、ユーザの姿勢の変化を判定することができる。インジケーションは、移動の軌道またはユーザの身体またはユーザ入力デバイスの一部の位置における変化であることができる。
ブロック１８３０では、ウェアラブルシステムは、本明細書に説明されるコンテキスト情報に基づいて適用されるであろう、乗数の値を判定する。例えば、ウェアラブルシステムは、オブジェクトとユーザ入力デバイスとの間の距離に基づいて、乗数を計算してもよく、乗数は、標的仮想オブジェクトの距離増加に伴って増加することができる（少なくともユーザ入力デバイスからある範囲の距離にわたって；例えば、方程式（３）における実施例参照）。いくつかの実施形態では、乗数は、オブジェクトとユーザ入力デバイスとの間の距離の非減少関数である。
ブロック１８４０に示されるように、本乗数は、標的仮想オブジェクトに関する移動量を計算するために使用されてもよい。例えば、乗数が、オブジェクトとユーザ入力デバイスとの間の距離を使用して計算される場合、乗数は、離れた標的仮想オブジェクトに関して大きくなり得る。ウェアラブルシステムは、方程式（３）を使用して、入力デバイスの移動量および乗数を関連させ、標的仮想オブジェクトの移動量を求めてもよい。標的仮想オブジェクトの移動の軌道は、乗数とともに他の係数を使用して計算されてもよい。例えば、ウェアラブルシステムは、ユーザの環境に基づいて、軌道を計算してもよい。別のオブジェクトが標的仮想オブジェクトの経路に沿って存在するとき、ウェアラブルシステムは、その他のオブジェクトとの衝突を避けるように、標的仮想オブジェクトを移動させるように構成されてもよい。
ブロック１８５０では、ウェアラブルシステムは、計算された軌道または乗数に基づいて、標的仮想オブジェクトの移動を表示することができる。例えば、ウェアラブルシステムは、ブロック１８４０において計算された移動量に基づいて、３Ｄ空間内の第２の位置を計算することができる。ウェアラブルシステムは、故に、標的仮想オブジェクトを第２の位置において表示することができる。図１６を参照して議論されるように、ウェアラブルシステムはまた、乗数を使用して、可視焦点インジケータの移動を表示するように構成されてもよい。
（付加的実施形態）
第１の側面では、３次元（３Ｄ）空間内に位置する仮想オブジェクトを選択するための方法であって、前記方法は、コンピュータハードウェアを備える拡張現実（ＡＲ）システムの制御下で行われ、ＡＲシステムは、ユーザの動眼視野（ＦＯＲ）内のオブジェクトとのユーザ相互作用を可能にするように構成され、ＦＯＲは、ＡＲシステムを介してユーザによって知覚可能なユーザの周囲の環境の一部を備え、ユーザのＦＯＲ内のオブジェクトのグループを判定することと、ユーザの姿勢を判定することと、オブジェクトのグループ上への円錐投射を開始することであって、円錐投射は、少なくとも部分的にユーザの姿勢に基づく方向に開口を伴う仮想円錐を投射することを含む、ことと、オブジェクトのグループ内のオブジェクトのサブグループと関連付けられたコンテキスト情報を分析することと、少なくとも部分的にコンテキスト情報に基づいて、円錐投射イベントに関する開口を更新することと、円錐投射の視覚的表現をレンダリングすることとを含む、方法。
第２の側面では、オブジェクトのサブグループは、ユーザの視野（ＦＯＶ）内にあって、ＦＯＶは、ＡＲシステムを介してユーザによって所与の時間に知覚可能なＦＯＲの一部を含む、側面１に記載の方法。
第３の側面では、コンテキスト情報は、オブジェクトのサブグループ内の１つまたはそれを上回るオブジェクトのタイプ、レイアウト、場所、サイズ、または密度のうちの１つまたはそれを上回るものを含む、側面１または２に記載の方法。
第４の側面では、コンテキスト情報はさらに、ユーザの選好を含む、側面３に記載の方法。
第５の側面では、円錐と１つまたはそれを上回るオブジェクトとの間の衝突を検出することをさらに含む、側面１−４のいずれか１項に記載の方法。
第６の側面では、１つまたはそれを上回るオブジェクトは、相互作用可能オブジェクトを含む、側面５に記載の方法。
第７の側面では、相互作用可能オブジェクトとの衝突を検出することに応答して、本方法はさらに、相互作用可能オブジェクトにアクションを実施することを含む、側面６に記載の方法。
第８の側面では、アクションは、相互作用可能オブジェクトを選択すること、相互作用可能オブジェクトを移動させること、または相互作用可能オブジェクトと関連付けられたメニューを開くことのうちの１つまたはそれを上回るものを含む、側面７に記載の方法。
第９の側面では、遮蔽曖昧性解消技法を円錐と衝突された１つまたはそれを上回るオブジェクトに適用することをさらに含む、側面５または６に記載の方法。
第１０の側面では、少なくとも部分的にユーザの姿勢の変化に基づいて、円錐の開口を更新することをさらに含む、側面１−９のいずれか１項に記載の方法。
第１１の側面では、円錐は、ある形状を有する、側面１−１０のいずれか１項に記載の方法。
第１２の側面では、形状は、幾何学的円錐投射、直方体、多面体、角錐、または円錐台のうちの１つまたはそれを上回るものを含む、側面１１に記載の方法。
第１３の側面では、円錐は、中心光線を有する、側面１−１２のいずれか１項に記載の方法。
第１４の側面では、中心光線は、少なくとも部分的にユーザの姿勢に基づいて判定される、側面１３に記載の方法。
第１５の側面では、開口は、中心光線を横断する、側面１３または１４に記載の方法。
第１６の側面では、円錐と衝突するオブジェクトの曖昧性を解消することをさらに含む、側面１−１５のいずれか１項に記載の方法。
第１７の側面では、側面１−１６のいずれか１項に記載の方法を実施するように構成される、拡張現実システム。
第１８の側面では、３次元（３Ｄ）空間内に位置する仮想オブジェクトを変換するための方法であって、前記方法は、コンピュータハードウェアおよびユーザ入力デバイスを備える拡張現実（ＡＲ）システムの制御下で行われ、ＡＲシステムは、ユーザの動眼視野（ＦＯＲ）内の仮想オブジェクトとのユーザ相互作用を可能にするように構成され、ＦＯＲは、ＡＲシステムを介してユーザによって知覚可能なユーザの周囲の環境の一部を含み、仮想オブジェクトは、ユーザへの表示のために、ＡＲシステムを介して提示され、ユーザのＦＯＲ内の仮想オブジェクトのグループを判定することと、ユーザのＦＯＲ内の仮想オブジェクトのグループ内の標的仮想オブジェクトの選択を受信することと、標的仮想オブジェクトまでの距離を計算することと、少なくとも部分的に標的仮想オブジェクトまでの距離に基づいて、乗数を判定することと、ユーザ入力デバイスの第１の移動を受信することと、標的仮想オブジェクトの第２の移動を計算することであって、第２の移動は、少なくとも部分的に第１の移動および乗数に基づく、ことと、少なくとも部分的に第２の移動に基づく量だけ標的仮想オブジェクトを移動させることとを含む、方法。
第１９の側面では、仮想オブジェクトまでの距離を計算することは、仮想オブジェクトとユーザ入力デバイスとの間の距離、仮想オブジェクトとＡＲシステム上のセンサとの間の距離、またはユーザ入力デバイスとＡＲシステム上のセンサとの間の距離を計算することを含む、側面１８に記載の方法。
第２０の側面では、第２の移動は、乗数によって乗算される第１の移動と等しい、側面１８に記載の方法。
第２１の側面では、乗数は、第１の距離範囲にわたる距離増加に伴って増加する、側面１８に記載の方法。
第２２の側面では、乗数は、第１の範囲にわたる距離増加に伴って線形に増加する、側面２１に記載の方法。
第２３の側面では、乗数は、第１の範囲にわたる距離の累乗として増加する、側面２１に記載の方法。
第２４の側面では、乗数は、距離が第１の距離未満であるとき、第１の閾値と等しい、側面１８に記載の方法。
第２５の側面では、第１の距離は、ユーザの手が届く範囲と等しい、側面２４に記載の方法。
第２６の側面では、第１の閾値は、１と等しい、側面２４に記載の方法。
第２７の側面では、第１の移動または第２の移動は、それぞれ、第１の速度または第２の速度を含む、側面１８−２６のいずれか１項に記載の方法。
第２８の側面では、第１の移動および第２の移動は、それぞれ、第１の加速および第２の加速を含む、側面１８−２６のいずれか１項に記載の方法。
第２９の側面では、ＡＲシステムは、頭部搭載型ディスプレイを備える、側面１８−２８のいずれか１項に記載の方法。
第３０の側面では、標的仮想オブジェクトは、相互作用可能である、側面１８−２９のいずれか１項に記載の方法。
第３１の側面では、３次元（３Ｄ）空間内に位置する仮想オブジェクトを移動させるための方法であって、前記方法は、コンピュータハードウェアおよびユーザ入力デバイスを備える拡張現実（ＡＲ）システムの制御下で行われ、ＡＲシステムは、ユーザへの表示のために、仮想オブジェクトを３Ｄ空間内に提示するように構成され、３Ｄ空間内の第１の位置においてユーザに表示される標的仮想オブジェクトの選択を受信することと、標的仮想オブジェクトに関する移動のインジケーションを受信することと、標的仮想オブジェクトの移動に適用されるための乗数を判定することと、標的仮想オブジェクトに関する移動量を計算することであって、移動量は、少なくとも部分的に移動のインジケーションおよび乗数に基づく、ことと、ユーザに、第２の位置において標的仮想オブジェクトを表示することであって、第２の位置は、少なくとも部分的に第１の位置および移動量に基づく、こととを含む、方法。
第３２の側面では、標的仮想オブジェクトの移動に適用されるための乗数を判定することは、標的仮想オブジェクトまでの距離を計算することを含む、側面３１に記載の方法。
第３３の側面では、距離は、標的仮想オブジェクトとユーザ入力デバイスとの間、標的仮想オブジェクトとＡＲシステム上のセンサとの間、またはユーザ入力デバイスとＡＲシステム上のセンサとの間である、側面３２に記載の方法。
第３４の側面では、乗数は、距離が増加すると増加する、側面３２に記載の方法。
第３５の側面では、乗数は、少なくとも部分的にユーザの選好に基づく、側面３１−３４のいずれか１項に記載の方法。
第３６の側面では、移動は、位置変化、速度、または加速のうちの１つまたはそれを上回るものを含む、側面３１−３５のいずれか１項に記載の方法。
第３７の側面では、標的仮想オブジェクトは、仮想オブジェクトのグループを含む、側面３１−３６のいずれか１項に記載の方法。
第３８の側面では、標的仮想オブジェクトは、相互作用可能である、側面３１−３７のいずれか１項に記載の方法。
第３９の側面では、移動のインジケーションを受信することは、移動のインジケーションをユーザ入力デバイスから受信することを含む、側面３１−３８のいずれか１項に記載の方法。
第４０の側面では、移動のインジケーションを受信することは、ユーザの姿勢の変化のインジケーションを受信することを含む、側面３１−３８のいずれか１項に記載の方法。
第４１の側面では、ユーザの姿勢は、頭部姿勢、眼姿勢、または身体姿勢のうちの１つまたはそれを上回るものを含む、側面４０に記載の方法。
第４２の側面では、３次元（３Ｄ）空間内に位置する仮想オブジェクトを変換するための拡張現実システム（ＡＲ）であって、前記システムは、システムディスプレイシステムと、ユーザ入力デバイスと、コンピュータプロセッサであって、前記コンピュータプロセッサは、ディスプレイシステムおよびユーザ入力デバイスと通信し、ユーザのＦＯＲ内の仮想オブジェクトのグループを判定することと、ユーザのＦＯＲ内の仮想オブジェクトのグループ内の標的仮想オブジェクトの選択を受信することと、標的仮想オブジェクトまでの距離を計算することと、少なくとも部分的に標的仮想オブジェクトまでの距離に基づいて、乗数を判定することと、ユーザ入力デバイスの第１の移動を受信することと、標的仮想オブジェクトの第２の移動を計算することであって、第２の移動は、少なくとも部分的に第１の移動および乗数に基づく、ことと、少なくとも部分的に第２の移動に基づく量だけ標的仮想オブジェクトを移動させることとを行うように構成される、コンピュータプロセッサとを備える、システム。
第４３の側面では、標的仮想オブジェクトまでの距離を計算することは、標的仮想オブジェクトとユーザ入力デバイスとの間の距離、仮想オブジェクトとＡＲシステム上のセンサとの間の距離、またはユーザ入力デバイスとＡＲシステム上のセンサとの間の距離を計算することを含む、側面４２に記載のシステム。
第４４の側面では、第２の移動は、乗数によって乗算される第１の移動と等しい、側面４２に記載のシステム。
第４５の側面では、乗数は、第１の距離範囲にわたる距離増加に伴って増加する、側面４２に記載のシステム。
第４６の側面では、乗数は、第１の範囲にわたる距離増加に伴って線形に増加する、側面４５に記載のシステム。
第４７の側面では、乗数は、第１の範囲にわたる距離の累乗として増加する、側面４５に記載のシステム。
第４８の側面では、乗数は、距離が第１の距離未満であるとき、第１の閾値と等しい、側面４２に記載のシステム。
第４９の側面では、第１の距離は、ユーザの手の届く範囲と等しい、側面４８に記載のシステム。
第５０の側面では、第１の閾値は、１と等しい、側面４８に記載のシステム。
第５１の側面では、第１の移動または第２の移動は、それぞれ、第１の速度または第２の速度を含む、側面４２−５０のうちのいずれか１項に記載のシステム。
第５２の側面では、第１の移動および第２の移動は、それぞれ、第１の加速および第２の加速を含む、側面４２−５０のうちのいずれか１項に記載のシステム。
第５３の側面では、ＡＲシステムは、頭部搭載型ディスプレイを備える、側面４２−５２のうちのいずれか１項に記載のシステム。
第５４の側面では、標的仮想オブジェクトは、相互作用可能である、側面４２−５３のうちのいずれか１項に記載のシステム。
第５５の側面では、３次元（３Ｄ）空間内に位置する仮想オブジェクトを移動させるための拡張現実システム（ＡＲ）であって、前記システムは、システムディスプレイシステムと、ユーザ入力デバイスと、コンピュータプロセッサであって、前記コンピュータプロセッサは、ディスプレイシステムおよびユーザ入力デバイスと通信し、３Ｄ空間内の第１の位置においてユーザに表示される標的仮想オブジェクトの選択を受信することと、標的仮想オブジェクトに関する移動のインジケーションを受信することと、標的仮想オブジェクトの移動に適用される乗数を判定することと、標的仮想オブジェクトに関する移動量を計算することであって、移動量は、少なくとも部分的に移動のインジケーションおよび乗数に基づく、ことと、ユーザに、標的仮想オブジェクトを第２の位置において表示することであって、第２の位置は、少なくとも部分的に、第１の位置および移動量に基づく、こととを行うように構成される、コンピュータプロセッサとを備える、システム。
第５６の側面では、標的仮想オブジェクトの移動に適用されるための乗数を判定することは、標的仮想オブジェクトまでの距離を計算することを含む、側面５５に記載のシステム。
第５７の側面では、距離は、仮想オブジェクトとユーザ入力デバイスとの間、仮想オブジェクトとＡＲシステム上のセンサとの間、またはユーザ入力デバイスとＡＲシステム上のセンサとの間である、側面５６に記載のシステム。
第５８の側面では、乗数は、距離が増加すると増加する、側面５６に記載のシステム。
第５９の側面では、乗数は、少なくとも部分的にユーザの選好に基づく、側面５５−５８のうちのいずれか１項に記載のシステム。
第６０の側面では、移動は、位置変化、速度、または加速のうちの１つまたはそれを上回るものを含む、側面５５−５９のうちのいずれか１項に記載のシステム。
第６１の側面では、標的仮想オブジェクトは、仮想オブジェクトのグループを含む、側面５５−６０のうちのいずれか１項に記載のシステム。
第６２の側面では、標的仮想オブジェクトは、相互作用可能である、側面５５−６１のうちのいずれか１項に記載のシステム。
第６３の側面では、移動のインジケーションを受信することは、移動のインジケーションをユーザ入力デバイスから受信することを含む、側面５５−６２のうちのいずれか１項に記載のシステム。
第６４の側面では、移動のインジケーションを受信することは、ユーザの姿勢の変化のインジケーションを受信することを含む、側面５５−６３のうちのいずれか１項に記載のシステム。
第６５の側面では、ユーザの姿勢は、頭部姿勢、眼姿勢、または身体姿勢のうちの１つまたはそれを上回るものを含む、側面６４に記載のシステム。
第６６の側面では、ウェアラブルデバイスのためのオブジェクトと相互作用するためのシステムであって、前記システムは、３次元（３Ｄ）ビューをユーザに提示し、ユーザの動眼視野（ＦＯＲ）内のオブジェクトとのユーザ相互作用を可能にするように構成される、ウェアラブルデバイスのディスプレイシステムであって、ＦＯＲは、ディスプレイシステムを介してユーザによって知覚可能なユーザの周囲の環境の一部を含み、ウェアラブルデバイスのディスプレイシステムと、ユーザの姿勢と関連付けられたデータを入手するように構成されるセンサと、センサおよびディスプレイシステムと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、センサによって入手されたデータに基づいて、ユーザの姿勢を判定することと、ＦＯＲ内のオブジェクトのグループ上への円錐投射を開始することであって、円錐投射は、少なくとも部分的にユーザの姿勢に基づく方向に開口を伴う仮想円錐を投射することを含む、ことと、ユーザの環境と関連付けられたコンテキスト情報を分析することと、少なくとも部分的にコンテキスト情報に基づいて、仮想円錐の開口を更新することと、円錐投射のための仮想円錐の視覚的表現をレンダリングすることとを行うようにプログラムされる、ハードウェアプロセッサとを備える、システム。
第６７の側面では、コンテキスト情報は、ユーザの視野（ＦＯＶ）内のオブジェクトのサブグループのタイプ、レイアウト、場所、サイズ、または密度のうちの少なくとも１つを含み、ＦＯＶは、ディスプレイシステムを介してユーザによって所与の時間に知覚可能なＦＯＲの一部を含む、側面６６に記載のシステム。
第６８の側面では、ユーザのＦＯＶ内のオブジェクトのサブグループの密度は、オブジェクトのサブグループ内のオブジェクトの数を計算すること、オブジェクトのサブグループによって被覆されるＦＯＶのパーセンテージを計算すること、またはオブジェクトのサブグループ内のオブジェクトに関する等高線マップを計算することのうちの少なくとも１つによって計算される、側面６７に記載のシステム。
第６９の側面では、ハードウェアプロセッサはさらに、仮想円錐とＦＯＲ内のオブジェクトのグループの中の１つまたはそれを上回るオブジェクトとの間の衝突を検出するようにプログラムされ、衝突の検出に応答して、ハードウェアプロセッサはさらに、焦点インジケータを１つまたはそれを上回るオブジェクトに提示するようにプログラムされる、側面６６−６８のうちのいずれか１項に記載のシステム。
第７０の側面では、ハードウェアプロセッサは、遮蔽曖昧性解消技法を仮想円錐と衝突する１つまたはそれを上回るオブジェクトに適用し、遮蔽されたオブジェクトを識別するようにプログラムされる、側面６９に記載のシステム。
第７１の側面では、円錐は、中心光線を備え、開口は、中心光線を横断する、側面６６−７０のうちのいずれか１項に記載のシステム。
第７２の側面では、仮想円錐は、近位端を備え、近位端は、ユーザの眼間の場所、ユーザの腕の一部上の場所、ユーザ入力デバイス上の場所、またはユーザの環境内の任意の他の場所のうちの少なくとも１つの場所にアンカリングされる、側面６６−７１のうちのいずれか１項に記載のシステム。
第７３の側面では、ハードウェアプロセッサはさらに、ユーザ入力デバイスから、仮想円錐の深度を深度平面にアンカリングするインジケーションを受信するようにプログラムされ、円錐投射は、深度平面内のオブジェクトのグループ上に実施される、側面６６−７２のうちのいずれか１項に記載のシステム。
第７４の側面では、センサは、慣性測定ユニットまたは外向きに面したイメージングシステムのうちの少なくとも１つを備える、側面６６−７３のうちのいずれか１項に記載のシステム。
第７５の側面では、仮想円錐は、幾何学的円錐投射、直方体、多面体、角錐、または円錐台のうちの少なくとも１つを備える、側面６６−７４のうちのいずれか１項に記載のシステム。
第７６の側面では、ウェアラブルデバイスのためのオブジェクトと相互作用するための方法であって、前記方法は、３次元（３Ｄ）空間内の第１の位置においてユーザに表示される標的仮想オブジェクトの選択を受信することと、標的仮想オブジェクトに関する移動のインジケーションを受信することと、標的仮想オブジェクトと関連付けられたコンテキスト情報を分析することと、少なくとも部分的にコンテキスト情報に基づいて、標的仮想オブジェクトの移動に適用されるための乗数を計算することと、標的仮想オブジェクトに関する移動量を計算することであって、移動量は、少なくとも部分的に移動のインジケーションおよび乗数に基づく、ことと、ユーザに、第２の位置において標的仮想オブジェクトを表示することであって、第２の位置は、少なくとも部分的に第１の位置および移動量に基づく、こととを含む、方法。
第７７の側面では、コンテキスト情報は、ユーザから標的仮想オブジェクトまでの距離を含む、側面７６に記載の方法。
第７８の側面では、乗数は、距離の増加に伴って比例して増加する、側面７７に記載の方法。
第７９の側面では、移動は、位置変化、速度、または加速のうちの１つまたはそれを上回るものを含む、側面７６−７８のいずれか１項に記載の方法。
第８０の側面では、移動のインジケーションは、ウェアラブルデバイスと関連付けられたユーザ入力デバイスの作動またはユーザの姿勢の変化のうちの少なくとも１つを含む、側面７６−７９のいずれか１項に記載の方法。
第８１の側面では、姿勢は、頭部姿勢、眼姿勢、または身体姿勢のうちの１つまたはそれを上回るものを含む、側面８０に記載の方法。
第８２の側面では、ウェアラブルデバイスのためのオブジェクトと相互作用するためのシステムであって、前記システムは、３次元（３Ｄ）ビューをユーザに提示するように構成されるウェアラブルデバイスのディスプレイシステムであって、３Ｄビューは、標的仮想オブジェクトを備える、ウェアラブルデバイスのディスプレイシステムと、ディスプレイシステムと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、標的仮想オブジェクトに関する移動のインジケーションを受信することと、標的仮想オブジェクトと関連付けられたコンテキスト情報を分析することと、少なくとも部分的にコンテキスト情報に基づいて、標的仮想オブジェクトの移動に適用されるための乗数を計算することと、標的仮想オブジェクトに関する移動量を計算することであって、移動量は、少なくとも部分的に移動のインジケーションおよび乗数に基づく、ことと、ディスプレイシステムによって、第２の位置において標的仮想オブジェクトを表示することであって、第２の位置は、少なくとも部分的に、第１の位置および移動量に基づく、こととを行うようにプログラムされる、ハードウェアプロセッサとを備える、システム。
第８３の側面では、標的仮想オブジェクトの移動のインジケーションは、ウェアラブルデバイスのユーザの姿勢の変化またはウェアラブルデバイスと関連付けられたユーザ入力デバイスから受信された入力を含む、側面８２に記載のシステム。
第８４の側面では、コンテキスト情報は、ユーザから標的仮想オブジェクトまでの距離を含む、側面８２−８３のうちのいずれか１項に記載のシステム。
第８５の側面では、乗数は、距離が閾値距離未満であるとき、１に等しく、閾値距離は、ユーザの手が届く範囲と等しい、側面８４に記載のシステム。
第８６の側面では、乗数は、距離の増加に伴って比例して増加する、側面８４−８５のうちのいずれか１項に記載のシステム。
第８７の側面では、移動は、位置変化、速度、または加速のうちの１つまたはそれを上回るものを含む、側面８２−８６のうちのいずれか１項に記載のシステム。
（結論）
本明細書に説明される、および／または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、１つまたはそれを上回る物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および／または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ（例えば、サーバ）または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、または解釈されるプログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、（適切な特殊化された実行可能命令を利用する）特定用途向けハードウェアまたは１つまたはそれを上回る物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、および／または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。本方法およびモジュール（またはデータ）はまた、無線ベースおよび有線／ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として（例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として）伝送され得、種々の形態（例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして）をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。
本明細書に説明される、および／または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能（例えば、論理または算術）またはステップを実装するための１つまたはそれを上回る実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されることができる。いくつかの実施形態では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、任意の特定のシーケンスに限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行に、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそれから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証を目的とし、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変形例が、可能である。
本プロセス、方法、およびシステムは、ネットワーク（または分散）コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線または無線ネットワークまたは任意の他のタイプの通信ネットワークであり得る。
本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。
別個の実装の文脈において本明細書に説明されるある特徴はまた、単一の実装における組み合わせにおいて実装されることができる。逆に、単一の実装の文脈において説明される種々の特徴もまた、複数の実装において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいてアクションするものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの１つまたはそれを上回る特徴は、いくつかの場合では、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要または必須ではない。
とりわけ、「〜できる（ｃａｎ）」、「〜し得る（ｃｏｕｌｄ）」、「〜し得る（ｍｉｇｈｔ）」、「〜し得る（ｍａｙ）」、「例えば（ｅ．ｇ．，）」、および同等物等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、および／またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図される。したがって、そのような条件文は、概して、特徴、要素、および／またはステップが、１つまたはそれを上回る実施形態に対していかようにも要求されること、または１つまたはそれを上回る実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および／またはステップが任意の特定の実施形態において含まれる、または実施されるべきかどうかを決定するための論理を必然的に含むことを示唆することを意図されない。用語「〜を備える」、「〜を含む」、「〜を有する」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され（およびその排他的意味において使用されず）、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの１つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「ａ」、「ａｎ」、および「ｔｈｅ」は、別様に規定されない限り、「１つまたはそれを上回る」または「少なくとも１つ」を意味するように解釈されるべきである。
本明細書で使用されるように、項目のリスト「のうちの少なくとも１つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある実施例として、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」は、Ａ、Ｂ、Ｃ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、およびＡ、Ｂ、およびＣを網羅することが意図される。語句「Ｘ、Ｙ、およびＺのうちの少なくとも１つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等がＸ、Ｙ、またはＺのうちの少なくとも１つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Ｘのうちの少なくとも１つ、Ｙのうちの少なくとも１つ、およびＺのうちの少なくとも１つがそれぞれ存在するように要求することを示唆することを意図されない。
同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、または連続的順序で実施される、または全ての図示される動作が実施される必要はないと認識されるべきである。さらに、図面は、フローチャートの形態で１つまたはそれを上回る例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、１つまたはそれを上回る付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。

Claims (12)

  1. ウェアラブルデバイスのためのオブジェクトと相互作用するための方法であって、前記方法は、ディスプレイシステムとハードウェアプロセッサとを備えるウェアラブルデバイスの制御下で、
    ３次元（３Ｄ）空間内の第１の位置においてユーザに表示される標的仮想オブジェクトの選択を受信することと、
    前記第１の位置から前記標的仮想オブジェクトを移動させるためのインジケーションを受信することであって、前記インジケーションは、前記３Ｄ空間内の第１の方向への前記ユーザに関連付けられた第１の移動量を含む、ことと、
    前記第１の方向と異なる第２の方向における前記標的仮想オブジェクトと前記ユーザとの間の距離を分析することと、
    前記ユーザに関連付けられた前記第１の移動量を前記標的仮想オブジェクトに関する第２の移動量にマッピングするための乗数を計算することであって、前記乗数は、前記第２の方向における前記標的仮想オブジェクトと前記ユーザとの間の距離に少なくとも部分的に基づいて計算される、ことと、
    前記標的仮想オブジェクトに関する前記第１の方向における前記第２の移動量を計算することであって、前記第２の移動量は、前記第１の移動量と前記乗数とに少なくとも部分的に基づいて計算される、ことと、
    第２の位置において前記標的仮想オブジェクトが前記ユーザに表示されるようにすることであって、前記第２の位置は、前記第１の位置と前記第２の移動量とに少なくとも部分的に基づく、ことと
    を含む、方法。
  2. 前記乗数は、前記標的仮想オブジェクトと前記ユーザとの間の距離が前記ユーザの手の届く範囲を超える場合、１より大きい、請求項１に記載の方法。
  3. 前記乗数は、前記標的仮想オブジェクトと前記ユーザとの間の距離の増加に伴って比例して増加する、請求項１に記載の方法。
  4. 前記乗数は、前記第２の移動量を計算するために、位置変化、速度、または、加速のうちの１つまたは複数に適用される、請求項１に記載の方法。
  5. 前記標的仮想オブジェクトを移動させるためのインジケーションは、前記ウェアラブルデバイスに関連付けられたユーザ入力デバイスの作動または前記ユーザの姿勢の変化のうちの少なくとも１つを含む、請求項１に記載の方法。
  6. 前記姿勢は、頭部姿勢、眼姿勢、または、身体姿勢のうちの１つまたは複数を含む、請求項５に記載の方法。
  7. ウェアラブルデバイスのためのオブジェクトと相互作用するためのシステムであって、前記システムは、
    ３次元（３Ｄ）ビューをユーザに提示するように構成されているウェアラブルデバイスのディスプレイシステムであって、前記３Ｄビューは、標的仮想オブジェクトを示す、ウェアラブルデバイスのディスプレイシステムと、
    前記ディスプレイシステムと通信するハードウェアプロセッサと
    を備え、
    前記ハードウェアプロセッサは、
    前記標的仮想オブジェクトを第１の位置から移動させるためのインジケーションを受信することであって、前記インジケーションは、３Ｄ空間内の標的方向へのユーザに関連付けられた第１の移動量を含む、ことと、
    前記標的仮想オブジェクトと前記ユーザとの間の距離を分析することと、
    前記ユーザに関連付けられた前記第１の移動量を前記標的仮想オブジェクトに関する第２の移動量にマッピングするための乗数を計算することであって、前記乗数は、前記標的仮想オブジェクトと前記ユーザとの間の距離に少なくとも部分的に基づいて計算される、ことと、
    前記標的仮想オブジェクトに関する前記標的方向への第２の移動量を計算することであって、前記第２の移動量は、前記第１の移動量と前記乗数とに少なくとも部分的に基づいて計算される、ことと、
    第２の位置において前記標的仮想オブジェクトを表示することを前記ディスプレイシステムに行わせることであって、前記第２の位置は、前記第１の位置と前記第２の移動量とに少なくとも部分的に基づく、ことと
    を行うようにプログラムされている、システム。
  8. 前記標的仮想オブジェクトを移動させるためのインジケーションは、前記ウェアラブルデバイスのユーザの姿勢の変化または前記ウェアラブルデバイスに関連付けられたユーザ入力デバイスから受信された入力を含む、請求項７に記載のシステム。
  9. 前記乗数は、前記標的仮想オブジェクトと前記ユーザとの間の距離が前記ユーザの手の届く範囲を超える場合、１より大きい、請求項７に記載のシステム。
  10. 前記乗数は、前記距離が閾値距離未満であるとき、１に等しく、前記閾値距離は、前記ユーザの手が届く範囲と等しい、請求項７に記載のシステム。
  11. 前記乗数は、前記標的仮想オブジェクトと前記ユーザとの間の距離の増加に伴って比例して増加する、請求項７に記載のシステム。
  12. 前記乗数は、前記第２の移動量を計算するために、位置変化、速度、または、加速のうちの１つまたは複数に適用される、請求項７に記載のシステム。
JP2021083134A 2016-03-31 2021-05-17 姿勢および複数のｄｏｆコントローラを用いた３ｄ仮想オブジェクトとの相互作用 Active JP7209041B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022128859A JP7186913B2 (ja) 2016-03-31 2022-08-12 姿勢および複数のｄｏｆコントローラを用いた３ｄ仮想オブジェクトとの相互作用
JP2023001014A JP7549681B2 (ja) 2016-03-31 2023-01-06 姿勢および複数のｄｏｆコントローラを用いた３ｄ仮想オブジェクトとの相互作用

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662316030P 2016-03-31 2016-03-31
US62/316,030 2016-03-31
US201662325679P 2016-04-21 2016-04-21
US62/325,679 2016-04-21
JP2018550396A JP6904973B2 (ja) 2016-03-31 2017-03-29 姿勢および複数のｄｏｆコントローラを用いた３ｄ仮想オブジェクトとの相互作用

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018550396A Division JP6904973B2 (ja) 2016-03-31 2017-03-29 姿勢および複数のｄｏｆコントローラを用いた３ｄ仮想オブジェクトとの相互作用

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2022128859A Division JP7186913B2 (ja) 2016-03-31 2022-08-12 姿勢および複数のｄｏｆコントローラを用いた３ｄ仮想オブジェクトとの相互作用
JP2023001014A Division JP7549681B2 (ja) 2016-03-31 2023-01-06 姿勢および複数のｄｏｆコントローラを用いた３ｄ仮想オブジェクトとの相互作用

Publications (2)

Publication Number Publication Date
JP2021128795A true JP2021128795A (ja) 2021-09-02
JP7209041B2 JP7209041B2 (ja) 2023-01-19

Family

ID=59961806

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2018550396A Active JP6904973B2 (ja) 2016-03-31 2017-03-29 姿勢および複数のｄｏｆコントローラを用いた３ｄ仮想オブジェクトとの相互作用
JP2021083134A Active JP7209041B2 (ja) 2016-03-31 2021-05-17 姿勢および複数のｄｏｆコントローラを用いた３ｄ仮想オブジェクトとの相互作用
JP2022128859A Active JP7186913B2 (ja) 2016-03-31 2022-08-12 姿勢および複数のｄｏｆコントローラを用いた３ｄ仮想オブジェクトとの相互作用
JP2023001014A Active JP7549681B2 (ja) 2016-03-31 2023-01-06 姿勢および複数のｄｏｆコントローラを用いた３ｄ仮想オブジェクトとの相互作用

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018550396A Active JP6904973B2 (ja) 2016-03-31 2017-03-29 姿勢および複数のｄｏｆコントローラを用いた３ｄ仮想オブジェクトとの相互作用

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2022128859A Active JP7186913B2 (ja) 2016-03-31 2022-08-12 姿勢および複数のｄｏｆコントローラを用いた３ｄ仮想オブジェクトとの相互作用
JP2023001014A Active JP7549681B2 (ja) 2016-03-31 2023-01-06 姿勢および複数のｄｏｆコントローラを用いた３ｄ仮想オブジェクトとの相互作用

Country Status (10)

Country Link
US (8) US10078919B2 (ja)
EP (2) EP3436863B1 (ja)
JP (4) JP6904973B2 (ja)
KR (3) KR20230098927A (ja)
CN (2) CN114995594A (ja)
AU (2) AU2017244109B2 (ja)
CA (1) CA3018758A1 (ja)
IL (3) IL303608A (ja)
NZ (1) NZ746640A (ja)
WO (1) WO2017172982A1 (ja)

Families Citing this family (113)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105188516B (zh) 2013-03-11 2017-12-22 奇跃公司 用于增强和虚拟现实的系统与方法
KR102458124B1 (ko) 2013-03-15 2022-10-21 매직 립, 인코포레이티드 디스플레이 시스템 및 방법
JP6344311B2 (ja) * 2015-05-26 2018-06-20 ソニー株式会社 表示装置、情報処理システム及び制御方法
KR20230098927A (ko) 2016-03-31 2023-07-04 매직 립, 인코포레이티드 포즈들 및 멀티-dof 제어기들을 사용하는 3d 가상 객체들과상호작용들
WO2018013495A1 (en) * 2016-07-11 2018-01-18 Gravity Jack, Inc. Augmented reality methods and devices
US11269480B2 (en) * 2016-08-23 2022-03-08 Reavire, Inc. Controlling objects using virtual rays
US10692287B2 (en) * 2017-04-17 2020-06-23 Microsoft Technology Licensing, Llc Multi-step placement of virtual objects
AU2018256365A1 (en) 2017-04-19 2019-10-31 Magic Leap, Inc. Multimodal task execution and text editing for a wearable system
WO2018198909A1 (ja) * 2017-04-28 2018-11-01 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法及びプログラム
US11184574B2 (en) 2017-07-17 2021-11-23 Facebook, Inc. Representing real-world objects with a virtual reality environment
GB2567172A (en) * 2017-10-04 2019-04-10 Nokia Technologies Oy Grouping and transport of audio objects
KR102029906B1 (ko) * 2017-11-10 2019-11-08 전자부품연구원 이동수단의 가상현실 콘텐츠 제공 장치 및 방법
KR102040858B1 (ko) 2017-11-29 2019-11-06 한국과학기술연구원 가상 공간의 인터랙션 분석 시스템 및 방법
WO2019127052A1 (zh) * 2017-12-26 2019-07-04 深圳市大疆创新科技有限公司 一种飞行轨迹原路复演方法及飞行器
CN108319363A (zh) * 2018-01-09 2018-07-24 北京小米移动软件有限公司 基于vr的产品展示方法、装置及电子设备
US10855564B2 (en) 2018-01-15 2020-12-01 Worcester Polytechnic Institute Visualization of network data as a three-dimensional hierarchical data structure in a mixed reality environment
US10854003B2 (en) * 2018-01-15 2020-12-01 Worcester Polytechnic Institute Visualization of network data as a three-dimensional hierarchical data structure in a mixed reality environment
US10540941B2 (en) 2018-01-30 2020-01-21 Magic Leap, Inc. Eclipse cursor for mixed reality displays
US11567627B2 (en) 2018-01-30 2023-01-31 Magic Leap, Inc. Eclipse cursor for virtual content in mixed reality displays
US10565718B2 (en) * 2018-04-18 2020-02-18 Faro Technologies, Inc. System and method of scanning an environment
WO2019213111A1 (en) * 2018-04-30 2019-11-07 Meta View, Inc. System and method for presenting virtual content in an interactive space
JP7341166B2 (ja) 2018-05-22 2023-09-08 マジック リープ， インコーポレイテッド ウェアラブルシステムのためのトランスモード入力融合
US10818093B2 (en) 2018-05-25 2020-10-27 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
US10984600B2 (en) 2018-05-25 2021-04-20 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
US11157159B2 (en) 2018-06-07 2021-10-26 Magic Leap, Inc. Augmented reality scrollbar
US10885709B2 (en) * 2018-06-14 2021-01-05 Robert Labron Virtual reality software system and method for treating medical condition in user
US11733824B2 (en) * 2018-06-22 2023-08-22 Apple Inc. User interaction interpreter
CN112352189B (zh) * 2018-06-29 2022-07-22 华为技术有限公司 用于显示三维图像的装置和方法
EP3599539B1 (en) * 2018-07-26 2023-08-23 Nokia Technologies Oy Rendering objects in virtual views
US10861249B2 (en) 2018-07-27 2020-12-08 The Q Digital Technologies, Inc. Methods and system for manipulating digital assets on a three-dimensional viewing platform
US11141645B2 (en) 2018-09-11 2021-10-12 Real Shot Inc. Athletic ball game using smart glasses
US11103763B2 (en) 2018-09-11 2021-08-31 Real Shot Inc. Basketball shooting game using smart glasses
WO2020059277A1 (ja) * 2018-09-20 2020-03-26 富士フイルム株式会社 情報処理装置、情報処理システム、情報処理方法、及びプログラム
ES2716012B2 (es) * 2018-09-28 2020-07-22 Univ Leon Sistema y metodo de interaccion en entornos virtuales utilizando dispositivos hapticos
KR20200094396A (ko) * 2019-01-30 2020-08-07 삼성전자주식회사 전자 장치 및 복수의 액션들을 포함하는 태스크를 결정하는 방법
US11442549B1 (en) * 2019-02-07 2022-09-13 Apple Inc. Placement of 3D effects based on 2D paintings
TWI725574B (zh) * 2019-02-22 2021-04-21 宏達國際電子股份有限公司 頭戴式顯示裝置以及眼球追蹤游標的顯示方法
CN111752425B (zh) * 2019-03-27 2022-02-15 北京外号信息技术有限公司 用于选择在设备的显示媒介上的交互对象的方法
CN110287764B (zh) * 2019-05-06 2022-01-11 深圳大学 姿势预测方法、装置、计算机设备和存储介质
CN110162178A (zh) * 2019-05-22 2019-08-23 努比亚技术有限公司 说明信息的展示方法、可穿戴设备以及存储介质
DE102019207803A1 (de) * 2019-05-28 2020-12-03 Friedrich-Alexander-Universität Erlangen-Nürnberg Registrierungseinrichtung, Verfahren zum Registrieren, entsprechendes Computerprogramm und computerlesbares Speichermedium
US11334212B2 (en) 2019-06-07 2022-05-17 Facebook Technologies, Llc Detecting input in artificial reality systems based on a pinch and pull gesture
US11533468B2 (en) 2019-06-27 2022-12-20 Samsung Electronics Co., Ltd. System and method for generating a mixed reality experience
CN111857367B (zh) * 2019-07-10 2023-06-27 深圳市工匠社科技有限公司 虚拟角色控制方法及装置
US10841483B1 (en) * 2019-07-11 2020-11-17 Denso International America, Inc. System and method for calibrating at least one camera and a light detection and ranging sensor
KR102614496B1 (ko) * 2019-08-09 2023-12-15 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법
US20210063745A1 (en) * 2019-08-27 2021-03-04 Apple Inc. Transparent Display System With Peripheral Illumination
US11176745B2 (en) 2019-09-20 2021-11-16 Facebook Technologies, Llc Projection casting in virtual environments
US11170576B2 (en) 2019-09-20 2021-11-09 Facebook Technologies, Llc Progressive display of virtual objects
US10802600B1 (en) * 2019-09-20 2020-10-13 Facebook Technologies, Llc Virtual interactions at a distance
US10991163B2 (en) 2019-09-20 2021-04-27 Facebook Technologies, Llc Projection casting in virtual environments
US11189099B2 (en) * 2019-09-20 2021-11-30 Facebook Technologies, Llc Global and local mode virtual object interactions
US11086406B1 (en) 2019-09-20 2021-08-10 Facebook Technologies, Llc Three-state gesture virtual controls
WO2021073733A1 (en) * 2019-10-16 2021-04-22 Supsi Method for controlling a device by a human
US11086476B2 (en) * 2019-10-23 2021-08-10 Facebook Technologies, Llc 3D interactions with web content
US11493989B2 (en) * 2019-11-08 2022-11-08 Magic Leap, Inc. Modes of user interaction
WO2021113540A1 (en) * 2019-12-06 2021-06-10 Magic Leap, Inc. Virtual, augmented, and mixed reality systems and methods
US11175730B2 (en) 2019-12-06 2021-11-16 Facebook Technologies, Llc Posture-based virtual space configurations
US11475639B2 (en) 2020-01-03 2022-10-18 Meta Platforms Technologies, Llc Self presence in artificial reality
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
EP4094119A4 (en) * 2020-01-24 2024-04-10 Magic Leap, Inc. MOVING AND INTERACTING WITH CONTENT USING ONE CONTROL DEVICE
CN115087905A (zh) 2020-02-10 2022-09-20 奇跃公司 在混合现实环境中相对于三维容器的以身体为中心的内容定位
EP4104436A4 (en) * 2020-02-14 2024-03-13 Magic Leap, Inc. VIRTUAL OBJECT MOVEMENT SPEED CURVE FOR VIRTUAL AND AUGMENTED REALITY DISPLAY SYSTEMS
WO2021173839A1 (en) * 2020-02-26 2021-09-02 Magic Leap, Inc. Hand gesture input for wearable system
WO2021173850A1 (en) * 2020-02-27 2021-09-02 Magic Leap, Inc. Cross reality system for large scale environment reconstruction
CN111383348A (zh) * 2020-03-17 2020-07-07 北京理工大学 一种虚拟现实远程同步控制机器人的方法
JP2021157277A (ja) * 2020-03-25 2021-10-07 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
JP2021162993A (ja) 2020-03-31 2021-10-11 ソニーグループ株式会社 情報処理装置、情報処理方法および情報処理プログラム
US11455078B1 (en) 2020-03-31 2022-09-27 Snap Inc. Spatial navigation and creation interface
US11257280B1 (en) * 2020-05-28 2022-02-22 Facebook Technologies, Llc Element-based switching of ray casting rules
CN111651048B (zh) * 2020-06-08 2024-01-05 浙江商汤科技开发有限公司 多虚拟对象排列展示方法、装置、电子设备及存储介质
CN115989474A (zh) * 2020-06-22 2023-04-18 苹果公司 显示虚拟显示器
US11256336B2 (en) 2020-06-29 2022-02-22 Facebook Technologies, Llc Integration of artificial reality interaction modes
ES2894178B2 (es) * 2020-08-07 2022-09-13 Ascasibar Ioritz Hontecillas Sistema de generación de gráficos en tres dimensiones
US20220057914A1 (en) * 2020-08-19 2022-02-24 Jason Sauers Augmented reality targeting system
US11176755B1 (en) 2020-08-31 2021-11-16 Facebook Technologies, Llc Artificial reality augments and surfaces
US11227445B1 (en) 2020-08-31 2022-01-18 Facebook Technologies, Llc Artificial reality augments and surfaces
WO2022046340A1 (en) 2020-08-31 2022-03-03 Sterling Labs Llc Object engagement based on finger manipulation data and untethered inputs
US11178376B1 (en) 2020-09-04 2021-11-16 Facebook Technologies, Llc Metering for display modes in artificial reality
CN116324680A (zh) * 2020-09-11 2023-06-23 苹果公司 用于操纵环境中的对象的方法
CN112198962B (zh) * 2020-09-30 2023-04-28 聚好看科技股份有限公司 一种与虚拟现实设备交互的方法及虚拟现实设备
US11113893B1 (en) 2020-11-17 2021-09-07 Facebook Technologies, Llc Artificial reality environment with glints displayed by an extra reality device
US11797162B2 (en) 2020-12-22 2023-10-24 Snap Inc. 3D painting on an eyewear device
US11782577B2 (en) 2020-12-22 2023-10-10 Snap Inc. Media content player on an eyewear device
US11461973B2 (en) 2020-12-22 2022-10-04 Meta Platforms Technologies, Llc Virtual reality locomotion via hand gesture
US12105283B2 (en) * 2020-12-22 2024-10-01 Snap Inc. Conversation interface on an eyewear device
US11409405B1 (en) 2020-12-22 2022-08-09 Facebook Technologies, Llc Augment orchestration in an artificial reality environment
US11294475B1 (en) 2021-02-08 2022-04-05 Facebook Technologies, Llc Artificial reality multi-modal input switching model
US11995230B2 (en) * 2021-02-11 2024-05-28 Apple Inc. Methods for presenting and sharing content in an environment
EP4089506A1 (en) * 2021-05-10 2022-11-16 Facebook Technologies, LLC Element-based switching of ray casting rules
US11295503B1 (en) 2021-06-28 2022-04-05 Facebook Technologies, Llc Interactive avatars in artificial reality
US11762952B2 (en) 2021-06-28 2023-09-19 Meta Platforms Technologies, Llc Artificial reality application lifecycle
US11521361B1 (en) 2021-07-01 2022-12-06 Meta Platforms Technologies, Llc Environment model with surfaces and per-surface volumes
US12008717B2 (en) 2021-07-07 2024-06-11 Meta Platforms Technologies, Llc Artificial reality environment control through an artificial reality environment schema
CN113838215B (zh) * 2021-07-30 2024-09-24 歌尔科技有限公司 Vr碰撞检测方法及系统
US12056268B2 (en) 2021-08-17 2024-08-06 Meta Platforms Technologies, Llc Platformization of mixed reality objects in virtual reality environments
US20230083302A1 (en) * 2021-09-12 2023-03-16 Sony Interactive Entertainment Inc. Local environment scanning to characterize physical environment for use in vr/ar
US11748944B2 (en) 2021-10-27 2023-09-05 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US11798247B2 (en) 2021-10-27 2023-10-24 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US12093447B2 (en) 2022-01-13 2024-09-17 Meta Platforms Technologies, Llc Ephemeral artificial reality experiences
US12067688B2 (en) 2022-02-14 2024-08-20 Meta Platforms Technologies, Llc Coordination of interactions of virtual objects
US12008160B2 (en) 2022-03-30 2024-06-11 Apple Inc. Eye tracking based selection of a user interface (UI) element based on targeting criteria
US12026527B2 (en) * 2022-05-10 2024-07-02 Meta Platforms Technologies, Llc World-controlled and application-controlled augments in an artificial-reality environment
US20230385790A1 (en) * 2022-05-24 2023-11-30 Flybits Inc. Decentralized, open banking, contextual decision support tool for virtual, augmented, and mixed reality
US12058301B2 (en) 2022-06-03 2024-08-06 Apple Inc. Electronic device that displays virtual objects
CN115344121A (zh) * 2022-08-10 2022-11-15 北京字跳网络技术有限公司 用于处理手势事件的方法、装置、设备和存储介质
CN115328309A (zh) * 2022-08-10 2022-11-11 北京字跳网络技术有限公司 用于虚拟对象的交互方法、装置、设备和存储介质
US12097427B1 (en) 2022-08-26 2024-09-24 Meta Platforms Technologies, Llc Alternate avatar controls
WO2024090299A1 (ja) * 2022-10-24 2024-05-02 ソニーグループ株式会社 情報処理装置及び情報処理方法
US11947862B1 (en) 2022-12-30 2024-04-02 Meta Platforms Technologies, Llc Streaming native application content to artificial reality devices
CN118335018A (zh) * 2023-01-12 2024-07-12 奥图码股份有限公司 显示器、控制显示器的方法以及显示系统
WO2024172607A1 (ko) * 2023-02-17 2024-08-22 삼성전자 주식회사 아이콘을 표시하기 위한 전자 장치, 그 동작 방법과, 비 일시적 컴퓨터 판독 가능 저장 매체
US11991222B1 (en) 2023-05-02 2024-05-21 Meta Platforms Technologies, Llc Persistent call control user interface element in an artificial reality environment

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010218195A (ja) * 2009-03-17 2010-09-30 Cellius Inc 画像生成システム、プログラム、情報記憶媒体、及びサーバシステム
JP2012155678A (ja) * 2011-01-28 2012-08-16 Konica Minolta Holdings Inc 表示システム、表示処理装置、表示方法、および表示プログラム
JP2015536514A (ja) * 2012-11-30 2015-12-21 マイクロソフト テクノロジー ライセンシング，エルエルシー Ｉｍｕを用いた直接ホログラム操作

Family Cites Families (149)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04372012A (ja) 1991-06-20 1992-12-25 Fuji Xerox Co Ltd 入力装置
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
US5590268A (en) 1993-03-31 1996-12-31 Kabushiki Kaisha Toshiba System and method for evaluating a workspace represented by a three-dimensional model
JP3461980B2 (ja) 1995-08-25 2003-10-27 株式会社東芝 高速描画方法および装置
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
JP3822357B2 (ja) 1998-02-09 2006-09-20 株式会社東芝 マルチモーダル入出力装置のインタフェース装置及びその方法
US6396509B1 (en) * 1998-02-21 2002-05-28 Koninklijke Philips Electronics N.V. Attention-based interaction in a virtual environment
JP2000113220A (ja) 1998-09-30 2000-04-21 Sony Corp 情報処理装置および方法、並びに提供媒体
JP3126700B2 (ja) 1999-02-05 2001-01-22 キヤノン株式会社 光学機器
US20050275626A1 (en) 2000-06-21 2005-12-15 Color Kinetics Incorporated Entertainment lighting system
JP3442736B2 (ja) * 2000-11-30 2003-09-02 コナミ株式会社 画像処理装置、画像処理方法及び情報記憶媒体
GB2376397A (en) 2001-06-04 2002-12-11 Hewlett Packard Co Virtual or augmented reality
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US6776480B2 (en) 2001-07-18 2004-08-17 Sola International Holdings, Ltd. Spectacle frames for shaped lenses defined by monoformal carrier surfaces
WO2005043218A1 (ja) 2003-10-30 2005-05-12 Brother Kogyo Kabushiki Kaisha 画像表示装置
USD514570S1 (en) 2004-06-24 2006-02-07 Microsoft Corporation Region of a fingerprint scanning device with an illuminated ring
US7561717B2 (en) 2004-07-09 2009-07-14 United Parcel Service Of America, Inc. System and method for displaying item information
WO2006073936A2 (en) * 2005-01-04 2006-07-13 Qmotions, Inc. Baseball simulation device
US7737965B2 (en) * 2005-06-09 2010-06-15 Honeywell International Inc. Handheld synthetic vision device
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
JP5305561B2 (ja) 2006-02-22 2013-10-02 任天堂株式会社 ゲームプログラムおよびゲーム装置
US20070222746A1 (en) * 2006-03-23 2007-09-27 Accenture Global Services Gmbh Gestural input for navigation and manipulation in virtual space
JP4989383B2 (ja) 2007-09-10 2012-08-01 キヤノン株式会社 情報処理装置、情報処理方法
JP5145569B2 (ja) 2007-12-19 2013-02-20 株式会社国際電気通信基礎技術研究所 対象物特定方法および装置
JP2009187426A (ja) 2008-02-08 2009-08-20 Sony Corp 記録再生装置
US8466931B2 (en) 2008-04-24 2013-06-18 International Business Machines Corporation Color modification of objects in a virtual universe
JP2010033296A (ja) * 2008-07-28 2010-02-12 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
US8266536B2 (en) * 2008-11-20 2012-09-11 Palo Alto Research Center Incorporated Physical-virtual environment interface
US9064023B2 (en) 2008-12-29 2015-06-23 Avaya Inc. Providing web content in the context of a virtual environment
US9176579B2 (en) 2008-12-29 2015-11-03 Avaya Inc. Visual indication of user interests in a computer-generated virtual environment
US20100177117A1 (en) 2009-01-14 2010-07-15 International Business Machines Corporation Contextual templates for modifying objects in a virtual universe
US20100240988A1 (en) 2009-03-19 2010-09-23 Kenneth Varga Computer-aided system for 360 degree heads up display of safety/mission critical data
US20100265182A1 (en) 2009-04-20 2010-10-21 Microsoft Corporation Context-based state change for an adaptive input device
US20100325572A1 (en) 2009-06-23 2010-12-23 Microsoft Corporation Multiple mouse character entry
US9542010B2 (en) 2009-09-15 2017-01-10 Palo Alto Research Center Incorporated System for interacting with objects in a virtual environment
US20110161060A1 (en) 2009-12-29 2011-06-30 Changkyu Kim Optimization-Based exact formulation and solution of crowd simulation in virtual worlds
KR101114750B1 (ko) 2010-01-29 2012-03-05 주식회사 팬택 다차원 영상을 이용한 사용자 인터페이스 장치
US8704879B1 (en) * 2010-08-31 2014-04-22 Nintendo Co., Ltd. Eye tracking enabling 3D viewing on conventional 2D display
WO2012040827A2 (en) 2010-10-01 2012-04-05 Smart Technologies Ulc Interactive input system having a 3d input space
US9122053B2 (en) * 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US9292973B2 (en) * 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US8576276B2 (en) 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
JP5472056B2 (ja) 2010-11-19 2014-04-16 コニカミノルタ株式会社 表示システム、表示処理装置、表示方法、および表示プログラム
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
CA2822978C (en) 2010-12-24 2019-02-19 Hong Hua An ergonomic head mounted display device and optical system
JP5960796B2 (ja) 2011-03-29 2016-08-02 クアルコム，インコーポレイテッド ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ
US20120264510A1 (en) * 2011-04-12 2012-10-18 Microsoft Corporation Integrated virtual environment
JP6316186B2 (ja) 2011-05-06 2018-04-25 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 広範囲同時遠隔ディジタル提示世界
US20120320080A1 (en) * 2011-06-14 2012-12-20 Microsoft Corporation Motion based virtual object navigation
USD658094S1 (en) 2011-06-18 2012-04-24 Dunn Scott E Rounded square display device for a cord
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
WO2013028813A1 (en) 2011-08-23 2013-02-28 Microsoft Corporation Implicit sharing and privacy control through physical behaviors using sensor-rich devices
JP5762892B2 (ja) 2011-09-06 2015-08-12 ビッグローブ株式会社 情報表示システム、情報表示方法、及び情報表示用プログラム
US10795448B2 (en) 2011-09-29 2020-10-06 Magic Leap, Inc. Tactile glove for human-computer interaction
US20130104085A1 (en) 2011-10-21 2013-04-25 Digital Artforms, Inc. Systems and methods for human-computer interaction using a two handed interface
RU2017115669A (ru) * 2011-10-28 2019-01-28 Мэджик Лип, Инк. Система и способ для дополненной и виртуальной реальности
US20130125066A1 (en) 2011-11-14 2013-05-16 Microsoft Corporation Adaptive Area Cursor
KR102116697B1 (ko) 2011-11-23 2020-05-29 매직 립, 인코포레이티드 3차원 가상 및 증강 현실 디스플레이 시스템
US20130215230A1 (en) * 2012-02-22 2013-08-22 Matt Miesnieks Augmented Reality System Using a Portable Device
US8878840B2 (en) * 2012-03-06 2014-11-04 Autodesk, Inc. Devices and methods for displaying a sub-section of a virtual model
KR102028732B1 (ko) 2012-04-05 2019-10-04 매직 립, 인코포레이티드 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들
JP6056178B2 (ja) 2012-04-11 2017-01-11 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
US20130285885A1 (en) 2012-04-25 2013-10-31 Andreas G. Nowatzyk Head-mounted light-field display
US8989535B2 (en) 2012-06-04 2015-03-24 Microsoft Technology Licensing, Llc Multiple waveguide imaging structure
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9310559B2 (en) 2012-06-11 2016-04-12 Magic Leap, Inc. Multiple depth plane three-dimensional display using a wave guide reflector array projector
US9389682B2 (en) 2012-07-02 2016-07-12 Sony Interactive Entertainment Inc. Methods and systems for interaction with an expanded information space
US8754829B2 (en) 2012-08-04 2014-06-17 Paul Lapstun Scanning light field camera and display
US8836768B1 (en) 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
AU2013315607A1 (en) 2012-09-11 2015-04-02 Magic Leap, Inc Ergonomic head mounted display device and optical system
JP2014085954A (ja) 2012-10-25 2014-05-12 Kyocera Corp 携帯端末装置、プログラムおよび入力操作受け付け方法
US10503359B2 (en) 2012-11-15 2019-12-10 Quantum Interface, Llc Selection attractive interfaces, systems and apparatuses including such interfaces, methods for making and using same
US9317972B2 (en) 2012-12-18 2016-04-19 Qualcomm Incorporated User interface for augmented reality enabled devices
KR20140082266A (ko) * 2012-12-24 2014-07-02 한국전자통신연구원 혼합현실 콘텐츠 시뮬레이션 시스템
JP2014134922A (ja) 2013-01-09 2014-07-24 Sony Corp 情報処理装置、情報処理方法およびプログラム
IL293789B2 (en) 2013-01-15 2023-08-01 Magic Leap Inc A system for scanning electromagnetic imaging radiation
US9696867B2 (en) * 2013-01-15 2017-07-04 Leap Motion, Inc. Dynamic user interactions for display control and identifying dominant gestures
US9202313B2 (en) 2013-01-21 2015-12-01 Microsoft Technology Licensing, Llc Virtual interaction with image projection
US20150262424A1 (en) 2013-01-31 2015-09-17 Google Inc. Depth and Focus Discrimination for a Head-mountable device using a Light-Field Display System
EP2767953A1 (en) 2013-02-13 2014-08-20 BlackBerry Limited Device with enhanced augmented reality functionality
US20140240351A1 (en) * 2013-02-27 2014-08-28 Michael Scavezze Mixed reality augmentation
US20140258942A1 (en) 2013-03-05 2014-09-11 Intel Corporation Interaction of multiple perceptual sensing inputs
JP5962547B2 (ja) 2013-03-08 2016-08-03 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
CN105188516B (zh) 2013-03-11 2017-12-22 奇跃公司 用于增强和虚拟现实的系统与方法
KR102458124B1 (ko) 2013-03-15 2022-10-21 매직 립, 인코포레이티드 디스플레이 시스템 및 방법
KR102019125B1 (ko) 2013-03-18 2019-09-06 엘지전자 주식회사 3d 디스플레이 디바이스 장치 및 제어 방법
JP5900393B2 (ja) 2013-03-21 2016-04-06 ソニー株式会社 情報処理装置、操作制御方法及びプログラム
JP2016521480A (ja) 2013-03-22 2016-07-21 セイコーエプソン株式会社 赤外線ビデオ表示アイウェア
EP2983138A4 (en) 2013-04-04 2017-02-22 Sony Corporation Display control device, display control method and program
US9443354B2 (en) 2013-04-29 2016-09-13 Microsoft Technology Licensing, Llc Mixed reality interactions
US9245388B2 (en) 2013-05-13 2016-01-26 Microsoft Technology Licensing, Llc Interactions of virtual objects with surfaces
US9383819B2 (en) 2013-06-03 2016-07-05 Daqri, Llc Manipulation of virtual object in augmented reality via intent
US9908048B2 (en) 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US9329682B2 (en) 2013-06-18 2016-05-03 Microsoft Technology Licensing, Llc Multi-step virtual object selection
US9129430B2 (en) 2013-06-25 2015-09-08 Microsoft Technology Licensing, Llc Indicating out-of-view augmented reality images
US10376777B2 (en) 2013-06-26 2019-08-13 Sony Interactive Entertainment Inc. Information processor, control method of information processor, program, and information storage medium
KR102165444B1 (ko) 2013-08-28 2020-10-14 엘지전자 주식회사 증강현실 이미지를 디스플레이하는 포터블 디바이스 및 그 제어 방법
US9710067B2 (en) * 2013-09-05 2017-07-18 Atheer, Inc. Method and apparatus for manipulating content in an interface
KR20150037254A (ko) 2013-09-30 2015-04-08 엘지전자 주식회사 착용형 디스플레이 디바이스 및 레이어 제어 방법
US10217284B2 (en) 2013-09-30 2019-02-26 Qualcomm Incorporated Augmented virtuality
EP3053008B1 (en) 2013-10-01 2019-12-25 Quantum Interface, Llc Selection attractive interfaces and systems including such interfaces
IL302408B2 (en) 2013-10-16 2024-09-01 Magic Leap Inc An augmented or virtual reality head device with intrapupillary distance adjustment
EP3062237A4 (en) 2013-10-24 2017-06-28 Sony Corporation Information processing device, information processing method, and program
US9652892B2 (en) * 2013-10-29 2017-05-16 Microsoft Technology Licensing, Llc Mixed reality spotlight
CN110542938B (zh) * 2013-11-27 2023-04-18 奇跃公司 虚拟和增强现实系统与方法
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
JP2015114757A (ja) 2013-12-10 2015-06-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
KR20150084485A (ko) * 2014-01-14 2015-07-22 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
CN106461955B (zh) 2014-01-31 2019-08-13 奇跃公司 显示增强现实的方法
NZ722903A (en) 2014-01-31 2020-05-29 Magic Leap Inc Multi-focal display system and method
JP6303550B2 (ja) 2014-02-03 2018-04-04 ブラザー工業株式会社 表示プログラムおよび表示装置
JP6181574B2 (ja) 2014-02-20 2017-08-16 ヤフー株式会社 情報通知装置、情報通知方法および情報通知プログラム
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
EP3382443B1 (en) * 2014-03-21 2023-07-26 Samsung Electronics Co., Ltd. Head-mounted display and method of operating the same
US9681122B2 (en) 2014-04-21 2017-06-13 Zspace, Inc. Modifying displayed images in the coupled zone of a stereoscopic display based on user comfort
WO2016018488A2 (en) 2014-05-09 2016-02-04 Eyefluence, Inc. Systems and methods for discerning eye signals and continuous biometric identification
USD759657S1 (en) 2014-05-19 2016-06-21 Microsoft Corporation Connector with illumination region
CN113253476B (zh) 2014-05-30 2022-12-27 奇跃公司 采用虚拟或增强现实装置生成虚拟内容显示的方法和系统
US20170220225A1 (en) 2014-06-02 2017-08-03 Apelab Sarl A method and system for providing interactivity within a virtual environment
US9971492B2 (en) 2014-06-04 2018-05-15 Quantum Interface, Llc Dynamic environment for object and attribute display and interaction
USD752529S1 (en) 2014-06-09 2016-03-29 Comcast Cable Communications, Llc Electronic housing with illuminated region
CN112651288B (zh) 2014-06-14 2022-09-20 奇跃公司 用于产生虚拟和增强现实的方法和系统
US20150378440A1 (en) 2014-06-27 2015-12-31 Microsoft Technology Licensing, Llc Dynamically Directing Interpretation of Input Data Based on Contextual Information
US10269184B2 (en) 2014-07-23 2019-04-23 Sony Corporation Information processing apparatus, information processing method, and image display system
US20160027218A1 (en) 2014-07-25 2016-01-28 Tom Salter Multi-user gaze projection using head mounted display devices
US9766460B2 (en) 2014-07-25 2017-09-19 Microsoft Technology Licensing, Llc Ground plane adjustment in a virtual reality environment
US9990774B2 (en) * 2014-08-08 2018-06-05 Sony Interactive Entertainment Inc. Sensory stimulus management in head mounted display
WO2016031358A1 (ja) 2014-08-27 2016-03-03 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
FR3028727B1 (fr) 2014-11-21 2018-01-26 L'oreal Applicateur pour appliquer un produit cosmetique de maquillage ou de soin
US10740971B2 (en) * 2015-01-20 2020-08-11 Microsoft Technology Licensing, Llc Augmented reality field of view object follower
USD758367S1 (en) 2015-05-14 2016-06-07 Magic Leap, Inc. Virtual reality headset
US9965697B2 (en) * 2015-05-18 2018-05-08 Intel Corporation Head pose determination using a camera and a distance determination
CN107683497B (zh) 2015-06-15 2022-04-08 索尼公司 信息处理设备、信息处理方法及程序
EP3118722B1 (en) 2015-07-14 2020-07-01 Nokia Technologies Oy Mediated reality
US10101803B2 (en) 2015-08-26 2018-10-16 Google Llc Dynamic switching and merging of head, gesture and touch input in virtual reality
USD805734S1 (en) 2016-03-04 2017-12-26 Nike, Inc. Shirt
USD794288S1 (en) 2016-03-11 2017-08-15 Nike, Inc. Shoe with illuminable sole light sequence
KR20230098927A (ko) 2016-03-31 2023-07-04 매직 립, 인코포레이티드 포즈들 및 멀티-dof 제어기들을 사용하는 3d 가상 객체들과상호작용들
WO2017184604A1 (en) 2016-04-18 2017-10-26 Ifm Therapeutics, Inc Compounds and compositions for treating conditions associated with nlrp activity
KR102548818B1 (ko) 2016-04-21 2023-06-28 매직 립, 인코포레이티드 시야 주위의 시각적 아우라
CA3033344A1 (en) 2016-08-11 2018-02-15 Magic Leap, Inc. Automatic placement of a virtual object in a three-dimensional space
US10388077B2 (en) 2017-04-25 2019-08-20 Microsoft Technology Licensing, Llc Three-dimensional environment authoring and generation
KR20220100102A (ko) 2017-09-29 2022-07-14 애플 인크. 시선-기반 사용자 상호작용
JP2023097014A (ja) 2021-12-27 2023-07-07 株式会社リコー 液体吐出装置及び液体吐出方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010218195A (ja) * 2009-03-17 2010-09-30 Cellius Inc 画像生成システム、プログラム、情報記憶媒体、及びサーバシステム
JP2012155678A (ja) * 2011-01-28 2012-08-16 Konica Minolta Holdings Inc 表示システム、表示処理装置、表示方法、および表示プログラム
JP2015536514A (ja) * 2012-11-30 2015-12-21 マイクロソフト テクノロジー ライセンシング，エルエルシー Ｉｍｕを用いた直接ホログラム操作

Also Published As

Publication number Publication date
US20240338912A1 (en) 2024-10-10
US11657579B2 (en) 2023-05-23
US20170287225A1 (en) 2017-10-05
EP4418070A2 (en) 2024-08-21
US20190355180A1 (en) 2019-11-21
US10078919B2 (en) 2018-09-18
US20230245406A1 (en) 2023-08-03
WO2017172982A1 (en) 2017-10-05
JP7186913B2 (ja) 2022-12-09
JP2023052243A (ja) 2023-04-11
JP2019517049A (ja) 2019-06-20
KR102551198B1 (ko) 2023-07-03
EP3436863A1 (en) 2019-02-06
JP6904973B2 (ja) 2021-07-21
NZ746640A (en) 2020-03-27
KR20180124136A (ko) 2018-11-20
CA3018758A1 (en) 2017-10-05
AU2022224790A1 (en) 2022-09-22
US20180365901A1 (en) 2018-12-20
CN114995594A (zh) 2022-09-02
EP3436863B1 (en) 2024-07-10
AU2017244109A1 (en) 2018-10-11
IL289973A (en) 2022-03-01
US10510191B2 (en) 2019-12-17
IL261890B (en) 2022-02-01
KR20220121922A (ko) 2022-09-01
US11049328B2 (en) 2021-06-29
CN109196447B (zh) 2022-06-17
KR20230098927A (ko) 2023-07-04
US20200082637A1 (en) 2020-03-12
IL289973B1 (en) 2023-07-01
US20200327737A1 (en) 2020-10-15
AU2017244109B2 (en) 2022-06-23
CN109196447A (zh) 2019-01-11
EP3436863A4 (en) 2019-11-27
KR102438052B1 (ko) 2022-08-29
US10417831B2 (en) 2019-09-17
JP2022159417A (ja) 2022-10-17
IL261890A (en) 2018-10-31
IL303608A (en) 2023-08-01
US20220020218A1 (en) 2022-01-20
US12051167B2 (en) 2024-07-30
JP7549681B2 (ja) 2024-09-11
US10733806B2 (en) 2020-08-04
IL289973B2 (en) 2023-11-01
JP7209041B2 (ja) 2023-01-19

Similar Documents

Publication Publication Date Title
JP6904973B2 (ja) 姿勢および複数のｄｏｆコントローラを用いた３ｄ仮想オブジェクトとの相互作用
JP7116166B2 (ja) 拡張現実システムのための仮想レチクル
JP7118007B2 (ja) 視野周辺の視覚的背光
NZ786547A (en) Interactions with 3d virtual objects using poses and multiple-dof controllers
NZ786551A (en) Interactions with 3d virtual objects using poses and multiple-dof controllers

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220513

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220812

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230106

R150 Certificate of patent or registration of utility model

Ref document number: 7209041

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150