JP2020522795A - 眼追跡較正技術 - Google Patents

眼追跡較正技術 Download PDF

Info

Publication number
JP2020522795A
JP2020522795A JP2019565507A JP2019565507A JP2020522795A JP 2020522795 A JP2020522795 A JP 2020522795A JP 2019565507 A JP2019565507 A JP 2019565507A JP 2019565507 A JP2019565507 A JP 2019565507A JP 2020522795 A JP2020522795 A JP 2020522795A
Authority
JP
Japan
Prior art keywords
user
eye
virtual
target
reticle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019565507A
Other languages
English (en)
Other versions
JP7239493B2 (ja
Inventor
ベンジャミン ジョセフ ウシンスキー，
ベンジャミン ジョセフ ウシンスキー，
ヤン シュー，
ヤン シュー，
ブラッドリー ヴィンセント スチュアート，
ブラッドリー ヴィンセント スチュアート，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2020522795A publication Critical patent/JP2020522795A/ja
Priority to JP2022148944A priority Critical patent/JP7486276B2/ja
Application granted granted Critical
Publication of JP7239493B2 publication Critical patent/JP7239493B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/22—Setup operations, e.g. calibration, key configuration or button assignment
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Cardiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)
  • Eye Examination Apparatus (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Fertilizing (AREA)

Abstract

ウェアラブルシステムにおける眼追跡較正のためのシステムおよび方法が、説明される。ウェアラブルシステムは、３次元（３Ｄ）仮想コンテンツを提示し、ユーザが、眼視線を使用して、３Ｄ仮想コンテンツを相互作用することを可能にすることができる。眼追跡較正の間、ウェアラブルシステムは、眼追跡データが入手されている間、ユーザが実際に較正標的を見ていることを検証することができる。検証は、ユーザの頭部姿勢および前庭動眼反射と関連付けられたデータに基づいて、実施されてもよい。

Description

（関連出願の相互参照）
本願は、米国仮出願第６２／５１２，９５４号， 出願日２０１７年５月３１日，発明の名称 “ＥＹＥ ＴＲＡＣＫＩＮＧ ＣＡＬＩＢＲＡＴＩＯＮ ＴＥＣＨＮＩＱＵＥＳ”に対する３５ Ｕ．Ｓ．Ｃ． § １１９（ｅ）のもとでの優先権の利益を主張するものであり、その開示は、全体が参照により本明細書中に援用される。
本開示は、仮想現実および拡張現実結像および可視化システムに関し、より具体的には、眼追跡のための較正技術に関する。
現代のコンピューティングおよびディスプレイ技術は、デジタル的に再現された画像またはその一部が、本物であるように見える、またはそのように知覚され得る様式でユーザに提示される、いわゆる「仮想現実」、「拡張現実」、または「複合現実」体験のためのシステムの開発を促進している。仮想現実または「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。拡張現実または「ＡＲ」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。複合現実または「ＭＲ」は、物理的および仮想オブジェクトが、共存し、リアルタイムで相互作用する、新しい環境を生成するための実世界と仮想世界の融合に関連する。結論から述べると、ヒトの視知覚系は、非常に複雑であって、他の仮想または実世界画像要素間における仮想画像要素の快適かつ自然のような感覚で豊かな提示を促進する、ＶＲ、ＡＲ、またはＭＲ技術の生産は、困難である。本明細書に開示されるシステムおよび方法は、ＶＲ、ＡＲ、およびＭＲ技術に関連する種々の課題に対処する。
眼追跡較正の正確度を改良するための技術の種々の実施形態が、開示される。
ウェアラブルシステムにおける眼追跡較正のためのシステムおよび方法が、説明される。ウェアラブルシステムは、３次元（３Ｄ）仮想コンテンツを提示し、ユーザが、眼視線を使用して、３Ｄ仮想コンテンツを相互作用することを可能にすることができる。眼追跡較正の間、ウェアラブルシステムは、眼追跡データが入手されている間、ユーザが実際に較正標的を見ていることを検証することができる。検証は、ユーザの頭部姿勢および前庭動眼反射と関連付けられたデータに基づいて、実施されてもよい。
本明細書に説明される主題の１つ以上の実装の詳細が、付随の図面および以下の説明に記載される。他の特徴、側面、および利点は、説明、図面、および請求項から明白となるであろう。本概要または以下の詳細な説明のいずれも、本発明の主題の範囲を定義または限定することを主張するものではない。
図１は、人物によって視認されるある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。
図２は、ウェアラブルシステムの実施例を図式的に図示する。
図３は、複数の深度平面を使用して３次元画像をシミュレートするためのアプローチの側面を図式的に図示する。
図４は、画像情報をユーザに出力するための導波管スタックの実施例を図式的に図示する。
図５は、導波管によって出力され得る、例示的出射ビームを示す。
図６は、多焦点立体ディスプレイ、画像、またはライトフィールドの生成において使用される、導波管装置と、光を導波管装置へまたはそこから光学的に結合するための光学結合器サブシステムと、制御サブシステムとを含む、光学システムを示す、概略図である。
図７は、ウェアラブルシステムの実施例のブロック図である。
図８は、認識されるオブジェクトに関連して仮想コンテンツをレンダリングする方法の実施例のプロセスフロー図である。
図９は、ウェアラブルシステムの別の実施例のブロック図である。
図１０は、ウェアラブルシステムへのユーザ入力を決定するための方法の実施例のプロセスフロー図である。
図１１は、仮想ユーザインターフェースと相互作用するための方法の実施例のプロセスフロー図である。
図１２Ａは、眼追跡較正プロセスにおける例示的標的を図示する。
図１２Ｂは、眼追跡較正プロセスのための例示的場面を図式的に図示する。
図１２Ｃは、ユーザの頭部姿勢を使用して、ユーザが標的を見ているかどうかを検証する実施例を図示する。
図１３Ａは、レチクルがユーザのＦＯＶの中心にある、眼視線を検証する実施例を図示する。
図１３Ｂは、レチクルがユーザのＦＯＶの中心からずれた場所にレンダリングされる、眼視線を検証する実施例を図示する。
図１４Ａは、眼視線検証を伴う、例示的眼追跡較正プロセスのためのフローチャートを図示する。
図１４Ｂは、例示的眼視線検証プロセスのためのフローチャートを図示する。
図１５Ａおよび１５Ｂは、標的とレチクルとの間の距離に基づいてレチクルのサイズを動的に調節する実施例を図示する。 図１５Ａおよび１５Ｂは、標的とレチクルとの間の距離に基づいてレチクルのサイズを動的に調節する実施例を図示する。
図１６Ａおよび１６Ｂは、形状が類似する、レチクルおよび標的の実施例を図示する。 図１６Ａおよび１６Ｂは、形状が類似する、レチクルおよび標的の実施例を図示する。
図１７は、リグ空間内に固定されたレチクルを表す仮想オブジェクトが、ユーザの３次元環境内の標的位置の中にドラッグおよびドロップされる、眼視線検証の実施例を図示する。
図１８は、ロボット攻撃ゲームの一部としての眼視線検証の実施例を図示する。
図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図されない。加えて、本開示の図は、例証目的のためのものであって、縮尺通りに描かれていない。
概要
ウェアラブルデバイスは、仮想コンテンツを双方向ＶＲ／ＡＲ／ＭＲ環境内に提示することができる。仮想コンテンツは、例えば、頭部姿勢、眼視線、または身体姿勢等の種々の姿勢を通して、ユーザによって相互作用され得る、データ要素を備えてもよい。眼視線を使用したユーザ相互作用のコンテキストでは、ウェアラブルデバイスは、眼画像等の眼データを収集することができる（例えば、ウェアラブルデバイスの内向きに向いた結像システム内の眼カメラを介して）。ウェアラブルシステムは、ユーザの眼視線と視線ベクトル（ユーザの視線方向を示すことができる）との間の関連付けを提供する、マッピング行列に基づいて、ユーザの眼視線方向を計算することができる。ユーザ体験を改良するために、ウェアラブルデバイスは、マッピング行列を較正し、各人物の眼の一意性、装着されたときのユーザに対するウェアラブルデバイスの特定の配向、現在の環境条件（例えば、照明条件、温度等）、それらの組み合わせ、または同等物を考慮し得る、眼追跡較正プロセスを実施することができる。
眼追跡較正プロセスの間、ウェアラブルデバイスは、種々の仮想標的を提示し、ユーザの眼の視線に関する情報を収集しながら、ユーザに、これらの仮想標的を見るように指示することができる。しかしながら、ウェアラブルデバイスは、命令されるとき、ユーザが標的を実際に見ていることを検証するための機構を欠いている。ユーザが、指示された通り、標的を見ていない場合、ウェアラブルデバイスは、ユーザの視線方向を実際に反映しない、データを収集し得、これは、不正確度を較正に導入し、誤ったマッピング行列を生成させ得る。較正プロセスにおける不正確度の結果として、ウェアラブルデバイスが、眼視線を相互作用入力として使用すべき場合、ユーザは、オブジェクトを正確に標的化し、相互作用することが不可能となり得、これは、満足に満たないユーザ体験につながり得る。
眼視線較正プロセスの正確度を増加させるために、ウェアラブルデバイスは、眼視線検証を実施し、眼データが収集されるとき、ユーザが実際に標的を見ていることを確実にする、またはその可能性を増加させることができる。眼視線検証は、頭部姿勢および前庭動眼反射（頭部移動と反対の方向に眼移動を生産し、画像を視野の中心に保存する、反射）を使用して、ユーザが、指示された通り、標的を見ることを確実にすることができる。実施例として、ウェアラブルデバイスは、物理的標的を識別する、または仮想標的をユーザの環境内にレンダリングすることができる。標的の場所は、環境内のオブジェクトを３次元世界座標系内の位置にマッピングする、世界空間内の位置によって表されてもよい。ウェアラブルデバイスはまた、リグ空間内に、ウェアラブルデバイスを基準とする座標系と関連付けられる、仮想レチクルを提示することができる。ユーザが、その頭部を移動させるにつれて、レチクルは、適宜、ユーザの環境内で移動することができる。ウェアラブルデバイスは、ユーザの頭部姿勢が、リグ空間内のレチクルを世界空間内の標的と整合させるとき、ユーザが実際に標的を見ていることを検証することができる。有利には、いくつかの実施形態では、較正プロセスのために使用される眼データの品質を保証するために、ウェアラブルデバイスは、ウェアラブルデバイスが、ユーザが標的を見ていないことを決定する場合、眼データの収集を停止するであろう。
ユーザが、頭部姿勢および眼視線の組み合わせを使用して、レチクルと標的を整合させ得る、プロセスを提供することによって、ウェアラブルシステムは、多くのユーザが、レチクルを使用して、オブジェクトに照準を合わせることに精通しているため、直感的眼較正プロセスを提供することができる。加えて、本アプローチは、ヒトの視覚的追跡（例えば、追跡前庭動眼反射）の自然機能性を利用することによって、ユーザ不快感を低減させ、眼精疲労を低減させることができる。さらに、頭部および眼移動が、追跡されるため、ユーザは、眼追跡較正を実施可能であるために、良好な手−眼協調技術を有する必要がない。
ウェアラブルシステムの３Ｄディスプレイの実施例
ウェアラブルシステム（本明細書では、拡張現実（ＡＲ）システムとも称される）は、２次元（２Ｄ）または３次元（３Ｄ）仮想画像をユーザに提示するために構成されることができる。画像は、組み合わせまたは同等物における、静止画像、ビデオのフレーム、またはビデオであってもよい。ウェアラブルシステムは、ユーザ相互作用のために、単独で、または組み合わせて、ＶＲ、ＡＲ、またはＭＲ環境を提示し得る、ウェアラブルデバイスを含むことができる。ウェアラブルデバイスは、ＡＲデバイス（ＡＲＤ）と同義的に使用され、ウェアラブルデバイスは、頭部搭載型デバイス（ＨＭＤ）であることができる。
図１は、人物によって視認される、ある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。図１では、ＭＲ場面１００が、描写され、ＭＲ技術のユーザには、人々、木々、背景内の建物、およびコンクリートプラットフォーム１２０を特徴とする、実世界公園状設定１１０が見える。これらのアイテムに加え、ＭＲ技術のユーザはまた、実世界プラットフォーム１２０上に立っているロボット像１３０と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ１４０とが「見える」と知覚するが、これらの要素は、実世界には存在しない。
３Ｄディスプレイが、真の深度感覚、より具体的には、表面深度のシミュレートされた感覚を生成するために、ディスプレイの視野内の点毎に、その仮想深度に対応する遠近調節応答を生成することが望ましくあり得る。ディスプレイ点に対する遠近調節応答が、収束および立体視の両眼深度キューによって決定されるようなその点の仮想深度に対応しない場合、ヒトの眼は、遠近調節衝突を体験し、不安定な結像、有害な眼精疲労、頭痛、および遠近調節情報の不在下では、表面深度のほぼ完全な欠如をもたらし得る。
ＶＲ、ＡＲ、およびＭＲ体験は、複数の深度平面に対応する画像が視認者に提供されるディスプレイを有する、ディスプレイシステムによって提供されることができる。画像は、深度平面毎に異なってもよく（例えば、場面またはオブジェクトの若干異なる提示を提供する）、視認者の眼によって別個に集束され、それによって、異なる深度平面上に位置する場面に関する異なる画像特徴に合焦させるために要求される眼の遠近調節に基づいて、または合焦からずれている異なる深度平面上の異なる画像特徴を観察することに基づいて、ユーザに深度キューを提供することに役立ち得る。本明細書のいずれかの場所に議論されるように、そのような深度キューは、信用できる深度の知覚を提供する。
図２は、ウェアラブルシステム２００の実施例を図示する。ウェアラブルシステム２００は、ディスプレイ２２０と、ディスプレイ２２０の機能をサポートするための種々の機械的および電子的モジュールおよびシステムとを含む。ディスプレイ２２０は、ユーザ、装着者、または視認者２１０によってウェアラブルである、フレーム２３０に結合されてもよい。ディスプレイ２２０は、ユーザ２１０の眼の正面に位置付けられることができる。ディスプレイ２２０は、ＡＲ／ＶＲ／ＭＲコンテンツをユーザに提示することができる。ディスプレイ２２０は、ユーザの頭部上に装着される、頭部搭載型ディスプレイ（ＨＭＤ）を備えることができる。いくつかの実施形態では、スピーカ２４０が、フレーム２３０に結合され、ユーザの外耳道に隣接して位置付けられる（いくつかの実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音制御を提供する）。
ウェアラブルシステム２００は、ユーザの周囲の環境内の世界を観察する、外向きに向いた結像システム４６４（図４に示される）を含むことができる。ウェアラブルシステム２００はまた、ユーザの眼移動を追跡することができる内向きに向いた結像システム４６２（図４に示される）を含むことができる。内向きに向いた結像システムは、一方の眼の移動または両方の眼の移動のいずれかを追跡することができる。内向きに向いた結像システム４６２は、フレーム２３０に取り付けられてもよく、内向きに向いた結像システムによって取得された画像情報を処理し、例えば、ユーザ２１０の眼、眼の移動、または眼姿勢の瞳孔直径または配向を決定し得る、処理モジュール２６０または２７０と電気通信してもよい。
実施例として、ウェアラブルシステム２００は、外向きに向いた結像システム４６４または内向きに向いた結像システム４６２を使用して、ユーザの姿勢の画像を取得することができる。画像は、静止画像、ビデオのフレームまたはビデオ、その組み合わせ、または同等物であってもよい。
ディスプレイ２２０は、有線導線または無線接続等によって、フレーム２３０に固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ２１０に（例えば、リュック式構成において、ベルト結合式構成において）除去可能に取り付けられる等、種々の構成において搭載され得る、ローカルデータ処理モジュール２６０に動作可能に結合される（２５０）。
ローカル処理およびデータモジュール２６０は、ハードウェアプロセッサおよび不揮発性メモリ（例えば、フラッシュメモリ）等のデジタルメモリを備えてもよく、その両方とも、データの処理、キャッシュ、および記憶を補助するために利用され得る。データは、ａ）画像捕捉デバイス（例えば、内向きに向いた結像システムおよび／または外向きに向いた結像システム内のカメラ）、マイクロホン、慣性測定ユニット（ＩＭＵ）、加速度計、コンパス、全地球測位システム（ＧＰＳ）ユニット、無線デバイス、またはジャイロスコープ等の（例えば、フレーム２３０に動作可能に結合され得る、または別様にユーザ２１０に取り付けられ得る）センサから捕捉されるデータ、または、ｂ）可能性として処理または読出後にディスプレイ２２０への伝達のために、遠隔処理モジュール２７０または遠隔データリポジトリ２８０を使用して取得または処理されるデータ、を含んでもよい。ローカル処理およびデータモジュール２６０は、これらの遠隔モジュールがローカル処理およびデータモジュール２６０へのリソースとして利用可能であるように、有線または無線通信リンクを介して等、通信リンク２６２または２６４によって遠隔処理モジュール２７０または遠隔データリポジトリ２８０に動作可能に結合されてもよい。加えて、遠隔処理モジュール２８０および遠隔データリポジトリ２８０は、相互に動作可能に結合されてもよい。
いくつかの実施形態では、遠隔処理モジュール２７０は、データおよび／または画像情報を分析および処理するように構成される、１つ以上のプロセッサを備えてもよい。いくつかの実施形態では、遠隔データリポジトリ２８０は、デジタルデータ記憶設備を備え得、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、ローカル処理およびデータモジュールにおいて実施され、遠隔モジュールからの完全に自律的な使用を可能にする。
ヒト視覚系は、複雑であって、深度の現実的知覚を提供することは、困難である。理論によって限定されるわけではないが、オブジェクトの視認者は、輻輳・開散運動（ｖｅｒｇｅｎｃｅ）と遠近調節（ａｃｃｍｍｏｄａｔｉｏｎ）の組み合わせに起因して、オブジェクトを３次元として知覚し得ると考えられる。相互に対する２つの眼の輻輳・開散運動（すなわち、瞳孔が、相互に向かって、またはそこから離れるように移動し、眼の視線を収束させ、オブジェクトを固視するような瞳孔の回転）は、眼の水晶体の合焦（または「遠近調節」）と緊密に関連付けられる。通常条件下、焦点を１つのオブジェクトから異なる距離における別のオブジェクトに変化させるための眼のレンズの焦点の変化または眼の遠近調節は、「遠近調節−輻輳・開散運動反射」として知られる関係下、輻輳・開散運動の整合変化を自動的に同一距離に生じさせるであろう。同様に、輻輳・開散運動の変化は、通常条件下、遠近調節における整合する変化を誘起するであろう。遠近調節と輻輳・開散運動との間のより良好な整合を提供するディスプレイシステムは、３次元画像のより現実的かつ快適なシミュレーションを形成し得る。
図３は、複数の深度平面を使用して３次元画像をシミュレートするためのアプローチの側面を図示する。図３を参照すると、ｚ−軸上の眼３０２および３０４からの種々の距離におけるオブジェクトは、それらのオブジェクトが合焦するように、眼３０２および３０４によって遠近調節される。眼３０２および３０４は、特定の遠近調節された状態をとり、オブジェクトをｚ−軸に沿った異なる距離に合焦させる。その結果、特定の遠近調節された状態は、特定の深度平面におけるオブジェクトまたはオブジェクトの一部が、眼がその深度平面に対して遠近調節された状態にあるとき、合焦するように、関連付けられた焦点距離を有する、深度平面３０６のうちの特定の１つと関連付けられると言え得る。いくつかの実施形態では、３次元画像は、眼３０２および３０４毎に、画像の異なる提示を提供することによって、また、深度平面のそれぞれに対応する画像の異なる提示を提供することによって、シミュレートされてもよい。例証を明確にするために、別個であるように示されるが、眼３０２および３０４の視野は、例えば、ｚ−軸に沿った距離が増加するにつれて、重複し得ることを理解されたい。加えて、例証を容易にするために、平坦であるように示されるが、深度平面の輪郭は、深度平面内の全ての特徴が特定の遠近調節された状態における眼と合焦するように、物理的空間内で湾曲され得ることを理解されたい。理論によって限定されるわけではないが、ヒトの眼は、典型的には、有限数の深度平面を解釈し、深度知覚を提供することができると考えられる。その結果、知覚された深度の高度に真実味のあるシミュレーションが、眼にこれらの限定数の深度平面のそれぞれに対応する画像の異なる提示を提供することによって達成され得る。
導波管スタックアセンブリ
図４は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ウェアラブルシステム４００は、複数の導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４００ｂを使用して、３次元知覚を眼／脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ４８０を含む。いくつかの実施形態では、ウェアラブルシステム４００は、図２のウェアラブルシステム２００に対応してもよく、図４は、ウェアラブルシステム２００のいくつかの部分をより詳細に図式的に示す。例えば、いくつかの実施形態では、導波管アセンブリ４８０は、図２のディスプレイ２２０の中に統合されてもよい。
図４を継続して参照すると、導波管アセンブリ４８０はまた、複数の特徴４５８、４５６、４５４、４５２を導波管の間に含んでもよい。いくつかの実施形態では、特徴４５８、４５６、４５４、４５２は、レンズであってもよい。他の実施形態では、特徴４５８、４５６、４５４、４５２は、レンズではなくてもよい。むしろ、それらは、単に、スペーサであってもよい（例えば、空気間隙を形成するためのクラッディング層または構造）。
導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４０ｂまたは複数のレンズ４５８、４５６、４５４、４５２は、種々のレベルの波面曲率または光線発散を用いて、画像情報を眼に送信するように構成されてもよい。各導波管レベルは、特定の深度平面と関連付けられてもよく、その深度平面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス４２０、４２２、４２４、４２６、４２８は、それぞれ、眼４１０に向かって出力するために、各個別の導波管を横断して入射光を分散させるように構成され得る、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの中に画像情報を投入するために利用されてもよい。光は、画像投入デバイス４２０、４２２、４２４、４２６、４２８の出力表面から出射し、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの対応する入力縁の中に投入される。いくつかの実施形態では、光の単一ビーム（例えば、コリメートされたビーム）が、各導波管の中に投入され、特定の導波管と関連付けられた深度平面に対応する特定の角度（および発散量）において眼４１０に向かって指向される、クローン化されたコリメートビームの場全体を出力してもよい。
いくつかの実施形態では、画像投入デバイス４２０、４２２、４２４、４２６、４２８は、それぞれ、それぞれの対応する導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの中への投入のための画像情報を生成する、離散ディスプレイである。いくつかの他の実施形態では、画像投入デバイス４２０、４２２、４２４、４２６、４２８は、例えば、画像情報を１つ以上の光学導管（光ファイバケーブル等）を介して、画像投入デバイス４２０、４２２、４２４、４２６、４２８のそれぞれに送り得る、単一の多重化されたディスプレイの出力端である。
コントローラ４６０が、スタックされた導波管アセンブリ４８０および画像投入デバイス４２０、４２２、４２４、４２６、４２８の動作を制御する。コントローラ４６０は、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂへの画像情報のタイミングおよび提供を調整する、プログラミング（例えば、非一過性コンピュータ可読媒体内の命令）を含む。いくつかの実施形態では、コントローラ４６０は、単一の一体型デバイスまたは有線または無線通信チャネルによって接続される分散型システムであってもよい。コントローラ４６０は、いくつかの実施形態では、処理モジュール２６０または２７０（図２に図示される）の一部であってもよい。
導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、全内部反射（ＴＩＲ）によって各個別の導波管内で光を伝搬するように構成されてもよい。導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂはそれぞれ、主要上部表面および主要底部表面およびそれらの主要上部表面と主要底部表面との間に延在する縁を伴う、平面であってもよい、または、別の形状（例えば、湾曲）を有してもよい。図示される構成では、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂはそれぞれ、光を再指向させ、各個別の導波管内で伝搬させ、導波管から、画像情報を眼４１０に出力することによって、光を導波管から抽出するように構成される、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａを含んでもよい。抽出された光はまた、外部結合光と称され得、光抽出光学要素はまた、外部結合光学要素と称され得る。抽出された光のビームは、導波管によって、導波管内で伝搬する光が光再指向要素に衝打する場所において出力される。光抽出光学要素（４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａ）は、例えば、反射または回折光学特徴であってもよい。説明を容易にし、図面を明確にするために、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの底部主要表面に配置されて図示されるが、いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、上部主要表面または底部主要表面に配置されてもよい、または導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの容積内に直接配置されてもよい。いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、透明基板に取り付けられ、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂを形成する、材料の層内に形成されてもよい。いくつかの他の実施形態では、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、モノリシック材料部品であってもよく、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、その材料部品の表面上および／またはその内部に形成されてもよい。
図４を継続して参照すると、本明細書に議論されるように、各導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、光を出力し、特定の深度平面に対応する画像を形成するように構成される。例えば、眼の最近傍の導波管４３２ｂは、そのような導波管４３２ｂの中に投入されるにつれて、コリメートされた光を眼４１０に送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表し得る。次の上方の導波管４３４ｂは、眼４１０に到達し得る前に、第１のレンズ４５２（例えば、負のレンズ）を通して通過する、コリメートされた光を送出するように構成されてもよい。第１のレンズ４５２は、眼／脳が、その次の上方の導波管４３４ｂから生じる光を光学無限遠から眼４１０に向かって内向きにより近い第１の焦点面から生じるように解釈するように、若干の凸面波面曲率を生成するように構成されてもよい。同様に、第３の上方の導波管４３６ｂは、眼４１０に到達する前に、その出力光を第１のレンズ４５２および第２のレンズ４５４の両方を通して通過させる。第１および第２のレンズ４５２および４５４の組み合わせられた屈折力は、眼／脳が、第３の上方の導波管４３６ｂから生じる光が次の上方の導波管４３４ｂからの光であったよりも光学無限遠から人物に向かって内向きにさらに近い第２の焦点面から生じるように解釈するように、別の漸増量の波面曲率を生成するように構成されてもよい。
他の導波管層（例えば、導波管４３８ｂ、４４０ｂ）およびレンズ（例えば、レンズ４５６、４５８）も同様に構成され、スタック内の最高導波管４４０ｂを用いて、人物に最も近い焦点面を表す集約焦点力のために、その出力をそれと眼との間のレンズの全てを通して送出する。スタックされた導波管アセンブリ４８０の他側の世界４７０から生じる光を視認／解釈するとき、レンズ４５８、４５６、４５４、４５２のスタックを補償するために、補償レンズ層４３０が、スタックの上部に配置され、下方のレンズスタック４５８、４５６、４５４、４５２の集約力を補償してもよい。そのような構成は、利用可能な導波管／レンズ対と同じ数の知覚される焦点面を提供する。導波管の光抽出光学要素およびレンズの集束側面は両方とも、静的であってもよい（例えば、動的または電気活性ではない）。いくつかの代替実施形態では、一方または両方とも、電気活性特徴を使用して動的であってもよい。
図４を継続して参照すると、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、導波管と関連付けられた特定の深度平面のために、光をその個別の導波管から再指向し、かつ本光を適切な量の発散またはコリメーションを伴って出力するように構成されてもよい。その結果、異なる関連付けられた深度平面を有する導波管は、関連付けられた深度平面に応じて、異なる量の発散を伴う光を出力する、異なる構成の光抽出光学要素を有してもよい。いくつかの実施形態では、本明細書に議論されるように、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、具体的角度において光を出力するように構成され得る、立体特徴または表面特徴であってもよい。例えば、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、体積ホログラム、表面ホログラム、および／または回折格子であってもよい。回折格子等の光抽出光学要素は、２０１５年６月２５日に公開された米国特許公開第２０１５／０１７８９３９号（参照することによってその全体として本明細書に組み込まれる）に説明される。
いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、回折パターンを形成する回折特徴、すなわち、「回折光学要素」（本明細書では、「ＤＯＥ」とも称される）である。好ましくは、ＤＯＥは、ビームの光の一部のみが、ＤＯＥの各交差部で眼４１０に向かって偏向される一方、残りが、全内部反射を介して、導波管を通して移動し続けるように、比較的に低回折効率を有する。画像情報を搬送する光は、したがって、複数の場所において導波管から出射する、いくつかの関連出射ビームに分割され、その結果、導波管内でバウンスする本特定のコリメートされたビームに関して、眼３０４に向かって非常に均一パターンの出射放出となることができる。
いくつかの実施形態では、１つ以上のＤＯＥは、能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切替可能であってもよい。例えば、切替可能なＤＯＥは、ポリマー分散液晶の層を備えてもよく、その中で微小液滴は、ホスト媒体中に回折パターンを備え、微小液滴の屈折率は、ホスト材料の屈折率に実質的に整合するように切り替えられることができる（その場合、パターンは、入射光を著しく回折させない）、または微小液滴は、ホスト媒体のものに整合しない屈折率に切り替えられることができる（その場合、パターンは、入射光を能動的に回折させる）。
いくつかの実施形態では、深度平面または被写界深度の数および分布は、視認者の眼の瞳孔サイズまたは配向に基づいて、動的に変動されてもよい。被写界深度は、視認者の瞳孔サイズと反比例して変化してもよい。その結果、視認者の眼の瞳孔のサイズが減少するにつれて、被写界深度は、その平面の場所が眼の焦点深度を越えるため判別不能である１つの平面が、判別可能となり、瞳孔サイズの低減および被写界深度の相当する増加に伴って、より合焦して現れ得るように増加する。同様に、異なる画像を視認者に提示するために使用される、離間される深度平面の数は、減少された瞳孔サイズに伴って減少されてもよい。例えば、視認者は、一方の深度平面から他方の深度平面への眼の遠近調節を調節せずに、第１の深度平面および第２の深度平面の両方の詳細を１つの瞳孔サイズにおいて明確に知覚することが可能ではない場合がある。しかしながら、これらの２つの深度平面は、同時に、遠近調節を変化させずに、別の瞳孔サイズにおいてユーザに合焦するには十分であり得る。
いくつかの実施形態では、ディスプレイシステムは、瞳孔サイズおよび／または配向の決定に基づいて、または特定の瞳孔サイズ／または配向を示す電気信号の受信に応じて、画像情報を受信する導波管の数を変動させてもよい。例えば、ユーザの眼が、２つの導波管と関連付けられた２つの深度平面間を区別不能である場合、コントローラ４６０は、これらの導波管のうちの１つへの画像情報の提供を停止するように構成またはプログラムされてもよい。有利には、これは、システムへの処理負担を低減させ、それによって、システムの応答性を増加させ得る。導波管のためのＤＯＥがオンおよびオフ状態間で切替可能である実施形態では、ＤＯＥは、導波管が画像情報を受信するとき、オフ状態に切り替えられてもよい。
いくつかの実施形態では、出射ビームに視認者の眼の直径未満の直径を有するという条件を満たさせることが望ましくあり得る。しかしながら、本条件を満たすことは、視認者の瞳孔のサイズの変動性に照らして、困難であり得る。いくつかの実施形態では、本条件は、視認者の瞳孔のサイズの決定に応答して出射ビームのサイズを変動させることによって、広範囲の瞳孔サイズにわたって満たされる。例えば、瞳孔サイズが減少するにつれて、出射ビームのサイズもまた、減少し得る。いくつかの実施形態では、出射ビームサイズは、可変開口を使用して変動されてもよい。
ウェアラブルシステム４００は、世界４７０の一部を結像する、外向きに向いた結像システム４６４（例えば、デジタルカメラ）を含むことができる。世界４７０の本部分は、世界カメラの視野（ＦＯＶ）と称され得、結像システム４６４は、時として、ＦＯＶカメラとも称される。視認者による視認または結像のために利用可能な領域全体は、動眼視野（ＦＯＲ）と称され得る。ＦＯＲは、装着者が、その身体、頭部、または眼を移動させ、空間内の実質的に任意の方向を知覚するため、ウェアラブルシステム４００を囲繞する４πステラジアンの立体角を含んでもよい。他の状況では、装着者の移動は、より抑制されてもよく、それに応じて、装着者のＦＯＲは、より小さい立体角に対し得る。外向きに向いた結像システム４６４から得られた画像は、ユーザによって行われるジェスチャ（例えば、手または指のジェスチャ）を追跡し、ユーザの正面における世界４７０内のオブジェクトを検出する等のために、使用されることができる。
ウェアラブルシステム４００はまた、眼移動および顔移動等のユーザの移動を観察する、内向きに向いた結像システム４６６（例えば、デジタルカメラ）を含むことができる。内向きに向いた結像システム４６６は、眼４１０の画像を捕捉し、眼３０４の瞳孔のサイズまたは配向を決定するために使用されてもよい。内向きに向いた結像システム４６６は、ユーザが見ている方向（例えば、眼姿勢）を決定する際に使用するため、またはユーザのバイオメトリック識別のため（例えば、虹彩識別を介して）、画像を得るために使用されることができる。いくつかの実施形態では、少なくとも１つのカメラが、眼毎に、独立して、各眼の瞳孔サイズまたは眼姿勢を別個に決定し、それによって、各眼への画像情報の提示がその眼に対して動的に調整されることを可能にするために利用されてもよい。いくつかの他の実施形態では、単一眼４１０のみの瞳孔直径または配向（例えば、対の眼あたり単一カメラのみを使用して）が、決定され、ユーザの両眼に関して類似すると仮定される。内向きに向いた結像システム４６６によって得られる画像は、ユーザに提示されるべきオーディオまたは視覚的コンテンツを決定するためにウェアラブルシステム４００によって使用され得る、ユーザの眼姿勢または気分を決定するために分析されてもよい。ウェアラブルシステム４００はまた、ＩＭＵ、加速度計、ジャイロスコープ等のセンサを使用して、頭部姿勢（例えば、頭部位置または頭部配向）を決定してもよい。
ウェアラブルシステム４００は、ユーザが、コマンドをコントローラ４６０に入力し、ウェアラブルシステム４００と相互作用し得る、ユーザ入力デバイス４６６を含むことができる。例えば、ユーザ入力デバイス４６６は、トラックパッド、タッチスクリーン、ジョイスティック、多自由度（ＤＯＦ）コントローラ、容量感知デバイス、ゲームコントローラ、キーボード、マウス、指向性パッド（Ｄパッド）、ワンド、触知デバイス、トーテム（例えば、仮想ユーザ入力デバイスとして機能する）等を含むことができる。マルチＤＯＦコントローラは、コントローラの一部または全部の可能性として考えられる平行移動（例えば、左／右、前方／後方、または上／下）または回転（例えば、ヨー、ピッチ、またはロール）におけるユーザ入力を感知することができる。平行移動をサポートする、マルチＤＯＦコントローラは、３ＤＯＦと称され得る一方、平行移動および回転をサポートする、マルチＤＯＦコントローラは、６ＤＯＦと称され得る。ある場合には、ユーザは、指（例えば、親指）を使用して、タッチセンサ式入力デバイスを押下するかまたはその上でスワイプし、入力をウェアラブルシステム４００に提供してもよい（例えば、ユーザ入力をウェアラブルシステム４００によって提供されるユーザインターフェースに提供するために）。ユーザ入力デバイス４６６は、ウェアラブルシステム４００の使用の間、ユーザの手によって保持されてもよい。ユーザ入力デバイス４６６は、ウェアラブルシステム４００と有線または無線通信することができる。
図５は、導波管によって出力された出射ビームの実施例を示す。１つの導波管が図示されるが、導波管アセンブリ４８０内の他の導波管も同様に機能し得、導波管アセンブリ４８０は、複数の導波管を含むことを理解されたい。光５２０が、導波管４３２ｂの入力縁４３２ｃにおいて導波管４３２ｂの中に投入され、ＴＩＲによって導波管４３２ｂ内を伝搬する。光５２０がＤＯＥ４３２ａに衝突する点では、光の一部は導波管から出射ビーム５１０として出射する。出射ビーム５１０は、略平行として図示されるが、また、導波管４３２ｂと関連付けられた深度平面に応じて、ある角度（例えば、発散出射ビーム形成）において眼４１０に伝搬するように再指向されてもよい。略平行出射ビームは、眼４１０からの遠距離（例えば、光学無限遠）における深度平面に設定されるように現れる画像を形成するように光を外部結合する、外部結合光学要素を伴う導波管を示し得ることを理解されたい。他の導波管または他の光抽出光学要素のセットは、より発散する、出射ビームパターンを出力してもよく、これは、眼４１０がより近い距離に遠近調節し、網膜に合焦させることを要求し、光学無限遠より眼４１０に近い距離からの光として脳によって解釈されるであろう。
図６は、多焦点立体ディスプレイ、画像、またはライトフィールドの生成において使用される、導波管装置と、光を導波管装置へまたはそこから光学的に結合するための光学結合器サブシステムと、制御サブシステムとを含む、光学システムを示す、概略図である。光学システムは、導波管装置と、光を導波管装置にまたはそこから光学的に結合するための光学結合器サブシステムと、制御サブシステムとを含むことができる。光学システムは、多焦点立体、画像、またはライトフィールドを生成するために使用されることができる。光学システムは、１つ以上の一次平面導波管６３２ａ（１つのみのが図６に示される）と、一次導波管６３２ａの少なくともいくつかのそれぞれと関連付けられた１つ以上のＤＯＥ６３２ｂとを含むことができる。平面導波管６３２ｂは、図４を参照して議論される導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４０ｂに類似することができる。光学システムは、分散導波管装置を採用し、光を第１の軸（図６の図では、垂直またはＹ−軸）に沿って中継し、第１の軸（例えば、Ｙ−軸）に沿って光の有効射出瞳を拡張させてもよい。分散導波管装置は、例えば、分散平面導波管６２２ｂと、分散平面導波管６２２ｂと関連付けられた少なくとも１つのＤＯＥ６２２ａ（二重破線によって図示される）とを含んでもよい。分散平面導波管６２２ｂは、少なくともいくつかの点において、それと異なる配向を有する一次平面導波管６３２ｂと類似または同じであってもよい。同様に、少なくとも１つのＤＯＥ６２２ａは、少なくともいくつかの点において、ＤＯＥ６３２ａと類似または同じであってもよい。例えば、分散平面導波管６２２ｂまたはＤＯＥ６２２ａは、それぞれ、一次平面導波管６３２ｂまたはＤＯＥ６３２ａと同一材料から成ってもよい。図６に示される光学ディスプレイシステム６００の実施形態は、図２に示されるウェアラブルシステム２００の中に統合されることができる。
中継され、射出瞳が拡張された光は、分散導波管装置から１つ以上の一次平面導波管６３２ｂの中に光学的に結合され得る。一次平面導波管６３２ｂは、好ましくは、第１の軸に直交する、第２の軸（例えば、図６の図では、水平またはＸ−軸）に沿って、光を中継することができる。着目すべきこととして、第２の軸は、第１の軸に対して非直交軸であることができる。一次平面導波管６３２ｂは、その第２の軸（例えば、Ｘ−軸）に沿って、光の有効射出瞳を拡張させる。例えば、分散平面導波管６２２ｂは、光を垂直またはＹ−軸に沿って中継および拡張させ、光を水平またはＸ−軸に沿って中継および拡張させ得る、一次平面導波管６３２ｂにその光を通過させることができる。
光学システムは、単一モード光ファイバ６４０の近位端の中に光学的に結合され得る、１つ以上の有色光源（例えば、赤色、緑色、および青色レーザ光）６１０を含んでもよい。光ファイバ６４０の遠位端は、圧電材料の中空管６４２を通して螺合または受容されてもよい。遠位端は、固定されない可撓性カンチレバー６４４として、管６４２から突出する。圧電管６４２は、４つの象限電極（図示せず）と関連付けられることができる。電極は、例えば、管６４２の外側、外側表面または外側周縁、または直径に鍍着されてもよい。コア電極（図示せず）もまた、管６４２のコア、中心、内側周縁、または内径に位置してもよい。
例えば、ワイヤ６６０を介して電気的に結合される、駆動電子機器６５０は、対向する対の電極を駆動し、圧電管６４２を独立して２つの軸において屈曲させる。光ファイバ６４４の突出する遠位先端は、機械的共鳴モードを有する。共鳴の周波数は、光ファイバ６４４の直径、長さ、および材料性質に依存し得る。圧電管６４２をファイバカンチレバー６４４の第１の機械的共鳴モードの近傍で振動させることによって、ファイバカンチレバー６４４は、振動させられ、大偏向を通して掃引し得る。
２つの軸において共振振動を刺激することによって、ファイバカンチレバー６４４の先端は、２次元（２−Ｄ）走査を充填する面積内において２軸方向に走査される。光源６１０の強度をファイバカンチレバー６４４の走査と同期して変調させることによって、ファイバカンチレバー６４４から発せられる光は、画像を形成することができる。そのような設定の説明は、米国特許公開第２０１４／０００３７６２号（参照することによってその全体として本明細書に組み込まれる）に提供されている。
光学結合器サブシステムのコンポーネントは、走査ファイバカンチレバー６４４から発せられる光をコリメートすることができる。コリメートされた光は、鏡付き表面６４８によって、少なくとも１つの回折光学要素（ＤＯＥ）６２２ａを含有する、狭分散平面導波管６２２ｂの中に反射されることができる。コリメートされた光は、ＴＩＲによって分散平面導波管６２２ｂに沿って（図６の図に対して）垂直に伝搬し、そうすることによって、ＤＯＥ６２２ａと繰り返し交差することができる。ＤＯＥ６２２ａは、好ましくは、低回折効率を有する。これは、光の一部（例えば、１０％）をＤＯＥ６２２ａとの交差部の各点においてより大きい一次平面導波管６３２ｂの縁に向かって回折させ、光の一部をＴＩＲを介して分散平面導波管６２２ｂの長さを辿ってそのオリジナル軌道上で継続させることができる。
ＤＯＥ６２２ａとの交差部の各点において、付加的光が、一次導波管６３２ｂの入口に向かって回折されることができる。入射光を複数の外部結合セットに分割することによって、光の射出瞳は、分散平面導波管６２２ｂ内のＤＯＥ４によって垂直に拡張されることができる。分散平面導波管６２２ｂから外部結合された本垂直に拡張された光は、一次平面導波管６３２ｂの縁に進入することができる。
一次導波管６３２ｂに進入する光は、ＴＩＲを介して、一次導波管６３２ｂに沿って（図６の図に対して）水平に伝搬することができる。光は、複数の点においてＤＯＥ６３２ａと交差するにつれて、ＴＩＲを介して、一次導波管６３２ｂの長さの少なくとも一部に沿って水平に伝搬する。ＤＯＥ６３２ａは、有利には、線形回折パターンおよび半径方向対称回折パターンの総和である、位相プロファイルを有し、光の偏向および集束の両方を生成するように設計または構成され得る。ＤＯＥ６３２ａは、有利には、ビームの光の一部のみが、ＤＯＥ６３２ａの各交差部において視認者の眼に向かって偏向される一方、光の残りが、ＴＩＲを介して、一次導波管６３２ｂを通して伝搬し続けるように、低回折効率（例えば、１０％）を有し得る。
伝搬する光とＤＯＥ６３２ａとの間の交差部の各点において、光の一部は、一次導波管６３２ｂの隣接面に向かって回折され、光がＴＩＲから逃散し、一次導波管６３２ｂの面から発せられることを可能にする。いくつかの実施形態では、ＤＯＥ６３２ａの半径方向対称回折パターンは、加えて、ある焦点レベルを回折された光に付与し、個々のビームの光波面を成形（例えば、曲率を付与する）し、かつビームを設計される焦点レベルに合致する角度に操向することの両方を行う。
故に、これらの異なる経路は、異なる角度におけるＤＯＥ６３２ａの多重度、焦点レベル、および／または射出瞳において異なる充填パターンをもたらすことによって、光を一次平面導波管６３２ｂの外部で結合させることができる。射出瞳における異なる充填パターンは、有利には、複数の深度平面を伴うライトフィールドディスプレイを生成するために使用されることができる。導波管アセンブリ内の各層またはスタック内の層のセット（例えば、３層）が、個別の色（例えば、赤色、青色、緑色）を生成するために採用されてもよい。したがって、例えば、第１の３つの隣接する層のセットが、それぞれ、赤色、青色、および緑色光を第１の焦点深度において生成するために採用されてもよい。第２の３つの隣接する層のセットが、それぞれ、赤色、青色、および緑色光を第２の焦点深度において生成するために採用されてもよい。複数のセットが、種々の焦点深度を伴うフル３Ｄまたは４Ｄカラー画像ライトフィールドを生成するために採用されてもよい。
ウェアラブルシステムの他のコンポーネント
多くの実装では、ウェアラブルシステムは、上記に説明されるウェアラブルシステムのコンポーネントに加えて、またはその代替として、他のコンポーネントを含んでもよい。ウェアラブルシステムは、例えば、１つ以上の触知デバイスまたはコンポーネントを含んでもよい。触知デバイスまたはコンポーネントは、触覚をユーザに提供するように動作可能であってもよい。例えば、触知デバイスまたはコンポーネントは、仮想コンテンツ（例えば、仮想オブジェクト、仮想ツール、他の仮想構造）に触れると、圧力および／またはテクスチャの感覚を提供してもよい。触覚は、仮想オブジェクトが表す物理的オブジェクトの感覚を再現してもよい、または仮想コンテンツが表す想像上のオブジェクトまたはキャラクタ（例えば、ドラゴン）の感覚を再現してもよい。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって装着されてもよい（例えば、ユーザウェアラブルグローブ）。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって保持されてもよい。
ウェアラブルシステムは、例えば、ユーザによって操作可能であって、ウェアラブルシステムへの入力またはそれとの相互作用を可能にする、１つ以上の物理的オブジェクトを含んでもよい。これらの物理的オブジェクトは、本明細書では、トーテムと称され得る。いくつかのトーテムは、例えば、金属またはプラスチック片、壁、テーブルの表面等、無生物オブジェクトの形態をとってもよい。ある実装では、トーテムが、実際には、任意の物理的入力構造（例えば、キー、トリガ、ジョイスティック、トラックボール、ロッカスイッチ）を有していなくてもよい。代わりに、トーテムは、単に、物理的表面を提供してもよく、ウェアラブルシステムは、ユーザにトーテムの１つ以上の表面上にあるように見えるように、ユーザインターフェースをレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムの１つ以上の表面上に常駐するように見えるように、コンピュータキーボードおよびトラックパッドの画像をレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムとしての役割を果たす、アルミニウムの薄い長方形プレートの表面上に見えるように、仮想コンピュータキーボードおよび仮想トラックパッドをレンダリングしてもよい。長方形プレート自体は、任意の物理的キーまたはトラックパッドまたはセンサを有していない。しかしながら、ウェアラブルシステムは、仮想キーボードまたは仮想トラックパッドを介して行われた選択または入力として、長方形プレートを用いたユーザ操作または相互作用またはタッチを検出し得る。ユーザ入力デバイス４６６（図４に示される）は、トラックパッド、タッチパッド、トリガ、ジョイスティック、トラックボール、ロッカまたは仮想スイッチ、マウス、キーボード、多自由度コントローラ、または別の物理的入力デバイスを含み得る、トーテムの実施形態であってもよい。ユーザは、単独で、または姿勢と組み合わせて、トーテムを使用し、ウェアラブルシステムおよび／または他のユーザと相互作用してもよい。
本開示のウェアラブルデバイス、ＨＭＤ、およびディスプレイシステムと使用可能な触知デバイスおよびトーテムの実施例は、米国特許公開第２０１５／００１６７７７号（参照することによってその全体として本明細書に組み込まれる）に説明されている。
例示的ウェアラブルシステム、環境、およびインターフェース
ウェアラブルシステムは、高被写界深度をレンダリングされたライトフィールド内で達成するために、種々のマッピング関連技法を採用してもよい。仮想世界をマッピングする際、実世界内の全ての特徴および点を把握し、仮想オブジェクトを実世界に関連して正確に描くことが有利である。この目的を達成するために、ウェアラブルシステムのユーザから捕捉されたＦＯＶ画像が、実世界の種々の点および特徴についての情報を伝達する新しい写真を含むことによって、世界モデルに追加されることができる。例えば、ウェアラブルシステムは、マップ点（２Ｄ点または３Ｄ点等）のセットを収集し、新しいマップ点を見出し、世界モデルのより正確なバージョンをレンダリングすることができる。第１のユーザの世界モデルは、第２のユーザが第１のユーザを囲繞する世界を体験し得るように、（例えば、クラウドネットワーク等のネットワークを経由して）第２のユーザに通信されることができる。
図７は、ＭＲ環境７００の実施例のブロック図である。ＭＲ環境７００は、入力（例えば、ユーザのウェアラブルシステムからの視覚的入力７０２、室内カメラ等の定常入力７０４、種々のセンサからの感覚入力７０６、ユーザ入力デバイス４６６からのジェスチャ、トーテム、眼追跡、ユーザ入力等）を１人以上のユーザウェアラブルシステム（例えば、ウェアラブルシステム２００またはディスプレイシステム２２０）または定常室内システム（例えば、室内カメラ等）から受信するように構成されてもよい。ウェアラブルシステムは、種々のセンサ（例えば、加速度計、ジャイロスコープ、温度センサ、移動センサ、深度センサ、ＧＰＳセンサ、内向きに向いた結像システム、外向きに向いた結像システム等）を使用して、ユーザの環境の場所および種々の他の属性を決定することができる。本情報はさらに、異なる視点からの画像または種々のキューを提供し得る、部屋内の定常カメラからの情報で補完されてもよい。カメラ（室内カメラまたは外向きに向いた結像システムのカメラ等）によって取得された画像データは、マッピング点のセットに低減されてもよい。
１つ以上のオブジェクト認識装置７０８が、受信されたデータ（例えば、点の集合）を通してクローリングし、点を認識またはマッピングし、画像をタグ付けし、マップデータベース７１０を用いて、意味論情報をオブジェクトに結び付けることができる。マップデータベース７１０は、経時的に収集された種々の点およびその対応するオブジェクトを備えてもよい。種々のデバイスおよびマップデータベースは、ネットワーク（例えば、ＬＡＮ、ＷＡＮ等）を通して相互に接続され、クラウドにアクセスすることができる。
本情報およびマップデータベース内の点集合に基づいて、オブジェクト認識装置７０８ａ−７０８ｎは、環境内のオブジェクトを認識してもよい。例えば、オブジェクト認識装置は、顔、人物、窓、壁、ユーザ入力デバイス、テレビ、ユーザの環境内の他のオブジェクト等を認識することができる。１つ以上のオブジェクト認識装置が、ある特性を伴うオブジェクトのために特殊化されてもよい。例えば、オブジェクト認識装置７０８ａは、顔を認識するために使用されてもよい一方、別のオブジェクト認識装置は、トーテムを認識するために使用されてもよい。
オブジェクト認識は、種々のコンピュータビジョン技法を使用して実施されてもよい。例えば、ウェアラブルシステムは、外向きに向いた結像システム４６４（図４に示される）によって入手された画像を分析し、場面再構成、イベント検出、ビデオ追跡、オブジェクト認識、オブジェクト姿勢推定、学習、インデックス化、運動推定、または画像復元等を実施することができる。１つ以上のコンピュータビジョンアルゴリズムが、これらのタスクを実施するために使用されてもよい。コンピュータビジョンアルゴリズムの非限定的実施例は、スケール不変特徴変換（ＳＩＦＴ）、スピードアップロバスト特徴（ＳＵＲＦ）、配向ＦＡＳＴおよび回転ＢＲＩＥＦ（ＯＲＢ）、バイナリロバスト不変スケーラブルキーポイント（ＢＲＩＳＫ）、高速網膜キーポイント（ＦＲＥＡＫ）、Ｖｉｏｌａ−Ｊｏｎｅｓアルゴリズム、Ｅｉｇｅｎｆａｃｅｓアプローチ、Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズム、Ｈｏｒｎ−Ｓｃｈｕｎｋアルゴリズム、Ｍｅａｎ−ｓｈｉｆｔアルゴリズム、視覚的同時位置推定およびマッピング（ｖＳＬＡＭ）技法、順次ベイズ推定器（例えば、カルマンフィルタ、拡張カルマンフィルタ等）、バンドル調節、適応閾値化（および他の閾値化技法）、反復最近傍点（ＩＣＰ）、セミグローバルマッチング（ＳＧＭ）、セミグローバルブロックマッチング（ＳＧＢＭ）、特徴点ヒストグラム、種々の機械学習アルゴリズム（例えば、サポートベクトルマシン、ｋ最近傍アルゴリズム、単純ベイズ、ニューラルネットワーク等（畳み込みまたは深層ニューラルネットワークを含む）、または他の教師あり／教師なしモデル等）等を含む。
オブジェクト認識は、加えて、または代替として、種々の機械学習アルゴリズムによって実施されることができる。いったん訓練されると、機械学習アルゴリズムは、ＨＭＤによって記憶されることができる。機械学習アルゴリズムのいくつかの実施例は、教師ありまたは教師なし機械学習アルゴリズムを含むことができ、回帰アルゴリズム（例えば、通常の最小２乗回帰等）、インスタンスベースのアルゴリズム（例えば、学習ベクトル量子化等）、決定ツリーアルゴリズム（例えば、分類および回帰ツリー等）、ベイズアルゴリズム（例えば、単純ベイズ等）、クラスタリングアルゴリズム（例えば、ｋ−平均クラスタリング等）、関連付けルール学習アルゴリズム（例えば、アプリオリアルゴリズム等）、人工ニューラルネットワークアルゴリズム（例えば、Ｐｅｒｃｅｐｔｒｏｎ等）、深層学習アルゴリズム（例えば、Ｄｅｅｐ Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅ、すなわち、深層ニューラルネットワーク等）、次元削減アルゴリズム（例えば、主成分分析等）、アンサンブルアルゴリズム（例えば、Ｓｔａｃｋｅｄ Ｇｅｎｅｒａｌｉｚａｔｉｏｎ等）、および／または他の機械学習アルゴリズムを含む。いくつかの実施形態では、個々のモデルは、個々のデータセットのためにカスタマイズされることができる。例えば、ウェアラブルデバイスは、ベースモデルを生成または記憶することができる。ベースモデルは、開始点として使用され、データタイプ（例えば、テレプレゼンスセッション内の特定のユーザ）、データセット（例えば、テレプレゼンスセッション内のユーザの取得される付加的画像のセット）、条件付き状況、または他の変形例に特有の付加的モデルを生成してもよい。いくつかの実施形態では、ウェアラブルＨＭＤは、複数の技法を利用して、集約されたデータの分析のためのモデルを生成するように構成されることができる。他の技法は、事前に定義された閾値またはデータ値を使用することを含んでもよい。
マップデータベース内の本情報および点の集合に基づいて、オブジェクト認識装置７０８ａ−７０８ｎは、オブジェクトを認識し、オブジェクトを意味論情報で補完し、命をオブジェクトに与えてもよい。例えば、オブジェクト認識装置が、点のセットがドアであることを認識する場合、システムは、いくつかの意味論情報を結び付けてもよい（例えば、ドアは、ヒンジを有し、ヒンジを中心として９０度移動を有する）。オブジェクト認識装置が、点のセットが鏡であることを認識する場合、システムは、鏡が、部屋内のオブジェクトの画像を反射させ得る、反射表面を有するという意味論情報を結び付けてもよい。経時的に、マップデータベースは、システム（ローカルに常駐し得る、または無線ネットワークを通してアクセス可能であり得る）がより多くのデータを世界から蓄積するにつれて成長する。いったんオブジェクトが認識されると、情報は、１つ以上のウェアラブルシステムに伝送されてもよい。例えば、ＭＲ環境７００は、Ｃａｌｉｆｏｒｎｉａで生成している場面についての情報を含んでもよい。環境７００は、Ｎｅｗ Ｙｏｒｋにおける１人以上のユーザに伝送されてもよい。ＦＯＶカメラおよび他の入力から受信されたデータに基づいて、オブジェクト認識装置および他のソフトウェアコンポーネントは、場面が世界の異なる部分に存在し得る第２のユーザに正確に「パス」され得るように、種々の画像から収集された点をマッピングし、オブジェクトを認識すること等ができる。環境７００はまた、場所特定目的のために、トポロジマップを使用してもよい。
図８は、認識されたオブジェクトに関連して仮想コンテンツをレンダリングする方法８００の実施例のプロセスフロー図である。方法８００は、仮想場面がウェアラブルシステムのユーザに表され得る方法を説明する。ユーザは、その場面から地理的に遠隔に存在してもよい。例えば、ユーザは、Ｎｅｗ Ｙｏｒｋに存在し得るが、Ｃａｌｉｆｏｒｎｉａで現在起こっている場面を視認することを所望し得る、またはＣａｌｉｆｏｒｎｉａに存在する友人と散歩に行くことを所望し得る。
ブロック８１０では、ウェアラブルシステムは、ユーザの環境に関する入力をユーザおよび他のユーザから受信してもよい。これは、種々の入力デバイスおよびマップデータベース内にすでに保有されている知識を通して達成されてもよい。ユーザのＦＯＶカメラ、センサ、ＧＰＳ、眼追跡等が、ブロック８１０において、情報をシステムに伝達する。システムは、ブロック８２０において、本情報に基づいて、疎点を決定してもよい。疎点は、ユーザの周囲における種々のオブジェクトの配向および位置を表示および理解する際に使用され得る、姿勢データ（例えば、頭部姿勢、眼姿勢、身体姿勢、または手のジェスチャ）を決定する際に使用されてもよい。オブジェクト認識装置７０８ａ〜７０８ｎは、ブロック８３０において、これらの収集された点を通してクローリングし、マップデータベースを使用して、１つ以上のオブジェクトを認識してもよい。本情報は、次いで、ブロック８４０において、ユーザの個々のウェアラブルシステムに伝達されてもよく、所望の仮想場面が、ブロック８５０において、適宜、ユーザに表示されてもよい。例えば、所望の仮想場面（例えば、ＣＡにおけるユーザ）が、Ｎｅｗ Ｙｏｒｋにおけるユーザの種々のオブジェクトおよび他の周囲に関連して、適切な配向、位置等において表示されてもよい。
図９は、ウェアラブルシステムの別の実施例のブロック図である。本実施例では、ウェアラブルシステム９００は、世界に関するマップデータを含み得る、マップを備える。マップは、部分的に、ウェアラブルシステム上にローカルに常駐してもよく、部分的に、有線または無線ネットワークによってアクセス可能なネットワーク化された記憶場所（例えば、クラウドシステム内）に常駐してもよい。姿勢プロセス９１０が、ウェアラブルコンピューティングアーキテクチャ（例えば、処理モジュール２６０またはコントローラ４６０）上で実行され、ウェアラブルコンピューティングハードウェアまたはユーザの位置および配向を決定するために、マップからのデータを利用してもよい。姿勢データは、ユーザが、システムを体験し、その世界内で動作するにつれて、オンザフライで収集されたデータから算出されてもよい。データは、実または仮想環境内のオブジェクトに関する画像、センサ（概して、加速度計およびジャイロスコープコンポーネントを備える、慣性測定ユニット等）からのデータ、および表面情報を備えてもよい。
疎点表現は、同時場所特定およびマッピング（入力が画像／視覚のみである構成を指す、ＳＬＡＭまたはＶ−ＳＬＡＭ）プロセスの出力であってもよい。システムは、世界内の種々のコンポーネントの場所だけではなく、世界を構成しているものを見出すように構成されることができる。姿勢は、マップをポピュレートすることおよびマップからのデータを使用することを含め、多くの目標を達成する、構築ブロックであってもよい。
一実施形態では、疎点位置は、それ自体では完全に適正であり得ず、さらなる情報が、多焦点ＡＲ、ＶＲ、またはＭＲ体験を生成するために必要とされ得る。概して、深度マップ情報を指す、稠密表現が、少なくとも部分的に、本間隙を充填するために利用されてもよい。そのような情報は、立体視９４０と称されるプロセスから算出されてもよく、深度情報は、三角測量または飛行時間感知等の技法を使用して決定される。画像情報およびアクティブパターン（アクティブプロジェクタを使用して生成される赤外線パターン等）が、立体視プロセス９４０への入力としての役割を果たし得る。有意な量の深度マップ情報が、ともに融合されてもよく、このうちのいくつかは、表面表現を用いて要約されてもよい。例えば、数学的に定義可能な表面は、ゲームエンジンのような他の処理デバイスへの効率的（例えば、大規模点クラウドと比較して）かつ摘要可能な入力であってもよい。したがって、立体視プロセス（例えば、深度マップ）９４０の出力は、融合プロセス９３０において組み合わせられてもよい。姿勢は、同様に、本融合プロセス９３０への入力であってもよく、融合９３０の出力は、マッププロセス９２０をポピュレートするための入力となる。サブ表面が、トポグラフィマッピング等において相互に接続し、より大きい表面を形成してもよく、マップは、点および表面の大規模ハイブリッドとなる。
複合現実プロセス９６０における種々の側面を解決するために、種々の入力が、利用されてもよい。例えば、図９に描写される実施形態では、ゲームパラメータは、システムのユーザが１匹以上のモンスタと種々の場所においてモンスタバトルゲームをプレーしていること、モンスタが死んでいる、種々の条件下で逃げている（ユーザがモンスタを撃つ場合等）、種々の場所における壁または他のオブジェクト、および同等物を決定するための入力であってもよい。世界マップは、複合現実に対する別の有用な入力となる、そのようなオブジェクトが相互に対して存在する場所に関する情報を含んでもよい。世界に対する姿勢は、同様に、入力となり、ほぼあらゆる双方向システムに対して重要な役割を果たす。
ユーザからの制御または入力は、ウェアラブルシステム９００への別の入力である。本明細書に説明されるように、ユーザ入力は、視覚的入力、ジェスチャ、トーテム、オーディオ入力、感覚入力等を含むことができる。動き回るまたはゲームをプレーするために、例えば、ユーザは、ウェアラブルシステム９００に、何をしたいかに関して命令する必要があり得る。空間内で自ら移動するだけではなく、利用され得る種々の形態のユーザ制御が、存在する。一実施形態では、トーテム（例えば、ユーザ入力デバイス）、または玩具銃等のオブジェクトが、ユーザによって保持され、システムによって追跡されてもよい。システムは、好ましくは、ユーザがアイテムを保持していることを把握し、ユーザがアイテムと行っている相互作用の種類を理解するように構成されるであろう（例えば、トーテムまたはオブジェクトが、銃である場合、システムは、場所および配向だけではなく、ユーザが、そのようなアクティビティがカメラのいずれかの視野内にないときでも、何が起こっているかの決定を補助し得る、ＩＭＵ等のセンサを装備し得る、トリガまたは他の感知ボタンまたは要素をクリックしているかどうかも理解するように構成されてもよい。）
手のジェスチャ追跡または認識もまた、入力情報を提供してもよい。ウェアラブルシステム９００は、ボタン押下のため、左または右、停止、握持、保持等をジェスチャするために、手のジェスチャを追跡および解釈するように構成されてもよい。例えば、１つの構成では、ユーザは、非ゲーム環境において電子メールまたはカレンダを通してフリップする、または別の人物または演奏者と「フィストバンプ」を行うことを所望し得る。ウェアラブルシステム９００は、動的であり得る、またはそうではない場合がある、最小量の手のジェスチャを活用するように構成されてもよい。例えば、ジェスチャは、停止を示すために手を広げる、ＯＫを示すために親指を上げる、ＯＫではないことを示すために親指を下げる、または指向性コマンドを示すために左右または上下に手をフリップする等、単純な静的ジェスチャであってもよい。
眼追跡は、別の入力である（例えば、ユーザが見ている場所を追跡し、ディスプレイ技術を制御し、具体的深度または範囲においてレンダリングする）。一実施形態では、眼の輻輳・開散運動が、三角測量を使用して決定されてもよく、次いで、その特定の人物のために開発された輻輳・開散運動／遠近調節モデルを使用して、遠近調節が、決定されてもよい。
カメラシステムに関して、図９に示される例示的ウェアラブルシステム９００は、３つの対のカメラ、すなわち、ユーザの顔の両側に配列される相対的広ＦＯＶまたは受動ＳＬＡＭ対のカメラと、ユーザの正面に配向され、立体視結像プロセス９４０をハンドリングし、また、ユーザの顔の正面の手のジェスチャおよびトーテム／オブジェクトの軌道を捕捉するための異なる対のカメラとを含むことができる。ステレオプロセス９４０に対するＦＯＶカメラおよび対のカメラは、外向きに向いた結像システム４６４（図４に示される）の一部であってもよい。ウェアラブルシステム９００は、眼ベクトルおよび他の情報を三角測量するために、ユーザの眼に向かって配向される眼追跡カメラ（図４に示される内向きに向いた結像システム４６２の一部であってもよい）を含むことができる。ウェアラブルシステム９００はまた、１つ以上のテクスチャ化光プロジェクタ（赤外線（ＩＲ）プロジェクタ等）を備え、テクスチャを場面の中に投入してもよい。
図１０は、ウェアラブルシステムへのユーザ入力を決定するための方法１０００の実施例のプロセスフロー図である。本実施例では、ユーザは、トーテムと相互作用してもよい。ユーザは、複数のトーテムを有してもよい。例えば、ユーザは、ソーシャルメディアアプリケーションのための指定される１つのトーテム、ゲームをプレーするための別のトーテム等を有してもよい。ブロック１０１０では、ウェアラブルシステムは、トーテムの運動を検出してもよい。トーテムの移動は、外向きに向いたシステムを通して認識されてもよい、またはセンサ（例えば、触知グローブ、画像センサ、手追跡デバイス、眼追跡カメラ、頭部姿勢センサ等）を通して検出されてもよい。
少なくとも部分的に、検出されたジェスチャ、眼姿勢、頭部姿勢、またはトーテムを通した入力に基づいて、ウェアラブルシステムは、ブロック１０２０において、基準フレームに対するトーテム（またはユーザの眼または頭部またはジェスチャ）の位置、配向、および／または移動を検出する。基準フレームは、それに基づいてウェアラブルシステムがトーテム（またはユーザ）の移動をアクションまたはコマンドに変換する、マップ点のセットであってもよい。ブロック１０３０では、トーテムとのユーザの相互作用が、マッピングされる。基準フレーム１０２０に対するユーザ相互作用のマッピングに基づいて、システムは、ブロック１０４０において、ユーザ入力を決定する。
例えば、ユーザは、トーテムまたは物理的オブジェクトを前後に移動させ、仮想ページを捲り、次のページに移動する、または１つのユーザインターフェース（ＵＩ）ディスプレイ画面から別のＵＩ画面に移動することを示してもよい。別の実施例として、ユーザは、ユーザのＦＯＲ内の異なる実または仮想オブジェクトを見るために、その頭部または眼を移動させてもよい。特定の実または仮想オブジェクトにおけるユーザの注視が、閾値時間より長い場合、その実または仮想オブジェクトは、ユーザ入力として選択されてもよい。いくつかの実装では、ユーザの眼の輻輳・開散運動が、追跡されることができ、遠近調節／輻輳・開散運動モデルが、ユーザが合焦している深度平面に関する情報を提供する、ユーザの眼の遠近調節状態を決定するために使用されることができる。いくつかの実装では、ウェアラブルシステムは、レイキャスティング技法を使用して、ユーザの頭部姿勢または眼姿勢の方向に沿っている実または仮想オブジェクトを決定することができる。種々の実装では、レイキャスティング技法は、実質的に殆ど横幅を伴わない細い光線束を投じる、または実質的横幅を伴う光線（例えば、円錐または円錐台）を投じることを含むことができる。
ユーザインターフェースは、本明細書に説明されるようなディスプレイシステム（図２におけるディスプレイ２２０等）によって投影されてもよい。また、１つ以上のプロジェクタ等の種々の他の技法を使用して表示されてもよい。プロジェクタは、画像をキャンバスまたは球体等の物理的オブジェクト上に投影してもよい。ユーザインターフェースとの相互作用は、システムの外部またはシステムの一部の１つ以上のカメラを使用して（例えば、内向きに向いた結像システム４６２または外向きに向いた結像システム４６４を使用して）追跡されてもよい。
図１１は、仮想ユーザインターフェースと相互作用するための方法１１００の実施例のプロセスフロー図である。方法１１００は、本明細書に説明されるウェアラブルシステムによって行われてもよい。
ブロック１１１０では、ウェアラブルシステムは、特定のＵＩを識別してもよい。ＵＩのタイプは、ユーザによって与えられてもよい。ウェアラブルシステムは、特定のＵＩがユーザ入力（例えば、ジェスチャ、視覚的データ、オーディオデータ、感覚データ、直接コマンド等）に基づいてポピュレートされる必要があることを識別してもよい。ブロック１１２０では、ウェアラブルシステムは、仮想ＵＩのためのデータを生成してもよい。例えば、ＵＩの境界、一般的構造、形状等と関連付けられたデータが、生成されてもよい。加えて、ウェアラブルシステムは、ウェアラブルシステムがユーザの物理的場所に関連してＵＩを表示し得るように、ユーザの物理的場所のマップ座標を決定してもよい。例えば、ＵＩが、身体中心である場合、ウェアラブルシステムは、リングＵＩがユーザの周囲に表示され得る、または平面ＵＩが壁上またはユーザの正面に表示され得るように、ユーザの物理的立ち位置、頭部姿勢、または眼姿勢の座標を決定してもよい。ＵＩが、手中心の場合、ユーザの手のマップ座標が、決定されてもよい。これらのマップ点は、ＦＯＶカメラ、感覚入力を通して受信されたデータ、または任意の他のタイプの収集されたデータを通して導出されてもよい。
ブロック１１３０では、ウェアラブルシステムは、データをクラウドからディスプレイに送信してもよい、またはデータは、ローカルデータベースからディスプレイコンポーネントに送信されてもよい。ブロック１１４０では、ＵＩは、送信されたデータに基づいて、ユーザに表示される。例えば、ライトフィールドディスプレイは、仮想ＵＩをユーザの眼の一方または両方の中に投影することができる。いったん仮想ＵＩが生成されると、ウェアラブルシステムは、ブロック１１５０において、単に、ユーザからのコマンドを待機し、より多くの仮想コンテンツを仮想ＵＩ上に生成してもよい。例えば、ＵＩは、ユーザの身体の周囲の身体中心リングであってもよい。ウェアラブルシステムは、次いで、コマンド（ジェスチャ、頭部または眼移動、ユーザ入力デバイスからの入力等）を待機してもよく、認識される場合（ブロック１１６０）、コマンドと関連付けられた仮想コンテンツが、ユーザに表示されてもよい（ブロック１１７０）。実施例として、ウェアラブルシステムは、複数のステムトラックをミックスする前に、ユーザの手のジェスチャを待機してもよい。
ウェアラブルシステム、ＵＩ、およびユーザ体験（ＵＸ）の付加的実施例は、米国特許公開第２０１５／００１６７７７号（参照することによってその全体として本明細書に組み込まれる）に説明されている。
眼追跡較正の実施例
本明細書に説明されるように、ユーザは、ユーザの眼が向けられている方向を含み得る、眼視線を使用して、ウェアラブルデバイスと相互作用することができる。眼視線（時として、本明細書では、眼姿勢とも称される）は、基準方向（典型的には、ユーザの眼が自然に向く前方方向）から測定されてもよく、多くの場合、２つの角度（例えば、基準方向に対する仰角および方位角）または３つの角度（例えば、仰角、方位角、および加えて、ロール角度）を用いて測定される。眼視線を使用してユーザの環境内のオブジェクトとの現実的かつ直感的相互作用を提供するために、ウェアラブルシステムは、眼追跡較正を使用して、ウェアラブルデバイスを較正し、ユーザの眼特徴の一意性および眼測定に何らかの影響を及ぼし得る他の条件を組み込むことができる。
眼追跡較正は、コンピューティングデバイスがユーザの眼視線（例えば、眼画像内で識別されるように）と３Ｄ空間内の視線点を関連付ける方法を学習することを可能にするためのプロセスを伴う。眼視線は、３Ｄ空間内の単一点と関連付けられてもよい。眼視線はまた、仮想オブジェクトの移動を説明し得る、３Ｄ空間内の複数の点（例えば、図１を参照して上記に説明される仮想アバタ１４０または図１２Ｂを参照して下記に説明される仮想蝶の移動を説明する、一連の点）と関連付けられることができる。
ウェアラブルシステムは、眼画像に基づいて、ユーザの眼視線を決定することができる。ウェアラブルシステムは、内向きに向いた結像システム４６２内のセンサ（例えば、眼カメラ）を使用して、眼画像を取得することができる。ウェアラブルシステムは、ユーザがその眼視線を変化させる間（例えば、ユーザが、周囲を見回し、移動する較正標的に追従するとき等）、ユーザの片眼または両眼を結像することができる。ユーザの眼画像と視線点をマッピングするために、ウェアラブルシステムは、ユーザが見るための仮想標的を提示することができる。仮想標的は、３Ｄ空間内の視線の１つ以上の既知の点と関連付けられてもよい。ユーザが標的を見ている間、ウェアラブルシステムは、眼画像を入手し、画像と視線点を関連付けることができる。ウェアラブルシステムは、眼画像および標的と関連付けられた視線点の関連付けに基づいて、マッピング行列を計算することができる。マッピング行列は、ユーザの眼視線の測定と視線ベクトル（ユーザの視線方向を示し得る）との間の関連付けを提供することができる。
マッピング行列は、図７を参照して説明される、種々の機械学習技法を使用して生成されてもよい。例えば、遠隔処理モジュール２７０等のウェアラブルシステムのコンポーネントは、眼画像および標的の位置を入力として受信し、機械学習技法を使用して、眼画像および視線点の関連付けを分析することによって、マッピング行列を出力として生成することができる。使用され得る、眼視線計算技法は、画像特徴（例えば、虹彩特徴または瞳孔または辺縁境界の形状）を検出および位置特定する、特徴ベースの技法、または特徴を明示的に識別せず、むしろ、取得された眼画像と一致する最良適合眼モデルを計算する、モデルベースのアプローチを含む。いくつかの技法（例えば、スターバースト）は、特徴ベースおよびモデルベースの眼視線技法の両方の側面を含む、ハイブリッドアプローチである。
いったん訓練されると、ウェアラブルシステムは、マッピング行列を適用し、ユーザの視線方向を決定することができる。例えば、ウェアラブルシステムは、ユーザが仮想オブジェクトと相互作用する間、眼視線を観察し、眼視線をマッピング行列の中に入力し、ユーザの視線点を決定することができる。視線点は、レイキャスティングにおいて使用され、ユーザの視線方向と交差する、着目オブジェクトを識別し得る。例えば、ウェアラブルシステムは、光線をユーザの視線方向に投射し、光線によって「衝打」される、仮想オブジェクトを識別および選択することができる。ある場合には、光線は、無視可能側方幅を伴う線であり得る一方、他の場合では、光線は、立体角に対する、そして側方幅を有する、円錐であり得る。ウェアラブルシステムは、故に、ユーザが、決定された着目オブジェクトに基づいて、他のユーザインターフェース動作を選択または実施することを可能にすることができる。
較正結果は、各人物の眼における一意性を反映させることができる。例えば、ウェアラブルシステムは、具体的個人の片眼または両眼に対してカスタマイズされる、マッピング行列を生成することができる。例えば、ユーザは、具体的標的に応答して、異なる量の眼移動または眼視線を有し得る。その結果、個々のユーザに特有の較正結果を生成することによって、ウェアラブルシステムは、眼視線とのより正確なユーザ相互作用を可能にし得る。
図１２Ａは、眼追跡較正プロセスにおける例示的標的を図示する。図１２Ａは、ユーザのＦＯＶ１２００内の９つの仮想標的を図示する。ユーザのＦＯＶ１２００は、ユーザが所与の時間に知覚し得る、ユーザのＦＯＲの一部を含むことができる。９つの標的１２０２ａ−１２０２ｉは、異なる深度にレンダリングされることができる。例えば、標的１２０２ｅは、標的１２０２ａよりユーザの近くに現れる、深度平面にある。その結果、標的１２０２ｅは、標的１２０２ａより大きくユーザに現れる。９つの標的は、眼追跡較正プロセスの間、順次、ユーザにレンダリングされることができる。例えば、ウェアラブルシステムは、最初に、標的１２０２ｅをレンダリングし、その後、標的１２０２ｃが続き、次いで、標的１２０２ｂ等と続いてもよい。図１２Ｂを参照して下記にさらに説明されるように、いくつかの実施形態では、単一標的が、ユーザに表示され、標的は、ユーザの視野の周囲を移動する（例えば、標的の移動の間、位置１２０２ａ−１２０２ｉを通過する、またはそこで一時的に停止する）。ウェアラブルシステムは、ユーザがこれらの標的を見ている間、ユーザの眼の画像を入手することができる。例えば、ウェアラブルシステムは、ユーザが標的１２０２ｅを見ているときの第１の画像を入手する一方、ユーザが標的１２０２ｃを見ているときの第２の画像およびユーザが標的１２０２ｂを見ているときの第３の画像等を入手することができる。ウェアラブルシステムは、故に、第１の画像を標的１２０２ｅの位置に合致させ、第２の画像を標的１２０２ｃの位置に合致させ、第３の画像を標的１２０２ｂの位置に合致させること等ができる。９つの標的が、図１２Ａに示されるが、これは、例証のためのものであって、他の実装では、より少ないまたはより多い標的（または標的場所）が、使用されることができ、その位置は、示されるものと異なることができる。
標的の場所は、リグ空間内の位置によって表され得る。リグ空間は、ウェアラブルデバイス（例えば、本明細書に説明されるＨＭＤ）を基準として固定される、座標系を含んでもよい。座標系は、デカルトｘ−ｙ−ｚ座標系として表され得る。本実施例では、水平軸（ｘ）は、軸１２０４（方位角とも称される）によって表され、垂直軸（ｙ）は、軸１２０８（仰角とも称される）によって表される。ユーザからの深度と関連付けられた軸（ｚ）は、図１２Ａに示されない。
図示されるように、標的１２０２ｅは、９つの仮想標的の中心にある。したがって、標的１２０２ｅのｘ−軸位置は、最左仮想オブジェクト（例えば、オブジェクト１２０２ａ、１２０２ｄ、１２０２ｇ）のｘ−軸１２０４値と最右仮想オブジェクト（例えば、オブジェクト１２０２ｃ、１２０２ｆ、１２０２ｉ）のｘ−軸１２０４値の和の０．５倍によって計算されることができる。同様に、標的１２０２ｅのｙ−軸位置は、ＦＯＶの上の仮想オブジェクト（例えば、オブジェクト１２０２ａ、１２０２ｂ、１２０２ｃ）のｙ−軸１２０８値とＦＯＶの下の仮想オブジェクト（例えば、オブジェクト１２０２ｇ、１２０２ｈ、１２０２ｉ）のｙ−軸１２０８値の和の０．５倍によって計算されることができる。
ウェアラブルシステムは、標的をディスプレイ２２０の種々の眼姿勢領域内に提示することができる。標的は、グラフィック（現実的または動画化された蝶またはマルハナバチまたはアバタ等）として示されることができる。グラフィックは、ＦＯＶ内のある位置に現れる、静止画像であってもよい、またはＦＯＶ内のある位置からある位置に移動するように現れてもよい。
標的は、十分な眼画質の眼画像が、ディスプレイ２２０の１つ以上の眼姿勢領域に関して取得されるまで、ディスプレイ２２０の種々の眼姿勢領域に表示されることができる。例えば、眼画像の品質が、決定され、画質閾値と比較され、眼画像が、バイオメトリック用途（例えば、虹彩コードの生成）のために使用され得る、画質を有することを決定することができる。ある眼姿勢領域内の眼画像が、画質閾値を超えない、またはそれを満たさない場合、ディスプレイ２２０は、十分な眼画質の眼画像が取得されるまで、その特定の領域内における１つ以上のグラフィックの表示を継続するように構成されることができる。１つの特定の領域に表示される１つ以上のグラフィックは、異なる実装において、同一または異なることができる。例えば、グラフィックは、その特定の領域内で同一または異なる場所または同一または異なる配向に表示されることができる。
グラフィックは、ストーリーモードまたは装着者の片眼または両眼をディスプレイ２２０の異なる領域に向かって指向または誘引させ得るモードを使用して、ディスプレイ２２０の種々の眼姿勢領域に表示されることができる。例えば、図１２Ｂを参照して下記に説明される一実施形態では、仮想アバタ（例えば、蝶）が、ディスプレイ２２０の種々の領域を横断して移動するように示されることができる。ディスプレイ２２０の種々の領域に表示されるグラフィックのインスタンスは、装着者の片眼または両眼をグラフィックのインスタンスが表示される１つ以上の眼姿勢領域に向かって誘引または指向する、性質（例えば、異なる深度、色、またはサイズ）を有することができる。いくつかの実施形態では、ディスプレイ２２０の種々の領域に表示されるグラフィックは、装着者の片眼または両眼がグラフィックのインスタンスが表示される眼姿勢領域に向かって誘引されるように、可変深度を有するように現れることができる。
図１２Ｂは、頭部搭載型ディスプレイシステムのディスプレイ２２０上の例示的場面１２５０を図式的に図示する。図１２Ｂに描写されるように、ディスプレイ２２０は、移動するグラフィック１２０５を伴う、場面１２５０を表示することができる。例えば、描写されるように、グラフィック１２０５は、場面１２５０全体を通して飛んでいるようにユーザに表示される、蝶であることができる。グラフィック１２０５は、背景画像または場面（図１２Ｂには図示せず）にわたってまたはその一部として表示されてもよい。種々の実施形態では、グラフィックは、アバタ（例えば、例えば、図１に示される蝶またはマルハナバチ１４０等の人物、動物、またはモノの擬人化）、またはディスプレイ２２０の特定の眼姿勢領域に表示されるように構成され得る、任意の他の画像または動画であることができる。グラフィック１２０５は、ユーザに調整されてもよい（例えば、年齢、不安レベル、成熟度、関心等に基づいて）。例えば、子供に不安を生じさせることを回避するために、グラフィック１２０５は、子供向けキャラクタ（蝶または親しみやすいマルハナバチ１４０等）であってもよい。別の実施例として、自動車が好きなユーザに関して、グラフィック１２０５は、レースカー等の車であることができる。したがって、ディスプレイ２２０の種々の領域内で移動する際、グラフィック１２０５は、ビデオ動画として表示され、そのようにウェアラブルディスプレイシステム２００を使用する装着者２１０に現れることができる。グラフィック１２０５は、初期位置１２１０ａにおいて開始し、経路１２１５に沿って、最終位置１２１０ｂまで進むことができる。例えば、描写されるように、グラフィック１２０５は、ディスプレイを横断して（例えば、点線に沿って）時計回り様式でディスプレイ２２０の異なる領域の中に移動することができる。別の実施例として、グラフィック１２０５は、ディスプレイ２２０の異なる領域を横断してジグザグまたはランダムに移動するように現れてもよい。１つの可能性として考えられるジグザグパターンは、領域１２２０ｒ１、１２２０ｒ２、１２２０ｒ４、１２２０ｒ０、１２２０ｒ３、１２２０ｒ５、１２２０ｒ７、および１２２０ｒ８であることができる。
ディスプレイ２２０は、図１２Ｂでは、例証のみのために、同じサイズの９つの領域１２２０ｒ０−１２２０ｒ８を有するように示される。ディスプレイ２２０の領域１２２０ｒ０−１２２０ｒ８の数は、異なる実装では、異なり得る。ディスプレイの任意の数の領域が、グラフィックが、眼をその個別の領域に向かって指向させるために、ある領域からある領域に進む間、眼画像を捕捉するために使用されることができる。例えば、眼姿勢領域の数は、２、３、４、５、６、９、１２、１８、２４、３６、４９、６４、１２８、２５６、１，０００、またはそれよりも多いことができる。眼画像は、眼姿勢領域の一部または全部のために捕捉されることができる。ディスプレイ２２０の領域１２２０ｒ０−１２２０ｒ８の形状は、長方形、正方形、円形、三角形、卵形、菱形等、異なる実装では、異なり得る。いくつかの実施形態では、ディスプレイ２２０の異なる領域のサイズは、異なり得る。例えば、ディスプレイ２２０の中心により近い領域は、ディスプレイ２２０の中心からより離れた領域より小さくあることができるまたはより大きくあることができる。別の実施例として、眼姿勢領域は、ディスプレイ２２０の半分、象限、または任意のセグメント化を備えることができる。
経路１２１５は、良好な品質の眼画像を取得することが望ましい眼姿勢領域内を移動することができ、該領域を横断して移動することができ、または、該領域の周囲を移動することができ、経路１２１５は、眼画像が望ましくない（例えば、概して、不良品質の）眼姿勢領域または必要とされない（例えば、特定のバイオメトリック用途のために）眼姿勢領域を回避し得る。例えば、バイオメトリック用途（例えば、虹彩コード生成）は、ユーザの眼が前方に直線に向けられている（例えば、眼姿勢領域１２２０ｒ０を通して）、眼画像を使用する傾向にあり得る。そのような場合では、グラフィック１２０５は、主に、眼姿勢領域１２２０ｒ０内を移動し、眼姿勢領域１２２０ｒ１−１２２０ｒ８内を移動しない（またはあまり頻繁に移動しない）傾向にあり得る。経路１２１５は、場面１２５０の周辺領域と比較して、場面１２５０の中心により集中されてもよい。他のバイオメトリック用途（例えば、眼の網膜の診断）では、網膜の内側または外側領域（中心窩から離れた）画像が取得されるように、領域１２２０ｒ０から離れた（例えば、自然静置眼姿勢から離れた）方向に向かって、ユーザが見ている眼画像を取得することが望ましくあり得る。そのような用途では、グラフィック１２０５は、場面の中心（例えば、領域１２２０ｒ０）と比較して、場面１２５０の周縁（例えば、領域１２２０ｒ１−１２２０ｒ８）の周囲を移動する傾向にあり得る。経路１２１５は、場面の周縁の周囲により集中され、場面の中心を回避する傾向にあってもよい（例えば、図１２に示される経路１２１５に類似する）。
ディスプレイ２２０の眼姿勢領域１２２０ｒ０−１２２０ｒ８は、例証のみのために、ディスプレイ２２０内に水平および垂直点線によって分離されるように描写される。そのような眼姿勢領域１２２０ｒ０−１２２０ｒ８は、説明の便宜上、輪郭が描かれ、眼画像が取得され得るように、装着者の眼が向くべきディスプレイ２２０の領域を表し得る。いくつかの実装では、図１２Ｂに示される水平および垂直点線は、ユーザに不可視である。いくつかの実装では、図１２Ｂに示される水平または点線は、装着者の片眼または両眼をディスプレイ２２０の特定の領域に向かって指向するために、ユーザに可視であってもよい。
図１２Ｂに示される経路１２１５は、例証的であって、限定することを意図するものではない。経路１２１５は、図１２Ｂに示されるものと異なる形状を有することができる。例えば、経路１２１５は、眼姿勢領域１２２０ｒ０−１２２０ｒ１のうちの１つ以上のものを交差、再交差、または回避してもよく、直線、多角形、または湾曲等であってもよい。移動するグラフィック１２１５の速さは、実質的に一定であることができる、または可変であることができる。例えば、グラフィック１２０５は、ある眼姿勢領域（例えば、１つ以上の眼画像が撮影される場所）内で減速または停止してもよい、またはグラフィック１２０５は、他の眼姿勢領域（例えば、眼画像が必要または所望されない場所）を通して加速またはスキップしてもよい。経路１２１５は、連続的または断続的であることができる（例えば、グラフィック１２０５は、ある眼姿勢領域にわたってまたはその周囲でスキップしてもよい）。例えば、図１２Ｂを参照すると、グラフィック１２０５が、眼姿勢領域１２２０ｒ４内の位置１２１０ｂにあって、バイオメトリック用途が、ユーザの眼が眼姿勢領域１２２０ｒ８に向かって指向されている眼画像を必要とする場合、ディスプレイシステムは、領域１２２０ｒ８に持続的に移動する（例えば、蝶が、領域１２２０ｒ４から領域１２２０ｒ０を通して領域１２２０ｒ８の中に、場面を横断して飛ぶ）ように、グラフィック１２０５を表示し得る、またはディスプレイシステムは、単に、領域１２２０ｒ４内におけるグラフィック１２０５の表示を停止し、次いで、領域１２２０ｒ８内におけるグラフィック１２０５の表示を開始し得る（例えば、蝶は、領域１２２０ｒ４から１２２０ｒ８にジャンプしたように現れるであろう）。
眼姿勢領域は、実２次元座標空間
または正の整数の２次元座標空間
の接続されたサブセットと見なされ得、これは、装着者の眼姿勢の角度空間の観点から、その眼姿勢領域を規定する。例えば、一実施形態では、眼姿勢領域は、方位角偏向（例えば、図１２Ａにおける水平軸１２０４）における特定のθｍｉｎと特定のθｍａｘとの間および仰角偏向（例えば、図１２Ａにおける垂直軸１２０８）における特定のφｍｉｎと特定のφｍａｘとの間にあり得る。加えて、眼姿勢領域は、特定の領域割当と関連付けられることができる。そのような領域割当は、装着者２１０に対してディスプレイ２２０上に現れなくてもよいが、例証的目的のために、図１２Ｂに示される。領域は、任意の好適な様式で割り当てられることができる。例えば、図１２Ｂに描写されるように、中心領域は、領域１２２０ｒ０を割り当てられることができる。描写される実施形態では、領域の付番は、略水平に順次様式で進むことができ、中心領域に領域１２２０ｒ０が割り当てられ、領域１２２０ｒ８が割り当てられる右下領域で終了する。そのような領域１２２０ｒ０−１２２０ｒ８は、眼姿勢領域と称され得る。他の実装では、領域は、図１２Ｂに示されるものと異なるように付番または参照されることができる。例えば、左上領域は、領域１２２０ｒ０を割り当てられることができ、右下領域は、領域１２２０ｒ８を割り当てられることができる。
場面１２５０は、ディスプレイのＶＲモードにおいて、ウェアラブルディスプレイシステムによって提示されてもよく、装着者２１０には、グラフィック１２０５が見えるが、外界は見えない。代替として、場面１２５０は、ディスプレイのＡＲ／ＶＲ／ＭＲモードで提示されてもよく、装着者２１０には、外界上に重畳される視覚的グラフィック１２０５が見える。グラフィック１２０５は、ある眼姿勢領域内に表示されている間、眼画像が、ウェアラブルディスプレイシステム２００に結合される画像捕捉デバイス（例えば、図４における内向きに向いた結像システム４６２）によって捕捉されることができる。一実施例にすぎないが、１つ以上の眼画像が、ディスプレイ２２０の眼姿勢領域１２２０ｒ０−１２２０ｒ８のうちの１つ以上のもの内で捕捉されることができる。例えば、描写されるように、グラフィック１２０５は、初期位置１２１０ａにおいて開始し、ディスプレイ２２０のその左上眼姿勢領域（例えば、領域１２２０ｒ１）内で移動することができる。グラフィック１２０５がその左上眼姿勢領域内を移動することに伴って、装着者２１０は、その眼をディスプレイ２２０のその領域に向かって指向し得る。グラフィック１２０５がディスプレイ２２０の左上眼姿勢領域内にある間、カメラによって捕捉された１つ以上の眼画像は、その方向を見ているときのある眼姿勢における眼を含むことができる。
本実施例を継続すると、グラフィック１２０５は、経路１２１５に沿って、中央上眼姿勢領域（例えば、領域１２２０ｒ２）に移動してもよく、中央上領域に指向される眼姿勢を伴う、眼画像が、捕捉されることができる。グラフィック１２０５が、ディスプレイ２２０の種々の眼姿勢領域１２２０ｒ０−１２２０ｒ８に沿って移動し得る間、眼画像が、グラフィック１２０５が領域１２２０ｒ４内の最終位置１２１０ｂに到達するまで、本プロセスの間、断続的または持続的に捕捉される。１つ以上の眼画像が、領域毎に、捕捉されることができる、または眼画像は、グラフィック１２０５がそれを通して移動する、全てより少ない領域内で捕捉されてもよい。故に、捕捉された眼画像は、１つ以上の異なる眼姿勢における眼の少なくとも１つの画像を含むことができる。眼姿勢は、下記にさらに説明されるであろうように、２つの角度の表現として表され得る。
グラフィック１２０５はまた、ある画質の画像が取得または捕捉されるまで、ディスプレイ２２０の眼姿勢領域内に留まることができる。本明細書に説明されるように、種々の画質メトリックが、ある眼画像が画質閾値（Ｑ）を超えるかどうかを決定するために利用可能である。例えば、画質閾値は、虹彩コードを生成するための画像メトリックレベルに対応する、閾値であることができる。故に、グラフィック１２０５がディスプレイ２２０のある眼姿勢領域内にある間に捕捉された眼画像が、画質閾値を超える場合、グラフィック１２０５は、画質閾値を満たす、または超える、画像が取得されるまで、その眼姿勢領域内に留まる（またはその眼姿勢領域に戻る）ことができる。画質閾値はまた、ディスプレイの特定の眼姿勢領域のために定義されることができる。例えば、特定のバイオメトリック用途は、ディスプレイ２２０のある領域の暗化を要求し得る。したがって、それらの領域のための画質閾値は、暗化されていない領域の画質閾値より高くあり得る。本画像収集プロセスの間、グラフィック１２０５は、ストーリーモードまたは装着者の眼をその領域に向かって指向し続ける動画で継続することができる。
眼画像収集ルーチンはまた、虹彩コード内の脆弱ビットを補正するために使用されることができる。脆弱ビットは、眼画像間の矛盾した虹彩コードのビットを指す（例えば、ビットが、いくつかの眼画像に関してゼロであって、同一虹彩の他の画像に関して１である、実質的確率が存在する）。より具体的には、脆弱ビットは、測定における経験的不信頼性を表し得る、眼画像の虹彩コード内の曖昧に定義されたビットであり得る。脆弱ビットは、例えば、ベルヌーイ分布のパラメータにおける不確実性に関するベイズモデルを利用して、定量化されてもよい。脆弱ビットはまた、例えば、典型的には、眼瞼によって被覆される、または睫毛によってオクルードされる、エリアを表す、それらのビットとして識別されてもよい。眼画像収集ルーチンは、グラフィック１２０５を利用して、眼を異なる眼姿勢に能動的に誘導し、それによって、結果として生じる虹彩コードに及ぼす脆弱ビットの影響を低減させることができる。一実施例にすぎないが、グラフィック１２０５は、眼を眼瞼または睫毛によってオクルードされない眼姿勢領域に誘導することができる。加えて、または代替として、マスクが、眼画像に適用され、脆弱ビットの影響を低減させることができる。例えば、マスクが、脆弱ビットを生産すると識別された眼領域（例えば、オクルージョンが生じる可能性がより高い、虹彩の上側または下側部分）が、虹彩生成のために無視され得るように、適用されてもよい。さらに別の実施例として、グラフィック１２０５は、脆弱ビットを生成する可能性がより高い眼姿勢領域に戻り、より多くの眼画像をそれらの領域から取得し、それによって、結果として生じる虹彩コードに及ぼす脆弱ビットの影響を低減させてもよい。
グラフィック１２０５はまた、いくつかの画像が、特定の眼姿勢領域に関して捕捉または取得されるまで、ディスプレイ２２０の眼姿勢領域内に留まる（または戻る）ことができる。すなわち、「オンザフライ」またはリアルタイムで、各眼画像の画質メトリックと画質閾値を比較する代わりに、ある数の眼画像が、各眼姿勢領域から取得されることができる。次いで、その眼姿勢領域に関して取得される眼画像はそれぞれ、画質メトリックを取得するために処理されることができ、これは、ひいては、個別の画質閾値と比較される。図から分かるように、眼画像収集プロセスの眼姿勢領域は、用途の必要性または要件に応じて、並行して、または順次、実施されることができる。
本眼画像収集ルーチンの間、グラフィックは、種々のモードにおいて、ディスプレイ２２０の１つ以上の眼姿勢領域に表示されることができる。例えば、グラフィックは、ランダムモード、飛行モード、明滅モード、変動モード、またはストーリーモードにおいて、ディスプレイの特定の眼姿勢領域内に（または２つ以上の眼姿勢領域を横断して）表示されることができる。ストーリーモードは、グラフィックが関わり合い得る、種々の動画を含有することができる。ストーリーモードの一実施例にすぎないが、蝶が、繭から出現し、ディスプレイ２２０の特定の領域の周囲を飛び回り得る。蝶が飛び回るにつれて、蝶が花蜜を集め得る、花が、現れ得る。図から分かるように、蝶のストーリーは、ディスプレイ２２０の特定の領域内に、またはディスプレイ２２０の２つ以上の領域を横断して表示されることができる。
変動モードでは、蝶の羽根が、ディスプレイ２２０の特定の領域内で飛び回るにつれて、サイズが変動するように現れてもよい。ランダムモードでは、特定の領域内のグラフィック１２０５の正確な場所が、ランダム化されることができる。例えば、グラフィック１２０５は、単に、左上領域の異なる場所内に現れ得る。別の実施例として、グラフィック１２０５は、初期位置１２１０ａから開始して、左上眼姿勢領域内を部分的ランダム様式において移動してもよい。明滅モードでは、蝶または蝶の群が、ディスプレイ２２０の特定の領域内または２つ以上の領域を横断して、明滅するように現れ得る。種々のモードが、ディスプレイ２２０の種々の眼姿勢領域内で可能性として考えられる。例えば、グラフィック１２０５は、ストーリーモードにおいて、初期位置１２１０ａにおける左上領域内に現れ得る一方、グラフィック１２０５は、明滅モードを使用して、最終位置１２１０ｂにおける中央左領域内に現れ得る。
グラフィックはまた、種々のモードにおいて、ディスプレイ２２０の眼姿勢領域１２２０ｒ０−１２２０ｒ８全体を通して表示されることができる。例えば、グラフィックは、ランダムまたは順次様式において現れ得る（それぞれ、ランダムモードまたは順次モードと称される）。本明細書に説明されるように、グラフィック１２０５は、ディスプレイ２２０の種々の領域を通して、順次様式において、横断して移動することができる。その実施例を継続すると、グラフィック２２０は、ディスプレイ２２０の眼姿勢領域間の介在動画を使用して、経路１２１５に沿って移動してもよい。別の実施例として、グラフィック１２０５は、介在動画を伴わずに、ディスプレイ２２０の異なる領域内に現れ得る。さらに別の実施例として、第１のグラフィック（例えば、蝶）は、第１の眼姿勢領域内に現れ得る一方、別のグラフィック（例えば、マルハナバチ）は、第２の眼姿勢領域内に現れ得る。
異なるグラフィックは、１つの領域から次の領域に連続して現れ得る。または、別の実施形態では、種々のグラフィックは、異なるグラフィックが、異なる眼姿勢領域内に現れ、ストーリーを伝えるように、ストーリーモードにおいて使用されることができる。例えば、繭が、１つの眼姿勢領域内に、次いで、蝶が、別の領域内に現れ得る。種々の実装では、異なるグラフィックもまた、眼画像収集プロセスが、各眼姿勢領域内に現れる異なるグラフィックを用いて、眼を１つの眼姿勢領域から別の領域に指向し得るにつれて、眼姿勢領域を通して、ランダムに分散されて現れ得る。
眼画像はまた、ランダム様式において取得されることができる。したがって、グラフィック１２０５はまた、ランダム様式において、ディスプレイ２２０の種々の眼姿勢領域内に表示されることができる。例えば、グラフィック１２０５は、中央上領域内に現れ得、いったん眼画像が、その領域に関して取得されると、グラフィック１２０５は、その後、図１２Ｂでは、ディスプレイ２２０の右下眼姿勢領域（例えば、領域１２２０ｒ８を割り当てられる）内に現れ得る。別の実施例として、グラフィック１２０５は、見掛け上ランダム方法において表示され、グラフィック１２０５が他の領域内に表示されるまで、個々の領域上に複製を伴わずに、グラフィック１２０５を各眼姿勢領域上に少なくとも１回表示してもよい。ディスプレイのそのような擬似ランダム様式は、画質閾値またはある他の用途のために十分な数の眼画像が取得されるまで、生じ得る。故に、装着者の片眼または両眼に関する種々の眼姿勢が、順次様式ではなく、ランダム様式において取得されることができる。
ある場合には、眼画像が、閾値数の試行後、ある眼姿勢領域に関して取得されることができない（例えば、眼姿勢領域に関して捕捉された３つの眼画像が、画質閾値を超えない）場合、眼画像収集ルーチンは、ある時間周期にわたって、その眼姿勢領域上での収集をスキップまたは一時停止しながら、最初に、眼画像を１つ以上の他の眼姿勢領域から取得してもよい。一実施形態では、眼画像収集ルーチンは、眼画像が、閾値数の試行後、取得されることができない場合、ある眼姿勢領域に関して眼画像を取得しなくてもよい。
眼姿勢は、自然静置姿勢（例えば、ユーザの顔および視線の両方が、ユーザのすぐ前の離れたオブジェクトに向かい得るように配向される）に関して説明されることができる。眼の自然静置姿勢は、自然静置姿勢にある（例えば、眼の平面から真っ直ぐ外に出る）とき、眼の表面に直交する方向である、自然静置位置によって示されることができる。眼が、異なるオブジェクトに向かって見るように移動するにつれて、眼姿勢は、自然静置位置に対して変化する。したがって、現在の眼姿勢は、眼の表面に直交する（および瞳孔内で中心合わせされる）方向であるが、眼が現在指向されるオブジェクトに向かって配向される、眼姿勢方向を参照して測定されることができる。
例示的座標系を基準として、眼の姿勢は、両方とも眼の自然静置位置に対する眼の眼姿勢方向の方位角偏向および天頂偏向を示す、２つの角度パラメータとして表され得る。これらの角度パラメータは、θ（基準方位角から測定される、方位角偏向）およびφ（時として、極性偏向とも称される、仰角偏向）として表され得る。いくつかの実装では、眼姿勢方向の周囲の眼の角度ロールが、眼姿勢の測定内に含まれることができ、角度ロールは、後続分析に含まれることができる。他の実装では、眼姿勢を測定するための他の技法、例えば、ピッチ、ヨー、および随意に、ロール系が、使用されることができる。眼姿勢のためにそのような表現を使用して、方位角偏向および天頂偏向として表される、眼姿勢は、特定の眼姿勢領域と関連付けられることができる。故に、眼姿勢は、眼画像収集プロセスの間に取得される各眼画像から決定されることができる。眼姿勢と眼画像の眼領域との間のそのような関連付けは、データモジュール２６０、２８０内に記憶される、または処理モジュール２６０、２７０にアクセス可能（例えば、クラウド記憶を介してアクセス可能）にされることができる。
眼画像はまた、選択的に取得されることができる。例えば、特定の装着者のある眼画像は、すでに記憶されている、または処理モジュール２６０、２７０によってアクセス可能である場合がある。別の実施例として、特定の装着者に関するある眼画像は、ある眼姿勢領域とすでに関連付けられている場合がある。そのような場合、グラフィック１２０５は、眼姿勢領域または特定の眼姿勢領域と関連付けられた眼画像を有していない、１つのみの眼姿勢領域または特定の眼姿勢領域内に現れ得る。例証として、眼画像は、眼領域番号１、３、６、および８に関して取得されているが、他の眼姿勢領域２、４、５、および７に関して取得されていない場合がある。故に、グラフィック１２０５は、画質メトリック閾値を超える、個別の眼姿勢領域毎の眼画像が取得されるまで、後者の姿勢領域２、４、５、および７内に現れ得る。
眼画像収集および眼視線のための分析の詳細な実施例は、「Ｅｙｅ Ｉｍａｇｅ Ｃｏｌｌｅｃｔｉｏｎ」と題され、２０１７年１月１７日に出願された米国特許出願第１５／４０８２７７号（その開示は、参照することによってその全体として本明細書に組み込まれる）にさらに説明される。
眼視線を検証する実施例
ウェアラブルシステムは、図１２Ａおよび１２Ｂを参照して説明される眼追跡較正プロセスの間、眼画像を入手することができるが、眼追跡較正プロセスにおける１つの課題は、ユーザが、予期される通りに標的を見ていない場合があることである。例えば、ウェアラブルシステムが、標的（例えば、仮想蝶１２０５または標的１２０２ａ−ｉのうちの１つ）をリグ空間内にレンダリングするとき、ユーザは、グラフィックの代わりに、別の方向標的を見ている場合がある。例えば、１つの実験室ベースの実験では、ユーザの１０パーセントが、実験室試験条件下でさえ、較正の間、標的のうちのいくつかを見ていなかった。較正プロトコルとのユーザコンプライアンスは、ユーザが自宅またはオフィス環境内に一人でいるとき、実質的により低くなり得る。その結果、ウェアラブルシステムは、正確な眼追跡結果を較正から得られ得ず、その結果、ウェアラブルシステムを用いたユーザの視覚的体験は、影響され得る。
本課題を改善し、眼視線に関して入手されたデータの品質を改良するために、ウェアラブルシステムは、較正のためにマッピング行列を調節する前に、ユーザの眼視線を検証することができる。眼視線検証の間、ウェアラブルシステムは、頭部姿勢（例えば、頭部位置または回転情報）を使用して、ユーザが実際に標的を見ていることを検証することができる。図１２Ｃは、ユーザの頭部姿勢を使用して、ユーザが標的を見ているかどうかを検証する実施例を図示する。図１２Ｃは、３つの場面１２６０ａ、１２６０ｂ、および１２６０ｃを図示する。これらの３つの場面では、ユーザは、ディスプレイ２２０を介して、レチクル１２８４と、標的１２８２とを知覚することができる。レチクル１２８４は、リグ空間内の仮想オブジェクトを表す一方、標的１２８２は、ユーザの環境内の所与の場所にある、仮想または物理的オブジェクトを表す。標的１２８２の場所は、世界座標系と関連付けられる、世界空間内の位置によって表されてもよい。世界座標系は、ユーザのＨＭＤではなく、ユーザの３Ｄ空間に対してもよい。その結果、世界座標系内のオブジェクトは、必ずしも、リグ空間内のオブジェクトと整合しない場合がある。
眼視線検証プロセスの間、ユーザは、レチクル１２８４と標的１２８２を整合させる必要があり、ウェアラブルシステムは、ユーザに、標的１２８２におけるレチクル１２８４に「照準」を合わせるように命令してもよい。レチクル１２８４が、リグ空間内で移動するにつれて、ユーザは、レチクル１２８４と標的を再び整合させることが可能であるために、頭部および眼球を移動させる必要がある。ウェアラブルシステムは、レチクル１２８４が標的１２８２と整合するかどうかをチェックし（例えば、測定されたユーザ頭部姿勢または眼視線と標的の既知の位置を比較することによって）、フィードバックをユーザに提供する（例えば、レチクル１２８４が標的１２８２と整合するか不整合かを示す）ことができる。有利には、いくつかの実施形態では、ウェアラブルシステムは、レチクル１２８４と標的１２８２との間の十分な整合が存在するときのみ、眼追跡較正のための眼画像を収集するように構成されてもよい。例えば、ウェアラブルシステムは、標的およびレチクルの位置間のオフセットが閾値量未満だけ異なる（例えば、１０°未満、５°未満、１°未満等の角度閾値より小さい）とき、十分な整合が存在することを決定してもよい。
図１２Ｃを参照すると、頭部１２７２は、最初に、位置１２７６ａにあって、眼１２７４は、場面１２６０ａ内の方向１２７８ａを注視している。ユーザは、ディスプレイシステム２２０を介して、レチクル１２８４が位置１２８６に位置することを知覚することができる。場面１２６０ａに図示されるように、レチクル１２８４は、標的１２８２と整合される。
較正プロセスの間、ウェアラブルシステムは、レチクル１２８４をユーザのＦＯＶ内の異なる場所にレンダリングすることができる。場面１２６０ｂでは、レチクル１２８４は、位置１２８６ｂに移動される。本移動の結果、レチクル１２８４は、もはや標的１２８２と整合されない。
ユーザは、その眼球を回転させ、および／またはその頭部１２７２を移動させ、レチクル１２８４と標的１２８２を再整合させる必要があり得る。場面１２６０ｃに描写されるように、ユーザの頭部は、位置１２７６ｃに傾斜される。場面１２６０ｃでは、ウェアラブルシステムは、ユーザの頭部姿勢および眼視線を分析し、ユーザの視線方向が、現在、方向１２７８ａと比較して、方向１２７８ｃにあることを決定することができる。ユーザの頭部の移動のため、レチクル１２８４は、位置１２８６ｃに移動され、場面１２６０ｃに示されるように、標的１２８２と整合される。
図１２Ｃでは、レチクル１２８４の場所は、リグ空間内の位置と関連付けられてもよい。標的１２８２の場所は、世界空間内の位置と関連付けられてもよい。その結果、レチクル１２８４とディスプレイ２２０との間の相対的位置は、ユーザの頭部姿勢が場面１２６０ｂおよび１２６０ｃ内で変化した場合でも、変化しない。ウェアラブルシステムは、レチクルを整合させることができ、標的は、リグ空間内のレチクルの位置と世界空間内のレチクルの位置を整合させ得る。
有利には、いくつかの実施形態では、ウェアラブルシステムは、ユーザの前庭動眼反射を利用し、較正プロセスによって生じる不快感および眼精疲労を低減させることができる。ウェアラブルシステムは、頭部姿勢に基づいて、眼視線を自動的に追跡および推察することができる。例えば、ユーザの頭部が右に移動すると、ウェアラブルシステムは、それを追跡し、眼が、前庭動眼反射反射下、必然的に左に移動することを推察することができる。
図１３Ａは、レチクルがユーザのＦＯＶ１３５０の中心にある、眼視線を検証する実施例を図示する。図１３Ａでは、３つの時系列場面１３１０、１３１２、および１３１４が、示される。本実施例では、ユーザは、眼較正標的１３５４と、レチクル１３５２とを知覚することができる。標的１３５４（例えば、菱形形状のグラフィック）は、ユーザの環境の３次元空間内に固定されるように表示され、仮想レチクルから離れて（例えば、ユーザのＦＯＶ内の中心からずれて）位置する。レチクル１３５２（例えば、フープまたはリング形状のグラフィック）は、ユーザのＦＯＶ１３５０の中心またはその近傍に固定されるように表示される。例えば、ＦＯＶの中心またはその近傍は、１０°未満、５°未満、１°未満等の角度オフセットを備えることができる。
場面１３１０では、レチクル１３５２は、標的１３５４と整合されず、レチクル１３５２は、若干、標的１３５４の下方にある。図１２Ｃを参照して説明されるように、ユーザは、その頭部を移動させ、レチクル１３５２と標的１３５４を整合させることができる。ウェアラブルシステムは、図２を参照して説明されるＩＭＵを使用して、ユーザの頭部移動を検出することができる。ある実施形態では、頭部姿勢は、ＨＭＤの外部のセンサ（例えば、ユーザの部屋内のカメラ）または外向きに向いた結像システム４６４によって観察されるようなユーザの頭部の反射画像等からの他のソースから入手されたデータに基づいて、決定されることができる。場面１３１２に図示されるように、ユーザは、その頭部を上向きに移動させ、レチクル１３５２と標的１３５４を整合させるように試みることができる。いったんレチクルが、場面１３１４に図示されるような位置に到達すると、ウェアラブルシステムは、レチクル１３５２が眼較正標的１３５４と適正に整合され、したがって、ユーザの頭部が眼較正標的を視認するために適切に位置付けられたことを決定することができる。
ウェアラブルシステムは、種々の技法を使用して、レチクルと眼較正標的との間の整合を計算することができる。一実施例として、ウェアラブルシステムは、レチクルと眼較正標的との間の相対的位置を決定することができる。眼較正標的が、レチクル内にある、または眼較正標的の一部がレチクルと重複する場合、ウェアラブルシステムは、レチクルが眼較正標的と整合したことを決定することができる。ウェアラブルシステムはまた、レチクルおよび標的の中心が十分に一致する場合、レチクルおよび標的が整合されたことを決定することができる。ある実施形態では、レチクルが、リグ空間内にある一方、標的が、世界空間内にあるため、ウェアラブルシステムは、リグ空間と関連付けられた座標系と世界空間と関連付けられた座標系を整合させ、レチクルが標的と整合するかどうかを決定するように構成されてもよい。ウェアラブルシステムは、それらの間の相対的オフセットが閾値（例えば、上記に説明されるような角度閾値）より小さいことを決定することによって、レチクルおよび標的が重複または一致するかどうかを決定してもよい。いくつかの実施例では、本閾値は、図１４Ａおよび１４Ｂを参照して下記にさらに詳細に説明されるように、ユーザ頭部姿勢と関連付けられた１つ以上の閾値に対応してもよい。
ウェアラブルシステムはまた、レチクルと眼較正標的との間の整合が生じる頭部姿勢を表す、標的頭部姿勢を識別することができる。ウェアラブルシステムは、ユーザの現在の頭部姿勢と標的頭部姿勢を比較し、ユーザが実際に標的を見ていることを検証することができる。標的頭部姿勢は、３Ｄ空間内のレチクルの位置または標的の位置に特有であってもよい。いくつかの実施形態では、標的頭部姿勢は、ユーザまたは他の人々（例えば、ウェアラブルシステムの前のユーザ、ウェアラブルシステムが通信する１つ以上のサーバまたは他のコンピューティングデバイスとネットワーク通信する、他の類似ウェアラブルシステムのユーザ等）と関連付けられたデータに基づいて、推定されてもよい。
ある実施形態では、ウェアラブルシステムは、レイキャスティングまたは円錐キャスティング技法を使用して、標的とレチクルとの間の整合を決定することができる。例えば、ウェアラブルシステムは、光線または円錐（光線に対して横方向の体積を含む）を投射し、光線／円錐と標的との間の衝突を検出することによって、整合を決定することができる。ウェアラブルシステムは、光線／円錐の一部が標的と交差する場合、または標的が円錐の体積内に入るとき、衝突を検出することができる。光線／円錐の方向は、ユーザの頭部または眼視線に基づいてもよい。例えば、ウェアラブルシステムは、光線をユーザの眼の間の場所から投射することができる。レチクルは、光線／円錐の一部を反射させることができる。例えば、レチクルの形状は、円錐の遠位端（例えば、ユーザから離れた円錐の端部）上の形状に合致し得る。円錐が、幾何学的円錐である場合、レチクルは、円形または卵形形状を有してもよい（円錐の断面等の円錐の一部を表してもよい）。ある実装では、レチクルは、リグ空間内にレンダリングされるため、ユーザが動き回るにつれて、ウェアラブルシステムは、光線とユーザのＨＭＤとの間の相対的位置が変化しない場合でも、光線／円錐の方向を更新することができる。
いったんウェアラブルシステムが、ユーザが標的を見ていることを決定すると（例えば、レチクルが標的と整合するため）、ウェアラブルシステムは、較正の目的のために、例えば、内向きに向いた結像システム４６２を使用して、眼視線データの収集を開始してもよい。いくつかの実施例では、ウェアラブルシステムは、最初に、１つ以上の眼追跡センサまたは処理モジュール（例えば、ローカル処理データモジュール）の出力を、定期的にフラッシュされる、一時的データ記憶装置（例えば、キャッシュメモリ等）に記憶してもよい。ユーザが実際に標的を見ていることの決定に応答して、ウェアラブルシステムは、さらなる分析または長期記憶のために、一時的データ記憶装置からの出力データを、例えば、ディスクまたは別のメモリ場所等の別のデータ記憶装置に転送することに進むことができる。
眼視線データが収集された後、システムは、眼追跡較正プロセスを完了し得るか、または付加的眼視線データが収集され得るように、別の眼較正標的またはレチクルをレンダリングすることに進み得るかのいずれかである。例えば、ウェアラブルシステムは、ウェアラブルシステムが図１３Ａに示される場面１３１４内の眼データを収集した後、レチクル１３５２を図１３Ｂの場面１３２０に示されるようなユーザのＦＯＶ１３５０内の異なる場所に提示することができる。いくつかの実施形態では、ウェアラブルシステムは、各フレームが眼追跡較正プロセスにおいて使用するために好適なデータを表すかどうかを決定するように、収集された各フレームを基準のセットに対して評価してもよい。所与のフレームに関して、そのような評価は、例えば、ユーザがフレームの収集時に瞬目したかどうかを決定するステップ、標的およびレチクルがフレームの収集時に相互に適正に整合されたかどうかを決定するステップ、ユーザの眼がフレームの収集時に正常に検出されたかどうかを決定するステップ等を含んでもよい。これらの実施形態では、ウェアラブルシステムは、基準のセットを満たす、閾値量のフレーム（例えば、１２０フレーム）が収集されたかどうかを決定してもよく、閾値量のフレームが満たされたことの決定に応答して、ウェアラブルシステムは、眼追跡較正プロセスを完了してもよい。ウェアラブルシステムは、閾値量のフレームがまだ満たされていないことの決定に応答して、別の眼較正標的またはレチクルをレンダリングすることに進んでもよい。
図１３Ｂは、レチクルがユーザのＦＯＶ１３５０内の中心から外れた場所にレンダリングされる、眼視線を検証する実施例を図示する。図１３Ｂにおける仮想レチクルの場所は、図１３Ａにおける仮想レチクルの場所と異なる。例えば、図１３Ａでは、仮想レチクルの場所は、ユーザのＦＯＶの中心またはその近傍にある一方、図１３Ｂでは、仮想レチクルの場所は、ユーザのＦＯＶの中心からずれている。同様に、標的の場所は、図１３Ａでは（例えば、ＦＯＶの上部に向かってある）、図１３Ｂにおける標的の場所（例えば、ＦＯＶの中心またはその近傍にある）と異なる。図１３Ｂでは、３つの時系列場面１３２０、１３２２、および１３２４が、示される。本実施例では、レチクル１３５２は、ユーザのＦＯＶ１３５０の右側上にレンダリングされ、標的１３５４は、ユーザのＦＯＶ１３５０の中心の近傍にレンダリングされる。場面１３１４から場面１３２０において、レチクル１３５２がレンダリングされる、ユーザのＦＯＶ１３５０内の場所が、更新されたが、標的１３５４がレンダリングされる、環境内の場所は、実質的に同一のままであることが分かる。レチクル１３５２と標的１３５４を整合させるために、ユーザは、レチクルと眼較正標的を整合させるように、その頭部を左に回転させ得る（例示的場面１３２２および１３２４参照）。いったんウェアラブルシステムが、標的１３５４がレチクル１３５２内にあることを決定すると、ウェアラブルシステムは、図１３Ａを参照して上記に説明される実施例に類似する様式において、眼視線データの収集を開始してもよい。ユーザの眼視線が移動する場合（例えば、標的およびレチクルがもはや十分に整合されないほど）、ウェアラブルシステムは、ユーザがもはや標的を見ておらず、任意の入手されたデータがより低い品質であろうため、眼視線データの収集を停止してもよい。
ある実施形態では、ウェアラブルシステムは、レチクル１３５２が標的１３５４と整合される、標的頭部姿勢を計算することができる。ウェアラブルシステムは、ユーザが移動するにつれて、ユーザの頭部姿勢を追跡することができる。いったんウェアラブルシステムが、ユーザが標的頭部姿勢（例えば、場面１３１４または１３２４に示される頭部姿勢）をとったことを決定すると、ウェアラブルシステムは、標的１３５４およびレチクル１３５２が整合されたことを決定することができ、ウェアラブルシステムは、頭部が標的頭部姿勢にあるときの眼画像を収集することができる。
眼視線検証を伴う、眼追跡較正の例示的プロセス
図１４Ａは、眼視線検証を伴う、眼追跡較正プロセスのための例示的フローチャートを図示する。例示的プロセス１４００は、例えば、単独で、または組み合わせて、遠隔処理モジュール２７０またはローカル処理およびデータモジュール２６０等のウェアラブルシステム２００の１つ以上のコンポーネントによって実施されてもよい。ウェアラブルシステム２００のディスプレイ２２０は、標的またはレチクルをユーザに提示することができ、内向きに向いた結像システム４６２は、眼視線決定のための眼画像を取得することができ、ＩＭＵ、加速度計、またはジャイロスコープは、頭部姿勢を決定することができる。
ブロック１４１０では、ウェアラブルシステムは、眼較正標的をユーザの環境内にレンダリングすることができる。眼較正標的は、世界空間（環境に対する座標系によって表され得る）内にレンダリングされてもよい。眼較正標的は、１Ｄ、２Ｄ、および３Ｄ画像を含み得る、種々のグラフィカル形態で表されてもよい。眼較正標的はまた、静止画像または移動する画像（例えば、動画等）を含んでもよい。図１３Ａを参照すると、眼較正標的は、菱形によって図式的に表される。
ブロック１４２０では、ウェアラブルシステムは、レンダリングされている眼較正標的と関連付けられた頭部姿勢範囲を識別することができる。頭部姿勢範囲は、複数の頭部姿勢（例えば、２、３、４、５、１０、またはそれよりも多く）を含むことができる。頭部姿勢は、ユーザの頭部の位置および配向を説明することができる。位置は、平行移動座標値（例えば、図６に示されるｘ−ｙ−ｚ座標系内の座標値等）によって表されてもよい。配向は、頭部の自然静置状態に対する角度値によって表されてもよい。例えば、角度値は、前方および後方への頭部傾斜（例えば、ピッチ）、左および右への方向転換（例えば、ヨー）、および横方向への傾斜（例えば、ロール）を表すことができる。ウェアラブルシステムは、頭部位置の範囲および頭部配向の範囲を識別することができ、これはともに、レチクルおよび標的が十分に相互に整合されていると見なされる、頭部姿勢の範囲を規定することができる。そのような範囲の境界は、閾値に対応すると見なされ得る。本範囲内に入る頭部姿勢は、レチクルがユーザのＦＯＶの異なる領域内に現れる間、ユーザが標的およびレチクルを整合させるための、標的頭部姿勢に対応し得る。図１３Ａおよび１３Ｂを参照すると、頭部姿勢の範囲は、頭部姿勢１３１４および１３２４を包含することができ、ウェアラブルシステムは、頭部姿勢１３１４および１３２４に対応する頭部位置および配向が、それぞれ、識別された頭部位置の範囲および頭部配向の範囲内に入り、したがって、十分なレチクル−標的整合の１つ以上の閾値または他の要件を満たすことを決定してもよい。
ウェアラブルシステムは、例えば、ＩＭＵまたは外向きに向いた結像システム（例えば、ユーザの頭部の反射された画像を追跡するため）等のＨＭＤの内部のセンサまたはＨＭＤの外部（例えば、ユーザの部屋内の壁に搭載されるカメラ等）のセンサを使用して、頭部姿勢を追跡することができる。ブロック１４３０では、ウェアラブルシステムは、ユーザの現在の頭部姿勢を示す、データを受信することができる。データは、ユーザの頭部の現在の位置および配向または３Ｄ空間内のユーザの頭部の移動を含むことができる。例えば、図１３Ａでは、ユーザが、頭部を場面１３１０に示される位置から場面１３１４に示される位置に移動させるにつれて、ウェアラブルシステムは、ユーザの頭部移動を追跡および記録することができる。
ブロック１４４０では、ウェアラブルシステムは、ブロック１４３０から入手されたデータに基づいて、ユーザが識別された頭部姿勢の範囲内に入る頭部姿勢をとっているかどうかを決定することができる。ウェアラブルシステムは、ユーザの頭部姿勢が、レチクルを標的と整合させ得る、位置または配向にあるかどうかを決定することができる。実施例として、ウェアラブルシステムは、ユーザの頭部姿勢と関連付けられた頭部位置および頭部配向の両方が、識別された頭部位置の範囲および識別された頭部配向の範囲内に入るかどうかを決定することができる。ウェアラブルシステムは、ユーザの頭部姿勢と関連付けられた頭部位置と識別された頭部位置の範囲の境界を定義する閾値（例えば、平行移動座標値）を比較することによって、およびユーザの頭部姿勢と関連付けられた頭部配向と識別された頭部配向の範囲の境界を定義する閾値（例えば、角度値）を比較することによって、そのような決定を行うことができる。図１３Ａを参照すると、ウェアラブルシステムは、ユーザが１３１４に示される頭部姿勢をとっているかどうかを決定することができる。ユーザが、識別された頭部姿勢の範囲内に入る頭部姿勢をとっておらず、したがって、レチクルおよび標的が相互に十分に整合されると見なされる頭部姿勢をとっていない場合、ウェアラブルシステムは、ブロック１４３０に示されるように、ユーザの頭部姿勢と関連付けられたデータの入手および分析を継続することができる。
随意に、１４５０において、ウェアラブルシステムは、ユーザに、フィードバック（例えば、視覚的、聴覚的、触覚的等）を提供し、ユーザの頭部が適切に位置付けられていることを示すことができる。例えば、視覚的フィードバックは、レチクルおよび／または眼較正標的を明滅または変色させることによって、レチクルが標的と整合するように、ユーザの頭部が適切に位置付けられていることを示し得る、標的またはレチクルの色変化または明滅効果を含むことができる。いくつかの実施形態では、ブロック１４１０−１４５０は、眼視線検証プロセスの一部である。
ユーザの頭部が識別された頭部姿勢のうちの１つ内にあることが決定される場合、ブロック１４６０では、ウェアラブルシステムは、眼較正標的と関連付けて、ユーザの眼視線を示すデータを受信および記憶することができる。図１３Ａのコンテキスト内では、ウェアラブルシステムが、ユーザ頭部姿勢が場面１３１４に示される位置および配向にあることを検出すると、ウェアラブルシステムは、データを１つ以上の眼追跡センサ（例えば、内向きに向いた結像システム４６２内の眼カメラ）から受信し、記憶することができる。
ブロック１４７０では、ウェアラブルシステムは、付加的データが眼追跡較正の間に収集されるべきであるかどうかを決定することができる。例えば、ウェアラブルシステムは、別の眼視線方向における眼画像が較正プロセスを更新または完了するために収集されるべきであるかどうかを決定することができる。付加的眼較正データが収集されるべきであることが決定される場合、ウェアラブルシステムは、ブロック１４１０に戻り、プロセス１４００を繰り返すことができる。図１３Ａおよび１３Ｂを参照すると、例えば、ウェアラブルシステムは、ユーザ２１０が場面１３１４に図示される位置にあるとき、ウェアラブルシステムが眼画像を収集した後、場面１３２２に示されるように、標的１３５４をレンダリングすることができる。
ある実施形態では、ユーザが実際に標的を注視している場合でも、ウェアラブルシステムによって入手された画像は、満足の行くものではないと見なされ得る（例えば、ユーザ瞬目のため）。その結果、プロセスは、ブロック１４６０に戻り、付加的画像を撮影することができる。
付加的眼較正データが収集される必要がないことが決定される場合、ブロック１４８０では、ウェアラブルシステムは、プロセス１４００を完了し、記憶された眼視線データを眼追跡較正のために使用することができる。例えば、記憶されたデータは、上記に説明されるマッピング行列を生成するために使用されることができる。
図１４Ｂは、例示的眼視線検証プロセスを図示する。例示的プロセス１４９０は、例えば、単独で、または組み合わせて、遠隔処理モジュール２７０およびローカル処理およびデータモジュール２６０等のウェアラブルシステムの１つ以上のコンポーネントによって実施されることができる。ウェアラブルシステムは、ＨＭＤを含むことができる。ウェアラブルシステム２００のディスプレイ２２０は、標的またはレチクルをユーザに提示することができ、内向きに向いた結像システム４６２は、眼視線決定のための眼画像を取得することができ、ＩＭＵ、加速度計、またはジャイロスコープは、頭部姿勢を決定することができる。
ブロック１４９２ａでは、ウェアラブルシステムは、ユーザの環境と関連付けられた世界空間内の標的を決定することができる。標的は、世界空間内の所与の位置に固定されてもよい。標的は、ディスプレイ２２０によってレンダリングされた仮想オブジェクトまたはユーザの環境内の物理的オブジェクト（例えば、花瓶、棚、植木鉢、書籍、絵画等）であってもよい。仮想標的は、図１２Ａ、１２Ｂ、および１８を参照して説明されるように、種々の外観を有してもよい。世界空間は、図９に示される世界マップ９２０を含んでもよい。世界空間内の標的の場所は、３Ｄ世界座標系内の位置によって表されてもよい。
ブロック１４９２ｂでは、ウェアラブルシステムは、ユーザのＨＭＤと関連付けられたリグ空間内のレチクルを決定する。レチクルは、ＨＭＤによって、ユーザのＦＯＶ内の所定の場所にレンダリングされることができる。リグ空間は、世界座標系と別個の座標系と関連付けられてもよい。
ブロック１４９４では、ウェアラブルシステムは、ユーザの頭部姿勢を追跡することができる。ウェアラブルシステムは、ユーザのＨＭＤ内のＩＭＵまたは外向きに向いた結像システムに基づいて、頭部姿勢を追跡することができる。ウェアラブルシステムはまた、ユーザの部屋内のウェブカメラまたはトーテム等の他のデバイス（ユーザの環境を結像するように構成され得る）を使用して、頭部姿勢を追跡することができる。ユーザの頭部姿勢が変化するにつれて、レチクルと標的との間の相対的位置もまた、変化し得る。
ブロック１４９６では、ウェアラブルシステムは、頭部姿勢に基づいて、レチクルと標的との間の相対的位置を更新することができる。例えば、標的が、レチクルの右にあって、ユーザがその頭部を右に方向転換させる場合、レチクルは、標的により近づくように現れ得る。しかしながら、ユーザがその頭部を左に方向転換させる場合、レチクルは、標的からより遠く離れて移動するように現れ得る。
ブロック１４９８ａでは、ウェアラブルシステムは、標的およびレチクルが整合されているかどうかを決定することができる。整合は、光線／円錐キャスティングを使用して実施されてもよい。例えば、ウェアラブルシステムは、光線をレチクルから投射し、標的が光線と交差するかどうかを決定することができる。標的が光線と交差する場合、ウェアラブルシステムは、標的およびレチクルが整合されていることを決定することができる。ウェアラブルシステムはまた、ユーザの頭部姿勢に基づいて、リグ空間内の位置と世界空間内の位置との間のオフセットを決定することができる。ウェアラブルシステムは、オフセットをレチクル（または標的）に適用し、標的の位置と一致するレチクルの位置を決定することによって、世界空間内の標的の場所およびリグ空間内のレチクルの場所を整合させることができる。いくつかの状況では、オフセットは、レチクルの位置をリグ空間から世界空間内の対応する位置に平行移動させるために使用されてもよい。レチクルと標的との間の整合は、世界空間を基準とするレチクルおよび標的の座標値に基づいて決定されてもよい。
標的およびレチクルが、整合されない場合、ウェアラブルシステムは、ブロック１４９４において、頭部姿勢の追跡を継続することができる。標的およびレチクルが、整合される場合、ウェアラブルシステムは、ユーザが実際に標的を見ていることを決定することができ、ブロック１４９８ｂでは、ユーザの眼視線方向が検証されたことのインジケーションを提供することができる。インジケーションは、聴覚的、視覚的、または触知的効果を含むことができる。
いくつかの実施形態では、ウェアラブルシステムは、眼追跡較正のために、一連のレチクル（例えば、それぞれ、図１２Ｂに示される異なる眼視線領域内にある）を提示することができる。その結果、ブロック１４９８ｂ後、ウェアラブルシステムは、随意に、ブロック１４９２ａにおいて再開し、レチクルをリグ空間内の新しい場所に提示することができる。ユーザは、ユーザの頭部姿勢を変化させることによって、新しい場所におけるレチクルと標的を再び整合させるように試みることができる。
動的に調節可能なレチクルの実施例
レチクルは、例えば、色、形状、サイズ、グラフィック等の種々の外観を有することができる。レチクルの外観は、眼追跡較正プロセスの際に関わるパラメータに依存する。レチクルの外観は、コンテキスト情報に基づいて、動的に調節されてもよい。コンテキスト情報は、標的の特性（例えば、標的のサイズまたは場所）、ユーザと関連付けられた情報（例えば、ユーザの位置）、または眼追跡較正プロセスのために要求される整合精度を含んでもよい。例えば、ウェアラブルシステムは、標的が大きい場合、より大きいレチクルを使用する一方、標的が小さい場合、より小さいレチクルを使用してもよい。いくつかの実施形態では、ウェアラブルシステムは、標的がユーザの比較的に近傍に位置付けられる場合、比較的に大きいレチクルを使用してもよく、標的がユーザから比較的に遠く離れて位置付けられる場合、比較的に小さいレチクルを使用してもよい。
いくつかの実施例では、レチクルのサイズは、図１４Ａを参照して上記に説明されるように、ブロック１４２０の動作の実行を通してウェアラブルシステムによって識別される、頭部姿勢の範囲のサイズに関する情報を与え得る。例えば、レチクルのサイズが小さいとき、頭部姿勢の範囲は、ユーザが、その頭部を精密に位置付け、レチクルと標的を整合させることがより困難であり得るため、比較的に大きくあり得る。他方では、レチクルのサイズが大きいとき、頭部姿勢の範囲は、比較的に小さく、整合における誤差率を低減させてもよい。
概して、より大きいレチクルと標的を整合させることは、より容易であるが、より大きいレチクルは、より小さいレチクルほど信頼性がないまたは正確ではない較正データをもたらし得る。その結果、ウェアラブルシステムは、眼追跡較正において使用されるデータが高精度を要求する場合、より小さいレチクルをレンダリングする一方、眼追跡較正において使用されるデータが低精度を要求する場合、より大きいレチクルをレンダリングしてもよい。いくつかの実装では、システムは、より大きいレチクルから開始し、第１の較正データセットを入手し、次いで、十分なデータがユーザまたは特定のユーザ用途のために十分な信頼性および正確度の眼追跡較正を生成するために収集されるまで、より小さいレチクルを使用して、第２の較正データセット等を入手する。したがって、ウェアラブルシステムは、眼較正プロセスの間、レチクルサイズ（または較正プロシージャの他の側面）を動的に調節することができる。
図１５Ａおよび１５Ｂは、標的とレチクルとの間の距離に基づいて、レチクルのサイズを動的に調節する実施例を図示する。図１５Ａおよび１５Ｂでは、ユーザは、ディスプレイ２２０を介して、ドア１５１０等の実世界オブジェクトと、場面１５００ａ内の標的１５３０およびレチクル１５２０等の仮想オブジェクトとを知覚することができる。標的１５３０は、ユーザの３Ｄ空間内の場所に固定されることができる。ユーザは、ドア１５１０に向かって移動し、図１５Ｂに示される場面１５００ｂを知覚することができる。場面１５００ｂでは、標的１５３０は、３Ｄ空間内の同一位置に位置するが、標的１５３０は、場面１５００ｂ内において、場面１５００ａよりユーザに近いため、標的１５３０は、場面１５００ｂ内においてより大きく現れる。
ウェアラブルシステムは、ユーザと標的１５３０との間の相対的場所に基づいて、レチクル１５２０のサイズを動的に調節することができる。例えば、レチクル１５２０は、標的がユーザに対してより遠く離れている（その結果、より小さく現れる）ため、場面１５００ａ内において、場面１５００ｂ内のレチクル１５２０よりサイズが小さく現れる。同様に、レチクル１５２０は、標的がユーザに対してより近い（その結果、より大きく現れる）ため、場面１５００ｂ内において、場面１５００ａ内におけるレチクル１５２０よりサイズが大きく現れる。有利には、いくつかの実施形態では、ユーザと標的１５３０との間の距離に基づいて、レチクル１５２０のサイズを動的に調節することによって、ウェアラブルシステムは、整合の正確度を調節することができる。例えば、場面１５００ａ内のレチクル１５２０をサイズが比較的に小さくなるように提示することによって、標的１５３０がレチクル１５２０内に入るであろう可能性もまた、比較的に低くなり（標的１５０３０が場面１５００ｂ内のレチクル１５２０内に入るであろう可能性と比較して）、それにより、これは、ユーザが頭部／眼視線をより精密に位置付けることを要求する。
レチクルのサイズに加え、またはその代替として、レチクルの他の特性もまた、コンテキスト情報に基づいて、調節されることができる。例えば、図１６Ａおよび１６Ｂを参照して下記にさらに詳細に説明されるように、レチクルの形状は、標的の形状に類似してもよい。別の実施例として、レチクルの外観は、幾何学的円錐であって、ウェアラブルシステムが整合を決定するために円錐キャスティング技法を使用することを示し得る。さらに別の実施例として、レチクルの色は、ユーザがレチクルを標的から区別し得るように、標的の色と異なり得、これは、ユーザがレチクルおよび標的を整合させることを補助することができる。図１５Ａおよび１５Ｂでは、仮想標的として提示されるが、標的は、ドア１５１０上のドアノブ１５１２等のユーザの環境内の物理的オブジェクトであることもできる。ウェアラブルシステムは、図７を参照して説明されるオブジェクト認識装置７０８を使用することによって、物理的オブジェクトを潜在的標的として識別することができる。
レチクル外観の実施例
上記に述べられたように、レチクルの外観は、種々の異なる色、形状、サイズ、グラフィック等のいずれかをとってもよい。例えば、レチクルの形状は、標的の形状に類似してもよい。これは、レチクルおよび標的が相互に適正に整合されていると決定される、比較的に少ない頭部姿勢が存在するであろうため、標的がレチクル内に入るであろう可能性を低下させる役割を果たし得る（整合の正確度を増加させ得る）。図１６Ａおよび１６Ｂは、形状が類似する、レチクルおよび標的の実施例を図示する。図１６Ａおよび１６Ｂでは、ユーザは、ディスプレイ２２０を介して、ドア１６１０等の実世界オブジェクトと、場面１６００ａ内の標的１６３０およびレチクル１６２０等の仮想オブジェクトとを知覚することができる。標的１６３０は、ユーザの３Ｄ空間内の場所に固定されることができる一方、レチクル１６２０は、リグ空間内の場所にレンダリングされることができる。
本実施例では、標的１６３０およびレチクル１６２０の両方が、菱形または菱形状形状を有することが分かる。しかしながら、ユーザは、場面１６００ａ内の標的１６３０およびレチクル１６２０が異なる配向を有するように現れることを知覚し得る。その結果、標的１６３０およびレチクル１６２０を整合させるために、ユーザは、レチクル１６２０を、ユーザの３Ｄ空間内に固定される標的１６３０、ドア１６１０、および任意の他の物理的または仮想オブジェクトに対して事実上回転させるように、その頭部を再配向する必要があり得る。再配向後、ユーザの頭部姿勢は、１つ以上の閾値と比較され、標的１６３０およびレチクル１６２０が整合されたかどうかを決定することができる。例えば、ウェアラブルシステムは、ユーザの頭部姿勢が容認可能頭部姿勢の範囲内にあるかどうか、または標的１６３０（全体または大部分（例えば、５０％よりも多く、６０％よりも多く、７５％よりも多く、９０％よりも多く、またはそれよりも多く））がレチクル１６２０内にあるかどうかを決定することができる。
ユーザは、その頭部を傾斜および方向転換させ、再配向することができる。ユーザは、再配向後、図１６Ｂに示される場面１６００ｂを知覚することができる。場面１６００ｂでは、標的１６３０は、図１６Ａにおける標的１６３０と３Ｄ空間内の同一位置に位置するが、ユーザがその頭部を再配向しているため、標的１６３０およびレチクル１６２０は、実質的相互に類似する配向を有するように、または、少なくとも場面１６００ａ内の標的１６３０およびレチクル１６２０のものより相互に類似する配向を有するように現れる。ウェアラブルシステムは、図１６Ｂに描写される様式においてレチクル１６２０を標的１６３０と整合させるためにユーザによって取られる頭部姿勢が、本明細書に説明される閾値のうちの１つ以上のものを十分に満たし得るかどうかを決定することができる。閾値のうちの１つ以上のものが満たされることの決定に応答して、ウェアラブルシステムは、較正の目的のために、眼視線データの収集を自動的に開始することができる。
仮想レチクルは、形状またはシンボルの１つ以上の輪郭、１つ以上の固体形状またはシンボル、１つ以上の画像または他のグラフィック、その組み合わせ、または同等物の形態をとってもよい。いくつかの実施形態では、レチクルは、リグ空間内に固定されるだけではなく、また、ユーザの３Ｄ空間内にも固定されることが可能な仮想オブジェクトであってもよい。レチクルは、ユーザが（リグ空間内の位置から）ユーザの３Ｄ空間内の具体的位置にドラッグおよびドロップし得る、仮想オブジェクトによって表されてもよい。ユーザが代表的仮想オブジェクトをドラッグし得る、ユーザの３Ｄ空間内の具体的位置は、標的の位置に対応してもよい。例えば、いったんリグ空間内の仮想オブジェクトが、３Ｄ空間内の標的と十分に整合され、ウェアラブルシステムが、この段階で必要とされる眼視線データを収集すると、代表的仮想オブジェクトは、リグ空間内の固定からユーザの３Ｄ空間内の固定に切り替わってもよい。このように、ユーザは、代表的仮想オブジェクトを標的位置におけるユーザの３Ｄ空間の中に効果的にドラッグおよびドロップすることができる。これは、ユーザが種々の双方向体験のいずれかに関わり合っている間、眼視線検証プロセスが実施されることを可能にすることができる。
いくつかの実施形態では、レチクルの外観は、標的に基づいて決定されてもよい。例えば、ユーザまたはウェアラブルシステムは、ユーザの３Ｄ環境内の花瓶を標的として識別することができる。ウェアラブルシステムは、花瓶の輪郭に類似する、レチクルを自動的に生成し、レチクルをユーザのリグ空間内の位置にレンダリングすることができる。ユーザは、その頭部を移動させ、リグ空間内の仮想花瓶とユーザの３Ｄ環境内の標的花瓶を整合させることができる。
眼視線検証のゲーミフィケーション
レチクルおよび標的を用いた眼視線検証プロセスは、ゲームの一部として組み込まれ、双方向かつ向上されたユーザ体験を提供してもよい。眼視線較正を娯楽化することによって、ユーザは、較正プロセス要件に準拠し、較正プロシージャを完了する可能性がより高くなる。較正プロシージャの開始時、ウェアラブルディスプレイシステムは、そこからユーザが選定し得る、一連の較正ゲームオプションを提示してもよい。
図１７は、仮想オブジェクトがユーザの３次元環境内の標的位置にドラッグおよびドロップされる、リグ空間内に固定されるレチクルを表す、眼視線検証の実施例を図示する。図１７では、４つの時系列場面、１７００ａ、１７００ｂ、１７００ｃ、および１７００ｄが、示される。ユーザは、ディスプレイ２２０を介して、ドア１７１０等の物理的オブジェクトを知覚することができる。ユーザはまた、ディスプレイ２２０を介して、仮想レチクル１７２０ａおよび１７２０ｃと、仮想標的１７３０ａおよび１７３０ｃと、他の仮想オブジェクト１７１２および１７４０−１７５０とを知覚することができる。図１７の実施例では、ウェアラブルシステムは、それを通して眼視線検証プロセスが実施される、双方向体験として、雪だるま構築アクティビティを提供することができる。
場面１７００ａを参照すると、大仮想雪玉１７１２が、ユーザの環境内の固定場所に係留され得、本実施例では、雪だるまの基部部分を表すように意図され得る。仮想標的１７３０ａ（破線で示される）もまた、ユーザの環境内の固定場所に係留され得、それに対してユーザがレチクルを整合させる、ユーザの環境内の標的位置に対応し得る。本実施例では、仮想標的１７３０ａの位置は、雪だるまの胴体部分の位置に対応する。
場面１７００ａでは、ユーザはまた、中間サイズ仮想雪玉１７２０ａを知覚することができ、これは、リグ空間内に固定されたレチクルとしての役割を果たし得る。中間サイズ仮想雪玉１７２０ａは、ユーザの環境内の仮想標的１７３０ａの位置によって提案されるように、雪だるまの胴体部分を表し得る。ユーザは、その頭部、眼、または両方を移動させ、中間サイズ仮想雪玉１７２０ａと仮想標的１７３０ａを整合させることができる。場面１７００ｂに図示されるように、中間サイズ仮想雪玉１７２０ａは、中間サイズ仮想雪玉１７２０ａが標的１７３０ａと整合されると、大仮想雪玉１７１２の上部に設置されることができる。
いくつかの実施形態では、仮想レチクルは、リグ空間からユーザの３Ｄ空間に移動されてもよい。例えば、中間サイズ仮想雪玉１７２０ａは、ユーザの環境内の標的１７３０ａに対応する標的位置に係留された状態になってもよい。係留は、いったんウェアラブルシステムが、中間サイズ仮想雪玉１７２０ａおよび仮想標的１７３０ａが整合されるときの眼視線較正のための眼視線データの収集を正常に終了すると生じ得る。いったん中間サイズ仮想雪玉１７２０ａが、リグ空間内の固定からユーザの３Ｄ空間内の固定に切り替わると、中間サイズ仮想雪玉１７２０ａは、もはやユーザのためのレチクルとしての役割を果たし得ない。
場面１７００ｂに図示されるように、いったんウェアラブルシステムが、必要な眼視線データの収集を正常に終了し、中間サイズ仮想雪玉１７２０ａをリグ空間からユーザの３Ｄ空間に移動させると、ウェアラブルシステムは、視覚的焦点インジケータ１７４０（例えば、雪玉１７２０ａから発出する仮想光線または他のグラフィカルハイライト）を提示し、ユーザに、中間サイズ仮想雪玉１７２０ａが、ユーザの環境内の仮想標的１７３０ａに対応する標的位置に正常にドラッグおよびドロップされたことを伝達することができる。加えて、または代替として、システムは、仮想雪玉１７２０ａが標的位置に正常にドラッグおよびドロップされたことの聴覚的または触知的インジケーションを提供してもよい。
場面１７００ｃを参照すると、大仮想雪玉１７１２および中間サイズ仮想雪玉１７２０ａは両方とも、ユーザの環境内の固定場所に係留されてもよい。仮想標的１７３０ｃもまた、中間サイズ仮想雪玉１７２０ａの直上のユーザの環境内の固定場所に係留されてもよい。仮想標的１７３０ｃは、それとユーザが小仮想雪玉１７２０ｃを整合させる、ユーザの環境内の標的位置に対応してもよい。仮想標的１７３０ｃの位置は、雪だるまの頭部に対応し得る。
小仮想雪玉１７２０は、場面１７００ｃの実施例では、レチクルとしての役割を果たすことができる。小仮想雪玉１７２０ｃは、雪だるまの頭部部分を表すように意図され得る。図１７に描写されるように、小仮想雪玉１７２０ｃおよび中間サイズ仮想雪玉１７２０ａは、リグ空間内の異なる位置において、ユーザの前に現れ得る。ユーザは、その頭部、眼、または両方を移動させ、小仮想雪玉１７２０ｃと仮想標的１７３０ｃを整合させ、場面１７００ｄに図示されるように、頭部を雪だるまに追加することができる（例えば、小仮想雪玉１７２０ｃを中間サイズ仮想雪玉１７２０ａの上部にあるように設置することによって）。
場面１７００ｃでは、いったんウェアラブルシステムが、必要な眼視線データの収集を正常に終了すると、ウェアラブルシステムは、視覚的焦点インジケータ１７５０（および／または聴覚的または触知的インジケータ）を提示し、ユーザに、小仮想雪玉１７２０ｃが、仮想標的１７３０ｃと関連付けられたユーザの環境内の標的位置に正常にドラッグおよびドロップされたことを伝達することができる。図１７には図示されないが、ウェアラブルシステムはさらに、ユーザに、レチクルとして使用され、雪だるまの他の部分またはそのための付属品を表すように意図される、付加的仮想オブジェクトを提示してもよい。例えば、雪だるまは、図１７に示される３つを上回る雪玉を備え得る、またはウェアラブルシステムは、ユーザに、中間サイズ仮想雪玉１７２０ａの両側に雪だるまの腕として位置付けられるべき、仮想小枝、小仮想雪玉１７２０ｃの顔上に雪だるまの鼻として位置付けられるべき、仮想人参、小仮想雪玉１７２０ｃの顔上に雪だるまの眼および口特徴として位置付けられるべき仮想部品、小仮想雪玉１７２０ｃの直上に位置付けられるべき、仮想シルクハット、および中間サイズ仮想雪玉１７２０ａと小仮想雪玉１７２０ｃとの間に位置付けられるべき、仮想スカーフを提示することができる。
図１８は、ロボット攻撃ゲームの一部としての眼視線検証の実施例を図示する。図１８では、４つの時系列場面、１８００ａ、１８００ｂ、１８００ｃ、および１８００ｄが、示される。ユーザは、これらの４つの場面において、台所に存在し得る。ユーザは、ディスプレイ２２０を介して、窓１８４４および椅子１８４２等の物理的オブジェクトを知覚することができる。ユーザはまた、ディスプレイ２２０を介して、仮想レチクル１８２０と、仮想ロボット１８１０とを知覚することができる。仮想ロボット１８１０は、台所環境内の固定場所に係留されてもよい。場面１８００ｃを参照すると、ロボットが、台所カウンタの上部に立っているように現れる。
仮想ロボットは、眼較正標的としての役割を果たし得る。ユーザは、その頭部および眼を移動させ、レチクルと仮想ロボットを整合させることができる。場面１８００ａを参照すると、ユーザは、最初に、窓１８４４および椅子１８４２の一部を知覚し得る。しかしながら、ユーザは、仮想ロボット１８１０の一部が、場面１８００ｂに図示されるように、そのＦＯＶ１８５０ａの中に進入したことに気付き得る。いったんユーザが、ロボット１８１０に気付くと、ユーザは、その頭部姿勢を変化させ（例えば、その頭部を上向きに傾斜させることによって）、場面１８００ｃに図示されるように、仮想ロボットを標的化することができる。ユーザが、頭部姿勢を変化されたため、そのＦＯＶは、故に、ＦＯＶ１８５０ａからＦＯＶ１８５０ｂに変化し得る。場面１８００ｃでは、ユーザが、その頭部姿勢を変化させた後、レチクル１８２０は、現在、ロボット１８２０を囲繞しており、ユーザは、もはや椅子１８４２を知覚し得ない。
ユーザが、場面１８００ｃに示されるように、整合を維持する間、ウェアラブルシステムは、較正のために、眼追跡データ（例えば、内向きに向いた結像システム４６２を介して）を収集することができる。ウェアラブルシステムは、レチクルが閾値時間量にわたってロボットと整合したかどうかを決定することができる。レチクルとロボットとの間の整合が、閾値時間周期にわたって整合された場合、ディスプレイ２２０は、視覚的焦点インジケータ（例えば、グラフィック１８３０等）を提示することができ、これは、ロボットが破壊されたことを示す（例えば、場面１８００ｄ）。いったんウェアラブルシステムが、眼追跡データの収集を終了すると、ウェアラブルシステムはまた、場面１８００ｄに示されるグラフィック１８３０を提示することができる。いくつかの実施例では、ウェアラブルシステムは、閾値時間周期以外の条件が満たされたことの検出に応答して、ディスプレイ２２０を介して、グラフィック１８３０を提示することができる。これらの実施例では、レチクルが閾値量にわたってロボットと整合したかどうかを決定する代わりに、またはそれに加え、ウェアラブルシステムは、１つ以上の具体的のタイプユーザ入力が受信されたかどうかを決定することができ、それに応答して、グラフィック１８３０を提示することができる。例えば、ウェアラブルシステムは、ウェアラブルシステムと通信するトーテムのトリガまたは他のコンポーネントが作動されたかどうか、具体的コマンドに対応する発声またはジェスチャ入力が受信されたかどうか等を決定することができる。いくつかの実装では、レチクル１８２０はさらに、仮想十字線を含んでもよい。
ある実施形態では、ディスプレイ２２０は、レチクル１８２０がロボット１８１０と整合したことを示す、視覚的インジケーションを提示することができる。例えば、ディスプレイ２２０は、赤色レチクルを提示することができる。いったんレチクルが、ロボット１８１０と整合すると、ディスプレイ２２０は、ロボットの色を赤色に更新することができる。閾値時間量に到達すると、ロボット１８１０の色は、緑色に変わってもよく、レチクル１８２０の色もまた、緑色に変化することができる。ユーザは、次いで、レチクル１８２０を移動させ、別の標的と整合させることができる。いくつかの実施例では、ロボット１８１０を提示後、ウェアラブルシステムは、別のロボットがレンダリングされるべきことを決定することができる。本決定は、例えば図１４Ａを参照して上記に説明されるようなブロック１４７０の動作に対応してもよい。別の眼較正標的に関する眼データが収集されるべきことの決定に応答して、ウェアラブルシステムは、ユーザの注意を引き付けておくように、次のロボットを異なる場所にレンダリングすることに進み、したがって、較正正確度を向上させ得る。同様に、本レンダリングタスクは、いくつかの実施例では、ブロック１４７０に続いて実施されるように、図１４Ａを参照して上記に説明されるようなブロック１４１０の動作に対応してもよい。
レチクルの外観は、眼追跡アルゴリズムに基づいて、事前決定されてもよい。例えば、ウェアラブルシステムは、デフォルトマッピング行列を適用し、ユーザの眼視線方向を推定し、レチクル１８２０をーザの眼視線方向に表示することができる。デフォルトマッピング行列は、他のユーザから入手されたデータに基づいて生成された機械学習モデルを適用することによって生成されてもよい。ウェアラブルシステムはさらに、ユーザがレチクルを眼較正標的と整合させた後、ウェアラブルシステムがユーザの眼画像を取得し得る、眼追跡較正プロセスの間、ユーザの眼に特有の特性に基づいて、デフォルトマッピング行列をカスタマイズすることができる。
図１８における実施例は、ユーザには、ディスプレイ２２０を介して、物理的オブジェクトと、仮想オブジェクトとが見え得る、ＡＲコンテキストにおいて説明されるが、類似技法はまた、ＶＲ／ＭＲコンテキストにおいて適用されることができる。
眼視線検証のゲーミフィケーションの別の実施例として、ウェアラブルシステムが、ミサイルコマンドゲームを再生する間、ウェアラブルシステムは、眼視線検証を実施することができる。本実施例では、仮想ミサイルが、ユーザの位置に向かって進行し得る。これらのミサイルは、標的としての役割を果たし得、スタックピクセルとして示されてもよい。レチクルは、ミサイルに照準を合わせ、ミサイルを撃ち落とすために使用されてもよい。レチクルの位置は、図１８を参照して説明されるように、眼追跡アルゴリズムによって決定されてもよい。いくつかの実施形態では、ミサイルコマンドゲームは、ユーザがミサイルを十分に高速で破壊することに失敗する、「失敗」状態を含んでもよい。ユーザは、ユーザがミサイルによって衝打されることから保護する、顔用シールドを有してもよい。ユーザが、ミサイルを十分に高速で破壊することができない場合、ウェアラブルシステムは、ディスプレイ２２０を介して、仮想亀裂を表示し、ミサイルが顔用シールドに衝打したことを示すことができる。
例えば、眼視線検証の間、ウェアラブルシステムは、ミサイルがユーザの環境の地面から発射されていることを示すことができる。ウェアラブルシステムは、世界マップ９２０内のメッシュ状エリアに基づいて、深度知覚をシミュレートすることができる（例えば、開いているドアの深度を示す）。ウェアラブルシステムは、顔用シールド（例えば、ユーザの正面のシースルーシェルを示す）と、顔用シールド上のある場所に現れるレチクルとを提示することができる。本明細書に説明されるように、顔用シールドおよびレチクルは、リグ空間を基準としてレンダリングされることができる。ユーザは、その頭部を移動させ、レチクルと着弾ミサイルを整合させることができる。整合が成功する場合、ミサイルは、撃ち落とされ、次のミサイルが、ユーザに向かって（例えば、異なる方向から）発射される等と続く。
実施例は、１つの標的をユーザのＦＯＶ内に有することを参照して説明されるが、いくつかの実装では、ユーザのＦＯＶ内に同時に現れる、複数の標的（または複数のレチクル）が存在してもよい。さらに、ウェアラブルシステムは、一連の標的（またはレチクル）をユーザの環境内の異なる場所に示し、ユーザに、レチクルと標的を整合させるようにプロンプトすることができる。
カメラベースの眼追跡システムのコンテキストにおいて説明されたが、本明細書に説明される技法は、他のタイプの眼追跡システム、スキーム、または両方を活用する、ウェアラブルシステムにおいて適用されてもよいことを理解されたい。例えば、本明細書に説明される技法は、容量ベースまたは電極ベースの眼追跡システムを含む、または少なくともデータをそこから収集する、ウェアラブルシステムにおいて適用されてもよい。さらに、実施例は、眼較正標的を参照して説明されるが、類似技法もまた、標的領域に適用されることができる。標的領域は、１つ以上のオブジェクト（例えば、物理的または仮想オブジェクト）を含んでもよく、１つ以上のオブジェクトのうちの少なくともいくつかは、眼較正標的であってもよい。例えば、ユーザは、その頭部を移動させ、レチクルと世界空間内の２つのオブジェクトを整合させてもよい。２つのオブジェクトは、仮想オブジェクトと、物理的オブジェクトとを含んでもよい。別の実施例として、ユーザは、眼視線データが収集される前に、２つのレチクルと２つのオブジェクト（標的領域内）を同時に整合させる必要があり得る。さらに別の実施例として、ウェアラブルシステムは、レチクルが標的領域の周界（特定の標的オブジェクトではなく）と整合すると、眼視線データ収集を開始してもよい。
例示的ユーザ研究
ユーザ研究が、本明細書に説明される技法の実施形態から取得された眼較正データ品質と従来の方法を使用して取得されたデータを比較するために実施された。研究は、１８名のユーザを含み、外部の注意散漫材料が存在しない、実験室ベースの設定において実施された。研究は、本明細書に説明される較正技法が従来の眼較正技法と同一またはより良好な性能を発揮したことを見出した。１８名中１１名のユーザが、新しい較正技法を使用して、従来の技法より優れた結果を示した。システムは、ｘ、ｙ、およびｚ方向に沿って、ユーザの各眼の瞳孔位置を測定した。研究は、１８名中７名のユーザに関して、正規化された瞳孔位置の標準偏差が有意に改良されたことを見出した。いずれのユーザも、新しい相互作用シーケンスを使用して、有意な性能の悪化を認めなかった。研究結果の概要は、２０１７年５月３１日に出願された米国仮特許出願第６２／５１２，５９４号（参照することによってその全体として本明細書に組み込まれる）に付録Ａとして含まれる。概要に示される結果は、１８名のユーザの左および右瞳孔のｘ、ｙ、ｚ軸に沿った瞳孔位置の正規化された測定の標準偏差の変化および統計的確率値（ｐ−値）を含む。ｐ−値が０．０５の有意性値未満である測定値は、ハイライトされる。
付加的側面
第１の側面では、眼追跡較正のためのウェアラブルシステムであって、ウェアラブルディスプレイシステムのユーザから眼画像（片眼または両眼）を捕捉するように構成される、画像捕捉デバイスと、眼画像を記憶するように構成される、非一過性メモリと、それを通してユーザがユーザの環境内の眼較正標的および仮想レチクルを知覚し得る、ディスプレイシステムと、ユーザの頭部姿勢を追跡するように構成される、姿勢センサと、非一過性メモリおよびディスプレイシステムと通信する、ハードウェアプロセッサであって、眼較正標的をディスプレイシステムを介して知覚可能にさせ、仮想レチクルをディスプレイシステムを介してレンダリング可能にさせ、姿勢センサから入手されたデータに基づいて、ユーザの頭部姿勢を識別し、ユーザの頭部姿勢に基づいて、仮想レチクルの位置を計算し、少なくとも部分的に、仮想レチクルおよび眼較正標的の位置に基づいて、仮想レチクルが眼較正標的と整合するかどうかを決定し、仮想レチクルが眼較正標的と整合することの決定に応答して、画像捕捉デバイスに、眼画像を捕捉し、非一過性メモリの中への眼画像の記憶を開始するように命令するようにプログラムされる、ハードウェアプロセッサとを備える、ウェアラブルシステム。
第２の側面では、画像捕捉デバイスは、ユーザの眼領域を結像するように構成される、眼カメラを備える、側面１に記載のウェアラブルシステム。
第３の側面では、姿勢センサは、慣性測定ユニットを備える、側面１または側面２に記載のウェアラブルシステム。
第４の側面では、眼較正標的は、世界空間内のオブジェクトであって、仮想レチクルは、リグ空間内にある、側面１−３のいずれか１項に記載のウェアラブルシステム。
第５の側面では、世界空間は、ユーザの環境を基準とする３次元（３Ｄ）座標系を備え、リグ空間は、ディスプレイシステムを基準とする座標系を備える、側面４に記載のウェアラブルシステム。
第６の側面では、仮想レチクルが眼較正標的と整合するかどうかを決定するために、ハードウェアプロセッサは、リグ空間と世界空間との間のオフセットを決定し、リグ空間内の仮想レチクルの第１の座標値および世界空間内の眼較正標的の第２の座標値を計算し、第１の座標値、第２の座標値、およびオフセットに基づいて、整合を計算するようにプログラムされる、側面５に記載のウェアラブルシステム。
第７の側面では、整合を計算するために、ハードウェアプロセッサは、オフセットに基づいて、リグ空間内の第１の座標値を世界空間内の第３の座標値に変換し、第３の座標値および第２の座標値が閾値範囲内にあるかどうかを決定するようにプログラムされる、側面５または側面６に記載のウェアラブルシステム。
第８の側面では、ユーザの頭部姿勢は、ユーザの頭部の位置、配向、または位置および配向の組み合わせを備える、側面１−７のいずれか１項に記載のウェアラブルシステム。
第９の側面では、仮想レチクルが眼較正標的と整合するかどうかを決定するために、ハードウェアプロセッサは、仮想レチクルの位置に基づいて、レイキャスティングを実施し、レイキャスティングにおける光線の一部が眼較正標的と交差するかどうかを決定するようにプログラムされる、側面１−８のいずれか１項に記載のウェアラブルシステム。随意に、ハードウェアプロセッサは、レイキャスティングにおける光線と眼較正標的との間の衝突を検出することができる。
第１０の側面では、仮想レチクルが眼較正標的と整合するかどうかを決定するために、ハードウェアプロセッサは、標的頭部姿勢にアクセスし、標的頭部姿勢は、仮想レチクルが眼較正標的と整合するとき、ユーザがとる姿勢であって、ユーザの頭部姿勢が標的頭部姿勢にあるかどうかを決定するようにプログラムされる、側面１−９のいずれか１項に記載のウェアラブルシステム。
第１１の側面では、仮想レチクルが眼較正標的と整合することの決定に応答して、ハードウェアプロセッサはさらに、仮想レチクルが眼較正標的と整合されることを示す、視覚的、聴覚的、または触知的効果を提供するようにプログラムされる、側面１−１０のいずれか１項に記載のウェアラブルシステム。
第１２の側面では、仮想レチクルが眼較正標的と整合することの決定に応答して、ハードウェアプロセッサはさらに、ディスプレイシステムに、別の仮想レチクルを提示するように命令するようにプログラムされる、側面１−１１のいずれか１項に記載のウェアラブルシステム。
第１３の側面では、ハードウェアプロセッサはさらに、少なくとも部分的に、眼較正標的のサイズ、眼較正標的の色、または眼追跡較正（ウェアラブルシステムによって実施される）と関連付けられた要求される精度のうちの少なくとも１つを備える、コンテキスト情報に基づいて、仮想レチクルの外観を動的に更新するようにプログラムされる、側面１−１２のいずれか１項に記載のウェアラブルシステム。
第１４の側面では、レチクルの外観は、眼較正標的の外観に類似する、側面１３に記載のウェアラブルシステム。
第１５の側面では、ハードウェアプロセッサは、高要求精度または小眼較正標的に応答して、レチクルのサイズを低減させるようにプログラムされる、側面１３または側面１４に記載のウェアラブルシステム。
第１６の側面では、眼追跡較正のための方法であって、ハードウェアプロセッサの制御下で、ユーザの環境と関連付けられた世界空間内の眼較正標的を識別するステップと、ユーザのウェアラブルデバイスに、仮想レチクルをユーザのウェアラブルデバイスと関連付けられたリグ空間内にレンダリングするように命令するステップと、ユーザの頭部姿勢データを取得するステップと、取得された頭部姿勢データに基づいて、ユーザの現在の頭部姿勢を決定するステップと、少なくとも部分的に、ユーザの現在の頭部姿勢に基づいて、眼較正標的に対する仮想レチクルの相対的位置を決定するステップと、少なくとも部分的に、眼較正標的に対する仮想レチクルの相対的位置に基づいて、仮想レチクルが眼較正標的と整合するかどうかを決定するステップと、仮想レチクルが眼較正標的と整合することの決定に応答して、ウェアラブルデバイスの内向きに向いた結像システムに、眼較正データを入手するように命令するステップとを含む、方法。
第１７の側面では、頭部姿勢データは、ウェアラブルデバイスの外向きに向いた結像システム、ウェアラブルデバイスの慣性測定ユニット、またはユーザの環境内のカメラのうちの少なくとも１つから取得される、側面１６に記載の方法。
第１８の側面では、眼較正データは、ユーザの片眼または両眼の画像を備える、側面１６または側面１７に記載の方法。
第１９の側面では、眼較正標的は、世界空間内の固定場所にある、または仮想レチクルは、リグ空間内の固定場所にレンダリングされる、側面１６−１８のいずれか１項に記載の方法。
第２０の側面では、仮想レチクルが眼較正標的と整合することの決定に応答して、ウェアラブルデバイスに、仮想レチクルをリグ空間内の異なる位置にレンダリングするように命令するステップをさらに含む、側面１６−１９のいずれか１項に記載の方法。
第２１の側面では、仮想レチクルは、ユーザの視野の中心またはその近傍またはユーザの視野の中心からずれてレンダリングされ、視野は、ユーザが所与の時間に知覚し得る、ユーザの環境の一部を備える、側面１６−２０のいずれか１項に記載の方法。例えば、ユーザの視野の中心またはその近傍は、１０°未満、５°未満、１°未満等の角度オフセットを備えることができる。
第２２の側面では、取得された頭部姿勢データに基づいて、ユーザの現在の頭部姿勢を決定するステップは、頭部姿勢データに基づいて、ユーザの頭部の位置または配向を計算するステップを含む、側面１６−２１のいずれか１項に記載の方法。
第２３の側面では、頭部姿勢の範囲にアクセスするステップをさらに含み、仮想レチクルが眼較正標的と整合するかどうかを決定するステップは、現在の頭部姿勢が頭部姿勢の範囲内であるかどうかを決定するステップを含む、側面１６−２２のいずれか１項に記載の方法。
第２４の側面では、標的は、ユーザの環境内の物理的オブジェクトである、側面１６−２３のいずれか１項に記載の方法。
第２５の側面では、標的は、ゲームアプリケーション内の仮想オブジェクトであって、眼追跡較正は、ゲームアプリケーションの一部として実施される、側面１６−２４のいずれか１項に記載の方法。
第２６の側面では、眼追跡較正のための方法であって、ハードウェアプロセッサの制御下で、ユーザの環境内の標的領域を識別するステップと、ユーザのウェアラブルデバイスと関連付けられたリグ空間内のある位置における仮想レチクルを識別するステップと、ユーザの頭部姿勢データを取得するステップと、取得された頭部姿勢データに基づいて、ユーザの現在の頭部姿勢を決定するステップと、少なくとも部分的に、ユーザの現在の頭部姿勢に基づいて、標的領域に対する仮想レチクルの位置を更新するステップと、仮想レチクルが標的領域と整合するかどうかを決定するステップと、仮想レチクルが標的領域と整合することの決定に応答して、整合が達成されたことのインジケーションを提供するステップとを含む、方法。
第２７の側面では、標的領域は、少なくとも仮想オブジェクトを備え、仮想レチクルが標的領域と整合するかどうかを決定するステップは、仮想レチクルが仮想オブジェクトと整合するかどうかを決定するステップを含む、側面２６に記載の方法。
第２８の側面では、標的領域は、物理的オブジェクトの少なくとも一部を備え、仮想レチクルが標的領域と整合するかどうかを決定するステップは、仮想レチクルが物理的オブジェクトの一部と整合するかどうかを決定するステップを含む、側面２６または側面２７に記載の方法。
第２９の側面では、眼較正データは、容量ベースまたは電極ベースの眼追跡システムによって収集される、側面２６−２８のいずれか１項に記載の方法。
第３０の側面では、仮想レチクルが眼較正標的と整合することの決定に応答して、本方法はさらに、ウェアラブルデバイスの眼カメラに、眼画像の収集を開始させるステップを含む、側面２６−２９のいずれか１項に記載の方法。
第３１の側面では、仮想レチクルが標的領域と整合するかどうかを決定するステップは、少なくとも部分的に、ユーザの現在の頭部姿勢に基づいて、少なくとも１つの仮想光線を投射するステップと、少なくとも１つの仮想光線が標的領域と交差するかどうかを決定するステップとを含む、側面２６−３０のいずれか１項に記載の方法。
第３２の側面では、少なくとも部分的に、ユーザの現在の頭部姿勢に基づいて、少なくとも１つの仮想光線を投射するステップは、少なくとも１つの仮想光線をユーザまたはウェアラブルデバイス上のある場所から仮想レチクルの位置を通して投射するステップを含む、側面３１に記載の方法。
第３３の側面では、少なくとも部分的に、ユーザの現在の頭部姿勢に基づいて、少なくとも１つの仮想光線を投射するステップは、仮想幾何学的円錐を仮想レチクルの場所を通して投射するステップを含む、側面３１または側面３２に記載の方法。
第３４の側面では、仮想レチクルの形状は、仮想レチクルの場所における仮想幾何学的円錐の断面形状に対応する、側面３３に記載の方法。
結論
本明細書に説明される、および／または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、１つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および／または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ（例えば、サーバ）または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、または解釈されるプログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、（適切な特殊化された実行可能命令を利用する）特定用途向けハードウェアまたは１つ以上の物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。別の実施例として、本明細書に説明される眼追跡較正技法の実施形態は、ユーザが頭部搭載型ディスプレイシステムを装着している間、リアルタイムで実施される必要があり得る。
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、および／または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。本方法およびモジュール（またはデータ）はまた、無線ベースおよび有線／ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として（例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として）伝送され得、種々の形態（例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして）をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。
本明細書に説明される、および／または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能（例えば、論理または算術）またはステップを実装するための１つ以上の実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されることができる。いくつかの実施形態では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、任意の特定のシーケンスに限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそれから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証を目的とし、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変形例が、可能である。
本プロセス、方法、およびシステムは、ネットワーク（または分散）コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線または無線ネットワークまたは任意の他のタイプの通信ネットワークであり得る。
本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。
別個の実装の文脈において本明細書に説明されるある特徴はまた、単一の実装における組み合わせにおいて実装されることができる。逆に、単一の実装の文脈において説明される種々の特徴もまた、複数の実装において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの１つ以上の特徴は、いくつかの場合では、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要または必須ではない。
とりわけ、「〜できる（ｃａｎ）」、「〜し得る（ｃｏｕｌｄ）」、「〜し得る（ｍｉｇｈｔ）」、「〜し得る（ｍａｙ）」、「例えば（ｅ．ｇ．，）」、および同等物等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、および／またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図される。したがって、そのような条件文は、概して、特徴、要素、および／またはステップが、１つ以上の実施形態に対していかようにも要求されること、または１つ以上の実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および／またはステップが任意の特定の実施形態において含まれる、または実施されるべきかどうかを決定するための論理を必然的に含むことを示唆することを意図されない。用語「〜を備える」、「〜を含む」、「〜を有する」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され（およびその排他的意味において使用されず）、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの１つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「ａ」、「ａｎ」、および「ｔｈｅ」は、別様に規定されない限り、「１つ以上の」または「少なくとも１つ」を意味するように解釈されるべきである。
本明細書で使用されるように、項目のリスト「〜のうちの少なくとも１つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある実施例として、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」は、Ａ、Ｂ、Ｃ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、およびＡ、Ｂ、およびＣを網羅することが意図される。語句「Ｘ、Ｙ、およびＺのうちの少なくとも１つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等がＸ、Ｙ、またはＺのうちの少なくとも１つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Ｘのうちの少なくとも１つ、Ｙのうちの少なくとも１つ、およびＺのうちの少なくとも１つがそれぞれ存在するように要求することを示唆することを意図されない。
同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序でまたは連続的順序で実施されること、または、全ての図示される動作が実施されることの必要はないと認識されるべきである。さらに、図面は、フローチャートの形態で１つ以上の例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、１つ以上の付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列され得る、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。

Claims (34)

  1. 眼追跡較正のためのウェアラブルシステムであって、
    画像捕捉デバイスであって、前記画像捕捉デバイスは、前記ウェアラブルシステムのユーザの片眼または両眼の眼画像を捕捉するように構成される、画像捕捉デバイスと、
    非一過性メモリであって、前記非一過性メモリは、前記眼画像を記憶するように構成される、非一過性メモリと、
    ディスプレイシステムであって、前記ディスプレイシステムは、それを通して前記ユーザが前記ユーザの環境内の眼較正標的および仮想レチクルを知覚し得る、ディスプレイシステムと、
    姿勢センサであって、前記姿勢センサは、前記ユーザの頭部姿勢を追跡するように構成される、姿勢センサと、
    前記非一過性メモリおよび前記ディスプレイシステムと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
    前記眼較正標的を前記ディスプレイシステムを介して知覚可能にすることと、
    前記仮想レチクルを前記ディスプレイシステムを介してレンダリングされるようにすることと、
    前記姿勢センサから入手されたデータに基づいて、前記ユーザの頭部姿勢を識別することと、
    前記ユーザの頭部姿勢に基づいて、前記仮想レチクルの位置を計算することと、
    少なくとも部分的に、前記仮想レチクルおよび前記眼較正標的の位置に基づいて、前記仮想レチクルが前記眼較正標的と整合するかどうかを決定することと、
    前記仮想レチクルが前記眼較正標的と整合することの決定に応答して、前記画像捕捉デバイスに、前記眼画像を捕捉し、前記非一過性メモリの中への前記眼画像の記憶を開始するように命令することと
    を行うようにプログラムされる、ハードウェアプロセッサと
    を備える、ウェアラブルシステム。
  2. 前記画像捕捉デバイスは、前記ユーザの眼領域を結像するように構成される眼カメラを備える、請求項１に記載のウェアラブルシステム。
  3. 前記姿勢センサは、慣性測定ユニットを備える、請求項１に記載のウェアラブルシステム。
  4. 前記眼較正標的は、世界空間内のオブジェクトであり、前記仮想レチクルは、リグ空間内にある、請求項１に記載のウェアラブルシステム。
  5. 前記世界空間は、前記ユーザの環境を基準とする３次元（３Ｄ）座標系を備え、前記リグ空間は、前記ディスプレイシステムを基準とする座標系を備える、請求項４に記載のウェアラブルシステム。
  6. 前記仮想レチクルが前記眼較正標的と整合するかどうかを決定するために、前記ハードウェアプロセッサは、
    前記リグ空間と前記世界空間との間のオフセットを決定することと、
    前記リグ空間内の前記仮想レチクルの第１の座標値および前記世界空間内の前記眼較正標的の第２の座標値を計算することと、
    前記第１の座標値、前記第２の座標値、および前記オフセットに基づいて、整合を計算することと
    を行うようにプログラムされる、請求項５に記載のウェアラブルシステム。
  7. 前記整合を計算するために、前記ハードウェアプロセッサは、前記オフセットに基づいて、前記リグ空間内の第１の座標値を前記世界空間内の第３の座標値に変換し、前記第３の座標値および前記第２の座標値が閾値範囲内にあるかどうかを決定するようにプログラムされる、請求項６に記載のウェアラブルシステム。
  8. 前記ユーザの頭部姿勢は、前記ユーザの頭部の位置、配向、または前記位置および配向の組み合わせを備える、請求項１に記載のウェアラブルシステム。
  9. 前記仮想レチクルが前記眼較正標的と整合するかどうかを決定するために、前記ハードウェアプロセッサは、
    前記仮想レチクルの位置に基づいて、レイキャスティングを実施することと、
    前記レイキャスティングにおける光線の一部が前記眼較正標的と交差するかどうかを決定することと
    を行うようにプログラムされる、請求項１に記載のウェアラブルシステム。
  10. 仮想レチクルが前記眼較正標的と整合するかどうかを決定するために、前記ハードウェアプロセッサは、
    標的頭部姿勢にアクセスすることであって、前記標的頭部姿勢は、前記仮想レチクルが眼較正標的と整合するとき、前記ユーザがとる姿勢である、ことと、
    前記ユーザの頭部姿勢が前記標的頭部姿勢にあるかどうかを決定することと
    を行うようにプログラムされる、請求項１に記載のウェアラブルシステム。
  11. 前記仮想レチクルが前記眼較正標的と整合することの決定に応答して、前記ハードウェアプロセッサはさらに、前記仮想レチクルが前記眼較正標的と整合されることを示す視覚的、聴覚的、または触知的効果を提供するようにプログラムされる、請求項１に記載のウェアラブルシステム。
  12. 前記仮想レチクルが前記眼較正標的と整合することの決定に応答して、前記ハードウェアプロセッサはさらに、前記ディスプレイシステムに、別の仮想レチクルを提示するように命令するようにプログラムされる、請求項１に記載のウェアラブルシステム。
  13. 前記ハードウェアプロセッサはさらに、少なくとも部分的に、前記眼較正標的のサイズ、前記眼較正標的の色、または前記眼追跡較正と関連付けられた要求される精度のうちの少なくとも１つを備えるコンテキスト情報に基づいて、前記仮想レチクルの外観を動的に更新するようにプログラムされる、請求項１に記載のウェアラブルシステム。
  14. 前記仮想レチクルの外観は、前記眼較正標的の外観に類似する、請求項１３に記載のウェアラブルシステム。
  15. 前記ハードウェアプロセッサは、高要求精度または小眼較正標的に応答して、前記レチクルのサイズを低減させるようにプログラムされる、請求項１３に記載のウェアラブルシステム。
  16. 眼追跡較正のための方法であって、
    ハードウェアプロセッサの制御下で、
    ユーザの環境と関連付けられた世界空間内の眼較正標的を識別することと、
    前記ユーザのウェアラブルデバイスに、仮想レチクルを前記ユーザのウェアラブルデバイスと関連付けられたリグ空間内にレンダリングするように命令することと、
    前記ユーザの頭部姿勢データを取得することと、
    前記取得された頭部姿勢データに基づいて、前記ユーザの現在の頭部姿勢を決定することと、
    少なくとも部分的に、前記ユーザの現在の頭部姿勢に基づいて、前記眼較正標的に対する前記仮想レチクルの相対的位置を決定することと、
    少なくとも部分的に、前記眼較正標的に対する前記仮想レチクルの相対的位置に基づいて、仮想レチクルが前記眼較正標的と整合するかどうかを決定することと、
    前記仮想レチクルが前記眼較正標的と整合することの決定に応答して、前記ウェアラブルデバイスの内向きに向いた結像システムに、眼較正データを入手するように命令することと
    を含む、方法。
  17. 前記頭部姿勢データは、前記ウェアラブルデバイスの外向きに向いた結像システム、前記ウェアラブルデバイスの慣性測定ユニット、または前記ユーザの環境内のカメラのうちの少なくとも１つから取得される、請求項１６に記載の方法。
  18. 前記眼較正データは、前記ユーザの片眼または両眼の画像を備える、請求項１６に記載の方法。
  19. 前記眼較正標的は、前記世界空間内の固定場所にある、または前記仮想レチクルは、前記リグ空間内の固定場所にレンダリングされる、請求項１８に記載の方法。
  20. 前記仮想レチクルが前記眼較正標的と整合することの決定に応答して、前記ウェアラブルデバイスに、前記仮想レチクルを前記リグ空間内の異なる場所にレンダリングするように命令することをさらに含む、請求項１９に記載の方法。
  21. 前記仮想レチクルは、前記ユーザの視野の中心またはその近傍にレンダリングされ、前記視野は、前記ユーザが所与の時間に知覚し得る前記ユーザの環境の一部を備える、請求項１６に記載の方法。
  22. 前記取得された頭部姿勢データに基づいて、前記ユーザの現在の頭部姿勢を決定することは、前記頭部姿勢データに基づいて、前記ユーザの頭部の位置または配向を計算することを含む、請求項１６に記載の方法。
  23. 頭部姿勢の範囲にアクセスすることをさらに含み、仮想レチクルが前記眼較正標的と整合するかどうかを決定することは、前記現在の頭部姿勢が頭部姿勢の範囲内であるかどうかを決定することを含む、請求項１６に記載の方法。
  24. 前記眼較正標的は、前記ユーザの環境内の物理的オブジェクトである、請求項１６に記載の方法。
  25. 前記眼較正標的は、ゲームアプリケーション内の仮想オブジェクトであり、前記眼追跡較正のための方法は、前記ゲームアプリケーションの一部として実施される、請求項１６に記載の方法。
  26. 眼追跡較正のための方法であって、
    ハードウェアプロセッサの制御下で、
    ユーザの環境内の標的領域を識別することと、
    前記ユーザのウェアラブルデバイスと関連付けられたリグ空間内の位置における仮想レチクルを識別することと、
    前記ユーザの頭部姿勢データを取得することと、
    前記取得された頭部姿勢データに基づいて、前記ユーザの現在の頭部姿勢を決定することと、
    少なくとも部分的に、前記ユーザの現在の頭部姿勢に基づいて、前記標的領域に対する前記仮想レチクルの位置を更新することと、
    前記仮想レチクルが前記標的領域と整合するかどうかを決定することと、
    前記仮想レチクルが前記標的領域と整合することの決定に応答して、整合が達成されたことのインジケーションを提供することと
    を含む、方法。
  27. 前記標的領域は、少なくとも仮想オブジェクトを備え、前記仮想レチクルが前記標的領域と整合するかどうかを決定することは、前記仮想レチクルが前記仮想オブジェクトと整合するかどうかを決定することを含む、請求項２６に記載の方法。
  28. 前記標的領域は、物理的オブジェクトの少なくとも一部を備え、前記仮想レチクルが前記標的領域と整合するかどうかを決定することは、前記仮想レチクルが前記物理的オブジェクトの一部と整合するかどうかを決定することを含む、請求項２６に記載の方法。
  29. 前記眼較正データは、容量ベースまたは電極ベースの眼追跡システムによって収集される、請求項２６に記載の方法。
  30. 前記仮想レチクルが前記眼較正標的と整合することの決定に応答して、前記方法はさらに、前記ウェアラブルデバイスの眼カメラに、眼画像の収集を開始させることを含む、請求項２６に記載の方法。
  31. 前記仮想レチクルが前記標的領域と整合するかどうかを決定することは、
    少なくとも部分的に、前記ユーザの現在の頭部姿勢に基づいて、少なくとも１つの仮想光線を投射することと、
    前記少なくとも１つの仮想光線が前記標的領域と交差するかどうかを決定することと
    を含む、請求項２６に記載の方法。
  32. 少なくとも部分的に、前記ユーザの現在の頭部姿勢に基づいて、少なくとも１つの仮想光線を投射することは、
    少なくとも１つの仮想光線を前記ユーザまたは前記ウェアラブルデバイス上の場所から前記仮想レチクルの位置を通して投射すること
    を含む、請求項３１に記載の方法。
  33. 少なくとも部分的に、前記ユーザの現在の頭部姿勢に基づいて、少なくとも１つの仮想光線を投射することは、
    仮想幾何学的円錐を前記仮想レチクルの場所を通して投射すること
    を含む、請求項３１に記載の方法。
  34. 前記仮想レチクルの形状は、前記仮想レチクルの場所における前記仮想幾何学的円錐の断面形状に対応する、請求項３３に記載の方法。
JP2019565507A 2017-05-31 2018-05-30 眼追跡較正技術 Active JP7239493B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022148944A JP7486276B2 (ja) 2017-05-31 2022-09-20 眼追跡較正技術

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762512954P 2017-05-31 2017-05-31
US62/512,954 2017-05-31
PCT/US2018/035190 WO2018222753A1 (en) 2017-05-31 2018-05-30 Eye tracking calibration techniques

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022148944A Division JP7486276B2 (ja) 2017-05-31 2022-09-20 眼追跡較正技術

Publications (2)

Publication Number Publication Date
JP2020522795A true JP2020522795A (ja) 2020-07-30
JP7239493B2 JP7239493B2 (ja) 2023-03-14

Family

ID=64456215

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2019565507A Active JP7239493B2 (ja) 2017-05-31 2018-05-30 眼追跡較正技術
JP2022148944A Active JP7486276B2 (ja) 2017-05-31 2022-09-20 眼追跡較正技術
JP2023031759A Active JP7543466B2 (ja) 2017-05-31 2023-03-02 眼追跡較正技術

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2022148944A Active JP7486276B2 (ja) 2017-05-31 2022-09-20 眼追跡較正技術
JP2023031759A Active JP7543466B2 (ja) 2017-05-31 2023-03-02 眼追跡較正技術

Country Status (9)

Country Link
US (3) US10671160B2 (ja)
EP (3) EP4465261A3 (ja)
JP (3) JP7239493B2 (ja)
KR (2) KR102799682B1 (ja)
CN (2) CN110945405B (ja)
AU (1) AU2018277842A1 (ja)
CA (1) CA3065131A1 (ja)
IL (2) IL270893B (ja)
WO (1) WO2018222753A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023110678A (ja) * 2022-01-28 2023-08-09 三菱プレシジョン株式会社 模擬運転装置
JP2025506420A (ja) * 2022-07-08 2025-03-11 テンセント・アメリカ・エルエルシー 混合モードの没入型テレプレゼンスアプリケーションのための輻輳に基づく注視一致
JP2025515605A (ja) * 2022-04-26 2025-05-20 グーグル エルエルシー スプリット計算アーキテクチャの周辺デバイス
US12430322B2 (en) 2021-10-27 2025-09-30 Mastercard International Incorporated Method and system for pruning blocks from a blockchain

Families Citing this family (102)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11106273B2 (en) 2015-10-30 2021-08-31 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays
US10496808B2 (en) 2016-10-25 2019-12-03 Apple Inc. User interface for managing access to credentials for use in an operation
JP2018142857A (ja) * 2017-02-28 2018-09-13 セイコーエプソン株式会社 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
EP4465261A3 (en) 2017-05-31 2025-02-19 Magic Leap, Inc. Eye tracking calibration techniques
WO2019074868A1 (en) * 2017-10-10 2019-04-18 Xiaochun Nie SYSTEMS AND METHODS FOR CALIBRATING AN EYE MONITORING SYSTEM
DE102017221488A1 (de) * 2017-11-30 2019-06-06 Volkswagen Aktiengesellschaft Verfahren zur Anzeige des Verlaufs einer Trajektorie vor einem Fahrzeug oder einem Objekt mit einer Anzeigeeinheit, Vorrichtung zur Durchführung des Verfahrens sowie Kraftfahrzeug und Computerprogramm
KR102460665B1 (ko) * 2017-12-14 2022-10-31 삼성전자주식회사 응시 거리를 결정하는 방법 및 디바이스
CN111788623B (zh) 2018-01-06 2023-02-28 凯尔Os公司 智能镜系统及其使用方法
CN110554511B (zh) * 2018-05-30 2022-05-03 托比股份公司 用于校准头戴式显示器的方法和装置
US11269402B1 (en) * 2018-08-03 2022-03-08 Snap Inc. User interface interaction paradigms for eyewear device with limited field of view
US20210318796A1 (en) * 2018-08-17 2021-10-14 Matrix Analytics Corporation System and Method for Fabricating Decorative Surfaces
WO2020059263A1 (ja) * 2018-09-21 2020-03-26 富士フイルム株式会社 画像提案装置、画像提案方法及び画像提案プログラム
US11816927B2 (en) * 2018-09-26 2023-11-14 Nec Corporation Information providing device, information providing method, and storage medium
US11275778B2 (en) * 2018-12-04 2022-03-15 International Business Machines Corporation Content marshaling using biometric data
CN111991800B (zh) * 2019-02-22 2024-06-21 网易（杭州）网络有限公司 游戏角色控制方法、装置、设备和存储介质
EP3906669B1 (en) 2019-03-13 2024-06-05 Hewlett-Packard Development Company, L.P. Detecting eye tracking calibration errors
EP3940507A4 (en) * 2019-03-15 2022-04-20 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND COMPUTER READABLE RECORDING MEDIA
CN109976528B (zh) * 2019-03-22 2023-01-24 北京七鑫易维信息技术有限公司 一种基于头动调整注视区域的方法以及终端设备
CN117590582A (zh) * 2019-04-11 2024-02-23 三星电子株式会社 头戴式显示设备及其操作方法
CN110058693B (zh) * 2019-04-23 2022-07-15 北京七鑫易维科技有限公司 数据采集方法、装置、电子设备及存储介质
WO2020225756A1 (en) * 2019-05-06 2020-11-12 CareOS Smart mirror system and methods of use thereof
US10698701B1 (en) 2019-06-01 2020-06-30 Apple Inc. User interface for accessing an account
US10819898B1 (en) * 2019-06-21 2020-10-27 Facebook Technologies, Llc Imaging device with field-of-view shift control
WO2021011420A1 (en) * 2019-07-12 2021-01-21 Magic Leap, Inc. Eyeball camera system and methods for display system calibration
EP3771967A3 (en) * 2019-08-02 2021-06-02 Canon Kabushiki Kaisha Electronic device, control method, and computer readable medium
CN110837294B (zh) * 2019-10-14 2023-12-12 成都西山居世游科技有限公司 一种基于眼球追踪的面部表情控制方法及系统
WO2021092314A1 (en) 2019-11-06 2021-05-14 Hes Ip Holdings, Llc System and method for displaying an object with depths
WO2021119212A1 (en) 2019-12-09 2021-06-17 Magic Leap, Inc. Systems and methods for operating a head-mounted display system based on user identity
CN113116291B (zh) * 2019-12-31 2024-09-10 Oppo广东移动通信有限公司 眼球追踪的标定校准方法、装置、移动终端及存储介质
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
CN115398894A (zh) * 2020-02-14 2022-11-25 奇跃公司 用于虚拟和增强现实显示系统的虚拟对象运动速度曲线
US11341936B2 (en) * 2020-05-20 2022-05-24 Magic Leap, Inc. Piecewise progressive and continuous calibration with coherent context
CN111610861A (zh) * 2020-05-25 2020-09-01 歌尔科技有限公司 跨平台交互方法、ar装置及服务器和vr装置及服务器
WO2021242008A1 (en) * 2020-05-28 2021-12-02 Samsung Electronics Co., Ltd. Electronic device and operating method thereof
US11382713B2 (en) * 2020-06-16 2022-07-12 Globus Medical, Inc. Navigated surgical system with eye to XR headset display calibration
KR102801280B1 (ko) * 2020-06-18 2025-04-30 삼성전자주식회사 증강 현실 글라스 및 그 동작 방법
CN116113912A (zh) * 2020-06-22 2023-05-12 苹果公司 3d图形环境中的事件路由
CN113839908B (zh) * 2020-06-23 2023-07-11 华为技术有限公司 视频传输方法、装置、系统及计算机可读存储介质
CN111862338B (zh) * 2020-06-23 2024-06-18 深圳市新镜介网络有限公司 模拟眼镜佩戴图像的显示方法及装置
TWI851916B (zh) 2020-08-14 2024-08-11 美商海思智財控股有限公司 疊合虛擬影像於即時影像的系統與方法
EP4073572A4 (en) 2020-09-03 2024-09-04 HES IP Holdings, LLC Systems and methods for improving binocular vision
US11351457B2 (en) * 2020-09-11 2022-06-07 Riot Games, Inc. Selecting an anchored offset targeting position
JP7784422B2 (ja) 2020-09-25 2025-12-11 アップル インコーポレイテッド ユーザインタフェースをナビゲートする方法
EP4636558A3 (en) 2020-09-25 2025-12-24 Apple Inc. Methods for interacting with virtual controls and/or an affordance for moving virtual objects in virtual environments
CN116438505A (zh) 2020-09-25 2023-07-14 苹果公司 用于操纵环境中的对象的方法
KR20230117639A (ko) 2020-09-25 2023-08-08 애플 인크. 사용자 인터페이스와 연관된 몰입을 조정 및/또는 제어하기위한 방법
CN112507799B (zh) * 2020-11-13 2023-11-24 幻蝎科技(武汉)有限公司 基于眼动注视点引导的图像识别方法、mr眼镜及介质
CN116670627A (zh) 2020-12-31 2023-08-29 苹果公司 对环境中的用户界面进行分组的方法
US11995230B2 (en) 2021-02-11 2024-05-28 Apple Inc. Methods for presenting and sharing content in an environment
US12111962B2 (en) * 2021-02-19 2024-10-08 Apple Inc. User interfaces and device settings based on user identification
CN112966983B (zh) * 2021-04-12 2021-09-21 广东视明科技发展有限公司 基于vr空间的视觉功能加工时效能力评估系统及方法
AU2022258962B2 (en) * 2021-04-13 2025-07-10 Apple Inc. Methods for providing an immersive experience in an environment
US11716456B2 (en) * 2021-05-21 2023-08-01 Microsoft Technology Licensing, Llc Autocalibrated near-eye display
CN113507599B (zh) * 2021-07-08 2022-07-08 四川纵横六合科技股份有限公司 基于大数据分析的教育云服务平台
US20230056472A1 (en) * 2021-08-19 2023-02-23 Raytheon Company Firing cutout rapid generation aided by machine learning
US11691072B2 (en) * 2021-08-24 2023-07-04 Sony Interactive Entertainment LLC Aiming display automation for head mounted display applications
CN119960596A (zh) 2021-09-23 2025-05-09 苹果公司 用于内容应用的设备、方法和图形用户界面
CN118215903A (zh) 2021-09-25 2024-06-18 苹果公司 用于在虚拟环境中呈现虚拟对象的设备、方法和图形用户界面
US12456271B1 (en) 2021-11-19 2025-10-28 Apple Inc. System and method of three-dimensional object cleanup and text annotation
US12284327B2 (en) * 2021-11-23 2025-04-22 Isabella H. Schwartz System and method for smart TV anywhere
CN114373064B (zh) * 2021-12-14 2024-07-16 聚好看科技股份有限公司 一种vrar内容编辑方法、装置、设备及介质
WO2023137402A1 (en) 2022-01-12 2023-07-20 Apple Inc. Methods for displaying, selecting and moving objects and containers in an environment
WO2023141535A1 (en) 2022-01-19 2023-07-27 Apple Inc. Methods for displaying and repositioning objects in an environment
US12541280B2 (en) 2022-02-28 2026-02-03 Apple Inc. System and method of three-dimensional placement and refinement in multi-user communication sessions
US12272005B2 (en) 2022-02-28 2025-04-08 Apple Inc. System and method of three-dimensional immersive applications in multi-user communication sessions
US11886646B2 (en) * 2022-04-01 2024-01-30 Snap Inc. Personalized calibration of user interfaces
WO2023196258A1 (en) 2022-04-04 2023-10-12 Apple Inc. Methods for quick message response and dictation in a three-dimensional environment
CN119987551A (zh) 2022-04-21 2025-05-13 苹果公司 消息在三维环境中的表示
US12039676B1 (en) * 2022-04-27 2024-07-16 National Technology & Engineering Solutions Of Sandia, Llc Augmented reality for reflective particle tag alignment
JP2025518517A (ja) * 2022-05-26 2025-06-17 アップル インコーポレイテッド ユーザ認証及びデバイス管理のためのデバイス、方法、及びグラフィカルユーザインタフェース
CN115129154B (zh) * 2022-06-23 2025-09-12 东南大学 基于眼动平滑追踪和引导力场的机器人辅助手眼协调训练系统
US12394167B1 (en) 2022-06-30 2025-08-19 Apple Inc. Window resizing and virtual object rearrangement in 3D environments
CN115272466A (zh) * 2022-07-22 2022-11-01 奕目(上海)科技有限公司 手眼标定方法、视觉机器人、手眼标定设备和存储介质
US11717969B1 (en) 2022-07-28 2023-08-08 Altec Industries, Inc. Cooperative high-capacity and high-dexterity manipulators
US11997429B2 (en) * 2022-07-28 2024-05-28 Altec Industries, nc. Reducing latency in head-mounted display for the remote operation of machinery
IL295191A (en) * 2022-07-28 2024-02-01 Immersix Ltd Method and system for determining gaze direction
US12112011B2 (en) 2022-09-16 2024-10-08 Apple Inc. System and method of application-based three-dimensional refinement in multi-user communication sessions
US12148078B2 (en) 2022-09-16 2024-11-19 Apple Inc. System and method of spatial groups in multi-user communication sessions
US12099653B2 (en) 2022-09-22 2024-09-24 Apple Inc. User interface response based on gaze-holding event assessment
US12405704B1 (en) 2022-09-23 2025-09-02 Apple Inc. Interpreting user movement as direct touch user interface interactions
KR20250075620A (ko) 2022-09-24 2025-05-28 애플 인크. 3차원 환경을 제어하고 그와 상호작용하기 위한 방법들
WO2024064950A1 (en) 2022-09-24 2024-03-28 Apple Inc. Methods for time of day adjustments for environments and environment presentation during communication sessions
US12340627B2 (en) 2022-09-26 2025-06-24 Pison Technology, Inc. System and methods for gesture inference using computer vision
US12366920B2 (en) 2022-09-26 2025-07-22 Pison Technology, Inc. Systems and methods for gesture inference using transformations
US12366923B2 (en) 2022-09-26 2025-07-22 Pison Technology, Inc. Systems and methods for gesture inference using ML model selection
EP4609724A1 (en) 2022-10-28 2025-09-03 San-Ei Gen F.F.I., INC. Acid-resistant gardenia blue preparation
CN116170572A (zh) * 2022-12-21 2023-05-26 精电(河源)显示技术有限公司 一种机车仪表裸眼3d显示方法及装置
US12524142B2 (en) 2023-01-30 2026-01-13 Apple Inc. Devices, methods, and graphical user interfaces for displaying sets of controls in response to gaze and/or gesture inputs
CN116185194B (zh) * 2023-02-22 2026-03-17 北京航空航天大学 一种增强现实中眼手协同三维操控方法
US12108012B2 (en) 2023-02-27 2024-10-01 Apple Inc. System and method of managing spatial states and display modes in multi-user communication sessions
GB202304577D0 (en) * 2023-03-29 2023-05-10 King S College London Automatic gaze estimation
US12443286B2 (en) 2023-06-02 2025-10-14 Apple Inc. Input recognition based on distinguishing direct and indirect user interactions
US12118200B1 (en) 2023-06-02 2024-10-15 Apple Inc. Fuzzy hit testing
KR20260017447A (ko) 2023-06-04 2026-02-05 애플 인크. 중첩하는 윈도우들을 관리하고 시각적 효과들을 적용하기 위한 방법들
US12113948B1 (en) 2023-06-04 2024-10-08 Apple Inc. Systems and methods of managing spatial groups in multi-user communication sessions
US12511763B2 (en) * 2023-09-28 2025-12-30 Htc Corporation Coordinate system offset calculating apparatus, method, and non-transitory computer readable storage medium thereof
US12502110B2 (en) 2023-10-24 2025-12-23 Pison Technology, Inc. Systems and methods for determining physiological state based on surface biopotentials
US20250239040A1 (en) * 2024-01-22 2025-07-24 Microsoft Technology Licensing, Llc Automatically determining whether an object of interest is in the center of focus
US20250341891A1 (en) * 2024-05-03 2025-11-06 Google Llc Realtime background eye-tracking calibration
CN119126973A (zh) * 2024-08-21 2024-12-13 上海联影智元医疗科技有限公司 眼动校正方法、装置、系统和计算机设备
US12563172B1 (en) * 2025-04-28 2026-02-24 DISTANCE TECHNOLOGIES Oy On-the-fly automated calibration of multiscopic displays
CN120572538B (zh) * 2025-07-22 2025-12-09 华南理工大学 基于高斯世界模型的机械臂自纠正方法、存储介质及计算机设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017031089A1 (en) * 2015-08-15 2017-02-23 Eyefluence, Inc. Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects

Family Cites Families (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
US6943754B2 (en) * 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
US7646394B1 (en) * 2004-03-05 2010-01-12 Hrl Laboratories, Llc System and method for operating in a virtual environment
USD514570S1 (en) 2004-06-24 2006-02-07 Microsoft Corporation Region of a fingerprint scanning device with an illuminated ring
EP1784988A1 (en) 2004-08-06 2007-05-16 University of Washington Variable fixation viewing distance scanned light displays
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
GB0625912D0 (en) 2006-12-22 2007-02-07 Bid Instr Ltd Method for visual field testing
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
CN103688208B (zh) 2010-12-24 2017-06-06 奇跃公司 人体工程学头戴式显示设备和光学系统
CN107656615B (zh) 2011-05-06 2021-09-14 奇跃公司 大量同时远程数字呈现世界
EP2760363A4 (en) 2011-09-29 2015-06-24 Magic Leap Inc TACTILE GLOVE FOR HUMAN COMPUTER INTERACTION
KR101944846B1 (ko) 2011-10-28 2019-02-01 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
EP4036862A1 (en) 2011-11-23 2022-08-03 Magic Leap, Inc. Three dimensional virtual and augmented reality display system
EP3608717B1 (en) 2012-04-05 2023-09-27 Magic Leap, Inc. Wide-field of view (fov) imaging devices with active foveation capability
WO2013167864A1 (en) 2012-05-11 2013-11-14 Milan Momcilo Popovich Apparatus for eye tracking
US20150103096A1 (en) 2012-05-30 2015-04-16 Pioneer Corporation Display device, head mount display, calibration method, calibration program and recording medium
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9310559B2 (en) 2012-06-11 2016-04-12 Magic Leap, Inc. Multiple depth plane three-dimensional display using a wave guide reflector array projector
EP2895910A4 (en) 2012-09-11 2016-04-20 Magic Leap Inc ERGONOMIC HEAD-MOUNTED DISPLAY DEVICE AND OPTICAL SYSTEM
US10025379B2 (en) * 2012-12-06 2018-07-17 Google Llc Eye tracking wearable devices and methods for use
IL283193B (en) 2013-01-15 2022-08-01 Magic Leap Inc A system for scanning electromagnetic imaging radiation
CA3157218A1 (en) 2013-03-11 2014-10-09 Magic Leap, Inc. System and method for augmented and virtual reality
NZ735755A (en) 2013-03-15 2019-04-26 Magic Leap Inc Display system and method
US9239460B2 (en) * 2013-05-10 2016-01-19 Microsoft Technology Licensing, Llc Calibration of eye location
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US10073518B2 (en) * 2013-08-19 2018-09-11 Qualcomm Incorporated Automatic calibration of eye tracking for optical see-through head mounted display
US10914951B2 (en) * 2013-08-19 2021-02-09 Qualcomm Incorporated Visual, audible, and/or haptic feedback for optical see-through head mounted display with user interaction tracking
US10089786B2 (en) * 2013-08-19 2018-10-02 Qualcomm Incorporated Automatic customization of graphical user interface for optical see-through head mounted display with user interaction tracking
KR102341870B1 (ko) 2013-10-16 2021-12-20 매직 립, 인코포레이티드 조절가능한 동공간 거리를 가지는 가상 또는 증강 현실 헤드셋들
KR102268462B1 (ko) 2013-11-27 2021-06-22 매직 립, 인코포레이티드 가상 및 증강 현실 시스템들 및 방법들
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
US20150153826A1 (en) * 2013-12-01 2015-06-04 Apx Labs, Llc Systems and methods for providing a virtual menu
EP2886041A1 (en) * 2013-12-17 2015-06-24 ESSILOR INTERNATIONAL (Compagnie Générale d'Optique) Method for calibrating a head-mounted eye tracking device
US9870060B2 (en) * 2013-12-31 2018-01-16 Google Llc Systems and methods for gaze-based media selection and editing
US10386636B2 (en) 2014-01-31 2019-08-20 Magic Leap, Inc. Multi-focal display system and method
WO2015117043A1 (en) 2014-01-31 2015-08-06 Magic Leap, Inc. Multi-focal display system and method
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
WO2016018488A2 (en) 2014-05-09 2016-02-04 Eyefluence, Inc. Systems and methods for discerning eye signals and continuous biometric identification
US10564714B2 (en) * 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
US9727136B2 (en) 2014-05-19 2017-08-08 Microsoft Technology Licensing, Llc Gaze detection calibration
USD759657S1 (en) 2014-05-19 2016-06-21 Microsoft Corporation Connector with illumination region
NZ727350A (en) 2014-05-30 2020-08-28 Magic Leap Inc Methods and systems for generating virtual content display with a virtual or augmented reality apparatus
USD752529S1 (en) 2014-06-09 2016-03-29 Comcast Cable Communications, Llc Electronic housing with illuminated region
WO2015192117A1 (en) 2014-06-14 2015-12-17 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US10070120B2 (en) 2014-09-17 2018-09-04 Qualcomm Incorporated Optical see-through display calibration
KR102469507B1 (ko) 2014-12-17 2022-11-22 소니그룹주식회사 정보 처리 장치, 정보 처리 방법 및 프로그램
USD758367S1 (en) 2015-05-14 2016-06-07 Magic Leap, Inc. Virtual reality headset
US9888843B2 (en) * 2015-06-03 2018-02-13 Microsoft Technology Licensing, Llc Capacitive sensors for determining eye gaze direction
US10810362B2 (en) * 2015-07-17 2020-10-20 Sap Se Page-based incident correlation for network applications
US10630965B2 (en) 2015-10-02 2020-04-21 Microsoft Technology Licensing, Llc Calibrating a near-eye display
KR101712350B1 (ko) 2015-10-15 2017-03-07 한국과학기술연구원 시선 및 손 정보를 이용하여 가상 객체를 선택하기 위한 니어 아이 디스플레이 장치, 상기 장치를 이용하여 가상 객체를 선택하는 방법 및 그 방법을 수행하기 위한 기록 매체
IL293873B2 (en) * 2015-10-20 2024-03-01 Magic Leap Inc Selecting virtual objects in a three-dimensional space
US10831264B2 (en) 2016-01-19 2020-11-10 Magic Leap, Inc. Eye image combination
USD805734S1 (en) 2016-03-04 2017-12-26 Nike, Inc. Shirt
USD794288S1 (en) 2016-03-11 2017-08-15 Nike, Inc. Shoe with illuminable sole light sequence
EP4465261A3 (en) 2017-05-31 2025-02-19 Magic Leap, Inc. Eye tracking calibration techniques

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017031089A1 (en) * 2015-08-15 2017-02-23 Eyefluence, Inc. Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12430322B2 (en) 2021-10-27 2025-09-30 Mastercard International Incorporated Method and system for pruning blocks from a blockchain
JP2023110678A (ja) * 2022-01-28 2023-08-09 三菱プレシジョン株式会社 模擬運転装置
JP7821617B2 (ja) 2022-01-28 2026-02-27 三菱プレシジョン株式会社 模擬運転装置
JP2025515605A (ja) * 2022-04-26 2025-05-20 グーグル エルエルシー スプリット計算アーキテクチャの周辺デバイス
JP2025506420A (ja) * 2022-07-08 2025-03-11 テンセント・アメリカ・エルエルシー 混合モードの没入型テレプレゼンスアプリケーションのための輻輳に基づく注視一致
JP7778950B2 (ja) 2022-07-08 2025-12-02 テンセント・アメリカ・エルエルシー 混合モードの没入型テレプレゼンスアプリケーションのための輻輳に基づく注視一致

Also Published As

Publication number Publication date
WO2018222753A1 (en) 2018-12-06
US20200249755A1 (en) 2020-08-06
JP2022173312A (ja) 2022-11-18
US20220011859A1 (en) 2022-01-13
EP4123425A1 (en) 2023-01-25
EP3631567A4 (en) 2020-12-16
JP7543466B2 (ja) 2024-09-02
CN110945405A (zh) 2020-03-31
CN117762256A (zh) 2024-03-26
KR102670987B1 (ko) 2024-05-30
JP7486276B2 (ja) 2024-05-17
US20180348861A1 (en) 2018-12-06
KR102799682B1 (ko) 2025-04-23
EP4465261A3 (en) 2025-02-19
US11068055B2 (en) 2021-07-20
EP4465261A2 (en) 2024-11-20
KR20240093921A (ko) 2024-06-24
JP2023060088A (ja) 2023-04-27
US11379036B2 (en) 2022-07-05
KR20200014824A (ko) 2020-02-11
AU2018277842A1 (en) 2019-12-19
CA3065131A1 (en) 2018-12-06
IL291716A (en) 2022-05-01
IL270893B (en) 2022-05-01
US10671160B2 (en) 2020-06-02
EP4123425B1 (en) 2024-10-09
JP7239493B2 (ja) 2023-03-14
IL270893A (en) 2020-01-30
EP3631567A1 (en) 2020-04-08
EP3631567B1 (en) 2022-09-21
CN110945405B (zh) 2024-01-02

Similar Documents

Publication Publication Date Title
JP7543466B2 (ja) 眼追跡較正技術
JP7656753B2 (ja) 拡張現実システムのための仮想レチクル
JP7502292B2 (ja) アバタ移動のためのマルチモードの手の場所および配向
CN109196447B (zh) 使用姿势和多dof控制器与3d虚拟对象的交互
JP7712279B2 (ja) 仮想および拡張現実ディスプレイシステムのための仮想オブジェクト移動速度曲線

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210526

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220617

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220920

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230302

R150 Certificate of patent or registration of utility model

Ref document number: 7239493

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150