JP2020034919A - 構造化光を用いた視線追跡 - Google Patents
構造化光を用いた視線追跡 Download PDFInfo
- Publication number
- JP2020034919A JP2020034919A JP2019163757A JP2019163757A JP2020034919A JP 2020034919 A JP2020034919 A JP 2020034919A JP 2019163757 A JP2019163757 A JP 2019163757A JP 2019163757 A JP2019163757 A JP 2019163757A JP 2020034919 A JP2020034919 A JP 2020034919A
- Authority
- JP
- Japan
- Prior art keywords
- eye
- eyeball
- structured light
- tracking unit
- gaze tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Abstract
【課題】構造化光を使って使用者の視線を追跡するためのシステムと方法【解決手段】構造化光システムは、使用者の眼球の表面モデルをトレーニングすることにより校正される。構造化光発光器が構造化光パターン（例えば、赤外構造化光）を眼球表面の一部に投射する。カメラの視点からは、照明パターンが歪曲しているように見える。視線追跡システムは、撮影された画像内の照明パターンの歪曲に基づいて、使用者の眼球のうち構造化光が入射した部分の形状を判断できる。判断された使用者の眼球のその部分の形状をモデルと比較することにより、眼球の方位が判断されてもよい。視線追跡システム又はその素子は、例えば仮想現実システムの一部等、頭部装着型ディスプレイの一部であってもよい。【選択図】図1
Description
本開示は一般に、視線追跡に関し、具体的には、仮想現実及び／又は拡張現実の分野に
おける視線追跡のための構造化光の使用に関する。
おける視線追跡のための構造化光の使用に関する。
視線追跡とは、使用者の注視方向を検出するプロセスを指し、これは３次元（３Ｄ）空
間内における眼球の角度方位の検出を含んでいてもよい。視線追跡は、眼球の位置（例え
ば、眼球の中心）、眼球の回旋（すなわち、瞳孔軸の周囲での眼球のロール）、眼球の形
状、眼球の現在の焦点距離、瞳孔拡張、眼球の状態のその他の特徴、又はこれらの何れか
の組合せの検出をさらに含んでいてもよい。１つの既知の視線追跡技術は、使用者のビデ
オ画像を撮影し、マシンビジョンアルゴリズムを使って使用者の瞳孔の方位を特定するこ
とである。しかしながら、この技術は、実質的な演算リソースを必要とし、睫毛と瞼によ
り眼が塞がることによる影響を受けやすい。さらに、この方法は、虹彩と瞳孔との間のコ
ントラストに依存し、これは異なる使用者間で不変ではない。それゆえ、ビデオに基づく
瞳孔追跡は、特定の使用者の視線を正確に追跡することができないかもしれない。仮想現
実ヘッドセット等の頭部装着型ディスプレイ（HMD : head-mounted display）に関して、
この技術にはまた別の欠点もある。この追跡方法に必要な画像の撮影に使用される種類の
カメラは、比較的高価で、大きい。同様に、この技術では、使用者の眼までのカメラの近
さについて制約が設けられるかもしれない。さらに、この技術は、カメラが使用者の注視
軸からずれた位置に置かれると、性能が低下するかもしれない。しかしながら、視線追跡
がＨＭＤで使用される場合、視線追跡システムの検出素子は小さく、眼に近く、使用者の
注視軸からずれていることが好ましいかもしれない。
間内における眼球の角度方位の検出を含んでいてもよい。視線追跡は、眼球の位置（例え
ば、眼球の中心）、眼球の回旋（すなわち、瞳孔軸の周囲での眼球のロール）、眼球の形
状、眼球の現在の焦点距離、瞳孔拡張、眼球の状態のその他の特徴、又はこれらの何れか
の組合せの検出をさらに含んでいてもよい。１つの既知の視線追跡技術は、使用者のビデ
オ画像を撮影し、マシンビジョンアルゴリズムを使って使用者の瞳孔の方位を特定するこ
とである。しかしながら、この技術は、実質的な演算リソースを必要とし、睫毛と瞼によ
り眼が塞がることによる影響を受けやすい。さらに、この方法は、虹彩と瞳孔との間のコ
ントラストに依存し、これは異なる使用者間で不変ではない。それゆえ、ビデオに基づく
瞳孔追跡は、特定の使用者の視線を正確に追跡することができないかもしれない。仮想現
実ヘッドセット等の頭部装着型ディスプレイ（HMD : head-mounted display）に関して、
この技術にはまた別の欠点もある。この追跡方法に必要な画像の撮影に使用される種類の
カメラは、比較的高価で、大きい。同様に、この技術では、使用者の眼までのカメラの近
さについて制約が設けられるかもしれない。さらに、この技術は、カメラが使用者の注視
軸からずれた位置に置かれると、性能が低下するかもしれない。しかしながら、視線追跡
がＨＭＤで使用される場合、視線追跡システムの検出素子は小さく、眼に近く、使用者の
注視軸からずれていることが好ましいかもしれない。
使用者の眼球の方位及び／又は位置を追跡するための視線追跡ユニットが記載される。
視線追跡ユニットは、１つ又は複数の構造化光発光器と、１つ又は複数のカメラと、を含
む。いくつかの実施形態において、視線追跡システム又はその素子は、頭部装着型ディス
プレイの一部、例えば仮想現実システムの一部であってもよい。１つ又は複数の構造化光
発光器は、眼を構造化光パターン（例えば、赤外線パターン）で照明する。１つ又は複数
のカメラは、構造化光パターンで照明された眼の画像を撮影する（例えば、画像をビデオ
ストリームとして撮影する）。発光器とカメラとの間の視差により、照明パターンの画像
（例えば、ビデオストリームのフレーム）において歪みが生じるかもしれない。いくつか
の実施形態において、視線追跡ユニットは、眼球表面のうち、構造化光が入射する部分の
形状を、撮影された画像の中に見られる歪曲に基づいて検出する。検出された眼球形状を
モデルと比較することに基づいて、視線追跡ユニットは眼球の方位を推定する。眼球の方
位の推定は、例えば、眼球のヨー、ピッチ、及びロール回転及び眼球の並進ベクトルの測
定を含んでいてもよい。いくつかの実施形態において、眼球の方位の推定は、眼球の中心
窩軸の方向の推定を含む。眼球の瞳孔軸の方向を推定し、瞳孔及び中心窩軸間のずれを利
用することにより、中心窩軸の方向を間接的に推定してもよい。推定された方位は、例え
ば注視方向、瞳孔間距離、その他の判断に使用されてもよい。
視線追跡ユニットは、１つ又は複数の構造化光発光器と、１つ又は複数のカメラと、を含
む。いくつかの実施形態において、視線追跡システム又はその素子は、頭部装着型ディス
プレイの一部、例えば仮想現実システムの一部であってもよい。１つ又は複数の構造化光
発光器は、眼を構造化光パターン（例えば、赤外線パターン）で照明する。１つ又は複数
のカメラは、構造化光パターンで照明された眼の画像を撮影する（例えば、画像をビデオ
ストリームとして撮影する）。発光器とカメラとの間の視差により、照明パターンの画像
（例えば、ビデオストリームのフレーム）において歪みが生じるかもしれない。いくつか
の実施形態において、視線追跡ユニットは、眼球表面のうち、構造化光が入射する部分の
形状を、撮影された画像の中に見られる歪曲に基づいて検出する。検出された眼球形状を
モデルと比較することに基づいて、視線追跡ユニットは眼球の方位を推定する。眼球の方
位の推定は、例えば、眼球のヨー、ピッチ、及びロール回転及び眼球の並進ベクトルの測
定を含んでいてもよい。いくつかの実施形態において、眼球の方位の推定は、眼球の中心
窩軸の方向の推定を含む。眼球の瞳孔軸の方向を推定し、瞳孔及び中心窩軸間のずれを利
用することにより、中心窩軸の方向を間接的に推定してもよい。推定された方位は、例え
ば注視方向、瞳孔間距離、その他の判断に使用されてもよい。
いくつかの実施形態において、視線追跡を始める前に、システムは使用者の眼球のモデ
ルのトレーニングによって校正されてもよい。モデルのトレーニングは、電子ディスプレ
イを制御して、電子ディスプレイ上のある位置に視覚インディケータを表示することと、
カメラによって、発光器により眼へと投射された第二の歪曲照明パターンの第二の画像を
撮影すること、及び撮影された第二の画像に基づいて、及び視覚インディケータの位置に
基づいてモデルをトレーニングすることを含んでいてもよい。
ルのトレーニングによって校正されてもよい。モデルのトレーニングは、電子ディスプレ
イを制御して、電子ディスプレイ上のある位置に視覚インディケータを表示することと、
カメラによって、発光器により眼へと投射された第二の歪曲照明パターンの第二の画像を
撮影すること、及び撮影された第二の画像に基づいて、及び視覚インディケータの位置に
基づいてモデルをトレーニングすることを含んでいてもよい。
図面は、本開示の実施形態を例示の目的でのみ示している。当業者であれば以下の説明
から容易にわかるように、本明細書で例示される構造と方法の代替的な実施形態も、本明
細書に記載の開示の原理、又は得られる利点から逸脱せずに利用してよい。
から容易にわかるように、本明細書で例示される構造と方法の代替的な実施形態も、本明
細書に記載の開示の原理、又は得られる利点から逸脱せずに利用してよい。
システムの概要
図１は、仮想現実（ＶＲ : virtual reality）システム環境１００のブロック図であり
、その中でＶＲコンソール１１０が動作する。図１に示されるシステム環境１００は、Ｈ
ＭＤ １０５と、イメージングデバイス１３５と、ＶＲ入力インタフェース１４０と、を
含み、これらは各々、ＶＲコンソール１１０に連結されている。図１は、１つのＨＭＤ
１０５、１つのイメージングデバイス１３５、及び１つのＶＲ入力インタフェース１４０
を含む例示的なシステム環境１００を示しているが、他の実施形態では、システム環境１
００の中にこれらのコンポーネントがいくつ含められていてもよい。例えば、各々がそれ
に関連付けられるＶＲ入力インタフェース１４０を有し、１つ又は複数のイメージングデ
バイス１３５によりモニタされる複数のＨＭＤ １０５があってもよく、各ＨＭＤ １０
５、ＶＲ入力インタフェース１４０、及びイメージングデバイス１３５はＶＲコンソール
１１０と通信する。代替的な構成において、異なる、及び／又は追加のコンポーネントが
システム環境１００内に含められてもよい。同様に、コンポーネントの１つ又は複数の機
能は、本明細書に記載されているものとは異なる方法にてコンポーネント間で分散させる
ことができる。例えば、ＶＲコンソール１１０の機能の一部又は全部はＨＭＤ １０５の
中に含められてもよい。
図１は、仮想現実（ＶＲ : virtual reality）システム環境１００のブロック図であり
、その中でＶＲコンソール１１０が動作する。図１に示されるシステム環境１００は、Ｈ
ＭＤ １０５と、イメージングデバイス１３５と、ＶＲ入力インタフェース１４０と、を
含み、これらは各々、ＶＲコンソール１１０に連結されている。図１は、１つのＨＭＤ
１０５、１つのイメージングデバイス１３５、及び１つのＶＲ入力インタフェース１４０
を含む例示的なシステム環境１００を示しているが、他の実施形態では、システム環境１
００の中にこれらのコンポーネントがいくつ含められていてもよい。例えば、各々がそれ
に関連付けられるＶＲ入力インタフェース１４０を有し、１つ又は複数のイメージングデ
バイス１３５によりモニタされる複数のＨＭＤ １０５があってもよく、各ＨＭＤ １０
５、ＶＲ入力インタフェース１４０、及びイメージングデバイス１３５はＶＲコンソール
１１０と通信する。代替的な構成において、異なる、及び／又は追加のコンポーネントが
システム環境１００内に含められてもよい。同様に、コンポーネントの１つ又は複数の機
能は、本明細書に記載されているものとは異なる方法にてコンポーネント間で分散させる
ことができる。例えば、ＶＲコンソール１１０の機能の一部又は全部はＨＭＤ １０５の
中に含められてもよい。
ＨＭＤ １０５は頭部装着型ディスプレイであり、それが使用者に対してメディアを提
供する。ＨＭＤ １０５により提供されるメディアの例には、１つ又は複数の画像、ビデ
オ、オーディオ、又はこれらの何れかの組合せが含まれる。いくつかの実施形態において
、オーディオは、ＨＭＤ １０５、ＶＲコンソール１１０、又はその両方から音声情報を
受け取ってこの音声情報に基づいて音声データを提供する外部機器（例えば、スピーカ及
び／又はヘッドフォン）を介して提供される。ＨＭＤ １０５のいくつかの実施形態につ
いて、図２及び３に関して後でさらに説明する。ＨＭＤ １０５は、１つ又は複数の硬質
本体（rigid body）を含んでいてもよく、これは相互に剛体的に、又は非剛体的に結合さ
れていてもよい。硬質本体間の剛体的結合によれば、結合された硬質本体は１つの硬質物
体として機能する。これに対して、硬質本体間の非剛体的結合によれば、硬質本体は相互
に関して移動できる。いくつかの実施形態において、ＨＭＤ １０５はまた、拡張現実（
ＡＲ : augmented reality）ＨＭＤとして機能してもよい。これらの実施形態において、
ＨＭＤ １０５は、物理的な実世界の環境の表示をコンピュータ生成要素（例えば、ビデ
オ、音声等）で拡張する。
供する。ＨＭＤ １０５により提供されるメディアの例には、１つ又は複数の画像、ビデ
オ、オーディオ、又はこれらの何れかの組合せが含まれる。いくつかの実施形態において
、オーディオは、ＨＭＤ １０５、ＶＲコンソール１１０、又はその両方から音声情報を
受け取ってこの音声情報に基づいて音声データを提供する外部機器（例えば、スピーカ及
び／又はヘッドフォン）を介して提供される。ＨＭＤ １０５のいくつかの実施形態につ
いて、図２及び３に関して後でさらに説明する。ＨＭＤ １０５は、１つ又は複数の硬質
本体（rigid body）を含んでいてもよく、これは相互に剛体的に、又は非剛体的に結合さ
れていてもよい。硬質本体間の剛体的結合によれば、結合された硬質本体は１つの硬質物
体として機能する。これに対して、硬質本体間の非剛体的結合によれば、硬質本体は相互
に関して移動できる。いくつかの実施形態において、ＨＭＤ １０５はまた、拡張現実（
ＡＲ : augmented reality）ＨＭＤとして機能してもよい。これらの実施形態において、
ＨＭＤ １０５は、物理的な実世界の環境の表示をコンピュータ生成要素（例えば、ビデ
オ、音声等）で拡張する。
ＨＭＤ １０５は、電子ディスプレイ１１５と、光学系ブロック１１８と、１つ又は複
数のロケータ１２０（locator）と、１つ又は複数の位置センサ１２５と、慣性計測ユニ
ット（ＩＭＵ : inertial measurement unit）１３０と、視線追跡ユニット１６０と、を
含む。ＨＭＤ １０５のいくつかの実施形態は、本明細書に記載のものとは異なるコンポ
ーネントを有する。同様に、機能はＶＲシステム環境１００の中の他のコンポーネント間
で、本明細書に記載のものとは異なる方法で分散させることができる。例えば、視線追跡
ユニット１６０の機能のいくつかは、ＶＲコンソール１１０により実行されてもよい。電
子ディスプレイ１１５は、ＶＲコンソール１１０から受け取ったデータに従って使用者に
対して画像を表示する。
数のロケータ１２０（locator）と、１つ又は複数の位置センサ１２５と、慣性計測ユニ
ット（ＩＭＵ : inertial measurement unit）１３０と、視線追跡ユニット１６０と、を
含む。ＨＭＤ １０５のいくつかの実施形態は、本明細書に記載のものとは異なるコンポ
ーネントを有する。同様に、機能はＶＲシステム環境１００の中の他のコンポーネント間
で、本明細書に記載のものとは異なる方法で分散させることができる。例えば、視線追跡
ユニット１６０の機能のいくつかは、ＶＲコンソール１１０により実行されてもよい。電
子ディスプレイ１１５は、ＶＲコンソール１１０から受け取ったデータに従って使用者に
対して画像を表示する。
光学系ブロック１１８は、電子ディスプレイ１１５から受け取った光を拡大し、画像光
に関連する光学的エラーを補正し、補正された画像光がＨＭＤ １０５の使用者に対して
提供される。光学素子は、開口、フレネルレンズ、凸レンズ、凹レンズ、フィルタ、又は
電子ディスプレイ１１５から発せられた画像光に影響を与える他のあらゆる適当な光学素
子等の光学素子である。さらに、光学系ブロック１１８は、異なる光学素子の組合せを含
んでいてもよい。いくつかの実施形態において、光学系ブロック１１８の中の光学素子の
１つ又は複数は、部分的反射リフレクタ又は反射防止コーティング等の１つ又は複数のコ
ーティングを有していてもよい。
に関連する光学的エラーを補正し、補正された画像光がＨＭＤ １０５の使用者に対して
提供される。光学素子は、開口、フレネルレンズ、凸レンズ、凹レンズ、フィルタ、又は
電子ディスプレイ１１５から発せられた画像光に影響を与える他のあらゆる適当な光学素
子等の光学素子である。さらに、光学系ブロック１１８は、異なる光学素子の組合せを含
んでいてもよい。いくつかの実施形態において、光学系ブロック１１８の中の光学素子の
１つ又は複数は、部分的反射リフレクタ又は反射防止コーティング等の１つ又は複数のコ
ーティングを有していてもよい。
光学系ブロック１１８による画像光の拡大により、電子ディスプレイ１１５を物理的に
小型化、軽量化し、より大型のディスプレイよる消費電力を小さくすることができる。こ
れに加えて、拡大によって、表示メディアの視野が拡大されるかもしれない。例えば、表
示メディアの視野は、表示メディアが使用者の瞬間視野のほとんど全部（例えば、対角１
１０°）、及び場合によって全部を使って提供されるというものである。いくつかの実施
形態において、光学系ブロック１１８は、その有効焦点距離が電子ディスプレイ１１５ま
での空間より大きくなるように構成され、それによって電子ディスプレイ１１５により投
射される画像光が拡大される。それに加えて、いくつかの実施形態において、拡大量は、
光学素子を追加し、又は取り除くことによって調整されてもよい。
小型化、軽量化し、より大型のディスプレイよる消費電力を小さくすることができる。こ
れに加えて、拡大によって、表示メディアの視野が拡大されるかもしれない。例えば、表
示メディアの視野は、表示メディアが使用者の瞬間視野のほとんど全部（例えば、対角１
１０°）、及び場合によって全部を使って提供されるというものである。いくつかの実施
形態において、光学系ブロック１１８は、その有効焦点距離が電子ディスプレイ１１５ま
での空間より大きくなるように構成され、それによって電子ディスプレイ１１５により投
射される画像光が拡大される。それに加えて、いくつかの実施形態において、拡大量は、
光学素子を追加し、又は取り除くことによって調整されてもよい。
光学系ブロック１１８は、１種類又は複数種類の光学エラーを補正するように構成され
てもよい。光学エラーの例としては、２次元光学エラー、３次元光学エラー、又はそれら
の何れかの組合せが含まれる。２次元エラーは、２次元で発生する光学収差である。２次
元エラーの種類の例には、樽型歪曲、糸巻型歪曲、縦コマ収差、横コマ収差、又は他のあ
らゆる種類の２次元光学エラーが含まれる。３次元エラーは、３次元で発生する光学エラ
ーである。３次元エラーの種類の例には、球面収差、色収差、像面歪曲、非点収差、又は
他のあらゆる種類の３次元光学エラーが含まれる。いくつかの実施形態におい、表示のた
めに電子ディスプレイ１１５に提供されるコンテンツは事前に歪曲され、光学系ブロック
１１８は、それがコンテンツに基づき生成される電子ディスプレイ１１５からの画像光を
受け取った時にこの歪曲（distortion）を補正する。
てもよい。光学エラーの例としては、２次元光学エラー、３次元光学エラー、又はそれら
の何れかの組合せが含まれる。２次元エラーは、２次元で発生する光学収差である。２次
元エラーの種類の例には、樽型歪曲、糸巻型歪曲、縦コマ収差、横コマ収差、又は他のあ
らゆる種類の２次元光学エラーが含まれる。３次元エラーは、３次元で発生する光学エラ
ーである。３次元エラーの種類の例には、球面収差、色収差、像面歪曲、非点収差、又は
他のあらゆる種類の３次元光学エラーが含まれる。いくつかの実施形態におい、表示のた
めに電子ディスプレイ１１５に提供されるコンテンツは事前に歪曲され、光学系ブロック
１１８は、それがコンテンツに基づき生成される電子ディスプレイ１１５からの画像光を
受け取った時にこの歪曲（distortion）を補正する。
ロケータ１２０は、ＨＭＤ １０５上の特定の位置に、相互に関して、及びＨＭＤ １
０５上の具体的な基準位置に関して位置付けられるオブジェクトである。ロケータ１２０
は、発光ダイオード（ＬＥＤ）、コーナキューブリフレクタ、反射マーカ、ＨＭＤ １０
５が動作する環境と対照的な種類の光源、又はこれらの何れかの組合せであってもよい。
ロケータ１２０がアクティブである（すなわち、ＬＥＤ又はその他の種類の発光デバイス
）である実施形態において、ロケータ１２０は、可視バンド（約３８０ｎｍ〜７５０ｎｍ
）、赤外（ＩＲ）バンド（約７５０ｎｍ〜１７００ｎｍ）、紫外バンド（１０ｎｍ〜３８
０ｎｍ）、電磁スペクトルの他の何れかの部分、又はこれらの何れかの組合せの光を発し
てもよい。
０５上の具体的な基準位置に関して位置付けられるオブジェクトである。ロケータ１２０
は、発光ダイオード（ＬＥＤ）、コーナキューブリフレクタ、反射マーカ、ＨＭＤ １０
５が動作する環境と対照的な種類の光源、又はこれらの何れかの組合せであってもよい。
ロケータ１２０がアクティブである（すなわち、ＬＥＤ又はその他の種類の発光デバイス
）である実施形態において、ロケータ１２０は、可視バンド（約３８０ｎｍ〜７５０ｎｍ
）、赤外（ＩＲ）バンド（約７５０ｎｍ〜１７００ｎｍ）、紫外バンド（１０ｎｍ〜３８
０ｎｍ）、電磁スペクトルの他の何れかの部分、又はこれらの何れかの組合せの光を発し
てもよい。
いくつかの実施形態において、ロケータ１２０は、ＨＭＤ １０５の、ロケータ１２０
により発せられ、もしくは反射される光の波長に対して透過性であるか、又はロケータ１
２０により発せられ、もしくは反射される光の波長を実質的に減衰させないように薄い外
面の下に位置付けられる。それに加えて、いくつかの実施形態において、ＨＭＤ １０５
の外面又はその他の部分は、光の可視波長バンドにおいて不透過性である。それゆえ、ロ
ケータ１２０は、ＩＲバンドでは透過性であるが、可視バンドにおいては不透過性の外面
の下で、ＩＲバンドの光を発してもよい。
により発せられ、もしくは反射される光の波長に対して透過性であるか、又はロケータ１
２０により発せられ、もしくは反射される光の波長を実質的に減衰させないように薄い外
面の下に位置付けられる。それに加えて、いくつかの実施形態において、ＨＭＤ １０５
の外面又はその他の部分は、光の可視波長バンドにおいて不透過性である。それゆえ、ロ
ケータ１２０は、ＩＲバンドでは透過性であるが、可視バンドにおいては不透過性の外面
の下で、ＩＲバンドの光を発してもよい。
ＩＭＵ １３０は、位置センサ１２５の１つ又は複数から受け取った測定信号に基づい
て高速校正データを生成する電子デバイスである。位置センサ１２５は、ＨＭＤ １０５
の動きに応答して１つ又は複数の測定信号を生成する。位置センサ１２５の例には、１つ
又は複数の加速度計、１つ又は複数のジャイロスコープ、１つ又は複数の磁力計、動きを
検出する他の適当な種類のセンサ、ＩＭＵ １３０のエラー補正に使用されるある種のセ
ンサ、又はこれらの何れかの組合せが含まれる。位置センサ１２５は、ＩＭＵ １３０の
外、ＩＭＵ １３０の中、又はこれらの何れかの組合せに位置付けられてもよい。
て高速校正データを生成する電子デバイスである。位置センサ１２５は、ＨＭＤ １０５
の動きに応答して１つ又は複数の測定信号を生成する。位置センサ１２５の例には、１つ
又は複数の加速度計、１つ又は複数のジャイロスコープ、１つ又は複数の磁力計、動きを
検出する他の適当な種類のセンサ、ＩＭＵ １３０のエラー補正に使用されるある種のセ
ンサ、又はこれらの何れかの組合せが含まれる。位置センサ１２５は、ＩＭＵ １３０の
外、ＩＭＵ １３０の中、又はこれらの何れかの組合せに位置付けられてもよい。
１つ又は複数の位置センサ１２５からの１つ又は複数の測定信号に基づき、ＩＭＵ １
３０は、ＨＭＤ １０５の初期位置に関するＨＭＤ １０５の推定位置を示す高速校正デ
ータを生成する。例えば、位置センサ１２５は、並進運動（translational motion）（前
／後、上／下、左／右）を測定する複数の加速度計と、回転運動（例えば、ピッチ、ヨー
、ロール）を測定する複数のジャイロスコープを含む。いくつかの実施形態において、Ｉ
ＭＵ １３０は、測定信号を高速サンプリングし、ＨＭＤ １０５の推定位置をサンプリ
ングデータから計算する。例えば、ＩＭＵ １３０はある時間にわたり加速度計から受け
取った測定信号を積分して速度ベクトルを推定し、ある時間わたる速度ベクトルを積分し
て、ＨＭＤ １０５上の基準点の推定位置を判断する。あるいは、ＩＭＵ １３０は、サ
ンプリングされた測定信号をＶＲコンソール１１０に提供し、これが高速校正データを判
断する。基準点は、ＨＭＤ １０５の位置を説明するために使用されてもよい点である。
基準点は一般に、空間内のある点として定義されてもよいが、実際には、基準点はＨＭＤ
１０５内のある点（例えば、ＩＭＵ １３０の中心）として定義される。
３０は、ＨＭＤ １０５の初期位置に関するＨＭＤ １０５の推定位置を示す高速校正デ
ータを生成する。例えば、位置センサ１２５は、並進運動（translational motion）（前
／後、上／下、左／右）を測定する複数の加速度計と、回転運動（例えば、ピッチ、ヨー
、ロール）を測定する複数のジャイロスコープを含む。いくつかの実施形態において、Ｉ
ＭＵ １３０は、測定信号を高速サンプリングし、ＨＭＤ １０５の推定位置をサンプリ
ングデータから計算する。例えば、ＩＭＵ １３０はある時間にわたり加速度計から受け
取った測定信号を積分して速度ベクトルを推定し、ある時間わたる速度ベクトルを積分し
て、ＨＭＤ １０５上の基準点の推定位置を判断する。あるいは、ＩＭＵ １３０は、サ
ンプリングされた測定信号をＶＲコンソール１１０に提供し、これが高速校正データを判
断する。基準点は、ＨＭＤ １０５の位置を説明するために使用されてもよい点である。
基準点は一般に、空間内のある点として定義されてもよいが、実際には、基準点はＨＭＤ
１０５内のある点（例えば、ＩＭＵ １３０の中心）として定義される。
ＩＭＵ １３０は、ＶＲコンソール１１０から１つ又は複数の校正パラメータを受け取
る。後でさらに説明するように、１つ又は複数の校正パラメータは、ＨＭＤ １０５の追
跡を保持するために使用される。ＩＭＵ １３０は、受け取った校正パラメータに基づい
て、１つ又は複数のＩＭＵパラメータ（例えば、サンプルレート）を調整してもよい。い
くつかの実施形態において、特定の校正パラメータにより、ＩＭＵ １３０は基準点の初
期位置を更新し、そのため、これは基準点の次の校正位置に対応する。基準点の初期位置
を基準点の次の校正位置として更新することは、判断された推定点に関連する累積エラー
を軽減させるのに役立つ。累積エラーは、ドリフトエラーとも呼ばれ、時間が経つと基準
点の推定位置が基準点の実際の位置から「ドリフト」する原因となる。
る。後でさらに説明するように、１つ又は複数の校正パラメータは、ＨＭＤ １０５の追
跡を保持するために使用される。ＩＭＵ １３０は、受け取った校正パラメータに基づい
て、１つ又は複数のＩＭＵパラメータ（例えば、サンプルレート）を調整してもよい。い
くつかの実施形態において、特定の校正パラメータにより、ＩＭＵ １３０は基準点の初
期位置を更新し、そのため、これは基準点の次の校正位置に対応する。基準点の初期位置
を基準点の次の校正位置として更新することは、判断された推定点に関連する累積エラー
を軽減させるのに役立つ。累積エラーは、ドリフトエラーとも呼ばれ、時間が経つと基準
点の推定位置が基準点の実際の位置から「ドリフト」する原因となる。
視線追跡ユニット１６０は、使用者の眼球の角度方位（angular orientation）を推定
する。眼球の方位は、ＨＭＤ １０５内での使用者の注視方向に対応する。使用者の眼球
の方位は、本明細書において、中心窩（眼の網膜の光受容体の密度が最も高い領域）と眼
球の瞳孔の中心との間の軸である中心窩軸の方向と定義される。一般に、使用者の眼があ
る点に固定されると、使用者の眼球の中心窩軸はその点と交差する。瞳孔軸は眼球のまた
別の軸であり、これは瞳孔の中心を通る、角膜表面に垂直な軸と定義される。瞳孔軸は一
般に、中心窩軸と直接的に整列しない。両方の軸は瞳孔の中心で交差するが、中心窩軸の
方位は瞳孔軸から横方向に約−１°〜８°、縦方向に±４°だけずれる。中心窩軸は、眼
球後方にある中心窩に応じて定義されるため、中心窩軸は、いくつかの視線追跡の実施形
態においては直接検出することが困難又は不可能でありうる。したがって、いくつかの実
施形態において、瞳孔軸の方位が検出され、中心窩軸は検出された瞳孔軸に基づいて推定
される。
する。眼球の方位は、ＨＭＤ １０５内での使用者の注視方向に対応する。使用者の眼球
の方位は、本明細書において、中心窩（眼の網膜の光受容体の密度が最も高い領域）と眼
球の瞳孔の中心との間の軸である中心窩軸の方向と定義される。一般に、使用者の眼があ
る点に固定されると、使用者の眼球の中心窩軸はその点と交差する。瞳孔軸は眼球のまた
別の軸であり、これは瞳孔の中心を通る、角膜表面に垂直な軸と定義される。瞳孔軸は一
般に、中心窩軸と直接的に整列しない。両方の軸は瞳孔の中心で交差するが、中心窩軸の
方位は瞳孔軸から横方向に約−１°〜８°、縦方向に±４°だけずれる。中心窩軸は、眼
球後方にある中心窩に応じて定義されるため、中心窩軸は、いくつかの視線追跡の実施形
態においては直接検出することが困難又は不可能でありうる。したがって、いくつかの実
施形態において、瞳孔軸の方位が検出され、中心窩軸は検出された瞳孔軸に基づいて推定
される。
一般に、眼球の運動は眼球の角回転だけでなく、眼球の並進、眼球の回旋の変化、及び
／又は眼球の形状の変化にも対応する。視線追跡ユニット１６０はまた、眼球の並進、す
なわち眼窩に関する眼球の位置の変化も検出してよい。いくつかの実施形態において、眼
球の並進は直接検出されないが、検出された角度方位からのマッピングに基づいて近似さ
れる。視線追跡ユニットの検出コンポーネントに関する眼球の位置の変化に対応する眼球
の並進もまた検出されてよい。この種の並進は、例えば、使用者の頭部でのＨＭＤ １０
５の位置のシフトにより発生するかもしれない。視線追跡ユニット１６０はまた、眼球回
旋、すなわち瞳孔軸の周囲での眼球回転も検出してよい。視線追跡ユニット１６０は、検
出された眼球回旋を用いて、瞳孔軸からの中心窩軸の方位を推定してもよい。視線追跡ユ
ニット１６０はまた、眼球の形状の変化も追跡してよく、これは、傾斜もしくは拡大縮小
線形変換又は捻り歪み（例えば、捩れ変形による）として近似されてもよい。視線追跡ユ
ニット１６０は、瞳孔軸の角度方位、眼球の並進、眼球の回旋、及び眼球の現在の形状の
何れかの組合せに基づいて中心窩を推定してもよい。
／又は眼球の形状の変化にも対応する。視線追跡ユニット１６０はまた、眼球の並進、す
なわち眼窩に関する眼球の位置の変化も検出してよい。いくつかの実施形態において、眼
球の並進は直接検出されないが、検出された角度方位からのマッピングに基づいて近似さ
れる。視線追跡ユニットの検出コンポーネントに関する眼球の位置の変化に対応する眼球
の並進もまた検出されてよい。この種の並進は、例えば、使用者の頭部でのＨＭＤ １０
５の位置のシフトにより発生するかもしれない。視線追跡ユニット１６０はまた、眼球回
旋、すなわち瞳孔軸の周囲での眼球回転も検出してよい。視線追跡ユニット１６０は、検
出された眼球回旋を用いて、瞳孔軸からの中心窩軸の方位を推定してもよい。視線追跡ユ
ニット１６０はまた、眼球の形状の変化も追跡してよく、これは、傾斜もしくは拡大縮小
線形変換又は捻り歪み（例えば、捩れ変形による）として近似されてもよい。視線追跡ユ
ニット１６０は、瞳孔軸の角度方位、眼球の並進、眼球の回旋、及び眼球の現在の形状の
何れかの組合せに基づいて中心窩を推定してもよい。
視線追跡ユニット１６０は少なくとも１つの発光器を含み、これは構造化光パターン（
structured light pattern）を眼球の全体または一部に投射する。すると、このパターン
は、眼球の形状に投射され、これはオフセット角度から見たときに構造化光パターンの認
識可能な歪曲を発生させるかもしれない。視線追跡ユニット１６０はまた、少なくとも１
つのカメラを含み、これは眼球に投射された光パターンの歪曲（もしあれば）を検出する
。カメラは、発光器とは異なる軸上で方向付けられ、眼球の上の照明パターンを撮影する
。このプロセスは、本明細書において、眼球の「スキャン（scanning）」と呼ぶ。眼球表
面上の照明パターンの変形を検出することにより、視線追跡ユニット１６０は眼球のスキ
ャン部分の形状を判断できる。したがって、撮影された歪曲光パターンは、眼球の照明部
分の３Ｄ形状を示している。眼球の、発光器により照明された部分の３Ｄ形状を導き出す
ことにより、眼球の方位を導き出すことができる。視線追跡ユニットはまた、カメラによ
り撮影された照明パターンの画像に基づいて、瞳孔軸、眼球の並進、眼球の回旋、及び眼
球の現在の形状も推定できる。
structured light pattern）を眼球の全体または一部に投射する。すると、このパターン
は、眼球の形状に投射され、これはオフセット角度から見たときに構造化光パターンの認
識可能な歪曲を発生させるかもしれない。視線追跡ユニット１６０はまた、少なくとも１
つのカメラを含み、これは眼球に投射された光パターンの歪曲（もしあれば）を検出する
。カメラは、発光器とは異なる軸上で方向付けられ、眼球の上の照明パターンを撮影する
。このプロセスは、本明細書において、眼球の「スキャン（scanning）」と呼ぶ。眼球表
面上の照明パターンの変形を検出することにより、視線追跡ユニット１６０は眼球のスキ
ャン部分の形状を判断できる。したがって、撮影された歪曲光パターンは、眼球の照明部
分の３Ｄ形状を示している。眼球の、発光器により照明された部分の３Ｄ形状を導き出す
ことにより、眼球の方位を導き出すことができる。視線追跡ユニットはまた、カメラによ
り撮影された照明パターンの画像に基づいて、瞳孔軸、眼球の並進、眼球の回旋、及び眼
球の現在の形状も推定できる。
方位は使用者の両眼について判断されてもよいため、視線追跡ユニット１６０は、使用
者がどこを見ているか判断できる。ＨＭＤ １０５は、例えば使用者の瞳孔間距離（IPD
: inter-pupillary distance）を判断するため、注視方向を判断するため、奥行きの手が
かり（例えば、使用者の主視線の外のぼやけた画像）を導入するため、ＶＲメディア内の
使用者のインタラクションに関する経験則（例えば、受けた刺激に応じた何れかの特定の
主題、物体、又はフレームについて費やされた時間）を収集するため、一部に使用者の眼
球のうちの少なくとも一方の方位に基づく他の何れかの機能のため、又はこれらの何れか
の組合せのために眼球の方位を使用できる。使用者の注視方向の判断は、使用者の左右の
眼の判断された方位に基づくコンバージェンスポイント(point of convergence)の判断を
含んでいてもよい。コンバージェンスポイントは、使用者の両眼の２つの中心窩軸が交差
する点（又はこれら２軸間の最も近い点）であってもよい。使用者の注視方向は、コンバ
ージェンスポイントを通り、使用者の両眼の瞳孔間の中間点を通る線の方向であってもよ
い。視線追跡ユニット１６０について、図３及び図４に関して以下にさらに説明する。
者がどこを見ているか判断できる。ＨＭＤ １０５は、例えば使用者の瞳孔間距離（IPD
: inter-pupillary distance）を判断するため、注視方向を判断するため、奥行きの手が
かり（例えば、使用者の主視線の外のぼやけた画像）を導入するため、ＶＲメディア内の
使用者のインタラクションに関する経験則（例えば、受けた刺激に応じた何れかの特定の
主題、物体、又はフレームについて費やされた時間）を収集するため、一部に使用者の眼
球のうちの少なくとも一方の方位に基づく他の何れかの機能のため、又はこれらの何れか
の組合せのために眼球の方位を使用できる。使用者の注視方向の判断は、使用者の左右の
眼の判断された方位に基づくコンバージェンスポイント(point of convergence)の判断を
含んでいてもよい。コンバージェンスポイントは、使用者の両眼の２つの中心窩軸が交差
する点（又はこれら２軸間の最も近い点）であってもよい。使用者の注視方向は、コンバ
ージェンスポイントを通り、使用者の両眼の瞳孔間の中間点を通る線の方向であってもよ
い。視線追跡ユニット１６０について、図３及び図４に関して以下にさらに説明する。
イメージングデバイス１３５は、ＶＲコンソール１１０から受け取った校正パラメータ
にしたがって低速校正データを生成する。低速校正データには、イメージングデバイス１
３５により検出可能なロケータ１２０の観察位置を示す１つ又は複数の画像が含まれる。
イメージングデバイス１３５は、１つ又は複数のカメラ、１つ又は複数のビデオカメラ、
１つ又は複数のロケータ１２０を含む画像を撮影可能な他のあらゆる機器、又はそれらの
何れかの組合せが含まれる。それに加えて、イメージングデバイス１３５は、１つ又は複
数のハードウェア及びソフトウェアフィルタを含んでいてもよい（例えば、信号対ノイズ
比を高めるために使用される）。イメージングデバイス１３５は、イメージングデバイス
１３５の視野内で、ロケータ１２０から発せられた、又は反射された光を検出するように
構成される。ロケータ１２０がパッシブ要素（例えば、再帰反射器）を含む実施形態にお
いて、イメージングデバイス１３５は、ロケータ１２０のいくつか又は全部を照明する光
源を含んでいてもよく、これは光をイメージングデバイス１３５の光源に向かって再帰反
射させる。低速校正データは、イメージングデバイス１３５からＶＲコンソール１１０へ
と伝えられ、イメージングデバイス１３５はＶＲコンソール１１０から１つ又は複数の校
正パラメータを受け取って、１つ又は複数のイメージングパラメータ（例えば、焦点距離
、焦点、フレームレート、ＩＳＯ、センサ温度、シャッタスピード、開口等）を調整する
。
にしたがって低速校正データを生成する。低速校正データには、イメージングデバイス１
３５により検出可能なロケータ１２０の観察位置を示す１つ又は複数の画像が含まれる。
イメージングデバイス１３５は、１つ又は複数のカメラ、１つ又は複数のビデオカメラ、
１つ又は複数のロケータ１２０を含む画像を撮影可能な他のあらゆる機器、又はそれらの
何れかの組合せが含まれる。それに加えて、イメージングデバイス１３５は、１つ又は複
数のハードウェア及びソフトウェアフィルタを含んでいてもよい（例えば、信号対ノイズ
比を高めるために使用される）。イメージングデバイス１３５は、イメージングデバイス
１３５の視野内で、ロケータ１２０から発せられた、又は反射された光を検出するように
構成される。ロケータ１２０がパッシブ要素（例えば、再帰反射器）を含む実施形態にお
いて、イメージングデバイス１３５は、ロケータ１２０のいくつか又は全部を照明する光
源を含んでいてもよく、これは光をイメージングデバイス１３５の光源に向かって再帰反
射させる。低速校正データは、イメージングデバイス１３５からＶＲコンソール１１０へ
と伝えられ、イメージングデバイス１３５はＶＲコンソール１１０から１つ又は複数の校
正パラメータを受け取って、１つ又は複数のイメージングパラメータ（例えば、焦点距離
、焦点、フレームレート、ＩＳＯ、センサ温度、シャッタスピード、開口等）を調整する
。
ＶＲ入力インタフェース１４０は、使用者が動作要求をＶＲコンソール１１０に送信で
きるようにするためのデバイスである。動作要求は、特定の動作を実行させる要求である
。例えば、動作要求は、アプリケーションを開始もしくは終了するため、又はアプリケー
ション内の特定の動作を実行するためのものであってもよい。ＶＲ入力インタフェース１
４０は、１つ又は複数の入力デバイスを含んでいてもよい。入力デバイスの例には、キー
ボード、マウス、ゲームコントローラ、又は動作要求を受け取り、受け取った動作要求を
ＶＲコンソール１１０に伝えるのに適した他のあらゆる適当なデバイスが含まれる。ＶＲ
入力インタフェース１４０が受け取った動作要求はＶＲコンソール１１０に伝えられ、こ
れが動作要求に対応する動作を実行する。いくつかの実施形態において、ＶＲ入力インタ
フェース１４０は、ＶＲコンソール１１０から受け取った命令にしたがって、使用者に対
して触覚フィードバックを提供してもよい。例えば、触覚フィードバックは、動作要求を
受け取ったときに提供され、又は、ＶＲコンソール１１０は、ＶＲ入力インタフェース１
４０に命令を伝えて、ＶＲコンソール１１０がある動作を実行するとＶＲ入力インタフェ
ース１４０に触覚フィードバックを発生させる。
きるようにするためのデバイスである。動作要求は、特定の動作を実行させる要求である
。例えば、動作要求は、アプリケーションを開始もしくは終了するため、又はアプリケー
ション内の特定の動作を実行するためのものであってもよい。ＶＲ入力インタフェース１
４０は、１つ又は複数の入力デバイスを含んでいてもよい。入力デバイスの例には、キー
ボード、マウス、ゲームコントローラ、又は動作要求を受け取り、受け取った動作要求を
ＶＲコンソール１１０に伝えるのに適した他のあらゆる適当なデバイスが含まれる。ＶＲ
入力インタフェース１４０が受け取った動作要求はＶＲコンソール１１０に伝えられ、こ
れが動作要求に対応する動作を実行する。いくつかの実施形態において、ＶＲ入力インタ
フェース１４０は、ＶＲコンソール１１０から受け取った命令にしたがって、使用者に対
して触覚フィードバックを提供してもよい。例えば、触覚フィードバックは、動作要求を
受け取ったときに提供され、又は、ＶＲコンソール１１０は、ＶＲ入力インタフェース１
４０に命令を伝えて、ＶＲコンソール１１０がある動作を実行するとＶＲ入力インタフェ
ース１４０に触覚フィードバックを発生させる。
ＶＲコンソール１１０は、イメージングデバイス１３５、ＨＭＤ １０５、及びＶＲ入
力インタフェース１４０のうちの１つ又は複数から受け取った情報にしたがって、使用者
に対して提示されるようにＨＭＤ １０５にメディアを提供する。図１に示される例では
、ＶＲコンソール１１０は、アプリケーションストア１４５と、追跡モジュール１５０と
、仮想現実（ＶＲ）エンジン１５５と、を含む。ＶＲコンソール１１０のいくつかの実施
形態は、図１に関して説明されたものとは異なるモジュールを有する。同様に、以下にさ
らに説明する機能は、ＶＲコンソール１１０のコンポーネント間で、上述のものとは異な
る方法で分散されてもよい。
力インタフェース１４０のうちの１つ又は複数から受け取った情報にしたがって、使用者
に対して提示されるようにＨＭＤ １０５にメディアを提供する。図１に示される例では
、ＶＲコンソール１１０は、アプリケーションストア１４５と、追跡モジュール１５０と
、仮想現実（ＶＲ）エンジン１５５と、を含む。ＶＲコンソール１１０のいくつかの実施
形態は、図１に関して説明されたものとは異なるモジュールを有する。同様に、以下にさ
らに説明する機能は、ＶＲコンソール１１０のコンポーネント間で、上述のものとは異な
る方法で分散されてもよい。
アプリケーションストア１４５は、ＶＲコンソール１１０により実行されるための１つ
又は複数のアプリケーションを保存する。アプリケーションは、プロセッサにより実行さ
れると使用者に提示されるためのコンテンツを生成する命令群である。あるアプリケーシ
ョンにより生成されるコンテンツは、ＨＭＤ １０５の動き又はＶＲ入力インタフェース
１４０を介して使用者から受け取った入力に応答していてもよい。アプリケーションの例
には、ゲームアプリケーション、会議アプリケーション、ビデオ再生アプリーション、又
は他の適当なアプリケーションが含まれる。
又は複数のアプリケーションを保存する。アプリケーションは、プロセッサにより実行さ
れると使用者に提示されるためのコンテンツを生成する命令群である。あるアプリケーシ
ョンにより生成されるコンテンツは、ＨＭＤ １０５の動き又はＶＲ入力インタフェース
１４０を介して使用者から受け取った入力に応答していてもよい。アプリケーションの例
には、ゲームアプリケーション、会議アプリケーション、ビデオ再生アプリーション、又
は他の適当なアプリケーションが含まれる。
追跡モジュール１５０は、１つ又は複数の校正パラメータを使ってＶＲシステム環境１
００のセンサを校正し、１つ又は複数の校正パラメータを調整して、ＨＭＤ １０５の位
置の判断におけるエラーを減らしてもよい。例えば、追跡モジュール１５０は、イメージ
ングデバイス１３５の焦点を調整して、ＨＭＤ １０５上の観察されたロケータに関する
より正確な位置を得る。さらに、追跡モジュール１５０により実行される校正はまた、Ｉ
ＭＵ １３０から受け取った情報も考慮する。それに加えて、ＨＭＤ １０５の追跡が失
われると（例えば、イメージングデバイス１３５が少なくとも閾値の数のロケータ１２０
の視線を見失うと）、追跡モジュール１５０はシステム環境１００の一部又は全部を再校
正する。
００のセンサを校正し、１つ又は複数の校正パラメータを調整して、ＨＭＤ １０５の位
置の判断におけるエラーを減らしてもよい。例えば、追跡モジュール１５０は、イメージ
ングデバイス１３５の焦点を調整して、ＨＭＤ １０５上の観察されたロケータに関する
より正確な位置を得る。さらに、追跡モジュール１５０により実行される校正はまた、Ｉ
ＭＵ １３０から受け取った情報も考慮する。それに加えて、ＨＭＤ １０５の追跡が失
われると（例えば、イメージングデバイス１３５が少なくとも閾値の数のロケータ１２０
の視線を見失うと）、追跡モジュール１５０はシステム環境１００の一部又は全部を再校
正する。
追跡モジュール１５０は、イメージングデバイス１３５からの低速校正情報を使ってＨ
ＭＤ １０５の運動を追跡する。追跡モジュール１５０は、低速校正情報とＨＭＤ １０
５のモデルからの観察されたロケータを使ってＨＭＤ １０５の基準点の位置を判断する
。追跡モジュール１５０はまた、高速校正情報からの位置情報も使ってＨＭＤ １０５の
基準点の位置を判断する。それに加えて、いくつかの実施形態において、追跡モジュール
１５０は、高速校正情報、低速校正情報、又はそれらの何れかの組合せの一部を使って、
ＨＭＤ １０５の未来の位置を予想してもよい。追跡モジュール１５０は、ＨＭＤ １０
５の推定又は予想された未来の位置をＶＲエンジン１５５に提供する。
ＭＤ １０５の運動を追跡する。追跡モジュール１５０は、低速校正情報とＨＭＤ １０
５のモデルからの観察されたロケータを使ってＨＭＤ １０５の基準点の位置を判断する
。追跡モジュール１５０はまた、高速校正情報からの位置情報も使ってＨＭＤ １０５の
基準点の位置を判断する。それに加えて、いくつかの実施形態において、追跡モジュール
１５０は、高速校正情報、低速校正情報、又はそれらの何れかの組合せの一部を使って、
ＨＭＤ １０５の未来の位置を予想してもよい。追跡モジュール１５０は、ＨＭＤ １０
５の推定又は予想された未来の位置をＶＲエンジン１５５に提供する。
ＶＲエンジン１５５は、システム環境１００内でアプリケーションを実行し、追跡モジ
ュール１５０からＨＭＤ １０５の位置情報、加速度譲情報、速度情報、予想された未来
の位置、又はこれらの何れかの組合せを受け取る。ＶＲエンジン１５５は、受け取った情
報に基づいて、使用者に対して提示されるためにＨＭＤ １０５に提供されるべきコンテ
ンツを判断する。例えば、受け取った情報が、使用者が左を見たことを示している場合、
ＶＲエンジン１５５は、仮想環境内で使用者の運動をそのまま映すＨＭＤ １０５のため
のコンテンツを生成する。それに加えて、ＶＲエンジン１５５は、ＶＲ入力インタフェー
ス１４０から受け取った動作要求に応答してＶＲコンソール１１０上で実行されるアプリ
ケーションの中のある動作を実行し、その動作が実行されたというフィードバックを使用
者に提供する。提供されたフィードバックは、ＨＭＤ １０５を介した視覚又は聴覚フィ
ードバックか、ＶＲ入力インタフェース１４０を介した触覚フィードバックであってもよ
い。
ュール１５０からＨＭＤ １０５の位置情報、加速度譲情報、速度情報、予想された未来
の位置、又はこれらの何れかの組合せを受け取る。ＶＲエンジン１５５は、受け取った情
報に基づいて、使用者に対して提示されるためにＨＭＤ １０５に提供されるべきコンテ
ンツを判断する。例えば、受け取った情報が、使用者が左を見たことを示している場合、
ＶＲエンジン１５５は、仮想環境内で使用者の運動をそのまま映すＨＭＤ １０５のため
のコンテンツを生成する。それに加えて、ＶＲエンジン１５５は、ＶＲ入力インタフェー
ス１４０から受け取った動作要求に応答してＶＲコンソール１１０上で実行されるアプリ
ケーションの中のある動作を実行し、その動作が実行されたというフィードバックを使用
者に提供する。提供されたフィードバックは、ＨＭＤ １０５を介した視覚又は聴覚フィ
ードバックか、ＶＲ入力インタフェース１４０を介した触覚フィードバックであってもよ
い。
図２は、ある実施形態によるＨＭＤの略図である。ＨＭＤ ２００はＨＭＤ １０５の
ある実施形態であり、前側硬質本体２０５と、バンド２１０と、を含む。前側硬質本体２
０５は、電子ディスプレイ１１５（図２では図示せず）の電子ディスプレイ素子と、光学
系ブロック１１８（図２では図示せず）と、ＩＭＵ １３０と、１つ又は複数の位置セン
サ１２５と、視線追跡ユニット１６０と、ロケータ１２０と、を含む。図２により示され
る実施形態において、位置センサ１２５はＩＭＵ １３０の中に位置付けられ、ＩＭＵ
１３０も位置センサ１２５も使用者には見えない。
ある実施形態であり、前側硬質本体２０５と、バンド２１０と、を含む。前側硬質本体２
０５は、電子ディスプレイ１１５（図２では図示せず）の電子ディスプレイ素子と、光学
系ブロック１１８（図２では図示せず）と、ＩＭＵ １３０と、１つ又は複数の位置セン
サ１２５と、視線追跡ユニット１６０と、ロケータ１２０と、を含む。図２により示され
る実施形態において、位置センサ１２５はＩＭＵ １３０の中に位置付けられ、ＩＭＵ
１３０も位置センサ１２５も使用者には見えない。
ロケータ１２０は、前側硬質本体２０５上の、相互に関する、及び基準点２１５に関す
る固定位置に位置付けられる。図２の例では、基準点２１５はＩＭＵ １３０の中心に位
置付けられている。ロケータ１２０の各々は光を発し、これはイメージングデバイス１３
５により検出可能である。ロケータ１２０又はロケータ１２０の一部は、図２の例におい
て、前面２２０Ａ、上面２２０Ｂ、下面２２０Ｃ、右面２２０Ｄ、及び左面２２０Ｅ上に
ある。
る固定位置に位置付けられる。図２の例では、基準点２１５はＩＭＵ １３０の中心に位
置付けられている。ロケータ１２０の各々は光を発し、これはイメージングデバイス１３
５により検出可能である。ロケータ１２０又はロケータ１２０の一部は、図２の例におい
て、前面２２０Ａ、上面２２０Ｂ、下面２２０Ｃ、右面２２０Ｄ、及び左面２２０Ｅ上に
ある。
ＨＭＤ ２００は、視線追跡ユニット１６０を含む。視線追跡ユニット１６０は、構造
化光パターンを使用者の眼に投射する構造化光発光器と、眼の照明部分を検出するための
カメラと、を含んでいてもよい。発光器とカメラは、使用者の注視軸から外して位置付け
られてもよい。図２において、視線追跡ユニット１６０は、使用者の注視軸より下に位置
付けられているが、視線追跡ユニット１６０は、その代わりに別の箇所に設置することも
できる。また、いくつかの実施形態において、使用者の左眼のための少なくとも１つの視
線追跡ユニットと使用者の右眼のための少なくとも１つの追跡ユニットがある。
化光パターンを使用者の眼に投射する構造化光発光器と、眼の照明部分を検出するための
カメラと、を含んでいてもよい。発光器とカメラは、使用者の注視軸から外して位置付け
られてもよい。図２において、視線追跡ユニット１６０は、使用者の注視軸より下に位置
付けられているが、視線追跡ユニット１６０は、その代わりに別の箇所に設置することも
できる。また、いくつかの実施形態において、使用者の左眼のための少なくとも１つの視
線追跡ユニットと使用者の右眼のための少なくとも１つの追跡ユニットがある。
図３は、眼球３３０を繰り返しスキャンすることによって使用者の眼球３３０の位置を
追跡する構造化光視線追跡システム３００を示している。図３は、眼球３３０の断面を含
む。いくつかの実施形態において、構造化光視線追跡システム３００は、ＨＭＤ（例えば
、ＨＭＤ １０５又はＨＭＤ ２００）の視線追跡ユニット１６０のコンポーネントであ
る。代替的な実施形態において、構造化光視線追跡システム３００は、ＡＲ ＨＭＤ、Ｈ
ＭＤではないＶＲ／ＡＲシステム、又は視線追跡を利用する他の何れかのシステムの一部
である。構造化光視線追跡システム３００は、構造化光発光器３１０と、カメラ３２０と
、を含む。図３は、１つの構造化光発光器３１０と、片眼３３０の方位を検出する１つの
カメラ３２０を示している。しかしながら、代替的な実施形態においては、複数の構造化
光発光器又は複数のカメラが片眼について利用されてもよい。同様に、使用者の眼の各々
について、対応する構造化光発光器とカメラが利用されてもよい。
追跡する構造化光視線追跡システム３００を示している。図３は、眼球３３０の断面を含
む。いくつかの実施形態において、構造化光視線追跡システム３００は、ＨＭＤ（例えば
、ＨＭＤ １０５又はＨＭＤ ２００）の視線追跡ユニット１６０のコンポーネントであ
る。代替的な実施形態において、構造化光視線追跡システム３００は、ＡＲ ＨＭＤ、Ｈ
ＭＤではないＶＲ／ＡＲシステム、又は視線追跡を利用する他の何れかのシステムの一部
である。構造化光視線追跡システム３００は、構造化光発光器３１０と、カメラ３２０と
、を含む。図３は、１つの構造化光発光器３１０と、片眼３３０の方位を検出する１つの
カメラ３２０を示している。しかしながら、代替的な実施形態においては、複数の構造化
光発光器又は複数のカメラが片眼について利用されてもよい。同様に、使用者の眼の各々
について、対応する構造化光発光器とカメラが利用されてもよい。
構造化光発光器３１０は、使用者の眼の一部に対して構造化光パターンＰを発する。構
造化光発光器３１０は、赤外（ＩＲ）光源と構造化光素子を含む。ＩＲ光源（例えば、レ
ーザダイオード、発光ダイオード等）はＩＲ光（例えば、８５０ｎｍ）を構造化光素子に
向けて発し、それがＩＲ光を（角度座標内で）構造化されたＩＲ光に変換する。いくつか
の実施形態において、構造化光発光器３１０のＩＲ光源は連続的スペクトルのＩＲ光を発
して、光源のコヒーレンスを低下させる。いくつかの実施形態において、構造化光発光器
３１０は１つの周波数又は狭帯域スペクトル光を出力する。代替的実施形態において、構
造化光発光器３１０は、Ｎ個の単独周波数又は、中心周波数の異なるＮ個の狭帯域を出力
する。
造化光発光器３１０は、赤外（ＩＲ）光源と構造化光素子を含む。ＩＲ光源（例えば、レ
ーザダイオード、発光ダイオード等）はＩＲ光（例えば、８５０ｎｍ）を構造化光素子に
向けて発し、それがＩＲ光を（角度座標内で）構造化されたＩＲ光に変換する。いくつか
の実施形態において、構造化光発光器３１０のＩＲ光源は連続的スペクトルのＩＲ光を発
して、光源のコヒーレンスを低下させる。いくつかの実施形態において、構造化光発光器
３１０は１つの周波数又は狭帯域スペクトル光を出力する。代替的実施形態において、構
造化光発光器３１０は、Ｎ個の単独周波数又は、中心周波数の異なるＮ個の狭帯域を出力
する。
構造化光素子は、ＩＲ光源により照明されると構造化光を出力する光学素子である。構
造化光素子は、例えばアポダイゼーション（apodization）及び／又は位相マスク、回折
素子、複屈折板、ＩＲ光源により照明されると構造化光を出力する他の何れかの光学素子
、又はこれらの何れかの組合せであってもよい。それに加えて、いくつかの実施形態にお
いて、ＩＲ光源は、時間、周波数、又はその両方において変調されてもよい。構造化光発
光器３１０は、本明細書においてはＩＲスペクトル内の構造化光を発するものと記載され
ているが、代替的実施形態は、可視スペクトル（約３９０ｎｍ〜７００ｎｍ）等、非ＩＲ
波長の光を発する構造化光発光器３１０を含む。
造化光素子は、例えばアポダイゼーション（apodization）及び／又は位相マスク、回折
素子、複屈折板、ＩＲ光源により照明されると構造化光を出力する他の何れかの光学素子
、又はこれらの何れかの組合せであってもよい。それに加えて、いくつかの実施形態にお
いて、ＩＲ光源は、時間、周波数、又はその両方において変調されてもよい。構造化光発
光器３１０は、本明細書においてはＩＲスペクトル内の構造化光を発するものと記載され
ているが、代替的実施形態は、可視スペクトル（約３９０ｎｍ〜７００ｎｍ）等、非ＩＲ
波長の光を発する構造化光発光器３１０を含む。
使用者の片眼に関して、構造化光パターンＰは、眼球３３０の一部の表面に入射する。
構造化光パターンは、一部に、例えば照明された表面の幾何学形状及び発光器からカメラ
の幾何学配置に基づいて歪み、歪曲照明パターンを形成する。歪曲照明パターンの変化は
、眼球３３０の表面の一部の３Ｄ構造を示している。いくつかの実施形態において、眼の
その部分は強膜３４５、角膜３４０、又はその両方をカバーする。いくつかの実施形態に
おいて、複数の構造化光発光器が構造化光パターンを片眼３３０に投射する。いくつかの
実施形態において、第一の構造化光発光器は第一の構造化光パターンを使用者の眼の一方
に投射し、第二の構造化光発光器がもう一方の眼に第二の構造化光パターンを投射する。
構造化光パターンは、一部に、例えば照明された表面の幾何学形状及び発光器からカメラ
の幾何学配置に基づいて歪み、歪曲照明パターンを形成する。歪曲照明パターンの変化は
、眼球３３０の表面の一部の３Ｄ構造を示している。いくつかの実施形態において、眼の
その部分は強膜３４５、角膜３４０、又はその両方をカバーする。いくつかの実施形態に
おいて、複数の構造化光発光器が構造化光パターンを片眼３３０に投射する。いくつかの
実施形態において、第一の構造化光発光器は第一の構造化光パターンを使用者の眼の一方
に投射し、第二の構造化光発光器がもう一方の眼に第二の構造化光パターンを投射する。
カメラ３２０は、眼球３３０の、構造化光発光器３１０により照明された部分の上の歪
曲光パターンを検出する。カメラ３２０は、赤外線カメラ（すなわち、赤外周波数の画像
を撮影するように設計されたカメラ）であってもよい。カメラは、構造化光発光器３１０
により発せられた光のバンド幅に対して感受性を有するデジタルイメージセンサを備える
近赤外線カメラであってもよい。カメラ３２０は、ＣＣＤ又はＣＭＯＳデジタルイメージ
センサと光学素子を含む。光学素子は、１つ又は複数のレンズ、ハイパス、ローパス、も
しくはバンドパスフィルタ、偏光板、開口絞り、ダイアフラム、ＩＲ光の加工に適した他
の何れかの光学素子、又はこれらの何れかの組合せであってもよい。光学素子は光を出力
し、これはＣＣＤ又はＣＭＯＳデジタルセンサによって捕捉され、デジタル信号に変換さ
れる。
曲光パターンを検出する。カメラ３２０は、赤外線カメラ（すなわち、赤外周波数の画像
を撮影するように設計されたカメラ）であってもよい。カメラは、構造化光発光器３１０
により発せられた光のバンド幅に対して感受性を有するデジタルイメージセンサを備える
近赤外線カメラであってもよい。カメラ３２０は、ＣＣＤ又はＣＭＯＳデジタルイメージ
センサと光学素子を含む。光学素子は、１つ又は複数のレンズ、ハイパス、ローパス、も
しくはバンドパスフィルタ、偏光板、開口絞り、ダイアフラム、ＩＲ光の加工に適した他
の何れかの光学素子、又はこれらの何れかの組合せであってもよい。光学素子は光を出力
し、これはＣＣＤ又はＣＭＯＳデジタルセンサによって捕捉され、デジタル信号に変換さ
れる。
カメラ３２０は、歪曲照明パターンを検出して、捕捉した光をデジタル画像Ｉに変換す
る。デジタル画像Ｉは、二値画像（すなわち、各画素が二値を有する画像）、又はシング
ルチャネル画像（各画素が１つの浮動小数点又は整数の値にマッピングされる画像）であ
ってもよい。構造化光発光器３１０がＮ個の異なる周波数又はＮ個の異なる中心周波数の
光パターンを発する実施形態において、ＩはＮチャネル画像であってもよい。
る。デジタル画像Ｉは、二値画像（すなわち、各画素が二値を有する画像）、又はシング
ルチャネル画像（各画素が１つの浮動小数点又は整数の値にマッピングされる画像）であ
ってもよい。構造化光発光器３１０がＮ個の異なる周波数又はＮ個の異なる中心周波数の
光パターンを発する実施形態において、ＩはＮチャネル画像であってもよい。
カメラ３２０は、構造化光発光器３１０が投射するバンド内の電磁放射を検出するよう
に特に構成されていてもよい。カメラ３２０は、狭帯域バンドパスフィルタを利用しても
よく、これは構造化光発光器３１０により発せられるスペクトル外の光をフィルタにより
除去する。このバンドか比較的小さい場合、信号対ノイズ比（ＳＮＲ）は大きく、これに
よって画像はカメラ ３２０により高速で撮影されることが可能となる。いくつかの実施
形態において、カメラ３２０は高周波数カメラであるが、高い周波数が不要であれば、カ
メラ３２０は最大周波数より低い周波数で画像を撮影してもよい。画像がカメラ３２０に
より撮影されるときのフレームレートは一般に、６０Ｈｚ以上であるが、いくつかの実施
形態では、より低いレートで画像を撮影してもよい。構造化光発光器３１０は、カメラ３
２０が画像を撮影しているときにのみ光を発するように構成されてもよい。
に特に構成されていてもよい。カメラ３２０は、狭帯域バンドパスフィルタを利用しても
よく、これは構造化光発光器３１０により発せられるスペクトル外の光をフィルタにより
除去する。このバンドか比較的小さい場合、信号対ノイズ比（ＳＮＲ）は大きく、これに
よって画像はカメラ ３２０により高速で撮影されることが可能となる。いくつかの実施
形態において、カメラ３２０は高周波数カメラであるが、高い周波数が不要であれば、カ
メラ３２０は最大周波数より低い周波数で画像を撮影してもよい。画像がカメラ３２０に
より撮影されるときのフレームレートは一般に、６０Ｈｚ以上であるが、いくつかの実施
形態では、より低いレートで画像を撮影してもよい。構造化光発光器３１０は、カメラ３
２０が画像を撮影しているときにのみ光を発するように構成されてもよい。
カメラ３２０は、通常の動作条件では第一の周波数で画像を撮影してもよいが、特定の
条件で、カメラ３２０がより高い周波数で画像を撮影するようにトリガしてもよい。例え
ば、視線追跡ユニット１６０が眼球３３０の方位を検出できない場合、そのスキャンは「
不良スキャン」と考えられてもよい。「不良スキャン」は、使用者の瞬きによりトリガさ
れるかもしれない。「不良スキャン」の場合、このスキャンは考慮されなくてもよく、カ
メラ３２０は、成功したスキャンが記録されるまで、眼球３３０の別のスキャンを直ちに
捕捉するようにトリガすることができる。このようにして、視線追跡ユニット１６０は、
確実に眼球の方位の追跡が可能なかぎり正確で最新の状態であるようにすることができ、
不要な計算や電力消費を必要としない。
条件で、カメラ３２０がより高い周波数で画像を撮影するようにトリガしてもよい。例え
ば、視線追跡ユニット１６０が眼球３３０の方位を検出できない場合、そのスキャンは「
不良スキャン」と考えられてもよい。「不良スキャン」は、使用者の瞬きによりトリガさ
れるかもしれない。「不良スキャン」の場合、このスキャンは考慮されなくてもよく、カ
メラ３２０は、成功したスキャンが記録されるまで、眼球３３０の別のスキャンを直ちに
捕捉するようにトリガすることができる。このようにして、視線追跡ユニット１６０は、
確実に眼球の方位の追跡が可能なかぎり正確で最新の状態であるようにすることができ、
不要な計算や電力消費を必要としない。
眼球３３０は、角膜３４０、瞳孔３４２、水晶体３４３、虹彩３４４、強膜３４５、及
び中心窩３４６を含む。強膜３４５は、眼球３３０の比較的不透明な（通常、目に見える
ように白い）外側部分であり、これは「白目」と呼ばれることが多い。角膜３４０は、眼
の虹彩と瞳孔をカバーする湾曲面である。角膜３４０は基本的に、電磁スペクトルの可視
バンド（約３８０ｎｍ〜７５０ｎｍ）及び近赤外線領域（最高約１，４００ナノメートル
）において透過性である。水晶体３４３は、網膜（眼球３３０の後方）に光を収束させる
役割を果たす透明な構造である。虹彩３４４は、瞳孔３４２と同心の、薄い、色の着いた
円形の膜である。虹彩３４４は眼球の色の着いた部分であり、これは収縮して、光が眼球
３３０に入るときに通る円形の穴である瞳孔３４２の大きさを変化させる。中心窩３４６
は網膜内の窪みである。中心窩３４６は、視力の最も高い領域に対応する。
び中心窩３４６を含む。強膜３４５は、眼球３３０の比較的不透明な（通常、目に見える
ように白い）外側部分であり、これは「白目」と呼ばれることが多い。角膜３４０は、眼
の虹彩と瞳孔をカバーする湾曲面である。角膜３４０は基本的に、電磁スペクトルの可視
バンド（約３８０ｎｍ〜７５０ｎｍ）及び近赤外線領域（最高約１，４００ナノメートル
）において透過性である。水晶体３４３は、網膜（眼球３３０の後方）に光を収束させる
役割を果たす透明な構造である。虹彩３４４は、瞳孔３４２と同心の、薄い、色の着いた
円形の膜である。虹彩３４４は眼球の色の着いた部分であり、これは収縮して、光が眼球
３３０に入るときに通る円形の穴である瞳孔３４２の大きさを変化させる。中心窩３４６
は網膜内の窪みである。中心窩３４６は、視力の最も高い領域に対応する。
眼球３３０の回転と運動により、眼球表面のうち、構造化光発光器３１０により照明さ
れる部分は可変的であるかもしれない。いくつかの実施形態において、構造化光発光器３
１０は、角膜３４０がほぼ透過性であるスペクトル（例えば、近ＩＲ又は可視スペクトル
）の光を投射する。構造化光パターンの一部が角膜３４０を通り、虹彩３４４を照明する
場合、その結果として得られる、虹彩の略平坦な界面上の照明パターンは、角膜３４０の
表面の何れかの光学的パワーに応じて歪曲する。虹彩３４４の瞳孔３４２内の領域では、
照明パターンの強度は著しく低下する。いくつかの実施形態において、瞳孔３４２への照
明パターンは無視できると考えられる。視線追跡ユニット１６０はカメラ３２０により撮
影された画像の歪曲した円形の照明されていない部分を瞳孔３４２として特定し、瞳孔３
４２の位置に基づいて眼球３３０の角度方位を判断してもよい。
れる部分は可変的であるかもしれない。いくつかの実施形態において、構造化光発光器３
１０は、角膜３４０がほぼ透過性であるスペクトル（例えば、近ＩＲ又は可視スペクトル
）の光を投射する。構造化光パターンの一部が角膜３４０を通り、虹彩３４４を照明する
場合、その結果として得られる、虹彩の略平坦な界面上の照明パターンは、角膜３４０の
表面の何れかの光学的パワーに応じて歪曲する。虹彩３４４の瞳孔３４２内の領域では、
照明パターンの強度は著しく低下する。いくつかの実施形態において、瞳孔３４２への照
明パターンは無視できると考えられる。視線追跡ユニット１６０はカメラ３２０により撮
影された画像の歪曲した円形の照明されていない部分を瞳孔３４２として特定し、瞳孔３
４２の位置に基づいて眼球３３０の角度方位を判断してもよい。
いくつかの実施形態において、構造化光発光器３１０は、角膜３４０がほぼ不透過性の
スペクトル（例えば、波長が１．５μｍより大きいＩＲ光）を投射し、カメラ３２０（例
えば、遠赤外線カメラ）がその結果として得られる照明パターンを検出する。角膜３４０
が構造化光パターンにより照明されると、視線追跡ユニット１６０は、眼球の角度方位及
び／又は並進を角膜３４０の曲率に基づいて推定してもよい。角膜３４０はほぼ楕円体の
強膜３４５から外側に突出しているため、視線追跡ユニット１６０は、角膜３４０の曲率
を検出することによって眼球３３０の方位を推定してもよい。視線追跡ユニット１６０は
また、角膜−強膜界面、すなわち角膜３４０の表面と強膜３４５の表面が交差する概して
円形の輪郭を検出することによって、眼球の方位を推定してもよい。視線追跡ユニット１
６０はまた、角膜３４０の頂点、すなわち角膜３４０のうち眼球３３０の中心から最も遠
くまで延びる部分を検出することによって、眼球の方位を推定してもよい。
スペクトル（例えば、波長が１．５μｍより大きいＩＲ光）を投射し、カメラ３２０（例
えば、遠赤外線カメラ）がその結果として得られる照明パターンを検出する。角膜３４０
が構造化光パターンにより照明されると、視線追跡ユニット１６０は、眼球の角度方位及
び／又は並進を角膜３４０の曲率に基づいて推定してもよい。角膜３４０はほぼ楕円体の
強膜３４５から外側に突出しているため、視線追跡ユニット１６０は、角膜３４０の曲率
を検出することによって眼球３３０の方位を推定してもよい。視線追跡ユニット１６０は
また、角膜−強膜界面、すなわち角膜３４０の表面と強膜３４５の表面が交差する概して
円形の輪郭を検出することによって、眼球の方位を推定してもよい。視線追跡ユニット１
６０はまた、角膜３４０の頂点、すなわち角膜３４０のうち眼球３３０の中心から最も遠
くまで延びる部分を検出することによって、眼球の方位を推定してもよい。
眼球の瞳孔軸３３５と中心窩軸３３８が図３に示されている。瞳孔軸３３５と中心窩軸
３３８は、眼球３３０が動くと変化する。図３において、眼球３３０は、瞳孔軸３３５が
水平な状態で描かれている。したがって、図３の中心窩軸３３８は、水平面の約６°下向
きである。図３はまた、発光器３１５の軸とカメラ３２５の軸も示している。図３は、構
造化光発光器３１０とカメラ３２０が瞳孔軸３３５上にも中心窩軸３３８上にもない実施
形態を示している。構造化光発光３１０とカメラ３２０は、眼球３３０の視野の外にあっ
てもよい。
３３８は、眼球３３０が動くと変化する。図３において、眼球３３０は、瞳孔軸３３５が
水平な状態で描かれている。したがって、図３の中心窩軸３３８は、水平面の約６°下向
きである。図３はまた、発光器３１５の軸とカメラ３２５の軸も示している。図３は、構
造化光発光器３１０とカメラ３２０が瞳孔軸３３５上にも中心窩軸３３８上にもない実施
形態を示している。構造化光発光３１０とカメラ３２０は、眼球３３０の視野の外にあっ
てもよい。
図４は、１つの実施形態による視線追跡ユニット４００の詳細図を示す高レベルブロッ
ク図である。視線追跡ユニット４００のいくつかの実施形態は、本明細書に記載されてい
るものとは異なるコンポーネントを有する。同様に、機能は、本明細書に記載されている
ものとは異なる方法にてコンポーネント間で分散させることができる。視線追跡ユニット
４００は、モデルストア４１０と、校正モジュール４２０と、構造化光発光器４３０と、
カメラ４４０と、構造化光パターンコントローラ４５０と、眼球方位推定モジュール４６
０と、を含む。いくつかの実施形態において、視線追跡ユニット４００は、ＨＭＤ １０
５の視線追跡ユニット１６０である。他の実施形態において、視線追跡ユニット４００は
、ＡＲシステム等、使用者の眼球運動を追跡する他の何れかのシステムの一部である。視
線追跡ユニット４００は、使用者の両眼を追跡してもよく、複数の構造化光発光器と複数
のカメラを含んでいてもよい。しかしながら、図３と同様に、視線追跡ユニット４００は
本明細書では片眼、１つの構造化光発光器４３０、及び１つのカメラ４４０に関して説明
されている。
ク図である。視線追跡ユニット４００のいくつかの実施形態は、本明細書に記載されてい
るものとは異なるコンポーネントを有する。同様に、機能は、本明細書に記載されている
ものとは異なる方法にてコンポーネント間で分散させることができる。視線追跡ユニット
４００は、モデルストア４１０と、校正モジュール４２０と、構造化光発光器４３０と、
カメラ４４０と、構造化光パターンコントローラ４５０と、眼球方位推定モジュール４６
０と、を含む。いくつかの実施形態において、視線追跡ユニット４００は、ＨＭＤ １０
５の視線追跡ユニット１６０である。他の実施形態において、視線追跡ユニット４００は
、ＡＲシステム等、使用者の眼球運動を追跡する他の何れかのシステムの一部である。視
線追跡ユニット４００は、使用者の両眼を追跡してもよく、複数の構造化光発光器と複数
のカメラを含んでいてもよい。しかしながら、図３と同様に、視線追跡ユニット４００は
本明細書では片眼、１つの構造化光発光器４３０、及び１つのカメラ４４０に関して説明
されている。
モデルストア４１０は、使用者の眼球のモデルＭを保存するメモリであり、これは、画
像Ｉと比較して眼球の現在の方位を推定するために使用される。モデルストア４１０は、
ＲＯＭ、ＤＲＡＭ、ＳＲＡＭ、又はこれらの何れかの組合せ等のメモリである。モデルス
トア４１０は、仮想現実（ＶＲ）システム環境１００のより大きなデジタルメモリの一部
であってもよい。モデルストア４１０の中に保存されているモデルＭは、眼球表面の３Ｄ
モデルとすることができる。使用者の両眼がスキャンされる実施形態において、モデルス
トア４１０は、各眼につき１つの２つのモデル、Ｍ１及びＭ２を含んでいてもよい。
像Ｉと比較して眼球の現在の方位を推定するために使用される。モデルストア４１０は、
ＲＯＭ、ＤＲＡＭ、ＳＲＡＭ、又はこれらの何れかの組合せ等のメモリである。モデルス
トア４１０は、仮想現実（ＶＲ）システム環境１００のより大きなデジタルメモリの一部
であってもよい。モデルストア４１０の中に保存されているモデルＭは、眼球表面の３Ｄ
モデルとすることができる。使用者の両眼がスキャンされる実施形態において、モデルス
トア４１０は、各眼につき１つの２つのモデル、Ｍ１及びＭ２を含んでいてもよい。
いくつかの実施形態において、Ｍは眼球の表面幾何学形状を近似する３Ｄモデルである
。３Ｄモデルは、画定された２つの直交軸を有していてもよく、その周囲でその眼球モデ
ルが回転する。それゆえ、３Ｄモデルは、２つの角度α（ヨー）及びβ（ピッチ）を含ん
でいてもよく、これらは眼球の中心に合わせられた方位に関する眼球の方位を特定する（
すなわち、α＝β＝０°はまっすぐ前を見ている眼球に対応する）。α及びβは、中心窩
軸の角方向に対応してもよい。Ｍはまた、ロール角γを含んでいてもよく、これは眼球の
ロール（すなわち、回旋）に対応する。Ｍにはさらに、並進ベクトル［ｘ０，ｙ０，ｚ０
］Ｔを取り入れてもよく、これはデカルト座標系内の３Ｄモデルの並進を特定する。いく
つかの実施形態において、瞳孔軸の角度、すなわち（α，β）は並進ベクトル［ｘ０，ｙ
０，ｚ０］Ｔにマッピングされる。眼球の方位の検出が瞳孔の検出を含む実施形態におい
て、Ｍには瞳孔径ｄを取り入れていてもよい。いくつかの実施形態において、中心窩軸は
、瞳孔軸の角度、［ｘ０，ｙ０，ｚ０］Ｔ、γ、及びＭに記憶された中心窩の位置に対応
するパラメータに基づいて計算される。いくつかの実施形態において、視線追跡は、眼球
の３Ｄモデルが眼球のスキャン部分に最も密接に適合するものになるようなα及びβの値
を見つけることからなっていてもよい。いくつかの実施形態において、視線追跡は、αと
β、瞳孔軸の角度、［ｘ０，ｙ０，ｚ０］Ｔ、γ、及びｄの何れかの組合せを用いて、眼
球のスキャン部分をＭにマッチさせることを含む。
。３Ｄモデルは、画定された２つの直交軸を有していてもよく、その周囲でその眼球モデ
ルが回転する。それゆえ、３Ｄモデルは、２つの角度α（ヨー）及びβ（ピッチ）を含ん
でいてもよく、これらは眼球の中心に合わせられた方位に関する眼球の方位を特定する（
すなわち、α＝β＝０°はまっすぐ前を見ている眼球に対応する）。α及びβは、中心窩
軸の角方向に対応してもよい。Ｍはまた、ロール角γを含んでいてもよく、これは眼球の
ロール（すなわち、回旋）に対応する。Ｍにはさらに、並進ベクトル［ｘ０，ｙ０，ｚ０
］Ｔを取り入れてもよく、これはデカルト座標系内の３Ｄモデルの並進を特定する。いく
つかの実施形態において、瞳孔軸の角度、すなわち（α，β）は並進ベクトル［ｘ０，ｙ
０，ｚ０］Ｔにマッピングされる。眼球の方位の検出が瞳孔の検出を含む実施形態におい
て、Ｍには瞳孔径ｄを取り入れていてもよい。いくつかの実施形態において、中心窩軸は
、瞳孔軸の角度、［ｘ０，ｙ０，ｚ０］Ｔ、γ、及びＭに記憶された中心窩の位置に対応
するパラメータに基づいて計算される。いくつかの実施形態において、視線追跡は、眼球
の３Ｄモデルが眼球のスキャン部分に最も密接に適合するものになるようなα及びβの値
を見つけることからなっていてもよい。いくつかの実施形態において、視線追跡は、αと
β、瞳孔軸の角度、［ｘ０，ｙ０，ｚ０］Ｔ、γ、及びｄの何れかの組合せを用いて、眼
球のスキャン部分をＭにマッチさせることを含む。
モデルＭは、３Ｄ空間内に埋め込まれた眼球の２Ｄ表面の数学的モデルであってもよい
。Ｍは、連続的であっても、離散点から構成されてもよい。例えば、デカルト空間内で、
ｘ、ｙ、及びｚ軸はそれぞれ眼球の中心軸、眼球の中心軸と直交する水平軸、及び垂直軸
に対応する。モデルは関数Ｘ（ｙ，ｚ，α，β）を含んでいてもよく、その中で（α，β
）の各組は、ｙ−ｚ平面からｘ軸に突出する表面を生成する。いくつかの実施形態におい
て、αとβは、
。Ｍは、連続的であっても、離散点から構成されてもよい。例えば、デカルト空間内で、
ｘ、ｙ、及びｚ軸はそれぞれ眼球の中心軸、眼球の中心軸と直交する水平軸、及び垂直軸
に対応する。モデルは関数Ｘ（ｙ，ｚ，α，β）を含んでいてもよく、その中で（α，β
）の各組は、ｙ−ｚ平面からｘ軸に突出する表面を生成する。いくつかの実施形態におい
て、αとβは、
０）が眼球モデルの回転中心に対応する場合、この回転は回転マトリクスＲｚ（α）Ｒｙ
（β）により表されてもよく、Ｒｚ（α）とＲｙ（β）は、従来定義されているようにヨ
ー及びピッチマトリクスである。モデルＭはまた、眼球の並進と眼球の回旋に対応するパ
ラメータも含んでいてよい。
同様に、Ｍは極座標の関数を含んでいてもよく、関数の形態はＲ（θ，Φ）である。極
座標の原点が、眼球がその周囲で回転する点と定義されている場合、眼球表面のモデルは
、Ｒ（θ−α，Φ−β）により与えられてもよい。
座標の原点が、眼球がその周囲で回転する点と定義されている場合、眼球表面のモデルは
、Ｒ（θ−α，Φ−β）により与えられてもよい。
いくつかの実施形態において、Ｍは３Ｄ表面の数学的モデルではなく、画像生成関数で
ある。眼球モデルＭは、画像生成関数ＩＭ（α，β）とすることができ、これはα及びβ
の各値に関する２Ｄ画像を戻す。ＩＭ（α，β）はまた、並進ベクトルとロール角（γ）
等の追加の入力も含んでいてよく、それによってα、β、γ、及び［ｘ０，ｙ０，ｚ０］
Ｔの何れかの組合せが画像にマッピングされる。画像生成関数ＩＭ（α，β）は、モデル
ストア４１０の中に保存された画像の有限集合から１つの画像を選択してもよい。あるい
は、ＩＭ（α，β）は、連続関数（すなわち、これは整数、浮動小数点、またその他のコ
ンピュータ実装数値方式を介して実装されるため、ほぼ連続的）であってもよい。
ある。眼球モデルＭは、画像生成関数ＩＭ（α，β）とすることができ、これはα及びβ
の各値に関する２Ｄ画像を戻す。ＩＭ（α，β）はまた、並進ベクトルとロール角（γ）
等の追加の入力も含んでいてよく、それによってα、β、γ、及び［ｘ０，ｙ０，ｚ０］
Ｔの何れかの組合せが画像にマッピングされる。画像生成関数ＩＭ（α，β）は、モデル
ストア４１０の中に保存された画像の有限集合から１つの画像を選択してもよい。あるい
は、ＩＭ（α，β）は、連続関数（すなわち、これは整数、浮動小数点、またその他のコ
ンピュータ実装数値方式を介して実装されるため、ほぼ連続的）であってもよい。
いくつかの実施形態において、Ｍは画像集合からなり、各画像がα及びβの値にマッピ
ングされる。代替的実施形態において、画像生成関数ＩＭ（α，β）にα及びβの正確な
値に関する画像がない場合、α及びβに近い方位に対応する画像を合わせて補間し、合成
画像を作ることができ、これはＩＭ（α，β）により戻される。視線追跡ユニット４００
によって複数の構造化光パターンが使用される場合、モデルＭは各構造化光パターンにつ
いて画像生成関数を有するべきである。
ングされる。代替的実施形態において、画像生成関数ＩＭ（α，β）にα及びβの正確な
値に関する画像がない場合、α及びβに近い方位に対応する画像を合わせて補間し、合成
画像を作ることができ、これはＩＭ（α，β）により戻される。視線追跡ユニット４００
によって複数の構造化光パターンが使用される場合、モデルＭは各構造化光パターンにつ
いて画像生成関数を有するべきである。
Ｍは、眼球の３Ｄモデルを含んでいてもよく、これは、入力構造化光パターンＰと共に
、画像の生成に使用される。この画像生成関数ＩＭ（α，β，Ｐ）は、眼球の３Ｄモデル
上に構造化光パターンの数学的モデル（例えば、光線モデル）をレンダリングすることに
より具体化されてもよい。ＩＭ（α，β，Ｐ）により出力された画像は、α、β、及びＰ
の所与の値についてカメラ３２０により撮影されると予想される画像の近似であってもよ
い。
、画像の生成に使用される。この画像生成関数ＩＭ（α，β，Ｐ）は、眼球の３Ｄモデル
上に構造化光パターンの数学的モデル（例えば、光線モデル）をレンダリングすることに
より具体化されてもよい。ＩＭ（α，β，Ｐ）により出力された画像は、α、β、及びＰ
の所与の値についてカメラ３２０により撮影されると予想される画像の近似であってもよ
い。
いくつかの実施形態において、全体的表面ではなく、モデルＭは眼球の形状を近似的に
特定する多数のパラメータからなる。例えば、これらのパラメータは、眼球の平均半径、
眼球の強膜の平均半径、強膜の形状を楕円体として近似する３つのパラメータからなる集
合、眼球の角膜半径、強膜からの角膜の突出の測定値、角膜の形状を特定するパラメータ
集合、及び眼球の回転中心に対応しうる。追加のパラメータを使って、パラメータにより
特定される理想モデルからの偏差を考慮してもよい。例えば、血管に起因する眼球表面上
の出っ張りは、Ｍの中でこれらの追加のパラメータにより考慮されてもよい。
特定する多数のパラメータからなる。例えば、これらのパラメータは、眼球の平均半径、
眼球の強膜の平均半径、強膜の形状を楕円体として近似する３つのパラメータからなる集
合、眼球の角膜半径、強膜からの角膜の突出の測定値、角膜の形状を特定するパラメータ
集合、及び眼球の回転中心に対応しうる。追加のパラメータを使って、パラメータにより
特定される理想モデルからの偏差を考慮してもよい。例えば、血管に起因する眼球表面上
の出っ張りは、Ｍの中でこれらの追加のパラメータにより考慮されてもよい。
校正モジュール４２０は、校正シーケンス中に視線追跡の前のモデルＭを生成し、又は
トレーニングする。校正モジュール４２０は、１つ又は複数のプロセッサ上に実装される
ソフトウェアモジュール、専用のハードウェアユニット、又はこれらの何れかの組合せで
ある。校正モジュール４２０により実行される校正シーケンスは、カメラ４４０と構造化
光発光器４３０を用いた眼球の反復的スキャンを含んでいてもよい。１つの実施形態にお
いて、使用者は、ＨＭＤ １０５の電子ディスプレイ１１５の上に表示される特定の仮想
物体又は視覚的インディケータを見るように指示される。使用者がその仮想インディケー
タを見ている間に眼球の一部をスキャンできる。このようにして、視線追跡ユニット４０
０は、眼球の既知の方位で眼球のサンプルスキャンを捕捉できる。これらのサンプルスキ
ャンは、補間によりモデルＭとすることができ、これがモデルストア４１０の中に保存さ
れる。校正モジュール４２０がＭを生成したところで、視線追跡を始めてもよい。一般に
、モデルＭを特定の使用者の眼球についてトレーニングした状態での視線追跡は、このよ
うなモデルを用いない場合の視線追跡より正確である。いくつかの実施形態において、校
正モジュール４２０は、追跡中にＭの更新を続ける。いくつかの実施形態において、シス
テムは、人の眼球の統計的基準に基づく名目モデルＭで追跡を開始してもよく、４２０は
追跡中にＭを更新する。
トレーニングする。校正モジュール４２０は、１つ又は複数のプロセッサ上に実装される
ソフトウェアモジュール、専用のハードウェアユニット、又はこれらの何れかの組合せで
ある。校正モジュール４２０により実行される校正シーケンスは、カメラ４４０と構造化
光発光器４３０を用いた眼球の反復的スキャンを含んでいてもよい。１つの実施形態にお
いて、使用者は、ＨＭＤ １０５の電子ディスプレイ１１５の上に表示される特定の仮想
物体又は視覚的インディケータを見るように指示される。使用者がその仮想インディケー
タを見ている間に眼球の一部をスキャンできる。このようにして、視線追跡ユニット４０
０は、眼球の既知の方位で眼球のサンプルスキャンを捕捉できる。これらのサンプルスキ
ャンは、補間によりモデルＭとすることができ、これがモデルストア４１０の中に保存さ
れる。校正モジュール４２０がＭを生成したところで、視線追跡を始めてもよい。一般に
、モデルＭを特定の使用者の眼球についてトレーニングした状態での視線追跡は、このよ
うなモデルを用いない場合の視線追跡より正確である。いくつかの実施形態において、校
正モジュール４２０は、追跡中にＭの更新を続ける。いくつかの実施形態において、シス
テムは、人の眼球の統計的基準に基づく名目モデルＭで追跡を開始してもよく、４２０は
追跡中にＭを更新する。
校正シーケンス中に収集された眼球３３０の複数のスキャンを複合して１つの３Ｄモデ
ル、３Ｄモデル生成関数、又は画像生成関数ＩＭ（α，β）としてもよい。３Ｄモデル又
は３Ｄモデル生成関数は、校正中にカメラ３２０により撮影された画像集合を３Ｄ表面の
集合｛Ｓ１，．．．，ＳＮ｝に変換することによって計算されてもよく、これはヨー値｛
α１，．．．，αＮ｝及びピッチ値｛β１，．．．，βＮ｝の集合に対応し、｛α１，．
．．，αＮ｝と｛β１，．．．，βＮ｝は、ディスプレイ上に表示される視覚的物体の位
置に対応する。｛Ｓ１，．．．，ＳＮ｝、｛α１，．．．，αＮ｝、及び｛β１，．．．
，βＮ｝は、補間によって１つの３Ｄ表面モデル生成関数にしてもよい。いくつかの実施
形態において、エラーパラメータ｛Ｅ１，．．．，ＥＮ｝もまた、Ｍの生成に使用されて
よい。各Ｅｉは、Ｓｉでの表面上の各点の信頼性を示す関数であってもよい。あるいは、
Ｅｉは、全体としてのＳｉの信頼性を示す１つの値であってもよい。Ｅｉは、Ｓｉがモデ
ルに与える影響の度合いがＥｉに基づくように、Ｓｉに重み付けするために使用できる。
ル、３Ｄモデル生成関数、又は画像生成関数ＩＭ（α，β）としてもよい。３Ｄモデル又
は３Ｄモデル生成関数は、校正中にカメラ３２０により撮影された画像集合を３Ｄ表面の
集合｛Ｓ１，．．．，ＳＮ｝に変換することによって計算されてもよく、これはヨー値｛
α１，．．．，αＮ｝及びピッチ値｛β１，．．．，βＮ｝の集合に対応し、｛α１，．
．．，αＮ｝と｛β１，．．．，βＮ｝は、ディスプレイ上に表示される視覚的物体の位
置に対応する。｛Ｓ１，．．．，ＳＮ｝、｛α１，．．．，αＮ｝、及び｛β１，．．．
，βＮ｝は、補間によって１つの３Ｄ表面モデル生成関数にしてもよい。いくつかの実施
形態において、エラーパラメータ｛Ｅ１，．．．，ＥＮ｝もまた、Ｍの生成に使用されて
よい。各Ｅｉは、Ｓｉでの表面上の各点の信頼性を示す関数であってもよい。あるいは、
Ｅｉは、全体としてのＳｉの信頼性を示す１つの値であってもよい。Ｅｉは、Ｓｉがモデ
ルに与える影響の度合いがＥｉに基づくように、Ｓｉに重み付けするために使用できる。
校正中、眼球モデルＭを作ることに加えて、校正モジュール４２０はまた、複数の候補
パターンの中から、眼球の方位を検出するのに最も適した光パターンを決定してもよい。
いくつかの実施形態において、最善の構造化光パターンは眼球の方位のある範囲について
決定されてもよい。視線追跡中、最適な構造化光パターンは、以前検出された眼球の方位
に応答して眼球に投射されてもよい。
パターンの中から、眼球の方位を検出するのに最も適した光パターンを決定してもよい。
いくつかの実施形態において、最善の構造化光パターンは眼球の方位のある範囲について
決定されてもよい。視線追跡中、最適な構造化光パターンは、以前検出された眼球の方位
に応答して眼球に投射されてもよい。
構造化光発光器４３０は、構造化光のパターンＰを発し、これは眼球の一部に入射する
。眼球の表面の幾何学形状は、構造化光パターンを歪曲して、歪曲照明パターン形成する
。構造化光発光器４３０は、図３に示される構造化光発光器３１０と同じ構造化光発光器
４３０であってもよい。
。眼球の表面の幾何学形状は、構造化光パターンを歪曲して、歪曲照明パターン形成する
。構造化光発光器４３０は、図３に示される構造化光発光器３１０と同じ構造化光発光器
４３０であってもよい。
カメラ４４０は、歪曲照明パターンを検出する。カメラ４４０は、撮影した光をデジタ
ル画像Ｉに変換する。いくつかの実施形態において、カメラ４４０はカメラ３２０である
。眼球モデルＭが画像生成関数ＩＭ（α，β）である場合、ＩＭ（α，β）により生成さ
れる画像は、Ｉと同じ種類の画像であってもよい（例えば、二値画像、シングルチャネル
画像、又はマルチチャネル画像）。ＩＭ（α，β）により出力される画像はまた、カメラ
４４０により出力される画像Ｉと（例えば、画素単位で）同じ大きさであってもよい。
ル画像Ｉに変換する。いくつかの実施形態において、カメラ４４０はカメラ３２０である
。眼球モデルＭが画像生成関数ＩＭ（α，β）である場合、ＩＭ（α，β）により生成さ
れる画像は、Ｉと同じ種類の画像であってもよい（例えば、二値画像、シングルチャネル
画像、又はマルチチャネル画像）。ＩＭ（α，β）により出力される画像はまた、カメラ
４４０により出力される画像Ｉと（例えば、画素単位で）同じ大きさであってもよい。
いくつかの実施形態において、構造化光パターンコントローラ４５０は、構造化光発光
器４３０を制御する。構造化光パターンコントローラ４５０は、１つ又は複数のプロセッ
サ上に実装されるソフトウェアモジュール、専用のハードウェアユニット、又はこれらの
何れかの組合せである。構造化光パターンコントローラ４５０は、発光される構造化光パ
ターンＰを決定する。いくつかの実施形態において、構造化光発光器４３０は常に同じパ
ターンを投射し、構造化光パターンコントローラ４５０は単に、構造化光発光器４３０が
光を発するか否かを制御する。いくつかの実施形態において、構造化光パターンコントロ
ーラ４５０は、「不良スキャン」の報告に応答して構造化光パターンを異なるパターンに
変える。いくつかの実施形態において、構造化光パターンコントローラ４５０は、視線追
跡ユニット４００により報告された、以前報告された眼球方位に基づいて構造化光パター
ンを選択する。
器４３０を制御する。構造化光パターンコントローラ４５０は、１つ又は複数のプロセッ
サ上に実装されるソフトウェアモジュール、専用のハードウェアユニット、又はこれらの
何れかの組合せである。構造化光パターンコントローラ４５０は、発光される構造化光パ
ターンＰを決定する。いくつかの実施形態において、構造化光発光器４３０は常に同じパ
ターンを投射し、構造化光パターンコントローラ４５０は単に、構造化光発光器４３０が
光を発するか否かを制御する。いくつかの実施形態において、構造化光パターンコントロ
ーラ４５０は、「不良スキャン」の報告に応答して構造化光パターンを異なるパターンに
変える。いくつかの実施形態において、構造化光パターンコントローラ４５０は、視線追
跡ユニット４００により報告された、以前報告された眼球方位に基づいて構造化光パター
ンを選択する。
眼球方位推定モジュール４６０は、入力として画像Ｉを受け取り、モデルストア４１０
からのモデルＭに基づいて、眼球の方位の推定を生成する。眼球方位推定モジュール４６
０は、１つ又は複数のプロセッサ上に実装されるソフトウェアモジュール、専用のハード
ウェアユニット、又はこれらの何れかの組合せである。
からのモデルＭに基づいて、眼球の方位の推定を生成する。眼球方位推定モジュール４６
０は、１つ又は複数のプロセッサ上に実装されるソフトウェアモジュール、専用のハード
ウェアユニット、又はこれらの何れかの組合せである。
いくつかの実施形態において、眼球方位推定モジュール４６０は、眼球のうち、構造化
光発光器４３０により照明された領域に対応する眼球表面Ｓの３Ｄ近似を生成する。眼球
方位推定モジュール４６０は、構造化光パターンコントローラ４５０から受け取ることの
できる投射構造化光パターンの既知の構造を利用して、眼球表面の形状とカメラの幾何学
配置により生じる光の歪曲を判断する。この歪曲から、眼球方位推定モジュール４６０は
、奥行き情報を画像の様々な部分に帰属させる。眼球方位推定モジュール４６０は、奥行
き情報を利用して、眼球の３Ｄ表面Ｓの近似を生成する。Ｓは例えば、デカルト空間内の
３次元点の有限集合、極座標内の点の有限集合、又は
光発光器４３０により照明された領域に対応する眼球表面Ｓの３Ｄ近似を生成する。眼球
方位推定モジュール４６０は、構造化光パターンコントローラ４５０から受け取ることの
できる投射構造化光パターンの既知の構造を利用して、眼球表面の形状とカメラの幾何学
配置により生じる光の歪曲を判断する。この歪曲から、眼球方位推定モジュール４６０は
、奥行き情報を画像の様々な部分に帰属させる。眼球方位推定モジュール４６０は、奥行
き情報を利用して、眼球の３Ｄ表面Ｓの近似を生成する。Ｓは例えば、デカルト空間内の
３次元点の有限集合、極座標内の点の有限集合、又は
た、エラー関数Ｅも出力してよく、それによって表面Ｓの上の所与の点の精度を示す推定
が提供される。Ｅは例えば、２次元座標を取り入れ、平面（デカルト座標系）又は半径（
極座標系）からのその点の延長の標準偏差の推定を戻す関数であってもよい。
Ｓの説明的な計算例として、疑似ランダム位置のドットのアレイを含む構造化光パター
ン考える。構造化光パターンがＮ個のドットからなり、各ドットが無視できる程度に小さ
い面積を有すると仮定すると、各ドットを生成する光は光線により表すことができる。γ
ｉがｉ番目の光線（ｉ∈｛１，．．．，Ｎ｝の場合）を表す場合、γｉは以下のように表
現できる：
ン考える。構造化光パターンがＮ個のドットからなり、各ドットが無視できる程度に小さ
い面積を有すると仮定すると、各ドットを生成する光は光線により表すことができる。γ
ｉがｉ番目の光線（ｉ∈｛１，．．．，Ｎ｝の場合）を表す場合、γｉは以下のように表
現できる：
面と点
ちの１つにより検出される。Ｋ個のカメラのうちのｋ番目は、点ｐｉから発せられた光の
光線を捕捉することによってこれを検出する。この光の光線は、ｙｉｋとして表現でき、
それによって：
式中、
ｋは、受け取ったｋ番目のカメラ上の画素位置をベクトルｃｉ，ｄｉにマッピングするマ
ッピングアルゴリズムにより見つけることができる。それゆえ、すべてのｋ∈｛１，．．
．，Ｋ｝についてｐｉはｒｉ＝ｙｉｋの点であるため、以下の系を解いて、ｐｉを見つけ
ることができる：
理想性によって正確な解が存在しない可能性がある。それでもなお、近似を見つけること
ができる。ｐｉに関するこのような近似の１つは、最小二乗誤差近似平均
物体の形状を計算できる。それゆえ、Ｓは点の集合
する説明的な例とすることのみ意図される。異なる近似方式や異なる代数的手法が使用さ
れてもよい。また、異なる構造化光のパターンや、これらの構造化光パターンに適したア
ルゴリズムを使用できる。各構造化光パターンでの３Ｄマッピングに適したアルゴリズム
が知られている。
眼球の表面近似Ｓは、眼球方位推定モジュール４６０によって、モデルストア４１０か
ら読み出された眼球モデルＭと比較するために使用できる。前述のように、モデルＭは眼
球表面の３Ｄモデルとすることができる。眼球方位推定モジュール４６０は、２次元相関
を実行してもよく、これはＳ（眼球のスキャンにより生成される３Ｄ表面）を、従属変数
として眼球のヨーα、ピッチβを変化させることによってＭに相関させる。この説明の解
釈のために、αは眼球の水平角度と定義され、βは眼球の垂直角度と定義され、α＝β＝
０°は使用者がまっすぐ前を見ていることに対応する。眼球の正確な方位は、眼球モデル
Ｍが表面近似Ｓに最も密接に一致するαとβの数となるように判断されてよい。
ら読み出された眼球モデルＭと比較するために使用できる。前述のように、モデルＭは眼
球表面の３Ｄモデルとすることができる。眼球方位推定モジュール４６０は、２次元相関
を実行してもよく、これはＳ（眼球のスキャンにより生成される３Ｄ表面）を、従属変数
として眼球のヨーα、ピッチβを変化させることによってＭに相関させる。この説明の解
釈のために、αは眼球の水平角度と定義され、βは眼球の垂直角度と定義され、α＝β＝
０°は使用者がまっすぐ前を見ていることに対応する。眼球の正確な方位は、眼球モデル
Ｍが表面近似Ｓに最も密接に一致するαとβの数となるように判断されてよい。
一例として、Ｓは、極座標系の中の点の集合であってもよく、Ｓ＝｛ｐ１，．．．，Ｐ
Ｎ｝であり、ただし、ｐｉ＝［θｉ Φｉ ｒｉ］Ｔである。モデルＭは、極座標の関数
ＲＭ（θ，Φ）の形態をとってもよく、これは２つの角度θとΦの関数として半径を戻し
、それによって、座標系の原点は眼球の回転の原点に対応する。眼球の方位は、α及びβ
の値の有限集合について繰り返し、以下が最大となる（α，β）の値を見つけることによ
り判断できる：
Ｎ｝であり、ただし、ｐｉ＝［θｉ Φｉ ｒｉ］Ｔである。モデルＭは、極座標の関数
ＲＭ（θ，Φ）の形態をとってもよく、これは２つの角度θとΦの関数として半径を戻し
、それによって、座標系の原点は眼球の回転の原点に対応する。眼球の方位は、α及びβ
の値の有限集合について繰り返し、以下が最大となる（α，β）の値を見つけることによ
り判断できる：
位推定モジュール４６０が、Ｍ及びＳが最も密接に一致するα及びβの値を判断するため
に使用してもよい別の方法が数多くある。このような方法は当業者の間で知られている。
いくつかの実施形態において、集合｛（α１，β１），．．．，（αＮ，βＮ）｝から
の値は、ＳとＭとの間の相関を判断するための入力として使用される。この集合の値は、
特定の有界領域に限定されるかもしれない。この領域は、眼球の運動範囲と定義されても
よい。いくつかの実施形態において、この領域は、以前に計算されたヨー及びピッチから
の特定の角度距離内の値に限定される。この領域は、眼球の最大速度に関する上限値に基
づいて判断されてもよい。例えば、人間の眼球の最大衝動性眼球運動角速度は毎秒約９０
０°であるため、この領域は以前に検出された眼球の方位の１０００°／Ｆ内に限定され
てもよく、Ｆはカメラ４４０のフレームレート（ヘルツ）である。
の値は、ＳとＭとの間の相関を判断するための入力として使用される。この集合の値は、
特定の有界領域に限定されるかもしれない。この領域は、眼球の運動範囲と定義されても
よい。いくつかの実施形態において、この領域は、以前に計算されたヨー及びピッチから
の特定の角度距離内の値に限定される。この領域は、眼球の最大速度に関する上限値に基
づいて判断されてもよい。例えば、人間の眼球の最大衝動性眼球運動角速度は毎秒約９０
０°であるため、この領域は以前に検出された眼球の方位の１０００°／Ｆ内に限定され
てもよく、Ｆはカメラ４４０のフレームレート（ヘルツ）である。
いくつかの実施形態において、眼球の表面Ｓの推定は生成されず、カメラ４４０により
撮影された画像Ｉは、眼球方位推定モジュール４６０によりモデルＭと直接比較される。
Ｍは、画像をヨー及びピッチ（α及びβ）の値にマッピングしたものである。いくつかの
実施形態において、（α，β）の値は、αとβを入力としてとる画像生成関数によりモデ
ル画像にマッピングされる。各々が異なる（α，β）ペアに対応する複数のモデル画像は
、カメラ４４０により撮影された画像Ｉと比較されてもよい。Ｉに最も密接に一致するモ
デル画像に対応する（α，β）ペアが眼球の方位であると判断されてもよい。いくつかの
実施形態において、最も密接に一致するモデル画像にマッピングされる（α，β）ペアの
判断は２次元相関器により行われてもよく、この相関は（α，β）を従属変数として行わ
れる。
撮影された画像Ｉは、眼球方位推定モジュール４６０によりモデルＭと直接比較される。
Ｍは、画像をヨー及びピッチ（α及びβ）の値にマッピングしたものである。いくつかの
実施形態において、（α，β）の値は、αとβを入力としてとる画像生成関数によりモデ
ル画像にマッピングされる。各々が異なる（α，β）ペアに対応する複数のモデル画像は
、カメラ４４０により撮影された画像Ｉと比較されてもよい。Ｉに最も密接に一致するモ
デル画像に対応する（α，β）ペアが眼球の方位であると判断されてもよい。いくつかの
実施形態において、最も密接に一致するモデル画像にマッピングされる（α，β）ペアの
判断は２次元相関器により行われてもよく、この相関は（α，β）を従属変数として行わ
れる。
視線追跡ユニット４００は、図１に示されるＶＲシステム環境１００の視線追跡ユニッ
トのように、ＶＲシステムの一部とすることができる。視線追跡ユニット４００は、ＨＭ
Ｄ １０５の一部とすることができるが、視線追跡ユニット４００のうち、構造化光発光
器４３０の制御とカメラ４４０から受け取った画像の処理を担当するジュールは、ＨＭＤ
１０５の一部でなくてもよい。これらのコンポーネントは、仮想現実コンソール１１０
に配置することができる。いくつかの実施形態において、視線追跡ユニット４００により
出力されたデータの処理は、仮想現実コンソール１１０の上の１つ又は複数の汎用プロセ
ッサにより実行される。いくつかの実施形態において、視線追跡アルゴリズムは専用のハ
ードウェア上に実装される。いくつかの実施形態において、視線追跡ユニット４００の制
御及び処理モジュールのいくつかは、ＨＭＤ １０５の一部であり、それ以外は仮想現実
コンソール１１０の一部である。
トのように、ＶＲシステムの一部とすることができる。視線追跡ユニット４００は、ＨＭ
Ｄ １０５の一部とすることができるが、視線追跡ユニット４００のうち、構造化光発光
器４３０の制御とカメラ４４０から受け取った画像の処理を担当するジュールは、ＨＭＤ
１０５の一部でなくてもよい。これらのコンポーネントは、仮想現実コンソール１１０
に配置することができる。いくつかの実施形態において、視線追跡ユニット４００により
出力されたデータの処理は、仮想現実コンソール１１０の上の１つ又は複数の汎用プロセ
ッサにより実行される。いくつかの実施形態において、視線追跡アルゴリズムは専用のハ
ードウェア上に実装される。いくつかの実施形態において、視線追跡ユニット４００の制
御及び処理モジュールのいくつかは、ＨＭＤ １０５の一部であり、それ以外は仮想現実
コンソール１１０の一部である。
図５Ａは、いくつかの実施形態による、眼球運動を追跡するためのプロセスを説明する
ブロック図である。図５Ａのプロセスは、視線追跡ユニット４００により実行されてもよ
い。他の実施形態では、他のエンティティがプロセスステップの一部又は全部を実行して
もよい。同様に、実施形態は、異なる、及び／又は追加のステップを含んでいてもよく、
又はこれらのステップを異なる順序で実行してもよい。
ブロック図である。図５Ａのプロセスは、視線追跡ユニット４００により実行されてもよ
い。他の実施形態では、他のエンティティがプロセスステップの一部又は全部を実行して
もよい。同様に、実施形態は、異なる、及び／又は追加のステップを含んでいてもよく、
又はこれらのステップを異なる順序で実行してもよい。
視線追跡ユニット４００は、校正シーケンスを実行する（５１０）。校正シーケンスは
、校正モジュール４２０により制御され、これは構造化光発光器４３０とカメラ４４０を
使って眼球を繰り返しスキャンする。眼球のスキャンにより眼球モデルＭが生成又はトレ
ーニングされ、これはモデルストア４１０に保存される。
、校正モジュール４２０により制御され、これは構造化光発光器４３０とカメラ４４０を
使って眼球を繰り返しスキャンする。眼球のスキャンにより眼球モデルＭが生成又はトレ
ーニングされ、これはモデルストア４１０に保存される。
次に、視線追跡ユニット４００は、構造化バターンＰで眼球をスキャンする（５３０）
。眼球をスキャンするステップ５３０は、構造化光発光器３１０から構造化光パターンＰ
を眼球へと投射するステップと、眼球の一部に投射された歪曲照明パターンをカメラ３２
０で検出するステップと、を含む。カメラ３２０は、照明パターンの画像Ｉを撮影する。
。眼球をスキャンするステップ５３０は、構造化光発光器３１０から構造化光パターンＰ
を眼球へと投射するステップと、眼球の一部に投射された歪曲照明パターンをカメラ３２
０で検出するステップと、を含む。カメラ３２０は、照明パターンの画像Ｉを撮影する。
すると、眼球の方位が眼球方位推定モジュール４６０によって推定される（５４０）。
眼球方位推定モジュール４６０は、眼球をスキャンするステップから受け取った画像Ｉを
モデルストア４１０により保存されたモデルＭと比較する。眼球方位推定モジュール４６
０は次に、眼球の方位の推定を出力する。眼球の方位の推定は、それぞれ眼球のヨー及び
ピッチに対応するαとβの値であってもよい。眼球の方位が推定された（５４０）後、眼
球は再び構造化光パターンでスキャンされる（５３０）。それゆえ、眼球をスキャンする
ステップ５３０と眼球の方位を推定するステップ５４０は、視線追跡ループ５２０を構成
する。視線追跡ループ５２０を介して、眼球の方位を継続的に追跡できる。
眼球方位推定モジュール４６０は、眼球をスキャンするステップから受け取った画像Ｉを
モデルストア４１０により保存されたモデルＭと比較する。眼球方位推定モジュール４６
０は次に、眼球の方位の推定を出力する。眼球の方位の推定は、それぞれ眼球のヨー及び
ピッチに対応するαとβの値であってもよい。眼球の方位が推定された（５４０）後、眼
球は再び構造化光パターンでスキャンされる（５３０）。それゆえ、眼球をスキャンする
ステップ５３０と眼球の方位を推定するステップ５４０は、視線追跡ループ５２０を構成
する。視線追跡ループ５２０を介して、眼球の方位を継続的に追跡できる。
いくつかの実施形態において、眼球３３０の方位を正確に推定できない場合、視線追跡
ユニット４００は、方位の推定ではなく、「不良スキャン」のエラーコードを出力しても
よい。「不良スキャン」は、使用者が瞬きした時、又は視線追跡システムの非理想性によ
って発生するかもしれない。「不良スキャン」は、眼球モデルＭが眼球のスキャン（例え
ば、Ｓ又はＩ）とどれだけ一致するかを判断するために使用される測定値が特定の閾値内
にないと判断することによって、確率的に検出できる。いくつか実施形態において、特定
の時間枠内での特定の数の「不良スキャン」は、視線追跡ループ５２０の停止をトリガし
てもよく、校正シーケンスが再び実行されてもよい。
ユニット４００は、方位の推定ではなく、「不良スキャン」のエラーコードを出力しても
よい。「不良スキャン」は、使用者が瞬きした時、又は視線追跡システムの非理想性によ
って発生するかもしれない。「不良スキャン」は、眼球モデルＭが眼球のスキャン（例え
ば、Ｓ又はＩ）とどれだけ一致するかを判断するために使用される測定値が特定の閾値内
にないと判断することによって、確率的に検出できる。いくつか実施形態において、特定
の時間枠内での特定の数の「不良スキャン」は、視線追跡ループ５２０の停止をトリガし
てもよく、校正シーケンスが再び実行されてもよい。
図５Ｂは、いくつかの実施形態による、眼球の方位を推定するプロセスを説明するブロ
ック図である。いくつかの実施形態において、図５に示されるプロセスは、より大きな視
線追跡プロセスの一部である。例えば、図５Ａに示されるような眼球の方位を推定するス
テップ５５０は、図５Ｂのプロセスを構成してもよい。図５Ｂのプロセスは、視線追跡ユ
ニット４００により実行されてもよい。他の実施形態では、他のエンティティがプロセス
のステップの一部又は全部を実行してもよい。同様に、実施形態は、異なる、及び／又は
追加のステップを含んでいてもよく、又はこれらのステップを異なる順序で実行してもよ
い。
ック図である。いくつかの実施形態において、図５に示されるプロセスは、より大きな視
線追跡プロセスの一部である。例えば、図５Ａに示されるような眼球の方位を推定するス
テップ５５０は、図５Ｂのプロセスを構成してもよい。図５Ｂのプロセスは、視線追跡ユ
ニット４００により実行されてもよい。他の実施形態では、他のエンティティがプロセス
のステップの一部又は全部を実行してもよい。同様に、実施形態は、異なる、及び／又は
追加のステップを含んでいてもよく、又はこれらのステップを異なる順序で実行してもよ
い。
視線追跡ユニット４００は、画像Ｉの中のパターンＰ’を特定する。Ｉは、眼球に投射
された構造化光パターンＰにより生じる照明パターンをカメラ４４０が撮影した画像であ
る。Ｉの中のＰ’を特定するステップ５６０は、Ｐの中の特徴に対応する、画像Ｉの中に
存在する特徴を特定するステップを構成してもよい。例えば、眼球方位推定モジュール４
６０は、エッジ検出アルゴリズム等のマシンビジョンアルゴリズムを通じて、照明パター
ンの境界線を特定してもよい。眼球方位推定モジュール４６０はまた、Ｐの中の特定の極
大値及び極小値に対応するＩの強度の極大値又は極小値を特定してもよい。眼球方位推定
モジュール４６０はまた、Ｐの中の特定の特徴に対応するものとして、Ｉの中のドット、
線、グリッド、又はその他の特徴を特定してもよい。
された構造化光パターンＰにより生じる照明パターンをカメラ４４０が撮影した画像であ
る。Ｉの中のＰ’を特定するステップ５６０は、Ｐの中の特徴に対応する、画像Ｉの中に
存在する特徴を特定するステップを構成してもよい。例えば、眼球方位推定モジュール４
６０は、エッジ検出アルゴリズム等のマシンビジョンアルゴリズムを通じて、照明パター
ンの境界線を特定してもよい。眼球方位推定モジュール４６０はまた、Ｐの中の特定の極
大値及び極小値に対応するＩの強度の極大値又は極小値を特定してもよい。眼球方位推定
モジュール４６０はまた、Ｐの中の特定の特徴に対応するものとして、Ｉの中のドット、
線、グリッド、又はその他の特徴を特定してもよい。
次に、Ｐ’とＰの特徴間の空間変化が推定される（５７０）。各特徴の空間変化を推定
するステップ５７０は、表面Ｓ、すなわち
するステップ５７０は、表面Ｓ、すなわち
カメラまでの幾何学配置及びＰ’とＰの特徴間の空間変化に基づいていてもよい。構造化
光発光器４３０から発せられたパターンＰと、カメラ４４０により撮影された画像Ｉに基
づいて特定されたパターンＰ’との間の空間変化に基づいて表面の形状を近似するための
技術は、当業者の間で知られている。
Ｓは、眼球モデルＭと比較され５８０、眼球の方位が推定される。Ｓは、Ｓが最も密接
にＭと一致する眼球のピッチ及びヨー角度（α及びβ）を見つけることにより、Ｍと比較
されてもよい（５８０）。いくつかの実施形態において、ＭをＳと比較するステップ５８
０は、ＭをＳに最も密接に一致させるロール角（γ）の値、並進、又はこれらの何れかの
組合せを見つけるステップをさらに含む。いくつかの実施形態において、Ｐ’とＰとの間
の空間変化は、モデルＭに直接フィットされる。眼球の方位を推定することによって、α
、β、γ、及び並進ベクトルの何れかの組合せの推定値が生成されてもよい。
にＭと一致する眼球のピッチ及びヨー角度（α及びβ）を見つけることにより、Ｍと比較
されてもよい（５８０）。いくつかの実施形態において、ＭをＳと比較するステップ５８
０は、ＭをＳに最も密接に一致させるロール角（γ）の値、並進、又はこれらの何れかの
組合せを見つけるステップをさらに含む。いくつかの実施形態において、Ｐ’とＰとの間
の空間変化は、モデルＭに直接フィットされる。眼球の方位を推定することによって、α
、β、γ、及び並進ベクトルの何れかの組合せの推定値が生成されてもよい。
図６は、ある実施形態による、構造化光を投射して、構造化光の投射６１０を形成する
構造化光発光器６００を示している。構造化光の投射６１０は、照明を目的として、構造
化光発光器６００の軸に直交する平坦な表面に投射されているように示されている。構造
化光発光器６００は、図３に示されている構造化光発光器３１０又は図４に示される構造
化光発光器４３０であってもよい。図６はまた、５つの構造化光パターン、すなわちドッ
トマトリクス６２０、１本線６３０、正弦波状６４０、マルチトーンパターン６５０、及
び格子６６０も示している。例示を目的として、これらの構造化光パターンもまた、平坦
な直交面に投射されているように示されている。構造化光発光器６００は、例えば１つ又
は複数のバー、１つ又は複数の長方形、又は疑似ランダムドット等、他の構造化光パター
ンも出力してよい。
構造化光発光器６００を示している。構造化光の投射６１０は、照明を目的として、構造
化光発光器６００の軸に直交する平坦な表面に投射されているように示されている。構造
化光発光器６００は、図３に示されている構造化光発光器３１０又は図４に示される構造
化光発光器４３０であってもよい。図６はまた、５つの構造化光パターン、すなわちドッ
トマトリクス６２０、１本線６３０、正弦波状６４０、マルチトーンパターン６５０、及
び格子６６０も示している。例示を目的として、これらの構造化光パターンもまた、平坦
な直交面に投射されているように示されている。構造化光発光器６００は、例えば１つ又
は複数のバー、１つ又は複数の長方形、又は疑似ランダムドット等、他の構造化光パター
ンも出力してよい。
マルチトーンパターン６５０は、複数の正弦波状パターンの組合せである。図６のマル
チトーンパターン６５０は、フォームＡ［ｃｏｓ（ωｘ）＋ｃｏｓ（２ωｘ）］の強度の
構造化光パターンを示しており、ｘは空間次元（［例えば、デカルト座標系又は極座標系
）の位置を表す変数である。図６は、この関数の４つの周期（すなわち、０＜ｘ＜８π／
ω）を示しているが、現実化された関数は、異なる数の周期を含んでいてもよい。いくつ
かの実施形態において、マルチトーンパターン６５０の周期は１ミリラジアンである。
チトーンパターン６５０は、フォームＡ［ｃｏｓ（ωｘ）＋ｃｏｓ（２ωｘ）］の強度の
構造化光パターンを示しており、ｘは空間次元（［例えば、デカルト座標系又は極座標系
）の位置を表す変数である。図６は、この関数の４つの周期（すなわち、０＜ｘ＜８π／
ω）を示しているが、現実化された関数は、異なる数の周期を含んでいてもよい。いくつ
かの実施形態において、マルチトーンパターン６５０の周期は１ミリラジアンである。
一般に、マルチトーンパターン６５０は、異なる波長、位相、及び振幅を有していても
よい複数の正弦波状の構造化光パターンの重畳であってもよい（例えば、
よい複数の正弦波状の構造化光パターンの重畳であってもよい（例えば、
。あるいは、正弦波状パターンは、異なる波長の光からなっていてもよい。マルチトーン
パターン６５０は、１つの構造化光発光器６００又は複数の構造化光発光器により発せら
れてもよい。マルチトーンパターン６５０は、図６に示されるように水平である必要はな
いことに留意されたい。いくつかの実施形態において、マルチトーンパターン６５０は楕
円体パターンである（例えば、
構造化光パターンが眼球のような曲面に入射すると、照明パターンは、構造化光発光器
６００の軸上以外から見ると歪曲しているように見えるかもしれない。視線追跡ユニット
４００は、歪曲した光を利用して、奥行き情報を画像に帰属させる。いくつかの実施形態
において、構造化光パターンは、以前の眼球の方位に基づいてシフトされる。例えば、構
造化光パターンは、構造化光パターンの中心が前回のスキャンにおいて検出された眼球の
方位における強膜と角膜の境界線に対応する位置にあるようにシフトされてもよい。いく
つかの実施形態において、追跡が失敗すると（例えば、「不良スキャン」）、光の構造化
パターンはより大きな面積のパターンに設定される。これによって、角膜のある部分が構
造化光パターンにより照明される確率が高まるかもしれない。眼球の方位が再び検出され
ると、構造化光パターンはより小さい面積のパターンにリセットすることができる。
６００の軸上以外から見ると歪曲しているように見えるかもしれない。視線追跡ユニット
４００は、歪曲した光を利用して、奥行き情報を画像に帰属させる。いくつかの実施形態
において、構造化光パターンは、以前の眼球の方位に基づいてシフトされる。例えば、構
造化光パターンは、構造化光パターンの中心が前回のスキャンにおいて検出された眼球の
方位における強膜と角膜の境界線に対応する位置にあるようにシフトされてもよい。いく
つかの実施形態において、追跡が失敗すると（例えば、「不良スキャン」）、光の構造化
パターンはより大きな面積のパターンに設定される。これによって、角膜のある部分が構
造化光パターンにより照明される確率が高まるかもしれない。眼球の方位が再び検出され
ると、構造化光パターンはより小さい面積のパターンにリセットすることができる。
構成に関する追加情報
本開示の実施形態の上記の説明は、例示を目的として提示されており、これは網羅的で
ある、又は実施形態を開示されている正確な形態に限定すると意図されたものではない。
当業者であれば、上記の開示を参照して、数多くの改造や変更が可能であることがわかる
。
本開示の実施形態の上記の説明は、例示を目的として提示されており、これは網羅的で
ある、又は実施形態を開示されている正確な形態に限定すると意図されたものではない。
当業者であれば、上記の開示を参照して、数多くの改造や変更が可能であることがわかる
。
この説明のある部分には、開示の実施形態が情報に対する演算のアルゴリズム及び記号
表現によって記載されている。これらのアルゴリズムの説明や表現は、データ処理技術の
当業者によって、作業の内容を他の当業者に伝えるために一般的に使用されている。これ
らの演算は、機能的、計算的、又は論理的に示されているが、コンピュータプログラム又
はこれと同様の電気回路、マイクロコード、又はその他により実行されると理解される。
さらに、一般性を損なうことなく、これらに演算の配置をモジュールとして言及すること
も、時には好都合であることも分かっている。説明されている演算とそれに関連するモジ
ュールは、ソフトウェア、ファームウェア、ハードウェア、又はこれらの何れかの組合せ
により具現化されてもよい。
表現によって記載されている。これらのアルゴリズムの説明や表現は、データ処理技術の
当業者によって、作業の内容を他の当業者に伝えるために一般的に使用されている。これ
らの演算は、機能的、計算的、又は論理的に示されているが、コンピュータプログラム又
はこれと同様の電気回路、マイクロコード、又はその他により実行されると理解される。
さらに、一般性を損なうことなく、これらに演算の配置をモジュールとして言及すること
も、時には好都合であることも分かっている。説明されている演算とそれに関連するモジ
ュールは、ソフトウェア、ファームウェア、ハードウェア、又はこれらの何れかの組合せ
により具現化されてもよい。
本明細書に記載されているステップ、演算、処理の何れかが、１つ又は複数のハードウ
ェア又はソフトウェアモジュールで、単独又は他の機器との組合せにより実行又は実装さ
れてもよい。１つの実施形態において、ソフトウェアモジュールは、本明細書に記載され
ているステップ、演算、又はプロセスの何れか又は全部を実行するためにコンピュータプ
ロセッサにより実行可能なコンピュータプログラムコードを含むコンピュータ読取可能媒
体を含むコンピュータプログラム製品で実装される。
ェア又はソフトウェアモジュールで、単独又は他の機器との組合せにより実行又は実装さ
れてもよい。１つの実施形態において、ソフトウェアモジュールは、本明細書に記載され
ているステップ、演算、又はプロセスの何れか又は全部を実行するためにコンピュータプ
ロセッサにより実行可能なコンピュータプログラムコードを含むコンピュータ読取可能媒
体を含むコンピュータプログラム製品で実装される。
開示の実施形態はまた、本明細書における演算を実行するための装置に関していてもよ
い。この装置は、必要な目的のために特に構築されていてもよく、及び／又は、コンピュ
ータ内に保存されたコンピュータプログラムにより選択的にアクティベートされ、又は再
構成される汎用コンピューティングデバイスを含んでいてもよい。このようなコンピュー
タプログラムは、非一時的な有形のコンピュータ読取可能記憶媒体、又は電子命令を保存
するのに適したあらゆる種類の媒体に保存されてもよく、これらはコンピュータシステム
バスに連結されてもよい。さらに、本明細書中で言及されている何れのコンピューティン
グシステムも、１つのプロセッサを含んでいてもよく、又はコンピューティング能力を高
めるために複数のプロセッサ設計を採用したアーキテクチャであってもよい。
い。この装置は、必要な目的のために特に構築されていてもよく、及び／又は、コンピュ
ータ内に保存されたコンピュータプログラムにより選択的にアクティベートされ、又は再
構成される汎用コンピューティングデバイスを含んでいてもよい。このようなコンピュー
タプログラムは、非一時的な有形のコンピュータ読取可能記憶媒体、又は電子命令を保存
するのに適したあらゆる種類の媒体に保存されてもよく、これらはコンピュータシステム
バスに連結されてもよい。さらに、本明細書中で言及されている何れのコンピューティン
グシステムも、１つのプロセッサを含んでいてもよく、又はコンピューティング能力を高
めるために複数のプロセッサ設計を採用したアーキテクチャであってもよい。
本開示の実施形態はまた、本明細書に記載されているコンピューティングプロセスによ
り生成される製品にも関していてよい。このような製品は、コンピューティングプロセス
から得られる情報を含んでいてもよく、情報は、非一時的な有形のコンピュータ読取可能
記憶媒体に保存され、コンピューティングプログラム製品又は、本明細書に記載されてい
るその他のデータの組合せの何れの実施形態を含んでいてもよい。
り生成される製品にも関していてよい。このような製品は、コンピューティングプロセス
から得られる情報を含んでいてもよく、情報は、非一時的な有形のコンピュータ読取可能
記憶媒体に保存され、コンピューティングプログラム製品又は、本明細書に記載されてい
るその他のデータの組合せの何れの実施形態を含んでいてもよい。
最後に、本明細書中で使用されている文言は、原則として読みやすさと説明を目的とし
て選択されており、本発明の主旨を限定し、又は制限するために選択されていない。した
がって、実施形態の範囲は、この詳細な説明によってではなく、本明細書に基づく出願で
発行される何れかの特許請求項により限定されることが意図される。したがって、実施形
態の開示は、以下の特許請求の範囲に記載されている詳細な説明の範囲を限定ではなく例
示することが意図されている。
て選択されており、本発明の主旨を限定し、又は制限するために選択されていない。した
がって、実施形態の範囲は、この詳細な説明によってではなく、本明細書に基づく出願で
発行される何れかの特許請求項により限定されることが意図される。したがって、実施形
態の開示は、以下の特許請求の範囲に記載されている詳細な説明の範囲を限定ではなく例
示することが意図されている。
Claims (20)
- 視線追跡ユニットであって、
使用者の眼球を構造化光パターンで照明するように構成された構造化光発光器であって
、前記構造化光パターンは前記眼球の表面の一部分に歪曲照明パターンを生成する、前記
構造化光発光器と、
前記眼球の表面の一部分に関連する前記歪曲照明パターンの画像を撮像するように構成
されたカメラと、
前記カメラにより撮像された画像と眼球のモデルに基づいて、前記眼球の方位を推定す
るように構成された眼球方位推定モジュールと、を含む視線追跡ユニット。 - 前記視線追跡ユニットは、頭部装着型ディスプレイ（ＨＭＤ）のコンポーネントであり
、
前記頭部装着型ディスプレイは、
前記頭部装着型ディスプレイを装用する使用者に対してコンテンツを表示するように構
成された表示素子と、
前記表示素子からの光を前記頭部装着型ディスプレイの射出瞳へと方向付けるように構
成された光学系ブロックと、を含む、請求項１に記載の視線追跡ユニット。 - 校正モジュールをさらに含み、
前記校正モジュールは、
表示素子を制御して、電子素子上のある位置に視覚インディケータを表示し、
前記カメラから、前記構造化光発光器により前記眼球に投射された第二の歪曲照明パタ
ーンの第二の画像を受け取り、
前記使用者の眼球のモデルを、撮影された第二の画像に基づいて、前記視覚インディケ
ータの位置に基づいてトレーニングするように構成されている、請求項１に記載の視線追
跡ユニット。 - 前記眼球方位推定モジュールは、
前記眼球の瞳孔軸の方向を推定し、
前記眼球の中心窩軸の方向を、前記瞳孔軸の推定された方向に基づいて、前記瞳孔軸と
前記中心窩軸との間のずれに基づいて推定するように構成されている、請求項１に記載の
視線追跡ユニット。 - 前記眼球方位推定モジュールは、
前記眼球の表面の一部分の形状を、前記画像において撮像された照明パターンの歪曲に
基づいて判断し、
前記眼球のモデルを、前記眼球の表面の一部分の判断された形状と比較するように構成
されている、請求項１に記載の視線追跡ユニット。 - 前記眼球方位推定モジュールは、
撮影された画像において複数の照明点の各々に関する位置を検出し、
前記歪曲照明パターンの撮影された画像における前記位置を前記構造化光パターンにお
ける前記照明点の発光器からの対応する角度と比較することに基づいて、各照明点の３次
元位置を判断し、
前記眼球のモデルを前記照明点の判断された３次元位置と比較するように構成されてい
る、請求項１に記載の視線追跡ユニット。 - 前記眼球方位推定モジュールは、
前記眼球の方位を、撮影された画像と前記眼球のモデルに基づく前記眼球のある特徴の
位置を検出することに部分的に基づいて推定するように構成され、
前記特徴は、角膜の曲率、角膜−強膜界面、角膜の下の虹彩の特徴、及び角膜の頂点か
らなる群より選択される、請求項１に記載の視線追跡ユニット。 - 前記眼球方位推定モジュールは、前記眼球の方位を、前記眼球のヨー、ピッチ、ロール
回転と、前記眼球の３次元並進ベクトルを判断することに部分的に基づいて推定するよう
に構成されている、請求項１に記載の視線追跡ユニット。 - 前記構造化光パターンは、ドットマトリクス、正弦波状、１本又は複数の線分、及びマ
ルチトーンパターンからなる群より選択される、請求項１に記載の視線追跡ユニット。 - 前記構造化光パターンは赤外光を含み、前記カメラは赤外線カメラである、請求項１に
記載の視線追跡ユニット。 - 視線追跡ユニットであって、
使用者の第一の眼球を第一の構造化光パターンで照明するように構成された第一の構造
化光発光器であって、前記第一の構造化光パターンは、前記第一の眼球の表面の一部分に
第一の歪曲照明パターンを生成する、前記第一の構造化光発光器と、
前記使用者の第二の眼球を第二の構造化光パターンで照明するように構成された第二の
構造化光発光器であって、前記第二の構造化光パターンは、前記第二の眼球の表面の一部
分に第二の歪曲照明パターンを生成する、前記第二の構造化光発光器と、
前記第一の眼球の表面の一部分に関連する前記第一の歪曲照明パターンの第一の画像を
撮像するように構成された第一のカメラと、
前記第二の眼球の表面の一部分に関連する前記第二の歪曲照明パターンの第二の画像を
撮像するように構成された第二のカメラと、
眼球方位推定モジュールであって、
前記第一の眼球の第一の方位を、前記第一のカメラにより撮影された前記第一の画像
とモデルに基づいて推定し、
前記第二の眼球の第二の方位を、前記第二のカメラにより撮影された前記第二の画像
と前記モデルに基づいて推定するように構成された前記眼球方位推定モジュールと、を含
む視線追跡ユニット。 - 前記視線追跡ユニットは、頭部装着型ディスプレイ（ＨＭＤ）のコンポーネントであり
、
前記頭部装着型ディスプレイは、前記第一の方位と前記第二の方位を用いて前記使用者
の瞳孔間距離を判断するように構成されている、請求項１１に記載の視線追跡ユニット。 - 前記視線追跡ユニットは、頭部装着型ディスプレイ（ＨＭＤ）のコンポーネントであり
、
前記頭部装着型ディスプレイは、前記第一の方位と前記第二の方位を用いて前記使用者
の注視方向を判断するように構成されている、請求項１１に記載の視線追跡ユニット。 - 校正モジュールをさらに含み、
前記校正モジュールは、
表示素子を制御して、電子素子上のある位置に視覚インディケータを表示し、
前記第一のカメラから、前記第一の構造化光発光器により前記第一の眼球に投射された
第三の歪曲照明パターンの第三の画像を受け取り、
前記モデルを、撮影された前記第三の画像に基づいて、前記視覚インディケータの前記
位置に基づいてトレーニングするように構成されている、請求項１１に記載の視線追跡ユ
ニット。 - 前記眼球方位推定モジュールは、
前記第一の眼球の瞳孔軸の方向を推定し、
前記第一の眼球の中心窩軸の方向を、前記瞳孔軸の推定された方向に基づいて、前記瞳
孔軸と前記中心窩軸との間のオフセットに基づいて推定するようにさらに構成されている
、請求項１１に記載の視線追跡ユニット。 - 前記眼球方位推定モジュールは、
前記第一の眼球の表面の一部分の形状を、前記第一の撮影された画像における捕捉され
た第一の照明パターンにおける歪曲に基づいて判断し、
前記モデルを前記第一の眼球の表面の一部分の判断された形状と比較するように構成さ
れている、請求項１１に記載の視線追跡ユニット。 - 前記眼球方位推定モジュールは、
前記第一の撮影された画像の中の複数の照明点の各々の位置を検出し、
前記照明点の第一の捕捉された画像における前記位置を、前記第一の構造化光パターン
における前記照明点の発光器からの対応する角度と比較することに部分的に基づいて、各
々の照明点の３次元位置を判断し、
前記モデルを前記照明点の判断された３次元位置と比較するように構成されている、請
求項１１に記載の視線追跡ユニット。 - 前記眼球方位推定モジュールは、
前記第一の眼球の方位を、前記第一の撮影された画像と前記モデルに基づく前記第一の
眼球のある特徴の位置の検出に部分的に基づいて推定するように構成され、
前記特徴は、角膜の曲率、角膜−強膜界面、角膜の下の虹彩の特徴、及び角膜の頂点か
らなる群より選択される、請求項１１に記載の視線追跡ユニット。 - 前記眼球方位推定モジュールは、前記第一の方位と前記第二の方位を、前記第一の眼球
と前記第二の眼球の各々について、前記第一および第二の眼球のそれぞれのヨー、ピッチ
、及びロール回転とそれぞれの並進ベクトルの判断に部分的に基づいて推定するように構
成されている、請求項１１に記載の視線追跡ユニット。 - 前記第一の構造化光パターンと前記第二の構造化光パターンは各々、ドットマトリクス
、正弦波状、１本又は複数の線分、及びマルチトーンパターンからなる群より選択される
、請求項１１に記載の視線追跡ユニット。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201562249852P | 2015-11-02 | 2015-11-02 | |
| US62/249,852 | 2015-11-02 | ||
| US15/335,634 | 2016-10-27 | ||
| US15/335,634 US9983709B2 (en) | 2015-11-02 | 2016-10-27 | Eye tracking using structured light |
| JP2018516698A JP6586523B2 (ja) | 2015-11-02 | 2016-11-01 | 構造化光を用いた視線追跡 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018516698A Division JP6586523B2 (ja) | 2015-11-02 | 2016-11-01 | 構造化光を用いた視線追跡 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020034919A true JP2020034919A (ja) | 2020-03-05 |
| JP6902075B2 JP6902075B2 (ja) | 2021-07-14 |
Family
ID=58635627
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018516698A Active JP6586523B2 (ja) | 2015-11-02 | 2016-11-01 | 構造化光を用いた視線追跡 |
| JP2019163757A Active JP6902075B2 (ja) | 2015-11-02 | 2019-09-09 | 構造化光を用いた視線追跡 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018516698A Active JP6586523B2 (ja) | 2015-11-02 | 2016-11-01 | 構造化光を用いた視線追跡 |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US9983709B2 (ja) |
| EP (1) | EP3341783A4 (ja) |
| JP (2) | JP6586523B2 (ja) |
| KR (2) | KR101962302B1 (ja) |
| CN (1) | CN108351514B (ja) |
| WO (1) | WO2017079172A1 (ja) |
Families Citing this family (80)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3062142B1 (en) | 2015-02-26 | 2018-10-03 | Nokia Technologies OY | Apparatus for a near-eye display |
| DE102015204281A1 (de) * | 2015-03-10 | 2016-09-15 | Robert Bosch Gmbh | Verfahren zur Kalibrierung einer Kamera für eine Blickrichtungserkennung in einem Fahrzeug, Vorrichtung für ein Kraftfahrzeug mit einer Kamera und mindestens einem weiteren Element und Computerprogrammprodukt |
| KR102591552B1 (ko) * | 2015-08-21 | 2023-10-18 | 매직 립, 인코포레이티드 | 눈 포즈 측정을 사용한 눈꺼풀 형상 추정 |
| EP3362946B1 (en) | 2015-10-16 | 2020-08-26 | Magic Leap, Inc. | Eye pose identification using eye features |
| CN105913487B (zh) * | 2016-04-09 | 2018-07-06 | 北京航空航天大学 | 一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方法 |
| US10650552B2 (en) | 2016-12-29 | 2020-05-12 | Magic Leap, Inc. | Systems and methods for augmented reality |
| EP4300160A2 (en) | 2016-12-30 | 2024-01-03 | Magic Leap, Inc. | Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light |
| US10154254B2 (en) * | 2017-01-17 | 2018-12-11 | Facebook Technologies, Llc | Time-of-flight depth sensing for eye tracking |
| US10485420B2 (en) * | 2017-02-17 | 2019-11-26 | Analog Devices Global Unlimited Company | Eye gaze tracking |
| US10578870B2 (en) | 2017-07-26 | 2020-03-03 | Magic Leap, Inc. | Exit pupil expander |
| US10061352B1 (en) * | 2017-08-14 | 2018-08-28 | Oculus Vr, Llc | Distributed augmented reality system |
| KR102495234B1 (ko) | 2017-09-06 | 2023-03-07 | 삼성전자주식회사 | 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체 |
| US10712579B1 (en) * | 2017-09-20 | 2020-07-14 | Facebook Technologies, Llc | Vortex linearization of micro-LED polarization |
| EP3462382A1 (en) * | 2017-10-02 | 2019-04-03 | Facebook Technologies, LLC | Eye tracking system using dense structured light patterns |
| US10725537B2 (en) * | 2017-10-02 | 2020-07-28 | Facebook Technologies, Llc | Eye tracking system using dense structured light patterns |
| US11237628B1 (en) * | 2017-10-16 | 2022-02-01 | Facebook Technologies, Llc | Efficient eye illumination using reflection of structured light pattern for eye tracking |
| KR20230152180A (ko) | 2017-12-10 | 2023-11-02 | 매직 립, 인코포레이티드 | 광학 도파관들 상의 반사―방지 코팅들 |
| KR20200100720A (ko) | 2017-12-20 | 2020-08-26 | 매직 립, 인코포레이티드 | 증강 현실 뷰잉 디바이스용 인서트 |
| EP3501375A1 (en) * | 2017-12-22 | 2019-06-26 | Nokia Technologies Oy | An eye monitoring apparatus |
| US10523930B2 (en) | 2017-12-29 | 2019-12-31 | Microsoft Technology Licensing, Llc | Mitigating binocular rivalry in near-eye displays |
| US10477186B2 (en) * | 2018-01-17 | 2019-11-12 | Nextvr Inc. | Methods and apparatus for calibrating and/or adjusting the arrangement of cameras in a camera pair |
| CA3087333A1 (en) | 2018-01-17 | 2019-07-25 | Magic Leap, Inc. | Eye center of rotation determination, depth plane selection, and render camera positioning in display systems |
| GB2571300B (en) * | 2018-02-23 | 2020-05-27 | Sony Interactive Entertainment Inc | Eye tracking method and apparatus |
| CN112136152A (zh) | 2018-03-15 | 2020-12-25 | 奇跃公司 | 由观看设备的部件变形导致的图像校正 |
| JP7319303B2 (ja) | 2018-05-31 | 2023-08-01 | マジック リープ， インコーポレイテッド | レーダ頭部姿勢位置特定 |
| WO2019236495A1 (en) | 2018-06-05 | 2019-12-12 | Magic Leap, Inc. | Homography transformation matrices based temperature calibration of a viewing system |
| CN108985172A (zh) * | 2018-06-15 | 2018-12-11 | 北京七鑫易维信息技术有限公司 | 一种基于结构光的视线追踪方法、装置、设备及存储介质 |
| WO2020010097A1 (en) | 2018-07-02 | 2020-01-09 | Magic Leap, Inc. | Pixel intensity modulation using modifying gain values |
| US11856479B2 (en) | 2018-07-03 | 2023-12-26 | Magic Leap, Inc. | Systems and methods for virtual and augmented reality along a route with markers |
| US11510027B2 (en) | 2018-07-03 | 2022-11-22 | Magic Leap, Inc. | Systems and methods for virtual and augmented reality |
| US10747009B1 (en) * | 2018-07-20 | 2020-08-18 | Facebook Technologies, Llc | Symmetrical facet Fresnel combiner |
| US11624929B2 (en) | 2018-07-24 | 2023-04-11 | Magic Leap, Inc. | Viewing device with dust seal integration |
| US11567336B2 (en) | 2018-07-24 | 2023-01-31 | Magic Leap, Inc. | Display systems and methods for determining registration between display and eyes of user |
| EP4270016A3 (en) | 2018-07-24 | 2024-02-07 | Magic Leap, Inc. | Temperature dependent calibration of movement detection devices |
| WO2020028834A1 (en) | 2018-08-02 | 2020-02-06 | Magic Leap, Inc. | A viewing system with interpupillary distance compensation based on head motion |
| US10795458B2 (en) | 2018-08-03 | 2020-10-06 | Magic Leap, Inc. | Unfused pose-based drift correction of a fused pose of a totem in a user interaction system |
| CN110603513B (zh) * | 2018-08-27 | 2023-08-29 | 深圳市汇顶科技股份有限公司 | 一种眼睛跟踪设备及利用光学成像跟踪眼睛的方法 |
| WO2020042843A1 (en) * | 2018-08-27 | 2020-03-05 | Shenzhen GOODIX Technology Co., Ltd. | Eye tracking based on imaging eye features and assistance of structured illumination probe light |
| ES2945789T3 (es) * | 2018-11-15 | 2023-07-07 | Tobii Ab | Método y dispositivo para calibrar un oculómetro |
| CN113196138B (zh) | 2018-11-16 | 2023-08-25 | 奇跃公司 | 用于保持图像清晰度的图像尺寸触发的澄清 |
| US10816809B2 (en) | 2018-12-17 | 2020-10-27 | Facebook Technologies, Llc | Holographic in-field illuminator |
| US10838362B2 (en) | 2018-12-17 | 2020-11-17 | Facebook Technologies, Llc | Holographic pattern generation for head-mounted display (HMD) eye tracking using a prism array |
| US10942489B2 (en) | 2018-12-17 | 2021-03-09 | Facebook Technologies, Llc | Wide-field holographic pattern generation for head-mounted display (HMD) eye tracking |
| US11281160B2 (en) | 2018-12-17 | 2022-03-22 | Facebook Technologies, Llc | Holographic pattern generation for head-mounted display (HMD) eye tracking using a fiber exposure |
| US10948873B2 (en) | 2018-12-17 | 2021-03-16 | Facebook Technologies, Llc | Holographic pattern generation for head-mounted display (HMD) eye tracking using a lens array |
| US11409240B2 (en) * | 2018-12-17 | 2022-08-09 | Meta Platforms Technologies, Llc | Holographic pattern generation for head-mounted display (HMD) eye tracking using a diffractive optical element |
| US11256213B2 (en) | 2018-12-17 | 2022-02-22 | Facebook Technologies, Llc | Holographic pattern generation for head-mounted display (HMD) eye tracking using an array of parabolic mirrors |
| CN109711302B (zh) * | 2018-12-18 | 2019-10-18 | 北京诺亦腾科技有限公司 | 模型参数校准方法、装置、计算机设备和存储介质 |
| US10996751B2 (en) * | 2018-12-21 | 2021-05-04 | Tobii Ab | Training of a gaze tracking model |
| US10963103B1 (en) * | 2018-12-24 | 2021-03-30 | Facebook Technologies, Llc | Display system with integrated depth detection |
| CN111435069B (zh) * | 2019-01-14 | 2022-07-08 | 顺丰科技有限公司 | 测量体积的方法和装置 |
| US11458040B2 (en) * | 2019-01-23 | 2022-10-04 | Meta Platforms Technologies, Llc | Corneal topography mapping with dense illumination |
| US11686935B2 (en) * | 2019-01-29 | 2023-06-27 | Meta Platforms Technologies, Llc | Interferometric structured illumination for depth determination |
| US11861941B1 (en) * | 2019-02-06 | 2024-01-02 | Apple Inc. | Eye camera systems with polarized light |
| US11326763B1 (en) | 2019-02-06 | 2022-05-10 | Apple Inc. | Light-emitting diodes with optical filters |
| EP3939030A4 (en) | 2019-03-12 | 2022-11-30 | Magic Leap, Inc. | REGISTRATION OF LOCAL CONTENT BETWEEN FIRST AND SECOND VIEWERS OF AUGMENTED REALITY |
| EP3944059A4 (en) * | 2019-03-18 | 2022-12-21 | Sony Interactive Entertainment Inc. | INPUT DEVICE |
| US10816810B1 (en) * | 2019-04-08 | 2020-10-27 | Htc Corporation | Head mounted display apparatus |
| US11176367B1 (en) * | 2019-05-01 | 2021-11-16 | Facebook Technologies, Llc | Apparatuses, systems, and methods for mapping a surface of an eye via an event camera |
| US20220129068A1 (en) * | 2019-07-11 | 2022-04-28 | Hewlett-Packard Development Company, L.P. | Eye tracking for displays |
| WO2021011686A1 (en) | 2019-07-16 | 2021-01-21 | Magic Leap, Inc. | Eye center of rotation determination with one or more eye tracking cameras |
| WO2021021085A1 (en) * | 2019-07-26 | 2021-02-04 | Hewlett-Packard Development Company, L.P. | Modification of projected structured light based on identified points within captured image |
| US11514673B2 (en) | 2019-07-26 | 2022-11-29 | Magic Leap, Inc. | Systems and methods for augmented reality |
| TWI751647B (zh) * | 2019-08-13 | 2022-01-01 | 宏達國際電子股份有限公司 | 頭戴式顯示器 |
| US11487080B2 (en) | 2019-10-18 | 2022-11-01 | Htc Corporation | Head-mounted display device and adjustment method |
| WO2021097323A1 (en) | 2019-11-15 | 2021-05-20 | Magic Leap, Inc. | A viewing system for use in a surgical environment |
| KR20210117062A (ko) | 2020-03-18 | 2021-09-28 | 한국전자통신연구원 | 시선 추적 방법 및 장치 |
| KR102460821B1 (ko) * | 2020-10-28 | 2022-10-28 | 재단법인대구경북과학기술원 | 증강 현실 장치 및 증강 현실 장치의 동작 방법 |
| WO2022158795A1 (ko) * | 2021-01-21 | 2022-07-28 | 삼성전자 주식회사 | 사용자의 시선을 검출하는 증강 현실 장치 및 방법 |
| KR20220111144A (ko) * | 2021-02-01 | 2022-08-09 | 삼성전자주식회사 | HMD(head mounted display)의 영상 처리 방법 및 이 방법을 실행하는 HMD |
| CN112926523B (zh) | 2021-03-30 | 2022-07-26 | 青岛小鸟看看科技有限公司 | 基于虚拟现实的眼球追踪方法、系统 |
| CN113251951B (zh) * | 2021-04-26 | 2024-03-01 | 湖北汽车工业学院 | 基于单标定面映射的线结构光视觉测量系统的标定方法 |
| SE2151198A1 (en) * | 2021-09-30 | 2023-03-31 | Tobii Ab | Gaze defect compensation |
| US11900845B2 (en) | 2021-10-28 | 2024-02-13 | Samsung Electronics Co., Ltd. | System and method for optical calibration of a head-mounted display |
| DE102021128135A1 (de) | 2021-10-28 | 2023-05-04 | Robert Bosch Gesellschaft mit beschränkter Haftung | Laservorrichtung, Scanvorrichtung und ein Verfahren zum Herstellen einer Laservorrichtung |
| CN114360043B (zh) * | 2022-03-18 | 2022-06-17 | 南昌虚拟现实研究院股份有限公司 | 模型参数标定方法、视线追踪方法、装置、介质及设备 |
| US20230337910A1 (en) * | 2022-04-25 | 2023-10-26 | Twenty Twenty Therapeutics Llc | Mapping of corneal topography using a vr headset |
| US20230388620A1 (en) * | 2022-05-26 | 2023-11-30 | Motorola Mobility Llc | Visual Feature Based Video Effects |
| KR20240020960A (ko) * | 2022-08-09 | 2024-02-16 | 삼성전자주식회사 | 시선 방향을 식별하는 전자 장치 및 그 작동 방법 |
| US11950000B2 (en) | 2022-09-07 | 2024-04-02 | Microsoft Technology Licensing, Llc | Resolution enhancement in spatial-frequency space |
Family Cites Families (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3298081B2 (ja) | 1994-12-06 | 2002-07-02 | 日本電信電話株式会社 | ヘッドマウントディスプレイ装置 |
| US6659611B2 (en) * | 2001-12-28 | 2003-12-09 | International Business Machines Corporation | System and method for eye gaze tracking using corneal image mapping |
| EP1785991A4 (en) | 2004-08-04 | 2009-01-07 | Asahi Glass Co Ltd | LIQUID CRYSTAL LENS ELEMENT AND OPTICAL HEAD |
| US20060210111A1 (en) | 2005-03-16 | 2006-09-21 | Dixon Cleveland | Systems and methods for eye-operated three-dimensional object location |
| KR20130011692A (ko) | 2011-07-22 | 2013-01-30 | 삼성전자주식회사 | 깊이 영상과 컬러 영상을 획득하는 픽셀 구조를 가진 이미지 센서 |
| CA2750287C (en) | 2011-08-29 | 2012-07-03 | Microsoft Corporation | Gaze detection in a see-through, near-eye, mixed reality display |
| US8955973B2 (en) | 2012-01-06 | 2015-02-17 | Google Inc. | Method and system for input detection using structured light projection |
| US20130241805A1 (en) | 2012-03-15 | 2013-09-19 | Google Inc. | Using Convergence Angle to Select Among Different UI Elements |
| EP2893388B1 (en) * | 2012-09-03 | 2016-08-03 | SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH | Head mounted system and method to compute and render a stream of digital images using a head mounted system |
| US8970827B2 (en) | 2012-09-24 | 2015-03-03 | Alces Technology, Inc. | Structured light and time of flight depth capture with a MEMS ribbon linear array spatial light modulator |
| US9123142B2 (en) * | 2012-10-02 | 2015-09-01 | At&T Intellectual Property I, L.P. | Adjusting content display orientation on a screen based on user orientation |
| TWI481901B (zh) | 2012-12-03 | 2015-04-21 | Wistron Corp | 頭戴式顯示裝置 |
| RU2012154657A (ru) | 2012-12-17 | 2014-06-27 | ЭлЭсАй Корпорейшн | Способы и устройство для объединения изображений с глубиной, генерированных с использованием разных способов формирования изображений с глубиной |
| JP2014219621A (ja) | 2013-05-10 | 2014-11-20 | 株式会社タイトー | 表示装置、表示制御プログラム |
| KR102098277B1 (ko) | 2013-06-11 | 2020-04-07 | 삼성전자주식회사 | 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치 |
| US9498114B2 (en) * | 2013-06-18 | 2016-11-22 | Avedro, Inc. | Systems and methods for determining biomechanical properties of the eye for applying treatment |
| US10061028B2 (en) | 2013-09-05 | 2018-08-28 | Texas Instruments Incorporated | Time-of-flight (TOF) assisted structured light imaging |
| US20150102981A1 (en) | 2013-10-11 | 2015-04-16 | Microsoft Corporation | Eye tracking |
| JP6146293B2 (ja) | 2013-12-25 | 2017-06-14 | ソニー株式会社 | 制御装置、制御方法および制御システム |
| US9671612B2 (en) | 2014-01-29 | 2017-06-06 | Google Inc. | Dynamic lens for head mounted display |
| US9898865B2 (en) * | 2015-06-22 | 2018-02-20 | Microsoft Technology Licensing, Llc | System and method for spawning drawing surfaces |
| US10241569B2 (en) | 2015-12-08 | 2019-03-26 | Facebook Technologies, Llc | Focus adjustment method for a virtual reality headset |
-
2016
- 2016-10-27 US US15/335,634 patent/US9983709B2/en active Active
- 2016-11-01 KR KR1020187010350A patent/KR101962302B1/ko active IP Right Grant
- 2016-11-01 JP JP2018516698A patent/JP6586523B2/ja active Active
- 2016-11-01 CN CN201680063458.9A patent/CN108351514B/zh active Active
- 2016-11-01 EP EP16862807.1A patent/EP3341783A4/en not_active Withdrawn
- 2016-11-01 KR KR1020197007863A patent/KR20190031599A/ko not_active Application Discontinuation
- 2016-11-01 WO PCT/US2016/059938 patent/WO2017079172A1/en active Application Filing
-
2018
- 2018-04-27 US US15/965,072 patent/US10268290B2/en active Active
-
2019
- 2019-09-09 JP JP2019163757A patent/JP6902075B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP6902075B2 (ja) | 2021-07-14 |
| US20170123526A1 (en) | 2017-05-04 |
| JP6586523B2 (ja) | 2019-10-02 |
| KR101962302B1 (ko) | 2019-03-26 |
| CN108351514A (zh) | 2018-07-31 |
| KR20180064413A (ko) | 2018-06-14 |
| US20180246590A1 (en) | 2018-08-30 |
| WO2017079172A1 (en) | 2017-05-11 |
| KR20190031599A (ko) | 2019-03-26 |
| JP2019500660A (ja) | 2019-01-10 |
| EP3341783A4 (en) | 2019-11-20 |
| US9983709B2 (en) | 2018-05-29 |
| EP3341783A1 (en) | 2018-07-04 |
| US10268290B2 (en) | 2019-04-23 |
| CN108351514B (zh) | 2019-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6902075B2 (ja) | 構造化光を用いた視線追跡 | |
| US10257507B1 (en) | Time-of-flight depth sensing for eye tracking | |
| JP6576574B2 (ja) | 眼球モデルを生成するための角膜球追跡 | |
| US10614577B1 (en) | Eye tracking system with single point calibration | |
| US10025384B1 (en) | Eye tracking architecture for common structured light and time-of-flight framework | |
| CN108352075B (zh) | 使用光流的眼睛跟踪 | |
| US10878236B2 (en) | Eye tracking using time multiplexing | |
| US9244529B2 (en) | Point-of-gaze estimation robust to head rotations and/or device rotations | |
| US9070017B2 (en) | Methods and apparatus for estimating point-of-gaze in three dimensions | |
| US9959678B2 (en) | Face and eye tracking using facial sensors within a head-mounted display | |
| JP6560463B1 (ja) | ヘッドマウントディスプレイ内の顔センサを使用する顔および目のトラッキングおよび顔アニメーション | |
| US11609645B2 (en) | Unfused pose-based drift correction of a fused pose of a totem in a user interaction system | |
| US10430988B2 (en) | Facial animation using facial sensors within a head-mounted display | |
| US10963046B1 (en) | Drift corrected eye tracking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191101 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191101 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201006 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210104 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210601 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210618 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6902075 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |