JP2020115630A

JP2020115630A - オプティカル・フローを用いる眼球追跡

Info

Publication number: JP2020115630A
Application number: JP2019151231A
Authority: JP
Inventors: アール．ペレク、デイビッド; R Perek David; アンドリューハント、ウォーレン; Andrew Hunt Warren; トーマスデピュー、マーシャル; Thomas Depue Marshall; デールキャビン、ロバート; Dale Cavin Robert
Original assignee: Facebook Technologies LLC
Current assignee: Meta Platforms Technologies LLC
Priority date: 2015-11-06
Filing date: 2019-08-21
Publication date: 2020-07-30
Anticipated expiration: 2036-11-04
Also published as: EP3371973A1; KR20180112754A; CN108352075A; US20170131765A1; KR101953704B1; JP2019506017A; EP3371973B1; JP6990220B2; EP3371973A4; CN108352075B; US10013055B2; WO2017079689A1

Abstract

【課題】ポータブルで軽量かつ高性能な仮想現実ヘッドセットでの使用に適した眼球追跡システムを提供する。【解決手段】眼球追跡システムは、ユーザの各眼球の表面（例えば、強膜）を撮像し、撮像された表面のテクスチャから得られるオプティカル・フロー・フィールドを取り込む。眼球追跡システムは、照明源（例えば、レーザ）および検出器（例えば、カメラ）を含む。照明源は、カメラにより撮像される眼球の一部を照射する。眼球が動くとき、眼球の異なるエリアが撮像され、眼球の一部のマップを生成可能となる。眼球の一部の画像は、眼球のその部分に対応する回折パターン（すなわちオプティカル・フロー）を含む。較正処理により、眼球が見ている場所にオプティカル・フローがマッピングされる。【選択図】図２Ｂ

Description

本開示は、一般には仮想現実システムのユーザの眼球位置を追跡することに関し、より
詳細には、眼球の表面上のコヒーレント光の回折パターンを使用して眼球位置を追跡する
ことに関する。

仮想現実システムは通常、仮想現実画像を提示するディスプレイ・パネルを含み、ディ
スプレイ・パネルは、仮想現実環境のみに属する要素を示すことができる。ディスプレイ
・パネルはまた、拡張現実応用例と同様に、現実の要素（例えば、物理世界の丈の高い草
）を仮想要素（例えば、丈の高い草に隠れているアニメ動物）と組み合わせることができ
る。仮想現実システムと対話するために、ユーザは、仮想現実画像の一部に向けられる入
力を作成する。

いくつかの仮想現実システムは、手および指の運動を入力信号に変換するための専用周
辺機器を含む。しかしながら、従来型の周辺機器はユーザを仮想環境から人工的に分離す
るため、ユーザが仮想環境に完全に没入する体験を持つことが妨げられる。眼球追跡シス
テムは、ハンドヘルド周辺機器に主に依拠するインターフェースよりも没入型のインター
フェースを提供する。しかしながら、既存の眼球追跡システムは、ポータブルで軽量かつ
高性能な仮想現実ヘッドセットでの使用には不適切である。

仮想現実（ＶＲ）システム環境が、電子ディスプレイを介してユーザにコンテンツを
提示するように構成されたＶＲヘッドセットと、ユーザに提示するためのコンテンツを生
成し、生成したコンテンツを提示のためにＶＲヘッドセットに提供するように構成された
ＶＲコンソールとを含む。提示されたコンテンツとのユーザ対話を改善するために、ＶＲ
コンソールは、ユーザの眼球を追跡することによって求められるユーザが見ている場所に
基づいて、コンテンツを修正または生成する。したがって、ＶＲヘッドセットは、レーザ
などの、ＶＲヘッドセットに取り付けられた（例えば、ＶＲヘッドセット内部の）コヒー
レント光源でユーザの眼球の表面を照射する。

ＶＲヘッドセットに含まれる撮像デバイスが、ユーザの眼球の表面で反射した光を撮像
する。いくつかの実施形態では、ユーザの眼球の表面から反射した光は、撮像デバイス内
の撮像センサが眼球表面から反射した光を受ける前に反射光偏光子により偏光されるか、
もしくは眼球表面から反射した光を集束または修正するレンズ・アセンブリによって屈折
させることができる。眼球の表面は粗いので、撮像デバイスの撮像センサによって撮像さ
れる光は、ユーザの眼球の表面の複数の部分から反射した光の組合せから形成されたスペ
ックルまたは回折パターンとなり得る。

いくつかの実施形態では、ＶＲヘッドセットは、１つまたは複数の画像処理を実施して
、撮像デバイスによって撮像された光から生成された画像のコントラストを改善する。例
示的画像処理には、センサ補正（例えば、黒レベル調節、レンズ歪曲補正、ガンマ補正）
および照明レベル補正（例えば、ホワイト・バランス補正）が含まれる。ＶＲヘッドセッ
トはまた、ヒストグラム等化または任意の他の技法を実施して、撮像された光からの画像
のコントラストを向上させることができる。いくつかの実施形態では、ＶＲヘッドセット
は、照明レベル補正を実施して、電子ディスプレイまたは外部光源によるユーザの眼球の
表面の可変照明によって引き起こされるノイズを低減することができる。代替または追加
として、ＶＲコンソールは、ＶＲヘッドセット内の撮像デバイスによって得られ、ＶＲヘ
ッドセットからＶＲコンソールに通信された画像に対して１つまたは複数の画像処理を実
施する。

ＶＲヘッドセットは、取り込まれた光から撮像デバイスによって撮像された画像、また
その撮像画像から導出されたデータを含む眼球追跡データをＶＲコンソールに送る。例え
ば、眼球追跡データは、１つまたは複数の画像処理による修正版の撮像画像を含む。別の
例として、眼球追跡データは、画像撮像デバイスによって撮像された画像と、コヒーレン
ト光源以外の光源によるユーザの眼球の表面の照明を記述するデータとを含む。代替とし
て、ＶＲヘッドセットは、ユーザの眼球を追跡するための構成要素を含み、したがってＶ
Ｒヘッドセットは、ＶＲコンソールに眼球追跡データを送らない。

いくつかの実施形態では、ＶＲコンソールは、受け取った眼球追跡データが眼球位置を
正確に求めるために使用可能な有効な測定値に対応することを検証する。例えば、ＶＲコ
ンソールは、眼球追跡データの代表的性能指数を求め、代表的性能指数を妥当性しきい値
と比較する。代表的性能指数が妥当性しきい値未満である場合、ＶＲコンソールは、受け
取った眼球追跡データが有効でないと判定する。しかしながら、代表的性能指数が妥当性
しきい値以上である場合、ＶＲコンソールは、受け取った眼球追跡データが有効な測定値
に対応することを検証する。代表的性能指数は、画像データ内のピクセル値の和、平均、
中央値、範囲、標準偏差、または他の定量化（例えば、ピクセル・グレイ・レベル、輝度
値、相対ピクセル強度）とすることができる。代表的性能指数は、受け取った眼球追跡デ
ータ内に含まれる画像内のすべてのピクセルの性能指数から求めることができ、または受
け取った眼球追跡データ内に含まれる画像内のピクセルのサブセットからサンプリング技
法によって推定することができる。例えば、ユーザがまばたきすると、ピクセル強度値の
和が減少する。したがって、ＶＲコンソールは、相対ピクセル強度の和が妥当性しきい値
未満であると判定したことに応答して、受け取った眼球追跡データが有効でないと判定す
る。種々の実施形態では、妥当性しきい値は、ＶＲヘッドセットの製造中に指定され、ま
たはＶＲヘッドセットの較正中に求められる。相対ピクセル強度に基づいて性能指数を求
めるとき、相対強度が求められる種々のピクセルの指数が、種々の実施形態での性能指数
の決定に影響を及ぼす。受け取った眼球追跡データの妥当性を検証するときに、変動する
外部照明条件を反映するために、受け取った眼球追跡データのしきい時間内に取り込まれ
た、以前に受け取った眼球追跡データの代表的性能指数のトレーリング平均、または受け
取った眼球追跡データのしきい時間内に取り込まれ、有効であると判定された、以前に受
け取った眼球追跡データの代表的性能指数のトレーリング平均に基づいて、妥当性しきい
値を動的に求めることができる。

ＶＲコンソールは、受け取った眼球追跡データから眼球位置を求めるために較正データ
にアクセスする。較正データは、画像撮像デバイスの画像センサのサブピクセルに対応す
るユーザの眼球の表面上の距離を示すサブピクセル距離を含むことができる。画像センサ
のサブピクセルがユーザの眼球の表面上の矩形（または楕円形）エリアに対応する場合、
較正データは、ユーザの眼球の表面に沿った直交する方向に対応する２つのサブピクセル
距離（例えば、ユーザの眼球の表面上のエリアの長さおよび幅）を含むことができる。サ
ブピクセル距離は、部分的には画像センサとユーザの眼球の表面との間の距離から求める
ことができる。画像センサとユーザの眼球の表面との間の距離は、較正期間中に求めるこ
とができ、またはＶＲヘッドセット内に含まれる測距デバイス（例えば、レーザ・レンジ
ファインダ、ソナー）を介して動的に求めることができる。種々の実施形態では、ＶＲヘ
ッドセットは、画像センサとユーザの眼球の表面との間の距離を周期的に（例えば、毎秒
１回）求め、ＶＲヘッドセットの電源オンに応答して、画像センサとユーザの眼球の表面
との間の距離を求め、またはユーザの頭部のＶＲヘッドセットの調節を示す測定信号をＶ
Ｒヘッドセット内に含まれる位置センサから受信したことに応答して、画像センサとユー
ザの眼球の表面との間の距離を求める。サブピクセル距離は、画像撮像デバイスの特性で
あるピクセルに対応するラジアン単位の角度に、画像センサとユーザの眼球の表面との間
の距離を掛けることによって求めることができる。サブピクセル距離を使用して、ＶＲコ
ンソールは、受け取った眼球追跡データからのユーザの眼球の表面の２つの画像間のサブ
ピクセル・シフトから眼球位置の変化を求める。

代替または追加として、ＶＲコンソールは、較正期間中に撮像された基準画像を含むテ
ーブル（例えば、ルックアップ・テーブル）からの較正データにアクセスする。基準画像
は、既知の眼球位置、ＶＲヘッドセットの電子ディスプレイ上の特定の眼球注視点、また
はその両方に対応する。例示的な較正期間の間、ＶＲヘッドセットは、電子ディスプレイ
上の一連のアイコンを注視するようにユーザに指示し、ユーザが各アイコンを注視すると
きに基準画像を撮像する。基準画像は、撮像時のアイコンの眼球注視点に対応し、ＶＲコ
ンソールは、眼球のモデル、およびＶＲヘッドセット内に含まれる他の眼球追跡システム
から、基準画像に対応する眼球位置を推論する。ＶＲコンソールは、基準画像を記憶する
ことができ、または受け取った眼球追跡データからの後続の画像とのマッチングを容易に
するために、基準画像の凝縮表現を記憶することができる。例えば、ＶＲコンソールは、
各基準画像についてのフィンガープリントを生成するか、各基準画像から特徴（例えば、
ブロブ、縁部、リッジ、コーナ）を抽出するか、またはその両方を行う。抽出した特徴を
、ユーザの眼球の表面上の特徴の位置を特定する情報、特徴の構成ピクセルの値、または
その両方に関連付けて記憶することができる。基準画像（またはその凝縮表現）を使用し
て、ＶＲコンソールは、受け取った眼球追跡データからの単一の画像を参照して眼球位置
を求めることができる。

アクセスした較正データを使用して、ＶＲコンソールは、受け取った眼球追跡データか
ら眼球位置を求める。いくつかの実施形態では、ＶＲコンソールは、基準眼球位置に関連
付けられた基準画像を取得する。例えば、画像撮像デバイスが基準画像を撮像するのと同
時に、別の眼球追跡システム（例えば、低速眼球追跡システム）が基準眼球位置を独立し
て求める。ＶＲコンソールは、更新画像と基準画像との間のサブピクセル・シフトを求め
、サブピクセル・シフトからの眼球シフト距離を求め、基準眼球位置を眼球シフト距離と
組み合わせることによって更新後の眼球位置を求める。サブピクセル・シフトを求めるた
めに、ＶＲコンソールは、任意の運動追跡またはオプティカル・フロー技術（例えば、位
相相関、ブロック・マッチング、差分オプティカル・フロー方法）を使用することができ
る。ＶＲコンソールは、求めたサブピクセル・シフトに、アクセスした較正データからの
サブピクセル距離値を掛けることによって眼球シフト距離を求める。サブピクセル・シフ
トは２次元（例えば、５サブピクセル上方、３サブピクセル左方）とすることができ、し
たがって眼球シフト距離も２次元とすることができる（例えば５０マイクロメートル上方
、３０マイクロメートル左方）。眼球シフト距離を使用して、ＶＲコンソールは、基準眼
球位置を眼球シフト距離だけシフトすることによって更新後の眼球位置を求める。更新後
の眼球位置を求めるとき、ＶＲコンソールは、眼球の向きおよび場所を更新するか、更新
後の眼球回転軸を求めるか、電子ディスプレイ上の新しい注視場所を求めるか、またはそ
れらの組合せを行い得る。

代替または追加として、ＶＲコンソールは、更新画像を、アクセスした較正データから
の基準画像とマッチングすることによって眼球位置を求める。ＶＲコンソールは、画像撮
像デバイスからの画像を種々の基準画像と比較して、合致する基準画像を決定する。ＶＲ
コンソールは、更新画像と合致する程度に基づいて基準画像をスコアリングし、最高のス
コアを有する基準画像を選択することによって、合致する基準画像を求めることができる
。代替または追加として、しきい値を超えるスコアを有する基準画像が識別されるまで、
基準画像が更新画像と比較され、スコアリングされる。画像撮像デバイスが眼球の１平方
ミリメートルに対応する画像を撮像する場合、較正データは、眼球の全可動域にわたって
撮像可能なユーザの眼球の表面の異なる部分に対応する約５００個の画像を含む。いくつ
かの実施形態では、ＶＲコンソールは、更新画像の凝縮表現（例えば、フィンガープリン
ト、特徴のセット）を生成し、更新画像の凝縮表現を基準画像の凝縮表現と比較して、合
致する基準画像を求めるための時間および計算資源を削減する。ＶＲコンソールが合致す
る基準画像を求めるとき、ＶＲコンソールは、更新画像と基準画像との間のサブピクセル
・シフトだけ、合致する基準画像に関連付けられた基準位置を調節することによって、更
新位置を求める。

ＶＲコンソールは、求めた眼球位置に基づいて、ＶＲヘッドセットによる提示のための
コンテンツを決定する。例えば、ＶＲコンソールは、求めた眼球位置内に含まれる推定注
視点を、仮想世界への入力として使用する。注視点に基づいて、ＶＲコンソールは、ユー
ザに提示するためのコンテンツを選択する（例えば、仮想剣闘コンテストでの別の仮想ア
ニメ生物に対する配置のために、注視点に対応する仮想アニメ生物を選択したり、仮想メ
ニューをナビゲートしたり、仮想世界内でプレイするためのスポーツ・ボールのタイプを
選択したり、またはファンタジー・スポーツ・ボール・チームに加えるための有名なスポ
ーツ・ボール・プレーヤを選択したりする）ことができる。

一実施形態による仮想現実システムを含むシステム環境のブロック図。一実施形態による仮想現実ヘッドセットの図。一実施形態による、図２ＡのＶＲヘッドセットの前部剛体の断面図。一実施形態による例示的な眼球追跡ユニットの図。一実施形態による偏光感応性素子を含む例示的な眼球追跡ユニットの図。一実施形態による、シャー干渉効果を生み出すために１つまたは複数の素子を含む例示的な眼球追跡ユニットの図。一実施形態による眼球追跡ユニットによって撮像される例示的画像を示す図。一実施形態による、図４Ａの画像から導出される眼球運動と、ディスプレイに対する眼球追跡との間の関係を示す概念図。一実施形態による眼球位置を求める例示的方法のフローチャート。

図面は、単に例示を目的として本開示の実施形態を示す。本明細書で説明される本開示
の原理または提示される利点から逸脱することなく、本明細書に示される構造および方法
の代替実施形態を利用できることを、以下の説明から当業者は容易に理解し得る。

図１は、一実施形態による仮想現実（ＶＲ）システム環境１００のブロック図である。
図１で示されるＶＲシステム環境１００は、ＶＲコンソール１１０にそれぞれ結合される
、ＶＲヘッドセット１０５、外部撮像デバイス１３５、およびＶＲ入力周辺機器１４０を
備える。図１は、１つのＶＲヘッドセット１０５、１つの外部撮像デバイス１３５、およ
び１つのＶＲ入力周辺機器１４０を含む例示的ＶＲシステム環境１００を示すが、任意の
数のこれらの構成要素をＶＲシステム環境１００内に含めることができ、または構成要素
のいずれかを省略することができる。例えば、ＶＲコンソール１１０と通信する１つまた
は複数の外部撮像デバイス１３５によって監視される複数のＶＲヘッドセット１０５が存
在し得る。代替構成では、異なる構成要素または追加の構成要素をＶＲシステム環境１０
０内に含めることができる。

ＶＲヘッドセット１０５は、ユーザにコンテンツを提示するヘッド・マウント・ディス
プレイである。ＶＲヘッドセット１０５によって提示されるコンテンツの例には、１つま
たは複数の画像、ビデオ、オーディオ、またはそれらの任意の組合せが含まれる。いくつ
かの実施形態では、オーディオは、ＶＲヘッドセット１０５、ＶＲコンソール１１０、ま
たはその両方からオーディオ情報を受け取り、そのオーディオ情報に基づいてオーディオ
・データを提示する外部デバイス（例えば、スピーカおよび／またはヘッドフォン）を介
して提示される。ＶＲヘッドセット１０５の一実施形態を、図２Ａおよび図２Ｂにより以
下でさらに説明する。ＶＲヘッドセット１０５は１つまたは複数の剛体を含むことができ
、１つまたは複数の剛体を互いに固定式または非固定式に結合することができる。剛体間
の固定結合は、結合された剛体を単一の剛体として働かせる。一方、剛体間の非固定結合
は、剛体が互いに移動することを可能にする。しかしながら、種々の実施形態では、ガラ
スを含む任意の適切な形状因子でＶＲヘッドセット１０５を実装することができる。さら
に、種々の実施形態では、ＶＲヘッドセット１０５の外部の環境の画像と、ＶＲコンソー
ル１１０から、またはユーザに提示するためのコンテンツを生成および提供する任意の他
のコンソールから受け取ったコンテンツとを組み合わせるヘッドセット内で、本明細書で
説明される機能を使用することができる。したがって、ＶＲヘッドセット１０５、および
本明細書で説明される眼球追跡のための方法は、生成されたコンテンツでＶＲヘッドセッ
ト１０５の外部の環境の画像を拡張し、拡張現実をユーザに提示することができる。

種々の実施形態では、ＶＲヘッドセット１０５は、電子ディスプレイ１１５、ディスプ
レイ光学ブロック１１８、１つまたは複数のロケータ１２０、１つまたは複数の位置セン
サ１２５、慣性測定ユニット（ＩＭＵ）１３０、および眼球追跡ユニット１６０を含む。
種々の実施形態では、ＶＲヘッドセット１０５は、これらの要素のいずれかを省略するこ
とができ、または追加の要素を含むことができる。さらに、いくつかの実施形態では、Ｖ
Ｒヘッドセット１０５は、図１で説明される種々の要素の機能を組み合わせる要素を含む
。

［ＶＲディスプレイ・サブシステム］
電子ディスプレイ１１５は、ＶＲコンソール１１０から受け取ったデータに従って、ユ
ーザに画像を表示する。種々の実施形態では、電子ディスプレイ１１５は、液晶ディスプ
レイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、アクティブ・マトリッ
クスＯＬＥＤディスプレイ（ＡＭＯＬＥＤ）、透明ＯＬＥＤディスプレイ（ＴＯＬＥＤ）
、または任意の他のディスプレイなどの１つまたは複数のディスプレイ・パネルを含むこ
とができる。例えば、電子ディスプレイ１１５は、フロントＴＯＬＥＤパネルと、リア・
ディスプレイ・パネルと、フロントディスプレイ・パネルとリア・ディスプレイ・パネル
との間の光学構成要素（例えば、減衰器、偏光子、回折フィルム、またはスペクトルフィ
ルム）とを含む。電子ディスプレイ１１５は、赤、緑、青、白、黄などの主色の光を放射
するためのサブピクセルを含むことができる。電子ディスプレイ１１５は、画像深度の主
観的知覚を生み出すために２次元（２Ｄ）パネルによって生成されるステレオ効果を通じ
て、３次元（３Ｄ）画像を表示することができる。例えば、電子ディスプレイ１１５は、
ユーザの左目および右目の前方にそれぞれ配置された左側ディスプレイおよび右側ディス
プレイを含む。左側ディスプレイおよび右側ディスプレイは、立体効果（すなわち、画像
を閲覧するユーザによる画像深度の知覚）を生み出すために、互いに水平方向にシフトさ
れた画像のコピーを提示する。

ディスプレイ光学ブロック１１８は、電子ディスプレイ１１５から受けた画像光を拡大
し、画像光に関連付けられた光学誤差を補正し、補正した画像光をＶＲヘッドセット１０
５のユーザに提示する。種々の実施形態では、ディスプレイ光学ブロック１１８は１つま
たは複数の光学素子を含む。例示的光学素子には、アパーチャ、フレネル・レンズ、凸レ
ンズ、凹レンズ、フィルタ、または電子ディスプレイ１１５から放射された画像光に作用
する任意の他の適切な光学素子が含まれる。ディスプレイ光学ブロック１１８は、異なる
光学素子の組合せとともに、組合せ内の光学素子の相対的間隔および向きを維持するため
の機械的結合を含み得る。ディスプレイ光学ブロック１１８内の１つまたは複数の光学素
子は、反射防止膜などの光学コーティング、または光学コーティングの組合せを有する。

ディスプレイ光学ブロック１１８による画像光の拡大は、電子ディスプレイ１１５をよ
り大型のディスプレイよりも物理的に小さくし、軽量にし、電力の消費を少なくすること
を可能にする。さらに、拡大は、表示されるコンテンツの視野を増大させることができる
。例えば、表示されるコンテンツの視野は、ユーザの視野のほぼすべて（例えば、対角１
１０度）またはすべてを使用して、表示されるメディアが提示されるようなものである。
いくつかの実施形態では、ディスプレイ光学ブロック１１８は、電子ディスプレイ１１５
によって投影される画像光を拡大するために、ディスプレイ光学ブロック１１８と電子デ
ィスプレイ１１５との間の間隔よりも長い有効焦点距離を有する。さらに、ディスプレイ
光学ブロック１１８による画像光の拡大量を、ディスプレイ光学ブロック１１８に光学素
子を追加し、またはディスプレイ光学ブロック１１８から光学素子を除去することによっ
て調節することができる。

ディスプレイ光学ブロック１１８は、２次元光学誤差、３次元光学誤差、またはそれら
の組合せなどの１つまたは複数のタイプの光学誤差を補正するように設計することができ
る。２次元誤差は、２次元で生じる光学収差である。２次元誤差の例示的タイプには、樽
形歪曲、糸巻き形歪曲、縦方向色収差、および横方向色収差が含まれる。３次元誤差は、
３次元で生じる光学誤差である。３次元誤差の例示的タイプには、球面収差、コマ収差、
像面湾曲、および非点収差が含まれる。いくつかの実施形態では、表示のために電子ディ
スプレイ１１５に提供されるコンテンツが事前歪曲され、ディスプレイ光学ブロック１１
８は、コンテンツに基づいて生成された画像光を電子ディスプレイ１１５から受けたとき
、歪曲を補正する。

［外部ＶＲヘッドセット追跡サブシステム］
複数のロケータ１２０は、ＶＲヘッドセット１０５上の特定の基準点に対して配置され
るとともに、ＶＲヘッドセット１０５上の特定の位置に互いに配置された物体である。仮
想現実コンソール１１０は、外部撮像デバイス１３５によって撮像された画像内のロケー
タ１２０を特定して、仮想現実ヘッドセットの位置、向き、またはその両方を求める。ロ
ケータ１２０は、発光ダイオード（ＬＥＤ）、コーナー・キューブ反射器、反射マーカ、
ＶＲヘッドセット１０５が動作する環境と対照をなすタイプの光源、またはそれらの任意
の組合せとすることができる。ロケータ１２０が能動的（すなわち、ＬＥＤまたは他のタ
イプの発光デバイス）である実施形態では、ロケータ１２０は、可視帯域（約３８０ｎｍ
〜７５０ｎｍ）、赤外線（ＩＲ）帯域（約７５０ｎｍ〜１ｍｍ）、紫外線帯域（１０ｎｍ
〜３８０ｎｍ）、電磁スペクトルの別の部分、または電磁スペクトルの各部分の任意の組
合せの中で光を放射することができる。

いくつかの実施形態では、ロケータ１２０は、ＶＲヘッドセット１０５の外面の下に配
置される。ロケータ１２０と、ＶＲヘッドセット１０５の外部の実体（例えば、外部撮像
デバイス１３５、ＶＲヘッドセット１０５の外面を見ているユーザ）との間のＶＲヘッド
セット１０５の部分は、ロケータ１２０によって放射または反射される光の波長に対して
透明であり、またはロケータ１２０によって放射または反射される光の波長を大幅に減衰
しないように十分に薄いものである。いくつかの実施形態では、ＶＲヘッドセット１０５
の外面または他の部分は、光の波長の可視帯域内で不透明である。したがって、ロケータ
１２０は、ＩＲ帯域で透明であるが、可視帯域内で不透明である外面の下で、ＩＲ帯域内
の光を放射することができる。

外部撮像デバイス１３５は、ＶＲコンソール１１０から受け取った較正パラメータに従
って、低速較正データを生成する。低速較正データは、外部撮像デバイス１３５によって
検出可能なロケータ１２０の観測された位置を示す１つまたは複数の画像を含む。外部撮
像デバイス１３５は、１つまたは複数のカメラ、１つまたは複数のビデオ・カメラ、ロケ
ータ１２０のうちの１つまたは複数を含む画像を撮像することのできる任意の他のデバイ
ス、あるいはそれらの任意の組合せを含むことができる。さらに、外部撮像デバイス１３
５は、（例えば、信号対雑音比を向上させるために）１つまたは複数のフィルタを含むこ
とができる。外部撮像デバイス１３５は、ロケータ１２０から放射または反射された光を
外部撮像デバイス１３５の視野内で検出するように構成される。ロケータ１２０が受動素
子（例えば、再帰反射器）を含む実施形態では、外部撮像デバイス１３５は、ロケータ１
２０のうちのいくつかまたはすべてを照射する光源を含むことができ、ロケータ１２０は
、外部撮像デバイス１３５内の光源に光を再帰反射する。低速較正データが、外部撮像デ
バイス１３５からＶＲコンソール１１０に通信され、外部撮像デバイス１３５は、ＶＲコ
ンソール１１０から１つまたは複数の較正パラメータを受け取り、１つまたは複数の撮像
パラメータ（例えば、焦点距離、フォーカス、フレーム・レート、センサ温度、シャッタ
速度、アパーチャ）を調節する。

［内部ＶＲヘッドセット追跡サブシステム］
ＩＭＵ１３０は、位置センサ１２５のうちの１つまたは複数から受け取った測定信号に
基づいて高速較正データを生成する電子デバイスである。位置センサ１２５は、ＶＲヘッ
ドセット１０５の運動に応答して、１つまたは複数の測定信号を生成する。位置センサ１
２５の例には、加速度計ジャイロスコープ、磁力計、他の運動検出もしくは誤差補正セン
サ、またはそれらの任意の組合せが含まれる。いくつかの実施形態では、種々の位置セン
サ１２５が互いに直交に配向される。位置センサ１２５をＩＭＵ１３０の外部に配置し、
ＩＭＵ１３０の内部に配置し、またはそれらの任意の組合せで配置することができる。

１つまたは複数の位置センサ１２５からの１つまたは複数の測定信号に基づいて、ＩＭ
Ｕ１３０は、ＶＲヘッドセット１０５の初期位置に対するＶＲヘッドセット１０５の推定
位置を示す高速較正データを生成する。例えば、位置センサ１２５は、並進運動（前方／
後方、上方／下方、左方／右方）を測定するための複数の加速度計と、回転運動（例えば
、ピッチ、ヨー、ロール）を測定するための複数のジャイロスコープとを含む。いくつか
の実施形態では、ＩＭＵ１３０は測定信号を迅速にサンプリングし、サンプリングしたデ
ータからＶＲヘッドセット１０５の推定位置を計算する。例えば、ＩＭＵ１３０は、加速
度計から受け取った測定信号を時間で積分して速度ベクトルを推定し、速度ベクトルを時
間で積分して、ＶＲヘッドセット１０５上の基準点の推定位置を求める。代替として、Ｉ
ＭＵ１３０は、サンプリングした測定信号をＶＲコンソール１１０に供給し、ＶＲコンソ
ール１１０は高速較正データを求める。一般には基準点を空間内の点として定義すること
ができるが、種々の実施形態では、基準点をＶＲヘッドセット１０５内の点（例えば、Ｉ
ＭＵ１３０の中心）として定義することができる。

［眼球追跡サブシステム］
眼球追跡ユニット１６０は、眼球追跡データを取り込むように構成された１つまたは複
数の撮像デバイスを含み、眼球追跡モジュール１６５は、眼球追跡データを使用して、Ｖ
Ｒヘッドセット・ユーザの眼球を追跡する。眼球追跡データとは、眼球追跡ユニット１６
０によって出力されるデータを指す。例示的眼球追跡データは、眼球追跡ユニット１６０
によって撮像された画像、または眼球追跡ユニット１６０によって撮像された画像から導
出された情報を含む。眼球追跡とは、ＶＲヘッドセット１０５に対する眼球の向きおよび
場所を含む、眼球の位置を求めることを指す。例えば、眼球追跡モジュール１６５は、眼
球追跡ユニット１６０によって撮像された眼球の画像に基づいて、眼球のピッチおよびヨ
ーを出力する。種々の実施形態では、眼球追跡ユニット１６０は、眼球によって反射され
た電磁エネルギーを測定し、測定した電磁エネルギーを眼球追跡モジュール１６５に通信
し、眼球追跡モジュール１６５は、測定された電磁エネルギーに基づいて眼球の位置を求
める。例えば、眼球追跡ユニット１６０は、ユーザの眼球によって反射された可視光、赤
外線光、電波、マイクロ波、電磁スペクトルの任意の他の部分内の波、またはこれらの組
合せなどの電磁波を測定する。

眼球追跡ユニット１６０は１つまたは複数の眼球追跡システムを含むことができる。眼
球追跡システムは、１つまたは複数の眼球を撮像するための撮像システムを含み、任意選
択で、光放射源を含むことができ、光放射源は、眼球に向かう光を生成し、したがって眼
球によって反射される光を撮像システムによって撮像することができる。例えば、眼球追
跡ユニット１６０は、可視スペクトルまたは赤外線スペクトル内の光を放射するコヒーレ
ント光源、ならびにユーザの眼球によって放射された光の反射を撮像するカメラを含む。
別の例として、眼球追跡ユニット１６０は、小型レーダー・ユニットによって放射された
電波の反射を撮像する。眼球追跡ユニット１６０は、眼球を痛めず、または身体的不快を
引き起こさない周波数および強度で光を放射する低電力光放射源を使用する。眼球追跡ユ
ニット１６０は、眼球追跡ユニット１６０によって撮像される眼球の画像内のコントラス
トを向上させるとともに、眼球追跡ユニット１６０によって消費される全電力を削減する
（例えば、眼球追跡ユニット１６０内に含まれる光放射源および撮像システムによって消
費される電力を削減する）ように構成される。例えば、眼球追跡ユニット１６０が消費す
る電力は１００ミリワット未満である。

いくつかの実施形態では、眼球追跡ユニット１６０は、ユーザの眼球のそれぞれを追跡
するために１つの光放射源および１つのカメラを含む。眼球追跡ユニット１６０はまた、
眼球追跡正確さおよび応答性の改善を実現するために共に動作する、異なる眼球追跡シス
テムをも含むことができる。例えば、眼球追跡ユニット１６０は、高速な応答時間を有す
る高速眼球追跡システムと、より低速な応答時間を有する低速眼球追跡システムとを含む
。高速眼球追跡システムは、眼球を頻繁に測定して、眼球追跡モジュール１６５によって
使用されるデータを取り込み、基準眼球位置に対する眼球の位置を求める。低速眼球追跡
システムは、眼球を独立して測定して、眼球追跡モジュール１６５によって使用されるデ
ータを取り込み、前に求めた眼球位置を参照することなく基準眼球位置を求める。低速眼
球追跡システムによって取り込まれたデータにより、眼球追跡モジュール１６５は、高速
眼球追跡システムによって取り込まれたデータから求めた眼球の位置よりも高い正確さで
基準眼球位置を求めることが可能となる。種々の実施形態では、低速眼球追跡システムは
、高速眼球追跡システムよりも低い頻度で眼球追跡モジュール１６５に眼球追跡データを
供給する。例えば、低速眼球追跡システムは、電力を節約するために、より低速な応答時
間を有し、またはより低い頻度で動作する。

［ＶＲ入力周辺機器］
ＶＲ入力周辺機器１４０は、ユーザがＶＲコンソール１１０に動作要求を送ることを可
能にするデバイスである。動作要求は特定の動作を実施するための要求である。例えば、
動作要求は、アプリケーションを開始もしくは終了すること、またはアプリケーション内
で特定の動作を実施することとすることができる。ＶＲ入力周辺機器１４０は１つまたは
複数の入力デバイスを含むことができる。例示的入力デバイスには、キーボード、マウス
、ゲーム・コントローラ、グローブ、または動作要求を受け取り、受け取った動作要求を
ＶＲコンソール１１０に通信するための任意の他の適切なデバイスが含まれる。ＶＲ入力
周辺機器１４０によって受信された動作要求はＶＲコンソール１１０に通信され、ＶＲコ
ンソール１１０は動作要求に対応する動作を実施する。いくつかの実施形態では、ＶＲ入
力周辺機器１４０は、ＶＲコンソール１１０から受け取った命令に従って、触覚フィード
バックをユーザに与えることができる。例えば、動作要求が受け取られるとき、またはＶ
Ｒコンソール１１０が、ＶＲコンソール１１０が動作を実施するときにＶＲ入力周辺機器
１４０に触覚フィードバックを生成させる命令をＶＲ入力周辺機器１４０に通信するとき
、ＶＲ入力周辺機器１４０は触覚フィードバックを与える。

［ＶＲコンソール］
ＶＲコンソール１１０は、外部撮像デバイス１３５、ＶＲヘッドセット１０５、および
ＶＲ入力周辺機器１４０のうちの１つまたは複数から受け取った情報に従って、ユーザに
提示するためにＶＲヘッドセット１０５にメディアを供給する。図１に示される例では、
ＶＲコンソール１１０は、アプリケーション・ストア１４５、ヘッドセット追跡モジュー
ル１５０、仮想現実（ＶＲ）エンジン１５５、および眼球追跡モジュール１６５を含む。
ＶＲコンソール１１０のいくつかの実施形態は、図１で説明されたものとは異なるモジュ
ールまたは追加のモジュールを有する。同様に、以下でさらに説明される機能は、ここで
説明されるものとは異なる方式でＶＲコンソール１１０の構成要素間に分散させることが
できる。

いくつかの実施形態では、ＶＲコンソール１１０は、プロセッサと、プロセッサによっ
て実行可能な命令を記憶する非一時的コンピュータ可読記憶媒体とを含む。プロセッサは
、命令を並列に実行する複数の処理装置を含むことができる。コンピュータ可読記憶媒体
は、ハード・ディスク・ドライブ、取外し可能メモリ、ソリッドステート・ドライブ（例
えば、フラッシュ・メモリ、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ））
などの任意のメモリとすることができる。種々の実施形態では、図１で説明されたＶＲコ
ンソール１１０のモジュールが、プロセッサによって実行されるとき、以下でさらに説明
される機能をプロセッサに実施させる、非一時的コンピュータ可読記憶媒体内の命令とし
て符号化される。

アプリケーション・ストア１４５は、ＶＲコンソール１１０によって実行するための１
つまたは複数のアプリケーションを記憶する。アプリケーションは、プロセッサによって
実行されるとき、ユーザに提示するためのコンテンツを生成する命令のグループである。
アプリケーションによって生成されるコンテンツは、ＶＲヘッドセット１０５またはＶＲ
入力周辺機器１４０の運動を介してユーザから受け取った入力に応答するものとすること
ができる。アプリケーションの例には、ゲーミング・アプリケーション、会議アプリケー
ション、ビデオ再生アプリケーション、または他の適切なアプリケーションが含まれる。

ヘッドセット追跡モジュール１５０は、１つまたは複数の較正パラメータを使用してＶ
Ｒシステム環境１００を較正し、１つまたは複数の較正パラメータを調節して、ＶＲヘッ
ドセット１０５の位置を求める際の誤差を低減することができる。例えば、ヘッドセット
追跡モジュール１５０は、ＶＲヘッドセット１０５上の観測されたロケータについてのよ
り正確な位置を得るために、外部撮像デバイス１３５のフォーカスを調節する。さらに、
ヘッドセット追跡モジュール１５０によって実施される較正は、ＩＭＵ１３０から受け取
った情報も反映する。さらに、ＶＲヘッドセット１０５の追跡が失われる（例えば、外部
撮像デバイス１３５が少なくともしきい数のロケータ１２０の視線を失う）場合、ヘッド
セット追跡モジュール１５０は、較正パラメータのいくつかまたはすべてを再較正する。

ヘッドセット追跡モジュール１５０は、外部撮像デバイス１３５からの低速較正情報を
使用して、ＶＲヘッドセット１０５の運動を追跡する。例えば、ヘッドセット追跡モジュ
ール１５０は、低速較正情報から観測したロケータおよびＶＲヘッドセット１０５のモデ
ルを使用して、ＶＲヘッドセット１０５の基準点の位置を求める。ヘッドセット追跡モジ
ュール１５０はまた、高速較正情報からの位置情報を使用して、ＶＲヘッドセット１０５
の基準点の位置を求める。さらに、いくつかの実施形態では、ヘッドセット追跡モジュー
ル１５０は、高速較正情報、低速較正情報、またはそれらの任意の組合せの部分を使用し
て、ＶＲヘッドセット１０５の将来の場所を予測することができる。ヘッドセット追跡モ
ジュール１５０は、ＶＲヘッドセット１０５の推定または予測した将来位置をＶＲエンジ
ン１５５に供給する。

ＶＲエンジン１５５はＶＲシステム環境１００内でアプリケーションを実行し、ＶＲヘ
ッドセット１０５の位置情報、ＶＲヘッドセット１０５の加速情報、ＶＲヘッドセット１
０５の速度情報、ＶＲヘッドセット１０５の予測将来位置、またはそれらの任意の組合せ
をヘッドセット追跡モジュール１５０から受け取る。ＶＲエンジン１５５はまた、眼球追
跡モジュール１６５から推定眼球位置および向き情報を受け取る。受け取った情報に基づ
いて、ＶＲエンジン１５５は、ユーザに提示するためにＶＲヘッドセット１０５に提供す
るためのコンテンツを求める。例えば、受け取った情報が、ユーザが左側を向いていたこ
とを示す場合、ＶＲエンジン１５５は、仮想環境内のユーザの運動を反映する、ＶＲヘッ
ドセット１０５についてのコンテンツを生成する。さらに、ＶＲエンジン１５５は、ＶＲ
入力周辺機器１４０から受け取った動作要求に応答してＶＲコンソール１１０上で実行す
るアプリケーション内の動作を実施し、動作が実施されたことを示すフィードバックをユ
ーザに与える。フィードバックは、ＶＲヘッドセット１０５を介する視覚的もしくは聴覚
的フィードバック、またはＶＲ入力周辺機器１４０を介する触覚フィードバックとするこ
とができる。

眼球追跡モジュール１６５は、眼球追跡ユニット１６０から眼球追跡データを受け取り
、眼球についての眼球追跡データに基づいてユーザの眼球の眼球位置を求める。眼球位置
は、ＶＲヘッドセット１０５またはその任意の要素に対する、眼球の向き、場所、または
その両方を指定する。眼球の回転軸は眼窩内の眼球の場所に応じて変化するので、眼窩内
の眼球の場所を求めることにより、眼球追跡モジュール１６５が眼球の向きをより正確に
求めることが可能となる。眼球位置はまた、眼球の位置、場所、またはその両方から求め
られた、眼球の焦点が合う電子ディスプレイ１１５のエリアを特定することができる。

いくつかの実施形態では、眼球追跡ユニット１６０は、眼球の画像を含む眼球追跡デー
タを出力し、眼球追跡モジュール１６５は、その画像から眼球の位置を求める。例えば、
眼球追跡モジュール１６５は、眼球追跡ユニット１６０によって撮像された画像と眼球位
置との間のマッピングを記憶して、眼球追跡ユニット１６０によって撮像された撮像画像
から基準眼球位置を求める。代替または追加として、眼球追跡モジュール１６５は、基準
眼球位置が求められたときに眼球追跡ユニット１６０によって撮像された画像を、更新後
の眼球位置が求められたときの撮像画像と比較することによって、基準眼球位置に対する
更新後の眼球位置を求める。眼球追跡モジュール１６５は、異なる撮像デバイスまたは他
のセンサからの測定を使用して眼球位置を求めることができる。例えば、眼球追跡モジュ
ール１６５は、低速眼球追跡システムからの測定値を使用して基準眼球位置を求め、次い
で、低速眼球追跡システムからの測定に基づいて次の基準眼球位置を求めるまで、高速眼
球追跡システムからの基準眼球位置に対する更新位置を求める。

眼球追跡モジュール１６５は、眼球追跡の精度および正確さを改善するために眼球較正
パラメータを求めることができる。眼球較正パラメータは、ユーザがＶＲヘッドセット１
０５をかぶり、または調節するときにはいつでも変化し得るパラメータを含む。例示的眼
球較正パラメータは、眼球追跡ユニット１６０の構成要素と、眼球の中心、ひとみ、角膜
境界、眼球の表面上の点などの眼球の１つまたは複数の部分との間の推定距離を含む。他
の例示的な眼球較正パラメータは特定のユーザに特有のものとすることができ、推定平均
眼球半径、平均角膜半径、平均強膜半径、眼球表面上の特徴のマップ、および推定眼球表
面輪郭を含むことができる。（いくつかの拡張現実応用例のように）ＶＲヘッドセット１
０５の外部からの光が眼球に達する実施形態では、較正パラメータは、ＶＲヘッドセット
１０５の外部からの光の変動のために、強度およびカラー・バランスのための補正係数を
含むことができる。眼球追跡モジュール１６５は、眼球較正パラメータを使用して、眼球
追跡ユニット１６０によって取り込まれた測定値によって眼球追跡モジュール１６５が正
確な眼球位置（本明細書では「有効測定値」とも呼ばれる）を求めることがいつ可能にな
るかを決定することができる。ユーザがまばたきし、ヘッドセットを調節し、またはヘッ
ドセットを取り外すことにより、またＶＲヘッドセット１０５が外部光によるしきい照明
変化を超えるものを受けることにより、眼球追跡モジュール１６５が正確な眼球位置を求
めることが不可能である非有効測定値が引き起こされ得る。

［ＶＲヘッドセット］
図２Ａは、仮想現実（ＶＲ）ヘッドセット１０５の一実施形態の図である。ＶＲヘッド
セット２００は、前部剛体２０５およびバンド２１０を含む。前部剛体２０５は、電子デ
ィスプレイ１１５（図２Ａには図示せず）、ＩＭＵ１３０（図２Ａには図示せず）、１つ
または複数の位置センサ１２５（図２Ａには図示せず）、ロケータ１２０、および眼球追
跡ユニット１６０を含む。他の実施形態では、ＶＲヘッドセット２００は、図２Ａに示さ
れるものとは異なる構成要素または追加の構成要素を含むことができる。

複数のロケータ１２０は、基準点に対して前部剛体２０５上の固定位置に互いに配置さ
れる。例えば、基準点はＩＭＵ１３０の中心に配置される。各ロケータ１２０は、外部撮
像デバイス１３５によって検出可能な光を放射する。ロケータ１２０、またはロケータ１
２０の各部分は、図２Ａの例では、前部剛体２０５の前側２２０Ａ、上側２２０Ｂ、下側
２２０Ｃ、右側２２０Ｄ、および左側２２０Ｅ上に配置される。

図２Ａの例では、眼球追跡ユニット１６０は、ＶＲヘッドセット２００の外側からは見
えない。眼球追跡ユニット１６０は、後ろからＶＲヘッドセット２００内を見るユーザに
とって見えることがあり、または見えないことがある。しかしながら、眼球追跡ユニット
１６０は通常、電子ディスプレイ１１５のユーザのビューを遮ることを避けるために、上
側２２０Ｂ、下側２２０Ｃ、右側２２０Ｄ、または左側２２０Ｅに配置される。例えば、
眼球追跡ユニット１６０は、上側２２０Ｂ、右側２２０Ｄ、下側２２０Ｃ、または左側２
２０Ｅのうちの２つの間の縁部に沿ったＶＲヘッドセット２２０のコーナに配置される。

図２Ｂは、図２Ａに示されるＶＲヘッドセット２００の実施形態の前部剛体２０５の断
面２２５である。図２Ｂに示されるように、前部剛体２０５は、電子ディスプレイ１１５
からの画像光を変更し、変更した画像光を眼球２４５の角膜２５５内に位置する眼球２４
５のひとみに供給するディスプレイ光学ブロック１１８を含む。眼球追跡ユニット１６０
は、ディスプレイ光学ブロック１１８よりも眼球２４５の近くに配置される。種々の実施
形態では、眼球追跡ユニット１６０は、ディスプレイ光学ブロック１１８および電子ディ
スプレイ１１５に対するユーザの視線の上方、下方、左方、または右方に配置される。例
えば、眼球追跡ユニット１６０の１つまたは複数の構成要素が、ディスプレイ光学ブロッ
ク１１８のコーナに隣接して配置される。眼球追跡ユニット１６０の詳細を示すために、
図２Ｂは、ＶＲヘッドセットの構成要素間のいくつかの距離または角度を誇張することが
ある。例えば、いくつかの実施形態では、光学ブロック１１８と電子ディスプレイ１１５
との間の距離は、眼球２４５とディスプレイ光学ブロック１１８との間の距離を上回る。
例示のために、図２Ｂは、単一の眼球２４５に関連する断面２２５を示すが、別のディス
プレイ光学ブロック１１８、別の電子ディスプレイ１１５、またはその両方が、変更され
た画像光をユーザの別の眼球に供給することができる。同様に、別の眼球追跡ユニット１
６０がユーザの別の眼球を追跡することができる。

眼球追跡ユニット１６０は、レーザ２６０などのコヒーレント光源、ならびにカメラ２
７０などの撮像システムを含む。レーザ２６０は眼球の表面２５０の一部を照射し、カメ
ラ２７０は、眼球表面２５０によって反射された光を測定する。眼球表面２５０は、眼球
の強膜、虹彩、またはその両方の表面を指すことがある。レーザ２６０は、眼球２４５の
表面法線ベクトル２６５に対してレーザ角度２７５で取り付けられ、カメラ２７０は、眼
球２４５の表面法線ベクトル２６５に対してカメラ角度２８０で取り付けられる。表面法
線ベクトル２６５は、レーザ２６０によって照射される眼球表面２５０の一部と直交する
。例えば、レーザ角度２７５は、表面法線ベクトル２６５と、レーザ２６０によって照射
される眼球表面２５０のその一部の中心からレーザの出力アパーチャの中心までの直線と
の間で測定される。カメラ角度２８０は、表面法線ベクトル２６５と、眼球表面２５０の
照射された部分の中心からカメラの光センサまたは光入力アパーチャの中心までの直線と
の間で測定することができる。いくつかの実施形態では、レーザ角度２７５とカメラ角度
２８０との間の差はしきい量未満であり、したがってカメラ２７０は、眼球表面２５０に
入射する光の鏡面反射の画像を撮像し、そのことは、有益なことに、得られる画像のコン
トラストを向上させ、光出力損失および電力消費を最小限に抑える。

種々の実施形態では、レーザ２６０は、眼球表面２５０の一部をコヒーレント光で照射
する。例えば、レーザ２６０は、８３２ｎｍ〜８５２ｎｍの間の波長を有する赤外線スペ
クトル内の光を放射する。別の例として、レーザ２６０は、９００ｎｍ〜１５５０ｎｍの
間の波長を有する光を放射する。代替として、レーザ２６０は、可視スペクトル内の波長
を有する光を放射する。しかしながら、赤外線スペクトル内の眼球表面２５０を照射する
ことは、有益なことに、電子ディスプレイ１１５によって放射された可視光からの、また
はいくつかの拡張現実応用例のように、ＶＲヘッドセット２００内に入る外部可視光から
の干渉およびノイズを低減する。レーザ２６０は、眼球２４５のひとみに入射する光を最
小限に抑えるように配置することができる。さらに、レーザ２６０は通常、ユーザの不快
または傷害を防止するために低電力を有する。例えば、レーザは、約０．３マイクロワッ
トの出力を有するＣｌａｓｓ１レーザである。別の例として、レーザ２６０は、端面発光
型半導体レーザまたは垂直共振器型面発光レーザ（ＶＣＳＥＬ）である。

眼球追跡ユニット１６０は通常、コヒーレント光源（すなわち、無視できる位相差の精
密な波長の光を放射する光源）を含むが、非コヒーレント光源を使用することができる。
いくつかの実施形態では、眼球追跡ユニット１６０は、可視帯域内または赤外線帯域内の
波長を有する光を放射する発光ダイオード（ＬＥＤ）を含む。しかしながら、ＬＥＤはレ
ーザ２６０と比較して広い波長帯にわたって放射するので、ＬＥＤは、コヒーレント光源
を使用して生成される画像よりも低いコントラストの画像を生成することがある。いくつ
かの実施形態では、追加のレーザ２６０（または他の光源）が、レーザ２６０（またはＬ
ＥＤまたは他の光源）を補足し、レーザ２６０（または他の光源）とは異なる波長の光を
放射して、眼球追跡精度を向上させる。

カメラ２７０は、レーザ２６０または他のコヒーレント光源によって照射される眼球表
面２５０の部分によって反射される光を撮像する。例えば、カメラ２７０は、３０ピクセ
ル×３０ピクセルのピクセル・アレイで画像を撮像し、ピクセルは、眼球表面２５０の１
５から４０マイクロメートルの解像度に対応する。この例では、眼球表面２５０の撮像部
分は、０．２０から１．４４平方ミリメートルの間の面積を有する。眼球表面２５０の撮
像部分は、レーザ２６０によって照射される眼球表面２５０の部分のサイズのしきい量以
内のサイズを有する。

種々の実施形態では、カメラ２７０は、眼球追跡精度および精度を向上させるために、
向上した解像度を有する。例えば、カメラ２７０は、３２０ピクセル×２４０ピクセルの
ピクセル・アレイを有するＱＶＧＡ解像度を有する。カメラ２７０内に含まれるピクセル
数を増加させることにより、ピクセルに対応する眼球表面２５０のサイズを低減すること
が可能となり、カメラ２７０によって撮像される眼球表面２５０の面積を増加させること
が可能となり、またはこれらの任意の組合せが可能となる。しかしながら、より少ないピ
クセルを使用することは、有益なことに、カメラ２７０によって消費される電力を削減し
、撮像および照明のために使用する面積がより小さいと、有益なことに、レーザ２６０に
よる電力消費が削減される。いくつかの実施形態では、カメラ２７０は、光学式マウス・
センサ、または非常に高いフレーム・レートを取り込む他のセンサである。例えば、カメ
ラ２７０は、精密な眼球追跡データを実現するために毎秒約５０００個の画像を撮像する
。

［眼球追跡ユニット］
図３Ａは、眼球追跡ユニット１６０の一実施形態の図である。眼球追跡ユニット１６０
は、コリメーティング・レンズ３１０を含むレーザ２６０と、レンズ・アセンブリ３２０
および画像センサ３３０を含むカメラ２７０とを含む。別の実施形態では、眼球追跡ユニ
ット１６０は、図３Ａで説明されたものとは異なる構成要素および／または追加の構成要
素を含むことができる。

コリメーティング・レンズ３１０は、レーザ２６０によって放射された光を、眼球表面
２５０に向かう平行ビームに整列する。いくつかの実施形態では、コリメーティング・レ
ンズ３１０はレーザ２６０と一体である。レーザ２６０によって放射された光をコリメー
トすることにより、レーザによって放射された光が、カメラ２７０によって撮像される眼
球表面２５０の一部を一様に照射する。眼球表面２５０の照射される部分の非一様な照射
により、カメラ２７０によって撮像される画像の異なる部分が異なる輝度範囲を有するこ
とになり、カメラ２７０によって撮像される眼球表面２５０の画像のコントラストが低下
する。したがって、コリメーティング・レンズ３１０は、カメラ２７０によって撮像され
る、得られる画像内のコントラストを改善する。さらに、コリメーティング・レンズ３１
０または他の構成要素を使用してレーザ２６０によって放射されるコリメートする光は、
眼球表面２５０の撮像される部分の外側の眼球表面２５０に入射するレーザ２６０からの
光を低減する。このことは、その後でカメラ２７０に向かって反射されないレーザによっ
て放射される光を低減することにより、レーザ２６０によって消費される電力を削減する
。

図３Ａの例では、レーザ２６０から放射された光は、点ＡとＢとの間、および点ＢとＣ
との間の眼球表面２５０を照射する。図３Ａの断面図は、レーザ２６０から放射された光
が円弧を照射することを示すが、レーザ２６０によって放射される、コリメート後の光は
通常、眼球表面２５０の円形または楕円形エリアを照射する。（例えば、毛細血管や隆起
などの特徴のために）眼球表面２５０は粗いので、眼球表面２５０は入射光を複数の方向
に散乱させる。眼球表面２５０の異なる部分は異なる特徴の構成を有し、したがって眼球
表面２５０の一部から反射する光からの回折パターンは、その一部の中の特徴の構成を反
映し、それによって、その回折パターンからの、眼球表面２５０のその部分の識別が可能
となる。眼球表面２５０に入射する光は、反射および散乱する前に、眼球内に短い距離だ
け屈折することがあり（例えば、放射光が赤外線スペクトル内にあるとき）、したがって
本明細書での「眼球表面」への参照は、放射光および反射光が透過する眼球の部分をも含
む。

レンズ・アセンブリ３２０は、眼球表面２５０によって反射された光を収集し、画像セ
ンサ３３０上に結像する。さらに、レンズ・アセンブリ３２０は、（ディスプレイ光学ブ
ロック１１８に関して上記で説明されたような）１つまたは複数の光学誤差を補正して、
画像センサ３３０によって撮像された画像のコントラストおよび他の特性を改善する。い
くつかの実施形態では、レンズ・アセンブリ３２０は反射光を拡大することができる。代
替として、レンズ・アセンブリ３２０は、無視できる拡大だけを反射光に適用する。

画像センサ３３０は、レンズ・アセンブリ３２０によって集束された入射光を撮像する
。眼球表面２５０での散乱のために、図３Ａの画像センサ３３０上の点Ｄに入射する光は
、点Ａ、Ｂ、Ｃなどの眼球表面２５０の照射部分内の複数の点から反射した光からの干渉
の結果として生じる。同様に、図３Ａの画像センサ３３０の点Ｅと点Ｆの両方に入射する
光は、眼球表面２５０上の複数の点から反射した光の間の干渉の結果として生じる。した
がって、画像センサ３３０は、眼球表面２５０の回折またはスペックル・パターンを撮像
する。各ピクセルについて、画像センサ３３０は、ピクセルへの入射光の強度に比例する
電流または電圧を出力する光感応性回路を含む。

一実施形態では、画像センサ３３０は、レーザ２６０によって放射された波長を含む光
波長の狭帯域に感応し、したがってピクセルまたはサブピクセルに対応する光感応回路の
出力は、ピクセルまたはサブピクセル上の波長の狭帯域内の波長を有する光の強度に比例
する。別の実施形態では、画像センサ３３０は、広帯域または多帯域感度を有し、したが
ってピクセルまたはサブピクセルに対応する光感応回路の出力は、ピクセルまたはサブピ
クセル上の画像センサ３３０の広帯域範囲内の波長を有する光の強度に比例する。例えば
、画像センサ３３０は相補型金属酸化物半導体（ＣＭＯＳ）アレイを含み、ＣＭＯＳアレ
イは、約８５０ｎｍ未満の波長を有するレーザ光とともに使用することができる。別の例
として、画像センサ３３０は、インジウム・ガリウム砒素（ＩｎＧａＡｓ）合金に基づく
アレイを含む。そのような画像センサ３３０は、約９００ｎｍ〜約１５５０ｎｍの間の波
長を有するレーザ光を放射するレーザ２６０とともに使用することができる。

図３Ｂは、偏光感応性素子を含む眼球追跡ユニット１６０の一実施形態の図である。図
３Ｂに示される眼球追跡ユニット１６０は、レーザ２６０、コリメーティング・レンズ３
１０、入射光偏光子３４０、反射光偏光子３５０、およびカメラ２７０を含む。しかしな
がら、他の実施形態では、眼球追跡ユニット１６０は、図３Ｂで説明されたのとは異なる
構成要素および／または追加の構成要素を含むことができる。代替として、眼球追跡ユニ
ット１６０は、図３Ｂで説明された実施形態での複数の構成要素によって提供される機能
を組み合わせる構成要素を含むことができる。

入射光偏光子３４０は、レーザ２６０から放射された光を偏光する。例えば、入射光偏
光子３４０は、レーザ２６０によって放射された光を円偏光する４分の１波長板である。
別の例として、入射光偏光子３４０は、液晶素子などの可変光偏光子である。液晶の向き
を修正するために電場を加えることにより、眼球追跡ユニット１６０は、眼球表面２５０
に入射する光の偏光状態を動的に変更することができる。いくつかの実施形態では、偏光
子３４０は省略される。例えば、レーザ２６０は、眼球表面２５０によって反射される光
の入射面内で直線偏光された光を放射する。眼球表面２５０は、眼球表面２５０を照射す
るレーザ２６０によって放射された光の偏光状態（例えば、偏光向き、偏光の程度）を修
正する。眼球は一般には楕円形であり、粗い表面を有するので、眼球表面２５０の異なる
部分を照射するレーザ２６０によって放射された光は、異なる角度および異なる偏光状態
で反射される。

反射光偏光子３５０は、眼球表面２５０からカメラ２７０に反射する光を特定の偏光面
にフィルタリングし、したがってカメラ２７０は、反射光が反射光偏光子３５０の偏光面
に適合する程度を測定する。例えば、反射光偏光子３５０は、カメラ２７０によって撮像
された光を直線偏光する半波長板である。カメラ２７０は、眼球表面２５０によって反射
された光の偏光状態が反射光偏光子３５０の偏光面に合致する程度を測定する。例えば、
反射光偏光子３５０は、眼球表面２５０によって反射された光の入射面に光を偏光する。
代替または追加として、反射光偏光子３５０は液晶素子であり、液晶素子は、液晶の向き
を修正する、加えられた電場に従って、眼球表面２５０によって反射された光の偏光状態
を動的に変更することができる。他の実施形態では、反射光偏光子３５０はまた、直線偏
光を円偏光し、カメラ２７０の機能を改善するために、４分の１波長板をも含む。偏光を
使用することによって、レーザ２６０以外の光源からの干渉が削減される。

カメラ２７０に入射する光の強度は、反射光偏光子３５０に入射する光が反射光偏光子
３５０の偏光面に合致する程度を示す。したがって、カメラ２７０は、ピクセルの強度が
眼球表面２５０の特定部分からの偏光状態を示す画像を撮像し、したがって、電子振動の
局所的方向、および眼球表面２５０の特定部分での表面法線ベクトルの向きについての情
報を提供する。眼球表面２５０に入射する光の偏光状態に応じて、カメラ２７０によって
撮像される偏光フィルタリング後の光の強度は、それぞれの特定のピクセルで、局所極小
、局所極大、またはその間の任意の強度値を有することができる。眼球追跡モジュール１
６５は、直線偏光の角度を計算することによって、画像のピクセルの強度から眼球表面２
５０の異なる部分の表面法線ベクトルを求めることができる。これらの表面法線ベクトル
を使用して、眼球追跡モジュール１６５は、眼球表面の輪郭のモデルを導出する。代替ま
たは追加として、眼球追跡モジュール１６５は、各ピクセルの直線偏光の程度を求めるこ
とができる。直線偏光の程度を画像のピクセル値として使用して、眼球追跡モジュール１
６５は、図４Ａ〜図５に関して説明されるように眼球位置を求める。

図３Ｃは、シャー干渉効果を生み出すために１つまたは複数の素子を含む眼球追跡ユニ
ット１６０の一実施形態の図である。図３Ｃの例では、眼球追跡ユニット１６０は、コリ
メーティング・レンズ３１０を備えるレーザ２６０と、シャー・プレート３６０と、カメ
ラ２７０とを含む。しかしながら、他の実施形態では、眼球追跡ユニット１６０は、図３
Ｃで説明されたのとは異なる構成要素および／または追加の構成要素を含むことができる
。代替として、眼球追跡ユニット１６０は、図３Ｃで説明された実施形態での複数の構成
要素によって提供される機能を組み合わせる構成要素を含むことができる。

シャー・プレート３６０は、シャー・プレート３６０からのシフトされた反射間のシャ
ー干渉効果を生み出し、これにより、カメラ２７０によって撮像される画像のコントラス
トが向上する。シャー・プレート３６０の前面が、眼球表面２５０から反射した入射光の
一部を反射する。シャー・プレート３６０への入射光の別の部分は、シャー・プレート３
６０の前面によって反射され、シャー・プレート３６０の背面に対して反射され、シャー
・プレート３６０の前面によって再び反射される。したがって、シャー・プレート３６０
は、カメラ２７０によって撮像される２つ以上の干渉反射を生み出す。これらの複数の反
射の間の干渉縞は、シャー・プレート３６０の前面および背面の傾きの間の差に依存する
。例えば、シャー・プレート３６０は、カメラ２７０の感度を最大にする、眼球表面２５
０によって反射される光に対して４５°に配向される顕微鏡カバーガラスである。他の実
施形態では、シャー・プレート３６０は、干渉を引き起こす格子、または空気ウェッジ・
シャーリング干渉計である。シャー・プレート３６０の代わりに格子を使用することによ
り、光路の長さが低減することができ、小型化を容易にすることができる。

眼球表面２５０から反射される光は、眼球表面２５０上の高さ変動に対応する振幅およ
び位相情報を含む。シャー・プレート３６０（または格子）は、眼球表面２５０によって
反射される光と、眼球表面２５０によって反射される光の空間的に分離されたコピーとの
間の干渉を引き起こす。得られる画像は、眼球表面２５０の向き（ならびにシャー・プレ
ートの前面および背面の相対的な向き）に依存する。有益なことに、シャー・プレート３
６０（または格子）は、得られる画像のコントラストを向上させる。

例示のために別々の実施形態として示されるが、図３Ａ、図３Ｂ、および図３Ｃに示さ
れる要素の任意の組合せが、眼球追跡ユニット１６０の種々の実施形態に存在することが
できる。例えば、眼球追跡ユニット１６０は、偏光感応効果とともにシャー干渉効果を生
み出すために、入射光偏光子３４０、反射光偏光子３５０、シャー・プレート３６０、ま
たはそれらの任意の組合せを含む。眼球表面２５０に入射する平行光を使用して、カメラ
２７０に入射する偏光フィルタリング後の光、カメラ２７０に入射するシャーリング後の
光、またはそれらの組合せにより、眼球表面２５０によって散乱される光のコントラスト
が向上し、眼球追跡ユニット１６０の精度を低下させることなく、より低出力のレーザの
使用が可能となる。

［眼球追跡］
図４Ａは、眼球追跡ユニット１６０によって撮像される例示的な画像４０１，４０２を
示す。カメラ２７０は、初期時刻に眼球表面２５０の画像４０１を撮像し、後の時刻に眼
球表面２５０の画像４０２を撮像する。例示のために、画像４０１，４０２は、画像セン
サ３３０によって撮像される画像を１０×１０ピクセル・アレイで提示するが、他の実施
形態は異なるピクセル数を有することができる。図４Ａでは、ピクセルの異なるカラーは
、眼球表面２５０の複数の点から散乱した光の間の干渉からの光の異なる強度に対応する
。したがって、画像４０１，４０２は、眼球表面２５０の照射部分の回折パターンと解釈
することができる。

眼球の位置変化を求めるために、眼球追跡モジュール１６５は、画像４０１と画像４０
２との間のサブピクセル・シフトを求める。サブピクセル・シフトにピクセル当たりの較
正距離を掛けることにより、眼球追跡モジュール１６５が、初期時刻と後の時刻との間で
眼球表面２５０がシフトした距離を求めることが可能となる。例えば、画像４０２で取り
込まれたパターンが、画像４０１で取り込まれたパターンに対して２サブピクセルだけ左
にシフトする。例えばサブピクセルが眼球表面２５０での１０マイクロメートルの距離に
対応する場合、眼球表面２５０は、画像４０１の初期時刻での位置に対して、画像４０２
の後の時刻で２０マイクロメートルだけ左に移動した。

代替または追加として、眼球追跡モジュール１６５は、眼球の既知の位置を有する以前
の画像との比較により、画像４０１または画像４０２での眼球の位置を求める。例えば、
眼球追跡モジュール１６５は、基準眼球位置にそれぞれ関連付けられた画像のデータベー
スを含む。画像４０２を記憶された画像とマッチングすることによって、眼球追跡モジュ
ール１６５は、記憶された画像に関連付けられた基準眼球位置を眼球が有すると判定する
。いくつかの実施形態では、眼球追跡モジュール１６５は、撮像画像４０２の一部の中の
表面特徴を識別する。表面特徴は、眼球表面２５０の特定部分に関連付けられた回折パタ
ーンまたはオプティカル・フロー・パターンである。眼球追跡モジュール１６５は、表面
特徴が基準画像内に取り込まれたとき、表面特徴に関連付けられた基準眼球位置を取り出
し、撮像画像内の表面特徴と基準画像内の表面特徴との間のサブピクセル・シフトを求め
、ピクセル当たりの較正距離を使用して、求めたサブピクセル・シフトに従って基準眼球
位置を修正することにより眼球位置を求めることができる。

図４Ｂは、図４Ａの画像から導出される眼球運動と、ディスプレイ１１５に対する眼球
追跡との間の例示的関係を示す概念図である。図４Ｂは、カメラ２７０、眼球２４５、お
よび電子ディスプレイ１１５を含むＶＲヘッドセット１０５の簡略化された断面図を示す
。他の実施形態は、眼球のひとみと電子ディスプレイ１１５との間の光路を修正し、した
がって図示される例で与えられる関係を修正する追加の素子を含むことができる。

図４Ｂでは、基準点Ａは表面特徴の基準位置であり、点Ａ´は、更新後の眼球位置に対
応する表面特徴の位置である。眼球追跡モジュール１６５は、表面特徴の基準位置と表面
特徴の更新位置との間の差に対応する、点ＡとＡ´との間の眼球シフト距離ｘを求める。
いくつかの実施形態では、基準位置は、以前に撮像された画像（例えば、画像４０１）の
ときの眼球位置であり、眼球シフト距離ｘは、以前に撮像された画像を更新後の画像（例
えば、画像４０２）と比較することによって求められる。いくつかの実施形態では、表面
特徴の基準位置は、眼球位置を記述する座標系の軸に対応する眼球位置であり、眼球シフ
ト距離ｘは、基準位置での表面特徴の場所に対する更新後の眼球位置での表面特徴の変位
を表す。このケースでは、眼球シフト距離ｘは、（例えば、画像４０２を、表面特徴の基
準位置からの眼球シフト距離ｘでの表面特徴の位置を含む、記憶された画像とマッチング
することによって）単一の画像から求めることができる。

較正パラメータに基づいて、眼球追跡モジュール１６５は眼球２４５の半径Ｒを取り出
す。半径Ｒは、点Ａ´または基準点Ａに関連付けられた局所的半径とすることができる。
半径Ｒに基づいて、眼球追跡モジュール１６５は、式θ＝ｘ／Ｒに従って眼球運動角度θ
を求め、眼球運動角度θは、断面の平面内の基準位置に対する更新後の眼球位置の角度変
位を表す。

注視点Ｂ´は、撮像画像から求められた更新後の眼球位置でのユーザの視覚の焦点を表
す。ユーザは、角膜２５５内のひとみを通じて、電子ディスプレイ１１５上の注視点Ｂ´
への視線４１０を有する。基準注視点Ｂは、眼球が基準位置にあるときの、電子ディスプ
レイ１１５上のユーザの視覚の焦点を表す。例えば、基準注視点Ｂは、表面特徴が基準点
Ａに向けられたときの較正中のユーザの視覚の焦点、またはユーザの眼球が配置され、し
たがって表面特徴が基準点Ａに向けられたときに以前の画像が撮像されたときのユーザの
視覚の焦点である。眼球が基準位置にあるとき、ユーザは、電子ディスプレイ１１５上の
基準注視点Ｂへの基準視線４０５を有する。視線４０５と視線４１０との間の角度は眼球
運動角度θに等しい。

眼球追跡モジュール１６５は、眼球と電子ディスプレイ１１５との間の相対的向きに基
づいて、基準注視点Ｂに対する注視点Ｂ´の注視位置ｙを求める。図４Ｂに示される簡略
化された図面では、眼球追跡モジュール１６５は、電子ディスプレイ１１５に対して直交
する直線４１５に沿った、眼球の回転軸と電子ディスプレイ１１５との間の距離Ｄを得る
。較正パラメータから求められる、基準視線４０５と直線４１５との間の角度αに基づい
て、眼球追跡モジュールは、注視位置をｙ＝Ｄ・ｔａｎ（α）−Ｄ・ｔａｎ（α−θ）と
して求める。眼球が移動するにつれて眼球の向きの軸が変化することがあるので、眼球追
跡モジュール１６５は、最後に求められた眼球位置に少なくとも部分的に基づいて、距離
Ｄ、角度α、および直線４１５の位置を動的に求めることができる。

［眼球追跡］
図５は、眼球位置を求めるための方法の一実施形態のフローチャートである。いくつか
の実施形態では、方法は、図５で説明されたものとは異なるステップまたは追加のステッ
プを含むことができる。さらに、いくつかの実施形態では、方法は、図５で説明された順
序とは異なる順序でステップを実施することができる。

ＶＲヘッドセット１０５は、レーザ２６０などのＶＲヘッドセット１０５に取り付けら
れた（例えば、ＶＲヘッドセット１０５の内部の）コヒーレント光源で眼球表面２５０を
照射する（５１０）。種々の実施形態では、コヒーレント光源が、ＶＲヘッドセット１０
５内の眼球追跡ユニット１６０内に含まれる。図３Ａおよび図３Ｂで説明したように、眼
球表面２５０を照射（５１０）する光は、コリメーティング・レンズ３１０によってコリ
メートされ得るか、入射光偏光子３４０によって偏光され得るか、またはその両方である
。

ＶＲヘッドセット１０５の眼球追跡ユニット１６０に含まれるカメラ２７０などの撮像
デバイスは、眼球表面２５０によって反射された光を撮像する（５２０）。いくつかの実
施形態では、撮像デバイス内の撮像センサ３３０が眼球表面２５０から反射した光を受け
る前に、眼球表面２５０から反射した光は、反射光偏光子３５０によって偏光され得るか
、もしくは眼球表面２５０から反射した光を集束または修正するレンズ・アセンブリ３２
０によって屈折され得る。眼球表面２５０が粗いので、撮像デバイスの撮像センサ３３０
によって撮像された（５２０）光は、眼球表面２５０の複数の部分から反射した光の組合
せから形成されたスペックルまたは回折パターンとなり得る。

いくつかの実施形態では、ＶＲヘッドセット１０５は、１つまたは複数の画像処理を実
施して、撮像デバイスによって撮像された（５２０）光から生成された画像のコントラス
トを改善する。例示的画像処理には、センサ補正（例えば、黒レベル調節、レンズ歪曲補
正、ガンマ補正）および照明レベル補正（例えば、ホワイト・バランス補正）が含まれる
。ＶＲヘッドセット１０５はまた、ヒストグラム等化または任意の他の技法を実施して、
撮像された光の画像のコントラストを向上させることができる。いくつかの実施形態では
、ＶＲヘッドセット１０５は、照明レベル補正を実施して、電子ディスプレイ１１５また
は外部光源による眼球表面２５０の可変照明によって引き起こされるノイズを低減するこ
とができる。カメラ２７０は通常、コヒーレント光源の波長に対応する単一色で画像を撮
像するが、ＶＲヘッドセット１０５は、カメラ２７０が複数の色で画像を撮像する実施形
態では、色補正（例えば、デベイヤリング（debayering）、輝度−クロマ空間への色空間
変換）を適用することができる。代替または追加として、ＶＲコンソール１１０は、ＶＲ
ヘッドセット１０５内の撮像デバイスによって得られ、ＶＲヘッドセット１０５からＶＲ
コンソール１１０に通信される画像に対して１つまたは複数の画像処理を実施する。

ＶＲヘッドセット１０５は、撮像された光または撮像された画像から導出されたデータ
から撮像デバイスによって撮像される画像を含む眼球追跡データをＶＲコンソール１１０
に送る。例えば、眼球追跡データは、１つまたは複数の画像処理による修正版の撮像画像
を含む。別の例として、眼球追跡データは、眼球追跡ユニット１６０によって撮像された
画像と、眼球追跡ユニット１６０のコヒーレント光源以外の光源による眼球表面２５０の
照明を記述するデータとを含む。ＶＲヘッドセット１０５が眼球追跡モジュール１６５に
関連する機能を実施する実施形態では、眼球追跡データはＶＲコンソール１１０に通信さ
れない。

眼球追跡モジュール１６５は、受け取った眼球追跡データが眼球位置を正確に求めるた
めに使用可能な有効な測定値に対応することを検証する（５３０）。例えば、眼球追跡モ
ジュール１６５は、眼球追跡データの代表的性能指数を求め、代表的性能指数を妥当性し
きい値と比較する。代表的性能指数が妥当性しきい値未満である場合、眼球追跡モジュー
ル１６５は、受け取った眼球追跡データが有効でないと判定する。しかしながら、代表的
性能指数が妥当性しきい値以上である場合、眼球追跡モジュール１６５は、受け取った眼
球追跡データが有効な測定値に対応することを検証する（５３０）。代表的性能指数は、
和、平均、中央値、範囲、標準偏差、または画像データ内のピクセル値の他の定量化（例
えば、ピクセル・グレイ・レベル、輝度値、強度値）とすることができる。代表的性能指
数は、受け取った眼球追跡データ内に含まれる画像内のすべてのピクセルの性能指数から
求めることができ、またはサンプリング技法によって、受け取った眼球追跡データ内に含
まれる画像内のピクセルのサブセットから推定することができる。いくつかの実施形態で
は、眼球追跡モジュール１６５は、画像内の種々のピクセルの相対強度を求め、相対強度
の和を求め、和を妥当性しきい値と比較する。例えば、ユーザがまばたきするとき、相対
ピクセル強度の和が減少し、したがって眼球追跡モジュール１６５は、相対ピクセル強度
値（または他の代表的値）の和が妥当性しきい値未満であると判定したことに応答して、
受け取った眼球追跡データが有効でないと判定する。種々の実施形態では、妥当性しきい
値は、ＶＲヘッドセット１０５の製造中に指定され、またはＶＲヘッドセット１０５の較
正中に求められる。受け取った眼球追跡データの妥当性を検証する（５３０）ときに、変
動する外部照明条件を反映するために、受け取った眼球追跡データのしきい時間内に取り
込まれた以前に受け取った眼球追跡データの代表的性能指数またはピクセルの相対強度の
組合せのトレーリング平均、または受け取った眼球追跡データのしきい時間内に取り込ま
れ、有効であると判定された、以前に受け取った眼球追跡データの代表的性能指数または
ピクセルの相対強度のトレーリング平均に基づいて、妥当性しきい値を動的に求めること
ができる。種々の実施形態では、トレーリング平均は、有限インパルス応答（ＦＩＲ）フ
ィルタとして適用され、あるいは無限インパルス応答（ＩＩＲ）やＦＩＲフィルタなどと
ともに、時間または周波数の点で制御された応答を受け取るように数値的にフィルタリン
グされる。他の実施形態では、トレーリング平均は、指定の応答に対して同調することが
できる任意のＦＩＲフィルタとして適用することができ、あるいは任意の他の適切なフィ
ルタを使用して代替として適用することができる。

眼球追跡モジュール１６５は、受け取った眼球追跡データから眼球位置を求めるために
較正データにアクセスする（５４０）。較正データは、眼球追跡ユニット１６０の画像セ
ンサ３３０のサブピクセルに対応する眼球表面２５０上の距離を示すサブピクセル距離値
を含むことができる。画像センサ３３０のサブピクセルが眼球表面２５０上の矩形（また
は楕円形）エリアに対応する場合、較正データは、眼球表面２５０に沿った直交する方向
（例えば、眼球表面２５０上のエリアの長さおよび幅）に対応する２つのサブピクセル距
離値を含むことができる。サブピクセル距離値は、画像センサ３３０（またはレンズ・ア
センブリ３２０）と眼球表面２５０との間の距離から部分的に求めることができる。画像
センサ３３０と眼球表面２５０との間の距離は、較正期間中に求めることができ、または
ＶＲヘッドセット１０５（例えば、レーザ・レンジファインダ、ソナー）内に含まれる測
距デバイスを介して動的に求めることができる。種々の実施形態では、ＶＲヘッドセット
１０５は、画像センサ３３０と眼球表面２５０との間の距離を周期的に（例えば、毎秒１
回）求め、ＶＲヘッドセット１０５の電源オンに応答して、画像センサ３３０と眼球表面
２５０との間の距離を求め、またはユーザの頭部のＶＲヘッドセット１０５の調節を示す
測定信号を位置センサ１２５から受信したことに応答して、画像センサ３３０と眼球表面
２５０との間の距離を求める。サブピクセル距離値は、カメラ２３０またはレンズ・アセ
ンブリ３２０の特性である、サブピクセルに対応するラジアン単位の角度に、画像センサ
３３０と眼球表面２５０との間の距離を掛けることによって求めることができる。サブピ
クセル距離値を使用して、眼球追跡モジュール１６５は、受け取った眼球追跡データから
の眼球表面２５０の２つの画像間のサブピクセル・シフトから眼球位置の変化を求める。

代替または追加として、眼球追跡モジュール１６５は、較正期間中に撮像された基準画
像を含むテーブル（例えば、ルックアップ・テーブル）からの較正データにアクセスする
（５４０）。基準画像は、既知の眼球位置、電子ディスプレイ１１５上の特定の眼球注視
点、またはその両方に対応する。例示的較正期間の間、ＶＲヘッドセット１０５は、電子
ディスプレイ１１５上の一連のアイコンを注視するようにユーザに指示し、ユーザが各ア
イコンを注視するとき、基準画像を撮像する。基準画像は、撮像時のアイコンの眼球注視
点に対応し、眼球追跡モジュール１６５は、眼球のモデル、および眼球追跡ユニット１６
０内に含まれる他の眼球追跡システムから、基準画像に対応する眼球位置を推論する。眼
球追跡モジュール１６５は、基準画像を記憶することができ、または受け取った眼球追跡
データからの後続の画像とのマッチングを容易にするために基準画像の凝縮表現を記憶す
ることができる。例えば、眼球追跡モジュール１６５は、各基準画像についてのフィンガ
ープリントを生成するか、各基準画像から特徴（例えば、ブロブ、縁部、リッジ、コーナ
）を抽出するか、またはその両方を行う。抽出した特徴は、眼球表面２５０上の特徴の位
置を特定する情報か、特徴の構成ピクセルの値か、またはその両方に関連付けて記憶され
得る。基準画像（またはその凝縮表現）を使用して、眼球追跡モジュール１６５は、受け
取った眼球追跡データからの単一の画像を参照して眼球位置を求めることができる。

アクセスした較正データを使用して、眼球追跡モジュール１６５は、受け取った眼球追
跡データから眼球位置を求める（５５０）。いくつかの実施形態では、眼球追跡モジュー
ル１６５は、基準眼球位置に関連付けられた基準画像を取得する。例えば、カメラ２７０
が基準画像を撮像するのと同時に、眼球追跡ユニット１６０内の別の眼球追跡システム（
例えば、低速眼球追跡システム）が基準眼球位置を独立して求める。眼球追跡モジュール
１６５は、更新画像と基準画像との間のサブピクセル・シフトを求め、サブピクセル・シ
フトからの眼球シフト距離を求め、基準眼球位置を眼球シフト距離と組み合わせることに
よって更新後の眼球位置を求める（５５０）。サブピクセル・シフトを求めるために、眼
球追跡モジュール１６５は、任意の運動追跡またはオプティカル・フロー技法（例えば、
位相相関、ブロック・マッチング、差分オプティカル・フロー方法）を使用することがで
きる。眼球追跡モジュール１６５は、求めたサブピクセル・シフトに、アクセスした較正
データからのサブピクセル距離値を掛けることによって眼球シフト距離を求める。サブピ
クセル・シフトは２次元（例えば、５ピクセル上方、３ピクセル左方）とすることができ
、したがって眼球シフト距離も２次元とすることができる（例えば５０マイクロメートル
上方、３０マイクロメートル左方）。眼球シフト距離を使用して、眼球追跡モジュール１
６５は、基準眼球位置を眼球シフト距離だけシフトすることによって更新後の眼球位置を
求める（５５０）。更新後の眼球位置を求める（５５０）とき、眼球追跡モジュール１６
５は、眼球の向きおよび場所を更新するか、更新後の眼球回転軸を求めるか、電子ディス
プレイ１１５上の新しい注視場所を（図４Ｂに関連してさらに詳細に説明したように）求
めるか、またはそれらの組合せを行い得る。

代替または追加として、眼球追跡モジュール１６５は、更新画像を、アクセスした較正
データからの基準画像とマッチングすることによって眼球位置を求める（５５０）。眼球
追跡モジュール１６５は、更新画像を種々の基準画像と比較して、合致する基準画像を求
める。眼球追跡モジュール１６５は、更新画像と合致する程度に基づいて基準画像をスコ
アリングし、最高のスコアを有する基準画像を選択することによって、合致する基準画像
を求めることができる。代替または追加として、しきい値を超えるスコアを有する基準画
像が識別されるまで、基準画像が更新画像と比較され、スコアリングされる。カメラ２７
０が眼球の１平方ミリメートルに対応する画像を撮像する場合、較正データは、眼球の全
可動域にわたって撮像することのできる眼球表面２５０の異なる部分に対応する約５００
個の画像を含む。いくつかの実施形態では、眼球追跡モジュール１６５は、更新画像の凝
縮表現（例えば、フィンガープリント、特徴のセット）を生成し、更新画像の凝縮表現を
基準画像の凝縮表現と比較して、合致する基準画像を求めるための時間および計算資源を
削減する。眼球追跡モジュール１６５が合致する基準画像を求めるとき、眼球追跡モジュ
ール１６５は、更新画像と基準画像との間のサブピクセル・シフトだけ、合致する基準画
像に関連付けられた基準位置を調節することによって更新位置を求める。

眼球追跡モジュール１６５は、求めた眼球位置をＶＲコンソール１１０の他の構成要素
に供給する（５６０）。例えば、眼球追跡モジュール１６５は、求めた眼球位置内に含ま
れる推定注視点をＶＲエンジン１５５に供給し（５６０）、ＶＲエンジン１５５は、注視
点を仮想世界への入力として使用する。注視点に基づいて、ＶＲエンジン１５５は、ユー
ザに提示するためのコンテンツを選択する（例えば、仮想剣闘コンテストでの別の仮想ア
ニメ生物に対する配置のために、注視点に対応する仮想アニメ生物を選択したり、仮想メ
ニューをナビゲートしたり、仮想世界内でプレイするためのスポーツ・ボールのタイプを
選択したり、またはファンタジー・スポーツ・ボール・チームに加えるための有名なスポ
ーツ・ボール・プレーヤを選択したりする）ことができる。

［追加の構成情報］
実施形態の上記の説明は、例示のために提示されたものであり、網羅的なものでも、開
示された厳密な形態に特許権を限定するものでもない。上記の開示に照らして多くの変更
形態および変形形態が可能であることを関連技術の技術者は理解し得る。

この説明のいくつかの部分は、情報に対する処理のアルゴリズムおよび記号表現の点か
ら実施形態を説明する。これらのアルゴリズム説明および表現は、データ処理技術分野の
技術者によって、自らの研究の題材を当業者に効果的に伝達するために一般的に使用され
る。これらの処理は、機能的、計算的、または論理的に説明されるが、コンピュータ・プ
ログラム、または等価な電気回路、マイクロコードなどによって実装されると理解され得
る。さらには、一般性を失うことなく、これらの処理の構成をモジュールとして参照する
ことが便利な場合があることも認識されている。説明される処理および関連するモジュー
ルは、ソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組合せで実
施することができる。

本明細書で説明されるステップ、処理、または方法のいずれも、１つまたは複数のハー
ドウェアまたはソフトウェア・モジュールだけで、または他のデバイスと組み合わせて実
施または実装することができる。一実施形態では、ソフトウェア・モジュールは、コンピ
ュータ・プログラム・コードを含むコンピュータ可読媒体を含むコンピュータ・プログラ
ム製品で実装され、コンピュータ・プログラム・コードは、説明されるステップ、処理、
または方法のいずれかまたはすべてを実施するためにコンピュータ・プロセッサによって
実行することができる。

実施形態はまた、本明細書での処理を実施するための装置に関するものでもよい。この
装置は、必要とされる目的のために特別に構築することができ、および／またはコンピュ
ータ内に記憶されたコンピュータ・プログラムによって選択的に活動化または再構成され
る汎用コンピューティング・デバイスを備えることができる。そのようなコンピュータ・
プログラムは、コンピュータ・システム・バスに結合することのできる、非一時的な有形
のコンピュータ可読記憶媒体、または電子命令を記憶するのに適した任意のタイプの媒体
内に記憶することができる。さらに、本明細書内で参照される任意のコンピューティング
・システムは、単一のプロセッサを含むことができ、またはコンピューティング能力の向
上のために複数のプロセッサ設計を利用するアーキテクチャとすることができる。

実施形態はまた、本明細書で説明されるコンピューティング方法によって生成される製
品に関するものでもよい。そのような製品は、コンピューティング方法から得られる情報
を含むことができ、情報は、非一時的な有形のコンピュータ可読記憶媒体上に記憶され、
本明細書で説明されるコンピュータ・プログラム製品または他のデータ組合せの任意の実
施形態を含むことができる。

最後に、本明細書内で用いられる表現は、主に読み易さおよび説明のために選択され、
特許権を示しまたは定めるために選択されていない場合がある。このため、特許権の範囲
は、上記詳細な説明によってではなく、本明細書に基づく出願で発行される任意の請求項
によって限定される。したがって、実施形態の開示は、特許請求の範囲に記載の特許権の
範囲の限定ではなく、例示的なものである。

Claims

ヘッドセット内部に取り付けられた光源でユーザの眼球の一部を照射すること、
前記ヘッドセット内部に取り付けられたカメラで、前記眼球の一部によって反射された
前記光源からの光の画像を撮像すること、
前記眼球の一部によって反射された前記光源からの光の撮像画像と、記憶された較正デ
ータとに基づいて前記ユーザの眼球の位置および向きを求めることであって、前記較正デ
ータが、前記カメラ内に含まれる画像センサのサブピクセルに対応する前記ユーザの眼球
の一部の表面上の距離を示すサブピクセル距離と、前記ユーザの眼球の一部によって反射
された前記光源からの光の１つまたは複数の以前の撮像画像とを含む、前記ユーザの眼球
の位置および向きを求めること、
求めた前記眼球位置に基づいて前記ヘッドセットにコンテンツを供給するように構成さ
れたシステム環境の１つまたは複数の構成要素に前記眼球位置を供給すること、
を備える方法。
前記眼球の一部によって反射された前記光源からの光の撮像画像と、記憶された較正デ
ータとに基づいて前記ユーザの眼球の前記眼球位置を求めることが、
前記眼球の一部によって反射された前記光源からの光の撮像画像の代表的性能指数を求
めること、
前記代表的性能指数を妥当性しきい値と比較すること、
前記代表的性能指数が前記妥当性しきい値以上であると判定したことに応答して、前記
記憶された較正データにアクセスすること、
前記眼球の一部によって反射された前記光源からの光の撮像画像と、前記記憶された較
正データとに基づいて前記ユーザの眼球の前記眼球位置を求めること、
を含む、請求項１に記載の方法。
前記代表的性能指数が、前記眼球の一部によって反射された前記光源からの光の撮像画
像内のピクセルのサブセットの性能指数と、前記記憶された較正データとに基づく、請求
項２に記載の方法。
前記代表的性能指数が、前記眼球の一部によって反射された前記光源からの光の撮像画
像内のすべてのピクセルの性能指数と、前記記憶された較正データとに基づく、請求項２
に記載の方法。
前記妥当性しきい値が、前記眼球の一部によって反射された前記光源からの光の撮像画
像が撮像されたときにしきい時間内において以前に撮像された前記眼球の一部によって反
射された前記光源からの光の追加の画像の性能指数のトレーリング平均を含む、請求項２
に記載の方法。
前記眼球の一部によって反射されたコヒーレント光源からの光の撮像画像と、記憶され
た較正データとに基づいて前記ユーザの眼球の前記眼球位置を求めることが、
前記ユーザの眼球の一部によって反射された前記コヒーレント光源からの光の撮像画像
と、前記ユーザの眼球の一部によって反射された前記光源からの光の以前の撮像画像との
間のサブピクセル・シフトを求めること、
前記ユーザの眼球の一部によって反射された前記光源からの光の以前の撮像画像に対応
する前記ユーザの眼球位置に対する、前記光源からの光の撮像画像に対応する前記ユーザ
の眼球位置を、前記サブピクセル・シフトと前記サブピクセル距離との積として求めるこ
と、を含む、請求項１に記載の方法。
前記眼球の一部によって反射された前記光源からの光の撮像画像と、記憶された較正デ
ータとに基づいて前記ユーザの眼球の前記眼球位置を求めることが、
前記眼球の一部によって反射された前記光源からの光の撮像画像から表面特徴を抽出す
ること、
抽出した前記表面特徴を、前記ユーザの眼球の一部によって反射された前記光源からの
光の前記１つまたは複数の以前の撮像画像の少なくとも一つのセットから抽出された追加
の表面特徴と比較すること、
前記比較に基づいて、基準眼球位置に関連付けられている前記ユーザの眼球の一部によ
って反射されたコヒーレント光源からの光の以前の撮像画像を選択すること、
前記ユーザの眼球の一部によって反射された前記光源からの光の撮像画像の前記表面特
徴と、前記眼球の一部によって反射された前記コヒーレント光源からの光の前記選択した
以前の撮像画像の前記表面特徴との間のサブピクセル・シフトを求めること、
前記ユーザの眼球の位置を前記サブピクセル・シフトと前記サブピクセル距離との積と
して求めること、を含む、請求項１に記載の方法。
前記表面特徴が、前記ユーザの眼球の一部の表面の特定部分に関連付けられたオプティ
カル・フロー・パターンを含む、請求項７に記載の方法。
システムであって、
ヘッドセットと、
前記ヘッドセットに結合されたコンソールと、を備え、
前記ヘッドセットは、
前記ヘッドセットのユーザの眼球に向けて光を放射するように構成された光源と、
前記眼球の一部によって反射された前記光源からの光のラスタ画像を撮像するように
構成されたカメラであって、前記ヘッドセットの前記ユーザの眼球によって反射された前
記光源からの光を撮像するように各々構成された１つまたは複数のピクセルを含むカメラ
と、を含み、
前記コンソールは、
前記カメラ内に含まれる画像センサのピクセルに対応する前記ユーザの眼球の一部の
表面上の距離と、前記ユーザの眼球の一部によって反射された前記光源からの光の１つま
たは複数の以前の撮像画像とを示す較正データを記憶し、
前記眼球の一部によって反射されたコヒーレント光源からの光の撮像画像と、記憶さ
れた較正データとに基づいて前記ユーザの眼球の眼球位置を求める
ように構成されている、システム。
前記コンソールが、求めた前記眼球位置に基づいて、前記ヘッドセットにコンテンツを
供給するようにさらに構成されている、請求項９に記載のシステム。
前記眼球の一部によって反射された前記光源からの光の撮像画像と、記憶された較正デ
ータとに基づいて前記ユーザの眼球の前記眼球位置を求めることが、
前記眼球の一部によって反射された前記コヒーレント光源からの光の撮像画像の代表的
性能指数を求めること、
前記代表的性能指数を妥当性しきい値と比較すること、
前記代表的性能指数が前記妥当性しきい値以上であると判定したことに応答して、前記
記憶された較正データにアクセスすること、
前記眼球の一部によって反射された前記光源からの光の撮像画像と、前記記憶された較
正データとに基づいて前記ユーザの眼球の前記眼球位置を求めること、
を含む、請求項９に記載のシステム。
前記代表的性能指数が、前記眼球の一部によって反射された前記光源からの光の撮像画
像内のピクセルのサブセットの性能指数と、前記記憶された較正データとに基づく、請求
項１１に記載のシステム。
前記代表的性能指数が、前記眼球の一部によって反射された前記光源からの光の撮像画
像内のすべてのピクセルの性能指数と、前記記憶された較正データとに基づく、請求項１
１に記載のシステム。
前記妥当性しきい値が、前記眼球の一部によって反射された前記光源からの光の撮像画
像が撮像されたときにしきい時間内において以前に撮像された前記眼球の一部によって反
射された前記光源からの光の追加の画像の性能指数値のトレーリング平均を含む、請求項
１１に記載のシステム。
前記眼球の一部によって反射された前記光源からの光の撮像画像と、記憶された較正デ
ータとに基づいて前記ユーザの眼球の前記眼球位置を求めることが、
前記ユーザの眼球の一部によって反射された前記コヒーレント光源からの光の撮像画像
と、前記ユーザの眼球の一部によって反射された前記光源からの光の以前の撮像画像との
間のサブピクセル・シフトを求めること、
前記ユーザの眼球の一部によって反射された前記光源からの光の以前の撮像画像に対応
する前記ユーザの眼球位置に対する、前記光源からの光の撮像画像に対応する前記ユーザ
の眼球位置を、前記サブピクセル・シフトとサブピクセル距離との積として求めること、
を含む、請求項９に記載のシステム。
前記眼球の一部によって反射された前記コヒーレント光源からの光の撮像画像と、記憶
された較正データとに基づいて前記ユーザの眼球の前記眼球位置を求めることが、
前記眼球の一部によって反射された前記光源からの光の撮像画像から表面特徴を抽出す
ること、
抽出した前記表面特徴を、前記ユーザの眼球の一部によって反射された前記光源からの
光の前記１つまたは複数の以前の撮像画像の少なくとも一つのセットから抽出された追加
の表面特徴と比較し、
前記比較に基づいて、基準眼球位置に関連付けられている前記ユーザの眼球の一部によ
って反射された前記コヒーレント光源からの光の以前の撮像画像を選択し、
前記ユーザの眼球の一部によって反射された前記光源からの光の撮像画像の前記表面特
徴と、前記眼球の一部によって反射された前記コヒーレント光源からの光の前記選択した
以前の撮像画像の前記表面特徴との間のサブピクセル・シフトを求めること、
前記ユーザの眼球の位置を前記サブピクセル・シフトとサブピクセル距離との積として
求めること、を含む、請求項９に記載のシステム。
前記表面特徴が、前記ユーザの眼球の一部の表面の特定部分に関連付けられたオプティ
カル・フロー・パターンを含む請求項１６に記載のシステム。
前記光源がコヒーレント光源であり、
前記ヘッドセットがさらに、前記ユーザの眼球の一部によって反射される前記コヒーレ
ント光源からの光を修正するように較正された反射光偏光子を含み、前記反射光偏光子は
、前記カメラのピクセルが修正光を撮像する前に前記コヒーレント光源からの光を修正す
る、請求項９に記載のシステム。
前記反射光偏光子が４分の１波長板を含む、請求項１８に記載のシステム。
前記反射光偏光子が、前記ユーザの眼球の一部によって反射される前記コヒーレント光
源からの光の偏光状態を変更するように構成された液晶素子を含み、前記液晶素子は、前
記液晶素子に加えられた電場に従って前記偏光状態を変更することにより前記液晶素子内
の液晶の向きを修正する、請求項１９に記載のシステム。