JP2021518574A - 視認デバイスのコンポーネントの変形に起因する画像補正 - Google Patents

Abstract

ディスプレイアセンブリは、選択された場所において仮想オブジェクトを表示し、仮想オブジェクトを視認する眼は、予期される注視方向を有する。ディスプレイアセンブリの変形が、検出される。変形は、仮想オブジェクトを改変された場所において視認可能にさせ、眼は、改変された注視方向を有する。仮想オブジェクトは、補正された場所において表示され得、正しい場所において仮想オブジェクトを視認する眼は、改変された注視方向よりも予期される注視方向に近接して移動される、補正された注視方向を有する。

Description

（関連出願の相互参照）
本願は、その全てが、参照することによってその全体として本明細書に組み込まれる、２０１８年３月１５日に出願された、米国仮特許出願第６２／６４３，６７２号からの優先権を主張する。

１）発明の分野
本発明は、概して、レンダリングされたコンテンツを表示する視認デバイスおよび方法に関し、より具体的には、視認デバイスのコンポーネントの変形を検出および補正することに関する。

２）関連分野の議論
レンダリングされた画像を提供する視認デバイスが、コンピューティング、エンターテインメント、および他の目的のために普及してきている。視認デバイスは、通常、画像をレンダリングするためのディスプレイを伴うウェアラブルデバイスであり、ユーザに３次元画像を見させ、実世界環境内のその場所を固定するかどうかを問わず、ユーザに実世界環境内でレンダリングを見させ、ビデオまたは他の移動するレンダリングをユーザに表示する能力等の種々の特徴を含み得る。

視認デバイスは、その使用に起因して経時的に変形する種々のコンポーネントを有する。これらのコンポーネントが、変形すると、レンダリングされる仮想オブジェクトは、視認デバイスが、依然として新しいものであったときにも、その元々の場所にない場合がある。例えば、バックグラウンドアプリケーションは、視認デバイスに対して固定された場所において、またはユーザを囲繞する実世界オブジェクトに対して固定された場所において、仮想オブジェクトを表示し得る。いくつかの事例では、視認デバイスは、ユーザが、実世界オブジェクトを見て、実世界オブジェクトに対して固定された場所におけるレンダリングされたオブジェクトを知覚し得るように、シースルーディスプレイを有し得る。ユーザは、例えば、実世界のテーブル上のレンダリングされたコーヒーマグを知覚し得る。視認デバイスのコンポーネントが、変形すると、コーヒーマグは、もはやテーブル上にレンダリングされず、代わりに、テーブルの上方のある距離に浮かぶ場合がある。コーヒーマグは、したがって、現実に即した様式でユーザに表示されない。加えて、コーヒーマグが、ユーザがバックグラウンドアプリケーションと相互作用するためのインターフェース要素として使用される場合、バックグラウンドアプリケーションがコーヒーマグがあると予期する場所とユーザがコーヒーマグと相互作用する場所との間の不整合が、存在し得る。

本発明は、ディスプレイアセンブリ上の選択された場所において仮想オブジェクトを表示するように構成される、ディスプレイアセンブリであって、仮想オブジェクトを視認する眼は、予期される注視方向を有する、ディスプレイアセンブリと、ディスプレイアセンブリに接続され、ディスプレイアセンブリ上の仮想オブジェクトを視認する眼の測定された注視方向を検出し、測定された注視方向が予期される注視方向と異なる改変された注視方向であることに基づいて、ディスプレイアセンブリの変形を計算するように構成される、変形検出システムとを含む、レンダリングされたコンテンツを表示するための視認デバイスを提供する。

本発明はまた、ディスプレイアセンブリを用いて、ディスプレイアセンブリ上の選択された場所において仮想オブジェクトを表示するステップであって、仮想オブジェクトを視認する眼は、予期される注視方向を有する、ステップと、ディスプレイアセンブリの変形を検出するステップであって、変形は、仮想オブジェクトを改変された場所において視認可能にさせ、眼は、改変された注視方向を有する、ステップとを含む、レンダリングされたコンテンツを表示する方法を提供する。

本発明はさらに、実施例を用いて説明される。

図１は、レンダリングされたコンテンツをユーザの眼に表示する、本発明のある実施形態による、視認デバイスを示す、ブロック図である。

図２Ａは、眼および視認デバイスの光学ディスプレイの斜視図であり、光学ディスプレイは、変形されていない。

図２Ｂは、光学ディスプレイが変形されている、図２Ａに類似する図である。

図３Ａは、レンダリングされたオブジェクトの場所が確立される様子を図示する、斜視図である。

図３Ｂおよび３Ｃは、レンダリングされたオブジェクトが移動される様子を図示する、正面図である。 図３Ｂおよび３Ｃは、レンダリングされたオブジェクトが移動される様子を図示する、正面図である。

図３Ｄは、レンダリングされたオブジェクトの場所がレーザプロジェクタによって提供される異なる挿入角度を使用して移動され得る様子を図示する、上部平面図である。

図４は、潜在的注視ベクトル誤差を図示する、斜視図である。

図５Ａ−５Ｄは、仮想オブジェクトの可能性の高い場所およびその変位を補正するための仮想オブジェクトの増分移動を決定するための統計的アプローチを図示する。

図６Ａ−６Ｃは、ディスプレイ変形に起因する仮想オブジェクトの移動および仮想オブジェクトの移動の補正を図示する。

図７Ａ−７Ｅは、注視角度の対応する変化を伴うディスプレイ変形に起因する仮想オブジェクトの移動（図７Ａ−７Ｂ）、計算された注視角度に対する眼追跡カメラの変形の効果（図７Ｃおよび７Ｄ）、および注視角度の補正（図７Ｅ）を図示する。

図８Ａ−８Ｄは、仮想オブジェクトの移動および注視ベクトルの対応する変化（図８Ａおよび８Ｂ）および計算された注視角度に対する眼追跡カメラの変形の効果（図８Ｃおよび８Ｄ）を図示する。

図９は、図８Ｄに表されるような結果として生じる注視角度の変化を調整するための１つのソリューションを図示する。

図１０Ａ−１０Ｃは、図８Ｄの結果として生じる注視角度を調整するための図９と異なるソリューションを図示する。

図１１は、図１０Ａ−１０Ｃに示されるプロセスを統合する目的のために視認デバイスの基準システムをさらに図示する、図１に類似する図である。

図１２は、視認デバイスの機能を図示する、フローチャートである。

図１３は、本発明の一実施形態による、本発明システムにおける用途を見出し得るコンピュータの形態における機械のブロック図である。

付随の図面の図１は、レンダリングされたコンテンツをユーザの眼２２に表示するために使用される、本発明のある実施形態による、視認デバイス２０を図示する。視認デバイス２０は、ディスプレイアセンブリ２４と、変形検出システム２６と、ユーザ入力デバイス２８と、補正システム３０とを含む。

ディスプレイアセンブリ２４は、相互に直接または間接的に接続される、ビデオデータ受信機３２と、プロジェクタ３４と、光学ディスプレイ３６とを含む。ディスプレイアセンブリ２４は、ユーザの眼２２の正面に光学ディスプレイ３６を伴ってユーザの頭部に固着可能である構造（図示せず）を含む。光学ディスプレイ３６は、眼２２が光学ディスプレイ３６の後方の実世界のオブジェクトを見ることを可能にし、現実および仮想オブジェクトと関連付けられる光が、ユーザに可視であるように、仮想画像をユーザに同時に投影し得る、透明コンポーネントである。

ビデオデータ受信機３２は、ピクセルの色および強度値を搬送するビデオデータチャネルに接続される、または接続可能である。プロジェクタ３４は、ビデオデータに基づいて２次元パターンを作成することが可能である、レーザと、走査装置とを有する。光学ディスプレイ３６は、プロジェクタ３４のレーザがレーザ光を光学ディスプレイ３６の中に結合するためのある位置に位置する。レーザ光は、次いで、光学ディスプレイ３６を通して伝搬し、光学ディスプレイ３６の瞳を通して、眼２２に向かって光学ディスプレイ３６から出射する。眼２２は、したがって、光学ディスプレイ３６の後方の実世界オブジェクトからの光およびプロジェクタ３４によって発生される光を受光する。拡張現実ビューが、次いで、眼２２の網膜３８上に作成され、拡張現実ビューは、仮想コンテンツを表すプロジェクタ３４によって作成される光と組み合わせられる、光学ディスプレイ３６を通してユーザに可視である実世界シーンからの光を含む。

変形検出システム２６は、注意発生ユニット４０と、入力トリガ４２と、眼追跡カメラ４４と、注視角度計算モジュール４６と、統計システム４８と、補正計算ユニット５０とを含む。

注意発生ユニット４０は、ビデオデータ受信機３２に接続される。注意発生ユニット４０は、ビデオデータ受信機３２に対するオーバーライド機能性を提供するように構成される。注意発生ユニット４０は、例えば、眼２２に、その注視角度を仮想オブジェクトに向けて指向させ、仮想オブジェクトに合焦させる目的のために、ビデオデータ受信機３２によって受信されるデータストリーム内に仮想オブジェクトを挿入する、仮想オブジェクトの色を変更する、および／または仮想オブジェクトのサイズを縮小してもよい。注意発生ユニット４０が、説明されるが、拡張現実システムを較正するための基礎として使用され得る仮想コンテンツが、概して、レンダリングシステムまたはモジュールによって提供されてもよい。

入力トリガ４２は、ユーザ入力デバイス２８に接続され、ユーザ入力デバイス２８を通したユーザ入力を検出する。ユーザ入力デバイス２８は、例えば、ジョイスティック、ワンド、ユーザの身体部分を追跡するカメラ、ボタン、タッチパッド、センサ装備手袋、マウス、キーボード等のうちの１つ以上のものであってもよい。ユーザ入力デバイス２８は、入力を入力トリガ４２に提供する。

眼追跡カメラ４４は、眼２２の画像を捕捉するためのある位置においてディスプレイアセンブリ２４に搭載される。いくつかの実施形態では、眼あたり１つ以上のカメラが、ユーザの眼を撮像するために使用される。代替として、ユーザの眼の両方を含む画像を捕捉するために十分に広い角度を有する単一のカメラが、使用されてもよい。

注視角度計算モジュール４６は、眼追跡カメラ４４および入力トリガ４２に接続される。注視角度計算モジュール４６は、眼追跡カメラ４４によって捕捉される画像に基づいて、眼２２の注視角度を計算する。注視角度計算モジュール４６は、入力トリガ４２に接続され、注視角度が、ユーザ入力が、検出されると、注視角度計算モジュール４６によって計算されるように、入力トリガ４２によってアクティブ化される。本システムは、計算された注視角度を使用して説明されるが、例えば、注視ベクトル、注視座標、視軸配向、または角膜中心場所等の任意の他の眼注視配向特性もまた、使用されてもよい。加えて、左眼および右眼からの注視データが、ユーザの眼が合焦される場所についての情報を集めるために、組み合わせて使用されてもよい。

統計システム４８は、注視角度計算モジュール４６に接続され、多数の注視角度計算測定値を受信する。統計システム４８は、入力トリガ４２が、注視角度計算モジュール４６をアクティブ化する度に、注視角度計算モジュール４６から受信される注視角度を記録する。統計システム４８は、したがって、ある時間周期にわたっていくつかの注視角度を収集する。統計システム４８は、次いで、統計的に関連する注視角度、例えば、統計システム４８によって記録される注視角度からの中央値の注視角度を計算する。代表的注視角度が、選択または計算されてもよく、仮想コンテンツを表示することと関連付けられる予期される注視角度との比較において使用されてもよい。代表的注視角度が、予期される注視角度と実質的に異なる場合、本システム内の変形が、起こっていると結論付けられる。

補正計算ユニット５０は、統計システム４８に接続される。補正計算ユニット５０は、注意発生ユニット４０によって作成または修正されるレンダリングされた仮想オブジェクトの場所における所望の補正を計算する。

補正システム３０は、補正計算ユニット５０に接続される。補正システム３０は、補正計算ユニット５０から補正データを受信する。ビデオデータ受信機３２は、補正システム３０に接続される。補正システム３０は、注意発生ユニット４０によって作成または修正される仮想オブジェクトの場所を修正する。補正システム３０はまた、注意発生ユニット４０によって発生および修正された仮想オブジェクトの場所が補正されるものと同一の量および方向だけ、ビデオストリーム内の全ての他のオブジェクトの場所を修正する。

使用時、ユーザは、視認デバイス２０を、光学ディスプレイ３６を眼２２の正面にして自身の頭部に取り付ける。ユーザは、次いで、透過光学ディスプレイ３６を通して実世界オブジェクトを見ることができ、レンダリングされた仮想コンテンツを同時に視認することができる。

ビデオデータ受信機３２は、バックグラウンドアプリケーションからビデオデータを受信する。バックグラウンドアプリケーションは、例えば、動画、ゲーム、ウェブブラウザ、メニュー、ランチャ、２次元コンテンツ、３次元コンテンツ、または任意の他のタイプの仮想コンテンツを表示するための動画アプリケーションであってもよい。ビデオデータは、ビデオデータレートにおいて受信される画像のフレームを表すデータを含む。ビデオデータは、強度および色値を伴うピクセルを含む。ビデオデータ受信機３２は、ビデオデータをプロジェクタ３４に提供する。プロジェクタ３４は、フレーム毎に２次元パターンを作成する。パターンは、レーザ光バンドルを含み、各バンドルは、個別のピクセルを表し、その強度および色は、変調されてもよい。プロジェクタ３４は、直接、またはレンズ、ミラー、格子、または同等物を通して間接的にのいずれかで、パターンを光学ディスプレイ３６の中に結合する。パターンは、光学ディスプレイ３６を通して透過し、眼２２に向かって光学ディスプレイ３６から出射する。光ビーム５４は、光学ディスプレイ３６から眼２２に向かって透過する光を表す。しかしながら、仮想オブジェクトを表す多くの光ビームは、網膜３８によって受光される画像が、プロジェクタ３４によって作成されるパターンに類似するように、光学ディスプレイ３６から投影されることを理解されたい。いくつかの実施形態では、仮想オブジェクトは、仮想オブジェクトを表す光に適用される１つ以上の波面成形技法に起因して、３次元であるようにユーザによって知覚されてもよい。動的画像が、パターンがビデオデータ受信機３２によってプロジェクタ３４に提供されるデータの各フレームとともに連続的に変化する実施形態において、ユーザによって見られることができる。

ビデオデータ受信機３２によって受信されるビデオデータは、眼２２の網膜３８上に表示されるべき１つ以上のオブジェクトを表すデータを含む。ビデオデータ受信機３２によって受信されるデータ内に表される仮想オブジェクトは、実際に、光学ディスプレイ３６上に表示されてもよい。しかしながら、そのような仮想オブジェクトは、光学ディスプレイ３６がシースルーディスプレイであること、および／または光学ディスプレイ３６が主としてプロジェクタ３４と眼２２との間で光を指向するための導波管としての役割を果たすことを含む、いくつかの因子に起因して、光学ディスプレイ３６の表面上で可視ではない、または容易に識別可能ではないことが、可能性として考えられる。ビデオデータ受信機３２によってプロジェクタ３４に提供されるビデオデータは、仮想オブジェクトが、光学ディスプレイ３６の表面上で可視であり得ない場合であっても、依然として、オブジェクトを表すデータを含む。議論の目的のために、仮想オブジェクトまたは複数の仮想オブジェクトが、光学ディスプレイ３６の表面上で可視であると仮定されるであろう。しかしながら、容易な例証のために、複数のオブジェクトが、光学ディスプレイ３６の表面上に示されることを理解されたい。本発明は、主として、オブジェクトが実際に光学ディスプレイ３６の表面上で可視であるか、または可視ではないかにかかわらず、同一である較正方法論を扱う。

視認デバイスの通常動作の間、注意発生ユニット４０は、ビデオデータ受信機３２の通常動作に対してオーバーライド機能性を提供しない。全てのビデオデータは、変形検出システム２６のいかなる干渉も伴わずに、あるビデオリフレッシュレートにおいてユーザに提示される。変形検出システム２６は、１日あたり数回（例えば、１日あたり５０〜１００回の継続使用）のみ、ビデオデータ受信機３２の通常機能性にオーバーライドし、ビデオデータ受信機３２が残りの時間にわたって中断することなく続行している間に測定を行う。ユーザ入力デバイス２８および眼追跡カメラ４４は、バックグラウンドアプリケーションに接続される。ビデオデータ受信機３２の通常動作の間、ユーザは、ユーザ入力デバイス２８を使用し、１つ以上の眼追跡カメラ４４が眼２２を監視し続けている間、バックグラウンドアプリケーションに命令を提供する、または別様に光学ディスプレイ３６上にレンダリングされる仮想コンテンツと相互作用してもよい。ユーザは、例えば、ユーザ入力デバイス２８を使用し、バックグラウンドアプリケーションが、ユーザが仮想オブジェクトを眺めているときを把握するために眼追跡カメラ４４に依拠している間、光学ディスプレイ３６を介してユーザに表示される仮想オブジェクトと相互作用してもよい。

視認デバイス２０の工場較正後に、ディスプレイアセンブリ２４の変形は、殆どまたは全く存在しない。光学ディスプレイ３６を使用して表示されるオブジェクトは、眼２２の注視角度に対するその予期される場所にある。視認デバイス２０の使用とともに経時的に、ディスプレイアセンブリ２４を含む、またはそれに接続される、視認デバイス２０のコンポーネントは、変形し始める。変形は、光学ディスプレイ３６の変形、ヒンジの変形、および視認デバイス２０をユーザの頭部に搭載する構造において使用される材料の変形において現れ得る。変形は、通常、ディスプレイアセンブリ２４のコンポーネントに加えられる小さいまたは大きい応力およびディスプレイアセンブリ２４のコンポーネントの材料の組み合わせに起因する。応力は、例えば、光学ディスプレイ３６に接続される配線が、光学ディスプレイ３６を引っ張るとき、ユーザが、視認デバイス２０を自身の頭部に適合させる、またはこれを自身の頭部から除去するとき、およびユーザが、視認デバイス２０を開梱または保管する目的のためにヒンジ、ばね、または他の動的コンポーネントを動作させるときに生成され得る。ディスプレイアセンブリ２４のコンポーネントの材料性質は、応力が、反復されるとき、疲労を受け得、プラスチック材料は、経時的に応力を受けると、「クリープ」を被ることが公知である。視認デバイス２０のいくつかの材料はまた、熱負荷を被り得、そのような温度の変化は、１つ以上のコンポーネントの変形に寄与し得る。変形の結果として、仮想オブジェクトが変形された視認デバイス２０上でユーザに見える実際の場所は、それらの仮想オブジェクトの意図されるレンダリング場所ではない。その結果、ユーザの実際の注視は、ユーザが、その意図されるレンダリング場所においてレンダリングされた仮想コンテンツを眺めていたことになる場合に予期されるであろう注視と異なる。加えて、変形は、連続的であり、したがって、ユーザによって知覚されるような仮想オブジェクトのレンダリング場所は、意図されるレンダリング場所に対して経時的に移動し続けるであろうことが予期される。ディスプレイアセンブリ２４は、最初に、選択された場所において仮想オブジェクトを表示し、眼２２は、予期される注視方向を有する。ディスプレイアセンブリ２４の変形は、仮想オブジェクトを改変された場所において視認可能にさせ、眼２２は、改変された注視方向を有する。

変形検出システム２６の１つ以上のコンポーネントは、ディスプレイアセンブリの変形を検出するために、機能的および構造的にディスプレイアセンブリ２４に接続されてもよい。補正システム３０は、変形検出システム２６に接続される。補正システム３０は、ディスプレイアセンブリ２４を用いて、補正された場所において仮想オブジェクトを表示する。仮想オブジェクトが、補正された場所において表示されると、補正された場所における仮想オブジェクトを視認する眼２２は、改変された注視方向よりも予期される注視方向に近接して移動される、補正された注視方向を有する。変形検出システム２６は、上記に説明される視認デバイス２０の通常動作に対するオーバーライドまたは拡張機能性を提供する。変形検出システム２６は、断続的に、例えば、連続動作の間に１時間あたり１０〜２０回アクティブ化される。加えて、変形検出システム２６は、数秒、例えば、３〜７秒にわたってのみアクティブ化され、これは、測定を行い、調節を行うために必要とされるものと同程度に長い。視認デバイス２０は、残りの時間の間に正常に動作する。

変形検出システム２６の機能は、ユーザ入力デバイス２８が、入力トリガ４２に接続され、眼追跡カメラ４４が、眼２２を監視し続けている間に注意発生ユニット４０をアクティブ化することによって開始される。主として要求されるものは、ユーザが、注視ベクトル誤差を最小限にするために十分に小さい、バックグラウンドアプリケーションからビデオデータ受信機３２によって受信されるレンダリングされたオブジェクトと相互作用することである。注意発生ユニット４０はまた、ユーザの注意を引き、眼２２を仮想オブジェクトが位置する小さい点に引き寄せることに役立つために、仮想オブジェクトの色を修正する、またはそのサイズを縮小してもよい。ビデオデータ受信機３２は、仮想オブジェクトを表すデータをプロジェクタ３４に提供する。プロジェクタ３４は、次いで、光を発生させ、仮想オブジェクトを表す光をユーザによる視認のために光学ディスプレイ３６に向かって投影する。

注意発生ユニット４０によって設置または修正されている仮想オブジェクトは、ユーザがユーザ入力デバイス２８を使用してレンダリングされた仮想オブジェクトと相互作用することを要求する種類のものである。そのような仮想オブジェクトは、例えば、再生ボタン、標的、アプリケーション起動アイコン等であってもよい。ユーザが、レンダリングされた仮想オブジェクトと相互作用するためにユーザ入力デバイス２８を使用するとき、ユーザの眼２２は、光学ディスプレイ３６上のそのレンダリングされた仮想オブジェクトを眺めていると仮定される。眼追跡カメラ４４は、眼２２の画像を捕捉し、画像データを注視角度計算モジュール４６に提供する。ユーザ入力デバイス２８は、入力トリガ４２をアクティブ化し、これは、眼追跡カメラ４４から受信されたデータを使用して、眼２２の注視角度を計算するように注視角度計算モジュール４６に命令する。注視角度計算モジュール４６によって計算される注視角度は、ユーザによって知覚されるような光学ディスプレイ３６上のレンダリングされた仮想オブジェクトの実際の場所を表す。

注視角度計算モジュール４６は、注視角度を統計システム４８に提供する。統計システム４８は、注視角度を記憶する。変形検出システム２６が、２回目にアクティブ化されると、プロセスは、繰り返され、統計システム４８は、第２の注視角度を記憶する。プロセスは、統計システム４８が、統計システム４８が統計的に関連する改変された注視角度を計算することを可能にするために十分な注視角度を記憶するまで繰り返される。統計システム４８は、例えば、収集された注視角度から代表値、平均値、または中央値注視角度を計算してもよい。統計システムは、全ての測定値から統計的に関連する注視角度を計算し得るが、統計システムが、統計的に関連する注視角度を計算するためのデータ点として所定の誤差範囲（例えば、９０分角（ａｒｃ ｍｉｎｕｔｅ））外である注視角度のみを使用することが、好ましい。代替として、いくつかの実施形態では、増分補正を実施する前に統計的に決定された注視角度を計算するために複数の測定値を蓄積するのではなく、予期される注視角度の許容誤差外に位置すると決定される各測定された注視角度が、仮想コンテンツのレンダリング場所に対する増分補正をもたらしてもよい。

統計システム４８は、改変された注視角度を補正計算ユニット５０に提供する。補正計算ユニット５０は、注視角度を改変された注視角度から予期される注視角度に戻すために注視角度において必要とされる補正の量を決定する。補正計算ユニット５０は、要求される補正の方向および量の両方を計算し、次いで、要求される補正のごくわずかな部分である実際の補正を計算する。補正計算ユニット５０は、次いで、実際の補正を補正システム３０に提供する。補正システム３０は、補正をビデオデータ受信機３２に提供する。ビデオデータ受信機３２は、次いで、補正システム３０から受信される実際の補正の方向および大きさに従って、注意発生ユニット４０によって発生される仮想オブジェクトおよび全ての他のオブジェクトを移動させる。

統計システム４８は、改変された注視角度を補正計算ユニット５０に提供する前に、多数の測定値、例えば、５０〜１００個の測定値を要求してもよい。加えて、行われるいずれの補正も、ディスプレイアセンブリ２４の変形に起因する注視角度の実際の変化のごくわずかな部分である。累積補正は、したがって、緩慢なプロセスである。実施例として、単一の補正のみが、１日に８時間の連続動作の間に行われてもよく、注視角度が予期される注視角度の許容範囲内に補正されるために、数日または数週間かかり得る。代替として、いくつかの小さい補正が、本デバイスの使用の間に行われてもよい。補正の回数は、ユーザが、注視角度計算およびレンダリング場所較正のために信頼性があると見なされる仮想コンテンツと相互作用する回数に依存し得る。そのような緩慢なプロセスは、間違いが生じる場合に再計算を可能にし、ディスプレイアセンブリ２４の継続される変形を前提として、行われる必要性がある要求される補正を過剰に行うリスクを殆ど伴わずに、ディスプレイアセンブリ２４の変形の継続される加速および減速を可能にする。

図２Ａでは、変形されていない形状６０は、変形前の光学ディスプレイ３６を表す。レンダリングされたオブジェクト６２が、ユーザの注意を引き付けるために、光学ディスプレイ３６内に設置される。ユーザが、レンダリングされたオブジェクト６２を眺めるとき、実際の注視ベクトル６４が、定義されることができる。実際の注視ベクトル６４は、それに沿って眼２２が仮想オブジェクトを視認する目的のために指向される方向または軸である。実際の注視ベクトルは、眼２２の中心点２２から眼の瞳孔の中心を通して延在する。実際の注視ベクトル６４を計算するために、１つのアプローチは、最初に、眼２２の実際の中心点２２を計算することであろう。また、眼２２の実際の中心点２２を計算することなく、代わりに、その目的のために眼の他の解剖学的情報を使用して、実際の注視ベクトル６４を計算することも、可能であり得る。予期される注視ベクトル６４は、光学ディスプレイ３６を通して延在し、ユーザは、レンダリングされたオブジェクト６２を拡張されたオブジェクト６８として知覚する。拡張されたオブジェクト６８は、変形されていない形状７０によって表される平面内に位置する。変形されていない形状７０の平面は、光学ディスプレイ３６の平面よりも遠いため、ユーザは、拡張されたオブジェクト６８をレンダリングされたオブジェクト６２よりも大きいと知覚し、変形されていない形状７０によって定義されるフィールドを変形されていない形状６０によって定義されるフィールドよりも大きいと知覚する。ユーザはまた、テーブル７２を知覚する。ユーザが有する知覚は、拡張されたオブジェクト６８によって図２Ａに表されるレンダリングされた仮想コンテンツを用いて拡張されるテーブル７２のものである。

複数の赤外発光ダイオード（ＬＥＤ）７４が、眼追跡システム内に含まれてもよい。各ＬＥＤ７４は、眼２２の表面上に個別の赤外スポット（「グリント」）７６を形成する赤外光を透過する。参照番号７８は、スポット７６から眼追跡カメラ４４に向かって反射する赤外光を表す。眼追跡カメラ４４は、眼２２の表面上にＬＥＤ７４によって作成されるスポットの全ての場所を捕捉する。スポット７６の場所は、注視角度計算モジュール４６によって、眼２２の注視角度または注視ベクトルを計算するために使用される。いくつかの実施形態では、眼追跡カメラはまた、瞳孔の場所を捕捉してもよい。瞳孔場所データは、眼位置を決定するために、赤外グリントと組み合わせて使用されることができる。注視角度または注視ベクトルは、眼位置情報に基づいて計算または別様に決定されてもよい。

予期される注視ベクトル６４は、レンダリングされたオブジェクト６２および拡張されたオブジェクト６８の中心を通過するように図２Ａに示される。参照番号８２は、眼追跡カメラ４４によって捕捉される、眼２２から反射する光を表す。いくつかの実施形態では、眼追跡カメラ４４は、したがって、眼の配向および瞳孔８０の場所を捕捉する。注視角度計算モジュール４６は、少なくとも、相互作用可能なレンダリングされた仮想コンテンツの場所を使用して、（図２Ａにおいて予期される注視ベクトル６４に一致する）実際の注視ベクトルを計算する。いくつかの実施形態では、光学ディスプレイ３６に対する眼２２の場所もまた、使用されてもよい。

変形前注視角度を決定する目的のために測定を行うことは、必ずしも必要であるわけではない場合がある。例えば、視認デバイス２０が、新しいとき、ディスプレイアセンブリ２４は、変形されておらず、眼２２の注視角度は、レンダリングされたオブジェクト６２が、示されるように位置しているとき、予期される注視ベクトル６４によって表されるようなものであると仮定されることができる。レンダリングされたオブジェクト６２は、したがって、示されるように位置することができ、予期される初期注視ベクトル６４は、いかなる付加的測定も伴わずに決定されることができる。予期される注視角度および実際の注視角度は、レンダリングされたコンテンツの場所に基づいて変化するであろう。「初期」注視角度または「変形前」注視角度が、計算され得るが、予期される注視ベクトルが、バックグラウンドアプリケーションから、または以前の計算から仮定されることができる。仮定された予期される注視角度と新しく計算されている実際の注視角度との間の差異が、次いで、計算されることができる。

図２Ｂでは、形状８６は、光学ディスプレイ３６の変形を表す。光学ディスプレイ３６の変形は、変形されていない形状６０と比較されたときの形状８６における差異によって表される。レンダリングされたオブジェクト６２は、依然として、ディスプレイ上の同一の（ｘ，ｙ）場所にレンダリングされるが、ユーザに対するディスプレイの変形は、ユーザに、意図される場所と異なる場所においてコンテンツを知覚させる。変形に起因して、レンダリングされたオブジェクト６２は、図２Ａに示される場所にもはやないが、これは、ベクトル８８によって表されるような距離および方向だけ移動している。レンダリングされたオブジェクト６２は、したがって、レンダリングされたオブジェクト６２の面積における光学ディスプレイ３６の変形の結果である方向に移動している。改変された注視ベクトル９０が、眼２２とレンダリングされたオブジェクト６２との間に定義される。ユーザは、レンダリングされたオブジェクト６２を、形状９２によって表されるような平面内の拡張されたオブジェクト６８として視認する。形状９２は、形状８６と変形されていない形状６０との間の変形に類似する様式で、変形されていない形状７０に対して変形される。

ユーザが、拡張されたオブジェクト６８を眺めると、実際の注視ベクトル９０は、眼２２から、変形された形状９２内の拡張されたオブジェクト６８の場所まで通過する。本実施例では、実際の注視ベクトル９０は、予期される注視ベクトル６４と異なる。眼追跡カメラ４４は、注視角度計算モジュール４６が、実際の注視ベクトル９０を計算し、これを予期される注視ベクトル６４と比較し、ディスプレイアセンブリ変形が起こっているかどうかを推測し得るように、画像内の瞳孔場所および／またはグリント反射パターンに基づき得る、眼場所情報を捕捉し続ける。

図３Ａは、レンダリングされたオブジェクト６２の場所が補正される様子を図示する。プロジェクタ３４は、仮想画像またはオブジェクトと関連付けられる画像光９４を、光学ディスプレイ３６に向かって所定の角度において投影する。画像光９４は、光学ディスプレイ３６の一部として導波管１０１内またはその上に配置される、内部結合格子９５、直交瞳エキスパンダ９７、および射出瞳エキスパンダ９９等の１つ以上の回折光学要素に遭遇してもよい。画像光９４が、導波管１０１を通して伝搬するにつれて、回折光学要素は、光を異なる方法で再指向し、最終的に、画像光９４が、射出瞳エキスパンダ９９を通してユーザの眼２２に向かって導波管から出射することをもたらす。ユーザの眼２２は、ユーザがレンダリングされたオブジェクト６２を知覚するために、網膜上のある場所に画像光９４を集束させることができる。

図３Ｂおよび３Ｃを参照すると、画像光９４として投影される画像の２つの実施例が、示される。図３Ｂでは、仮想コンテンツオブジェクト１１５が、画像９４ａの中心に示される。画像９４ａが、変形されていない光学ディスプレイ３６に向かって投影され、そのコンポーネントを通して進行するとき、ユーザは、視野の中心にある仮想コンテンツオブジェクト１１５を見るであろう。しかしながら、画像９４ａが、変形されたディスプレイに向かって投影される場合、仮想コンテンツオブジェクト１１５は、例えば、これが、もはや視野の中心にないように、右に偏移したようにユーザによって知覚され得る。変形によって引き起こされ、予期される注視ベクトルおよび実際の注視ベクトルを比較することによって検出される偏移を補正するために、画像９４ｂが、画像９４ａの代わりに投影されてもよい。画像９４ｂでは、仮想コンテンツオブジェクト１１５は、光が、右方向偏移において変形されたディスプレイから出射すると、ディスプレイの右偏移が、コンテンツの左偏移を相殺し、仮想コンテンツオブジェクト１１５が、視野の中心にあるようにユーザに見えるように、画像の左に向かって偏移される。ピクセル偏移は、ＬＥＤまたは他の類似する光源を使用して、プロジェクタ３４内の空間光変調器（ＳＬＭ）の異なるピクセルを点灯させることによって遂行されてもよい。そのような調節方法では、実際のおよび予期される注視角度または注視ベクトルを表示座標系に変換することが、有用であり得る。例えば、本システムは、ユーザの注視が、座標（ｘ１，ｙ１）におけるピクセルに集中することを予期し得るが、ユーザの注視が、実際には、表示座標系において座標（ｘ２，ｙ２）におけるピクセルに集中されることを見出す。そのような方法では、ピクセル偏移は、予期される視認座標とユーザの注視ベクトルによって決定されるような実際の視認座標との間の差異に等しい、かつそれと対向する量だけ調節されることができる。仮想コンテンツのレンダリング場所を調節するための代替手段もまた、使用されてもよい。

いくつかの実施形態では、図３Ｄに示されるように、補正は、プロジェクタ３４自体を調節することによって遂行されてもよい。完全な補正に関して、レンダリングされたオブジェクト６２のレンダリング場所は、場所１００から、ベクトル１０２によって表される方向において、補正された場所１０４に移動する必要性がある。完全な補正に関して、プロジェクタ３４は、レンダリングされたオブジェクト６２が、視野内の意図される場所のより近傍で視認可能であるように、調節された角度において光１０６を光学ディスプレイ３６の回折光学要素の中に挿入してもよい。ユーザは、場所１００からベクトル１０２に沿って場所１０４に向かって移動したようにレンダリングされたオブジェクト６２を知覚するであろう。しかしながら、完全な補正は、行われない。代わりに、レンダリングされたオブジェクト６２は、ベクトル１０２によって表される方向に沿って場所１００と場所１０４との間の距離のわずかな部分だけ移動される。プロジェクタ３４は、部分的補正を行う目的のために、したがって、画像光９４よりもわずかに急であるが、光１０６ほど急ではない角度において光を挿入する。

図４は、２つのユーザ相互作用事象における潜在的な注視ベクトル誤差１２０および１２２を図示する。解剖学的に、眼は、これが、拡張されたオブジェクト６８等の静的画像に合焦されているとき、連続的に移動している。自然な眼移動は、典型的には、眼の選択された解剖学的マーカ、例えば、眼２２の中心点６６から拡張されたオブジェクト６８への直接経路に対応する、中心注視ベクトルからの約６０分角の誤差または逸脱をもたらす。いくつかの実施形態では、注視ベクトルは、眼の角膜の中心から拡張されたオブジェクト６８への直接経路として定義されてもよい、または眼の視軸の延長として定義されてもよい。ユーザが、拡張されたオブジェクト６８を眺める場合、注視ベクトル９０から６０分角半径を有する予期される注視ベクトル範囲内の注視ベクトルは、拡張されたオブジェクト６８の場所に向かって指向されていると見なされてもよい。図１の注視角度計算モジュール４６はまた、所与の眼サイズ、形状等に関するある程度の誤差を有してもよく、そのような付加的誤差は、例えば、約３０分角を予期される注視ベクトル範囲半径に追加することができる。ユーザが、拡張されたオブジェクト６８を眺めており、計算される注視ベクトルが、注視ベクトル９０の９０分角半径以内であると決定されるとき、本システムは、十分に較正されていると見なされる。

１つの課題は、注視ベクトルにおける誤差の比較的に大きい９０分角半径が、拡張されたオブジェクト６８の実際の知覚される位置の厳密な場所を決定することを困難にすることである。潜在的誤差を考慮するために、図１の統計システム４８は、傾向を発見するために、複数のデータ点を収集してもよい。決定された注視ベクトルにおける傾向は、ある程度の量の変形を有するシステムによって表示されるような拡張されたオブジェクト６８の実際の知覚される位置の可能性が高い場所を発見するために蓄積される。眼運動またはアルゴリズム誤差に起因して雑音である位置不一致の量および図１のディスプレイアセンブリ２４の実際の変形に起因する量が、依然として不確かであるため、注視方向の完全な補正は、実行されない。実施例として、補正増分は、０．０１〜０．５分角、例えば、０．１分角であり得る。代替として、補正増分量は、検出される変形の量に基づき、より大きい変形は、より大きい増分を必要とし得る。実施例として、補正増分は、検出される変形量よりも２桁小さくてもよい。

図５Ａ−５Ｄは、展開され得る多くのシナリオのうちの１つを図示する。図５Ａでは、場所１２４Ａ−１２４Ｃを指す、いくつかの注視ベクトル測定が、行われる。場所１２４Ａ−１２４Ｃの空の円は、計算された測定された注視角度を表す。場所１２６の暗い円は、これが、本システムが仮想オブジェクトがあると予期した場所であることを示す。測定された注視ベクトル場所１２４Ａ−１２４Ｃは、仮想オブジェクトが現在位置している可能性が高い場所の統計的に関連する場所１３０を計算するために本システムによって使用される。場所１２４Ａ−１２４Ｃにおける測定された注視ベクトルは、仮想オブジェクトが、初期の予期される場所１２６から、ベクトル１２８によって表されるような方向において、統計的に決定された改変された場所１３０に移動している場合があることを示す。図５Ｂでは、仮想オブジェクトレンダリング位置は、ベクトル１２８によって表される方向と対向し、大きさにおいてより小さい、ベクトル１３２によって表される方向に移動される。仮想オブジェクトは、場所１３０に位置し、新しい場所１３４に、ベクトル１３２の方向に沿って、予期されるレンダリング場所１２６に向かって移動されたと仮定される。

図５Ｃでは、さらなるデータ点１２４Ｄ−１２４Ｇが、収集され、これらは、仮想オブジェクトが改変された場所１３６に位置すると統計的に決定する。場所１３６は、場所１３０と対向する場所１２６の側上にある。オブジェクト場所の変化は、ディスプレイシステムの継続された変形の結果であり得る。また、仮想オブジェクトが場所１３０にあった、および／または仮想オブジェクトが対向する方向に移動したと決定するとき、誤差が、図５Ａにおける雑音が多いデータに起因して生じたことが、可能性として考えられる。図５Ｂに示されるようなベクトル１３２によってレンダリング場所を調節するとき、仮想オブジェクトが、実際には、図５Ｃに示されるような場所１３６にあるように知覚された場合、図５Ｂの不正確な再較正を通して、仮想オブジェクトが、新しい場所１３８に移動されている場合があることが可能性として考えられることが分かり得る。図５Ｂのベクトル１３２の場所は、したがって、本システムが、これが図５Ｂの時点で仮想オブジェクトを移動させていたと「考えた」様子を表すが、ベクトル１３２が、図５Ｃにおいて異なる場所にあり、ここでより多くのデータが仮想オブジェクトの場所を分析する目的のために利用可能であるため、仮想オブジェクトが図５Ｂの時点で移動された可能性がより高い様子を表すことがここで分かり得る。ベクトル１３２は、図５Ｂおよび５Ｃにおいて同一の大きさおよび方向を有する。図５Ｂと５Ｃとの間のベクトル１３２における唯一の差異は、ベクトル１３２の場所が異なることであり、図５Ｂのベクトル１３２の場所は、本システムが、これが仮想オブジェクトを移動させていたと考えた様子を表し、図５Ｃのベクトル１３２の場所は、仮想オブジェクトが図５Ｃにおいて移動されたときに起こった可能性が高い内容を表す。図５Ｃでは、図５Ｂに遡られ得る、場所１３６から、ベクトル１３２によって表される方向における、場所１３８への仮想オブジェクトの移動は、仮想オブジェクトが、これにより近傍する代わりに、予期される場所１２６からより遠くに移動されたため、誤差であったことが分かり得る。そのような実施例では、完全な調節ではなく、増分調節が行われることが、有利である。

図５Ｄでは、さらなるデータ点１２４Ｈ−１２４Ｌが、収集され、これらは、仮想オブジェクトが新しい場所１４０にある可能性が高いと示す。ベクトル１３２は、図５Ｄにおいて、図５Ｃにおけるものとその同一の場所にあり、図５Ｂの時点で生じた誤差を表す。場所１４０は、場所１３８を通過しており、仮想オブジェクトをベクトル１３２によって表される方向において場所１３８に移動させることによって生じた間違いは、したがって、解消された。

図５Ａ−５Ｄは、展開され得るあらゆる可能性として考えられるシナリオを図示しておらず、単に、ディスプレイアセンブリ２４の変形に起因する仮想オブジェクトの全ての移動を補正することを試みる単一の大きい移動と対照的に、小さい増分において仮想オブジェクトを移動させることによって、雑音が多いデータに基づいて行われ得る不正確な調節が、ユーザに顕著になることを防止されることを図示する役割を果たす。

図６Ａは、実世界のテーブル７２と、例えば、図２Ｂの形状７０および９２の平面における拡張されたオブジェクト６８であり得る、コーヒーマグの形態におけるレンダリングされたオブジェクトとを含む、ユーザによって見られるようなビューを図示する。コーヒーマグは、ベクトル１５０によって表されるようにユーザのビュー内で移動されている。ベクトル１５０における指定「ディスプレイ」は、変形されていない形状、すなわち、ベクトル１５０によって示されるような仮想オブジェクトの移動が図１のディスプレイアセンブリ２４の変形に起因することを示す。

図６Ｂは、図１の眼追跡カメラ４４のビューに基づいて、図１の注視角度計算モジュール４６によって計算されるような注視角度の移動を図示する。図１のディスプレイアセンブリ２４の変形は、ベクトル１５２によって示される方向における眼追跡カメラ４４によって測定されるような注視角度の移動をもたらす。図６Ａおよび６Ｂのベクトル１５０および１５２は、相互に等しい。図６Ｂにおいて計算される注視角度の移動は、したがって、図４を参照して説明されるような眼および追跡アルゴリズムの許容範囲に従って、図６Ａに示されるようなユーザの視界内の仮想オブジェクトの移動と同一である。

図６Ｃでは、仮想オブジェクトは、ベクトル１５４によって示される方向に増分的に移動される。ベクトル１５４は、ベクトル１５２と対向する方向にあるが、各ベクトルは、ベクトル１５２の長さの一部にすぎない。ベクトル１５４の和は、対向する方向にあることを除いて、ベクトル１５２に等しい。仮想オブジェクトが、全てのベクトル１５４の距離全体だけ移動される場合、仮想オブジェクトは、経時的に、図６Ａに示されるようなディスプレイアセンブリ２４の変形前のその位置に戻され、ディスプレイ変形に起因する仮想オブジェクトの以前の移動が、考慮される。

図６Ａ−６Ｃは、図１の眼追跡カメラ４４のいかなる変形も存在しないシナリオを図示する。眼追跡カメラ４４のいかなる変形も、存在しないため、眼追跡カメラ４４によって行われる測定は、上記に議論される許容範囲に従って、ディスプレイに対するユーザの眼２２の実際の注視角度に合致する注視角度の測定をもたらす。

図７Ａ−７Ｅは、図１の眼追跡カメラ４４の変形がディスプレイの変形と組み合わせて有し得る効果を集合的に図示する。図７Ａは、カメラの変形が、考慮されない場合、図１のディスプレイアセンブリ２４の変形に起因するユーザのビュー内の仮想オブジェクトの移動を図示する。図７Ａは、したがって、図６Ａと同一である。眼追跡カメラ４４のいかなる変形も、図７Ａに図示されるようなユーザの視界内の仮想オブジェクトの位置付けに影響を及ぼさないが、ディスプレイに関して計算される注視ベクトルに影響を及ぼすことに留意されたい。したがって、カメラ変形もまた、存在し、カメラ変形の影響が、考慮される場合であっても、図７Ａは、依然として、ユーザの視界内の仮想オブジェクトの移動を表すであろう。

図７Ｂは、図７Ａのように、カメラ変形の影響を考慮しない場合、眼追跡カメラ４４から受信される画像データに基づいて、図１の注視角度計算モジュール４６によって計算されるような注視角度の移動を図示する。図７Ｂは、したがって、眼追跡カメラ４４のいかなる変形も仮定せず、したがって、図６Ｂと同一である。

図７Ｃは、眼追跡カメラ４４の変形の効果を考慮するが、ディスプレイの変形の効果を伴わないときの計算される注視角度の効果を図示する。図２Ａを参照すると、眼追跡カメラ４４の変形は、眼追跡カメラ４４のビュー内の眼２２の位置測定値における誤差を引き起こす。眼追跡カメラ４４におけるそのような誤差は、眼追跡カメラ４４が図１の注視角度計算モジュール４６に提供する画像データの変化を引き起こす。注視角度計算モジュール４６によって計算される注視角度は、したがって、眼追跡カメラ４４の変形によって影響を受ける。図７Ｃは、眼追跡カメラ４４の変形に起因して計算され、ベクトル１５６によって表される、注視角度の移動を図示する。カメラ変形によって引き起こされるディスプレイに関する注視角度正確度の誤差は、通常、比較的に小さい。カメラ変形に起因する注視角度の移動は、典型的には、ディスプレイ変形に起因する注視角度の移動の約１／２０ほどである。

図７Ｄは、ベクトル１５２および１５６の合成１５８を図示する。本実施例では、カメラ変形の効果を表すベクトル１５６は、ディスプレイ変形を表すベクトル１５２の９０°未満の角度にある。合成１５８のベクトルは、したがって、ディスプレイ変形の効果を表すベクトル１５２よりも長い。

図７Ｅでは、仮想オブジェクトは、ベクトル１６０によって表されるように、ユーザの視界内で移動される。各ベクトル１６０は、図７Ｄの合成５８と対向する方向にある。仮想オブジェクトは、ユーザが、適格である仮想オブジェクトと相互作用する度に、増分において移動される。数日または数週間の周期にわたって、補正ベクトル１６０は、解剖学的眼の許容範囲内の合成１５８に加えて、追跡アルゴリズムによって要求される任意の許容範囲を合計する。前述のように、カメラ変形の効果は、比較的に小さい。仮想オブジェクトは、したがって、図７Ｅに示されるその場所よりも図７Ａに示されるその場所に近接する場所から移動される。テーブル７２上に位置しているようにユーザに見えることが意図される仮想コーヒーマグの場合では、コーヒーマグは、したがって、テーブルの上に、またはテーブルの上に非常に近接して戻るであろう。

図８Ａおよび８Ｂは、図７Ａおよび７Ｂに類似する。図８Ｃでは、カメラ変形の効果は、ベクトル１６４によって表されるような注視角度の移動をもたらす。ベクトル１６４とベクトル１５２との間の角度は、９０°を上回る。

図８Ｄは、合成ベクトル１６６を図示する。合成ベクトル１６６は、ディスプレイ変形およびカメラ変形に起因する注視角度の計算された変化を表す。合成ベクトル１６６は、ディスプレイ変形の効果を表すベクトル１５２よりも小さい。ディスプレイ変形およびカメラ変形の効果は、図８Ｄにおいて「対向する」方向にあり、図７Ｄにおいて「同一の」方向にあると考えられることができる。

図９は、ディスプレイ変形の効果およびカメラ変形の効果が、計算された注視角度に対して対向する方向にあるときの１つの可能性として考えられるソリューションを図示する。図１の補正システム３０は、仮想オブジェクトの位置付けを修正しない。ユーザは、例えば、「再生」ボタンがテーブル上に位置するか、またはテーブルの上方のある距離に浮かんでいるかを気にしなくてもよい。加えて、再生ボタンは、バックグラウンドアプリケーションのためのインターフェース要素として適切に機能するはずである。

図１０Ａ−１０Ｃは、図９のソリューションの代替としてのソリューションを図示する。図１０Ａでは、カメラの変形に起因する注視角度変化は、視認デバイスが、「アウトオブボックス」状態とも称される、依然として新しいときに開始されるように計算される。カメラ変形に起因する眼追跡カメラに対する計算された眼位置の変化は、眼追跡カメラ４４および発生された眼追跡画像のデータ分析を使用して、周期的に決定される。任意の特定の時点における眼位置または眼中心を計算するための方法論は、図２Ａを参照して説明される方法論に類似する。眼２２の画像は、１つ以上の眼追跡カメラに対する各眼の眼中心位置を計算するための基礎としての役割を果たし続ける。収集された画像フレーム内の眼中心位置の変化は、眼に対する眼追跡カメラの場所の変化に帰することができる。デバイス適合およびユーザが本デバイスを装着する方法の一貫性と関連付けられるある程度の誤差が、存在するが、データ分析における複数の画像フレームの使用は、眼追跡カメラ変形を決定する正確度を改良する。例えば、本デバイスの設定段階の間に撮影された眼追跡画像から計算される眼中心は、ある座標場所（ｘ，ｙ，ｚ）にあるように決定される。経時的に、眼追跡カメラ変形が、カメラが、わずかに下向きに傾斜するように起こり得る。変形された眼追跡カメラを用いて捕捉された画像内の眼の位置は、眼中心が、眼追跡画像内のより高いｙ軸場所に、例えば、座標場所（ｘ，ｙ＋１，ｚ）にあるように示されるように変化するであろう。２つの座標場所の間の変化は、眼追跡カメラにおける変化に連結され、その差異は、ディスプレイ上の仮想コンテンツのレンダリング場所を補正するために使用されることができる。眼追跡カメラ変形は、ベクトル１７０として図１０Ａに表され、１、２、または３次元において起こり得る。

眼追跡カメラ４４は、連続的に、例えば、１秒あたり３０フレームのレートにおいて実行される。眼追跡カメラ４４の変形を決定する際、データ収集が行われるために特定の仮想コンテンツレンダリングとユーザが相互作用することを待機することは、必要ではない。画像データのストリームが、任意の所与の時点でベースラインとの比較のために利用可能であってもよい。ベースラインデータと比較するための眼追跡カメラ４４からのデータ点のセットの使用は、ロバストなシステムを提供する。例えば、眼追跡カメラ４４からの少なくとも最後の１０枚の画像の使用は、１つまたは２つのみの画像の使用に優って正確度を改良することができる。

図１０Ｂは、ベクトル１６６がベクトル１５２および１７０の和であることを図示する。ベクトル１５２は、ベクトル１６６からカメラ変形ベクトル１７０を差し引くことによって計算されることができる。ベクトル１５２は、仮想オブジェクトの場所に対するディスプレイ変形の効果を表すため、仮想オブジェクトは、ベクトル１５２と対向する方向に移動されることができる。

図１０Ｃでは、仮想オブジェクトは、ベクトル１７２によって表されるように増分的に移動される。ベクトル１７２の和は、対向する方向にあることを除いて、ベクトル１５２に等しい。

図１１に示されるように、視認デバイス２０はさらに、図１０Ａ−１０Ｃに示されるような計算を行う目的のための基準システム１８０を含んでもよい。基準システム１８０は、瞳孔間距離、眼中心場所、デバイス適合情報、眼形状情報、視軸場所等の多くのベースライン計算、画像、および／または測定を含んでもよい。基準システム１８０は、視認デバイス２０が、依然として新しいときに計算される、アウトオブボックス基準注視角度１８２を含む。アウトオブボックス基準注視角度１８２は、メモリ内に記憶される。基準システム１８０はさらに、メモリ内に記憶される更新された注視角度１８４を有する。更新された注視角度１８４は、周期的ベースで計算され、直近で計算された注視角度を表す。基準システム１８０はさらに、カメラ変形に起因する注視角度の変化１８６を含む。変化１８６は、更新された注視角度１８４とアウトオブボックス基準注視角度１８２との間の差異である。変化１８６は、ベクトル１７０の和によって図１０Ａに表される。補正計算ユニット５０は、図１０Ｂにおけるベクトル１５２を計算するように機能する。図１１の視認デバイス２０の他の側面は、図１の視認デバイスと同一であり、類似する参照番号は、類似するコンポーネントを示す。アウトオブボックス基準注視角度は、比較のためのベースラインであるように説明されるが、任意の他の眼の特性、測定、計算、または画像が、アウトオブボックス基準注視角度の代わりに、またはそれに加えて使用されてもよい。

図１２は、本明細書に前述で説明されるような方法を図示する。２００において、仮想オブジェクトが、選択された場所において表示され、仮想オブジェクトを視認する眼が、予期される注視方向を有する。２０２において、予期される注視ベクトル範囲が、選択された場所に基づいて決定される。２０４において、ユーザ相互作用事象が、検出され、ユーザは、仮想オブジェクトと相互作用する。２０６において、眼から反射された光が、眼追跡カメラを用いて捕捉される。２０８において、改変された注視ベクトルが、眼追跡カメラによって捕捉された光に基づいて計算される。２１０において、決定された改変された注視ベクトルと予期される注視ベクトル範囲との間の比較が、行われる。要素２００−２１０は、要素２１２に、すなわち、ディスプレイアセンブリの変形を検出するためにグループ化されることができ、変形は、仮想オブジェクトを改変された場所において視認可能にさせ、眼は、改変された注視方向を有する。要素２００−２１０として列挙される具体的要素を伴わずに要素２１２を実行することが、可能であり得る。さらに、注視ベクトルが、計算されるが、注視ベクトルの計算を要求するもの以外の方法を使用して注視方向を決定することが、可能であり得る。

２１４において、実際の注視ベクトルが注視ベクトルの範囲外であるかどうかの決定が、行われる。２１４における決定が、否定的である場合、プロセスは、２００に戻る。２１４における決定が、肯定的である場合、仮想コンテンツレンダリング場所の補正量および方向量が、計算される。２２０において、仮想コンテンツレンダリング場所は、計算された補正量および方向によって調節される。要素２１８および２２０は、要素２２２に、すなわち、補正された場所における仮想オブジェクトの表示のためにグループ化されることができ、補正された場所における仮想オブジェクトを視認する眼は、改変された注視方向よりも予期される注視方向に近接して移動される、補正された注視方向を有する。

図１３は、その中で、機械に本明細書に議論される方法論のうちのいずれか１つ以上のものを実施させるための命令のセットが実行され得る、コンピュータシステム９００の例示的形態における機械の図表現を示す。代替実施形態では、機械は、スタンドアロンデバイスとして動作する、または他の機械に接続（例えば、ネットワーク化）されてもよい。さらに、単一の機械のみが、図示されるが、用語「機械」はまた、本明細書に議論される方法論のうちのいずれか１つ以上のものを実施するための命令のセット（または複数のセット）を個々に、または共同で実行する、機械の任意の集合を含むように解釈されるものとする。

例示的コンピュータシステム９００は、バス９０８およびレーザドライバチップ１２または他の光源ドライバを介して相互に通信する、プロセッサ９０２（例えば、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、または両方）、主要メモリ９０４（例えば、読取専用メモリ（ＲＯＭ）、フラッシュメモリ、同期ＤＲＡＭ（ＳＤＲＡＭ）またはラムバスＤＲＡＭ（ＲＤＲＡＭ）等のダイナミックランダムアクセスメモリ（ＤＲＡＭ）等）、および静的メモリ９０６（例えば、フラッシュメモリ、スタティックランダムアクセスメモリ（ＳＲＡＭ）等）を含む。

コンピュータシステム９００はさらに、ディスクドライブユニット９１６と、ネットワークインターフェースデバイス９２０とを含んでもよい。

ディスクドライブユニット９１６は、その上に本明細書に説明される方法論または機能のうちのいずれか１つ以上のものを具現化する命令９２４（例えば、ソフトウェア）の１つ以上のセットが記憶される、機械可読媒体９２２を含む。ソフトウェアはまた、コンピュータシステム９００によるその実行の間に、完全に、または少なくとも部分的に、主要メモリ９０４内および／またはプロセッサ９０２内に常駐してもよく、主要メモリ９０４およびプロセッサ９０２もまた、機械可読媒体を構成する。

ソフトウェアはさらに、ネットワークインターフェースデバイス９２０を介してネットワーク９２８を経由して伝送または受信されてもよい。

機械可読媒体９２４は、単一の媒体であるように例示的実施形態に示されるが、用語「機械可読媒体」は、命令の１つ以上のセットを記憶する単一の媒体または複数の媒体（例えば、集中または分散データベースおよび／または関連付けられるキャッシュおよびサーバ）を含むように解釈されるべきである。用語「機械可読媒体」はまた、機械による実行のための命令のセットを記憶する、エンコードする、または搬送することが可能であり、機械に、本発明の方法論のうちのいずれか１つ以上のものを実施させる、任意の媒体を含むように解釈されるものとする。用語「機械可読媒体」は、それに応じて、限定ではないが、ソリッドステートメモリ、光学および磁気媒体、および搬送波信号を含むように解釈されるものとする。

レーザドライバチップ１２は、データストア１６１と、その独自のプロセッサ１６２とを含む。データストア１６１は、レーザ源の動作に特有である命令およびデータ構造を記憶するために使用される。プロセッサ１６２は、データストアから命令を読み出し、レーザ源が、レーザ光を発生させるようにレーザ源を駆動するルーチンを実行するためのデータ構造へのアクセスを有する。レーザ源は、ビデオデータ等のデータを受信するプロジェクタの一部を形成する。走査装置が、プロジェクタの一部を形成し、プロジェクタが、２次元面積にわたって、およびいくつかの事例では、３次元空間内にレーザ光を表示することを可能にし、プロジェクタによって作成される任意のパターン、色、彩度、および他の光品質は、ビデオデータ内の値に基づく。

レーザ源およびレーザドライバチップ１２が、例証および議論されたが、他のディスプレイシステムを使用することも、可能であり得る。他のディスプレイシステムは、例えば、発光ダイオード（ＬＥＤ）技術、有機発光ダイオード（ＯＬＥＤ）技術、高輝度発光ダイオード（ＳＬＥＤ）、または同等物を利用するディスプレイを含んでもよい。

ある例示的実施形態が、説明され、付随の図面に示されたが、そのような実施形態は、単に、本発明の例証であり、その制限ではなく、本発明は、修正が、当業者に想起され得るため、示され、説明される具体的構造および配列に制限されないことを理解されたい。

Claims (18)

1. レンダリングされたコンテンツを表示するための視認デバイスであって、
   ディスプレイアセンブリ上の選択された場所において仮想オブジェクトを表示するように構成されるディスプレイアセンブリであって、前記仮想オブジェクトを視認する眼は、予期される注視方向を有する、ディスプレイアセンブリと、
   変形検出システムであって、前記変形検出システムは、前記ディスプレイアセンブリに接続され、前記ディスプレイアセンブリ上の前記仮想オブジェクトを視認する前記眼の測定された注視方向を検出し、前記測定された注視方向が前記予期される注視方向と異なる改変された注視方向であることに基づいて、前記ディスプレイアセンブリの変形を計算するように構成される、変形検出システムと
   を備える、視認デバイス。
2. 前記ディスプレイアセンブリを用いて、補正された場所において前記仮想オブジェクトを表示するために、前記変形検出システムに接続される補正システムをさらに備え、前記補正された場所における前記仮想オブジェクトを視認する前記眼の測定された注視方向は、補正された注視方向であり、前記予期される注視方向と前記補正された注視方向との間の差異は、前記予期される注視方向と前記改変された注視方向との間の差異を下回る、請求項１に記載のシステム。
3. 前記ディスプレイアセンブリは、光学ディスプレイを含み、前記変形は、前記光学ディスプレイの変形である、請求項１に記載のシステム。
4. 前記光学ディスプレイは、ディスプレイ変形方向において変形され、前記改変された注視方向は、前記ディスプレイ変形方向において前記予期される注視方向に対して移動される、請求項３に記載のシステム。
5. 前記光学ディスプレイは、透明であり、前記仮想オブジェクトは、前記眼と対向する前記光学ディスプレイの側上の場所において前記眼によって視認可能である、請求項４に記載のシステム。
6. 前記変形検出システムは、
   前記眼から反射された光を捕捉するように構成される眼追跡カメラと、
   注視角度計算モジュールであって、前記注視角度計算モジュールは、前記眼追跡カメラによって捕捉された前記光に基づいて、前記眼の測定された注視方向を計算するように構成される、注視角度計算モジュールと
   を含む、請求項３に記載のシステム。
7. 前記注視角度計算モジュールによって計算される前記測定された注視方向は、前記眼追跡カメラおよび前記光学ディスプレイのうちの少なくとも１つの変形に起因する前記改変された注視方向である、請求項６に記載のシステム。
8. 前記予期される注視方向と前記改変された注視方向との間の前記差異は、第１の方向にあり、前記眼追跡カメラの変形に起因する前記測定された注視方向の変化は、第２の方向にあり、前記第１および第２の方向は、相互に対して９０度を下回り、さらに、
   前記ディスプレイアセンブリを用いて、補正された場所において前記仮想オブジェクトを表示するために、前記変形検出システムに接続される補正システムを備え、前記補正された場所における前記仮想オブジェクトを視認する前記眼は、前記改変された注視方向から前記予期される注視方向に向かって移動される補正された注視方向を有する、請求項７に記載のシステム。
9. 前記予期される注視方向から前記改変された注視方向への変化は、第１の方向にあり、前記眼追跡カメラの変形に起因する前記測定された注視方向の変化は、第２の方向にあり、前記第１および第２の方向は、相互に対して９０度を上回って分離される、請求項７に記載のシステム。
10. 前記ディスプレイアセンブリを用いて、前記改変された場所から前記仮想オブジェクトを移動させることなく前記仮想オブジェクトを表示するために、前記変形検出システムに接続される補正システムをさらに備える、請求項９に記載のシステム。
11. 前記ディスプレイアセンブリを用いて、補正された場所において前記仮想オブジェクトを表示するために、前記変形検出システムに接続される補正システムをさらに備え、前記補正された場所における前記仮想オブジェクトを視認する前記眼は、補正された注視方向である測定された注視方向を有し、前記補正された注視方向は、前記改変された注視方向から前記予期される注視方向に向かって移動される、請求項９に記載のシステム。
12. 前記眼追跡カメラの変形に起因する前記測定された注視方向の変化を検出するための基準システムと、
    補正計算ユニットであって、前記補正計算ユニットは、前記変形検出システムによって検出される前記注視角度の変化から、前記眼追跡カメラの変形に起因する前記測定された注視方向の変化を差し引くことによって、前記ディスプレイアセンブリの変形に起因する前記測定された注視方向の変化を決定する、補正計算ユニットと、
    前記ディスプレイアセンブリを用いて、補正された場所において前記仮想オブジェクトを表示するために、前記変形検出システムに接続される補正システムであって、前記補正された場所における前記仮想オブジェクトを視認する前記眼は、前記ディスプレイアセンブリの変形に起因する前記注視角度の変化と対向する方向に移動される補正された注視方向を有する、補正システムと
    をさらに備える、請求項１１に記載のシステム。
13. 前記変形検出システムは、
    複数の測定された注視方向測定値を受信および分析するように構成される統計システムと、
    複数の注視方向を計算する注視角度計算ユニットであって、各注視方向は、個別の測定値に関する、注視角度計算ユニットと、
    複数の実際の注視方向測定値に基づいて、前記改変された注視方向を決定する補正計算ユニットと
    を含む、請求項１に記載のシステム。
14. 前記変形検出システムは、前記変形を検出する前に、前記仮想オブジェクトの表示を改変し、ユーザの注意を前記仮想オブジェクトに引き付けるように構成される注意発生ユニットを含む、請求項１に記載のシステム。
15. 前記注意発生ユニットは、前記仮想オブジェクトの色を変更することによって、前記ユーザの注意を引き付けるように構成される、請求項１４に記載のシステム。
16. 前記注意発生ユニットは、前記仮想オブジェクトのサイズを縮小することによって、前記ユーザの注意を前記仮想オブジェクトに引き付けるように構成される、請求項１４に記載のシステム。
17. レンダリングされたコンテンツを表示する方法であって、
    ディスプレイアセンブリを用いて、前記ディスプレイアセンブリ上の選択された場所において仮想オブジェクトを表示することであって、前記仮想オブジェクトを視認する眼は、予期される注視方向を有する、ことと、
    前記ディスプレイアセンブリの変形を検出することであって、前記変形は、前記仮想オブジェクトを改変された場所において視認可能にさせ、前記眼は、改変された注視方向を有する、ことと
    を含む、方法。
18. ディスプレイアセンブリを用いて、補正された場所において前記仮想オブジェクトを表示することをさらに含み、前記補正された場所における前記仮想オブジェクトを視認する前記眼は、前記改変された注視方向から前記予期される注視方向に向かって移動される、補正された注視方向を有する、請求項１７に記載の方法。

Images