JP2020522738A - 外部シーンと仮想画像との間の位置合わせ方法、及び、システム - Google Patents

Abstract

【課題】 外部シーンと仮想画像との間の位置合わせ方法、及び、システムの提供【解決手段】 本発明は、網膜上の眼によって撮像された外部シーンと仮想画像／拡張データとの間の位置合わせを決定するための拡張現実投影に使用するための技術を提供する。いくつかの実施形態では、本発明は、網膜を画像化し、及び、その上の外部シーンの投影を識別することによって、網膜上の拡張現実投影と網膜上にキャプチャされた外部シーンとの間の位置合わせを決定するための技術に関連する。【選択図】

Description

本発明は、アイ・プロジェクション（eye projection）の分野にあり、より具体的には、使用者の眼に、純粋な拡張／仮想現実画像を投影するための技術に関する。

ユーザの眼に、仮想、及び／又は、拡張現実を投影するための頭部に装着される、又は、他のウェアラブルな画像投影システムが、ますます普及しつつある。このようなシステムは、多くの場合、ユーザの頭部に装着でき、また、ユーザに仮想現実画像／映像投影を提供するために、ユーザの眼に画像を投影するように動作可能である眼鏡として構成される。この目的のために、特定の既知のシステムは、ユーザの眼への純粋な仮想現実画像の投影を提供することを目的とし、そのシステムでは、外部シーンからの光は、眼に到達することを防止し、一方、他のシステムは、拡張現実経験を提供することを目的とし、そのシステムでは、画像投影システムによって眼に投影された画像／ビデオフレームによって拡張／重畳もされる一方、外部シーンからの光が眼の中に通過できるようにする。

本発明は、拡張現実投影において、眼によって網膜上に画像化された外部シーンと仮想画像／拡張物（augmentation）データとの間の位置合わせを決定するために使用するための技術を提供する。いくつかの実施形態では、本発明は、網膜をイメージングし、その上の外部シーンの投影を識別することによって、網膜上の拡張現実投影と網膜上に捕捉された外部シーンとの間の位置合わせを決定するための技術に関する。

従来の技術では、各眼によって知覚される画像は、眼の前の画像平面上に投影される場合、画像平面は、典型的には、ユーザが配置される外部シーン／環境の基準フレームに対して固定されている基準フレーム（例えば、現実の画像が劇場の固定スクリーン上に投影される典型的な３Ｄ映画館の場合のように）に対して固定され、又は、ユーザの頭部に関連する基準フレーム（例えば、パイロット、又は、ゲーマーのヘルメットであって、それらのユーザに拡張／仮想現実を投影するように設計されているものの場合のように）に対して固定される。これらのいずれの場合においても、投影された画像は、眼の基準フレーム（すなわち眼球の視線）に固定されず、その結果、投影モジュールに対する既知の目標−視界視線アライメントの問題をもたらし、特定の較正を必要とする。

眼の網膜上への画像の直接投影の技術の原理は、例えば、本出願の譲受人に譲渡された、同時係属の、ＰＣＴ特許国際公開ＷＯ２０１５／１３２７７５号に詳細に記載されており、参照により本明細書に組み込まれる。眼の網膜上に直接に画像を直接投影することにより、網膜上の視野深度が改善された画像を生成でき、これにより、眼の不快さや、眼が誤った距離で焦点を合わせようとする試行の結果である疲労を回避することができる。

本発明は、一般に、位置合わせシステム、及び、方法に関し、並びに、実際の、又は、キャプチャされた現実世界の画像などの外部シーンの実情報を、コンピュータ生成されたオブジェクトの画像などの仮想情報に統合、又は、拡張するための拡張現実（ＡＲ）技術に関する。より詳細には、本発明は、仮想世界情報をＡＲシステム内の現実世界情報に位置合わせする技術に関する。

ＡＲ技術は、人間が現実世界と統合されたコンピュータ生成された仮想世界を見ることができるように、そうでなければ、感知することできるようにする。「現実世界」とは、観察者が自分の感覚を用いて、見ることができ、感じ、音を聞き、味わい、又は、におい嗅ぐことができる環境である。「仮想世界」は、記憶媒体に記憶された、又は、プロセッサを使用して計算された創られた環境として定義される。ＡＲ技術内の位置合わせシステムは、仮想世界を現実世界に位置合わせし、仮想情報と実情報とを、観察者によって使用可能な形で、統合する。

このように、本発明のシステムは、現実世界に投影された情報の非常に正確なアライメントを可能にするだけでなく、近くの身体相互作用に関する重大な問題である、最適な、及び、リアルタイムのオクルージョンマップを生成するように構成される。

この技術は、網膜からの光の反射を利用して、網膜上に外部シーンの投影を画像化し、外部シーンの画像投影に対して拡張ビデオ／グラフィックスの入力を位置合わせし、それによって、外部シーンに合わせて、拡張ビデオを網膜上に投影することを可能にする。より具体的には、特定の投影波長において、ワールド情報データは、現実世界の画像データに重畳される。スペクトルの残り（投影された波長を除く）に対して、可視スペクトルの残りの部分の積分はかなりの量のエネルギーを有するため、現実世界の情報データは、可視スペクトルに維持される。

本発明の広範な態様によれば、拡張現実システムと共に使用される位置合わせシステムであって、ユーザの眼の網膜から反射された光ビーム部分を受信し、ユーザの眼によって知覚された外部シーンの画像を示す反射光ビーム部分を画像化し、それによって再構成された画像を生成するように構成され、また、動作できるセンサと、前記センサに接続され、外部シーンの三次元画像データを受信し、前記再構成された画像と前記三次元画像データとを比較するように構成され、動作可能である制御ユニットと、を備え、外部シーンの少なくとも1つのパラメータと、眼に対する仮想画像の少なくとも1つのパラメータとの間で、それらにより、外部シーンとの位置合わせにおいて、網膜上に仮想画像を投影できるように位置合わせする。この場合、上述したように、外部シーンの３次元画像データは、ユーザの眼の上方に位置する撮像ユニットによって生成され、したがって、ユーザの眼に関連して視差の影響を受けやすいことを理解するべきである。なぜならば、カメラユニットは、眼の上に位置させることができないので、視差（すなわち、2つの異なる視線：カメラユニットの視線、及び、眼の視線に沿って見られた対象物の見かけ上の位置の違い）が存在する。本発明の位置合わせシステムの目的は、仮想画像の投影前に、この視差オフセットを補償するために投影を調整することである。一度、位置合わせによって、目標−視界が調整させると、画像の投影中に、位置合わせシステムは、ユーザの顔における眼鏡の任意の変位を補償するために、位置合わせプロセスを繰り返す。このため、本発明のシステムは、外部シーンを示す画像データと、ユーザの眼から反射された画像データとを比較して、外部シーンを示す画像データを収集する撮像ユニットと、ユーザの眼との間の相対的な位置、及び、方位を決定し、仮想世界オブジェクトを現実世界オブジェクトに位置合わせし、仮想世界オブジェクトの画像を現実世界オブジェクト上に表示、又は、投影するか、又は、仮想世界オブジェクトの画像を現実世界オブジェクトのキャプチャ画像に電子的に結合するかによって、仮想世界オブジェクトを現実世界オブジェクトに統合する。

いくつかの実施形態では、本発明の位置合わせシステムは、拡張現実（AR）システム内で現実世界情報に仮想情報を位置合わせするための手段として使用される。ＡＲシステムにおける適切な位置合わせによって、ユーザは、拡張された視野において、正確に仮想シーンを見ることができ、及び、適切な場所に誘導され、又は、その他、現実のオブジェクトに作用できる。位置合わせシステムによって行われる位置合わせプロセスは、少なくとも1つの現実世界の物体、又は、目標とユーザの眼との間の相対的な位置、及び、方向を含むパラメータを決定する。

いくつかの実施形態では、本発明の技術は、較正なしで、現実世界情報への仮想情報の位置合わせを提供できる。

いくつかの実施形態では、位置合わせシステムは、さらに、仮想画像を示すデータを取得し、仮想画像の画素に対応する複数の光ビーム部分を生成し、及び、光ビーム部分を一般的な光伝搬経路に沿って伝搬させるように方向付けるように構成された画像生成装置を有している。

いくつかの実施形態では、位置合わせシステムは、さらに、光ビーム部分の一般的な光伝搬経路をユーザの眼の瞳孔に向かって偏向させ、それによって仮想画像を眼の網膜上に直接投影するように構成され、また、動作可能な偏向装置を有するアイ・プロジェクション光学モジュールを有している。

いくつかの実施形態では、位置合わせシステムは、さらに、外部シーンに向かって光を送信し、そこから反射された光を収集し、また、収集された光を処理してそのキャプチャされた３次元画像を生成するように構成された撮像ユニットを有している。

本発明の他の広範な態様によれば、外部シーンを認識するユーザの眼に使用されるアイ・プロジェクション・システムも提供される。このシステムは、各ユーザの眼から反射された光の光路に配置され、また、ユーザの網膜から反射された光ビーム部分を受光し、外部シーンの画像を示す反射された光ビーム部分を画像化し、それによって、再現された光ビーム部分を生成するように構成され、また、動作できるセンサ、仮想画像を示すデータを取得し、仮想画像の画素に対応する複数の光ビーム部分を生成し、また、光ビーム部分を一般的な光伝搬経路に沿って伝搬するように方向付けるように適合された画像生成装置、光ビーム部分の一般的な光伝搬経路をユーザの眼に向かって偏向させ、それによって仮想画像を眼の網膜上に、直接的に、投影するように構成され、また、動作可能なアイ・プロジェクション光学モジュールを有し、一般的な光伝搬経路は、異なる瞳孔入射角で瞳孔に入射する光ビーム部分が、ある視線方向に関連する眼の視線に対して異なる視線方向に方向付けられるように、偏向され、制御ユニットは、外部シーンの３次元画像データを受信するように適合され、前記制御ユニットは、前記センサに接続され、前記再現された画像を示すデータを受信し、前記データを前記3次元画像データと比較し、前記外部シーンの少なくとも1つのパラメータと前記仮想画像のうちの少なくとも1つのパラメータとの間のレジスタを、前記眼の視線に比較し、それにより、前記外部シーンに合わせて前記仮想画像を網膜上に投影することを可能にする

いくつかの実施形態では、外部シーン、及び、仮想画像の少なくとも1つのパラメータは、ユーザの顔に対する位置、及び、方向のうちの少なくとも1つを有している。

いくつかの実施形態では、センサは、アイ・プロジェクション光学モジュール内に一体化される。

いくつかの実施形態では、前記システムは、さらに、外部シーンの少なくとも関心領域に向かって光を投光し、そこから反射された光を収集し、収集された光を処理してその3次元画像データを生成するように構成された撮像ユニットを有している。

いくつかの実施形態では、画像生成装置は、特定の波長範囲において少なくとも1つの光ビーム部分を生成するように構成され、また、動作できる少なくとも1つの光源を有している。

いくつかの実施形態では、アイ・プロジェクション光学モジュールは、画像スキャナを有している。前記画像スキャナは、網膜上の様々な位置に対応する反射された光ビーム部分がセンサによって順次収集されるように、画像走査を実行するように構成され、また、動作できるものであってもよい。

いくつかの実施形態では、システムは、さらに、アイ・プロジェクション光学モジュールからの光をユーザの眼の瞳孔に向かって透過させ、網膜から反射された光ビーム部分をセンサに向けて反射するように構成されたビームスプリッタ／コンバイナを有している。ビームスプリッタ／コンバイナは、ユーザの瞳に向かって1つ以上のスペクトル帯域を送信するように構成されたノッチフィルタ、又は、広帯域反射装置として構成できる。

いくつかの実施形態では、前記センサは、眼からの少なくとも1つのＩＲ光線の反射を検出するように構成、また、動作できるＩＲセンサを有している。

いくつかの実施形態では、偏向装置は、光ビーム部分が走査される画像走査を実行し、その間に、網膜上の様々な位置に対応する様々な瞳孔入射角で瞳孔に入射するように、光ビーム部分が偏向されるように構成され、また、動作できる画像スキャナとして構成される。

いくつかの実施形態では、システムは、さらに、ユーザの眼の視線方向を決定するように適合されたアイ・トラッカ（eye tracker）を有している。

いくつかの実施形態では、アイ・プロジェクション光学モジュールは、ユーザの眼の瞳孔に向かって、光ビーム部分の発散を変化させる調節可能な集束素子を有している。調整可能な集束要素は、瞬間的な視線方向に対応してシャープで、「焦点が合った」画像の再構成を明確にするために、位置合わせシステムの焦点合わせ特性を調整するように構成されている。

本発明の別の広範な態様によれば、ユーザの眼によって知覚される外部シーンと仮想画像との間の位置合わせ方法が提供される。この方法は、少なくとも以下のステップを有している：外部シーンを示す3次元画像データと、仮想画像を示すデータとを受信するから反射された光ビーム部分を受信し、網膜から反射された光ビーム部分を受光し、再構成された画像を提供するために、外部シーンの画像を示す反射された複数の光ビーム部分をイメージ化し、再構成された画像を３次元画像データと比較し、外部シーンの少なくとも1つのパラメータと、ユーザの眼に対する仮想画像の少なくとも1つのパラメータとの間で位置合わせし、それによって、外部シーンに合わせて網膜上に仮想画像を投影することを可能にし、仮想画像の画素に対応する複数の光ビーム部分を生成し、光ビーム部分を一般的な光伝搬経路に沿って伝播するように、光ビーム部分の一般的な光伝搬経路を各ユーザの眼の瞳孔に向かって方向付けし、位置決めにしたがって、光ビーム部分を一般的な光伝搬経路に沿って伝播させるステップ。

いくつかの実施形態では、外部シーン、及び、仮想画像の少なくとも1つのパラメータは、ユーザの顔に対する位置、及び、方向のうちの少なくとも1つを有している。

いくつかの実施形態では、この方法は、さらに、光を外部シーンに向けて投光し、そこから反射された光を収集し、収集された光を処理してその3次元画像データを生成するステップを有している。又は、3次元画像データは、ヘッドセット上に取り付けられた2つ以上の空間的に分散されたカメラから、及び／又は、3次元画像データを生成する非固定カメラ、及び、慣性測定ユニット対から収集され得る。

いくつかの実施形態では、複数の光ビーム部分を生成するステップは、ある波長範囲の少なくとも１つの光ビーム部分を生成することを有している。

いくつかの実施形態では、網膜から反射された光ビーム部分を受光するステップは、網膜上の様々な位置に対応する反射光ビーム部分が、順次、収集されるように、画像走査を実行することを有している。

いくつかの実施形態では、光ビーム部分の一般的な光伝搬経路をユーザの眼の瞳孔に向かって方向付けるステップは、光ビーム部分が網膜上の様々な位置に対応する様々な瞳孔入射角で瞳孔に入射するように、光ビーム部分が偏向される画像走査を実行することを有している。光ビーム部分の一般的な光伝搬経路をユーザの眼の瞳孔に向かって偏向させるステップは、光ビーム部分の1つ、又は、複数のスペクトル帯域をユーザの瞳孔に向けて送信することを、追加的に、又は、代替的に、有していてもよい。

いくつかの実施形態では、網膜から反射された光ビーム部分を受け取るステップは、ＩＲ、又は、可視光ビーム部分の反射を検出することを有している。

本発明は、様々な変更、及び、代替形態が可能である一方、その特定の実施形態は、図面において例として示されており、本明細書で詳細に説明される。しかし、本発明を開示した特定の形態に限定することを意図するものではなく、逆に、添付の特許請求の範囲によって定義される本発明の精神、及び、範囲内に入るすべての修正、均等物、及び、代替物を包含することを意図していると理解されるべきである。

ここに開示される主題をより良く理解し、また、実際に実施され得る方法を例示するために、実施形態は、添付の図面を参照しながら、非限定的な例としてのみ説明される。
本発明のいくつかの実施形態による位置決めシステムのいくつかの要素の部分図を概略的に示すブロック図である。 図２Ａは、ユーザの知覚（脳内）に現れる外部シーンの画像を示す図である。図２Ｂは、網膜上に現れる画像と同じ画像を示す図である。図２Ｃは特定の被写体の網膜の構造の画像を示す図である。 図３Ａは、仮想物体の閉塞、及び、そのような閉塞の処理を模式的に表している。図３Ｂは、仮想物体の閉塞、及び、そのような閉塞の処理を模式的に表している。 本発明のいくつかの実施形態による走査投影システムのいくつかの要素の概略図を模式的に表し、仮想物体の眼の網膜上への投影、及び、ユーザの知覚も表されている。 本発明のいくつかの実施形態による走査投影システムのいくつかの要素の概略図である。 フォトダイオードセンサの利用可能な波長と、センサによって行われた異なる検出とを模式的に示している。 フォトダイオードセンサの利用可能な波長と、センサによって行われた異なる検出とを模式的に示している。 フォトダイオードセンサの利用可能な波長と、センサによって行われた異なる検出とを模式的に示している。 本発明のいくつかの実施形態による位置決めシステムを概略的に表すブロック図である。 本発明のいくつかの実施形態による技術の主要なステップを概略的に表すフローチャートである。 本発明のいくつかの実施形態による位置決めシステムの別の構成を概略的に表す。

発明の詳細な説明

以下に説明する光モジュール／素子は、本発明を実施するために使用される機能的な光学素子／モジュール、及び、その構成を示すことを理解すべきである。したがって、光素子／モジュールは、それらの機能的動作にしたがって、以下に説明される。これらの光学素子／モジュールは、実際の光学素子の様々な配置の組み合わせを利用することにより、実質的に実現することができることに留意すべきである。さらに、本発明の特定の実施形態では、以下に記載される2つ以上の機能的な光モジュールは、共通の光モジュール／素子において一体的に実装されてもよく、及び／又は、以下に記載される単一の機能的光学素子／モジュールは、実際には、いくつかの個別の光学素子を利用して実装されてもよい。この目的のために、本発明の知識を有する当業者は、本発明を実施するための光学素子／モジュール、及び、そのようなモジュールの様々な構成、また、以下に記載する機能的な光学要素／モジュールの光学的機能を容易に理解するであろう。

図１を参照すると、本発明の位置合わせシステムの構造的、及び、機能的部分の部分的な概略図が、ブロック図によって示されている。位置合わせシステム１００は、外部シーンの少なくとも1つのパラメータと、眼に対する仮想画像の少なくとも1つのパラメータとの間で位置合わせを行うように構成され、これにより、外部シーンとの位置合わせにおいて、仮想画像を網膜上に投影することができる。オブジェクト位置合わせは、眼に対するオブジェクトの位置を示す。位置合わせシステム１００は、特に、センサ１０２（すなわち、アイビューカメラ）、透明ビームスプリッタ／コンバイナＢＳＣ、及び、撮像ユニット１０６（ワールドビューカメラ）のような主要な構成部品を有してもよい。センサ１０２は、ユーザの眼の網膜から反射された光ビーム部分を受光し、ユーザの眼によって知覚された外部シーンの画像を示す反射された光ビーム部分をイメージ化し、再構成された画像を生成するように構成されており、また、動作できる。撮像ユニット１０６は、外部シーンの少なくとも関心領域に向けて光を投光し、そこから反射された光を収集し、収集された光を処理して、その3次元画像データを生成するように構成されている。撮像ユニット１０６は、現実世界から画像を取得し、これらの画像を制御部（図示せず）に送信できるカメラであってもよい。本発明の位置合わせシステム１００は、眼内の画像を現実世界の画像と重ね合わせることにより、正確な目標位置合わせを提供する。センサ１０２、及び、カメラユニット１０６は、実質的に同時に画像をキャプチャするように同期させることができる。ＢＳＣは、外部シーンからの光をユーザの眼の瞳孔に向かって透過させ、網膜から反射された光ビーム部分をセンサ１０２に向けて反射するように適合された湾曲した半反射ミラーであってもよい。

上述したように、センサ１０２によって受光された画像は、眼によって知覚される外部シーンを示す。図２Ａは、被写体によって知覚される画像を示す。図２Ｂは、網膜上に現れる画像と同じ画像を示し、したがって、図１のセンサ１０２によってキャプチャされたものである。一般に、眼は、角膜とレンズとが前方にあり、網膜が後方内面上にある、ほぼ球形であることを理解すべきである。網膜上の像を集束させるために必要な屈折の大部分は、空気−角膜界面で発生する。レンズは、焦点距離を調整することにより、画像焦点を変更する。このプロセスは調整（accommodation）と呼ばれる。毛様筋は、レンズを適切な形状に引っ張る。画像の最もシャープな部分は、網膜の中心窩（レンズの後ろの視軸上）に合わせられる。角膜−レンズシステムにおけるほとんどの収差は、レンズ内の非均一な屈折率によって効果的に最小化される。いくらかの色収差は残る。短波は、レンズに非常に近くで焦点合わせされるため、眼は、網膜上に画像を調節できない。図に明確に示されているように、画像は、球面網膜に焦点が合わされているので、大きな視野／幾何学的歪みを含むが、これらの歪みは、図２Ａに示すように、定常性と呼ばれるプロセスにおいて、脳内で容易に補正される。図２Ｃは、特定の被写体の網膜構造を示す画像を示す。図１のセンサ１０２によって取得された画像は、（図２Ｃに示されているように、）外部シーンの画像と重畳された網膜の構造を示し、また、（図２Ａに示されるように、）球形網膜上に焦点が合わせされるので、眼によって生成された大きな視野／幾何学的歪みを含んでいる。本発明の位置合わせシステムは、図６を参照して後述するように、センサによって取得された画像から網膜の構造を示すデータを取り除くばかりでなく、そのような幾何学的歪みを補償するように構成されている。

仮想画像の投影中に頻繁に発生するオクルージョン（occlusion）／オブトルージョン（obtrusion）問題を表す図３Ａ−図３Ｂを参照する。この特定の非限定的な例では、ユーザの手は、ユーザの視野に移動され、したがって、この例では仮想物体である立方体の一部を遮断する。オクルージョンとは、何かがそれの前方にあるために、シーンの一部が見えない状況を示す。拡張現実の文脈では、これは、カメラと仮想要素の３Ｄ位置との間に何かがあることを意味する。図３Ｂに示すように、このような遮断（occlusion）が生じた場合、制御ユニットは、生成された画像から減算される遮断物体の正確な形状を切断するマスクを生成し、画像の非遮断部分のみが投影される。したがって、本発明は、マスクの形態で実現される、最適で、また、リアルタイムのオクルージョンマップを生成する。マスクは、カメラ視点からアイビュー視点に向かうにつれて、３Ｄシーンに対して並進、及び、回転数学演算を適用することによって、形成されてもよい。次に、現実世界の３Ｄマップは、ユーザ・スタンド・ポイントからどのオブジェクトがどのオブジェクトの前方にあるかを特定する仮想オブジェクトのツリーを構築するために、仮想オブジェクトと共に階層的にスライスされてもよい。この技術は、テクスチャ、又は、レイ・トレーシングを利用するコンピュータレンダリング処理と同様である。

この点について、任意の純粋／拡張仮想現実システムの課題の１つは、仮想データの環境への位置合わせであることを理解すべきである。（以下の図４Ａに示されるように、）ユーザの眼よりも僅かに上に位置する、メガネフレームに配置されたカメラユニットの視線は、眼の視線と正確に関連付けられるべきである。ユーザに対して現実の知覚経験を提供するために、カメラユニットの視線は、ユーザの眼の視線と完全に調整されるべきである。カメラ座標とワールド座標との間の変換は、回転ベクトルと並進ベクトルとからなる。通常、回転ベクトルのマッチングは極めて簡単であるが、カメラ座標とワールド座標との間の正確な変換を提供する必要がある。したがって、オクルージョンの知覚を回避するために、カメラユニットの視線とユーザの眼の視線との間の相関に応じて、遮断オブジェクトを遮断するマスクの位置を平行移動すべきである。

投影システムに関して必要とされる位置合わせの正確性は、見られているオブジェクトの環境、及び、距離に依存することも注意すべきである。低い正確性の位置合わせは、近くのオブジェクトに関する拡張が難しい一方、視差オフセットがほとんど重要でないラージ・スケール環境における遠くのオブジェクトに対しては容認できるであろう。現実、及び、仮想オブジェクトの間の正しい遮断が、発生すべきであり、また、仮想環境は、両方の環境が見えるので、現実の環境に正確に重畳されるべきである。現実環境のワールド座標と仮想環境のワールド座標との間で、マッチングの不一致および現実、及び、仮想オブジェクトの間の位置、及び、サイズを調和させ（matching）、また、縫い合わせる（stitching）ことに、不一致が生じる可能性が高い。この不一致によって、仮想オブジェクトが重畳される位置の転移が、直接的に生じる。したがって、仮想オブジェクトと現実世界との間の適切な位置合わせは、仮想環境が適切に重畳されるように実行されなければならない。中心窩における眼の感度は約1／60°であり、周辺感度は約1／6°である。したがって、ユーザは、中心窩領域に現れる遮断に対しては非常に敏感である。

本発明の位置合わせシステム４００の簡略化された概略図を示す図４Ａを参照する。本発明の位置合わせシステム４００は、典型的には、頭部装着されるように構成され、表示データをユーザに提供するための1つ、又は、2つのアイ・ディスプレイ・ユニットと共に使用してもよい。このシステムは、一般に、相対的に大きな視野を有する画像データを表示することにより、仮想、又は、拡張現実経験をユーザに提供するように構成され、また、表示データ内のユーザ（実際のシーン）の前方の領域の実際のヴィジュアル・データを、実質的にリアルタイムで、結合するように構成されている。図１に記載されているように、位置合わせシステム４００は、特に、ユーザの眼の網膜から反射された光ビーム部分を受光し、また、ユーザの眼によって知覚される外部シーン（例えば、この特定、及び、非限定的な例では花）の画像を示す反射された光ビーム部分をイメージ化するセンサ１０２（例えば、走査カメラ）、外部シーンから反射された光を収集し、また、その３次元データを生成し、その両方がユーザの眼の上方に位置する撮像ユニット１０６（例えば、フィールド・カメラ）、及び、外部シーンからの光をユーザの眼の瞳孔に向けて投光し、網膜から反射された光ビーム部分をセンサ１０２に向けて反射するように適合された透明なビームスプリッタ／コンバイナＢＳＣのような、主要な構成部品を有している。センサ１０２は、網膜の様々な位置におけるラスタ走査のような画像走査を実行し、その結果、網膜上の様々な位置に対応する反射された光ビーム部分がセンサ１０２によって、順次、収集されるように、適合されている。

本発明の位置合わせシステムの部分断面図を示す図４Ｂを参照する。眼から反射された光は、ＢＳＣによって収集され、また、ラスタ走査のような２次元画像走査を実行するように動作可能な1つ以上の高速走査ミラーであり、また、（例えば、ミラーを回転させることによって）画像の画素に対応する網膜の様々な位置で眼から反射された光ビームを受光し、また、センサ１０２（例えば、フォトダイオード・アレイ）に向かって網膜の様々な位置の光ビームを送信するように構成されるイメージスキャナ（例えば、中心窩スキャナ）に送信される。走査／ラスタ走査ミラーは、圧電アクチュエータ、又は、他のタイプのアクチュエータのような、ミラーが網膜上のある範囲の位置にわたって光ビームの画像／ラスタ走査を実行できる適切なアクチュエータに機械的に結合された微小電気機械システム（ＭＥＭＳ）ミラーのような、任意の適切な技術を利用して実施するようにしてもよい。この点について、図には、明確にするだけのために、単一の走査ミラー（例えば、高速走査ミラー）が図示されているが（例えば、2次元／軸で回転するためにジンバルに支持されている）、本発明の他の実施形態では、2つ以上のミラーを、２次元画像中の光ビームを収集するために使用されてもよいことを理解すべきである。センサ１０２は、各ピクセルにおいて、外部シーンの異なる部分を収集するフォトダイオード・アレイであってもよい。センサ１０２は、画像スキャナを使用して、所望の視野を横切ってラスタ化され、経時的に２Ｄ画像を構築する。このために、センサ１０２は、短い積分時間を有し、アバランチ・フォトダイオードに限定するものではないが、高感度素子を利用できる。センサ１０２によってキャプチャされる画像画面に示される破線は、走査された画像の軌跡である。

センサ１０２、例えば、シリコン・ベース、又は、直接にフォトダイオードを放出する窒化ガリウム固体、によってカバーされる波長の範囲を表す図５Ａ−図５Ｃを参照する。図に示すように、フォトダイオードは、スペクトルの青色（λｐ＝４６０ｎｍ）、緑色（λｐ＝５２０ｎｍ）、及び、赤色（λｐ＝６４０ｎｍ）領域に敏感な３チャネル（ＲＧＢ）フォトダイオードを有している。曲線Ｓは、センサ１０２によって生成された眼によって知覚される外部シーンの光学的検出を表し、Ｒ、Ｇ、Ｂピークは、仮想画像のＲＧＢ投影の検出である。本発明の位置合わせ方法は、任意に、パターンがユーザの網膜上に投影されるカメラユニット１０６の較正台を有してもよいことに留意されたい。次に、ユーザは、パターン上のいくつかの点を識別して、制御ユニット１０４が、各ユーザに固有の歪み、収差、及び、広がりを識別できるように要求される。図５Ｂは、通常、緑色の範囲で行われるセンサ１０２による較正パターンの検出を示す。図５Ｃは、関心のある特定のスペクトル領域が選択され、この選択された領域に対する受信された放射の強度の和（積分）が、網膜上のシーンの投影を識別するために、決定されることを示す。

図６を参照すると、本発明の位置合わせシステム６００の構造的、及び、機能的部分の部分概略図が、ブロック図によって、示されている。位置合わせシステム６００は、外部の拡張現実システムと共に使用されてもよく、又は、拡張現実システムの一部であってもよい。位置合わせシステム６００は、センサ１０２、及び、制御ユニット１０４などの主要な構成部品を有している。

制御ユニット１０４は、ユーザによって思われた、視線に対応する入力画像データを利用する。制御ユニット１０４は、一般には、コンピューティング／電子ユーティリティとして、特に、特に、データ入出力ユーティリティ１０４Ａ、１０４Ｂ、メモリ１０４Ｃ、及び、データプロセッサモジュール１０４Ｄのようなユーティリティを有するものとして構成される。制御ユニット１０４は、有線、又は、無線によってセンサ１０２に接続される。制御ユニット１０４は、外部シーンの３次元画像データを受信し、センサの再構成画像を３次元画像データと比較し、外部シーンの少なくとも1つのパラメータと眼に対する仮想画像の少なくとも１つのパラメータとの間で位置合わせすることにより、外部シーンとの位置合わせにおいて、網膜上に仮想画像を投影できるように構成され、また、動作できる。外部シーン、及び、仮想画像のパラメータは、位置（例えば、並進行列）、及び／又は、方位（例えば、回転行列）であってよい。センサ１０２によってキャプチャされた画像を示すデータは、制御ユニット１０４に送信され、また、データプロセッサ１０４Ｄは、画像から、網膜の構造を示す画像データを取り除く（例えば、デコンボリューション）するように構成される。これは、いくつかの方法で進めることができ、事前の較正段階では、網膜の構造を示す画像データが、図２Ｃに示されるようなメモリ１０４Ｃに保存され、また、データプロセッサ１０４Ｄは、センサ１０２によって取得された画像から、網膜の構造を示す事前に較正された画像データを取り除く。あるいは、データプロセッサ１０４Ｄは、網膜の構造の反射特性を推定するために、網膜の構造を示す画像データを解析し、すなわち、異なる明るさの幾何学的な領域間を区別する。図２Ｃに示すように、中心窩と呼ばれる、鮮明な中心像の原因となる眼の部分が、網膜の中心に位置する。中心窩は、傍中心窩帯（parafoveal belt）、及び、周中心窩外側領域（perifoveal outer region）に取り囲まれている。これらの領域には、より多くの血管が存在するので、傍中心窩帯、及び、周中心窩外側領域は、中心窩よりもはるかに低い輝度を有する領域である。したがって、異なる明るさの領域を区別することにより、網膜の構造を推定できる。あるいは、網膜の構造は、画像の異なる領域における輝度の変化を局所的に識別することによって推定できる。画像走査は、制御ユニット１０４によって実行され、高い反射率／輝度の領域を識別できる。一般に、上述したように、高い反射率の領域は、中心窩付近の網膜の領域を示し、低反射率の領域は、中心窩の周りの網膜の領域を示す。再構成される画像は、特定の視角／視方向で眼から反射された光に対応することを理解すべきである。これに関連して、眼の視線方向は、反射された光をキャプチャする間で変化してもよく、及び／又は、眼のサッカディック運動（saccadic movement）が現れてもよいことに留意されたい。これらの場合、制御ユニット１０４は、画像の変化を解析し、これらの変化をフィルタリングして、安定した一定の画像データのみを保持する。したがって、制御ユニット１０４は、網膜の構造に対応する画像データをフィルタリングし、高輝度の画像の領域を選択することにより、眼の湾曲形状に関する画像を"平坦化"するように構成され、また、動作できる。

選択的に、位置合わせシステムは、眼の網膜上に直接画像を投影するように構成されたアイ・プロジェクション光学モジュールを有してもよい。眼投影光学モジュールは、例えば、拡張、又は、仮想現実眼鏡（glasses）（眼鏡（spectacles））の一部であってよく、２つのアイ・プロジェクション・システムを有してもよい。明確にするために、１つのアイ・プロジェクション光学モジュールのみが、図面に具体的に示されている。図では、１つの位置合わせシステムのみが示されているが、このようなシステムは、眼のそれぞれに画像を投影するために、眼鏡のガラス内に設けられてもよいことに留意されたい。このような場合、制御ユニット１０４は、画像投影モジュール１１０の動作にも使用でき、また、システムは、立体視を生成するために、立体画像／ビデオをユーザの眼に投影するように動作させてもよい。いくつかの実施形態では、システムは、ユーザの眼の視線方向を決定するように適合されているアイ・トラッカ１２０を有している。アイ・トラッカ１２０は、ユーザの頭部の位置を追跡するために、位置合わせシステム１００に取り付けられる方位センサであってもよい。アイ・トラッカ１２０は、３自由度（ロール、ピッチ、及び、ヨー）における角度追跡を行う。アイ・トラッカ１２０は、眼が向けられる視線／視線方向を決定するための任意の適切な技術にしたがって構成され、また、動作できてもよい。本発明のシステム１００に組み込まれ、又は、本発明のシステム１００と組み合わせて使用できるいくつかの公知の技術が知られている。このような技術は、例えば、国際特許出願国際公開ＷＯ２０１３／１１７９９９号、米国特許第７，５４２，２１０号、及び、米国特許第６，９４３，５４１号に開示されている。

選択的に、位置合わせシステム６００は、仮想画像を示すデータを取得し、仮想画像のピクセルに対応する複数の光ビーム部分を生成し、光ビーム部分を一般的な光伝搬経路に沿って伝搬させるように指示するように構成された画像生成装置１０８を有してもよい。図１のビームスプリッタ／コンバイナＢＳＣは、この構成においても、網膜から反射された光ビーム部分をセンサ１０２に向けて反射し、また、外部シーンからの光をユーザの眼の瞳孔に向けて投光することに加えて、アイ・プロジェクション光学モジュール１１０からの光をユーザの眼の瞳孔に向けて投光するように適合されている。典型的には、収集された画像データは、画像生成装置１０８を介してユーザに提供される表示データを処理し、また、生成するために、制御ユニット１０４に送信される。仮想画像、又は、画像生成装置１０８によって生成された画像は、2次元以上であってもよく、深度画像、カラー画像、医療画像、シルエット画像、又は、任意の他のタイプのデジタル画像であってもよい。仮想画像は、ビデオカメラ、又は、深度カメラからのような、単一の画像、又は、一連の画像を有していてもよい。いくつかの例では、入力仮想画像は、ステレオカメラ、又は、異なる視点における複数のカメラからのステレオ画像を有している。シルエット画像は、深度の前景領域、及び、背景領域を識別する２次元２値画像であり、及び／又は、撮像センサによって取り込まれたカラーＲＧＢ画像である。

いくつかの実施形態では、データプロセッサ１０４Ｄは、カメラユニットの方位の直接的な、又は、環境中の少なくとも３つの点の測定距離から決定され、また、画像内にキャプチャされる計測値を提供してもよい。再構成画像と３Ｄキャプチャされた画像（深度マップ、又は、推定深度マップ）との間の対応する点のペアが、計算される。対応する点のペアは、１つの深度マップからの点、及び、他の深度マップからの点であり、これらの点は、シーン内の同じ現実世界の点から生じたと評価される。用語「点」は、本明細書では、点群における座標、又は、隣接する座標のグループ、又は、パッチを参照するために使用される。このような対応は、ポイントの可能な組み合わせの数が非常に多いため、問題となり得る。各画像において、ライン、エッジ、角などの形状は、各画像において識別され、これらの形状は、画像のペアの間でマッチングされるようにしてもよい。

図７は、ユーザの眼によって知覚される外部シーンと本発明の仮想画像との間の位置合わせ技術において使用される、簡略化された異なるステップのフローチャート７００を示す。まず、カメラと主体の眼との間の距離が、測定され／制御部に提供される。ステップ１では、特定の時間Ｔにおける外部シーンを示す３次元画像データ（１つ、又は、複数の一連の画像）、及び、仮想画像を示すデータが、受信される。この３次元画像データは、ユーザの眼の上方に位置する撮像ユニットによってキャプチャされてもよい。ステップ２では、網膜の様々な位置における外部シーンの画像を示す複数の反射された光ビーム部分が、フォトダイオードによって、順次、走査され、取り込まれ、経時的に積分され、再構成された画像を提供する。フォトダイオードは、高い精度でその位置、及び、方位を追跡する座標測定装置に取り付けられてもよい。次いで、走査は、単一の画像に統合される。

ステップ３では、再構成画像は、３次元画像データと比較される。上述したように、十分な明るさが現れ、幾何学的な歪みが低減されている再構成された画像内で、対象となる領域／対象となるオブジェクトが識別される。２つの画像の間で相関がとられ、相関の高いピークを有する領域を識別する。次に、この領域が選択され、仮想画像と外部シーンの画像との間で位置合わせを決定する。入力データは、カメラの光軸、視線方向、及び、センサの光軸、及び、２つの画像を有している。再構成された画像の少なくとも一部、及び、キャプチャされた３Ｄ画像内の対応する位置を位置合わせする共線変換ワープ関数（collineation warping function）が、見つけられなければならない。この関数は、２つの画像の間で相関する変換ベクトルを提供する。上述のように、３Ｄカメラは、ワールドマップに変換されるように計算された点群内の一組の点をキャプチャする。点群は、当該技術分野で知られている任意の技術を使用することによって、確実に生成できることに留意されたい。他の技術の中では、これは、再構成された画像内の第1の点の集合が、キャプチャされた３Ｄ画像内の計算された点の集合と比較され、また、比較に使用されるキャプチャされた３Ｄ画像内の計算された点の集合が、各反復で変化する最小化反復プロセスで行うことができる。ステレオペアの２つの画像の間で点を一致させるという問題に対処するために、いくつかのアルゴリズムが提案されてきた。これらのアルゴリズムは、スパース出力（sparse output）を生成するものと、密な結果（dense result）を与えるものとにグループ化することができ、後者は、ローカル（エリアベース）、及び、グローバル（エネルギーベース）として分類できる。ステレオマッチング技術は、ブロックマッチング、勾配ベースの最適化、又は、特徴マッチングのような局所的な方法（local method）、及び／又は、動的プログラミング、モールの包絡線（intrinstic curves）、グラフカット、非線形拡散、確率伝搬法（belief propagation）、又は、対応無しの方法（correspondence-less method）のような全体的な方法（global method）を含んでもよい。ブロックマッチング・アルゴリズムは、また、動きベクトル探索（motion estimation）の目的で、一連のデジタルビデオフレームにおけるマッチング・マクロブロック（matching macroblocks）を配置するために使用されてもよい。ブロックマッチング方法は、正規化相互相関（ＮＣＣ）、二乗差（ＳＤＤ）の和、正規化ＳＤＤ、絶対差（ＳＡＤ）の和、ランク（Rank）、又は、センサス（sensus）を含んでもよい。動きベクトル探索の背後にある基礎となる前提は、ビデオシーケンスのフレーム内のオブジェクト、及び、背景に対応するパターンがフレーム内で移動して、後続のフレーム上に対応するオブジェクトを形成することである。これは、ビデオシーケンスにおける時間的冗長性を発見するために使用することができ、最小限に異なる既知のマクロブロックの内容を参照することにより、マクロブロックの内容を定義することによって、フレーム間ビデオ圧縮の有効性を高めることができる。位置合わせプロセスは、撮像ユニットの画像が正規化されるべき角度を提供し、外部シーン上のオブジェクトを見つける。例えば、角度差の比、及び／又は、撮像システムと投影システムとの間の横方向の差（lateral difference）の比を提供できる。比較ステップは、例えば、アフィン並進変換行列（affine translational transformation matrix）、又は、４元化法（quaternion methods）を用いたシフト親和性プロセス（shift affinity process）を有している。しかし、センサ１０２、及び、撮像ユニット１０６に対するユーザの眼のずれは、より正確な位置合わせを得るために考慮されるべきである。この目的のために、例えば、コンピュータ・ビジョン（Computer Vision）、Ｒ．Ｈｅａｒｔｌｙ、及び、Ａ．Ｚｉｓｓｅｒｍａｎ、Ｃａｍｂｒｉｄｇｅ Ｐｒｅｓｓ、２０００のマルチ・ビュー幾何学（Multiple View Geometry）に記述されているように、エピポーラ計算法（epipolar calculation）が用いられてもよい。このようなエピポーラ幾何学（epipolar geometry）は、２つのビューの間の射影幾何学を提供する。

ステップ４では、外部シーン、及び、仮想画像の少なくとも１つのパラメータが、ユーザの眼に対して位置合わせされることにより、外部シーンに合わせて仮想画像を網膜上に投影できる。制御ユニットは、２Ｄセグメント化された画像特徴をスパース３Ｄポイントと相関させて、相関関数を使用して２Ｄ／３Ｄデータ融合を用いて、オブジェクト構造、及び、オブジェクト上の１つ以上のプロパティを導出できる。

ステップ５では、仮想画像の画素に対応する複数の光ビーム部分が生成され、これらの光ビーム部分は、一般的な光伝搬経路に沿って伝播するように方向づけられ、光ビーム部分の一般的な光伝搬経路は、位置合わせに応じて、各ユーザの眼の瞳に向かって偏向される。

アイ・プロジェクション・システムが、本出願の譲受人に同時譲渡された同時係属のＰＣＴ出願番号ＷＯ１７０３７７０８に記載されている走査プロジェクション・システムであり、参照により本明細書に組み込まれる本発明の別の構成を示す図８を参照する。これに関連して、本発明の特定の実施形態では、走査プロジェクション・システムを利用する際に大きな利点があることに留意すべきである。この場合、センサ１０２は、アイ・プロジェクション・システム内に統合することができる。眼鏡用途のような小型物への応用のためのこのような走査プロジェクション・システムを利用することは、領域プロジェクション・システムが使用される場合（例えば、図６に開示されたものなど）に達成され得るものよりも良好な画質で網膜上に画像を投影することができる。この目的のために、走査プロジェクション・システムは、対応する領域プロジェクション・システムよりもコンパクトになるだろう。また、一度に画素を投影するためにレーザビームを用いて画像が眼に投影される走査プロジェクション・システムを用いることは、隣接する画素の間のクロストークを生じないようにする。さらに、画素サイズ、すなわち、各特定の画素投影に関連する光ビーム部分の幅は、コンパクトシステムにおける空中画像投影技術を使用する場合に達成され得るものよりも、（典型的には1桁以上の大きさで）実質的に広くなるだろう。したがって、アイ・プロジェクション光学モジュール１３０の光学モジュールは、低い開口数で構成されてもよく、したがって、より低い光学収差に関連付けられ、眼に中継する高画質画像に、良好な変調伝達関数（ＭＴＦ）を提供できる。これにより、改善されたダイナミックレンジ、高い画像コントラスト、及び、眼の網膜上の高解像度、及び、明るさを有する画像を投影するために、コンパクトな画像プロジェクション・システムを容易に使用できる。加えて、小型物への応用に走査プロジェクションを用いることは、劣化した品質になる後者の非常に小さい画素サイズのために、コンパクトな空中プロジェクション・システムによって生成されるであろう回折アーチファクトを低減、及び／又は、完全に除去するだろう。

したがって、本発明の位置合わせシステム６００は、センサ１０２から鮮明な画像を得るのに十分なＦ値を有し、上述した眼の幾何学的な視野歪みを低減する。眼球によって反射されセンサ１０２によって収集された画像の歪みを、センサ１０２のレンズ開口に視野絞りを配置し、システムの視野を制限し、また、光ビームのより小さな部分を収集することによって、低減してもよい。

画像走査モードで動作する場合、画像画素は、順次、投影されることに注意すべきである。例えば、走査は、センサによってキャプチャされた光のパワーが約３ｍＷａｔｔであるように、高周波数（各ピクセルについて１０ｎｓ）で実行されてもよい。検出のパワーを増幅するために、センサ１０２は、眼からの反射光を検出するためのアバランチ・フォトダイオードとして構成されてもよい。アバランチ・フォトダイオードの高感度は、少なくとも一部の外部シーンの再構成画像の生成を可能にする。増幅器は、受信信号を増加させるために、センサ１０２の出力に配置されてもよい。

アイ・プロジェクション・システム８００は、眼に投影される画像を示すデータを取得し、画像の画素に対応する複数の光ビーム部分を生成するように構成されている。アイ・プロジェクション・システム８００は、シーンからの外光をユーザの眼に向けて透過させ、眼からの反射光をセンサ１０２に向けて透過させ、アイ・プロジェクション・モジュール１３０からの光をユーザの眼に向けて反射するように構成されたビーム・スプリッタ・コンバイナ表面ＢＳＣを有している。これは、波長フィルタリングのための異なる方法を使用することによって、同時に、進行させてもよい。例えば、ＢＳＣの一部は、アイ・プロジェクション・モジュール１３０からユーザの眼に向かって反射された光と、シーンからユーザの眼に向かう外光とが分離されるように、異なる波長の光ビームをフィルタリングするように適合された特別なコーティング材料（例えば、薄膜エタロン）でコーティングされてもよい。そして、ＢＳＣは、反射された光、及び、外部の光を択一的に収集するために、取り換えられる。別の例では、ＢＳＣは、液晶（ＬＣ）素子、又は、音響光学可変同調フィルタ、両者は、選択可能な光の波長を透過し、他を除外するように適合されている、を電子的に制御する液晶波長可変フィルタ（ＬＣＴＦｓ）を有してもよい。例えば、選択された波長は、５４０ｎｍ、及び、５３２ｎｍであってもよい。あるいは、アイ・プロジェクション・モジュール１３０からユーザの眼に向かって反射された光の取得と、シーンからユーザの眼に向かう外光の取得とが、適時に、分離されるように、カメラユニット１０６、及び、アイ・プロジェクション・モジュール１３０のタイミングを、時間遅延で、制御することによって、それが進んでもよい。

この特定の、また、非限定的な例では、眼から反射された光は、それぞれ、サッカード、及び、眼の視線方向に追従するように構成される瞳孔ミラーと呼ばれる２つのミラーＭ１、及び、Ｍ２を介して、ＢＳＣからプロジェクション・モジュール１３０に向かって送信される。次いで、眼の視線方向がアイ・トラッカによって検出される。

追加的に、又は、択一的に、システム７００は、メガネのブリッジ上に配置され、また、眼に赤外（ＩＲ）光ビームを方向付けるように適合された赤外（ＩＲ）光エミッタ２１、及び、眼鏡フレーム／アーム上に配置され、眼（例えば、その瞳孔、及び／又は、角膜、及び／又は、網膜）からのＩＲ光ビームの反射を検出できるように、適合されている、ＩＲセンサであるセンサ１０２、を有してもよい。制御ユニット１０４は、反射されたＩＲ光ビームのパターンを処理して、眼の視線方向を決定するように適合されている。この特定、かつ、非限定的な例では、図４Ａに示されるように、アイ・プロジェクション・システム１３０に一体化されてもよい、又は、外部モジュールであってもよいセンサ１０２は、眼鏡のフレーム、及び／又は、ハンドル上に配置される。センサ１０２は、ＢＳＣ、サッカード、及び、瞳孔調整ミラーＭ１、Ｍ２、及び、無限焦点（afocal）システムを規定する離間したリレーレンズＬ１、Ｌ２を介して、ユーザの眼から反射された光を受光する。1つ以上の走査ミラーＳＭ１３２は、各スキャン角度が網膜上の画像の別の位置に対応している間に、（例えば、ミラーの回転によって）反射された光ビームの走査／ラスタ走査を行うために、眼から反射された光とセンサ１０２との間の光路内に配置される。走査／ラスタ走査ミラーＳＭ１３２は、任意の適切な技術、例えば、電気光学デフレクタ、及び／又は、圧電アクチュエータ、又は、他のタイプのアクチュエータのような、ミラーが走査角度の範囲にわたって反射された光ビームの画像／ラスタ走査を実行できるようにする適切なアクチュエータに、機械的に、結合された微小電気機械システム（ＭＥＭＳ）ミラーのようなミラーを用いて、実施されてもよい。これに関連して、図では、明確にするためのみに、単一の走査ミラー（例えば、高速走査ミラー）ＳＭ１３２が図示されている（例えば、２次元／軸での回転のためにジンバル台に支持されている）が、本発明の他の実施形態では、2次元画像走査角度において反射された光ビームを偏向するために、2つ以上のミラー／デフレクタが用いられてもよい。センサ１０２は、外部シーンの画像を示す網膜からのこの走査された反射光を画像化し、また、ユーザが見た外部シーンの再構成画像を生成する。上述のように、網膜の構造に関する画像は、この画像から、外部シーンを示す画像のみを取得するために、フィルタリングされる。センサ１０２がアイ・プロジェクション・モジュール１３０に組み込まれると、眼から反射された画像のキャプチャと仮想画像の投影とが、同時に進行する。図８に示す実施形態では、センサ１０２は、R、G、Ｂの３つのフォトダイオードを有し、赤、緑、青の波長範囲に敏感なフォトダイオードであってもよい。順に、眼鏡レンズのビーム・スプリッタ・コンバイナ表面は、ノッチフィルタ、又は、ノッチフィルタ、又は、フィルタに刻みを付けるように、構成されてもよく、また、センサ１０２の前に配置されてもよく、ノッチフィルタは、シーンから到来する光を透過し、これらの狭いスペクトル帯域の外側にある一方、ユーザの眼に向かって1つ以上の狭いスペクトル帯域を反射するように適合されている。このようにして、特定の波長の反射光は、センサによってキャプチャされてもよい。

また、ＢＳＣ、ミラーＭ１、及び、Ｍ２、リレーレンズＬ１、及び、Ｌ２、及び、走査ミラー１３２のような上述の光学素子を有している眼から反射される光を検出するための光路は、ユーザの眼に向けた外部シーンに位置合わせにおいて仮想画像を投影するために用いられる。アイ・プロジェクション・システム８００の光学的構成は、異なる瞳孔入射角で瞳孔に入射する光ビーム部分は、ある視線方向に関連する眼の視線に対して異なる視線方向に方向付けられるように調整される。この独特な構成は、網膜に向けて仮想画像を投影すること同様に、眼から反射された光を画像化するために同じシステムを使用できる。同じ角度率（angular scale）が、両方の操作のために使用される。位置合わせは、画像化システムと投影システムとの間の角度、及び ／又は、横差の割合を提供してもよい。次に、システムの光学的歪みは、眼ではなく、光学システムの歪みに関連する。ＳＭ１３２は、仮想画像を眼の網膜上に、直接的に、投影するように構成され、また、動作される視線追跡デフレクタとしても使用される。このように、アイ・プロジェクション光学モジュール１３０は、画像生成装置８００から出力される光ビーム（又は、その一部）を投影角度で受光するように適合され、また、画像画素が、直接的に、網膜上の正しい位置に投影されるように、対応する瞳孔入射角で眼の瞳孔に入射するようにそれらを方向付ける。画像生成装置１０８は、仮想画像を示すデータを取得し、仮想画像の画素に対応する複数の光ビーム部分を生成し、また、光ビーム部分を一般的な光伝搬経路ＯＰに沿って伝搬するように光ビーム部分を方向付けするように適合されている。視線追跡デフレクタ１３２は、（ミラーを回転させることによって）光ビームの走査／ラスタ走査を実行する１つ以上の走査ミラーＳＭを有し、その間、光ビームは、偏向されて画像投影角度αscnの範囲にわたって伝播するように偏向され、ここで、各投影角度は、典型的には、網膜上に投影された画像のピクセルに対応する。走査／ラスタ走査ミラー／デフレクタＳＭは、プロジェクション・モジュール１３０からの光ビームを偏向して、投影角度αscnの範囲にわたって光ビームの画像／ラスタ走査を実行する。この点について、明確にするために、単一の走査ミラー（例えば、高速走査ミラー）ＳＭが図示されており（例えば、２次元／軸で回転するためにジンバル台に保持されている）、本発明の他の実施形態では、２つ以上のミラー／デフレクタは、2次元画像投影角度αscn（すなわち、{αxscnαyscn}）で光ビームを偏向するように使用されてもよい。画像生成装置１０８は、特に、調整可能な光学デフレクタ（例えば、ラスタ走査のような２次元画像走査を実行するように動作できる、１つ以上の高速走査ミラー）を有する画像スキャナを有してもよい。画像スキャナは、入力光ビームを受光し、また、それを偏向して、ユーザの眼の瞳孔で光ビームの入射角を調整するように、それを偏向するように構成され、また、動作できる。この目的のために、画像スキャナの調整可能な光学デフレクタは、ラスタ走査のような画像走査を行い、その間、眼の網膜上の様々な位置に対応する様々な瞳孔入射角αinで、瞳孔に入射するように、光ビームは、偏向される。次に、光ビームの強度、及び、場合によっては、スペクトル内容も、画像の各画素が画像走査中に網膜の様々な位置に投影されるように、網膜上に投影される画像に沿って変調される。言い換えれば、瞳孔入射角αinは、画像内の画素に対応し、また、これらの画素が網膜上の各位置に、直接的に、投影される。上述したように、従来技術の顕著な欠点の一つは、眼にキャプチャされた投影画像は、眼の座標（参照フレーム）にも、他の参照フレームにも固定されず、眼の外部のシーンの参照フレーム、又は、ユーザの頭部の参照フレームに固定されることである。これにより、眼の視線方向が変化すると、眼の網膜上の画像の投影位置が変化する。これは、実際の瞳孔入射角αinが視線方向に依存するからである。アイ・プロジェクション光学モジュール１３０は、ユーザの対応する眼の前方に配置される視線追跡デフレクタを有し、また、ユーザの前方に位置する外部シーンの少なくとも関心領域から到達する光を方向付けし、また、少なくとも１つの画像生成装置１０８からユーザの眼に到達する光を方向付けるように構成される。網膜上へのカラー画像投影が求められる実施形態では、画像生成装置１０８は、光モジュールを有し、特定の波長範囲（典型的には３つの赤、緑、及び、青のレーザ光源）で少なくとも1つの光ビーム部分を生成するように構成され、また、動作できる１つ以上の光源を有してもよい。

眼は、常時、外部シーン上で焦点を探しており、これは、ユーザに疲労を引き起こすことに注意が必要である。この問題を解決するために、アイ・プロジェクション光学モジュール１３０は、ユーザの眼の瞳孔に向かう光ビーム部分の発散（divergence）を変更する調整可能な焦点要素１３４を有してもよい。発散の変量は、位置合わせの値に沿って選択される。例えば、本発明の同一の譲受人に譲渡された国際出願番号ＰＣＴ／ＩＬ２０１８／０５０５７８に記載されているように、環境の３Ｄマップ、視線収束、及び、眼の適応力のようないくつかの要因を同時に比較することにより、例えば、これは、実現される。システムは、注視固定点を環境３Ｄマップと正確に比較し、そして、収容距離を仮定し、また、この距離に必要な光の発散を補正する。

リレーレンズＬ１、及び、Ｌ２は、光路に沿ってカスケード状に配置され、プロジェクション・モジュールからの背景画像投影を指示し、ユーザの眼の中に、それらを、（同時に、又は、同時でなく）組み合わせて、投影する。より具体的には、リレーレンズＬ１、及び、Ｌ２は、第１の焦点距離と第２の焦点距離との和に実質的に等しい光学的距離によって、画像スキャナＳＭから瞳孔に伝搬する光の光路に沿って、互いに離れて配置される。このように、リレーレンズＬ１、及び、Ｌ２は、光軸に対してある出力画像投影角度αscnでそこから伝播する、画像スキャナＳＭからの光ビームを受光し、また、対応する瞳孔入射角αinで瞳孔に入射する光ビームを中継する角度ビーム中継モジュールとして構成されている。角度中継光学系は、瞳孔に入射する光ビームの角度が、画像プロジェクション・システムから光ビームが放射され、また、画像の各画素に、順番に、対応する出力角度に対応することを提供する。眼の網膜上への画像の直接的な投影のために構成され、また、動作でき、また、本発明の光学的モジュールに組み込まれてもよい中継を含むこのような光学的モジュールの動作に関する構成、及び、方法の例は、例えば、本特許出願の譲受人に同時に譲渡され、参照により本明細書に組み込まれる、ＰＣＴ特許公開ＷＯ２０１５／１３２７７５、及び、イスラエル（ＩＬ）における特許出願第２４１０３３3号に記載されている。

制御ユニット１０４は、適切なアナログ回路を用いてアナログ的に実行されてもよく、又は、ＳＭ１３２の動作を制御し、また、画像生成装置１０８の動作を制御するための適切なソフト／ハードコード化されたコンピュータ可読／実行可能命令を実行する適切なプロセッサ、及び、メモリ／ストレージ・モジュールを用いて、デジタル的に実行されてもよい。この目的のために、制御ユニット１０４は、画像生成装置１０８から眼の網膜上に投影される画像を示すデータ、カメラユニット１０６による外部シーンの３次元画像データ、及び、センサ１０２からの再構成された画像を示すデータを受信するように適合される。制御ユニットのデータの取得（時間、及び、レート）は、すべての画像データを収集するために、センサ１０２と、カメラユニット１０６と、及び、走査ミラーと同期される必要がある。制御ユニット１０４は、外部シーンの少なくとも１つのパラメータと、眼の視線に対する仮想画像の少なくとも１つのパラメータとの間で位置合わせする、センサ１０２からの再構成画像を示すデータと、カメラユニット１０６の3次元画像データとを比較する。制御ユニット１０４は、アイ・プロジェクション光学モジュール１３０を制御し、それによって、画像の各画素を投影するために、以下の方法７００の処理を実行することにより、外部シーンに位置合わせにおける網膜上の対応する位置に、仮想画像の画素が投影されるようにする。

Claims (25)

1. 外部シーンを知覚するユーザの眼に用いられるアイ・プロジェクション・システムであって、
   各ユーザの眼から反射された光の光路に配置され、及び、ユーザの網膜から反射された光ビーム部分を取得し、及び、前記外部シーンの画像を示す前記反射された光ビーム部分を画像化し、それによって、前記外部シーンの再構成された画像を生成するように構成され、及び、動作できるセンサ、
   仮想画像を示すデータを取得し、前記仮想画像の画素に対応する複数の光ビーム部分を生成し、及び、前記光ビーム部分を、一般的な光伝搬経路に沿って伝搬するように、方向付けるように適合された画像生成装置、
   前記光ビーム部分の一般的な光伝搬経路を前記ユーザの眼に向かって偏向させ、それによって、前記仮想画像を眼の網膜上に、直接的に、投影するように構成され、及び、動作できるデフレクタを有する前記一般的な光伝搬経路に配置されるアイ・プロジェクション光学モジュールであって、前記一般的な光伝搬経路は、異なる瞳孔入射角度で瞳孔に入射する光ビーム部分が、ある視線方向に関連付けられた前記眼の視線に対して異なる視線方向で方向付けられるように、偏向されるアイ・プロジェクション光学モジュール、
   前記外部シーンの三次元画像データを受信するように適合される制御ユニットであって、前記センサに接続され、及び、前記再構成された画像を示すデータを受信し、前記データを前記三次元画像データと比較し、前記視界の光に対して、前記外部シーンの少なくとも１つのパラメータと前記仮想画像の少なくとも１つのパラメータとの間で位置合わせし、それによって、前記外部シーンとの位置合わせにおいて、前記仮想画像を前記網膜上に投影するように構成され、また、動作できる制御ユニット、
   を有するアイ・プロジェクション・システム。
2. 前記外部シーンの前記少なくとも１つのパラメータ、及び、前記仮想画像の前記少なくとも１つのパラメータは、位置、及び、方向のうちの少なくとも１つを有する、請求項１記載のアイ・プロジェクション・システム。
3. 前記センサは、前記アイ・プロジェクション・光学モジュール内に一体化されている、請求項１、又は、請求項２に記載のアイ・プロジェクション・システム。
4. 前記外部シーンの少なくとも関心領域に向けて光を送信し、そこから反射された光を収集し、及び、前記収集された光を処理し、その3次元画像データを生成するように構成される撮像ユニットを、さらに、有している、請求項１〜請求項３のいずれかに記載のアイ・プロジェクション・システム。
5. 前記画像生成装置は、ある波長範囲の少なくとも１つの光ビーム部分を生成するように構成され、及び、動作できる少なくとも１つの光源を有している、請求項１〜請求項４のいずれかに記載のアイ・プロジェクション・システム。
6. 前記アイ・プロジェクション光学モジュールは、画像スキャナを含み、前記画像スキャナは、網膜上の様々な位置に対応する前記反射された光ビーム部分が、前記センサによって、順次、収集されるように、画像走査するように構成され、及び、動作できる、請求項１〜請求項５のいずれかに記載のアイ・プロジェクション・システム。
7. 前記アイ・プロジェクション光学モジュールからの光を前記ユーザの眼の瞳孔に向かって送信し、及び、前記網膜から反射された前記光ビーム部分を前記センサに向けて反射するように適合されたビームスプリッタ／コンバイナを、さらに、有する、請求項１〜請求項６のいずれかに記載のアイ・プロジェクション・システム。
8. 前記ビームスプリッタ／コンバイナは、前記ユーザの瞳孔に向かって1つ以上のスペクトルバンドを送信するように適合されたノッチ、又は、バンドパスフィルタとして構成される、請求項７に記載のアイ・プロジェクション・システム。
9. 前記センサは、前記眼からの少なくとも１つのＩＲ光線の反射を検出するように構成され、及び、動作できるＩＲセンサを有する、請求項１〜請求項８のいずれかに記載のアイ・プロジェクション・システム。
10. 前記デフレクタは、前記網膜上の様々な位置に対応する様々な瞳入射角で前記瞳孔に入射するように、前記光ビーム部分が偏光される間、画像走査を行うように構成され、及び、動作できる画像走査装置として構成される、請求項１〜請求項９のいずれかに記載のアイ・プロジェクション・システム。
11. 前記ユーザの眼の視線方向を決定するように適合されたアイ・トラッカを、さらに、有する、請求項１〜請求項１０のいずれかに記載のアイ・プロジェクション・システム。
12. 前記アイ・プロジェクション光学モジュールは、前記ユーザの眼の前記瞳孔に向かって、前記光ビーム部分の発散を変化させる調節可能な焦点要素を含む、請求項１〜請求項１１のいずれかに記載のアイ・プロジェクション・システム。
13. ユーザの眼によって知覚される外部シーンと仮想画像との間で位置合わせするための方法であって、
    前記再構成された画像を前記3次元画像データと比較し、
    前記外部シーンの少なくとも１つのパラメータと、前記ユーザの眼に対する前記仮想画像の少なくとも１つのパラメータとの間で位置合わせし、それによって、前記外部シーンとの位置合わせにおいて前記網膜上に前記仮想画像を投影できるようにし、
    前記仮想画像の画素に対応する複数の光ビーム部分を生成し、及び、前記光ビーム部分を、一般的な光伝搬経路に沿って伝搬させるように方向付けし、及び、
    位置合わせに応じて、各ユーザの眼の瞳孔に向かって、光ビーム部分の一般的な光伝搬経路を偏向させる、
    ユーザの眼によって知覚される外部シーンと仮想画像との間で位置合わせするための方法。
14. 前記外部シーンの前記少なくとも１つのパラメータ、及び、前記仮想画像の前記少なく１つのパラメータは、位置、及び、方向のうちの少なくとも１つを有する、請求項１３に記載の方法。
15. 前記外部シーンに向かって光を送信し、そこから反射された光を収集し、及び、前記収集された光を処理して、その3次元画像データを生成することを、さらに、有する、請求項１３〜請求項１４のいずれかに記載の方法。
16. 前記複数の光ビーム部分を生成することは、ある波長範囲の少なくとも１つの光ビーム部分を生成することを有する、請求項１３〜請求項１５のいずれかに記載の方法。
17. 前記網膜から反射された光ビーム部分を取得することは、前記網膜上の様々な位置に対応する前記反射された光ビーム部分が、順次、収集されるように、画像走査を実行することを有する、請求項１３〜請求項１６のいずれかに記載の方法。
18. 前記光ビーム部分の一般的な光伝搬経路を使用者の眼の瞳孔に向けて偏向させることは、前記光ビーム部分が前記網膜上の様々な位置に対応する様々な瞳孔入射角で前記瞳孔に入射するように前記光ビーム部分が偏向される画像走査を実行することを有する、請求項１３〜請求項１７のいずれかに記載の方法。
19. 前記光ビーム部分の前記一般的な光伝搬経路を、ユーザの眼の瞳孔に向かって偏向することは、前記光ビーム部分の1つ以上のスペクトル帯域を前記ユーザの瞳孔に向けて送信することを有する、請求項１３〜請求項１８のいずれかに記載の方法。
20. 前記網膜から反射された光ビーム部分を取得することは、ＩＲ、又は、可視光ビーム部分の反射を検出することを有する、請求項１３〜請求項１９のいずれかに記載の方法。
21. 拡張現実システムと共に使用される位置合わせシステムであって、ユーザの眼の網膜から反射された光ビーム部分を取得し、ユーザの眼によって知覚された外部シーンの画像を示す反射された光ビーム部分を画像化して再構成さされた画像を生成するセンサ、
    前記センサに接続され、外部シーンの３次元画像データを取得し、前記再構成された画像を前記３次元画像データと比較するように構成され、及び、動作できる制御ユニット、
    前記外部シーンの少なくとも１つのパラメータと、前記眼に対する仮想画像の少なくとも１つのパラメータとの間で位置合わせし、それによって、前記外部シーンとの位置合わせにおいて、前記網膜上に、前記仮想画像を投影できるレジスタ、
    を有する位置合わせシステム。
22. 前記外部シーンの前記少なくとも１つのパラメータ、及び、前記仮想画像の前記少なくとも１つのパラメータは、位置、及び、方向の少なくとも１つを有する、請求項２１に記載の位置合わせシステム。
23. 前記仮想画像を示すデータを取得し、前記仮想画像の画素に対応する複数の光ビーム部分を生成し、及び、一般的な光伝搬経路に沿って伝搬するように、前記光ビーム部分を、方向付ける適合された画像生成装置を、さらに、有する、請求項２１、又は、請求項２２に記載の位置合わせシステム。
24. 前記光ビーム部分の前記一般的な光伝搬経路を前記ユーザの眼の瞳孔に向けて偏向させ、それによって、前記仮想画像を前記眼の網膜上に、直接的に、投影するように構成され、及び、動作できるデフレクタを有するアイ・プロジェクション光学モジュールを、さらに、有する請求項２１〜請求項２４のいずれかに記載された位置合わせシステム。
25. 前記外部シーンに向かって光を送信し、そこから反射された光を収集し、及び、それに関するキャプチャされた３次元画像を生成ために、収集された光を処理する撮像ユニットを、さらに、有する、請求項２１〜請求項２４のいずれかに記載された位置合わせシステム。