JP2018533049A - 目投影システム及び方法 - Google Patents

Abstract

光ビームを伝達路沿って伝達するように目に投影するように構成した目投影システムを具える目投影装置が提供されている。この目投影システムは：前記光学アッセンブリの光の一般光学路を規定しており、前記一般光学路に沿って配置した一またはそれ以上の調整可能な光学偏向機を具え、前記光学アッセンブリから目への光ビームの調整可能な伝達路を規定するように構成されており；前記一またはそれ以上の光学偏向機は、前記伝達路の偏向に影響する少なくとも３つの調整可能な偏向パラメータを用いて、前記目に向けた前記光ビームの伝達路の調整における少なくとも３つの自由度を提供するように構成されており；前記少なくとも３つの自由度のうちの二つが、目の注視方向の角度変化を補償する、目への伝達路の二つの角度オリエンテーションに関連しており、前記３つの自由度のうちの少なくとも一つが、目に対する前記投影システムの相対横位置における変動を補償する、伝達路の横偏差に関連している。【選択図】図１Ａ

Description

本発明は、目の投影の分野に関するものであり、特に、ユーザの目への純粋及び／又は拡張仮想現実画像の投影技術に関する。

ユーザの目に対して仮想及び／又は拡張仮想現実を投影する頭部装着型又はウエラブル画像投影システムの人気が高まってきている。このようなシステムは、多くの場合ユーザの頭部に装着可能であり、ユーザの目に画像を投影するように操作可能な眼鏡として構成されており、ユーザに仮想現実画像／ビデオの投影を提供する。このため、所定の既知のシステムは、ユーザの目に純粋な仮想現実画像投影を提供することを目指しており、外の景色からの光が目に届かないようにブロックされている。一方、その他のシステムは、拡張仮想現実認識の提供を対象としており、外の景色からの光は目を通過するが、画像投影システムによって目に投影された画像／ビデオフレームで拡張／重畳されている。

例えば、米国特許出願第２０１３０４４０４２号は、ユーザの頭部に装着するように構成されたフレームを具える電子デバイスを開示している。このフレームは、ユーザの鼻で支持するように構成されたブリッジと、このブリッジに連結されてブリッジから離れて延在し、ユーザの眉の横に配置された眉部分を具えている。このフレームはさらに、眉部分に連結され、自由端へと延びているアームを具える。第１アームは、ユーザのこめかみの上に位置しており、ユーザの耳の近くに配置した自由端を有する。このデバイスは、また、眉部分近傍でフレームに取り付けた透明ディスプレイと、フレームに取り付けてユーザから機能に関する入力を受け取るように構成された入力と、を具える。機能に関する情報は、ディスプレイ上に表示することができる。

米国特許第７，９３６，５１９号は頭部装着型ディスプレイを開示しており、これは、観察者の頭部に装着する眼鏡フレームのようなフレームと；二つの画像ディスプレイデバイスであって、各々が画像生成デバイスと、画像生成デバイスに装着した光ガイド手段を具え、全体が、画像生成デバイスに対して観察者の顔の中心の横に位置しており、画像生成デバイスから出射したビームが入射し、これを通ってビームが案内され、これからビームが観察者の瞳へ向けて出射する。

米国特許第８，２８９，２３１号は、頭部装着型仮想画像ディスプレイを開示しており、このディスプレイはサイズと重さがコンパクトであり、クリアな透明機能を提供する高性能光学システムを組み込んでいる。透明機能が望ましくない場合のために、摺動型光シールドを組み込むことができる。フォーカスアジャストメントを組み込んで、例えば約１８インチの距離で無限に画像をフォーカスさせることができる。ユーザの頭部に合うようにした調整可能なヘッドバンドを組み入れてもよい。可撓性のあるブーム構造を組み入れて、光学アッセンブリの精密な位置調整を容易にすることができる。スライダとボールジョイント機構を取り入れて、光学アッセンブリの位置調整を容易にすることもできる。内蔵型マイクロホンを組み入れて、ユーザによるスピーチの入力ができるようにしてもよい。頭部装着型仮想画像ディスプレイユニットは、目又は安全眼鏡と合わせて快適に使用することができ、ユーザの周辺環境の視界をブロックすることなく、ユーザに有益な画像を提供することができる。このユニットは、快い外観を有するように設計されており、ユーザの受容性を大幅に強化している。

米国特許第８，３８４，９９９号は、頭部装着型ディスプレイとその他のアプリケーション用の光学モジュールを開示している。この光学モジュールは、光学基板と、相互係合畝付き表面を有するスーパーストレートを具える。この表面の少なくとも一つの上に反射層が形成されている。屈折率整合材料を表面間に配置してもよい。プロジェクタから投影画像を受ける領域が、プロジェクタから届いた光線を畝付き表面に向けて、使用の際にビューワーが拡張画像だとわかるようにする。拡張画像はプロジェクタからの反射光線と、モジュールの反対側に位置する対象物からビューワーに送られてきた光線を有している。

所定の技術では、目の位置と動きを追跡して、ユーザの合焦領域を決める。目を追跡する技術は、例えば、“Ｇｅｎｅｒａｔｉｏｎ−Ｖ ｄｕａｌ−Ｐｕｒｋｉｎｊｅ−ｉｍａｇｅ ｅｙｅｔｒａｃｋｅｒ”ｂｙ Ｈｅｗｉｔｔ Ｄ．Ｃｒａｎｅ ａｎｄ Ｃａｒｒｏｌｌ Ｍ．Ｓｔｅｅｌｅ，１５ Ｆｅｂｒｕａｒｙ １９８５，ＡＰＰＬＩＥＤ ＯＰＴＩＣＳ，Ｖｏｌ．２４，Ｎｏ．４ ｐａｇｅｓ ５２７−５３７に開示されている。凝視を追跡する技術は、米国特許第６，９４３，７５４号に開示されている。

米国特許出願第２０１２１５４２７７号は、シースルーディスプレイ装置又は頭部装着型ディスプレイ装置などの目の近くで使うディスプレイ装置を用いた場合のユーザの体験を強化する方法及びシステムを開示している。あるシーンにおけるユーザの視野に対してディスプレイ用に最適化された画像が作られる。ユーザの頭と目の位置及び動きを追跡して、ユーザの合焦領域を決定する。最適化された画像の一部は、目の現在位置におけるユーザの合焦領域、予測した頭と目の次の位置、及びこの次の位置におけるユーザの合焦領域に接続した最適化画像の一部に接続される。

米国特許第７，５４２，２１０号は、ユーザの頭部に装置を取り付けるマウント、運動装置を有するマウントに取り付けたビームスプリッタ、画像をビームスプリッタに投影する画像プロジェクタ、ユーザの目の凝視を追跡するアイトラッカ、及び一またはそれ以上のプロセッサを有する頭部装着型ディスプレイ装置を開示している。この装置は、アイトラッカと運動装置を、光ヘッドトラッカと共に用いて、ビームスプリッタを目の回転中心として動かし、目の直接の視線内にビームスプリッタを保持するようにしている。ユーザは、画像と画像の後ろの環境を同時に見ることができる。第２ビームスプリッタと、アイトラッカと、プロジェクタをユーザの他方の目の上に配置して立体的なバーチャル環境を作っている。このディスプレイは、人間の目の解像力に対応できる。この発明では、ユーザがどこを見ても高解像度画像をあらかじめ設定される。

国際特許公開第ＷＯ２０１３／１１７９９９号は、視線検出用のシステム、方法、及びコンピュータプログラム製品を開示している。例示的な方法は、プロジェクタを用いて目に光を向けるステップと；画像捕捉モジュールを用いて目に関連する表面からの反射を検出するステップと；検出した反射に基づいて目に関連する視線を決定するステップと；を具える。いくつかの実施例では、この光は赤外線を含む。いくつかの実施例では、プロジェクタがレーザを具える。いくつかの実施例では、プロジェクタがシリコン（ＬＣｏＳ）チップ上に液晶を具える。いくつかの実施例では、反射に関連する表面が、角膜、虹彩、網膜のうちの少なくとも一つである。

ユーザに仮想現実又は拡張現実を提供する従来の投影システムは、一般的に、ユーザの目に向けた画像（例えば、ビデオ画像）の投影に基づいており、この画像はユーザの目によって目の前方の所定の距離（例えば、通常目から約４乃至数メートル離れた距離）に位置する中間画像面に位置する／合焦したものとして認識される。画像が合焦する（例えば、４メートルで合焦）中間画像面の短い距離は、特に射出瞳が比較的大きい場合／目投影システム及び典型的な目投影システムでは、無限大での焦点とほとんど／実際には区別がつかず、ほとんど同じである。したがって、このような目投影システムの焦点深度も非常に大きく、焦点距離（中間面への距離）を測定して正確に調整することが難しい。しかしながら、入射瞳がより小さく、したがって焦点深度が小さい目では、目投影システムの焦点距離の不正確さに敏感なままである。これによって有意な眼精疲労が生じ、特に、画像を両目で見る場合、目が見ているそれぞれの焦点距離間の食い違いとなるため、問題である。画像が投影される中間画像面は、目前方の実像面（すなわち、画像を形成する投影光ビームが実際に合焦される面）であっても、あるいは仮想画像面（すなわち、画像を形成する投影光ビームがユーザの目によって認識され合焦される面）であってもよい。換言すると、中間画像面（仮想又は実画像面である）が通常、目の前方の所定の有限距離に位置するため、目のレンズがその所定の距離に合焦するときにのみ目の網膜上に合焦する。

目に画像を投影するには二つの一般的なアプローチがある。一つは、システムの射出瞳によって規定するアプローチであり、もう一つは、システムのアイボックスによって規定するアプローチである。この二つのアプローチの主な違いは、射出瞳アプローチが非常にシャープな転移端エッジを伴って投影領域に均一な光強度を提供するのに対して、アイボックスのアプローチは、スムーズな転移端エッジは生じるが、投影領域にわたって画像強度が均一でないことである。

ユーザの目から所定の有限距離で認識された画像を投影する従来の仮想／拡張リアリティ撮像技術の一つの主な欠点は、眼精疲労の進行に関するものであり、多くの場合、頭痛は投影した画像中の対象物が目から様々な距離で認識されるが、目が捕捉する画像は実際目からの固定距離に位置する／合焦するという事実に関係している。これは、通常、頭の中の視覚感覚メカニズムを混乱させ／疲れさせ、眼精疲労と頭痛を引き起こす。

従来技術のもう一つの主な欠点は、投影システムに対する目の相対位置と方向付け間の変動（例えば、投影装置の目に対する動きに関連する変動）である。このような変動は、実際に、投影した画像がユーザの目によって認識される位置を変えてしまい、従来の仮想／拡張リアリティ眼鏡を使用している者に重大な不快感を引き起こす。

本発明は、新規な目投影技術を提供するものであり、この技術分野で知られている上述の欠点を解消することができる。より詳細には、本発明は、目の網膜に直接的に画像の直接投影（目の外の中間現実／仮想光学画像投影面を有することなく）する新規なシステムと方法を提供する。

目の網膜に画像を直接投影する技術の原理は、例えば、本出願の譲受人と共同譲渡を受けた係属中の国際特許出願ＰＣＴ／ＩＬ２０１４／０５０２１０号により詳細に記載されており、この出願は引用によってここに組み込まれている。目の網膜への直接的な画像の直接投影によって、網膜の被写界深度が改良された画像が生成され、したがって、間違った距離で目が合焦しようとした結果である目の不快感と眼精疲労を防ぐ、あるいは少なくとも有意に低減することができる。

本発明は、さらに、目の位置と、目／瞳の視線／注視線の位置をモニタ及び／又は追跡する新規なシステム及び方法を提供する。また、本発明は、投影画像をユーザの目に向けて、投影装置に対する目の位置の変化を補正するとともに、注視方向の変化も補正できる新規な目投影装置／システムを提供する。有利なことに、本発明の技術によって、非常に高速で（例えば、１０^−３秒のオーダー、あるいはそれより早く）このような補正を行うことができる。この速度は、十分に早く、例えばユーザが注視／目の位置の変化に対する網膜上の画像投影位置における変化／揺らぎを認識する前である。したがって、画像を網膜上の固定位置に投影することができ、注視の変化及び／又は目と投影システムとの間の相対位置の変化によって影響を受けない。

これは、目の光軸（視線（ＬＯＳ）又は目の注視方向ともいう）の光学的測定に基づいた新規技術によって達成される。この新規なアプローチは、静的光源に関連する瞳の位置を評価するプルキニエの像（例えば、この組み合わせ）に依存する通常の目追跡システムと比較した利点である。これは、プルキニエ像の解析が二つの大きな不利益があるためである。一つは、実際の画像の解析に時間がかかり、画像自体に、寄生性照明、コントラスト及びノイズといった多くの条件が課されることであり、もう一つは、目は完全な剛体ではなく目の様々な部分が何かしら独立して動くため、注視方向（目の光軸）とプルキニエ画像間に最大で＋／−０．３度の偏差が生じることである。したがって、マイクロサッカードと目の揺れの時間尺度が、完全に通常のカメラの露出時間ドメイン外にあり、目に対する最大許容露光量を順次超えることなく適切な露出フレームとすることが不可能となり、持続的又は一時的な目の損傷を引き起こす。

この点に関して、網膜上の画像の小サッカード運動（揺れ）（目のサッカード運動によって影響を受ける）は、目による画像の認識に必要であることに留意すべきである。網膜上の画像の揺れに関連する運動を用いて、画像は安定して認識され、目／網膜に対して固定された方向性（位置／角度／方向）で配置される。揺れ運動のない状態は、通常網膜疲労と呼ばれる症状を引き起こすであろう。この症状は、投影された画像の静止部分の順次の知覚消滅において生じる（この網膜上の投影は、揺れに関連する運動によっては動かない）。

この網膜疲労状態を解決し防止するために、本発明は、目の揺れ運動を補償するフィルタリング／回避技術も提供している。このため、網膜上のフレーズ固定／特定位置は、サッカード的な目の運動によって認められる程度まで固定された網膜上の位置として理解されなければならないが、いくつかのケースでは完全に固定されておらず、サッカード的な目の運動のため若干動くことがある。したがって、以下により詳細に説明する本発明の技術は、目の大きな動き（例えば、注視方向の変化及び／又は顔面の眼鏡の位置の変化に関連する）に対する補償を提供するが、網膜上の固定位置に完全に安定して現れる画像を認識しつつサッカード的運動（揺れ）などの小さな目の動きは補償されない。

したがって、本発明の広い態様によれば、伝達路に沿って伝達する光ビームを目に投影するように構成した目投影システムを具える目投影装置が提供されている。この目投影システムは、光学アッセンブリにおける一般的な光の光学路を規定する光学アッセンブリを具える。この光学アッセンブリは、一般的な光学路に沿って配置され、光学アッセンブリから目への光ビームの調整可能な伝達路を規定するように構成された一またはそれ以上の調整可能な光偏向機を具える偏向構造を具える。本発明によれば、一またはそれ以上の光偏向機が、少なくとも３つ、通常は４つの調整可能な偏向パラメータで構成されており、目への伝達路の偏向における少なくとも３つ、通常は４つの自由度に影響するように構成されており、これによって、目への光ビームの伝達路の調整が可能となる。少なくとも３つの自由度のうちの２つは、一般的に、目の注視方向における角度の変化を補償するための目への伝達時の２つの角度方向に関するものであり、３つまたは４つの自由度のうちの少なくとも１つ、通常２つは、目に対する投影システムの相対的横位置における変化を補償する伝達時の横方向の偏向に関するものである。

いくつかの実施例では、この目投影装置は、また、目の注視方向における変化と、目に対する目投影システムの相対横方向位置における変化を表すデータを受信して、目の注視方向における変化や目投影システムの位置における変化に関係なく、目の網膜上の特定の位置に入射するように光ビームを方向付けるためにこのデータに応じて一またはそれ以上の調整可能な光偏向機の偏向パラメータを調整するように構成されたコントローラも具える。

いくつかの実施例では、目投影システムは、目の網膜上に直接画像を投影するように構成されている。この目投影システムは、目の網膜上に画像を投影する画像投影モジュールを具えており、これは、網膜上に投影すべき光ビームを出力するように構成した光モジュールと、光ビームの一般的な光学路に沿って配置した画像光モジュレータとを具える。この画像光モジュレータは、画像の一またはそれ以上の画素を表す画像データを受信して、光ビームを変調して画像が網膜上に形成されるようにこの光ビームに画像データをエンコードするように構成され操作可能である。より詳細には、目投影装置は、画像光モジュレータに接続可能であり、画像を表示する画像データを受信して画像モジュレータを、光ビームの強度と色組成を調整して網膜上に画像を形成するよう画像光モジュレータを操作する画像投影コントローラを具える。

いくつかの実施例では、偏向機構造のうちの少なくとも一の調整可能な偏向機が、瞳位置ビーム偏向機として構成され操作可能であり、目に向けての光ビームの伝達路の横方向の偏向（目に対する光ビームの伝達路に直交する一又は二の横軸に対して）に影響を与える。様々な実施例では、伝達路の横方向偏向は、瞳位置ビーム偏向機の偏向角を変えることによって、及び／又は、その有効偏向面の位置の線形変換によって達成される。伝達路の横方向偏向が、瞳位置ビーム偏向機の偏向角を変えることによって達成される場合は、瞳位置ビーム偏向機はシステムの光学リレー内に位置している。伝達路の横方向偏向が、瞳位置ビーム偏向機の偏向面を変換することによって達成される場合は、瞳位置ビーム偏向機は、光ビームの伝達方向に対して光学リレーから上流側あるいは下流側に位置していてもよい。

いくつかの実施例では、少なくとも一の調整可能な光学偏向機が、目に対する光ビームの伝達路の角度オリエンテーションを調整可能にする注視方向ビーム偏向機として構成されており、作用する。様々な実施例では、伝達路の角度偏向は、注視方向ビーム偏向機の有効偏向面位置の線形変換、及び／又は、その偏向角度を変えることによって達成される。伝達路の角度偏向が注視方向ビーム偏向機の有効偏向面の位置の線形変換によって達成される場合は、注視方向ビーム偏向機はシステムの光学リレー内に位置していてもよい。伝達路の横方向の偏向が、注視方向ビーム偏向機の偏向角度を変化させることによって達成される場合は、注視方向ビーム偏向機は光ビームの伝達方向に対して光学リレーから上流側あるいは下流側に位置していてもよい。

いくつかの実施例では、同じ調整可能な偏向機が伝達路の角度偏向及び横方向の偏向の両方に関連する伝達時の自由度を調整するように構成され、動作可能である。例えば、調整可能なビーム偏向機の偏向面の移動は、伝達路の横方向の偏向に影響を与え、偏向機の偏向角度の変更は、伝達路の角度オリエンテーションに影響する。逆も同様である。

いくつかの実施例では、目投影装置は、目に向けての伝達路調整に用いる注視方向と目の横方向位置を表す目の位置決めデータを測定するように構成され操作可能な目追跡モジュールを具える。目追跡モジュールは、例えば：
− システムの光学アッセンブリの通常光軸に沿って伝達するが、一またはそれ以上の光偏向機と相互作用するように方向付けられた追跡光ビームを提供するように構成され操作可能な追跡光ポートを具え、この追跡光ビームの目への入射が、光学アッセンブリを通る逆伝達となる目からの追跡光ビームの反射に関連する反射光ビームを生じさせる追跡光ポートと；
− ２またはそれ以上の異なる位置においてそれに沿った通常光軸に光学的に接続され、反射光ビームを受けて、この２またはそれ以上の異なる位置において反射光ビームの伝達の一またはそれ以上の特性を測定するように構成された一またはそれ以上のセンサと；
− 一またはそれ以上のセンサと、一またはそれ以上の調整可能な光偏向機に接続可能な目追跡コントローラであって、２またはそれ以上の異なる位置における反射光ビームの少なくとも一の伝達特性を表す読出しデータを一またはそれ以上のセンサから受信するように構成されたコントローラを具える。いくつかの実施例では、目位置決めデータは、目の注視方向と目に向かう光ビームの伝達路のオリエンテーションとの間の偏差、及び目の瞳の横方向位置と伝達路との偏差を表している。

いくつかの実施例では、調整可能な光偏向機は、２つの調整可能な光偏向機による光学路の偏向に関連して、システムの光学路に順次沿って配置され光学路の２つの各偏向ステージを規定する、少なくとも２つの偏向機を具えている。２またはそれ以上のセンサは、異なる位置に配置されており、それぞれこれらの二つの偏向ステージにおいて、通常光学路に光学的に接続されている。コントローラは、これらの各調整可能な光偏向機に関連する光学路の各偏向ステージから測定した対応する伝達特性に基づいて各調整可能な光偏向機について操作インストラクションを生成するように構成されており、操作可能である。

例えば、測定した伝達特性は、所定の公称位置から反射光ビームの伝達の横方向軸外偏差であり、コントローラは、センサからの読出しデータを処理するように構成されて、センサ上の反射光ビームの入射位置を決定し、この入射位置とセンサ上の所定の公称位置との間の偏差を測定し、これによって、反射光ビームの伝達特性を決定する。

いくつかの実施例では、コントローラが一またはそれ以上のサーボループを具えており、各サーボループは二つの調整可能な光偏向機の各調整可能な光偏向機を一またはそれ以上のセンサのうちの対応するセンサに接続して、対応するセンサから取得した読出しデータに基づいて（あるいは測定した伝達特性に基づいて）調整可能な各光偏向機を操作する操作インストラクションを生成するように構成され操作可能である。

いくつかの実施例では、一またはそれ以上のセンサが複数の光偏向機を有する注視方向センサを具える。注視方向センサは、伝達路の角度オリエンテーションを調整する注視方向ビーム偏向機と反射光ビームが交差する位置の後ろ（下流側）に位置する偏向ステージにおける一般光学路からの反射ビームを回収するように構成されている。したがって、この注視方向センサからの読出しデータ／情報は、目の注視方向と目に向けた伝達路との間の角度偏差を表している。

いくつかの実施例では、目追跡コントローラは、注視方向センサと注視方向ビーム偏向機に接続可能な注視方向コントローラを具える。注視方向コントローラは、注視方向ビーム偏向機を操作して、注視方向センサの中心からの反射光の偏向を最小限にして、所定のスレッシュホールド以下のレベルになるように構成されており操作可能である。

いくつかの実施例では、注視方向コントローラは、揺れフィルタモジュールを具えており、これは注視方向センサからの読出しデータを処理して、目の動きの揺れに関連する注視方向の角度偏差を除去するように構成されている。揺れフィルタモジュールは、揺れ偏差スレッシュホールドと接続して、読出しデータを処理して注視方向の角度偏差を連続的にモニタするように構成され操作可能であってもよく、さらに、揺れ偏差スレッシュホールドより小さい角度偏差に対しては開サーボループで作動し、これによって、揺れの動きに関連する偏差を補償しないようにしてもよく、また、揺れ偏差スレッシュホールドより大きい角度偏差に対しては閉サーボループで動作して、これによって、目の揺れの動きに関連しない偏差を補償するようにしてもよい。

いくつかの実施例では、追跡光ポートは、追跡光ビームを変調光ビームとして出力するように操作可能である。目追跡コントローラは、一またはそれ以上のセンサからの情報を追跡光ビームの変調で位相ロックして、これによってセンサによって検出したＩＲ光クラッタに関連するノイズを抑制するように構成された位相ロックモジュールと、追跡光ビームの特定波長に調整されたバンドパスフィルタの、少なくとも一つを具える。

いくつかの実施例では、一またはそれ以上のセンサが光学路に配置され／光学的に接続されており、反射光ビームと、伝達路の横方向位置を調整する瞳位置ビーム偏向機との間の中間位置の後ろに位置する偏向ステージにおいて、目からの反射光ビームを回収する。したがって、瞳位置センサからの読出し情報は、目の瞳と目に向かう光ビームの伝達路との間の横方向偏差を表している。

目追跡コントローラは、瞳位置センサと瞳位置ビーム偏向機に接続可能な瞳位置コントローラを具えていてもよい。瞳位置コントローラは、瞳位置センサからの読出しデータ／情報を処理して、瞳位置ビーム偏向機の動作が、目の瞳位置と伝達路との間の横方向の偏差を少なくとも部分的に補償するように構成されている。

いくつかの実施例では、目投影装置は、ユーザの両目に画像を投影する上述した二つの目投影システムを具える。これは、ユーザの一方の目に画像を投影する第１目投影システムと、他方の目に画像を投影する第２目投影システムである。このような実施例では、瞳位置コントローラは、第１目投影システムの瞳位置センサと、第２目投影システムの瞳位置センサに接続可能であり、ユーザの両目の瞳位置の「通常モード」シフトを検出し、目の動きに関連するシフトと、目に対する目投影装置の動きに関連するシフトを区別するように構成されている。

本発明のもう一つの広い態様によれば、目追跡モジュールが提供されており、このモジュールは：
− 追跡光ビームを提供するように構成された追跡光ポートと；
− 追跡光ビームを目に向けた伝達路に沿って伝達するように方向付けるように構成された光学アッセンブリであって、目に向けた伝達路の角度オリエンテーションと横方向位置を調整するように構成され操作可能な少なくとも二つの調整可能な光学偏向機を具える光学アッセンブリと；
− 少なくとも二つの調整可能な光学偏向機とそれぞれ関係する光学アッセンブリの一般光路に光学的に接続され、目の方向に向けた追跡光ビームに応答して目から反射されている反射光ビームをそれぞれ検出する少なくとも二つの光学センサと；
− 少なくとも二つの光学センサに接続可能であってこれらのセンサからの読出し情報を受信する目追跡コントローラであって、読出し情報を処理して瞳位置からの伝達時の横方向及び角度偏差と、目の注視方向をそれぞれ表すデータを決定するように構成された目追跡コントローラと；
を具える。

本発明の更なる態様によれば、目投影装置からユーザの目に光ビームを向ける光学アッセンブリが提供されている。この光学アッセンブリは、一般光学路に沿って配置した少なくとも二つの調整可能な光学偏向機を具える。この少なくとも二つの調整可能な偏向機は、目に向けた光ビームの伝達路を調整する少なくとも３つ、通常４つの自由度を提供する。通常、二つの自由度は、目の注視方向の角度変化の補償に関連するものであり、少なくとも一または二の自由度は、目投影装置の目に対する相対位置における変化の補償を提供する。

本発明の更なる広い態様によれば、目の網膜上に直接画像を投影するように構成した目投影システムを具える目投影装置が提供されており、この目投影システムは：
（ｉ）目の網膜上に画像を投影する画像投影モジュールであって、網膜の上に投影する光ビームを出力するように構成した光モジュールと、光ビームの通常光学路に沿って配置され、網膜上に画像を形成するよう光ビームを変調するように構成された画像光モジュレータとを具える画像投影モジュールと；
（ｉｉ）光ビームを目に向ける光学アッセンブリであって、一般光学路に沿って配置された少なくとも二つの角度調整可能な偏向機を具え、この少なくとも二つの角度調整可能な偏向機が、光ビームの伝達路を目の方向に調整する少なくとも４つの自由度を提供するように構成されており、２つの自由度が、目の注視方向における角度変化の調整に関するものであり、２つの自由度が、目に対する目投影装置の相対位置における変化を補償するものである、光学アッセンブリと；
を具える。

本発明の更なる広い態様によれば、目追跡モジュールが提供されており、これは：
（ｉ）目に向かう光の伝達の一般光学路を規定する光モジュールであって：
ａ．二つの角度寸法における一般光学路を調整可能に偏向して、目の注視方向における変化を補償するように構成され、操作可能な注視方向ビーム偏向機と；
ｂ．スペースを空けて配置した少なくとも二つの光学素子であり、これらの間の主焦点面を規定する素子を具える光学リレーと：
ｃ．この主焦点面に位置しており、二つの横方向寸法における一般光学路を調整可能に偏向し、これによって、目の瞳の横方向の位置における変化を補償するように構成され操作可能な瞳位置ビーム偏向機と；
を具える光学モジュールと：
（ｉｉ）一般光学路に沿って伝達するよう方向付けられたＩＲビームを出力するが、注視方向ビーム偏向機及び瞳位置ビーム偏向機と相互作用するように構成され操作可能なＩＲ光源と：
（ｉｉｉ）各々が複数のＩＲ光検出器（四分円センサ）を具える少なくとも二つの光学センサであって、目の網膜から反射されているＩＲビームに関連する反射ＩＲ光を回収するように構成された光学センサであり：
ａ．瞳位置ビーム偏向機と相互作用した後に反射したＩＲ光を検出するように構成した瞳位置センサと；
ｂ．注視方向ビーム偏向機と相互作用した後の反射ＩＲ光を回収するように構成した注視方向センサと；
を具える光学センサと；
（ｉｖ）二つの光学センサに接続してこれらセンサからの読出し情報を受信する追跡コントローラであって、この読出し情報を処理して、目の瞳位置における一般伝達路からの横方向の変化を表すデータと、一般伝達路からの注視方向における角度偏差を表すデータを決定するように構成された目追跡コントローラと；
を具える。

本発明のいくつかの実施例では、目追跡モジュールのＩＲ光源が、ＩＲ光ビームを変調光ビームとして出力するよう操作可能である。次いで、目方向コントローラは、少なくとも一の光学センサからの読出し情報をＩＲ光ビームの変調で位相ロックするように構成された位相ロックモジュールを具えており、これによって、少なくとも一の光学センサによって検出したＩＲ光クラッタに関連するノイズを抑制している。

以下の記載において、縦及び横軸／方向の用語は、光学／伝達路に沿って光が伝達する局所座標系における軸又は方向を意味する。横座標は、光の伝達方向に直交する二つの縦軸に関連しており、縦座標は、伝達方向に整列している。

偏向又は偏向機のフレーズは、ここでは、物理的メカニズムによって光の方向に影響する／変化させる光学モジュールを指して使用されており、屈折、反射、及び解析に限定されない。このため、調整可能な光学偏向機の用語も、調整可能な偏向機又は調整可能なビーム偏向機を意味しており、これらの用語は、ここでは、電気−光学偏向機、又は音響−光学偏向機、などのあるタイプの偏向機、及び／又は、光偏向特性を制御できる調整可能なミラー（例えば、電気的、音響的、あるいはその他のタイプの制御信号を印加することで）を指している。

ここに開示されている主題をより良く理解し、この主題がどのようにして実施されるかを例示するために、いかに実施例を非限定的な例として、添付の図面を参照して説明する。
図１Ａ乃至１Ｆは、本発明のいくつかの実施例による目投影装置を示すブロック図である。図１Ｇは、本発明の実施例による、画像投影光ビームなどの光ビームを、目の位置における変化及び注視方向の変化の補償を伴って、目に方向付ける方法のフローチャートである。 図２Ａ及び２Ｂは、本発明の二つの実施例による発明の目投影装置で使用した二つの画像投影システムの構成を例示するブロック図である。 図３Ａは、目／瞳の位置及び注視方向をモニタするように構成された目追跡装置と、本発明の一実施例による目追跡装置を設けた目投影装置を示すブロック図である。図３Ｂ乃至３Ｄは、目の又は別の光学面／システムの視線（注視）位置とラインをモニタし追跡する方法を示すフローチャートである。図３Ｅは、目の位置及び／又は視線をモニタ／追跡するのに使用する本発明に係るサーボループのフローを例示によって示す図である。 図４は、本発明の実施例による目投影装置を取り付けた眼鏡を示す図である。 図５Ａ及びＢは、本発明のシステムを組み込んだ頭部装着型ディスプレイ（ＨＭＤ）の二つの使用例を示す図である。

本発明の６つの実施例による目投影装置１００を示すブロック図である図１Ａ乃至１Ｆを参照する。明確化のために、同じ／同様の機能を持つ共通の要素／モジュールは、本出願の全図において、同じ符号を付している。

目投影装置１００は、画像を目の網膜ＥＹＥに直接投影するように構成した目投影システム１００を具える。目投影装置１００は、例えば、拡張又はバーチャルリアリティグラスの一部であってもよく、各々が光ビームＬＢ（例えば、画像をエンコードする光ビーム）を、人間の目の異なる網膜上に投影するのに使用されている目投影システム１００などの二つの目投影システムであってもよい。明確化のために、図面には一方の目投影システム１０１のみを詳細に示す。

目投影システム１０１は、その中の光伝達の一般光学路ＯＰ（例えば、入射光学−ポート／瞳ＥＮ及び出射光学−ポート／瞳ＥＰ）を規定する光学アッセンブリ１５０を具える。光学アッセンブリ１５０は、入射ポートと出射ポートＥＮ及びＥＰの間に配置した偏向機構造を具え、これは、一般光学路ＯＰに沿って配置され、光ビームが出射ポート／瞳ＥＰから出射して光学アッセンブリ１５０と目ＥＹＥの間を伝達した後の光ビームの調整可能な伝達路ＰＰを規定するように構成された、一またはそれ以上の調整可能は光学偏向機（例えば、１３０及び／又は１４０）を具える。

入射ポート／瞳及び出射ポート／瞳ＥＰのフレーズは、必ずしもシステムの物理的要素を指すものではなく、光学路ＯＰと交差し（例えば、光学路と直交している）、その光がそれぞれ光学アッセンブリに入射し出射する、所定の面／開口（例えば、バーチャル面及び／又は光学面）を指すのに使用されている。

一般的に、本発明によれば、光学偏向機（例えば１３０及び／又は１４０）は、少なくとも３つの調整可能な偏向パラメータで構成されている。これは、例えば、一又は２の回転軸に対する光学偏向機の調整可能な偏向角度、及び／又は、光学アッセンブリの一般的な光学路に沿った偏向位置の調整可能な移動に関連している。光学アッセンブリ１５０（例えば、その偏向機構造）は、少なくとも３つの調整可能な偏向パラメータが、伝達路ＰＰの偏向に影響して、光ビームＬＢの目ＥＹＥに向けた伝達路ＰＰを調整する少なくとも３つの自由度を提供している。本発明の技術によれば、偏向機の偏向パラメータによって制御される少なくとも二つの自由度が、目に対する伝達路ＰＰの、二つの角度オリエンテーション、ピッチＰＣ、及びヨーＹＷに関連している。これによって、偏向機（偏向機の操作）の偏向パラメータの調整が可能となり、目に向かう伝達路ＰＰの角度オリエンテーションを調整し、目ＥＹＥの注視方向の角度変化を補償できる。さらに、本発明の技術によれば、少なくとも一の自由度（通常、二つの自由度）が、伝達路ＰＰの横方向偏向に関連している。これによって、偏向機の偏向パラメータを調整して、目ＥＹＥに対する投影システム１０１の相対横方向位置の変化を補償できる。

通常、光学アッセンブリ１５０の偏向機構造は、少なくとも二つの調整可能な偏向機１３０と１４０を具えており、この偏向機は、スペースを空けて配置されて、光学アッセンブリ１５０に入力する光ビームＬＢと連続して相互作用し、その一般光学路ＯＰを規定するように構成されている。

しかしながら、例えば、図１Ｄに示すように、伝達路ＰＰの３つの自由度のみの制御が求められているいくつかの実装例では、３つの調整可能な偏向パラメータを有する単一の調整可能な偏向機１３０を光学アッセンブリに設けてもよい。図１Ｄに示す例では、この単一の調整可能な偏向機１３０の３つの調整可能な偏向パラメータは、光学路ＯＰによって偏向機１３０の移動／変換、及び二次元の偏向機１３０の偏向角の調整（二つの回転軸Ｘ及びＹに対するまたはこれに関連する）を含む。この例では、偏向機１３０は、光学アッセンブリ１５０に配置されており、これらの３つの偏向パラメータが、２つの角度／回転軸に対する伝達路ＰＰの角度オリエンテーションを制御し、したがって、目投影システム１０１に対する、目ＥＹＥの注視方向のピッチ及びヨーにおける変化を補償し、目ＥＹＥの相対垂直位置及び相対水平位置を補償することができる。後者によって、人間の目幅の変動が補償され、あるいは、目ＥＹＥの瞳に対する目投影装置１００の縦方向の変位が補償される。

通常は、図１Ａ、１Ｂ、１Ｃ、１Ｅ及び１Ｆに例示されているように、光学アッセンブリには、少なくとも一の追加偏向パラメータを有する２またはそれ以上の調整可能な光学偏向機（例えば、１３０及び１４０）が実装されており、これによって、伝達路ＰＰの少なくとも４つの自由度を提供する目の注視方向における角度、ピッチ、及びヨーの変化を補償しており、二つの自由度が、二つの空間横軸（例えばＸ及びＹ）に対して、目ＥＹＥに対する投影システム１０１の相対的、垂直および水平、横位置の変動を補償している。

いくつかの実施例では、目投影装置１００は、目の注視方向における変化、及び／又は目に対する目投影システム１０１の相対横位置における変化を表すデータを受信するように構成されたビーム方向コントローラ１６４（以下、単にコントローラともいう）を具え、このデータに応じて、調整可能な偏向機１３０及び／又は１４０の偏向パラメータを調整して、目の注視方向の変動に無関係で、目ＥＹＥに対する目投影システム１０１の垂直（例えばＹ軸）又は水平（例えばＸ軸）横位置における変動に関係なく、目の網膜上の特定の位置に光ビームが入射するよう方向付けるように構成され操作可能である。

これに関連して、本発明のいくつかの実装例では（例えば、図１Ａ、１Ｄ、１Ｅ及び１Ｆに示すものと同様の実装例）、光学アッセンブリ１５０（例えば、偏向機構造）によって、偏向機１３０及び／又は１４０の各調整可能な偏向機パラメータが、伝達路ＰＰの所定の自由度（伝達路のピッチとヨーオリエンテーションのうちの一つ、あるいは、伝達路ＰＰの水平及び垂直変位のうちの一つ）に影響するが、伝達路ＰＰのその他の自由度には影響することがない。したがって、このような実施例では、偏向機１３０又は１４０の各偏向パラメータを、その他の偏向機の状態又はその他の偏向機パラメータを調整する／変更することなく、コントローラ１６４を目ＥＹＥの注視方向の変化を補償するように構成することができる。この場合、コントローラ１６４は、偏向機１３０又は１４０の対応する偏向パラメータを、その他の偏向機の状態又はその他の偏向機パラメータを調整する／変更することなく、目ＥＹＥ又はその瞳の相対的横位置の変化を補償するように構成することもできる。

換言すると、図１Ａ、１Ｄ、１Ｅ及び１Ｆに記載されているような本発明のいくつかの実施例では、伝達路ＰＰのオリエンテーション（ピッチ／ヨー）を目ＥＹＥの注視方向に合致するように調整する調整可能な偏向機の偏向パラメータは伝達路ＰＰの横位置の調整から切り離されており（すなわち、これらは伝達路ＰＰの横位置に影響しない；及び／又は逆も同様であり、目ＥＹの瞳位置に合致するように伝達路ＰＰの横位置（Ｘ又はＹ）を調整する調整可能な偏向機の偏向パラメータは、伝達路ＰＰのオリエンテーションの調整から切り離されている。本発明の所定の実施例に実装したこの特徴を、以下において、明確化と簡潔化のために「切り離し特性」という。切り離し特性を実装している実施例は、いくつかの利点を提供する。例えば、一般的に、目ＥＹＥの注視方向は、瞳の位置（瞳位置の変化は、数百ミリ秒の時間スケールで生じ、目の装置の相対位置により大きく生じる）より急速に／頻繁に（例えば、通常の加速度２０００乃至４０００ｄｅｇ／ｓｅｃ^２で１秒当たり１０倍以上）変化する。これに関して、以下のように理解するべきである。サッカードは純粋な目の動きであり、ユーザの視覚的及び認知的負荷によって規定され、したがって、上述のパラメータで１秒間に数回生じる。瞳の位置は、主に横方向の動きであり、装置の相対位置に対して目で規定される。周囲振動、デバイスの移動（すべり）などのパラメータは、最も大きく寄与する。これらは比較的低い周波数と、ボウアイ（ｂｏｕｇｈ ｅｙｅｓ）に何らかの同じ動きがある「通常モード」で規定される。したがって、伝達路を調整している偏向パラメータから瞳位置への伝達路の調整を制御する偏向パラメータの切り離しは、より費用対効果がよい。なぜなら、この場合迅速に調整できる光学偏向機／偏向パラメータが、伝達路のオリエンテーション（注視方向に関連する）に関連する偏向パラメータについてのみ必要であり、瞳位置を調整する調整可能な偏向機／偏向パラメータは、この場合より低く、したがって、より一層費用対効果が高くなる。

このような切り離しのアプローチの顕著な利点は、例えば、調整可能な偏向機の最大偏向角度シータと、偏向機の特性寸法（直径）Ｄの積を表すパラメータといった、大きく低減されたシータ^＊Ｄパラメータを持つ光学アッセンブリ１５０を使用できることであり、これは、常に、課題を持っている。例えば、有意により小さいシータ^＊Ｄパラメータを有する調整可能な偏向機１３０及び／又は１４０は、シータ^＊Ｄの積が大きい大きな偏向機／ミラーを有しており、瞬時にビームを動かすことに代えて、絞りが小さい偏向機／ミラー（シータ＊Ｄの積が小さい）を横方向に動かすことによって、図１Ｄ及び１Ｅの実施例に使用することができる。したがって、本発明の切り離し特性を実装した実施例では、コントローラ１６４が変化した目の各自由度（注視方向／瞳位置）における変化を表すデータに基づいて、独立して各偏向パラメータを調整するように構成し操作可能にすることができ、一方で、自由度の一つにおける変化を補償する複数の偏向機／偏向パラメータの複雑な調整に関連する引用データを用いる必要がなくなる。

本発明のいくつかの実施例では、目投影システム１０１が光学リレー１４５（例えば、一の光学面から別の光学面へビームの収束を中継するよう動作可能である）を具える。光学リレー１４５は、例えば、少なくとも二つの光学素子又は二つの光学素子群、１４５．１及び１４５．２を具える。これらは、それぞれ光学パワーを有しており、光学アッセンブリ１５０の光学路ＯＰ（光ビームＬＢ伝達路）に沿って配置され、それらの間に主平面Ｐを形成／規定している。光学リレー１４５に関して使用されている光学素子（１４５．１及び／又は１４５．２）の用語は、光学パワーを有する複数の素子の単一素子又は素子群、例えば、その群内に２又はそれ以上の光学素子を具える二つの群、を意味すると解するべきである。光学アッセンブリ／素子の主平面Ｐとのフレーズは、ここでは、光学アッセンブリ／素子（例えば、レンズ／偏向機システムの）の実際のあるいは仮想／仮想面を指し、ここで、光学アッセンブリ／素子（又はそのバーチャルエクステンション）と相互作用する様々な交線のすべての屈折／反射が生じると考えられる。

図１Ａ乃至１Ｆのすべてに記載されている例では、目投影装置が、光学眼鏡レンズ１０２を具える。この目投影システム１０１は、眼鏡レンズ１０２の少なくとも一の面（例えば、反射面／部分的反射面）によって、目投影システム１０１からの光が伝達路ＰＰに沿って目ＥＹＥに向けられるように眼鏡レンズ１０２に光学的に接続されている。この結果、光学システムは、目の後ろに配置される（例えば、ユーザの耳／頬近く、あるいは、眼鏡のハンドル部分に）。レンズ１０２の反射面／部分的反射面の一例は、楕円形ミラーなどの曲面として設けることができる。レンズ１０２の反射面／部分的反射面は、光学路／伝達路ＯＰ／ＰＰに沿って、スキャンニングミラー／偏向機１２０の光学回転ポイントの位置で合焦するように配置されており（以下の、スキャンニングミラー１２０がプロテクタの投影機であり、これによって、光ビームが網膜上でスキャンニング／移動して、その上に画像を描くことを参照されたい）、回転ポイントの位置は、スキャンニングミラーの実際の回転位置であってもよく、光学リレー（例えば、１４５）によって、実際の回転から光学的に中継されたバーチャル位置であってもよい。したがって、スキャンニング偏向機１５０の回転ポイントは、楕円形ミラー１０２の焦点と同心であり、したがって、システムの出口瞳か、システム／光学アッセンブリの２次焦点である共役面で扇型の光線が作られる。

本発明のいくつかの実施例によれば、目投影システム１０１は、画像投影光ビームＬＢ（例えば、画像情報で変調された／パターン化された光ビーム）を出力して、目ＥＹＥの網膜上に投影し、その上に画像を生成するように構成され操作可能な、画像投影モジュール１９０を具える。光学アッセンブリ／システム１５０は、画像投影光ビームＬＢを目ＥＹＥに向けるように構成され（いくつかの場合、光ビームＬＢを眼鏡レンズ１０２を介して目に届くように方向付ける）、操作可能である。

本発明の光学アッセンブリ１５０は、目追跡光学モジュール／偏向機（例えば、注視方向ビーム偏向機１３０と瞳位置ビーム偏向機１４０であり、例えば、１４５などの関連する光学部品を具える）を具えており、独立型目追跡システム（例えば、画像投影モジュール１９０から独立して使用できるもの）として実装（構成及び動作可能）できる。

特に図１Ａを参照すると、光学アッセンブリ１５０は、調整可能な偏向機構造を具えており、これは少なくとも二つの調整可能な偏向機１３０と１４０を具える。これらの偏向機は、角度調整可能な偏向機であり、偏向角度の制御／調整が可能である。二つの角度調整可能な偏向機１３０と１４０は、光学アッセンブリの一般光学路に沿ってスペースを空けた関係で配置されている。二つの角度調整可能な偏向機１３０と１４０は、各々、二次元角度調整可能な偏向機を具えており、これらは、制御可能な反射、屈折、又は回析によって操作可能であり、例えば、二次元回動／回転／チルト軸において作動するように装着された単一ミラーとして；及び／又は、音響−光学的二次元角度調整可能な偏向機（ダブルパスシステムは、音響−光学レイアウトにのみ関連しており、偏向角度又は回析効率を上げることを意図している）として；及び／又は、光学路ＯＰに沿った異なる／直交する傾いた／偏向した軸と共に配置した、一対の一次元調整可能な偏向機（一次元調整可能な機械的偏向機対など、チルト可能なミラーなど、及び／又は、電気−光−偏向機及び／又は音響−光学偏向機及び／又はウエッジ板など）として、構成することができる。

少なくとも二つの角度調整偏向機は、光学路ＯＰに沿った正しい位置に配置されており、目ＥＹＥに向けて光ビームＬＢの伝達路ＰＰを調整する少なくとも３つ、通常は少なくとも４つの自由度を提供するように構成され、操作可能である。上述したように、自由度のうちの二つは、目ＥＹＥの注視方向における角度変化の補償に関連しており（注視方向におけるピッチとヨーの変化を補償）、自由度の一つ、通常は二つの自由度は、目ＥＹＥに対する目投影装置１００の相対横位置における変化、例えば、相対横（垂直／Ｙ−軸及び／又は水平／Ｘ軸）における変化、の補償を提供している。

図１Ａに示す特定の例では、少なくとも二つの角度調整偏向機１３０と１４０は、二次元角度調整ミラーである。特に、この例では、各偏向機は、機械的／電気的、及び／又は音響的に制御可能な偏向機であり、例えば、二次元ジンバル／ピボットに装着した反射面を具える調整可能な／チルト可能なミラーを具える又はこれと同様に機能し、二つの回転軸に対する様々な方向における反射面を適応させることができる。しかしながら、一般的に、角度偏向角が二つの角度寸法で調整できる適切な光偏向モジュールを使用することができる。これは、例えば、二次元ジンバル／ピボットに装着したミラーなどの位置の偏向広角面によって、及び／又は各々が少なくとも一次元ジンバルに装着された二つのミラー／反射面、及び／又は、二次元偏向角度が適切な電圧を印加することで、及び／又は、おそらく適切な音響−光学（例えば、回析）偏向モジュールとその他の一般に知られた偏向システムを用いることによって、制御できる電気／音響光学偏向機によって形成される機械的偏向機を具えていてもよい。

図１Ａに示す実施例では、光学アッセンブリが、各々光学パワーを有する少なくとも二つの光学素子／群１４５．１及び１４５．２を具える光学リレー１４５を具える。この光学素子／群１４５．１及び１４５．２は、光学路ＯＰに沿って、これらの間の距離が、これらの焦点距離に合致するように配置されている。したがって、この光学リレー１４５の主平面Ｐは、素子１４５．１と１４５．２の各々から、各焦点距離だけ離れた光学素子１４５．１と１４５．２の間にある光学路ＯＰに沿って規定されている。このことは、平行光ビーム（ＬＢなど）を提供しており、これは光学リレー１４５の一方の側部から光学リレーに入射して、最初の光学素子（例えば、光学素子／群１４５．１）と相互作用して、主平面で合焦し、次いで、光学リレーの２番目の素子（例えば、光学素子／群１４５．２）と相互作用して、リレー１４５の他方の側部から出射し、再び平行になる。

したがって、上述した１４５などの光学リレーは、リレーの外の、リレーの中央光軸からの光ビーム横方向の変位がリレーの主平面における光ビームの伝達方向の各角度偏差にコンバートされるという特性を有し、逆も同様である。

本発明の発明者は、リレー１４５内（光学路ＯＰに沿った素子／群１４５．１と１４５．２の間）に一またはそれ以上の角度調整偏向機を配置することによって、光学リレーのこの特性を目に対する伝達路ＰＰ（光学リレーの外に光学アッセンブリと目の間に位置している）の横偏向の調整に使用できることを発見した。本発明のこの実装例は、図１Ａに線図的に示されている。

したがって、図１Ａに示す実施例では、角度調整可能なビーム偏向機１４０が、光学リレー１４５内の光学路ＯＰに沿って配置されており、瞳位置ビーム偏向機１４０として構成され動作可能である。角度偏向状態／角度を制御／変更することによって、光学リレー１４５内の光伝達路ＯＰの方向が変わり、したがって、一の横軸（例えば、伝達時に直交するＸ又はＹ）に対する、あるいは両方の横軸（Ｘ及びＹ）に対する目への光ビームの伝達路ＰＰの横位置を偏向させる。換言すると、瞳位置ビーム偏向機１４０は、光ビームＬＢが目投影システム１０１の出射ポートＥＰを出射する位置を横方向に偏向するように操作可能である。これは、図１Ａに線図的な光線トレースＲＴによって示されている。

図１Ａに示す実施例では、伝達路ＰＰの横偏向は、光学リレー１４５内に位置している瞳位置ビーム偏向機１４０の偏向角度を一次元また二次元（ピッチ及び／又はヨー）で変えることによって達成され、偏向角度のこのような変化は、光学リレー中の一般光学路ＯＰの角度オリエンテーションに影響し、これによって、光学リレー１４５の外の光ビームの目ＥＹＥに向けた伝達路ＰＰの横位置（Ｘ又はＹ）を変更する。この結果、いくつかの実施例では、瞳位置ビーム偏向機１４０は、一の角度オリエンテーション（ピッチ又はヨー）に対して角度調整可能な偏向角度を有し、したがって、横軸Ｘ又はＹの一方の身に対して伝達路ＰＰの横位置を制御する制御可能な一の偏向パラメータを有する一次元角度調整可能な偏向機であってもよい。代替的に、瞳位置ビーム偏向機１４０は、二つの角度オリエンテーション（ピッチ及びヨー）に対して角度調整可能な偏向角を有し、したがって、横軸ＸとＹの両方に対して伝達路ＰＰの横位置を制御する二つの制御可能は偏向パラメータを有する、二次元角度調整可能な偏向機であってもよい。

いくつかの実施例では、瞳位置ビーム偏向機１４０は、光学リレーの主平面に位置しており、瞳位置ビームの偏向角度の調整により、目に向けた伝達路の角度オリエンテーションに影響を与えることなく目に対する光ビームの伝達路の横位置を変えることができる。これによって、本発明の切り離し特性を実装する。

このように、瞳位置ビーム偏向機１４０は、角度が傾き／回転することができ、光ビームＬＢの光学路ＯＰをシフトさせて装置１００に対する目ＥＹＥの位置の変動／変化を補償している。目投影システム１０１の実装は、拡張／バーチャルリアリティ眼鏡上で提供されており、目ＥＹＥの目投影システム１０１間の相対位置の変動は、拡張／バーチャルリアリティ眼鏡を使用するユーザの顔の構造の差（例えば、目の瞳孔間の距離、及び／又は鼻腔の高さ）によるものであり、この相対位置は、ユーザの顔の上の装置１００の位置がシフトすると変化する。瞳位置ビーム偏向機１４０は、光ビームＬＢを調整可能に偏向させて、光ビームＬＢが目投影システム１０１の出射瞳ＥＰを出射する横位置を一または二の横方向寸法（例えば、垂直及び水平横方向、図におけるＸ及びＹであり、伝達路ＰＰにほぼ直交している）において、変化させる／制御することができる。システム１０１の出射ポートＥＰから伝達路ＰＰの横方向出射位置を制御する／シフトすることによって、光ビームＬＢを目ＥＹＥの瞳に向けることができ、目投影システム１０１に対する（例えば、出射ポートＥＰに対する）瞳の横位置の変動／変化を補償する。

図１Ａに示すように、光学アッセンブリ１５０は、もう一つの調整可能な光学偏向機１３０を具えており、これは、本例では二次元角度調整可能であり、注視方向ビーム偏向機として作用する（構成されており、操作可能である。）。注視方向ビーム偏向機１３０は、光学アッセンブリの光学路ＯＰに沿って配置されており、偏向角度が調整されると（例えば、光学偏向面を角度的に傾ける／回転させることにより）、光ビームＬＢの目ＥＹＥに向けた伝達路ＰＰの角度を偏向させて、伝達オリエンテーションをシフトさせる。したがって、注視方向ビーム偏向機１３０は、目ＥＹＥの注視方向における角度（ピッチ及びヨー）変化を補償するように操作可能である。

この結果、光学リレー１４５を具える本発明の実施例では、注視方向ビーム偏向機１３０は、光学アッセンブリ１５０の光学路ＯＰに沿って光学リレー１４５の外に（上流側あるいは下流側に）配置した角度調整可能なビーム偏向機（偏向角度を調整することができる）である。これは、図１Ａ乃至１Ｆに記載されている。したがって、光学リレー１４５の上流側に配置されているか下流側に配置されているかにかかわらず、偏向角度（偏向機のオリエンテーション）の調整／変化は、伝達路ＰＰの角度オリエンテーション（ピッチ及び／又はヨー）に影響を与える。

本発明を知った後のこの分野の当業者には自明であるように、注視方向ビーム偏向機１３０は、光学リレー１４５の配置の前／後に位置しており、偏向角度の変化は、目に対する伝達路ＰＰの横方向の偏向／位置に影響しない。したがって、このような実施例は、上述した切り離し特性を実装している。例えば、所定の実施例において、注視方向ビーム偏向機１３０は、角度調整可能な光学偏向機であり、光学リレー１４５の最初の光学素子／群１４５．１の合焦面において光学リレー１４５の前／上流側に位置している、あるいは、光学リレー１４５の二番目の光学素子／群１４５．２の合焦面において光学リレー１４５の後ろ／下流側に位置しており、注視方向ビーム偏向機１３０の角度偏向状態／角度の変化は、伝達路ＰＰの横方向（Ｘ及び／又はＹ）位置に影響を与えることなく、伝達路ＰＰの角度オリエンテーション（ピッチＰＣ及び／又はヨーＹＷ）に影響を及ぼす。

代替的に、図１Ｆを参照すると、光学リレー１４５を具えるいくつかの実施例では、注視方向ビーム偏向機１３０は、光学リレー１４５内の光学路ＯＰに沿って配置した移動可能な調整可能ビーム偏向機であってもよく、これは、リニア移動するように構成され操作可能であり、光学路ＯＰとの相互作用で光学リレー内の光学路ＯＰを横方向にシフトさせ（たとえば、光学路をＸ及び／又はＹ方向に偏向する）、これによって、 光学リレー１４５から下流側の光ビームの伝達路ＰＰの角度オリエンテーションに影響を与える。本発明を知った後の当業者には自明であるように、注視方向ビーム偏向機１３０は、光学リレーにおけるその移動が、光学リレー１４５の主平面Ｐの上／近傍のその位置を維持するように構成されており、この移動によって影響を受けた光学リレー内の光学路ＯＰの横方向の偏向は、光学リレー１４５の下流側の伝達路ＰＰのピッチ及び／又はヨーオリエンテーションの角度偏向に純粋に変換されるであろう（伝達路ＰＰの横方向偏向／位置に影響することなく）。したがって、注視方向ビーム偏向機１３０の角度偏向パラメータと伝達路ＰＰの横（Ｘ，Ｙ）位置との間に切り離しが生じる。

図１Ａに示す特定のかつ非限定的な例では、注視方向ビーム偏向機１３０は、光学リレー１４５の前／上流側に配置されており、光ビームＬＢが目ＥＹＥに伝達する一般光学路ＯＰの方向を角度的に制御するように操作することができる。しかしながら、本発明のその他の実施例による目投影システム１０１の光学構成の様々な実装例では、注視方向ビーム偏向機１３０は、光学路ＯＰに沿って異なる位置に配置することもできる。例えば、図１Ａ乃至１Ｅに記載の非限定的な例は、注視方向ビーム偏向機１３０が光学リレーの後ろに位置するように変形することができる。実際、光学リレーの前にある注視方向ビーム偏向機１３０は、明確に、あるいは注視方向ビーム偏向機１３０の所望のサイズ／寸法に利点がある。光学リレー１４５の前の注視方向ビーム偏向機１３０（光学リレーの上流側）通常、注視方向ビーム偏向機１３０が光学リレーの後ろ（下流側）に配置されている場合と比べて、より小さい偏向機を使用することができる。これによって、前者のオプションが本発明のいくつかの実装例において好ましいものとなる。より小さな偏向機は、通常寸法と重量がより小さく、より費用対効果が良いためである。

このように、注視方向ビーム偏向機１３０によって、光ビームＬＢがこれに沿って目ＥＹＥに伝達する伝達路ＰＰの角度オリエンテーション（ピッチＰＣ及び／又はヨーＹＷ）を再度方向付けることができ、伝達路ＰＰが目の視線ＬＯＳ（注視方向）に対して維持された固定角度オリエンテーションで目に入射する。したがって、装置１００のユーザが注視方向を変更すると（視線ＬＯＳの変更）、注視方向ビーム偏向機１３０が光学路ＯＰをシフトさせて、光ビームＬＢが注視方向がシフトされる前のものと同じオリエンテーションでＥＹＥの瞳に向けられるように操作されうる。したがって、光ビームは、網膜上の同じ位置に投影／合焦される。光ビームＬＢによって網膜上に投影された画像は、これによって、ユーザが注視方向を変えた場合でも網膜上の同じ位置に維持される。

通常、注視方向ビーム偏向機１３０は、二次元調整可能な偏向機として構成されており、二つの角度寸法で光ビームを調整可能に偏向するように制御して、目ＥＹＥの注視方向ＬＯＳにおける水平方向及び垂直方向の両方の変化を補償することができる。したがって、目投影システム１０１によって投影された画像の網膜上の位置は、目ＥＹＥの注視方向の水平及び／又は垂直方向の変化に関わらず、固定される。

したがって、図１Ａについて上述し、図１Ｂ乃至１Ｆについて以下に述べる通り、調整可能な光学偏向機１３０及び１４０は、横方向のＸ及びＹ位置と、光ビームＬＢの目への伝達路ＰＰの角度ピッチＰＣとヨーＹＷオリエンテーションの両方を偏向する手段を提供している。これによって、目／瞳ＥＹＥの位置における横方向の変化を両方補償し、目の視線（注視方向）ＬＯＳにおける変化を補償することができ、目投影装置１００が目ＥＹＥに対して移動した場合、あるいはユーザが注視方向ＬＯＳを変えた場合でも、網膜上のほぼ固定位置で画像／光−ビームＬＢの投影を維持することができる。通常は、瞳位置ビーム偏向機１４０は、光ビームＬＢを方向付ける少なくとも一の、通常は二つの自由度を提供している。また、注視方向ビーム偏向機１３０は、光ビームＬＢを方向付ける別の二つの自由度を提供している。トータルで、３つまたは４つの自由度があり、これには、瞳位置の変化に対する補償を提供する少なくとも一（垂直Ｘ）と典型的に二つ（Ｘ及びＹ）の横方向の自由度と、ビームの上下（ピッチ）ＰＣと左右（ヨー）ＹＷを調整して、注視方向の変化を補償する二つの角度の自由度が含まれている。

図１Ｂを参照すると、本発明のいくつかの実施例では、瞳位置ビーム偏向機１４０は、光学リレー１４５の外に配置してもよい（あるいは、光学的に、システムが光学リレー１４５を具えていなくてもよい）。例えば、瞳位置ビーム偏向機１４０は、システム１０１の出射ポート／瞳ＥＰの近傍に配置することができる。

図１Ｂに示す目投影装置１００は、調整可能な光学偏向機１４０が、光学リレー１４５の後、（光学リレー１４５の外、例えば、光学リレー１４５の光学素子／群１４５．１と１４５．２の間にない）で光学路ＯＰに沿って配置された角度調整可能な偏向機であり、図１Ａのものと同様に作動する。目投影装置１００のその他の素子／群は、図１Ａに関して上述した、また以下に述べる対応する素子／モジュールと同様に構成されており、したがって、これらの素子は、図１Ｂについてこれ以上説明しない。

図１Ｂに示す非限定的な例では、瞳位置ビーム偏向機１４０が、追加のビーム偏向機ＢＤ（例えば、静ビーム偏向機／反射面である）と協働して動作するように構成されている。ここで、この追加ビーム偏向機ＢＤの反射／屈折面の形状／曲率は、瞳位置ビーム偏向機１４０がビームＬＢを、偏向する角度偏向をビームＬＢの横方向シフトに変換するように構成されている。換言すると、追加ビーム偏向機ＢＤは、瞳位置ビーム偏向機１４０の偏向オリエンテーションの変化／調整が、ビームＬＢの目ＥＹＥに対する伝達路における横シフトに影響する（すなわち、図に示すＸ及び／又はＹ方向における伝達路をシフトする）ように構成されており、これによって、ビームＬＢの伝達路をシフトさせて目ＥＹＥの瞳位置を追跡できるようにする。これは、例えば、追加ビーム偏向機ＢＤの位置と合焦パワーを、瞳位置ビーム偏向機１４０が配置されている面と合焦面が一致するように構成することによって達成される。

図１Ａ及び１Ｂに記載の実施例では、ビーム偏向機１４０は、主に伝達路ＰＰを横方向に偏向させるように担当／動作可能であり、ビーム偏向機１３０（これは、主に伝達路ＰＰのオリエンテーションの角度偏向を担当している）の後ろに位置している。より詳細には、これらの例では、光学リレー１４５内に位置（例えば、光学素子１４５．１と１４５．２の間）しているか、あるいは光学リレー１４５の後ろに位置している。このような配置では、ビーム偏向機１４０とビーム偏向機１３０の角度スパンをカバーするのに相当のサイズであることが必要であり、したがって、システムがコンパクトサイズであり、費用対効果があることが求められる場合には、目投影システム１０１における本発明を実装する利点が少なくなる。

このため、図１Ｃ乃至１Ｅは、伝達路ＰＰの横偏向を主に担当し／動作可能であるビーム偏向機１４０が、ビーム偏向機１３０の前に配置されている、あるいは、ビーム偏向機１３０と一体化されており、後者がシステム内に含まれる場合は光学リレーの前に位置する本発明の実施例を示す。これらの実施例では、ビーム偏向機１３０は、図１Ａを参照して上述したものと同様に構成されている。より詳細には、これらのすべての実施例では、ビーム偏向機１３０が光学リレーの前で、好ましくは光学リレー１４５の第１光学素子／群１４５．１の合焦面で角度調整可能な光学偏向機であり、主に、伝達路ＰＰの角度オリエンテーションの調節を担当し、動作可能である。

ここで図１Ｃを参照すると、本発明のこの実施例では、伝達路ＰＰの横偏向の調整を主に担当し／動作可能であるビーム偏向機１４０は、ビーム偏向機１４０（これは、主に、伝達路ＰＰの角度オリエンテーションの調整を担当し／動作可能である）の前／上流側で光学アッセンブリ１５０の光学路ＯＰに沿って配置された角度調整可能な偏向機である。ビーム偏向機１４０は、一または二の横軸ＸとＹに対して、伝達路ＰＰの横方向位置を偏向する一または二の寸法（ピッチ及び／又はヨー）を角度調整できる角度調整可能な光学偏向機である。実際、図１Ｃにおける光線トランスからわかるように、ビーム偏向機１４０の角度偏向状態／角度における変化は、光線ＬＢがビーム偏向機１４０に当たる横位置に影響し、したがって、光ビームが光学リレー１４５に入射する横位置にも影響する。したがって、光学リレー１４５を出射した後は、光ビームの伝達路ＰＰの横位置に影響する。

しかしながら、図１Ｃの光線トランスＲＴからもわかるように、ビーム偏向機１４０の角度偏向パラメータを変更することは、光ビームが光学リレー１４５に入射する横位置に影響するだけでなく、光ビームＬＢの伝達方向（光ビームが光学リレー１４５に入射する前）にも影響し、したがって、伝達路ＰＰの角度オリエンテーションにも影響する。このため、この実施例では、光学路ＰＰの横位置の制御により小さい（図１Ａ及び１Ｂの実施例に比べて）調整可能な光学偏向機１４０を使用しているが、光学偏向機１４０の偏向パラメータは、伝達路ＰＰの角度オリエンテーション（ピッチ及び／又はヨー）の自由度から切り離されていない。したがって、伝達路ＰＰの横位置に関連する自由度を調整する瞳位置ビーム偏向機１４０の偏向パラメータの調整には、伝達路のオリエンテーションへの瞳位置ビーム偏向機１４０の影響を補償する注視方向ビーム偏向機１３０の偏向パラメータの調整も必要であり、逆も同様である。このことは、例えば、偏向機１３０と１４０の両方の状態を調整するように正しく構成され動作可能なコントローラを用いて、注視方向又は目ＥＹＥの瞳位置の各々の変化を補償することによって達成できる。

しかしながら、上述したように、本発明のいくつかの実装例では、偏向機１３０と１４０の各々の偏向パラメータは、伝達路ＰＰの所定の自由度の調整に排他的に関連することが好ましい。特に、偏向機１３０の二つのパラメータ（二次元に対する変向特性に関する）は、目の注視方向のピッチ及びヨーに関連する伝達路の角度オリエンテーション自由度を単独で担当し、偏向機１４０の一または二の偏向パラメータ（一または二の寸法に対する偏向特性に関する）が、目／瞳の垂直及び／又は水平位置に関連する伝達路の横位置自由度を単独で担当することが好ましい。このことは、各偏向機を特定の目の動き／位置特性に合致するように構成できるので、利点である。例えば、これによって、伝達路ＰＰの横位置を瞳位置に調整するには低速で費用対効果の高い偏向機１３０を使用し、注視方向の変化（高速のゆらぎ、又はサッカード動作を含む）に応答するには高速で機敏な偏向機１４０を使用することができる。

ここで、上述した切り離し特徴を実装するように構成され動作可能である本発明の二つの実施例を記載した図１Ｄ及び１Ｅを参照する。さらに、有利なことに、これらの実施例では、光学リレー１４５の前に調整可能な偏向機がすべて配置されており、したがって、光学リレー１４５内にあるいはこの上流に一の偏向機が配置されている実施例に比較して比較的小型／コンパクトにすることができる。

特に、図１Ｄ及び１Ｅに示す実施例では、調整可能な偏向機１３０が注視方向ビーム偏向機と瞳位置ビーム偏向機の両方として構成され作動する。ここでは、偏向機１３０の光学アッセンブリの光学路に沿った移動が、伝達路ＰＰの横偏向に影響し、角度偏向角／状態における変化が、伝達路ＰＰの角度オリエンテーションに影響する。

より詳細には、図１Ｄに示す実施例では、光学アッセンブリは、３つの調整可能な偏向パラメータを有する一の調整可能な偏向機１３０のみを具えている。このパラメータは、ピッチ及びヨー偏向オリエンテーションに関連する二つの偏向パラメータと、偏向機１３０の上流側にある光学アッセンブリの一部に沿った偏向機の移動（例えば、直線移）に関連する一の偏向パラメータを含む。

この結果、偏向機１３０は、光学偏向面が光学路ＯＰに沿って移動が、光学リレー１４５（オプション）に入る前に偏向機１３０から下流側の光学路ＯＰの横方向変位（一の軸、例えばＹ軸に沿った）に影響するように、光学路ＯＰに沿って移動可能に構成されている。したがって、この図の光線路トレースＲＴに示すように、このことは、対応する横方向／軸（例えば、Ｙ軸）における伝達路ＰＰの横移動に影響し、したがって、この横方向／軸における瞳／目ＥＹＥの変化の補償を提供する。このように、この実施例では調整可能な光学偏向機１３０が、瞳位置偏向機として構成されており、伝達路の横偏向が、光学アッセンブリの光学路ＯＰに沿った瞳位置ビーム偏向機の位置を移動させて、光ビームが偏向機１３０から偏向される交差位置を変えることによって達成される。

また、偏向機１３０は、角度偏向オリエンテーションが通常、ピッチ及びヨーの２つのオリエンテーションで調整可能なように構成されている。これは、上述したように、注視方向ビーム偏向機と同様に作用し、偏向機の偏向角度を変えることで、光学リレー（オプション）に入る光ビーム／光学路ＯＰのオリエンテーションを変化させ、したがって、伝達路ＰＰのオリエンテーションも変化させる。これによって、目ＥＹＥの注視方向における変化を補償できる。

好ましくは、伝達路ＰＰの横方向の移動を調整する偏向パラメータ（偏向面の移動）を、伝達路ＰＰの角度オリエンテーションから切り離すために、偏向機１３０が、その移動が、光学リレー１４５の第１光学素子１４５．１の合焦面近傍あるいはその中に、偏向機の偏向面が維持されるように行われる。したがって、偏向機１３０を移動させることで、伝達路ＰＰの角度ピッチ／ヨーオリエンテーションに影響を与えることなく、伝達路ＰＰの横位置が調整される。

この例では、光学アッセンブリが光学リレーを具えており、偏向機１３０は、光学アッセンブリを通る光ビームの伝達方向に対して光学リレー１３０の上流側に位置している。偏向機構造（調整可能な光学偏向機１３０の構造と、選択的に、図１Ｅの１４０などその他の調整可能な光学偏向機の構造を含む）の偏向面の横方向寸法は、実質的に７ミリメートルを超えない。

ここで図１Ｅを参照すると、光学アッセンブリは、以下の点を除いて図１Ｄに示し、上述したのものと、ほぼ同じである。瞳位置ビーム偏向機が光学路ＯＰに沿って移動可能な二つの調整可能な光学偏向機でできており、これは：（ｉ）図１Ｄに示すように構成され動作可能であり、一の横軸（例えば、Ｙ）に対して光学路の横位置を調整し、光学路の角度オリエンテーションに関する自由度も調整する調整可能な光学偏向機１３０と；（ｉｉ）光学偏向面が偏向機１３０の光学面と共に、偏向機１４０の上流側の光学路ＯＰに沿った方向に移動可能になるように構成され動作可能な追加の調整可能な光学偏向機１４０；である。したがって、このような移動は、偏向機１４０と１３０の下流側の光学路ＯＰの横軸（例えば、Ｘ）に沿った横方向の変位に影響する。

図１Ｅの実施例の偏向機構造は、以下の構成を提供する。二つの調整可能な光学偏向機１３０と１４０の両方が、第１横軸（例えばＸ）に沿って移動可能であり、目への伝達路ＰＰの第１横軸に対する相対的横偏向に影響する。二つの調整可能な光学偏向機１３０の一方は、第２の横軸（例えばＹ）に沿って独立して移動可能であり、目への伝達路の第２の横軸に対する相対的横偏向に影響する。調整可能な光学偏向機１３０は、好ましくは二つの角度について角度調整可能であり、偏向機の角度偏向状態を調整することで伝達路の角度オリエンテーションを調整する。

ここで、図１Ｆを参照すると、光学リレー１４５が使用されており、図１Ｄ及び１Ｅのいずれかに記載され上述した調整可能な光学偏向機１３０及び／又は１４０と同様の構成及び構造が光学リレー１４５内に配置されている（例えば、主平面Ｐに位置している）。これは、図１Ｄ及び１Ｅに示す例のものと比較すると、偏向機のリニア移動と角度オリエンテーションの調整の役割を相互交換している。特に、調整可能なビーム偏向機１３０は、リニア移動によって調整可能であり、光学路ＯＰと相互作用する位置が移動することが、光学リレー１４５内の光学路ＯＰの横方向のシフトに影響し（例えば、光学路をＸ及びＹ方向に偏向する）、これによって、光学リレー１４５の下流側の光ビームの伝達路ＰＰの角度オリエンテーションに影響を与える。いくつかの実装例では、調整可能なビーム偏向機１３０を光学リレー１４５の主平面Ｐ内／近傍に残しつつ移動するように構成されており、これによって、本発明の切り離し特徴を実装している（すなわち、この移動によって影響を受けた光学リレー内の光学路ＯＰの横偏向が、伝達路ＰＰの横偏向に影響を与えることなく、伝達路ＰＰのピッチ及び／又はヨーの角度偏向に単純に変換される）。伝達路ＰＰの横（ＸＹ）偏向は、調整可能な偏向機１３０の角度偏向オリエンテーションの調整によって達成される。

明確化のために、図面に示す特定の非限定的な例では、単一の移動可能な偏向機１３０のみが示されており、これによって、一の角度座標（ピッチ及びヨー）のみの伝達路を再オリエンテーションすることができる。しかしながら、図面の明確化のために特に記載されてはいないが、この実施例では通常二つの移動可能なビーム偏向機が光学リレー１４５内に設けられており、図１Ｅに示すものと同様に構成されて、この実装例ではピッチ及びヨー座標の両方に対して、伝達路の再オリエンテーションが可能である。

この結果、この図１Ｆの光学リレー内に配置した図１Ｅの調整可能な光学偏向機１３０と１４０の構成を考慮すると、注視オリエンテーションビーム偏向機は、以下のような調整可能な光学偏向機１３０と１４０の一方、または両方を移動させることによって達成される。図１Ｆに示すように構成され動作可能な調整可能な光学偏向機１３０は、直線的に（例えば、横軸Ｙに沿って）移動して、一の角度座標（例えば、伝達路ＰＣのピッチ）に関する伝達路ＰＰのオリエンテーションを調整し、また、角度調整可能であり、一または二次元（Ｘ及び／又はＹ）の伝達路ＰＰの横方向自由度の度合いを制御／調整する。追加の調整可能な偏向機１４０は、その光学偏光面が、偏向機１４０の上流側の光学路ＯＰに沿った方向（例えば、Ｘ方向）に、偏向機１３０の光学面と共に移動可能なように構成され、操作可能である。したがって、このような移動は、横軸（例えばＸ）に沿った偏向機１４０と１３０の下流側の光学路ＯＰの横方向変位に影響を与える。偏向機は、光学リレー１４５内に配置されているので、これは、伝達路ＰＰのヨーＹＷオリエンテーションの調整に影響を与える。

したがって、図１Ｆの実施例の偏向機の構成は、以下のことを提供する。少なくとも一の調整可能な光学偏向機１４０及び通常二つの調整可能な光学偏向機１３０と１４０の両方は、共に、第１の横軸（例えばＸ）に沿って移動可能であり、第１のオリエンテーション座標（例えば、ヨーＹＷ）に対して目への伝達路ＰＰの相対角度偏向に影響を与える。二つの調整可能な光学偏向機１３０の一方は、第２の横軸（例えばＹ）に沿って独立して移動可能であり、第２のオリエンテーション座標（例えば、ピッチＰＣ）に対して目への伝達路ＰＰの相対角度偏向に影響を与える。調整可能な光学偏向機１３０も、角度調整可能であり、好ましくは一つ又は二つの角度座標に対して調整可能で、伝達路ＰＰの横方向位置の一次元又は二次元調整をそれぞれ提供する。

図１Ａ、１Ｄ、１Ｅ及び１Ｆに示して説明した特定の非限定的な例では、出射ポートＥＰにおける光ビームＬＢの伝達路ＰＰの横位置は、調整可能な光学偏向機１３０及び／又は１４０の所定の偏向パラメータの調整に依存しており（例えば、偏向機１４０の角度調整又は偏向機１３０及び／又は１４０の直線移動）、出射ポートＥＰを出射する光ビームが伝達する方向である伝達路ＰＰのオリエンテーションは、これらの偏向パラメータによっては実質的に影響を受けないが、その他の偏向パラメータ（例えば、偏向機１３０の角度調整によって制御される。）これは、伝達路の４つの自由度をそれぞれ個別に制御する調整可能な偏向パラメータを提供する。

いくつかの実装例では、３つの自由度のみで十分であり、図１Ａ、１Ｂ、及び１Ｃに示す瞳位置ビーム偏向機１４０は一次元調整可能な偏向機を実装してもよく、図１Ｄの構成を用いてもよい。これによって、縦方向（例えばＸ）におけるビームＬＢの横位置を変化させて、装置１００を付けた拡張／バーチャルリアリティ眼鏡がユーザの鼻梁から滑り落ちる事態を補償することができる。このような実施例では、様々なユーザの目（瞳間距離）間の距離の変化の補償を、ユーザの目の各々に画像を投影するのに使用される装置の二つの目投影システム１０１間の水平方向の分離を変化させることができる機械的手段といったその他の手段で達成することができる。

図１Ａ、１Ｄ、１Ｅ及び１Ｆに示す上述した例では、ビーム偏向機がそれぞれ、その偏向パラメータが光学路ＯＰの横位置と角度オリエンテーションに関連する各自由度が個別に独立して動作可能になるように配置構成されており、一般的には、偏向機１３０及び／又は１４０が、例えば図１Ｃに示すように、これらの３つまたは４つの自由度を合わせてこれらの偏向機が集合的に調整するように、光学路に沿って構成配置することができる、と解するべきである。

選択的に、図１Ａ−１Ｆに示すように、本発明のいくつかの実装例では、目投影システム１０１は、調整可能な光学偏向機１３０及び１４０に接続可能であり、これらの偏向機を操作するように構成されたビーム偏向コントローラ１６４を具えており、光学路ＯＰと、目／瞳ＥＹＥを正しい位置と方向に一致させるようにこの路に沿って伝達する光ビームを方向付ける。

上述した例では、瞳位置ビーム偏向機１４０と注視方向ビーム偏向機１３０は、それぞれ横方向の自由度（伝達路ＰＰをＸ及びＹ方向において横にシフトさせる）と、角度自由度（伝達路ＰＰのピッチ及びヨーをオリエンテーションする）を提供するように構成されている（例えば、光学路ＯＰに沿って配置されている）。この場合、コントローラ１６４は、光ビーム偏向機を別々に操作して、角度自由度を制御する各々の偏向パラメータを（伝達路ＰＰの上下（ピッチ）及び左右（ヨー）オリエンテーション）個別に調整し、伝達路ＰＰの横方向自由度を制御するそれぞれの偏向パラメータを個別に調整するように、構成されている。

上述した通り、いくつかの実装例では、ビーム偏向機１３０と１４０の偏向パラメータと、上述した４つの自由度のうちの３つとの間に１対１の対応関係があり、一またはそれ以上の自由度は、別のパラメータと協働する二またはそれ以上の偏向パラメータを組み合わせた調整によって調整可能である（例えば、目に向けられた光ビームの横位置及び／又は角度オリエンテーションのいずれかを変更することは、偏向機１３０と１４０の両方の操作／調整を含んでいてもよい）。このような実施例では、ビーム偏向機を制御するコントローラ１６４は、偏向機１４０とビーム偏向機１３０の各状態をその状態において光ビームに影響する横（Ｘ、Ｙ）及び角度（上下、左右）のシフトに関連する基準データ（例えば、ルックアップテーブル）を利用することができる。したがって、偏向機１３０及び／又は１４０は、共に作動して、目ＥＹＥの注視方向及び相対位置における変化を補償するのに必要な光ビームの所望の横方向及び角度変化に影響するよう操作できる。代替的に、事前キャリブレーション手順を適用して、目の動きが相関する数学的多項式モデルに適合させてもよい。これは、アプリケーションの要求に応じて、いくつかの代替の目の移動モデルに適用することができる。

図１Ｇは、画像投影光ビーム（例えば、光ビームＬＢ）などの光ビームを目の上に（例えば、目の網膜上に直接）投影するように方向付ける本発明の方法２００のフローチャート２００を示す。この方法は、例えば、図１Ａ乃至１Ｆのいずれかに示す目投影システム１０１によって実装することができる。特に、方法２００は、光学的操作２１０と２２０を具え、これらは、これらの図に示す目投影システム１０１の光学システム１５０の光学路ＯＰの構成／要素に関連する。また、この方法は、動作２５０、２７０及び２９０を具え、これらは、例えば、図１Ａ乃至１Ｆに示すビーム方向コントローラ１６４によって実行することができる。

更に、方法２００は、動作２１０と２２０を具えており、ここでは、第１及び第２の調整可能な光学偏向機（例えば、図１Ａ及び１Ｂに示す１３０と１４０）がそれぞれ、光学システム（例えば１５０）の光学路に配置されて提供されている。第１のビーム偏向機１３０は、その偏向状態（偏向パラメータ）が、光学システム１５０の出射瞳／ポートＥＰから出力されている光ビームＬＢの伝達路ＰＰの少なくともオリエンテーションの調整に関連するように構成されている。第２のビーム偏向機１４０は、その偏向状態（偏向パラメータ）が、出射瞳／ポートＥＰにおける光ビームＬＢの伝達路ＰＰの少なくとも横位置の調整に関連するように構成されている。

動作２５０は、光ビーム（例えば、ＬＢ）を、第１及び第２の調整可能な光学偏向機を具える光学システム（例えば、１５０）を通って方向付けるステップを具える。光ビームは、例えば、目の網膜に画像を投影する画像投影光ビームであってもよい。

動作２７０では、コントローラ１６４及び／又は選択的に別のオペレータが、少なくとも第１の調整可能なビーム偏向機を操作して、その偏向パラメータを目の注視方向における変動を補償するように（例えば、目の揺らぎ動作に関連しない変動を補償／低減するように）調整する。工程２９０では、コントローラ１６４及び／又は別のオペレータは、少なくとも第２の調整可能なビーム偏向機を操作して、偏向パラメータを調整し、目と光学システム１５０との間の相対位置の変動を補償する。この結果、方法２００は、画像をユーザの目に投影する光学システム１５０を操作し使用する一方で、光学システム１５０に対する目／瞳ＥＹＥの角度及び横方向の動きを補償する技術を提供する。

上述したとおり、本発明の目投影システム１０１は、画像投影モジュール１９０を具えており、これは、画像を生成／投影する目の網膜上に投影されるモジュレート化した光ビームＬＢを出力するように構成されている。図２Ａ及び２Ｂは、本発明の２つの実施例による目投影システム１０１に設けられている画像投影システムの構成を示すブロック図である。

更に、図２Ａは、画像投影システム１９０を示しており、これは、目ＥＹＥの網膜上に強度を変調した光ビームＬＢ（一またはそれ以上の色の強度変調レーザビームを含む）を走査することによって網膜上に画像を投影する。画像投影システム１９０を出射したこの走査レーザビームＬＢは、目投影システム１０１の光学システム１５０を介して伝達し、正しいオリエンテーションで目ＥＹＥの瞳位置にビームを向けてビームが網膜上の正しい位置に画像を投影する。図２Ｂは、目ＥＹＥの網膜上に投影する所望の画像を用いて空間的にパターン化した／変調した光ビームＬＢを提供する、領域投影モジュールを用いた画像投影システム１９０を示す。空間的にパターン化された光ビームＬＢ（構造化した光）は、次いで光学アッセンブリ１５０を介して伝達し、これによって正しいオリエンテーションで目ＥＹＥの瞳に到達するように向けられ、空間的に変調した画像パターンが目ＥＹＥの瞳の正しい位置に投影される。両方のケースにおいて、光学アッセンブリ１５０は、瞳／目ＥＹＥの位置における変化と、注視方向の変化を補償するように作動し（例えば、図３Ａを参照して以下に詳細に説明するコントローラ１６４によって制御される）、目の注視方向及び／又は目と装置１００の画像投影システム１９０との間の相対位置に関係なく、目の網膜上の正しい、光学的に固定された位置に画像を投影することができる。

いくつかの実装例では、網膜に画像を投影する光ビームＬＢの断面幅が、人間の目の瞳の公称直径より小さくなるように制御可能に調整する、あるいはできることが重要である。このことは、大きな被写界深度で網膜に画像を投影することとなり、網膜に投影された画像は、接目レンズの合焦状態（焦点距離状態）にかかわらず（すなわち、ユーザが注視している距離にかかわらず）合焦され続ける。これは、光ビームＬＢの幅が実際に、光ビームが目ＥＹＥに入射する有効入射瞳の直径を規定するためである。したがって、光ビームＬＢが狭くなるほど、有効入射瞳が狭くなり（目の瞳の実際の直径ｆより狭くなる）、大きな被写界深度で網膜に投影される画像ができる。瞳より狭いビームの提供は、本発明の様々な実施例において、画像投影システム１９０において正しい光源１１０を使用することで、及び／又は、適切なビーム拡大器／コントラクタ（図示せず）光学路ＯＰに沿って（例えば、画像投影システム１９０の光学システム１５０及び／又は光学アッセンブリ１１３に含まれる）光学素子を使用することで達成される。

図２Ａは、画像投影システム１９０を例示しており、これは、瞳に投影される光ビームを出力するように構成した光モジュール１１０と、光ビームの一般光学路に沿って配置され、網膜に形成する画像に応じて光ビームを変調するように構成されたた画像光モジュレータ１１２とを具える。いくつかの実装例では、光モジュール１１０は、一またはそれ以上の光チャネルを具え、このチャネルは各々が、光エミッタ、及び／又は、所定の色組成の光を提供する／出射する光ポート１１１を具える。グレーレベルの画像を投影するには、単チャネル（例えば、単色チャネル）で十分である。本例では、画像投影システム１９０が、カラー画像を投影するように構成されており、光モジュール１１０は３つの色光チャネル（例えば、光ポート／エミッタ、Ｒ、Ｇ、及びＢ、であり、それぞれ、赤、緑及び青と異なる色の光を出力する）を具える。本例では、光ポート／エミッタ１１０は、３つのＲ、Ｇ及びＢのレーザエミッタ（例えば、レーザダイオード）で実装される。

画像投影システム１９０は、通常、光学アッセンブリ１１３を具えている。これは、本明細書では、ビーム形成及び結合光学アッセンブリともいう。ビーム形成及び結合光学アッセンブリ１１３は、一またはそれ以上の色の一またはそれ以上の光学チャネルの光ビームを平行ビームにして結合させ、共通の一般光学路ＯＰに沿って伝達するように構成され動作可能である。ビーム形成及び結合光学アッセンブリ１１３は、例えば、複数の光学チャネルの光を個別に及び／又はまとめて平行にするように構成した一またはそれ以上のビームシェーパ（例えば、ビームコリメータ１１７及び／又は１１７’）を具える。一以上の光学チャネルがある場合、ビーム形成及び結合光学アッセンブリ１１３は、さらに、一またはそれ以上のビームコンバイナ１１８を具えていてもよく、これが光学チャネルビームを単一光学路ＯＰに結合させる。

画像投影システム１９０の画像光モジュレータ１１２は、一またはそれ以上の強度モジュレータ１１５を具え、このモジュレータは、関連する各光チャネル（ポート／エミッタ）からの光の強度を調整するように構成され動作可能である。強度モジュレータ１１５は、関連する光モジュール１１０の光エミッタ／ポートに接続可能であり、それによって発光した光の強度を制御するようにその動作を調整するように構成された各光源コントローラを利用して実装することができる。代替的に又は追加で、強度モジュレータ１１５は、光モジュール１１０の各光エミッタ／ポートから出射した光の光学路に配置された制御可能な光減衰機（例えば、電気光学減衰機及び機械的減衰機）を具える及び／又は実装することができる。代替的に、非線形結晶上の位相マッチング特性を変化させることによって行ってもよい。

本例では、画像光モジュレータ１１２は、また、画像スキャニング偏向機１２０、例えば、ラスタースキャニングミラーモジュール及び／又は二次元角度調整／回転可能な偏向機（例えば、画像スキャンを実行できる）を具える。通常、少なくとも一の光強度モジュレータ１１５を具える画像光モジュレータ１１２は、画像スキャニング偏向機１２０へと伝達する光ビームＬＢの強度とおそらく色組成を変調するように構成され、動作可能である。画像スキャニング偏向機１２０は、時間を関数としてその偏向角を変化させ、異なる時点で光ビームＬＢを、網膜に投影される画像の様々な画素の位置に対応する様々なオリエンテーションに偏向するように作動する。

画像投影システム１９０は、通常、網膜に投影される画像を表す入力データＩＭＤを受信して、その画像データに基づいて光ビームＬＢを変調するように画像光モジュレータ１１２を操作する、画像投影コントローラ１９２も具えている。特に、本例では、画像投影コントローラ１９２が画像スキャニング偏向機１２０の角度偏向状態を表すデータを取得し（例えば、角度偏向状態は、例えば、スキャニング偏向機１２０が連続的に動作／回転する場合、時間の関数である）、及び／又は画像投影コントローラは偏向状態を設定することができる（例えば、画像スキャニング偏向機１２０に正しい制御信号を発することで）。偏向状態（例えば、画像スキャニング偏向機１２０の偏向角度／オリエンテーション）に基づいて、画像投影コントローラ１９２は、画像のどの画素が現在網膜に投影されるべきかを決定し、画像データＩＭＤを用いてその画素の強度とおそらくは色組成を決定し、したがって、光強度モジュレータ１１５を操作して（例えば、モジュレータに正しい制御信号を発して）、光ビームＬＢの正しい強度と色組成を設定する。したがって、画像投影コントローラ１９２は、画像投影システム１９０のモジュールを操作して、画像で光ビームＬＢを変調し、さらに、システム１００の光学システム１５０によって網膜に向けて、画像が網膜上に投影されるようにする。本例では、そのたびに、光ビームＬＢの強度とおそらくは色組成が、網膜に投影される画像の単画素に対応する。画像スキャニング偏向機１２０は、画像の様々な画素が投影される網膜の領域／表面にわたって光ビームＬＢを走査する一方で、光強度モジュレータ１１５は、協働して、光ビームＬＢをこれらの画素の強度とおそらくは色組成で変調するよう作動して、網膜上に画像を形成する。

本発明の目投影システムに使用できる画像投影システム１９０のもう一つの例が図２Ｂに示されている。ここで、画像光モジュレータは、領域投影モジュール１１５を具えており、これは、例えば、ビーム源１１０（例えば、電子ビーム及び／又は光源）と、空間光モジュレータ１１５を具える。例えば、領域投影モジュール１１５は：カソード−レイ−チューブ（ＣＲＴ；電子ビーム源１１０と燐光体層を具える）、液晶ディスプレイ（ＬＣＤ；たとえば、光源と、リキッド−クリスタル−オン―シリコン（ＬＣｏＳ）を具える）、デジタルライトプロセッシングモジュール（ＤＬＰ；例えば、光源１１０と、空間光モジュレータ１１５として作動するデジタル−マイクロミラー−デバイス（ＤＭＤ）を具える）、及び／又は有機発光ダイオード（ＯＬＥＤ；光源１１０と空間モジュレータ１１５の両方として作動する発光ダイオードの空間アレイを具える）のうちの一またはそれ以上；及び／又は、共鳴ファイバープロジェクタシステムを用いて実装される。

領域投影モジュール１１５は、したがって、所望の画像でパターン化された／変調された、空間的に変調した／パターン化した光ビームＬＢ（構造化した光）を生成／出力するように構成され動作可能である。画像投影システム１９０は、通常、画像投影コントローラ１９２を具えており、これが、網膜に投影される画像を表す入力データＩＭＤを受信して、領域投影モジュール１１５を作動させて光ビームＬＢを生成し、その画像で空間的にパターン化／変調されるようにする。この例では、画像投影システム１９０が、例えば、ビーム形成光学素子、及び／又は、空間的にパターン化した光ビームを形成しリレーして目投影システム１０１の光学システム１５０に向けて伝達させる光学リレーを具える光学アッセンブリ１１３も具えており、これによって目の瞳位置に正しいオリエンテーションで向けられ、画像が網膜上の正しい場所に投影される（例えば、ユーザの注視方向に関係なく、また、目投影システムと目ＥＹＥの間の相対位置にも関係なく）。

この点に関して、画像投影コントローラ１９２は、光ビームＬＢの強度と色組成を空間的に変調する領域投影モジュール１１５の空間光モジュレータ１１２を作動させて、網膜に投影する画像が所定の共役光学面ＣＰ内の光ビームＬＢの断面に形成される。目投影システム１０１の光学システム１５０は、共役光学面ＣＰに形成した画像を目の網膜にリレーするように構成され動作可能である。

ここで、図３Ａを参照すると、本発明の実施例による目追跡モジュール１６０を具える目追跡デバイス１０５を示すブロック図である。目追跡モジュール／システム１６０はＩＲ追跡ビームＴＢと、少なくとも二つの光学センサ１７５及び１８５と、目追跡コントローラ１６４とを提供するように構成されたＩＲ光ポートを具える。目追跡モジュール／システム１６０は、図１Ａ乃至１Ｆのいずれかについて上述したものと同様の光学アッセンブリと関連するあるいはこれを具えており、おおむね、ＩＲ光ビームＴＢを方向付けてユーザの目の方向に伝達路ＯＰに沿って伝達するように構成されている。このため、光学アッセンブリ１５０は、少なくとも二つの調整可能な光学偏向機１３０及び１４０を具えており、これは光学アッセンブリ（例えばＬＢ）の光学路ＯＰに沿って目の方向に伝達するその他の光ビームと同様に、追跡光ビームの伝達路ＰＰの角度オリエンテーションと横位置を調整するように構成され、動作可能である。二つの光学センサ１７５と１８５は、少なくとも二つの調整可能な光学偏向機とそれぞれ関連して光学アッセンブリの一般光学路ＯＰに光学的に接続されており、それぞれ、追跡ＩＲ光ビームＴＢの入射に応じて目から反射されている反射ＩＲ光ビームＲＢを検出する。目追跡モジュール／システム１６０は、さらに、少なくとも二つの光学センサ１７５と１８５に接続可能な目追跡コントローラを具える。目追跡コントローラ１６４は二つの光学センサ１７５と１８５からの読出し情報／データを受信して、この読出し情報を処理し、目の瞳位置と注視方向のそれぞれから伝達路ＰＰの横及び角度偏差を表すデータを決定するように構成されている。このため、目追跡モジュール１６０は目ＥＹＥの位置／オリエンテーションをモニタして（すなわち、目ＥＹＥの注視方向と横位置を表す目の位置データを測定する）、上述した目投影システム１０１と協働して目に対する目投影システム１０１の伝達路ＰＰを調整するように使用することができる。

ＩＲ光ポート／光源１６２は、追跡光ビームＴＢを提供して、光学アッセンブリの一般光学路ＯＰに沿って伝達するように方向付けるとともに、一またはそれ以上の調整可能な光学偏向機１３０及び／又は１４０と相互作用して、そこから伝達路ＰＰに沿って目に伝達するように構成され動作可能である。追跡ビームＴＢの目への入射によって、目からの追跡ビームＴＢの反射に関連する反射光ビームＲＢを生じさせ、光学アッセンブリの光学路ＯＰを通って戻るように伝達させる。

一またはそれ以上のセンサ１７５及び１８５は、光学路ＯＰに沿って二またはそれ以上の異なる位置で一般光学路ＯＰに光学的に接続されている。センサ１７５及び１８５は、反射光ビームＲＢを受け取って二またはそれ以上の異なる位置で反射光ビームＲＢの一またはそれ以上の伝達特性を測定するように構成されている。

目追跡コントローラ１６４は、一またはそれ以上のセンサ１７５と１８５、及び一またはそれ以上の光学偏向機１３０及び／又は１４０に接続可能である。コントローラ１６４は、センサ１７５と１８５から、光学路の２またはそれ以上の異なる位置における反射光ビームＲＢの少なくとも一の伝達特性を表す読出しデータ／情報を受け取って、この読出しデータを処理して目位置データを決定する、すなわち、目ＥＹＥの横（Ｘ及び／又はＹ）と、伝達路ＰＰ又は光学アッセンブリ１５０に対する目の角度注視方向を決めるように構成されている。

いくつかの実装例では、目位置データは、目の注視方向（ＬＯＳ）と目に向けた光ビームの伝達路ＰＰのオリエンテーションとの偏差と、目の瞳の横（Ｘ、Ｙ）位置と伝達路ＰＰとの間の偏差を表している。

いくつかの実装例では、目追跡モジュール１６０は、一またはそれ以上の調整可能な光学偏向機１３０及び／又は１４０を作動させ、伝達路ＰＰの角度オリエンテーション（ピッチ及びヨー）と横位置（Ｘ、Ｙ）を調整して、その横位置及び角度オリエンテーションを補償する、動作インストラクションを生成するために目位置データを利用するように構成された、一またはそれ以上のコントローラ、例えば、１７０と１８０を具える。

本発明のいくつかの実装例によれば、調整可能な光学偏向機１３０及び／又は１４０は、光学路ＯＰに沿って順次配置されており、これによって、二つの調整可能な光学偏向機１３０及び／又は１４０による光学路ＯＰの偏向に関連する光学路ＯＰの二つの偏向ステージＳＴＧ１とＳＴＧ２を規定している。従って、センサ１７５と１８５が光学路ＯＰに光学的に接続される２またはそれ以上の異なる位置は、それぞれ二つの偏向ステージＳＴＧ１とＳＴＧ２に配置されている。センサ１７５と１８５は、それぞれ、光学路のこれらのステージＳＴＧ１とＳＴＧ２に配置したビームスプリッタコンバイナＢＣ３とＢＣ２に接続するようにしてもよい。

目追跡コントローラ１６４は、調整可能な偏向機の一つ１４０又は１３０と関連する光学路ＯＰの各偏向ステージＳＴＧ１又はＳＴＧ２から、対応するセンサ１７５又は１８５によって測定された対応する伝達特性に基づいて、各調整可能な偏向機１４０及び／又は１３０についての動作インストラクションを生成するように構成され、動作可能である。

例えば、反射光ビームＲＢの伝達特性は、光学路ＯＰ内のあらかじめ決められた公称横位置からの、反射光ビームＲＢの伝達の横方向軸外偏差であってもよい。このため、各センサ１７５及び１８５は、複数の感光検出器／画素を具えている。コントローラ１６４はセンサ１７５及び１８５からの読出しデータ／情報を処理して、センサ上の反射光ビームＲＢの入射位置を決定し、これによって、この入射位置とセンサ上の所定の公称位置との間の偏差を決定するように構成することができる。したがって、光学路ＯＰの各ステージＳＴＧ１とＳＴＧ２に沿った反射光ビームＲＢの伝達特性が決まる。光学路ＯＰの２またはそれ以上のステージＳＴＧ１及びＳＴＧ２について決められたこの伝達特性（例えば、光学路ＯＰの所定の公称位置からの、反射光ビームＲＢの伝達の横方向軸外偏差である）から、目の横及び角度位置を表すデータを計算／推定／決定することができる。したがって、調整可能な光偏向機１４０及び／又は１３０は、目ＥＹＥの横位置／オリエンテーションを追跡するように動作／調整可能である。

例えば、本発明のいくつかの実装例では、目追跡コントローラ１６４は、一またはそれ以上のサーボループ（例えば、サーボループコントローラ１７０及び／又は１８０）を具えており、各サーボループコントローラは、各調整可能な光学偏向機（例えば、１３０及び／又は１４０）と、対応するセンサ（例えば、１７５及び／又は１８５）に接続可能であり、各センサ（例えば、１７５及び／又は１８５）からの読出しデータを処理して、光学路ＯＰの各ステージ（例えばＳＴＧ１及び／又はＳＴＧ２）における、したがって、その伝達特性に基づいて対応する伝達特性を決定し、関連する各調整可能な光学偏向機（例えば、１３０及び／又は１４０）を作動させる動作インストラクションを生成する。

この結果、図３Ａに示す非限定的な例では、目追跡モジュール／システム１６０は、本発明の目投影装置１００と協働するように構成され動作可能であるように記載されている。特に、この非限定的な例では、目投影装置１００は、少なくとも一の目投影システム１０１を具え、このシステムは目ＥＹＥの、目／瞳の位置と視線方向（すなわち、注視方向）をモニタしおそらくは追跡する上述したように構成され動作可能な目追跡装置１０５を具える、あるいはこれに組み込まれている。目投影システム１０１は、図１Ａ乃至１Ｆのいずれかに示す目投影システムと同様に構成することができ、選択的に、光学システム１５０を介して光／画像ＬＢを目ＥＹＥに投影する画像投影モジュール１９０を具えていてもよい。目追跡装置１０５は、目ＥＹＥの横位置と視線（ＬＯＳ）をモニタして、目ＥＹＥの位置と視線を追跡するように光学システム／アッセンブリ１５０を作動させ、光ビームＬＢの伝達路ＰＰ（画像投影光ビーム）が目ＥＹＥの視線ＬＯＳに対する所望のオリエンテーションで目の位置に（例えば、目の瞳に）向けられるように構成されている。このため、この特別な例では、画像／光投影光ビームＬＢ並びに追跡光ビームＴＢ（通常はＩＲ光）と、反射光ビームＲＢは、結ばれて光学アッセンブリ１５０の共通光学路と目ＥＹＥへの共通伝達路ＰＰに沿って伝達する。いくつかの実装例では、目投影装置１００は、目投影システム１０１と同様の二つの目投影システムを具えており、ユーザの両目にそれぞれ画像を投影するように構成され動作可能である。

しかしながら、目追跡装置１０５及び／又は目モニタモジュール１６０は、目投影システム１０１に接続可能な独立した装置／モジュールとして実装することができる、及び／又は、目投影システム１０１と一体化したモジュール／装置であってもよい。本例では、光学システム１５０が目ＥＹＥに画像を投影する目投影システム１０１によっても使用されており、また、目ＥＹＥの位置及び視線をモニタし、追跡する目追跡装置で使用されている。また、代替的にあるいは追加で、目追跡モジュール１６０は、光学的に光学システム１５０に接続することができ、電気的にそのビーム偏向機１３０及び１４０に接続して光学路ＯＰに沿って出射瞳ＥＰから伝達する戻りの光ビームＲＢを検出するように動作可能であり、検出した光信号を処理して目の横位置と視線を追跡し、調整可能な光学偏向機１３０及び／又は１４０を、光学アッセンブリ１５０と目ＥＹＥの間の光ビーム（例えば、ＴＢ及び／又はＬＢ）の伝達路ＰＰを光ビームＬＢが所望のオリエンテーションで目／瞳の位置に向けられるように調整するように構成した、独立した装置として実装することができる。

本例では、目投影システム１０１は図１Ａ乃至１Ｆのいずれかに記載した目投影システムと同様のモジュールを具える。特に、このシステムは、図２Ａ及び２Ｂに記載した画像投影システムのいずれかと同様に構成し、動作可能とすることができる選択的に画像投影システム１９０と；画像投影システム１９０を目ＥＹＥの方向に向けるように（例えば、眼鏡レンズ１０２を介して）構成し動作可能な光学システム／アッセンブリ１５０と；を選択的に具えていてもよい。図１Ａ乃至１Ｂを参照して上述した光学システム１５０と同様に、ここでの光学システム１５０は、光ビームＬＢの一般光学路ＯＰに沿って配置した少なくとも一の、通常は少なくとも二つの調整可能な光学偏向機（例えば、図１Ａに示すような注視方向光学偏向機１３０と、瞳位置ビーム偏向機１４０）を具えており、目ＥＹＥに向けた光ビームＬＢの伝達路ＯＰの調整における少なくとも３つ、通常は４つの自由度を提供するように構成され動作可能である。二つの自由度は、目ＥＹＥの注視方向における角度変化をの補償に関連するものであり、少なくとも一の自由度、通常／好ましくは二つの自由度は、目ＥＹＥに対する目投影装置１００の相対的な横、縦、及び／又は水平の変化に対する補償を提供する。

目の角度の動きは、特に目のサッカードの動きに関連しており、目の横方向の動きは特に、瞳の横位置と目投影／追跡システム間の相対的な横の動きに関連していると理解すべきである。

いくつかの実装例では、目モニタリングモジュール１６０が、目追跡光ビームＴＢを出射する追跡光源１６２を具えていると理解すべきである。代替的に又は追加で、いくつかの実施例では、追跡光源が目モニタリングモジュール１６０の一部でなくともよく、目モニタリングモジュール１６０は、追跡光ビームＴＢを受ける光ポート１６２をのみを具えていてもよい。本発明の様々な実施例では、追跡光源が光ポート１６２を介して光学システム／アッセンブリ１５０に光学的に接続可能／連結可能であり、追跡光ビームＴＢが光学システム１５０を介して目に向けられる；及び／又は、追跡光源１６２は光学システム１５０に接続しておらず、追跡光ビームＴＢは別の方法（例えば、フリースペースの伝達によって、あるいは別の光学ガイド／システムを介して）で目ＥＹＥに向けられる。

図３Ａに示すこの特定の本発明の非限定的な実施例では、追跡光源１６２が、光学システム１５０と光学的に通信するように配置及び構成されており、追跡光ビームＴＢは光学システム１５０の一般光学路ＯＰに沿って伝達され、光学路ＰＰに沿って目ＥＹＥの瞳に向けて伝達する。この結果、追跡光源１６２は、光学システム１５０の光学路ＯＰと、追跡光源１６２から出力した追跡光ビームＴＢの伝達路内に位置するビームコンバイナＢＣ１（例えば、二色ビームコンバイナ）と関連して、追跡ビームＴＢが画像投影光ビームＬＢと共に、光学路ＯＰに沿って目ＥＹＥのへ向けて伝達されるように方向付けられる。追跡光源１６２は、一般的に、波長／スペクトルの光／電磁放射１６２の源であり、目の視野内の固定された可視光源の存在に関連するユーザの不快感が防止される、あるいは少なくとも有意に低減される。例えば、追跡光源１６２は、人間の目に見えないＩＲビームを出射する赤外線（ＩＲ）光源（例えば、ＩＲレーザダイオード）であってもよい。

なお、本発明の所定の実施例によれば、目追跡光ビームＴＢは、組み合わされて光学路ＯＰに沿って伝達する一方、目ＥＹＥへの道で光学アッセンブリ１５０の調整可能な光学偏向機１３０及び１４０の両方と順次相互作用し、様々な注視方向を目が見ており、目投影システム１０１に対するその相対横位置が変化するが、目の方向を向くことができる。この結果、ビームコンバイナＢＣ１は、調整可能な光学偏向機１３０及び１４０の上流側の位置で、光学路ＯＰと交差する。

したがって、調整可能な光学偏向機１３０及び１４０は、正しく調整されたとき（すなわち、その偏向パラメータが、目に対する伝達路ＰＰの正しい横位置と角度オリエンテーションで目に光ビームを向けるように、正しく設定されたとき）、目追跡光ビームＴＢは、目に入射する、及び網膜に投影されるであろう目の瞳に向けられ、伝達路に沿って伝達する。

いくつかの実装例では、目追跡光ビームＴＢの断面幅は、人間の目の瞳の公称直径より小さい。この場合、目の瞳の周りの領域からの目追跡光ビームＴＢの反射が最小になり、このような反射との追跡ビームＴＢの干渉が減り、追跡精度が改善される。いくつかの実装例では、目の注視が追跡ビームＴＢが完全に瞳の外にシフトされる（信号が喪失する）程度にシフトするシナリオにするために、光学システム内（例えば、１３０及び１４０）の調整可能な光学偏向機（例えば、調整可能なミラー）がいわゆるリサージュパターン（失った信号を再度取得するためにサーチ領域を拡大できる）などの所定のパターンを具える及び／又は提供するように構成することができる。瞳サーチアルゴリズム用のリサージュパターンは、最初の信号が取得されるまで、まず横ドメインで実行され、次いで、光学路の最適アラインメントを得るため角度ドメインで実行される。次いで、このパターン（例えば、リサージュパターン）を用いて、瞳の周辺からの追跡ビームＴＢの反射を廃止して、調整可能な光学偏向機１３０及び１４０の偏向パラメータを、瞳の横位置と伝達路ＰＰを目のＬＯＳのピッチ／ヨーオリエンテーションに整列させるように訂正する。代替的にあるいは追加で、センサ１７５及び／又は１８５は、目からの反射光ビームＲＢを検知して、目の位置と注視方向を追跡するのに使用することができ、このようなシナリオが生じる機会を最小限にするために、大面積クアドセル（例えば、マルチダイオードアレイ）として構成することができる。

一般的に、目追跡光ビームＴＢが目ＥＹＥにあたると、目追跡光ビームＴＢの一部ＲＢが、目ＥＹＥの網膜から反射して戻り（いわゆる網膜反射）、光学路ＯＰに沿って戻ってくる。代替的に又は追加で、目追跡光ビームＴＢの一部ＲＢは、目ＥＹＥの角膜から反射される（いわゆる、角膜反射及び／又はプルキニエ画像の一つ）。いくつかの実施例では、光ビームＲＢは、角膜の前から（第１プルキニエ画像）、レンズの後ろから（いわゆる、第４プルキニエ画像）、及び／又は、網膜から反射された（網膜反射）、目追跡光ビームＴＢの部分を含む。一般的に、反射された光ビームは、次いで、目ＥＹＥから光学システム１５０の光学路ＯＰへ伝達して戻り、この場合、反射光ビームＲＢの実際の伝達方向が目ＥＹＥの瞳の位置及び／又はオリエンテーションを表している。

本発明の所定の実施例は、有利なことに、目の逆反射特性を利用しており、特に、目の網膜が逆反射であることを利用している。ＩＲ波長では、網膜は、有意なパーセンテージの光を反射することができる。これは、目の実際の光軸、あるいは、目の光軸に対してある角度にあるその他の任意の光学的方向を追跡する本発明の所定の実施例の注視方向追跡システムに使用される。目の実際の光軸、あるいはこのようなその他の任意の光学的方向の追跡は、逆反射器（目の逆反射特性を利用している）として目を利用することによって達成され、従来の方法で行っているようなプルキニエ画像に必ずしも頼るものではない。目の逆反射特性を用いることで、反射ビームが目の光軸に対して所定のあらかじめ決まった角度で戻り、したがって、システムは目の実際の光軸を追跡することができる。目の逆反射特性にはあるレベルの色収差があるが、高い精度で目の角度及び横のシフトを検出するのに目の逆反射特性を利用することは可能である。

本発明のいくつかの実装例によると、目モニタリングモジュール１６０の二つの光センサ１７５と１８５が配置され、光学路（例えば、光学アッセンブリ１５０の光学路ＯＰ）に光学的に接続されている。この光学路に沿って、反射光ビームＲＢが、光センサの少なくとも最初のセンサ上の反射光ビームＲＢの入射位置が、目ＥＹＥの瞳の位置と光ビームＬＢの伝達路ＰＰの横位置との間の横方向偏差（Ｘ及び／又はＹの偏差）を表すデータを提供し、光センサの少なくとも二番目のセンサ上の反射ビームＲＢの入射位置が、伝達路ＰＰと目ＥＹＥの視線との間の角度偏差（ピッチ及び／又はヨーの偏差）を表すデータを提供するように伝達する。実際、一般的には、光センサは、反射光の光学路に沿って配置された二次元光学センサ１７５と１８５を具えており、伝達路ＰＰの４つの自由度をモニタしている。例えば、第１のセンサ（例えば、図中の１７５）は、光学リレー（例えば、光学リレー１４５又は同様のもの）の光学素子の間、例えばリレー１４５の主平面近傍の光学路ＯＰの位置／ステージＳＴＧ１にある反射光ビームの光学路に沿って配置することができ、光ビームＬＢの伝達路ＰＰとあらかじめ決められた関係／対応性を持つ所定の公称光軸からの反射ビームＲＢの角度偏差が、光ビームＲＢが光学センサ１７５に当たる位置における横方向の偏差に変換される。これによって、目の視線に対する伝達路ＰＰのピッチ及びヨー角度オリエンテーションにおける偏差を測定／決定することができる。２番目のセンサ（例えば、図に示す１８５）は、光学リレー内を伝達しない（例えば、このようなリレーを使用する場合は、光学リレー１４５の外）光学路ＯＰの位置／ステージＳＴＧ２にある反射光ビームＲＢの光学路に光学的に接続することができ、これによって、伝達路ＰＰとあらかじめ決められた関係／対応性を持つ所定の公称光軸からの反射ビームＲＢの横方向偏差を直接測定することができる。これによって、伝達路ＰＰと目の位置の間の横偏差Ｘ及び／又はＹを測定／決定することができる。

本発明のいくつかの実施例では、伝達路ＰＰの角度偏差を測定する光学センサが、伝達路ＰＰの横の偏差の影響から光学的に完全に切り離されておらず、逆も同様である（すなわち、伝達路ＰＰの横の偏差を測定する光学センサは、伝達路ＰＰの角度偏差の影響から光学的に完全に切り離されていない。このようなケースでは、両センサ１７５よ１８５から取得した測定値に更なる処理を行って、これらの測定値からの伝達路ＰＰの角度（ピッチ及びヨー）偏差と、横（Ｘ及びＹ）の偏差を測定する。例えば、両センサからの測定値を取得して最初の処理を行い、各センサ上の反射ビームＲＢの入射位置を決定できる。次いで、この位置（例えば、ベクトルで表されている）はマトリクスの形で表すことができ、これは、次いで（例えば、マトリックスまたは光学アッセンブリ１５０の関数表現など、光学アッセンブリ１５０の光学的操作を表す表現データを用いて）対角化して、目の横位置と注視方向からの伝達路ＰＰの角度オリエンテーションと横変位を決定することができる。

光センサ１７５と１８５光学路ＯＰの異なるステージ／位置ＳＴＧ１とＳＴＧ２に配置されている。ここで、異なるステージＳＴＧ１とＳＴＧ２は、戻ってきた／反射された光ビームＲＢが、異なる光センサ１７５と１８５に届く前に、調整可能な光学偏向機１４０と１３０の異なる組み合わせと相互作用するように選択されている。光センサ１７５及び１８５は、各々が、調整可能な光学偏向機１４０と１３０の一方にそれぞれ関連するように、特に、各センサへの光ビームの入射位置が、そのそれぞれの調整可能な光学偏向機に適用されるべき、必要な補正を表すデータを提供するように、配置することができる。これによって、開／閉サーボループ動作を適用して、各センサから取得した読出しデータに基づいて、各偏向機を調整することができる。例えば、図に示すように、光センサ１７５はステージＳＴＧ１に配置されて、調整可能な偏向機１４０と相互作用した後であって、偏向機１３０と相互作用する前に、戻ってきた光ビームＲＢを検出している。したがって、センサ１７５の所定の公称位置から（例えば、センサの中心から）戻ってきた光ビームＲＢの入射位置の偏差は、調整可能な偏向機１４０の調整に必要な補正を表し、以下に述べるサーボループ回路（例えば、コントローラ１７０）で処理して、偏向機１４０を再調整することができる。同様に、光センサ１８５は、戻ってきた光ビームＲＢを、調整可能な偏向機１４０と１３０の異なるセットと相互作用させた後に（この非限定的な例では、調整可能な偏向機１４０と１３０の両方と相互作用した後）ステージＳＴＧ２で検知するように配置されており、調整可能な偏向機１４０はすでに正しく調整され、センサ１８５の所定の公称位置から（例えば、センサの中心から）の、戻ってきた光ビームＲＢの入射位置の偏差が、調整可能な偏向機１３０の調整に必要な補正を表すことになり、以下に述べるサーボループ回路（例えば、コントローラ１８０）で処理して、偏向機１３０を再調整する。

明確にするため及び一般性を喪失することなく、図３Ａに示す非限定的な特定の例は、図１Ａを参照して例示して説明した目投影システム１０１と協働するように構成された、目追跡装置１０５を示す。特に、この非限定的な例では、追跡用光源１６２からの追跡光ビームＴＢが、ビームコンバイナＢＣ１を介して光学アッセンブリ１５０の光学路ＯＰに光学的に接続されており、これは図１Ａに示すものと同様である。反射ビームＲＢは、光学路ＯＰに沿って戻り、特定位置にある光学アッセンブリの光学路ＯＰと交差するように配置された、各ビームスプリッタ／コンバイナＢＣ３及びＢＣ２によって光学路ＯＰからセンサ１７５及び１８５に向けられる。したがって、この特定の例では、光学アッセンブリ１５０は、図１Ａ、１Ｄ、１Ｅ及び１Ｆを参照して上述した本発明の切り離し構造を実装するように構成されている。すなわち、このことによって、ビーム偏向機１３０の偏向パラメータが伝達路ＰＰの横（Ｘ、Ｙ）位置の制御から切り離され、ビーム偏向機１４０の偏向パラメータが、伝達路ＰＰの角度（ピッチ、ヨー）オリエンテーションの制御から切り離される。このように、ビーム偏向機１３０及び１４０は、この特定の非限定的な例では、注視方向ビーム偏向機及び瞳位置ビーム偏向機として排他的に構成され動作可能であり、したがって、明確化のために以下ではこのようにいう。本例では、光センサ１８５は、ビーム偏向機１３０によって偏向されたのち、反射光ビームと相互作用する／検出するように構成されており（正しく配置されたビームスプリッタＢＣ２を利用して）、したがって、この特定の例（ビーム偏向機１３０が注視方向ビーム偏向機として排他的に機能する）では、目の視線ＬＯＳからの伝達路ＰＰの角度偏差を表す測定データを提供する。したがって、明確化のために、以下において光センサ１８５を注視方向センサ１８５という。この例では、光センサ１７５は、ビーム偏向機１４０によって偏向された後であって、ビーム偏向機１３０と相互作用する前に、反射光ビームＲＢと相互作用する／これを検知するように構成されている（正しく配置されたビームスプリッタＢＣ３を用いて）。したがって、この特定の例（ビーム偏向機１４０が瞳位置ビーム偏向機として排他的に機能する）では、光センサ１７５は、目ＥＹＥの瞳の位置からの伝達路ＰＰの横偏差を表す測定データを提供する。しかしながら、明確化のために、光センサ１８５と１７５、及び調整可能な偏向機１３０と１４０は、以下において、瞳位置及び注視方向センサ／偏向機という。その他の構成の光学アッセンブリ１５０が使用されている実施例では、両偏向機及び両光センサとしての瞳位置と注視方向センサ／偏向機との区別は、瞳位置及び注視方向からの伝達路の偏差（に影響を及ぼす／測定する）に反応する。これは、例えば、図１Ｂ及び１Ｃに示すもののように目追跡装置１０５が光学アッセンブリ１５０に光学的に接続されている実施例にあり、ここでは、偏向機のすべてのあるいはいくつかの偏向パラメータが、伝達路ＰＰのいくつかの自由度に影響するように接続されている（すなわち、偏向機の偏向パラメータと伝達路の角度及び横方向の間に一対一の対応関係は存在しない）。したがって、一般的には、瞳位置センサ／偏向機の動作／構成は、必ずしも、瞳位置に対する伝達路ＰＰに影響する／これを測定することに限定されないが、注視方向に関しては、伝達路ＰＰに影響し、これを測定するように機能することもある。また、一般的に、注視方向センサ／偏向機の動作／構成は必ずしも注視方向に対して伝達路ＰＰに影響する／これを測定することに制限されないが、瞳位置に対して伝達路ＰＰに影響する／これを測定するように機能することもできる。

注視方向センサは、反射光ビームＲＢの波長に反応する複数の光検出器（例えば、２，３の／４つの光検出器／画素）を具える。例えば、注視方向センサ１８５は、４分割ＩＲ光センサ（例えば、２×２の構成にした４つの光検出器を具えるクアドセンサ）、及び／又は位置検出デバイス（ＰＳＤ）、及び／又は時間遅れ集積電荷結合デバイス（ＴＤＩ−ＣＣＤ）、及び／又は、対象領域（ＲＯＩ）選択能力のある相補型金属−酸化物−半導体（ＣＭＯＳ）を用いて実装することができる。注視方向センサ１８５は光学路ＯＰに光学的に接続されており、反射光ビームＲＢが目ＥＹＥから反射され、注視方向ビーム偏向機１３０と相互作用した後に、反射光ビームＲＢを回収するように構成されている。この図面に示すように、本例では、注視方向センサ１８５は、ビームコンバイナＢＣ２（例えば、ダイクロイックミラーが実装されている）により光学路ＯＰに光学的に接続されており、これは、目ＥＹＥからの反射光ビームＲＢの伝達方向に対して、注視方向ビーム偏向機１３０の下流側に位置する光学システムの一部である。したがって、注視方向センサ１８５上の反射光ビームＲＢの投影位置ＰＬ１は、注視方向センサに対して（あるいは、その上の所定の基準位置ＲＬ１に対して）中心にあり、光学路ＯＰ（及び、注視追跡ビームＴＢと網膜上に画像を運び投影する光ビームＬＢ）が、目ＥＹＥの視線ＬＯＳに対して所定のあらかじめ決められた／既知の）入射角で目ＥＹＥに入射したことを表示する。さらに、反射光ビームＲＢの投影位置ＰＬ１は、注視方向センサ１８５上の中心／基準位置ＲＬ１からずれている場合は、目ＥＹＥの光学路ＯＰの入射角度が、あらかじめ決められた／既知の入射角度からずれている（例えば、この光学路は、視線ＬＯＳともはや一致していない）ことを表示する。

この点に関して、上述した通り、反射光ビームＲＢの正しい伝達方向は、目ＥＹＥの瞳の（例えば、注視方向／目ＥＹＥの視線ＬＯＳの）オリエンテーションを表している。しかしながら、本実施例では、反射光ビームＲＢは、注視方向センサ１８５に入射する前に注視方向ビーム偏向機１３０と相互作用し、したがって、注視方向センサ１８５上の中心／基準位置ＲＬ１の偏差は、実際、特に、光ビームＬＢ及び／又はＴＢがそれに沿って目ＥＹＥに入射する方向に向けられる光学路ＯＰと、目ＥＹＥの視線ＬＯＳとの間の相対的オリエンテーションを表している（例えば、視線ＬＯＳに平行な二つのそれぞれ直交する面上にある、視線ＬＯＳと光学路ＯＰの間にわたる二つの角度を表す）。

本実施例では、目追跡コントローラ１６４は、注視方向センサ１８５に接続可能な第１のサブコントローラ１８０（例えば、以下において、注視方向コントローラ１８０という）を具える。注視方向コントローラ１８０は、注視方向センサ１８５の複数の検出器から読出し情報／データＲＤ１を取得／受信する。目追跡コントローラ１６４及び／又は第１のサブコントローラ１８０は、デジタルプロセッサ及び／又はアナログ処理回路を具えており、読出し情報ＲＤ１を処理して、これに沿って光ビームＬＢ及び／又はＴＢが目ＥＹＥに向けられる光学路ＯＰからの目ＥＹＥの注視方向（視線ＬＯＳ）の角度偏差を決めるように構成され動作可能である（例えば、適正なソフトウエアコア及び／又はハードウエア構造を介して）。

例えば、注視方向コントローラ１８０は、注視方向センサ１８５の個々の検出器／画素によって蓄積された値を表す読出し情報／データＲＤ１を受信するように構成されており、このデータを処理して注視方向センサ１８５に入射する反射光ビームＲＢの中心を表すセンサ１８５上の公称投影位置／画素ＰＬ１を決定する。次いで、注視方向コントローラ１８０は、光学路ＯＰの視線ＬＯＳとの完全なアラインメントを表す、センサ１８５上の公称位置／画素と基準位置ＲＬ１間の距離間隔を表すベクトルデータを決定する。したがって、このベクトルデータは、目ＥＹＥに入射する光学路ＯＰのオリエンテーションと目ＥＹＥの視線ＬＯＳとの間の角度偏差を表す。

いくつかの実施例において、例えば、特に、目モニタリングモジュール／装置１６０が目投影システム１００の一部である場合、注視方向コントローラ１８０は、注視方向ビーム偏向機１３０にも接続することができる。このような実施例では、注視方向コントローラ１８０は、ベクトルデータをさらに処理して、光学路ＯＰと視線ＬＯＳとの間の角度偏差を補償するのに必要な、注視方向ビーム偏向機１３０の必要な角度位置を決めて、これに応じて注視方向ビーム偏向機１３０を操作するのに適した動作インストラクション／あるいは制御信号を生成するように構成され動作可能である。

例えば、本発明の所定の実施例では、注視方向センサ１８５は、４つのＩＲ光検出器（４つの感光ピクセル）を具える四分割（クオードラント）センサで実装されている。注視方向コントローラ１８０は、四分割センサ１８５に接続可能であり、注視ビーム偏向機１３０を操作して、四分割センサ１８５の中心位置（ＲＬ１）からの反射ビームＲＢの偏差を最小にするように構成され、動作可能である。これは、視線ＬＯＳに対して実質的に固定されたオリエンテーションをもつ光学路ＯＰを維持し、光ビームＬＢによって網膜に投影された画像が、ユーザが視線をシフトさせた場合でも、網膜上の実質的に固定された位置に維持するようにする。

いくつかの変形例において、注視方向コントローラ１８０は、注視方向ビーム偏向機１３０を、中心／基準位置ＲＬ１からの反射光ビームＲＢの偏差を最小限にするように動作させ、この偏差が所定のスレッシュホールド（揺らぎスレッシュホールド）を超えた場合にのみ、この偏差が所定のスレッシュホールドより下のレベルに維持される（しかしながら、必ずしも無効になるわけではない）ように、構成されている。例えば、注視方向コントローラ１８０は、揺らぎフィルタレーションモジュール１８１を具えており、これは、読出しデータＲＤ１を処理して（例えば、上述したベクトルデータを処理して）注視方向の角度偏差が目の揺らぎ動作に関連する場合を除去するように構成されている。用語「揺らぎ」及び「揺らぎ動作」は、ここでは、マイクロ−度のオーダーで、及び最大で単なる度のオーダーでの角度サッカード動作であるマイクロ−サッカード動作を指すのに使用されている。

いくつかの実施例では、揺らぎフィルタレーションモジュール１８１が、これに関連する（例えば、このモジュールで保存されている）所定の揺らぎ偏差スレッシュホールドを用いている。揺らぎフィルタレーションモジュール１８１は、読出しデータＲＤ１（例えば、ベクトルデータ）を処理して、目の注視方向ＬＯＳと光学路ＯＰとの間の角度偏差を連続的にモニタするように構成され動作可能であり、以下のように作用する。モニタした角度偏差が揺らぎ偏差スレッシュホールドより低い場合、揺らぎフィルタレーションモジュール１８１がいわゆる開サーボループで動作し、注視方向ビーム偏向機１３０を作動させずに、揺らぎ動作に関連する偏差を補償しない。モニタした角度偏差が、揺らぎ偏差スレッシュホールドを超える場合は、揺らぎフィルタレーションモジュール１８１がいわゆる閉サーボループで動作し、正しい動作インストラクション／信号が方向ビーム偏向機１３０のアクチュエータ／サーボに通信され、この偏向機１３０を、センサ１８５上の中心／基準位置ＲＬ１からの反射光ビームＲＢの偏差を最小にするように作動する。

揺らぎフィルタレーションモジュール１８１は、これによって目の自然の（自動的な）揺らぎ動作に関連しない注視方向の変化を補償し、目ＥＹＥの自然の揺らぎ動作に関連する注視方向の変化は補償しない。このことは、網膜上の画像位置が、目の自然な揺らぎ動作の結果としてシフトせず、網膜に投影された画像、したがって、目ＥＹＥによって捕捉された自然な画像を知覚する品質を改善する。

いくつかの実施例では、目モニタリングモジュール１６０は、瞳位置センサ１７５である光センサ１７５を具えている。瞳位置センサ１７５は、追跡／反射光ビームＴＢ及び／又はＲＢの波長に反応する複数の光検出器を具える。例えば、光センサ１７５は、２×２構造及び／又は位置検出デバイス（ＰＳＤ）及び／又は時間遅れ集積電荷結合素子（ＴＤＩ−ＣＣＤ）及び／又は対象領域（ＲＯＩ）選択能力を有する相補型金属−酸化物−半導体（ＣＭＯＳ）に組織化されたいくつかの／４つの光検出器／画素を有する、四分割ＩＲ光センサを具える。

瞳位置センサ１７５は、例えば、光学路ＯＰのステージＳＴＧ１において光学路ＯＰと光学的に接続されており、目ＥＹＥから光学路ＯＰへ反射して戻り、瞳位置方向ビーム偏向機１３０と相互作用した後に、反射光ビームＲＢを回収するように構成することができる。図に示すように、本例では、注視方向センサ１８５がビームコンバイナＢＣ３（例えば、ダイクロイックミラーが実装されている）によって光学路ＯＰに光学的に接続されており、このコンバイナは、反射光ビームＲＢの目ＥＹＥからの伝達方向に対して瞳位置ビーム偏向機１３０から下流側の光学路ＯＰに沿ってステージＳＴＧ２に配置されている。したがって、瞳位置センサ１７５における反射光ビームＲＢの投影ＰＬ２が瞳位置センサ１７５に対して（あるいは、その上の所定の基準位置ＲＬ２に対して）中心にある場合、光学路ＯＰが目ＥＹＥに向けた正しい横アラインメントで到達する（したがって、追跡光ビームＴＢ及び／又は画像投影光ビームＬＢが目の位置に向けられている）ことを表す。反射光ビームＲＢの投影位置ＰＬ２が、中央／基準位置ＲＬ２からずれている場合、光学路ＯＰは、目／瞳ＥＹＥの位置と合致しておらず、横方向にシフトして目に合わせる必要があることを表す。

いくつかの実施例では、目モニタリングモジュール１６０及び／又は目追跡コントローラ１６４は、瞳位置センサ１７５と瞳位置ビーム偏向機１４０に接続可能な第２のサブコントローラ１７０（明確化のために、以下では瞳位置コントローラ１７０という）を具える。瞳位置コントローラ１７０は、瞳位置センサ１７５の複数の光検出器から読出し情報／データを取得／受信するように構成されている。目追跡コントローラ１６４及び／又は第２のサブコントローラ１７０は、デジタルプロセッサ及び／又はアナログ処理回路を具えていてもよく、読出し情報ＲＤ２を処理して光ビームＬＢ及び／又はＴＢが目ＥＹＥに向けて方向付けられる光学伝達路ＯＰと、目／瞳ＥＹＥの中心との間の横偏差（例えば、垂直及び／又は水平距離）を測定するように構成され、動作可能（例えば、適切なソフトウエアコア及び／又はハードウエア構造を介して）である。

例えば、瞳位置コントローラ１７０は、瞳位置センサ１７５の個別の検出器／画素によって蓄積された値を表す読出し情報（データ／信号）ＲＤ２受信するように構成されており、このデータを処理して、瞳位置センサ１８５の上の入射反射光ビームＲＢの投影位置ＰＬ２の中心を表すセンサ１７５上の公称投影位置／画素ＰＬ２を決定する。次いで、注視方向コントローラ１８０は、センサ１８５上の投影位置／画素ＰＬ１と基準位置ＲＬ１との間の距離間隔を表す第２のベクトルデータを測定する。これは、光学路ＯＰの目ＥＹＥとの完全な横アラインメントを表す。

いくつかの実施例では、瞳位置コントローラ１７０は、瞳位置ビーム偏向機１４０に光学的にも接続可能である。瞳位置コントローラ１８０は、第２のベクトルデータを処理して、光学路ＯＰと目／瞳ＥＹＥの中心位置との間の横偏差を補償する必要があるかどうかを決定し、必要がある場合は、この横偏差を補償するように瞳位置ビーム偏向機１７５を操作する適切な動作インストラクション／又は制御信号を生成する。

図３Ｂは、目又はその他の光学システムの位置と視線（注視ライン）をモニタする方法３００のフローチャートである。本発明のいくつかの実施例では、図３Ａに示す目追跡装置１０５及び／又は目モニタリングモジュール１６０は、以下に述べる方法３００の動作を実装するように構成されており、動作可能である。

方法３００は、選択的にステップ３１０と３２０（上述したステップ２１０と２２０と同様）を具えており、光学システム（例えば、１５０）の光学路に配置した第１及び第２のビーム偏向機（例えば、図３Ａと１Ｂに示す注視方向ビーム偏向機１３０と瞳位置ビーム偏向機１４０）を提供している。第１及び第２のビーム偏向機（例えば１３０と１４０）の偏向状態／角度は、それぞれ、出射瞳／ポートＥＰから出力される追跡光ビームＴＢのオリエンテーションと横位置の調整に関連している。

方法３００はまた、選択的にステップ３３０と３４０を具える。ステップ３３０と３４０では、第１及び第２の光センサが、瞳／ポートを通り光学路ＯＰに沿ってきた反射光ビームＲＢを検出するように配置されている。第１及び第２の光センサは、各々、複数の光検出器を具えている。第１の光センサ（例えば、図３Ａにおける注視方向センサ１８５）は、光学システムの光学路ＯＰに沿って配置され、反射光ビームＲＢが第１のビーム偏向機（例えば、１３０）と相互作用した後、出射瞳からの反射光ＲＢを検出するように構成されている。第２の光センサ（例えば、図３Ａの瞳位置センサ１８５）は、光学システムの光学路ＯＰに沿って配置され、第２のビーム偏向機（例えば、１４０）と相互作用した後、出射瞳からの反射光ＲＢを検出するように構成されている。したがって、上述した通り、第１のセンサ上の所定の基準位置ＲＬ１からの、第１の光センサ１８５の反射光ＲＢの公称投影位置ＰＬ１のデルタ／シフトは、追跡ビームＴＢのオリエンテーションに必要な補償を表している（例えば、視線ＬＯＳのオリエンテーションから追跡ビームのオリエンテーションの変位を低減するための、第１の偏向機の偏向機の偏向状態を修正するのに必要な修正あるいは少なくとも方向を表す）。同様に、第２のセンサ上の所定の基準位置ＲＬ２からの、第３の光センサ１８５上の反射光ＲＢの公称投影位置ＰＬ２のデルタ／シフトは、追跡ビームＴＢが出射瞳ＥＰを出射する横位置に必要な補償を表している（例えば、視線ＬＯＳの横位置から追跡ビームの横位置の変位を低減するための、第２の偏向機の偏向機の偏向状態を修正するのに必要な修正あるいは少なくとも方向を表す）。

選択的動作３５０は、追跡光ビームＴＢを光学システム（例えば、１５０）を通る方向に向けるステップを具える。上述したように、追跡光ビームは赤外線であってもよい。

動作３６０では、読出しデータＲＤ１が第１のセンサ１８５から取得される。読出しデータ／信号ＲＤ１は、第１のセンサ１８５上のビームＲＢの投影位置ＰＬ１を表す。動作３７０は、少なくとも第１のビーム偏向機を作動させて、目の注視方向／視線（ＬＯＳ）における変動を補償する（例えば、目の揺らぎ動作に関連しない変動を補償／低減する）動作を具える。例えば、コントローラ１６４は、本発明の所定の実施例によれば、図３Ｃに示すフローチャートで例示されている方法３０７によって少なくとも第１のビーム偏向機を作動させる、モジュール／回路（瞳位置コントローラ）１８０を具える。

図３Ｃに示すように、方法３０７は、少なくとも注視方向サーボループ動作４４０を具えており、この動作で注視方向ビーム偏向機１３０を調整し、目の注視方向の変動を補償する。サーボループ動作４４０は、二つの主な副動作を具える：
４４２−第１のセンサ（注視方向センサ）１８５の画素からの読出しデータ／信号を処理して、第１のセンサ上の戻り光ビームＲＢの相対公称投影位置ＰＬ１を推定する；及び
４４４−注視方向ビーム偏向機の偏向角度／状態を、公称投影位置ＰＬ１に応じて調整して、目から反射された反射光ビームＲＢが伝達する光学路／軸ＯＰと、目ＥＹＥの光線ＬＯＳ間の角度偏差を低減する。

動作４４２と４４４は、ループ内で高頻度（例えば、１０^−３秒より低く、１０^−４秒のオーダより高頻度で）繰り返される、あるいは、少なくとも人間の目の「感知／認知頻度」（認知時間）より高い頻度で繰り返され、ユーザが注視を変えたときに、ユーザの目に投影された画像に揺らめきにユーザが気付かない（ユーザは、転位、スメア、及び／又はクリッピングのいずれも気付かない）。この結果、動作４４２と４４４は、アナログ回路、及び／又はデジタル処理ユニットによって実装できる。例えば、注視方向センサは、４つの回路に構成した画素Ｑ１−１４を具える４分割検出器を具えていてもよい。コントローラ回路／処理ユニット１８０は、二つの微分器を具えていてもよく、第１の微分器は、画素Ｑ１＋Ｑ２からの電圧信号の和から画素Ｑ３＋Ｑ４からの信号の和の差を微分し、第２の微分器画素Ｑ２＋Ｑ３からの電圧信号の和から画素Ｑ４＋Ｑ１からの信号の和の差を微分する。第１の微分器からの出力信号／データは、戻りビームＲＢの投影位置ＰＬ１のセンサ１８５の中央位置（この例では、基準位置ＲＬ１）からの偏差を表している。第１の微分器の出力信号／データは、注視方向ビーム偏向機１３０の上下角度位置／状態を調整するサーボアクチュエータに接続され／提供され、したがって、注視方向ＬＯＳに応じて追跡ビームＴＢの上下オリエンテーションを調整する。同様に、第２の微分器の出力信号／データは、注視方向ビーム偏向機１３０の左右角度位置／状態を調整するサーボアクチュエータに接続され／提供され、したがって、注視方向ＬＯＳに応じて追跡ビームＴＢの左右オリエンテーションを調整する。この処理はデータ／信号のわずかなコンピュータ処理で、ユーザが気付かない応答時間を提供するのに十分な高速で実行できる。動きのスケールは、センサのエネルギィの総和ｑ１＋ｑ２＋ｑ３＋ｑ４によって規定され、したがって、その解像度はセンサに到達するエネルギィ量に比例する。

上述した通り、操作３７０は、目の揺らぎ運動に関連しない注視方向／視線（ＬＯＳ）変動のみが補償される低減されるように構成することができる。このため、方法３０７は、選択的操作４１０乃至４３４を具えていてもよく、これらは実際には揺らぎのフィルタレーションを実装している。操作４１０と４２０では、光センサ１８５からの読出しデータ／信号ＲＤ１を取得して処理を行い、センサ１８５上の基準位置ＲＬ１からの戻り光ビームＲＢの投影位置ＰＬ１の偏差の大きさと方向を表すベクトルデータを決定する／推定する。センサ１８５上の光検出器／画素の数と構成を提供して、このベクトルデータを推定する技術は様々な既知のものがあることは、当業者には自明である。次いで、操作４３０を実行して、戻ってきた光ビームＲＢの投影位置ＰＬ１の、基準位置ＲＬ１からの偏差が、目ＥＹＥの揺らぎ動作に関連する小さい変位であるかどうか、あるいは、注視方向における変化として処理するのに十分に大きな変位であるかどうかを決定／推定する。この変位が小さい（単なる揺らぎ動作である）場合、操作４３４を実行して、注視方向ビーム偏向機１３０のサーボループを開く（例えば、サーボループ動作４４０の実行を停止する）。この変位が、中止方向の変化と考えるのに十分に大きく、単なる揺らぎでない場合、操作４３２を実行して、注視方向のサーボループを「閉じて」、サーボループ動作４４０の実行を手配する。このようにして、１０^−３秒又は１０^−４秒あるいはそれ以下の応答時間での迅速な注視方向の補償が達成できる一方で、単なる揺らぎ動作の補償は回避できる。

いくつかの実施例では、光センサ１８５からの読出しデータ／信号は、二次速度及び／又は加速度サーボループも通過する。速度及び／又は加速度サーボループは、信号ＲＤ１を１次／２次微分して瞳の動きの速度及び／又は加速度特性を推定することによって実行できる。これらの実施例では、速度及び／又は加速度特性を用いて、速度及び／又は加速度及び／又は両方が所定のスレッシュホールドを超える（上昇する）時を認識することによって、早い段階でサッカード動作を認識／検出する。これによって、サッカード動作のより正確な推定と早期検出が可能になる。

図３Ｂに戻ると、方法３００の動作３８０では、読出しデータＲＤ２が、第２のセンサ１７５から取得される。この読出しデータ／信号ＲＤ２は、第２のセンサ１７５上の戻りビームＲＤの投影位置ＰＬ２を表している。動作２９０では、コントローラ１６４及び／又は別のオペレータが、目と光学システム１５０の間の相対位置の変動を補償するように少なくとも第２のビーム偏向機を操作する（例えば、目の視線ＥＹＥに対する追跡ビームＴＢの伝達軸の横位置間の変動／相違を補償／訂正する）。例えば、コントローラ１６４は、処理ユニット（モジュール／回路）１７０を具えていてもよく、これは、本発明の所定の実施例によれば、図３Ｄのフローチャートに記載された方法３０８にしたがって、少なくとも第２のビーム偏向機を操作する。

図３Ｃに示すように、方法３０８は、少なくとも横／瞳位置サーボループ動作４５０を具えており、これは、追跡光ビームＴＢ（あるいは、光学路ＯＰに沿って伝達し、出射瞳ＥＰを出てゆくその他の光ビーム）の横出力位置を調整して、目の注視方向における変動を補償する。横／瞳位置サーボループ動作４５０は、以下に述べる二つのサブ動作４５２と４５４を具える。
４５２−第２のセンサ（瞳位置方向センサ）１７５の画素からの読出しデータ／信号ＲＤ２を処理して、第２のセンサ１７５上の戻り光ビームＲＢの相対交渉投影位置ＰＬ２を推定する；及び
４５４−偏向角度／状態瞳位置ビーム偏向機１４０を公称投影位置ＰＬ１に応じて調整し、目から反射された反射光ビームＲＢの伝達の光学路／軸ＯＰと目ＥＹＥの視線ＬＯＳの横軸の間の横方向偏差を低減する。

動作４５２と４５４は、デジタル処理ユニット及び／又はコントローラ１６４の瞳位置コントローラ１７０を構成する、あるいはこれに含まれる適切な電気処理回路によって実装できる。動作４５２と４５４は、ループ内で実行することができ、１０^−３秒又はそれ以下のオーダ（例えば１０^−４秒のオーダ）の応答時間で、出射瞳ＥＰに対する目の位置における変化へ迅速な応答を提供することができる。

この結果、方法３００は、光学システム１５０の光学路ＯＰに対する目／瞳の角度および横の動きを追跡し補償する技術を提供する。

本発明のいくつかの実施例では、追跡光源１６２は、所定の変調パターンを有する変調ビーム（例えば、所定の繰り返し率をもつ一連のパルスなど、強度変調パターン）とし目追跡光ビームＴＢを発するように動作可能である。上述したように、追跡光源１６２は、例えば、ＩＲ光源（例えば、ＩＲレーザ／ダイオード）と、光源からの光ＴＢを変調するように構成した変調ユニット／モジュールを具える。変調ユニット／モジュールは、例えば、パルス／変調した強度で光源を走査するように構成した動作制御回路、及び／又は光源からの光ビームＴＢの光学路に配置した光モジュレータを具える。図３Ｅは、目追跡光ビームＴＢが偏向ビームである場合の、目の位置及び／又は視線をモニタする／追跡するのに使用される本発明のサーボループのフローを、自明な形で例示している。選択的に、モニタリングモジュール１６０は、追跡ビームＴＲの特定の波長／帯域のみを通過させるように調整／構成したバンドパスフィルタを具えており、この波長帯の外にあるノイズ／クラッタをフィルタリングするようにしている。選択的に、モニタリングモジュール１６０は、それぞれ注視方向コントローラ１８０及び／又は瞳位置コントローラ１７０に関連する位相ロックモジュール１８２及び／又は１７２を具える。選択的位相ロックモジュール１８２は、追跡光ビームＴＢの変調パターンを表す変調データ／信号を取得して、この変調データ／信号を用いて、追跡光ビームＴＢの変調パターンで注視方向センサからの読出し情報ＲＤ１を追跡光ビームの変調パターンで処理／位相ロックし、これによって、読出し情報ＲＤ１から、注視方向センサ１８０によって検出したノイズ／バックグラウンドクラッタに関連するデータ／信号を除去するように構成され動作可能である。特に、位相ロックモジュール１８２は、読出し情報ＲＤ１をフィルタにかけ、注視方向センサ１８５で検出した反射／戻り光ビームを源とする、追跡光ビームＴＢの変調パターンと同様の変調パターンで変調されないデータ／信号を抑制する。同様に、選択的位相ロックモジュール１７２は、追跡光ビームＴＢの変調パターンを表す変調データ／信号を取得して、この変調データ／信号を用いて、追跡光ビームＴＢの変調パターンで瞳位置センサ１７５からの読出し情報ＲＤ２を追跡光ビームの変調パターンで処理／位相ロックするように構成され、動作可能である。位相ロックモジュール１７２は、これによって読み出し情報ＲＤ２をフィルタにかけて、瞳位置センサ１７５によって検出したノイズ／バックグラウンドクラッタに関連するデータ／信号を抑制する。特に、位相ロックモジュール１７２は、この読み出し情報ＲＤ１をフィルタにかけて、追跡光ビームＴＢの変調パターンと同様の変調パターンで変調されないデータ／信号を抑制する。

これは、追跡光ビームＴＢの波長におけるバックグラウンドクラッタ放射に対してより感度が低いあるいは反応しない、ロバスト構造を作る。

このように、本発明は、画像投影ビームＬＢなどの光ビームを、目に対して正しい角度オリエンテーションで少なくとも一のユーザの目ＥＹＥに向けて、画像を目ＥＹＥの網膜上の所望の位置に投影できる目投影装置１００を提供している。所定の実施例では、目投影装置１００は、目ＥＹＥの位置及び／又は目ＥＹＥの視線ＬＯＳのオリエンテーションにおける変化をモニタし、光ビーム（例えば、ＬＢ）を偏向させて目ＥＹＥの位置とオリエンテーションを追跡し、ユーザが、ユーザの注視方向又は目ＥＹＥに対してシフトした目投影装置の位置を変えた場合でも、目の網膜上の固定箇所に画像が投影されるように構成され、動作可能である。

図４は、ユーザの目ＥＹＥ及びＥＹＥ’の両方に画像を投影する目投影システム１０１及び１０１’を具える目投影装置１００のブロック図である。目投影システム１０１及び１０１’は、例えば、図３Ａに関して上述した目投影システムと同様に構成することができる。したがって、図４Ａの目投影システム１０１における同様の要素／モジュールについては、図３Ａで用いた同じ符号を使用し、「’」を付けた同様の符号は、図４の目投影システム１０１’の要素／モジュールを引用するのに使用する。

装置１００は、レンズ１０２及び１０２’を具える仮想及び／又は拡張リアリティ眼鏡ＧＳに取り付けられている。眼鏡ＧＳのつると鼻かけも明確化のために図に示されている。目投影システム１０１及び１０１’は、それぞれ、他対応するレンズ１０２及び１０２’上の反射面からの反射を介して、ユーザの目ＥＹＥ及びＥＹＥ’に届くように方向付けら得た追跡光ビームＴＢ及びＴＢ’を投影する。目ＥＹＥ及びＥＹＥ’から反射された戻り光ビームＲＢ及びＲＢ’は、目投影システム１０１及び１０１’のセンサでそれぞれ捕捉され、処理されて目の位置と注視方向を決定し、これに応じて、目投影システム１０１及び１０１’の光学伝達路を調整する。目投影システム１０１及び１０１’は、目投影システム１０１及び１０１’の調整された光学路に沿って伝達する画像投影光ビームＬＢ及びＬＢ’をそれぞれ投影し、したがって、目ＥＹＥ及びＥＹＥ’の網膜上の固定位置に、各画像を投影するように仕向けられている。

本例では、共通の瞳位置コントローラ１７０を両方の目投影システム１０１及び１０１’に使用している。この共通の瞳位置コントローラ１７０は、第１の目投影システム１０１の第１の瞳位置センサ１７５と、第２の目投影システム１０１’の第２の瞳位置センサ１７５’に接続可能である。瞳位置コントローラ１７０は、両方の瞳位置センサ１７５及び１７５’から読出しデータＲＤ２及びＲＤ２’を受け取って処理し（例えば、方法３０８に関して上述したように）、両方の目ＥＹＥとＥＹＥ’の瞳位置におけるシフトを決定するように構成されている。次いで、瞳位置コントローラ１７０は、ユーザの両方の目の瞳位置の「共通モード」のシフトを検出し、これによって、目の動きに関するシフトと、目に対する目投影装置の動きに関するシフトを区別することができる。この区別が、例えば、投影システムの軸方向及び横方向のシフトに応じて投影した画像の位置を変更及び調整することによって、投影システムのシフトの補償を提供する。

図５Ａ及び５Ｂは、二つの例示であり、様々なアプリケーションに好適に使用できる頭部装着ディスプレイ（ＨＭＤ）に本発明をどのようにして組み込むかを自明に示すものである。

図５Ａは、一体化された目追跡装置を有するＨＤＭを装着したユーザを示す。システム全体が、ウエラブルな光学モジュールと制御ユニットを具えており、これらは、頭部装着可能なモジュールの一部であっても、光学モジュールに接続された個別モジュールであってもよい。光学モジュールは、目追跡モジュールを有しており、これが、装置自体の基準点に対して個別に各目の位置と角度を追跡している。このユーザの目の正確な測定は、上述したように、光学モジュールに関する注視方向として規定される。少なくとも、一のカメラと一の完成測定ユニットを用いて、その環境内の光学モジュールの位置を決定する。この測定値は、ユーザの頭の位置特定として規定され、通常、慣性測定ユニットなどのカメラアレイと追加のセンサで実行される。また、特性追跡又は追加の専用マーカー追跡のいずれかに依存している。この環境（ローカライゼーション）におけるデバイスの接続とユーザの注視パラメータによって、環境について目追跡評価を正確にすることができる。両目からの情報を重畳することは、ユーザがどの方向を見ているのかについての情報のみならず、どのくらいの距離で見ているかの情報も提供する。これによって、ＨＭＤシステムによる誇張されたコンテンツのより正確な実証が可能となる。

図５Ｂは、この場合は車である対象を観察しているユーザを示す。この使用しているシステムは、上述したＨＭＤシステムと同じものであるが、実際の対象と重畳したユーザの画像を投影するように構成されている。ユーザは、順次、車の前輪と後輪を見ている。目追跡システムは、ユーザの注視方向と位置を決定する。このシステムは、バーチャル視野（ＶＦＯＶ）がユーザの注視方向の中心にあるとの方法で構成されている。したがって、ユーザが注視をシフトさせると、バーチャル画像も一緒に移動する。ユーザの注視方向の中心にあるビジュアルコンテンツが、自己中心的であり、主に注視方向に対する強いコネクションで仮想オーバーレイを提供するか、空間アンカーであり、実空間環境に対して仮想レイヤーを提供するか、のいずれでもよいことは重要である。これは、位置特定機能性のみならず、ワールドマッピング（ＳＬＡＭ）も必要である。提供された画像中で、位置特定及び間ピング特性が可能であり、仮想オーバーレイ情報（「前輪」、「後輪」）は、ユーザが特定の時間見ている注視方向と対象を参照して、ユーザに提供される。

Claims (43)

1. 目への伝達路に沿って伝達する光ビームを投影するように構成された目投影システムを具える目投影装置において、前記目投影システムが：
   その中に一般光学路を規定している光学アッセンブリであって、前記一般光学路に沿って配置され、前記光学アッセンブリから目に対して光ビームの調整可能な伝達路を規定するように構成された一またはそれ以上の調整可能な光学偏向機を具える、光学アッセンブリを具え；
   前記一またはそれ以上の光学偏向機が、前記伝達路の偏向に影響する少なくとも３つの調整可能な偏向パラメータを具え、前記目に向けた前記光ビームの伝達路の調整に少なくとも３つの自由度を提供するように構成されており；
   前記少なくとも３つの自由度のうちの２つが、目の注視方向における角度偏向を補償する目の伝達路の２つの角度オリエンテーションに関連しており、前記３つの自由度のうちの少なくとも１つが、前記目に対する投影システムの相対横位置における変動を補償する伝達路の横の偏向に関連するものである；
   ことを特徴とする目投影装置。
2. 請求項１に記載の目投影装置において、前記偏向機の構成が、前記光学アッセンブリに入射して前記一般光学路を規定する光ビームと順次相互作用するように構成された、少なくとも２つの調整可能な偏向機を具えることを特徴とする目投影装置。
3. 請求項１又は２に記載の目投影装置において、前記一またはそれ以上の調整可能な光学偏向機が、少なくとも一の追加の偏向パラメータを具え、これによって、前記伝達路の少なくとも４つの自由度を提供するように少なくとも４つの偏向パラメータを規定し、前記自由度が、目の注視方向における角度変化を補償するための２つの自由度と、少なくとも２つの空間横軸に対して前記目に対する前記投影システムの相対横位置における変動を補償するための２つの自由度と、を具えることを特徴とする目投影装置。
4. 請求項１又は２に記載の目投影装置がさらに、前記目の注視方向における変化と、前記目に対する目の投影システムの相対横位置における前記変化を表すデータを受信して、前記データに応じて前記一またはそれ以上の調整可能な光学偏向機の偏向パラメータを調整して、前記目の注視方向における変動と前記目投影システムの前記位置の変動に関係なく、前記目の網膜上の特定位置に入射するように前記光ビームを方向付けるように構成したコントローラを具えることを特徴とする目投影装置。
5. 前記目の網膜に直接画像を投影するように構成した請求項１又は２に記載の目投影装置において、前記目投影システムが、目の網膜に画像を投影する画像投影モジュールを具え、当該モジュールが、前記網膜に投影すべき前記光ビームを出力する画像投影モジュールと、前記光ビームの一般光学路に沿って配置され、前記画像の一又それ以上の画素を表す画像データを受信して、前記光ビームを変調して前記画像が前記網膜上に形成されるように前記光ビーム上の画像データをエンコードするように構成された、光モジュールを具えることを特徴とする目投影装置。
6. 請求項５に記載の目投影装置において、前記画像光モジュレータが、前記画像データに応じて前記光ビームの強度と色組成の時間的変調を行うように構成され動作可能な少なくとも一の光強度モジュレータと、前記光ビームの二次元空間画像スキャンを行うように構成され動作可能な画像スキャニング偏向機とを具え、前記時間的変調が、前記光ビームの二次元空間画像スキャンと同期して行われ、前記画像データが前記画像を投影する光ビームにエンコードされることを特徴とする目投影装置。
7. 請求項６に記載の目投影装置において、前記画像スキャニング偏向機が、ラスタースキャナであることを特徴とする目投影装置。
8. 請求項５に記載の目投影装置において、前記画像光モジュレータが、前記網膜に投影される前記画像を生成する前記光ビームの強度と色素子を空間的に変調するように構成された少なくとも一の空間光モジュレータを具える領域投影モジュールを具え、前記光学アッセンブリが投影画像共役面を前記目の網膜リレーするように構成されていることを特徴とする目投影装置。
9. 請求項８に記載の目投影装置において、前記領域投影モジュールが、以下の空間光モジュレータ：ＣＲＴ、ＬＣＤ、ＬＣＯＳ、ＤＭＤ又はＯＬＥＤ、ＶＲＤ、及び共振スキャニングファイバ、のうちの一またはそれ以上を具えることを特徴とする目投影装置。
10. 請求項５に記載の目投影装置が、前記画像光モジュレータに接続可能で、前記画像を表すデータを受信して、前記画像光モジュレータを操作して、前記網膜上に前記画像を形成する前記光ビームの強度と色組成を調整するように構成された画像投影コントローラを具えることを特徴とする目投影装置。
11. 請求項１又は２に記載の目投影装置において、前記偏向機構造の少なくとも一の調整可能な偏向機が、前記光ビームの目に対する伝達路の前記横偏向に影響する瞳位置ビーム偏向機として構成され、動作可能であることを特徴とする目投影装置。
12. 請求項１１に記載の目投影装置において、前記瞳位置ビーム偏向機が、前記伝達路に直交する１本の横軸に沿って前記横偏向に影響するように構成され動作可能であることを特徴とする目投影装置。
13. 請求項１１に記載の目投影装置において、前記瞳位置ビーム偏向機が、前記伝達路に直交する二本の横軸に沿って前記横偏向に影響するように構成され動作可能であることを特徴とする目投影装置。
14. 請求項１１に記載の目投影装置において、前記伝達路の前記横偏向が、前記瞳位置ビーム偏向機の偏向角度を変えることによって達成されることを特徴とする目投影装置。
15. 請求項１４に記載の目投影装置において、前記光学アッセンブリが、光学リレーを具え、前記瞳位置ビーム偏向機が当該光学リレー内に配置されており、前記瞳位置ビーム偏向機の偏向角度の調整が、前記光学リレー内の一般光学路のオリエンテーションに影響して、前記目に対する前記光ビームの伝達路の横位置を変えることを特徴とする目投影装置。
16. 請求項１５に記載の目投影装置において、前記瞳位置ビーム偏向機が、前記瞳位置ビームの偏向角度の調整が、前記目に対する前記伝達路の角度オリエンテーションに影響することなく、前記目に対する前記光ビームの伝達路の横位置を変えるように、配置されていることを特徴とする目投影装置。
17. 請求項１１に記載の目投影装置において、前記横偏向が、前記光学アッセンブリの光学路に沿って前記瞳位置ビーム偏向機の位置を移動させることによって行われ、これによって、前記光ビームが偏向される光ビームとの交差位置が変わり、前記目に対する伝達路の角度オリエンテーションに影響することなく前記目に対する伝達路の横位置を調整することを特徴とする目投影装置。
18. 請求項１７に記載の目投影装置において、前記光学アッセンブリが、光学リレーを具え、前記瞳位置ビーム偏向機が前記光学リレーの外の前記光ビームの前記光学路に沿って配置されていることを特徴とする目投影装置。
19. 請求項１８に記載の目投影装置において、前記瞳位置ビーム偏向機が、前記光学アッセンブリを通る前記光ビームの伝達方向に対して前記光学リレーの上流側に配置されており、前記偏向機構造の偏向面の横寸法が、実質的に７ミリメートルを超えないことを特徴とする目投影装置。
20. 請求項１７に記載の目投影装置において、前記瞳位置ビーム偏向機が前記調整可能な光学偏向機の二つを具え、これらが：
    − 前記二つの調整可能な光学偏向機の両方が、第１の横軸に沿ってともに移動可能であり、前記第１の横軸に対して前記目の伝達方向の相対横偏向に影響する；
    − 前記二つの調整可能な光学偏向機の一つが、第２の横軸に沿って独立して移動可能であり、前記第２の横軸に対して前記目への伝達路の相対横偏向に影響する；
    ように構成されていることを特徴とする目投影装置。
21. 請求項１又は２に記載の目投影装置において、前記偏向機構造の少なくとも一の調整可能な光学偏向機が、前記目に対する前記光ビームの伝達路の前記角度オリエンテーションに調整可能に影響する注視方向ビーム偏向機として構成され動作可能であることを特徴とする目投影装置。
22. 請求項２１に記載の目投影装置において、前記注視方向ビーム偏向機が、瞳位置ビーム偏向機として構成され動作可能であり、前記移動が前記目に対する前記光ビームの伝達路の前記横偏向に影響するように前記光学アッセンブリの光学路に沿って移動するように構成されていることを特徴とする目投影装置。
23. 請求項２１に記載の目投影装置において、前記目に対する前記伝達路の角度オリエンテーションの偏向が、前記注視方向ビーム偏向機の偏向角度を変えることによって行われることを特徴とする目投影装置。
24. 請求項２３に記載の目投影装置において、前記光学アッセンブリが、光学リレーを具え、前記注視方向ビーム偏向機が、前記光学リレーの外の前記光学アッセンブリの光学路に沿って配置されており、前記注視方向ビーム偏向機の偏向角度の変化が前記目に対する伝達路の前記横偏向に影響しないことを特徴とする目投影装置。
25. 請求項１又は２に記載の目投影装置が、各々が光学パワーを有する少なくとも二つの光学素子を具え、その間の光学的距離がその焦点距離の和に合致するように、前記光学アッセンブリの光学路に沿って配置された光学リレーを具えることを特徴とする目投影装置。
26. 請求項１又は２に記載の目投影装置が、前記目に対する前記伝達路の調整に使用する、目の注視方向と横位置を表す目位置データを測定するように構成され動作可能であることを特徴とする目投影装置。
27. 請求項２６に記載の目投影装置が、前記目の位置データを用いて、前記偏向を補償する前記伝達路の角度オリエンテーションと横位置を調整する一またはそれ以上の調整可能な光学偏向機を操作する操作インストラクションを生成するように構成された一またはそれ以上のコントローラを具えることを特徴とする目投影装置。
28. 請求項２６に記載の目投影装置において、前記目追跡モジュールが：
    前記光学アッセンブリの前記一般光学路に沿って伝達するように方向付けられた追跡光ビームを提供するように構成され動作可能であり、前記目への前記追跡光ビームの入射が、前記光学アッセンブリを通って戻るように伝達する目の網膜からの前記追跡光ビームの反射に関連する反射光ビームを生じさせる追跡光ポートと；
    前記一般光学路に沿った二またはそれ以上の位置で前記一般光学路に光学的に接続され、前記二またはそれ以上の異なる位置において前記反射光ビームを受光して前記反射光ビームの伝達の一又それ以上の特性を測定するように構成された一またはそれ以上のセンサと；
    前記一またはそれ以上のセンサと一またはそれ以上の調整可能な光学偏向機に接続可能であり、前記一またはそれ以上のセンサから、前記反射光ビームの前記二またはそれ以上の異なる位置における少なくとも一の伝達特性を表す前記データを受信するように構成され、前記読出しデータを処理して前記目位置データを決定する、目追跡コントローラと；
    を具えることを特徴とする目投影装置。
29. 請求項２８に記載の目投影装置において、前記目位置データが、目の前記注視方向と、目に対する前記光ビームの伝達路のオリエンテーションとの偏差と、前記目の瞳の横位置と前記伝達路との偏差を表すことを特徴とする目投影装置。
30. 請求項２９に記載の目投影装置において、前記一またはそれ以上の調整可能な光学偏向機が、前記光学路に沿って連続して配置された少なくとも二つの調整可能な光学偏向機を具え、これによって、前記二つの光学偏向機によって前記光学路の偏向に関連する前記光学路の二つの偏向ステージをそれぞれ規定しており；
    前記一またはそれ以上のセンサが前記一般光学路に光学的に接続されている一またはそれ以上のセンサが、前記二またはそれ以上の偏向ステージに配置されており；
    前記コントローラが、前記各調整可能な光学偏向機に関連する光学路の偏向ステージから測定した対応する伝達特性に基づいて、前記二つの調整可能な光学偏向機の各調整可能な光学偏向機も動作インストラクションを生成するように構成され、動作可能であることを特徴とする目投影装置。
31. 請求項３０に記載の目投影装置において、前記反射光ビームの伝達特性が、所定の公称位置からの前記反射光ビームの伝達の横軸外偏差であることを特徴とする目投影装置。
32. 請求項３０に記載の目投影装置において、前記一またはそれ以上のセンサの各々が複数の感光素子を具えており；前記コントローラが前記センサからの読出しデータを処理して当該センサ上の反射光ビームの入射位置を測定し、当該入射位置と前記センサ上の所定の公称位置との偏差を決定し、これによって、前記反射光ビームの伝達特性を決定することを特徴とする目投影装置。
33. 請求項３０に記載の目投影装置において、前記コントローラが一またはそれ以上のサーボループを具え、各サーボループが、前記二つの調整可能な光学偏向機うちの各調整可能な光学偏向機を、前記一またはそれ以上のセンサのうちの対向するセンサに接続し、前記対応するセンサから取得した読出しデータに基づいて前記各調整可能な光学偏向機を作動させる動作インストラクションを生成するように構成され、動作可能であることを特徴とする目投影装置。
34. 請求項２８に記載の目投影装置において、前記一またはそれ以上のセンサが複数の光センサを具える注視方向センサを具え、前記注視方向センサが、前記反射光ビームが、前記伝達路の角度オリエンテーションの調整に関連する前記調整可能な光学偏向機の一つである注視方向ビーム偏向機と相互作用した後に配置された偏向ステージにおいて前記一般光学路からの前記反射光ビームを回収するように構成されており、当該注視方向ビームセンサからの読出し情報が、目の注視方向と目に向けた前記伝達路の間の角度オリエンテーションを表しており；
    前記目追跡コントローラが、前記注視方向センサと前記注視方向ビーム偏向機に接続可能であり、前記注視方向コントローラが前記注視方向センサからの読出し情報を処理して、前記注視方向ビーム偏向機を前記目の注視方向と前記目への光ビームの伝達路との間の角度オリエンテーションを少なくとも部分的に補償するように動作させる、注視方向コントローラを具えることを特徴とする目投影装置。
35. 請求項３４に記載の目投影装置において、前記注視方向センサが、２×２の構成にした４つの光検出器を具えるクアドセンサ；位置検出装置（ＰＳＤ）及び／又は時間遅れ集積電荷結合素子（ＴＤＩ−ＣＣＤ）及び／又は対象領域（ＲＯＩ）選択能力を有する相補型金属−酸化物−半導体（ＣＯＭＳ）；のうちの少なくとも一つであり、前記注視方向コントローラは、前記クアドセンサに接続可能であるとともに、前記反射光の前記センサの中心からの偏差を所定のスレッシュホールドを下回るレベルに最小化するように、前記注視方向ビーム偏向機を操作するように構成され、動作可能である、ことを特徴とする目投影装置。
36. 請求項３４に記載の目投影装置において、前記注視方向コントローラが、前記読出しデータを処理し、目の揺らぎ動作に関連する前記注視方向の角度偏差を除去するように構成された揺らぎフィルタレーションモジュールを具えることを特徴とする目投影装置。
37. 請求項３６に記載の目投影装置において、前記揺らぎフィルタレーションモジュ−ルが、揺らぎ偏差スレッシュホールドに関連しており、前記読出しデータを処理して前記注視方向の角度偏差を連続的にモニタし、前記揺らぎ偏差スレッシュホールドより小さい角度偏差に対して開サーボループで動作して、揺らぎ動作に関連する偏差は補償せず、前記揺らぎ偏差スレッシュホールドより大きい角度偏差に対しては閉サーボループで動作して、目の揺らぎ動作に関連する偏差を補償するように構成され、動作可能であることを特徴とする目投影装置。
38. 請求項２８に記載の目投影装置において、前記追跡光ポートが、変調光ビームとしての前記追跡光ビームを出力するように動作可能であり、前記目追跡コントローラが、一またはそれ以上のセンサからの読出し情報を、前記追跡光ビームの変調を用いて位相ロックするように構成されており、これによって、前記センサで検知したＩＲ光クラッタに関連するノイズを抑制する、位相ロックモジュール； 及び、前記追跡光ビームの特定の波長を調整するバンドパスフィルタ；のうちの少なくとも一つを具えることを特徴とする目投影装置。
39. 請求項２８に記載の目投影装置において、前記一またはそれ以上のセンサが、複数の光検出器を具える瞳位置センサを具え；当該瞳位置センサは、前記反射光ビームが、前記伝達路の横位置の調整に関連する前記調整可能な光学偏向機の一つである瞳位置ビーム偏向機と相互作用した後に配置された偏向ステージで前記反射光ビームを回収するように構成されており、前記瞳位置センサからの読出し情報が、前記目の瞳の位置と前記目に向けた光ビームの伝達路との間の横方向偏差を表しており；前記目追跡コントローラが、前記瞳位置センサと前記瞳位置ビーム偏向機とに接続可能な瞳位置コントローラを具え；当該瞳位置コントローラが、前記瞳位置センサからの読出し情報を処理して、前記瞳位置ビーム偏向機を、前記目の瞳位置と前記伝達路との間の横偏差を少なくとも部分的に補償するように動作させるように構成されている；ことを特徴とする目投影装置。
40. 請求項３９に記載の目投影装置が、ユーザの目の一方に画像を投影する前記目投影システムと、前記ユーザの目のもう一方に画像を投影する第２の目投影システムとを具え、前記瞳位置コントローラが、前記瞳位置センサと前記第２の目投影システムの第２の瞳位置センサとに接続可能であり、前記ユーザの両方の目の瞳の位置の「共通モード」のシフトを検出して、前記目の動きと前記目に対する前記目投影装置の動きに関するシフトとを区別するように構成されている、ことを特徴とする目投影装置。
41. 目追跡モジュールにおいて：
    追跡光ビームを提供するように構成された追跡光ポートと；
    目に向ける伝達路に沿って伝達する方向に前記追跡光ビームを向けるように構成した光学アッセンブリであって、前記目の伝達路の角度オリエンテーションと横位置を調整するように構成され動作可能な少なくとも二つの調整可能な光学偏向機を具える光学アッセンブリと；
    前記二つの調整可能な光学偏向機とそれぞれ関連させて前記光学アッセンブリの一般光学路に光学的に接続されており、前記追跡光ビームを前記目に向けたことに応じて前記目から反射されている反射光ビームをそれぞれ検出する、すくなくとも二つの光学センサと；
    前記少なくとも二つの光学センサに接続して、これらのセンサからの読出し情報を受信する目追跡コントローラであって、前記読出し情報を処理して前記目の瞳位置と注視方向から前記伝達路の横及び角度偏差を表すデータを決定するように構成された目追跡コントローラと；
    を具えることを特徴とする目追跡モジュール。
42. 請求項４１に記載の目追跡モジュールにおいて、前記追跡光ポートが前記追跡光ビームを変調光ビームとして出力するように動作可能であり、前記目追跡コントローラが、前記光センサの少なくとも一つからの読出し情報を前記追跡光ビームの変調によって位相ロックして、前記光センサの少なくとも一つで検出したＩＲ光クラッタに関連するノイズを抑制する、ことを特徴とする目追跡モジュール。
43. 根投影装置からの光ビームを目に向ける光学アッセンブリにおいて、当該光学アッセンブリが前記目の一般光学路に沿って配置した多少なくとも二つの調整可能な光学偏向機を具え；当該少なくとも二つの調整可能な偏向機が、前記目に向けた前記光ビームの伝達路を調整する少なくとも４つの自由度を提供するように構成されており；前記自由度のうちの二つが、前記目の注視方向の角度変化の補償に関連しており、前記自由度の二つが、前記目に対する前記目投影装置の相対位置における変動の補償を提供する；ことを特徴とする光学アッセンブリ。
    

Images