JP2017182078A - 小型視線追従型ヘッドマウントディスプレイ - Google Patents

Abstract

【課題】視線追従型ヘッドマウントディスプレイを提供する。【解決手段】一観点において、当該ディスプレイは同一の光学系を視線追跡および画像鑑賞用に使用し、当該光学系は、視線追跡光路のために使用される選択された光学系の部分と、画像鑑賞光路のために使用される選択された表示光学系の部分とを有する。【選択図】図５Ｃ

Description

関連技術の相互参照
本願は、２０１２年１月２４日出願の米国特許仮出願第６１／６３２，４４１号の優先権、および、２０１２年４月２５日出願の米国特許仮出願第６１／６８７，６０７号の優先権、および、２０１２年９月１１日出願の米国特許仮出願第６１／６９９，４９３号の優先権を主張するものであり、それらの出願の全内容は、参照により本明細書に組み込まれる。

国家ライセンシング権
本発明は、米国科学財団によって発注された契約番号第ＩＩＳ１１１５４８９号による米国政府支援の下でなされたものである。米国政府は、本発明に対するある程度の権利を有する。

本発明は、視線追従型ヘッドマウントディスプレイに関する。より具体的には（ただし排他的ではない）、同一の光学系を視線追跡および画像鑑賞用に使用する視線追従型ヘッドマウントディスプレイに関し、当該光学系は、視線追跡光路のために使用される選択された光学系の部分と、画像鑑賞光路のために使用される選択された表示光学系の部分とを有する。

ヘッドマウントディスプレイ（ＨＭＤ：頭部装着型表示装置）技術は、科学およびエンジニアリングの領域の広い範囲で応用されてきている。応用の例としては、フライトシミュレーション、科学的な可視化、医学、エンジニアリングデザイン、教育およびトレーニング、ウェアラブルコンピューティング、およびエンターテインメントシステムが挙げられる。拡張現実感の領域では、ＨＭＤは、仮想ビューを物理的場面と融合するための実現技術の１つであり、これは医師が解剖学的構造または患者のＣＴ画像の３Ｄレンダリングを、患者の解剖学的構造、例えば、腹部の上に重ねて見ることができるようにする場合がある。ウェアラブルコンピューティングの領域では、ＨＭＤは、スマートフォンおよびＰＤＡｓなどの他の一般的なモバイルプラットフォームよりずっと魅力的な画像および画面サイズを提示する、モバイルディスプレイソリューションを生成する。近い将来、かかるモバイルディスプレイは、一対のサングラスほどにエレガントに登場するかもしれず、直ちに情報を取り出し、人々と連絡を取るために、多くの人々の日々の活動の必須部分になるかもしれない。

ＨＭＤ技術と平行して、様々な視線追跡技術が開発されおり、視力研究、ヒューマンコンピューターインターフェース、テレオペレーション周囲、およびビジュアルコミュニケーションを含む、いくつかの専門分野に適用された。マルチモードのヒューマンコンピューターインターフェースに対する視線追跡の利点、およびデータ圧縮の技術的な利点は、十分に認識され研究されてきている。例えば、効果的に通信のデータ転送帯域幅を保存し、フォービエイテッド（ｆｏｖｅａｔｅｄ）レベルオブディテール管理法を使用して３Ｄシーンのレンダリング速度を改善し、広視野（ＦＯＶ）、高解像度ディスプレイおよび画像システムを達成するために、マルチレゾリューション眼球運動連動型（ｇａｚｅ−ｃｏｎｔｉｎｇｅｎｔ）ディスプレイおよび画像処理スキームが提案されている。

統合型視線追従型ＨＭＤ（ＥＴ−ＨＭＤ）システムを作り出す概念は、様々なレベルで検討されてきた。ＥＴ−ＨＭＤは、使用者の視線方向を追加的に追跡しながら、従来のＨＭＤで行うような単眼または実体視のバーチャル画像を表示することができる。完全統合型ＥＴ−ＨＭＤは、基礎科学的な研究のためだけでなく、新興的な用途のためにも、かかる技術の多面的な利点を提示する。例えば、人間の使用者が空間的な情報をどのように知覚し整理するか、かかる情報とどのように相互作用するか、３Ｄ仮想空間内でどのように移動するかについて、数多くの研究の努力が考慮されてきた。ＨＭＤでの視線追跡能力は、科学者が使用者の３Ｄ環境との相互作用を定量的に評価し、トレーニング、教育、および拡張認知の課題を含む、様々な具体的な課題に対する様々な３Ｄ可視化技術の有効性を調査するために、大変価値のあるツールと客観的な測定基準を追加する。技術的な見地から、視線追跡の能力が、ＨＭＤシステムと統合されると、実体視ディスプレイで寸法および距離知覚の精度を改善するために利用することができる。視線追跡能力は、フォビア（ｆｏｖｅａ）認知ディスプレイスキームを通して、視野−解像度のトレードオフに対する解決法を作り出す助けとなる場合があり、かつ可変焦点面ディスプレイ法を使用することによって、瞳孔近見否認に対する解決法を作り出す助けとなる場合がある。応用の見地から、ＥＴ−ＨＭＤは、相互作用および通信の方法として手や足の代わりに、視線を使用することができる、固有受容性（ｐｒｏｐｒｉｏｃｅｐｔｉｖｅ）障害の人のための新規の対話式のインターフェースに対する独特の機会を提示する。

単独のＨＭＤおよび単独の視線追跡技術の著しい進歩および商業的な可用性にもかかわらず、これら２つの単独技術を統合することは、小型で、可搬式で、正確で、かつ頑強なシステムを作り出す上で、著しい困難を強いる。ＥＴ−ＨＭＤ技術を開発し、体系的な取り組みによってこれらの２つの技術を最適化するために、いくつかの先駆的な努力がなされたが、いかなる既存の技術的な解決法も、真の可搬式、軽量、かつ頑強なシステムであって、メガネスタイルの形状因子に適合するディスプレー、を提示することができなかった。多くの過酷な用途に対しては、軽量であることおよび小型であることは重要である。例えば、筋萎縮性側索硬化症（ＡＬＳ）患者のコミュニケーションを支持するためには、患者が、その著しく弱った筋力とごく限られた移動度で重量に耐えることができるように、統合型システムは、軽量でなけれならない。

過去数十年にわたり、システム性能を改善するために多くの異なる光学的な設計のアプローチがＨＭＤ設計に取られた。これらの方法は、反射屈折技法の適用、非球面状の表面などの新しい要素の導入、ホログラフィーおよび回折する光学的な構成要素の使用、投影光学を使用して従来のＨＭＤ設計のアイピースまたは顕微鏡形レンズ系を置き換えることなどの新しい設計原理の検討、ならびに勾配、ならびに偏心、またはさらにはフリーフォーム表面の導入を含む。これらの光学的な設計方法のうちのいくつかは、視界が幅広く、小型で、軽量なＨＭＤ作り出す能力があり、非侵入型で、眼鏡型の眼に近いディスプレイであると考えることができる。視線追跡能力をこれらの技術に統合するのは、大変困難であり、著しい重量、体積、および複雑さを加える。

視線追跡能力をＨＭＤに追加することは、ＣＡＥ Ｃｏｒｐｏｒａｔｉｏｎの高級解像度インセットディスプレイと同じくらい以前に開始された。この先駆的な仕事は、移動式の小型ＥＴ−ＨＭＤシステムを意図してはいなかった。また、他社は、高解像度インセットを移動するために、ベンチプロトタイプの実体視ディスプレイで、機械的な駆動装置を使用した。ＩＳＣＡＮ Ｃｏｒｐｏｒａｔｉｏｎは、ソフトウェアベースのフォビア認知ディスプレイスキームを研究するために、ＩＳＣＡＮアイトラッカーを、Ｖｉｒｔｕａｌ Ｒｅｓｅａｒｃｈ ＣｏｒｐｏｒａｔｉｏｎからのＶ８−ＨＭＤの中に統合する仕事をした。市販されているＨＭＤおよびアイトラッカーを統合するこの方法は、機能性統合アプローチと称され、ここでは２つの別個の器具は、利用の後の方の段階で一緒にされる。機能性統合アプローチは、開発コストが少なくてすむ単純な解決法であるという利点を有するが、一般に低レベルの最適化の利点を取ることができず、かつ小型であること、精度、および堅牢性という属性に欠ける。

機能性統合アプローチとは対照的に、システムが、基本的な設計観点から１つの単一の器具として考えられ、最適化される、システム的なアプローチでは、完全に統合型のＥＴ−ＨＭＤ器具を作り出す上で多くの利点を有する。システム的なアプローチの著しい利益としては、ディスプレイおよびアイトラッカーユニットの両方に対する設計上の制約および必要条件を検討し、新しい解決法を考え、そして小型で堅牢なシステムのための設計を最適化する能力が挙げられる。低いレベルの最適化を用いた完全な統合の可能性を検討するための先駆的な努力がなされてきた。これらの初期の努力に続いて、Ｈｕａ ａｎｄ Ｒｏｌｌａｎｄは、完全統合型設計アプローチを協力し合って追求し、ＥＴ−ＨＭＤシステム用の堅牢な視線追跡方法およびアルゴリズムを開発し、頭部装着型の投映ディスプレイの概念に基づいて、光学的に透視性のＥＴ−ＨＭＤ光学的システムを設計した。図１は、ＥＴ−ＨＭＤ光学的システムの一次レイアウトを示し、ここでは概念およびスケールを強調するために光学的システムが理想的なレンズモジュールで単純化されている。（Ｃｕｒａｔｕ，Ｃ．，Ｈｏｎｇ Ｈｕａ，ａｎｄ Ｊ．Ｐ．Ｒｏｌｌａｎｄ，"Ｐｒｏｊｅｃｔｉｏｎ−ｂａｓｅｄ ｈｅａｄ−ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ ｗｉｔｈ ｅｙｅ−ｔｒａｃｋｉｎｇ ｃａｐａｂｉｌｉｔｉｅｓ，"Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＳＰＩＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｏｃｉｅｔｙ ｆｏｒ Ｏｐｔｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｖｏｌ．５８７５，Ｓａｎ Ｄｉｅｇｏ，ＵＳＡ，Ａｕｇｕｓｔ ２００５。Ｃｕｒａｔｕ，Ｃ．，Ｊ．Ｐ．Ｒｏｌｌａｎｄ，ａｎｄ Ｈｏｎｇ Ｈｕａ，"Ｄｕａｌ ｐｕｒｐｏｓｅ ｌｅｎｓ ｆｏｒ ａｎ ｅｙｅ−ｔｒａｃｋｅｄ ｐｒｏｊｅｃｔｉｏｎ ｈｅａｄ−ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ，"Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｐｔｉｃａｌ Ｄｅｓｉｇｎ Ｃｏｎｆｅｒｅｎｃｅ，Ｖａｎｃｏｕｖｅｒ，Ｃａｎａｄａ，Ｊｕｎｅ ２００６。）。この設計では、完全な統合アプローチを行い、ディスプレイサブシステムと視線追跡サブシステムとに対するほとんどの光路を組み合わせた。ディスプレイ機能と目視画像化機能との両方に対する同一の投影光学系が共有された。しかしながら、この設計の主たる限界は、他のものよりも著しく改善されたが、以前としてかさばりかつ重い、統合型ＥＴ−ＨＭＤシステムの全体的な体積だった。

真の可搬式、軽量、小型ＥＴ−ＨＭＤの解決法を作り出すという、重要な課題は、２つの根本的な問題、すなわち（１）技術開発者と応用開発者の両方の永続的な夢である、一対のサングラスと同じぐらい抗しがたい優雅な形状因子を用いた、ＨＭＤシステムの設計を可能にする光学的な方法と、（２）システムへ著しい重量および体積を追加することなく視線追跡能力の統合を可能にする光学的な方法と、への対処にある。

ビデオベースの特徴追跡方法を使用するＥＴ−ＨＭＤシステムは、典型的には少なくとも３つの固有の光路、すなわち照射光路、眼画像化光路、および仮想表示光路を必要とする。照射光路を通して、典型的には近赤外発光ダイオード（ＮＩＲ ＬＥＤ）によって、追跡するために、暗い瞳孔もしくは明るい瞳孔および／またはプルキンエの特徴などの画像化特徴を作り出すために、目が照射される。特徴検出および追跡のために、画像化光路を通して、追跡特徴を有する眼画像が取得される。表示光路を通して、ミニチュア表示デバイス上に表示される虚像が、情報視覚のためにアイピース光学系を通して作り出される。本発明の新機軸のうちの１つは、アイピース、投影レンズ、または他の光学系構造であってもよい同一の中核光学系を通して、これらの３つの光路を一意的に組み合わせることができる光学的なスキームである。

例えば、態様のうちの１つでは、本発明は、視線追跡用の眼画像化光学系を情報視覚用の表示光学系と一意的に組み合わせることができる、新機軸の光学的なスキームとともに、フリーフォームの光技術を使用してもよい。（したがって、本発明の記述と関連して本明細書で使用する場合、「表示光学系」、および「画像化光学系」という用語は、同一の物理光学を指す場合があり、物理光学は、「中核光学系」とも呼ばれる場合がある。）所望により、眼照射光学系も、組み合わせられてもよい。このように、その有益な点のうちの１つでは、本発明は、ＨＭＤ用および視線追跡光路用の光学的システムが、別々に取り扱われており、回転対称の光学的表面が主として使用される、従来のアプローチによって課された制限を避ける。しかしながら、本発明で開示される、より制限的である可能性がある、ＨＭＤと統合している視線追跡の光学的なスキームは、フリーフォーム光学系に限定されない。本発明によるＥＴ−ＨＭＤシステム用の中核光学系を、従来のＨＭＤ光学系に適用することができる。

例示的な構成では、本発明は、使用者が鑑賞する画像を生成するマイクロディスプレイを有する視線追従型ヘッドマウントディスプレイを提供する。前記マイクロディスプレイは、表示光路と、当該表示光路に関連付けられた射出瞳とを有する。第１の平面はマイクロディスプレイに位置付けられ、第２の平面は射出瞳に位置付けられる。画像センサーは、使用者の眼から反射した、反射光学的放射を第２の平面から受容するように構成され、当該画像センサーに関連付けられたセンサー光路を有する。加えて、視線追従型ヘッドマウントディスプレイは、前記表示光路に沿ってマイクロディスプレイと光学的に連通し、前記センサー光路に沿って前記画像センサーと光学的に連通して配置される表示光学系を含む。前記表示光学系は、マイクロディスプレイに最も近い選択された表面と、前記画像センサーとを含んでもよく、前記表示光路および前記画像センサー光路が前記選択された表面の異なる部分にそれぞれ衝突（ｉｍｐｉｎｇｅ）するように前記マイクロディスプレイおよび前記画像センサーに対して位置付けられる。前記表示光路と前記画像センサー光路とは、選択された表面でにおいて部分的に重なってもよい。前記マイクロディスプレイおよび前記画像センサーにそれぞれの光軸を有し、当該それぞれの光軸は同軸であってもよく、傾斜していてもよい、前記表示光学系と前記画像センサーとのそれぞれにおいて、それぞれの光軸を備えてもよい。加えて、視線追従型ヘッドマウントディスプレイは、第１の平面において停止部を含む場合があり、この停止部は、前記センサー光路に沿った位置において、停止部に内設される少なくとも１つの開口を有する。同様に、視線追従型ヘッドマウントディスプレイは、停止部を含み、当該停止部は、前記センサーと前記選択された表面との間の前記にセンサー光路に沿った位置において、当該停止部に内設される少なくとも１つの開口を有する。いずれの構成においても、前記停止部または前記開口は、開口のようなピンホールを含む。１つの例示的な構成では、前記表示光学系は、フリーフォーム光学素子、回転対称の光学素子、および／またはフリーフォーム光学プリズムを含んでもよい。前記表示光学系は球面の表面を含んでもよい。

さらに、視線追従型ヘッドマウントディスプレイは、光学的放射を生成して前記第２の平面を照射することにより前記使用者の眼を照射する照射源を含む。前記表示光学系は、前記照射源からの光学的放射をコリメートするように構成される。前記照射源は、前記第１の平面内に、または表示光学系の光軸から外れている位置など異なる位置に位置付けられる。

図１は、従来の回転対称の光技術に基づく視線追従ヘッドマウントディスプレイ（ＥＴ−ＨＭＤ）システムを概略的に図示する。 図２Ａ、図２Ｂは、概略的に２つの異なるＩＲ照射戦略からの画像を図示し、図２Ａは、明るい眼の瞳孔の眼画像および軸上照射戦略からの結果として得られる４つの輝きを示し、ここで４つの近赤外線ＬＥＤは、眼画像化光学系の光軸とほぼ同軸に配設され、図２Ｂは、暗い眼の瞳孔の眼画像および軸外照射戦略からの結果として得られる４つの輝きを示し、４つの近赤外線ＬＥＤは、眼画像化光学系の光軸から離れる方向に置かれる。 図２Ａ、図２Ｂは、概略的に２つの異なる赤外線照射戦略からの画像を図示し、図２Ａは、明るい眼の瞳孔の眼画像および軸上照射戦略からの結果として得られる４つの輝きを示し、ここで４つの近赤外線ＬＥＤは、眼画像化光学系の光軸とほぼ同軸に配設され、図２Ｂは、暗い眼の瞳孔の眼画像および軸外照射戦略からの結果として得られる４つの輝きを示し、４つの近赤外線ＬＥＤは、眼画像化光学系の光軸から離れる方向に置かれる。 図３Ａは、本発明による、単眼の光学的なモジュールとして示される、例示的な光学的システムを概略的に図示する。 図３Ｂは、本発明による、マイクロディスプレイパネルの周囲に配置される照射ユニットおよび眼画像化ユニットの例示的なシステムを概略的に図示する。 図４は、単眼の光学的モジュールとして示される本発明によるフリーフォームプリズム技術に基づく例示的なシステムのブロック図を概略的に図示する。 図５Ａ〜図５Ｄは、本発明による光学的に透視性のＨＭＤの例示的な設計を概略的に図示し、図５Ａでは、眼照射光路と、画像化光路と、を示し、図５Ｂは、仮想表示光路を示し、図５Ｃは、眼照射光路と、眼画像化光路と、仮想表示光路と、によって共有されるフリーフォームプリズムを示し、図５Ｄは、透視能力を可能にするフリーフォームプリズムに取り付けられたフリーフォーム補助レンズを示す。 図５Ａ〜図５Ｄは、本発明による光学的に透視性のＨＭＤの例示的な設計を概略的に図示し、図５Ａでは、眼照射光路と、画像化光路と、を示し、図５Ｂは、仮想表示光路を示し、図５Ｃは、眼照射光路と、眼画像化光路と、仮想表示光路と、によって共有されるフリーフォームプリズムを示し、図５Ｄは、透視能力を可能にするフリーフォームプリズムに取り付けられたフリーフォーム補助レンズを示す。 図５Ａ〜図５Ｄは、本発明による光学的に透視性のＨＭＤの例示的な設計を概略的に図示し、図５Ａでは、眼照射光路と、画像化光路と、を示し、図５Ｂは、仮想表示光路を示し、図５Ｃは、眼照射光路と、眼画像化光路と、仮想表示光路と、によって共有されるフリーフォームプリズムを示し、図５Ｄは、透視能力を可能にするフリーフォームプリズムに取り付けられたフリーフォーム補助レンズを示す。 図５Ａ〜図５Ｄは、本発明による光学的に透視性のＨＭＤの例示的な設計を概略的に図示し、図５Ａでは、眼照射光路と、画像化光路と、を示し、図５Ｂは、仮想表示光路を示し、図５Ｃは、眼照射光路と、眼画像化光路と、仮想表示光路と、によって共有されるフリーフォームプリズムを示し、図５Ｄは、透視能力を可能にするフリーフォームプリズムに取り付けられたフリーフォーム補助レンズを示す。 図６は、図５Ｄの２反射のフリーフォームプリズム構造を使用した、本発明による例示的な最適化されたＥＴ−ＨＭＤシステムの光学的なレイアウトおよびレイトレーシングを概略的に図示する。 図７は、本発明による例示的なＥＴ−ＨＭＤ光学的システムの３Ｄモデルを概略的に図示する。 図８は、本発明による図６および図７の光学的な設計に基づく例示的な両眼のＥＴ−ＨＭＤプロトタイプのモデルを概略的に図示する。 図９Ａ〜図９Ｄは、図６の設計のＨＭＤ仮想表示光路内の視野にわたる２０個のサンプリングされた視野の４ｍｍの中心瞳孔の多色性変調伝達関数（ＭＴＦ）を図示する。 図９Ａ〜図９Ｄは、図６の設計のＨＭＤ仮想表示光路内の視野にわたる２０個のサンプリングされた視野の４ｍｍの中心瞳孔の多色性変調伝達関数（ＭＴＦ）を図示する。 図９Ａ〜図９Ｄは、図６の設計のＨＭＤ仮想表示光路内の視野にわたる２０個のサンプリングされた視野の４ｍｍの中心瞳孔の多色性変調伝達関数（ＭＴＦ）を図示する。 図９Ａ〜図９Ｄは、図６の設計のＨＭＤ仮想表示光路内の視野にわたる２０個のサンプリングされた視野の４ｍｍの中心瞳孔の多色性変調伝達関数（ＭＴＦ）を図示する。 図１０は、図６の設計のＨＭＤ仮想表示光路内の視野にわたる歪曲グリッドを図示する。 図１１は、図６の設計の眼画像化光路内の視野にわたるサンプリングされた視野の変調伝達関数を図示する。 図１２は、図６の設計の眼画像化光路内の視野にわたる歪曲グリッドを図示する。 図１３Ａ〜図１３Ｄは、図６の設計のＨＭＤ透視光路内の４ｍｍの中心瞳孔の３０×２２度の中央視野にわたる２０個のサンプリングされた視野の多色性変調伝達関数（ＭＴＦ）を図示する。 図１３Ａ〜図１３Ｄは、図６の設計のＨＭＤ透視光路内の４ｍｍの中心瞳孔の３０×２２度の中央視野にわたる２０個のサンプリングされた視野の多色性変調伝達関数（ＭＴＦ）を図示する。 図１３Ａ〜図１３Ｄは、図６の設計のＨＭＤ透視光路内の４ｍｍの中心瞳孔の３０×２２度の中央視野にわたる２０個のサンプリングされた視野の多色性変調伝達関数（ＭＴＦ）を図示する。 図１３Ａ〜図１３Ｄは、図６の設計のＨＭＤ透視光路内の４ｍｍの中心瞳孔の３０×２２度の中央視野にわたる２０個のサンプリングされた視野の多色性変調伝達関数（ＭＴＦ）を図示する。 図１４は、図６の設計のＨＭＤ透視光路の視野にわたる歪曲グリッドを図示する。 図１５Ａ、図１５Ｂは、本発明による図３に示す光学的なスキームの例示的な設計を図示する。 図１５Ａ、図１５Ｂは、本発明による図３に示す光学的なスキームの例示的な設計を図示する。 図１６は、本発明による、図３に示す回転対称の光学系に基づく光学的なスキームの例示的な実施を概略的に図示する。

ここで、全体を通して同様な要素に同様な番号が付けられている図面を参照すると、図３Ａは、本発明による小型ＥＴ−ＨＭＤシステムを達成するための例示的なシステムレイアウト３００を概略的に図示する。この例示的なレイアウト３００では、同一の中核光学系３１０は、眼画像化、表示鑑賞（ｄｉｓｐｌａｙ ｖｉｅｗｉｎｇ）、および／または眼照射の機能を果たすことができる。この単純化は、一意的な共役平面上で、眼照射光路３０５、眼画像化光路３０７、および表示光路３０９の洞察力のある観測から生じる。加えて、中核光学系３１０の有効口径に沿った異なる部分は、眼照射光路３０５、眼画像化光路３０７、および表示光路３０９のために使用されてもよい。例えば、マイクロディスプレイに最も近く位置付けられる中核光学系３１０の選択された表面において、選択された表面のそれぞれの部分が異なると、眼照射光路３０５、眼画像化光路３０７、および表示光路３０９のうちの２つ以上（例えば、眼画像化光路３０７および表示光路３０９）が衝突する可能性があるが、部分的な重なりは許容される。

表示光路３０９では、この状況では表示光学系として機能する中核光学系３１０は、眼１０によって見られるマイクロディスプレイ３２０の拡大された虚像を形成する。マイクロディスプレイユニット３２０は、画像源として機能することができる任意のタイプの自発光式、または照射される画素アレイ（シリコン上の液晶（ＬＣｏＳ）表示デバイス、液晶ディスプレイ（ＬＣＤ）パネル、有機発光型ディスプレイ（ＯＬＥＤ）、シリコン上の強誘電性液晶（ＦＬＣｏＳ）デバイス、デジタルミラーデバイス（ＤＭＤ）、または前述したものまたは他のタイプのマイクロディスプレイデバイスの上に構築されたマイクロプロジェクターが挙げられるが、これに限定されない）とすることができ、所望により、または必要に応じて、マイクロディスプレイ３２０と中核光学系３１０との間に追加的な所望の光学系が提供されてもよい。眼１０から無限または有限の距離にあるように現れる拡大された虚像は、マイクロディスプレイ３２０の共役焦点面に対応する。眼の瞳孔１２は、表示光路３０９の射出瞳３１２と同じ場所に位置付けられてもよい。瞳孔１２の中心を通るディスプレイの主光線（図３Ａで実線で示される）は、マイクロディスプレイ３２０上の視野高さを画定するため、マイクロディスプレイ表面上で分離できる。眼照射光路３０５では、図３Ｂの表示／中核光学系３１０を通して眼を照射するために、１つまたは多重の近赤外線発光ダイオード（ＮＩＲ ＬＥＤ）３３０がマイクロディスプレイ３２０の周囲に載置されてもよい。表示／中核光学系３１０は、ＬＥＤ光をコリメートしてもよく、表示／中核光学系３１０を通して生成された多重の仮想ＬＥＤ源を通して、眼領域上に均等に照射される領域を作り出してもよい。かかる軸から外れた照射配設は、暗い瞳孔の効果を作りだすことができ、前角膜からの反射を通して近赤外線ＬＥＤ３３０の多重の輝き画像を形成する。

眼画像化光路３０７では、眼の瞳孔１２は、画像化の対象となる。停止部３４０が、マイクロディスプレイ３２０の周囲に置かれる場合がある。マイクロディスプレイ３２０の瞳孔と視野との関係、および上述の眼の瞳孔１２を考慮すると、表示光路の異なる対象視野の主光線は、眼画像化光路３０７の軸上の対象点の周縁光線になり、したがって眼の瞳孔１２上の同一の点を通るすべての光線は、赤外線画像化センサー３６０上の同一の点上に画像化される。しかしながら、これらの光線は、マイクロディスプレイ表面と一意的な位置で交差する。したがって、画像化光路３０７では、停止部３４０は、表示光路３０９に影響を与えないようにしかも眼画像を眼画像化光路３０７に形成するために十分な光線を集めるように、適切に設計されて、マイクロディスプレイ３２０の周囲に置かれる。図３Ｂに示す図では、停止部３４０は、ピンホールのような小さい開口３５０の形態で提供されてもよく、マイクロディスプレイ３２０を包囲する選択された領域であってもよい。分離された画像センサー３６０は、それぞれのピンホールのような開口３５０に組み込まれてもよい。

利点のうちの１つとして、２つのまたは３つの固有の光学的な機能を組み合わせるための光学的なレイアウト３００は、ＨＭＤ光学系に適した実質上すべてのタイプの光学的な構造に対する適用範囲を有する。例えば、従来の回転対称の光学素子を基にしたアイピース光学系を用いた例示的な構成は、図１６に関連して以下で考察するように設計されてきた。

視線追跡機能の態様としては、具体的には、眼球運動を監視するために使用される場合がある、いくつかの異なる視線追跡技法が存在し、これらは３つの分類に分けられる、すなわち、電子眼球運動記録法、強膜サーチコイル法、および様々なビデオベースの特徴追跡アプローチである。これらの方法の中でも、取得された眼画像の特徴を検出して追跡するビデオベースの特徴追跡は、眼球運動を追跡するためには、最も侵入的でなく、かつ最も便利なアプローチである。

近赤外線照射下で、眼画像２０１、２０２は、典型的には容易に識別、および測定できる２つのタイプの特徴を有する（図２Ａ、図２Ｂ）。１つの特徴は、第１のプルキンエ画像、または輝き６として知られ、角膜の前面によって形成される点光源の反射画像を指す（図２Ｂ）。第２の機能は、眼の瞳孔１２である。図２Ａ〜図２Ｂは、赤外線照射された眼画像２０１、２０２の実施例を示す。赤外線照射器、例えば、近赤外線ＬＥＤ３３０、の構成に依存して、赤外線照射器が眼画像化光学系の光軸とほとんど同軸上に配設される、軸上照射戦略は、明るい瞳孔２、図２Ａ、につながるが、一方で、赤外線照射器が眼画像化光学系の光軸から離れて置かれる、軸から外れた照射戦略は、輝き６を有する暗い瞳孔４（図２Ｂ）につながる。その結果、瞳孔と輝きとの特徴は、眼球運動追跡のために利用される場合がある。

ビデオベースの特徴追跡方法の中でも、眼球運動を瞳孔の中心と輝きの中心との間のベクトル差に関係付ける、瞳孔角膜反射追跡方法が、ＥＴ−ＨＭＤシステムで最も適切なアプローチである。この方法では、１つのまたは多重の近赤外線発光ダイオード（ＮＩＲ ＬＥＤ）、例えば、近赤外線ＬＥＤ３３０は、眼１０を照射するために使用されてもよく、照射された眼１０は、次いで赤外線ＣＣＤなどの画像化センサー３６０によって画像化されてもよい。眼の瞳孔１２、第１のプルキンエ画像（すなわち輝き）、および／または虹彩１１が、同時に、または別途追跡されてもよい。それぞれの近赤外線ＬＥＤ３３０は、輝き６すなわち第１のプルキンエ画像を形成する場合がある。瞳孔１２および第１のプルキンエ特徴は、眼の回転に比例的に移動し、相互の間では差動的に移動する。２つの特徴の間の差動ベクトルが、眼１０の注視点を決定するために使用されてもよい。この方法は、画像化センサー３６０の眼１０に対する配向の変更をある程度引き起こし、眼球運動を混乱させる、ＨＭＤシステムのヘルメットの滑りを許容する。

別の重要な態様では、本発明は、透視能力をともなう、超小型、かつ軽量のＥＴ−ＨＭＤを達成するためにフリーフォームの光技術を中核光学系３１０で、利用する場合がある。図４は、本発明による、フリーフォームの光技術に基づく小型視線追従型ＨＭＤ設計への例示的なアプローチのブロック図４００を示す。１つの例示的な実施では、中核光学系３１０内で、楔形のフリーフォームプリズム４１０または導波管タイプのフリーフォームプリズムが使用されてもよく、多面プリズム構造内で光線経路を折り畳むことが許容され、これは回転対称の要素を使用する設計と比較すると表示光学系の全体的な重量および体積を減少するのを助ける。フリーフォームの光技術を適用することは、ＨＭＤ光学系の機能と視線追跡の機能とを小型形態の中に完全に統合できるようにする。フリーフォームプリズム４１０は、軽量および低コストのために成形可能な塑性体から作成される場合がある。

このアプローチでは、フリーフォームプリズム４１０は、２つまたはそれ以上の固有の光学的な機能を果たす。第１の、フリーフォームプリズム４１０は、眼画像化光路４０７で、中核要素として機能する場合がある近赤外線で照射される使用者の眼画像４０１を取得し、そして取得された眼画像４０１を使用して眼球運動を追跡する。典型的にはレンズ構成体内に回転対称の光学の表面を採用し、典型的には画像化レンズを検出器４６０および取得される対象物と同一直線上にしたままにしておく必要がある、従来の画像化システムとは異なり、画像検出器４６０がフリーフォームプリズム４１０の側に置かれてもよいように、フリーフォームプリズム４１０は、単一の要素内の光路を折り曲げる。第２に、同一のフリーフォームプリズム４１０は、表示光路４０９でマイクロディスプレイ４２０上の画像を鑑賞するために、表示視覚光学系として機能する場合がある。第３に、プリズム４１０は、１つまたは多重の近赤外線ＬＥＤ４３０からの光をコリメートする照射光路３０５内で中核要素として機能する場合がある。代替的には、近赤外線ＬＥＤは、プリズム４１０（または中核光学系３１０）を通過せずに、眼領域を直接照射してもよい。いずれの場合でも、近赤外線ＬＥＤ４３０は、眼領域を均等かつ非侵襲的に照射する場合があり、視線追跡のために画像化されるべき重要な特徴（例えば、輝き６および暗い瞳孔４）を形成する。最後に、実世界の直接鑑賞が重要である用途のために、光学的に透視性のＥＴ−ＨＭＤシステムが要求される場合、プリズム４１０は、フリーフォーム補正レンズ４１５に固着されてもよい。フリーフォーム修正器４１５は、視覚軸の偏差およびプリズム４１０によって導入された望ましくない収差を修正することができ、かつ実世界鑑賞４１１のために周辺部の不透明度の低減およびひずみの最小限化を提示するシステム４００の透視能力を可能にする。全体的に、本発明の固有の光学的なスキームは、最小限のハードウエアコストで、同一のフリーフォームプリズム４１０を通して、眼画像化４０７のためと、仮想表示４０９のためと、所望により眼照射４０５のためとの光路の組み合わせを可能にすることができ、かつ視線追跡および表示の能力を達成することができる。

本発明による第１の例示的な構成５００は、２つの反射を用いる、楔形のフリーフォームプリズム５１０を利用する、図５Ａ〜図５Ｄ。この実施形態では、フリーフォームプリズム５１０は、３つもの中核機能の作用をする場合があり（１）照射光学系として、１つまたは多重の近赤外線ＬＥＤ５３０からの光を均等に、かつ非侵襲的に眼領域を画像化されるように照射するためにコリメートし、（２）眼画像化光学系の中核要素として、近赤外線で照射された眼画像を取得して、眼球運動の追跡を可能にし、（３）ＨＭＤシステムのアイピース光学系として、マイクロディスプレイ５２０上の画像を鑑賞する。これら３つの固有の光路は、視線追跡および表示の能力を達成するために、同一のフリーフォームプリズム５１０によって組み合わせられてもよい。追加的に、同一のプリズム５１０は、フリーフォーム補正レンズに固着されたとき、光学的に透視性のＨＭＤシステムの透視能力が可能になった。代替的には、フリーフォームプリズム５１０は、照射光学系として中核機能を省略してもよい。

楔形のフリーフォームプリズム５１０は、３つの光学的な表面を含んでもよく、そのうちの少なくとも１つは、回転対称であるか、または回転対称でない、非球面の表面であってもよい。本発明の１つの新機軸は、単一のフリーフォームプリズム５１０を介して、２つまたは３つの固有の光路（すなわち、眼照射光路５０５、眼画像化光路５０７、および表示光路５０９のうちの２つ以上）を一意的に組み合わせることができる、光学的なアプローチである。図５Ａは、フリーフォームプリズム５１０を含む、眼照射および画像化光学系の概略の設計を示す。照射光路５０５では、近赤外線ＬＥＤ５３０から放射された光線は、第１に表面３によって反射され、２つの表面１'および表面２による連続反射が続き、最終的に表面１を通して伝送され、眼１０に到達する。表面１'上の反射は、内部全反射（ＴＩＲ）の条件を満足する場合がある。ＬＥＤ５３０によって放射された光は、プリズム５１０によってコリメートされる場合があり、眼１０に対して均一な照射をもたらす。近赤外線で照射された眼１０は、次いで赤外線画像センサー５６０によって画像化されてもよい。眼画像化光路５０７では、光線が、眼１０に散乱して落ち、第１に表面１によって反射されてもよく、表面２および１'による２つの連続反射が続き、最終的には表面３を通して伝送されてもよく、そしてセンサー５６０に達する。眼画像化の光学的な性能を改善するために追加的なレンズ５６２が、プリズム５１０の表面３と画像センサー５６０との間に挿入されてもよい。画像化センサー５６０によって受容された光を閉じ込めるために、小さい開口停止部５５０が、レンズ５６２の近くまたは内側に置かれてもよい。

図５Ｂは、フリーフォームプリズム５１０を使用してマイクロディスプレイ５２０上の画像を拡大し、快適な鑑賞距離で虚像を形成する、ＨＭＤ光学系の表示光路５０９概略的に図示する。マイクロディスプレイ５２０上の点から放射された光線は、第１にフリーフォームプリズム５１０の表面３によって反射されてもよく、表面１'および２による２つの連続反射が後に続き、最終的に、システム５００の射出瞳５１２に到達するように表面１を通過して伝送されてもよい。表面１'上の反射は、ＴＩＲ条件を満足する場合がある。多重の要素を必要とするよりも、むしろプリズム構造内で光路が自然に折り曲げられる。表示光路５０９の光学的な性能をさらに改良するために、プリズム５１０の表面３と、マイクロディスプレイ５２０との間に、さらなるレンズが、挿入されてもよい。

図５Ｃは、照射、画像化、および表示光学系が同一のプリズム５１０を備え、高品質の眼画像を形成するために、照射ＬＥＤｓ５３０およびピンホール様の５５０が、マイクロディスプレイ５２０の縁部５４０の周囲に置かれる、統合型システム５００を概略的に図示する。図５Ｃに、停止部およびＬＥＤ構成の一例が図示される。停止部５５０およびＬＥＤｓ５３０は、マイクロディスプレイ５２０の周囲の周辺部内の他の位置に置かれてもよいことを注意する価値がある。加えて、停止部５５０およびＬＥＤｓ５３０は、マイクロディスプレイ５２０と同一平面であってもそうでなくても使用されてもよい。システム性能を改良するために、追加的なレンズが、照射光路５０５、眼画像化光路５０７、および表示光路５０９のうちの１つ以上で使用されてもよい。さらに、マイクロディスプレイ５２０に最も近い表面、表面３で、照射光路５０５、眼画像化光路５０７、および表示光路５０９は、表面３のそれぞれの部分が異なると衝突する場合がある（しかし、部分的な重なりは許容される）。

透視能力を可能にするために、プリズム５１０の表面２は、半透鏡としてコーティングされてもよい。マイクロディスプレイ５２０からの光線は、表面２によって反射される場合があるが、実世界の場面からの光線は、伝送される。図５Ｄは、プリズム５１０に固着される２つのフリーフォームの表面４および５からなる、実世界視覚経路５１１へのフリーフォームプリズム５１０によって導入された視覚軸の偏差および収差を修正するためのフリーフォーム補助レンズ５１５を概略的に図示する。通常補助レンズ５１５の表面４は、プリズム５１０の表面２と同一の規定を有し、補助レンズ５１５の表面５は、軸の偏差および収差を修正するように最適化される。補助レンズ５１５は、システムの全体的な設置面積または重量を目立つほど増加することはない。全体的に、例示的なシステム５００は、軽量で、小型で、堅牢な、視線追跡ＨＭＤの解決法を提供し、いかなる既存のＨＭＤのアプローチよりも目立ちすぎない形状因子を潜在的に供給することができ、これは、設計のコンピューター解析によりさらに実証される。

図６は、図５に図示される２反射楔形のフリーフォームプリズム５１０に基づく、最適化されたシステムの２次元の光学的なレイアウトを概略的に図示する。この実施では、眼画像化光路５０７の性能を改善するために、画像化レンズ５６２が、使用される場合がある。停止部５５０は、プリズム５１０の表面３の近くに位置付けられてもよい。近赤外線ＬＥＤ５３０は、マイクロディスプレイ５２０の周辺に位置付けられてもよい。図７は、図５Ｄの例示的な光学的システムの３Ｄモデル７００を概略的に図示し、図８は、図６および図７に示す光学的な設計に基づく両眼のＥＴ−ＨＭＤプロトタイプ８００の３Ｄモデルを概略的に図示する。全体的なシステムの仕様は、表１に一覧で記載される。

フリーフォームプリズム５１０の例示的な光学的な規定が、表面１、表面２、および表面３のそれぞれに対して表２〜表４に一覧で示される。プリズム５１０の３つの光学的な表面のうちの表面１は、歪像の非球面の表面（ＡＡＳ）である。ＡＡＳ表面のサグは、以下の式、

によって定義され、式中ｚは、フリーフォーム表面のサグであり、局所ｘ、ｙ、ｚ座標系のｚ軸に沿って測定され、ｃ_ｘおよびｃ_ｙは、それぞれｘ軸およびｙ軸での頂点曲率であり、Ｋ_ｘおよびＫ_ｙは、それぞれｘ軸およびｙ軸での円錐定数であり、ＡＲ、ＢＲ、ＣＲ、およびＤＲは、それぞれ円錐からの４次変形、６次変形、８次変形、および１０次変形の回転対称の部分であり、ＡＰ、ＢＰ、ＣＰ、およびＤＰは、円錐からの４次変形、６次変形、８次変形、および１０次変形の非回転対称の構成要素である。

プリズム５１０の表面２は、以下の式、

で定義されるＸＹ多項式曲面であってもよく、式中ｚは、局所ｘ、ｙ、ｚ座標系のｚ軸に沿って測定されたフリーフォーム表面のサグであり、ｃは、頂点曲率（ＣＵＹ）であり、ｋは、円錐定数であり、そしてＣｊは、ｘ^ｍｙ^ｎに対する係数である。

表面３は、回転対称のキノフォーム回析光学素子を有する非球面の表面であってもよく、以下の式、

によって定義される非球面の表面のサグを有し、式中ｚは、局所ｘ、ｙ、ｚ座標系のｚ軸に沿って測定された表面のサグであり、ｃは、頂点曲率であり、ｋは、円錐定数であり、Ａ〜Ｊは、それぞれ４次変形係数、６次変形係数、８次変形係数、１０次変形係数、１２次変形係数、１４次変形係数、１６次変形係数、１８次変形係数、および２０次変形係数である。

例示的なフリーフォーム修正器５１５レンズの表面５の光学的な規定が、表５に一覧で記載される。レンズ５１５の表面４は、プリズム５１０の表面２と同一の規定を有し、レンズ５１５の表面５は、表面２と同一の式で定義されるＸＹ多項式曲面である。

例示的な設計のディスプレイの面では、プリズム５１０は水平から４６度、または４０度で、垂直から２２度の対角線の視野を提供する。これは、ピクセルサイズが約８μｍで、対角線サイズが０．９インチ以下のマイクロディスプレイ５２０を提供する。プロトタイプは、アスペクト比が１６：９で、解像度が１９２０×１２００ピクセルの０．８６インチのマイクロディスプレイを使用して製作された。

例示的な設計は、高い画像コントラストと、高い解像度を達成した。図９Ａ〜図９Ｄは、４ｍｍの中心瞳孔のＨＭＤ光路の視野にわたる２０個のサンプリングされた視野の多色性変調伝達関数（ＭＴＦ）を図示する。ＭＴＦ曲線は、５０ｌｐｓ／ｍｍのカットオフ解像度（１０μｍピクセルの解像度と等価）において、０．２の平均コントラストを実証し、３５ｌｐｓ／ｍｍのカットオフ解像度（１５μｍピクセルの解像度と等価）において、０．３より高い平均コントラストを実証する。図１０は、仮想表示光路の歪曲グリッドをさらに実証する。

眼画像化および照射の面では、フリーフォームプリズム５１０を通して、均等に照射された眼領域を作り出すために、画像源の周囲に１つ以上の近赤外線ＬＥＤ５３０が置かれる。フリーフォームプリズム５１０は、水平および垂直の方向にそれぞれ約３０ｍｍ×２０ｍｍの眼領域に対して均一な照射を提供することができる。同一の照射された眼領域は、高解像度近赤外線センサー５６０によって取得される。画像化される領域は、眼球運動の追跡を可能にするのに十分である。眼画像化光路を分解できるピクセルサイズは、約１０μｍである。図１１は、眼画像化光路の変調伝達関数（ＭＴＦ）を図示する。ＭＴＦ曲線は、５０ｌｐｓ／ｍｍのカットオフ解像度（１０μｍピクセルの解像度と等価）において、０．１の平均コントラストを実証し、３０ｌｐｓ／ｍｍのカットオフ解像度（１６μｍピクセルの解像度と等価）において、０．３より高い平均コントラストを実証する。図１２は、眼画像化光路の歪曲グリッドをさらに実証する。

システム５００の透視の面では、固着されたプリズム５１０およびフリーフォーム補正レンズ５１５は、水平から約１００度、または８０度で、垂直から５０度の対角線視野を提供する。透視性視野は、改善された状況認識のために仮想表示視野よりかなり広く設計される。透視システムのアイボックスサイズは、使用の容易さおよび鑑賞の快適さをさらに改善するために、仮想表示システムより大きくなるように最適化される。この設計実施形態は、高い画像コントラストと解像度を達成する。図１３Ａ〜図１３Ｄは、透視光路内の４ｍｍの中心瞳孔の中央の３０×２２度の視野にわたる２０個のサンプリングされた視野の多色性変調伝達関数（ＭＴＦ）を図示する。ＭＴＦ曲線は、ほぼ回折限界の性能を実証する。図１３Ａ〜図１３Ｄでは、０．５サイクル／分は、１分の角度の空間的解像度に対応し、これは、視力２０／２０の分解能であり、１サイクル／分は、０．５分の角度の空間的解像度に対応し、これは視力２０／１５の分解能である。サンプリングされた視野にわたる平均ＭＴＦは、０．５サイクル／分（１分の角度の角度的解像度と等価）のカットオフ解像度で、０．５より大きく、平均コントラストは、１サイクル／分（０．５分の角度の角度的解像度と等価）のカットオフ解像度で０．４より大きい。８０×５０透視性視野全体にわたる平均ＭＴＦは、０．５サイクル／分のカットオフ周波数で、０．３５より大きい。図１４は、全視野にわたる透視性表示光路の歪曲グリッドをさらに図示する。中心の４０×２２度でのひずみは、２％未満であり、全視野にわたるひずみは、８％未満である。

図１５Ａ〜図１５Ｂは、本発明の第２の構成の例示的な設計を概略的に図示し、ここで画像化システム１５００の停止部１５４０は、マイクロディスプレイ１５２０を包囲してもよい。マイクロディスプレイ平面は、赤外線センサー１５６０によって光線を集めることを可能にし、赤外線センサー１５６０上での眼画像化のために停止部１５４０として機能する場合がある赤外線透過性領域１５２７と、赤外線光線が赤外線センサー１５６０に達するのを遮る、有効なディスプレイ領域に対応するマイクロディスプレイ１５２０（非透過性）の有効領域と、マイクロディスプレイの物理的フレームに対応する、これも光線が赤外線センサー１５６０に達するのを遮る、赤外線透過性領域とマイクロディスプレイ領域との間の第３の非透過性フレーム１５２３と、の３つの区域に分けられる。画像化システム１５００では、プリズム１５１０、マイクロディスプレイ１５２０、および赤外線センサー１５６０のそれぞれの光軸は同軸であってもよい。よって、赤外線センサー１５６０は、マイクロディスプレイ１５２０が眼の瞳孔の画像を取得した後、置かれる場合がある。赤外線センサー１５６０からプリズム１５１０までの距離は、フリーフォームプリズム１５１０を通した眼の瞳孔の画像位置に依存し、これは最終的には表示光路の設計に依存する。例えば、フリーフォームプリズム１５１０が、表示空間内で、テレセントリックになるように、またはテレセントリックに近くなるように設計される場合、主光線は、互いにほぼ平行になり、これらがマイクロディスプレイ１５２０に交わる前に、マイクロディスプレイ表面に直角になる。これは、プリズム１５１０を通した眼の瞳孔の画像が、無限遠または著しく遠い距離に位置付けられることを意味する。この場合、眼画像化光路の全体的な長さを低減し、かつ良好な画像品質を達成するために、１つ以上の追加的な画像化レンズ１５６２を、赤外線センサー１５６０とプリズム１５１０との間に挿入する必要がある場合がある、図１５Ａ。

一方で、フリーフォームプリズム１５１０が非テレセントリックとなる（すなわち、主光線がプリズム１５１０の後ろのいずれかの短い距離の点に集中する）ように設計される場合、眼の瞳孔は、プリズム１５１０によってかなり近い距離で画像化され、赤外線センサー１５６０は、さらなる画像化レンズ１５６２の必要無しに、プリズム１５１０のすぐ後ろに置くことができる。実際には、テレセントリック性または近似テレセントリック性の条件は、虚像が視野全体にわたってより均一に表示されるので、表示光路を設計するときしばしば望ましい。マイクロディスプレイ１５２０が狭い角度内でのみ光を放出または反射するとき、この条件が要求される場合がある（例えば、ＬＣｏＳタイプのマイクロディスプレイなどのデバイス）。マイクロディスプレイ１５２０が幅広い放射角度を提示するとき（例えば、ＯＬＥＤ）、テレセントリック性条件を緩めることができる。

近赤外線ＬＥＤは、図３Ｂに記載したのと同様のやり方で、停止部１５４０の周囲に置かれてもよく、または代替的に近赤外線ＬＥＤ１５３０は、プリズム１５１０の縁部の周囲に置かれて、図１５Ａに示すように眼１０を直接照射してもよい。さらに、プリズム１５１０の縁部の周囲の近赤外線ＬＥＤ１５３０が、プリズム１５３０を使用せずに眼１０を直接照射することは、例えば図５Ａ〜図６、または図１６に示されたものを含む、本発明の任意の他の構成で実施されてもよい。

図１６は、中核光学系３１０に対して回転対称の光学系を利用する、図３に示す光学的なスキームの例示的な設計１６００を概略的に図示する。小型フリーフォームを基にしたプリズム５１０を使用する代わりに、表示鑑賞、眼画像化および眼照射のために、４要素視覚光学系１６１０が、中核光学系３１０として使用される。マイクロディスプレイ１６２０は、光学系１６１０の焦点面に置かれてもよい。１つの光源１６３０（近赤外線ＬＥＤなどの）が、画像源１６２０の周囲に置かれてもよい。ピンホール様の停止部１６４０およびマイクロ画像化レンズ１６６２は、画像化センサー１６６０上に眼画像を形成するために、画像源１６２０の端部の周囲にも置かれてもよい。さらなる光源１６３０および画像化サブシステム（マイクロ−画像化レンズ１６６２および画像化センサー１６６０）を、他の用途のための必要に応じて、画像源１６２０の周囲に配設することができる。例示的な設計１６００では、表示光学系１６１０およびマイクロディスプレイ１６２０のそれぞれの光軸は、同軸であってもよく、一方で、画像センサー１６６０、光源１６３０、およびマイクロディスプレイ１６２０のうちの１つ以上のそれぞれの光軸は、互いに対して傾斜していても、かつ／または偏心していてもよい。フリーフォームの構成を用いて、マイクロディスプレイ１６２０に最も近い表面である表面８において、照射光路、眼画像化光路、および表示光路は、表面８の部分のそれぞれが異なると衝突するが、例えば、画像化光路と表示光路との間に図示するように、部分的な重なりは許容される。

視覚光学系１６１０は、４０度の対角線、２０ｍｍアイリリーフ、および１０ｍｍの眼の瞳孔のサイズを提供することができ、０．８インチ以下の対角線サイズの画像源１６２０を支持することができる。１つ以上の近赤外線ＬＥＤ１６３０は、視覚光学系を通して均等に照射される眼領域を作り出すために、マイクロディスプレイ１６２０の周囲に置かれてもよい。視覚光学系１６１０は、約１５ｍｍ×１５ｍｍの眼領域に均一な照射を提供することができる。同一の照射される眼領域は、高解像度近赤外線センサー１６３０によって取得されてもよい。画像化される領域は、眼球運動の追跡を可能にするのに十分である。

設計１６００の例示的な光学的な規定が、表６〜表９に提供される。

表面１１および１２は、非球面の表面であってもよく、以下の式、

によって定義される非球面の表面のサグを有し、式中ｚは、局所ｘ、ｙ、ｚ座標系のｚ軸に沿って測定された表面のサグであり、ｃは、頂点曲率であり、ｋは、円錐定数であり、Ａ〜Ｊは、それぞれ４次変形係数、６次変形係数、８次変形係数、１０次変形係数、１２次変形係数、１４次変形係数、１６次変形係数、１８次変形係数、および２０次変形係数である。

上記の明細書から、本発明のこれらの、および他の利点は、当業者には明らかであろう。したがって、当業者には、本発明の広範な発明の概念から逸脱することなく、上記の実施形態に対する変更または改良がなされてもよいことが理解されるであろう。したがって、本発明は、本明細書に記載される特定の実施形態に限定されず、特許請求の範囲および本発明の趣旨内のすべての変更および改良を含むことが意図されることを理解するべきである。

眼画像化光路３０７では、眼の瞳孔１２は、画像化の対象となる。絞り３４０が、マイクロディスプレイ３２０の周囲に置かれる場合がある。マイクロディスプレイ３２０の瞳孔と視野との関係、および上述の眼の瞳孔１２を考慮すると、表示光路の異なる対象視野の主光線は、眼画像化光路３０７の軸上の対象点の周縁光線になり、したがって眼の瞳孔１２上の同一の点を通るすべての光線は、赤外線画像化センサー３６０上の同一の点上に画像化される。しかしながら、これらの光線は、マイクロディスプレイ表面と一意的な位置で交差する。したがって、画像化光路３０７では、絞り３４０は、表示光路３０９に影響を与えないようにしかも眼画像を眼画像化光路３０７に形成するために十分な光線を集めるように、適切に設計されて、マイクロディスプレイ３２０の周囲に置かれる。図３Ｂに示す図では、絞り３４０は、ピンホールのような小さい開口３５０の形態で提供されてもよく、マイクロディスプレイ３２０を包囲する選択された領域であってもよい。分離された画像センサー３６０は、それぞれのピンホールのような開口３５０に組み込まれてもよい。

楔形のフリーフォームプリズム５１０は、３つの光学的な表面を含んでもよく、そのうちの少なくとも１つは、回転対称であるか、または回転対称でない、非球面の表面であってもよい。本発明の１つの新機軸は、単一のフリーフォームプリズム５１０を介して、２つまたは３つの固有の光路（すなわち、眼照射光路５０５、眼画像化光路５０７、および表示光路５０９のうちの２つ以上）を一意的に組み合わせることができる、光学的なアプローチである。図５Ａは、フリーフォームプリズム５１０を含む、眼照射および画像化光学系の概略の設計を示す。照射光路５０５では、近赤外線ＬＥＤ５３０から放射された光線は、第１に表面３によって反射され、２つの表面１'および表面２による連続反射が続き、最終的に表面１を通して伝送され、眼１０に到達する。表面１'上の反射は、内部全反射（ＴＩＲ）の条件を満足する場合がある。ＬＥＤ５３０によって放射された光は、プリズム５１０によってコリメートされる場合があり、眼１０に対して均一な照射をもたらす。近赤外線で照射された眼１０は、次いで赤外線画像センサー５６０によって画像化されてもよい。眼画像化光路５０７では、光線が、眼１０に散乱して落ち、第１に表面１によって反射されてもよく、表面２および１'による２つの連続反射が続き、最終的には表面３を通して伝送されてもよく、そしてセンサー５６０に達する。眼画像化の光学的な性能を改善するために追加的なレンズ５６２が、プリズム５１０の表面３と画像センサー５６０との間に挿入されてもよい。画像化センサー５６０によって受容された光を閉じ込めるために、小さい開口絞り５５０が、レンズ５６２の近くまたは内側に置かれてもよい。

図５Ｃは、照射、画像化、および表示光学系が同一のプリズム５１０を備え、高品質の眼画像を形成するために、照射ＬＥＤｓ５３０およびピンホール様の５５０が、マイクロディスプレイ５２０の縁部５４０の周囲に置かれる、統合型システム５００を概略的に図示する。図５Ｃに、絞りおよびＬＥＤ構成の一例が図示される。絞り５５０およびＬＥＤｓ５３０は、マイクロディスプレイ５２０の周囲の周辺部内の他の位置に置かれてもよいことを注意する価値がある。加えて、絞り５５０およびＬＥＤｓ５３０は、マイクロディスプレイ５２０と同一平面であってもそうでなくても使用されてもよい。システム性能を改良するために、追加的なレンズが、照射光路５０５、眼画像化光路５０７、および表示光路５０９のうちの１つ以上で使用されてもよい。さらに、マイクロディスプレイ５２０に最も近い表面、表面３で、照射光路５０５、眼画像化光路５０７、および表示光路５０９は、表面３のそれぞれの部分が異なると衝突する場合がある（しかし、部分的な重なりは許容される）。

図６は、図５に図示される２反射楔形のフリーフォームプリズム５１０に基づく、最適化されたシステムの２次元の光学的なレイアウトを概略的に図示する。この実施では、眼画像化光路５０７の性能を改善するために、画像化レンズ５６２が、使用される場合がある。絞り５５０は、プリズム５１０の表面３の近くに位置付けられてもよい。近赤外線ＬＥＤ５３０は、マイクロディスプレイ５２０の周辺に位置付けられてもよい。図７は、図５Ｄの例示的な光学的システムの３Ｄモデル７００を概略的に図示し、図８は、図６および図７に示す光学的な設計に基づく両眼のＥＴ−ＨＭＤプロトタイプ８００の３Ｄモデルを概略的に図示する。全体的なシステムの仕様は、表１に一覧で記載される。

図１５Ａ〜図１５Ｂは、本発明の第２の構成の例示的な設計を概略的に図示し、ここで画像化システム１５００の絞り１５４０は、マイクロディスプレイ１５２０を包囲してもよい。マイクロディスプレイ平面は、赤外線センサー１５６０によって光線を集めることを可能にし、赤外線センサー１５６０上での眼画像化のために絞り１５４０として機能する場合がある赤外線透過性領域１５２７と、赤外線光線が赤外線センサー１５６０に達するのを遮る、有効なディスプレイ領域に対応するマイクロディスプレイ１５２０（非透過性）の有効領域と、マイクロディスプレイの物理的フレームに対応する、これも光線が赤外線センサー１５６０に達するのを遮る、赤外線透過性領域とマイクロディスプレイ領域との間の第３の非透過性フレーム１５２３と、の３つの区域に分けられる。画像化システム１５００では、プリズム１５１０、マイクロディスプレイ１５２０、および赤外線センサー１５６０のそれぞれの光軸は同軸であってもよい。よって、赤外線センサー１５６０は、マイクロディスプレイ１５２０が眼の瞳孔の画像を取得した後、置かれる場合がある。赤外線センサー１５６０からプリズム１５１０までの距離は、フリーフォームプリズム１５１０を通した眼の瞳孔の画像位置に依存し、これは最終的には表示光路の設計に依存する。例えば、フリーフォームプリズム１５１０が、表示空間内で、テレセントリックになるように、またはテレセントリックに近くなるように設計される場合、主光線は、互いにほぼ平行になり、これらがマイクロディスプレイ１５２０に交わる前に、マイクロディスプレイ表面に直角になる。これは、プリズム１５１０を通した眼の瞳孔の画像が、無限遠または著しく遠い距離に位置付けられることを意味する。この場合、眼画像化光路の全体的な長さを低減し、かつ良好な画像品質を達成するために、１つ以上の追加的な画像化レンズ１５６２を、赤外線センサー１５６０とプリズム１５１０との間に挿入する必要がある場合がある、図１５Ａ。

近赤外線ＬＥＤは、図３Ｂに記載したのと同様のやり方で、絞り１５４０の周囲に置かれてもよく、または代替的に近赤外線ＬＥＤ１５３０は、プリズム１５１０の縁部の周囲に置かれて、図１５Ａに示すように眼１０を直接照射してもよい。さらに、プリズム１５１０の縁部の周囲の近赤外線ＬＥＤ１５３０が、プリズム１５３０を使用せずに眼１０を直接照射することは、例えば図５Ａ〜図６、または図１６に示されたものを含む、本発明の任意の他の構成で実施されてもよい。

図１６は、中核光学系３１０に対して回転対称の光学系を利用する、図３に示す光学的なスキームの例示的な設計１６００を概略的に図示する。小型フリーフォームを基にしたプリズム５１０を使用する代わりに、表示鑑賞、眼画像化および眼照射のために、４要素視覚光学系１６１０が、中核光学系３１０として使用される。マイクロディスプレイ１６２０は、光学系１６１０の焦点面に置かれてもよい。１つの光源１６３０（近赤外線ＬＥＤなどの）が、画像源１６２０の周囲に置かれてもよい。ピンホール様の絞り１６４０およびマイクロ画像化レンズ１６６２は、画像化センサー１６６０上に眼画像を形成するために、画像源１６２０の端部の周囲にも置かれてもよい。さらなる光源１６３０および画像化サブシステム（マイクロ−画像化レンズ１６６２および画像化センサー１６６０）を、他の用途のための必要に応じて、画像源１６２０の周囲に配設することができる。例示的な設計１６００では、表示光学系１６１０およびマイクロディスプレイ１６２０のそれぞれの光軸は、同軸であってもよく、一方で、画像センサー１６６０、光源１６３０、およびマイクロディスプレイ１６２０のうちの１つ以上のそれぞれの光軸は、互いに対して傾斜していても、かつ／または偏心していてもよい。フリーフォームの構成を用いて、マイクロディスプレイ１６２０に最も近い表面である表面８において、照射光路、眼画像化光路、および表示光路は、表面８の部分のそれぞれが異なると衝突するが、例えば、画像化光路と表示光路との間に図示するように、部分的な重なりは許容される。

Claims (30)

1. 視線追従型ヘッドマウントディスプレイであって
   使用者が鑑賞する画像を生成するマイクロディスプレイであって、表示光路と、当該表示光路に関連付けられた射出瞳とを有するものである、前記マイクロディスプレイと、
   前記マイクロディスプレイに位置する第１の平面と、前記射出瞳に位置する第２の平面と、
   使用者の眼から反射した、反射光学的放射を前記第２の平面から受容するように構成された画像センサーであって、当該画像センサーに関連付けられたセンサー光路を有するものである、前記画像センサーと、
   前記表示光路に沿って前記マイクロディスプレイと光学的に連通して配置され、前記センサー光路に沿って前記画像センサーと光学的に連通する表示光学系であって、前記マイクロディスプレイおよび前記画像センサーに最も近い選択された表面を有し、前記表示光路および前記画像センサー光路が前記選択された表面の異なる部分にそれぞれ衝突（ｉｍｐｉｎｇｅ）するように前記マイクロディスプレイおよび前記画像センサーに対して位置付けられるものである、前記表示光学系と
   を有する視線追従型ヘッドマウントディスプレイ。
2. 請求項１記載の視線追従型ヘッドマウントディスプレイにおいて、前記表示光路および画像センサー光路は前記選択された表面において部分的に重なるものである視線追従型ヘッドマウントディスプレイ。
3. 請求項１または２記載の視線追従型ヘッドマウントディスプレイにおいて、前記表示光学系は、前記第２の平面における鑑賞用に前記マイクロディスプレイの虚像を生成するように構成されるものである視線追従型ヘッドマウントディスプレイ。
4. 請求項１〜３のいずれか１つに記載の視線追従型ヘッドマウントディスプレイにおいて、前記表示光路および前記センサー光路はそれぞれ、前記マイクロディスプレイおよび前記画像センサーにそれぞれの光軸を有し、当該それぞれの光軸は同軸である視線追従型ヘッドマウントディスプレイ。
5. 請求項１〜３のいずれか１つに記載の視線追従型ヘッドマウントディスプレイにおいて、前記表示光路および前記センサー光路はそれぞれ、前記表示光学系および前記画像センサーにそれぞれの光軸を有し、前記それぞれの光軸は、前記第２の平面において互いに対して傾斜しているものである視線追従型ヘッドマウントディスプレイ。
6. 請求項１〜５のいずれか１つに記載の視線追従型ヘッドマウントディスプレイにおいて、前記表示光路は光軸を有し、前記画像センサーは前記表示光路の前記光軸から外れた位置に位置付けられるものである視線追従型ヘッドマウントディスプレイ。
7. 請求項１〜６のいずれか１つに記載の視線追従型ヘッドマウントディスプレイにおいて、前記表示光路は光軸を有し、前記マイクロディスプレイは前記表示光路の前記光軸上に位置付けられるものである視線追従型ヘッドマウントディスプレイ。
8. 請求項１〜７のいずれか１つに記載の視線追従型ヘッドマウントディスプレイにおいて、当該ディスプレイは前記第１の平面に停止部を有し、当該停止部は前記センサー光路に沿った位置において、当該停止部に内設される少なくとも１つの開口を有するものである視線追従型ヘッドマウントディスプレイ。
9. 請求項１〜８のいずれか１つに記載の視線追従型ヘッドマウントディスプレイにおいて、当該ディスプレイは停止部を有し、当該停止部は、前記センサーと前記選択された表面との間の前記センサー光路に沿った位置において、当該停止部に内設される少なくとも１つの開口を有するものである視線追従型ヘッドマウントディスプレイ。
10. 請求項８または９記載の視線追従型ヘッドマウントディスプレイにおいて、前記少なくとも１つの開口はピンホールを有するものである視線追従型ヘッドマウントディスプレイ。
11. 請求項１〜１０のいずれか１つに記載の視線追従型ヘッドマウントディスプレイにおいて、前記表示光学系はフリーフォーム光学素子を有するものである視線追従型ヘッドマウントディスプレイ。
12. 請求項１〜１１のいずれか１つに記載の視線追従型ヘッドマウントディスプレイにおいて、前記表示光学系は回転対称な光学素子を有するものである視線追従型ヘッドマウントディスプレイ。
13. 請求項１〜１２のいずれか１つに記載の視線追従型ヘッドマウントディスプレイにおいて、前記表示光学系はフリーフォーム光学プリズムを有するものである視線追従型ヘッドマウントディスプレイ。
14. 請求項１３記載の視線追従型ヘッドマウントディスプレイにおいて、前記プリズムは楔形状のプリズムを有するものである視線追従型ヘッドマウントディスプレイ。
15. 請求項１３記載の視線追従型ヘッドマウントディスプレイにおいて、前記プリズムは非球面の表面を有するものである視線追従型ヘッドマウントディスプレイ。
16. 請求項１３記載の視線追従型ヘッドマウントディスプレイにおいて、前記プリズムは表示空間内でテレセントリックである視線追従型ヘッドマウントディスプレイ。
17. 請求項１３記載の視線追従型ヘッドマウントディスプレイにおいて、前記プリズムは表示空間内で非テレセントリックである視線追従型ヘッドマウントディスプレイ。
18. 請求項１３記載の視線追従型ヘッドマウントディスプレイにおいて、前記プリズムは、前記マイクロディスプレイからの光を受容し、かつ内部全反射するように配向される内部全反射（ＴＩＲ）表面を有するものである視線追従型ヘッドマウントディスプレイ。
19. 請求項１３記載の視線追従型ヘッドマウントディスプレイにおいて、前記プリズムは、光を前記画像センサーに対して内部全反射するように配向される内部全反射（ＴＩＲ）表面を有するものである視線追従型ヘッドマウントディスプレイ。
20. 請求項１３記載の視線追従型ヘッドマウントディスプレイにおいて、前記プリズムと光学的に連通するフリーフォーム補正レンズを有するものである視線追従型ヘッドマウントディスプレイ。
21. 請求項２０記載の視線追従型ヘッドマウントディスプレイにおいて、前記補正レンズの視野は前記表示光学系の視野より大きいものである視線追従型ヘッドマウントディスプレイ。
22. 請求項１〜２１のいずれか１つに記載の視線追従型ヘッドマウントディスプレイにおいて、前記表示光学系は半透鏡状の表面を有するものである視線追従型ヘッドマウントディスプレイ。
23. 請求項１〜２２のいずれか１つに記載の視線追従型ヘッドマウントディスプレイにおいて、光学的放射を生成し、かつ前記第２の平面を照射して前記使用者の眼の照射をもたらすように構成された照射源を有し、当該照射源は、当該照射源に関連付けられた照射光路を有するものである視線追従型ヘッドマウントディスプレイ。
24. 請求項２３に記載の視線追従型ヘッドマウントディスプレイにおいて、前記表示光学系は前記照射光路に沿って前記照射源と光学的に連通して配置されるものである視線追従型ヘッドマウントディスプレイ。
25. 請求項２３または２４記載の視線追従型ヘッドマウントディスプレイにおいて、前記表示光学系は前記照射源からの放射を受容し、当該放射を前記第２の平面に伝搬するように構成されるものである視線追従型ヘッドマウントディスプレイ。
26. 請求項２３〜２５のいずれか１つに記載の視線追従型ヘッドマウントディスプレイにおいて、前記照射源は、前記第１の平面に近接して位置付けられるものである視線追従型ヘッドマウントディスプレイ。
27. 請求項２３〜２６のいずれか１つに記載の視線追従型ヘッドマウントディスプレイにおいて、前記照射源は複数の発光ダイオードを有するものである視線追従型ヘッドマウントディスプレイ。
28. 請求項２３〜２７のいずれか１つに記載の視線追従型ヘッドマウントディスプレイにおいて、前記表示光学系は、前記照射源からの前記光学的放射をコリメートするように構成されるものである視線追従型ヘッドマウントディスプレイ。
29. 請求項２３〜２８のいずれか１つに記載の視線追従型ヘッドマウントディスプレイにおいて、前記表示光学系の前記表示光路は光軸を有し、前記照射源は前記光軸から外れた位置に位置付けられるものである視線追従型ヘッドマウントディスプレイ。
30. 請求項２３〜２９のいずれか１つに記載の視線追従型ヘッドマウントディスプレイにおいて、前記プリズムは、前記照射源からの放射を受容し、かつ内部全反射するように配向される内部全反射（ＴＩＲ）表面を有するものである視線追従型ヘッドマウントディスプレイ。

Images