JP2020101831A - 仮想／拡張現実システムにおけるビーム角度センサ - Google Patents

Abstract

【課題】エンドユーザによる使用のための仮想画像生成システムを提供すること。【解決手段】仮想画像生成システムは、コリメートされた光ビームを生成するために構成される投影サブシステムと、コリメートされた光ビームに応答して、光線を放出し、画像フレームのピクセルをエンドユーザに表示するように構成されるディスプレイとを備えている。ピクセルは、放出される光線の角度でエンコードされた場所を有する。仮想画像生成システムは、放出される光線角度のうちの少なくとも１つを示す少なくとも１つのパラメータを感知するために構成される感知アセンブリと、ピクセルの場所を定義する画像データを生成し、ピクセルの定義された場所および感知されたパラメータに基づいて、ディスプレイに対する光ビームの角度を制御するために構成される制御サブシステムとをさらに備えている。【選択図】図３

Description

（関連出願の引用）
本願は、米国仮特許出願第６２／２７７，８６５号（２０１６年１月１２日出願、名称「ＢＥＡＭ ＡＮＧＬＥ ＳＥＮＳＯＲ ＩＮ ＶＩＲＴＵＡＬ／ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ ＳＹＳＴＥＭ」、代理人事件番号ＭＬ．３００５３．００．）からの優先権を主張する。上記特許出願の内容は、その全体が参照により本明細書に引用される。

（発明の分野）
本発明は、概して、１人以上のユーザのための双方向仮想もしくは拡張現実環境を促進するように構成されるシステムおよび方法に関する。

現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見え得る様式、もしくはそのように知覚され得る様式でユーザに提示される。仮想現実（ＶＲ）シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透明性を伴わずに、デジタルまたは仮想画像情報の提示を伴う一方、拡張現実（ＡＲ）シナリオは、典型的には、エンドユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。

例えば、図１を参照すると、拡張現実場面４が、描写されており、ＡＲ技術のユーザは、背景における人々、木々、建物を特徴とする実世界公園状設定６と、コンクリートプラットフォーム８とを見る。これらのアイテムに加え、ＡＲ技術のエンドユーザは、実世界プラットフォーム８上に立っているロボット像１０と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ１２とを「見ている」と知覚するが、これらの要素１０、１２は、実世界には存在しない。結論からいうと、ヒトの視知覚系は、非常に複雑であり、他の仮想または実世界画像要素間における仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進するＶＲまたはＡＲ技術の生成は、困難である。

ＶＲおよびＡＲシステムは、典型的には、エンドユーザの頭部に少なくとも緩く装着され、したがって、ユーザの頭部が移動すると移動する頭部装着型ディスプレイ（またはヘルメット搭載型ディスプレイもしくはスマートグラス）を採用する。エンドユーザの頭部の運動が、ディスプレイサブシステムによって検出される場合、表示されているデータは、頭部の姿勢（すなわち、ユーザの頭部の向きおよび／または場所）の変化を考慮するように更新されることができる。

例として、頭部装着型ディスプレイを装着しているユーザが、３次元（３Ｄ）オブジェクトの仮想表現をディスプレイ上で視認し、３Ｄオブジェクトが現れる面積の周囲を歩く場合、その３Ｄオブジェクトは、各視点に対して再レンダリングされ、エンドユーザに、実空間を占有するオブジェクトの周囲を歩いているという知覚を与えることができる。頭部装着型ディスプレイが、複数のオブジェクトを仮想空間内に提示するために使用される場合（例えば、豊かな仮想世界）、場面を再レンダリングして、エンドユーザの動的に変化する頭部の場所および向きを合わせ、仮想空間で増加した没入感を提供するために、頭部の姿勢の測定を使用することができる。

ＡＲ（すなわち、実および仮想要素の同時視認）を可能にする頭部装着型ディスプレイは、いくつかの異なるタイプの構成を有することができる。多くの場合、「ビデオシースルー」ディスプレイと称される１つのそのような構成では、カメラが、実際の場面の要素を捕捉し、コンピューティングシステムが、仮想要素を捕捉された実場面上に重ね、非透明ディスプレイが、複合画像を眼に提示する。別の構成は、多くの場合、「光学シースルー」ディスプレイと称され、エンドユーザは、ディスプレイサブシステム内の透明（または半透明）要素を通して見て、環境内の実オブジェクトからの光を直接視認することができる。多くの場合、「結合器」と称される、透明要素は、実世界のエンドユーザの視点の上にディスプレイからの光を重ねる。

ＶＲおよびＡＲシステムは、典型的には、投影サブシステムと、エンドユーザの視野の正面に位置付けられ、投影サブシステムが画像フレームを連続して投影するディスプレイ表面とを有するディスプレイサブシステムを採用する。真の３次元システムでは、ディスプレイ表面の深度は、フレームレートまたはサブフレームレートにおいて制御されることができる。投影サブシステムは、その中に１つ以上の光源からの光が異なる色の光を定義されたパターンで放出する１つ以上の光ファイバと、光ファイバを所定のパターンで走査し、エンドユーザに連続して表示される画像フレームを作成する走査デバイスとを含み得る。

一実施形態では、ディスプレイサブシステムは、ユーザの視野と略平行であり、その中に光ファイバからの光が投入される１つ以上の平面光学導波管を含む。１つ以上の線形回折格子が、導波管内に埋設され、導波管に沿って伝搬する入射光の角度を変化させる。光の角度を全内部反射（ＴＩＲ）の閾値を超えて変化させることによって、光は、導波管の１つ以上の側方面から脱出する。線形回折格子は、低回折効率を有し、したがって、光が線形回折格子に遭遇する度に、一部の光エネルギーのみが、導波管の外に向かわせられる。格子に沿った複数の場所において光を外部結合することによって、ディスプレイサブシステムの射出瞳は、効果的に増加させられる。ディスプレイサブシステムはさらに、光ファイバから生じる光をコリメートする１つ以上のコリメート要素と、コリメートされた光を導波管の縁にまたはそこから光学的に結合する光学入力装置とを備え得る。

図２を参照すると、ディスプレイサブシステム２０の一実施形態は、光を生成する１つ以上の光源２２と、光を放出する光ファイバ２４と、光ファイバ２４の遠位端から出射する光を光ビーム３６にコリメートするコリメート要素２６とを備えている。ディスプレイサブシステム２０は、それに対して、またはその中に光ファイバ２４が固定−自由可撓性カンチレバーとして搭載される圧電要素２８と、駆動電子機器３０とをさらに備え、駆動電子機器は、圧電要素２２に電気的に結合され、圧電要素２８を活性化し、電気的に刺激し、それによって、光ファイバ２４の遠位端に支点３４の周りに偏向３２を作成する所定の走査パターンで振動させ、それによって、走査パターンに従ってコリメートされた光ビーム３６を走査する。

ディスプレイサブシステム２０は、エンドユーザの視野と略平行である平面光学導波管４０と、平面光学導波管４０に関連付けられる回折光学要素（ＤＯＥ）４２と、平面光学導波管４０の端部内に統合される、内部結合要素（ＩＣＥ）４２（ＤＯＥの形態をとる）とを含む導波管装置３８を備えている。ＩＣＥ４２は、コリメート要素２６からコリメートされた光３６を平面光学導波管４０の中に内部結合し、その光の方向を向け直す。コリメート要素２６からのコリメートされた光ビーム３６は、平面光学導波管４０に沿って伝搬し、ＤＯＥ４２と交差し、ＤＯＥは、平面光学導波管４０のレンズ効果係数に応じた視認距離で集中させられる光線４６として、光の一部を導波管装置３８の面からエンドユーザの眼に向かって出射させる。したがって、光源２２は、駆動電子機器３０と併せて、空間的および／または時間的に変動する光の形態でエンコードされた画像データを生成する。

エンドユーザによって可視化される各ピクセルの場所は、平面光学導波管４０から出射する光線４８の角度に非常に依存する。したがって、異なる角度で導波管４０から出射する光線４８は、エンドユーザの視野内の異なる場所にピクセルを作成するであろう。例えば、ピクセルをエンドユーザの視野の右上に位置させることが所望される場合、コリメートされた光ビーム３６は、ある角度において、導波管装置３８の中に入力され得、ピクセルをエンドユーザの視野の中心に位置させることが所望される場合、コリメートされた光ビーム３６は、第２の異なる角度において、導波管装置３８の中に入力され得る。したがって、光ファイバ２４が、走査パターンに従って走査されるにつれて、光ファイバ２４から生じる光ビーム３６は、異なる角度で導波管装置３８の中に入力され、それによって、ピクセルをエンドユーザの視野内の異なる場所に作成するであろう。したがって、エンドユーザの視野内の各ピクセルの場所は、平面光学導波管４０から出射する光線４８の角度に非常に依存し、したがって、これらのピクセルの場所は、ディスプレイサブシステム２０によって生成された画像データ内にエンコードされる。

導波管装置３８に入射する光ビーム３６の角度、したがって、平面光学導波管４０に入射する光ビーム３６の角度は、平面光学導波管４０から出射する光線４８の角度と異なるであろうが、導波管装置３８に入射する光ビーム３６の角度と平面光学導波管４０から出射する光線４８の角度との間の関係は、周知かつ予測可能であり、したがって、平面光学導波管４０から出射する光線４８の角度は、導波管装置３８に入射するコリメートされた光ビーム３６の角度から容易に予測されることができる。

前述から、光ファイバ２４から導波管装置３８に入射する光ビーム３６の実際の角度、したがって、エンドユーザに向かって導波管４０から出射する光線４８の実際の角度は、出射光線４８の設計される角度と同じもしくはほぼ同じまたは１対１の関係であり、それによって、エンドユーザによって可視化されるピクセルの場所がディスプレイサブシステム２０によって生成された画像データ内に適切にエンコードされることが理解され得る。しかしながら、異なるスキャナ間の製造公差だけではなく、ディスプレイサブシステム２０を一緒に統合するために使用される接合材料の一貫性を変化させ得る温度の変動等の変化する環境条件にも起因して、出射光線４８の実際の角度は、補償を伴わない場合、出射光線４８の設計された角度から変動し、それによって、エンドユーザの視野内の正しくない場所にあるピクセルを作成し、画像歪みをもたらすであろう。

したがって、仮想現実または拡張現実環境におけるディスプレイサブシステムの導波管から出射する光線の実際の角度が、ディスプレイサブシステムによって生成された画像データ内にエンコードされた設計された角度とほぼ同じであることを確実にする必要がある。

本発明の実施形態は、１人以上のユーザのために、仮想現実および／または拡張現実相互作用を促進するためのデバイス、システム、および方法を対象とする。

本発明の第１の側面によると、エンドユーザによって使用される仮想画像生成システムのためのディスプレイサブシステムが、提供される。ディスプレイサブシステムは、平面導波管装置を備えている。一実施形態では、導波管装置は、エンドユーザの眼の正面に位置付けられるために構成される。別の実施形態では、導波管装置は、エンドユーザの眼と周囲環境との間で視野内に位置付けられるために構成される部分的に透明なディスプレイ表面を有する。さらに別の実施形態では、ディスプレイサブシステムは、エンドユーザによって装着されるために構成されるフレーム構造を備えている。その場合、フレーム構造は、平面導波管装置を支持する。

ディスプレイサブシステムは、光を放出するために構成されるイメージング要素と、イメージング要素からの光を光ビームにコリメートするために構成されるコリメート要素とをさらに備えている。一実施形態では、イメージング要素は、光を生成するために構成される、少なくとも１つの光源と、光を放出するために構成される光ファイバと、光ファイバが搭載されている機械的駆動アセンブリとを備えている。機械的駆動アセンブリは、走査パターンに従って光ファイバの開口を変位させるために構成される。一実施形態では、機械的駆動アセンブリは、光ファイバが搭載されている圧電要素と、電気信号を圧電要素に伝達し、それによって、走査パターンに従って光ファイバに振動させるために構成される、駆動電子機器とを備えている。

ディスプレイサブシステムは、光線が導波管装置から出射し、画像フレームのピクセルをエンドユーザに表示するように、コリメート要素からの光ビームを導波管装置に向かわせるために構成される内部結合要素（ＩＣＥ）をさらに備えている。ピクセルは、出射光線の角度でエンコードされた場所を有する。一実施形態では、導波管装置は、平面光学導波管（例えば、光学的に透明な材料の単一板から形成されるもの）を備え、その場合、ＩＣＥは、イメージング要素からコリメートされた光ビームを平面光学導波管の中に内部結合された光ビームとして光学的に結合するために構成される。導波管装置はさらに、内部結合された光ビームを複数の直交光ビームに分けるために平面光学導波管に関連付けられている直交瞳拡張（ＯＰＥ）要素と、複数の直交光ビームを平面光学導波管から出射する光線に分けるために平面光学導波管に関連付けられている射出瞳拡張（ＥＰＥ）要素とを備え得る。

ディスプレイサブシステムは、出射光線角度のうちの少なくとも１つを示す少なくとも１つのパラメータを感知するために構成される感知アセンブリをさらに備えている。一実施形態では、感知されるパラメータは、導波管装置の外部表面と一致する平面に直交する少なくとも１つの平面（例えば、互いに直交する２つの直交平面）に投影された出射光線角度を示す。

別の実施形態では、感知されるパラメータは、複数の出射光線を代表する少なくとも１つの光線の強度を備えている。代表光線は、複数の出射光線と異なり得る。この場合、代表光線は、エンドユーザの視野外の複数の出射光線と異なる場所において導波管装置から出射し得る。代替として、複数の出射光線は、代表光線を備え得る。

いずれの場合も、感知アセンブリは、少なくとも１つの角度センサを備え得、それらの各々は、光強度センサと、導波管装置と光強度センサとの間に搭載されている角度選択層とを含む。一実施形態では、角度センサは、一対の直交センサを備え、代表光線の第１および第２の直交強度成分を感知するためにそれぞれ構成される。対の直交センサは、代表光線の第１および第２の直交強度成分をそれぞれ通すために構成される第１および第２の円筒形レンズをそれぞれ備え得る。または、対の直交センサは、代表光線の第１および第２の直交強度成分をそれぞれ通すために構成される第１および第２の回折光学要素をそれぞれ備え得る。または、対の直交センサは、代表光線の各々を直交偏光された光線にそれぞれ偏光させるために構成される第１および第２の偏光要素をそれぞれ備え得る。または、角度選択層は、直交した向きにおいて歪まされ得る。

さらに別の実施形態では、感知されるパラメータは、第１および第２の直交強度成分が正規化されることができるように、少なくとも１つの代表光線の絶対強度を備え得る。この場合、感知アセンブリは、少なくとも１つの代表光線の絶対強度を測定するために構成される別の光強度センサを備え得る。さらに別の実施形態では、感知されるパラメータは、複数の出射光線の相対角度を示す。例えば、感知されるパラメータは、コリメートされた光ビームが平面に投影される象限を備え得る。この場合、感知アセンブリは、基準平面の象限の中で間隔を置かれた複数のセンサまたは象限位置感知検出器（ＰＳＤ）を備え得る。

本発明の第２の側面によると、仮想画像生成システムは、前述のディスプレイサブシステムと、ピクセルの場所を定義する画像データを生成し、ピクセルの定義された場所および感知されたパラメータに基づいて、ＩＣＥに対する光ビームの角度を制御するために構成される制御サブシステムとを備えている。仮想画像生成システムは、３次元場面を記憶しているメモリをさらに備え得、その場合、制御サブシステムは、３次元場面の複数の合成画像フレームをレンダリングするために構成され得、ディスプレイサブシステムは、複数の画像フレームをエンドユーザに連続して表示するために構成され得る。制御サブシステムは、グラフィック処理ユニット（ＧＰＵ）を備え得る。

本発明の第３の側面によると、エンドユーザによる使用のための仮想画像生成システムが、提供される。仮想画像生成システムは、コリメートされた光ビームを生成するために構成される投影サブシステムを備えている。一実施形態では、投影サブシステムは、光を生成するために構成される少なくとも１つの光源と、光を放出するために構成される光ファイバと、光ファイバからの光をコリメートされた光ビームにコリメートするために構成されるコリメート要素と、光ファイバが搭載されている機械的駆動アセンブリとを備えている。機械的駆動アセンブリは、走査パターンに従って光ファイバを変位させるために構成される。一実施形態では、機械的駆動アセンブリは、光ファイバが搭載されている圧電要素と、電気信号を圧電要素に伝達し、それによって、走査パターンに従って光ファイバを振動させるために構成される駆動電子機器とを備え得る。

仮想画像生成システムは、コリメートされた光ビームに応答して、光線を放出し、画像フレームのピクセルをエンドユーザに表示するように構成されるディスプレイをさらに備えている。ピクセルは、放出される光線の角度でエンコードされた場所を有する。一実施形態では、ディスプレイは、画像フレームのピクセルを複数の異なる焦点のうちの１つにおいてエンドユーザに選択的に表示するために構成される。ディスプレイは、エンドユーザの眼の正面に位置付けられるために構成され得る。ディスプレイは、エンドユーザの眼と周囲環境との間で視野内に位置付けられるために構成される部分的に透明なディスプレイ表面を有し得る。別の実施形態では、仮想画像生成システムは、エンドユーザによって装着されるために構成されるフレーム構造をさらに備え、フレーム構造は、ディスプレイを支持する。

仮想画像生成システムは、放出された光線角度を示す少なくとも１つのパラメータを感知するために構成される感知アセンブリをさらに備えている。一実施形態では、感知アセンブリによって感知されるパラメータは、導波管装置の外部表面と一致する平面に直交する少なくとも１つの平面（例えば、互いに直交する２つの直交平面）に投影された出射光線角度を示す。

別の実施形態では、感知されるパラメータは、導波管装置の外部表面と一致する平面に直交する少なくとも１つの平面（例えば、互いに直交する２つの直交平面）に投影された放出される光線角度を示す。

さらに別の実施形態では、感知されるパラメータは、複数の放出される光線を表す少なくとも１つの光線の強度を備えている。代表光線は、複数の放出される光線と異なり得る。この場合、代表光線は、エンドユーザの視野外の複数の放出される光線と異なる場所において導波管装置から出射し得る。代替として、複数の放出される光線は、代表光線を備え得る。

いずれの場合も、感知アセンブリは、少なくとも１つの角度センサを備え得、それらの各々は、光強度センサと、導波管装置と光強度センサとの間に搭載されている角度選択層とを含む。一実施形態では、角度センサは、一対の直交センサを備え、代表光線の第１および第２の直交強度成分を感知するためにそれぞれ構成される。対の直交センサは、代表光線の第１および第２の直交強度成分をそれぞれ通すために構成される第１および第２の円筒形レンズをそれぞれ備え得る。または、対の直交センサは、代表光線の第１および第２の直交強度成分をそれぞれ通すために構成される第１および第２の回折光学要素をそれぞれ備え得る。または、対の直交センサは、代表光線の各々を直交偏光された光線にそれぞれ偏光させるために構成される第１および第２の偏光要素をそれぞれ備え得る。または、角度選択層は、直交した向きにおいて歪まされ得る。

さらに別の実施形態では、感知されるパラメータは、第１および第２の直交強度成分が正規化されることができるように、少なくとも１つの代表光線の絶対強度を備え得る。この場合、感知アセンブリは、少なくとも１つの代表光線の絶対強度を測定するために構成される別の光強度センサを備え得る。さらに別の実施形態では、感知されるパラメータは、複数の放出される光線の相対角度を示す。例えば、感知されるパラメータは、コリメートされた光ビームが平面に投影される象限を備え得る。この場合、感知アセンブリは、基準平面の象限の中で間隔を置かれた複数のセンサまたは象限位置感知検出器（ＰＳＤ）を備え得る。

仮想画像生成システムは、ピクセルの場所を定義する画像データを生成し、ピクセルの定義された場所および感知されたパラメータに基づいて、ディスプレイに対する光ビームの角度を制御するために構成される制御サブシステムをさらに備えている。仮想画像生成システムは、３次元場面を記憶しているメモリをさらに備え得、その場合、制御サブシステムは、３次元場面の複数の合成画像フレームをレンダリングするために構成され得、ディスプレイは、複数の画像フレームをエンドユーザに連続して表示するために構成され得る。制御サブシステムは、グラフィック処理ユニット（ＧＰＵ）を備え得る。

本発明の追加のおよび他のオブジェクト、特徴、ならびに利点は、発明を実施するための形態、図、および請求項に説明される。
本願明細書は、例えば、以下の項目も提供する。
（項目１）
エンドユーザによって使用される仮想画像生成システムのためのディスプレイサブシステムであって、前記ディスプレイサブシステムは、
導波管装置と、
光を放出するために構成されているイメージング要素と、
前記イメージング要素からの光を光ビームにコリメートするために構成されているコリメート要素と、
内部結合要素（ＩＣＥ）であって、前記内部結合要素は、前記コリメート要素からコリメートされた光ビームを前記導波管装置に向かわせるために構成されており、それによって、複数の光線が、前記導波管装置から出射し、画像フレームのピクセルを前記エンドユーザに表示し、前記ピクセルは、前記複数の出射光線の角度でエンコードされた場所を有する、内部結合要素と、
前記出射光線角度を示す少なくとも１つのパラメータを感知するために構成されている感知アセンブリと
を備えている、ディスプレイサブシステム。
（項目２）
前記イメージング要素は、
前記光を生成するために構成されている少なくとも１つの光源と、
前記光を放出するために構成されている光ファイバと、
前記光ファイバが搭載されている機械的駆動アセンブリと
を備え、
前記機械的駆動アセンブリとは、走査パターンに従って前記光ファイバを変位させるために構成されている、項目１に記載のディスプレイサブシステム。
（項目３）
前記機械的駆動アセンブリは、前記光ファイバが搭載されている圧電要素と、電気信号を前記圧電要素に伝達し、それによって、前記光ファイバに前記走査パターンに従って振動させるために構成されている駆動電子機器とを備えている、項目２に記載のディスプレイサブシステム。
（項目４）
前記導波管装置は、前記エンドユーザの眼の正面に位置付けられるために構成されている、項目１に記載のディスプレイサブシステム。
（項目５）
前記導波管装置は、前記エンドユーザの眼と周囲環境との間で視野内に位置付けられるために構成されている部分的に透明なディスプレイ表面を有する、項目１に記載のディスプレイサブシステム。
（項目６）
前記エンドユーザによって装着されるために構成されているフレーム構造をさらに備え、前記フレーム構造は、前記導波管装置を支持している、項目１に記載のディスプレイサブシステム。
（項目７）
前記導波管装置は、
平面光学導波管であって、前記ＩＣＥは、前記イメージング要素からコリメートされた光ビームを前記平面光学導波管の中に内部結合された光ビームとして光学的に結合するために構成されている、平面光学導波管と、
前記内部結合された光ビームを複数の直交光ビームに分けるために前記平面光学導波管に関連付けられている直交瞳拡張（ＯＰＥ）要素と、
前記複数の直交光ビームを前記平面光学導波管から出射する光線に分けるために前記平面光学導波管に関連付けられている射出瞳拡張（ＥＰＥ）要素と
を備えている、項目１に記載のディスプレイサブシステム。
（項目８）
前記平面光学導波管は、光学的に透明な材料の単一板から形成される単一基板を備えている、項目７に記載のディスプレイサブシステム。
（項目９）
前記少なくとも１つの感知されるパラメータは、前記導波管装置の外部表面と一致する平面に直交する少なくとも１つの平面に投影される出射光線角度を示す、項目１に記載のディスプレイサブシステム。
（項目１０）
前記少なくとも１つの平面は、互いに直交する２つの平面を備えている、項目９に記載のディスプレイサブシステム。
（項目１１）
前記少なくとも１つの感知されるパラメータは、前記複数の出射光線を代表する少なくとも１つの光線の強度を備えている、項目９に記載のディスプレイサブシステム。
（項目１２）
前記少なくとも１つの代表光線は、前記複数の出射光線と異なる、項目１１に記載のディスプレイサブシステム。
（項目１３）
前記少なくとも１つの代表光線は、前記エンドユーザの視野外の前記複数の出射光線と異なる場所において前記導波管装置から出射する、項目１２に記載のディスプレイサブシステム。
（項目１４）
前記複数の出射光線は、前記少なくとも１つの代表光線を備えている、項目１１に記載のディスプレイサブシステム。
（項目１５）
前記感知アセンブリは、少なくとも１つの角度センサを備え、それらの各々は、光強度センサと、前記導波管装置と前記光強度センサとの間に搭載されている角度選択層とを含む、項目１１に記載のディスプレイサブシステム。
（項目１６）
前記少なくとも１つの角度センサは、一対の直交センサを備え、前記一対の直交センサは、前記少なくとも１つの代表光線の第１および第２の直交強度成分を感知するためにそれぞれ構成されている、項目１５に記載のディスプレイサブシステム。
（項目１７）
前記対の直交センサは、前記少なくとも１つの代表光線の第１および第２の直交強度成分をそれぞれ通すために構成されている第１および第２の円筒形レンズをそれぞれ備えている、項目１６に記載のディスプレイサブシステム。
（項目１８）
前記対の直交センサは、前記少なくとも１つの代表光線の第１および第２の直交強度成分をそれぞれ通すために構成されている第１および第２の回折光学要素をそれぞれ備えている、項目１６に記載のディスプレイサブシステム。
（項目１９）
前記対の直交センサは、前記少なくとも１つの代表光線の各々を直交偏光された光線に偏光させるためにそれぞれ構成されている第１および第２の偏光要素をそれぞれ備えている、項目１６に記載のディスプレイサブシステム。
（項目２０）
前記角度選択層は、直交した向きにおいて歪まされている、項目１６に記載のディスプレイサブシステム。
（項目２１）
前記少なくとも１つの感知されるパラメータは、前記第１および第２の直交強度成分が正規化されることができるように、前記少なくとも１つの代表光線の絶対強度を備えている、項目１６に記載のディスプレイサブシステム。
（項目２２）
前記感知アセンブリは、前記少なくとも１つの代表光線の絶対強度を測定するために構成されている別の光強度センサを備えている、項目２１に記載のディスプレイサブシステム。
（項目２３）
前記少なくとも１つの感知されるパラメータは、前記複数の出射光線の相対角度を示す、項目１６に記載のディスプレイサブシステム。
（項目２４）
前記少なくとも１つの感知されるパラメータは、前記コリメートされた光ビームが平面に投影される象限をさらに備えている、項目２３に記載のディスプレイサブシステム。
（項目２５）
前記感知アセンブリは、基準平面の前記象限の中で間隔を置かれた複数のセンサを備えている、項目２４に記載のディスプレイサブシステム。
（項目２６）
前記感知アセンブリは、象限位置感知検出器（ＰＳＤ）を備えている、項目２４に記載のディスプレイサブシステム。
（項目２７）
仮想画像生成システムであって、前記仮想画像生成システムは、
項目１に記載のディスプレイサブシステムと、
制御サブシステムと
を備え、
前記制御サブシステムは、前記ピクセルの場所を定義する画像データを生成することと、前記ピクセルの定義された場所と前記少なくとも１つの感知されるパラメータとに基づいて、前記ＩＣＥに対する前記光ビームの角度を制御することとを行うために構成されている、仮想画像生成システム。
（項目２８）
３次元場面を記憶しているメモリをさらに備え、前記制御サブシステムは、前記３次元場面の複数の合成画像フレームをレンダリングするために構成され、前記ディスプレイサブシステムは、前記複数の画像フレームを前記エンドユーザに連続して表示するために構成されている、項目２７に記載の仮想画像生成システム。
（項目２９）
前記制御サブシステムは、グラフィック処理ユニット（ＧＰＵ）を備えている、項目２７に記載の仮想画像生成システム。
（項目３０）
エンドユーザによる使用のための仮想画像生成システムであって、前記仮想画像生成システムは、
コリメートされた光ビームを生成するために構成されている投影サブシステムと、
前記コリメートされた光ビームに応答して、光線を放出し、画像フレームのピクセルを前記エンドユーザに表示するように構成されているディスプレイであって、前記ピクセルは、前記放出される光線の角度でエンコードされた場所を有する、ディスプレイと、
前記放出される光線角度のうちの少なくとも１つを示す少なくとも１つのパラメータを感知するために構成されている感知アセンブリと、
制御サブシステムと
を備え、
前記制御サブシステムは、前記ピクセルの場所を定義する画像データを生成することと、前記ピクセルの定義された場所と前記少なくとも１つの感知されるパラメータとに基づいて、前記ディスプレイに対する前記光ビームの角度を制御することとを行うために構成されている、仮想画像生成システム。
（項目３１）
前記投影サブシステムは、
光を生成するために構成されている少なくとも１つの光源と、
前記光を放出するために構成されている光ファイバと、
前記光ファイバからの光をコリメートされた光ビームにコリメートするために構成されているコリメート要素と、
前記光ファイバが搭載されている機械的駆動アセンブリと
を備え、
前記機械的駆動アセンブリは、走査パターンに従って前記光ファイバを変位させるために構成されている、項目３０に記載の仮想画像生成システム。
（項目３２）
前記機械的駆動アセンブリは、前記光ファイバが搭載されている圧電要素と、駆動電子機器とを備え、前記駆動電子機器は、電気信号を前記圧電要素に伝達し、それによって、走査パターンに従って前記光ファイバに振動させるために構成されている、項目３０に記載の仮想画像生成システム。
（項目３３）
前記ディスプレイは、前記画像フレームのピクセルを複数の異なる焦点のうちの１つにおいて前記エンドユーザに選択的に表示するために構成されている、項目３０に記載の仮想画像生成システム。
（項目３４）
前記ディスプレイは、前記エンドユーザの眼の正面に位置付けられるために構成されている、項目３０に記載の仮想画像生成システム。
（項目３５）
前記ディスプレイは、前記エンドユーザの眼と周囲環境との間で視野内に位置付けられるために構成されている部分的に透明なディスプレイ表面を有する、項目３０に記載の仮想画像生成システム。
（項目３６）
前記エンドユーザによって装着されるために構成されているフレーム構造をさらに備え、前記フレーム構造は、前記ディスプレイを支持している、項目３０に記載の仮想画像生成システム。
（項目３７）
３次元場面を記憶しているメモリをさらに備え、前記制御サブシステムは、前記３次元場面の複数の合成画像フレームをレンダリングするために構成され、前記ディスプレイは、前記複数の画像フレームを前記エンドユーザに連続して表示するために構成されている、項目３０に記載の仮想画像生成システム。
（項目３８）
前記制御サブシステムは、グラフィック処理ユニット（ＧＰＵ）を備えている、項目３０に記載の仮想画像生成システム。
（項目３９）
前記導波管装置は、
平面光学導波管であって、前記ＩＣＥは、前記イメージング要素からコリメートされた光ビームを前記平面光学導波管の中に内部結合された光ビームとして光学的に結合するために構成されている、平面光学導波管と、
前記内部結合された光ビームを複数の直交光ビームに分けるために前記平面光学導波管に関連付けられている直交瞳拡張（ＯＰＥ）要素と、
前記複数の直交光ビームを前記平面光学導波管から放出される光線に分けるために前記平面光学導波管に関連付けられている射出瞳拡張（ＥＰＥ）要素と
を備えている、項目３０に記載の仮想画像生成システム。
（項目４０）
前記平面光学導波管は、光学的に透明な材料の単一板から形成される単一基板を備えている、項目３９に記載の仮想画像生成システム。
（項目４１）
前記少なくとも１つの感知されるパラメータは、前記導波管装置の外部表面と一致する平面に直交する少なくとも１つの平面に投影された前記放出される光線角度を示す、項目３０に記載の仮想画像生成システム。
（項目４２）
前記少なくとも１つの平面は、互いに直交する２つの平面を備えている、項目４１に記載の仮想画像生成システム。
（項目４３）
前記少なくとも１つの感知されるパラメータは、前記複数の出射光線を代表する少なくとも１つの光線の強度を備えている、項目４１に記載の仮想画像生成システム。
（項目４４）
前記少なくとも１つの代表光線は、前記放出される光線と異なる、項目４３に記載の仮想画像生成システム。
（項目４５）
前記少なくとも１つの代表光線は、前記エンドユーザの視野外の前記複数の出射光線と異なる場所において前記導波管装置によって放出される、項目４４に記載の仮想画像生成システム。
（項目４６）
前記複数の放出される光線は、前記少なくとも１つの代表光線を備えている、項目４３に記載の仮想画像生成システム。
（項目４７）
前記感知アセンブリは、少なくとも１つの角度センサを備え、それらの各々は、光強度センサと、前記導波管装置と前記光強度センサとの間に搭載されている角度選択層とを含む、項目４３に記載の仮想画像生成システム。
（項目４８）
前記少なくとも１つの角度センサは、一対の直交センサを備え、前記一対の直交センサは、前記少なくとも１つの代表光線の第１および第２の直交強度成分を感知するためにそれぞれ構成されている、項目４７に記載の仮想画像生成システム。
（項目４９）
前記対の直交センサは、前記少なくとも１つの代表光線の第１および第２の直交強度成分をそれぞれ通すために構成されている第１および第２の円筒形レンズをそれぞれ備えている、項目４８に記載の仮想画像生成システム。
（項目５０）
前記対の直交センサは、前記少なくとも１つの代表光線の第１および第２の直交強度成分をそれぞれ通すために構成されている第１および第２の回折光学要素をそれぞれ備えている、項目４８に記載の仮想画像生成システム。
（項目５１）
前記対の直交センサは、前記少なくとも１つの代表光線の各々を直交偏光された光線に偏光させるためにそれぞれ構成されている第１および第２の偏光要素をそれぞれ備えている、項目４８に記載の仮想画像生成システム。
（項目５２）
前記角度選択層は、直交した向きにおいて歪まされている、項目４８に記載の仮想画像生成システム。
（項目５３）
前記少なくとも１つの感知されるパラメータは、前記第１および第２の直交強度成分が正規化されることができるように、前記少なくとも１つの代表光線の絶対強度を備えている、項目４８に記載の仮想画像生成システム。
（項目５４）
前記感知アセンブリは、前記少なくとも１つの代表光線の絶対強度を測定するために構成されている別の光強度センサをさらに備えている、項目５３に記載の仮想画像生成システム。
（項目５５）
前記少なくとも１つの感知されるパラメータは、前記放出される光線の相対角度を示す、項目４８に記載の仮想画像生成システム。
（項目５６）
前記少なくとも１つの感知されるパラメータは、前記コリメートされた光ビームが平面に投影される象限をさらに備えている、項目５５に記載の仮想画像生成システム。
（項目５７）
前記感知アセンブリは、基準平面の前記象限の中で間隔を置かれた複数のセンサを備えている、項目５６に記載の仮想画像生成システム。
（項目５８）
前記感知アセンブリは、象限位置感知検出器（ＰＳＤ）を備えている、項目５６に記載の仮想画像生成システム。

図面は、本発明の好ましい実施形態の設計および有用性を図示し、類似要素は、共通参照番号によって参照される。本発明の前述および他の利点ならびに目的が得られる方法をより深く理解するために、簡単に前述された本発明のより詳細な説明が、付随の図面に図示されるその具体的実施形態を参照することによって与えられるであろう。これらの図面は、本発明の典型的実施形態のみを描写し、したがって、その範囲の限定と見なされるべきではないことを理解した上で、本発明は、付随の図面の使用を通して追加の具体性および詳細とともに説明ならびに記載されるであろう。

図１は、従来技術の拡張現実生成デバイスによってエンドユーザに表示され得る３次元拡張現実場面の写真である。 図２は、拡張現実生成デバイス内で使用され得る従来技術のディスプレイサブシステムの一実施形態の平面図である。 図３は、本発明の一実施形態に従って構築される仮想画像生成システムのブロック図である。 図４ａは、図４の仮想画像生成システムを装着するために使用され得る１つの技法の平面図である。 図４ｂは、図３の仮想画像生成システムを装着するために使用され得る別の技法の平面図である。 図４ｃは、図３の仮想画像生成システムを装着するために使用され得るさらに別の技法の平面図である。 図４ｄは、図３の仮想画像生成システムを装着するために使用され得るさらに別の技法の平面図である。 図５は、図３の仮想画像生成システムにおいて使用するためのディスプレイサブシステムの一実施形態の平面図である。 図は、図５のディスプレイサブシステムにおいて使用するための一次平面導波管の一実施形態である。 図７は、図３の仮想画像生成システムによって生成された例示的フレームの平面図である。 図８は、図７の例示的フレームを生成するために使用され得る１つの走査パターンの平面図である。 図９は、別の例示的フレームを生成するために使用され得る別の走査パターンの平面図である。 図１０は、さらに別の例示的フレームを生成するために使用され得るさらに別の走査パターンの平面図である。 図１１は、さらに別の例示的フレームを生成するために使用され得るさらに別の走査パターンの平面図である。 図１２は、図５のディスプレイサブシステムにおいて使用するための導波管装置の一実施形態の平面図であり、特に、光線角度感知アセンブリの１つの配列を示す。 図１３は、線１３−１３に沿って得られた図１２の導波管装置の断面図である。 図１４は、線１４−１４に沿って得られた図１２の導波管装置の断面図である。 図１５は、図５のディスプレイサブシステムにおいて使用するための導波管装置の別の実施形態の平面図である。 図１６は、図５のディスプレイサブシステムにおいて使用するための導波管装置のさらに別の実施形態の平面図である。 図１７ａは、図１２の導波管装置の斜視図であり、特に、無限視認距離に集中させられる出射光線を示す。 図１７ｂは、図１２の導波管装置の斜視図であり、特に、第１の非無限視認距離に集中させられる出射光線を示す。 図１７ｃは、図１２の導波管装置の斜視図であり、特に、第２の非無限視認距離に集中させられる出射光線を示す。 図１８ａは、ディスプレイ画面の斜視図であり、コリメートされた光ビームの１つのビーム角度とエンドユーザの視野（ＦＯＶ）内のピクセルとの間の対応を示す。 図１８ｂは、ディスプレイ画面の斜視図であり、コリメートされた光ビームの別のビーム角度とエンドユーザの視野（ＦＯＶ）内のピクセルとの間の対応を示す。 図１９は、ｘ−ｚ平面およびｙ−ｚ平面上に投影された、図１８ａのディスプレイ画面から出射する光線の角度の投影の斜視図である 図２０ａは、図１２の感知アセンブリの直交センサの一実施形態の平面図である。 図２０ｂは、図１２の感知アセンブリの直交センサの別の実施形態の平面図である。 図２０ｃは、図１２の感知アセンブリの直交センサのさらに別の実施形態の平面図である。 図２１ａは、例示的誘電層伝送−角度関係の略図である。 図２１ｂは、光検出器強度−電圧関係の略図である。 図２２ａは、ｘ−ｙ平面に対して平面光学導波管装置から出射する光線を図示する略図の斜視図である。 図２２ｂは、ｘ−ｙ平面上に投影された図２３ａの光線を図示する略図の平面図である。 図２３ａは、図１２の感知アセンブリの４つの象限センサの一実施形態の平面図である。 図２３ｂは、図１２の感知アセンブリの位置感知検出器（ＰＳＤ）の一実施形態の平面図である。 図２４は、図５のディスプレイサブシステムにおいて使用するための導波管装置の一実施形態の投影図であり、特に、光線角度感知アセンブリの別の配列を示す。

続く説明は、仮想現実および／または拡張現実システムにおいて使用されるべきディスプレイサブシステムおよび方法に関する。しかしながら、本発明は、仮想または拡張現実システムにおける用途に有用であるが、本発明は、その最も広範な側面では、そのように限定されないこともあることを理解されたい。

図３を参照して、本発明に従って構築された仮想画像生成システム１００の一実施形態が、ここで説明されるであろう。仮想画像生成システム１００は、拡張現実サブシステムとして動作させられ、エンドユーザ５０の視野内の物理的オブジェクトと混合された仮想オブジェクトの画像を提供し得る。仮想画像生成システム１００を動作させるときの２つの基本アプローチが存在する。第１のアプローチは、１つ以上の撮像機（例えば、カメラ）を採用し、周囲環境の画像を捕捉する。仮想画像生成システム１００は、仮想画像を周囲環境の画像を表すデータの中に混合させる。第２のアプローチは、１つ以上の少なくとも部分的に透明な表面を採用し、それを通して周囲環境が見られ、その上に仮想画像生成システム１００が、仮想オブジェクトの画像を生成する。

仮想画像生成システム１００および本明細書に教示される種々の技法は、拡張現実および仮想現実サブシステム以外の用途でも採用され得る。例えば、種々の技法は、任意の投影もしくはディスプレイサブシステムに適用され得るか、または移動が、頭部ではなく、エンドユーザの手によって行われ得るピコプロジェクタに適用され得る。したがって、多くの場合、拡張現実サブシステムまたは仮想現実サブシステムの観点から本明細書に説明されるが、本教示は、そのような使用のそのようなサブシステムに限定されるべきではない。

少なくとも拡張現実用途のために、種々の仮想オブジェクトをエンドユーザ５０の視野内のそれぞれの物理的オブジェクトに対して空間的に位置付けることが望ましくあり得る。仮想オブジェクトは、本明細書では、仮想タグまたはコールアウトとも称され、多種多様な形態、基本的に、画像として表されることが可能な任意の種々のデータ、情報、概念、または論理構造のいずれかをとり得る。仮想オブジェクトの非限定的例として、仮想テキストオブジェクト、仮想数字オブジェクト、仮想英数字オブジェクト、仮想タグオブジェクト、仮想フィールドオブジェクト、仮想チャートオブジェクト、仮想マップオブジェクト、仮想器具類オブジェクト、または物理的オブジェクトの仮想視覚表現が挙げられ得る。

仮想画像生成システム１００は、エンドユーザ５０によって装着されるフレーム構造１０２と、それがエンドユーザ５０の眼５２の正面に位置付けられるように、フレーム構造１０２によって支持されるディスプレイサブシステム１０４と、それがエンドユーザ５０の外耳道に隣接して位置付けられる（随意に、別のスピーカ（図示せず）がエンドユーザ５０の他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音制御を提供する）ように、フレーム構造１０２によって支持されるスピーカ１０６とを備えている。ディスプレイサブシステム１０４は、エンドユーザ５０の眼５２に光ベースの放射パターンを提示するように設計され、光ベースの放射パターンは、高レベルの画質および３次元知覚を伴って、物理的現実に対する拡張として快適に知覚され、かつ２次元コンテンツを提示可能であり得る。ディスプレイサブシステム１０４は、一連のフレームを高周波数で提示し、単一コヒーレント場面の知覚を提供する。

図示される実施形態では、ディスプレイサブシステム１０４は、それを通してユーザが光を実オブジェクトから透明（または半透明）要素を介して直接光を視認することができる「光学シースルー」ディスプレイを採用する。透明要素は、多くの場合、「結合器」と称され、ディスプレイからの光を実世界のユーザの視野の上に重ねる。この目的を達成するために、ディスプレイサブシステム１０４は、投影サブシステム１０８と、その上に投影サブシステム１０８が画像を投影する部分的に透明なディスプレイ画面１１０とを備えている。ディスプレイ画面１１０は、エンドユーザ５０の眼５２と周囲環境との間でエンドユーザ５０の視野に位置付けられ、周囲環境からの直接光がディスプレイ画面１１０を通してエンドユーザ５０の眼５２へ伝送されるようなものである。

図示される実施形態では、投影アセンブリ１０８は、走査される光を部分的に透明なディスプレイ画面１１０に提供し、それによって、走査される光が、周囲環境からの直接光と組み合わさり、ディスプレイ画面１１０からユーザ５０の眼５２に伝送される。図示される実施形態では、投影サブシステム１０８は、光ファイバ走査ベースの投影デバイスの形態をとり、ディスプレイ画面１１０は、導波管ベースのディスプレイの形態をとり、投影サブシステム１０８からの走査された光が、その中に投入され、例えば、無限遠より近い単一光学視認距離（例えば、腕の長さ）における画像、複数の個別的な光学視認距離もしくは焦点面における画像、および／または、立体３Ｄオブジェクトを表すための複数の視認距離もしくは焦点面にスタックされる画像層を生成する。明視野内のこれらの層は、ヒト視覚副系に連続して現れるように十分に一緒に近接してスタックされ得る（すなわち、一方の層は、隣接する層の乱信号円錐域内にある）。加えて、または代替として、写真要素が、２つ以上の層を横断して混成され、それらの層がより疎らにスタックされる場合でも、明視野内の層間の遷移の知覚される連続性を増加させ得る（すなわち、一方の層は隣接する層の乱信号円錐域外にある）。ディスプレイサブシステム１０４は、単眼または双眼用であり得る。

仮想画像生成システム１００は、エンドユーザ５０の頭部５４の位置および移動ならびに／またはエンドユーザ５０の眼の位置および眼間距離を検出するために、フレーム構造１０２に搭載される１つ以上のセンサ（図示せず）をさらに備えている。そのようなセンサは、画像捕捉デバイス（カメラ等）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロスコープ）を含み得る。

仮想画像生成システム１００は、ユーザの向き検出モジュール１１２をさらに備えている。ユーザの向き検出モジュール１１２は、エンドユーザ５０の頭部５４の瞬時位置を検出し、センサから受信された位置データに基づいて、エンドユーザ５０の頭部５４の位置を予測し得る。エンドユーザ５０の頭部５４の瞬時位置の検出は、エンドユーザ５０が見ている特定の実際のオブジェクトの決定を促進し、それによって、その実際のオブジェクトのために生成されるべき特定のテキストメッセージの指示を提供し、さらに、テキストメッセージがストリーミングされるべきテキスト領域の指示を提供する。ユーザの向きモジュール１１２は、センサから受信された追跡データに基づいて、エンドユーザ５０の眼５２を追跡することも行う。

仮想画像生成システム１００は、多種多様な形態のいずれかをとり得る制御サブシステムをさらに備えている。制御サブシステムは、いくつかのコントローラ、例えば、１つ以上のマイクロコントローラ、マイクロプロセッサまたは中央処理ユニット（ＣＰＵ）、デジタル信号プロセッサ、グラフィック処理ユニット（ＧＰＵ）、他の集積回路コントローラ、例えば、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルゲートアレイ（ＰＧＡ）、例えば、フィールドＰＧＡ（ＦＰＧＡＳ）、および／またはプログラマブル論理コントローラ（ＰＬＵ）を含む。

仮想画像生成システム１００の制御サブシステムは、中央処理ユニット（ＣＰＵ）１１４と、グラフィック処理ユニット（ＧＰＵ）１１６と、１つ以上のフレームバッファ１１８と、３次元データを記憶するための３次元データベース１２０とを備えている。ＣＰＵ１１４は、全体的動作を制御する一方、ＧＰＵ１１６は、３次元データベース１２０内に記憶される３次元データからフレームをレンダリングし（すなわち、３次元場面を２次元画像に変換し）、これらのフレームをフレームバッファ１１６内に記憶する。図示されないが、１つ以上の追加の集積回路が、フレームのフレームバッファ１１６の中への読み込みおよび／またはそこからの読み取りならびにディスプレイサブシステム１０４の投影アセンブリ１０８の動作を制御し得る。

本発明により重要なこととして、仮想画像生成システム１００は、エンドユーザ５０の眼５２に向かってディスプレイ画面１００から出射する１つ以上の光線の角度を直接または間接的に感知する光線角度感知アセンブリ１２２をさらに備えている。以下にさらに詳細に説明されるであろうように、エンドユーザの視野５０内の画像フレームの各ピクセルの所望の場所は、ディスプレイ画面１１０から出射する光線の角度に非常に相関し、したがって、出射光線の感知された角度は、出射光線の実際の角度が、ディスプレイサブシステム１０４によって生成された画像データ内でエンコードされた出射光線の設計された角度とほぼ同じであることを確実にするために、ディスプレイサブシステム１０４を較正するために使用され得る。

仮想画像生成システム１００の種々の処理コンポーネントは、分散型サブシステム内に物理的に含まれ得る。例えば、図４ａ−４ｄに図示されるように、仮想画像生成システム１００は、有線導線または無線接続性１３６等によって、ディスプレイサブシステム１０４およびセンサに動作可能に結合される、ローカル処理およびデータモジュール１３０を備えている。ローカル処理およびデータモジュール１３０は、フレーム構造１０２に固定して取り付けられる構成（図４ａ）、ヘルメットもしくは帽子５６に固定して取り付けられる構成（図４ｂ）、ヘッドホン内に埋設される構成、エンドユーザ５０の胴体５８に除去可能に取り付けられる構成（図４ｃ）、またはベルト結合式構成においてエンドユーザ５０の腰６０に除去可能に取り付けられる構成（図４ｄ）等、種々の構成で搭載され得る。仮想画像生成システム１００は、有線導線または無線接続性１３８、１４０等によって、ローカル処理およびデータモジュール１３０に動作可能に結合される遠隔処理モジュール１３２および遠隔データリポジトリ１３４をさらに備え、これらの遠隔モジュール１３２、１３４は、互いに動作可能に結合され、ローカル処理およびデータモジュール１３０に対してリソースとして利用可能である。

ローカル処理およびデータモジュール１３０は、電力効率的プロセッサまたはコントローラと、フラッシュメモリ等のデジタルメモリとを備え得、それらの両方は、データの処理、キャッシュ、および記憶を補助するために利用され得、データは、センサから捕捉され、および／または、遠隔処理モジュール１３２および／または遠隔データリポジトリ１３４を使用して取得ならびに／もしくは処理され、それらは、おそらく、そのような処理もしくは読み出し後、ディスプレイサブシステム１０４への通過のためである。遠隔処理モジュール１３２は、データおよび／または画像情報を分析ならびに処理するように構成される、１つ以上の比較的に強力なプロセッサもしくはコントローラを備え得る。遠隔データリポジトリ１３４は、比較的に大規模なデジタルデータ記憶設備を備え得、それは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であり得る。一実施形態では、ローカル処理およびデータモジュール１３０において、全データが記憶され、全計算が行われ、任意の遠隔モジュールからの完全に自律的使用を可能にする。

前述の種々のコンポーネント間の結合１３６、１３８、１４０は、有線もしくは光学通信を提供するための１つ以上の有線インターフェースもしくはポート、または無線通信を提供するためのＲＦ、マイクロ波、およびＩＲ等を介した１つ以上の無線インターフェースもしくはポートを含み得る。いくつかの実装では、全ての通信は、有線であり得る一方、他の実装では、全ての通信は、無線であり得る。なおもさらなる実装では、有線および無線通信の選択肢は、図４ａ−４ｄに図示されるものと異なり得る。したがって、有線または無線通信の特定の選択肢は、限定と見なされるべきではない。

図示される実施形態では、ユーザの向きモジュール１１２は、ローカル処理およびデータモジュール１３０内に含まれる一方、ＣＰＵ１１２およびＧＰＵ１１６は、遠隔処理モジュール１３２内に含まれるが、代替実施形態では、ＣＰＵ１１４、ＧＰＵ１１４、またはその一部は、ローカル処理およびデータモジュール１３０内に含まれ得る。３Ｄデータベース１２０は、遠隔データリポジトリ１３４に関連付けられることができる。

ここで図５を参照すると、投影アセンブリ１０８は、光を生成する（例えば、異なる色の光を定義されたパターンで放出する）１つ以上の光源１５０を含む。光源１５０は、多種多様な形態のいずれかをとり、例えば、ピクセル情報またはデータのそれぞれのフレーム内で規定された定義されたピクセルパターンに従って、赤色、緑色、および青色のコヒーレントなコリメートされた光をそれぞれ生成するように動作可能なＲＧＢレーザの組（例えば、赤色、緑色、および青色光を出力可能なレーザダイオード）であり得る。レーザ光は、高色飽和を提供し、非常にエネルギー効率的である。

投影アセンブリ１０８は、制御信号に応答して、所定の走査パターンで光を走査する、走査デバイス１５２をさらに備えている。走査デバイス１５２は、１つ以上の光ファイバ１５４（例えば、単一モード光ファイバ）を備え、それらの各々は、その中に光が光源１５０から受け取られる近位端１５４ａと、そこから光がディスプレイ画面１１０に提供される遠位端１５４ｂとを有する。走査デバイス１５２は、光ファイバ１５４が搭載される機械的駆動アセンブリ１５６をさらに備えている。駆動アセンブリ１５６は、走査パターンに従って支点１５８の周りに各光ファイバ１５４の遠位端１５４ｂを変位させるために構成される。

この目的を達成するために、駆動アセンブリ１５６は、光ファイバ１５４が搭載される圧電要素１６０を備え、駆動電子機器１６２は、電気信号を圧電要素１６０に伝達し、それによって、光ファイバ１５４の遠位端１５４ｂを走査パターンに従って振動させるために構成される。したがって、光源１５０および駆動電子機器１６２の動作は、空間的および／または時間的に変動する光の形態でエンコードされる画像データを生成する様式で調整される。光ファイバ走査技法の説明は、米国特許第２０１５／０３０９２６４号（参照することによって明示的に本明細書に組み込まれる）に提供される。

投影アセンブリ１０８は、走査デバイス１５２からの光をディスプレイ画面１１０の中に結合する光学結合アセンブリ１６４をさらに備えている。光学結合アセンブリ１６４は、走査デバイス１５２によって放出される光をコリメートされた光ビーム２００にコリメートするコリメート要素１６６を備えている。コリメート要素１６６は、光ファイバ１５４から物理的に分離されるように図５に図示されるが、コリメート要素は、「Ｍｉｃｒｏｌｅｎｓ Ｃｏｌｌｉｍａｔｏｒ ｆｏｒ Ｓｃａｎｎｉｎｇ Ｏｐｔｉｃａｌ Ｆｉｂｅｒ ｉｎ Ｖｉｒｔｕａｌ／Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｓｙｓｔｅｍ」と題された米国特許出願第１５／２８６，２１５号（参照することによって明示的に本明細書に組み込まれる）に説明されるように、「マイクロレンズ」配列において、各光ファイバ１５４の遠位端１５４ｂに物理的に搭載され得る。光学結合サブシステム１６４は、内部結合要素（ＩＣＥ）１６８、例えば、１つ以上の反射表面、回折格子、ミラー、ダイクロイックミラー、またはプリズムをさらに備え、光をディスプレイ画面１１０の端部の中に光学的に結合する。

ディスプレイ画面１１０は、平面光学導波管１７２と、平面光学導波管１７２に関連付けられる１つ以上の回折光学要素（ＤＯＥ）１７４とを含む導波管装置１７０の形態をとる。代替実施形態では、導波管装置１７０は、複数の平面光学導波管１７２と、平面光学導波管１７２にそれぞれ関連付けられるＤＯＥ１７４とを備え得る。図６に最良に図示されるように、平面光学導波管１７２は、第１の端部１７６ａと、第２の端部１７６ｂとを有し、第２の端部１７６ｂは、平面光学導波管１７２の長さ１７８に沿って第１の端部１７６ａに対向する。平面光学導波管１７２は、第１の面１８０ａと、第２の面１８０ｂとを有し、少なくとも第１および第２の面１８０ａ、１８０ｂ（集合的に、１８０）は、平面光学導波管１７２の長さ１７８の少なくとも一部に沿って、少なくとも部分的に、内部反射光学経路（実線矢印１８２ａおよび破線矢印１８２ｂによって図示され、集合的に、１８２）を形成する。平面光学導波管１７２は、定義された臨界角未満において面１８０に衝打する光に対して実質的全内部反射（ＴＩＲ）を提供する種々の形態をとり得る。

ＤＯＥ１７４（二重鎖線によって図５および６に図示される）は、ＴＩＲ光学経路１８２を中断し、平面光学導波管１７２の内部１８６と外部１８８との間の複数の光学経路（実線矢印１８４ａおよび破線矢印１８４ｂによって図示され、集合的に、１８４）を提供する多種多様な形態をとり得、平面光学導波管１７２の長さ１７６の少なくとも一部に沿って延びている。図示される実施形態では、ＤＯＥ１７４は、１つ以上の回折格子を備え、それらの各々は、光を異なる方向に進行するいくつかのビームに分け、回折するほぼ光波長の周期的構造を伴う光学コンポーネントとして特徴付けられることができる。回折格子は、例えば、基板上にフォトリソグラフ印刷され得る表面ナノ隆起、ナノパターン、細隙等から成ることができる。ＤＯＥ１７４は、見掛けオブジェクトの位置付けおよび見掛けオブジェクトの焦点面を可能にし得る。これは、フレーム毎、サブフレーム毎、またはさらにピクセル毎に達成され得る。

図６に図示されるように、光は、ＴＩＲ伝搬から生じる少なくともいくつかの反射または「バウンス」を伴って、平面光学導波管１７２に沿って伝搬する。いくつかの実装は、反射を促進し得る１つ以上の反射体（例えば、薄膜、誘電コーティング、金属コーティング等）を内部光学経路内に採用し得ることに留意されたい。光は、平面光学導波管１７２の長さ１７８に沿って伝搬し、長さ１７８に沿って種々の位置においてＤＯＥ１７４と交差する。ＤＯＥ１７４は、平面光学導波管１７２内に組み込まれるか、または平面光学導波管１７２の面１８０のうちの１つ以上のものに当接もしくは隣接し得る。ＤＯＥ１７４は、少なくとも２つの機能を遂行する。ＤＯＥ１７４は、光の角度をシフトさせ、光の一部にＴＩＲから脱出させ、内部２１６から平面光学導波管１７２の面１８０の外部に出現させる。ＤＯＥ１７４は、外部結合される光を視認距離に集中させる。したがって、平面光学導波管１７２の面１８０を通して見ると、１つ以上の視認距離においてデジタル画像が見える。

２つの異なる角度のうちの１つにおいて導波管１７２に入射するコリメートされた光ビーム２００は、２つのＴＩＲ光学経路１８２ａ、１８２ｂのうちの１つを辿り、外部光学経路の２つの組のうちの１つに沿って、平面光学導波管１７２から出射する光線２０２をもたらすであろう。すなわち、ＴＩＲ光学経路１８２ａによって表される角度において導波管１７２に入射するコリメートされた光ビーム２００ａは、外部光学経路の組に沿って平面光学導波管１７２から出射する光線２０２ａをもたらし、ＴＩＲ光学経路１８２ｂによって表される角度において導波管１７２に入射するコリメートされた光ビーム２００ｂは、外部光学経路の組に沿って平面光学導波管１７２から出射する光線２０２ｂをもたらすであろう。図５に示されるように、光線角度感知アセンブリ１２２は、導波管装置１７０から出射する光線２０２の角度を直接または間接的に感知するために、ＩＣＥ１６８とＤＯＥ１７４との間に位置するが、感知アセンブリ１２２は、コリメートされた光ビーム２００の光学経路に沿った任意の場所に位置し得る。感知アセンブリ１２２について議論するさらなる詳細は、以下にさらに詳細に説明されるであろう。

前述から、ディスプレイサブシステム１０４が、１つ以上の仮想オブジェクトの画像をユーザに提示するピクセル情報の一連の合成画像フレームを生成することが理解され得る。例えば、図７を参照すると、合成画像フレーム２５０は、水平行または線２５４ａ−２５４ｎに分割されるセル２５２ａ−２５２ｍを用いて図式的に図示される。フレーム２５０の各セル２５２は、セル２５２が応答するそれぞれのピクセルのための複数の色および／または強度の各々のために、値を規定し得る。例えば、フレーム２５０は、各ピクセルのために、赤色２５６ａのための１つ以上の値と、緑色２５６ｂのための１つ以上の値と、青色２５６ｃのための１つ以上の値とを規定し得る。値２５６は、色の各々のためのバイナリ表現、例えば、各色のためのそれぞれの４ビット数として規定され得る。フレーム２５０の各セル２５２は、加えて、振幅を規定する、値２５６ｄを含み得る。

フレーム２５０は、１つ以上のフィールド、集合的に、２５８を含み得る。フレーム２５０は、単一フィールドから成り得る。代替として、フレーム２５０は、２つまたはさらにより多くのフィールド２５８ａ−２５８ｂを備え得る。フレーム２５０の完全な第１のフィールド２５８ａのためのピクセル情報は、完全な第２のフィールド２５８ｂのためのピクセル情報の前に規定され、例えば、アレイ、順序付けられたリスト、または他のデータ構造（例えば、記録、リンクされたリスト）において第２のフィールド２５８ｂのためのピクセル情報の前に生じ得る。提示サブシステムが３つ以上のフィールド２５８ａ−２５８ｂを取り扱うように構成されると仮定すると、第３またはさらに第４のフィールドが、第２のフィールド２５８ｂに続き得る。

ここで図８を参照すると、フレーム２５０は、ラスタ走査パターン２６０を使用して生成される。ラスタ走査パターン２６０では、ピクセル２６８（１つのみ取り上げられる）は、連続して提示される。ラスタ走査パターン２６０は、典型的には、左から右に（矢印２６２ａ、２６２ｂによって示される）、次いで、上から下に（矢印２６４によって示される）ピクセル２６８を提示する。したがって、提示は、右上角から開始し、線の終了に到達するまで、第１の線２６６ａを横断して左にトラバースし得る。ラスタ走査パターン２６０は、典型的には、次いで、下の次の線における左から開始する。提示は、１つの線の終了から次の線の開始まで戻るとき、一時的に、ブラックアウトまたはブランクにされ得る。このプロセスは、最下線２６６ｎが、例えば、最右下ピクセル２６８において完了するまで、線毎に繰り返される。フレーム２５０が完成すると、新しいフレームが、開始され、再び、次のフレームの最上線の右に戻る。再び、提示は、次のフレームを提示するために左下から右上に戻る間、ブランクにされ得る。

ラスタ走査の多くの実装は、インタレース走査パターンと称されるものを採用する。インタレースラスタ走査パターンでは、第１および第２のフィールド２５８ａ、２５８ｂからの線は、インタレースされる。例えば、第１のフィールド２５８ａの線を提示するとき、第１のフィールド２５８ａのためのピクセル情報が、奇数線のみのために使用され得る一方、第２のフィールド２５８ｂのためのピクセル情報は、偶数線のみのために使用され得る。したがって、フレーム２５０（図７）の第１のフィールド２５８ａの線は全て、典型的には、第２のフィールド２５８ｂの線の前に提示される。第１のフィールド２５８ａは、第１のフィールド２５８ａのピクセル情報を使用して提示され、線１、線３、線５等を連続して提示し得る。次いで、フレーム２５０（図７）の第２のフィールド２５８ｂは、第２のフィールド２５８ｂのピクセル情報を使用することによって、第１のフィールド２５８ａに続いて提示され、線２、線４、線６等を連続して提示し得る。

図９を参照すると、スパイラル走査パターン２７０が、ラスタ走査パターン２６０の代わりに使用され、フレーム２５０を生成し得る。スパイラル走査パターン２７０は、コイルまたはループと命名され得る１つ以上の完全な角度サイクル（例えば、３６０度）を含み得る単一スパイラル走査線２７２から成り得る。図８に図示されるラスタ走査パターン２６０と同様に、スパイラル走査パターン２７０内のピクセル情報は、角度インクリメントとして、各連続ピクセルの色および／または強度を規定するために使用される。振幅または半径方向値２７４は、スパイラル走査線２７２の開始点２７６からの半径方向寸法を規定する。

図１０を参照すると、リサジュー走査パターン２８０が、代替として使用され、フレーム２５０を生成し得る。リサジュー走査パターン２８０は、コイルまたはループと命名され得る、１つ以上の完全な角度サイクル（例えば、３６０度）を含み得る単一リサジュー走査線２８２から成り得る。代替として、リサジュー走査パターン２８０は、２つ以上のリサジュー走査線２８２を含み得、各位相は、互いに対してシフトされ、リサジュー走査線２８２をネスト化する。ピクセル情報は、角度インクリメントとして、各連続ピクセルの色および／または強度を規定するために使用される。振幅または半径方向値は、リサジュー走査線２８２の開始点２８６からの半径方向寸法２８４を規定する。

図１１を参照すると、マルチフィールドスパイラル走査パターン２９０が、代替として使用され、フレーム２５０を生成し得る。マルチフィールドスパイラル走査パターン２９０は、２つ以上の異なるスパイラル走査線、集合的に、１６０、具体的には、４つのスパイラル走査線２９２ａ−１６０ｄを含む。各スパイラル走査線２９２のためのピクセル情報は、フレームのそれぞれのフィールドによって規定され得る。有利には、複数のスパイラル走査線２９２は、単に、スパイラル走査線２９２の各連続するもの間の位相をシフトさせることによってネスト化され得る。スパイラル走査線２９２間の位相差は、採用されるであろうスパイラル走査線２９２の総数の関数となるべきである。例えば、４つのスパイラル走査線２９２ａ−２９２ｄは、９０−度位相シフトによって分離され得る。例示的実施形態は、１０の異なるスパイラル走査線（すなわち、サブスパイラル）を伴って、１００Ｈｚリフレッシュレートで動作し得る。図９の実施形態と同様に、１つ以上の振幅または半径方向値は、スパイラル走査線２９２の開始点２９６からの半径方向寸法２９４を規定する。

ディスプレイサブシステムを説明するさらなる詳細は、「Ｄｉｓｐｌａｙ Ｓｕｂｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ」と題された米国特許出願第１４／２１２，９６１号と、「Ｐｌａｎａｒ Ｏｐｔｉｃａｌ Ｗａｖｅｇｕｉｄｅ Ａｐｐａｒａｔｕｓ Ｗｉｔｈ Ｄｉｆｆｒａｃｔｉｏｎ Ｅｌｅｍｅｎｔｓ（ｓ） ａｎｄ Ｓｕｂｓｙｓｔｅｍ Ｅｍｐｌｏｙｉｎｇ Ｓａｍｅ」と題された米国特許出願第１４／６９６，３４７号（参照することによって明示的に本明細書に組み込まれる）とに提供される。

ここで図１２−１４を参照すると、ディスプレイ画面１１０および関連付けられた光線角度感知アセンブリ１２２の１つの具体的実施形態が、説明されるであろう。導波管装置１７０の平面光学導波管１７２は、光学的に透明な平面基板の形態をとる。図１２に示されるように、基板１７２は、例えば、ガラス、溶融シリカ、アクリル、またはポリカーボネート等の光学的に透明な材料の単一の一体型基板または平面であるが、代替実施形態では、基板１７２は、同一平面または異なる平面において一緒に接合される、光学的に透明な材料の別個の異なる板から成り得る。ＩＣＥ１６８は、投影アセンブリ１０８からコリメートされた光ビーム２００を面１８０ｂを介して基板１７２の中に受け取るために、基板１７２の面１８０ｂ内に埋設されるが、代替実施形態では、ＩＣＥ１６８は、コリメートされた光ビーム２００を基板１７２の中に内部結合される光ビームとして結合するために、基板１７２の他の面１８０ａまたはさらに縁に埋設され得る。

ＤＯＥ１７４は、基板１７２の中に光学的に結合されるコリメートされた光ビーム２００の有効射出瞳を２次元拡張させるために、基板１７２に関連付けられる（例えば、基板１７２内に組み込まれる、または基板１７２の面１８０ａ、１８０ｂのうちの１つ以上のものに当接もしくは隣接する）。この目的を達成するために、ＤＯＥ１７４は、内部結合された光ビーム２００を直交光ビーム２０１に分けるために基板１７２の面１８０ｂに隣接する１つ以上の直交瞳拡張（ＯＰＥ）要素１７４ａ（１つのみが図１２に示される）と、各直交光ビーム２０１をエンドユーザ５０の眼５２に向かって基板１７２の面１８０ｂから出射する外部結合される光線２０２に分けるために基板１７２に関連付けられる射出瞳拡張（ＥＰＥ）要素１７４ｂとを備えている。基板１７２が異なる板から成る代替実施形態では、ＯＰＥ要素１７４およびＥＰＥ要素１７４ｂは、基板１７２の異なる板の中に組み込まれ得る。

ＯＰＥ要素１７４ａは、光を第１の軸（図５における水平またはｘ−軸）に沿って中継し、第２の軸（図５における垂直またはｙ−軸）に沿って光の有効射出瞳を拡張させる。特に、ＩＣＥ１６８は、ＴＩＲを介した内部反射光学経路２０４ａに沿った（この場合、垂直またはｙ−軸に沿った）基板１７２内の伝搬のために、コリメートされた光ビーム２００を光学的に内部結合し、そうすることによって、ＯＰＥ要素１７４ａと繰り返し交差する。図示される実施形態では、ＯＰＥ要素１７４ａは、比較的に低回折効率（例えば、５０％未満）を有し、一連の対角線回折要素（ｘ−軸に対して４５度）を備え、それによって、ＯＰＥ要素１７４ａとの各交差点において、内部結合された光ビーム２００の一部（例えば、９０％を上回る）が、ＴＩＲを介して内部反射光学経路２０４ａに沿って基板１７２内を伝搬し続け、内部結合された光ビーム２００の残りの部分（例えば、１０％未満）が、ＴＩＲを介して内部反射光学経路２０４ｂに沿って（この場合、水平またはｘ−軸に沿って）ＥＰＥ要素１７４ｂに向かって基板１７２内を伝搬する直交光ビーム２０１として回折される。光学経路２０４ｂは、光学経路２０４ａに垂直または直交するように説明されるが、光学経路２０４ｂは、代替として、光学経路２０４ａに対して斜めに向けられ得ることを理解されたい。したがって、内部結合された光ビーム２００を平行内部反射光学経路２０４ｂに沿って伝搬する複数の直交ビーム２０１に分割することによって、導波管装置１７０の中に内部結合されたコリメートされた光ビーム２００の射出瞳は、ＯＰＥ要素１７４ａによってｙ−軸に沿って垂直に拡張される。

ＥＰＥ要素１７４ｂは、順に、第１の軸（図１２における水平ｘ−軸）に沿って光の有効射出瞳をさらに拡張させる。特に、ＥＰＥ要素１７４ｂは、ＯＰＥ要素１７４ａのように、図１３および１４に図示されるように、ＥＰＥ要素１７４ｂとの各交差点において、各直交光ビーム２０１の一部（例えば、９０％を上回る）が、それぞれの内部反射光学経路２０４ｂに沿って伝搬し続け、各直交光ビーム２０１の残りの部分が、基板１７２の面１８０ｂから出射する（ｚ−軸に沿って）外部結合される光線２０２として回折されるように、比較的に低回折効率（例えば、５０％未満）を有する。すなわち、光ビームがＥＰＥ要素１７４ｂに衝突する度に、その一部は、基板１７２の面１８０ｂに向かって回折されるであろう一方、残りの部分は、それぞれの内部反射光学経路２０４ｂに沿って伝搬し続けるであろう。

したがって、各直交光ビーム２０１を複数の外部結合される光線２０２に分割することによって、内部結合された光ビーム２００の射出瞳は、ＥＰＥ要素１７４ｂによってｘ−軸に沿って水平にさらに拡張され、オリジナルの内部結合された光ビーム２００のより大きいバージョンに類似する外部結合される光線２０２の２次元アレイをもたらす。ＯＰＥ要素１７４ａおよびＥＰＥ要素１７４ｂは、ｘ−ｙ平面において重複しないように図１２に図示されるが、ＯＰＥ要素１７４ａおよびＥＰＥ要素１７４ｂは、図１５に図示されるように、ｘ−ｙ平面において互いに完全に重複し得るか、または図１６に図示されるように、ｘ−ｙ平面において互いに部分的に重複し得ることに留意されたい。これらの場合、ＯＰＥ要素１７４ａおよびＥＰＥ要素１７４ｂは、それぞれ、基板１７２の反対面１８０ａ、１８０ｂ上に配置される必要があるであろう。

基板１７２の面１８０ｂからの光ビームレットを外部結合する機能に加え、ＥＰＥ要素１７４ｂは、画像の一部または仮想オブジェクトが焦点面に一致する視認距離においてエンドユーザ５０によって見られるように、光ビームレットの出力組を所与の焦点面に沿って集中させる役割を果たす。例えば、ＥＰＥ要素１７４ｂが、線形回折パターンのみを有する場合、エンドユーザ５０の眼５２に向かって基板１７２の面１８０ｂから出射する外部結合される光線２０２は、図１７ａに示されるように、略平行であり、これは、光学無限遠における視認距離（焦点面）からの光として、エンドユーザ５０の脳によって解釈されるであろう。しかしながら、ＥＰＥ要素１７４ｂが、線形回折パターン成分と放射対称の回折パターン成分との両方を有する場合、基板１７２の面１８０ｂから出射する外部結合される光線２０２は、エンドユーザ５０の眼５２の視点からより発散してレンダリングされ（すなわち、凸面曲率が、光波面上に加えられ）、眼５２がより近い距離に遠近調節し、結果として生じる画像を網膜上の焦点の中にもたらすことを要求し、図１７ｂに示されるように、光学無限遠より眼５２に近い視認距離（例えば、４つのメートル）からの光としてエンドユーザ５０の脳によって解釈されるであろう。基板１７２の面１８０ｂから出射する外部結合される光線２０２は、エンドユーザ５０の眼５２の視点からさらに発散されてレンダリングされ（すなわち、より凸面曲率が、光波面上に加えられるであろう）、眼５２がさらに近い距離に遠近調節し、結果として生じる画像を網膜上の焦点の中にもたらすことを要求し得、図１７ｃに示されるように、眼５２により近い視認距離（例えば、０．５メートル）からの光としてエンドユーザ５０の脳によって解釈されるであろう。

導波管装置１７０は、１つのみの焦点面を有するように本明細書に説明されるが、関連付けられたＯＰＥ１７８およびＥＰＥ１８０を伴う複数の平面光学導波管１７２が、米国特許公開第２０１５／０３０９２６４号および第２０１５／０３４６４９０号（参照することによって明示的に本明細書に組み込まれる）に議論されるように、同時に、または並行して、複数の焦点面に画像を生成するために使用されることができることを理解されたい。

簡潔に前述されたように、ディスプレイサブシステム１０４は、導波管装置１７０から出射する光線２０２のうちの少なくとも１つの角度を示す少なくとも１つのパラメータを感知するために構成される感知アセンブリ１２２を備えている。図示される実施形態では、感知アセンブリ１２２は、１つ以上の基準平面に対する光線２０２の角度を示すパラメータを感知する。例えば、これらの基準平面は、以下にさらに詳細に説明されるように、ｘ−ｚ平面、ｙ−ｚ平面、およびｘ−ｙ平面を備え得る。着目すべきこととして、これらの基準平面は、平坦であり得るが、導波管装置の外部表面１７０は、代替として、ユーザ５０の頭部５４に一致するように湾曲させられ得るので、これらの基準平面も、湾曲させられ得る。

上でも簡潔に議論されたように、出射光線の角度は、画像フレーム内のピクセルの位置と非常に相関する。例えば、図１８ａおよび１８ｂに図示されるように、投影サブシステム１０８からのコリメートされた光ビーム２００は、ＩＣＥ１６８を介して、導波管装置１７０に入射し、平面光学導波管１７２内を伝搬する。伝搬する光ビーム２００の射出瞳は、例えば、図１２−１４の平面光学導波管１７２の面１８０ｂから出射する光線２０２に関して上で説明されるように、ＤＯＥ１７４によってｘ−軸およびｙ−軸に沿って拡張される。導波管装置１７０の中に入力されるコリメートされた光ビーム２００に対応する、１つのみの光線２０２が、簡潔目的のために示されるが、典型的には、単一のコリメートされた光ビーム２００に対応して導波管装置１７０から出射する多くの光線２０２が存在し、出射光線２０２の全てのあらゆる角度がコリメートされた光ビーム２００の走査角度に関連するであろうことを理解されたい。

コリメートされた光ビーム２００は、投影サブシステム１０８によって走査され、光２１０ａの入力円錐を生成し、この円錐内の各ビーム角度は、ユーザの視野（ＦＯＶ）２１４内のピクセル２１２に対応する。図１８ａに示されるように、コリメートされた光ビーム２００が、１つの特定のビーム角度を有する場合、対応するピクセル２１２ａがＦＯＶ２１４の左下領域内で生成される一方、コリメートされた光ビーム２００が別の特定のビーム角度を有する場合、対応するピクセル２１２ｂがＦＯＶ２１４の右上領域内に生成される。導波管装置１７０は、入力光円錐２１０ａを平面光学導波管１７２の放出面１８０ｂおよび光２１０ｂの出力円錐に伝送することによって、ｘ−ｙ画像平面をユーザに提示する。

ＣＰＵ１１４（図３に示される）は、ピクセルの定義された場所に対応する出射光線２０２の設計された角度と感知アセンブリ１２２によって感知された出射光線２０２の実際の角度に基づいて、ピクセルの色および強度を定義することに加え、ピクセルの場所を定義し、したがって、ディスプレイ画面１１０に対する投影サブシステム１０８によって生成される光ビーム２００の角度を制御する画像データを生成し、それによって、出射光線２０２の実際の角度が出射光線２０２の設計された角度と可能な限り同じであることを確実にする。

例えば、図１９を参照すると、３次元空間内の原点からの出射光線２０２の向きは、ｘ−ｚ平面２１６ａ上のものと、ｙ−ｚ平面２１６ｂ上の別のものとの２つの角度によって定義され得、それらは、ＦＯＶ２１４のｘ−ｙ平面内のピクセル２１２のｘ−座標およびｙ−座標に緊密にそれぞれ対応する。ＣＰＵ１１４は、感知アセンブリ１２２によって感知されるパラメータに基づいて、ｘ−ｚ平面２１６ａおよびｙ−ｚ平面２１６ｂにおける出射光線２０２の実際の角度を決定し、ピクセル２１２に対して、出射光線２０２の実際の角度と対応する出射光線２０２の設計通りの角度との間の偏差を算出し、投影サブシステム１０８の動作を修正し、出射光線２０２の実際の角度と出射光線２０２の設計通りの角度との間の相違を補償し得る。

例えば、ＣＰＵ１１４は、投影サブシステム１０８に、コリメートされた光ビーム２００の走査位置を調節するように命令し得る。図示される実施形態では、コリメートされた光ビーム２００の走査位置は、走査デバイス１５６の機械的応答が、所望のピクセル位置のための所望の機械的応答により一致するように、走査デバイス１５６（図５参照）の作動／駆動プロファイル（例えば、圧電要素１６０の駆動電子機器１６２によって提供される駆動電圧、駆動信号、駆動パターン等）を修正することによって調節され得る。別の例として、ＣＰＵ１１４は、画像データを修正し（例えば、ピクセル変調／ピクセル同期を修正することによって）、走査デバイス１５６の機械的走査応答と所望の走査応答との間の既知の不整合を補償し得る。この場合、出射光線２０２の「正しくない角度」が、測定されるが、補正されない。さらに別の例として、コリメートされた光ビーム２００の走査位置の修正および画像データの修正の組み合わせが、ＣＰＵ１１４によって採用され得る。

コリメートされた光ビーム２００の走査位置および／または画像データは、角度測定をリアルタイムで監視し、可能な限り迅速に投影サブシステム１０８への調節をもたらし、処理および因果関係に起因する遅延を最小化するソフトウェア／ハードウェアコントローラ（例えば、比例−積分−微分（ＰＩＤ）に類似する）を採用することによって、修正され、出射光線２０２の実際の角度と出射光線２０２の所望の角度との間の不整合を補償することができる。代替として、ディスプレイサブシステム１０４は、同じ標的走査パターンが各画像フレームを生成するために使用される反復システムであるので、前の画像フレームのために取得された角度測定が、算出および記憶されることができ、次いで、補正が、後続画像フレームに適用されることができる。高画像フレームレートが存在する場合、約数ミリ秒の遅延を被り得る。

感知アセンブリ１２２によって検出されるパラメータは、ｘ−ｚおよびｙ−ｚ平面２１６ａ、２１６ｂに対する光線２０２のうちの少なくとも１つの強度を備えている。図１２−１４に図示される実施形態では、感知アセンブリ１２２は、導波管装置１７０から出射または放出される光線２０２を表す少なくとも１つの光線２０３（１つのみが本明細書に説明される）の強度を測定する。本実施形態では、代表光線２０３は、出射光線２０２と異なり、好ましくは、エンドユーザ５０のＦＯＶ２１４外の出射光線２０２と異なる場所において導波管装置１７０から出射するであろう。この目的を達成するために、導波管装置１７０は、図１２−１４に図示されるように、代表光線２０３として導波管装置１７０からの光を感知アセンブリ１２２に外部結合するための追加のＤＯＥ１９０をさらに備えている。

図１４に最良に示されるように、感知アセンブリ１２２は、導波管装置１７０から出射する代表光線２０３の直交成分を感知するために構成される一対の直交角度センサ２２０ａおよび２２０ｂ（集合的に、２２０）と、直交角度センサ２２０からの読み取り値が平面光学導波管１７２内の光の強度に対して正規化され得るように、代表光線２０３の絶対強度を感知するために構成される正規化センサ２２２とを備えている。すなわち、画像が生成される場合、ピクセル強度は、異なるピクセルの色に対応して変調される。したがって、光強度センサ２２２によって測定されたピクセル強度変調は、角度センサ２２０の測定値を解釈するときに考慮されることができる。

図示される実施形態では、角度センサ２２０および正規化センサ２２２は、ＤＯＥ１９０を通過する光線２０２がセンサ２２０、２２２に入射するように、ＤＯＥ１９０に近接して関連付けて導波管装置１７０の平面光学導波管１７２に搭載される。センサ２２０、２２２は、好ましくは、エンドユーザ５０によって体験される画像に干渉しないように、エンドユーザ５０のＦＯＶ２１４外に位置する。

さらに図２０ａを参照すると、対の角度センサ２２０ａ、２２０ｂは、それぞれ、一対の光強度センサ２２４ａ、２２４ｂ（集合的に、３０６）と、一対の角度選択誘電層２２６ａ、２２６ｂ（集合的に、２２６）と、一対の円筒形レンズ（例えば、ＧＲＩＮレンズ）２２８ａ、２２８ｂ（集合的に、２２８）とを備えている。ＧＲＩＮレンズ２２８は、ＤＯＥ１９０の外向きに面する表面に直接搭載され、誘電層２２６の各々は、ＧＲＩＮレンズ２２８の外向きに面する表面に直接搭載され、光強度センサ２２４の各々は、誘電層２２６の外向きに面する表面に直接搭載される。

重要なこととして、各誘電層２２６の方向性は、光エネルギーが誘電層２２６（ｘ−ｙ平面に位置する）の平面に入射する角度の既知の関数として、光エネルギーを伝送する。例えば、図２１ａに図示される例示的誘電層伝送−角度関係から分かるように、代表光線２０３の角度が、誘電層２２６の平面の法線（０度）に近いほど、光強度センサ２２４に伝送される代表光線２０３のエネルギーは、大きくなる。さらに、各光強度センサ２２４は、それぞれの誘電層２２６の平面に対して直角の角度において入射する光エネルギーの強度の既知の関数である電圧を生成するであろう。例えば、図２１ｂに図示される例示的光検出器強度−電圧関係から分かるように、誘電層２２６に入射する光エネルギーの強度が高いほど、誘電層２２６によって生成される電圧は、大きくなる。その結果、代表光線２０３が光強度センサ２２４の平面に入射する角度は、以下にさらに詳細に説明されるであろうように、これらの関係曲線から決定されることができる。図２１ａおよび２１ｂに図示される関係曲線は、分析的に生成され得るか、または単位あたり関連値を測定もしくは較正し、それによって、より正確かつ較正された関係曲線をもたらすことによって、生成され得ることに留意されたい。

入射光に対して垂直な平面に対するセンサ開口の投影が、入射光の入射角が大きいほど面積が減少する「コサイン減衰」と、光センサの光学物理的特性とに起因して、代表光線２０３の角度を感知する一次手段として利用され得る光強度センサ２２４自体が、ある程度の角度依存を有し、その場合、角度センサ２２０が、誘電層２２６を含まないこともあるか、または、角度センサ２２０内の誘電層２２６の使用に加え、代表光線２０３の角度を感知する二次または補助手段として利用されることができることにも留意されたい。いずれの場合も、それぞれの光強度センサ２２４によって感知される電圧をある範囲の光入射角度と相関させる光検出器強度−角度関係（図示せず）が、生成され得る。この光検出器強度−角度関係自体が、代表光線２０３の角度を決定するために使用されることができるか、または、それは、誘電層伝送−角度関係（図２１ａ）および光検出器強度−電圧関係（図２１ｂ）から決定された代表光線２０３の角度を確認するために使用され得る。

着目すべきこととして、誘電層２２６は、同一入射角であるが異なる放射方向の代表光線２０３からのエネルギーを等しく伝送するであろうという点において、性質上等方性であるので、感知アセンブリ１２２は、誘電層２２６の円対称性を壊し、それによって、代表光線２０３の向きがｘ−ｚおよびｙ−ｚ平面２１６ａ、２１６ｂに投影されることを可能にする。この目的を達成するために、円筒形レンズ２２８ａ、２２８ｂの各々は、代表光線２０３の第１および第２の直交成分（ｘ−ｚおよびｙ−ｚ平面２１６ａ、２１６ｂに対応する）をそれぞれの誘電層２２６ａ、２２６ｂに通すために構成される。

したがって、一方のレンズ２２８ａは、代表光線２０３ａのエネルギーを水平（ｘ−）成分に分離し、他方のレンズ２２８ｂは、代表光線２０３ｂのエネルギーを垂直（ｙ−）成分に分離する。したがって、一方の光強度センサ２２４ａは、ＤＯＥ１９０から出射する代表光線２０３ａの水平エネルギー成分のみを受信し、他方の光強度センサ２２４ｂは、ＤＯＥ１９０を介して、代表光線２０３ｂの垂直エネルギー成分のみを受信するであろう。ｘ−ｚおよびｙ−ｚ平面２１６ａ、２１６ｂ上に投影された代表光線２０２の角度は、次いで、以下に議論されるように、代表光線２０３のこれらの水平および垂直成分から決定されることができる。

着目すべきこととして、各角度センサ２２０は、例証における簡潔性および明確性の目的のために、１つの代表光線２０３を検出するように説明されるが、角度センサ２２０の各々は、実際には、多くの光線を検出し、したがって、角度センサ２２０の電圧出力は、代表光線２０３の水平成分２０３ａまたは垂直成分２０３ｂの合成を表すであろう。しかしながら、ＤＯＥ１９０は、好ましくは、ＤＯＥ１９０から出射する代表光線２０３の角度が内部結合されたコリメートされたビーム２００の特定の角度を前提として均一であるように、線形回折パターンを有する。

図２０ｂに図示される代替実施形態では、既に存在するＤＯＥ１９０に関連付けて円筒形レンズ３１０を使用するのではなく、ＤＯＥ１９０自体が、上で説明される円筒形レンズ２２８と同一様式において、１つの直交成分を角度センサ２２０ａに通す部分と、他の直交成分を角度センサ２２０ｂに通す別の部分とに区画化され得る。図２０ｃに図示されるさらに別の代替実施形態では、角度センサ２２０の各々は、代表光線２０３を直交偏光された光線に偏光させ、次いで、誘電層２２６ａ、２２６ｂを介して、それぞれの光強度センサ２２４ａ、２２４ｂに通すために構成される一対の偏光要素２３０ａ、２３０ｂ（集合的に、２３０）を備えている。

さらに別の代替実施形態では、円筒形レンズまたは上で説明される他のデバイスのいずれかの代わりに、誘電層２２６ａ、２２６ｂ自体が、直交した向きにおいて歪まされることができ、それによって、誘電層２２６は、もはや等方性ではなく、むしろ、異方性であり、１つの直交方向において他の直交方向においてより代表光線２０３を通し、かつその逆も同様である傾向になる。異方性誘電層２２６は、直交様式において代表光線２０３を完璧には伝送しないが、代表光線２０３の角度は、ｘ−ｚおよびｙ−ｚ平面２１６ａ、２１６ｂ上に投影されると、依然として、誘電層２２６の既知の直交伝送係数（すなわち、他の直交方向に対する１つの直交方向において各誘電層２２６によって伝送される光エネルギーの比率）に照らして決定されることができる。

角度センサ２２０の各々は、ＤＯＥ１９０と緊密に関連付けられるように説明されるが、角度センサ２２０の一方または両方は、平面光学導波管１７２が構成される材料と異なる屈折率を伴う格子または材料の形態をとる任意のインターフェースにおいて導波管装置１７０内に搭載され、それによって、光線がセンサ２２０から脱出し、かつその中に入射することを可能にすることができることを理解されたい。しかしながら、ＤＯＥ１９０から出射する代表光線２０３の角度は、内部結合されたコリメートされたビーム２００の任意の所与の走査角度に対して、ＥＰＥ要素１７４ｂから出射する光線２０２の名目的な角度に緊密に一致するであろう。

前述にかかわらず、角度センサ２２０は、代替として、ＥＰＥ要素１７４ｂと緊密に関連付けられ得る。この場合、導波管装置１７０から出射する光線２０２は、角度センサ２２０によって感知される代表光線を備えているであろう。この場合、角度センサ２２０によって感知される光線２０２は、ＥＰＥ要素１７４ｂが、光学無限遠ではない焦点面を作成する放射対称の回折パターンを有し得るので、内部結合されたコリメートされたビーム２００の任意の特定の角度を前提として、発散され、したがって、幾分、非均一であり得る。この場合、角度センサ２２０のサイズは、好ましくは、比較的に小さく、したがって、角度センサ２２０に衝打する光線間の角度相違は、有意ではないであろう。

同様に、角度センサ２２０が、ＥＰＥ要素１７４ｂと緊密に関連付けられる場合、角度センサ２２０ａ、２２０ｂによって検出される出射光線２０２の水平および垂直光成分が、本質的に、導波管装置１７０から出射する名目上の光線の成分としての役割を果たすであろうように、それぞれの角度センサ２２０間の間隔が比較的に小さいことが所望される。最終的に、ｘ−ｚおよびｙ−ｚ平面２１６ａ、２１６ｂ上に投影される光線２０２ａ、２０２ｂの角度の関数は、本質的に、角度間の小相違に起因して角度センサ２２０に衝打する全ての光線２０２の角度の平均に近く、導波管装置１７０から出射する光線２０２の名目上の角度を表す。代替実施形態では、角度センサ２２０は、光学無限遠（すなわち、レンズ効果なし）に画像を生成する導波管３０２上に、またはレンズ効果を伴わずに導波管装置１７０上の特殊なエリアに設置され得、それによって、光線の角度が互いに平行である。

着目すべきこととして、開示されるような角度センサ２２０は、ｘ−ｚ平面２１６ａまたはｙ−ｚ平面２１６ｂにおける出射光線２０２の絶対角度が得られ得る情報しか感知できない（例えば、３０°の絶対角度は、＋３０°または−３０°であり得る）。したがって、感知アセンブリ１２２は、ｘ−ｚ平面２１６ａまたはｙ−ｚ平面２１６ｂにおける出射光線２０２の相対角度を示す別のパラメータを感知する。図示される実施形態では、この感知されるパラメータは、ｘ−ｚおよびｙ−ｚ平面２１６ａ、２１６ｂ上に投影された光線２０２の角度の符号が決定され得るように、コリメートされた光ビーム２００が平面に投影される象限を備えている。

例えば、図２２ａに図示されるように、１つの出射光線２０２は、ｘ−ｙ平面２１６ｃに対してある角度を形成する。すなわち、ｘ−ｙ平面２１６ｃ上に投影されると、出射光線２０２は、図２２ｂに図示されるように、ｘ−ｙ平面２１６ｃに角度を形成し得る。そこに示されるように、出射光線２０２の角度は、ｘ−ｙ平面２１６ｃの第２の象限内に投影され、したがって、出射光線２０２がｘ−ｚ平面２１６ａにおいて成す角度が負の符号を有し、出射光線２０２がｙ−ｚ平面２１６ｂにおいて成す角度が正の符号を有するはずであることが決定され得る。

感知アセンブリ１２２は、コリメート要素２７４からＩＣＥ１６８に入射するコリメートされた光ビーム２００が向けられる象限を検出することによって、出射光線２０２が投影される象限を間接的に検出するために構成される（図５に示される）。特に、図１３および１４に戻って参照すると、感知アセンブリ１２２は、ＩＣＥ１６８に搭載される１つ以上の象限センサ２３２を備えている。図２３ａに図示されるように、４つの象限センサ２３２は、コリメートされた光ビーム２００によるセンサ２３２のうちの１つの活性化が光ビーム２００が現在向けられている象限を示すであろうように基準平面２３４の象限内で間隔を置かれる。代替として、図２３ｂに図示されるように、感知アセンブリ１２２は、象限の交差点に中心を置いた象限位置感知検出器（ＰＳＤ）２３６を備え得る。いずれの場合も、コリメートされた光ビーム２００の角度位置が、導波管装置１７０から出射する光線２０２の角度と相関性があるので、光線２０２がｘ−ｙ平面２１６ｃの中に投影される象限は、コリメートされた光ビーム２００が向けられる基準平面２３４の象限から導出されることができる。

代替実施形態では、光線２０２がｘ−ｙ平面２１６ｃの中に投影される象限は、単に、出射光線２０２の強度が感知アセンブリ１２２によって感知されるとき、走査パターンにおける現在の走査位置の象限から推測されることができる。

出射光線２０２の角度を検出するセンサは、平面光学導波管２００と緊密に関連付けられるように説明されるが、１つ以上の角度を検出するセンサが、導波管装置１７０から出射する光線の角度と相関性がある光線またはビームが検出され得るディスプレイサブシステム１０４の任意の部分の中に組み込まれることができる。例えば、ｘ−ｚおよびｙ−ｚ平面２１６ａ、２１６ｂ上に投影されたコリメートされた光ビーム２００の角度ならびにコリメートされた光ビーム２００が投影されるｘ−ｙ平面２１６ｃの象限の両方を検出するＰＳＤ２３６が、図２５に図示されるように、ＩＣＥ１６８に搭載されることができる。

ＰＳＤ２３６は、導波管装置１７０から出射する光線２０２ではなく、直接、コリメートされたビーム２００の角度を感知する。しかしながら、コリメートされたビーム２００の角度は、導波管装置１７０から出射する光線２０２の角度と非常に相関性があるので、ＰＳＤ２３６は、コリメートされたビーム２００の角度を直接感知することによって、導波管装置１７０から出射する光線２０２の角度を間接的に感知する。

ｘ−ｚ平面２１６ａおよびｙ−ｚ平面２１６ｂ上に投影された光線２０２の角度を決定する１つの方法が、ここで説明されるであろう。光強度センサ２２２が、９０ｍＶの電圧を測定すると仮定する。図２２ｂに図示される例示的光検出器強度−電圧関係に従って、代表光線２０３の絶対強度が、次いで、１００ｎｉｔｓであると決定されることができる。

角度センサ２２０ａが、７０ｍＶの電圧を測定すると仮定する。図２１ｂに図示される例示的光検出器強度−電圧関係に従って、角度選択誘電層２２６ａによって光強度センサ２２４ａに伝送される代表光線２０３の強度が、次いで、８０ｎｉｔｓであると決定されることができる。したがって、１００ｎｉｔｓの光線の既知の強度に基づいて、誘電層２２６ａは、光エネルギーの８０／１００＝８０％を光強度センサ２２４ａに伝送すると決定されることができる。図２１ａに図示される例示的誘電層伝送−角度関係に従って、ｘ−ｚ平面２１６ａに投影された代表光線２０３の絶対角度が、次いで、２０度であると決定されることができる。

同様に、角度センサ２２０ｂが、６５ｍＶの電圧を測定すると仮定する。図２１ｂに図示される例示的光検出器強度−電圧関係に従って、角度選択誘電層２２６ｂによって光強度センサ２２４ｂに伝送される代表光線２０３の強度が、次いで、７５ｎｉｔｓであると決定されることができる。したがって、１００ｎｉｔｓの光線の既知の強度に基づいて、誘電層２２６ｂは、光エネルギーの７５／１００＝７５％を光強度センサ２２４ｂに伝送すると決定されることができる。図２１ａに図示される例示的誘電層伝送−角度関係に従って、ｙ−ｚ平面２１６ａに投影された代表光線２０３の絶対角度が、次いで、３５度であると決定されることができる。

センサ２３２またはＰＳＤ２３６が、ｘ−ｙ平面２１６ｃ上に投影された代表光線２０３の角度が、第３の象限内にあることを検出する場合、または別様に、ｘ−ｙ平面２１６ｃ上に投影された代表光線２０３の角度が、コリメートされたビーム２００の既知の走査角度の情報から導出される第３の象限内にあることが既知である場合、それぞれ、ｘ−ｚ平面２１６ａおよびｙ−ｚ平面２１６ｂの中に投影される代表光線２０３の角度は両方とも、負であり、したがって、−２０度および−３５度であるはずであると決定されることができる。

本発明の特定の実施形態が、図示および説明されたが、本発明を好ましい実施形態に限定することを意図するものではなく、種々の変化および修正が本発明の精神ならびに範囲から逸脱することなく成され得ることが、当業者に明白となるであろうことを理解されたい。したがって、本発明は、請求項によって定義された本発明の精神および範囲内に含まれ得る、代替、修正、ならびに均等物を網羅することが意図される。

Claims (1)

1. 本願明細書に記載の発明。