JP2020511687A - ビデオシースルー型ディスプレイシステム - Google Patents

Abstract

ビデオシースルー型アイディスプレイユニットを備えたディスプレイシステムが開示されている。アイディスプレイユニットは、少なくとも１つのカメラユニットと、少なくとも１つの画像形成モジュールと、両側から到達する光を少なくとも部分的に反射する、少なくとも１つの両面の光反射光学部品を含む光偏向モジュールとを含む。カメラユニットは、風景の対象領域から到達する光を、光偏向モジュールに交差する第一光路に沿って集光し、対象領域を表示する画像データを生成するために構成される。画像形成モジュールは、ユーザの眼に投影される画像を表示する画像データを受信し、受信した画像を生成および投影して光偏向モジュールと交差する第二光路に沿って伝搬するように構成される。光偏向モジュールの両面の光反射光学部品は、第一および第二光路を交差させながら、眼の前に位置するようにディスプレイシステム内で配置され、かつ、カメラユニットが眼の視線と実質的に類似する視点を有するように、第一光路（カメラユニットと風景の間）および第二光路（画像形成ユニットと眼の間）を画定するように方向付けられる。【選択図】図２Ｂ

Description

本発明は、ヘッドマウントディスプレイシステムの構成に関し、特にシースルーおよびビデオシースルー構成を備えたヘッドマウントディスプレイシステムに関する。

ビデオシースルー型拡張現実システムは、仮想現実システムと異なり、ユーザの前方にある実際の風景の外観を基礎として表示データを表示する。一般的に、風景の入力画像ストリームが捉えられ、拡張データ層がその捉えられた画像データに重ねられてユーザに表示される。これにより、情報の層を現実世界の画像上に設け、ゲームおよび他の体験を、周囲および他の現実世界に基づく可視化に統合することができる。

このような拡張現実システムは、一般的に２つの主な統合スキームのうちの１つに基づいており、ユーザは部分的に透過性を示すディスプレイ／ウィンドウを通して見える実際の風景を観察できる場合があり、拡張データはその上に表示される。代替スキームでは、実際の風景は撮影装置（カメラ）によって捉えられ、ディスプレイ装置上で拡張データと共にユーザに表示される。通常、後者の種の拡張現実システムは、カメラユニットを使用するタブレットコンピュータまたはスマートフォンのような装置などの手持ち型システムとして構成されており、カメラユニットは、実際の風景に関するデータを提供するためのものであって、ユーザに動かされてその視点が変化する。いくつかの拡張現実システムは、装着可能なように構成され、１つまたは２つの搭載されたカメラを含む。通常は、従来の装着可能なシステムでは、一般的に１つまたは２つのカメラがユーザの眼と異なる視線で取り付けられ、水平、横方向、および／または縦方向（ユーザと風景との間に延びるＺ軸に沿う）の移動を利用する。他の構成は、「サイクロピアン」アイに対する解決策をもたらす映像取得のために、単独のカメラを利用し、これは一方で処理する画素数を減少させ、他方ではユーザに限定的なもしくは立体的でないキュー（ｑｕｅ）をもたらす。

通常、拡張現実を提供するように構成される従来のヘッドマウントシステムは、ユーザが実際の風景を観察できるようにしながら、比較的単純な拡張データを提供して、少なくとも部分的に透過性を示す要素をディスプレイに利用する。たとえば、米国特許第９１９５０６７号明細書には、ユーザの頭部に着用されるように構成される、ディスプレイとバンドとを含む電子装置が記載されている。バンドはディスプレイが取り付けられるディスプレイ端部を画定し、ディスプレイ端部から自由端部に延びる。バンドは、こめかみ付近の第一位置、こめかみに隣接するユーザの耳の一部に沿った第二位置、およびユーザの頭部の後方部分に沿った第三位置で、ユーザの頭部に接触するようにユーザが設定できるように調整可能である。ディスプレイ端部は、ディスプレイ要素がこめかみに隣接する眼を覆って吊り下げられるように、頭部から離れて位置することができる。バンドはさらにその設定を維持できるように構成される。装置はまた、ディスプレイ上でユーザに提示可能な画像を生成するための、画像生成手段をバンド内に含む。

実際の風景のビューと組み合わされた視覚拡張データをユーザに表示できる、新規システム構成に関する技術における需要が存在する。本発明の技術は、通常はヘッドマウント型として構成され、ユーザに表示データを与えるための１つまたは２つのアイディスプレイユニットを有する、ディスプレイシステムを提供する。本システムは一般的に、比較的大きな視界を有する画像データを表示することによって、仮想または拡張現実体験をユーザに提供するように構成され、ユーザの前方にある領域の実際の視覚データ（実際の風景）を、実質的にリアルタイムな方法で表示データに組み込むように構成される。

アイディスプレイユニットの各々は、少なくとも１つのカメラユニットと関連し、少なくとも１つの画像形成モジュール（たとえばディスプレイおよび／または投影ユニット）および光偏向モジュールを含む。光偏向モジュールは一般的に、ユーザの対応する眼の前に置かれ（たとえば、システムの所定のアイボックス位置の前）、ユーザの前方に位置する風景から到達する光が、少なくとも１つの関連するカメラユニットに集光される向きになるように、かつ、少なくとも１つの画像形成モジュールから到達する光をユーザの眼に向けるように構成される。この構成は、１つもしくは複数のカメラユニットが、カメラの視野がユーザの眼の視野と実質的に類似するように位置するようにし、従ってユーザの眼に対してカメラの視点が変化することに関連する様々な方向感覚の喪失という問題を防ぐ。

より具体的には、本発明の技術に従って、カメラユニットに収集される画像データは、システムを使用していないときのユーザの眼の視点に実質的に類似する視点から収集される。通常、収集された画像データは、画像形成モジュールを介してユーザに与えられる表示データを処理および生成するために、制御ユニットに送信される。従って、制御ユニットは、ユーザに期待される視線に対応する入力画像データを利用する。入力画像データに従って、表示されるデータに対する物体の位置およびユーザの視点は、現実世界でユーザに期待される位置および視点と実質的に類似する。これは、頭部の動作が、ユーザが期待するものに類似する方法で、収集される（従って表示される）画像の変化をもたらすので、ユーザが空間において自分自身をより上手く向きを合わせできるようにする。

ユーザの空間における方向付けを改良することに加えて、システム構成はユーザが拡張現実内で実物体と相互作用する能力を向上させ得る。より具体的には、制御ユニットは、実際の風景に置かれたある物体に従って、画像データ層を重ねるように操作可能で、入力画像データにおける物体は、ユーザが期待するものおよびユーザがどのように物体を見るかに実質的に類似するので、付加的なデータ層はより物理的に確実に機能できる。これは、特に、ヘッドマウントディスプレイシステムを使用しながら、ユーザがさらに自分の実際の位置にある実物体を観察して相互作用し得る、ビデオシースルーシステムにおいて有益である。これは、拡張のために画像データを収集するカメラの視点と、（期待されるユーザの視点と一致する）ユーザの眼の位置との間に差異がある、従来のシステムと逆である。

現実の、および拡張された環境における、改良されたユーザの方向付けをもたらす、本発明のシステム構成および技術は、実際の風景の拡張を体験しながら、ユーザが実物体と相互作用することを必要とする用途において特に重要であることに留意されたい。このような用途では、ユーザはユーザの近傍（たとえば、数センチから１または２メートルの間）にある物体と相互作用し、ユーザの空間における方向付けの程度は、手の動きの正確さを決定する。

この目的のために、本発明の技術は、システムが使用されているときに、ユーザの眼の前にある、光偏向モジュールを利用する。光偏向モジュールは、（ユーザがシステムを使用しない場合に）ユーザの眼に届き得る経路で風景から到達する光が、カメラ軸に沿って偏向され、少なくとも１つの関連するカメラユニットに向けられるように位置する。さらに、光偏向モジュールはユーザの眼に向けられ、少なくとも１つの画像形成ユニットから到達する光は対応する場所に位置する。

従って、１つの広範な態様に従って、本発明は、
風景の対象領域から第一光路に沿って到達する光を集光して、風景を表示する画像データを生成するために構成される少なくとも１つのカメラユニットと、
画像データを受信して、第二光路に沿って該画像データの画像をユーザの眼に投影するために構成される少なくとも１つの画像形成と、
その両側から到達する光を少なくとも部分的に反射するように構成され、該第一および第二光路と交差しながら該眼の前に置かれ、画像形成ユニットとユーザの眼との間に該第二光路を画定し、該少なくとも１つのカメラユニットと風景との間に該第一光路を画定するように方向付けられ、それによって該少なくとも１つのカメラユニットがユーザの眼の視線と実質的に類似する視点を有するようにする少なくとも１つの両面の光反射光学部品を含む、光偏向モジュールと
を含むアイディスプレイユニットを含む、システムを提供する。

いくつかの実施形態に従って、少なくとも１つのカメラユニットは、該光偏向モジュールがない場合の、風景に関する該ユーザの眼の光軸平面に一致する光軸平面に、該第一光路に沿って位置し得る。付加的にまたは代替的に、少なくとも１つのカメラは、該第一光路に沿って位置し、対応するユーザの眼の視線と実質的に類似する視線をもたらすように構成され得る。

いくつかの実施形態に従って、少なくとも１つの画像形成ユニットは、１つ以上の画像を表示する構造化光をユーザの対応する眼に投影するために構成される、アイプロジェクションユニットを含み得る。

少なくとも１つの画像形成ユニットは、表示される画像データを提供するために構成される画像ディスプレイユニットを含み得る。

いくつかの実施形態に従って、光偏向モジュールの、少なくとも１つの両面の光反射光学部品は、両面鏡として構成され得る。

いくつかの実施形態に従って、システムは、ユーザの右眼および左眼と対応する、第一および第二アイディスプレイユニットを含み得る。

一般的に、アイディスプレイユニットはさらに制御ユニットを含むことがある。該制御ユニットは、少なくとも１つのカメラユニットに収集される画像データを受信し、対応する表示画像データを生成し、対応する画像をユーザに提供するために該表示画像データを少なくとも１つの画像形成ユニットに送信するように構成され作動可能である。

いくつかの実施形態に従って、少なくとも１つのカメラユニットの光学的位置および視線が、ユーザの対応する眼の光学的位置および視線と一致するように、光偏向モジュールが入力光を向けるように構成され得る。

光偏向ユニットは、該少なくとも１つのカメラユニットの位置が眼と同じ位置になるように構成され得る。

いくつかの実施形態に従って、少なくとも１つのディスプレイユニットは、滑らかな画像表示を提供するように構成され得る。

いくつかの実施形態に従って、光偏向モジュールは、そこから反射される光に選定された光学的操作を施すように構成される少なくとも１つの反射面を含み得る。

いくつかの実施形態に従って、少なくとも１つの反射面は、選定された表面曲率、回折格子、およびホログラフィック要素のうちの少なくとも１つを備えて構成され得る。

いくつかの実施形態に従って、光偏向モジュールは、風景から到達する光がカメラユニットに向かって偏向される第一光路の一部が、画像形成ユニットによって投影される光が光偏向モジュールによって偏向されて眼に伝搬する第二光路の一部と一直線になるように、構成されてシステム内で配置される。それによって、カメラユニットに捉えられて画像形成ユニットによって眼に投影される、風景の画像部分は、外部の風景に関する空間的な位置決めをされて投影される。

本明細書に開示される主題をよりよく理解し、実際にどのように実行されるかを例示するために、実施形態は、単に非限定的な実例として、以下の添付の図を参照しながらここで説明される。

本発明のディスプレイシステム構成および、動作原理を概略的に示す図である。 システムが、ずれた視線（図２Ａ）と、本発明に従う共通の視線（図２Ｂ）とを備えたカメラユニットを利用する、拡張現実における仮想物体とのユーザインタラクションを示す図である。 システムが、ずれた視線（図２Ａ）と、本発明に従う共通の視線（図２Ｂ）とを備えたカメラユニットを利用する、拡張現実における仮想物体とのユーザインタラクションを示す図である。 拡張現実システムによって提供される補助データ層と組み合わせて対象物とのユーザインタラクションを示し、本発明のいくつかの実施形態に従うビデオシースルーシステムの可能な用途を表す図である。 本発明のいくつかの実施形態に従うアイディスプレイユニットを示す図である。 本発明のいくつかの実施形態に従うアイプロジェクションユニットを利用するアイディスプレイユニットを例示する図である。 本発明のいくつかの実施形態に従うアイディスプレイユニットの他の構成を例示する図である。

上述のように、ヘッドマウント型の仮想および／または拡張現実システムは、ユーザに能動的な体験を提供し、ユーザが仮想または拡張世界に参加できるようにする。完全な仮想体験では、現実世界の物体との相互作用は限定され、しばしば仮想世界における他の物に対するメタファーとしての役割を果たすことがあるが、拡張現実体験は、ユーザの位置および周辺に関する現実の風景および物体との相互作用を利用する。

ユーザがヘッドマウント型拡張現実システムを使用しながら実物と能動的に相互作用できるようにするために、ユーザの空間方向がシステムに表示されるデータに合うように調整される必要がある。しかし、一般的にシステムは１つ以上のカメラユニットによって収集される周囲の入力画像データを利用し、時には１つ以上のカメラユニットによって得られる表示データをユーザに提示するので、カメラユニットの位置および視点はユーザの空間方向に大きく影響し得る。これは、物体の位置および距離が実際の位置および距離と異なって見え得るので、大抵は気付かれる。

この目的のために、本発明は、一般的にヘッドマウント型ディスプレイシステムとして構成され、本システムを使用していないときのユーザの眼の視点と実質的に類似する視点で風景の入力画像データを収集するように構成される、ディスプレイシステムを提供する。ディスプレイシステム１０００を概略的に示す図１を参照すると、ディスプレイシステム１０００は、２つのアイディスプレイユニット１００ａおよび１００ｂを一般的に含み、ユーザが期待する視線および視点に対応する表示画像データを提供するように構成される。アイディスプレイユニット１００ａおよび１００ｂの各々は、ユーザの眼１０ａおよび１０ｂによって収集され得る画像データを画像ストリームの形態で形成するために構成される画像形成モジュール１３０を含み、入力画像データを収集するために構成される少なくとも１つのカメラユニット１２０と関連している。さらに、本発明に従って、各アイディスプレイユニット１００ａまたは１００ｂは光偏向モジュール１４０を含み、光偏向モジュール１４０は、ユーザの前方の風景から到達する光の少なくとも一部を対応するカメラユニット１２０に向け、画像形成ユニット１３０からの光をユーザの対応する眼１０ａまたは１０ｂに向けるために構成される。光偏向モジュール１４０は一般的に、その両側で少なくとも部分的に反射するように構成される平板を含み得る。付加的にまたは代替的に、光偏向モジュール１４０の１つ以上の表面は、１つ以上の湾曲面を有してもよく、および／または、回折を生じるおよび／またはホログラフィックの表面領域を利用してもよい。従って、光偏向モジュール１４０は、画像形成ユニット１３０による画像化または、カメラユニット１２０による画像収集を改良するための、光学的操作を施すように構成され得る。図に例示されるように、光偏向モジュール１４０は、対応するカメラユニット１２０の光軸（ＯＡ１ｃおよびＯＡ２ｃ）を、ユーザの眼１０ａおよび１０ｂの主光路ＯＡ１ｓおよびＯＡ２ｓと一直線な第一光路に向かって偏向するように構成される。一般的に、光偏向モジュール１４０は、それぞれ少なくとも１つの両面の光反射光学部品を含み得る。さらに、光偏向モジュールは、画像形成モジュール１３０によって発生される光（ＯＡ１ｄおよびＯＡ２ｄ）を、ユーザの眼の光軸（ＯＡ１ｖおよびＯＡ２ｖ）と一直線な第二光路に沿って偏向するように構成される。光偏向モジュールの操作により、画像形成モジュール１３０が対応するカメラユニット１２０に直接連結される場合では、ユーザに表示される画像はシステムを使用していないかのように実質的に滑らかで、従って風景の滑らかな表示を可能にする。

より具体的には、光偏向モジュール１４０の角度方向と、カメラユニット１２０によって集光される光の光路に位置する光学部品を含む、カメラユニット１２０の位置とにより、カメラユニットが眼と同等の光学平面で位置するようになる。従って、カメラユニットは、眼の位置に置かれて前を向けられている場合と実質的に類似する視線を有する。

一般的に、システム１０００はまた、カメラユニット１２０から入力画像データを受信し、入力データを処理して、画像形成モジュール１３０によって表示するための出力データを生成するように構成される、制御ユニット５００を含む、もしくはそれに連結可能である。制御ユニット５００は、対応するヘッドフォンまたはスピーカを介してユーザに与えられる音声データ（たとえば効果音）を生成するように構成されることもあり、場合によっては通信ネットワークもしくは様々な他の装置に接続されていることがある。一般的に制御ユニット５００は、周囲の三次元モデルを決定するために入力画像データを利用し、決定された三次元モデルに従って仮想物体を設置し得る。なお、入力画像データはユーザの視点と実質的に類似する視点から収集されるので、一般的に拡張現実における仮想物体の位置合わせによって、物体が正確かつ真実味のある位置および距離に設置された、信憑性のある体験をもたらされる場合があり、浮かんでいるもしくは他の実物体内に位置するように見える仮想物体の様々な誤作動を解決することに留意されたい。

いくつかの実施形態に従って、各アイディスプレイユニット１００は対応するカメラユニットを含む場合があることに留意されたい。あるいは、２つのアイディスプレイユニットは、右眼に対応する画像データを捉えるためにその視野の一部を使用し、ユーザの左眼に対応する画像データを捉えるためにその視野の他の部分を使用する、共通のカメラユニットと関連する場合がある。簡易化のために、本発明の技術は、アイディスプレイユニットのためのカメラユニットを使用するものとして本明細書で説明される。さらに、右および左眼の間の左右対称性により、本発明は片方の眼に関して本明細書で説明される。一般的に、いくつかの構成においては、システムは単眼ディスプレイユニットのみを含み、ユーザの他方の眼は妨害なしに自由に周囲を見ている場合がある。

図２Ａおよび２Ｂを参照すると、周囲（実際の風景／現実）の入力画像データは、ユーザの視線に対してずれているカメラユニットによって（図２Ａ）、そしてユーザと共通の視線を有するカメラユニットによって（図２Ｂ）もたらされる、拡張現実環境における仮想物体とのユーザインタラクションが例示されている。図２Ａは、ディスプレイ９００を備えた眼鏡型の拡張現実ユニットを装着したユーザを図示する。拡張現実ユニット９００はまた、ユーザ周辺の実際の風景に対して表示される仮想物体（たとえば物体ＯＢＪ）の位置を決定するように使用される、周囲の画像データを収集するために構成されるカメラユニット１２０を含む。通常、システム９００の処理／制御ユーティリティ（ここでは具体的には図示されていない）は、入力画像データを利用して表示される物体の位置を決定する。カメラユニット１２０の視線がユーザの眼１０の視線に対してずれているので、物体が表示される位置は実際の風景に対してずれている場合がある。このようなずれによって、現実物体および仮想物体の両方との相互作用を形成しようとするとき、そして仮想物体が選定された現実物体と同じような位置に提示されるときに、ユーザが方向感覚を失い得る。

図２Ｂの図は、本発明の技術に従って構成される拡張現実システム１０００を例示する。より具体的には、本システムは、ユーザの眼１０と実質的に類似する視界の光を有するように構成されるカメラユニット１２０を含む。この構成は、ユーザの視点から見られる入力画像データを処理／制御ユーティリティ（具体的に図示されていない）に与える。したがって、制御ユーティリティは、ユーザの空間における方向決めおよびこのような物体との相互作用を簡易化するように、現実の風景に対して表示される仮想物体（たとえば物体ＯＢＪ）の位置を決定し得る。

一般的に、ユーザから比較的離れた物体に関しては、視線のわずかな変化は無視してよい。しかし、多くの拡張現実の用途が、表示される物体とのユーザインタラクションを促進するために使用され得るので、物体はユーザから数センチから約１．５メートルの距離、つまり手の届く位置に現れるように表示され得る。このような比較的短い距離に関しては、数センチでさえも視線が変化すると重要なずれにつながり、表示される仮想物体と相互作用しようとするときにユーザが方向感覚を失う。

図３には、ビデオシースルー構成の例示的な使用法が示されている。図３に示されるように、ユーザは、本発明のいくつかの実施形態に従う拡張現実システム１０００を利用しながら、実際の物理的課題を操作および実施している間に、視覚的な案内および／または取扱説明書を受け取る。この例では、ユーザは２つの物体ＯＢＪ１およびＯＢＪ２を組み立てようとしており、システム１０００は、その物体の周りに見えて、作業をどのように実施するかという指示を与える、付加的な指示データ層ＶＳを提供する。ユーザに表示される実物ＯＢＪ１およびＯＢＪ２の位置は、空間における物体の実際の位置に従い（ユーザの手にもまた関連して）、指示（拡張）データＶＳは、ユーザにとって有意義にするために、対応する位置に見えることに留意されたい。より具体的には、もしこの例において拡張データＶＳがＯＢＪ１の隣に現れる場合、課題はＯＢＪ２からＯＢＪ１を回して外すと理解され、もし拡張データＶＳがＯＢＪ２の隣に現れる場合、結果として生じる課題は反対のもの（ＯＢＪ１とＯＢＪ２とを共に螺合する）として理解され得る。

図４を参照すると、本発明のいくつかの実施形態に従ってアイディスプレイユニット１００が概略的に示されている。アイディスプレイユニット１００は、画像形成ユニット１３０、カメラユニット１２０、および光偏向モジュール１４０を含む。光偏向モジュール１４０は、たとえば両面鏡などの、ユーザの前方の風景から到達する光をカメラユニット１２０によって捉えられるように偏向し、画像形成ユニット１３０から到達する光をユーザの眼１０に向けて偏向するように構成される、少なくとも部分的に反射する両面プレートの場合がある。通常、光偏向モジュール１４０は、周囲およびカメラユニット１２０側にある面１４１と、眼および画像形成ユニット１３０側にある面１４２との、２つの少なくとも部分的に反射する面を有し、周囲から到達する光をカメラ１２０に向かって反射し、画像形成ユニット１３０から到達する光をユーザの眼１０に向かって反射するように、斜め方向で位置する。

より具体的には、光偏向モジュール１４０およびカメラユニット１２０は、カメラユニットの光軸ＯＡｃが、前方を直接凝視するときに期待されるユーザの視線ＯＡｓと一直線上にある第一軸に沿って、面１４１に偏向されるように、位置され方向付けられる。所望される視野を提供するために、１つ以上の光学部品が、カメラユニット１２０によって集光される光の光路に設けられ、２つのこのような光学部品１２２および１２４が図に例示されている。これらの光学部品は、１つ以上のレンズ、アパーチャまたは画像収集を改良するために構成される他の構成要素を含んで、所望される視野を提供し得る。光学部品は、光路ＯＡｃに沿って、カメラユニット１２０と光偏向モジュール１４０との間に、同様に光路ＯＡｓに沿って、光偏向モジュール１４０とユーザの前方にある風景との間に位置し得る。さらに後述で説明されるように、いくつかの構成では、アイディスプレイユニット１００はカメラユニット１２０と光偏向モジュール１４０との間にのみ位置する光学部品を利用し得る。光学部品１２２および／または１２４は、集光される入力光に所望の光学的操作を施すように、別々にもしくは一緒に構成され得る。たとえば、光学部品は、ズームレンズ、望遠レンズシステム、接眼レンズユニット等として構成され得る。さらに、上述のように、光偏向モジュール１４０の面１４１は、光学部品１２２および１２４に加えてもしくはその代替として、適切な曲率、回折、もしくはホログラフィック要素等を利用しながら、所望の光学的操作を適用するように構成されることがある。

光偏向モジュール１４０の面１４２は一般的に、画像形成ユニット１３０から到達する光をユーザの眼に偏向した。図示されるように、画像形成ユニット１３０は、その光軸ＯＡｄが第二光路に沿って偏向されてユーザの眼の光軸ＯＡｖと一直線になるように設置される。画像形成ユニット１３０は、ユーザが認識できる画像を形成する出力光を生成可能な、任意の種の画像形成ユニットでよい。たとえば、画像形成ユニット１３０は、複数のピクセルを選択的にＯＮとＯＦＦに切り替えることによって画像データを形成するために構成されるディスプレイパネルを有する、ディスプレイユニットを含む場合があり、または、選定される画像データを、直接ユーザの眼にもしくは中間にある画面に投影するために構成されるアイプロジェクションユニットを含む場合がある。

さらに、第二光路はまた、表示されるデータをユーザに映し出すために構成される、１つ以上の光学部品を含み得る。２つのこのような光学部品は、画像形成ユニット１３０と光偏向モジュール１４０との間、および光偏向モジュール１４０とユーザの眼１０との間にそれぞれ位置する、１３２および１３４として例示される。光学部品は、画像形成ユニット１３０からユーザの眼１０に向かう光伝搬に影響を与えて、所望される集束距離をもたらすように使用され得る。また、上述のように、光偏向モジュール１４０の面１４２はまた、光学部品１３２および１３４に加えてまたはその代替として、適切な曲率、回折、またはホログラフィック要素等を使用しながら、所望される光学的操作を与えるように構成され得る。

従って、本発明の様々な実施形態に従って、光偏向モジュール１４０（およびその偏向面１４１および１４２）は、基準光路ＯＡｓ（第一光路の一部であって、風景から到達する光は第一光路から／第一光路に沿って光偏向モジュール１４０によって（たとえば面１４１によって）偏向されて、カメラユニット１２０に捉えられる）が基準光路ＯＡｖ（第二光路の一部であって、画像形成ユニット１３０によって投影される光は第二光路に沿って光偏向モジュール１４０（たとえば、反対の面１４２）によって偏向されて眼１０に伝搬する）と一直線（同軸）になるように構成され、システム１００内で配置される。従って、カメラユニット１２０に捉えられて、画像形成ユニット１３０によって眼に投影される、風景の画像もしくはその複数の部分は、外部風景に関する空間的な位置決めをされて認識される。

光偏向モジュール１４０は、部分的に反射して、風景から到達する光が光路ＯＡｓおよびＯＡｖに沿ってユーザの眼１０に向かって伝搬できるように構成され得ることに留意されたい。このような構成では、光学部品１２４および１３４は、接眼レンズの２つの部分として構成されて、ユーザが周囲を見られるようにする場合があり、または使用されない場合がある。このような構成では、風景は、制御ユニットによって処理されることなくユーザに直接見えて、付加的な画像層が画像形成ユニット１３０によって実際の可視風景の上に設けられ得る。

図５を参照すると、本発明のいくつかの実施形態に従うアイディスプレイユニット１００が図示されている。この例では、光偏向モジュール１４０は、両側からそこに衝突する光のほとんど１００％（たとえば、ほぼ１００％、通常は約９５％〜９９％）を反射する両面鏡として構成される。画像形成ユニット１３０は、第一中継モジュール１３６を含むアイプロジェクションユニットとして構成され、光学部品１３４は第二中継モジュールとして構成される。アイプロジェクションユニットはアイトラッカーを含む場合があり、ユーザの眼の動きに従って画像投影の角度方向を変えられる場合がある。

さらに、図５に例示される構成では、カメラユニットは光学部品１２２および１２４を含み、所望される視野を提供し得る。一般的に、カメラユニットは、ユーザの眼１０に対応する視線を提供しながら、所望される、場合によっては可変な視野を可能にする、光学部品の選定される任意の構成を利用し得る。カメラユニット１２０は、もし使用されている場合は、プロジェクションのアイトラッカーによってもたらされる眼の方向に関するデータに従ってその視線を変更するために、偏向光学部品を利用する場合があることに留意されたい。

図６は、本発明のいくつかの実施形態に従うアイディスプレイユニット１００のさらなる構成を例示する。この構成では、カメラユニット１２０は、光偏向モジュール１４０とカメラユニット１２０との間で、集光される光の光路に位置する、光学部品１２２を備えられる。さらなる光学部品１２６が使用され、光学部品１２２とカメラユニットとの間に位置する場合がある。画像形成モジュールは上述の構成に従って構成され得るので、画像形成ユニット１３０に関する図の詳細は省略されている。

一般的に、上述の本発明の様々な実施形態に従って、各アイディスプレイユニット１００の少なくとも１つのカメラユニット１２０によって提供される入力画像データが、立体的な入力画像データを提供する。制御ユニット（一般的に図１の５００）は、そこに接続可能なディスプレイシステムの一部であって、上述のように、周囲の決定された三次元マッピングへの入力データを利用する場合がある。このことは、システムが、風景の入力画像データに基づいて信憑性のある拡張データを提供し、拡張現実環境におけるユーザの方向付けを改良することを可能にする。さらに、このような風景の三次元マップは、ユーザの眼の各々に提供される画像の視点の変化に加えて、物体の実際の距離に一致する焦点距離を画像ディスプレイに与え、完全な三次元体験をユーザに提供するように使用され得る。

従って、本発明は、１つ以上のカメラユニットによって集光されるように入力光を向けて、ユーザの眼の視点と実質的に類似する視点を備えた画像を収集するように設けられる、光偏向モジュールを利用しながら、ヘッドマウントディスプレイシステムとして一般的に構成される、ディスプレイシステムを提供する。この構成は、信憑性のある拡張現実体験を提供し、本システムによって提供される仮想もしくは拡張現実におけるユーザの方向付けを向上させる。

Claims (13)

1. 風景の対象領域から第一光路に沿って到達する光を集光して、前記風景を表示する画像データを生成するために構成される少なくとも１つのカメラユニットと、
   画像データを受信して、第二光路に沿って前記画像データの画像をユーザの眼に投影するために構成される少なくとも１つの画像形成モジュールと、
   その両側から到達する光を少なくとも部分的に反射するように構成され、前記第一および第二光路と交差しながら前記眼の前に置かれ、前記画像形成モジュールと前記ユーザの眼との間に前記第二光路を画定し、前記少なくとも１つのカメラユニットと前記風景との間に前記第一光路を画定するように方向付けられ、それによって前記少なくとも１つのカメラユニットが前記ユーザの眼の視線と実質的に類似する視点を有するようにする少なくとも１つの両面の光反射光学部品を含む、光偏向モジュールと
   を含むアイディスプレイユニットを含む、システム。
2. 前記少なくとも１つのカメラユニットは、前記光偏向モジュールがない場合の、風景に関する前記ユーザの眼の光軸平面に一致する光軸平面に、前記第一光路に沿って位置する、請求項１のシステム。
3. 前記少なくとも１つのカメラは、対応するユーザの眼の視線と実質的に類似する視線をもたらすように、前記第一光路に沿って位置する、請求項１または２のシステム。
4. 前記少なくとも１つの画像形成モジュールは、１つ以上の画像を表示する構造化光をユーザの対応する眼に投影するために構成される、アイプロジェクションユニットを含む、請求項１から３のいずれかのシステム。
5. 前記少なくとも１つの画像形成モジュールは、表示される画像データを提供するために構成される画像ディスプレイユニットを含む、請求項１から４のいずれかのシステム。
6. 光偏向モジュールの、前記少なくとも１つの両面の光反射光学部品は、両面鏡として構成される、請求項１から５のいずれかのシステム。
7. ユーザの右眼および左眼と対応する、第一および第二アイディスプレイユニットを含む、請求項１から６のいずれかのシステム。
8. 前記アイディスプレイユニットはさらに制御ユニットを含み、前記制御ユニットは、少なくとも１つのカメラユニットに収集される画像データを受信し、対応する表示画像データを生成し、対応する画像をユーザに提供するために前記表示画像データを前記少なくとも１つの画像形成モジュールに送信するように構成され作動可能である、請求項１から７のいずれかのシステム。
9. 前記少なくとも１つのカメラユニットの光学的位置および視線が、前記ユーザの対応する眼の光学的位置および視線と一致するように、前記光偏向モジュールが入力光を向けるように構成される、請求項１から８のいずれかのシステム。
10. 前記光偏向ユニットは、前記少なくとも１つのカメラユニットの位置が眼と同じ位置にあるようにする、請求項１から９のいずれかのシステム。
11. 前記少なくとも１つのディスプレイユニットは、滑らかな画像表示を提供するように構成される、請求項１から１０のいずれかのシステム。
12. 光偏向モジュールは、そこから反射される光に選定された光学的操作を施すように構成される少なくとも１つの反射面を含む、請求項１から１１のいずれかのシステム。
13. 前記少なくとも１つの反射面は、選定された表面曲率、回折格子、およびホログラフィック要素のうちの少なくとも１つを備えて構成される、請求項１２のシステム。

Images