JP2015132821A - 光学シースルー・グラス型ディスプレイ装置およびそれに対応する光学ユニット - Google Patents

Abstract

【課題】周囲光景画像と空間的な一貫性がある仮想画像を知覚することが可能なシースルー・グラス型ディスプレイ装置を提供する。【解決手段】ディスプレイ装置１００は、前側矯正面および後側矯正面１１６ａを有する光学ユニット１１０と、仮想画像を投影する画像プロジェクタ１３０と、周囲光景画像を取り込む画像センサ１２０とを有する。光学ユニット１１０は、前側矯正面１１２ａを通って入来する周囲光景画像光を画像センサ１２０に導き、かつ仮想画像光が後側矯正面１１６ａを通って出射するように仮想画像光を導くように構成されている。第１の光学補正素子１２４が光学ユニット１１０と画像センサ１２０との間に位置し、第２の光学補正素子１３４が画像プロジェクタ１３０と光学ユニット１１０との間に位置する。この装置は、画像センサ１２０によって取り込まれた周囲光景画像を解析するように構成された処理モジュール１４０をさらに有する。【選択図】図１

Description

本発明は、一般に、光学シースルー・グラス型ディスプレイ装置に関する。

光学シースルー・グラス型ディスプレイ装置は、グラス越しに見える周囲光景に重ね合された仮想画像を観察者に提供する。この仮想画像は、プロジェクタによって投影して、グラス上の光学素子を介して観察者の眼に導くことができる。光学シースルー・グラス型ディスプレイ装置は、装置の左側のグラスに左画像を表示し、右側のグラスに右画像を表示して、観察者が奥行きを３次元的に知覚することができるようにすることによって、立体仮想画像を提示することもできる。

このような光学シースルー・グラス型ディスプレイ装置では、仮想画像が立体仮想画像である場合に、適切な位置および大きさで、かつ適切な奥行きで周囲光景画像上に仮想画像を提示するために、ディスプレイ装置が度付きレンズ機能を提供する矯正面を含む場合でも、観察者が、周囲光景画像と空間的な一貫性がある仮想画像を知覚することが好ましい。

トロント大学の研究所であるＥｙｅＴａｐ Ｐｅｒｓｏｎａｌ Ｉｍａｇｉｎｇ（ｅＰＩ）Ｌａｂは、フラット・ビーム・スプリッタ・プレート（ｆｌａｔ ｂｅａｍ ｓｐｌｉｔｔｅｒ ｐｌａｔｅ）を用いて現実世界と仮想世界との間の対応を保つためにディスプレイおよびカメラを眼鏡に組み込む「ＥｙｅＴａｐ」技術を開発した（ｈｔｔｐ：／／ｗｗｗ．ｅｙｅｔａｐ．ｏｒｇ／ｒｅｓｅａｒｃｈ／ｅｙｅｔａｐ．ｈｔｍｌを参照）。しかし、この技術は、眼鏡が度付きレンズを含む状況を想定していない。

本発明の一態様によれば、光学シースルー・グラス型ディスプレイ装置は、前側矯正面および後側矯正面を有する光学ユニットと、仮想画像を投影する画像プロジェクタと、周囲光景画像を取り込む画像センサとを有する。光学ユニットは、前側矯正面を通って入来する周囲光景画像光を画像センサに導き、かつ仮想画像光が後側矯正面を通って出射するように仮想画像光を導くように構成されている。第１の光学補正素子が、光学ユニットと画像センサとの間の光路中に位置し、第２の光学補正素子が、画像プロジェクタと光学ユニットの間との光路中に位置する。この装置は、画像センサによって取り込まれた周囲光景画像を解析して、画像プロジェクタに供給する仮想画像を周囲光景画像の解析結果に応じて作成するように構成された処理モジュールをさらに有する。

本発明の目的および利点は、特許請求の範囲に具体的に指摘する要素および組合せによって実現され、達成される。

上記の概略的な説明、および以下の詳細な説明は、例示および説明のためのものであり、請求する本発明を制限するものではないことを理解されたい。

本発明の上記その他の態様、特徴および利点は、以下の説明を添付の図面と関連付けて読めば明らかになるであろう。

本発明の実施形態によるシースルー・グラス型ディスプレイ装置を示す図である。 本発明の実施形態によるシースルー・グラス型ディスプレイ装置の構成要素を示すブロック図である。 周囲光景から入来して画像センサに取り込まれる光の第１の光路と、画像プロジェクタから投影され、観察者の眼に向けられる光の第２の光路とを示す概略図である。

以下の説明では、本発明の実施形態の様々な態様について述べる。説明を目的として、完全な理解が得られるように、具体的な構成および詳細を記載する。ただし、本発明は、本明細書に記載する具体的な詳細を用いることなく実施することもできることも、当業者には明らかであろう。

図１は、本発明の実施形態によるシースルー・グラス型ディスプレイ装置を示す図である。

図１に示すように、シースルー・グラス型ディスプレイ装置１００は、前側ガラス板１１２、中間ガラス板１１４および後側ガラス板１１６を有するガラス板ユニット１１０と、画像センサ１２０と、画像プロジェクタ１３０とを含み得る。画像センサ１２０は、第１の光学導光素子１２２を介して前側ガラス板１１２に光学的に接続され、画像プロジェクタ１３０は、第２の光学導光素子１３２を介して中間ガラス板１１４に光学的に接続されている。第１の光学補正素子１２４が、前板１１２と画像センサ１２０との間の光路中の、前板１１２の出射端部の後方に位置している。また、第２の光学補正素子１３４が、画像プロジェクタ１３０と中間板１１４との間の光路中の、中間板１１４の入射端部の前方に位置している。光学補正素子１２４および１３４の詳細については、後述する。

装置１００は眼鏡型装置とすることもできるので、２つのガラス板ユニットを互いに接続するブリッジ（図示せず）、および観察者の両耳の上にそれぞれ延びて装置１００を適所に保持するのを助けるテンプル・アーム（図示せず）も含む。図１では、図示を簡潔にするために、観察者の右眼１０５用の、装置１００の半分の構成要素のみを示してある。

前側ガラス板１１２は、観察者の近視または遠視を矯正するために、周囲光景側に位置する前側矯正面１１２ａ（図１では湾曲は示していない）を有する。ガラス板１１２の前側矯正面１１２ａは、周囲光景から入来する光１５０がガラス板１１２に入射したときに、その光を屈折させる。

ガラス板ユニット１１０は、前側ガラス板１１２と中間ガラス板１１４との間に分離層１１３を有する。分離層１１３は、例えば、フレネル構造を有することができる。分離層１１３は、入来する光の一部を反射し、残りを透過させる、半反射特性を有する。

分離層１１３は、前側ガラス板１１２の前側矯正面１１２ａを通って周囲光景から入来する光ビームの方向を変えて、光ビームがガラス板１１２の両表面の間の全反射（ＴＩＲ：Ｔｏｔａｌ Ｉｎｔｅｒｎａｌ Ｒｅｆｌｅｃｔｉｏｎ）によって前側ガラス板１１２内を横方向に伝搬するようにする。ガラス板１１２内を伝搬する光ビームは、第１の光学導光素子１２２を介して画像センサ１２０まで進んだ後に、画像センサ１２０に取り込まれる。分離層１１３は、周囲光景から入来する光が分離層１１３内を通って観察者の眼１０５に向かって進むように透過性である。

画像プロジェクタ１３０は、仮想画像を投影するように構成されている。画像プロジェクタ１３０によって投影される仮想画像の光ビームは、第２の光学導光素子１３２を介して導かれた後に、中間ガラス板１１４に入射する。この光ビーム１６０は、板１１４の両面の間の全反射（ＴＩＲ）によって中間ガラス板１１４内を横方向に伝搬する。次いで、光ビームの少なくとも一部は、分離層１１３によって反射され、観察者の眼１０５に向けられる。その結果、観察者に対して仮想画像が提示される。

中間ガラス板１１４の後方の後側ガラス板１１６は、観察者の近視または遠視を矯正するために、観察者の眼の側に位置する後側矯正面１１６ａを有する。後側矯正面１１６ａは、後側ガラス板１１６から出射する光を屈折させる。

なお、前側ガラス板１１２の前側矯正面１１２ａおよび後側ガラス板１１６の後側矯正面１１６ａの曲率は、視力検査によって予め測定することができる、観察者の視力特性に応じて事前に決定することができることに留意されたい。また、分離層１１３の半反射性要素の寸法、角度および反射／透過レベルは、上述の周囲光景画像光および仮想画像光の光路がガラス板ユニット１１０内に確立されるように規定することができることにも留意されたい。さらに、例えば、分離層１１３の領域を除く前側ガラス板１１２と中間ガラス板１１４との間の境界面、および中間ガラス板１１４と後側ガラス板１１６との間の境界面を、ガラス板１１２，１１４および１１６より低い屈折率を有する透明樹脂で構成して、前側ガラス板１１２および中間ガラス板１１４内で全反射（ＴＩＲ）を生じさせることができるようにすることも可能である。

装置１００は、画像センサ１２０および画像プロジェクタ１３０に接続された処理モジュール１４０をさらに含む。モジュール１４０は、（１）例えば周囲光景画像中における追跡対象を特定するための、画像センサ１２０によって取り込まれた周囲光景画像の解析、ならびに、（２）取り込まれた周囲光景画像中における追跡対象の位置および大きさに応じて適当な位置に適当な大きさでガラス板ユニット１１０上に仮想画像が提示されるように仮想画像を提供するための仮想画像の重ね合せ（ｏｖｅｒｌａｙ）を実行するように構成されている。

図２は、本発明の実施形態によるシースルー・グラス型ディスプレイ装置の構成要素を示すブロック図である。図２に示すように、この装置２００の構成要素は、画像プロジェクタ２１０と、処理モジュール２３０と、画像センサ２５０とを含む。画像プロジェクタ２１０と画像センサ２５０は、有線または無線の接続を介してそれぞれモジュール２３０に接続されている。

画像プロジェクタ２１０は、仮想画像を投影するディスプレイ２１５と、ディスプレイ２１５を制御する制御装置２２０と、ディスプレイ２１５から光学導光素子１３２（図１）に光を導く光学素子２２５とを含む。ディスプレイ２１５の例示的な実施態様は、ＬＣＤ（液晶ディスプレイ）とＬＥＤ（発光ダイオード）のＲＧＢ光源モジュールとで構成することができる。なお、その他の任意の技術を利用して、ディスプレイ２１５を構成してもよいことに留意されたい。

モジュール２３０は、受信機２３５およびメモリ２４０を含む。これらの受信機２３５およびメモリ２４０は、仮想画像として投影される画像または映像を受信し、格納するように構成されている。これらの画像または映像は、任意の種類の外部装置（図示せず）に格納されており、その外部装置から有線または無線の接続を介して受信する。受信機２３５およびメモリ２４０は、取り込まれた周囲光景画像を画像センサ２５０から受信して格納するようにも構成されている。

モジュール２３０は、プロセッサ２４５をさらに含む。プロセッサ２４５は、メモリ２４０に格納された周囲光景画像の解析を実行して、例えば、周囲光景画像中における追跡対象の大きさおよび／または位置を特定する。例えば、追跡対象は、観察者の眼の前に伸ばした、観察者の手であってもよい。プロセッサ２４５は、取り込まれた周囲光景画像中における追跡対象の位置および大きさに応じて適当な位置に適当な大きさでガラス板ユニット１１０上に仮想画像形成ビームが提示されるように仮想画像を提供するための仮想画像の重ね合せも実行する。

例えば、プロセッサ２４５は、ガラス板ユニット１１０を通して見える周囲光景画像中のトラッキングされた観察者の手の上、またはその隣に仮想画像が重ね合されるように、かつ仮想画像が観察者の手と一緒に動くように、取り込まれた周囲光景画像中におけるトラッキングされた観察者の手の位置および大きさに応じて、ガラス板ユニット１１０の分離層１１３の領域に表示される仮想画像の大きさおよび位置を決定することができる。仮想画像は、受信機２３５が受信してメモリ２４０に格納された画像、映像またはテキスト情報などであってもよい。画像プロジェクタ２１０に供給される仮想画像は、プロセッサ２４５によって、上述の周囲光景画像の解析の結果に応じて作成される。大きさおよび位置が調節された仮想画像のデータは、プロセッサ２４５から画像プロジェクタ２１０に出力され、その後、大きさおよび位置が調節された仮想画像が、画像プロジェクタ２１０によって投影される。

上述のように、プロセッサ２４５によって周囲光景画像の解析を実行して、周囲光景画像中における追跡対象の大きさおよび／または位置を特定する。周囲光景画像の解析は、表示される仮想画像の較正（キャリブレーション）のために必要であるので、プロセッサ２４５における解析プロセスおよび画像センサ２５０における撮像動作は、較正が確立されたら停止または解除することもできる。停止した場合には、これらのプロセスおよび動作は、例えば周囲光景画像および追跡対象が変化したときなど、周囲光景画像中における追跡対象の大きさおよび／または位置を特定し直さなければならないときに、再び作動させることができる。コンシューマの用途が光景の取込みを必要としない場合には、画像センサおよび撮像動作を除去すればよい。この場合には、較正は、例えば専門機器のある眼鏡店ってもよい。この場合には、コンシューマ眼鏡製品の複雑さおよびコストを低減することができる。

図１を参照すると、プロジェクタ１３０によって投影された仮想画像光１６０は、中間ガラス板１１４内を伝搬し、仮想画像光１６０の少なくとも一部が、分離層１１３によって観察者の眼１０５に向かって方向が変えられる。方向が変えられた光は、眼１０５の網膜に到達し、これにより、観察者はガラス板ユニット１１０を通して見える周囲光景画像に重ね合された仮想画像を知覚することになる。後側矯正面１１６ａは、後側ガラス板１１６から出射する周囲光景画像光および仮想画像光の両方を屈折させる。

図３は、周囲光景から入来して画像センサに取り込まれる光の第１の光路と、画像プロジェクタから投影され、観察者の眼に向けられる光の第２の光路とを示す概略図である。図３に示す前側ガラス板３１０、第１の光学補正素子３１５および画像センサ３２０は、図１に示す要素１１２，１２４および１２０にそれぞれ対応する。また、図３に示す画像プロジェクタ３５０、第２の光学補正素子３５５および後側ガラス板３６０は、図１に示す要素１３０，１３４および１１６にそれぞれ対応する。

図１および図３を参照すると、上述のように、前側ガラス板１１２に入射した光は、板１１２の前側矯正面１１２ａによって屈折される。従って、前側ガラス板１１２に入射し、板１１２内を伝搬し、画像センサ１２０に取り込まれる周囲光景画像は、前側ガラス板１１２の前側矯正面１１２ａによって変形される（拡大される、縮小される、または歪まされる）。取り込まれた周囲光景画像に補正が行われない場合には、周囲光景画像は、モジュール２３０（図２）のプロセッサ２４５によって正しく認識されず、これによりプロセッサ２４５から出力される仮想画像の位置または大きさに誤りが生じ、ガラス・ユニット１１０を通して見える周囲光景画像と周囲光景画像に重ね合される仮想画像との間に空間的な非一貫性が生じることになる。このような補正は、プロセッサ２４５が実行する任意の種類の画像処理によって実現することもできるが、この解決策では、プロセッサ２４５に要求される計算コストが大きくなり、画像処理中の再サンプリングまたは補間によって、取り込まれる周囲光景画像の画質が低下することになる。

取り込まれた周囲光景画像の変形を補正するための画像処理を必要としない別の手法が、本発明の実施形態によって提供される。この実施形態では、第１の光学補正素子１２４は、画像センサ１２０の入力端部に設けられる。光学補正素子１２４は、光学レンズまたは光学表面などであってもよい。光学補正素子１２４は、前側ガラス板１１２の前側矯正面１１２ａによって生じる周囲光景画像の変形を補正する、または打ち消す光学的特性を有する。光学補正素子１２４の光学的特性は、前側ガラス板１１２の前側矯正面１１２ａの光学的特性に基づいて、製造時に選択することができる。光学補正素子１２４により、画像センサ１２０は、画像センサ１２０の撮像領域に形成される補正された「元の」周囲光景画像を取り込むことができる。

また、上述のように、画像プロジェクタ１３０によって投影され、中間ガラス板１１４内を伝搬し、分離層１６０によって観察者の眼１０５に向かって方向が変えられた光は、後側ガラス板１１６の後側矯正面１１６ａによって屈折される。従って、観察者の眼１０５は、後側ガラス板１１６の後側矯正面１１６ａによって変形した（拡大した、縮小した、または歪んだ）仮想画像を見る。観察者に提示される仮想画像に補正が行われない場合には、観察者は、ガラス板ユニット１１０を通して見える周囲光景に対して不適切な位置に、かつ／または不適切な大きさで重ね合された仮想画像を見ることになり、これによりガラス・ユニット１１０を通して見える周囲光景画像と周囲光景画像に重ね合される仮想画像との間に空間的な非一貫性が生じることになる。後側矯正面１１６ａによって生じる変形を考慮して、予め画像処理によって仮想画像を変形させておくこともできるが、この手法では、必要とされる計算コストが大きくなり、画像処理中の再サンプリングまたは補間によって仮想画像の画質も低下することになる。

この実施形態では、第２の光学補正素子１３４が、画像プロジェクタ１３０の出力端部に設けられる。光学補正素子１３４は、光学レンズまたは光学表面などであってもよい。光学補正素子１３４は、後側ガラス板１１６の後側矯正面１１６ａによって生じる仮想画像の変形を補正する、または打ち消す光学的特性を有する。光学補正素子１３４の光学的特性は、後側ガラス板１１６の後側矯正面１１６ａの光学的特性に基づいて、製造時に選択することができる。この実施形態では、画像プロジェクタ１３０によって投影された「元の」仮想画像を、光学補正素子１３４が変形させ（拡大し、縮小し、または歪ませ）、その後、この「変形した」仮想画像の光が、中間ガラス板１１４内を全反射（ＴＩＲ）によって伝搬し、分離層１６０によって反射されて観察者の眼１０５に向かって方向が変えられ、最終的に後側ガラス板１１６の後側矯正面１１６ａを通って後側ガラス板１１６から出射する。この「変形した」仮想画像は、「変形した」仮想画像の光が後側矯正面１１６ａから出射するときに生じる屈折によって、「元の」仮想画像に復元される。従って、「元の」仮想画像が、観察者の眼１０５に提示される。

上述のように、図示を簡潔にするために、図１には、観察者の右眼用の装置１００の半分の構成要素しか示していない。ただし、装置１００は、図１に示す構成要素と同じ観察者の左眼用の構成要素を、対称的に含むことができ、この場合、観察者の両眼に仮想画像を提供することになることに留意されたい。あるいは、装置１００は、観察者の左眼用としては、単一の単純なガラス板と、そのガラス板に接続されたテンプルだけを含むか、あるいは、ガラス板のない空のフレームと、そのフレームに接続されたテンプルだけを含んでいてもよく、この場合は、観察者の片眼にしか仮想画像が供給されないが、特定の用途では、これで問題ない。

以上、前側ガラス板１１２、中間ガラス板１１４および後側ガラス板１１６の３つの要素を含むという状況において、ガラス板ユニット１１０について述べてきた。しかし、ガラス板ユニット１１０は、上述のガラス板ユニットの機能を実行する限り、いかなる構成でもとることができ、それらの機能としては、仮想画像光の入射および抽出、周囲光景画像光および仮想画像光のガイド、ならびに視力矯正などが少なくとも挙げられることに留意されたい。この意味において、２つの隣接する板１１２および１１４および／または２つの隣接する板１１４および１１６を一体化することもでき、従って、ガラス板ユニット１１０の板の数は３枚未満であってもよい。

さらに、上述の例では、周囲光景画像光１５０および仮想画像光１６０は、それぞれ、板１１２内および板１１４内の全反射（ＴＩＲ）によって導かれる。なお、ガラス板ユニット１１０は、光１５０および１６０の少なくとも一方をＴＩＲの手法以外の手法によって導くように構成することもできることに留意されたい。例えば、分離層１１３で反射された周囲光景画像光１５０を、第１の光学補正素子１２４によって画像センサ１２０上に直接収束させ、かつ／または、画像プロジェクタ１３０から投影され、第２の光学補正素子１３４を通過した仮想画像光１６０を、分離層１１３に直接当てることもできる。

さらに、本発明の一実施形態では、ガラス板ユニット１１０は、分離層１１３の代わりに、そのうちの少なくとも２つの間に隙間が存在するように位置決めされた反射鏡要素のアレイを含むこともできる。本発明の別の実施形態では、ガラス板ユニット１１０は、分離層１１３の代わりに、そのうちの少なくとも２つの間に隙間が存在するようにやはり互いに離間した半反射鏡要素のアレイを含むこともできる。このような隙間によって、外部光をその内部に通すことができる。

本明細書に記載する全ての例および条件に関する表現は、本発明と、当技術分野をさらに進歩させるために発明者が与える概念とを、読者が理解するのを助けるという教育的な目的を有するものであって、本発明がこれらの具体的に列挙した例および条件に限定されるわけではないものと解釈されたい。また、本明細書におけるこれらの例の構成は、本発明の優劣を示すこととは無関係である。

Claims (6)

1. 光学シースルー・グラス型ディスプレイ装置であって、
   前側矯正面および後側矯正面を有する光学ユニットと、
   仮想画像を投影する画像プロジェクタと、
   周囲光景画像を取り込む画像センサと、
   を有し、
   前記光学ユニットは、前記前側矯正面を通って入来する周囲光景画像光を前記画像センサに導き、かつ仮想画像光が前記後側矯正面を通って出射するように前記仮想画像光を導くように構成されており、
   第１の光学補正素子は、前記光学ユニットと前記画像センサとの間の光路中に位置し、第２の光学補正素子は、前記画像プロジェクタと前記光学ユニットとの間の光路中に位置しており、
   前記装置は、前記画像センサによって取り込まれた前記周囲光景画像を解析して、前記画像プロジェクタに供給する仮想画像を前記周囲光景画像の解析結果に応じて作成するように構成された処理モジュールをさらに有する、前記ディスプレイ装置。
2. 前記処理モジュールは、前記周囲光景画像の前記解析によって前記周囲光景画像中における追跡対象を特定し、前記追跡対象の大きさおよび位置に応じて前記仮想画像を作成するように構成されている、請求項１に記載のディスプレイ装置。
3. 前記第１の光学補正素子は、前記前側矯正面によって生じる画像の変形を補正する光学的特性を有し、前記第２の光学補正素子は、前記後側矯正面によって生じる画像の変形を補正する光学的特性を有する、請求項１に記載のディスプレイ装置。
4. 前記光学ユニットは分離層を有しており、前記分離層は、入来する光の一部を反射し、前記入来する光の残りの部分を透過するように構成されている、請求項１に記載のディスプレイ装置。
5. 前記光学ユニットは、前記前側矯正面を有する前側板と、前記後側矯正面を有する後側板と、前記前側板と前記後側板の間に配置された中間板とを有する、請求項１に記載のディスプレイ装置。
6. 前記第１の光学補正素子は、前記前側板と前記画像センサとの間の光路中に位置し、前記第２の光学補正素子は、前記画像プロジェクタと前記中間板との間の光路中に位置する、請求項５に記載のディスプレイ装置。
   
   

Images