JP2021051230A - 表示装置及び表示方法 - Google Patents

Abstract

【課題】ＡＲ（Augmented Reality）グラスにおいてディスプレーが投影する画像の被写界深度を改善すること。【解決手段】ディスプレーによる画像と、現実の風景とを合成して表示する表示装置であって、前記ディスプレーから照射される光を通すピンホールと、前記ピンホールを通した光を透過させた後、実像を結像させる透過鏡と、前記透過鏡から透過される光を反射させるビームスプリッタとを有し、前記ビームスプリッタは現実の風景を透過する。【選択図】図７

Description

本発明は、表示装置及び表示方法に関する。

近年、様々なＡＲ（Augmented Reality）グラスが提案されている。例えば図１に示されるような、スマートフォンをディスプレーとして使用する安価かつ小型なＡＲグラスも提案されている。

一方、スマートフォンを使用するＡＲグラスの課題のひとつは、スマートフォンが投影する画像の浅い被写界深度（ＤｏＦ：Depth of field）である。すなわち、ＡＲの表示画面において、遠くを見る場合又は近くを見る場合にスマートフォンが投影する画像が焦点外となり、ぼけてしまう。したがって、ＡＲの表示画面で現実の風景を見たとき、スマートフォンが投影する画像によりキャプションが表示されるようなユースケースの場合に文字の可読性が低下し、致命的な障害となる可能性がある。

そこで、コンピュータによる表示画像のＤｏＦを改善する方法が提案されている。例えば、レーザを用いた網膜投影によってコンピュータによる表示画像のＤｏＦを改善する方法がある（例えば非特許文献１及び非特許文献２）。また、例えば、ピンホールを用いてコンピュータによる表示画像のＤｏＦを改善する方法がある（例えば非特許文献３）。

また、例えば、微少２面コーナーリフレクタアレイを用いた光学素子であって、光線を透過させた後、実像を結像させることができるＴＭＤ（Transmissive Mirror Device）を使用して表示を行う技術が検討されている（例えば非特許文献４）。

C. Jang, et al., Retinal "3D: Augmented Reality Near-eye Display via Pupil-tracked Light Field Projection on Retina." ACM Trans. Graph. 2017 Y. Ochiai, et al., "Make Your Own Retinal Projector: Retinal Near-eye Displays via Metamaterials," SIGGRAPH 2018 H. Do, et al., "Focus-free head-mounted display using pinhole and retroreflector film," ICCE 2018 前川聡、仁田功一、的場修、「微小２面コーナーリフレクタアレイを用いた面対称結像光学素子−実像を結像する「鏡」−」、社団法人映像情報メディア学会技術報告、Ｖｏｌ．３０，Ｎｏ．５２、情報ディスプレイ／ヒューマンインフォメーション（立体映像技術時限研究会合同開催）、２００６年１０月

しかしながら、従来のレーザを用いる網膜投影においては、光源にレーザを使用する必要ががあるため、比較的高価であり、かつスマートフォンを使用するＡＲグラスに適用することは困難である。また、従来のピンホールを用いる手法においては、装置の大型化、視野の狭さ及び光量の不足といった問題がある。

本発明は上記の点に鑑みてなされたものであり、ＡＲ（Augmented Reality）グラスにおいてディスプレーが投影する画像の被写界深度を改善することを目的とする。

開示の技術によれば、ディスプレーによる画像と、現実の風景とを合成して表示する表示装置であって、前記ディスプレーから照射される光を通すピンホールと、前記ピンホールを通した光を透過させた後、実像を結像させる透過鏡と、前記透過鏡から透過される光を反射させるビームスプリッタとを有し、前記ビームスプリッタは現実の風景を透過する表示装置が提供される。

開示の技術によれば、ＡＲ（Augmented Reality）グラスにおいてディスプレーが投影する画像の被写界深度を改善することができる。

ＡＲグラスの例を示す図である。 光源にレーザを使用する例（１）を示す図である。 光源にレーザを使用する例（２）を示す図である。 ＴＭＤを説明するための図である。 ピンホールを使用する例を示す図である。 本発明の実施の形態における表示装置の光学系の概要を説明するための図である。 本発明の実施の形態における表示装置の構成例（１）を示す図である。 本発明の実施の形態における表示装置の構成例（２）を示す図である。

以下、図面を参照して本発明の実施の形態を説明する。なお、以下で説明する実施の形態は一例であり、本発明が適用される実施の形態は、以下の実施の形態に限られない。

図２は、光源にレーザを使用する例（１）を示す図である。図２に示されるように、レーザから照射される光線は、スキャニングデバイスからコリメータレンズに投射され、平行な光線となる。さらに、当該平行な光線は、接眼レンズにより眼球の網膜に投影される。光源にレーザを用いて網膜に光線を投影することで、画像の被写界深度を制御することができる。しかしながら、光源にレーザを使用する必要があるため、比較的高価であり、かつスマートフォンを使用するＡＲグラスに適用することは困難である。

図３は、光源にレーザを使用する例（２）を示す図である。図３に示されるように、レーザから照射される光線は、ＴＭＤ（Transparent Mirror Device）を通して結像され、眼球の網膜に投影される。光源にレーザを用いてＴＭＤを介して網膜に光線を投影することで、画像の被写界深度を制御することができる。しかしながら、光源にレーザを使用する必要があるため、比較的高価であり、かつスマートフォンを使用するＡＲグラスに適用することは困難である。

図４は、ＴＭＤを説明するための図である。図４に示されるように、ＴＭＤは、光線を透過させた後、実像を結像させることができる光学素子である。例えば、ＴＭＤは、微少２面コーナーリフレクタアレイから構成されてもよく、光源からの光線を透過させた後、実像を面対象位置に結像させてもよい。本発明の実施の形態では、図４に示されるように、ＴＭＤは、光線を透過させた後、実像を結像させることができる光学素子であればどのような形態であってもよい。

図５は、ピンホールを使用する例を示す図である。図５に示されるように、ピンホール効果により画像の被写界深度を改善する方法がある。ディスプレーからの光をピンホールを通すことで、ピンホール効果を得る。さらに、光は、反射板及びビームスプリッタによる反射を経て眼球に到達する。反射板は、リトロリフレクタであってもよい。ピンホール効果により、画像の被写界深度が改善される一方で、装置の大型化、視野の狭さ及び光量の不足といった問題がある。

図６は、本発明の実施の形態における表示装置の光学系の概要を説明するための図である。図６に示されるように、本発明の実施の形態における表示装置１０は、スマートフォン等のディスプレーが発する光をピンホールを通したのち、ＴＭＤを用いて結像させ眼球に入射させる。したがって、表示装置１０の使用者は、ピンホール効果により被写界深度が深くなったディスプレーに表示される画面を見ることができる。

図７は、本発明の実施の形態における表示装置の構成例（１）を示す図である。図７に示されるように、表示装置１０は、ピンホール１１、ＴＭＤ１２、ビームスプリッタ１３及びスマートフォン等のディスプレー２０を含む。ディスプレー２０が発する光をピンホール１１を通してピンホール効果を得る。続いて、ＴＭＤ１２を用いて結像させビームスプリッタ１３により反射させて眼球に入射させる。ビームスプリッタ１３は、ディスプレー２０の画面に加えて、現実の風景からの光を透過することにより、表示装置１０の使用者は、ディスプレー２０の画面と、現実の風景とが合成された映像を見ることができる。さらに、ディスプレー２０の画面のみに、ピンホール効果が生じ、被写界深度が深くなる。一方、現実の風景の見え方への影響は少ない。

上記のような表示装置１０の構成は、光学系は極めて単純であるため、実装が容易である。また、上記のような表示装置１０の構成は、量産されているデバイスで実装できるため、安価に実装可能である。なお、ビームスプリッタ１３は、ハーフミラーであってもよい。

図８は、本発明の実施の形態における表示装置の構成例（２）を示す図である。図８は、図７におけるビームスプリッタ１３の反射方向が異なる例である。図７においては、ＴＭＤと平行な方向に配置されるビームスプリッタ１３によって、ＴＭＤからの光を反射させている。一方、図８においては、ＴＭＤと垂直な方向に配置されるビームスプリッタ１３によって、ＴＭＤからの光を反射させている。このような構成により、表示装置１０の筐体上の構成を柔軟に変更することができる。

上述の本発明の実施の形態によれば、表示装置１０の使用者は、ピンホール効果によって被写界深度が深くなったディスプレー２０の画面と、ピンホール効果の影響を受けていない現実の風景とが合成された映像を見ることができる。

すなわち、スマートフォンを使用するＡＲ（Augmented Reality）グラスにおいてスマートフォンが投影する画像の被写界深度を改善することができる。

（実施の形態のまとめ）
以上、説明したように、本発明の実施の形態によれば、ディスプレーによる画像と、現実の風景とを合成して表示する表示装置であって、前記ディスプレーから照射される光を通すピンホールと、前記ピンホールを通した光を透過させた後、実像を結像させる透過鏡と、前記透過鏡から透過される光を反射させるビームスプリッタとを有し、前記ビームスプリッタは現実の風景を透過する表示装置が提供される。

上記の構成により、表示装置１０の使用者は、ピンホール効果によって被写界深度が深くなったディスプレー２０の画面と、ピンホール効果の影響を受けていない現実の風景とが合成された映像を見ることができる。すなわち、スマートフォンを使用するＡＲグラスにおいてスマートフォンが投影する画像の被写界深度を改善することができる。

前記ビームスプリッタは、ハーフミラーであってもよい。当該構成により、表示装置１０は、簡便なデバイスを用いることで安価に実装可能となる。

前記ディスプレーは、スマートフォンのディスプレーであってもよい。当該構成により、表示装置１０は、スマートフォン等の外部機器のディスプレーを利用して、ＡＲグラスを構成することができる。

以上、説明したように、本発明の実施の形態によれば、ディスプレーによる画像と、現実の風景とを合成して表示する表示方法であって、前記ディスプレーから照射される光を、ピンホールと、前記ピンホールを通した光を透過させた後、実像を結像させる透過鏡と、前記透過鏡から透過される光を反射させるビームスプリッタとを通過させ、前記ビームスプリッタに現実の風景を透過させる表示方法が提供される。

上記の構成により、表示装置１０の使用者は、ピンホール効果によって被写界深度が深くなったディスプレー２０の画面と、ピンホール効果の影響を受けていない現実の風景とが合成された映像を見ることができる。すなわち、スマートフォンを使用するＡＲグラスにおいてスマートフォンが投影する画像の被写界深度を改善することができる。

（実施形態の補足）
以上、本発明の実施の形態を説明してきたが、開示される発明はそのような実施形態に限定されず、当業者は様々な変形例、修正例、代替例、置換例等を理解するであろう。発明の理解を促すため具体的な数値例を用いて説明がなされたが、特に断りのない限り、それらの数値は単なる一例に過ぎず適切な如何なる値が使用されてもよい。上記の説明における項目の区分けは本発明に本質的ではなく、２以上の項目に記載された事項が必要に応じて組み合わせて使用されてよいし、ある項目に記載された事項が、別の項目に記載された事項に（矛盾しない限り）適用されてよい。機能ブロック図における機能部又は処理部の境界は必ずしも物理的な部品の境界に対応するとは限らない。複数の機能部の動作が物理的には１つの部品で行われてもよいし、あるいは１つの機能部の動作が物理的には複数の部品により行われてもよい。実施の形態で述べた処理手順については、矛盾の無い限り処理の順序を入れ替えてもよい。処理説明の便宜上、表示装置１０は機能的なブロック図を用いて説明されたが、そのような装置はハードウェアで、ソフトウェアで又はそれらの組み合わせで実現されてもよい。本発明の実施の形態に従って表示装置１０が有するプロセッサにより動作するソフトウェアは、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、読み取り専用メモリ（ＲＯＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、レジスタ、ハードディスク（ＨＤＤ）、リムーバブルディスク、ＣＤ−ＲＯＭ、データベース、サーバその他の適切な如何なる記憶媒体に保存されてもよい。

本明細書で説明した各態様／実施形態の処理手順、シーケンス、フローチャート等は、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。

入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

本開示における判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital Subscriber Line）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。

本開示において説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

なお、本開示において説明した用語及び本開示の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。

本開示において使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。

また、本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。例えば、無線リソースはインデックスによって指示されるものであってもよい。

本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。

本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。

本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

なお、本開示において、ＴＭＤは、光を透過させた後、実像を結像させる透過鏡の一例である。

以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。

１０ 表示装置
２０ ディスプレー
１１ ピンホール
１２ ＴＭＤ
１３ ビームスプリッタ

Claims (4)

1. ディスプレーによる画像と、現実の風景とを合成して表示する表示装置であって、
   前記ディスプレーから照射される光を通すピンホールと、
   前記ピンホールを通した光を透過させた後、実像を結像させる透過鏡と、
   前記透過鏡から透過される光を反射させるビームスプリッタとを有し、
   前記ビームスプリッタは現実の風景を透過する表示装置。
2. 前記ビームスプリッタは、ハーフミラーである請求項１記載の表示装置。
3. 前記ディスプレーは、スマートフォンのディスプレーである請求項１記載の表示装置。
4. ディスプレーによる画像と、現実の風景とを合成して表示する表示方法であって、
   前記ディスプレーから照射される光を、
   ピンホールと、
   前記ピンホールを通した光を透過させた後、実像を結像させる透過鏡と、
   前記透過鏡から透過される光を反射させるビームスプリッタとを通過させ、
   前記ビームスプリッタに現実の風景を透過させる表示方法。

Images