JP2018191079A

JP2018191079A - 多焦点視覚出力方法、多焦点視覚出力装置

Info

Publication number: JP2018191079A
Application number: JP2017090497A
Authority: JP
Inventors: 森本　哲郎; Tetsuo Morimoto; 哲郎森本; 翼市川; Tsubasa Ichikawa
Original assignee: Toppan Printing Co Ltd
Current assignee: Toppan Inc
Priority date: 2017-04-28
Filing date: 2017-04-28
Publication date: 2018-11-29
Anticipated expiration: 2037-04-28
Also published as: JP6915368B2

Abstract

【課題】ユーザが、そのユーザの眼に適した立体感のある画像を閲覧することができる方法および装置を提供する。【解決手段】ヘッドマウントディスプレイは、接眼レンズと、画像を表示するための２以上のパネルから成るディスプレイであって、前記２以上のパネルは、前記接眼レンズよりもユーザの眼から遠い位置に、前記接眼レンズに対して平行に配置される、ディスプレイと、前記パネルを前記接眼レンズに対して光軸方向に移動させるための位置調節機構と、を備える。【選択図】図１

Description

本発明は、画像を表示するための技術に関する。

近年、医療や建設等のさまざまな分野において、人間（以下、オペレータという）がロボットや重機等を遠隔操作して種々の作業を行うためのテレイグジスタンスと呼ばれる技術が研究されている。テレイグジスタンス技術では、オペレータはヘッドマウントディスプレイやディスプレイを通して、ロボットや重機等に設置されたカメラが撮影する映像を観察し、遠隔地にいながら、あたかも現地に存在して自分自身が作業を行っているかのような感覚を得ることができる。しかしながら、現状の遠隔操作では、人間の視覚機能を完全に再現することが出来ない。そこで、ロボットや重機等を正確に動かすために、オペレータに臨場感のある映像を提示できる技術が望まれている。

特開２０１６−２１８３６６号公報

従来のヘッドマウントディスプレイでは、ディスプレイに右目用と左目用の異なる画像を表示して人為的に視差を生じさせることによって、両眼視差や輻輳の機能による立体感を知覚させている（例えば、特許文献１）。しかしながら、人間が立体感を知覚する機能としては両眼視差や輻輳だけでなく、ピント調節による調節と言われる機能も使うことが知られている。通常のディスプレイでは目のピント調節を行う調節機能を利用した立体情報を提示することができない。そのため、「輻輳と調節の不一致」と言われる現象が起こり、眼精疲労などの原因となっている。また、ディスプレイに表示される画像を常に見続けることになるため、眼球の毛様筋を動かさなくなり、緊張状態が続くため、このことも眼精疲労の一因となっていた。

さらに、調節機能を利用した立体情報の提示ができたとしても、個々のユーザの視覚特性によって視力や調節の能力が異なるため、オペレータによっては、ディスプレイに表示された画像に焦点が合わない場合があった。このように、従来のヘッドマウントディスプレイでは、それぞれのオペレータの眼に適した立体感のある画像を表示することが困難であった。

本発明は、このような問題に鑑みてなされたものであり、その目的とするところは、ユーザが、そのユーザの眼に適した立体感のある画像を閲覧することができる方法および装置を提供することにある。

このような目的を達成するために、本発明の一態様である、ヘッドマウントディスプレイは、接眼レンズと、画像を表示するための２以上のパネルから成るディスプレイであって、前記２以上のパネルは、前記接眼レンズよりもユーザの眼から遠い位置に、前記接眼レンズに対して平行に配置される、ディスプレイと、前記パネルを前記接眼レンズに対して光軸方向に移動させるための位置調節機構と、を備える。

また、本発明のヘッドマウントディスプレイは、前記２以上のパネルの各々に表示される画像が、異なる画像であってもよく、光線空間圧縮画像であってもよい。

また、本発明のヘッドマウントディスプレイの前記位置調節機構は、前記接眼レンズから最も近い位置に配置されたパネルにテストパターン画像を表示し、前記接眼レンズから最も遠い位置に配置されたパネルにテストパターン画像を表示し、前記ユーザがテストパターン画像に焦点が合ったか否かに基づいて前記パネルを移動させてもよい。

また、本発明の一態様である、ヘッドマウントディスプレイの位置調節機構が実行する画像表示方法は、前記ヘッドマウントディスプレイは、接眼レンズと、画像を表示するための２以上のパネルから成るディスプレイとを備え、前記方法は、前記パネルを前記接眼レンズに対して光軸方向に移動させるステップであって、前記２以上のパネルは、前記接眼レンズよりもユーザの眼から遠い位置に、前記接眼レンズに対して平行に配置される、ステップを含む。

本発明によれば、２層以上のパネルから成るディスプレイを備えたヘッドマウントディスプレイの各パネルが動くことによって、ユーザごとの調節機能特性に合った立体感のある画像を表示することができる。

本発明の一実施形態にかかるヘッドマウントディスプレイを使用した画像表示システムの構成図である。本発明の一実施形態にかかるヘッドマウントディスプレイのイメージ図である。本発明の一実施形態にかかるヘッドマウントディスプレイに表示される画像の例である。本発明の一実施形態にかかるヘッドマウントディスプレイに表示される光線空間圧縮画像の取得方法の例を説明するための図である。本発明の一実施形態にかかるヘッドマウントディスプレイに表示される光線空間圧縮画像の例である。本発明の一実施形態にかかるヘッドマウントディスプレイのパネルの位置調節の方法を説明するための図である。本発明の一実施形態にかかるヘッドマウントディスプレイに表示されるテストパターンの例である。本発明の一実施形態にかかるヘッドマウントディスプレイにおける処理フローを示すフローチャートである。本発明の一実施形態にかかるヘッドマウントディスプレイを用いた遠隔システムの例である。

以下、図面を参照しながら、本発明の実施形態について詳細に説明する。なお、本明細書では、カメラで撮影された実空間の画像（動画像または静止画像）を用いる場合について主に説明するが、本発明は、コンピュータグラフィックス（ＣＧ）を用いる場合にも適用することができる。

図１を参照しながら、まず、本発明の一実施形態にかかるヘッドマウントディスプレイ１００の構成を説明する。ヘッドマウントディスプレイ（ＨＭＤ、頭部装着ディスプレイとも呼ばれる）１００は、筐体１１１、１つまたは２つの接眼レンズ１１２、ディスプレイ１１３、処理装置１１４を備えることができる。接眼レンズ１１２は、任意の倍率の光学レンズである。ディスプレイ１１３は、２層以上のパネルから成る積層ディスプレイである。ヘッドマウントディスプレイ１００は、入力端子１１５および出力端子１１６を介して、パーソナルコンピュータやゲーム機などのコンピュータ１２０と接続されうる。

ヘッドマウントディスプレイ１００は、コンピュータ１２０から受信した画像（動画像または静止画像）１１７をディスプレイ１１３の各パネル上に表示することができる。例えば、本発明では、ヘッドマウントディスプレイ１００を装着したユーザは、カメラ１１９が撮影した画像をディスプレイ１１３上で閲覧することができる。また、カメラ１１９を遠隔地にいるロボットや重機等に取り付ければ、遠隔地に設置されたカメラ１１９が撮影した画像はコンピュータ１２０に送られ、ユーザは、撮影された画像をディスプレイ１１３上で閲覧しながら、遠隔地にいるロボットや重機等を遠隔操作することができる。カメラ１１９からコンピュータ１２０への撮影された画像の送信は、ネットワークを介して行われてもよい。また、コンピュータ１２０で行われる画像処理等は、ヘッドマウントディスプレイ１００に備えられる処理装置１１４で行われても構わない。この場合、カメラ１１９は、ネットワークを介して（またはネットワークを介さずに）、コンピュータ１２０を経由せずに処理装置１１４に直接接続されることになる。

さらに、本発明に係るヘッドマウントディスプレイ１００は、各パネルを移動させるための位置調節機構１１８を備える。以下、さらにディスプレイ１１３、処理装置１１４、位置調節機構１１８について説明する。

ディスプレイ１１３は、コンピュータ１２０から受信した画像１１７を表示することができる。ディスプレイ１１３は、２つ以上のパネルを備える。各パネルは、例えば、透過型の液晶パネルである。そのため、ヘッドマウントディスプレイ１００を装着したユーザは、各パネルに表示された画像１１７を重ね合わせて同時に見ることができる。以下、図２を参照しながら、パネルの配置について説明する。

図２は、本発明の一実施形態にかかるヘッドマウントディスプレイ１００のイメージ図である。図２に示されるように、ヘッドマウントディスプレイ１００は、例えば、２つの液晶パネル（パネル（前面）２０１およびパネル（後面）２０２）と、バックライト２０３およびスペーサー２０４を備えることができる。２つ以上のパネル（例えば、パネル（前面）２０１とパネル（後面）２０２）は、接眼レンズ１１２の光軸（主軸ともいう）に直交する面と、各パネルの表示面とが平行になるように設置されうる。パネル同士の間にはスペーサー２０４が設けられていてもよい。これにより、パネルの間隔を一定距離以上に保ちやすくなる。また、後述する位置調節機構１１８によってパネル同士の間隔は変わることがあるため、スペーサー２０４は伸縮するようにされていてもよい。また、２つ以上のパネルは、位置調節機構１１８によって、接眼レンズ１１２に近づくように、または、接眼レンズ１１２から離れるように、接眼レンズ１１２に対して平行を保ったまま光軸方向に動くことができる。

ここで、本発明に係るヘッドマウントディスプレイ１００に表示される画像について説明する。本発明では、図３から図５を参照しながら説明するように、ヘッドマウントディスプレイ１００を装着したユーザは、各パネルに表示された画像を重ね合わせて同時に見ることによって、立体感を得ることができる。以下では、２つのパネルに画像が表示される場合を説明するが、３つ以上のパネルに画像が表示される場合も同様である。

図３は、本発明の一実施形態にかかるヘッドマウントディスプレイ１００に表示される画像の例である。この例では、それぞれのパネルに異なる画像が表示される。例えば、前面のパネル（つまり、接眼レンズ１１２により近い方のパネル）２０１には、図３の中央下に示される画像が表示される。また、後面のパネル（つまり、接眼レンズ１１２からより遠い方のパネル）２０２には、図３の中央上に示される画像が表示される。もし、文字のような奥行きのない情報が表示される場合は眼から近い距離にあるパネルに表示される方が視認しやすいため、パネル（前面）２０１には、「ＡＢＣＤＥ」という文字が表示され、パネル（後面）２０２には、丸い物体が表示されているように、それぞれのパネルに異なる画像が表示される。ユーザの網膜では、パネル（前面）２０１およびパネル（後面）２０２に表示された物体や文字が異なる２つの奥行きの平面として結像される。よって、ヘッドマウントディスプレイ１００を装着したユーザは、仮想スクリーン（前面）３０１および仮想スクリーン（後面）３０２上に投影された物体や文字の虚像を認識することができる。ヘッドマウントディスプレイ１００を装着したユーザは、パネル（前面）２０１に表示された画像とパネル（後面）２０２に表示された画像とを重ね合わせて見ることができる。つまり、ユーザは、奥行きの違う２枚の層に表示された重畳画像３０３を認識する。表示内容の組み合わせは、用途に応じて適宜変更することができる。例えば、パネル（前面）２０１とパネル（後面）の両方に物体と文字を表示してもよいし、パネル（前面）２０１に物体を表示し、パネル（後面）２０２に文字を表示してもよい。

このように、接眼レンズ１１２からの距離が異なる２つ以上のパネルのそれぞれに異なる画像を表示することにより、重畳画像３０３内で、物体または文字ごとに焦点が合う距離が異なるようにすることができる。これにより、ユーザは従来の１つのパネルから構成されるヘッドマウントディスプレイを使用した場合に比べて、立体感のある画像を閲覧することができる。さらに、ヘッドマウントディスプレイ１００を装着したユーザは、重畳画像３０３を閲覧している最中でも、焦点を調節する必要が生じ、毛様筋を頻繁に動かすので緊張が緩和され、眼精疲労を低減することができるようになる。

次に、本発明に係るヘッドマウントディスプレイ１００に表示される画像の別の例について説明する。本発明では、光線の情報に基づいて実空間や仮想空間を表した画像（以下、光線空間圧縮画像と呼ぶ）を用いることができる。以下、光線空間圧縮画像について説明する。

まず、光線の情報について説明する。光線空間圧縮画像は、その光線空間圧縮画像が再現している実空間（実世界の空間）内に存在する光線の量（方向と強度）の情報を保持している。あるいは、光線空間圧縮画像は、その光線空間圧縮画像が表現している仮想空間（コンピュータグラフィックス（ＣＧ）によって作成された空間）内に存在する光線の量（方向と強度）の情報を保持している。ある空間内のある点（Ｖ）に存在する全ての光線は、式（１）の関数で定義される。ここで、（θ，φ）は光線の方向、λは色（波長）、ｔは時間、（Ｖｘ，Ｖｙ，Ｖｚ）は位置である。
Ｐ＝Ｐ（θ，φ，λ，ｔ，Ｖｘ，Ｖｙ，Ｖｚ）・・・式（１）（Plenoptic function(7D)）
しかしながら、７次元の光線情報を取得するのは難しいため、一般的には奥行き位置、色、時間を除いた式（２）の関数であらわされる４次元の光線情報が使われる。
Ｐ＝Ｐ（θ，φ，Ｖｘ，Ｖｙ）・・・式（２）（Plenoptic function(4D))

次に、図４を参照しながら、実空間に存在する４次元の光線の量を記録するための方法の例について説明する。まず、同一平面状（Ｖｘ，Ｖｙ）に並んだ複数台のカメラが被写体４０３を撮影する。図４の例では、縦３台×横３台の計９台のカメラ４０１が同一の被写体４０３を撮影している。そのため、９つの画像４０２が撮影されることとなる。これらの複数の画像４０２は、ある点に原点を持つ平面上にｘ、ｙずつずらされた画像列（つまり、視差がずれた画像列）である。なお、本発明では、ライトフィールドカメラと呼ばれる、複数のカメラを使ったアレイカメラやマイクロアレイレンズを備えるカメラが、図４と同様の画像列を撮影するようにしてもよい。そして、画像列に含まれる画像ごとに、光線の情報が記録される。図４の場合、９つの画像が撮影されたので、９つの光線の情報が記録される。

次に、撮影された画像とパネルに表示される画像について説明する。上述の方法で撮影された複数の画像４０２は、ヘッドマウントディスプレイ１００に備えられたパネルの数と同一の数の画像へと圧縮される。圧縮された画像は、それぞれ、圧縮された光線情報（つまり、上述の方法で記録された光線情報が圧縮される）を保持している。例えば、パネルの数が２つ（前面パネル２０１と後面パネル２０２）の場合、図４の９つの画像４０２が２つの画像に圧縮され、２つの画像は、それぞれ、圧縮された９つ（つまり、上述の方法で記録された視点の数）の光線の情報を保持している。画像の圧縮（つまりは、光線の情報の圧縮）は、従来技術を用いて実施することができる。例えば、光線情報をパネルの数に応じて行列に変換した後、非負値行列因子分解法により、光線情報を圧縮することができる。このように圧縮された画像が各パネルに表示される。

図５は、本発明の一実施形態にかかるヘッドマウントディスプレイ１００に表示される光線空間圧縮画像の例である。この例では、それぞれのパネルに同一の被写体の異なる画像が表示される。具体的には、それぞれのパネルに、上述の方法で圧縮された光線空間圧縮画像が表示される。例えば、前面のパネル（つまり、接眼レンズ１１２により近い方のパネル）２０１には、図５の中央下に示される画像が表示される。また、後面のパネル（つまり、接眼レンズ１１２からより遠い方のパネル）２０２には、図５の中央上に示される画像が表示される。ユーザの網膜では、パネル（前面）２０１およびパネル（後面）２０２に表示された画像が結像される。そして、ヘッドマウントディスプレイ１００を装着したユーザは、仮想スクリーン（前面）３０１と仮想スクリーン（後面）３０２とに表示された光線空間圧縮画像を見た結果、仮想スクリーン（前面）３０１と仮想スクリーン（後面）３０２との間の空間内の物体を知覚することができる。ヘッドマウントディスプレイ１００を装着したユーザは、パネル（前面）２０１に表示された画像とパネル（後面）２０２に表示された画像とを重ね合わせて見ることができる。つまり、ユーザは、立体像３０３を認識している。

本発明では、光線空間圧縮画像を用いることによって、ヘッドマウントディスプレイ１００を装着したユーザは、視覚の調節機能による奥行きを知覚できるようになる。すなわち、光線空間圧縮画像ではない画像を表示したときと比べて、仮想スクリーン（前面）３０１と仮想スクリーン（後面）３０２との間の全ての空間内における物体までの距離を知覚できるようになる。すなわち、ユーザは、図３の場合、仮想スクリーン（前面）３０１上の画像（つまり、仮想スクリーン（前面）３０１上に投影された虚像）と、仮想スクリーン（後面）３０２上の画像（つまり、仮想スクリーン（後面）３０２上に投影された虚像）とを知覚する。一方、ユーザは、図５の場合、仮想スクリーン（前面）３０１と仮想スクリーン（後面）３０２との間の空間内の物体を知覚することができる。このように、光線空間圧縮画像を用いれば、仮想スクリーン（前面）３０１と仮想スクリーン（後面）３０２との間の空間内において焦点を調節できるようになるので、光線空間圧縮画像を用いない場合に比べて、ユーザはより細かく焦点調節を行えるようになる。さらに、ユーザは、調節機能による奥行きを知覚することによって焦点の調節をさらに頻繁に行うようになり、毛様筋の緊張を軽減することができるため、眼精疲労が好適に低減される。

なお、ヘッドマウントディスプレイ１００は、いずれか１つのパネルのみに画像を表示する（つまり、従来のヘッドマウントディスプレイのように用いられる）ことも可能である。

図１に戻る。処理装置１１４は、コンピュータ１２０と連携して、ディスプレイ１１３に画像を表示させることができる。処理装置１１４は、例えば、ＧＰＵ（Graphics Processing Unit）やＣＰＵ（Central Processing Unit）である。

位置調節機構１１８は、各パネルを、接眼レンズ１１２に近づくように、または、接眼レンズ１１２から離れるように、接眼レンズ１１２に対して平行を保ったまま光軸方向に移動させることができる。具体的には、位置調節機構１１８は、モータ（電動機）を用いて、ヘッドマウントディスプレイ１００に搭載された開始ボタンまたは停止ボタンのユーザの押下に応じて、各パネルを移動または停止させることができる。あるいは、位置調節機構１１８は、ユーザによる手動で（例えば、ヘッドマウントディスプレイ１００に搭載されたスライドレバー、ネジ、ダイヤル等のユーザの操作に応じて）、各パネルを移動または停止させることができる。

図６は、本発明の一実施形態にかかるヘッドマウントディスプレイ１００のパネルの位置調節の方法を説明するための図である。

上述のとおり、本発明に係るヘッドマウントディスプレイ１００では、各パネルは、接眼レンズ１１２に近づくように、または、接眼レンズ１１２から離れるように、接眼レンズ１１２に対して平行を保ったまま光軸方向に動くことができる。図６で示されるように、接眼レンズ１１２とパネル（前面）２０１との間の距離をｄ₁とする。また、接眼レンズ１１２とパネル（後面）２０２との間の距離をｄ₂とする。また、接眼レンズ１１２と仮想スクリーン（前面）３０１との間の距離をｄ₁’とする。また、接眼レンズ１１２と仮想スクリーン（後面）３０２との間の距離をｄ₂’とする。また、接眼レンズ１１２と眼との間の距離をｄ_eとする。パネル（前面）２０１を移動させてｄ₁を変更することによって、虚像を投影する仮想スクリーン（前面）３０１までの投影距離（つまり、ｄ₁’）を変更することができる。同様に、パネル（後面）２０２を移動させてｄ₂を変更することによって、虚像を投影する仮想スクリーン（後面）３０２までの投影距離（つまり、ｄ₂’）を変更することができる。このように、ヘッドマウントディスプレイ１００を装着したユーザの近方視力に基づいたパネル（前面）２０１の調節と、遠方視力に基づいたパネル（後面）２０２の調節と、を実施することができる。すなわち、ヘッドマウントディスプレイ１００は、パネル（前面）２０１およびパネル（後面）２０２を接眼レンズ１１２に対して光軸方向に移動させるための位置調節機構１１８を備えることにより、ユーザの眼に適した立体感のある画像を表示することができる。なお、ｄ_eによって、網膜上に結像される画像のサイズが変わってくる。

また、接眼レンズ１１２とパネル２０１、２０２との距離から仮想スクリーン３０１、３０２の位置は式（３）から計算することができる。
1/d’ + 1/d = 1/f・・・式（３）
このとき、接眼レンズ１１２の焦点距離をｆとする。

本発明では、「仮想スクリーン（前面）３０１の位置」と「仮想スクリーン（後面）３０２の位置」と「仮想スクリーン（前面）３０１と仮想スクリーン（後面）３０２との間の空間」に適した光線空間圧縮画像を表示することができる。すなわち、ヘッドマウントディスプレイ１００は、コンピュータ１２０が「パネル（前面）２０１の位置」と「パネル（後面）２０２の位置」に基づいて画像処理した光線空間圧縮画像を、各パネル上に表示させることができる。つまり、ヘッドマウントディスプレイ１００を装着したユーザは、この空間中（仮想スクリーン（前面）３０１と仮想スクリーン（後面）３０２との間の空間）の任意の場所に提示された物体に焦点を合わせることができる。そのため、ヘッドマウントディスプレイ１００を装着したユーザは、そのユーザの眼の特性（例えば、近眼、老眼等）に適した光線情報を知覚することができる。すなわち、ユーザごとの調節機能特性に合わせて立体感のある画像を表示することができる。

図７は、本発明の一実施形態にかかるヘッドマウントディスプレイ１００に表示されるテストパターンの例である。このようなテストパターンが、パネルの位置調節の際に各パネル上に表示される。ユーザは、テストパターンに焦点が合わない場合には７０１のように認識し、焦点が合う場合には７０２のように認識する。なお、テストパターンは、図７のような画像に限らず、ユーザが焦点が合っているか否かを判断することができる画像であればよい。

図８は、本発明の一実施形態にかかるヘッドマウントディスプレイ１００における処理フローを示すフローチャートである。ヘッドマウントディスプレイ１００を装着したユーザは、以下の処理フローによって、ユーザの視力および焦点の調節力に合った画像を閲覧できるように、各パネルの位置を調節することができる。なお、ヘッドマウントディスプレイ１００は、テストパターンの画像をコンピュータ１２０から受信して、ディスプレイ１１３の各パネル上に表示することができる。

ステップＳ８０１において、前面のパネル２０１にテストパターンが表示される。この際、後面のパネル２０２には、パネル（前面）２０１と同一のテストパターンの画像あるいは他の画像が表示されていてもよいし、何も表示されていなくてもよい。ただし、他の画像は、パネル（前面）２０１のテストパターンのユーザの視認に影響を与えない画像である。なお、複数枚の異なる空間周波数を持った縦縞および横縞のテストパターンを切り替えて表示するようにしてもよい。

ステップＳ８０２において、ヘッドマウントディスプレイ１００を装着したユーザは、ステップＳ８０１でパネル（前面）２０１に表示されたテストパターンの虚像（つまり、仮想スクリーン（前面）３０１上の虚像）に焦点が合うか否かを判断する。焦点が合う場合は、ステップＳ８０５へ進む。焦点が合わない場合は、ステップＳ８０３へ進む。

ステップＳ８０３において、位置調節機構１１８は、モータ（電動機）を用いて、ヘッドマウントディスプレイ１００に搭載された開始ボタンおよび停止ボタンのユーザの押下に応じて、パネル（前面）２０１を移動および停止させる。

ステップＳ８０４において、ユーザは、ステップＳ８０３でパネル（前面）２０１に表示されたテストパターン（つまり、仮想スクリーン（前面）３０１上の虚像）に焦点が合うか否かを判断する。焦点が合う場合は、ステップＳ８０５へ進む。焦点が合わない場合は、ステップＳ８０３へ戻る。

ステップＳ８０５において、パネル（前面）２０１には、ステップＳ８０１で表示されたテストパターンとは別のテストパターンが表示される。例えば、ステップＳ８０５で表示されるテストパターンは、ステップＳ８０１で表示されたテストパターンよりも高い解像度の画像である。そのため、ユーザは、低い解像度のテストパターンから高い解像度のテストパターンへと、徐々に焦点を合わせていくことができる。

ステップＳ８０６において、ユーザは、ステップＳ８０５でパネル（前面）２０１に表示されたテストパターン（つまり、仮想スクリーン（前面）３０１上の虚像）に焦点が合うか否かを判断する。焦点が合う場合は、ステップＳ８０９へ進む。焦点が合わない場合は、ステップＳ８０７へ進む。

ステップＳ８０７において、位置調節機構１１８は、モータ（電動機）を用いて、ヘッドマウントディスプレイ１００に搭載された開始ボタンおよび停止ボタンのユーザの押下に応じて、パネル（前面）２０１を移動および停止させる。

ステップＳ８０８において、ユーザは、ステップＳ８０７でパネル（前面）２０１に表示されたテストパターン（つまり、仮想スクリーン（前面）３０１上の虚像）に焦点が合うか否かを判断する。焦点が合う場合は、ステップＳ８０９へ進む。焦点が合わない場合は、ステップＳ８０７へ戻る。

ステップＳ８０９において、パネル（後面）２０２にテストパターンが表示される。この際、パネル（前面）２０１は、全透過の状態である。そのため、ヘッドマウントディスプレイ１００を装着したユーザは、パネル（後面）２０２に表示されたテストパターンのみを見ることができる。

ステップＳ８１０において、ユーザは、ステップＳ８０９でパネル（後面）２０２に表示されたテストパターン（つまり、仮想スクリーン（後面）３０２上の虚像）に焦点が合うか否かを判断する。焦点が合う場合は、パネルの位置調節が完了する。焦点が合わない場合は、ステップＳ８１１へ進む。

ステップＳ８１１において、位置調節機構１１８は、モータ（電動機）を用いて、ヘッドマウントディスプレイ１００に搭載された開始ボタンおよび停止ボタンのユーザの押下に応じて、パネル（後面）２０２を移動および停止させる。

ステップＳ８１２において、ユーザは、ステップＳ８０９でパネル（後面）２０２に表示されたテストパターン（つまり、仮想スクリーン（後面）３０２上の虚像）に焦点が合うか否かを判断する。焦点が合う場合は、パネルの位置調節が完了する。焦点が合わない場合は、ステップＳ８１１へ戻る。

以上の処理フローによってパネルの位置を調節することにより、ユーザが焦点を合わせることが可能な最も近い距離と最も遠い距離を決めることができる。つまり、焦点調節機能により知覚可能な空間の大きさを決定することができる。

なお、パネル（前面）２０１に表示されるテストパターンは、１種類でもよい（つまり、ステップＳ８０５〜ステップＳ８０８は省略される）。また、パネル（前面）２０１に表示されるテストパターンは、３種類以上であってもよい。同様に、パネル（後面）２０２のテストパターンは、１種類でもよいし、２種類以上であってもよい。

また、ヘッドマウントディスプレイ１００に、眼球の瞳孔の拡がりを検出するための赤外線センサー等を搭載することにより、パネル（前面）２０１もしくはパネル（後面）２０２に表示されているテストパターンに焦点が合っているかどうかを自動で判定できるようになる。これにより、上記の処理フローにおいて、ユーザが焦点が合ったときにボタンを押す等の動作を省略することができ、焦点調節機能により知覚可能な空間の大きさを決定するための手順が簡略化される。

ここで、３つ以上のパネルに画像が表示される場合について説明する。３つ以上のパネルに画像が表示される場合、最前面のパネル（つまり、最も接眼レンズから近い位置に配置されたパネル）と最後面のパネル（つまり、最も接眼レンズから遠い位置に配置されたパネル）は、図８の処理フローによって位置が調節される。その後、最前面のパネルと最後面のパネル以外のパネル（つまり、最前面のパネルと最後面のパネルに挟まれた１または複数のパネル）は、位置調節機構１１８によって自動的に移動させられうる。例えば、最前面のパネルと最後面のパネルに挟まれた１または複数のパネルは、均等な間隔となるように移動することもできるし、パネルの位置調節後にユーザが閲覧しようとしている画像に応じた間隔となるように移動することもできる。

図９は、本発明の一実施形態にかかるヘッドマウントディスプレイ１００を用いた遠隔システムの例である。ヘッドマウントディスプレイ１００を装着したユーザは、ロボットや重機等９０１を遠隔操作することができるものとする。ロボットや重機等９０１に設置されたカメラ９０２は、例えば、手術を受けている患者や建設現場を撮影することができる。ロボットの制御部９０３は、ネットワーク９０４を介して、カメラ９０２が撮影した画像をコンピュータ１２０へ送信することができる。コンピュータ１２０は、制御部９０３から受信した画像をヘッドマウントディスプレイ１００へ送信することができる。このように、ユーザは、遠隔地にあるカメラ９０２が撮影した映像をヘッドマウントディスプレイ１００で閲覧しながら、ロボットや重機等９０１を遠隔操作することができる。

このように、本発明では、接眼レンズと、画像を表示するためのパネル（前面）と、パネル（後面）とを備え、接眼レンズとパネル（前面）との距離、および、接眼レンズとパネル（後面）との距離、および、パネル（前面）とパネル（後面）との距離を変更することができる。そのため、表示される物体によって焦点が合う距離が異なる立体感のある画像を閲覧することができる。また、焦点調節を頻繁に行うようになるので、毛様筋の緊張が緩和され、眼精疲労の低減にも効果が見込まれる。また、ヘッドマウントディスプレイを装着したユーザの近方視力に基づいた前面パネルの調節と、遠方視力に基づいた後面パネルの調節と、の両方を行うことが可能である。これにより、ユーザが焦点を調節できる最大限の領域内に画像を表示させることができる。また、本発明では、パネルを移動させることによって、ヘッドマウントディスプレイを装着したユーザの焦点（焦点が合う位置）と輻輳（虚像の位置）とを一致させることができると考えられる。

ここまで、本発明の実施形態について説明したが、上記実施形態はあくまで例であり、本発明は上述した実施形態に限定されず、その技術的思想の範囲内において種々異なる形態にて実施されてよいことは言うまでもない。

また、本発明の範囲は、図示され記載された例示的な実施形態に限定されるものではなく、本発明が目的とするものと均等な効果をもたらすすべての実施形態をも含む。さらに、本発明の範囲は、各請求項により画される発明の特徴の組み合わせに限定されるものではなく、すべての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせによって画されうる。

１００ヘッドマウントディスプレイ
１１１筐体
１１２接眼レンズ
１１３ディスプレイ
１１４処理装置
１１５入力端子
１１６出力端子
１１７画像
１１８位置調節機構
１１９カメラ（ライトフィールドカメラ）
１２０コンピュータ
２０１パネル（前面）
２０２パネル（後面）
２０３バックライト
２０４スペーサー
３０１仮想スクリーン（前面）
３０２仮想スクリーン（後面）
３０３重畳画像、立体像
４０１カメラ
４０２光線空間圧縮画像
４０３被写体
６０１網膜
７０１テストパターン（焦点が合わない場合）
７０２テストパターン（焦点が合う場合）
９０１ロボット
９０２カメラ
９０３制御部
９０４ネットワーク

Claims

接眼レンズと、
画像を表示するための２以上のパネルから成るディスプレイであって、前記２以上のパネルは、前記接眼レンズよりもユーザの眼から遠い位置に、前記接眼レンズに対して平行に配置される、ディスプレイと、
前記パネルを前記接眼レンズに対して光軸方向に移動させるための位置調節機構と
を備えたことを特徴とするヘッドマウントディスプレイ。
前記２以上のパネルの各々に表示される画像は、異なる画像であることを特徴とする請求項１に記載のヘッドマウントディスプレイ。
前記２以上のパネルに表示される画像は、光線空間圧縮画像であることを特徴とする請求項２に記載のヘッドマウントディスプレイ。
前記位置調節機構は、前記接眼レンズから最も近い位置に配置されたパネルにテストパターン画像を表示し、前記接眼レンズから最も遠い位置に配置されたパネルにテストパターン画像を表示し、前記ユーザがテストパターン画像に焦点が合ったか否かに基づいて前記パネルを移動させることを特徴とする請求項１から３のいずれか一項に記載のヘッドマウントディスプレイ。
ヘッドマウントディスプレイの位置調節機構が実行する画像表示方法であって、前記ヘッドマウントディスプレイは、接眼レンズと、画像を表示するための２以上のパネルから成るディスプレイとを備え、前記方法は、
前記パネルを前記接眼レンズに対して光軸方向に移動させるステップであって、前記２以上のパネルは、前記接眼レンズよりもユーザの眼から遠い位置に、前記接眼レンズに対して平行に配置される、ステップ
を含むことを特徴とする画像表示方法。