JP2017102220A - 画像表示装置 - Google Patents

Abstract

【課題】対象物が移動するものである場合でも、対象物を見失うことなく拡大表示を行うことのできる画像表示装置を提供する。【解決手段】撮像部としてのカメラ３２０と、第１表示部としての電気光学装置１０Ｒと、第２表示部としての電気光学装置１０Ｌと、前記カメラ３２０からの画像の指示された所定位置を中心に、第１の拡大率で拡大した第１画像と、第２の拡大率で拡大し第２画像とを生成し、前記第１画像を前記電気光学装置１０Ｒに、かつ、前記第２画像を前記電気光学装置１０Ｌに表示させる表示制御部としての制御回路５を備える。【選択図】図３

Description

本発明は、ヘッドマウントディスプレイ等の画像表示装置に関する。

従来のヘッドマウントディスプレイでは、ヘッドマウントディスプレイ本体に搭載したカメラで撮影した映像を、ヘッドマウントディスプレイにおいて拡大して表示する技術が知られている（例えば特許文献１参照）。

また、双眼鏡に関する技術ではあるが、倍率切替を可能とする技術も知られている（例えば特許文献２参照）。特許文献２においては、対象物を見失った際に、双眼鏡本体のレバーを操作することで倍率を切り替えることを可能としている。

特開２００７−２１４９６４号公報 特開平９−２８１４０７号公報

しかしながら、特許文献１の装置のように、外界を視認可能なシースルー型ヘッドマウントディスプレイの場合には、拡大表示された映像により外界の直視が遮られてしまう。その結果、拡大視している対象物が鳥や自動車など移動するものである場合には、拡大視している最中に対象物が移動してしまうと観察者は視野を失い、対象物を追うことが困難になる。これはビデオシースルーと呼ばれるクローズド型ヘッドマウントディスプレイでも同様である。

また、特許文献２の場合には、双眼鏡本体のレバーを操作することで双眼鏡自体が僅かに動き、使用者が見ている視界がずれることにより、特に高倍率時には対象物を見失うことがあった。

本発明は上述した事情に鑑みてなされたものであり、その目的は、対象物が移動するものである場合でも、対象物を見失うことなく拡大表示を行うことのできるヘッドマウントディスプレイ等の画像表示装置を提供することである。

上記目的を達成するために、本発明の一態様に係る画像表示装置は、撮像部と、第１表示部と、第２表示部と、前記撮像部からの画像の指示された所定位置を中心に、第１の拡大率で拡大した第１画像と、第２の拡大率で拡大し第２画像とを生成する。そして、前記第１画像を前記第１表示部に、かつ、前記第２画像を前記第２表示部に表示させる表示制御部と、を備える、ことを特徴とする。

この態様によれば、使用者が拡大率の異なる第１画像と第２画像とを認識可能となるため、対象物が移動するものであっても、対象物を見失うことなく、拡大表示を行うことができる。

本発明の他の態様に係る画像表示装置は、前記第１表示部及び前記第２表示部の一方は左眼用の表示部であり、前記第１表示部及び前記第２表示部の他方は右眼用の表示部である、ことを特徴とする。この態様によれば、使用者の左眼では第１画像が認識され、右眼では第２画像が認識されるため、対象物が移動するものであっても、対象物を見失うことなく、拡大表示を行うことができる。

本発明の他の態様に係る画像表示装置は、前記撮像部は、左眼用の撮像部と、右眼用の撮像部との２つの撮像部を含む、ことを特徴とする。この態様によれば、デジタルズームによる画像の劣化を抑えることができる。

本発明の他の態様に係る画像表示装置は、前記第１表示部による虚像の結像距離と、前記第２表示部による虚像の結像距離とは、互いに異なるように設定されている、ことを特徴とする。この態様によれば、左右で異なる映像を見る時の違和感を軽減することができる。

本発明の他の態様に係る画像表示装置は、前記表示制御部は、前記第１画像を前記第１表示部に、かつ、前記第２画像を前記第２表示部に表示させる際には、平均輝度の差を以下のように設定する。つまり、前記第１表示部の平均輝度と、前記第２表示部の平均輝度との差を、１０％以下に抑えるように設定されている、ことを特徴とする。この態様によれば、左右で異なる映像を見る時の違和感を軽減することができる。

本発明の他の態様に係る画像表示装置は、外光照度検知部をさらに備え、前記表示制御部は、前記第１表示部の輝度と、前記第２表示部の輝度とを、前記外光照度検知部により検知した前記外光照度に応じて調整する、ことを特徴とする。この態様によれば、シースルー像と虚像を見たときの明るさ調整（瞳孔開き具合）の違和感を軽減することができる。

本発明の他の態様に係る画像表示装置は、加速度検知部をさらに備え、前記表示制御部は、前記加速度検知部に基づいて画像表示装置本体が所定の速さ以上で動いたと判定した場合には、次のようにする。つまり、少なくとも前記第１表示部及び前記第２表示部のいずれか一方の表示を停止し、前記加速度検知部に基づいて画像表示装置本体が静止したと判定した場合に、前記停止した表示を再開する、ことを特徴とする。この態様によれば、左右で角速度の異なる映像を見る時の違和感を軽減することができる。

本発明の他の態様に係る画像表示装置は、使用者の眼を撮像する内側撮像部をさらに備え、前記表示制御部は、前記内側撮像部により撮像した前記使用者の眼の動きと、操作指示の内容とを対応させて記憶している。そして、前記使用者の眼の動きに対応した前記操作指示の内容に基づいて所定の処理を実行する、ことを特徴とする。この態様によれば、外部装置による操作を省略することができる。

本発明の一実施形態に係る画像表示装置の構成を示す斜視図である。 同画像表示装置の光学的構成を示す図である。 同画像表示装置の制御回路の構成を示すブロック図である。 同画像表示装置の動作を示すフローチャートである。 シースルーの画像例を示す図である。 シースルーの画像例を示す図である。 第１の拡大率で拡大した第１画像の例を示す図である。 第２の拡大率で拡大した第２画像の例を示す図である。 第１表示部による虚像の結像距離と、前記第２表示部による虚像の結像距離と違いを説明する図である。

図１は、本発明の一実施形態に係る画像表示装置としてのヘッドマウントディスプレイの外観を示す斜視図であり、図２は、その光学的な構成を示す図である。

図１に示されるように、ヘッドマウントディスプレイ３００は、外観的には、一般的な眼鏡と同様にテンプル３１０や、ブリッジ３２１、投射光学系３０１Ｌ、３０１Ｒを有する。また、ヘッドマウントディスプレイ３００は、図２に示されるように、ブリッジ３２１近傍であって投射光学系３０１Ｌ、３０１Ｒの奥側（図において下側）には、左眼用の電気光学装置１０Ｌと、右眼用の電気光学装置１０Ｒとが設けられる。電気光学装置１０Ｌは第１表示部として機能し、電気光学装置１０Ｒは第２表示部として機能する。なお、電気光学装置１０Ｌが第２表示部として機能し、電気光学装置１０Ｒが第１表示部として機能するようにしてもよい。また、ブリッジ３２１には、撮像部としてのカメラ３２０が取付けられている。

図２は、ヘッドマウントディスプレイ３００の光学的構成を示す図である。図中で、電気光学装置１０Ｌで発せられた画像光ＧＬ、及び外界光ＯＬは、一点鎖線の矢印で示されている。

ヘッドマウントディスプレイ３００の光学系は、第１光軸ＡＸ１と、第２光軸ＡＸ２と、第３光軸ＡＸ３とを有している。図２では、第１光軸ＡＸ１と第３光軸ＡＸ３とは平行であり、第２光軸ＡＸ２は、第１光軸ＡＸ１及び第３光軸ＡＸ３に直交する。

第１光軸ＡＸ１と第３光軸ＡＸ３とは平行でなくてもよく、第２光軸ＡＸ２は、第１光軸ＡＸ１及び第３光軸ＡＸ３に直交しなくてもよい。装着者Ｍがヘッドマウントディスプレイ３００を装着したときに、電気光学装置１０Ｌからの光が装着者Ｍの眼ＥＹに至るように配置されていればよい。

テンプル３１０の内側には、外装ケース１３が備えられており、外装ケース１３の内部に、電気光学装置１０Ｌ、投射光学系３０２Ｌが配置されている。電気光学装置１０Ｌは、画像光ＧＬを投射光学系３０２Ｌの側に向けて出力（射出）する。投射光学系３０２Ｌは、電気光学装置１０Ｌから出力された画像光ＧＬを平行状態の光束に変換するコリメートレンズである。

導光装置２０は、導光部材２１と光透過部材１００とを接合したものであり、全体として平行に延びる平板状の光学部材である。導光部材２１及び光透過部材１００は、可視域で高い光透過性を示す樹脂材料で形成されている。

導光部材２１は、平面視において台形のプリズムであり、側面として、第１反射面２１ａと、第２反射面２１ｂと、第３反射面２１ｃと、第４反射面２１ｄとを有する。第１反射面２１ａと、第２反射面２１ｂと、第３反射面２１ｃとは、屈折率差を利用した全反射面である。第４反射面２１ｄは、光透過性と光反射性とを有するハーフミラー３０３Ｌの面である。ハーフミラー３０３Ｌは、例えば銀などによる金属反射膜や誘電体多層膜を成膜することにより形成される。

第１反射面２１ａ及び第２反射面２１ｂは、互いに対向し、台形のプリズムの長辺部に相当し、第２光軸ＡＸ２の方向に長くなっている。第３反射面２１ｃ及び第４反射面２１ｄは、台形のプリズムの斜面（短辺部）に相当し、共に第２光軸ＡＸ２に対して４５°以下の鋭角で傾斜している。

電気光学装置１０Ｌで発せられた画像光ＧＬは、導光装置２０に入射し、第３反射面２１ｃで第２光軸ＡＸ２の方向に反射され、第４反射面２１ｄに向かう。

つまり、電気光学装置１０Ｌで発せられた画像光ＧＬは、導光部材２１を通過し、第４反射面２１ｄで反射され、装着者Ｍの眼ＥＹに入射する。さらに、外界光ＯＬは、光透過部材１００、第４反射面２１ｄ、及び導光部材２１を通過し、装着者Ｍの眼ＥＹに入射する。その結果、装着者Ｍは、虚像と外界像とを重畳させて認識することができる。

以降の説明では、第２光軸ＡＸ２に平行であって、第４反射面２１ｄから第３反射面２１ｃに向かう方向をＸ方向とする。第１光軸ＡＸ１及び第３光軸ＡＸ３に平行であって、第３反射面２１ｃから画像表示装置１１に向かう方向をＺ方向とする。さらに、Ｘ方向及びＺ方向に直交する方向をＹ方向とする。

図示を省略するが、電気光学装置１０Ｒの画像表示面は、電気光学装置１０Ｌとは反対の右側となるように配置している。これによって電気光学装置１０Ｒによる表示画像は、投射光学系３０２Ｒ、導光装置２０、およびハーフミラー３０３Ｒの第４反射面２１ｄで反射され、装着者Ｍの眼ＥＹに入射する。さらに、外界光ＯＬは、光透過部材１００、ハーフミラー３０３Ｒの第４反射面２１ｄ、及び導光部材２１を通過し、装着者Ｍの眼ＥＹに入射する。その結果、装着者Ｍは、虚像と外界像とを重畳させて認識することができる。

以上のように、本実施形態のヘッドマウントディスプレイ３００の装着者は、電気光学装置１０Ｌ、１０Ｒによる表示画像を、外の様子と重ね合わせたシースルー状態で観察することができる。

電気光学装置１０Ｌ、１０Ｒは、複数の画素回路や当該画素回路を駆動する駆動回路などが例えばシリコン基板に形成された有機ＥＬ装置であり、画素回路には、発光素子の一例であるＯＬＥＤが用いられている。

電気光学装置１０Ｌ、１０Ｒには、例えば、図示を省略するＦＰＣ（Flexible Printed Circuits）基板を介して、図３に示すような表示制御部としての制御回路５が接続されている。制御回路５からは、画像データが同期信号に同期して電気光学装置１０Ｌ、１０Ｒに供給される。同期信号には、垂直同期信号や、水平同期信号、ドットクロック信号が含まれる。また、画像データは、表示すべき画像の画素の階調レベルを例えば８ビットで規定する。

制御回路５は、図３に示すように、ＣＰＵ４０、ＲＡＭ４１、ＲＯＭ４２、ビデオ入力部２３、ビデオ出力部２４，２５、及びインターフェース（Ｉ／Ｆ）２６を備えている。ＣＰＵ４０は、ＲＯＭ４２に格納されたプログラムに基づいて、ビデオ入力部２３を介して入力される画像データを、ＲＡＭ４１によるメモリー空間を使用して処理し、画像の拡大または縮小等のサイズ調整処理を行う。さらに、ＣＰＵ４０は、サイズ調整処理を行った画像データをビデオ出力部２４，２５に出力し、当該画像データはビデオ出力部２４，２５を介して電気光学装置１０Ｌ、１０Ｒに供給される。本実施形態では、画像の拡大または縮小等のサイズ調整処理は、左眼表示用と右眼表示用と独立して行われ、左眼表示用と右眼表示用とで、拡大率または縮小率の異なる画像を電気光学装置１０Ｌ、１０Ｒに供給するように構成されている。

ＣＰＵ４０は、インターフェース（Ｉ／Ｆ）２６を介して、例えばＷｉ−Ｆｉ（登録商標）等により、コントローラー６と通信可能に構成されている。使用者が、コントローラー６を操作することにより、画像の拡大や縮小等の処理を選択すると、その処理内容を示す信号がコントローラー６から送信され、インターフェース（Ｉ／Ｆ）２６を介してＣＰＵ４０に受信される。ＣＰＵ４０は、受信した信号に基づいて、画像の拡大や縮小等の処理を実行する。

以下、図４のフローチャートに基づいて、本実施形態における画像拡大処理について説明する。まず、使用者がヘッドマウントディスプレイ３００を装着し、使用を開始した当初においては、制御回路５は電気光学装置１０Ｌ，１０Ｒにカーソルの画像を表示させる。したがって、使用者の左眼及び右眼には、外界の情報（シースルー像、実像）がハーフミラー３０３Ｌ，３０３Ｒを介して結像すると共に、カーソルの画像が結像する（Ｓ１０）。例えば、使用者の左眼及び右眼には、図５に示すような実像と、実像の中心位置に表示されるカーソル画像３０が認識されることになる。なお、カーソル画像３０の位置は、コントローラー６を操作すること等により、所定位置に移動可能に構成してもよい。

次に、使用者が、実像のうちの一部を拡大したい場合には、コントローラー６を操作することにより、カーソル画像３０を前記一部の近くに移動させる。例えば、図５に示す実像のうち、鳥の部分を拡大したい場合には、カーソル画像３０を鳥の像の近くに移動させるようにコントローラー６を操作する。制御回路５がこの操作を検出すると（Ｓ１１：ＹＥＳ）、カーソル画像３０を該当位置に移動させる（Ｓ１２）。その結果、使用者の左眼及び右眼には、図６に示すように、鳥の像の近くにカーソル画像３０が移動した画像が認識されることになる。

カーソル画像３０を所望の位置に移動させた後、使用者がコントローラー６を操作することにより、例えば決定ボタンを操作する。制御回路５がこの操作を検出すると（Ｓ１３：ＹＥＳ）、制御回路５は、カメラ３２０で撮影した画像に基づいて、左眼用に第１の拡大率（中倍率）で拡大した第１画像を生成する（Ｓ１４）。また、制御回路５は、カメラ３２０で撮影した画像に基づいて、右眼用に第２の拡大率（大倍率）で拡大した第２画像を生成する（Ｓ１５）。

そして、制御回路５は、第１画像を電気光学装置１０Ｌに表示させると共に、第２画像を電気光学装置１０Ｒに表示させる（Ｓ１６）。その結果、使用者の左眼には、図７に示すような中倍率の第１画像がカーソル画像３０と共に認識され、かつ、使用者の右眼には、図８に示すような大倍率の第２画像が認識されることになる。なお、図７及び図８には図示を省略するが、使用者の眼には、第１画像とカーソル画像３０、及び第２画像に重畳するように、図６に示す実像も認識される。

したがって、この状態で、例えば図６乃至図８に示す鳥が移動したとしても、使用者の眼には、拡大していない実像が認識されているので、鳥の動きに追従することができる。この場合には、使用者がコントローラー６を操作して拡大表示を終了させる。制御回路５がこの操作を検出すると（Ｓ１９：ＹＥＳ）、拡大表示を中止して、カーソル画像及び実像の表示を実行する（Ｓ１０）。したがって、使用者は、移動した鳥に追従して、新たな位置で拡大表示処理を行うことができる。

また、図７に示すように、中倍率の第１画像にはカーソル画像３０が表示されているので、使用者がコントローラー６を操作することによりカーソル画像３０を移動させる操作を行って、拡大したい像の位置を微調整することもできる。制御回路５は、カーソル画像３０の移動操作を検出すると（Ｓ１７：ＹＥＳ）、カーソル画像３０を所定の位置に移動させる（Ｓ１８）。さらに、当該位置を中心位置とした第１画像の生成（Ｓ１４）と第２画像の生成（Ｓ１５）とを行い、電気光学装置１０Ｌ，１０Ｒに表示させる（Ｓ１６）。なお、第１画像及び第２画像を、表示領域よりも広い範囲で生成しておいた場合には、カーソル画像３０の位置調整に伴う第１画像の生成（Ｓ１４）と第２画像の生成（Ｓ１５）は省略するようにしてもよい。

以上のように、本実施形態によれば、左眼と右眼とに倍率の異なる画像を表示させるので、拡大したい場所を適切に調節できると共に、拡大画像を実像に重畳させる。したがって、対象物が移動したような場合でも、対象物を見失うことなく、適切に追従することができる。

なお、図４に示すステップＳ１９において拡大表示の終了を判断する方法としては、コントローラー６による操作で終了させる方法がある。その他、ヘッドマウントディスプレイ３００に加速度センター等を設置して、ヘッドマウントディスプレイ３００が所定速度以上の速度で移動した場合に、拡大表示の終了と判断するようにしてもよい。

また、上述した例では、コントローラー６の操作によってカーソル画像３０を移動させるようにした。しかし、カーソル画像３０は表示領域の中心に固定表示させ、カーソル画像３０に合わせて使用者の顔を移動させ、つまりヘッドマウントディスプレイ３００を移動させて、所望の位置にカーソル画像３０を合わせるようにしてもよい。

＜変形例＞

本発明は、上述した実施形態に限定されるものではなく、例えば次に述べるような各種の変形が可能である。また、次に述べる変形の態様は、任意に選択された一または複数を、適宜に組み合わせることもできる。

＜変形例１＞
上述した実施形態では、１つのカメラ３２０を用いたが、左眼用のカメラと右眼用のカメラの２つカメラを用意し、それぞれのカメラの拡大率を予め異なるように設定してもよい。１つのカメラ３２０を用いる場合には、カメラ３２０で撮影した画像を左眼用と右眼用に分けてデジタルズーム処理を行うために画像の劣化が生じる。しかし、拡大率の異なる２つのカメラを用いる場合には、このようなデジタルズームによる画像の劣化を抑えることができる。

＜変形例２＞
左右眼の虚像の結像距離が異なるように設定してもよい。例えば、図９に示すように、電気光学装置１０Ｒによって表示された画像は、投射光学系３０２Ｒ及び導光装置２０を介して、使用者の右眼に入射する。電気光学装置１０Ｒを図９の矢印Ａに示すように投射光学系３０２Ｒに近づけた場合には、虚像の位置は図９の矢印Ｂに示すようにシフトする。したがって、左眼用と右眼用とで、電気光学装置１０Ｌ，１０Ｒと投射光学系３０２Ｌ，３０２Ｒとの間隔を調整することにより、左右眼の虚像の結像距離を異なるように設定することが可能である。このように設定することにより、左右の虚像のピントがずれるため、上述した第１画像と第２画像のように左右で異なる映像を見る時の違和感を軽減することができる。

＜変形例３＞
倍率の異なる第１画像と第２画像を表示する場合には、左右の画像の平均輝度を調整して平均輝度の差を１０％（ＩＳＯ規格）以下に抑えるようにしてもよい。この場合には、左右で異なる映像を見る時の違和感を軽減することができる。

＜変形例４＞
ヘッドマウントディスプレイ３００に外光照度検知部としてのセンサーを配置して、外光照度をセンシングすることにより、表示輝度を外光に合わせて調整するようにしてもよい。この場合には、シースルー像と虚像を見たときの明るさ調整（瞳孔開き具合）の違和感を軽減することができる。

＜変形例５＞
ヘッドマウントディスプレイ３００に加速度検知部としての加速度センサーを配置し、ヘッドマウントディスプレイ３００の動き検出を行ってもよい。この場合には、ヘッドマウントディスプレイ３００の動きが一定の速さ以上を超える場合は、少なくとも片眼の表示を消し、静止状態になってから再表示するようにしてもよい。この場合には、左右で角速度の異なる映像を見る時の違和感を軽減することができる。

＜変形例６＞
ヘッドマウントディスプレイ３００の内側にも内側撮像部としてのカメラを配置し、当該カメラにより使用者のまばたき、目の開き具合などを撮影し、まばたき、目の開き具合などに応じて拡大率変更、表示オンオフなどの操作を行うようにしてもよい。この場合には、コントローラー６による操作を省略することができる。

＜変形例７＞
本発明は、以上のようなシースルー型のヘッドマウントディスプレイだけでなく、電子双眼鏡、ビデオシースルーと呼ばれるクローズド型ヘッドマウントディスプレイにも応用可能である。

５…制御回路、６…コントローラー、１０Ｌ，１０Ｒ…電気光学装置、２０…導光装置、２３…ビデオ入力部、２４，２５…ビデオ出力部、３０…カーソル画像、３００…ヘッドマウントディスプレイ、３０２Ｌ、３０２Ｒ…投射光学系、３０３Ｌ、３０３Ｒ…ハーフミラー、３１０…テンプル、３２０…カメラ、３２１…ブリッジ。

Claims (8)

1. 撮像部と、
   第１表示部と、
   第２表示部と、
   前記撮像部からの画像の指示された所定位置を中心に、第１の拡大率で拡大した第１画像と、第２の拡大率で拡大し第２画像とを生成し、前記第１画像を前記第１表示部に、かつ、前記第２画像を前記第２表示部に表示させる表示制御部と、を備える、
   ことを特徴とする画像表示装置。
2. 前記第１表示部及び前記第２表示部の一方は左眼用の表示部であり、前記第１表示部及び前記第２表示部の他方は右眼用の表示部である、
   ことを特徴とする請求項１に記載の画像表示装置。
3. 前記撮像部は、左眼用の撮像部と、右眼用の撮像部との２つの撮像部を含む、
   ことを特徴とする請求項１または請求項２に記載の画像表示装置。
4. 前記第１表示部による虚像の結像距離と、前記第２表示部による虚像の結像距離とは、互いに異なるように設定されている、
   ことを特徴とする請求項１ないし請求項３のいずれか一項に記載の画像表示装置。
5. 前記表示制御部は、前記第１画像を前記第１表示部に、かつ、前記第２画像を前記第２表示部に表示させる際には、前記第１表示部の平均輝度と、前記第２表示部の平均輝度との差を、１０％以下に抑えるように設定されている、
   ことを特徴とする請求項１ないし請求項４のいずれか一項に記載の画像表示装置。
6. 外光照度検知部をさらに備え、
   前記表示制御部は、前記第１表示部の輝度と、前記第２表示部の輝度とを、前記外光照度検知部により検知した前記外光照度に応じて調整する、
   ことを特徴とする請求項１ないし請求項５のいずれか一項に記載の画像表示装置。
7. 加速度検知部をさらに備え、
   前記表示制御部は、前記加速度検知部に基づいて画像表示装置本体が所定の速さ以上で動いたと判定した場合には、少なくとも前記第１表示部及び前記第２表示部のいずれか一方の表示を停止し、前記加速度検知部に基づいて画像表示装置本体が静止したと判定した場合に、前記停止した表示を再開する、
   ことを特徴とする請求項１ないし請求項５のいずれか一項に記載の画像表示装置。
8. 使用者の眼を撮像する内側撮像部をさらに備え、
   前記表示制御部は、前記内側撮像部により撮像した前記使用者の眼の動きと、操作指示の内容とを対応させて記憶しており、前記使用者の眼の動きに対応した前記操作指示の内容に基づいて所定の処理を実行する、
   ことを特徴とする請求項１ないし請求項７のいずれか一項に記載の画像表示装置。
   

Images