JP2018054976A - 頭部搭載型表示装置及び頭部搭載型表示装置の表示制御方法 - Google Patents
頭部搭載型表示装置及び頭部搭載型表示装置の表示制御方法 Download PDFInfo
- Publication number
- JP2018054976A JP2018054976A JP2016192987A JP2016192987A JP2018054976A JP 2018054976 A JP2018054976 A JP 2018054976A JP 2016192987 A JP2016192987 A JP 2016192987A JP 2016192987 A JP2016192987 A JP 2016192987A JP 2018054976 A JP2018054976 A JP 2018054976A
- Authority
- JP
- Japan
- Prior art keywords
- display
- image
- area
- common
- extended
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
【課題】左右一対の表示装置を設けて両眼視による映像認識を可能とするものであって、画像表示を大きいものと感じさせつつ種々の態様の画像表示ができる頭部搭載型表示装置及び頭部搭載型表示装置の表示制御方法を提供する。【解決手段】第1及び第2表示装置100A,100Bにおいて、左右の眼に共通内容の画像表示を行う第1及び第2共通表示エリアをそれぞれ有している上で、第1及び第2表示装置100A,100Bのうち少なくとも一方において拡張表示エリアを有し、表示制御部150としてのCPU110において、第1及び第2共通表示エリア用の共通画像情報と拡張表示エリア用の拡張画像情報とを含む信号を生成する。【選択図】図13
Description
本発明は、頭部に装着して映像素子等によって形成された映像を観察者に提示する頭部搭載型表示装置及び頭部搭載型表示装置の表示制御方法に関する。
観察者の頭部に装着するヘッドマウントディスプレイ(以下、HMDとも言う)等の頭部搭載型表示装置(あるいは虚像表示装置)として、左右一対の表示装置を設けて両眼に映像光をそれぞれ投影する両眼タイプのものが知られている(特許文献1〜3参照)。
頭部搭載型表示装置においては、装着性の問題から小型化の要請が強い一方、画像表示を大きくしたい(情報表示量を増やしたい)という、相反する要望がある。すなわち、一般に、画像表示を大きくするために眼に入射する映像光の入射角度を広げようとすると、光学系延いては装置全体が大型化してしまうことになり、逆に、装置を小型化するために光学系等を小さくすると、画像表示エリアが小さくなり、情報表示量が少なくなってしまう、という問題がある。
これに対して、左右の眼に互いに異なる2つの画面がそれぞれ視認されると、人間の大脳中枢において融像処理が行なわれ、当該異なる2つの画面があたかもつながっているように見えるになることを利用し、1つの大きな画面が置かれているかのように見せるもの(引用文献1,2参照)が知られている。
また、左右一対の虚像形成部を有して虚像を形成するものにおいて、台形補正による補正量を減らすために、複数の分割映像領域を設けて領域の有効活用を図るもの(引用文献3参照)も知られている。
ところで、近年、左右一対の表示装置を設けた両眼タイプのHMDにおいては、例えば左右の視差に応じた画像を形成することで立体視画像を視認させたいといった要請もある。例えば上記引用文献1,2のように左右の眼に異なる画像をつながっているように視認させることで、左右に延長された画像を形成させる場合、立体視画像を視認させることは難しいと考えられる。
本発明は、左右一対の表示装置を設けて両眼視による映像認識を可能とするものであって、画像表示を大きいものと感じさせつつ種々の態様の画像表示ができる頭部搭載型表示装置及び頭部搭載型表示装置の表示制御方法を提供することを目的とする。
上記目的を達成するため、本発明の頭部搭載型表示装置は、左右の眼にそれぞれ対応して視認させるべき画像表示をそれぞれ行う第1及び第2表示部を備え、第1及び第2表示部は、共通内容の画像表示を行う第1及び第2共通表示エリアをそれぞれ有し、第1及び第2表示部のうち少なくとも一方は、画像表示のエリアを拡張する拡張表示エリアを有する。ここで、共通表示エリアにおいて表示させる共通内容については、2Dの画像(平面視画像)や3Dの画像(立体視画像)による種々のコンテンツの映像が対象となり、具体例としては、映画等の動画画像や、各種アプリケーションの画面、各種UI画面等が考えられる。
上記頭部搭載型表示装置では、第1及び第2表示部において左右の眼に共通内容の画像表示を行う第1及び第2共通表示エリアをそれぞれ有していることで、両眼視による画像コンテンツの視認を可能とするものとなっている。すなわち、共通内容の表示態様によって例えば左右の眼の視差に応じて右側の画像と左側の画像とをずらすことで立体視画像(3Dの画像)の視認が可能となる。この上で、第1及び第2表示部のうち少なくとも一方において拡張表示エリアを有することで違和感なく表示エリアを拡張させて共通表示エリアの表示だけの場合よりも画像表示を大きいものに見せることができる。また、この場合、共通表示エリアの表示の分のみ光学系等を増大させればよいので、装置全体の大型化によって表示エリアを広げる場合に比べて装置の小型化を図ることができる。
本発明の具体的な側面では、第1表示部と第2表示部とは、拡張表示エリアとして、互いに他方における表示とは異なる内容の画像表示をそれぞれ行う第1拡張表示エリアと第2拡張表示エリアとをそれぞれ有する。この場合、第1拡張表示エリアにおいて、例えば各種情報の表示といった種々の態様の表示が可能になる。
本発明の別の側面では、第1及び第2表示部は、第1及び第2共通表示エリアでの画像表示において立体視画像を形成させる。この場合、立体視画像を視認させることができる。
本発明のさらに別の側面では、第1及び第2表示部は、第1及び第2共通表示エリアによる視認範囲として、少なくとも弁別視野の範囲を含む画像表示を行う。この場合、視機能が優れた範囲において、両眼視による画像視認が可能となる。
本発明のさらに別の側面では、第1及び第2表示部は、第1及び第2共通表示エリアによる視認範囲として、画角10°の範囲を含む画像表示を行う。この場合、例えば文字が認識可能な範囲において、両眼視による画像視認が可能となる。
本発明のさらに別の側面では、第1及び第2表示部は、第1及び第2共通表示エリアによる視認範囲を、映像フォーマットに準ずる縦横比とする画像表示を行う。この場合、両眼視の範囲において、映像フォーマットに準ずる縦横比で視認させることができる。
本発明のさらに別の側面では、第1及び第2表示部は、左右の眼の光軸の中心を基準として第1及び第2共通表示エリアを重ねて視認させる画像表示を行う。この場合、第1及び第2共通表示エリアの画像を1つの画像として認識させることができる。
本発明のさらに別の側面では、第1及び第2表示部は、左右の眼にそれぞれ対応した映像光を生じさせる第1及び第2画像表示素子をそれぞれ有する。この場合、画像表示素子により、例えばパネルの表示領域における画像形成の調整により表示エリアの調整を行うことができる。
本発明のさらに別の側面では、第1及び第2画像表示素子は、1つの表示パネル領域をそれぞれ有し、当該表示パネル領域を、第1及び第2共通表示エリアの映像光を生じさせる第1領域と拡張表示エリアの映像光を生じさせる第2領域とに応じて分割している。この場合、1つの表示パネル領域の領域分割によって拡張表示エリア共通表示エリアと拡張表示エリアとの調整が可能になる。
本発明のさらに別の側面では、第1及び第2画像表示素子は、第1及び第2共通表示エリアと拡張表示エリアとに応じて個別の表示パネル領域をそれぞれ有している。この場合、個別の表示パネル領域の調整によって拡張表示エリア共通表示エリアと拡張表示エリアとの調整が可能になる。
本発明のさらに別の側面では第1及び第2表示部は、中心光軸から、第1及び第2画像表示素子の表示パネル領域の中心をずらしている。この場合、表示パネル領域の中心からずらすことで拡張表示が可能になる。
本発明のさらに別の側面では、拡張表示エリアは、第1共通表示エリア及び/又は第2共通表示エリアの外縁側に連続的に隣接している。この場合、領域の境界部分が違和感なく連続的に繋がっているように見せることができる。
本発明のさらに別の側面では、第1及び第2表示部の表示動作を制御するための映像信号を送信して画像表示の制御をする表示制御部をさらに備え、表示制御部は、第1及び第2表示部に送信する映像信号として、第1及び第2共通表示エリア用の共通画像情報と拡張表示エリア用の拡張画像情報とを含む信号を生成する。
上記頭部搭載型表示装置では、表示制御部において、第1及び第2共通表示エリア用の共通画像情報と拡張表示エリア用の拡張画像情報とを含む信号を生成することで、例えば上記のような画像(3Dの画像)の形成を含む、種々の画像表示を可能としている。
本発明のさらに別の側面では、表示制御部は、共通画像情報と拡張画像情報とを調整して、第1及び第2共通表示エリアと拡張表示エリアとで画像表示態様の異なる複数の表示モードでの切替えを可能とする表示モード制御部を有する。この場合、表示モードを切り替えることで、例えば画像表示させるコンテンツに応じて各表示エリアでの明るさを変える、といった多様な態様での画像表示を行うことができる。
本発明のさらに別の側面では、表示モード制御部において、複数の表示モードには、第1及び第2共通表示エリアと拡張表示エリアとでの重畳の有無を加味した明るさの差を抑えて表示する全体表示モードと、第1及び第2共通表示エリアと拡張表示エリアとでの重畳の有無を加味した明るさの差をつけて表示する注視表示モードとが含まれる。ここで、第1及び第2共通表示エリアは、左右の眼にそれぞれ対応して視認されるが、共通内容の画像表示を行うことで観察者にはこれらが重畳したものとして視認される。一方、拡張表示エリアは、そのようになるとは限らない。このため、仮に第1共通表示エリアと拡張表示エリアとで同じ輝度で画像を形成した場合、観察者が片眼視すれば見た目の明るさが同等に感じられても、両眼視すると見た目の明るさが同等に感じられることには必ずしもならず、例えば第2共通表示エリアと重畳して視認される第1共通表示エリアのほうが明るいと感じられることになることがある。以上のような第1及び第2共通表示エリアで重畳があるのに対して拡張表示エリアにはこのような重畳がないといったこと、すなわち重畳の有無を加味して、共通画像情報と拡張画像情報との調整において例えば映像光の射出時の輝度等を調整しておくことで、上記の場合、全体表示モードでは、視認した時に第1及び第2共通表示エリアと拡張表示エリアとでの重畳の有無を加味した明るさの差すなわち見た目の明るさの差が抑えられ、観察者に全体としてあたかも一体的に拡張された1つの画像であるかのように視認させることができる。一方、注視表示モードでは、第1及び第2共通表示エリアと拡張表示エリアとでの重畳の有無を加味した明るさの差すなわち見た目の明るさの差がついていることで、例えば第1及び第2共通表示エリアをより明るくして観察者の視線を第1及び第2共通表示エリアに対応する画像表示の範囲に集中させる(注視させる)ことができる。
本発明のさらに別の側面では、表示制御部は、表示モード制御部で全体表示モードを設定した場合に、第1及び第2共通表示エリアの輝度を拡張表示エリアの輝度よりも抑えるように表示制御する。第1及び第2共通表示エリアは、上述のように、左右の眼にそれぞれ対応して視認されるが、観察者にはこれらが重畳したものとして視認されると考えられる。これに対して、上記の場合、第1及び第2共通表示エリアの輝度を拡張表示エリアの輝度よりも抑えておくことで、重畳したものとして視認されることで明るいと感じることを加味して表示全体の明るさのバランスを取り、観察者に全体としてあたかも一体的に拡張された1つの画像であるかのように視認させる際に特に明るさや色斑等の違和感を生じさせにくくすることができる。
本発明のさらに別の側面では、第1共通表示エリアの輝度及び第2共通表示エリアの輝度は、ともに拡張表示エリアの輝度の半分である。この場合、重畳したものとして視認される第1及び第2共通表示エリアの表示画像の見かけ上の明るさが拡張表示エリアの表示画像の明るさと等しくなることで、観察者に全体としてあたかも一体的に拡張された1つの画像であるかのように視認させることができる。
本発明のさらに別の側面では、観察者の視線方向を検出する視線検出部をさらに備え、表示制御部は、視線検出部の検出結果に応じて表示態様の切替えを行う。この場合、観察者の眼の動きに対応した表示を行うことができる。
本発明のさらに別の側面では、表示制御部は、拡張表示エリアのうち背景画像のエリアの輝度を他の画像のエリアの輝度よりも抑えるように表示制御する。この場合、拡張表示エリアにおいて、背景画像の輝度以外の他の画像(例えばアイコン画像)のみが表示されているかのように視認させることができる。
本発明のさらに別の側面では、表示制御部は、外部からの情報入力を受け付け、受け付けた情報に基づいて共通画像情報と拡張画像情報とを定める判断部を有する。この場合、例えば外部環境等に基づいて生成すべき信号を定めることができる。
本発明のさらに別の側面では、表示制御部は、拡張表示エリアにおいて表示を行っている場合に、拡張表示エリアにおいて表示を行っている旨の補助画像を第1及び第2共通表示エリアに表示させる。この場合、拡張表示エリアに対応する画像表示について観察者に視認を促すことができる。
本発明のさらに別の側面では、表示制御部は、拡張表示エリアにおいて表示を行った場合、所定の時間経過後に当該表示を終了させるとともに当該表示と同じ内容の表示を第1及び第2共通表示エリアで行わせる。この場合、例えば観察者の視線が拡張表示エリアに対応する画像表示側に向けられていた場合に、観察者の視線を第1及び第2共通表示エリアに対応する画像表示側に変更させることができる。これにより、例えば拡張表示エリアでの注視を抑制することができる。
本発明のさらに別の側面では、表示制御部は、入力された視認させるべき画像表示の映像コンテンツのうち、注視させるべき映像コンテンツを共通画像情報とし、注視させるべき映像コンテンツ以外の映像コンテンツを拡張画像情報として含むように映像信号を生成する。この場合、入力された映像コンテンツに関して、注視させるべき画像形成を第1及び第2共通表示エリアにおいて行い、注視させるべき画像以外の画像形成を拡張表示エリアにおいて行うことができる。
本発明のさらに別の側面では、表示制御部での信号生成において、共通画像情報及び拡張画像情報には、各表示エリアにおける輝度の情報、解像度の情報及び表示範囲の情報のうち少なくとも1つの情報が含まれる。この場合、各表示エリアにおける輝度や解像度を画像表示させるコンテンツに応じて変化させることで、多様な態様での画像表示を行うことができる。
上記目的を達成するため、本発明の頭部搭載型表示装置の表示制御方法は、左右の眼にそれぞれ対応して視認させるべき画像表示をそれぞれ行う第1及び第2表示部を有する頭部搭載型表示装置の表示制御方法であって、第1及び第2表示部は、共通内容の画像表示を行う第1及び第2共通表示エリアをそれぞれ有し、第1及び第2表示部のうち少なくとも一方は、画像表示のエリアを拡張する拡張表示エリアを有し、第1及び第2表示部に送信される映像信号として、第1及び第2共通表示エリア用の共通画像情報と拡張表示エリア用の拡張画像情報とを含む信号を生成する。
上記頭部搭載型表示装置の表示制御方法では、第1及び第2表示部において左右の眼に共通内容の画像表示を行う第1及び第2共通表示エリアをそれぞれ有していることで、両眼視による画像コンテンツの視認を可能とするものとなっている頭部搭載型表示装置の表示制御において、第1及び第2共通表示エリア用の共通画像情報と拡張表示エリア用の拡張画像情報とを含む信号を生成することで、種々の画像表示が可能になる。
上記目的を達成するため、本発明の頭部搭載型表示装置の表示制御プログラムは、左右の眼にそれぞれ対応して視認させるべき画像表示をそれぞれ行う第1及び第2表示部を有する頭部搭載型表示装置の表示制御プログラムであって、第1及び第2表示部は、共通内容の画像表示を行う第1及び第2共通表示エリアをそれぞれ有し、第1及び第2表示部のうち少なくとも一方は、画像表示のエリアを拡張する拡張表示エリアを有し、第1及び第2表示部に送信される映像信号として、第1及び第2共通表示エリア用の共通画像情報と拡張表示エリア用の拡張画像情報とを含む信号を生成する。
上記頭部搭載型表示装置の表示制御プログラムでは、第1及び第2表示部において左右の眼に共通内容の画像表示を行う第1及び第2共通表示エリアをそれぞれ有していることで、両眼視による画像コンテンツの視認を可能とするものとなっている頭部搭載型表示装置の表示制御において、第1及び第2共通表示エリア用の共通画像情報と拡張表示エリア用の拡張画像情報とを含む信号を生成することで、種々の画像表示が可能になる。
以下、図1等を参照しつつ、本発明の一実施形態に係る頭部搭載型表示装置について詳細に説明する。
図1に示すように、本実施形態の頭部搭載型表示装置100は、眼鏡のような外観を有するヘッドマウントディスプレイであり、この頭部搭載型表示装置100を装着した観察者又は使用者に対して虚像による画像光(映像光)を視認させることができるとともに、観察者に外界像をシースルーで視認又は観察させることができる虚像表示装置である。頭部搭載型表示装置100は、観察者の眼前を透視可能に覆う第1及び第2光学部材101a,101bと、両光学部材101a,101bを支持する枠部102と、枠部102の左右両端から後方のつる部分(テンプル)104にかけての部分に配置された第1及び第2像形成本体部105a,105bとを備える。ここで、図面上で左側の第1光学部材101aと第1像形成本体部105aとを組み合わせた第1表示装置100Aは、右眼用の虚像を形成する第1表示部である。また、図面上で右側の第2光学部材101bと第2像形成本体部105bとを組み合わせた第2表示装置100Bは、左眼用の虚像を形成する第2表示部である。なお、図1と図2(A)とを比較することで、例えば第1及び第2像形成本体部105a,105bは、鏡筒部(図示略)に収納される投射レンズ30や、画像表示装置80でそれぞれ構成されることが分かる。すなわち、図2(A)に示す投射レンズ30や画像表示装置80等が図1に示す第1及び第2像形成本体部105a,105bの内部にそれぞれ収納されている。例えば、第1像形成本体部105aは、画像表示装置80と投射レンズ30とで構成されているとも言える。
以下、図2(A)を参照して、頭部搭載型表示装置100のうち、光学系の各構成について説明する。なお、本実施形態では、光学系の各構成は、左右一対の対称的なものとなっており、同様の機能や作用をするものとなっている。
画像表示装置80(右眼用の画像表示装置80R及び左眼用の画像表示装置80L)は、例えば有機EL等の自発光型の素子構成される画像表示素子(映像素子)とすることができる。また、例えば透過型の空間光変調装置である画像表示素子(映像素子)のほか、画像表示素子へ照明光を射出するバックライトである照明装置(不図示)や動作を制御する駆動制御部(不図示)を有する構成としてもよい。
投射レンズ30は、構成要素として、例えば入射側光軸AXに沿って並ぶ複数(例えば3つ)の光学素子(レンズ)を備える投射光学系であり、これらの光学素子が既述のように、鏡筒部によって収納・支持されている。なお、当該光学素子は、例えば非軸対称な非球面(非軸対称非球面)と軸対称な非球面(軸対称非球面)との双方を含む非球面レンズで構成することで、導光部材10の一部と協働して導光部材10の内部に表示像に対応する中間像を形成するものとすることができる。投射レンズ30は、画像表示装置80で形成された映像光を導光装置20に向けて投射し入射させる。
導光装置20は、導光及び透視用の導光部材10と、透視用の光透過部材50とで構成されている。導光部材10は、プリズム型の導光装置20の一部であり、一体の部材であるが、光射出側の第1導光部分11と光入射側の第2導光部分12とに分けて捉えることができる。光透過部材50は、導光部材10の透視機能を補助する部材(補助光学ブロック)であり、導光部材10と一体的に固定され1つの導光装置20となっている。導光装置20は、例えば投射レンズ30を収納する鏡筒部にネジ止めされることにより、投射レンズ30に対して精度よく位置決め固定されている。
導光部材10は、光学的な機能を有する側面として、第1〜第5面S11〜S15を有している。これらのうち、第1面S11と第4面S14とが連続的に隣接し、第3面S13と第5面S15とが連続的に隣接する。また、第1面S11と第3面S13との間に第2面S12が配置されている。第2面S12の表面には、ハーフミラー層15が付随して設けられている。このハーフミラー層15は、光透過性を有する反射膜(すなわち半透過反射膜)であり、金属反射膜や誘電体多層膜を成膜することにより形成され映像光に対する反射率が適宜設定されている。
光透過部材50は、既述のように導光部材10と一体的に固定され1つの導光装置20となっており、導光部材10の透視機能を補助する部材(補助光学ブロック)である。光透過部材50は、光学的な機能を有する側面として、第1透過面S51と、第2透過面S52と、第3透過面S53とを有する。第2透過面S52は、第1透過面S51と第3透過面S53との間に配置されている。第1透過面S51は、導光部材10の第1面S11を延長した面上にあり、第2透過面S52は、第2面S12に対して接合され一体化されている曲面であり、第3透過面S53は、導光部材10の第3面S13を延長した面上にある。
以下、導光装置20における外界像の観察について簡単に説明する。導光装置20は、導光部材10での映像光の導光により観察者に映像光を視認させるとともに、導光部材10と光透過部材50との協働により観察者に歪みの少ない外界像を観察させるものとなっている。すなわち、視認させるべき外界像を構成する成分光としての外界光のうち、導光部材10の第2面S12よりも導光部材10側に入射したものは、第1導光部分11の第3面S13と第1面S11とを通過するが、この際、第3面S13と第1面S11とが互いに略平行な平面(視度略0)となっていることで、収差等をほとんど生じない。また、外界光のうち、導光部材10の第2面S12よりも光透過部材50側に入射したものは、これに設けた第3透過面S53と第1透過面S51とを通過する際に、第3透過面S53と第1透過面S51とが互いに略平行な平面となっていることで、収差等を生じない。さらに、外界光のうち、導光部材10の第2面S12に対応する光透過部材50に入射するものは、第3透過面S53と第1面S11とを通過する際に、第3透過面S53と第1面S11とが互いに略平行な平面となっていることで、収差等をほとんど生じない。以上により、観察者は、光透過部材50越しに歪みのない外界像を観察することになる。
以下、図2(A)等を参照して映像光(ここでは映像光GLとする。)の光路について概略説明する。図2(A)は、映像光GLの光路について概念的に示しており、また、図2(B)及び2(C)は、映像光GLを射出させる左右一対の画像表示素子(映像素子)である画像表示装置80R,80Lの一例を概念的に示している。各画像表示装置80R,80Lは、図2(B)及び2(C)に示す表示パネル領域PR,PLを光射出面として、左右それぞれにおいて映像光GLを投射レンズ30に向けて射出させる。投射レンズ30は、導光部材10に向けて映像光GLを投射する。導光部材10は、投射レンズ30から映像光GLを入射させるとともに第1〜第5面S11〜S15での反射等により観察者の眼に向けて導光する。具体的には、投射レンズ30からの映像光GLは、まず、第4面S14に入射して第5面S15で反射され、第4面S14に内側から再度入射して全反射され、第3面S13に入射して全反射され、第1面S11に入射して全反射される。第1面S11で全反射された映像光GLは、第2面S12に入射し、第2面S12に設けたハーフミラー層15を部分的に透過しつつも部分的に反射されて第1面S11に再度入射して通過する。第1面S11を通過した映像光GLは、観察者の眼又はその等価位置に略平行光束として入射する。つまり、観察者は、虚像としての映像光により画像を観察することになる。また、映像光GLは、光軸AXを基準として観察者の眼EYにおいて中心と視認されるように映像光が射出されるものとなっている。
特に、本実施形態では、映像光GLは、両眼視のための中央側の主たる映像を形成するものとなる成分光GLpと、左右一方のそれぞれによる片眼視のための周辺側の従たる映像を形成するものとなる成分光GLa,GLbとで構成されている。成分光GLpは、視線の軸に対応して(すなわち真正面として視認される角度で射出される軸に対応して)設定される中心光軸AXを基準に対称性のある画像を形成すべく例えば中心光軸AXを中心として左右対称な光線束となって左右一対の画像表示装置80(80R,80L)から射出されている。これに対して、周辺側の画像を形成する成分光GLa,GLbは、偏ったものとなっている。例えば右眼用の画像表示装置80Rから射出される成分光GLaは、右眼の周辺側において片眼視のための画像を形成すべく、光軸AXに対して、画像表示装置80Rのパネル面が内側(観察者に近い左側)にシフトしている。言い換えると、第1及び第2表示装置100A,100Bは、中心光軸AXから、表示パネル領域PR,PLの中心をずらしている。なお、成分光GLaは、図中において光路をたどると明らかなように、成分光GLpが射出される範囲よりもさらに右側の領域から傾斜して射出される。同様に、左眼用の画像表示装置80Lから射出される成分光GLbは、中心光軸AX画像表示装置80Lのパネル面に対して内側(観察者に近い右側)にシフトしており、成分光GLpが射出される範囲よりもさらに左側の領域から傾斜して射出される。以上について見方を換えると、成分光GLpの射出範囲に対して(内側に)拡張させた範囲において成分光GLa,GLbを射出させており、全体として、中心光軸AXを基準とした場合に内側に拡張させた範囲で光線束全体が形成されるものとなっている。
ここで、図2(B)及び2(C)等を参照して、上述した映像光GLの各成分光GLp,GLa,GLbの射出位置等に関して説明する。まず、図2(B)及び2(C)に示すように、映像光GLの射出面である画像表示装置80R,80Lの表示パネル領域PR,PLにおいては、成分光GLpと成分光GLa,GLbとでは射出位置が異なっている。すなわち、各表示パネル領域PR,PLは、中心側を含む範囲に設けられる成分光GLpを射出させる第1領域PR1,PL1と、第1領域PR1,PL1の周辺側に設けられて成分光GLa,GLbを射出させる第2領域PR2,PL2とに分割されてそれぞれ構成されている。すなわち、第1領域PR1,PL1から両眼視のための成分光GLpが射出され、第2領域PR2,PL2から対応する片方の眼にだけ視認される映像を形成するための成分光GLa,GLbが射出される。また、以上のように1つの表示パネル領域PR,PLを分割して成分光GLpと成分光GLa,GLbとが形成される場合、領域の境界部分は、連続的に繋がって隣接していることになる。
また、導光装置20から取り出される際の映像光GLの各成分光GLp,GLa,GLbの射出位置について、例えば図2(D)及び2(E)に示すように画像取出しのための反射面であるハーフミラー層15(右眼用のハーフミラー層15R及び左眼用のハーフミラー層15L)について見ると、成分光GLpを反射する第1反射領域AR1,AL1と、成分光GLa,GLbを反射する第2反射領域AR2,AL2とは、一部重畳している。しかしながら、全体としては、第2反射領域AR2,AL2が第1反射領域AR1,AL1よりも外側(観察者から遠い側)にシフトしている。第2反射領域AR2,AL2から射出される成分光GLa,GLbは、成分光GLpよりも傾斜した角度で導光装置20から射出され観察者の眼EYに到達する結果、観察者は、成分光GLa,GLbに由来する画像(映像)を成分光GLpに由来する画像(映像)よりも外側にあるものとして視認する。
図3(A)、3(B)及び3(C)は、上記のようにして観察者の左右の眼EY(EY1,EY2)により視認される虚像に対応する仮想上の各映像領域を映像領域PAa,PAbとして示し、さらに、両眼EY1,EY2で視認した結果、観察者の脳内において認識される仮想上の全体映像領域を映像領域PAとする。ここでは、各映像領域PAa,PAbのうち、上述した成分光GLpに由来して視認される映像領域を第1映像領域Pa1,Pb1とし、成分光GLa,GLbに由来して視認される映像領域を第2映像領域Pa2,Pb2とする。この場合、図3(C)に示す映像領域PAについては、第1映像領域Pa1,Pb1が重畳して視認される第1映像領域PAcと、第2映像領域Pa2,Pb2とがつながって形成された1つの領域として視認される。
以下、上記のような映像領域の認識について説明する。前提として、観察者の眼EY1,EY2として想定される基準位置(視線の光軸)に基づいて左右一対の成分光GLpを射出させる。これにより、両眼EY1,EY2に同等の画像を視認させると、観察者は、左右の眼EY1,EY2から入った当該画像を1つの画像として認識する。すなわち、各映像領域PAa,PAbのうち視線の光軸を基準に第1映像領域Pa1,Pb1で共通する内容の画像が形成されることで、図3(C)の中央部において1つの映像領域(第1映像領域PAc)として認識されることになる。この場合、さらに、観察者は、第1映像領域PAcを左右に拡張させた第2映像領域Pa2,Pb2についても第1映像領域PAcから連続した領域として違和感なく認識できることが知られている。結果的に、観察者は、第1映像領域PAc及び第2映像領域Pa2,Pb2を繋げた全体を1つの大きな映像領域として捉えるものとなる。
以上のように、本実施形態の頭部搭載型表示装置100は、共通内容の画像表示を行うためのエリアと、当該エリアを拡張させるために隣接するように設けられる拡張エリアとを形成させこれらを一体の画像表示エリアとして捉えさせる構成となっている。以下、共通内容の画像表示を行うエリアを共通表示エリアと呼ぶものとし、拡張エリアを拡張表示エリアと呼ぶものとする。共通表示エリアにおいて表示させる共通内容については、2Dの画像(平面視画像)や3Dの画像(立体視画像)による種々のコンテンツの映像が対象となり、具体例としては、映画等の動画画像や、各種アプリケーションの画面、各種UI画面等が考えられる。共通表示エリアや拡張表示エリアは、物理的な空間としては、図2(B)及び2(C)に示す各表示パネル領域PR,PLの第1領域PR1,PL1や第2領域PR2,PL2、あるいは、図2(D)及び2(E)に示す第1反射領域AR1,AL1や第2反射領域AR2,AL2で規定することができる。また、ここでは、これをさらに拡張させて、上記物理的な空間に対応して仮想的な範囲として認識される図3(A)〜3(C)の映像領域PAa,PAb,PAのような領域(仮想的な空間)として捉えることも可能であるものとする。なお、共通内容の画像表示を行う共通表示エリアのうち、右眼において視認させるための画像表示を行う共通表示エリアを第1共通表示エリアとし、左眼において視認させるための画像表示を行う共通表示エリアを第2共通表示エリアとする。さらに、拡張表示エリアのうち、右眼において視認させるための画像表示を行う拡張表示エリアを第1拡張表示エリアとし、左眼において視認させるための画像表示を行う拡張表示エリアを第2拡張表示エリアとする。上記の場合、中央の共通表示エリア(第1及び第2共通表示エリア)と左右にそれぞれ拡張される第1拡張表示エリア及び第2拡張表示エリアとを統合した表示エリアが視認される表示エリアの全体ということになる。なお、上記の場合、拡張表示エリアは、共通表示エリア(第1共通表示エリアや第2共通表示エリア)の外縁側に連続的に隣接しており、違和感なく連続した画像として認識させるものとなっている。
さらに、上記の例では、共通表示エリアすなわち両眼視される範囲である図3(C)の映像領域PAcでは、画素単位で完全に一致させた2Dの画像(平面画像)を表示させるだけでなく、共通した画像でありながら左右の視差に応じて画像をずらすことで、3Dの画像(立体視画像)を表示させることも可能である。一方、拡張表示エリアすなわち片眼にのみ視認される第2映像領域Pa2,Pb2については、2Dの画像表示のみが可能となる。
図4は、図3(C)に対応する図であり、両眼視と片眼視とにより認識される画像全体の様子の一例を示す図である。この場合、例えば、表示される画像オブジェクトOB1〜OB3のうち、例えば中央の映像領域PAcに表示される画像オブジェクトOB1(ロケットの画像オブジェクト)は、適宜画像処理を施すことで立体視画像が可能である。一方、周辺側の映像領域Pa2,Pb2に表示される画像オブジェクトOB2,OB3(惑星の画像や月の画像オブジェクト)は、片眼視のため、平面画像のみの表示が可能となっている。しかしながら、例えば中央の映像領域PAcを十分広くとるように画像形成させることで、あたかも表示エリアの画像全体において立体視画像を行っているかのように見せることが可能である。
以下、図5等を参照して、観察者の視野範囲の特性について説明する。まず、図5(A)〜5(C)は、観察者の視野について説明するための概念的な図であり、図5(A)は、水平視野の様子を示し、図5(B)は、鉛直(垂直)視野の様子を示し、図5(C)は、面に投影された視野(視線方向についての視野の広がり)の様子を示している。ここで、各図中において、弁別視野V1とは、視力などの視機能が優れている中心領域(画角約5°以内)であり、有効視野V2とは、眼球運動だけで瞬時に情報需要できる領域(水平約30°、垂直20°以内)であり、安定注視野V3とは、眼球・頭部運動で無理なく注視でき、効果的な情報需要ができる領域(水平60〜90°、垂直45〜70°以内)である。これらのうち、弁別視野V1を念頭において、例えば映像を眺めている観察者の視線方向は、通常ほぼ正面方向であると考えれば、弁別視野V1に対して画像の中心から十分な範囲に映像領域PAcを設けて立体視画像が形成可能な範囲が視機能が優れた範囲を含むようにすることで、あたかも表示エリアの画像全体において立体視画像を行っているかのように見せることができる。すなわち、例えば図6に示すように、映像領域PAcが、少なくとも弁別視野V1(画角5°程度)の範囲を視認範囲として含む、さらには、文字を識別できる範囲と考えられる画角10°の範囲である視野VX(有効視野V2よりは狭い範囲)を視認範囲として含むようにすることで、立体画像の視認や文字の多い画像の認識等種々の画像の視認を確保した上で画像表示エリアを拡張させることができる。
またここで、図4に戻って、別の観点として、拡張させた画像表示エリア(共通表示エリア及び拡張表示エリア)の全体すなわち映像領域の全体である映像領域PAについてのアスペクト比(縦横比)、すなわち図示における映像領域PAの短辺幅DYと長辺幅DXとの比率について説明する。アスペクト比については、種々の設定が可能であるが、例えば映像フォーマットに準ずる縦横比とすることもできる。さらに、図示における映像領域PAc(両眼視可能な領域)の短辺幅DY1と長辺幅DX1との比率について映像フォーマットに準ずる縦横比としてもよい。なお、映像フォーマットの縦横比としては、例えば3:4や9:16のほか、1:2.35のシネスコのサイズ等が考えられる。また、上記では、画像表示エリア(共通表示エリア及び拡張表示エリア)として仮想的な映像領域PA等により説明したが、同様のことを物理的空間において考察することができ、例えば本実施形態のようにパネル型の構造である場合、図2(B)及び2(C)に示す各表示パネル領域PR,PLの第1領域PR1,PL1や第2領域PR2,PL2の縦横比の設定によって視認される映像についてのアスペクト比を所望の映像フォーマットに準ずる縦横比となるようにできる。なお、パネル型の構造について、より具体的に一例をあげれば、右眼用及び左眼用の画像はそれぞれ縦720横1580とし、左の表示エリアの左から301列目と右表示エリアの1列目の画素を一致させ、左表示エリアの左から1580列目と右表示エリアの1280列目の画素を一致させるよう調整させるようにしておく、といった調整を行うことが考えられる。なお、もっと大雑把には、例えば、各表示装置100A,100Bにおいては、2.5m先に60インチ相当の画像があるように虚像による表示を行わせるものとした場合に、これらを上記のように適宜重畳させて視認させることで、80インチ相当の画像を認識させることができる。また、例えば、各表示装置100A,100Bが形成する映像領域の1/4〜半分以上が重畳して視認される(両眼視される)映像領域PAcとなっていることで、映像領域PAcのみにおいて画像として認識できるのに十分な範囲を確保できる。一方、片眼視のエリアについても種々の範囲とすることができるが、例えば、映画の字幕用の文字等を認識するのに必要最低限の画素数分の領域を確保するものとする。
以上のように、本実施形態に係る頭部搭載型表示装置100は、双方の眼に対して画像表示を行う両眼視タイプであり、表示画像の一部については左右で表示内容が異なる拡張した領域(エリア)を設けているが、両眼に共通した内容の画像を見せる共通する領域(エリア)も有している。これにより、観察者に、拡張した領域まで含めた映像全体を両眼視によって視認していると知覚させることができる。これに対して、片側の眼に対してのみ画像表示を行う片眼視タイプの場合、一方の眼で表示画像を見て他方の眼で外界を見ることで、視認される対象が左右で全く異なった状態となり得るので、例えば左右の眼の視線が混じらない状態が起き、斜視になってしまう可能性がある。両眼視タイプであり左右の眼に共通内容の画像を視認させる頭部搭載型表示装置100では、上記片眼視タイプの場合のような状態となることで斜視になる、という可能性が回避される。
以下、頭部搭載型表示装置100において映し出す画像コンテンツに関する一変形例について説明する。図4に示すような全体として1つの内容の映像を視認させる場合の他に、例えば図7(A)、7(B)及び7(C)に示すように、中央の映像領域PAc(両眼視可能な領域)にメイン画像(牛の部分)を映し出すとともに、右眼のみで見える映像領域Pa2には注意情報、天気予報等を映し出左眼のみで見える映像領域Pb2にはナビ情報等を映し出すといったサブ的な情報画像を周辺側に表示させるものとしてもよい。つまり、右眼側の映像領域Pa2と左眼側の映像領域Pb2とにおいて、異なるタイプの画像コンテンツを表示させるものにもできる。
また、上記では、図2(B)及び2(C)を参照して説明したように、1つの表示パネル領域PR,PLを分割して成分光GLpと成分光GLa,GLbとが形成されるものとしているが、これに限らず、例えば図8(A)及び8(B)に示すように、第1画像表示素子181RR(又は181LL)と第2画像表示素子182RR(又は182LL)との2つの画像表示素子で1つの画像表示装置180R(又は180L)を構成するものとしてもよい。すなわち、第1及び第2共通表示エリアと拡張表示エリアとに応じて個別の表示パネル領域(第1領域PR1,PL1や第2領域PR2,PL2)をそれぞれ有するようにしてもよい。
また、上記では、左右一対の各映像領域PAa,PAbについて、双方がともに拡張表示エリアをそれぞれ形成するものとしているが、例えば図9(A)、9(B)及び9(C)に示すように、どちらか一方のみが拡張表示エリアを形成するものとしてもよい。なお、図示の場合、右側の映像領域PAaのみが第1映像領域Pa1と第2映像領域Pa2との双方を有し、左側の映像領域PAbは、第1映像領域Pb1のみとなっている。
さらに、上記では、周辺側として右側又は左側に拡張表示エリアを形成させるものとしているが、これに限らず、例えば図9(D)、9(E)及び9(F)に示すように、右側や左側への拡張に加え、さらに、上下方向について、第3映像領域P3や、第4映像領域P4を有するものとしてもよい。
以上のように、本実施形態の頭部搭載型表示装置100では、第1及び第2表示部である第1及び第2表示装置100A,100Bにおいて、左右の眼に共通内容の画像表示を行う第1及び第2共通表示エリアをそれぞれ有していることで、両眼視による画像コンテンツの視認を可能とするものとなっている。すなわち、共通内容の表示態様によって例えば立体視画像の視認が可能となっている。この上で、第1及び第2表示装置100A,100Bのうち少なくとも一方において拡張表示エリアを有することで違和感なく表示エリアを拡張させて共通表示エリアの表示だけの場合よりも画像表示を大きいものに見せることができる。また、この場合、共通表示エリアの表示の分のみ光学系等を増大させればよいので、装置全体の大型化によって表示エリアを広げる場合に比べて装置の小型化を図ることができる。
以下、図10(A)及び10(B)を参照して、頭部搭載型表示装置の別の一例について説明する。図示の頭部搭載型表示装置200は、観察者の眼前を透視可能に覆う第1及び第2光学部材201a,201bと、両光学部材201a,201bを支持するフレーム107と、フレーム107の左右両端から後方にかけての部分に固定された第1及び第2駆動部205a,205bと、2次元的に走査される信号光を射出する第1及び第2映像素子206a,206bとを備える。図面上で左側の第1光学部材201aと第1駆動部205aと第1映像素子206aとを組み合わせた第1表示装置100Aは、右眼用の虚像を形成する部分である。また、図面上で右側の第2光学部材201bと第2駆動部205bと第2映像素子206bとを組み合わせた第2表示装置100Bは、左眼用の虚像を形成する部分であり、第1表示装置100Aの左右を反転させただけであり、第1表示装置100Aと同じ機能を有する。
第1表示装置100Aにおいて、第1映像素子206aは、強度変調された信号光を形成するとともに当該信号光を走査光TLとして射出する。第1光学部材201aは、第1映像素子206aからの走査光TLを反射することによって映像光GLを形成する被照射部材であるが、映像光GLを眼EYに導く機能を有する。第1駆動部205aは、第1映像素子206aに対して不図示の光ファイバー等を介して照明光を供給する光源、それらの動作の制御回路等を含む本体部分280を有する。
第1映像素子206aは、鼻当て部材108aに組み付けられており、フレーム107に対して間接的に固定されている。第1映像素子206aは、本体部分280からの制御信号に基づいて照明光を変調する信号光変調部281と、信号光変調部281を経た信号光を走査しつつ射出させる走査光学系282とを有する。ここで、走査光学系282は、MEMSミラー等で構成され、信号光変調部281による信号光の変調に同期させて姿勢を変化させることにより、信号光の光路を調整することで第1光学部材201aの内面への光線の射出角度を縦横に変化させる2次元走査を行う。
第1光学部材201aは、第1映像素子206aの前方又は光射出方向において観察者の眼EYの前方を覆うように配置されている。第1光学部材201aは、走査光の照射を受ける半透過膜である半透過反射膜285と、半透過反射膜285を支持固定する支持部材286とを有している。これにより、観察者の眼EYには、虚像のみならず、外界からの光も入ることになり、頭部搭載型表示装置200は、双方を重畳して観察可能にするシースルーの構成となっている。
上記のような構成の頭部搭載型表示装置200においても、走査光学系282による走査の範囲を調整することで所期の目的を達成することができる。
この発明のうち表示エリアのパターンについては、上記の各実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することが可能である。
上記において、共通表示エリアと拡張表示エリアとについてのリサイズや位置変更を、例えば、表示する内容やユーザーによる設定等により行うことが考えられる。具体的には、図11(A)〜11(F)に例示するように、左右の眼により視認される虚像に対応する各映像領域PAa,PAbについて、映像領域PAaにおける第1映像領域Pa1と第2映像領域Pa2や、映像領域PAbを構成する第1映像領域Pb1と第2映像領域Pb2の大きさや形状、配置を変更可能としてもよい。すなわち、図11(A)、11(B)及び11(C)において1つの視認状態として示すように、第1映像領域Pa1,Pb1が重畳して視認される第1映像領域PAcの左右に拡張するように第2映像領域Pa2,Pb2を設けた表示とする第1の表示状態から、図11(D)、11(E)及び11(F)において別の1つの視認状態として示すように、第1映像領域PAcの上下に拡張するように第2映像領域Pa2,Pb2を設けた表示とする第2の表示状態に切り換え可能とする、といった態様とすることが考えらえる。また、この際、図11(C)及び11(F)に示すように、第1映像領域PAc(Pa1,Pb1)は、左右の映像領域PAa,PAbのうち、重なっている領域内に設定する一方、第2映像領域Pa2は映像領域PAaの範囲内でかつ映像領域PAbから外れた範囲を含み、第2映像領域Pb2は映像領域PAbの範囲内でかつ映像領域PAaから外れた範囲を含むように拡張させてもよい。
上記のような種々の態様で画像表示を行う場合、画像表示の動作制御についても重要となってくる。そこで、以下では、図12等を参照して、頭部搭載型表示装置における表示動作の制御について一例を説明する。図12は、一実施形態に係る頭部搭載型表示装置の一例を示す図であり、図1に対応する図である。すなわち、図12の頭部搭載型表示装置100の光学系部分は、図1に示す頭部搭載型表示装置100と同一の構造を有するものであり、図1に例示した頭部搭載型表示装置100において省略していた制御装置CRを制御動作の説明のために追加している。また、図12において、制御装置CRは、眼鏡状の形態を有した装置の本体部分にケーブル(接続部)40によって接続されている。なお、図12に示すように、ここでは、図1において頭部搭載型表示装置100としていた眼鏡状の形態を有した装置の本体部分すなわち制御装置CR及びケーブル40以外の部分を、区別しやすいように本体部分100pと表記する。以上を言い換えると、図12に示す頭部搭載型表示装置100は、光学系を搭載して観察者に画像を視認させるための本体部分100pと、本体部分100pに映像信号その他の各種信号を送信して各種制御動作を行う制御装置CRとを有し、本体部分100pと制御装置CRとを接続するケーブル40とを備える。なお、本体部分100pの構造等については、図1等を参照して説明したため、各部の説明については省略するが、図1において説明を省略したものに関して、制御装置CRのほか、図に例示するように、本体部分100pのうち第1表示装置100Aの近傍には、カメラCAが取り付けられていたり、あるいは各種センサーが設けられていたりし得る(詳しくは図13等を参照して後述する)。
頭部搭載型表示装置100のうち、制御装置CRは、各種演算処理を行うCPUや記憶装置(記憶部)、入力装置等で構成されている。制御装置CRは、入力装置としてのタッチパネル部分やボタン部分等を有して観察者から各種動作の指示を受け付けるためのコントローラーとしても機能する。制御装置CRは、各種演算処理を行うことで、頭部搭載型表示装置100において所望の映像を映し出すための映像信号等の各種信号を本体部分100p(特に図2等に示す画像表示装置80R,80L)に対して送信する。見方を変えると、本体部分100pは、制御装置CRからの指示に従い表示動作を行う表示装置として機能しているとも言える。
以下、図13を参照して、頭部搭載型表示装置100の制御のうち特に表示動作の制御に関して説明する。
図13は、図12に示す頭部搭載型表示装置100の制御を説明するための構成について一例を示したブロック図である。図示のように、ここでは、制御装置CR側から本体部分100pに各種信号(特に映像信号)の送信がなされる。また、本体部分100pには、カメラCAのほか、各種のセンサーSEが装置内部に設けられている。各種のセンサーSEとしては、例えばジャイロセンサー等により構成され、加速度等を検出して観察者の姿勢や動き等を把握可能にするモーションセンサーMSや視線検出部である視線センサーSS等を設けることが考えられる。これらから取得された各種情報については、本体部分100p側からに制御装置CRに送信がなされる。
以下、制御装置CRの構成について詳細に説明する。まず、頭部搭載型表示装置100のうち、制御装置CRは、CPU(主制御部)110と、記憶部120と、操作部130と、通信部140と、インターフェイス180と、送信部(Tx)191及び192とを備える。
記憶部120は、ROMやRAM等により構成されており、種々のコンピュータープログラムや各種データが格納されている(例えば図14参照)。CPU110は、記憶部120からコンピュータープログラムやデータを読み出して実行することにより、オペレーティングシステム(OS)150、画像処理部、表示制御部、入力信号処理部等として機能する。すなわち、CPU110は、各種演算処理を行って頭部搭載型表示装置100の制御全体を司る主制御部として機能する。
操作部130は、観察者又は使用者により操作される外部入力受付装置(入力装置)であり、例えば決定キー、表示切替キー、トラックパッド、輝度切替キー、方向キー、メニューキー等で構成され、観察者又は使用者による操作入力に応じた信号を取得する。
通信部140は、電磁波を利用して他の機器等との無線通信を行うものであり、例えば無線LANやBluetooth(登録商標)、ZigBee(登録商標)といった所定の無線通信規格に則って他の機器との間で無線通信を行なう。
インターフェイス180は、画像(静止画像、動画像)や音声等のコンテンツデータの供給元となる種々の外部装置OA(例えば、パーソナルコンピューターや携帯電話端末、ゲーム端末等)を接続するためのものである。インターフェイス180としては、例えばUSBインターフェイスやメモリーカード用インターフェイス、無線LANインターフェイス等を採用することができる。
送信部191、192は、CPU110において生成された映像信号を含む各種データを、本体部分100pを構成する第1及び第2表示装置100A,100Bに対してそれぞれ送信する。すなわち、送信部191、192は、制御装置CRと第1及び第2表示装置100A,100Bとの間におけるシリアル伝送のためのトランシーバーとして機能している。なお、送信部191を介して送信される映像信号(画像データ)を「右眼用画像データ」とも呼び、送信部192を介して送信される映像信号(画像データ)を「左眼用画像データ」とも呼ぶものとする。
以下、図2に示す頭部搭載型表示装置100のうち、本体部分100p側における処理について説明する。図示のように、ここでは、本体部分100pの表示装置100A,100Bにおいて画像表示を行うために、画像表示装置80R,80Lは、制御装置CRからの信号を受け付ける受信部(Rx)193,194をそれぞれ備える。すなわち、受信部193,194は、制御装置CRと第1及び第2表示装置100A,100Bとの間におけるシリアル伝送のためのレシーバーとして機能している。画像表示装置80R,80Lは、受信部(Rx)193,194でそれぞれ受け取った右眼用画像データと左眼用画像データとに基づいて画像形成を行う。
以上のような構成において、制御装置CRのうち、CPU110が表示制御部(あるいは画像処理部)150として機能する場合、表示制御部150は、例えばインターフェイス180を介して入力されるコンテンツ等に含まれる画像信号を取得し、取得した画像信号に基づいて、同期信号等の各種信号とともに画像データ(右眼用画像データと左眼用画像データ)を生成する。表示制御部150は、生成したこれらの信号を頭部搭載型表示装置100の表示動作を制御するための映像信号として、本体部分100pを構成する第1及び第2表示装置100A,100B(第1及び第2表示部)に供給する。すなわち、CPU110は、生成した映像信号を、送信部191、192を介して受信部193,194にそれぞれ送信することで、画像表示の制御をする。
ここで、表示制御部150は、送信する映像信号(画像データ)として、第1及び第2共通表示エリア用の共通画像情報CIと、拡張表示エリア用の拡張画像情報である第1及び第2拡張表示エリア用の第1及び第2拡張画像情報EI1,EI2とを含む信号を生成している。すなわち、表示制御部150は、共通表示エリアのうち右眼に視認させるための画像表示を行う第1共通表示エリアに対応する画像データである共通画像情報CIと、拡張表示エリアのうち右眼において視認させるための画像表示を行う第1拡張表示エリアに対応する画像データである第1拡張画像情報EI1とを含む映像信号VV1を右眼用画像データとして生成し、送信部191を介して第1表示装置100Aに送信する。同様に、表示制御部150は、共通表示エリアのうち左眼に視認させるための画像表示を行う第2共通表示エリアに対応する画像データである共通画像情報CIと、拡張表示エリアのうち左眼において視認させるための画像表示を行う第2拡張表示エリアに対応する画像データである第2拡張画像情報EI2とを含む映像信号VV2を左眼用画像データとして生成し、送信部192を介して第2表示装置100Bに送信する。なお、例えば拡張表示エリアが第1拡張表示エリア及び第2拡張表示エリアのうちどちらか一方のみ存在するような場合(図9参照)には、第1及び第2拡張画像情報EI1,EI2のうち対応する一方のみが存在することになる。すなわち、拡張表示エリア用の拡張画像情報が1種類のみ存在する。
ここで、本実施形態における表示制御部150は、さらに、共通画像情報と第1及び第2拡張画像情報EI1,EI2とを調整して、第1及び第2共通表示エリアと第1及び第2拡張表示エリアとで画像表示態様の異なる複数の表示モードでの切替えを可能とする表示モード制御部160を有する(あるいは表示モード制御部160として機能する)。
ここでは、表示モード制御部160において設定可能な異なる複数の表示モードの一例として、第1及び第2共通表示エリアと拡張表示エリアとでの重畳の有無を加味した明るさの差すなわち観察者にとっての見た目の明るさの差を抑えて表示する全体表示モードと、第1及び第2共通表示エリアと拡張表示エリアとでの重畳の有無を加味した明るさの差すなわち観察者にとっての見た目の明るさの差をつけて表示する注視表示モードと、これら以外の通常表示を行うための通常表示モードが選択可能であるものとする。なお、これは一例であり、例えばこれら3つのモード以外の表示モードをさらに有するものとしてもよい。
また、表示制御部150は、表示モード制御部160において選択すべきモードを判断するための判断部である状況判断部170を有する(あるいは状況判断部170として機能する)。表示制御部150は、外部からの情報入力を受け付け、受け付けた情報に基づいて共通画像情報と拡張画像情報とを定めることで、表示モード制御部160において設定すべきモードを決定する。
以下、図13や図14等を参照して、表示モード制御部160や状況判断部170を有する表示制御部150の表示制御のための動作について説明する。図14は、記憶部120の一構成例について説明するためのブロック図である。図示のように、記憶部120は、各種プログラムを格納するためのプログラム領域を有するプログラム記憶部PMと、各種データを格納するためのデータ領域を有するデータ記憶部DMとで構成されている。
記憶部120の構成要素のうち、プログラム記憶部PMは、表示モード制御部160における表示モードの切替え(設定)を行うための表示モード制御プログラムMPと、各種入力信号の処理を行うための入力信号処理プログラムIPと、状況判断部170において外部から受け付けた情報に基づき生成すべき映像信号を判断するための状況判断プログラムJPと、映像信号を生成するための映像信号生成プログラムVPとを有する。
表示モード制御プログラムMPは、CPU110(あるいは表示制御部150)が上述したような表示モード制御部160として機能するために、複数の表示モードを構成する各表示モードでの設定でそれぞれ画像信号を生成させるためのプログラムで構成されている。ここでは、上述のように、全体表示モード、注視表示モード及び通常表示モードが選択可能であるものとしており、これに対応すべく、表示モード制御プログラムMPは、全体表示モード設定プログラムMP1、注視表示モード設定プログラムMP2及び通常表示モード設定プログラムMP3で構成されているものとする。すなわち、CPU110(あるいは表示制御部150)は、3つのモードのうち一を適宜選択し、対応する表示モード設定プログラムを読み出して実行することで、表示モード制御部160として機能する。
入力信号処理プログラムIPは、CPU110の外部から入力された各種入力信号を処理するためのプログラムである。なお、ここでの各種入力信号については、操作部130や通信部140、あるいはインターフェイス180を介した外部装置OAからの入力信号に加え、本体部分100pに付随するカメラCAやセンサーSEからの入力信号(情報)も対象とする。すなわち、CPU110は、入力信号処理プログラムIPを読み出して適宜実行することで、入力信号処理部として機能する。
状況判断プログラムJPは、CPU110(あるいは表示制御部150)が上述したような状況判断部170として機能するために、外部から受け付け入力信号処理プログラムIPにより処理された各種情報に基づき生成すべき映像信号を判断するためのプログラムである。具体的には、例えばインターフェイス180を介して受け付けた外部装置OAからの画像信号の映像コンテンツが3D映像や映画に関するものであるか、PCの作業画面等であるかといったことや、常時注視する映像であるか、あるいは時刻、注意情報、メール着信、アイコン等ツールバー等のように常時見ないものを含むかといったことを分析し、各コンテンツあるいはその一部が共通画像情報とすべきものであるか、拡張画像情報とすべきものであるか、といったことを定める(判断する)。すなわち、CPU110は、表示制御部150として、入力された視認させるべき画像表示の映像コンテンツのうち、注視させるべき映像コンテンツと注視させるべき映像コンテンツ以外の映像コンテンツとを判別する。これにより、例えば表示制御部150(CPU110)は、注視させるべき映像コンテンツを共通画像情報とし、注視させるべき映像コンテンツ以外の映像コンテンツを拡張画像情報として含むように映像信号を生成することができる。また、状況判断部170としてのCPU110は、例えばカメラCAやセンサーSEからの入力信号に基づいて観察者の周囲環境や観察者の視線や姿勢等といった外部環境を検知し、これに基づいて表示する態様を定めることも可能である。端的には、状況判断部170は、例えば上記3つの表示モードのうち選択すべき一の表示モードを判断する。このほか、例えば観察者が操作部130を適宜操作することにより、操作部130から3つの表示モードのうち選択すべき一の表示モードの設定指令について入力信号があった場合には、状況判断部170は、これに応じた表示動作を行うべきと判断する。すなわち、CPU110(あるいは表示制御部150)は、状況判断プログラムJPを読み出して適宜実行することで、状況判断部170として機能する。
映像信号生成プログラムVPは、CPU110が表示制御部150として機能するためのプログラムであり、映像信号を生成するために各種処理を行うためのプログラム群で構成されており、例えば、各種画像処理を行うための画像処理プログラムGPを有している。CPU110は、上述した各プログラムにおける入力信号の受付やその処理、あるいは外部環境等の状況判断の結果、さらには選択された表示モードに基づいて、映像信号生成プログラムVPを読み出して適宜実行することで、映像信号を生成する表示制御部150として機能する。
記憶部120の構成要素のうち、データ記憶部DMは、表示モード制御プログラムMPのうちから選択(設定)されている表示モードに関するデータを格納する設定表示モード記憶部MDと、入力信号処理プログラムIPにおける処理対象となるデータあるいは処理が完了したデータを格納する入力信号データ記憶部IDと、状況判断プログラムJPにおける各種判断の基準となるデータを格納する判断基準値データ記憶部JDとを有する。このほか、データ記憶部DMは、例えば外部入力した信号のうち画像データに関するものを格納する外部入力画像データ記憶部GD1や固定的な映像コンテンツとして内部に元々有している画像データを格納する内部固定画像データ記憶部GD2等を有する。画像データ記憶部GD1,GD2に格納されるデータについては、例えば立ち上げ時に固定的に表示される画像データやアラート表示用の画像データ、アイコン画像データ等のようなもの(特に何度も呼び出されるもの)が想定される。
ここで、全体表示モード設定での表示制御と注視表示モード設定での表示制御とに関してもう少し具体的に説明する。まず、図15(A)〜15(C)は、全体表示モード設定での表示制御のための輝度の調整に関して一例を説明するための図である。また、図15(D)は、注視表示モード設定での表示制御のための輝度の調整に関して一例を説明するための図である。なお、ここでは、説明の簡略化するため、第1映像領域Pa1,Pb1と第2映像領域Pa2,Pb2とでの最大輝度同士を相対的比率(%)で標記する。
まず、図15(A)及び15(B)は、全体表示モード設定において、左右一対の各映像領域での輝度について一例を概念的に示す図である。図示のように、各映像領域PAa,PAbのうち、拡張表示エリアである第1及び第2拡張表示エリアに対応する第2映像領域Pa2,Pb2での輝度を100%としているのに対して、第1及び第2共通表示エリアに対応する第1映像領域Pa1,Pb1での輝度を50%としている。すなわち、片眼ずつで各映像を見た場合には、第1映像領域Pa1,Pb1のほうが第2映像領域Pa2,Pb2よりも暗く見えることになる。以上のように、CPU110(あるいは表示制御部150)は、全体表示モードを設定した場合に、第1及び第2共通表示エリアの輝度を拡張表示エリアの輝度よりも抑えて画像制御を行っている。第1及び第2共通表示エリアの輝度を拡張表示エリアの輝度よりも抑えておくことで、重畳したものとして視認されることで明るいと感じることを加味して表示全体の明るさのバランスを取り、観察者に全体としてあたかも一体的に拡張された1つの画像であるかのように視認させることができる。特に、上記の場合、第1共通表示エリアの輝度及び第2共通表示エリアの輝度は、ともに拡張表示エリアの輝度の半分になっている。これにより、図15(C)において概念的に示すように、重畳したものとして視認される第1及び第2共通表示エリアの表示画像(第1映像領域PAc)の見かけ上の明るさが拡張表示エリアの表示画像(第2映像領域Pa2,Pb2)の明るさと等しくなることで、観察者に全体としてあたかも一体的に拡張された1つの画像であるかのように視認させることができる。すなわち、結果的に重畳して視認される第1映像領域PAcと重畳されない第2映像領域Pa2,Pb2とでは全体としては重畳の有無を加味した見た目の明るさの差が抑えられて表示していることになる。つまり、観察者は、第1映像領域PAc及び第2映像領域Pa2,Pb2を繋げた全体を1つの大きな映像領域として捉えるに際して、特に明るさや色斑等の違和感を生じることなく映像を視認できる。
図15(D)は、図15(C)に対応する図であり、注視表示モード設定における輝度の様子を概念的に示している。図示の例では、上記の場合と異なり、第1及び第2共通表示エリアの輝度と拡張表示エリアの輝度とを同じ輝度の100%としている。この場合、結果的に重畳して視認される第1映像領域PAcと重畳されない第2映像領域Pa2,Pb2とでは全体としては重畳の有無を加味した見た目の明るさの差をつけて表示していることになる。以上のように、注視表示モードでは、第1及び第2共通表示エリアと拡張表示エリアとで輝度差がついていることで、例えば第1及び第2共通表示エリアをより明るくして観察者の視線を第1及び第2共通表示エリアに対応する画像表示の範囲に集中させる(注視させる)ことができる。つまり、観察者は、第1映像領域PAc及び第2映像領域Pa2,Pb2を繋げた全体を1つの大きな映像領域として捉えつつも、特に中央側においてより明るい映像を視認できる。なお、上記の例では、第1映像領域Pa1,Pb1での輝度と第2映像領域Pa2,Pb2での輝度とをともに100%として差がないものとしているが、例えば第1映像領域Pa1及び第1映像領域Pb1での輝度をともに70%とし第2映像領域Pa2,Pb2での輝度を100%とすることも考えられる。このようにしても、重畳して視認される第1映像領域PAc(第1映像領域Pa1,Pb1)のほうが第2映像領域Pa2,Pb2よりも明るく感じられると考えられる。
以下、図16のフローチャート等を参照して、本実施形態の頭部搭載型表示装置100を用いた表示動作の処理の一例について説明する。頭部搭載型表示装置100の電源(図示略)を入れることで頭部搭載型表示装置100が起動して表示動作の処理が開始されると、まず、表示制御部150としてのCPU110は、表示態様を定めるべく状況判断の処理を行う(ステップS101)。すなわち、CPU110は、記憶部120に格納される状況判断プログラムJPを読み出すことで、状況判断部170として機能する。上記のように状況判断部170は、種々の条件に基づき画像信号に振り分け等を行うが、ここでは、説明を簡単にするために状況判断部170による判断の結果、上記した3つの表示モード(全体表示モード、注視表示モード及び通常表示モード)のうち一の表示モードが選択され、選択されたモードに基づく映像信号の生成がなされるものとする。すなわち、CPU110は、ステップS101において、表示モード制御プログラムMPに含まれるものの中から適宜一のプログラムを選択する。次に、CPU110は、状況判断部170として状況変更があったか否かを確認し(ステップS102)、状況変更があったと判断された場合(ステップS102;Yes)、ステップS101に戻り、状況判断部170として再度状況判断を行い、表示態様を定める、すなわち選択すべき表示モードの判定を行う。一方、ステップS102において、状況変更がなければ(ステップS102;No)、ステップS102において選択された表示モード設定プログラムを読み出すとともに、映像信号生成プログラムVPを適宜読み出して、第1及び第2共通表示エリア用の共通画像情報CIと拡張表示エリア用の拡張画像情報EI1,EI2とを含む映像信号VV1,VV2の生成を行い(ステップS103)、生成された映像信号VV1,VV2を送信する(ステップS104)。ステップS104での信号送信の後、CPU110は、頭部搭載型表示装置100による表示動作を終了する旨の指令信号を受けているか否かを確認し(ステップS105)、確認されれば(ステップS105;Yes)表示動作を終了する。一方、表示動作を終了する旨の指令信号を受けていることが確認されなければ(ステップS105;No)、CPU110は、再びステップS102において状況判断部170として状況変更があったか否かを確認する。すなわち、状況変更又は表示動作の終了がなされない限り、設定された表示モードに基づく映像信号の生成及び送信を続ける。
図17は、上記ステップS101に示す判断処理での処理内容について一例を示すフローチャートである。ここでは、上記のように、ステップS101において、3つの表示モード(全体表示モード、注視表示モード及び通常表示モード)のうち一の表示モードが選択されるものの一例を示す。まず、状況判断部170としてのCPU110は、3つの表示モードのうち、何らかの方法によって全体表示モード又は注視表示モードの設定がされているか否かを確認する(ステップS201)。ここで、ステップS201において全体表示モードや注視表示モードの設定がなされる場合としては、例えば外部入力のデータから映像コンテンツが3D映像や映画に関するものであることが分かっておりこれに応じて注視表示モードに自動的に設定される、といったことが考えられる。また、他の例としては、PCの作業画面であるが壁紙が表示された状態であることが分かっておりこれに応じて壁紙の明るさが中央側(共通画像側)と周辺側(拡張画像側)とで差が生じないように全体表示モードに自動的に設定されるといった場合も考えられる。このほか、操作部130による信号指令(手動による信号指令)や通信部140による信号指令(遠隔操作による信号指令)により表示モードに強制的に設定されている場合等も考えられる。
ステップS201において、全体表示モード又は注視表示モードの設定がされていると判断された場合(ステップS201;Yes)、CPU110は、設定された表示モードを維持すべきと判断し(ステップS202)、ステップS101における処理を終了し、図16のステップS102以下の処理に移る。
一方、ステップS201において、全体表示モード及び注視表示モードのいずれの設定もされていないと判断された場合(ステップS201;No)、CPU110は、通常表示モードによる動作を行う(ステップS300)。通常表示モードによる動作については、種々のものが考えられるが、ここでは、一例として、まず、CPU110は、状況判断部170として、モーションセンサーMSからの数値が閾値以上であるか否かを確認する(ステップS203)。具体的には、CPU110は、本体部分100pに付随するセンサーSEのうちモーションセンサーMSからのデータを入力信号データ記憶部IDから読み出すとともに、判断基準値データ記憶部JDから対応する閾値(例えば加速度や傾き等に関する閾値)を読み出してこれらを比較する。この結果、数値が閾値未満である場合(ステップS203;No)には、観察者の姿勢や状態等が頭部搭載型表示装置100による観察をするのに問題ない状態にあると判断し、通常の表示動作を行う(ステップS204)。ここでは一例として、ステップS204において全体表示モード設定と同一の設定に基づく画像表示を行うものとする。一方、ステップS203において、数値が閾値以上である場合(ステップS203;Yes)には、観察者の姿勢や状態等が頭部搭載型表示装置100による観察をするのに問題がある状態となっている可能性があると判断し、共通表示エリアでの表示を中止し拡張表示エリアのみを表示可能とするか、あるいは共通表示エリアのみならず拡張表示エリアまでを含めた全てのエリアの表示を中止するべき(全オフにするべき)と判断し(ステップS205)、ステップS101における処理を終了し、図16のステップS102以下の処理に移る。なお、以上のようなステップS101に示す判断処理の結果、表示モード設定が変更されるごとに、表示モード制御部160としてのCPU110は、設定表示モード記憶部MDに格納されている表示モードに関するデータを書き換え、当該データに基づいて設定された表示モードに基づく画像処理(あるいは信号生成)がなされる。
以上の図17に示した例の場合、図16のステップS102における状況の変更の有無の判断の基準は、例えば表示モードの切替えに関する入力信号やモーションセンサーMSで検出される数値の変更等に依存することになる。なお、図16等に示したものはあくまで一例であり、種々の態様が考えられる。例えば、センサーSEからの情報に関しては、モーションセンサーMSに限らず、カメラCAからの情報や通信部140等を利用した位置検知等に基づき外部環境についての状況判断を行うことも考えられる。カメラCAについては、例えば特定の位置に設置された2次元コードを読み取って位置検知をすることや、通信機能としてGPS等を利用した位置検知や移動速度の検出等を判断基準とすることで、例えば歩いている、走っている、あるいは乗り物(車両等)に乗っているといったことを判断可能にし、例えば乗り物に乗っている場合には拡張表示エリアのみを表示可能とし道案内情報のみ提供可能となるように制御する、といったことも考えられる。また、例えば図17のうちステップS300として示した箇所について状況判断に適用する情報等に応じて変形する(通常表示モードの設計を変更する)か、あるいは新たに表示モードを設定する、すなわち適宜各種プログラムを組み替えることで対処可能である。また、この際、例えば判断基準値データ記憶部JDに格納する各種データについて適宜追加・変更等すればよい。また、図17の例では、ステップS300のうちステップS205において、表示エリアの一部または全部をオフにするとしているが、これに限らず、ある条件下では、例えば共通表示エリア(第1映像領域PAc(Pa1,Pb1))にアラート表示をするといったことも考えられる。また、センサーSEとして用いるものについても種々の物が考えられ、上記の他、例えば観察者の脈拍や脳波等を測定し、これらの測定結果に基づいて状況判断を行うものとしてもよい。
以上のように、本実施形態の頭部搭載型表示装置100では、第1及び第2表示部である第1及び第2表示装置100A,100Bにおいて、左右の眼に共通内容の画像表示を行う第1及び第2共通表示エリアをそれぞれ有している上で、第1及び第2表示装置100A,100Bのうち少なくとも一方において拡張表示エリアを有し、表示制御部150において、第1及び第2共通表示エリア用の共通画像情報と拡張表示エリア用の拡張画像情報とを含む信号を生成することで、種々の画像表示を可能としている。
以下、図18(A)及び18(B)を参照して、本実施形態に係る表示動作の制御について一変形例を説明する。
図18(A)等に示すように、本変形例では、センサーSEを構成する視線検出部である視線センサーSSにより観察者の眼EY1,EY2の動きを捉え、これに応じた表示制御を行うものとする。視線センサーSSについては、例えば、発光部EEと受光部RRとを有しており、発光部EEから眼EY1,EY2に弱い赤外光を当てて網膜と角膜の反射光を受光部RRで捉えることにより、視線方向を検出し、視線検出部として機能させることが考えられる。
以下、表示制御の具体的な一例を説明する。まず、図18(A)に示すように、視線センサーSSにより観察者の眼EY1,EY2が正面方向すなわち映像領域PAのうち共通表示エリアに対応する第1映像領域PAc(Pa1,Pb1)に向いていると判断される場合には、第1映像領域PAc(Pa1,Pb1)のみで画像表示を行う。一方、図18(B)に示すように、視線センサーSSにより観察者の眼EY1,EY2が左側方向すなわち映像領域PAのうち拡張表示エリアに対応するものの1つである左眼のみで見える第2映像領域Pb2に向いていると判断される場合には、第1映像領域PAc(Pa1,Pb1)に加え、第2映像領域Pb2で画像表示(画像MM1の表示)を行う。すなわち、表示制御部150としてのCPU110は、視線センサーSSの検出結果に応じて表示態様の切替えを行うことで、観察者の眼EY1,EY2の動きに対応した表示を行うことができるものとなっている。なお、上記に関して、例えば視線センサーSSの検出結果に応じて上述した注視表示モード等の複数の表示モードを切り替えることで、表示態様の切替えを行うものとしてもよい。
上記のような態様において、拡張表示エリアに対応する画像表示の内容としては、例えば時刻、注意情報、メール着信、アイコン、ツールバー等の常時は見ないようなものとすることが考えられる。
以下、図19(A)及び19(B)を参照して、本実施形態に係る表示動作の制御について他の一変形例を説明する。まず、図19(A)と図19(B)とは、経時的に先の画像表示の状態が図19(A)であり、図19(B)は、図19(A)を表示した後、所定の時間(例えば数秒)経過後の表示状態を示すものである。本変形例では、まず、図19(A)に示すように、表示制御部150としてのCPU110は、拡張表示エリアに対応する第2映像領域Pb2において行った画像MM1の表示を所定の時間行った後に、図19(B)に示すように、第2映像領域Pb2での表示を終了するとともに、当該表示と同じ内容である画像MM1の表示を第1及び第2共通表示エリアに対応する第1映像領域PAc(Pa1,Pb1)で行わせるように画像動作を制御している。また、図19(A)に示す状態から図19(B)に示す状態に表示態様を変更するか否かについては、例えば図示のように、視線センサーSSにより観察者の眼EY1,EY2の動きを捉えるものとしておき、図19(A)に示す第2映像領域Pb2の画像MM1を、眼EY1,EY2が所定の時間以上見つめ続けていると判断されていることを条件とするものとしてもよい。この場合、例えば図19(A)に示した状態では、拡張表示エリアに対応する第2映像領域Pb2側に向けられていた観察者の視線(眼EY1,EY2の向き)を、第1及び第2共通表示エリアに対応する第1映像領域PAc(Pa1,Pb1)側に変更させることができる。これにより、例えば拡張表示エリアでの注視を抑制することができる。また、図19(A)に示す状態から図19(B)に示す状態に表示態様を変更するに際して、画像MM1の表示を全く同一とする態様に限らず、例えばより詳細な情報を表示するものとしてもよい。具体的には、第2映像領域Pb2での表示の際には、今日の天気のアイコンを表示し、第1映像領域PAc(Pa1,Pb1)に表示するときには、より詳しく1週間の天気の情報を表示するようにする、といったことが考えられる。なお、上記では、両眼EY1,EY2の向きについて視線検知を行うものとしているが、これに限らず、例えば画像が表示されている側の眼(片方の眼)のみを検知対象とする等、片方の眼のみ検知するものとしてもよい。また、上記のように、拡張表示エリアでの表示を共通表示エリアに移す場合において、表示が移動したことを示すための画像(例えば矢印等)を短時間併せて表示させるようにしてもよい。
以下、図20(A)及び20(B)を参照して、本実施形態に係る表示動作の制御について別の一変形例を説明する。図20(A)は、拡張表示エリアに対応するものの1つである右眼のみで見える第2映像領域Pa2の様子について説明するための図であり、図20(B)は、第2映像領域Pa2の表示の様子を示す図である。図示のように、ここでは、第2映像領域Pa2においてサブ的な情報画像として注意情報、天気予報等のような画像を例えばアイコン画像IC,ICとして表示しているものとする。すなわち、例えばこれらのアイコン画像IC,ICの画面上にカーソル(図示略)を移動させてクリック動作をすることで各アイコン画像IC,ICに対応する内容(注意情報や天気予報の詳細)の画像表示が行われるものとなる。一方、第2映像領域Pb2のうちこれらのアイコン画像IC,IC以外の映像領域の画像を背景画像BCとする。言い換えると、表示制御部150としてのCPU110は、拡張表示エリアに対応する第2映像領域Pb2における、背景画像BCと背景画像BC以外の他の画像としてのアイコン画像IC,ICとについての表示動作の制御を行っている。本変形例では、CPU110は、拡張表示エリアにおける背景画像BCの輝度を他の画像よりも抑えるように表示制御している。この結果、図20(B)に示すように、拡張表示エリアに対応する第2映像領域Pb2において、アイコン画像IC,ICのみが表示されているかのように視認させることができる。特に、画像表示装置80R,80Lを、例えば有機EL等の自発光型の素子構成される画像表示素子で構成する場合、背景画像BCに対応する箇所の輝度を十分に落とすことができ、この場合、外界像をシースルーで視認又は観察させることができる虚像表示装置である頭部搭載型表示装置100においてあたかも中空にアイコン画像IC,ICが表示されているかのごとく感じさせることができる。また、アイコン画像に限らず、バナー等の画像を第2映像領域Pa2(Pb2)において、上記と同様な態様で表示してもよい。
また、上述した注視表示モードにおいて、上記と同様に、背景画像BCに関して、輝度を落としたり、あるいは黒やグレー等の目立たない色にしたりすることで、注視させたい共通表示エリアの画像に観察者をより集中させるものとしてもよい。
以下、図21を参照して、本実施形態に係る表示動作の制御についてさらに別の一変形例を説明する。図21に示すように、本変形例では、表示制御部150としてのCPU110は、拡張表示エリアに対応する第2映像領域Pa2,Pb2において例えばナビ情報(地図情報)の画像MM1やアイコン画像IC,ICの表示を行っている場合に、当該表示を行っている旨の補助画像SU1,SU2を第1及び第2共通表示エリアに対応する第1映像領域PAc(Pa1,Pb1)に表示させている。この場合、拡張表示エリアに対応する画像表示について観察者に視認を促すことができる。なお、補助画像SU1,SU2については、種々のものが考えられ、図示のような文字や矢印の他、アイコン等による表示とすることも考えられる。また、補助画像SU1,SU2の画像サイズや位置についても種々の態様であってよい。図示の例では、説明上分かりやすいように大きく表示しているが、視認できる範囲でもっと小さいものとしてもよく、表示する位置も種々のものにできる。また、点滅表示灯を行うものとしてもよい。
この発明は、上記の各実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することが可能である。
例えば、上記では、画像表示装置80(80R,80L)は、例えば有機EL等の自発光型の素子構成される画像表示素子としているが、画像表示装置80を、例えば透過型の空間光変調装置であるLCDとこれへ照明光を射出するバックライトである照明装置や動作を制御する駆動制御部(不図示)を有する構成することも可能であり、この場合、表示制御部150としてのCPU110において生成される映像信号は、バックライト制御信号及びLCD制御信号(駆動信号)等で構成されるものとなる。
また、上記では、制御装置CRがケーブル40により本体部分100pと接続されており、制御装置CRと本体部分100pとが別体となっているが、例えば制御装置CRの一部または全部が本体部分100pと一体化していてもよい。あるいはケーブル40を介することなく無線通信により制御装置CRと本体部分100pとが情報交換を行うものとしてもよい。
また、上記の態様の場合、表示制御部150での映像信号VV1,VV2の生成において、表示モードに応じて共通画像情報CIや拡張画像情報EI1,EI2に輝度に関する情報や画像表示を行う表示範囲に関する情報を含むことになるが、これらに加えて表示する画像の解像度に関する情報が含まれるようにすることも考えられる。例えば、図18を参照して説明した場合のように、視線センサーSSの検出結果に応じて表示態様の切替えを行うに際して、視線が向いている時に注視される表示範囲についてのみ解像度を高くするように表示制御することも考えられる。このようにすることで、画像処理における計算量(処理量)を抑えることができる。
上記において、画像表示装置80としては、種々のものを利用可能であり、例えば、反射型の液晶表示デバイスを用いた構成も可能であり、液晶表示デバイス等からなる映像表示素子に代えてデジタル・マイクロミラー・デバイス等を用いることもできる。
上記の説明では、第2面S12のハーフミラー層を例えば金属反射膜や誘電体多層膜としたが、平面又は曲面のホログラム素子に置き換えることができる。
上記の説明では、導光部材10等が眼の並ぶ横方向に延びているが、導光部材10を縦方向に延びるように配置することもできる。この場合、導光部材10は、直列的ではなく並列的に平行配置された構造を有することになる。
上記の説明では、画像光と外界光とを重畳させる態様についてのみ説明しているが、例えば重畳させずに画像光のみにする態様と外界光のみにする態様とを切り替えて観察することができる頭部搭載型表示装置(あるいは虚像表示装置)において適用してもよい。さらには、重畳させずに画像光のみを視認させるいわゆるクローズ型(シースルーでない)タイプの頭部搭載型表示装置において適用してもよい。
また、本願発明の技術を、ディスプレイと撮像装置とで構成されるいわゆるビデオシースルーの製品に対応させるものとしてもよい。
また、上述した頭部搭載型表示装置(あるいは虚像表示装置)を動作させるための各種プログラムに関しては、頭部搭載型表示装置(あるいは虚像表示装置)で読み取り可能な記憶媒体に格納されていてもよい。
AR1,AL1…反射領域、AR2,AL2…反射領域、AX…光軸、BC…背景画像、CA…カメラ、CI…共通画像情報、CR…制御装置、DM…データ記憶部、DX…長辺幅、DX1…長辺幅、DY…短辺幅、DY1…短辺幅、EE…発光部、EI1…第1拡張画像情報、EI2…第2拡張画像情報、EY,EY1,EY2…眼、GD1…外部入力画像データ記憶部、GD2…内部固定画像データ記憶部、GL…映像光、GLp,GLa,GLb…成分光、GP…画像処理プログラム、IC…アイコン画像、ID…入力信号データ記憶部、IP…入力信号処理プログラム、JD…判断基準値データ記憶部、JP…状況判断プログラム、MD…設定表示モード記憶部、MM1…画像、MP…表示モード制御プログラム、MP1…全体表示モード設定プログラム、MP2…注視表示モード設定プログラム、MP3…通常表示モード設定プログラム、MS…モーションセンサー、OA…外部装置、OB1−OB3…画像オブジェクト、P3,P4…映像領域、PA…映像領域(共通表示エリア)、PAa…第1映像領域(第1共通表示エリア)、PAb…第2映像領域(第2共通表示エリア)、PR,PL…表示パネル領域、PR1,PL1…第1領域、PR2,PL2…第2領域、Pa1,Pb1…第1映像領域(拡張表示エリア、第1拡張表示エリア)、Pa2,Pb2…第2映像領域(拡張表示エリア、第2拡張表示エリア)、P3…第3映像領域、P4…第4映像領域、RR…受光部、S11−S15…面、S51−S53…透過面、SE…センサー、SS…視線センサー、SU1,SU2…補助画像、TL…走査光、V1…弁別視野、V2…有効視野、V3…安定注視野、VP…映像信号生成プログラム、VV1,VV2…映像信号、VX…視野、10…導光部材、10…導光部材、11,12…導光部分、15,15L,15R…ハーフミラー層、20…導光装置、30…投射レンズ、40…ケーブル、50…光透過部材、80,80R,80L…画像表示装置、100…頭部搭載型表示装置、100A…第1表示装置(第1表示部)、100B…第2表示装置(第2表示部)、100p…本体部分、101a,101b…光学部材、102…枠部、105a,105b…像形成本体部、105b…像形成本体部、107…フレーム、120…記憶部、130…操作部、140…通信部、150…表示制御部、160…表示モード制御部、170…状況判断部、180…インターフェイス、180R…画像表示装置、181RR,182RR…画像表示素子、191,192…送信部、193,194…受信部、200…頭部搭載型表示装置、201a,201b…光学部材、205a,205b…駆動部、206a,206b…映像素子、280…本体部分、281…信号光変調部、282…走査光学系、285…半透過反射膜、286…支持部材
Claims (20)
- 左右の眼に対応して画像表示を行う第1及び第2表示部を備え、
前記第1及び第2表示部は、共通内容の画像表示を行う第1及び第2共通表示エリアを有し、前記第1及び第2表示部のうち少なくとも一方は、画像表示のエリアを拡張する拡張表示エリアを有する、頭部搭載型表示装置。 - 前記第1表示部と第2表示部とは、前記拡張表示エリアとして、互いに他方における表示とは異なる内容の画像表示を行う第1拡張表示エリアと第2拡張表示エリアとを有する、請求項1に記載の頭部搭載型表示装置。
- 前記第1及び第2表示部は、前記第1及び第2共通表示エリアでの画像表示において立体視画像を形成させる、請求項1及び2のいずれか一項に記載の頭部搭載型表示装置。
- 前記第1及び第2表示部は、前記第1及び第2共通表示エリアによる視認範囲として、少なくとも弁別視野の範囲を含む画像表示を行う、請求項1〜3のいずれか一項に記載の頭部搭載型表示装置。
- 前記第1及び第2表示部は、前記第1及び第2共通表示エリアによる視認範囲として、画角10°の範囲を含む画像表示を行う、請求項4に記載の頭部搭載型表示装置。
- 前記第1及び第2表示部は、左右の眼の光軸の中心を基準として前記第1及び第2共通表示エリアを重ねて視認させる画像表示を行う、請求項1〜5のいずれか一項に記載の頭部搭載型表示装置。
- 前記第1及び第2表示部は、左右の眼に対応した映像光を生じさせる第1及び第2画像表示素子を有する、請求項1〜6のいずれか一項に記載の頭部搭載型表示装置。
- 前記第1及び第2画像表示素子は、1つの表示パネル領域を有し、当該表示パネル領域を、前記第1及び第2共通表示エリアの映像光を生じさせる第1領域と前記拡張表示エリアの映像光を生じさせる第2領域とに応じて分割している、請求項7に記載の頭部搭載型表示装置。
- 前記第1及び第2画像表示素子は、前記第1及び第2共通表示エリアと前記拡張表示エリアとに応じて個別の表示パネル領域を有している、請求項7に記載の頭部搭載型表示装置。
- 前記第1及び第2表示部は、中心光軸から、前記第1及び第2画像表示素子の表示パネル領域の中心をずらしている、請求項7〜9のいずれか一項に記載の頭部搭載型表示装置。
- 前記拡張表示エリアは、前記第1共通表示エリア及び/又は第2共通表示エリアの外縁側に連続的に隣接している、請求項1〜10のいずれか一項に記載の頭部搭載型表示装置。
- 前記第1及び第2表示部の表示動作を制御するための映像信号を送信して画像表示の制御をする表示制御部をさらに備え、
前記表示制御部は、前記第1及び第2表示部に送信する映像信号として、前記第1及び第2共通表示エリア用の共通画像情報と前記拡張表示エリア用の拡張画像情報とを含む信号を生成する、請求項1〜11のいずれか一項に記載の頭部搭載型表示装置。 - 前記表示制御部は、前記共通画像情報と前記拡張画像情報とを調整して、前記第1及び第2共通表示エリアと前記拡張表示エリアとで画像表示態様の異なる複数の表示モードでの切替えを可能とする表示モード制御部を有する、請求項12に記載の頭部搭載型表示装置。
- 前記表示モード制御部において、前記複数の表示モードには、前記第1及び第2共通表示エリアと前記拡張表示エリアとでの重畳の有無を加味した明るさの差を抑えて表示する全体表示モードと、前記第1及び第2共通表示エリアと前記拡張表示エリアとでの重畳の有無を加味した明るさの差をつけて表示する注視表示モードとが含まれる、請求項13に記載の頭部搭載型表示装置。
- 前記表示制御部は、前記表示モード制御部で前記全体表示モードを設定した場合に、前記第1及び第2共通表示エリアの輝度を前記拡張表示エリアの輝度よりも抑えるように表示制御する、請求項14に記載の頭部搭載型表示装置。
- 観察者の視線方向を検出する視線検出部をさらに備え、
前記表示制御部は、前記視線検出部の検出結果に応じて表示態様の切替えを行う、請求項12〜15のいずれか一項に記載の頭部搭載型表示装置。 - 前記表示制御部は、前記拡張表示エリアのうち背景画像のエリアの輝度を他の画像のエリアの輝度よりも抑えるように表示制御する、請求項12〜16のいずれか一項に記載の頭部搭載型表示装置。
- 前記表示制御部は、前記拡張表示エリアにおいて表示を行っている場合に、前記拡張表示エリアにおいて表示を行っている旨の補助画像を前記第1及び第2共通表示エリアに表示させる、請求項12〜17のいずれか一項に記載の頭部搭載型表示装置。
- 前記表示制御部は、前記拡張表示エリアにおいて表示を行った場合、所定の時間経過後に当該表示を終了させるとともに当該表示と同じ内容の表示を前記第1及び第2共通表示エリアで行わせる、請求項12〜18のいずれか一項に記載の頭部搭載型表示装置。
- 左右の眼にそれぞれ対応して視認させるべき画像表示をそれぞれ行う第1及び第2表示部を有する頭部搭載型表示装置の表示制御方法であって、
前記第1及び第2表示部は、共通内容の画像表示を行う第1及び第2共通表示エリアをそれぞれ有し、前記第1及び第2表示部のうち少なくとも一方は、画像表示のエリアを拡張する拡張表示エリアを有し、
前記第1及び第2表示部に送信される映像信号として、前記第1及び第2共通表示エリア用の共通画像情報と前記拡張表示エリア用の拡張画像情報とを含む信号を生成する、頭部搭載型表示装置の表示制御方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016192987A JP2018054976A (ja) | 2016-09-30 | 2016-09-30 | 頭部搭載型表示装置及び頭部搭載型表示装置の表示制御方法 |
US15/433,139 US10645374B2 (en) | 2016-03-04 | 2017-02-15 | Head-mounted display device and display control method for head-mounted display device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016192987A JP2018054976A (ja) | 2016-09-30 | 2016-09-30 | 頭部搭載型表示装置及び頭部搭載型表示装置の表示制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018054976A true JP2018054976A (ja) | 2018-04-05 |
Family
ID=61836604
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016192987A Pending JP2018054976A (ja) | 2016-03-04 | 2016-09-30 | 頭部搭載型表示装置及び頭部搭載型表示装置の表示制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018054976A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11025894B2 (en) | 2018-12-27 | 2021-06-01 | Seiko Epson Corporation | Head-mounted display device and display control method for head-mounted display device |
US11048084B2 (en) | 2018-12-27 | 2021-06-29 | Seiko Epson Corporation | Head-mounted display device |
US20220171195A1 (en) * | 2020-11-30 | 2022-06-02 | Seiko Epson Corporation | Virtual image display apparatus |
-
2016
- 2016-09-30 JP JP2016192987A patent/JP2018054976A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11025894B2 (en) | 2018-12-27 | 2021-06-01 | Seiko Epson Corporation | Head-mounted display device and display control method for head-mounted display device |
US11048084B2 (en) | 2018-12-27 | 2021-06-29 | Seiko Epson Corporation | Head-mounted display device |
US20220171195A1 (en) * | 2020-11-30 | 2022-06-02 | Seiko Epson Corporation | Virtual image display apparatus |
CN114578557A (zh) * | 2020-11-30 | 2022-06-03 | 精工爱普生株式会社 | 虚像显示装置 |
US11796816B2 (en) | 2020-11-30 | 2023-10-24 | Seiko Epson Corporation | Virtual image display apparatus |
CN114578557B (zh) * | 2020-11-30 | 2023-12-01 | 精工爱普生株式会社 | 虚像显示装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10645374B2 (en) | Head-mounted display device and display control method for head-mounted display device | |
KR102578929B1 (ko) | 조향 가능한 중심와 디스플레이 | |
US10162412B2 (en) | Display, control method of display, and program | |
US8982471B1 (en) | HMD image source as dual-purpose projector/near-eye display | |
US9269193B2 (en) | Head-mount type display device | |
US8994614B2 (en) | Head mountable display | |
JP6089705B2 (ja) | 表示装置、および、表示装置の制御方法 | |
JP6707823B2 (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
US9261959B1 (en) | Input detection | |
WO2005043218A1 (ja) | 画像表示装置 | |
US9563058B2 (en) | Display device, display method, and readable medium | |
US9846305B2 (en) | Head mounted display, method for controlling head mounted display, and computer program | |
JP2018141874A (ja) | 頭部搭載型表示装置及び画像形成光学系 | |
JP6707809B2 (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
JP2018182570A (ja) | 視線情報共有方法および視線情報共有システム | |
JP2018054976A (ja) | 頭部搭載型表示装置及び頭部搭載型表示装置の表示制御方法 | |
JP2017079389A (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
JP2017158131A (ja) | 頭部搭載型表示装置 | |
JP2016038484A (ja) | 虚像表示装置及び方法 | |
JP2019008205A (ja) | ヘッドマウントディスプレイ装置 | |
JP2014130228A (ja) | 虚像観察装置 | |
JP2018132756A (ja) | 表示装置 | |
JPH1169383A (ja) | 立体表示装置 | |
JP2017102220A (ja) | 画像表示装置 | |
JPH09127455A (ja) | 表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20190322 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190402 |