JP2023111180A - 虚像表示装置 - Google Patents

Abstract

【課題】第１画像の表示精度を維持しつつ、情報端末からの画像では使用されない領域を活用すること。【解決手段】虚像表示装置１００は、情報端末から第１画像を取得する第１取得部８ａと、第１画像と異なる第２画像を取得する第２取得部８ｂと、第１画像を歪曲させる補正部８ｃと、歪曲された第１画像と第２画像とを含む第３画像又は第４画像を生成する生成部８ｄと、第３画像又は第４画像を表示する表示素子１１と、を備える。【選択図】図３

Description

本発明は、虚像の観察を可能にする虚像表示装置に関する。

画像表示装置において、画像表示素子に表示される入力画像に対して、画像表示素子に表示された画像を観察するための光学系により生じる歪曲とは逆方向の歪みを与える歪み補正をデータ処理として行い、歪み処理が行われた画像を画像表示素子に表示させるものが開示されている（特許文献１）。

特開２００８－０５８７０３号公報

上記特許文献１の装置では、画像表示素子に表示される歪み補正された画像の輪郭形状は画像表示素子の表示面の輪郭形状と異なり、表示面において画像の表示で使用されない領域が生じる。このような表示に使用されない領域は、投影される画像上では表示可能な領域にもかかわらず、無駄になってしまう。

本発明の一側面における虚像表示装置は、情報端末から第１画像を取得する第１取得部と、第１画像と異なる第２画像を取得する第２取得部と、第１画像を歪曲させる補正部と、歪曲された第１画像と第２画像とを含む第３画像を生成する生成部と、第３画像を表示する表示素子と、を備える。

第１実施形態の虚像表示装置の装着状態を説明する外観斜視図である。 虚像表示装置の内部構造を説明する側方断面図である。 虚像表示装置の回路構成を説明するブロック図である。 表示像の歪曲補正を説明する概念図である。 虚像表示装置での画像処理に用いられる画像及び表示画像を説明する概念図である。 虚像表示装置によって投影される虚像を説明する概念図である。 虚像表示装置の表示画像及び当該表示画像に対応する虚像を説明する概念図である。 虚像表示装置における画像処理を説明するフローチャートである。 歪曲された第１画像の変形例を説明する図である。 第２実施形態の虚像表示装置における画像処理を説明するフローチャートである。 第２実施形態の虚像表示装置の表示画像及び当該表示画像に対応する虚像を説明する概念図である。 第３実施形態の虚像表示装置を説明する平面図である。

〔第１実施形態〕
以下、図１～３等を参照して、本発明に係る第１実施形態の虚像表示装置について説明する。

図１は、ヘッドマウントディスプレイ（以下、ＨＭＤとも称する。）２００の装着状態を説明する図であり、ＨＭＤ２００は、これを装着する観察者又は装着者ＵＳに虚像としての映像を認識させる。図１等において、Ｘ、Ｙ、及びＺは、直交座標系であり、＋Ｘ方向は、ＨＭＤ２００又は虚像表示装置１００を装着した観察者又は装着者ＵＳの両眼ＥＹの並ぶ横方向に対応し、＋Ｙ方向は、装着者ＵＳにとっての両眼ＥＹの並ぶ横方向に直交する上方向に相当し、＋Ｚ方向は、装着者ＵＳにとっての前方向又は正面方向に相当する。±Ｙ方向は、鉛直軸又は鉛直方向に平行になっている。

ＨＭＤ２００は、右眼用の第１表示装置１００Ａと、左眼用の第２表示装置１００Ｂと、表示装置１００Ａ，１００Ｂを支持するテンプル状の一対の支持装置１００Ｃと、情報端末であるユーザー端末９０とを備える。第１表示装置１００Ａは、上部に配置される表示駆動部１０２と、メガネレンズ状で眼前を覆う外観部材１０３とで構成される。第２表示装置１００Ｂも同様に、上部に配置される表示駆動部１０２と、メガネレンズ状で眼前を覆う外観部材１０３とで構成される。支持装置１００Ｃは、表示駆動部１０２を介して外観部材１０３の上端側を支持している。第１表示装置１００Ａと第２表示装置１００Ｂとは、光学的に左右を反転させたものであり、第２表示装置１００Ｂについては、詳細な説明を省略する。

図２は、第１表示装置１００Ａの光学的構造を説明する側方断面図である。第１表示装置１００Ａは、表示素子１１と結像光学系２０と表示制御装置８８とを備える。結像光学系２０は、投射レンズ２１と、プリズムミラー２２と、楔型光学素子２８と、シースルーミラー２３とを備える。結像光学系２０のうち、投射レンズ２１とプリズムミラー２２と楔型光学素子２８とは、後述する第３又は第４画像の合成画像に対応する画像光ＭＬが入射される光学部材に対応し、シースルーミラー２３は、上記光学部材から出射される画像光ＭＬを眼ＥＹ又は瞳位置ＰＰに向けて反射させる反射部材に対応する。また、結像光学系２０のうち、投射レンズ２１とプリズムミラー２２と楔型光学素子２８とは、図１に示す表示駆動部１０２に対応し、シースルーミラー２３は、図１に示す外観部材１０３に対応する。表示素子１１、投射レンズ２１、プリズムミラー２２、及び楔型光学素子２８を組み合わせたものを投影光学系１２と呼び、これらは相互にアライメントされた状態でケース５１内に固定されている。ケース５１は、遮光性の材料で形成され、表示素子１１を動作させる表示制御装置８８を支持している。ケース５１は、開口５１ａを有し、開口５１ａの周囲に楔型光学素子２８が嵌め込まれて固定される。開口５１ａは、投影光学系１２が外部に向けて画像光ＭＬを射出させることを可能にする。

表示素子１１は、自発光型の表示デバイスである。表示素子１１は、例えば有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）ディスプレイであり、２次元の表示面１１ａにカラーの静止画又は動画を形成する。表示素子１１は、ＸＹ面に対してＸ軸のまわりに若干回転して傾いたｘｙ面に沿って配置されている。表示素子１１は、表示制御装置８８に駆動されて表示動作を行う。

表示素子１１は、有機ＥＬディスプレイに限らず、無機ＥＬ、有機ＬＥＤ、ＬＥＤアレイ、レーザーアレイ、量子ドット発光型素子等を用いた表示デバイスに置き換えることができる。表示素子１１は、自発光型の画像光生成装置に限らず、ＬＣＤその他の光変調素子で構成され、当該光変調素子をバックライトのような光源によって照明することによって画像を形成するものであってもよい。表示素子１１として、ＬＣＤに代えて、ＬＣＯＳ（Liquid crystal on silicon, ＬＣｏＳは登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。

結像光学系２０のうち、投射レンズ２１は、第１レンズ２１ｐ及び第２レンズ２１ｑを含む。第１レンズ２１ｐは、入射面２１ａと出射面２１ｂとを有し、第２レンズ２１ｑは、入射面２１ｃと出射面２１ｄとを有する。投射レンズ２１は、表示素子１１から射出された画像光ＭＬを受けて、プリズムミラー２２に入射させる。投射レンズ２１は、表示素子１１から射出された画像光ＭＬを平行光束に近い状態に集光する。プリズムミラー２２は、入射面２２ａと、内反射面２２ｂと、出射面２２ｃとを有する。プリズムミラー２２は、前方から入射する画像光ＭＬを、入射方向を反転させた方向（プリズムミラー２２から見た光源の方向）に対して傾斜した方向に折り返すように射出する。楔型光学素子２８は、第１面２８ａと第２面２８ｂとを有し、プリズムミラー２２から射出されシースルーミラー２３に向かう画像光ＭＬを通過させる。シースルーミラー２３は、反射面２３ａと外側面２３ｏとを有する。シースルーミラー２３は、プリズムミラー２２の光射出側に形成された中間像を拡大する。

結像光学系２０は、シースルーミラー２３が凹面鏡であること等に起因して、軸外し光学系ＯＳとなっている。本実施形態の場合、投射レンズ２１、プリズムミラー２２、及びシースルーミラー２３は、非軸対称に配置され、非軸対称な光学面を有する。結像光学系２０が軸外し光学系ＯＳであるとは、結像光学系２０を構成する光学要素２１，２２，２８，２３において、複数の反射面又は屈折面への光線の入射の前後で光路が全体として折れ曲がることを意味する。この結像光学系２０つまり軸外し光学系ＯＳでは、紙面に対応する軸外し面（ＹＺ面に平行な面）に沿って光軸ＡＸが延びるように光軸ＡＸの折り曲げが行われている。この結像光学系２０では、ＹＺ面に平行な軸外し面内で光軸ＡＸの折り曲げを行うことで、かかる軸外し面に沿って光学要素２１，２２，２８，２３が配列されている。結像光学系２０の光軸ＡＸは、縦方向に延びる基準面である軸外し面（ＹＺ面に平行な面）に沿って配置され反射面の前後で互いに傾斜する光軸部分ＡＸ１，ＡＸ２，ＡＸ３を含む。全体としての光軸ＡＸは、表示素子１１の中心から射出される主光線の光路に沿って延び、アイポイントに相当するアイリングＥＲ又は瞳の中心を通る。光軸ＡＸは、ＹＺ面に平行な横断面で見た場合、複数の光軸部分ＡＸ１，ＡＸ２，ＡＸ３によって、Ｚ字状の配置となっている。つまり、ＹＺ面に平行な軸外し面において、投射レンズ２１から内反射面２２ｂまでの光路Ｐ１と、内反射面２２ｂからシースルーミラー２３までの光路Ｐ２と、シースルーミラー２３から瞳位置ＰＰまでの光路Ｐ３とが、Ｚ字状に２段階で折り返される配置となっている。結像光学系２０は、縦配列となっている。これに対応して基準面である軸外し面（ＹＺ面に平行な面）は、縦のＹ方向に平行に延びる。この場合、第１表示装置１００Ａを構成する光学要素２１，２２，２８，２３が縦方向に高さ位置を変えて配列されることになり、第１表示装置１００Ａの横幅の増大を防止することができる。

結像光学系２０のうち、投射レンズ２１から内反射面２２ｂまでの光路Ｐ１は、後方に向かって斜め上方向に延びている。つまり、光路Ｐ１において、光軸部分ＡＸ１は、－Ｚ方向と＋Ｙ方向との中間に近い方向に延びている。内反射面２２ｂからシースルーミラー２３までの光路Ｐ２は、前方に向かって斜め下方向に延びている。つまり、光路Ｐ２において、光軸部分ＡＸ２は、＋Ｚ方向と－Ｙ方向との中間に近い方向に延びている。ただし、水平面方向（ＸＺ面）を基準とした場合、光路Ｐ２の傾斜が光路Ｐ１の傾斜よりも大きくなっている。シースルーミラー２３から瞳位置ＰＰまでの光路Ｐ３は、Ｚ方向に平行に近い状態となっているが、図示の例では、光軸部分ＡＸ３は、＋Ｚ方向に向かって、下向きを負として、－１０°程度となっている。つまり、光軸部分ＡＸ３を延長した射出光軸ＥＸは、前方の＋Ｚ方向に平行な中心軸ＨＸに対して１０°程度下向きに傾いて延びている。これは、人間の視線が水平方向より下側に約１０°傾いた若干の伏し目状態で安定するからである。なお、瞳位置ＰＰに対して水平方向に延びる中心軸ＨＸは、第１表示装置１００Ａを装着した装着者ＵＳが直立姿勢でリラックスして正面に向いて水平方向又は水平線を注視した場合を想定したものとなっている。

投射レンズ２１を構成する第１レンズ２１ｐの入射面２１ａと出射面２１ｂとは、ＹＺ面に平行で光軸ＡＸと交差する縦方向に関して、光軸ＡＸを挟んで非対称性を有し、横方向又はＸ方向に関して光軸ＡＸを挟んで対称性を有する。投射レンズ２１を構成する第２レンズ２１ｑの入射面２１ｃと出射面２１ｄとは、ＹＺ面に平行で光軸ＡＸと交差する縦方向に関して、光軸ＡＸを挟んで非対称性を有し、横方向又はＸ方向に関して光軸ＡＸを挟んで対称性を有する。第１レンズ２１ｐ及び第２レンズ２１ｑは、例えば樹脂で形成されるが、ガラス製とすることもできる。第１レンズ２１ｐの入射面２１ａと出射面２１ｂとは、例えば自由曲面である。入射面２１ａと出射面２１ｂとは、自由曲面に限らず、非球面とすることもできる。第２レンズ２１ｑの入射面２１ｃと出射面２１ｄとは、例えば自由曲面である。入射面２１ｃと出射面２１ｄとは、自由曲面に限らず、非球面とすることもできる。入射面２１ａ，２１ｃ又は出射面２１ｂ，２１ｄを自由曲面又は非球面とすることで、収差低減を図ることができ、特に自由曲面を用いた場合、偏芯系の光学性能を高めることが容易となるので、非共軸の軸外し光学系ＯＳである結像光学系２０の収差を低減することが容易になる。詳細な図示は省略するが、入射面２１ａ，２１ｃ及び出射面２１ｂ，２１ｄ上には、反射防止膜が形成されている。

プリズムミラー２２は、ミラーとレンズとを複合させた機能を有する屈折反射光学部材であり、投射レンズ２１からの画像光ＭＬを屈折させつつ反射する。プリズムミラー２２は、第１反射光学部材であり、画像光ＭＬを入射面２２ａを介して内部に入射させ、入射した画像光ＭＬを内反射面２２ｂによって非正面方向に全反射させ、入射した画像光ＭＬを出射面２２ｃを介して外部に射出させる。入射面２２ａと出射面２２ｃとは、曲面からなる光学面であり、反射面のみの場合又はこれらを平面とした場合に比較して解像度向上に寄与する。プリズムミラー２２を構成する光学面である入射面２２ａと内反射面２２ｂと出射面２２ｃとは、ＹＺ面に平行で光軸ＡＸと交差する縦方向に関して、光軸ＡＸを挟んで非対称性を有し、横方向又はＸ方向に関して光軸ＡＸを挟んで対称性を有する。プリズムミラー２２は、例えば樹脂で形成されるが、ガラス製とすることもできる。プリズムミラー２２の本体の屈折率は、画像光ＭＬの反射角も参酌して内面での全反射が達成されるような値に設定される。プリズムミラー２２の光学面、つまり入射面２２ａと内反射面２２ｂと出射面２２ｃとは、例えば自由曲面である。入射面２２ａと内反射面２２ｂと出射面２２ｃとは、自由曲面に限らず、非球面とすることもできる。プリズムミラー２２において、光学面２２ａ，２２ｂ，２２ｃを自由曲面又は非球面とすることで、収差低減を図ることができ、特に自由曲面を用いた場合、偏芯系の光学性能を高めることが容易となる。内反射面２２ｂについては、全反射によって画像光ＭＬを反射するものに限らず、金属膜又は誘電体多層膜からなる反射面とすることもできる。この場合、内反射面２２ｂ上に、例えばＡｌ、Ａｇのような金属で形成された単層膜又は多層膜からなる反射膜を蒸着等によって成膜し、或いは金属で形成されたシート状の反射膜を貼り付ける。詳細な図示は省略するが、入射面２２ａ及び出射面２２ｃ上には、反射防止膜が形成されている。

楔型光学素子２８は、プリズムミラー２２とシースルーミラー２３との間に配置され、光透過性を有する。楔型光学素子２８は、結像状態を改善する役割を有する。楔型光学素子２８の入射側に設けられている第１面２８ａは、平坦であるが自由曲面となっており、ＹＺ面に平行な縦方向に関して光軸ＡＸを挟んで非対称性を有し、ＹＺ面に垂直なＸ方向すなわち横方向に関して光軸ＡＸを挟んで対称性を有する。第１面２８ａには反射防止膜が形成されている。楔型光学素子２８の射出側に設けられている第２面２８ｂは、平面であり、反射防止膜が形成されている。楔型光学素子２８は、前側である＋Ｚ側で厚みが増している。これにより、プリズムミラー２２等に起因する歪曲収差の発生を抑制することができる。楔型光学素子２８の屈折率は、プリズムミラー２２の屈折率と異なる。これにより、楔型光学素子２８とプリズムミラー２２等との間で屈折や分散の程度を調整することができ、例えば色消しの達成が容易になる。

シースルーミラー２３は、凹の表面ミラーとして機能する湾曲した板状の光学部材であり、プリズムミラー２２からの画像光ＭＬを反射する。つまり、シースルーミラー２３は、投影光学系１２の射出領域に配置された楔型光学素子２８からの画像光ＭＬを瞳位置ＰＰに向けて反射する。シースルーミラー２３は、眼ＥＹ又は瞳孔が配置される瞳位置ＰＰを覆うとともに瞳位置ＰＰに向かって凹形状を有し、外界に向かって凸形状を有する。シースルーミラー２３は、視界のうち画面の有効領域の全体をカバーする凹面透過ミラーである。シースルーミラー２３は、収束機能を有するコリメーターであり、表示面１１ａの各点から射出された画像光ＭＬの主光線であって、投影光学系１２の楔型光学素子２８の射出側近傍で結像によって一旦広がった画像光ＭＬの主光線を瞳位置ＰＰに収束させる。シースルーミラー２３は、板状体２３ｂの表面又は裏面上に透過性を有するミラー膜２３ｃを形成した構造を有するミラー板である。シースルーミラー２３の反射面２３ａは、ＹＺ面に平行で光軸ＡＸと交差する縦方向に関して、光軸ＡＸを挟んで非対称性を有し、横方向又はＸ方向に関して光軸ＡＸを挟んで対称性を有する。シースルーミラー２３の反射面２３ａは、例えば自由曲面である。反射面２３ａは、自由曲面に限らず、非球面とすることもできる。シースルーミラー２３を自由曲面又は非球面とすることで、収差低減を図ることができ、特に自由曲面を用いた場合、軸外し光学系ＯＳ又は非共軸光学系である結像光学系２０の収差を低減することが容易になる。

シースルーミラー２３は、反射に際して一部の光を透過させる透過型の反射素子であり、シースルーミラー２３の反射面２３ａ又はミラー膜２３ｃは、半透過性を有する反射層によって形成されている。これにより、外界光ＯＬがシースルーミラー２３を通過するので、外界のシースルー視が可能になり、外界像に虚像を重ねることができる。この際、ミラー膜２３ｃを支持する板状体２３ｂが数ｍｍ程度以下に薄ければ、外界像の倍率変化を小さく抑えることができる。ミラー膜２３ｃの画像光ＭＬや外界光ＯＬに対する反射率は、画像光ＭＬの輝度確保や、シースルーによる外界像の観察を容易にする観点で、想定される画像光ＭＬの入射角範囲において１０％以上５０％以下とする。シースルーミラー２３の基材である板状体２３ｂは、例えば樹脂で形成されるが、ガラス製とすることもできる。板状体２３ｂは、これを周囲から支持する支持板６１と同一の材料で形成され、支持板６１と同一の厚みを有する。ミラー膜２３ｃは、例えば膜厚を調整した複数の誘電体層からなる誘電体多層膜で形成される。ミラー膜２３ｃは、膜厚を調整したＡｌ、Ａｇ等の金属の単層膜又は多層膜であってもよい。ミラー膜２３ｃは、積層によって形成できるが、シート状の反射膜を貼り付けることによっても形成できる。板状体２３ｂの外側面２３ｏには、反射防止膜が形成されている。

光路について説明すると、表示素子１１からの画像光ＭＬは、投射レンズ２１に入射して略コリメートされた状態で投射レンズ２１から射出される。投射レンズ２１を通過した画像光ＭＬは、プリズムミラー２２に入射して入射面２２ａを屈折されつつ通過し、内反射面２２ｂによって１００％に近い高い反射率で反射され、再度出射面２２ｃで屈折される。プリズムミラー２２からの画像光ＭＬは、楔型光学素子２８を介してシースルーミラー２３に入射し、反射面２３ａによって５０％程度以下の反射率で反射される。シースルーミラー２３で反射された画像光ＭＬは、装着者ＵＳの眼ＥＹ又は瞳孔が配置される瞳位置ＰＰに入射する。瞳位置ＰＰには、シースルーミラー２３やその周囲の支持板６１を通過した外界光ＯＬも入射する。つまり、第１表示装置１００Ａを装着した装着者ＵＳは、外界像に重ねて、画像光ＭＬによる虚像を観察することができる。

図３を参照して、ＨＭＤ２００すなわち虚像表示装置１００の回路系７０について説明する。ＨＭＤ２００は、回路系７０として、マイクロプロセッサ８１と、一対の表示用コントローラ８３と、一対の表示素子１１と、ユーザー端末回路９１とを含む。一方の表示素子１１と、一方の表示用コントローラ８３とは、第１表示装置１００Ａに組み込まれ、他方の表示素子１１と、他方の表示用コントローラ８３とは、第２表示装置１００Ｂに組み込まれる。図示の例において、マイクロプロセッサ８１は、第１表示装置１００Ａに組み込まれているものとして表現されているが、第１表示装置１００Ａ及び第２表示装置１００Ｂから独立したものであってもよい。なお、第１表示装置１００Ａ又は第２表示装置１００Ｂの一方とマイクロプロセッサ８１とを組み合わせたものも、虚像表示装置１００と呼び、片眼用の虚像を表示する。

マイクロプロセッサ８１は、一対の表示用コントローラ８３に対して画像データを出力する。表示用コントローラ８３は、マイクロプロセッサ８１から入力された画像データを表示素子１１に出力するためメモリ８３ｍに格納する。マイクロプロセッサ８１から一対の表示用コントローラ８３に対して出力される画像データは、同一であっても異なっていてもよい。以下では、片方の第１表示装置１００Ａでの処理について説明する。

表示用コントローラ８３は、メモリ８３ｍ等を有し、表示素子１１に表示動作を行わせる。表示素子１１は、表示面１１ａの周辺に走査ドライバやデータドライバを内蔵する付帯回路８５を含む。表示用コントローラ８３は、各フレーム画像の表示に際して、メモリ８３ｍに格納された画像データに対応するデータ信号をタイミング信号等とともに走査線単位で付帯回路８５に出力し、付帯回路８５は、表示用コントローラ８３から入力されたデータ信号等に応じて、表示面１１ａの表示状態に関して書き換えを行う。

マイクロプロセッサ８１は、マイクロコンピュータであってもよく、演算処理装置８１ａと、記憶装置８１ｍと、データ通信インターフェース８１ｃとを有する。

記憶装置８１ｍには、第１表示装置１００Ａ及び第２表示装置１００Ｂに表示動作を行わせるプログラムが格納されている。また、記憶装置８１ｍには、情報端末であるユーザー端末９０から取得した画像やマイクロプロセッサ８１又は演算処理装置８１ａで生成した画像等が記憶される。

マイクロプロセッサ８１は、データ通信インターフェース８１ｃを介して、ユーザー端末回路９１から画像データに対応する表示データを受け取る。マイクロプロセッサ８１は、ユーザー端末回路９１から取得した表示データ又は画像データに対して歪み補正処理を施したり、歪み補正処理後の表示データに対してその表示領域外に情報表示用の追加画像データを合成処理したりする。マイクロプロセッサ８１は、データ通信インターフェース８１ｃを介して表示用コントローラ８３に処理後の表示データである画像データを出力する。

図２に示す結像光学系２０は、軸外し光学系ＯＳであり、後述するように、歪曲収差すなわちディストーションを有する。このディストーションを補償するため、表示面１１ａには、歪曲補正された非矩形輪郭の画像を形成する必要がある。マイクロプロセッサ８１は、図３に示すユーザー端末回路９１からの入力信号に対応する矩形輪郭の画像が、表示面１１ａに表示すべき非矩形輪郭の画像となるように歪み補正或いは歪曲補正する演算処理を含む各種画像処理を行う。

演算処理装置８１ａは、表示面１１ａの中央の主要領域を利用して歪み補正された虚像を表示させつつ、表示面１１ａの周辺の余白を利用して追加情報の虚像を表示させるため、第１取得部８ａ、第２取得部８ｂ、補正部８ｃ、及び生成部８ｄとして機能する。

第１取得部８ａは、ユーザー端末９０から第１画像を取得し、記憶装置８１ｍに記憶させる。第１画像は、虚像表示装置１００で表示されるメインの表示画像であり、具体的には後述する図５に示す初期画像ＩＭ０である。第２取得部８ｂは、ユーザー端末９０から取得した第２画像やマイクロプロセッサ８１又は演算処理装置８１ａで生成した第２画像を取得し、記憶装置８１ｍに記憶させる。第２画像は、第１画像と異なる画像であり、具体的には後述する図５に示す追加画像ＩＭ２である。

補正部８ｃは、画像処理として、第１画像である初期画像ＩＭ０を歪曲させる補正処理を行い、図５に示す歪曲された修正画像ＩＭ１（以下、歪曲された初期画像ＩＭ０とも呼ぶ）を記憶装置８１ｍに記憶させる。補正部８ｃは、初期画像ＩＭ０を、図２に示す結像光学系２０等で生じる歪曲と反転するように歪曲させ補正する。つまり、補正部８ｃは、初期画像ＩＭ０に対して光学系の歪曲を相殺するように補正する。また、補正部８ｃは、第２画像である追加画像ＩＭ２を歪曲させる補正処理を行い、歪曲された追加画像ＩＭ２を記憶装置８１ｍに記憶させる。

生成部８ｄは、歪曲された初期画像ＩＭ０と追加画像ＩＭ２とを含む第３画像又は第４画像である合成画像ＩＭ３を生成し、合成画像ＩＭ３を記憶装置８１ｍに記憶させる。なお、本実施形態では、特に、歪曲された初期画像ＩＭ０と歪曲された追加画像ＩＭ２とを含む合成画像ＩＭ３を第４画像としている。第４画像を生成することにより、第２画像である追加画像ＩＭ２についても表示精度を維持することができ、第４画像全体の映像品質を向上させることができる。

ユーザー端末回路９１は、ユーザー端末９０に組み込まれるものであり、主制御装置９１ａと、記憶装置９１ｍと、データ通信インターフェース９１ｃと、移動体用無線通信装置９１ｔと、ユーザーインターフェース装置９１ｉとを有する。ユーザー端末回路９１は、移動体用無線通信装置９１ｔにより、不図示の通信ネットワークを経由して外部のサーバー等の各種装置と通信することができる。記憶装置９１ｍは、ユーザー端末回路９１を動作させる基本的なプログラムが格納され、この基本的プログラム上で動作するアプリケーションソフトとして、例えば動画再生用のビューアやウェブブラウザ等を含む複数のアプリケーションソフトが格納されている。ユーザー端末回路９１は、ユーザーが操作するユーザーインターフェース装置９１ｉからの要求に応じて動作し、記憶装置９１ｍにアプリケーションソフトに関連付けられて保管された動画や静止画を所定のフォーマットでマイクロプロセッサ８１に対して出力し、或いは移動体用無線通信装置９１ｔを介して様々なコンテンツに対応する動画や静止画を取得しマイクロプロセッサ８１に対して取得した表示データを所定のフォーマットで出力する。以上では、マイクロプロセッサ８１がユーザー端末回路９１から入力された表示データに対して歪み補正処理を施すとしたが、ユーザー端末回路９１が、表示データに対して歪み補正処理を施したり、歪み補正処理後の表示データに対して追加画像データを合成処理したりするものであってもよい。

図４に示すように、図２に示す第１表示装置１００Ａは結像光学系２０が軸外し光学系ＯＳであるため、矩形輪郭の表示像ＤＡ０を投影しようとすると、表示素子１１の表示面１１ａには、歪曲収差すなわちディストーションを有する非矩形輪郭の歪曲像ＩＧ０が表示される。ここで、結像光学系２０自体で歪曲像ＩＧ０の台形歪のようなディストーションを取りきることは容易でない。よって、このディストーションを補償するため、表示素子１１の表示面１１ａに形成する表示像を予め台形歪のような歪を持たせた修正表示像ＤＡ１とする。このように、表示素子１１に表示される画像を、投射レンズ２１、プリズムミラー２２、楔型光学素子２８、及びシースルーミラー２３によって形成される歪みを相殺する逆の歪を有するものとすることで、結像光学系２０を経て瞳位置ＰＰで観察される虚像の投影像ＩＧ１の画素配列を、元の表示像ＤＡ０に対応する格子パターンとすることができ輪郭を矩形とすることができる。つまり、表示素子１１に表示される修正表示像ＤＡ１は、投射レンズ２１、プリズムミラー２２、楔型光学素子２８、及びシースルーミラー２３によって形成されるディストーションを補正する。結果的に、シースルーミラー２３等で発生するディストーションを許容しつつ表示素子１１を含めた全体として収差を抑えることができる。これにより、プリズムミラー２２等の光学要素の配置やサイズの自由度が高まり、第１表示装置１００Ａの小型化を達成しつつ、第１表示装置１００Ａの光学性能の確保を容易にすることができる。

表示素子１１の表示面１１ａには、元の表示像ＤＡ０の代わりに修正表示像ＤＡ１が表示されるため、修正表示像ＤＡ１の外側には、画像表示又は映像表示に使用しない補助領域ＤＮ１～ＤＮ５が生じる。図示の例では、表示面１１ａの＋ｙ方向の一方の端部中央付近に第１補助領域ＤＮ１、＋ｙ方向の一方の端部両端付近に第２及び第３補助領域ＤＮ２，ＤＮ３、－ｙ方向の他方の端部両端付近に第４及び第５補助領域ＤＮ４，ＤＮ５が存在する。詳細は後述するが、画像表示で使用しなくなる第１～第５補助領域ＤＮ１～ＤＮ５は、情報表示に活用する。これにより、表示未使用領域を有効利用することができ、表示素子１１において使用されない領域の割合を低減できる。結果的に、装着者ＵＳに提示する情報量を増やすことができる。

図５は、虚像表示装置１００での画像処理に用いられる画像及び表示素子１１の表示面１１ａに表示される画像について説明する図である。図５中で、領域ＡＲ１は初期画像ＩＭ０を示し、領域ＡＲ２は修正画像ＩＭ１を示し、領域ＡＲ３は追加画像ＩＭ２を示し、領域ＡＲ４は合成画像ＩＭ３を示す。

初期画像ＩＭ０は、歪曲補正前の元の表示像であり、図４に示す矩形輪郭の表示像ＤＡ０に対応する。初期画像ＩＭ０は、第１画像に対応する。

修正画像ＩＭ１は、歪曲補正後の表示像であり、図４に示す非矩形輪郭の修正表示像ＤＡ１に対応する。なお、修正画像ＩＭ１において、修正表示像ＤＡ１の輪郭は画像表示領域ＤＲの輪郭と一致する。修正画像ＩＭ１は、歪曲された第１画像に対応する。修正画像ＩＭ１は、眼ＥＹ側で形成される虚像で矩形となるように光学系で発生する歪みを補正した画像である。修正画像ＩＭ１では、歪み補正によって初期画像ＩＭ０が表示される初期領域ＰＲのうち一部が画像表示に使用しなくなる領域、すなわち外枠領域ＯＲとなる。そのため、以下に説明する追加画像ＩＭ２によって、外枠領域ＯＲの一部、つまり補助領域ＤＮ１～ＤＮ５を情報表示として使用する。なお、歪み形状は光学系により異なるため、歪み補正の形状及び画像表示に使用しない領域は図示の形状に限らない。

追加画像ＩＭ２は、情報端末であるユーザー端末９０又は虚像表示装置１００に関する情報を含む画像である。これにより、追加画像ＩＭ２は、初期画像ＩＭ０と連携させた又は初期画像ＩＭ０とは独立させた情報表示をすることができる。追加画像ＩＭ２は、初期画像ＩＭ０又は修正画像ＩＭ１とは異なる簡易な表示画像である。追加画像ＩＭ２は、第２画像に対応する。追加画像ＩＭ２は、例えば接続機器の動作状況、電池残量やインジケータ、アラート等の情報をパターンや文字等で表示することができる。図示の例では、情報表示として、円Ｍ１、星Ｍ２、及び矢印Ｍ３等のパターンを挙げている。追加画像ＩＭ２は、初期領域ＰＲのうち、補助領域ＤＮ１～ＤＮ５内に配置されている。図５に示す追加画像ＩＭ２は、結像光学系２０の歪曲収差が目立たないように歪曲された画像となっている。追加画像ＩＭ２は、所定波長帯に対応する画像、すなわち単色の画像であることが好ましい。追加画像ＩＭ２を単色表示とすることにより、合成画像ＩＭ３の生成処理を簡単化することができる。所定波長帯としては、例えば緑色が挙げられるが、赤色や青色等でもよい。追加画像ＩＭ２で表示されるパターン等は、全てが補正されていてもよいし、一部が補正されていてもよい。追加画像ＩＭ２を補正する場合についても初期画像ＩＭ０ほど厳密でなくてよい。

合成画像ＩＭ３は、歪曲された第１画像である修正画像ＩＭ１と歪曲された第２画像である追加画像ＩＭ２とを含む。合成画像ＩＭ３は、第３画像又は第４画像に対応する。合成画像ＩＭ３において、追加画像ＩＭ２は、修正画像ＩＭ１よりも外側に配置される。これにより、初期画像ＩＭ０又は修正画像ＩＭ１の表示を妨げずに初期画像ＩＭ０又は修正画像ＩＭ１で使用されない領域を有効活用することができる。合成画像ＩＭ３は、修正画像ＩＭ１と追加画像ＩＭ２との間に非表示領域ＮＲを含んでいる。これにより、修正画像ＩＭ１に対応する画素と、追加画像ＩＭ２に対応する画素とは離間することとなり、修正画像ＩＭ１と追加画像ＩＭ２との境界を明確にすることができる。非表示領域ＮＲは、画像表示領域ＤＲの周りを囲む帯状の像であり、修正画像ＩＭ１が追加画像ＩＭ２に対して引き立つようにしている。なお、非表示領域ＮＲは、黒表示としてもよいし、修正画像ＩＭ１と追加画像ＩＭ２との境界を区別できる色表示としてもよい。

図６に示すように、合成画像ＩＭ３の虚像ＩＰは、初期画像ＩＭ０及び追加画像ＩＭ２を補正し、歪みが解消した像となる。

図７は、追加画像ＩＭ２を補正した場合の合成画像ＩＭ３及びその虚像ＩＰの一例を示す。図７中で、領域ＢＲ１は合成画像ＩＭ３を示し、領域ＢＲ２は虚像ＩＰを示す。図７の合成画像ＩＭ３において、追加画像ＩＭ２は、歪みを相殺するように情報表示のパターンの傾きを調整した例を示している。なお、図示の例では、歪みを相殺するようにパターンのシフト調整も行っているが、パターンの傾きのみ調整してもよい。合成画像ＩＭ３の虚像ＩＰでは、追加画像ＩＭ２の補正の結果、情報表示ＩＰ２のパターンの歪みが略解消された状態で表示される。例えば、矢印Ｍ３等のパターンの場合、傾きだけを付与し、虚像ＩＰでの方向をそろえる補正を行う。パターンを角度θに傾けることで、観察される虚像ＩＰでの傾きが低減され、意図した方向に近いパターンを視認させることができる。この時、長手方向のある矢印Ｍ３の傾斜方向及び傾斜量は、近傍ＮＮの修正画像ＩＭ１の画像表示領域ＤＲにおける縦線又は横線の傾きを基準線ＮＬとして、基準線ＮＬに合わせることが望ましい。基本的に画像表示領域ＤＲのすぐ外側についても光学系で発生する歪みが近くなるためである。画像表示領域ＤＲの外側になると歪みはより強くなる傾向があるため、より好適には近傍ＮＮの画像表示領域ＤＲにおける縦線又は横線の傾きよりも若干多く傾けることが望ましい。なお、修正画像ＩＭ１の画像表示領域ＤＲにおける縦線及び横線は、初期画像ＩＭ０の初期領域ＰＲの縦格子線及び横格子線にそれぞれ対応する。図示の例では、矢印Ｍ３の傾きは、画像表示領域ＤＲにおける縦線又は横線の傾きと概ね同等量の傾きとなっている。なお、文字表示等の場合については、画像表示領域ＤＲと同様に虚像ＩＰで歪みがなくなるように補正すると、視認した際の違和感をより低減させることができる。

なお、補正部８ｃによって歪曲された追加画像ＩＭ２の対応箇所において、第１方向である縦のｙ方向における一端側の第１方向と交差する横の第２方向であるｘ方向の大きさｄ１は、第１方向における他端側の第２方向の大きさｄ２と異なるものとしてもよい。追加画像ＩＭ２の対応箇所とは、情報表示の一対のパターンＭＰにおいて、同じ大きさに投影すべきところ、歪曲収差に応じて大きさを変形する部分である。具体的には、上部のパターンＭＰの横幅は、下部のパターンＭＰの横幅と異なる。これにより、追加画像ＩＭ２において、第２方向に幅を有する表示の映像品質を向上させることができる。例えば、情報表示のパターンＭＰが楕円Ｍ４や長方形等の場合、虚像ＩＰでの長さｄ１，ｄ２を調整する補正をすることができる。

以下、図８を参照しつつ、表示素子１１の表示面１１ａに表示させる画像処理について説明する。

まず、図３に示すマイクロプロセッサ８１において、演算処理装置８１ａは、第１取得部８ａとして、ユーザー端末９０からデータ通信インターフェース８１ｃを介して表示データとして第１画像である初期画像ＩＭ０を取得し、記憶装置８１ｍに記憶させる（ステップＳ１１）。第１取得部８ａは、ユーザー端末９０のユーザー端末回路９１に対して、表示素子１１に表示する初期画像ＩＭ０の表示データを要求する。ユーザー端末回路９１は、ユーザーインターフェース装置９１ｉを介して上記要求に応じて動作し、記憶装置９１ｍに保管された動画や静止画を所定のフォーマットでマイクロプロセッサ８１に対して出力し、或いは移動体用無線通信装置９１ｔを介して取得した動画や静止画を所定のフォーマットでマイクロプロセッサ８１に対して出力する。

次に、マイクロプロセッサ８１において、演算処理装置８１ａは、補正部８ｃとして、初期画像ＩＭ０に対して、歪み補正を行う（ステップＳ１２）。補正部８ｃは、初期画像ＩＭ０に対して、光学系の歪曲収差をキャンセルするように、座標変換や、色及び階調の調整等の各種画像処理を行い、修正画像ＩＭ１を作成する。

次に、マイクロプロセッサ８１において、演算処理装置８１ａは、補正部８ｃとして、ステップＳ１２の歪み補正によって画像表示に使用されない領域となった外枠領域ＯＲに対して背景設定を行う（ステップＳ１３）。補正部８ｃは、例えば、修正画像ＩＭ１について外枠領域ＯＲの範囲を定義し、この範囲を背景の黒表示に設定する。これが合成用の修正画像ＩＭ１となる。

次に、マイクロプロセッサ８１において、演算処理装置８１ａは、第２取得部８ｂとして、ユーザー端末９０からデータ通信インターフェース８１ｃを介して表示データとして第２画像である追加画像ＩＭ２を取得し、記憶装置８１ｍに記憶させる（ステップＳ１４）。なお、追加画像ＩＭ２は、マイクロプロセッサ８１の記憶装置８１ｍに記憶されている表示データから取得してもよい。

次に、マイクロプロセッサ８１において、演算処理装置８１ａは、補正部８ｃとして、追加画像ＩＭ２に対して歪み補正を行う（ステップＳ１５）。補正部８ｃは、例えば、修正画像ＩＭ１の補正結果に応じて付加情報のパターンの方位や大きさを修正する。追加画像ＩＭ２は、補助領域ＤＮ１～ＤＮ５に配置されるものとして作成されている。ステップＳ１２の初期画像ＩＭ０の歪み補正によって、追加画像ＩＭ２の配置が修正画像ＩＭ１の表示像内、つまり補助領域ＤＮ１～ＤＮ５以外に配置される場合、補正部８ｃは、補助領域ＤＮ１～ＤＮ５内に配置されるように追加画像ＩＭ２の配置を調整することができる。

最後に、マイクロプロセッサ８１において、演算処理装置８１ａは、生成部８ｄとして、ステップＳ１３で生成した修正画像ＩＭ１とステップＳ１５で補正した追加画像ＩＭ２とを合成し、生成された第４画像である合成画像ＩＭ３を記憶装置８１ｍに記憶させる。（ステップＳ１６）。これにより、修正画像ＩＭ１に対し、付加情報としての追加画像ＩＭ２の上書きが行われる。

以上のように、修正画像ＩＭ１と追加画像ＩＭ２とを合成した第４画像は、図５に示す合成画像ＩＭ３となり、表示素子１１の表示面１１ａに表示される。表示素子１１に表示された合成画像ＩＭ３は、結像光学系２０を経て形成された図６に示す虚像ＩＰにおいて表示像ＩＰ１は補正され矩形になり、その外側に情報表示ＩＰ２を視認することができる。本実施形態の光学系は間に中間像を作るため、初期画像ＩＭ０に対して虚像ＩＰは上下左右反転している。

なお、図９に示すように、色収差が大きい場合、補正部８ｃは、初期画像ＩＭ０において、第１波長帯に対応する画像と、第１波長帯よりも長波長である第２波長帯に対応する画像とで歪曲の倍率を異ならせることができる。この際、第１又は第２波長帯に対応する画像のシフト調整も行うことが好ましい。波長帯ごとに補正量を変えることにより、カラー画像の表示精度を向上させることができる。例えば、第２波長帯である赤色に対応する画像は、第１波長帯である青色に対応する画像よりも虚像として小さく投影されるため、歪曲した修正画像ＩＭ１において、赤色の修正表示像ＩＭｒを青色の修正表示像ＩＭｂよりも若干大きく形成し、赤色の修正表示像ＩＭｒを青色の修正表示像ＩＭｂよりも縦の＋ｙ方向に若干シフトさせる。なお、緑色に対応する画像についても同様に補正することができる。

以上で説明した第１実施形態の虚像表示装置１００では、情報端末から第１画像を取得する第１取得部８ａと、第１画像と異なる第２画像を取得する第２取得部８ｂと、第１画像を歪曲させる補正部８ｃと、歪曲された第１画像と第２画像とを含む第３画像又は第４画像を生成する生成部８ｄと、第３画像又は第４画像を表示する表示素子１１と、を備える。

上記虚像表示装置１００では、表示素子１１は、情報端末からの第１画像を歪曲させた画像と、第１画像と異なる第２画像とを含む第３画像又は第４画像を表示する。これにより、第１画像の表示精度を維持しつつ、情報端末からの画像では使用されない領域を活用することができ、表示素子１１において使用されない領域の割合を低減できる。

〔第２実施形態〕
以下、本発明の第２実施形態に係る虚像表示装置について説明する。なお、第２実施形態の虚像表示装置は、第１実施形態の虚像表示装置を部分的に変更したものであり、共通部分については説明を省略する。

本実施形態では、マイクロプロセッサ８１において、生成部８ｄは、第３画像として、歪曲された第１画像と歪曲されていない第２画像とを含む合成画像を生成する。つまり、図５に示す追加画像ＩＭ２を補正しないまま合成画像ＩＭ３を生成する。

図１０に示すように、表示素子１１の表示面１１ａに表示させる画像処理については、図８に示すステップＳ１５の歪み補正を行わずにステップＳ１６で第３画像としての合成画像ＩＭ３を生成する。

図１１は、追加画像ＩＭ２を補正していない合成画像ＩＭ３及びその虚像ＩＰの一例を示す。図１１の合成画像ＩＭ３において、光学系の歪みの分、虚像ＩＰで追加画像ＩＭ２の情報表示ＩＰ２のパターンが歪んで表示される。矢印Ｍ３のパターンのように向きが重要になる情報の場合には不都合が生じる場合があるが、円Ｍ１のパターンのように向きがあまり重要でない場合には影響が少ないため、追加画像ＩＭ２に補正を入れなくてもよい。

〔第３実施形態〕
以下、本発明の第３実施形態に係る虚像表示装置について説明する。なお、第３実施形態の虚像表示装置は、第１実施形態の虚像表示装置を部分的に変更したものであり、共通部分については説明を省略する。

図１２を参照して、第３実施形態の虚像表示装置１００について説明する。虚像表示装置１００は、表示素子１１と結像光学系９２０とを備える。結像光学系９２０は、軸外し光学系であるが、第１実施形態の場合と異なり、反射されつつ横方向に延びる光路となっている。結像光学系９２０は、導光光学装置であり、投射レンズ２１と導光体２５とを備える。導光体２５は、導光部材７１と光透過部材７２とを接着層ＣＣを介して接合したものである。導光部材７１や光透過部材７２は、可視域で高い光透過性を示す樹脂材料で形成されている。導光部材７１は、第１～第５面Ｓ１１～Ｓ１５を有し、これらのうち第１及び第３面Ｓ１１，Ｓ１３は、互いに平行な平面であり、第２、第４、及び第５面Ｓ１２，Ｓ１３，Ｓ１５は、全体として凸の光学面であり、例えば自由曲面からなる。光透過部材７２は、第１～第３透過面Ｓ２１～Ｓ２３を有し、これらのうち第１及び第３透過面Ｓ２１，Ｓ２３は、互いに平行な平面であり、第２透過面Ｓ２２は、全体として凹の光学面であり、例えば自由曲面からなる。導光部材７１の第２面Ｓ１２と光透過部材７２の第２透過面Ｓ２２とは、凹凸を反転させた等しい形状を有し、両者の一方の表面に部分反射面ＭＣが形成されている。

以下、画像光ＭＬの光路について概要を説明する。導光部材７１は、投射レンズ２１から射出された画像光ＭＬを、第１～第５面Ｓ１１～Ｓ１５での反射等により観察者の眼に向けて導光する。具体的には、投射レンズ２１からの画像光ＭＬは、まず第４面Ｓ１４に入射して反射膜ＲＭの内面である第５面Ｓ１５で反射され、第４面Ｓ１４に内側から再度入射して全反射され、第３面Ｓ１３に入射して全反射され、第１面Ｓ１１に入射して全反射される。第１面Ｓ１１で全反射された画像光ＭＬは、第２面Ｓ１２に入射し、第２面Ｓ１２に設けた部分反射面ＭＣを部分的に透過しつつも部分的に反射されて第１面Ｓ１１に再度入射して通過する。第１面Ｓ１１を通過した画像光ＭＬは、観察者の眼ＥＹが配置される瞳位置ＰＰに略平行光束として入射する。つまり、観察者は、虚像としての画像光ＭＬにより画像を観察することになる。

導光体２５は、導光部材７１により観察者に画像光ＭＬを視認させるとともに、導光部材７１と光透過部材７２とを組み合わせた状態で、観察者に歪みの少ない外界像を観察させるものとなっている。この際、第３面Ｓ１３と第１面Ｓ１１とが互いに略平行な平面（視度略０）となっていることで、外界光ＯＬについて、収差等をほとんど生じさせない。また、第３透過面Ｓ２３と第１透過面Ｓ２１とが互いに略平行な平面となっている。さらに、第３透過面Ｓ２３と第１面Ｓ１１とが互いに略平行な平面となっていることで、収差等をほとんど生じさせない。以上により、観察者は、導光部材７１及び光透過部材７２越しに歪みのない外界像を観察することになる。

本実施形態の虚像表示装置１００の場合、横方向に非対称な結像光学系９２０を含むので、歪み補正は、横方向、つまりＸ方向に非対称なものとなる。

〔変形例その他〕
以上実施形態に即して本発明を説明したが、本発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

以上では、第１取得部８ａ及び第２取得部８ｂをマイクロプロセッサ８１内に設ける構成としたが、ユーザー端末回路９１に設ける構成としてもよい。また、第１取得部８ａ、第２取得部８ｂ、補正部８ｃ、及び生成部８ｄをユーザー端末回路９１に設ける構成としてもよく、第３画像又は第４画像の生成までユーザー端末９０で行ってもよい。

以上では、結像光学系２０がプリズムミラー２２とシースルーミラー２３とを含む２ミラー光学系であるとしたが、光学系の歪みを表示で相殺するものであれば、他の光学系に適用することができる。

追加画像ＩＭ２に関して、特定のパターンを特定の位置でしか表示しない等、情報表示で使用する領域が決まっていれば、表示に使用しない領域を遮光板金でカバーする構成としてもよい。例えば、修正画像ＩＭ１と追加画像ＩＭ２とで使用しない領域を遮光することでそれ以外の部分の影響を排除する。歪み補正によって修正画像ＩＭ１の表示像に使用しない領域を遮光することで不要な光によるゴーストや黒浮きを抑制し、映像品位を向上させることができる。

シースルーミラー２３の外界側には、シースルーミラー２３の透過光を制限することで調光を行う調光デバイスを取り付けることができる。調光デバイスは、例えば電動で透過率を調整する。調光デバイスとして、ミラー液晶、電子シェード等を用いることができる。調光デバイスは、外光照度に応じて透過率を調整するものであってもよい。

以上では、虚像表示装置１００が頭部に装着されて使用されることを前提としたが、上記虚像表示装置１００は、頭部に装着せず双眼鏡のようにのぞき込むハンドヘルドディスプレイとしても用いることができる。つまり、本発明において、ヘッドマウントディスプレイには、ハンドヘルドディスプレイも含まれる。また、上記虚像表示装置１００は、例えば自動車のフロントガラスに像を投影させるヘッドアップディスプレイ（Head-Up Display）としても用いることができる。

具体的な態様における虚像表示装置は、情報端末から第１画像を取得する第１取得部と、第１画像と異なる第２画像を取得する第２取得部と、第１画像を歪曲させる補正部と、歪曲された第１画像と第２画像とを含む第３画像を生成する生成部と、第３画像を表示する表示素子と、を備える。

上記虚像表示装置では、表示素子は、情報端末からの第１画像を歪曲させた画像と、第１画像と異なる第２画像とを含む第３画像を表示する。これにより、第１画像の表示精度を維持しつつ、情報端末からの画像では使用されない領域を活用することができ、観察者に提示する情報量を増やすことができる。

具体的な側面において、第２画像は、情報端末または虚像表示装置に関する情報を含む画像である。この場合、第１画像と連携させた又は第１画像とは独立させた情報表示をすることができる。

具体的な側面において、第３画像において、第２画像は、歪曲された第１画像よりも外側に配置される。この場合、第１画像の表示を妨げずに第１画像で使用されない領域を有効活用することができる。

具体的な側面において、補正部は、第２画像を歪曲させ、生成部は、歪曲された第１画像と歪曲された第２画像とを含む第４画像を生成し、表示素子は、第４画像を表示する。この場合、第２画像についても表示精度を維持することができ、第４画像全体の映像品質を向上させることができる。

具体的な側面において、補正部によって歪曲された第２画像の対応箇所において、第１方向における一端側の第１方向と交差する第２方向の大きさは、第１方向における他端側の第２方向の大きさと異なる。この場合、第２画像において、第２方向に幅を有する表示の映像品質を向上させることができる。

具体的な側面において、第３画像または第４画像に対応する画像光が入射される光学部材と、光学部材から出射される画像光を瞳に向けて反射させる反射部材と、を備え、補正部は、第１画像を、光学部材と反射部材とで生じる歪曲と反転するように歪曲させ補正する。

具体的な側面において、補正部は、第１画像において、第１波長帯に対応する画像と、第１波長帯よりも長波長である第２波長帯に対応する画像と、で歪曲の倍率を異ならせる。この場合、波長帯ごとに補正量を変えることにより、カラー画像の表示精度を向上させることができる。

具体的な側面において、第２画像は、所定波長帯に対応する画像である。この場合、第２画像を単色表示とすることにより、第３または第４画像の生成処理を簡単化することができる。

具体的な側面において、第３画像または第４画像は、歪曲された第１画像と第２画像との間に非表示領域を含む。この場合、第１画像に対応する画素と、第２画像に対応する画素とは離間することとなり、第１画像と第２画像との境界を明確にすることができる。

ＡＸ…光軸、 ＤＡ０…表示像、 ＤＡ１…修正表示像、 ＤＮ１～ＤＮ５…補助領域、 ＤＲ…画像表示領域、 ＥＹ…眼、 ＩＧ０…歪曲像、 ＩＧ１…投影像、 ＩＭ０…初期画像、 ＩＭ１…修正画像、 ＩＭ２…追加画像、 ＩＭ３…合成画像、 ＩＭｂ…修正表示像、 ＩＭｒ…修正表示像、 ＩＰ…虚像、 ＩＰ１…表示像、 ＩＰ２…情報表示、 ＭＬ…画像光、 ＮＮ…近傍、 ＮＲ…非表示領域、 ＯＬ…外界光、 ＯＲ…外枠領域、 ＯＳ…軸外し光学系、 ＰＰ…瞳位置、 ＰＲ…初期領域、 ＵＳ…装着者、 ８ａ…第１取得部、 ８ｂ…第２取得部、 ８ｃ…補正部、 ８ｄ…生成部、 １１…表示素子、 １１ａ…表示面、 １２…投影光学系、 ２０…結像光学系、 ２１…投射レンズ、 ２２…プリズムミラー、 ２３…シースルーミラー、 ２５…導光体、 ２８…楔型光学素子、 ５１…ケース、 ６１…支持板、 ７０…回路系、 ７１…導光部材、 ７２…光透過部材、 ８１…マイクロプロセッサ、 ８１ａ…演算処理装置、 ８１ｃ…データ通信インターフェース、 ８１ｍ…記憶装置、 ８３…表示用コントローラ、 ８３ｍ…メモリ、 ８５…付帯回路、 ８８…表示制御装置、 ９０…ユーザー端末、 ９１…ユーザー端末回路、 ９１ａ…主制御装置、 ９１ｃ…データ通信インターフェース、 ９１ｉ…ユーザーインターフェース装置、 ９１ｍ…記憶装置、 ９１ｔ…移動体用無線通信装置、 １００…虚像表示装置、 １００Ａ…第１表示装置、 １００Ｂ…第２表示装置、 １００Ｃ…支持装置、 １０２…表示駆動部、 １０３…外観部材、 ９２０…結像光学系

Claims (9)

1. 情報端末から第１画像を取得する第１取得部と、
   前記第１画像と異なる第２画像を取得する第２取得部と、
   前記第１画像を歪曲させる補正部と、
   歪曲された前記第１画像と前記第２画像とを含む第３画像を生成する生成部と、
   前記第３画像を表示する表示素子と、を備える、虚像表示装置。
2. 前記第２画像は、前記情報端末または前記虚像表示装置に関する情報を含む画像である、請求項１に記載の虚像表示装置。
3. 前記第３画像において、前記第２画像は、歪曲された前記第１画像よりも外側に配置される、請求項１及び２のいずれか一項に記載の虚像表示装置。
4. 前記補正部は、前記第２画像を歪曲させ、
   前記生成部は、歪曲された前記第１画像と歪曲された前記第２画像とを含む第４画像を生成し、
   前記表示素子は、前記第４画像を表示する、請求項１～３のいずれか一項に記載の虚像表示装置。
5. 前記補正部によって歪曲された前記第２画像の対応箇所[S1]において、第１方向における一端側の前記第１方向と交差する第２方向の大きさは、前記第１方向における他端側の前記第２方向の大きさと異なる、請求項４に記載の虚像表示装置。
6. 前記第３画像または前記第４画像に対応する画像光が入射される光学部材と、
   前記光学部材から出射される前記画像光を瞳に向けて反射させる反射部材と、
   を備え、
   前記補正部は、前記第１画像を、前記光学部材と前記反射部材とで生じる歪曲と反転するように歪曲させ補正する、請求項１～５のいずれか一項に記載の虚像表示装置。
7. 前記補正部は、前記第１画像において、第１波長帯に対応する画像と、前記第１波長帯よりも長波長である第２波長帯に対応する画像と、で歪曲の倍率を異ならせる、請求項１～６のいずれか一項に記載の虚像表示装置。
8. 前記第２画像は、所定波長帯に対応する画像である、請求項７に記載の虚像表示装置。
9. 前記第３画像または前記第４画像は、歪曲された前記第１画像と前記第２画像との間に非表示領域を含む、請求項１～８までのいずれか一項に記載の虚像表示装置。

Images