JP2017135605A - 画像表示装置 - Google Patents

Abstract

【課題】装着ズレにより観察者眼の瞳位置がずれても補正された画像を観察できる眼鏡型の画像表示装置を提供する。【解決手段】眼鏡型の画像表示装置Ｇ１は、瞳位置検出部Ｄ３で検出された瞳位置情報を解析して、観察光学系ＫＫの射出瞳ＥＰ位置を基準とする、装着ズレによる観察者眼ＥＹの瞳位置のズレ量を算出する演算部１２と、照明部Ｄ１又は表示部Ｄ２を制御する制御部１１と、を有する。制御部１１は、観察光学系ＫＫの射出瞳ＥＰ位置及び視野角を変化させることなく、表示部Ｄ２からの画像光を観察者眼ＥＹの瞳位置のズレ量に応じて変化させるように、照明部Ｄ１又は表示部Ｄ２を制御する。【選択図】図１

Description

本発明は画像表示装置に関するものであり、例えば、液晶表示素子(ＬＣＤ：liquid crystal display)の２次元画像をホログラフィック光学素子(ＨＯＥ：holographic optical element)を用いて観察者眼にシースルーで投影表示する眼鏡型の画像表示装置に関するものである。

画像を外界視野（つまり外景）に重ねて表示する眼鏡型の画像表示装置が、特許文献１〜４で提案されている。これらの画像表示装置はハンズフリーで使用されるため、使用者に最適な状況で情報を表示することが重要になり、一方、表示画像だけでなく外界視野も良好に見たいという要望にも応える必要がある。そのため、特許文献１〜３に記載の画像表示装置では、ホログラフィック光学素子を用いることにより、波長選択的な回折反射によるシースルー表示を可能としている。

ホログラフィック光学素子を用いた眼鏡型の画像表示装置には、高いシースルー性が得られるというメリットがある。しかしその反面、画像表示装置の装着位置にズレ（つまり、瞳面に対して平行方向の位置ズレ）があると、それが波長ズレや輝度低下の発生原因となる。このタイプの画像表示装置は装着具の形態で使用されるので、装着ズレはどうしても発生する。したがって、観察される画像への影響を抑える必要があり、装着ズレにより観察者眼の瞳位置が相対的にずれた状態でも良好な画像を観察できる画像表示装置が望まれている。

特開２０１０−２６２２３２号公報 特開２０１５−２１３２２６号公報 特開２０１０−２６６７７５号公報 特開２０１４−１０２３６８号公報

特許文献１に記載の画像表示装置では、観察者眼の瞳位置のズレ量に応じて画像表示位置を変化させる構成になっている。画像表示位置を変化させるために、表示素子を移動させる駆動装置が設けられた構成では、画像表示装置全体が大型化して装着性が損なわれてしまう。また、画像表示位置を変化させるために、表示素子の表示領域を変更する機構が設けられた構成では、表示素子の大型化を招いてしまう。結果として、画像表示装置全体の大型化により装着性が損なわれることになる。

特許文献２に記載の画像表示装置では、瞳孔撮影用カメラで視線検出を行う構成になっている。瞳孔撮影用カメラで観察者眼の瞳位置を検出することは可能であるが、装置の装着ズレに対応できる構成にはなっていない。したがって、画像表示装置の装着ズレにより瞳位置がずれると、波長ズレや輝度低下といった画像劣化が生じてしまう。

特許文献３に記載の画像表示装置では、瞳位置のズレによる波長変動を考慮して色ムラが生じにくい構成になっている。しかし、根本的な輝度低下への対応ができていないため、画像表示装置の装着ズレにより瞳位置がずれたとき、画像劣化が生じてしまう。

特許文献４に記載の画像表示装置では、視線ズレに対して画像表示を変化させる構成になっている。しかし、ホログラフィック光学素子を使用する構成ではないため、装置の装着ズレに対応できる構成にはなっていない。

本発明はこのような状況に鑑みてなされたものであって、その目的は、ホログラフィック光学素子を用いたシースルー表示の可能な眼鏡型の画像表示装置でありながら、装着ズレにより観察者眼の瞳位置が相対的にずれても良好に補正された画像を観察できる小型軽量の画像表示装置を提供することにある。

上記目的を達成するために、第１の発明の画像表示装置は、画像を表示する表示部と、
前記表示部から画像光を射出させるための照明を行う照明部と、
前記画像が外界視野に重なるように、前記画像を虚像として観察者眼にシースルーで投影表示する観察光学系と、
観察者眼の瞳位置を検出する瞳位置検出部と、
前記瞳位置検出部で検出された瞳位置情報を解析して、前記観察光学系の射出瞳位置を基準とする、装着ズレによる観察者眼の瞳位置のズレ量を算出する演算部と、
前記照明部又は表示部を制御する制御部と、
を有する眼鏡型の画像表示装置であって、
前記観察光学系が、前記表示部から射出した画像光を伝搬させる導光板と、前記導光板で伝搬してきた画像光を回折するとともにその光路を折り返すホログラフィック光学素子と、を有し、
前記制御部が、前記観察光学系の射出瞳位置及び視野角を変化させることなく、前記表示部からの画像光を前記観察者眼の瞳位置のズレ量に応じて変化させるように、前記照明部又は表示部を制御することを特徴とする。

第２の発明の画像表示装置は、上記第１の発明において、前記表示部の画面中心から射出した主光線を画面中心主光線とし、前記ホログラフィック光学素子に対して入射する画面中心主光線とその面法線を含む平面に対して平行であり、かつ、前記観察光学系の射出瞳の瞳面に対して平行な方向を前記ホログラフィック光学素子での光路の折り返し方向とすると、
前記ホログラフィック光学素子での光路の折り返し方向について前記観察者眼の瞳位置のズレ量が前記演算部で算出され、
前記制御部が、前記表示部の画像全体の明るさ又は色を前記観察者眼の瞳位置のズレ量に応じて変化させることにより、前記表示部からの画像光を前記観察者眼の瞳位置のズレ量に応じて変化させることを特徴とする。

第３の発明の画像表示装置は、上記第１又は第２の発明において、前記表示部の画面中心から射出した主光線を画面中心主光線とし、前記ホログラフィック光学素子に対して入射する画面中心主光線とその面法線を含む平面に対して平行であり、かつ、前記観察光学系の射出瞳の瞳面に対して平行な方向を前記ホログラフィック光学素子での光路の折り返し方向とすると、
前記ホログラフィック光学素子での光路の折り返し方向について前記観察者眼の瞳位置のズレ量が前記演算部で算出され、
前記制御部が、前記ホログラフィック光学素子での光路の折り返し方向について前記表示部の画像の明るさ分布又は色分布を前記観察者眼の瞳位置のズレ量に応じて変化させることにより、前記表示部からの画像光を前記観察者眼の瞳位置のズレ量に応じて変化させることを特徴とする。

第４の発明の画像表示装置は、上記第１〜第３のいずれか１つの発明において、前記表示部の画面中心から射出した主光線を画面中心主光線とし、前記ホログラフィック光学素子に対して入射する画面中心主光線とその面法線を含む平面に対して平行であり、かつ、前記観察光学系の射出瞳の瞳面に対して平行な方向を前記ホログラフィック光学素子での光路の折り返し方向とすると、
前記ホログラフィック光学素子での光路の折り返し方向について前記観察者眼の瞳位置のズレ量が前記演算部で算出され、
前記観察者眼の瞳位置のズレ量が所定値よりも大きくなると、前記表示部が装着ズレの注意喚起情報の表示を行うように、前記制御部が前記表示部を制御することを特徴とする。

第５の発明の画像表示装置は、上記第１〜第４のいずれか１つの発明において、外界視野を撮影して撮影画面内の被写体に関する外界情報を入力する外界情報入力部を更に有し、
前記瞳位置検出部が観察者眼の瞳位置から観察者眼の視線を検出する機能を有し、
前記瞳位置検出部で得られた視線先に位置する被写体に関する外界情報を前記外界情報入力部で入力し、前記表示部が前記外界情報の拡張現実表示を行うように、前記制御部が前記表示部を制御することを特徴とする。

第６の発明の画像表示装置は、上記第１〜第５のいずれか１つの発明において、前記表示部の画面中心から射出した主光線を画面中心主光線とし、前記ホログラフィック光学素子に対して入射する画面中心主光線とその面法線を含む平面に対して平行であり、かつ、前記観察光学系の射出瞳の瞳面に対して平行な方向を前記ホログラフィック光学素子での光路の折り返し方向とすると、
前記瞳位置検出部が前記観察光学系と同軸に配置されており、その検出範囲が、前記ホログラフィック光学素子での光路の折り返し方向について、前記観察者眼のまぶたから露出している黒目の大きさ以上の画角を有することを特徴とする。

第７の発明の画像表示装置は、上記第１〜第５のいずれか１つの発明において、前記表示部の画面中心から射出した主光線を画面中心主光線とし、前記ホログラフィック光学素子に対して入射する画面中心主光線とその面法線を含む平面に対して平行であり、かつ、前記観察光学系の射出瞳の瞳面に対して平行な方向を前記ホログラフィック光学素子での光路の折り返し方向とすると、
前記瞳位置検出部が前記観察光学系の外部に配置されており、その検出範囲が、前記ホログラフィック光学素子での光路の折り返し方向について、前記観察者眼のまぶたから露出している黒目の大きさ以上の画角を有することを特徴とする。

第８の発明の画像表示装置は、上記第１〜第７のいずれか１つの発明において、前記表示部の画面中心から射出した主光線を画面中心主光線とし、前記ホログラフィック光学素子に対して入射する画面中心主光線とその面法線を含む平面に対して平行であり、かつ、前記観察光学系の射出瞳の瞳面に対して平行な方向を前記ホログラフィック光学素子での光路の折り返し方向とし、前記ホログラフィック光学素子に対する画面中心主光線の入射角度と反射角度との和を折り返し角度とすると、
前記折り返し角度が３０度以上であることを特徴とする。

本発明によれば、ホログラフィック光学素子を用いたシースルー表示の可能な眼鏡型の画像表示装置でありながら、装着ズレにより観察者眼の瞳位置が相対的にずれても良好に補正された画像を観察できる小型軽量の画像表示装置を実現することができる。

画像表示装置の第１の実施の形態を模式的に示す概略断面図。 画像表示装置の第１の実施の形態を示す外観斜視図。 画像表示装置の第２の実施の形態を模式的に示す概略断面図。 画像表示装置の第３の実施の形態を示す外観斜視図。 第３の実施の形態の要部を観察者眼側から見た状態で示す外観斜視図。 画像表示装置の第４の実施の形態を示す外観斜視図。 第４の実施の形態の要部を観察者眼側から見た状態で示す外観図。 観察光学系に対する観察者眼及びその瞳の位置関係の具体例を模式的に示す図。 瞳位置検出部で得られた観察者眼撮影画面を示す図。 観察光学系の射出瞳位置に対する観察者眼の瞳位置のズレと観察される表示画像全体の明るさとの関係を示すグラフ。 観察光学系の射出瞳位置に対する観察者眼の瞳位置のズレと観察される表示画像全体の色との関係を示すグラフ。 光源の発光強度とホログラフィック光学素子の回折効率と観察される画像光強度との関係例を示すグラフ。 観察光学系の射出瞳位置に対する観察者眼の瞳位置のズレと観察される表示画面の明るさ分布との関係を示す説明図。 装着ズレの注意喚起情報が表示された観察表示画面の具体例を示す図。 外界情報の拡張現実表示の具体例を示す説明図。

以下、本発明を実施した画像表示装置等を、図面を参照しつつ説明する。なお、各実施の形態等の相互で同一の部分や相当する部分には同一の符号を付して重複説明を適宜省略する。

図１に、第１の実施の形態に係る画像表示装置Ｇ１の概略断面構造を模式的に示し、図２に、その画像表示装置Ｇ１の外観を示す。この画像表示装置Ｇ１は、図１に示すように、照明部Ｄ１，表示部Ｄ２，瞳位置検出部Ｄ３，外界情報入力部Ｄ４，観察光学系ＫＫ，観察者眼照明用の光源１０，制御部１１，演算部１２，信号処理部１３等を有しており、図２に示すように、観察光学系ＫＫが眼鏡の一方のレンズ（図２では右眼用レンズ）に相当する光路縦回しタイプの眼鏡型の構成をとっている。図１に示すように、照明部Ｄ１は光源１，拡散板２，集光レンズ３等を有し、表示部Ｄ２は表示素子４等を有し、瞳位置検出部Ｄ３はビームスプリッター５，アイカメラ６等を有し、外界情報入力部Ｄ４は外景カメラ１４等を有する構成になっている。そして、光源１，拡散板２，集光レンズ３，表示素子４，ビームスプリッター５，アイカメラ６，光源１０及び外景カメラ１４は、筐体１５（図２）内に収容されている。

光源１，表示素子４等は、筐体１５を貫通するようにして設けられているケーブル１６（図２）を介して、回路基板（不図示）と接続されており、回路基板から光源１，表示素子４等に駆動電力や映像信号が供給されるように構成されている。アイカメラ６や外景カメラ１４で得られた信号は、ケーブル１６で信号処理部１３に送られて、所定のデジタル画像処理，画像圧縮処理等が必要に応じて施され、演算部１２において装着ズレによる観察者眼ＥＹの瞳の位置ズレ検出や拡張現実(ＡＲ：Augmented Reality)表示用の視線先検出に用いられたり、デジタル映像信号としてメモリー（半導体メモリー，光ディスク等）に記録されたりする。

また、アイカメラ６や外景カメラ１４で得られる画像情報だけでなく、外界情報である画像情報や音声情報等も、インターネット等の通信回線を介して外部のサーバーや端末と送受信が可能に構成されている。そして、アイカメラ６や外景カメラ１４の撮影機能（静止画撮影機能，動画撮影機能等），表示素子４の画像表示機能等の機能の制御；照明部Ｄ１の光源１や表示部Ｄ２の表示素子４の駆動制御等は、マイクロコンピューターからなる制御部１１で集中的に行われる。

筐体１５，観察光学系ＫＫ等は、図２に示すように、眼鏡枠に相当する支持機構で観察者眼ＥＹの前方（右眼の前）に支持されるように構成されている。つまり、画像表示装置Ｇ１が眼鏡型の形態をとるために、その支持機構は、左右の観察者眼ＥＹの側方にそれぞれ位置して観察者の左右の側頭部にそれぞれ当接するテンプル１７Ｒ，１７Ｌと、観察者の鼻と当接する鼻当て１８Ｒ，１８Ｌと、それら左右の構造体を連結するブリッジ１７Ｂと、で構成されている。また、ダミーレンズに相当するプリズム９Ｄも、上記支持機構により観察者の左眼の前で支持される。

照明部Ｄ１は、図１に示すように、光源１，拡散板２，集光レンズ３等で、表示部Ｄ２から画像光を射出させるための照明を行う。光源１は、表示素子４を照明するためのものであり、例えば、光強度のピーク波長及び光強度半値の波長幅で、４６２±１２ｎｍ（Ｂ），５２５±１７ｎｍ（Ｇ），６３５±１１ｎｍ（Ｒ）となる３つの波長帯域の光を発するＲＧＢ一体型のＬＥＤ(light emitting diode)で構成されている。このように、光源１が所定の波長幅の光を射出することにより、表示素子４を照明して得られる画像光に所定の波長幅を持たせることができ、後述するホログラフィック光学素子８で画像光を回折させたときに、射出瞳ＥＰの位置で観察する視野角全域にわたって観察者に画像を観察させることができる。

また、光源１の各色についてのピーク波長は、ホログラフィック光学素子８の回折効率のピーク波長の近傍に設定されており、光利用効率の向上が図られている。ＲＧＢの光を射出するＬＥＤで光源１を構成すると、照明部Ｄ１を安価に実現することができるとともにカラー画像表示が可能となる。また、各ＬＥＤは発光波長幅が狭いので、そのようなＬＥＤを複数用いることにより、色再現性が高く、明るい画像表示が可能となる。

光源１から発せられた光は、拡散板２で拡散され、集光レンズ３で集光された後、表示部Ｄ２の表示素子４を照明する。表示素子４は、光源１から射出した光を画像データに応じて変調して画像を表示する空間変調素子であり、ここでは、光を透過させる矩形の表示領域を有する透過型ＬＣＤの使用を想定している。なお、表示素子４は透過型に限らず、反射型でもよい。反射型の表示素子４としては、例えば、反射型ＬＣＤ，デジタル・マイクロミラー・デバイス(digital micromirror device)等が挙げられる。

表示素子４から射出した画像光は、瞳位置検出部Ｄ３を構成するビームスプリッター５を透過した後、観察光学系ＫＫに入射する。観察光学系ＫＫは、表示素子４の表示画像が外界視野に重なるように、その表示画像を虚像として観察者眼ＥＹにシースルーで投影表示する拡大光学系であり、表示素子４から射出した画像光を伝搬させる導光板としてのプリズム７と、そのプリズム７で伝搬してきた画像光を回折するとともにその光路を折り返すホログラフィック光学素子８と、を有している。

したがって、表示素子４から射出した画像光は、ビームスプリッター５を透過した後、プリズム面７ａからプリズム７内に入射する。そして、対向する２つのプリズム面７ｂ，７ｃでの全反射により導光され、プリズム面７ｄに設けられているホログラフィック光学素子８での回折反射により、射出瞳ＥＰから観察者眼ＥＹに導かれる。一方、外界視野から後記プリズム９を透過してホログラフィック光学素子８に入射した外光は、そのままホログラフィック光学素子８を透過して観察者眼ＥＹに導かれる。

また、観察者眼ＥＹは観察者眼照明用の光源１０で照明され、照明された観察者眼ＥＹから射出した光は、ホログラフィック光学素子８で回折反射され、プリズム７での全反射により導光され、ビームスプリッター５で反射されてアイカメラ６に入射する。つまり、観察光学系ＫＫと同軸に配置されているアイカメラ６によって観察者眼ＥＹが撮影される。アイカメラ６等からなる瞳位置検出部Ｄ３により、撮影された観察者眼ＥＹの画像から観察者眼ＥＹの瞳位置が検出され、その瞳位置情報の信号が信号処理部１３で処理されて、演算部１２に送られる。演算部１２は、瞳位置検出部Ｄ３で検出された瞳位置情報を解析して、観察光学系ＫＫの射出瞳ＥＰ位置を基準とする、装着ズレによる観察者眼ＥＹの瞳位置のズレ量を算出する。

ここで、表示部Ｄ２の画面中心から射出した主光線を画面中心主光線ＰＸ（つまり、表示素子４の画面中心から射出した主光線であり、射出瞳ＥＰを通過する。）とし、各光学面における画面中心主光線ＰＸの方向をＺ方向とし、ホログラフィック光学素子８に対して入射する画面中心主光線ＰＸとその面法線を含む平面（入射面）に対して垂直方向をＸ方向とし、ＺＸ平面に対して垂直方向をＹ方向とする（図１はＹＺ断面を示している。）。

また、ホログラフィック光学素子８に対して入射する画面中心主光線ＰＸとその面法線を含む平面（入射面）に対して平行であり、かつ、観察光学系ＫＫの射出瞳ＥＰの瞳面に対して平行な方向をホログラフィック光学素子８での光路の折り返し方向とする。この折り返し方向は、ホログラフィック光学素子８での入射面であるＹＺ平面に対して平行方向であるため、ＹＺ平面が観察者眼ＥＹから見て縦方向に位置すれば表示画面の垂直方向（光路縦回しタイプのＹ方向）に相当し、ＹＺ平面が観察者眼ＥＹから見て横方向に位置すれば表示画面の水平方向（光路横回しタイプのＹ方向）に相当する。

プリズム７は、平行平板の下端部（プリズム面７ｄの部分）が下端に近くなるほど薄くなった楔状に形成されており、その上端部は上端に近くなるほど厚くなった形状に構成されている（図１）。また、プリズム７は、その下端部に配置されるホログラフィック光学素子８を挟むようにして、接着剤でプリズム９と接合されている。プリズム９は、略Ｕ字型の平行平板からなっており（図２）、プリズム７の下端部及び両側面部（左右の各端面）と貼り合わされたときに、プリズム７と一体化されて略平行平板となっている。

プリズム９をプリズム７に接合することにより、観察者が観察光学系ＫＫを介して観察する外界視野に歪みが生じるのを防止することができる。つまり、プリズム９がプリズム７に接合されていないと、外光はプリズム７の楔状の下端部（プリズム面７ｄの部分）を透過するときに屈折するため、プリズム７を通して観察される外界視野には歪みが生じてしまう。しかし、プリズム７にプリズム９を接合させて一体的な平行平板を形成すると、プリズム７の楔状の下端部を外光が透過するときの屈折をプリズム９でキャンセルすることができる。その結果、シースルーで観察される外界視野に歪みが生じるのを防止することができる。なお、プリズム７，９の射出瞳ＥＰ側のプリズム面７ｂ，９ｂと外界側のプリズム面７ｃ，９ａは、平面であってもよいし、曲面であってもよい。後者の場合、観察光学系ＫＫに矯正眼鏡レンズとしての機能を持たせることができる。

ホログラフィック光学素子８は、表示素子４から射出した画像光（３原色ＲＧＢに対応した波長の光）を回折反射させることにより、表示素子４に表示される画像を拡大して射出瞳ＥＰから観察者眼ＥＹに虚像として導く体積位相型の反射型ホログラムである。このホログラフィック光学素子８は、例えば、回折効率のピーク波長及び回折効率半値の波長幅で、４６５±５ｎｍ（Ｂ），５２１±５ｎｍ（Ｇ），６３４±５ｎｍ（Ｒ）の３つの波長域の光を回折反射させるように作製されている。ここで、回折効率のピーク波長とは、回折効率がピークとなるときの波長のことであり、回折効率半値の波長幅とは、回折効率がそのピークの半値となるときの波長幅のことである。

反射型のホログラフィック光学素子８は、高い波長選択性を有しており、上記波長域（露光波長近辺）の波長の光しか回折反射しないので、回折反射される波長以外の波長を含む外光はホログラフィック光学素子８を透過することになり、高い外光透過率を実現することができる。また、ホログラフィック光学素子８は、軸非対称な正のパワー（パワー：焦点距離の逆数で定義される量）を有している。つまり、ホログラフィック光学素子８は、正のパワーを持つ非球面凹面ミラーと同様の機能を持っている。これにより、装置を構成する各光学部材の配置の自由度を高めて装置を容易に小型化することができるとともに、良好に収差補正された画像を観察者に提供することができる。

画像表示装置Ｇ１は、眼鏡型のヘッドマウントディスプレイ(ＨＭＤ：head mounted display)であり、これを支持機構（テンプル１７Ｒ，１７Ｌ等）で観察者の頭部に装着し、表示素子４に画像を表示させると、その画像光が観察光学系ＫＫの射出瞳ＥＰから射出される。したがって、射出瞳ＥＰの位置に観察者眼ＥＹの瞳を合わせると、観察者は画像表示装置１の表示画像の拡大虚像を観察することができる。また、これと同時に、観察者は観察光学系ＫＫを介して、外界視野をシースルーで観察することができる。支持機構を有する眼鏡型の画像投影装置Ｇ１によれば、観察者は表示画像と外界視野とを同時にハンズフリーで長時間安定して観察することができ、空いた手で所望の作業を行うことができる。また、観察者の観察方向が一方向に定まるので、観察者は暗環境でも表示画像を探しやすいという利点もある。なお、観察光学系ＫＫ等を２つ用いて両眼で画像を観察できるようにしてもよい。

図３に、第２の実施の形態に係る画像表示装置Ｇ２の概略断面構造を模式的に示す。第１の実施の形態に係る画像表示装置Ｇ１（図１，図２）が光路縦回しタイプであるのに対し、第２の実施の形態に係る画像表示装置Ｇ２は光路横回しタイプ（図３）である。ＹＺ平面が観察者眼ＥＹから見て横方向に位置するため、ホログラフィック光学素子８での光路の折り返し方向は、表示素子４の表示画面の水平方向に相当する。

図４に、第３の実施の形態に係る画像表示装置Ｇ３の外観を示し、図５に、その画像表示装置Ｇ３の要部を観察者眼ＥＹ側から見た状態で示す。この画像表示装置Ｇ３は、第１の実施の形態に係る画像表示装置Ｇ１（図１，図２）と同様、光路縦回しタイプである。ただし、ダミーレンズに相当するプリズム９Ｄ（図２）を搭載しておらず（片眼タイプ）、ケーブル１６をテンプル１７Ｒ内で支持する構成になっているため、軽量・コンパクト化された構成になっている。また、テンプル１７Ｒには、前後方向に移動可能にイヤホン１９が保持されており、観察者はテンプル１７Ｒにイヤホン１９を保持させたまま（イヤホン１９を耳に差し込まなくても）、音声を聞くことが可能になっている。

図６に、第４の実施の形態に係る画像表示装置Ｇ４の外観を示し、図７に、その画像表示装置Ｇ４の要部を観察者眼ＥＹ側から見た状態で示す。この画像表示装置Ｇ４は、第１の実施の形態に係る画像表示装置Ｇ１（図１，図２）と同様、光路縦回しタイプである。ただし、観察光学系ＫＫを各々支持するフレーム２０Ｒとフレーム２０Ｌを有しており、フレーム２０Ｒ，２０Ｌの観察者眼ＥＹ側にはアイカメラ６ａ，６ｂ，６ｃを搭載した構成になっている。画像表示装置Ｇ４は、観察光学系ＫＫを左右の観察者眼ＥＹの前方に備えた両眼タイプの構成になっているため、ステレオ視の原理で立体映像を表示することが可能である。したがって、拡張現実表示を行う際に好ましい構成といえる。

画像表示装置Ｇ１〜Ｇ３では、瞳位置検出部Ｄ３（図１）を構成するアイカメラ６が観察光学系ＫＫと同軸に配置されているのに対し、画像表示装置Ｇ４では（図７）、瞳位置検出部Ｄ３を構成するアイカメラ６ａ，６ｂ，６ｃが観察光学系ＫＫの外部（具体的には、光路外のフレーム２０Ｒ，２０Ｌ上）に配置されている。図７（Ａ）は、フレーム２０Ｒの観察者眼ＥＹ側の下部に１つのアイカメラ６ａを有する具体例を示しており、図７（Ｂ）は、フレーム２０Ｒの観察者眼ＥＹ側の下部に２つのアイカメラ６ａ，６ｂを有し、フレーム２０Ｒの観察者眼ＥＹ側の上部に１つのアイカメラ６ｃを有する具体例を示している。

上述した眼鏡型の画像表示装置Ｇ１〜Ｇ４に対する観察者眼ＥＹの瞳位置の相対的なズレは、画像表示装置Ｇ１〜Ｇ４の装着ズレによって発生するだけでなく、観察者眼ＥＹが視線を上下左右に移動させることによっても発生する。そして、そのズレの成分は、瞳位置のズレ（平行ズレ）と、視線の変化（眼球の回転による傾きズレ）と、に分けられる。第１〜第４の実施の形態に係る画像表示装置Ｇ１〜Ｇ４では、装着ズレにより観察者眼ＥＹの瞳位置が相対的にずれても、その影響（画像劣化）を抑えるため、アイカメラ６等からなる瞳位置検出部Ｄ３を備えている。

前述したように、画像表示装置Ｇ１〜Ｇ３ではアイカメラ６が観察光学系ＫＫと同軸に配置されており、画像表示装置Ｇ４ではアイカメラ６ａ，６ｂ，６ｃがフレーム２０Ｒ，２０Ｌの観察者眼ＥＹ側に配置されている。光源１０で照明された観察者眼ＥＹはアイカメラ６，６ａ，６ｂ，６ｃで撮影されて、その観察者眼ＥＹの画像情報が得られる。その画像情報から得られた観察者眼ＥＹの視線情報（観察者眼ＥＹの白目の変化，プルキンエ像の変化等）を用いて拡張現実表示が行われる。つまり、瞳位置検出部Ｄ３は観察者眼ＥＹの瞳位置から観察者眼ＥＹの視線を検出する機能を有している。さらに、上記画像情報から検出された瞳位置情報に基づいて、観察光学系ＫＫの射出瞳ＥＰの位置を基準とする、装着ズレによる観察者眼ＥＹの瞳位置のズレ量（平行ズレ量）の算出が行われる。

観察光学系ＫＫの射出瞳ＥＰの位置を基準とする、装着ズレによる観察者眼ＥＹの瞳位置のズレ量は、画像表示装置Ｇ１〜Ｇ４に対する観察者眼ＥＹの瞳位置の相対的なズレ量に相当する。図８に、観察光学系ＫＫに対する観察者眼ＥＹ及びその瞳（瞳孔）ＥＣの位置関係の具体例を模式的に示し、図９に瞳位置検出部Ｄ３で得られた観察者眼撮影画面３０を示す。ここでは説明を簡単にするため、視線が水平方向を向くように観察者眼ＥＹが正面を向いた状態では、観察者眼ＥＹにおいて、まぶたＥＬから露出している黒目（虹彩）ＥＢは白目ＥＷの中心に位置し、瞳ＥＣは黒目ＥＢの中心に位置するものとする。

図８において、Ｘ軸とＹ軸との交点が観察光学系ＫＫの射出瞳ＥＰ（図１）の中心位置に相当し、図８（Ａ）では、その射出瞳中心に観察者眼ＥＹの瞳ＥＣの中心が位置している。つまり、図８（Ａ）では、視線が水平方向を向くように観察者眼ＥＹが正面を向いた状態にあり、図９（Ａ）は、このとき瞳位置検出部Ｄ３で得られる観察者眼撮影画面３０を示している。なお、Ｘ軸に平行方向が図１及び図３におけるＸ方向に相当し、Ｙ軸に平行方向が図１及び図３におけるＹ方向に相当する。

図８（Ａ）に示す観察光学系ＫＫと観察者眼ＥＹとの位置関係を基準として、Ｙ軸に沿って上方向に位置ズレ量Δだけ観察者眼ＥＹが移動した状態を図８（Ｃ）に示し、このとき瞳位置検出部Ｄ３で得られる観察者眼撮影画面３０を図９（Ｃ）に示す。なお、Ｙ軸に沿って上方向は、図１における矢印ｍＵ方向に相当し、図３における観察者眼ＥＹの右方向である矢印ｍＲ方向に相当する。

図８（Ｃ）では、観察者眼ＥＹにおける白目ＥＷと黒目ＥＢとの相対的な位置関係に変化がないにもかかわらず、観察者眼ＥＹの瞳ＥＣの中心が観察光学系ＫＫの射出瞳中心（Ｘ軸とＹ軸との交点）から上方向にずれているため、観察光学系ＫＫに対する観察者眼ＥＹの瞳ＥＣの相対的な位置ズレは、装着ズレによる観察者眼ＥＹの位置ズレによるものであることが分かる。

図８（Ａ）に示す観察光学系ＫＫと観察者眼ＥＹとの位置関係を基準として、Ｙ軸に沿って下方向に位置ズレ量Δだけ観察者眼ＥＹが移動した状態を図８（Ｅ）に示し、このとき瞳位置検出部Ｄ３で得られる観察者眼撮影画面３０を図９（Ｅ）に示す。なお、Ｙ軸に沿って下方向は、図１における矢印ｍＤ方向に相当し、図３における観察者眼ＥＹの左方向である矢印ｍＬ方向に相当する。

図８（Ｅ）では、観察者眼ＥＹにおける白目ＥＷと黒目ＥＢとの相対的な位置関係に変化がないにもかかわらず、観察者眼ＥＹの瞳ＥＣの中心が観察光学系ＫＫの射出瞳中心（Ｘ軸とＹ軸との交点）から下方向にずれているため、観察光学系ＫＫに対する観察者眼ＥＹの瞳ＥＣの相対的な位置ズレは、装着ズレによる観察者眼ＥＹの位置ズレによるものであることが分かる。

図８（Ａ）に示す観察光学系ＫＫと観察者眼ＥＹとの位置関係を基準として、視線が水平位置からＹ軸に沿って下方向を向くように、観察者眼ＥＹが正面から下方向を向いた状態を図８（Ｂ）に示し、このとき瞳位置検出部Ｄ３で得られる観察者眼撮影画面３０を図９（Ｂ）に示す。

図８（Ｂ）では、観察者眼ＥＹにおける白目ＥＷと黒目ＥＢとの相対的な位置関係に変化があるが、その位置関係を観察者眼ＥＹの移動（眼球の回転）により図８（Ａ）の状態（視線が水平方向を向くように観察者眼ＥＹが正面を向いた状態）に戻せば、観察者眼ＥＹの瞳ＥＣの中心が射出瞳中心（Ｘ軸とＹ軸との交点）に位置することになる。したがって、観察光学系ＫＫに対する観察者眼ＥＹの瞳ＥＣの相対的な位置ズレは、装着ズレによる観察者眼ＥＹの位置ズレによるものではなく、観察者眼ＥＹが視線を下方向に移動させたこと（眼球回転による傾きズレ）によるものであることが分かる。

図８（Ａ）に示す観察光学系ＫＫと観察者眼ＥＹとの位置関係を基準として、Ｙ軸に沿って上方向に位置ズレ量Δだけ観察者眼ＥＹが移動し、視線が水平位置からＹ軸に沿って下方向を向くように、観察者眼ＥＹが正面から下方向を向いた状態を図８（Ｄ）に示し、このとき瞳位置検出部Ｄ３で得られる観察者眼撮影画面３０を図９（Ｄ）に示す。

図８（Ｄ）では、観察者眼ＥＹの瞳ＥＣの中心が射出瞳中心（Ｘ軸とＹ軸との交点）に位置しているが、観察者眼ＥＹにおける白目ＥＷと黒目ＥＢとの相対的な位置関係に変化がある。その位置関係を観察者眼ＥＹの移動（眼球の回転）により図８（Ｃ）の状態（視線が水平方向を向くように観察者眼ＥＹが正面を向いた状態）に戻せば、観察者眼ＥＹの瞳ＥＣの中心が射出瞳中心からずれることになる。つまり、図８（Ｄ）では、装着ズレによる観察者眼ＥＹの上方向の位置ズレで発生する瞳ＥＣの位置ズレが、観察者眼ＥＹの視線の下方向の移動（眼球回転による傾きズレ）で発生する瞳ＥＣの位置ズレで相殺されて、瞳ＥＣの中心が射出瞳中心に位置しているにすぎない。したがって、図８（Ｃ）の状態と同様、装着ズレによる観察者眼ＥＹの位置ズレが発生していることが分かる。

図８（Ａ）に示す観察光学系ＫＫと観察者眼ＥＹとの位置関係を基準として、Ｙ軸に沿って下方向に位置ズレ量Δだけ観察者眼ＥＹが移動し、視線が水平位置からＹ軸に沿って上方向を向くように、観察者眼ＥＹが正面から上方向を向いた状態を図８（Ｆ）に示し、このとき瞳位置検出部Ｄ３で得られる観察者眼撮影画面３０を図９（Ｆ）に示す。

図８（Ｆ）では、観察者眼ＥＹの瞳ＥＣの中心が射出瞳中心（Ｘ軸とＹ軸との交点）に位置しているが、観察者眼ＥＹにおける白目ＥＷと黒目ＥＢとの相対的な位置関係に変化がある。その位置関係を観察者眼ＥＹの移動（眼球の回転）により図８（Ｅ）の状態（視線が水平方向を向くように観察者眼ＥＹが正面を向いた状態）に戻せば、観察者眼ＥＹの瞳ＥＣの中心が射出瞳中心からずれることになる。つまり、図８（Ｆ）では、装着ズレによる観察者眼ＥＹの下方向の位置ズレで発生する瞳ＥＣの位置ズレが、観察者眼ＥＹの視線の上方向の移動（眼球回転による傾きズレ）で発生する瞳ＥＣの位置ズレで相殺されて、瞳ＥＣの中心が射出瞳中心に位置しているにすぎない。したがって、図８（Ｅ）の状態と同様、装着ズレによる観察者眼ＥＹの位置ズレが発生していることが分かる。

観察者眼ＥＹの瞳ＥＣの位置が観察光学系ＫＫの射出瞳ＥＰに対して相対的にずれていても、それが装着ズレによるものか、視線変化（眼球の回転により見る方向を変えること）によるものか、を判断することは困難である。そこで、上述したように白目ＥＷと黒目ＥＢとの相対的な位置の変化を検出する処理が必要になる。具体的には以下のような処理を行う。

まず、観察者眼ＥＹの視線が水平方向を向くように観察者眼ＥＹが正面を向いた状態において、白目ＥＷ，黒目ＥＢ及び瞳ＥＣの情報のキャリブレーションを行う。瞳ＥＣの情報としては、例えば瞳ＥＣの位置（瞳ＥＣの中心座標）が挙げられる。白目ＥＷの情報としては、例えば図９（Ａ）に示すように、黒目ＥＢと白目ＥＷとの境界線ＬＮの状態（位置，形状等）、観察者眼撮影画面３０の４分割領域における白目ＥＷの面積比等が挙げられる。白目ＥＷの面積比は、例えば、図９においてＸ軸とＹ軸で４等分に分割された領域の面積をＳ１，Ｓ２，Ｓ３，Ｓ４としたとき、Ｓ１：Ｓ２：Ｓ３：Ｓ４で表される。

次に、観察者眼ＥＹの眼球回転角度を求める。このとき、白目ＥＷの情報（境界線ＬＮの状態、又は白目ＥＷの面積比）を活用するため、観察者眼ＥＹのまぶたＥＬから露出している黒目ＥＢの大きさ以上に画角を広く設定する。視線を検出する際、白目ＥＷの境界線ＬＮや白目ＥＷの面積比はまぶたＥＬの影響を受けるため、瞳位置検出部Ｄ３に要求される画角は少なくともまぶたＥＬから露出している境界線ＬＮ又は白目ＥＷを含むようにするのが好ましい。

そして、瞳ＥＣの情報として瞳位置を求める。得られた眼球回転角度と瞳位置から、観察者眼ＥＹが正面を向いたときの瞳ＥＣの位置を求める。観察光学系ＫＫの設計上の射出瞳ＥＰの位置と、観察者眼ＥＹの瞳ＥＣの位置と、の差（例えば、中心点のズレ量）を求める。その差が大きいほど、装着ズレによる観察者眼ＥＹの位置ズレが大きく発生していることになる。したがって、その差に応じた画像光の変化により補正を行う。この画像光の変化による補正を以下に説明する。

画像表示装置Ｇ１〜Ｇ４では、透明な導光板としてのプリズム７と、波長選択性を有する正パワーのホログラフィック光学素子８と、の組み合わせにより、非常に小型でありながら高いシースルー性での画像表示を可能としている。しかし、ホログラフィック光学素子８は、光路の折り返し方向の角度誤差が大きいため、光路の折り返し方向の位置による波長変動が原理的に発生してしまう。そのため、画像表示装置Ｇ１〜Ｇ４の装着ズレが生じると、光路の折り返し方向の位置によって光源１とのマッチングが変化し、明るさ変動（輝度低下等）や色変動（波長ズレ等）が発生して観察画像に劣化が生じることになる。装置の複雑化・大型化を招くことなくこの問題を解決するために、画像表示装置Ｇ１〜Ｇ４では、制御部１１が、観察光学系ＫＫの射出瞳ＥＰ位置及び視野角を変化させることなく、表示部Ｄ２からの画像光を観察者眼ＥＹの瞳ＥＣ位置のズレ量に応じて変化させるように、照明部Ｄ１又は表示部Ｄ２を制御する構成になっている。その画像光の変化は、瞳ＥＣ位置のズレ量に応じたものであるため、瞳ＥＣ位置のズレの影響を抑える方向の変化であって、結果として画像劣化の低減方向の変化になる。

画像光を観察者眼ＥＹの瞳ＥＣ位置のズレ量に応じて変化させる制御としては、光源１の発光強度の変化により画像の明るさや色を変化させる制御（照明部Ｄ１の制御）と、表示素子４の画像表示の変化により画像の明るさや色を変化させたり明るさムラ（輝度ムラ）や色ムラ（波長ズレ等）を変化させたりする制御（表示部Ｄ２の制御）と、が挙げられる。画像全体の明るさ又は色の補正には前者の制御が適しており、画像の明るさ分布又は色分布の補正には後者の制御又は両方を組み合わせた制御が適している。なお、画像光を観察者眼ＥＹの位置ズレ量に応じて変化させても、表示素子４の表示画像と光源１との位置関係が変化しなければ、設計上の射出瞳ＥＰ位置及び視野角も変化しないので、装置の複雑化・大型化を招くことはない。

図１０のグラフに、観察光学系ＫＫの射出瞳ＥＰ位置に対する観察者眼ＥＹの瞳ＥＣ位置のズレと、観察される表示画像全体の明るさと、の関係を示す。画像光の変化による補正を行わないと、観察者眼ＥＹの瞳ＥＣ位置が、上方向（図１中の矢印ｍＵ方向）にずれた場合と下方向（図１中の矢印ｍＤ方向）にずれた場合とのいずれについても、表示画面全体の明るさ（輝度）は低下する。

そこで、ホログラフィック光学素子８での光路の折り返し方向について観察者眼ＥＹの瞳ＥＣ位置のズレ量を演算部１２で算出し、制御部１１で、表示部Ｄ２の画像全体の明るさを観察者眼ＥＹの瞳ＥＣ位置のズレ量に応じて変化させることにより、表示部Ｄ２からの画像光を観察者眼ＥＹの瞳ＥＣ位置のズレ量に応じて変化させる。表示部Ｄ２の画像全体の明るさを変化させるには、照明部Ｄ１の制御を行えばよく、例えば、光源１の発光強度を変化させること（ＬＥＤの場合、電流値や発光時間：デューティ比を変化させること）により、表示画像の全体的な明るさの変化を低減する補正を行うことができる。

図１１のグラフに、観察光学系ＫＫの射出瞳ＥＰ位置に対する観察者眼ＥＹの瞳ＥＣ位置のズレと、観察される表示画像全体の色と、の関係を示す。画像光の変化による補正を行わないと、観察者眼ＥＹの瞳ＥＣ位置が、上方向（図１中の矢印ｍＵ方向）にずれた場合と下方向（図１中の矢印ｍＤ方向）にずれた場合とのいずれについても、表示画面全体の色バランスは劣化する。つまり、観察者眼ＥＹの瞳ＥＣ位置が上方向にずれると青（Ｂ）の相対光強度が強くなり、観察者眼ＥＹの瞳ＥＣ位置が下方向にずれると赤（Ｒ）の相対光強度が強くなる。

そこで、ホログラフィック光学素子８での光路の折り返し方向について観察者眼ＥＹの瞳ＥＣ位置のズレ量を演算部１２で算出し、制御部１１で、表示部Ｄ２の画像全体の色を観察者眼ＥＹの瞳ＥＣ位置のズレ量に応じて変化させることにより、表示部Ｄ２からの画像光を観察者眼ＥＹの瞳ＥＣ位置のズレ量に応じて変化させる。表示部Ｄ２の画像全体の色を変化させるには、照明部Ｄ１の制御を行えばよく、例えば、光源１のＲＧＢの発光強度を変化させること（ＬＥＤの場合、ＲＧＢの各色について電流値や発光時間：デューティ比を変化させること）により、表示画像の全体的な色バランスの変化を低減する補正を行うことができる。また、表示部Ｄ２の画像全体の色を変化させるには、表示部Ｄ２の制御を行ってもよく、例えば、表示素子４のＲＧＢの各表示画像を変化させることにより、表示画像の全体的な色バランスの変化を低減する補正を行うことができる。

例えば、図１１に示すように、観察者眼ＥＹの瞳ＥＣ位置が上方向にずれると、青（Ｂ）の相対光強度が増大し、赤（Ｒ）と緑（Ｇ）の相対光強度が低下する場合には、青（Ｂ）の相対光強度が低下し、赤（Ｒ）と緑（Ｇ）の相対光強度が増大するように（つまり、ＲＧＢの割合が図１１のグラフと逆になるように）、光源１の電流値や発光時間を制御したり表示素子４の画像表示を制御したりする、色毎の輝度調整を行えばよい。このように表示画像全体の明るさ又は色を制御することにより表示部Ｄ２からの画像光を変化させれば、使用者が知覚する画像の変化（画像劣化）を低減することができる。

図１２のグラフに、光源１の発光強度と、ホログラフィック光学素子８の回折効率と、観察される画像光強度と、の関係例を示す。光源１の発光強度×ホログラフィック光学素子８の回折効率＝観察される画像光強度とする。図１２において、左側の３つのグラフは瞳位置が射出瞳中心の場合であり、右側の３つのグラフは瞳位置が上方向にずれた場合である。

瞳位置が上方向にずれると、発光強度は同じでも回折効率は右側にシフトする。射出瞳中心の回折効率は、Ｇでは発光強度とピーク位置が揃っているが、Ｂでは波長の短いピークになっており、Ｒでは波長の長いピークになっている。瞳位置が上方向にずれると波長がずれるので、Ｂではピーク位置が一致するが、Ｇでは波長の長い側にピーク位置がずれ、Ｒでは波長の長い側に更に大きくピーク位置がずれる。

したがって、図１１に示すように、瞳位置が射出瞳中心の場合を相対的な明るさの基準とした場合、瞳位置が上方向にずれると、Ｂの画像光強度は向上し、Ｇの画像光強度はやや減少し、Ｒの画像光強度はもっと減少することになる。不図示ではあるが、瞳位置が下方向にずれると、上記とは逆になる。このようにして、輝度と色ムラが発生することになる。

図１３に、観察光学系ＫＫの射出瞳ＥＰ位置に対する観察者眼ＥＹの瞳ＥＣ位置のズレと観察表示画面４０の明るさ分布との関係を示す。図１３（Ａ）に示す画像観察状態では、図１３（Ｃ）に示す観察表示画面４０のように、観察される表示画像全体の明るさにムラは無い。しかし、観察者眼ＥＹが上方向（矢印ｍＵ方向）にずれて、図１３（Ｂ）に示す画像観察状態になると、図１３（Ｄ）に示す観察表示画面４０のように、観察される表示画像の明るさにムラが生じてしまう。なお、図１３（Ａ），（Ｂ）では、図示を簡略化するため、観察者眼ＥＹを射出瞳ＥＰからＺ方向に離して示している。

画像光の変化による補正を行わない場合、観察者眼ＥＹの瞳ＥＣ位置を上下に変動させると、観察表示画面４０内の画像の明るさ分布（輝度分布）が変化する。これは、瞳ＥＣ位置のズレによって生じるケラレの発生量が、観察表示画面４０の上下で異なるからである。観察者眼ＥＹの瞳ＥＣ位置が上方向（矢印ｍＵ方向）にずれた場合、ホログラフィック光学素子８が無いため、画面上側の光束幅がケラレにより減少することになる。一方、画面中央や画面下側の光束は、ホログラフィック光学素子８があるためケラレの発生はなく、明るさの低減は大きくない。したがって、画像表示装置Ｇ１〜Ｇ３の下方向の装着ズレにより瞳ＥＣ位置が上方向にずれた場合、図１３（Ｄ）に示すように観察表示画面４０の上側が暗くなり、画像表示装置Ｇ２の場合（図３）、観察表示画面４０の右側が暗くなる。

観察表示画面４０の上側が暗くなる場合、それとは逆に上側が明るい出力画像（補正画像）を表示素子４で表示させれば、図１３（Ｃ）に示す観察表示画面４０のような明るさの均一な画像を、観察者眼ＥＹに提示することができる。このように瞳ＥＣの位置ズレ（折り返し方向）によって画像に発生する明るさムラ，色ムラ等の表示ムラは、瞳ＥＣの位置ズレに対応した補正画像を提示することにより相殺可能であり、観察者眼ＥＹには明るさ分布又は色分布が均一化された画像として感じさせることができる。これには、表示素子４で折り返し方向の画像の明るさ分布又は色分布を制御することが必要になる。

そこで、ホログラフィック光学素子８での光路の折り返し方向について観察者眼ＥＹの瞳ＥＣ位置のズレ量を演算部１２で算出し、制御部１１で、ホログラフィック光学素子８での光路の折り返し方向について表示部Ｄ２の画像の明るさ分布又は色分布を観察者眼ＥＹの瞳ＥＣ位置のズレ量に応じて変化させることにより、表示部Ｄ２からの画像光を観察者眼ＥＹの瞳ＥＣ位置のズレ量に応じて変化させる。表示部Ｄ２の画像の明るさ分布又は色分布を変化させるには、表示部Ｄ２の制御を行えばよく、例えば、表示素子４のＲＧＢの表示画像を変化させることにより、表示画像の明るさ分布又は色分布の変化（つまり、明るさムラや色ムラ）を低減する補正を行うことができる。

画像表示装置Ｇ１〜Ｇ４は、ホログラフィック光学素子８を用いたシースルー表示の可能な眼鏡型のヘッドマウントディスプレイでありながら、上述したように照明部Ｄ１又は表示部Ｄ２を制御することによって、装着ズレにより観察者眼ＥＹの瞳ＥＣ位置が相対的にずれても良好に補正された画像を観察することが可能となるが、その画像光の補正が可能な瞳位置のズレ量には限界がある。そこで、ホログラフィック光学素子８での光路の折り返し方向について観察者眼ＥＹの瞳ＥＣ位置のズレ量を演算部１２で算出し、観察者眼ＥＹの瞳ＥＣ位置のズレ量が所定値よりも大きくなると、表示部Ｄ２が装着ズレの注意喚起情報の表示を行うように、制御部１１で表示部Ｄ２を制御する。

図１４に、装着ズレの注意喚起が表示された観察表示画面４０の具体例を示す。図１４（Ａ）に示す観察表示画面４０において、上記のように観察者眼ＥＹの瞳ＥＣ位置のズレ量が所定値よりも大きくなると、光路縦回しタイプの画像表示装置Ｇ１，Ｇ３，Ｇ４では図１４（Ｂ）に示すように装着ズレの注意喚起情報４０ａの表示を行い、光路横回しタイプの画像表示装置Ｇ２では図１４（Ｃ）に示すように装着ズレの注意喚起情報４０ｂの表示を行う。注意喚起情報４０ａ，４０ｂは、画像表示装置Ｇ１〜Ｇ４を表すシンボルと、装着ズレの修正方向を表す矢印と、を含むメッセージで構成されている。このように画像光の補正の限界又はその近くなると、装着ズレの注意喚起情報４０ａ，４０ｂが表示されるため、観察者は画像表示装置Ｇ１〜Ｇ４の装着ズレを修正して、適正な装着位置に調整することができる。なお、補正限界となる瞳ＥＣ位置のズレ量の所定値は、例えば、設計上の射出瞳ＥＰの径と観察者眼ＥＹの瞳ＥＣの径との比に基づいて決めることができる。

前述したように、観察者眼ＥＹはアイカメラ６，６ａ，６ｂ，６ｃで撮影されて、その観察者眼ＥＹの画像情報が得られる。その画像情報から検出された瞳位置情報に基づいて装着ズレによる観察者眼ＥＹの瞳ＥＣ位置のズレ量Δ（図８，図９）の算出が行われ、一方、画像情報から得られた観察者眼ＥＹの視線情報を用いて拡張現実(ＡＲ)表示が行われる。つまり瞳位置検出部Ｄ３によれば、アイカメラ６等の使用で効果的な小型化が可能となるため、大型化を招くことなく瞳位置情報と視線情報の両方を得ることが可能である。

例えば、図１５（Ａ）に示すように、画像表示装置Ｇ１〜Ｇ４（図１〜図７）を装着した観察者４１が外界視野（外景）４２を見た場合、外界情報入力部Ｄ４（図１）の外景カメラ１４で外界視野４２が撮影されて、図１５（Ｂ）に示す外景撮影画面５０が得られる。外景撮影画面５０には被写体４２ａ，４２ｂを含む外界視野４２が存在しており、観察者４１の視線４３の先には被写体４２ａが存在している。瞳位置検出部Ｄ３（図１）により、観察者眼ＥＹの瞳ＥＣ位置等から観察者眼ＥＹの視線４３を検出することができるので、その視線情報に基づいたシースルーの拡張現実表示を観察表示画面４０で行うように、表示部Ｄ２が制御部１１で制御される。図１５（Ｃ）に、外界視野４２上にシースルーでＡＲ表示された外界情報４４及びポインター４５を示す。

ポインター４５は、瞳位置検出部Ｄ３で得られた視線情報に基づいて、視線４３の先にシースルー表示される。外界情報４４は、視線４３の先に位置する被写体４２ａに関する情報であり、ポインター４５が示す被写体４２ａに関する情報（視線４３の先を示す矢印を含む。）としてシースルー表示される。図１５（Ａ）に示す観察者４１には、図１５（Ｃ）に示す「富士山（標高３，７７６ｍ）」という外界情報４４が、実際に見ている富士山を含む外界視野４２に重なって見えるように表示される。外界情報入力部Ｄ４は、外景カメラ１４で外界視野４２を撮影して外景撮影画面５０内の被写体４２ａに関する外界情報４４を入力する。その外界情報４４は、インターネット等の通信回線を介して外部のサーバーや端末から、外界情報入力部Ｄ４で入力されたものであり、画像情報に限らず音声情報であってもよい。例えば、図４に示すイヤホン１９で音声を聞くことも可能である。

画像表示装置Ｇ１〜Ｇ４のように、瞳位置検出部Ｄ３が観察光学系ＫＫと同軸に配置されており、その検出範囲が、ホログラフィック光学素子８での光路の折り返し方向について、観察者眼ＥＹのまぶたＥＬから露出している黒目ＥＢの大きさ以上の画角を有することが好ましい。このように同軸で瞳位置検出を行う構成にすれば、設計上の射出瞳ＥＰの位置で装着ズレによる観察者眼ＥＹの瞳ＥＣ位置のズレ量を検出できるので、構成が簡単で小型化が可能になり、機構的にも安定化が可能になる。また、まぶたＥＬから露出している黒目ＥＢの大きさ以上の画角に広く設定すれば、前述したように、白目ＥＷの情報を適正に得ることができる。

画像表示装置Ｇ４のように、瞳位置検出部Ｄ３が観察光学系ＫＫの外部に配置されており、その検出範囲が、ホログラフィック光学素子８での光路の折り返し方向について、観察者眼ＥＹのまぶたＥＬから露出している黒目ＥＢの大きさ以上の画角を有することが好ましい。このように観察光学系ＫＫ外で瞳位置検出を行う構成にすれば、瞳位置検出部Ｄ３の配置が観察光学系ＫＫの制限を受けないので、配置の自由度が向上する。また、図７（Ｂ）のように複数のアイカメラ６ａ，６ｂ，６ｃを配置した場合、広い視野での瞳検出により精度向上が可能となる。また、ステレオ情報により３次元情報が得られることから、眼球の回転等の情報もより正確に得ることが可能となる。

ホログラフィック光学素子８に対する画面中心主光線ＰＸの入射角度と反射角度との和を折り返し角度（つまり、入射と反射の開き角度）とすると、その折り返し角度（図１中の折り返し角度θ）は３０度以上であることが好ましい。観察者眼ＥＹの瞳ＥＣ位置のズレによって輝度や色が変わるという現象自体は、ホログラフィック光学素子を用いた場合、折り返し角度θが３０度以上である場合に顕著になるため、折り返し角度θが３０度以上であれば、より一層大きな補正効果を得ることができる。なお、図１に示す折り返し角度θ＝６０度（＞３０度）である。

Ｇ１〜Ｇ４ 画像表示装置
ＫＫ 観察光学系
Ｄ１ 照明部
Ｄ２ 表示部
Ｄ３ 瞳位置検出部
Ｄ４ 外界情報入力部
１ 光源
２ 拡散板
３ 集光レンズ
４ 表示素子（空間変調素子）
５ ビームスプリッター
６，６ａ，６ｂ，６ｃ アイカメラ
７ プリズム（導光板）
７ａ，７ｂ，７ｃ，７ｄ プリズム面
８ ホログラフィック光学素子
９ プリズム
９ａ，９ｂ プリズム面
９Ｄ プリズム
１０ 光源
１１ 制御部
１２ 演算部
１３ 信号処理部
１４ 外景カメラ
１５ 筐体
１６ ケーブル
１７Ｒ，１７Ｌ テンプル
１７Ｂ ブリッジ
１８Ｒ，１８Ｌ 鼻当て
１９ イヤホン
２０Ｒ，２０Ｌ フレーム
３０ 観察者眼撮影画面
４０ 観察表示画面
４０ａ，４０ｂ 注意喚起情報
４１ 観察者
４２ 外界視野（外景）
４２ａ，４２ｂ 被写体
４３ 視線
４４ 外界情報
４５ ポインター
５０ 外景撮影画面
ＰＸ 画面中心主光線
ＥＹ 観察者眼
ＥＷ 白目
ＥＢ 黒目（虹彩）
ＥＣ 瞳（瞳孔）
ＬＮ 境界線
ＥＬ まぶた
ＥＰ 射出瞳

Claims (8)

1. 画像を表示する表示部と、
   前記表示部から画像光を射出させるための照明を行う照明部と、
   前記画像が外界視野に重なるように、前記画像を虚像として観察者眼にシースルーで投影表示する観察光学系と、
   観察者眼の瞳位置を検出する瞳位置検出部と、
   前記瞳位置検出部で検出された瞳位置情報を解析して、前記観察光学系の射出瞳位置を基準とする、装着ズレによる観察者眼の瞳位置のズレ量を算出する演算部と、
   前記照明部又は表示部を制御する制御部と、
   を有する眼鏡型の画像表示装置であって、
   前記観察光学系が、前記表示部から射出した画像光を伝搬させる導光板と、前記導光板で伝搬してきた画像光を回折するとともにその光路を折り返すホログラフィック光学素子と、を有し、
   前記制御部が、前記観察光学系の射出瞳位置及び視野角を変化させることなく、前記表示部からの画像光を前記観察者眼の瞳位置のズレ量に応じて変化させるように、前記照明部又は表示部を制御することを特徴とする画像表示装置。
2. 前記表示部の画面中心から射出した主光線を画面中心主光線とし、前記ホログラフィック光学素子に対して入射する画面中心主光線とその面法線を含む平面に対して平行であり、かつ、前記観察光学系の射出瞳の瞳面に対して平行な方向を前記ホログラフィック光学素子での光路の折り返し方向とすると、
   前記ホログラフィック光学素子での光路の折り返し方向について前記観察者眼の瞳位置のズレ量が前記演算部で算出され、
   前記制御部が、前記表示部の画像全体の明るさ又は色を前記観察者眼の瞳位置のズレ量に応じて変化させることにより、前記表示部からの画像光を前記観察者眼の瞳位置のズレ量に応じて変化させることを特徴とする請求項１記載の画像表示装置。
3. 前記表示部の画面中心から射出した主光線を画面中心主光線とし、前記ホログラフィック光学素子に対して入射する画面中心主光線とその面法線を含む平面に対して平行であり、かつ、前記観察光学系の射出瞳の瞳面に対して平行な方向を前記ホログラフィック光学素子での光路の折り返し方向とすると、
   前記ホログラフィック光学素子での光路の折り返し方向について前記観察者眼の瞳位置のズレ量が前記演算部で算出され、
   前記制御部が、前記ホログラフィック光学素子での光路の折り返し方向について前記表示部の画像の明るさ分布又は色分布を前記観察者眼の瞳位置のズレ量に応じて変化させることにより、前記表示部からの画像光を前記観察者眼の瞳位置のズレ量に応じて変化させることを特徴とする請求項１又は２記載の画像表示装置。
4. 前記表示部の画面中心から射出した主光線を画面中心主光線とし、前記ホログラフィック光学素子に対して入射する画面中心主光線とその面法線を含む平面に対して平行であり、かつ、前記観察光学系の射出瞳の瞳面に対して平行な方向を前記ホログラフィック光学素子での光路の折り返し方向とすると、
   前記ホログラフィック光学素子での光路の折り返し方向について前記観察者眼の瞳位置のズレ量が前記演算部で算出され、
   前記観察者眼の瞳位置のズレ量が所定値よりも大きくなると、前記表示部が装着ズレの注意喚起情報の表示を行うように、前記制御部が前記表示部を制御することを特徴とする請求項１〜３のいずれか１項に記載の画像表示装置。
5. 外界視野を撮影して撮影画面内の被写体に関する外界情報を入力する外界情報入力部を更に有し、
   前記瞳位置検出部が観察者眼の瞳位置から観察者眼の視線を検出する機能を有し、
   前記瞳位置検出部で得られた視線先に位置する被写体に関する外界情報を前記外界情報入力部で入力し、前記表示部が前記外界情報の拡張現実表示を行うように、前記制御部が前記表示部を制御することを特徴とする請求項１〜４のいずれか１項に記載の画像表示装置。
6. 前記表示部の画面中心から射出した主光線を画面中心主光線とし、前記ホログラフィック光学素子に対して入射する画面中心主光線とその面法線を含む平面に対して平行であり、かつ、前記観察光学系の射出瞳の瞳面に対して平行な方向を前記ホログラフィック光学素子での光路の折り返し方向とすると、
   前記瞳位置検出部が前記観察光学系と同軸に配置されており、その検出範囲が、前記ホログラフィック光学素子での光路の折り返し方向について、前記観察者眼のまぶたから露出している黒目の大きさ以上の画角を有することを特徴とする請求項１〜５のいずれか１項に記載の画像表示装置。
7. 前記表示部の画面中心から射出した主光線を画面中心主光線とし、前記ホログラフィック光学素子に対して入射する画面中心主光線とその面法線を含む平面に対して平行であり、かつ、前記観察光学系の射出瞳の瞳面に対して平行な方向を前記ホログラフィック光学素子での光路の折り返し方向とすると、
   前記瞳位置検出部が前記観察光学系の外部に配置されており、その検出範囲が、前記ホログラフィック光学素子での光路の折り返し方向について、前記観察者眼のまぶたから露出している黒目の大きさ以上の画角を有することを特徴とする請求項１〜５のいずれか１項に記載の画像表示装置。
8. 前記表示部の画面中心から射出した主光線を画面中心主光線とし、前記ホログラフィック光学素子に対して入射する画面中心主光線とその面法線を含む平面に対して平行であり、かつ、前記観察光学系の射出瞳の瞳面に対して平行な方向を前記ホログラフィック光学素子での光路の折り返し方向とし、前記ホログラフィック光学素子に対する画面中心主光線の入射角度と反射角度との和を折り返し角度とすると、
   前記折り返し角度が３０度以上であることを特徴とする請求項１〜７のいずれか１項に記載の画像表示装置。