JP2007272067A - 画像表示装置 - Google Patents

Abstract

【課題】表示された実像や虚像の指定や選択がより簡単、迅速かつ正確であるもシースルー型の画像表示装置を提供すること。
【解決手段】外光を透過させつつ画像情報に基づいた画像光を観察者の網膜に投射することにより、前記外光による実像と前記画像光による虚像とを同時に観察者に視認させる画像表示装置であって、位置及び向きを変更可能な指示棒１２と、指示棒１２の位置及び向きを検出する指示器検出部１４と、前記指示棒１２の位置及び向きに応じた補助虚像を表示対象の主虚像と共に表示用座標系上に配置した画像情報を生成し、当該画像情報に基づいた画像光を前記観察者の網膜に投射する画像表示部１８とを備えた。
【選択図】 図２

Description

本発明は、画像光を観察者の網膜に投射して画像を認識させる機能を有する画像表示装置に関するものである。

従来、外界空間である実像と生成された表示画像である虚像を併せて表示する、いわゆるシースルー型のディスプレイとして、表示された実像や虚像を、カーソルやマウスなどを使って指示したり指定したりできるものがある。
特開２００３−８５５９０号公報

ところが、カーソルやマウスを用いる方法は、自然な動作によって指定する方法ではないので、操作性が悪く、迅速あるいは正確に指定することができない。また、カーソルやマウスを用いる方法では、立体画像における実像物や虚像物を指定することが難しい。

本発明は、このような問題点に鑑みてなされたものであり、表示された実像や虚像の指定や選択がより簡単、迅速かつ正確であるシースルー型の画像表示装置を提供することを課題とする。

上記課題を解決するため、本発明は、以下のような映像表示装置を提供する。

請求項１に記載の発明は、外光を透過させつつ画像情報に基づいた画像光を観察者の網膜に投射することにより、前記外光による実像と前記画像光による虚像とを同時に観察者に視認させる画像表示装置であって、位置及び向きを変更可能な指示器と、前記指示器の位置及び向きを検出する指示器検出部と、前記指示器の位置及び向きに応じた補助虚像を表示対象の主虚像と共に表示用座標系上に配置した画像情報を生成し、当該画像情報に基づいた画像光を前記観察者の網膜に投射する画像表示部と、を備えたことを特徴とする画像表示装置である。

請求項２に記載の発明は、請求項１に記載の画像表示装置であって、前記指示器検出部は、前記表示用座標系における前記指示器の位置及び向きを検出し、前記画像表示部は、前記表示用座標系における前記指示器の位置からその向きの延長上に補助虚像を、表示対象の主虚像と共に表示用座標系上に配置した画像情報を生成する画像情報生成器と、前記画像情報生成器により生成された前記画像情報に応じた光束を生成する光束生成器と、前記光束を前記観察者の網膜へ投射する光学系と、を備えたことを特徴とする。

請求項３に記載の発明は、請求項２に記載の画像表示装置であって、観察者の頭部に装着する頭部装着ユニットに、前記画像表示部のうち少なくとも前記光学系を配置したことを特徴とする。

請求項４に記載の発明は、請求項３に記載の画像表示装置であって、
前記頭部装着ユニットの位置及び向きを検出する頭部ユニット検出部を設け、前記画像情報生成器は、所定の基準点を中心とした基準座標系上に前記主虚像を固定し、前記頭部装着ユニットの位置及び向きの変化に応じて前記表示用座標系における前記主虚像の位置及び向きを変更すると共に、前記頭部装着ユニット及び前記指示器の位置及び向きの変化に応じて前記表示用座標系における前記補助虚像の位置及び向きを変更した前記画像情報を生成することを特徴とする。

請求項５に記載の発明は、請求項４に記載の画像表示装置であって、前記所定の基準点は、実空間上の所定点であることを特徴とする。

請求項６に記載の発明は、請求項４に記載の画像表示装置であって、前記観察者である人体を構成する前記頭部以外の部位に装着する基準ユニットを設け、前記基準ユニットを前記所定の基準点とすることを特徴とする。

請求項７に記載の発明は、請求項２から６のいずれか一項に記載の画像表示装置であって、前記画像情報生成器は、前記補助虚像を、前記表示用座標系における前記指示器の位置からその向きの延長方向上の所定位置まで連続的に延在させて配置した画像情報を生成することを特徴とする。

請求項８に記載の発明は、請求項２から６のいずれか一項に記載の画像表示装置であって、前記画像情報生成器は、前記補助虚像を、前記表示用座標系における前記指示器の位置からその向きの延長方向上の所定位置まで断続的に延在させて配置した画像情報を生成することを特徴とする。

請求項９に記載の発明は、請求項７又は請求項８に記載の画像表示装置であって、前記補助虚像の長さを設定する補助虚像長設定部を設け、前記画像情報生成器は、前記補助虚像長設定部によって前記補助虚像の長さが設定されると、当該設定された長さに応じた前記所定位置まで延在する前記補助虚像を配置した画像情報を生成することを特徴とする。

請求項１０に記載の発明は、請求項７から９のいずれか一項に記載の画像表示装置であって、前記補助虚像の幅を設定する補助虚像幅設定部を設け、前記画像情報生成器は、前記補助虚像幅設定部によって前記補助虚像の幅が設定されると、当該設定された幅に応じた幅の前記補助虚像を配置した画像情報を生成することを特徴とする。

請求項１１に記載の発明は、請求項７から１０のいずれか一項に記載の画像表示装置であって、前記主虚像を指定する主虚像指定操作部を設け、前記画像情報生成器は、前記主虚像指定操作部によって指定された主虚像と前記補助虚像とを関連付け、前記表示用座標系における前記補助虚像の位置及び向きの変更に応じて前記主虚像の位置及び向きを変更することを特徴とする。

請求項１２に記載の発明は、請求項７から１１のいずれか一項に記載の画像表示装置であって、前記指示器の位置及び向きの変化によって前記表示用座標系上で移動する前記補助虚像の軌跡内に存在する前記主虚像を特定する主虚像選択範囲特定部を設け、前記画像情報生成器は、前記主虚像選択範囲特定部で特定された前記主虚像の色を変更することを特徴とする。

請求項１３に記載の発明は、請求項１２に記載の画像表示装置であって、前記画像情報生成器は、前記指示器の位置及び向きの変化によって前記表示用座標系上で移動する前記補助虚像の軌跡を所定時間残像とする画像情報を生成することを特徴とする。

請求項１４に記載の発明は、請求項７から１３のいずれか一項に記載の画像表示装置であって、前記画像情報生成器は、前記表示用座標系上で前記補助虚像の一部が前記主虚像の一部と接触すると判定すると、前記補助虚像又は前記主虚像の色を変更した画像情報を生成することを特徴とする。

請求項１５に記載の発明は、請求項７から１３のいずれか一項に記載の画像表示装置であって、前記表示用座標系上で前記補助虚像の一部が前記主虚像の一部と接触すると判定すると、音でその旨を報知する音源部を備えたことを特徴とする。

請求項１６に記載の発明は、請求項２から６のいずれか一項に記載の画像表示装置であって、前記画像情報生成器は、前記表示用座標系における前記指示器の位置から当該指示器の向きの延長方向上であって前記主虚像との交点となる位置に前記補助虚像を配置した画像情報を生成することを特徴とする。

請求項１７に記載の発明は、請求項２，３，４，５，６，１６のいずれか一項に記載の画像表示装置であって、前記画像情報生成器は、前記表示用座標系における前記指示器の位置から当該指示器の向きの延長方向上であって前記主虚像との交点となる位置がないと判定すると、前記補助虚像を表示しない前記画像情報を生成することを特徴とする。

請求項１８に記載の発明は、請求項２，３，４，５，６，１６のいずれか一項に記載の画像表示装置であって、前記画像情報生成器は、前記表示用座標系における前記指示器の位置から当該指示器の向きの延長方向上であって前記主虚像との交点となる位置がないと判定すると、その旨を報知する虚像を前記主虚像と共に表示用座標系上に配置した画像情報を生成することを特徴とする。

請求項１９に記載の発明は、請求項１から１８のいずれか一項に記載の画像表示装置であって、前記光学系は、前記光束の波面を変調する波面変調手段を有するものであり、指示器の延長方向の奥行きに応じた波面変調を行うことを特徴とする。

請求項２０に記載の発明は、請求項２から１９のいずれか一項に記載の画像表示装置であって、前記補助虚像の色を設定する補助虚像色設定部を設け、前記画像情報生成器は、前記補助虚像色設定部によって前記補助虚像の色が設定されたと判定すると、当該設定された色の前記補助虚像を前記主虚像と共に配置した画像情報を生成することを特徴とする。

請求項２１に記載の発明は、請求項１から２０のいずれか一項に記載の画像表示装置であって、前記指示器検出部は、少なくとも３つの直交コイルを有し、前記指示器に設けられた交流磁界発生器から発生する交流磁界の前記３つの直交コイルによる検出強度に基づいて、前記指示器の位置及び向きを検出することを特徴とする。

請求項２２に記載の発明は、請求項１から２１のいずれか一項に記載の画像表示装置であって、前記光学系は、前記光束を２次元的に走査する走査手段を有し、当該走査手段によって走査された光束を前記観察者の網膜へ投射する網膜走査型の画像表示装置であることを特徴とする。

請求項１に記載の発明では、実像や虚像を指示するための指示器として、位置及び向きの変更が可能なものを用い、しかも、画像表示部に表示される表示画像中に、指示器の位置及び向きに応じた補助虚像が表示されるので、観察者は、画像中の実像や虚像を、指示器によって、簡単、迅速かつ正確に指示することができる。

請求項２に記載の発明では、前記指示器検出部は、前記表示用座標系における前記指示器の位置及び向きを検出し、前記画像表示部は、前記表示用座標系における前記指示器の位置からその向きの延長上に補助虚像を、表示対象の主虚像と共に表示用座標系上に配置した画像情報を生成する画像情報生成器と、前記画像情報生成器により生成された前記画像情報に応じた光束を生成する光束生成器と、前記光束を前記観察者の網膜へ投射する光学系と、を備えている。したがって、表示用座標系における指示器の位置及び向きに基づいて、表示画像中に、指示器の位置からその向きの延長上に位置する補助虚像が表示される。このように指示器の延長上に補助虚像が表示されれば、表示画像中の実像や指示対象になり得る主虚像を、指示器によって、簡単、迅速かつ正確に指示することができる。

請求項３に記載の発明では、観察者の頭部に装着する頭部装着ユニットに、前記画像表示部のうち少なくとも前記光学系が配置されている。したがって、観察者は、歩行など移動しながら表示画像を視認することができる。

請求項４に記載の発明では、基準座標系上に主虚像を固定し、頭部装着ユニットの位置及び向きの変化に応じて、表示用座標系における前記主虚像の位置及び向きが変更され、頭部装着ユニット及び前記指示器の位置及び向きの変化に応じて、表示用座標系における補助虚像の位置及び向きが変更される。したがって、観察者は、表示画像中の主虚像および補助虚像を、基準座標系中に存在する実像と同様の存在として視認することができ、指示操作などの操作性がより向上する。

請求項５に記載の発明によれば、所定の基準点が実空間上の所定点であるので、観察者は、表示画像中の主虚像および補助虚像を、実空間内に存在する実像と同様のリアルな存在として扱うことができ、指示操作などの操作性がより向上する。

請求項６に記載の発明では、観察者である人体を構成する前記頭部以外の部位に装着する基準ユニットを設け、基準ユニットを所定の基準点としている。所定の基準点が観察者と一体的に移動しない点である場合、その基準点と観察者の位置との関係を常に正確に把握する必要があるが、本発明のように、基準点が観察者と一体的に移動する点であれば、このような把握が不要になり、観察者の位置との関係で、直接、基準座標系上の主虚像や補助虚像の位置及び向きを特定できる。したがって、基準座標系上の主虚像や補助虚像の位置及び向きをより正確に特定できる。

請求項７に記載の発明では、前記画像情報生成器は、前記補助虚像を、前記表示用座標系における前記指示器の位置からその向きの延長方向上の所定位置まで連続的に延在させて配置した画像情報を生成するものである。このように、所定位置まで連続的に延在する補助虚像があれば、指示器によって実像や主虚像を指示しようとするときに、極めて簡単、迅速かつ正確に指示することができる。

請求項８に記載の発明では、前記画像情報生成器は、前記補助虚像を、前記表示用座標系における前記指示器の位置からその向きの延長方向上の所定位置まで断続的に延在させて配置した画像情報を生成するものである。このように、所定位置まで延在する補助虚像を断続的なものにすると、補助虚像の後ろ側に隠れる部分が少なくなるので、視野全体、特に指示しようとしている位置の周辺領域の状況をより確実に把握できるようになり、指示操作性に優れる。

請求項９に記載の発明は、前記補助虚像の長さを設定する補助虚像長設定部を備え、しかも、前記画像情報生成器は、前記補助虚像長設定部によって前記補助虚像の長さが設定されると、当該設定された長さに応じた前記所定位置まで延在する前記補助虚像を配置した画像情報を生成するものである。このように、補助虚像の長さを自由に設定できれば、たとえば、指示器を使用する観察者の好みによって、あるいは観察者から指示対象の実像や虚像までの距離によって、補助虚像の長さを自由に設定できることとなり、指示器の操作性がさらに向上する。

請求項１０に記載の発明は、前記補助虚像の幅を設定する補助虚像幅設定部を備え、前記画像情報生成器は、前記補助虚像幅設定部によって前記補助虚像の幅が設定されると、当該設定された幅に応じた幅の前記補助虚像を配置した画像情報を生成するものである。このように、補助虚像の太さなどの幅を自由に設定できれば、たとえば、指示器を使用する観察者の好みによって、あるいは指示対象の実像や虚像の大きさによって、補助虚像の幅を自由に設定できることとなり、指示器の操作性がさらに向上する。

請求項１１に記載の発明は、前記主虚像を指定する主虚像指定操作部を備え、前記画像情報生成器は、前記主虚像指定操作部によって指定された主虚像と前記補助虚像とを関連付けて、前記表示用座標系における前記補助虚像の位置及び向きの変更に応じて前記主虚像の位置及び向きを変更するものである。このように、指示器によって指定した主虚像を、指示器や補助虚像と共に移動させることができ、しかも補助虚像の位置及び向きに応じて主虚像の位置及び向きを移動させることができれば、主虚像を実像と同様の存在として取扱うことができ、たとえば移動させることができる。このように指示対象となり得る主虚像を移動させることができれば、たとえば、指示対象物が接近しているようなときでも、指示対象だけを移動させたり、指示対象でないものだけを移動させたりすることで、指示対象をより正確に指示することができる。

請求項１２に記載の発明は、前記指示器の位置及び向きの変化によって前記表示用座標系上で移動する前記補助虚像の軌跡内に存在する前記主虚像を特定する主虚像選択範囲特定部を備えており、前記画像情報生成器は、前記主虚像選択範囲特定部で特定された前記主虚像の色を変更することができる。したがって、指示対象が複数存在する場合には、容易にそれらをまとめて指示することができ、指示操作性に優れる。

請求項１３に記載の発明では、前記画像情報生成器は、前記指示器の位置及び向きの変化によって前記表示用座標系上で移動する前記補助虚像の軌跡を所定時間残像とする画像情報を生成するものである。したがって、補助虚像の現在の像と、残像とを視覚的に視認することができ、現在の像と残像とを比較することで、補助虚像の僅かな位置及び向きの変更やズレを、正確、簡単かつ迅速に視認することができる。これにより、指示操作性が向上する。

請求項１４に記載の発明では、前記画像情報生成器は、前記表示用座標系上で前記補助虚像の一部が前記主虚像の一部と接触すると判定すると、前記補助虚像又は前記主虚像の色を変更した画像情報を生成するものである。したがって、色の変更によって、指示できているか否かを迅速かつ簡単に視認することができ、指示対象までの距離などを実感しつつ指示することができる。これにより指示操作性が更に向上する。

請求項１５に記載の発明は、前記表示用座標系上で前記補助虚像の一部が前記主虚像の一部と接触すると判定すると、音でその旨を報知する音源部を備えている。したがって、指示された対象を視認していなくても、迅速、簡単に指示されたことを認識することができる。

請求項１６に記載の発明では、前記画像情報生成器は、前記表示用座標系における前記指示器の位置から当該指示器の向きの延長方向上であって前記主虚像との交点となる位置に前記補助虚像を配置した画像情報を生成するものである。したがって、指示している部分を点として視認することができる。指示器の延長上に複数の指示対象になり得る主虚像がある場合など、指示している対象を認識しにくいことがあるが、このように指示部分を点として認識できれば、指示対象を明確に認識できるので、指示操作性に優れる。

請求項１７に記載の発明では、前記画像情報生成器は、前記表示用座標系における前記指示器の位置から当該指示器の向きの延長方向上であって前記主虚像との交点となる位置がないと判定すると、前記補助虚像を表示しない前記画像情報を生成するものである。したがって、例えば、実像を主虚像と誤認していることに気づかず、主虚像と誤認した実像を指示器で指示しようとし続けるようなことが確実に防止されるので、指示操作性に優れる。

請求項１８に記載の発明では、前記画像情報生成器は、前記表示用座標系における前記指示器の位置から当該指示器の向きの延長方向上であって前記主虚像との交点となる位置がないと判定すると、その旨を報知する虚像を前記主虚像と共に表示用座標系上に配置した画像情報を生成するものである。したがって、指示器によって何も指示していないことを視覚によって確実に認識することができ、指示操作性に優れる。

請求項１９に記載の発明では、前記光学系は、前記光束の波面を変調する波面変調手段を有するものであり、指示器の延長方向の奥行きに応じた波面変調を行う。波面変調できるものでは、主虚像及び補助虚像などの画像を三次元表示でき、本発明に係る画像表示装置の指示器も、三次元移動および三次元座標位置の把握が容易なものであるので、表示用座標系として三次元座標系が用いられており、しかも三次元座標系に適した指示器を備える画像表示装置を提供できる。

請求項２０に記載の発明は、前記補助虚像の色を設定する補助虚像色設定部を備えており、前記画像情報生成器は、前記補助虚像色設定部によって前記補助虚像の色が設定されたと判定すると、当該設定された色の前記補助虚像を前記主虚像と共に配置した画像情報を生成するものである。視野の色の状況によっては、補助虚像を視認しにくいことがあるが、補助虚像の色を自由に設定できれば、視認しやすい色の補助虚像を表示することができるので、指示操作性が向上する。

請求項２１に記載の発明では、前記指示器検出部は、少なくとも３つの直交コイルを有し、前記指示器に設けられた交流磁界発生器から発生する交流磁界の前記３つの直交コイルによる検出強度に基づいて、前記指示器の位置及び向きを検出するものである。したがって、正確に指示器の位置及び向きを検出することができ、正確な画像表示を行なうことができる。これにより、指示操作性が向上する。

請求項２２に記載の発明では、前記光学系は、前記光束を２次元的に走査する走査手段を有し、当該走査手段によって走査された光束を前記観察者の網膜へ投射する網膜走査型の画像表示装置である。

以下、本発明に係る映像表示装置の実施形態について図面を用いて詳細に説明する。

図１に示されるように、本実施形態の画像表示装置は、いわゆるシースルー型のディスプレイであり、これを構成するものとして、観察者である使用者Ｍの頭部Ｈに装着されて使用されるＲＳＤ頭部装着部(以下、ヘッドマウント)１１と、使用者Ｍに把持された状態で使用される指示棒１２と、使用者Ｍの腰に装着されるＲＳＤコントローラ（以下、コントロールユニット）１３とを備えている。

また、図２に示されるように、画像表示装置は、上記ヘッドマウント１１、指示棒１２又はコントロールユニット１３のいずれかに設置される次の構成を備えている。すなわち、画像表示装置は、指示棒１２の位置及び向きを検出する指示棒検出部１４と、ヘッドマウント１１の位置及び向きを検出する頭部位置検出部１５と、指示棒１２の操作に用いられる操作部１６と、画像表示装置を制御するＣＰＵなどに代表される制御部１７と、使用者Ｍに画像（後述の主虚像Ｉｍや補助虚像Ｉｓ）を視認させるための画像表示部１８とを備えている。

これらのうち、指示棒検出部１４は、指示棒１２に搭載された指示棒１２の位置及び向きを検出するための指示棒位置検出部１４ａと、指示棒１２に搭載された指示棒位置検出用送信部１４ｂと、コントロールユニット１３に搭載された指示棒位置検出用受信部１４ｃとを備えている。

指示棒位置検出部１４ａは、少なくとも３つの直交コイルを有する磁界受信器１４ｄを備えるものであり、各直交コイルでコントロールユニット１３に設置された磁界発生器１３ａで発生される交流磁界を受信し、受信した磁界の検出強度に基づいて指示棒１２の位置及び向きを検出するものである。そして、指示棒位置検出部１４ａは、検出した支持棒１２の位置及び向きを示す信号を指示棒位置検出用送信部１４ｂに入力する。なお、本実施形態では、コントロールユニット１３の磁界発生器１３ａの位置を原点とする基準座標系での指示棒１２の位置を検出できるようになっており、位置検出方法として、ポジション・トラッカまたはポジション／オリエンテーション・トラッカとして既に知られた磁気的追跡装置で採用されている磁気的追跡方法と共通のないしは類似する方法を用いているが、既知の方法であるので、ここでの説明は省略する。

指示棒位置検出用送信部１４ｂは、指示棒位置検出部１４ａで検出された指示棒１２の位置に関する信号を送信するものである。また、指示棒位置検出用受信部１４ｃは発信された信号を受信するものである。そして、指示棒位置検出用受信部１４ｃで受信された信号は、信号線Ｌを介して制御部１７に入力される。なお、指示棒位置検出用送信部１４ｂと、指示棒位置検出用送信部１４ｂとの間の送受信送信手段としては、電波を用いた周知の無線方式のものを用いているので、その詳細な説明については省略する。

頭部位置検出部１５は、ヘッドマウント１１の位置及び向きを検出するためのものであり、ヘッドマウント１１に搭載される。この頭部位置検出部１５で検出された信号は、信号線Ｌを介して制御部１７に入力される。これにより、ヘッドマウント１１の基準座標系における位置及び向きを検知することができる。なお、検出部自体は、指示棒位置検出部１４ａと同様のものであるので、その説明については省略する。

操作部１６は、使用者Ｍの操作に用いられるものであり、指示棒１２に設置されている。したがって、使用者Ｍは、指示棒１２を把持した状態で使用しながら操作することできる。使用者Ｍが操作部１６を操作することによって発生する信号は、信号線Ｌを介して制御部１７に入力される。

制御部１７は、画像表示装置全体の制御を統括すると共に、プログラムや設定情報を記憶しており、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３等から構成される（図４参照）。

そして、図２に示されるように、画像表示部１８は、画像情報を生成して光束を生成する映像光生成部１８ａと、生成された光束を画像表示のために水平方向及び垂直方向に走査すると共に、このように走査された光束（以下、表示用走査光束）を使用者Ｍの網膜Ｆへ投射する走査光束の収束点Ｂを走査する光走査部１８ｂとを備えている。なお、映像光生成部１８ａと光走査部１８ｂは、使用者Ｍの左右の瞳孔Ｅ（図４参照）にそれぞれ対応して設けられており、これらは制御部１７によって制御されている。このように、本実施形態の画像表示装置は、いわゆる網膜走査型のディスプレイと称されるものである。

ここで、ヘッドマウント１１、指示棒１２およびコントロールユニット１３のそれぞれに設置されている構成を簡単に説明する。

図３に示されるように、ヘッドマウント１１は、使用者Ｍに装着される眼鏡形状のマウント本体１１ａと、マウント本体１１ａのテンプル部１１ｂに取付部材１１ｃを介して設置された画像光を出射するための光走査部１８ｂと、光走査部１８ｂから出射された画像光Ｚ１を使用者Ｍの眼に向かって反射させる眼前に設置されたハーフミラー１１ｄとを備えている。使用者Ｍの眼には、ハーフミラー１１ｄを介して外界からの光Ｚ２が達するようになっており、使用者Ｍは、ヘッドマウント１１を装着した状態で外界を視認しつつ、画像光Ｚ１によって表示される画像を視認できる。

また、ヘッドマウント１１には、指示棒検出部１４の指示棒位置検出用受信部１４ｃと、頭部位置検出部１５と、画像表示部の光走査部１８ｂが搭載されている。

指示棒位置検出用受信部１４ｃは、指示棒位置検出用送信部１４ｂからの信号を受信するものであり、受信された信号は制御部１７へと入力される。

頭部位置検出部１５は、基準座標系におけるヘッドマウント１１の位置及び向きを検出するものであり、検出された信号は制御部１７へと入力される。

光走査部１８ｂは、ヘッドマウント１１を装着した使用者Ｍに主虚像Ｉｍや補助虚像Ｉｓである画像を表示するものである。ヘッドマウント１１に搭載されている光走査部１８ｂの詳細については、後述のコントロールユニット１３の説明の後に詳細に説明する。

ここで、主虚像Ｉｍとは、実空間に存在しないが、ヘッドマウント１１を装着した使用者Ｍの視野中に表示されており、使用者Ｍによって視認される画像中の物体である。例えば、図５において、符号「Ｉｍ１」で示されている直方体の物体画像がその一例である。主虚像Ｉｍは、特に取り扱わない状態では、実空間内にあたかも静止した状態で存在しているように使用者Ｍに視認されるものであり、後述するように、使用者Ｍによって自由に位置を移動させたり、向きを変更させたりすることができる対象である。なお、以降の説明では、主虚像Ｉｍを使用者Ｍの視野中に表示されているように視認させることについて、単に、主虚像Ｉｍを表示させるという表現や、視野中の主虚像Ｉｍあるいは画面中の主虚像Ｉｍといった表現を用いることがある。この表現については、次に説明する補助虚像Ｉｓについても同様である。

補助虚像Ｉｓとは、主虚像同様、実空間に存在しないが、ヘッドマウント１１を装着した使用者Ｍの視野中に表示されており、使用者Ｍによって視認される画像中の物体であるが、そのうちの特に、使用者Ｍが使用する指示棒１２の延長部分として視認されるものであり、指示棒１２の位置及び向きに応じて表示されるものである。つまり、補助虚像Ｉｓは、あたかも指示棒１２の一部であるかのように使用者Ｍに視認されるものであり、指示棒１２の動きに対応して動く。具体的には、図６に示されるように、補助虚像Ｉｓは、表示用座標系における指示棒１２の位置からその向きの延長上に表示される。

指示棒１２には、指示棒検出部１４の指示棒位置検出部１４ａと、指示棒位置検出用送信部１４ｂが搭載されている。また、図１および図２に示される指示棒１２は、操作部１６を備えており、この操作部１６を操作することによって、使用者Ｍは、視野に表示されている主虚像Ｉｍや補助虚像Ｉｓについて、移動させるなどの後述の操作を行なうことができる。

図６（ｂ）に示されるように、操作部１６は、指示棒１２の先端側に設けられており、操作モードを選択するためのモード選択ボタン１６ａを備えている。また、操作部１６は、各モードにおける操作に用いられるボタンとして、モード選択ボタン１６ａ上側に位置する上ボタン１６ｂと、モード選択ボタン１６ａの右側に位置する右ボタン１６ｃと、下側に位置する下ボタン１６ｄと、左側に位置する左ボタン１６ｅとを備えている。これらのボタンを押すと対応する信号が制御部１７に送られる。

モード選択ボタン１６ａは、各種のモードを選択するためのボタンであり、これを押すことで、モードを順次変更できるようになっている。具体的には、補助虚像選択モードと、補助虚像操作モードと、補助虚像色設定モードと、主虚像操作モードと、新規主虚像設置モードと、主虚像削除モードと、残像表示設定モードと、接触判定設定モードを選択できるようになっている。

補助虚像選択モードでは、操作部１６の右ボタン１６ｃまたは左ボタン１６ｅを押すことで、補助虚像Ｉｓの種類を選択できる。具体的には、図６（ａ）に示されるように、一本の棒状に連続的に表示される補助虚像Ｉｓ１と、図７（ａ）に示されるように、断続的に表示される補助虚像Ｉｓ２と、図１１（ａ）に示されるように、点状に示される補助虚像Ｉｓ３を選択することができる。

補助虚像操作モードでは、選択された補助虚像Ｉｓの形状をさらに変更することができる。例えば、補助虚像Ｉｓとして、一本の棒状として連続的に表示される補助虚像Ｉｓ１や断続的に表示される補助虚像Ｉｓ２が選択されている場合、補助虚像操作モードにおいて、下ボタン１６ｄを押すと、図７（ｂ）に示されるように、補助虚像Ｉｓ１の長さが短くなり、他方、上ボタン１６ｂを押すと、補助虚像Ｉｓ１が長くなる。また、補助虚像操作モードにて、右ボタン１６ｃを押すと、図８（ａ）に示されるように、補助虚像Ｉｓ１が細くなり、他方、左ボタン１６ｅを押すと、補助虚像Ｉｓ１が太くなる。このように、操作部１６は、補助虚像Ｉｓの長さを設定する補助虚像長設定部や、補助虚像Ｉｓの幅を設定する補助虚像幅設定部として機能する。

さらに、補助虚像操作モードにて、補助虚像Ｉｓとして、点状に表示される補助虚像Ｉｓ３（図１１（ａ）参照）が選択されている場合、補助虚像操作モードにおいて、右ボタン１６ｃを押すと、補助虚像Ｉｓの直径が小さくなり、他方、左ボタン１６ｅを押すと、補助虚像Ｉｓ３の直径が大きくなる。なお、点状に表示される補助虚像Ｉｓ３の位置とは、表示用座標系における指示棒１２の位置から当該指示棒１２の向きの延長方向上であって主虚像Ｉｍとの交点となる位置である。

補助虚像色設定モードでは、操作部１６の右ボタン１６ｃまたは左ボタン１６ｅを押すと、補助虚像Ｉｓの色が異なる色に順次設定されるようになっている。したがって、所望の色になったところで、モード選択ボタン１６ａを押してモードを変更すれば、補助虚像Ｉｓは、最後に選択された色で表示される。このように、操作部１６は、補助虚像Ｉｓの色を設定する補助虚像色設定部として機能する。

主虚像操作モードでは、右ボタン１６ｃまたは左ボタン１６ｅを押すことで、主虚像Ｉｍの選択方法を選択することができる。具体的には、右ボタン１６ｃを押すと、操作対象の主虚像Ｉｍを個々に選択する単独選択の状態になり、左ボタン１６ｅを押すと、所定の領域に存在する主虚像Ｉｍを一度に選択する包括選択状態になる。

主虚像Ｉｍの選択方法が単独選択の状態で、上ボタン１６ｂを押すと、補助虚像Ｉｓで指し示す主虚像Ｉｍを操作対象の主虚像Ｉｍとして選択することができる。そして、図８（ｂ）において破線で示されるように、主虚像Ｉｍ１が選択された状態で、指示棒１２を動かすと、選択された主虚像Ｉｍ１が指示棒１２や補助虚像Ｉｓ１と共に、使用者Ｍの視野内を一体的に移動する。つまり、選択された主虚像Ｉｍは、その位置に関して、補助虚像Ｉｓと関連付けられることになる。また、主虚像Ｉｍ１が選択された状態で、下ボタン１６ｄを押すと、選択が解除される。このように、操作部１６は、主虚像Ｉｍを指定する主虚像指定操作部として機能する。

主虚像Ｉｍの選択方法が包括選択の状態で、上ボタン１６ｂを押すと、選択したい所定領域Ａを補助虚像Ｉｓの先端で取り囲むことができる状態になる。そこで、図９に示されるように、指示棒１２を操作すると、取り囲まれた領域内の主虚像Ｉｍ１，Ｉｍ２が選択される。この状態で、上ボタン１６ｂを押した状態を解除すると、複数の主虚像Ｉｍ１，Ｉｍ２の選択が確定する。選択の確定は、本実施形態では、選択された主虚像Ｉｍ１，Ｉｍ２の色を変更させることで明示される。そして、選択が確定された状態で、指示棒１２を動かすと、選択された主虚像Ｉｍ１，Ｉｍ２が、指示棒１２および補助虚像Ｉｓと共に使用者Ｍの視野内を一体的に移動する。つまり、選択された主虚像Ｉｍ１，Ｉｍ２は、その位置に関して、補助虚像Ｉｓ１と関連付けられることになる。また、主虚像Ｉｍ１，Ｉｍ２が選択された状態で、下ボタン１６ｄを押すと、選択が解除される。このように、操作部１６は、指示棒１２の位置及び向きの変化によって表示用座標系上で移動する補助虚像Ｉｓの軌跡内に存在する主虚像Ｉｍを特定する主虚像選択範囲特定部として機能する。

新規主虚像設置モードでは、右ボタン１６ｃまたは左ボタン１６ｅを押すと、ＲＯＭ１０２に記憶されている複数の主虚像Ｉｍから所望の主虚像Ｉｍを選択することができる。なお、ＲＯＭには、随時、新たな主虚像Ｉｍの登録を行なうことができ、あるいは登録された主虚像Ｉｍの一部または全部の削除を行なうことができる。そして、所定の主虚像Ｉｍを選択した状態で、上ボタン１６ｂを押すと、選択されていた新規の主虚像Ｉｍが使用者Ｍの視野内に表示される。他方、下ボタン１６ｄを押すと、新規に表示させる候補として視野内に表示された主虚像Ｉｍの削除を行なうことができる。

主虚像削除モードでは、視野内に表示されている主虚像Ｉｍの削除方法を選択することができる。削除方法としては、操作対象の主虚像Ｉｍを個々に選択して削除する単独削除方法と、所定の領域に存在する主虚像Ｉｍを一度に削除する包括削除方法とがあり、右ボタン１６ｃを押すと、主虚像Ｉｍを個々に選択して削除する単独削除の状態になり、左ボタン１６ｅを押すと、所定の領域に存在する主虚像Ｉｍを一度に削除する包括削除の状態になる。

主虚像Ｉｍの削除方法が単独削除の状態で、上ボタン１６ｂを押すと、補助虚像Ｉｓで指し示している主虚像Ｉｍを操作対象の主虚像Ｉｍとして選択することができる。そして、主虚像Ｉｍが選択された状態で、再度上ボタン１６ｂを押すと、選択されていた主虚像Ｉｍが削除される。また、主虚像Ｉｍが選択された状態で、下ボタン１６ｄを押すと、選択が解除される。

主虚像Ｉｍの削除方法が包括削除の状態で、上ボタン１６ｂを押すと、包括削除できる状態になる。この状態で、削除したい主虚像Ｉｍが表示されている領域を補助虚像Ｉｓの先端で取り囲むように指示棒１２を操作すると、取り囲まれた領域内の主虚像Ｉｍが選択される。この状態で、上ボタン１６ｂを再度押すと、選択された複数の主虚像Ｉｍが削除される。また、主虚像Ｉｍが選択された状態で、下ボタン１６ｄを押すと、選択が解除される。

残像表示設定モードでは、操作部１６の右ボタン１６ｃを押すと残像表示モードに設定され、左ボタン１６ｅを押すと残像表示モードが解除される。そして、上ボタン１６ｂを押すと残像表示時間が長くなり、下ボタン１６ｄを押すと残像表示時間が短くなる。残像表示設定モードの対象は、補助虚像Ｉｓであるが、補助虚像Ｉｓに関連付けられた主虚像Ｉｍがある場合、関連付けられた主虚像Ｉｍも、残像を表示する対象になる。

接触判定設定モードでは、操作部１６の右ボタン１６ｃを押すと接触判定モードに設定され、左ボタン１６ｅを押すと接触判定モードが解除される。そして、上ボタン１６ｂを押すと、接触したことを、色の変化で知らせる設定になり、下ボタン１６ｄを押すと、接触したことを音で知らせる設定になる。なお、音で知らせる設定を用いない場合は、必要ないが、当該設定を用いる場合は、図２において二点鎖線で示されている音源部１９ａをコントロールユニットに設置すると共に、スピーカ１９ｂをヘッドマウント１１に設置する。

なお、接触判定設定モードにおいて、接触判定モードに設定した状態で、上ボタン１６ｂまたは下ボタン１６ｄを２回押すと、表示用座標系における指示棒１２の位置から当該指示棒１２の向きの延長方向上であって主虚像Ｉｍとの交点となる位置がないと判定された場合に補助虚像Ｉｓを表示しない設定にすることができる。

次に、コントロールユニット１３について説明する。

コントロールユニット１３には、制御部１７と、画像表示部１８の映像光生成部１８ａが搭載されている。

制御部１７は、指示棒位置検出用受信部１４ｃ、頭部位置検出部１５および操作部１６から入力される信号に基づいて、コントロールユニット１３の位置を原点とする基準座標系におけるヘッドマウント１１や指示棒１２、そして主虚像Ｉｍおよび補助虚像Ｉｓの位置及び向きを求める。コントロールユニット１３は腰に装着されるものであり、腰の位置は使用者Ｍの姿勢を示す基本位置であるので、基準座標系の原点の位置として好適である。そして、求められた各位置及び向きの情報は、映像光生成部１８ａへと入力される。

また、制御部１７は、操作部１６から入力される信号に基づいて、主虚像Ｉｍや補助虚像Ｉｓの位置及び向きを求める処理の他、たとえば主虚像Ｉｍの位置の移動、新たな主虚像Ｉｍの表示、表示されていた主虚像Ｉｍの削除などがあった場合、移動後の位置や新たに表示された主虚像Ｉｍの位置を求めたり、削除したりすることについての処理を行なう。なお、補助虚像Ｉｓの形状の変更などについては、後述する映像光生成部１８ａにおいて処理される。

図４に示されるように、映像光生成部１８ａは、表示すべき主虚像Ｉｍや補助虚像Ｉｓを含む画像の画像情報を制御部１７からの信号に基づいて生成する映像信号供給回路２１と、映像信号供給回路２１により生成された画像情報に応じた光束を生成する、光源部３０および光合成部４０からなる光束生成器とを備えている。

映像信号供給回路２１には、使用者の視野内に表示される主虚像Ｉｍや補助虚像Ｉｓの基準座標系における位置及び向きなど、主虚像Ｉｍや補助虚像Ｉｓに関する、いわゆる映像信号Ｓが制御部１７から入力される。映像信号供給回路２１は、入力された信号に基づいて、表示画像を合成するための要素となる各信号を発生する。具体的には、映像信号供給回路２１では、青（Ｂ）、緑（Ｇ）、赤（Ｒ）の各映像信号２２ａ〜２２ｃなどの画像情報が生成され、３つの映像信号（Ｂ，Ｒ，Ｇ）２２ａ〜２２ｃをそれぞれ光束にする後述の光源部３０と、これらの３つの光束を１つの光束に結合して任意の光束を生成するための後述の光合成部４０を介して光走査部１８ｂに出力される。また、映像信号供給回路２１は、水平同期信号２３、垂直同期信号２４及び奥行き信号２５などが光走査部１８ｂに出力される。

映像信号供給回路２１では、次のようにして主虚像Ｉｍや補助虚像Ｉｓを含む画像を表示するための画像情報を生成する。

主虚像Ｉｍは、指示棒１２を用いて移動させたりしなければ実空間内に静止状態で存在しているように表示されるものである。ただし、使用者Ｍが移動すると、ヘッドマウント１１の位置が移動するので、ヘッドマウント１１に対する主虚像Ｉｍの相対位置は変化する。このように、基準座標系上の位置は移動していなくても、表示用座標系上の位置が変化することがある。したがって、映像信号供給回路２１では、制御部から入力される基準座標系における主虚像Ｉｍの位置及び向きの情報と、ヘッドマウント１１の位置及び向きの情報とに基づいて、表示座標系における主虚像Ｉｍの位置を求め、求めた位置の情報を用いて、主虚像Ｉｍを含む画像を表示するための画像情報を生成する。

なお、図１（ａ）、（ｂ）又は図３に示されるように、本実施形態では、表示用座標系として、正面方向がＺ軸、頭頂方向がＹ軸、右瞳孔から左瞳孔に向かう方向がＸ軸であり、両瞳孔中心が原点である座標系が用いられている。つまり、表示用座標系のＺ軸、Ｙ軸及びＸ軸の向きは、使用者Ｍが向きを変えると、その変化に伴って変化する。このような表示用座標系において、たとえば、指示棒１２の表示位置及び向きは、支持棒１２中の所定点（たとえば指示棒１２の先端）の座標(Ｘ，Ｙ、Z)と、各座標軸となす角度(θｘ、θｙ、θｚ)とで特定される。

補助虚像Ｉｓは、指示棒１２の延長上に表示されるものであり、使用者Ｍの視野内を移動するものである。このような移動状態の補助虚像Ｉｓを表示させるには、移動状態の補助虚像Ｉｓの各時点での位置及び向きを特定する必要がある。映像信号供給回路２１では、各時点での基準座標系における補助虚像Ｉｓの位置及び向きと、ヘッドマウント１１の位置及び向きの情報に基づいて、各時点での補助虚像Ｉｓの表示用座標系における位置及び向きを求める。このようにして各時点における補助虚像Ｉｓの位置を特定すれば、上記静止状態の補助虚像Ｉｓを表示する場合と同様の処理を行なうことによって、移動状態の補助虚像Ｉｓを含む画像を使用者Ｍの視野に表示させるための画像情報を生成することができる。

なお、主虚像Ｉｍも指示棒１２による操作によって移動するものであるが、移動状態の主虚像Ｉｍについては、移動状態の補助虚像Ｉｓと同様に取り扱うことができるので、その説明を省略する。

図６（ａ）に示されるように、使用者Ｍの視野に表示される補助虚像Ｉｓとしては、例えば、表示用座標系における前記指示棒１２の先端位置からその向きの延長方向上の所定位置まで連続的に延在させた補助虚像Ｉｓ１がある。また、図７（ａ）に示されるように、補助虚像Ｉｓとしては、表示用座標系における前記指示棒１２の先端位置からその向きの延長方向上の所定位置まで断続的に延在させた補助虚像Ｉｓ２がある。さらに、補助虚像Ｉｓとしては、表示用座標系における指示棒１２の先端位置から指示棒１２の向きの延長方向上であって主虚像Ｉｍとの交点となる位置に表示される点状の補助虚像Ｉｓ３がある。映像信号供給回路２１には、指示棒１２の操作部１６での操作に対応した信号が制御部１７を経へて入力されるようになっている。映像信号供給回路２１は、この信号に基づいて、対応する補助虚像Ｉｓを含む画像を使用者Ｍの視野に表示させるための画像情報を生成する。

また、先にも説明したように、操作部１６では、補助虚像Ｉｓの長さや幅を変更する操作をすることができる。映像信号供給回路２１には、指示棒１２の操作部１６での操作に対応した信号が制御部１７を経へて入力されるようになっており、映像信号供給回路２１は、この信号に基づいて、対応する補助虚像Ｉｓを含む画像を使用者Ｍの視野に表示させるための画像情報を生成する。

なお、操作部１６での操作によって、補助虚像Ｉｓと関連付けられた主虚像（ここでは、関連主虚像という）Ｉｍが生じた場合、先にも説明したように、関連主虚像Ｉｍは、補助虚像Ｉｓと一体的に移動するように扱う。関連付けの操作が行なわれた場合、操作部１６から制御部１７に関連付け操作に関する信号が入力される。制御部１７では、関連主虚像Ｉｍは補助虚像Ｉｓと一体的に移動するものとして、基準座標系における位置及び向きを求める。つまり、関連主虚像Ｉｍについては、補助虚像Ｉｓと同様、指示棒１２の基準座標系における位置及び向きに基づいて、その位置及び向きを求めることができる。映像信号供給回路２１では、制御部１７で求められた基準座標系における関連主虚像Ｉｍの位置及び向きの信号に基づいて、関連主虚像Ｉｍを含む画像を使用者Ｍの視野に表示させるための画像情報を生成する。

また、残像表示モードが設定されている場合、指示棒１２の位置及び向きの変化によって表示用座標系上で移動する補助虚像Ｉｓの軌跡が所定時間残像として表示される。残像表示モードが設定されていることおよび設定の内容については、指示棒１２の操作部１６から制御部１７を経て映像信号供給回路２１に入力される。映像信号供給回路２１では、この信号に基づいて、残像を含む画像を使用者Ｍの視野に表示させるための画像情報を生成する。

また、接触判定モードが設定されている場合に、表示用座標系上で補助虚像Ｉｓの一部が主虚像Ｉｍの一部と接触したと判定されると、補助虚像Ｉｓ又は主虚像Ｉｍの色が変更される。接触判定モードが設定されていることおよび設定の内容については、指示棒１２の操作部１６から制御部１７を経て映像信号供給回路２１に入力される。映像信号供給回路２１では、この信号に基づいて、色が変化した状態の補助虚像Ｉｓまたは主虚像Ｉｍを含む画像を使用者Ｍの視野に表示させるための画像情報を生成する。

また、表示用座標系における指示棒１２の位置から当該指示棒１２の向きの延長方向上であって主虚像Ｉｍとの交点となる位置がないと判定したときに補助虚像Ｉｓを表示しない設定にすることができる。この設定になっている状態で、当該判定がなされると、当該判定がなされたことが、指示棒１２の操作部１６から制御部１７を経て映像信号供給回路２１に入力される。映像信号供給回路２１では、この信号に基づいて、補助虚像Ｉｓを表示しない状態の画像を使用者Ｍの視野に表示させるための画像情報を生成する。

また、表示用座標系における指示棒１２の位置から当該指示棒１２の向きの延長方向上であって主虚像Ｉｍとの交点となる位置がないと判定すると、その旨を報知する虚像Ｉｅ（図１１（ｂ）参照）を表示する設定にすることができる。この設定になっている状態で、当該判定がなされると、当該判定がなされたことが、指示棒１２の操作部１６から制御部１７を経て映像信号供給回路２１に入力される。映像信号供給回路２１では、この信号に基づいて、報知虚像を含む画像を使用者Ｍの視野に表示させるための画像情報を生成する。

また、指示棒１２の操作部１６では、補助虚像Ｉｓの色を設定することができる。色の変更があった場合、色が変更されたことを示す信号が指示棒１２の操作部１６から制御部１７を経て映像信号供給回路２１に入力される。映像信号供給回路２１では、この信号に基づいて、設定された色の補助虚像Ｉｓを含む画像を使用者Ｍの視野に表示させるための画像情報を生成する。

また、映像光生成部２０は、映像信号供給回路２１から出力された３つの映像信号（Ｂ，Ｒ，Ｇ）２２ａ〜２２ｃをそれぞれ光束にする光源部３０と、これらの３つの光束を１つの光束に結合して任意の光束を生成するための光合成部４０を備えている。

光源部３０は、青色の光束を発生させるＢレーザ３４およびＢレーザ３４を駆動するＢレーザ駆動回路３１と、緑色の光束を発生させるＧレーザ３５およびＧレーザ３５を駆動するＧレーザ駆動回路３２と、赤色の光束を発生させるＲレーザ３６およびＲレーザ３６を駆動するＲレーザ駆動回路３３とを備えている。なお、各レーザ３４，３５，３６は、例えば、半導体レーザや高調波発生機構付き固体レーザとして構成することが可能である。なお、半導体レーザを用いる場合は駆動電流を直接変調して、光束の強度変調を行うことができるが、固体レーザを用いる場合は、各レーザそれぞれに外部変調器を備えて光束の強度変調を行う必要がある。

光合成部４０は、光源部３０から入射するレーザ光を平行光にコリメートするように設けられたコリメート光学系４１，４２，４３と、このコリメートされたレーザ光を合成するためのダイクロイックミラー４４，４５，４６と、合成された光を光ファイバー１２０に導く結合光学系４７とを備えている。

各レーザ３４，３５，３６から出射したレーザ光は、コリメート光学系４１，４２，４３によってそれぞれ平行化された後に、ダイクロイックミラー４４，４５，４６に入射される。その後、これらのダイクロイックミラー４４，４５，４６により、各レーザ光が波長に関して選択的に反射・透過させられる。

具体的には、Ｂレーザ３４から出射した青色レーザ光は、コリメート光学系４１によって平行光化された後に、ダイクロイックミラー４４に入射させられる。Ｇレーザ３５から出射した緑色レーザ光は、コリメート光学系４２を経てダイクロイックミラー４５に入射させられる。Ｒレーザ３６から出射した赤色レーザ光は、コリメート光学系４３を経てダイクロイックミラー４６に入射させられる。

それら３つのダイクロイックミラー４４，４５，４６にそれぞれ入射した３原色のレーザ光は、波長選択的に反射または透過して結合光学系４７に達し、集光され光ファイバー１２０へ出力され、光走査部１８ｂへと出力される。

光走査部１８ｂは、先に説明したように、ヘッドマウント１１に搭載されているものである。

この光走査部１８ｂは、映像光生成部１８ａで生成された光束を画像表示のために水平方向及び垂直方向に走査する走査手段５１と、この走査手段５１によって走査された表示用走査光束を再度収束し、使用者Ｍの瞳孔Ｅへ出射するリレー光学系９０ａとを備えている。

走査手段５１は、光合成部４０から出射された光束の波面曲率を変調するための波面変調部６０と、波面曲率が変調された光束を水平方向に走査する水平走査部７０と、この水平走査部７０によって水平方向に走査された光束を収束する第２のリレー光学系７５と、第２のリレー光学系７５を介して入射されるレーザ光束を垂直方向に走査する垂直走査部８０とを備えている。

波面変調部６０は、映像光生成部１８ａから光ファイバー１２０によって伝搬された光束を再度平行光にコリメートする第２のコリメート光学系６１と、このようにコリメートされた光束を、透過光と、透過光の垂直方向に反射された反射光とに分離するビームスプリッタ６２と、ビームスプリッタ６２に反射された光束を収束する焦点距離ｆの正の屈折力を持つレンズ系６３と、レンズ６３系に収束された光束を入射方向に反射する可動ミラー６４とを備えている。

この波面変調部６０は、さらに、可動ミラー６４を、レンズ系６３に接近させるか又はレンズ系６３から離れる向きに変位させる波面変調駆動回路６５を備えている。

以上のように構成された波面変調部６０においては、映像光生成部１８ａから入射した光束がビームスプリッタ６２で反射し、レンズ系６３を通った後、可動ミラー６４で反射する。そして、再度、レンズ６３系を通った後に、ビームスプリッタ６２を透過して水平走査部７０へ出射される。

この波面変調部６０は、波面変調駆動回路６５によって、レンズ系６３と可動ミラー６４との間隔を変更することによって、第２のコリメート光学系６１から入射して水平走査部７０へ向かう光束の波面曲率を変更することができる。このように、波面変調部６０を備えているので、波面変調を行うことで、指示棒１２の延長上に補助虚像Ｉｓを表示するとき、補助虚像Ｉｓを実空間に存在するように使用者Ｍに視認させることができる。たとえば補助虚像Ｉｓの表示では、指示棒１２の延長方向の奥行き距離に応じた波面変調を行う。なお、この波面変調駆動回路６５は、映像信号供給回路２１から出力される奥行き信号２５に基づいて駆動する。

また、水平走査部７０及び垂直走査部８０は、波面変調部６０から入射された光束を画像として投影可能な状態にするために、水平方向と垂直方向に走査して表示用走査光束と
するものである。

水平走査部７０は、光束を水平方向に走査するためのポリゴンミラー７１と、このポリゴンミラー７１を駆動させる水平走査駆動回路７２とを有しており、垂直走査部８０は、光束を垂直方向に走査するためのガルバノミラー８１と、このガルバノミラー８１を駆動させる垂直走査駆動回路８２とを備えている。なお、水平走査駆動回路７２と垂直走査駆動回路８２は、映像信号供給回路２１から出力される水平同期信号２３と垂直同期信号２４に基づいてそれぞれ駆動する。

また、水平走査部７０と垂直走査部８０との間での光束を中継する第２のリレー光学系７５を備えており、波面変調部６０から入射した光束は、ポリゴンミラー７１によって水平方向に走査され、第２のリレー光学系７５を通って、ガルバノミラー８１によって垂直方向に走査されて、表示用走査光束として、リレー光学系９０ａへ出射される。

リレー光学系９０ａは、正の屈折力を持ったレンズ系９１ａ，９４ａを有している。垂直走査部８０から出射された表示用走査光束は、レンズ系９１ａによって、それぞれの光束がその光束の中心線を相互に平行にされ、かつそれぞれ収束光束に変換される。そして、レンズ系９４ａによってほぼ平行な光束となると共に、これらの光束の中心線が使用者Ｍの瞳孔Ｅに収束するように変換される。

以上、説明してきた本実施形態の画像表示装置によれば、使用者Ｍは、ヘッドマウント１１を装着した状態で外界を視認できると同時に、光学系によって網膜Ｆに投射される画像光によって表示される主虚像Ｉｍおよび補助虚像Ｉｓを視認することができる。

次に、このような画像表示装置の使用状態について説明する。

図１に示されるように、使用者Ｍは、まず、ヘッドマウント１１を頭部Ｈに装着すると共に、腰にコントロールユニット１３を装着する。そして、指示棒１２を把持する。

図３に示されるように、この状態で、使用者Ｍの眼には、外界からの光Ｚ２が入射しており、外界の様子を視認できる。そして、この状態で、実施形態の画像表示装置を作動させると、使用者Ｍの眼に、画像表示装置によって生成された画像光Ｚ１が入射し、使用者Ｍは、表示される画像を視認することができる状態になる。

例えば、図５（ａ）に示されるように、視野に、主虚像Ｉｍ１が表示されている状態を考える。

主虚像Ｉｍ１は、基準座標系の所定位置に静止状態で位置されているものである。つまり、使用者Ｍにとっては、主虚像Ｉｍ１は、視野に存在する実像と同様に静止しているように見える。したがって、例えば、図５（ｂ）に示されるように、主虚像Ｉｍ１の方を向いた状態から図５（ｃ）に示されるように、別の方向を向くと、主虚像Ｉｍ１はヘッドマウント１１に搭載された光走査部１８ｂから投射した画像光Ｚ１によって表示されている画像であるにもかかわらず、あたかも実在する静止状態の物体のように視界から消える。

このとき、制御部１７では、静止状態である主虚像Ｉｍ１については、基準座標系における位置が固定されているものとして扱っている。また、制御部１７は、頭部位置検出部１５で検出されたヘッドマウント１１の基準座標系における位置及び向きに基づいて、ヘッドマウントを装着した使用者Ｍの視野の向きを求めている。

そして、ここで求めた、この時点における使用者Ｍの視野の所定点を原点とする座標系を表示用座標系としている。そして、この座標系における主虚像Ｉｍ１の位置及び向きを求め、その位置に主虚像Ｉｍ１を表示する。このようにすると、主虚像Ｉｍ１があたかも実在する物体と同様に実空間に静止しているかのように表示される。これは、補助虚像Ｉｓについても同様である。

ここで、使用者Ｍが指示棒１２を使って、主虚像Ｉｍ１を操作することを考える。
例えば、視野にある主虚像Ｉｍ１を移動させる場合は、使用者Ｍは、まず、モード選択ボタン１６ａを押して、主虚像操作モードを選択する。ここで、移動させたい主虚像Ｉｍ１が１つであれば、右ボタン１６ｃを押して単独選択できる状態にする。この状態で、上ボタン１６ｂを押すと、補助虚像Ｉｓで指し示す主虚像Ｉｍを操作対象の主虚像Ｉｍ１として選択することができる。そして、図８（ｂ）において破線で示されるように、主虚像Ｉｍ１が選択された状態で、指示棒１２を動かすと、選択された主虚像Ｉｍ１が指示棒１２や補助虚像Ｉｓ１と共に、使用者Ｍの視野内を一体的に移動する。

また、所定領域にある主虚像Ｉｍを包括選択したい場合は、左ボタン１６ｅを押して、包括選択できる状態にする。この状態で、上ボタン１６ｂを押すと、選択したい所定領域Ａ（図９参照）を補助虚像Ｉｓの先端で取り囲むことができる状態になる。そこで、図９に示されるように、指示棒１２を操作すると、取り囲まれた領域内の主虚像Ｉｍ１，Ｉｍ２が選択される。この状態で、上ボタン１６ｂを押した状態を解除すると、複数の主虚像Ｉｍ１，Ｉｍ２の選択が確定され、選択された主虚像Ｉｍ１，Ｉｍ２の色が変わる。そして、選択が確定された状態で、指示棒１２を動かすと、選択された主虚像Ｉｍ１，Ｉｍ２を、指示棒１２および補助虚像Ｉｓと共に使用者Ｍの視野内で一体的に移動させることができる。

また、本実施形態の画像表示装置は、種々の機能を備えている。たとえば、残像表示設定モードについて説明する。

使用者Ｍは、モード選択ボタン１６ａを押すことで、モードを変更できるので、これにより、残像表示設定モードを選択する。そして、残像表示設定モードを選択した状態で、操作部１６の右ボタン１６ｃを押すと残像表示モードに設定される。このようにして残像表示モードにすると、補助虚像Ｉｓを移動させたときに、補助虚像Ｉｓの映像が残像として所定時間残る。このように、残像が残るようにすると、補助虚像Ｉｓの微妙な位置調整を容易に行なうことができる。

また、使用者Ｍは、接触判定設定モードを選択する場合（図１０参照）は、当該モードにした状態で、操作部１６の右ボタン１６ｃを押す。すると、接触判定モードが設定される。そして、たとえば、上ボタン１６ｂを押すと、接触したことを、色の変化で知らせる設定になる。この状態で、指示棒１２を動かすと、これに伴い補助虚像Ｉｓが動く。そして、補助虚像Ｉｓの一部が主虚像Ｉｍとぶつかると、補助虚像Ｉｓの色が変わる。制御部は、補助虚像Ｉｓおよび主虚像Ｉｍの基準座標系における位置及び向きを随時求めており、これらのデータと補助虚像Ｉｓや主虚像Ｉｍの形状に基づいて、両者が接触した状態であるか否かを求めることができるようになっている。このようにして両者が接触したことが求められると、補助虚像Ｉｓの色を変化させる。したがって、補助虚像Ｉｓの色の変化に着目することにより、補助虚像Ｉｓによって主虚像Ｉｍを選択できる状態であることを簡単に認識することができる。

また、使用者Ｍは、補助虚像選択モードにおいて、操作部１６の右ボタン１６ｃまたは左ボタン１６ｅ押していくことで、順次、図６（ａ）に示される一本の棒状に連続的に表示される補助虚像Ｉｓ１、図７（ａ）に示される断続的に表示される補助虚像Ｉｓ２、または図１１（ａ）に示される点状に示される補助虚像Ｉｓ３を選択できる。

また、補助虚像操作モードで、下ボタン１６ｄを押すと、図７（ｂ）に示されるように、補助虚像Ｉｓ１の長さを短くすることができ、上ボタン１６ｂを押すと、補助虚像Ｉｓ１を長くすることができる。また、右ボタン１６ｃを押すと、図８（ａ）に示されるように、補助虚像Ｉｓ１を細くすることができ、左ボタン１６ｅを押すと、補助虚像Ｉｓ１を太くすることができる。

また、補助虚像色設定モードで、操作部１６の右ボタン１６ｃまたは左ボタン１６ｅを押すと、順次、補助虚像Ｉｓの色として異なる色を設定できる。

以上、本発明に係る画像表示装置について説明したが、本発明は上記実施例に限られるものではなく、種々改変できる。

たとえば、上記実施形態の画像表示装置では、基準座標系の原点は観察者の腰に装着されるコントロールユニットの所定点になっている。原点すなわち所定の基準点としては、位置検出誤差をできるだけ少なくするという観点では、動きが安定している位置が好ましいといえる。そして、腰位置は、観察者である人間のなかで最も動きが安定していると考えられる点で、原点位置として好ましいが、これ以外の点を原点としてもよい。例えば、観察者と共に移動するヘッドマウントの所定点を原点としてもよい。首の動きがある分だけ、腰の位置よりも複雑な動きをする位置であるが、実施に画像を表示させる位置に近接した位置であるという点で、誤差が生じにくく、その点で好ましい。

なお、基準座標系の原点すなわち所定の基準点は、腰に装着されるコントロールユニットの所定点やヘッドマウントの所定点以外の位置であっても、実空間上の所定点であればよい。ただし、実空間上の所定点を基準座標系の原点として用いる場合は、当該原点とヘッドマウントやコントロールユニットの位置との位置関係をできるだけ正確に求める必要がある。

また、上記実施形態の画像表示装置は、観察者の腰に装着されるコントロールユニットに指示棒位置検出用受信部が搭載されており、観察者は自由に移動できるが、例えばヘッドマウントを装着した状態で所定の座席に着席して使用するような画像表示装置や、観察者の視野が固定されており、たとえば観察者が覗き窓を覗き込むようにして使用する画像表示装置が考えられる。

そして、前者のような画像表示装置では、観察者が着席する座席の位置などの固定点を三次元座標系の原点として使用することができる。この場合、原点は、常に座席位置であるので、この位置を基準として指示棒の位置及び向きを特定すればよい。したがって、観察者の移動位置を特定する必要がなく、指示棒位置検出用受信部をコントロールユニットに搭載しなくてもよい。

また、後者のような画像表示装置では、観察者が覗き窓を覗き込むようにして使用される画像表示装置であり、観察者の視野が固定されている画像表示装置では、観察者の視野の所定点を座標系の原点として使用することができる。この場合、表示用座標系そのものが基準座標系になり、この原点を基準として指示棒の位置及び向きを特定すればよい。したがって、この場合も、観察者の移動位置を特定する必要がなく、指示棒位置検出用受信部をコントロールユニットに搭載しなくてもよい。また、上記実施形態のヘッドマウントのような頭部ユニット部を用いない構成にすることができる。

（ａ）は、画像表示装置の使用状態を示す模式図であり、（ｂ）は、画像表示装置の一構成物であるヘッドマウントを示す概略斜視図、（ｃ）は、画像表示装置の一構成物であるコントロールユニットを示す概略斜視図である。 画像表示装置の構成を示すブロック図である。 ヘッドマウントを装着した状態を示す平面図である。 画像表示装置が備える画像表示部を示すブロック図である。 画像表示装置の使用者の視野を示す説明図である。 （ａ）は、画像表示装置の使用者の視野を示す説明図であり、（ｂ）は、指示棒の操作部を示す説明図である。 画像表示装置の使用者の視野を示す説明図である。 画像表示装置の使用者の視野を示す説明図である。 画像表示装置の使用者の視野を示す説明図である。 画像表示装置の使用者の視野を示す説明図である。 画像表示装置の使用者の視野を示す説明図である。

符号の説明

１１ ヘッドマウント
１２ 指示棒
１３ コントロールユニット
１４・・・指示棒検出部
１５・・・頭部位置検出部
１６・・・操作部
１７・・・制御部
１８・・・画像表示部
１８ａ・・・映像光生成部
１８ｂ・・・光走査部
２０・・・映像光生成部
２１・・・映像信号供給回路
Ｉｍ・・・主虚像
Ｉｓ・・・補助虚像
Ｍ・・・使用者

Claims (22)

1. 外光を透過させつつ画像情報に基づいた画像光を観察者の網膜に投射することにより、前記外光による実像と前記画像光による虚像とを同時に観察者に視認させる画像表示装置であって、
   位置及び向きを変更可能な指示器と、
   前記指示器の位置及び向きを検出する指示器検出部と、
   前記指示器の位置及び向きに応じた補助虚像を表示対象の主虚像と共に表示用座標系上に配置した画像情報を生成し、当該画像情報に基づいた画像光を前記観察者の網膜に投射する画像表示部と、
   を備えたことを特徴とする画像表示装置。
2. 前記指示器検出部は、
   前記表示用座標系における前記指示器の位置及び向きを検出し、
   前記画像表示部は、
   前記表示用座標系における前記指示器の位置からその向きの延長上に補助虚像を、表示対象の主虚像と共に表示用座標系上に配置した画像情報を生成する画像情報生成器と、
   前記画像情報生成器により生成された前記画像情報に応じた光束を生成する光束生成器と、
   前記光束を前記観察者の網膜へ投射する光学系と、を備えたことを特徴とする請求項１に記載の画像表示装置。
3. 観察者の頭部に装着する頭部装着ユニットに、前記画像表示部のうち少なくとも前記光学系を配置したことを特徴とする請求項２に記載の画像表示装置。
4. 前記頭部装着ユニットの位置及び向きを検出する頭部ユニット検出部を設け、
   前記画像情報生成器は、
   所定の基準点を中心とした基準座標系上に前記主虚像を固定し、前記頭部装着ユニットの位置及び向きの変化に応じて前記表示用座標系における前記主虚像の位置及び向きを変更すると共に、前記頭部装着ユニット及び前記指示器の位置及び向きの変化に応じて前記表示用座標系における前記補助虚像の位置及び向きを変更した前記画像情報を生成することを特徴とする請求項３に記載の画像表示装置。
5. 前記所定の基準点は、実空間上の所定点であることを特徴とする請求項４に記載の画像表示装置。
6. 前記観察者である人体を構成する前記頭部以外の部位に装着する基準ユニットを設け、
   前記基準ユニットを前記所定の基準点とすることを特徴とする請求項４に記載の画像表示装置。
7. 前記画像情報生成器は、
   前記補助虚像を、前記表示用座標系における前記指示器の位置からその向きの延長方向上の所定位置まで連続的に延在させて配置した画像情報を生成することを特徴とする請求項２から６のいずれか一項に記載の画像表示装置。
8. 前記画像情報生成器は、
   前記補助虚像を、前記表示用座標系における前記指示器の位置からその向きの延長方向上の所定位置まで断続的に延在させて配置した画像情報を生成することを特徴とする請求項２から６のいずれか一項に記載の画像表示装置。
9. 前記補助虚像の長さを設定する補助虚像長設定部を設け、
   前記画像情報生成器は、
   前記補助虚像長設定部によって前記補助虚像の長さが設定されると、当該設定された長さに応じた前記所定位置まで延在する前記補助虚像を配置した画像情報を生成することを特徴とする請求項７又は請求項８に記載の画像表示装置。
10. 前記補助虚像の幅を設定する補助虚像幅設定部を設け、
    前記画像情報生成器は、
    前記補助虚像幅設定部によって前記補助虚像の幅が設定されると、当該設定された幅に応じた幅の前記補助虚像を配置した画像情報を生成することを特徴とする請求項７から９のいずれか一項に記載の画像表示装置。
11. 前記主虚像を指定する主虚像指定操作部を設け、
    前記画像情報生成器は、
    前記主虚像指定操作部によって指定された主虚像と前記補助虚像とを関連付け、前記表示用座標系における前記補助虚像の位置及び向きの変更に応じて前記主虚像の位置及び向きを変更することを特徴とする請求項７から１０のいずれか一項に記載の画像表示装置。
12. 前記指示器の位置及び向きの変化によって前記表示用座標系上で移動する前記補助虚像の軌跡内に存在する前記主虚像を特定する主虚像選択範囲特定部を設け、
    前記画像情報生成器は、
    前記主虚像選択範囲特定部で特定された前記主虚像の色を変更することを特徴とする請求項７から１１のいずれか一項に記載の画像表示装置。
13. 前記画像情報生成器は、
    前記指示器の位置及び向きの変化によって前記表示用座標系上で移動する前記補助虚像の軌跡を所定時間残像とする画像情報を生成することを特徴とする請求項１２に記載の画像表示装置。
14. 前記画像情報生成器は、
    前記表示用座標系上で前記補助虚像の一部が前記主虚像の一部と接触すると判定すると、前記補助虚像又は前記主虚像の色を変更した画像情報を生成することを特徴とする請求項７から１３のいずれか一項に記載の画像表示装置。
15. 前記表示用座標系上で前記補助虚像の一部が前記主虚像の一部と接触すると判定すると、音でその旨を報知する音源部を備えたことを特徴とする請求項７から１３のいずれか一項に記載の画像表示装置。
16. 前記画像情報生成器は、
    前記表示用座標系における前記指示器の位置から当該指示器の向きの延長方向上であって前記主虚像との交点となる位置に前記補助虚像を配置した画像情報を生成することを特徴とする請求項２から６のいずれか一項に記載の画像表示装置。
17. 前記画像情報生成器は、
    前記表示用座標系における前記指示器の位置から当該指示器の向きの延長方向上であって前記主虚像との交点となる位置がないと判定すると、前記補助虚像を表示しない前記画像情報を生成することを特徴とする請求項２，３，４，５，６，１６のいずれか一項に記載の画像表示装置。
18. 前記画像情報生成器は、
    前記表示用座標系における前記指示器の位置から当該指示器の向きの延長方向上であって前記主虚像との交点となる位置がないと判定すると、その旨を報知する虚像を前記主虚像と共に表示用座標系上に配置した画像情報を生成することを特徴とする請求項２，３，４，５，６，１６のいずれか一項に記載の画像表示装置。
19. 前記光学系は、前記光束の波面を変調する波面変調手段を有するものであり、指示器の延長方向の奥行きに応じた波面変調を行うことを特徴とする請求項１から１８のいずれか一項に記載の画像表示装置。
20. 前記補助虚像の色を設定する補助虚像色設定部を設け、
    前記画像情報生成器は、
    前記補助虚像色設定部によって前記補助虚像の色が設定されたと判定すると、当該設定された色の前記補助虚像を前記主虚像と共に配置した画像情報を生成することを特徴とする請求項２から１９のいずれか一項に記載の画像表示装置。
21. 前記指示器検出部は、
    少なくとも３つの直交コイルを有し、前記指示器に設けられた交流磁界発生器から発生する交流磁界の前記３つの直交コイルによる検出強度に基づいて、前記指示器の位置及び向きを検出することを特徴とする請求項１から２０のいずれか一項に記載の画像表示装置。
22. 前記光学系は、前記光束を２次元的に走査する走査手段を有し、当該走査手段によって走査された光束を前記観察者の網膜へ投射する網膜走査型の画像表示装置であることを特徴とする請求項１から２１のいずれか一項に記載の画像表示装置。

Images