JP2005138755A - 虚像表示装置およびプログラム - Google Patents

Abstract

【課題】 指示対象となる虚像を簡便に特定できる虚像表示装置を提供。
【解決手段】 虚像表示システム１は車両に搭載されており、車両の前方窓であるウインドシールド３，虚像を表示するヘッドアップディスプレイ装置（ＨＵＤ）５，運転者の目を撮影する視点検知用カメラ７，運転者の手を撮影するジェスチャ検知用カメラ９を備えている。そして、運転者が、指先で表示虚像を指し示す動作をすると、ＨＵＤ５は、視点検知用カメラ７及びジェスチャ検知用カメラ９による撮影画像をそれぞれ画像認識処理して、運転者の目位置と指先位置を検出することにより運転者の視線を特定する。これにより、この視線上にある虚像が特定される。その後、運転者が「手で物を払いのける動作」をすると、ジェスチャ検知用カメラ９による撮影画像を画像認識処理して、虚像消去指令が入力されたと検出する。これにより、特定された虚像が消去される。
【選択図】図１

Description

本発明は、虚像を前景に重畳させて表示する虚像表示装置に関する。

今後、車両内表示情報の多様化・多量化が進み、視認性に優れ運転者負担の少ない画像ＨＭＩ（Ｈｕｍａｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ）への要求が一層高まるものと思われる。特に、表示コンテンツとして、視界補助情報，視覚情報等の安全走行支援分野のニーズが高まり、これらをより効果的に伝達するためには、大画面表示，遠方表示，重畳表示が可能であるヘッドアップディスプレイのような虚像表示装置が望ましい。このようなヘッドアップディスプレイには、例えば、車両前方の道路に関する経路情報を取得し、車両が交差点に接近していることを経路情報に基づいて検知すると、運転者の眼球位置を検出して、運転者の眼球と車両前方の交差点とを結ぶ直線上に、進行方向を示す虚像を表示するものがある（例えば、特許文献１参照。）。
特開平７−２５７２２８号公報

ところで、ヘッドアップディスプレイにおいて大画面表示が可能になると、例えば、車両の走行速度，エンジン回転速度，燃料残量などの基本的な車両情報をはじめとして、矢印などのナビゲーション情報，白線検知や前方監視などの予防安全情報，建物や交差点の陰に隠れている危険物を表示する死角情報，夜間や霧発生時の視覚補助情報などの様々な情報を、虚像として画面上に同時に表示することが可能になる。

しかし、このような情報を示す虚像は前景に重畳されて表示されるので、その虚像の内容を運転者が確認した後は、運転者の視野の邪魔にならないように、この虚像を消去することが望ましい。

このために、虚像を一定時間表示した後に消去するという方法が知られている。しかし、この方法では、情報を認知するまでの時間が運転者により異なるので、運転者が情報の内容を認知する前に虚像が消去されたり、逆に、運転者が情報の内容を認知した後でも一定時間が経過するまでは、運転者の視野の邪魔になるという問題があった。

そこで、運転者の指示によって、虚像を消去したり表示位置を変えたりする方法が考えられる。そして、この方法では、複数の虚像が画面上に表示されている場合には、どの虚像を選択するかを指示する必要がある。即ち、音声入力で指示を出すことを考えると、例えば、「ナビ情報の矢印を消して」とか「右上の表示はいらない」と言って指示する方法が挙げられる。

しかし、このような音声入力による虚像選択は、指示内容が複雑で長くなるため、指示を入力するための時間がかかり、運転者に負担を与えるという問題があった。
本発明は、こうした問題に鑑みなされたものであり、複数の虚像が表示されている場合においても、指示の対象となる虚像を簡便に特定することができる虚像表示装置を提供することを目的とする。

係る目的を達成するためになされた請求項１に記載の虚像表示装置においては、視線特定手段は当該虚像表示装置を操作する操作者の視線を特定する。そして、虚像特定手段は当該虚像表示装置により表示されている虚像のうち、視線特定手段により特定された操作者視線上或いはその近傍にある虚像を、操作者が注視している注視虚像と特定する。さらに、表示指令検出手段が、当該虚像表示装置による表示を制御するための表示制御指令を検出すると、第１表示制御手段は、表示指令検出手段により検出された表示制御指令が、注視虚像の表示についての指令である場合には、表示制御指令に基づいて、注視虚像の表示を制御する。

即ち、操作者は、表示制御指令の実行対象とすべき虚像を注視することによって、その虚像を特定することができる。
このため、複数の虚像が表示されている場合において、複雑な入力を行うことなく、所望の虚像を簡便に特定でき、特定した虚像についての指令を出すことができる。

また、請求項１に記載の虚像表示装置において、視線特定手段は、請求項２に記載のように、前記操作者の目が位置する第１位置を検出するとともに、前記操作者の手或いは指が位置する第２位置を検出し、該第１位置と該第２位置とを結ぶ直線を、前記操作者視線とする、ようにするとよい。

このように構成された虚像表示装置によれば、表示制御指令の実行対象とすべき虚像を見ながら、その虚像を手或いは指で指し示すことによって、その虚像を特定することができる。

また、請求項２に記載の虚像表示装置が備える視線特定手段においては、請求項３に記載のように、前記操作者を撮影し、該撮影された前記操作者画像を画像認識処理することにより、前記第１位置及び前記第２位置の少なくとも一方を検出する、ように構成されたものを適用してもよい。

ところで、一般に、人間の目は左右の目の何れかが利き目があり、人間は利き目により物体の位置関係を把握する。例えば、両目で物体を見ながら、その物体を人差し指で指し示し、その後に、片目ずつ瞑ってその物体を見るということを行うと、一方の目で見た時は、両目で見た時と物体の位置が変わらないが、他方で見た時には、両目で見た時と物体の位置が変わるように見える。即ち、左右の目のうち、物体の位置が変わらない方が利き目であり、位置が変わる方が利き目でない目である。つまり、物体の位置を特定するためには、利き目でない目の視線より、利き目の視線を用いるほうが良い。

そこで、請求項２または請求項３に記載の虚像表示装置においては、操作者の左右の目の何れかの目の位置を第１位置として検出してもよいが、請求項４に記載のように、前記操作者の左右の目のうち、利き目である目を特定する利目特定手段を備え、前記視線特定手段は、前記利目特定手段により特定された利き目の位置を前記第１位置とする、ようにすることが望ましい。

このように構成された虚像表示装置によれば、利き目の視線を特定するので、精度良く注視虚像を特定することができる。
また、請求項１に記載の虚像表示装置において、視線特定手段は、請求項２に記載のようにしてもよいが、請求項５に記載のように、前記操作者の目の中心位置と、該操作者目の黒目が位置する黒目位置とを検出し、該操作者黒目位置の、該操作者目中心位置からのズレに基づいて、前記操作者視線を特定する、ようにしてもよい。

即ち、操作者は、表示制御指令の実行対象とすべき虚像を手或いは指で指し示すことなく、ただ注視することにより、その虚像を特定することができる。
尚、請求項２に記載の構成を用いて特定した操作者視線のほうが、請求項５に記載の構成を用いて特定した操作者視線よりも、虚像を特定するための精度は良い。このため、虚像を特定するために行う操作者の動作と、虚像特定精度とを考慮して、請求項２或いは請求項５に記載の構成を適用する必要がある。

また、請求項５に記載の虚像表示装置が備える視線特定手段においては、請求項６に記載のように、前記操作者を撮影し、該撮影された操作者画像を画像認識処理することにより、前記操作者目中心位置と前記操作者黒目位置を検出する、ように構成されたものを適用してもよい。

また、上述したように、人間の目は左右の目の何れかが利き目があるので、請求項５または請求項６に記載の虚像表示装置においては、請求項７に記載のように、前記操作者の左右の目のうち、利き目である目を特定する利目特定手段を備え、前記視線特定手段は、前記利目特定手段により特定された利き目の中心位置及び黒目位置をそれぞれ前記操作者目中心位置及び前記操作者黒目位置とする、ようにすることが望ましい。

このように構成された虚像表示装置によれば、請求項４に記載の虚像表示装置と同様の効果を得ることができる。
また、請求項４または請求項７に記載の虚像表示装置において、請求項８に記載のように、前記利目特定手段は、当該虚像表示装置の起動時に利き目を特定する、ようにするとよい。

このように構成された虚像表示装置によれば、利き目でない目の視線を特定するということが、当該虚像表示装置の起動直後からなくなるので、当該虚像表示装置の起動直後から精度良く虚像を特定することができる。

また、請求項１〜請求項８に記載の虚像表示装置において、請求項９に記載のように、前記表示指令検出手段は、前記操作者の手或いは指の動きを認識し、該認識した動きに基づいて、前記表示制御指令の指令内容を特定する、ようにしてもよい。

このように構成された虚像表示装置によれば、操作者が、手或いは指を動かしてジェスチャを行うことにより、虚像表示装置に対して指令を出すことができる。
また、請求項９に記載の虚像表示装置において、請求項１０に記載のように、前記表示指令検出手段は、前記操作者を撮影し、該撮影された操作者画像を画像認識処理することにより、前記操作者の手或いは指の動きを認識する、ようにしてもよい。

即ち、操作者の手或いは指の動きを認識する手法としては、例えば、周知のパターンマッチングの手法を用いて画像認識処理するものが適用できる。
また、請求項９に記載の虚像表示装置において、請求項１１に記載のように、前記表示指令検出手段は、前記操作者の手或いは指の動きを認識するために予め設定された領域に向けて赤外線レーザ光を照射し、前記操作者の手或いは指に当たった赤外線レーザ光を検出することにより、前記操作者の手或いは指の動きを認識する、ようにしてもよい。

即ち、操作者の手或いは指の動きを認識する手法としては、例えば、一端から赤外線レーザ光を照射し、照射された赤外線レーザ光を他端で検出するように構成された複数の赤外線センサを、赤外線レーザ光が格子状に照射されるように配置し、操作者の手或いは指により遮断された赤外線レーザ光を検出することにより、操作者の手或いは指の動きを認識するもの、或いは、赤外線レーザ光を照射し、操作者の手或いは指により反射された赤外線レーザ光を検出することにより、操作者の手或いは指の動きを認識するものが適用できる。

また、請求項１〜請求項１１何れかに記載の虚像表示装置において、請求項１２に記載のように、前記表示指令検出手段は、前記操作者が発した音声を入力し、該入力した操作者音声を音声認識処理することにより、前記表示制御指令の指令内容を特定する、ようにしてもよい。

このように構成された虚像表示装置によれば、操作者が、音声を発することにより、虚像表示装置に対して指令を出すことができる。
また、請求項１〜請求項１２何れかに記載の虚像表示装置において、請求項１３に記載のように、前記表示指令検出手段は、予め設定された被操作部に対する操作を検出し、該検出された操作に基づいて、前記表示制御指令の指令内容を特定する、ようにしてもよい。

このように構成された虚像表示装置によれば、操作者が、被操作部に対して操作することにより、虚像表示装置に対して指令を出すことができる。
また、請求項１３に記載の虚像表示装置において、当該虚像表示装置が車両に搭載されている場合には、請求項１４に記載のように、前記被操作部は、当該車両のステアリングに配置される、ようにすることが望ましい。

このように構成された虚像表示装置によれば、操作者が車両を運転している時において、操作者は手を少し移動させることで被操作部を操作することができるので、運転中における被操作部の操作の負担を低減することができる。

また、請求項１〜請求項１４何れかに記載の虚像表示装置において、請求項１５に記載のように、前記操作者が前記反射手段を通して見ることができる前景物の配置を示す前景配置情報を取得する配置情報取得手段と、前記配置情報取得手段により取得された前景配置情報に基づき、前記前景物のうち、前記視線特定手段により特定された操作者視線上或いはその近傍にある前景物を、前記操作者が注視している前景注視物と特定する前景特定手段と、前記表示指令検出手段により検出された表示制御指令が、前記前景注視物に関する表示についての指令である場合には、前記表示制御指令に基づいて、前記前景注視物に関する表示を制御する第２表示制御手段と、を備える、ようにするとよい。

このように構成された虚像表示装置によれば、配置情報取得手段は、操作者が前記反射手段を通して見ることができる前景物の配置を示す前景配置情報を取得する。そして、前景特定手段は、配置情報取得手段により取得された前景配置情報に基づき、前景物のうち、視線特定手段により特定された操作者視線上或いはその近傍にある前景物を、操作者が注視している前景注視物と特定する。さらに、表示指令検出手段が、当該虚像表示装置による表示を制御するための表示制御指令を検出すると、第２表示制御手段は、表示指令検出手段により検出された表示制御指令が、前景注視物に関する表示についての指令である場合には、表示制御指令に基づいて、前景注視物に関する表示を制御する。

即ち、操作者は、表示制御指令の実行対象とすべき前景物を注視することによって、その前景物を特定することができる。
このため、複雑な入力を行うことなく、所望の前景物を簡便に特定でき、特定した前景物についての指令を出すことができる。

また、請求項１５に記載の虚像表示装置において、請求項１６に記載のように、前記配置情報取得手段は、ナビゲーション用地図データを提供する情報センターから、該ナビゲーション用地図データを無線通信によって取得し、該取得した地図データを前記前景配置情報とする、ようにしてもよい。

このように構成された虚像表示装置によれば、必要な範囲の地図データを情報センターから取得できるため、大量のナビゲーション用地図データを予め記憶するための手段を備える必要がない。

また、近年、ナビゲーション用地図データはＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ等に記憶されたデータとして広く流通しているので、請求項１５または請求項１６に記載の虚像表示装置において、請求項１７に記載のように、前記配置情報取得手段は、ナビゲーション用地図データを記憶する記憶装置から、該ナビゲーション用地図データを取得し、該取得した地図データを前記前景配置情報とする、ようにしてもよい。

このように構成された虚像表示装置によれば、既存のナビゲーション用地図データを流用して、前景配置情報を取得することができる。
また、請求項１５〜請求項１７何れかに記載の虚像表示装置において、請求項１８に記載のように、前記配置情報取得手段は、前記操作者が前記反射手段を通して見ることができる前景を撮影し、該撮影した前景画像を前記前景配置情報とし、前記前景特定手段は、該撮影した前景画像を画像認識処理することにより、前記操作者視線上或いはその近傍にある前景物を示す画像を抽出し、該抽出した前景物画像によって示される前景物を前記前景注視物と特定する、ようにしてもよい。

このように構成された虚像表示装置によれば、ナビゲーション用地図データを取得しなくても、操作者が注視している前景物を特定することができる。
また、請求項１〜請求項１８何れかに記載の虚像表示装置において、虚像表示装置が車両に搭載されている場合には、請求項１９に記載のように、前記反射手段は、当該車両のウインドシールドである、ようにするとよい。

このように構成された虚像表示装置によれば、車両に既に備えられているウインドシールドを反射手段として流用することができるので、新たに反射手段を設ける必要がない。
また、請求項２０に記載のプログラムは、請求項１〜請求項１９何れか記載の虚像表示装置が備える前記各手段としての機能をコンピュータに実現させる、ことを特徴とする。

このようなプログラムによって制御されるコンピュータシステムは、請求項１〜請求項１９に記載の虚像表示装置の一部を構成することができ、同虚像表示装置と同様の作用・効果を得ることができる。

尚、このような虚像表示装置が備える各手段をコンピュータにて実現する機能は、例えば、コンピュータ側で起動するプログラムとして備えられる。このようなプログラムの場合、例えば、フレキシブルディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，ハードディスク，ＲＯＭ，ＲＡＭ等のコンピュータ読み取り可能な記録媒体に記録し、必要に応じてコンピュータにロードして起動することにより用いることができ、また、ネットワークを介してロードして起動することにより用いることができる。

以下に本発明の実施形態について図面をもとに説明する。
まず、本発明の虚像表示装置を適用した虚像表示システム１の構成を図１に基づいて説明する。図１は、虚像表示システム１の構成を示す模式図である。

本実施形態の虚像表示システム１は車両に搭載されており、図１に示すように、車両の前方窓であるウインドシールド３と、ウインドシールド３上に画像を表示するヘッドアップディスプレイ装置５と、運転者の目を撮影する視点検知用カメラ７と、運転者の手を撮影するジェスチャ検知用カメラ９と、運転者から発せられる音声を入力するマイクロフォン１１と、ＧＰＳ(Global Positioning System）用の人工衛星からの送信電波をＧＰＳアンテナを介して受信し、車両の位置を検出するＧＰＳ受信機１３と、車両の走行速度を検出する車速センサ１５と、周知の地磁気センサやジャイロスコープ等によって構成され、車両の進行方向の絶対方位や車両において発生する加速度等を検出する方位センサ１７とを備えている。

これらのうち、ヘッドアップディスプレイ装置５は、視点検知用カメラ７，ジェスチャ検知用カメラ９及びマイクロフォン１１が接続され、これらから入力される信号及びデータに基づいてウインドシールド３上に表示するための画像データを生成するコントローラ３１と、コントローラ３１から画像データを取得し、この画像データを表示光に変換して出力する表示素子３３と、表示素子３３から出力される表示光をそれぞれウインドシールド３に導く反射板であるミラー３５とを備えている。

つまり、表示素子３３が表示光を出力すると、ウインドシールド３に虚像が投影され、車室内の運転席に着座する乗員は、その投影された虚像を車両前方の実際の風景に重ねて視認することになる。

次に、コントローラ３１の構成を図２に基づいて説明する。図２は、コントローラ３１の内部構成を示すブロック図である。
コントローラ３１は、図２に示すように、所定の処理プログラムに基づいて処理を実行するＣＰＵ５１と、種々の制御プログラムが格納されたＲＯＭ５３と、種々のデータを格納する各種メモリが設けられたＲＡＭ５５と、建物の位置や名称などが格納されたナビゲーション用地図データを記憶するデータベース５７と、表示素子３３に出力する画像データを記憶する描画ＲＡＭ５９と、描画ＲＡＭ５９に記憶された画像データを読み出し、ウインドシールド３の適切な位置に表示像が表示されるように表示位置を計算して、表示素子３３へ画像データを出力する表示コントローラ６１と、視点検知用カメラ７，ジェスチャ検知用カメラ９，マイクロフォン１１，ＧＰＳ受信機１３，車速センサ１５，方位センサ１７及びデータベース５７が接続され、ＣＰＵ５１，ＲＡＭ５５，描画ＲＡＭ５９及び表示コントローラ６１との間で信号及びデータの入出力を行う入出力部６３とを備えている。

尚、データベース５７は、記憶媒体として、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等を用いてもよいし、メモリカードやハードディスク等の書き込み可能な記憶媒体を用いてもよい。
このように構成されたコントローラ３１において、ＣＰＵ５１は、本実施形態の特徴部分に係わる表示処理を行う。

次に、図３を用いて、ＣＰＵ５１が実行する上記表示処理の手順について説明する。図３は、表示処理を表すフローチャートである。尚、この表示処理は、車両のイグニッションキーがキーシリンダに挿入され、上記キーがＯＮに変更された状態である間、繰り返し実行される。

この表示処理においては、ＣＰＵ５１は、まずＳ１０にて、運転者の指先の位置を検出する。即ち、ジェスチャ検知用カメラ９により運転者の手を撮影し、撮影した運転者手画像を画像認識処理（例えばパターンマッチング）することにより運転者の指先を特定し、特定した指先の位置（３次元座標）を運転者手画像に基づいて算出する（図１の位置Ｐ１参照）。

その後、Ｓ２０にて、後述する利目特定処理において特定された利き目の位置を検出する。即ち、視点検知用カメラ７により運転者の目を撮影し、撮影した運転者目画像を画像認識処理（例えばパターンマッチング）することにより運転者の目を特定し、更に特定した目の位置（３次元座標）を運転者目画像に基づいて算出する（図１の位置Ｐ２参照）。

そして、Ｓ３０にて、Ｓ１０で検出された指先位置と、Ｓ２０で検出された目位置とを結ぶベクトル（以降、視線ベクトルと称す）を算出する（図１の直線Ｌ１参照）。これにより、運転者の視線方向が特定される。

次に、Ｓ４０にて、表示している虚像の位置を算出する。以下に、虚像位置の算出方法を図８に基づいて説明する。
図８に示すように、表示素子３３が、表示画面Ｓ１上に「Ａ」という文字で表される表示像Ｉ１を光で投射すると、この表示光はミラー３５で反射し、更にウインドシールド３で反射して運転者の目に到達する。これにより運転者は虚像画面Ｓ２上に「Ａ」という文字で表される虚像Ｉ２を視認することができる。尚、表示光による表示像Ｉ１はミラー３５で反転されるため、虚像Ｉ２に対して１８０°回転した状態で表示される。

ここで、表示素子３３とミラー３５との間の距離をａ、ミラー３５とウインドシールド３との間の距離をｂ、ウインドシールド３と運転者の視点との間の距離をｃ、ウインドシールド３と虚像画面Ｓ２との距離をｄ、運転者の視点と虚像画面Ｓ２との間の距離をＬ、ミラー３５の拡大率をｍ１、ウインドシールド３の拡大率をｍ２とすると、
Ｌ ＝（ｃ＋ｄ） ＝｛ｃ＋（ａ×ｍ１＋ｂ）×ｍ２｝ （式１）
と表される。尚、距離ａ及び距離ｂは、表示素子３３，ミラー３５及びウインドシールド３の配置に基づいて予め設定された固定値である。同様に、拡大率ｍ１，ｍ２は予め設定された固定値である。また、距離ｃは、表示素子３３の表示画面Ｓ１内における中心位置Ｐ１１から発せられた表示光がウインドシールド３に当たる位置Ｐ１３と、Ｓ２０で検出された目位置とから算出される可変値である。但し、位置Ｐ１３は予め設定された固定値であるため、運転者の目位置を検出すると距離ｃが算出される。つまり、運転者の目位置を検出すると、（式１）に基づいて距離Ｌが算出される。

また、表示像Ｉ１の中心の、表示画面Ｓ１の中心位置Ｐ１１からの水平方向距離および垂直方向距離をそれぞれｕおよびｖ、また、虚像Ｉ２の中心の、虚像画面Ｓ２の中心位置Ｐ１２からの水平方向距離および垂直方向距離をそれぞれＵおよびＶとすると、
Ｕ ＝ｕ×ｍ１×ｍ２ （式２）
Ｖ ＝ｖ×ｍ１×ｍ２ （式３）
と表される。尚、ＣＰＵ５１は、表示画面Ｓ１内における表示像Ｉ１の表示位置情報を表示コントローラ６１から取得し、この表示位置情報から水平方向距離ｕ及び垂直方向距離ｖの値を算出する。また、上述したように、拡大率ｍ１，ｍ２は予め設定された固定値である。即ち、表示コントローラ６１から表示位置情報が取得されると、（式２）及び（式３）に基づいて水平方向距離Ｕ及び垂直方向距離Ｖが算出される。

つまり、運転者の目位置を検出すると、距離Ｌ，水平方向距離Ｕ及び垂直方向距離Ｖに基づいて、運転者の視点からの虚像Ｉ２の位置が算出される。
このようにして、虚像表示システム１により表示されている全ての虚像について、運転者の視点からの表示位置を算出する。

次に、Ｓ５０にて、運転者が注視している虚像を特定する。即ち、Ｓ３０で算出された視線ベクトルと、Ｓ４０で算出された虚像位置とに基づき、視線ベクトル上或いはその近傍に位置する虚像を特定する。尚、視線ベクトル上或いはその近傍に位置する虚像がない場合には、運転者が注視している虚像はないと判断して、Ｓ６０に移行する。

また、Ｓ６０にて、ＧＰＳ受信機１３，車速センサ１５，方位センサ１７から出力される各種信号に基づいて、車両の現在位置と進行方向を算出する。そして、車両の現在位置と進行方向とに基づき、データベース５７から、運転者がウインドシールド３越しに見ることができる範囲のナビゲーション用地図データ（以降、前景配置情報とも称す）を取得する。

そして、Ｓ７０にて、運転者が注視している前景物を特定する。即ち、Ｓ６０において取得した前景配置情報と、車両の現在位置と進行方向と、Ｓ３０で算出された視線ベクトルとに基づき、視線ベクトル上或いはその近傍に位置する前景物を特定する。尚、視線ベクトル上或いはその近傍に位置する前景物がない場合には、運転者が注視している前景物はないと判断して、Ｓ８０に移行する。

そして、Ｓ８０にて、画像認識処理及び音声認識処理により表示制御指令を検出する。即ち、ジェスチャ検知用カメラ９により運転者の手を撮影し、撮影した運転者手画像を画像認識処理（例えばパターンマッチング）することにより表示制御指令を検出するとともに、マイクロフォン１１により運転者が発した音声を入力し、入力した音声を音声認識処理することにより表示制御指令を特定する。つまり、決められた動作パターンを組み合わせてなる指令動作および、決められた単語を組み合わせてなる指令音声が、表示制御指令の指令内容に対応付けられている。

例えば、「物を払いのける動作」は、虚像表示を消去する虚像消去指令に予め対応付けられており、運転手が手で物を払いのけるような動作をすると、ジェスチャ検知用カメラ９により撮影された画像を画像認識処理することによって、物を払いのける動作をしたことを認識する。これにより虚像消去指令が入力されたことを検出する。さらに、「物を払いのける動作」の他に、「手で物を掴んでから手を動かして、その後に手を開く動作」は虚像位置を移動させる虚像移動指令に、「手で物を掴んだ後に手を開く動作」は虚像の大きさを拡大する虚像拡大指令に対応付けられている。

また、例えば、「これ何？」という音声は、運転者が注視している前景物の名称の表示を要求する名称表示指令に対応付けられており、運転手が「これ何？」と言うと、マイクロフォン１１から入力された音声を音声認識処理することによって、「これ何？」と言ったことを認識する。これにより名称表示指令が入力されたことを検出する。さらに、「距離は？」という音声は、現在の車両位置から、運転者が注視している前景物までの距離の表示を要求する距離表示指令に、「所要時間は？」という音声は、運転者が注視している前景物に到着するまでの予定所要時間の表示を要求する所要時間表示指令に対応付けられている。尚、表示制御指令が検出されなかった場合には、表示制御指令に対応する撮影画像及び音声が入力されていないと判断して、Ｓ９０に移行する。

その後、Ｓ９０にて、Ｓ８０において表示制御指令が検出されたか否かを判断する。ここで、表示制御指令が検出されていないと判断すると（Ｓ９０：ＮＯ）、Ｓ１０に移行し、上述の処理を繰り返す。一方、表示制御指令が検出されたと判断すると（Ｓ９０：ＹＥＳ）、Ｓ１００に移行する。

そして、Ｓ１００に移行すると、Ｓ８０にて検出した表示制御指令が、Ｓ５０にて特定した虚像についての指令であるか否かを判断する。つまり、上述した虚像消去指令，虚像移動指令，虚像拡大指令の何れかであるか否かを判断する。ここで、Ｓ５０にて特定した虚像についての指令であると判断すると（Ｓ１００：ＹＥＳ）、Ｓ１１０にて虚像表示制御処理を行い、当該表示処理を終了する。一方、Ｓ５０にて特定した虚像についての指令でないと判断すると（Ｓ１００：ＮＯ）、Ｓ７０にて特定した前景物ついての指令、つまり上述した名称表示指令，距離表示指令，所要時間表示指令の何れかであると判断し、Ｓ１２０にて前景表示制御処理を行い、当該表示処理を終了する。

次に、Ｓ１１０において行われる虚像表示制御処理を、図４（ａ）を用いて説明する。図４（ａ）は、虚像表示制御処理を表すフローチャートである。
この虚像表示制御処理を実行すると、ＣＰＵ５１は、まずＳ２１０にて、表示制御指令が虚像消去指令であるか否かを判断する。ここで、虚像消去指令であると判断すると（Ｓ２１０：ＹＥＳ）、Ｓ２２０にて、Ｓ５０において特定した虚像を消去する。そして、当該虚像表示制御処理を終了する。一方、虚像消去指令でないと判断すると（Ｓ２１０：ＮＯ）、Ｓ２３０に移行する。

そして、Ｓ２３０に移行した場合には、表示制御指令が虚像移動指令であるか否かを判断する。ここで、虚像移動指令であると判断すると（Ｓ２３０：ＹＥＳ）、Ｓ２４０にて、Ｓ５０において特定した虚像を、運転者の手が移動した方向に向かって、運転手の手が物を掴む動作をしてから手を開く動作をするまでに移動した距離分移動させる。そして、当該虚像表示制御処理を終了する。

一方、虚像移動指令でないと判断すると（Ｓ２３０：ＮＯ）、表示制御指令は虚像拡大指令であると判断し、Ｓ２５０にて、Ｓ５０において特定した虚像を、予め設定された倍率（例えば、現在の大きさに対して１．５倍）に拡大する。そして、当該虚像表示制御処理を終了する。

次に、Ｓ１２０において行われる前景表示制御処理を、図４（ｂ）を用いて説明する。図４（ｂ）は、前景表示制御処理を表すフローチャートである。
この前景表示制御処理を実行すると、ＣＰＵ５１は、まずＳ４１０にて、表示制御指令が名称表示指令であるか否かを判断する。ここで、名称表示指令であると判断すると（Ｓ４１０：ＹＥＳ）、Ｓ４２０にて、Ｓ７０において特定した前景物の名称の情報を、Ｓ６０において取得した前景配置情報から取得して、前景物の名称を虚像表示する。そして、当該前景表示制御処理を終了する。一方、名称表示指令でないと判断すると（Ｓ４１０：ＮＯ）、Ｓ４３０に移行する。

そして、Ｓ４３０に移行した場合には、表示制御指令が距離表示指令であるか否かを判断する。ここで、距離表示指令であると判断すると（Ｓ４３０：ＹＥＳ）、Ｓ４４０にて、Ｓ６０において特定した前景物の名称のまでの距離を、Ｓ６０において取得した前景配置情報と現在の車両位置とに基づいて算出し、算出した距離の情報を虚像表示する。そして、当該前景表示制御処理を終了する。

一方、距離表示指令でないと判断すると（Ｓ４３０：ＮＯ）、表示制御指令は所要時間表示指令であると判断し、Ｓ４５０にて、Ｓ６０において特定した前景物までの予定所要時間を、Ｓ６０において取得した前景配置情報と、車両の現在の走行速度とに基づいて算出し、算出した予定所要時間の情報を虚像表示する。そして、当該前景表示制御処理を終了する。

次に、運転者の利き目を特定するための利目特定処理を、図５を用いて説明する。図５は、利目特定処理を表すフローチャートである。尚、この利目特定処理は、車両のイグニッションキーがキーシリンダに挿入され、上記キーがＯＮに変更された直後に、図３の表示処理が実行される前に１回のみ実行される処理である。

この利目特定処理を実行すると、ＣＰＵ５１は、まずＳ６１０にて、利目特定用虚像を表示する。この利目特定用虚像には「ＰＵＳＨ」という文字が表示されており（図９参照）、指で利目特定用虚像を押す動作を運転者に対して要求していることを示している。

そして、Ｓ６２０にて、ジェスチャ検知用カメラ９により運転者の手を撮影し、撮影した運転者手画像を画像認識処理することにより、運転者が利目特定用虚像を指で押す動作を検出する。そして、この動作を検出したときの運転者の指先の位置を運転者手画像に基づいて算出する。

さらに、Ｓ６３０にて、視点検知用カメラ７により運転者の目を撮影し、撮影した運転者目画像を画像認識処理することにより運転者の右目と左目を特定し、更に特定した右目と左目の位置を運転者目画像に基づいて算出する。

その後に、Ｓ６４０にて、Ｓ６２０で検出された指先位置と、Ｓ６３０で検出された右目位置とを結ぶベクトル（以降、右目視線ベクトルと称す）を算出するとともに、Ｓ６２０で検出された指先位置と、Ｓ６３０で検出された左目位置とを結ぶベクトル（以降、左目視線ベクトルと称す）を算出する。

さらに、Ｓ６５０にて、右目位置をもとにした利目特定用虚像の虚像位置（以降、右目特定用虚像位置と称す）と、左目位置をもとにした利目特定用虚像の虚像位置（以降、左目特定用虚像位置と称す）とを算出する（算出方法は、Ｓ４０における説明を参照）。

そして、Ｓ６６０にて、Ｓ６４０にて算出された右目視線ベクトル，左目視線ベクトルと、Ｓ６５０にて算出された右目特定用虚像位置，左目特定用虚像位置とに基づいて、運転者の利き目を特定する。即ち、一般に人間の目には利き目があり、右目または左目のどちらかで見た場合の位置関係で物体を見ている。これは、遠くの物体を指し示す場合に特に顕著になる。つまり、例えば、右目が利き目である場合には、図９に示すように、運転者の右目位置と指先位置とを結ぶ直線上に利目特定用虚像が位置するが、運転者の左目位置と指先位置とを結ぶ直線上に利目特定用虚像が位置しない。そこで、右目視線ベクトル上或いはその近傍に右目特定用虚像位置がある場合には、右目を利き目と特定し、左目視線ベクトル上或いはその近傍に左目特定用虚像位置がある場合には、左目を利き目とする。そして、当該利目特定処理を終了する。

このように構成された虚像表示システム１の動作を、図６及び図７に基づいて説明する。
図６は、交差点に向かって走行している車両において、この車両内の運転者の視点からウインドシールド３を介して車両前方を眺めた際のイメージ図である。表示素子３３の表示画面に映像が表示されると、その映像はミラー３５とウインドシールド３で反射し、表示素子３３に表示された映像が、図６に示すように、ウインドシールド３越しに虚像として表示される。図６において、ウインドシールド３の下側に、選局したラジオの周波数，走行速度，燃料残量が表示されている。この他の映像は、前景に重畳された映像であり、歩行者が飛び出してきたことを運転者に知らせる警告表示，前方の車両にオート・クルーズ・コントロール（ＡＣＣ）のターゲットが設定されていることを示す表示，ナビゲーションの矢印表示である。

そして、図６において表示されている虚像のうち上記警告表示を消去する場合には、運転者は警告表示の方向に自分の手を移動させて、指先で警告表示を指し示す動作をする。この後に、運転者が「手で物を払いのける動作」をすると、警告表示が消去される（Ｓ２２０参照）。また「手で物を払いのける動作」の代わりに、「手で物を掴んだまま手を動かして、その後に手を開く動作」をすると警告表示が手を動かした方向に移動し（Ｓ２４０参照）、または「手で物を掴んだ後に手を開く動作」をすると警告表示の大きさが大きくなる（Ｓ２５０参照）。

また、車両を運転中、運転者がウインドシールド越しに見ることができる前景の中で、情報が欲しいと運転者が思った建築物がある場合には、図７に示すように、運転者はその建築物の方向に自分の手を移動させて、指先でその建築物を指し示す動作をする。この後に、運転者が「これ何？」と発話すると、その建築物の名称が前景に重畳されて表示される（Ｓ４２０参照）。図７では、運転者が指し示した建築物は名古屋城であり、「名古屋城」という文字が表示される。そして、運転者がその建築物の名称を確認した後に、「名古屋城」の表示を指で指し示し、物を払いのけるような動作をすると、「名古屋城」の表示が消去される。

また「これ何？」と発話する代わりに、「距離は？」と発話すると、名古屋城までの距離が表示され（Ｓ４４０参照）、または「所要時間は？」と発話すると、名古屋城までの予定所要時間が表示される（Ｓ４５０参照）。

このようにして、指先で方向を示すことにより虚像あるいは前景物を指定した後に、手の動きまたは発話によって、虚像の表示についての指令を出すことができる。
このように構成された本実施形態の虚像表示システム１では、運転者を撮影した画像を画像認識処理することにより、運転者の指の位置を検出する（Ｓ１０）とともに、運転者の利き目の位置を検出し（Ｓ２０）、運転者の指位置と利き目位置とを結ぶ直線を運転者の視線と特定する（Ｓ３０）。そして、表示されている虚像のうち、Ｓ３０の処理で特定された運転者視線上或いはその近傍にある虚像を、運転者が注視している虚像と特定する（Ｓ５０）。その後、運転者によるジェスチャを画像認識処理することにより、表示制御指令を検出すると（Ｓ８０）、表示制御指令が、運転者が注視している虚像の表示についての指令である場合には（Ｓ１００：ＹＥＳ）、表示制御指令に基づいて、運転者が注視している虚像の表示を制御する（Ｓ１１０）。

即ち、運転者は、表示制御指令の実行対象とすべき虚像を見ながら、その虚像を指し示すことにより、その虚像を特定することができる。
このため、複数の虚像が表示されている場合において、複雑な入力を行うことなく、所望の虚像を簡便に特定でき、特定した虚像についての指令を出すことができる。

また、利き目の視線を特定するので、運転者が注視している虚像を精度良く特定することができる。
また、運転者がウインドシールド３越しに見ることができる範囲のナビゲーション用地図データを取得し（Ｓ６０）、取得した地図データに基づき、Ｓ３０の処理で特定された運転者視線上或いはその近傍にある前景物を、運転者が注視している前景物と特定する（Ｓ７０）。その後、運転者による音声を音声認識処理することにより、表示制御指令を検出すると（Ｓ８０）、表示制御指令が、運転者が注視している前景物の表示についての指令である場合には（Ｓ１００：ＮＯ）、表示制御指令に基づいて、運転者が注視している前景物に関する表示を制御する（Ｓ１２０）。

即ち、運転者は、表示制御指令の実行対象とすべき前景物を見ながら、その前景物を指し示すことにより、その前景物を特定することができる。
このため、複雑な入力を行うことなく、所望の前景物を簡便に特定でき、特定した前景物についての指令を出すことができる。

また、データベース５７からナビゲーション用地図データを取得するので、既存のナビゲーション用地図データを流用して、運転者がウインドシールド３越しに見ることができる範囲の地図データを取得することができる。

また、図５の利目特定処理は、車両のイグニッションキーがＯＮに変更された直後に実行される。このため、利き目でない目の視線を特定するということが、虚像表示システム１の起動直後からなくなるので、虚像表示システム１の起動直後から精度良く虚像および前景物を特定することができる。

以上説明した実施形態において、ヘッドアップディスプレイ装置５，視点検知用カメラ７，ジェスチャ検知用カメラ９，マイクロフォン１１，ＧＰＳ受信機１３，車速センサ１５及び方位センサ１７は本発明における虚像表示装置、表示素子３３およびミラー３５は本発明における光学ユニット、データベース５７は本発明における記憶装置、ウインドシールド３は本発明における反射手段である。

また、図３におけるＳ１０〜Ｓ３０の処理は本発明における視線特定手段、図３におけるＳ５０の処理は本発明における虚像特定手段、図３におけるＳ８０の処理は本発明における表示指令検出手段、図３におけるＳ１１０の処理は本発明における第１表示制御手段、図５の利目特定処理は本発明における利目特定手段である。

また、図３におけるＳ６０の処理は本発明における配置情報取得手段、図３におけるＳ７０の処理は本発明における前景特定手段、図３におけるＳ１２０の処理は本発明における第２表示制御手段である。

以上、本発明の一実施例について説明したが、本発明は上記実施例に限定されるものではなく、本発明の技術的範囲に属する限り種々の形態を採ることができる。
例えば、上記実施形態においては、運転者の指先の位置と利き目の位置を検出することにより、運転者の視線方向を特定するものを示したが、視点検知用カメラ７により運転者の目を撮影し、撮影した運転者目画像を画像認識処理することにより、運転者の目の中心位置と、運転者の目の黒目位置とを検出し、黒目位置の中心位置からのズレに基づいて、運転者の視線方向を特定するようにしてもよい。

このように構成された虚像表示システム１では、運転者は、表示制御指令の実行対象とすべき虚像を手或いは指で指し示すことなく、ただ注視することにより、その虚像を特定することができる。

尚、運転者の指先位置と目位置とを検出することにより特定した運転者視線のほうが、運転者の目の中心位置と黒目位置とを検出することにより特定した操作者視線よりも、虚像を特定するための精度は良い。

また、上記実施形態においては、ジェスチャ検知用カメラ９により運転者の手を撮影し、撮影した運転者手画像を画像認識処理することにより表示制御指令を検出するものを示したが、赤外線レーザ光を用いて表示制御指令を検出するようにしてもよい。

即ち、例えば、一端から赤外線レーザ光を照射し、照射された赤外線レーザ光を他端で検出するように構成された複数の赤外線センサを、赤外線レーザ光が格子状に照射されるように配置し、運転者の手或いは指により遮断された赤外線レーザ光を検出することにより、運転者の手或いは指の動きを認識するもの、或いは、赤外線レーザ光を照射し、運転者の手或いは指により反射された赤外線レーザ光を検出することにより、運転者の手或いは指の動きを認識するものが適用できる。

また、操作スイッチ（本発明の被操作部に相当）を設け、操作スイッチに対する操作によって、表示制御指令を検出するようにしてもよい。特に、虚像表示システム１が車両に搭載されている場合には、操作スイッチをステアリングに配置するようにすれば、運転者は手を少し移動させることで操作スイッチを操作することができるので、運転中における操作スイッチの操作の負担を低減することができる。

また、上記実施形態においては、運転者が注視している虚像についての指令は、運転者のジェスチャを画像認識処理することにより検出されていたが、運転者が発話する音声を音声認識処理することにより検出するようにしてもよい。即ち、上記実施形態では、運転者が「手で物を払いのける動作」をすると、虚像消去指令を検出したが、例えば、運転者が「消して」と発話すると、虚像消去指令を検出するようにしてもよい。同様に、運転者が注視している前景物についての指令は、運転者が発話する音声を音声認識することにより検出されていたが、運転者のジェスチャを画像認識処理することにより検出するようにしてもよい。

また、上記実施形態においては、データベース５７から、運転者がウインドシールド３越しに見ることができる範囲のナビゲーション用地図データを取得するものを示したが、ナビゲーション用地図データを提供する情報センターから、ナビゲーション用地図データを無線通信によって取得するようにしてもよい。

このように構成された虚像表示システム１では、必要な範囲の地図データを情報センターから取得できるため、大量のナビゲーション用地図データを予め記憶するための記憶装置を備える必要がない。

また、運転者がウインドシールド３越しに見ることができる範囲の前景を撮影するカメラを装備し、その画像を画像認識処理することにより、運転者視線上或いはその近傍にある前景物を示す画像を抽出し、抽出した画像によって示される前景物を、運転者が注視している前景物と特定するようにしてもよい。

このように構成された虚像表示システム１では、ナビゲーション用地図データを取得しなくても、運転者が注視している前景物を特定することができる。

実施形態における虚像表示システム１の全体構成を示す模式図。 実施形態におけるコントローラ３１の内部構成を示すブロック図。 実施形態における表示処理手順を示すフローチャート。 実施形態における虚像表示制御処理および前景表示制御処理手順を示すフローチャート。 実施形態における利目特定処理手順を示すフローチャート。 実施形態におけるウインドシールド３を介して車両前方を眺めた際の虚像を示す図。 実施形態における前景の建築物を指定した際の虚像を説明する図。 実施形態における虚像位置算出方法を説明する図。 実施形態における利き目特定方法を説明する図。

符号の説明

１…虚像表示システム、３…ウインドシールド、５…ヘッドアップディスプレイ装置、７…視点検知用カメラ、９…ジェスチャ検知用カメラ、１１…マイクロフォン、１３…ＧＰＳ受信機、１５…車速センサ、１７…方位センサ、３１…コントローラ、３３…表示素子、３５…ミラー、５１…ＣＰＵ、５３…ＲＯＭ、５５…ＲＡＭ、５７…データベース、５９…描画ＲＡＭ、６１…表示コントローラ、６３…入出力部。

Claims (20)

1. 半透明な反射手段に向けて映像情報を光で投射する光学ユニットを備え、前記映像情報を前記反射手段による虚像として表示する虚像表示装置において、
   当該虚像表示装置を操作する操作者の視線を特定する視線特定手段と、
   当該虚像表示装置により表示されている虚像のうち、前記視線特定手段により特定された操作者視線上或いはその近傍にある虚像を、前記操作者が注視している注視虚像と特定する虚像特定手段と、
   当該虚像表示装置による表示を制御するための表示制御指令を検出する表示指令検出手段と、
   前記表示指令検出手段により検出された表示制御指令が、前記注視虚像の表示についての指令である場合には、前記表示制御指令に基づいて、前記注視虚像の表示を制御する第１表示制御手段と、
   を備えることを特徴とする虚像表示装置。
2. 前記視線特定手段は、前記操作者の目が位置する第１位置を検出するとともに、前記操作者の手或いは指が位置する第２位置を検出し、該第１位置と該第２位置とを結ぶ直線を、前記操作者視線とする、
   ことを特徴とする請求項１に記載の虚像表示装置。
3. 前記視線特定手段は、前記操作者を撮影し、該撮影された前記操作者画像を画像認識処理することにより、前記第１位置及び前記第２位置の少なくとも一方を検出する、
   ことを特徴とする請求項２に記載の虚像表示装置。
4. 前記操作者の左右の目のうち、利き目である目を特定する利目特定手段を備え、
   前記視線特定手段は、前記利目特定手段により特定された利き目の位置を前記第１位置とする、
   ことを特徴とする請求項２または請求項３に記載の虚像表示装置。
5. 前記視線特定手段は、前記操作者の目の中心位置と、該操作者目の黒目が位置する黒目位置とを検出し、該操作者黒目位置の、該操作者目中心位置からのズレに基づいて、前記操作者視線を特定することを特徴とする請求項１に記載の虚像表示装置。
6. 前記視線特定手段は、前記操作者を撮影し、該撮影された操作者画像を画像認識処理することにより、前記操作者目中心位置と前記操作者黒目位置を検出する、
   ことを特徴とする請求項５に記載の虚像表示装置。
7. 前記操作者の左右の目のうち、利き目である目を特定する利目特定手段を備え、
   前記視線特定手段は、前記利目特定手段により特定された利き目の中心位置及び黒目位置をそれぞれ前記操作者目中心位置及び前記操作者黒目位置とする、
   ことを特徴とする請求項５または請求項６に記載の虚像表示装置。
8. 前記利目特定手段は、当該虚像表示装置の起動時に利き目を特定することを特徴とする請求項４または請求項７に記載の虚像表示装置。
9. 前記表示指令検出手段は、前記操作者の手或いは指の動きを認識し、該認識した動きに基づいて、前記表示制御指令の指令内容を特定することを特徴とする請求項１〜請求項８何れかに記載の虚像表示装置。
10. 前記表示指令検出手段は、前記操作者を撮影し、該撮影された操作者画像を画像認識処理することにより、前記操作者の手或いは指の動きを認識することを特徴とする請求項９に記載の虚像表示装置。
11. 前記表示指令検出手段は、前記操作者の手或いは指の動きを認識するために予め設定された領域に向けて赤外線レーザ光を照射し、前記操作者の手或いは指に当たった赤外線レーザ光を検出することにより、前記操作者の手或いは指の動きを認識することを特徴とする請求項９に記載の虚像表示装置。
12. 前記表示指令検出手段は、前記操作者が発した音声を入力し、該入力した操作者音声を音声認識処理することにより、前記表示制御指令の指令内容を特定することを特徴とする請求項１〜請求項１１何れかに記載の虚像表示装置。
13. 前記表示指令検出手段は、予め設定された被操作部に対する操作を検出し、該検出された操作に基づいて、前記表示制御指令の指令内容を特定することを特徴とする請求項１〜請求項１２何れかに記載の虚像表示装置。
14. 当該虚像表示装置は車両に搭載され、
    前記被操作部は、当該車両のステアリングに配置される、
    ことを特徴とする請求項１３に記載の虚像表示装置。
15. 前記操作者が前記反射手段を通して見ることができる前景物の配置を示す前景配置情報を取得する配置情報取得手段と、
    前記配置情報取得手段により取得された前景配置情報に基づき、前記前景物のうち、前記視線特定手段により特定された操作者視線上或いはその近傍にある前景物を、前記操作者が注視している前景注視物と特定する前景特定手段と、
    前記表示指令検出手段により検出された表示制御指令が、前記前景注視物に関する表示についての指令である場合には、前記表示制御指令に基づいて、前記前景注視物に関する表示を制御する第２表示制御手段と、
    を備えることを特徴とする請求項１〜請求項１４何れかに記載の虚像表示装置。
16. 前記配置情報取得手段は、ナビゲーション用地図データを提供する情報センターから、該ナビゲーション用地図データを無線通信によって取得し、該取得した地図データを前記前景配置情報とする、
    ことを特徴とする請求項１５に記載の虚像表示装置。
17. 前記配置情報取得手段は、ナビゲーション用地図データを記憶する記憶装置から、該ナビゲーション用地図データを取得し、該取得した地図データを前記前景配置情報とする、
    ことを特徴とする請求項１５または請求項１６に記載の虚像表示装置。
18. 前記配置情報取得手段は、前記操作者が前記反射手段を通して見ることができる前景を撮影し、該撮影した前景画像を前記前景配置情報とし、
    前記前景特定手段は、該撮影した前景画像を画像認識処理することにより、前記操作者視線上或いはその近傍にある前景物を示す画像を抽出し、該抽出した前景物画像によって示される前景物を前記前景注視物と特定する、
    ことを特徴とする請求項１５〜請求項１７何れかに記載の虚像表示装置。
19. 当該虚像表示装置は車両に搭載され、
    前記反射手段は、当該車両のウインドシールドである、
    ことを特徴とする請求項１〜請求項１８何れかに記載の虚像表示装置。
20. 請求項１〜請求項１９何れか記載の虚像表示装置が備える前記各手段としての機能をコンピュータに実現させるためのプログラム。