JP2007219081A - 画像表示システム - Google Patents

Abstract

【課題】 所望のウィンドウを良好なる状態で観察することができ、ウィンドウ間の前後の切り替えや最小化によりタスクトレイへの移動等煩わしい作用が不必要で、作業効率を向上させることができる画像表示システムを得ること。
【解決手段】 タスクの起動により開いた１以上のウィンドウの表示情報を画像信号として出力するシステム制御装置と、該システム制御装置からの画像信号を表示した表示素子からの映像光を観察者の瞳に導光する画像表示装置とを有し、観察者の頭部位置情報を検出する位置姿勢検出手段を有し、該システム制御手段は、頭部位置情報より、観察者の視線情報を算出し、算出した視線情報に対応した形状のウィンドウ及びウィンドウ内の表示情報を生成する表示画像生成部とを有し、該表示画像生成部からの画像信号に基づいて、表示素子に画像情報を表示すること。
【選択図】 図１

Description

本発明は、コンピュータ等の外部機器からの画像信号に基づいて画像表示部に表示した画像情報を観察するのに好適な画像表示システムに関する。

従来、コンピュータ等からの画像信号に基づいて画像を表示する画像表示部を備え、その画像表示部に表示された画像（生成画像）をハーフミラー等の透過式の光分割合成手段を介して観察者の眼に導き、該画像の虚像を観察する画像表示システムが知られている。

このとき、生成画像と、光分割合成手段を透して外界の画像情報（外界画像）を同一視野にて観察できる光学シースルー方式を利用した頭部装着型の画像表示装置（ヘッドマウントディスプレイ、以下「ＨＭＤ」という）が知られている。

このような光学シースルー方式のＨＭＤにおいては、画像表示部に表示された画像（生成画像）は虚像として観察者に提示される。このため、生成画像は、透けた像として観察される。

従って、外界の画像情報からの入射光量を制御するためにドットマトリクス型モノクロＬＣＤを液晶シャッターとして用いた光学シースルー方式のＨＭＤが提案されている（特許文献１）。
特開２００２−２４４０７４号公報

上記従来の光学シースルー方式のＨＭＤを用いた画像表示システムにおいては、予め想定される３次元空間内の決まった位置に３次元又は２次元の仮想物体が存在するという想定のアプリケーションがほとんどであった。

例えば、ＰＣ等の画面のウィンドウを所望の位置に表示させるといったアプリケーションは考えられていなかった。

そのため、ＰＣ等を用いて作業を行う際には直視型のモニタを使用せざるを得なかった。

又、モニタという限られた作業スペース内での作業となるためウィンドウ間の前後切り替えや最小化によるタスクトレイへの移動等の行動を伴った作業となり、作業効率が低下する傾向があった。

また、ウィンドウを拡大して詳細な編集をしつつ全体のレイアウトを確認したい場合等には、マウスでサイズや表示倍率を変更しなければならず、作業効率が低下する傾向があった。

本発明は、所望のウィンドウを良好なる状態で観察することができ、ウィンドウ間の前後の切り替えや最小化によりタスクトレイへの移動等煩わしい作用が不必要で、作業効率を向上させることができる画像表示システムの提供を目的とする。

本発明の画像表示システムは、
◎タスクの起動により１以上のウィンドウを開くウィンドウ生成部、該開いたウィンドウにタスクの処理内容を表示させる表示手段、前記開いている一つ以上のウィンドウの表示情報を画像信号として出力する画像出力手段を備えたシステム制御装置、
前記システム制御装置からの画像信号を入力するための画像入力手段、該入力画像信号を表示素子に表示させる画像表示手段、該画像表示手段により射出された映像光を瞳に導く導光手段とを備えた画像表示装置、とを有する画像表示システムにおいて、前記画像表示装置は、装着者の頭部位置および姿勢を検出する位置姿勢検出手段、該位置姿勢検出手段からの検出結果を前記システム制御装置へ出力する位置姿勢情報出力手段を有しており、前記システム制御装置は、該画像表示装置から出力された位置姿勢検出情報により装着者の視線情報を算出する視線情報算出部、該視線情報算出部からの算出結果およびウィンドウ位置に応じてウィンドウの形状を変更させるウィンドウ情報設定部を有しており、前記画像表示装置は、該システム制御装置からの入力信号に基づいて装着者の頭部位置および姿勢に応じた形状のウィンドウを表示することを特徴としている。
◎タスクの起動により開いた１以上のウィンドウの表示情報を画像信号として出力するシステム制御装置と、該システム制御装置からの画像信号を表示素子に表示し、該表示素子からの映像光を観察者の瞳に導光する画像表示装置とを有する画像表示システムにおいて、
該画像表示装置は、観察者の頭部位置情報を検出する位置姿勢検出手段を有し、該システム制御手段は、該画像表示装置からの頭部位置情報より、観察者の視線情報を算出する視線情報算出部と、該算出した視線情報に対応した形状のウィンドウ及びウィンドウ内の表示情報を生成する表示画像生成部とを有し、該画像表示装置は、該表示画像生成部からの画像信号に基づいて、表示素子に画像情報を表示することを特徴としている。

本発明によれば、ウィンドウ間の前後の切り替えや最小化によりタスクトレイへの移動等煩わしい作用が不必要で、作業効率を向上させることができる画像表示システムが得られる。

以下、図面を参照して本発明の実施例を説明する。

以下の実施例においては画像表示装置の一例として光学シースルー方式の画像表示装置について説明するが、光学シースルー方式に限らない。

例えば、外界（外界画像）と虚像（生成画像）を合成して観察者に提示する画像表示システムであれば任意の画像表示装置に適用可能である。

図１は、本発明に係る、頭部装着型の画像表示装置（ＨＭＤ）を観察者が装着したときの実施例１の外観図である。図２は、図１で用いる光学系の該略図である。

図１及び図２において、１０２はコンピュータ等からの画像信号に基づいて２次元画像又は立体画像（生成画像、視差画像）を表示するカラーＬＣＤである。１０３はカラーＬＣＤ１０２の光源であるバックライトである。１０４はＨＭＤ１００の制御を行う制御回路である。１０９はハーフミラー、１０６は接眼光学系、１１４は外界からの入射光を後述のモノクロＬＣＤ１０１上に結像させるための結像光学系である。１０７はＨＭＤ１００とコンピュータ等の画像出力機器を接続するためのインタフェース・ケーブル、１０８はＨＭＤ１００の装着者（観察者）５０の眼、１２０は外界の明るさを検出するための光量センサ（光検出手段）である。１２１は頭部装着型の画像表示装置（ＨＭＤ）を装着した装着者５０の頭部の位置や姿勢を検出するための位置姿勢検出センサ（位置姿勢検出手段）である。１３０から１３２はカラーＬＣＤ１０２に表示した生成画像の表示位置を設定した仮想ウィンドウＡ，Ｂ，Ｃを示している。１１０はカラーＬＣＤ１０２を透過した画像光の中心軸（画像光）、１１１は外界からの光の中心軸（外界光）、１１２は外界光１１１がモノクロＬＣＤ１０１を透過した後の光の中心軸（外界光）である。１１３はＨＭＤ１００の装着者５０の眼１０８に入ってくる光の中心軸である。中心軸１１３は、カラーＬＣＤ１０２からの画像光１１０およびモノクロＬＣＤ１０１を透過してくる外界光１１２が重なり合った軸である。

図１において、図中の記号末尾に付されているａは右眼用の、ｂは左眼用の構成要素であることを示す。

また、図２に示すように、カラーＬＣＤ１０２とモノクロＬＣＤ１０１とはハーフミラー１０９から等しい距離Ｌを置いて配置されている。これによって観察者５０はカラーＬＣＤ１０２に表示される画像（生成画像）の虚像及びモノクロＬＣＤ１０１上に結像された外界画像とをピントのあった状態で観察している。

このような構成のＨＭＤ１００において、バックライト１０３から出射してカラーＬＣＤ１０２を透過した画像光１１０は、図２に示されるような光路となる。

また、外界光１１１は結像光学系１１４を介して図２に示されるような光路でモノクロＬＣＤ１０１上に結像され、さらにモノクロＬＣＤ１０１を透過して外界光１１２に示されるような光路でハーフミラー１０９に入射する。

そして、ハーフミラー１０９を透過したモノクロＬＣＤ１０１からの外界光１１２と、ハーフミラー１０９で反射されるカラーＬＣＤ１０２からの画像光１１０が重なり合って中心軸１１３に示される光路でＨＭＤ１００の装着者５０に観察される。

図８は、ＨＭＤ１００のカラーＬＣＤ１０２及びモノクロＬＣＤ１０１に表示される画像と、ＨＭＤ１００の装着者５０が観察する画像との関係を説明する図である。図８において、１１０１はカラーＬＣＤ１０２に表示する画像、１１０２はＨＭＤ１００の装着者（観察者５０）の視界に入る外界像である。１１０３は階調表示可能なドットマトリクスタイプのモノクロＬＣＤ１０１において、透過率が最大になるようにしたときの画像を示したものである。１１０６は階調表示可能なドットマトリクスタイプのモノクロＬＣＤ１０１において、透過率が最小になるようにしたときの画像を示したものである。

１１０４はモノクロＬＣＤ１０１が画像１１０３の状態の時に外界光１１２に示される光路で導かれるモノクロＬＣＤ１０１を透過した外界光の像である。画像１１０１と画像１１０４の像が重ね合わされてＨＭＤ１００の装着者５０の眼１０８に１１０５に示されるような像が観察される。

また逆に、１１０７はモノクロＬＣＤ１０１が画像１１０６の状態の時に外界光１１２に示される光路で導かれるモノクロＬＣＤ１０１を透過した外界光の像である。画像１１０１と画像１１０７が重ね合わされてＨＭＤの装着者５０の眼１０８に１１０８に示されるような像が観察される。

図３は、実施例１の頭部装着型の画像表示装置およびその制御装置のブロック図である。

図３において、２０１は画像表示システムの制御装置である。２０２は前述の頭部装着型の画像表示装置（ＨＭＤ）である。２０３は頭部装着型の画像表示装置２０２から制御装置２０１へ渡される位置姿勢検出データである。２０４は制御装置２０１から頭部装着型の画像表示装置２０２へ渡される表示画像データである。２０６は制御装置２０１に接続されるキーボード等の入力デバイス、２０７は制御装置２０１に接続されるマウス等のポインティングデバイスである。

システム制御装置２０１は以下のブロックの構成要素を有している。２１０は頭部装着型の画像表示装置２０２の装着者５０の左右眼の視線情報算出部である。２１１は位置姿勢リセット部、２１２は視線により、どのウィンドウをアクティブにするかアクティブウィンドウ判定部である。２１３はウィンドウデータ、２１４はウィンドウ生成部（ウィンドウ生成手段）、２１５はウィンドウ情報管理部である。２１６はウィンドウ情報設定部、２１７は表示画像生成部、２１８ａおよび２１８ｂは表示画像生成部２１７を構成する右眼用画像生成部および左眼用画像生成部である。

このようなシステム構成において、まず頭部装着型の画像表示装置２０２内にある位置姿勢検出センサ（位置姿勢検出手段）１２１により観察者５０の頭部に関する情報を検出する。そして検出された観察者５０の頭部に関する位置姿勢検出データ２０３をＲＳ２３２ＣやＵＳＢ等の通信手段（出力手段）１２１ａを用いてシステム制御装置２０１へ定期的に転送する。

システム制御装置２０１では位置姿勢検出データ２０３を受け取った左右眼の視線情報算出部２１０が頭部装着型の画像表示装置２０２を装着した装着者５０の視点位置および視線方向の視線情報を計算する。そして表示画像生成部２１７およびアクティブウィンドウ判定部２１２に計算結果を渡す。アクティブウィンドウ判定部２１２では後述する方法を用いてどのウィンドウをアクティブにすべきかの情報を表示画像生成部２１７へ渡す。

なお、簡易な位置姿勢検出センサ１２１を用いた場合にドリフト現象等、時間経過と伴に原点がずれることが想定されるため、装着者５０の指示に基づいて位置姿勢リセット部２１１により位置姿勢検出センサ１２１の原点を再設定する。

ウィンドウに関しては、まずアプリケーションの起動等ユーザの指示に基づいてウィンドウ生成部２１４が起動される。ウィンドウ生成部２１４ではウィンドウの表示情報を書き込むためのウィンドウデータ（表示手段）２１３の領域を用意し、ウィンドウのサイズや位置等のウィンドウ情報をウィンドウ情報管理部２１５へ渡す。

ウィンドウ情報管理部２１５ではウィンドウ生成部２１４から受け取ったウィンドウ情報を管理しつつ表示画像生成部２１７へウィンドウ情報を渡す。

さらに、ウィンドウ生成時ないしはその後随時、後述する方法を用いることにより装着者５０の指示に基づいてウィンドウ情報設定部２１６よりサイズ（大きさ、形状）や位置等の設定の変更を受け付ける。

また、アプリケーションによるサイズや位置、２Ｄ（２次元画像）／３Ｄ（３次元画像）情報等の設定の変更も受け付ける。ウィンドウデータ２１３は起動されたアプリケーションにより随時更新される。

表示画像生成部２１７では、観察者５０の視点位置および視線方向等の視線情報の計算結果、アクティブウィンドウの判定結果、ウィンドウデータ、ウィンドウ情報等を元に、表示画像を生成する。

例えば、右眼用画像生成部２１８ａで右眼用の、左眼用画像生成部２１８ｂで左眼用の表示画像（生成画像）を生成する。

表示画像生成部２１７で生成された表示画像データ２０４はＶＧＡ等のアナログ・インタフェースやＤＶＩ等のディジタル・インタフェース等の画像出力手段２１７ａを介して頭部装着型の画像表示装置２０２の画像入力手段１０４ａへ転送される。頭部装着型の画像表示装置２０２では受け取った表示画像データ２０４を画像表示用の制御回路１０４内の表示手段としての右眼表示ユニット１００ａにて右眼の、左眼表示ユニット１００ｂにて左眼の画像表示を行う。そして、それと共に、光量センサ１２０の出力を元に外光の調整を行う。

図４は本実施例において、観察者が観察する表示画像の表示例を示したものである。図４（ａ）は仮想ウィンドウＡ（１３０）を中心よりに見ている際の表示例、図４（ｂ）は仮想ウィンドウＢ（１３１）を中心よりに見ている際の表示例、図４（ｃ）は仮想ウィンドウＡ，Ｂ，Ｃの全てを見渡している際の表示例である。

なお、当然ながら実際は右眼用の表示と左眼用の表示がある訳であるが、ここでは簡略的に一方の表示に関してのみ説明を行っている。

図４（ａ），（ｂ），（ｃ）において、１３０は装着者から見て左下に配置した仮想ウィンドウＡである。１３１は装着者から見て右下に配置した仮想ウィンドウＢである。１３２は装着者から見て上方に配置した仮想ウィンドウＣである。１３５は常に視界の下隅に表示されており、動作しているアプリケーションやウィンドウ等を示しているタスクバーである。

図４（ａ）は仮想ウィンドウＡ（１３０）を良く見ようとした際の表示であり、装着者が顔（視線）を左下前方に移動させたときに表示される画像である。ほぼ中心に位置する仮想ウィンドウＡ（１３０）のタイトルバーが濃くなりアクティブ化されている。図４（ｂ）は仮想ウィンドウＢ（１３１）を良く見ようとした際の表示であり、装着者が顔（視線）を右下前方に移動させたとき、即ち図４（ａ）の状態から顔を右に向けたときに表示される画像である。

ほぼ中心に位置する仮想ウィンドウＢ（１３１）のタイトルバーが濃くなりアクティブ化されている。図４（ｃ）は仮想ウィンドウＡ（１３０），Ｂ（１３１），Ｃ（１３２）の全てを見ようとした際の表示であり、装着者５０が顔を中央やや後方に移動させたときに表示される画像である。

最も中心の近くに位置する仮想ウィンドウＣ１３２のタイトルバーが濃くなりアクティブ化されている。

なお、図４（ａ），（ｂ），（ｃ）全ての表示において、視界の下隅に常に表示されているタスクバー１３５での表示内容はほぼ変わらず、アクティブ化されているウィンドウのタスクのみ表示の色が変わってアクティブ状態であることが分かるようになっている。

また特に図示していないが、図中のウィンドウ或いはタスクバー１３５に関しては外光により透けることを避けるためモノクロLCD１０１ａ、ｂによりその領域では、外光の透過率を下げており、その他黒画像部分は透過率を上げている。これにより外景画像が見えるように制御している。

図５はアクティブウィンドウ判定部２１２での処理方法を示したものであり、例として図４（ａ）の状態にあるときの処理方法を示している。図５において、１３０は仮想ウィンドウＡ、１３１は仮想ウィンドウＢ、Ｍは観察視野１３６の中心、ａは仮想ウィンドウＡ１３０の中心、ｂは仮想ウィンドウＢの中心である。

図５のような状態で、まず観察視野１３６の中心Ｍを観察視野１３６に対する対角線の交点により算出する。そして中心Ｍを通る画面に垂直な線、即ち視軸ＭＸを求める。次に仮想ウィンドウＡ（１３０）の中心ａの絶対位置をウィンドウ枠１３０ａに対する対角線の交点Ｍにより算出する。そして視軸ＭＸからの距離を求める。

次に仮想ウィンドウＢ（１３１）の中心ｂの絶対位置をウィンドウ枠１３１ａに対する対角線の交点Ｍにより算出し、視軸ＭＸからの距離を求める。

以上のようにして求めた視軸ＭＸから仮想ウィンドウの中心（中心ａ又は中心ｂ）までの距離が最も近いウィンドウをアクティブなウィンドウとする。図５では、ウィンドウ１３０をアクティブとする。

図６はウィンドウ情報設定部２１６におけるウィンドウ状態の設定例を示したものである。図６（ａ）はウィンドウ位置の変更を行う際のユーザインタフェースの一例を示し、図６（ｂ）はウィンドウの回転を行う際のユーザインタフェースの一例を示している。図６において、５０１はタイトルバーをマウスで右クリックした際に表示されるメニューウィンドウ、５０２および５０３はメニューウィンドウで選択したもののさらに詳細のメニューが表示されるサブメニューウィンドウである。

まず装着者がウィンドウの位置を変更しようとした際、ウィンドウ上部のタイトルバー部分をマウス（駆動手段）で右クリックしてメニューウィンドウ５０１を表示させる。

さらに、移動させたい方向に応じて水平、垂直、奥行の３種類のうちから１つをサブメニューウィンドウ５０２から選択する。この際、水平とは画面の水平方向、垂直とは画面の垂直方向、奥行とは画面の前後方向への移動を指す。

さらに装着者はウィンドウの見易さのためにウィンドウを回転させようとした際、ウィンドウ上部のタイトルバー部分をマウスで右クリックしてメニューウィンドウ５０１を表示させる。さらに、回転させたい方向に応じてロール、ヨー、ピッチの３種類のうちから１つをサブメニューウィンドウ５０２から選択する。

この際、ロールとは画面中心の法線を軸とした同一面内の回転である。ヨーとは画面中央を通る垂直方向の線を軸とした水平方向の回転である。ピッチとは画面中央を通る水平方向の線を軸とした垂直方向の回転を指す。

図７はウィンドウの最小化あるいは元のサイズに戻す際の動作を示したものであり、図４（ａ）の状態を例に示している。図７において、点線で示しているのは、仮想ウィンドウＡ１３０がタスクバー１３５から徐々に設定サイズに向けて変化しつつ設定位置に移動していること、あるいはその逆の動作を簡易的に表現したものである。そのように徐々に変化していくことにより、例えば装着者がウィンドウの設定位置を忘れてしまった際でも、タスクバー１３５のタスク表示をマウスでクリックし、ウィンドウの移動を目で追うことにより設定位置を確認することが可能となる。

上記実施例１において特に触れてはいないが、仮想ウィンドウ（即ち画面）は平面（即ち２Ｄ）であるが、その表示物は必ずしも２Ｄであるとは限らない。従って、３Ｄ物体を画面表示させた場合は当然、表示物を３Ｄで表示させることは可能であり、また顔を移動させた場合は視点および視線に応じて当然見え方も変わるような表示が可能となる。

実施例１において、右眼表示ユニット１００ａおよび左眼表示ユニット１００ｂを共に備えた両眼用として説明を行っているが、片眼であっても同様に実施することは可能である。

実施例１において、アクティブウィンドウの判定方法として視軸と各ウィンドウの中心との距離により判定しているがこれに限るものでなく、例えば視軸が突き抜けているウィンドウをアクティブにするという方法も可能である。

実施例１において、ウィンドウ位置や回転の変更をタイトルバー上での右クリックで説明しているがこれに限るものでない。

例えば、ツールバー上に用意しても良く、またウィンドウ枠の分かりやすい箇所に何らかの印を付けマウスのドラッグ＆ドロップで変更するようにすることも可能である。

実施例１において、ウィンドウの最小化／元のサイズに戻す際にタスクバー１３５上のタスク表示をクリックすると説明しているがこれに限るものでなく、例えばタスク表示を右クリックしてメニューウィンドウを表示させて変更することも可能である。また、徐々に変化させるように説明しているがこれに限るものでなく、例えばウィンドウのある方向に画面内で矢印を表示させる、あるいは画面内で一番ウィンドウに近い箇所に何かを表示させる等によってもウィンドウの位置を知ることは可能となる。

以上説明したように、本実施例の画像表示システムにおいて、システム制御装置２０１は、タスクの起動によりウィンドウ生成部２１４でウィンドウを開く。ウィンドウ生成部２１４で開いたウィンドウにタスクの処理内容を表示手段２１３に表示させる。そして開いている一つ以上のウィンドウの表示情報を画像信号として画像表示装置２０２に出力する各手段を備えている。

一方、画像表示装置２０２は、システム制御装置２０１からの画像信号を受けて、当該入力画像信号を表示素子１０２に表示させる。そして表示素子に表示した画像より射出された映像光光学系１０６を介して観察者の瞳に導いている。

画像表示装置２０２は、装着者の頭部位置および姿勢等の位置姿勢情報を位置姿勢検出センサ１２１で検出する。そして、位置姿勢検出手段センサ１２１での検出結果をシステム制御装置２０１へ出力している。

システム制御装置２０１では、視線情報算出部２１０で、出力された位置姿勢情報により装着者５０の両眼の視点位置および視線方向等の視線情報を算出する。そして視線情報算出部２１０での算出結果およびウィンドウの位置に応じてウィンドウおよびその表示情報の表示画像データ等をウィンドウ情報設定部２１６で変更する。ウィンドウ及び表示画像データを変更することにより、画像表示装置２０２の表示素子１０２には、装着者５０の位置姿勢情報に応じた形状（大きさ、外形状等）のウィンドウおよびウィンドウ情報を表示している。

ウィンドウの大きさの変更は、例えば一観察者の頭部が前後に移動したことの位置姿勢情報による。

またウィンドウ生成部２１４では、ウィンドウの生成時、および／またはその後随時、ウィンドウの位置を水平／垂直／奥行方向に移動させる手段、およびウィンドウの向きを同一面内／水平方向／垂直方向に回転させる手段を備えている。これにより、装着者５０の周囲の空間における任意な位置に所望の向きで１以上のウィンドウを配置する。そして観察者５０の視線情報に応じたウィンドウを表示している。これによって、例えばＰＣ等を用いて作業を行う際に、モニタという限られた作業スペース内での作業から開放される。このため、ウィンドウ間の前後切り替えや最小化によるタスクトレイへの移動等煩わしい行動が不要となり、作業効率が向上する。

また、ウィンドウを拡大して詳細な編集をしつつ全体のレイアウトを確認したい場合等に、マウスでサイズや表示倍率を変更する手間を排除することができるので、作業効率が向上する。

本発明における頭部装着型の画像表示装置を観察者が装着したときの外観図である 頭部装着型の画像表示装置の光学系構成の説明図である 本発明における頭部装着型の画像表示装置およびその制御装置のブロック図である 本発明における表示画像の表示例である 本発明における表示画像の表示例である 本発明における表示画像の表示例である 本発明におけるアクティブウィンドウ判定部での処理方法の説明図である 本発明におけるウィンドウ情報設定部におけるウィンドウ状態の設定例である 本発明におけるウィンドウの最小化あるいは元のサイズに戻す際の動作の一例である 頭部装着型の画像表示装置の主要位置において装着者が観察する画像の構成の説明図である

符号の説明

１００ａ、１００ｂ 表示ユニット
１０１ａ、１０１ｂ モノクロＬＣＤ
１０２ａ、１０２ｂ カラーＬＣＤ
１０３ａ、１０３ｂ バックライト
１０４ 制御回路
１０６ 接眼光学系
１０８ ＨＭＤ装着者の眼
１０９ ハーフミラー
１１０ カラーＬＣＤ１０２を透過した画像光の中心軸
１１１ 外界からの光の中心軸
１１２ 外界からの光１１１がモノクロＬＣＤ７０１を透過した後の光の中心軸
１１３ ＨＭＤ装着者の眼に入ってくる光の中心軸
１１４ 結像光学系
１２０ 外界の明るさを検出するためのセンサ
１２１ ＨＭＤ装着者の頭部の位置や姿勢を検出するためのセンサ
１３０、１３１、１３２ 仮想ウィンドウＡ，Ｂ，Ｃ
２０１ 制御装置
２０２ 頭部装着型の画像表示装置
２０３ 位置姿勢検出データ
２０４ 表示画像データ
２０６ 入力デバイス
２０７ ポインティングデバイス
２１０ 装着者の左右眼視点視線計算部
２１１ 位置姿勢リセット部
２１２ アクティブウィンドウ判定部
２１３ ウィンドウデータ
２１４ ウィンドウ生成部
２１５ ウィンドウ情報管理部
２１６ ウィンドウ情報設定部
２１７ 表示画像生成部
２１８ａ、２１８ｂ 表示画像生成部
５０１ メニューウィンドウ
５０２、５０３ サブメニューウィンドウ
１１０１ カラーＬＣＤ１０２に表示する画像
１１０２ ＨＭＤ装着者の視界に入る外界
１１０３ モノクロＬＣＤ１０１の透過率が最大になるようにしたときの画像
１１０４ モノクロＬＣＤ１０１が１１０３の状態である時の外界光の像
１１０５ １１０１と１１０４が重ね合わされてＨＭＤ装着者の眼に示される像
１１０６ モノクロＬＣＤ１０１の透過率が最小になるようにしたときの画像
１１０７ モノクロＬＣＤ１０１が１１０６の状態である時の外界光の像
１１０８ １１０１と１１０７が重ね合わされてＨＭＤ装着者の眼に示される像

Claims (10)

1. タスクの起動により１以上のウィンドウを開くウィンドウ生成部、該開いたウィンドウにタスクの処理内容を表示させる表示手段、前記開いている一つ以上のウィンドウの表示情報を画像信号として出力する画像出力手段を備えたシステム制御装置、
   前記システム制御装置からの画像信号を入力するための画像入力手段、該入力画像信号を表示素子に表示させる画像表示手段、該画像表示手段により射出された映像光を瞳に導く導光手段とを備えた画像表示装置、とを有する画像表示システムにおいて、前記画像表示装置は、装着者の頭部位置および姿勢を検出する位置姿勢検出手段、該位置姿勢検出手段からの検出結果を前記システム制御装置へ出力する位置姿勢情報出力手段を有しており、前記システム制御装置は、該画像表示装置から出力された位置姿勢検出情報により装着者の視線情報を算出する視線情報算出部、該視線情報算出部からの算出結果およびウィンドウ位置に応じてウィンドウの形状を変更させるウィンドウ情報設定部を有しており、前記画像表示装置は、該システム制御装置からの入力信号に基づいて装着者の頭部位置および姿勢に応じた形状のウィンドウを表示することを特徴とする画像表示システム。
2. タスクの起動により開いた１以上のウィンドウの表示情報を画像信号として出力するシステム制御装置と、該システム制御装置からの画像信号を表示素子に表示し、該表示素子からの映像光を観察者の瞳に導光する画像表示装置とを有する画像表示システムにおいて、
   該画像表示装置は、観察者の頭部位置情報を検出する位置姿勢検出手段を有し、該システム制御手段は、該画像表示装置からの頭部位置情報より、観察者の視線情報を算出する視線情報算出部と、該算出した視線情報に対応した形状のウィンドウ及びウィンドウ内の表示情報を生成する表示画像生成部とを有し、該画像表示装置は、該表示画像生成部からの画像信号に基づいて、表示素子に画像情報を表示することを特徴とする画像表示システム。
3. 前記１以上のウィンドウの位置と姿勢を変位させる駆動手段を有することを特徴とする請求項１又は２の画像表示システム。
4. 前記視線情報より算出した視軸からウィンドウの中心までの距離が最も近いウィンドウを検出し、検出したウィンドウが変化するごとに自動的にアクティブなウィンドウに切り替えるアクティブウィンドウ判定部を有することを特徴とする請求項１，２又は３の画像表示システム。
5. 常時、視野内に表示されているタスクバーのタスク表示の選択により、該タスクに対応したウィンドウを表示することを特徴とする請求項１から４のいずれか１項の画像表示システム。
6. 前記画像表示装置は、外界からの画像情報を取込む光学素子と、該光学素子によって形成される画像情報のうち、前記表示素子に表示される表示画像に相当する領域の画像情報からの光が観察者側に導光されるのを軽減又は遮光する遮光用画像表示手段を有していることを特徴とする請求項１から５のいずれか１項の画像表示システム。
7. 前記システム制御装置は、前記画像表示装置内の位置姿勢検出手段の原点を再設定するための位置姿勢リセット部を有していることを特徴とする請求項１から６のいずれか１項の画像表示システム。
8. 前記システム制御装置は、観察者の視線情報に基づいて左眼用と右眼用の表示画像を生成する左眼用と右眼用の画像生成部を有していることを特徴とする請求項１から７のいずれか１項の画像表示システム。
9. 前記左眼用と右眼用の画像生成部は、各々視差画像に基づく画像を生成していることを特徴とする請求項８の画像表示システム。
10. 請求項１から９のいずれか１項の画像表示システムを用いて、ウィンドウ及びウィンドウ情報を表示することを特徴とする画像表示方法。