JP2006174316A - 画像表示装及び画像表示システム - Google Patents

Abstract

【課題】撮像ユニットの誤作動、故障等の異常が発生した場合でも、良好な画像表示を行うことが可能な画像表示装置及び画像表示システムを提供する。
【解決手段】第１の撮像ユニット及び第２の撮像ユニットと、第１及び第２の撮像ユニットにより撮影された画像を表示する表示ユニット１２０と、第１及び第２の撮像ユニットの状態を検出する検出部１３０と、検出部の検出結果に応じて、第１及び第２の撮像ユニットのうち一方の撮像ユニットで撮影された画像を表示ユニットに表示する表示制御部１５０とを有する。
【選択図】 図１

Description

本発明は、複数の撮像装置を有する頭部装着型の画像表示装置及び画像表示システムに関する。

近年、現実世界と仮想世界をリアルタイムにシームレスに融合させる、すなわち現実世界と仮想世界をリアルタイムに違和感なく統合して利用できる技術として複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が知られている。

ＭＲ技術の１つに、ビデオシースルーＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を利用して、ＨＭＤ装着者の瞳位置から観察される被写体と略一致する被写体をビデオカメラなどで撮像し、その撮像画像にＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を重畳表示した画像をＨＭＤ装着者が観察できる技術が提案されている。

図６は，従来のビデオシースルーＨＭＤの構成を示す構成図である。右目用、左目用とで対の構成となるため片方のみ図示している。ＨＭＤは，右目用、左目用の小型の液晶ディスプレイなどからなる表示素子２０１と、それらに表示された右目用、左目用の画像を拡大表示するための自由曲面プリズムなどの表示光学系２０２、ＨＭＤ装着者の瞳４０１の位置から観察される被写体と略一致する被写体を撮像するための撮像素子３０１と、ＨＭＤ装着者の瞳４０１の位置と撮像素子３０１の位置を略一致させるための撮像光学系３０２とで構成されている。

図７は、ビデオシースルーＨＭＤ５０１を装着したときの外観図、図８は，ビデオシースルーＨＭＤ５０１の簡単なブロック図である。ＨＭＤ５０１に表示する画像を撮像する撮像ユニット５１０Ｒ，５１０Ｌ、撮像された画像にＣＧを重畳表示するなどの画像処理を行う画像処理ユニット５４０、撮像画像とＣＧの合成画像を表示する表示ユニット５２０Ｒ，５２０Ｌで構成される。

撮像ユニット５１０Ｒ，５１０Ｌは、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの撮像素子５１１Ｒ，５１１Ｌ、撮像素子５１１Ｒ，５１１Ｌから出力されるアナログ信号に対してゲイン調整、ＣＤＳ（相関２重サンプリング）などを行った後にデジタル信号に変換するＡＤ変換部５１２Ｒ，５１２Ｌ、デジタル信号に対してゲイン制御、色味制御、輝度制御、ガンマ補正などを行うデジタル信号処理部５１３Ｒ，５１３Ｌ、外部に撮像画像信号を出力する撮像画像出力部５１４Ｒ，５１４Ｌなどから構成される。

画像処理ユニット５４０は、パーソナルコンピュータやワークステーションなどで構成される。表示ユニット５２０Ｒ，５２０Ｌは、ｐ−ＳｉＴＦＴやＬＣＯＳなどの表示素子５２１Ｒ，５２１Ｌ、この表示素子５２１Ｒ，５２１Ｌを制御・駆動するための表示駆動部５２２Ｒ，５２２Ｌ、外部から入力される表示画像信号を受信する表示画像入力部５２３Ｒ，５２３Ｌなどから構成される。

以上の構成のビデオシースルーＨＭＤを装着することで、現実世界と仮想世界とがリアルタイムにシームレスに融合した複合現実世界を体験できる（特許文献１参照）。
特開２００１−１３３７２５（段落００２６〜００３６、図１等）

しかしながら、従来のビデオシースルーＨＭＤでは、ビデオカメラなどから構成される撮像ユニットに誤動作、故障等の異常が発生した場合、異常が発生した撮像ユニットから画像が出力されずに表示ユニットに何も表示されなかったり、画像にノイズ等が発生した状態で表示ユニットに表示されてしまう問題があった。

また、撮像ユニットの該異常に対応した警告や表示が行われず、さらには、ビデオシースルーＨＭＤに設けられた複数の撮像ユニットのどの撮像ユニットに異常が発生しているのか、撮像ユニットのどの箇所で故障等が発生しているのかの特定ができないため、該異常に対して円滑に対処することができないままであった。

本発明の例示的な目的の１つは、撮像ユニットの誤作動、故障等の異常が発生した場合でも、良好な画像表示を行うことが可能な画像表示装置及び画像表示システムを提供することにある。

本発明の１つの観点としての画像表示装置は、第１の撮像ユニット及び第２の撮像ユニットと、該第１及び第２の撮像ユニットにより撮影された画像を表示する表示ユニットと、第１及び第２の撮像ユニットの状態を検出する検出部と、この検出部の検出結果に応じて、第１及び第２の撮像ユニットのうち一方の撮像ユニットで撮影された画像を表示ユニットに表示する表示制御部とを有することを特徴とする。

また、本発明の他の観点としての画像表示装置は、第１の撮像ユニット及び第２の撮像ユニットと、該第１及び第２の撮像ユニットにより撮影された画像を表示する表示ユニットと、第１及び第２の撮像ユニットの状態を検出する検出部と、画像に対して検出部の検出結果に応じた画像処理を行う画像処理部とを有することを特徴とする。

本発明によれば、該撮像ユニットの状態に応じて一方の撮像ユニットで撮影された画像を表示ユニットに表示している。

このため、撮像ユニットに異常は発生した場合でも従来のように表示ユニットに何も表示されない、若しくはノイズ画像が表示されてしまうことがなく、良好な画像表示を行うことが可能となる。

また、撮像ユニットに異常が発生した場合に、表示する画像に画像処理を施してから表示ユニットに表示することで、撮像ユニットに異常が発生していることをユーザーに知らせたり、正常動作時の画像表示と同様な画像を提供することが可能となる。

以下に本発明の実施例について説明する。

図１は本発明の実施例１に係る頭部装着型の画像表示装置（ビデオシースルーＨＭＤ）を利用した画像表示システムの構成ブロック図である。

ビデオシースルーＨＭＤ１００は、左右の撮像ユニット１１０Ｒ，１１０Ｌ、左右の表示ユニット１２０Ｒ，１２０Ｌ、画像処理ユニット（画像処理部）１４０及び左右の画像信号選択部（表示制御部）１５０Ｒ，１５０Ｌ、異常検出ユニット（検出部）１３０から構成される。

撮像ユニット１１０Ｒ，１１０Ｌは、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの撮像素子１１１Ｒ，１１１Ｌ、この撮像素子１１１Ｒ，１１１Ｌから出力されるアナログ信号に対しゲイン調整、ＣＤＳ（相関２重サンプリング）などを行った後にデジタル信号に変換するＡＤ変換部１１２Ｒ，１１２Ｌ、デジタル信号に対してゲイン制御、色味制御、輝度制御、ガンマ補正などを行うデジタル信号処理部１１３Ｒ，１１３Ｌ、撮像画像信号をＵＳＢやＩＥＥＥ１３９４などの画像フォーマットに変換して外部のコンピュータに出力する撮像画像出力部１１４Ｒ，１１４Ｌなどから構成される。

表示ユニット１２０Ｒ，１２０Ｌは、ｐ−ＳｉＴＦＴやＬＣＯＳなどの表示素子１２１Ｒ，１２１Ｌ、この表示素子１２１Ｒ，１２１Ｌを制御・駆動するための表示駆動部１２２Ｒ，１２２Ｌ、外部のコンピュータから入力されるＤＶＩなどの画像フォーマットを受信する表示画像入力部１２３Ｒ，１２３Ｌなどから構成されている。

異常検出ユニット１３０は、撮像ユニットの異常を検出する異常検出部１３１と、異常検出部１３１が異常を検出した場合に異常箇所などに対応付けた異常検出信号１３３を外部に出力する異常検出信号出力部１３２などから構成され、異常検出ユニット１３０は例えばＭＰＵなど構成される。

画像処理ユニット１４０は、ビデオシースルーＨＭＤ１００の撮像画像出力部１１４Ｒ，１１４Ｌからの撮像画像信号にＣＧの重畳表示などの画像処理を行い、画像処理後の表示画像データを表示画像入力部１２３Ｒ，１２３Ｌに出力する。また、異常検出信号出力部１３２からの異常検出信号１３３を受信する。画像処理ユニット１４０は、例えば汎用のパーソナルコンピュータやワークステーションから構成してもよい。

次に、本実施例のビデオシースルーＨＭＤ１００及び画像表示システムの画像表示における処理について図２Ａを用いて説明する。

まず、各撮像ユニットの撮像素子１１１Ｒ，１１１Ｌは、ビデオシースルーＨＭＤ１００の装着者の瞳位置から観察される画像に概略一致する画像、つまり、左右の瞳位置に対応した基線長分だけ異なる画像をそれぞれ撮影する（Ｓ１０１）。

この撮像素子１１１Ｒ，１１１Ｌで撮影された物体像はアナログ信号としてそれぞれのＡＤ変換部１１２Ｒ，１１２Ｌに入力され、ゲイン調整、ＣＤＳ（相関２重サンプリング）などの処理が行われた後、デジタル信号に変換される（Ｓ１０２）。

次にＡＤ変換部でデジタル信号に変換された撮像信号は、デジタル信号処理部１１３Ｒ，１１３Ｌに入力され、ゲイン制御、色味制御、輝度制御、ガンマ補正などが行われて撮影画像データが生成される（Ｓ１０３）。そして、この撮像画像データはそれぞれの画像信号選択部（表示制御部）１５０Ｒ，１５０Ｌと、画像処理ユニット１４０に出力するために撮像画像出力部１１４Ｒ，１１４Ｌに出力される。

画像信号選択部１５０ＲではビデオシースルーＨＭＤの装着者が選択した表示画像モードに応じて（Ｓ１０４）、デジタル信号処理部１１３Ｒ，１１３Ｌから出力された撮影画像データを表示ユニット１２０Ｒに表示するのか（表示画像モードＡ）、あるいは画像処理ユニット１４０で画像処理されて表示画像入力部１２３Ｒに出力された撮影画像データを表示ユニット１２０Ｒに表示するのか（表示画像モードＢ）を制御し、いずれか１つの撮影画像データを表示駆動部１２２Ｒに出力する（Ｓ１０５）。

同様に画像信号選択部１５０Ｌでも表示画像モードの選択に応じて、デジタル信号処理部１１３Ｒ，１１３Ｌ及び表示画像入力部１２３Ｌから入力された撮影画像データのいずれか１つを表示駆動部１２２Ｌに出力する。

なお、処理負担を軽減するために、例えば表示画像モードＡの場合、つまりデジタル信号処理部１１３Ｒ、１１３Ｌから出力される撮影画像データを表示ユニット１２０Ｒ、１２０Ｌに表示させる場合は、ステップ１０３において撮像画像出力部１１４Ｒ，１１４Ｌに撮影画像データの出力を行わないようにしたり、表示画像モードＢの場合、つまり、画像処理ユニット１４０で画像処理されて表示画像入力部１２３Ｒ、１２３Ｌに出力された撮影画像データを表示ユニット１２０Ｒ、１２０Ｌに表示する場合は、ステップ１０３において画像信号選択部１５０Ｒ、１５０Ｌにデジタル信号処理部からの撮影画像データを出力しないように構成することも可能である。

ステップ１０５において、撮像画像出力部１１４Ｒ，１１４Ｌは撮影画像データをＵＳＢやＩＥＥＥ１３９４などの画像フォーマットに変換し、画像処理ユニット１４０に出力する。画像処理ユニット１４０では撮影画像データにＣＧを重畳表示するなどの処理を行い、画像処理後の撮影画像データはそれぞれの表示画像入力部１２３Ｒ，１２３Ｌに出力され、画像信号選択部１５０Ｒ，１５０Ｌに入力されることになる。

そして、画像信号選択部１５０Ｒ，１５０Ｌがそれぞれデジタル信号処理部１１３Ｒ，１１３Ｌから入力された撮影画像データを選択する表示画像モードＡの場合は、撮像素子１１１Ｒ，１１１Ｌにおいて撮影された画像が直接それぞれの表示素子１２１Ｒ，１２１Ｌで表示される（Ｓ１０８）。

また、画像信号選択部１５０Ｒ，１５０Ｌがそれぞれ表示画像入力部１２３Ｒ，１２３Ｌから入力された撮影画像データを選択する表示画像モードＢの場合、画像処理ユニット１４０において撮像素子１１１Ｒ，１１１Ｌでの撮影画像データに画像処理が行われた画像がそれぞれの表示素子１２１Ｒ，１２１Ｌで表示されることになる（Ｓ１０８）。このように、画像信号選択部１５０Ｒ，１５０Ｌは２つの画像信号入力のうち１つを選択して出力するセレクタとしての役割を担っている。なお、表示画像モード選択が行われていない場合、それぞれ表示画像入力部１２３Ｒ，１２３Ｌから入力された撮影画像データを選択する表示画像モードＢが設定される。

次に、本実施例の頭部装着型画像表示装置及び画像表示システムにおいて、撮像ユニット１１０Ｒ、１１０Ｌのいずれかに異常が発生した際の処理について図２Ａ、図２Ｂを用いて説明する。なお、図２Ｂは撮像ユニットン１１０Ｌに異常が発生した場合のブロック図である。

図２Ａにおいて、電源がＯＮされると（Ｓ１００）、撮像ユニット１１０Ｒ、１１０Ｌでの撮影動作とともに（Ｓ１０１）、異常検出ユニット１３０での撮像ユニット１１０Ｒ、１１０Ｌの状態検出処理が開始される（Ｓ１０９）。具体的には、異常検出部１３１が撮像ユニット１１０Ｒ，１１０Ｌにおける電源ラインや撮像素子１１１Ｒ、１１１Ｌから出力される撮像信号、水平同期信号、垂直同期信号、画素クロック信号、イネーブル信号などの信号を常に検出している。例えば、異常検出部１３１がデジタル信号処理部１１３Ｒ，１１３Ｌを監視し、撮像素子１１１Ｒ、１１１Ｌからの信号入力が所定時間以上無い、若しくは電源ラインの電圧範囲が規格外になるなどの異常を検出する（Ｓ１１０）。このように本実施例では、上記各信号が所定値以上又は所定値以下の場合に撮像ユニット１１０Ｒ、１１０Ｌに異常が発生したと検出するとともに、上記各信号の入力が無い場合においても撮像ユニット１１０Ｒ、１１０Ｌに異常が発生したとして検出する。

異常検出部１３０が異常を検出した場合は、異常検出信号出力部１３２から異常検出信号１３３が画像処理ユニット１４０に出力され、さらに、表示切替制御信号１３６が異常検出ユニット１３０から画像信号選択部１５０Ｒ，１５０Ｌに出力される（Ｓ１１１）。図２Ｂは、異常検出信号出力部１３２から表示切替制御信号１３６が出力されていることを示している。なお、この表示切替制御信号１３６は、異常検出信号出力部１３２からの異常検出信号１３３を受信した画像処理ユニット１４０から出力される構成としてもよい。

ここで、異常検出信号１３３について詳細に説明する。図３は異常検出信号１３３のデータフォーマットの１例である。異常検出信号１３３は、異常が検出された撮像ユニット１１０Ｒまたは１１０Ｌを示す識別ＩＤ１３４、異常が検出された場所を示すＬＯＣＡＴＩＯＮ１３５から構成される。識別ＩＤ１３４は撮像ユニット１１０Ｒで異常を検出した場合は「００」、撮像ユニット１１０Ｌで異常を検出した場合は「０１」などと割り当てられる。

ＬＯＣＡＴＩＯＮ１３５は、電源ラインで異常を検出した場合は「００」，撮像信号において異常が検出された場合は「０１」などと割り当てられる。異常検出信号１３３の画像処理ユニット１４０への通信はシリアルやＩ２Ｃなどのインタフェースが利用できる。

この撮像ユニット１１０Ｒ、１１０Ｌの識別ＩＤ１３４は、異常検出ユニット１３０の異常検出部１３１が撮像ユニット１１０Ｒ、１１０Ｌの異常を検出した際に、撮像ユニット１１０Ｒ、１１０Ｌの識別信号として検出される。また、撮像ユニット１１０Ｒの撮像素子１１１Ｒ、Ａ／Ｄ変換部１１２Ｒ及びデジタル信号処理部１１３Ｒのどの箇所からの信号に異常が発生しているのかを判別してＬＯＣＡＴＩＯＮ情報として検出される。そして識別信号とＬＯＣＡＴＩＯＮ情報とが異常検出信号出力部１３２に出力され、異常検出信号出力部１３２において図３に示すような異常検出信号１３３が生成・出力される。

表示切替制御信号１３６を受信した画像信号選択部１５０Ｒでは，デジタル信号処理部１１３Ｒから出力された撮影画像データを表示駆動部１２２Ｒに出力するように表示切替動作を行う。同様に表示切替制御信号１３６を受信した画像信号選択部１５０Ｌでは、異常が発生した撮像ユニット１１０Ｌのデジタル信号処理部１１３Ｌから出力された撮影画像データではなく、デジタル信号処理部１１３Ｒから出力された撮影画像データを表示駆動部１２２Ｌに出力するように表示切替動作を行う（Ｓ１０６、Ｓ１０７）。

また、異常検出信号１３３を受信した画像処理ユニット１４０では、異常状態にある撮像ユニットの識別ＩＤ１３４、異常場所を知らせるＬＯＣＡＴＩＯＮ１３５などから、異常箇所を特定するとともに、警告にためにビープ音を出したり、外部接続したモニタ等に警告文を表示したりする。外部接続したＬＥＤを発光させるなどの異常警告ユニット１６０により、異常箇所をビデオシースルーＨＭＤ装着者または第三者に知らせるように構成することもできる（Ｓ１１２）。

このように本実施例では、異常検出ユニット１３０により撮像ユニット１１０Ｒ、１１０Ｌの状態を常に検出し、該状態に応じて撮像ユニット１１０Ｒ、１１０Ｌのうち一方の撮像ユニットで撮影された撮影画像データを表示ユニット１２０Ｒ、１２０Ｌに表示している。

すなわち、異常検出信号１３３に応じて、撮像ユニット１１０Ｒにより撮影された第１の撮影画像データと撮像ユニット１１０Ｌにより撮影された第２の撮影画像データのうち一方の撮影画像データを表示ユニット１２０Ｒ、１２０Ｌの両表示ユニットに表示する第１のモードと、第１及び第２の撮影画像データをそれぞれ表示ユニット１２０Ｒ、１２０Ｌに表示する第２のモードと切り替えている。

このため、片方の撮像ユニット１１０Ｌに異常が発生した場合でも、即座に撮像素子１１１Ｒが撮像した画像が表示素子１２１Ｒ、１２１Ｌに表示されるように表示動作が切り替わり、従来のように表示ユニットに何も表示されない、若しくはノイズ画像が表示されてしまうことが回避される。したがって、良好な画像表示を行うことができ、ビデオシースルーＨＭＤ装着者は正常な視界を保つことができる。

さらに、出力される異常検出信号１３３には撮像ユニット１１０Ｒ、１１０Ｌの識別情報及び異常が発生した箇所のＬＯＣＡＴＩＯＮ情報が含まれているため、異常箇所が特定でき、メンテナンス作業を容易に行うことが可能となる。

図４Ａは本発明の実施例２に係る頭部装着型の画像表示装置を利用した画像表示システムの構成ブロック図である。本実施例は、主にこの撮影画像データを画像処理ユニット１４０に出力して、該撮影画像データにＣＧを重畳表示したり、３Ｄ表示を可能とするような画像処理を行ってから表示ユニット１２０Ｒ、１２０Ｌに表示させる画像処理システムである。その他の構成については、実施例１の図１と同様の符号を付して説明を省略する。

本実施例の頭部装着型画像表示装置及び画像表示システムの画像表示における処理について図４Ｂを用いて説明する。

まず、まず、各撮像ユニットの撮像素子１１１Ｒ，１１１Ｌは、ビデオシースルーＨＭＤ装着者の瞳位置から観察される画像に概略一致する画像、つまり、左右の瞳位置に対応した基線長分だけ異なる画像をそれぞれ撮影する（Ｓ３０１）。

この撮像素子１１１Ｒ，１１１Ｌで撮影された物体像はアナログ信号としてそれぞれのＡＤ変換部１１２Ｒ，１１２Ｌに入力され、ゲイン調整、ＣＤＳ（相関２重サンプリング）などの処理が行われた後、デジタル信号に変換される（Ｓ３０２）。

次にＡＤ変換部でデジタル信号に変換された撮像信号は、デジタル信号処理部１１３Ｒ，１１３Ｌに入力され、ゲイン制御、色味制御、輝度制御、ガンマ補正などが行われて撮影画像データが生成される（Ｓ３０３）。そして、この撮像画像データは画像処理ユニット１４０に出力するために撮像画像出力部１１４Ｒ，１１４Ｌに出力される。

画像処理ユニット１４０では撮影画像データにＣＧを重畳表示するなどの画像処理が行われ（Ｓ３０４）、画像処理後の撮影画像データはそれぞれの表示画像入力部１２３Ｒ，１２３Ｌに入力される。そして、この撮影画像データは表示駆動部１２２Ｒ，１２２Ｌを介して表示素子１２１Ｒ，１２１Ｌに出力される。表示素子１２１Ｒ，１２１Ｌには画像処理ユニット１４０で画像処理が行われた画像が表示されることになる。

次に、本実施例の頭部装着型画像表示装置及び画像表示システムにおいて、撮像ユニット１１０Ｒ、１１０Ｌのいずれかに異常が発生した際の処理について図４Ｂを用いて説明する。なお、撮像ユニット１１０Ｌに異常が発生した場合について説明を行い、撮像ユニット１１０Ｒに異常が発生した場合については省略する。

図４Ｂにおいて、電源がＯＮされると（Ｓ３００）、撮像ユニット１１０Ｒ、１１０Ｌでの撮影動作とともに（Ｓ３０１）、異常検出ユニット１３０での撮像ユニット１１０Ｒ、１１０Ｌの状態検出処理が開始される（Ｓ３０９）。上記実施例１と同様に異常検出部１３１が撮像ユニット１１０Ｒ，１１０Ｌにおける電源ラインや撮像素子１１１Ｒ、１１１Ｌから出力される撮像信号、水平同期信号、垂直同期信号、画素クロック信号、イネーブル信号などの信号を常に検出している。

異常検出部１３０が異常を検出した場合は（Ｓ３１０）、異常検出信号出力部１３２から異常検出信号１３３が画像処理ユニット１４０に出力される（Ｓ３１１）。異常検出信号１３３及び異常検出信号１３３の詳細については図３と同様に構成されている。

異常検出信号１３３を受信した画像処理ユニット１４０では、異常状態にある撮像ユニットの識別ＩＤ１３４、異常場所を知らせるＬＯＣＡＴＩＯＮ１３５などから、撮像ユニット１１０Ｌに異常が発生しており、かつ異常発生箇所を特定することができる（Ｓ３０５）。

ここで、本実施例では正常に動作している撮像ユニット１１０Ｒから出力された撮影画像データから、異常が発生した撮像ユニット１１０Ｌにより撮影されるべき撮影画像データと略一致する撮影画像データを画像処理ユニット１４０で生成する。つまり、撮像画像出力部１１４Ｒから出力される撮影画像データをビデオシースルーＨＭＤ装着者の左右視差に合わせて適宜シフトさせたシフト画像を生成する。

そして、撮像ユニット１１０Ｒで生成された撮影画像データと、撮像ユニット１１０Ｒで生成された撮影画像データに基づいて生成されたシフト画像データとに対してＣＧを重畳させる処理を行い、画像処理された各々の撮影画像データを各々の表示ユニット１２０Ｒ、１２０Ｌに出力して表示させる。

さらに、本実施例では異常検出信号１３３を画像処理ユニット１４０が受信しているので、この画像処理ユニット１４０での画像処理の際に、撮影画像データに異常検出信号１３３の異常箇所に合わせて、警告文、異常発生箇所等の異常検出情報を重畳表示することでビデオシースルーＨＭＤ装着者に異常が発生したことを即座に認識させる。

また、上記実施例１と同様に、異常発生を知らせる異常警告手段１６０を設けて表示ユニット１２０Ｒ、１２０Ｌへの異常検出情報表示と組み合わせることも可能である。

図５は表示ユニット１２０Ｒ、１２０Ｌに表示される、撮影画像データに警告文が重畳表示された撮影画像データを示す図であり、異常を検出した撮像ユニットを示すＩＤ１３４が撮像ユニット１１０Ｌ，異常を検出した場所を示すＬＯＣＡＴＩＯＮ１３５が電源ラインの場合を示している。警告文の表示内容、表示位置、表示方法などは図５に限定されるものではなく、ビデオシースルーＨＭＤ装着者が撮像ユニット１１０Ｒ，１１０Ｌのいずれかに異常が発生していることを認識できるものであればよい。

このように本実施例では、撮像ユニット１１０Ｌに異常が発生した場合でも、異常発生前と変わらない３Ｄ画像を観察できる。また同時に、撮影画像データに警告文を重畳表示するなどの画像処理を施すことにより、ビデオシースルーＨＭＤ装着者に撮像ユニットの異常発生を直ちに認識させることが可能となる。

言い換えれば、異常検出信号１３３に基づいて、撮影画像データに対して異常検出情報を重畳する画像処理を行い、さらには、一方の撮像ユニット１１０Ｒで撮影された撮影画像データ（第１の画像）に基づいて、他方の撮像ユニット１１０Ｌで撮影されるべき撮影画像データ（第２の画像）に略一致する撮影画像データ（第３の画像）を生成している。

したがって、撮影画像データに撮像ユニットでの異常発生を知らせる警告文を重畳表示するので、ビデオシースルーＨＭＤ装着者に異常の発生、異常箇所を直ちに認識させることができると同時に、正常動作している撮像ユニットで撮像した画像から視差画像を生成することで、異常発生前と変わらない３Ｄ画像を提供することが可能となり、撮像ユニットで撮像した画像にＣＧを重畳表示することなども異常発生前と変わらずに行うことができる。

また、上記実施例１と同様に、正常に動作している撮像ユニット１１０Ｒから出力される撮影画像データにＣＧを重畳表示するなどの画像処理を行い、かつ、その画像処理が行われた撮影画像データを表示画像入力部１２３Ｒ，１２３Ｌに出力する。つまり、異常が発生した撮像ユニット１１０Ｌから出力された撮影画像データに対しては画像処理を行わずに、正常に動作している撮像ユニット１１０Ｒからの撮影画像データを両表示ユニット１２０Ｒ、１２０Ｌに出力するように構成するとともに、撮影画像データに警告文を重畳表示するなどの画像処理を施すように構成することも可能である。

なお、本実施例では画像処理ユニット１４０が異常検出信号１３３に応じて、撮像ユニット１１０Ｒ、１１０Ｌの両撮像ユニットで撮影された画像を各々の表示ユニット１２０Ｒ、１２０Ｌに表示するモードと、正常に動作している撮像ユニットから出力された撮影画像データ及び異常が発生した撮像ユニットにより撮影されるべき撮影画像データと略一致する撮影画像データを表示ユニット１２０Ｒ、１２０Ｌのそれぞれに表示するモードと切り替えを行っている。

以上、実施例１、２の画像表示システムにおいて、画像処理ユニット１４０をビデオシースルーＨＭＤ１００、１０２とは別に設けているが、ビデオシースルーＨＭＤ１００、１０２と画像処理ユニット１４０を一体的に設けることも可能である。

また、実施例１では異常警告手段１６０を設けて撮像ユニット１１０Ｒ、１１０Ｌの異常を警告しているが、実施例２と同様に異常が発生した場合、表示ユニット１２０Ｒ、１２０Ｌに異常検出情報を表示させるように画像処理を施すことも可能である。

さらに、表示ユニット１２０Ｒ、１２０Ｌの一部の表示領域に予め異常検出情報を表示させる表示素子を設けて、撮像ユニット１１０Ｒ、１１０Ｌに異常が発生した際に出力される異常検出信号１３３に基づいて、撮影画像データに該異常検出情報を重畳させずに表示するように構成することもできる。なお、表示ユニット１２０Ｒ、１２０Ｌを１つの表示ユニットをして設け、表示ユニット内の表示領域を撮像ユニット１１０Ｒに対応した第１の表示領域と、撮像ユニット１１０Ｌに対応した第２の表示領域として各々の撮影画像データを表示するように構成することもできる。

その他、実施例１、２において、画像信号選択部１５０Ｒ，１５０Ｌによる表示動作の切り替えを表示切替制御信号１３６を出力することによって行っているが、例えば、画像信号選択部１５０Ｒ，１５０Ｌと異常検出ユニット１３０が同一のＦＰＧＡで構成し、撮像異常検出部１３１での異常検出と画像信号選択部１５０Ｒ，１５０Ｌの表示切替制御とを自動制御する回路構成とすることもできる。

また、異常検出信号１３３は、異常が検出された撮像ユニットを示すＩＤ１３４と、異常が検出された場所を示すＬＯＣＡＴＩＯＮ１３５から構成される例を示したが、インタフェースやビデオシースルーＨＭＤの構成に合わせて、適宜最適なフォーマットに構成することが望ましい、例えば、ＩＤ１３４として撮像ユニットを構成する撮像素子１１１Ｒ，１１１Ｌ、ＡＤ変換部１１２Ｒ，１１２Ｌ、デジタル信号処理部１１３Ｒ，１１３Ｌ、撮像画像出力部１１４Ｒ，１１４Ｌを割り当てることも可能である。

本発明の実施例１における頭部装着型の画像表示装置を適用した画像表示システムの構成ブロック図。 本発明の実施例１における頭部装着型の画像表示装置を適用した画像表示システムの動作フローチャート図。 本発明の実施例１における撮像ユニットに異常が発生した場合の処理遷移を示すブロック図。 本発明の実施例１における異常検出信号を示す図。 本発明の実施例２における頭部装着型の画像表示装置を適用した画像表示システムの構成ブロック図。 本発明の実施例２における頭部装着型の画像表示装置を適用した画像表示システムの動作フローチャート図。 本発明の実施例２における頭部装着型の画像表示装置に表示される画像に異常検出情報が重畳表示された画像を示す図。 従来の頭部装着型の画像表示装置の構成を示す図。 従来の頭部装着型の画像表示装置を装着したときの外観図。 従来の頭部装着型の画像表示装置の構成ブロック図。

符号の説明

１００ ビデオシースルーＨＭＤ（頭部装着型画像表示装置）
１１０Ｒ、１１０Ｌ 撮像ユニット
１２０Ｒ、１２０Ｌ 表示ユニット
１３０ 異常検出ユニット（検出部）
１４０ 画像処理ユニット
１５０Ｒ、１５０Ｌ 画像信号選択部（表示制御部）

Claims (15)

1. 第１の撮像ユニット及び第２の撮像ユニットと、
   前記第１及び第２の撮像ユニットにより撮影された画像を表示する表示ユニットと、
   前記第１及び第２の撮像ユニットの状態を検出する検出部と、
   前記検出部の検出結果に応じて、前記第１及び第２の撮像ユニットのうち一方の撮像ユニットで撮影された前記画像を前記表示ユニットに表示する表示制御部とを有することを特徴とする画像表示装置。
2. 前記表示制御部は、前記検出部の検出結果に応じて、前記第１の撮像ユニットにより撮影された第１の画像及び前記第２の撮像ユニットにより撮影された第２の画像の一方の画像を前記表示ユニットに表示する第１のモードと、前記第１の画像と前記第２の画像とを前記表示ユニットに表示する第２のモードとを切り替えることを特徴とする請求項１に記載の画像表示装置。
3. 第１の撮像ユニット及び第２の撮像ユニットと、
   前記第１及び第２の撮像ユニットにより撮影された画像を表示する表示ユニットと、
   前記第１及び第２の撮像ユニットの状態を検出する検出部と、
   前記画像に対して前記検出部の検出結果に応じた画像処理を行う画像処理部とを有することを特徴とする画像表示装置。
4. 前記画像処理部は、前記第１及び第２の撮像ユニットのうち一方の撮像ユニットで撮影された第１の画像に基づいて、前記第１の画像とは異なる画像を生成することを特徴とする請求項３に記載の画像表示装置。
5. 前記画像処理部は、前記第１及び第２の撮像ユニットのうち一方の撮像ユニットで撮影された第１の画像及び他方の撮像ユニットで撮影された第２の画像を前記表示ユニットに表示する第１のモードと、前記第１の画像及び前記第２の画像のうち一方の画像と前記異なる画像とを前記表示ユニットに表示する第２のモードとを切り替えることを特徴とする請求項４に記載の画像表示装置。
6. 前記異なる画像は、前記第１の画像とは異なる他方の前記撮像ユニットで撮影される第２の画像と略一致する第３の画像であることを特徴とする請求項４又は５に記載の画像表示装置。
7. 前記検出部は、前記撮像ユニットの前記状態に応じて状態検出信号を出力することを特徴とする請求項１から６のいずれか１つに記載の画像表示装置。
8. 前記画像処理部は、前記撮像ユニットの前記状態に基づいて前記検出部から出力される状態検出信号に応じた状態検出情報を前記画像に重畳させる処理を行うことを特徴とする請求項３から６のいずれか１つに記載の画像表示装置。
9. 前記検出部は、前記第１及び第２の撮像ユニットから出力される撮像信号を含む出力信号に基づいて、前記撮像ユニットの状態を検出することを特徴とする請求項１から８のいずれか１つに記載の画像表示装置。
10. 前記検出部は、前記第１及び第２の撮像ユニットの識別情報を検出することを特徴とする請求項９に記載の画像表示装置。
11. 第１の撮像ユニット及び第２の撮像ユニットと、
    前記第１及び第２の撮像ユニットにより撮影された画像を表示する表示ユニットと、
    前記第１及び第２の撮像ユニットの状態を検出する検出手段と、
    前記検出手段の検出結果に応じて、前記第１及び第２の撮像ユニットのうち一方の撮像ユニットで撮影された前記画像を前記表示ユニットに表示する表示制御手段とを有することを特徴とする画像表示システム。
12. 前記表示制御手段は、前記検出手段の検出結果に応じて、前記第１の撮像ユニットにより撮影された第１の画像及び前記第２の撮像ユニットにより撮影された第２の画像の一方の画像を前記表示ユニットに表示する第１のモードと、前記第１の画像と前記第２の画像とを前記表示ユニットに表示する第２のモードとを切り替えることを特徴とする請求項１１に記載の画像表示システム。
13. 第１の撮像ユニット及び第２の撮像ユニットと、
    前記第１及び第２の撮像ユニットにより撮影された画像を表示する表示ユニットと、
    前記第１及び第２の撮像ユニットの状態を検出する検出手段と、
    前記画像に対して前記検出手段の検出結果に応じた画像処理を行う画像処理手段とを有することを特徴とする画像表示システム。
14. 前記画像処理手段は、前記検出手段の検出結果に応じて、前記第１及び第２の撮像ユニットのうち一方の撮像ユニットで撮影された第１の画像に基づいて、前記第１の画像とは異なる画像を生成することを特徴とする請求項１３に記載の画像表示システム。
15. 前記画像処理手段は、前記第１及び第２の撮像ユニットのうち一方の撮像ユニットで撮影された第１の画像及び他方の撮像ユニットで撮影された第２の画像を前記表示ユニットに表示する第１のモードと、前記第１の画像及び前記第２の画像のうち一方の画像と前記異なる画像とを前記表示ユニットに表示する第２のモードとを切り替えることを特徴とする請求項１４に記載の画像表示システム。

Images