JP2006267887A - 映像認識手段を備えたヘッドマウントディスプレイ - Google Patents

Abstract

【課題】撮像装置で捉えた映像を表示する外界光透過型のヘッドマウントディスプレイにおいて、映像を認識する機能を備えて対象物に関する各種の情報を自動的に表示する。また、外界光を透過するシースルー特性に適った各種設定を行う。
【解決手段】
外界光透過型のヘッドマウントディスプレイにおいて、視線方向の対象物を電子的に捉える撮像装置と、この電子データから対象物を認識する映像認識手段を備え、予め記憶手段に記憶された対象物に関する情報を表示する。また、映像認識の際、撮像装置で捉えた電子データと対応するテンプレートデータを予め撮像装置で登録可能にする。
【選択図】図５

Description

本発明は、ヘッドマウントディスプレイに係り、特に、撮像手段で捉えた映像情報から対象物を自動認識して対象物に関する情報を表示するヘッドマウントディスプレイに関する。

従来から、頭部に装着する装着具に小型表示装置を備えて眼前に映像を表示するヘッドマウントディスプレイが知られている。ヘッドマウントディスプレイには、光学素子を用いた観者の外界視界にホログラム映像を重畳表示する外界光透過型のものがある。また外界光透過型のヘッドマウントディスプレイを観者の視界方向の映像を捉える小型カメラを備えて映像をホログラム表示させる構成とし、外界視界の情報取得を妨げることなく表示情報を取得することを可能とするものもある。
シースルー特性はヘッドマウントディスプレイのハンズフリー性をより向上させるものであり、更に視界方向の映像を表示できる特性は視界方向の情報取得性を向上させる。このためシースルー型のヘッドマウントディスプレイは、弱視者等の視覚補助手段として活用される場合も多くある。

ところで、人間の視覚を補助する手段としては種々の研究がなされている。例えば、特許文献１は、デジタルビデオカメラに被写体の動き（移動）を認識する映像認識手段を備え、この映像認識手段の処理結果に基づいてデジタルビデオカメラの支持台に備えたモータを駆動制御して被写体を自動追尾する発明を開示している。また、特許文献２には、戦闘航空機に搭載されるミサイルの追尾に関する発明が開示されている。

更には、特許文献３は、複数の情報を表示可能とする自動車等のナビゲーション装置に関するものであり、自動車等の運行状況に応じて運転者に必要となる情報に優先順位を設け適宜提供する発明が開示されている。
特開平８−４６８４９号公報 特開２００１−１９４０９８号公報 特開平１０−１０４００１号公報

しかしながら、対象物追尾機能は機器自身が移動体を追尾することを目的とするものであり、移動体に関して人間の肉眼視界の補助を直接的に行うことを目的とするものではない。

対象物を観察等する上で、直接肉眼で対象物を観察することがのぞましい場合が多々ある。例えば、学習の場における生物の観察では、実際に生物を視覚、触覚、聴覚及び味覚等の五感を通して触れることが重要である場合がある。また、学習の場に限らず趣味や娯楽の領域においても、実際に五感を通じて触れることを目的とする場合もある。即ち、実際に対象が存在する環境に自ら出向き、その中で学習、趣味及び娯楽を体験することに意義があるものである。

実際に対象物の生息する環境においては、生物を発見してもわからないあるいは発見した生物が目的とする対象物であるかが確認できないという場合もある。このような場合に、事後記憶やメモを頼りに図鑑や映像メディアで検索すると記憶やメモと図鑑等との整合性に欠きまた不便である。また、対象物の生息環境に図鑑等の静的辞書やノート型パーソナルコンピュータ等の動的な辞書を持参して観察を行うのは重量、大きさ、両手の不自由さ及び検索のスピード等に問題が生ずる。更には、観察に夢中になるあまり周辺環境の状況に不注意となる場合がある。これは海中等の特別な環境での観察では致命的な問題となる虞がある。

また、特許文献３に開示される発明は、運転者の視野のいずれかの領域にタッチパネル式の表示装置を設け、表示の優先順位を予め運転者の手動により表示する情報の優先情報を設定する構成となっている。このため、設定の煩雑さという問題が生じる。

本発明の目的は、ヘッドマウントディスプレイのハンズフリー性及びシースルー性を活かし、ヘッドマウントディスレイに表示される対象物の付加情報の提供及びその情報を提供するに際しての情報選択手段を安全性を確保しつつ提供することである。

上記課題を解決するために、請求項１に記載の発明は、
頭部に装着可能な装着具に、眼前に位置して映像を光学的に眼に導く映像表示手段及び該映像表示手段に映像を投射する映像投射手段からなる表示装置を備え、視界に映像を重畳表示するヘッドマウントディスプレイにおいて、
視界方向の注目対象物を電子情報として捉える注目対象物検出手段と、
前記注目対象物検出手段が捉えた電子情報から前記注目対象物を認識する映像認識手段と、
１又は複数の注目対象物に関する情報が予め記憶された記憶手段と、
前記映像認識手段により認識された注目対象物と前記注目対象物の情報との同定を行う判別手段と、
前記判別手段により前記注目対象物と前記注目対象物の情報とが一致する場合に、
前記注目対象物の情報を前記映像表示装置に表示させる制御手段とを備えることを特徴とする。

請求項２に記載の発明は、請求項１に記載のヘッドマウントディスプレイにおいて、前記注目対象物に関する情報は、所定時間表示されることを特徴とする。

請求項３に記載の発明は、請求項１又は２に記載のヘッドマウントディスプレイにおいて、前記注目対象物は移動体であることを特徴とする。

請求項４に記載の発明は、請求項１〜３のいずれか一項に記載のヘッドマウントディスプレイにおいて、前記移動体は動物であることを特徴とする。

請求項５に記載の発明は、請求項３又は４に記載のヘッドマウントディスプレイにおいて、前記注目対象物に関する情報はその注目対象物の予測移動方向に関する情報であることを特徴とする。

請求項６に記載の発明は、請求項１〜５のいずれか一項に記載のヘッドマウントディスプレイにおいて、前記注目対象物に関する情報をネットワーク接続されたデータベースから受信する通信手段を更に備え、前記記憶手段に記憶される注目対象物の情報は、前記通信手段により受信されるものであることを特徴とする。

請求項７に記載の発明は、請求項１〜６のいずれか一項に記載のヘッドマウントディスプレイにおいて、前記判別手段が前記注目対象物を同定する回数及び／又は時間をカウントする計測手段を更に備えることを特徴とする。

請求項８に記載の発明は、頭部に装着可能な装着具に、眼前に位置して映像を光学的に眼に導く映像表示手段及び該映像表示手段に映像を投射する映像投射手段からなる表示装置を備え、視界に重畳する複数の映像を順次表示可能とするヘッドマウントディスプレイにおいて、
視線方向の注目対象物の映像を取得する注目物検出手段と、
前記注目対象物の映像を認識する映像認識手段と、
前記映像認識手段により認識された映像に基づいて、前記表示装置に表示された複数の映像の表示順序を設定する設定手段と、
前記設定手段により設定された表示順序を記憶する記憶手段と、
前記記憶手段に記憶された表示順序に従って前記複数の映像を前記表示装置に表示させる表示手段と、を備えることを特徴とする。

請求項９に記載の発明は、請求項８に記載のヘッドマウントディスプレイにおいて、
前記記憶手段は、表示順序の異なる複数の表示順序を記憶することを特徴とする。

請求項１０に記載の発明は、請求項８又は９に記載のヘッドマウントディスプレイにおいて、前記制御手段は、前記映像認識手段の映像認識時間に基づいて、前記複数の映像の各映像表示時間を設定することを特徴とする。

請求項１１に記載の発明は、請求項８〜１０のいずれか一項に記載のヘッドマウントディスプレイにおいて、ネットワークを介して映像情報を受信する通信手段を更に備え、前記複数の映像は前記通信手段から取得するものであることを特徴とする。

請求項１に記載の発明によれば、注目対象物検出手段で捉えた映像に関する情報を表示装置に表示することができるため、観者が注目対象物の特定をできないときであっても事後書籍や動的辞書により調べることなくその場で迅速に対象物に関する情報を取得することができる。更に、表示装置が外界と重畳して表示を行ういわゆるシースルー型（外界光透過型）として構成されることで、肉眼の視界で対象物を捉えながらその他の情報を取得することができる。このため学習、趣味及び娯楽に際して臨場感が向上する。

請求項２に記載の発明によれば、注目対象物に関する情報が所定時間だけ表示されるため、情報の取得が終了した後に肉眼視界がより確保され、十分に対象物の観察を行うことができる。

請求項３に記載の発明によれば、移動体である注目対象物を装着者が肉眼で追尾しながら注目対象物に関する情報を表示させることができる。

請求項４に記載の発明によれば、動物である注目対象物を装着者が肉眼で追尾しながら注目対象物に関する情報を表示させることができる。なお、動物とは、哺乳類、鳥類、両生類、魚類、昆虫、細菌類等を含む。

請求項５に記載の発明によれば、注目対象物に関する情報が、その注目対象物の予測移動方向に関する情報であるため、装着者が事前に移動方向を予想立てて観察することが可能となり追尾観察が容易になる。

請求項６に記載の発明によれば、注目対象物の情報をネットワーク接続された通信手段により受信することでヘッドマウントディスプレイの記憶素子を軽減することが可能となる。例えば、対象物に関する情報が記憶素子の容量を大幅に超える膨大な容量になる場合は、通信手段を用いてネットワークと接続されるデータベースから適宜必要な情報をダウンロードすることでヘッドマウントディスプレイを小型にしつつ豊富な情報を表示することが可能となる。

請求項７に記載の発明は、注目対象物を観者が発見（観察）した回数及び／又は時間を計測することができる。このため、例えば動物探し等のゲームに活用することも可能である。

請求項８に記載の発明によれば、ヘッドマウントディスプレイで表示される複数の映像の表示順序を、注目対象物検出手段で注目対象物の映像を取得することで設定することができる。このため手動による操作系での設定と異なり、表示順の設定操作が簡便となる。

請求項９に記載の発明によれば、記憶手段に映像の表示順序の異なる表示順序を複数記憶することで、観者が表示順序の変更を所望する際に表示順を逐一設定し直す煩雑さが軽減される。更には、予め表示順序を記憶しておくことで生命の維持に関わるような重要な情報等を見もらす可能性も低減することが可能となる。

請求項１０に記載の発明によれば、観者が所望する映像を表示する長さを映像認識手段での注目対象物の映像認識時間に基づいて設定可能とすることで、設定操作が簡便となる。

請求項１１に記載の発明によれば、対象物の情報を通信手段により受信することでヘッドマウントディスプレイの記憶素子を軽減することが可能となる。例えば、対象物に関する情報が記憶素子の容量を大幅に超える膨大な容量になる場合は、通信手段を用いてネットワークと接続されるデータベースから適宜必要な情報をダウンロードすることでヘッドマウントディスプレイを小型にしつつ豊富な情報を表示することが可能となる。更には、ネットワークを介して種々のコンテンツＷｅｂサーバからの映像を表示可能とする。

以下、図を用いて本発明を実施するための最良の形態について説明する。
本発明を適用したヘッドマウントディスプレイは、従来からの撮像装置で取得した映像を観者の眼前に設けられた表示装置に連続して表示させる視覚補助手段としての機能に加えて、装着者の視線方向に位置する対象物（例えば、動物や昆虫等）を撮像装置で映像データとして捉え、この取得した映像データに各種の映像処理を施して対象物の特定を行い予めメモリに記録された対象物に関する各種の情報を図やテキスト形式でシースルー型の表示装置に表示させ、肉眼で実際に対象物を観察しながら関連情報を取得することで学習や遊戯等に活用することを可能とするものである。以下、視覚補助手段としての機能を「通常モード」、対象物の情報表示機能を「観察モード」とする。

〔第１の実施形態〕
図１に、ヘッドマウントディスプレイ１の外観構成を示す。なお、以下の説明において、接眼方向と反対の方向を正面とする。
ヘッドマウントディスプレイ１は、通常の眼鏡と同様に、鼻当て２及びテンプル３Ｒ及び３Ｌが備えられるフレーム４とレンズ部５Ｒ及び５Ｌを有する。このフレーム４のレンズ部５Ｒの上方には、表示装置６及び撮像装置７が一体となって設置されている。また、テンプル３Ｒ及び３Ｌのそれぞれの中間部にケーブルが支持されてイヤホン８Ｒ及び８Ｌが観者の耳に装着可能に設けられている。表示装置６、撮像装置７及びイヤホン８Ｒ、８Ｌは、それぞれケーブルを介してコントロールボックス９に接続される。

コントロールボックス９には、モード切替スイッチ１０、十字キー１２、電源スイッチ１１及び電源３９が設けられる。モード切替スイッチは、表示装置６に撮像装置７から取得した外界視界を連続して表示させる「通常モード」と、表示装置６の外界透過領域を通して観者の視界に進入した対象物の各種情報を表示させる「観察モード」との２つのモードの切換えを行うものである。十字キー１２は、「通常モード」及び「観察モード」起動時に、それぞれのアプリケーションに従った各種の入力操作を適宜行うものである。

図２に、表示装置６の左方向からの側断面図を示す。表示装置６は、映像生成ユニット１５と接眼光学系１６とからなる。表示装置６の本体となる筐体１７の内部には、コントロールボックス９から送信される映像信号から映像を生成する透過型の液晶表示器１８、バックライト光源である複数のＬＥＤ（Light Emitting Diode）群１９及びＬＥＤ群１９からの照射光を液晶表示器１８の全面に導くための照明光学系２０が設けられる。接眼光学系１６は、更にプリズム２１とホログラム素子２２とからなる。ホログラム素子２２はレンズ部５と接眼光学系１６との下端部接合面と略同一の大きさを有するシート状の部材からなり、プリズム２１とレンズ部５との下端部接合面に挟まれるにように設けられる。

プリズム２１の上端部は正面方向に厚い楔の形状を有し、液晶表示器１８から照射される映像光束を採光しやすいように形成されている。この上端部から採光された映像光束は、プリズム２１の内部で全反射されながら下端部に設けられたホログラム素子２２へと導かれる。ホログラム素子２２は光を干渉させ、眼球Ｅに虚像を結ばせる構成となっている。
また、接眼光学系１６は、レンズ部５Ｒと光の屈折率を同一とする単一の部材で構成されており、表面方向が段差なく連続するように接合されている。観者は、レンズ部５及び接眼光学系１６を通して外界の視界を観察することが可能であるとともに、ホログラム素子２２によって外界視界と重畳する映像を観察することが可能となっている。

次いで、ヘッドマウントディスプレイ１の電子的構成を図３に示す。
ヘッドマウントディスプレイ１は、ＣＣＤ（Charge Coupled Device）２５、ＣＣＤ駆動回路２６、ＣＤＳ（Correlated Double Sampling）回路、Ａ／Ｄ（Analog/digital）変換回路２８、表示装置６、表示駆動回路２９、入力部３０、Ｔ／Ｇ（タイミングジェレータ）３１、制御部３２、メモリ３３、メモリ制御部３２、ＤＳＰ３５、グラフィックメモリ３６、グラフィックメモリ制御回路３７、時計回路３８、イヤホン８Ｒと８Ｌ及び電源３９から構成される。

制御部３２は、ＣＰＵ４０、ＲＯＭ（Read Only Memory）４１及びＲＡＭ（Random Access Memory）４２等から構成される。ＣＰＵ４０は、ＲＯＭに記憶されたプログラムを読み出し、ワークエリアとしてのＲＡＭ４２に展開してヘッドマウントディスプレイ１の全体動作の制御を実行し、データバスを介して各種の回路に制御信号を供給する。ＲＯＭ４１には、後述する「対象物に関する情報」が予め記憶されている。「対象物に関する情報」は、制御部３２の指示信号により読み出され、メモリ３３に記憶される。

撮像手段であるＣＣＤ２５は、撮影レンズを通して光学映像をとらえ、光電変換作用により撮像対象映像のアナログ信号を取得するものである。撮像対象映像のアナログ信号は、ヘッドマウントディスプレイ１の各部にタイミングパルス信号を供給するＴ／Ｇ３１から出力されるパルス信号に基づいてＣＣＤ駆動回路２６から供給される読出しパルスによって読み出され、読み出されたアナログ信号はＣＤＳ回路２７に送られる。

ＣＤＳ回路２７では、アナログ映像信号の相関二重サンプリングが行われて雑音が低減除去されるとともにゲイン調整が行われる。ゲイン調整された映像信号はＡ／Ｄ（Analog／Digital）変換回路２８でデジタル映像信号に変換され、図示しないバッファを介してグラフィックメモリ制御回路３７に送られる。グラフィックメモリ制御回路３７は、制御部３２や図示しないバスコントローラの指示信号を受けてグラフィックメモリ３６への情報の書き込み及び読み出しの制御を行う。

ＤＳＰ（Digital signal processor）回路３５は、制御部３２から送信される指示信号に従い、グラフィックメモリ制御回路３７に映像データの要求信号と要求する映像データ格納したファイル等のアドレスとを送信し、記憶されたデジタル映像データを読み出す。映像データ要求信号を受信したグラフィックメモリ制御回路３７は、グラフィックメモリ３６にアクセスして送信されたアドレスに基づいて所定の映像データを読み出し、応答信号とともに指示された映像データをＤＳＰ３５に送信する。ＤＳＰ３５は送信された映像データに対して、後述する制御部３２での映像認識処理のための前処理として幾何学的変換や映像強調を行う。具体的には、補正処理と特徴抽出処理とである。

ヘッドマウントディスプレイ１は、撮像装置７で対象物の映像データと予めＲＯＭ４１に記憶された「対象物パターンデータ」とを映像認識することにより各種の対象物に関する情報を撮像装置７に表示するものであるが、その映像認識の手法は、事前処理としての補正処理、特徴部分を抽出する特徴抽出処理及び特徴抽出により得られた処理映像データから映像の認識を行う認識決定処理の３段階の処理工程からなる。ヘッドマウントディスプレイ１では、所定のプログラムに基づいて、補正処理及び特徴抽出処理をＤＳＰ３５に、認識決定処理をＣＰＵ４０も主に行わせる構成となっている。ＤＳＰ３５は、第２段階の映像認識処理である特徴抽出処理により生成した映像データ（以下、「特徴データ」という。）をメモリ３３に送信する。

メモリ３３は不揮発性の半導体メモリであり、ＥＥＰＲＯＭ（Electric Erasable and Programmable ROM）を適用している。制御部３２やバスコントローラからのデータ送信要求に従い、メモリ制御部３２を介して各素子にデータの送受信が行われる。また、補正処理及び特徴抽出処理を経た「特徴データ」を記憶する格納領域の他に、この特徴データとの映像照合に用いる「標本データ」及びこの標本データと対応付けられた「対象物に関するデータ」が予め記憶される。

ここで、「標本データ」とは、対象物が有する形状特徴や色の濃度特徴が上記特徴抽出処理によりデータ処理が施され、予めＲＯＭ４１に記憶されているデータである。例えば、ＣＣＤ２５で捉える対象物が「カエル（蛙）」であるとすると、前面、背面、上面、底面、左側面及び右側面等の各方向から観察した状態での形状パターン、特徴的な模様（テクスチャ）のパターン及び濃度（色彩等）パターンをデータ化したものである。なお、「標本データ」は、観察方向を特定した状態でのデータばかりでなく、通常対象物を観察（発見）する上で最も適した観察方向からのパターンデータも記憶させておくことが実用上好ましい。例えば、「カエル（蛙）」を左右側面斜め上方から見下ろした時のパターンデータは、実用上の観察（発見）態様により適うものである。

また、「対象物に関するデータ」とは対象物に関する各種の資料に関するデータであり、例えば「カエル（蛙）」に関する予測移動方向情報や外観的特徴、生息地、雌雄の区別、餌、性質等の生態情報等の各種の情報である。図４に表示装置６で表示されるこれら各種の情報の接眼方向からの表示態様を模式的に示す。なお、図中で「カエル（蛙）」の姿は、表示装置６に表示されるものでは無く、接眼光学系１６（図１参照）を通して実際に肉眼で観察されるものである。
対象物（蛙）の予測移動方向は映像データとして記憶されているものであり、矢印で表示される。第１の実施形態では、予め移動方向を上下左右及び斜めの８方向に設定され対象物の前面、背面、上面、底面、左側面及び右側面等の「標本データ」に対応して移動方向が記憶されている。即ち、対象物である「カエル（蛙）」が左側面を示す「標本データ」と対応すると認識された場合は、左方向及び左斜め方向（跳ねる場合もある）の矢印の２つが表示されるように記憶されている。
なお、その他の生態等に関する情報はテキストデータ又は音声データとして記憶されている。音声データは、「カエル（蛙）」の生態情報等を音声として案内する構成としても、鳴き声を案内する構成としてもよい。

入力部３０は、図１における十字キー１２やモード切替スイッチ１０に対応するものであり、観者の操作により各種の指示信号を制御部３２に送信する。

イヤホン８は、制御部３２によってメモリ３３から読み出された「対象物に関するデータ」の音声データが、図示しないＤ／Ａ（Digital／Analog）変換回路を介して送信され、音声により対象物に関する情報を提供するものである。なお、第１の実施形態では、音声案内の発生をイヤホン８としているが、骨伝導方式とする構成としてもよい。

次に、ヘッドマウントディスプレイ１で行われる映像認識処理について、より詳細に説明する。ＤＳＰ３５では、第１及び第２の映像認識処理である補正処理と特徴抽出処理が行われる。

補正処理とは、映像データのノイズ除去、平滑化、鮮鋭化、２次元フィルタリング、後述の特徴抽出を容易に行うために映像を２値映像に変換する２値化、認識対象とする図形や文字の骨格線を抽出する細線化、最終段階での映像照合であるパターンマッチングをより正確に行うために映像を拡大、縮小、平行移動、回転及び濃度変換に関する正規化等であり、映像認識処理の前処理として行われる。

特徴抽出処理としては、エッジ検出処理を採用している。エッジ検出処理とは、映像信号に含まれる色の濃度値から濃度の変換点を抽出し、映像の不連続部分をエッジとして抽出しこのエッジを境界線として映像をいくつかの連続領域に分割する処理である。ラプラシアン（２次微分）処理やハフ変換処理等により行われる。なお、濃度映像からエッジ検出を行う場合には所々で途切れている場合が多いが、この場合は膨張法、収縮法及び延長跡法等により切れている点列を繋ぐ処理を行う。

ＣＰＵ４０は、ＤＳＰ３５でエッジ検出処理が行われてメモリ３３に記憶された「特徴データ」の要求信号及び「標本データ」の要求信号をメモリ制御部３２に送信し、各データを読み出してＲＡＭ４２に一時的に記憶させ映像認識決定処理を行う。
映像認識決定処理としては、パターンマッチング法を用いる構成としている。パターンマッチング法は、「特徴データ」と「標本データ」とを直接重ね合わせ、最もよく類似したものを「標本パターン」と同じカテゴリーと見なす手法である。具体的には、２つのデータから画素データレベル対応の相関（画素値の一致比率）を調べることにより判別を行う。画素値の一致比率は所期の値に設定することができる。

なお、第１の実施形態では、映像認識処理において特徴抽出処理にエッジ検出処理を適用し、映像認識決定処理としてパターンマッチング法を適用する構成としているが、特徴抽出処理として領域分割処理やテクスチャ抽出処理を更に適用し、映像認識決定処理として統計的識別法を適用する構成としてもよい。

領域分割処理とは、対象物の映像データから特徴を一様とするデータ群を１つの領域として分割し、このように分割された領域同士を互いに関係のない連結領域として抽出する特徴抽出方法である。この一様になる特徴とは、領域の形状的特徴と領域内部の統計的特徴とがある。形状的特徴は幾何学的特徴(対象物映像の距離、面積、重心、中心等)、細線化処理後の領域の心線、閉曲線の特徴等であり、統計的特徴は映像の濃度分布のパラメータ(平均濃度、分散値等)や色等である。

テクスチャ抽出処理とは、濃度や色の２次元的な変化パターンであるテクスチャを抽出してテクスチャ領域として分類することである。即ち特定の規則によって配列された繰返しパターンをモデル化し、テクスチャ特徴量を特徴パラメータとして算出する処理である。特に、レンジ句する特定の規則性のある模様を有する対象物の認識に有効である。

統計的識別法とは、この領域分割、エッジ検出処理及びテクスチャ抽出処理等により得られた「特徴データ」を特徴パラメータとして記述し、「標本データ」を前提として分類を行うことで対象物の認識を決定する手法である。統計的識別法は、カテゴリーの異なる種々の特徴パラメータに基づいて認識を行うため「標本データ」との合致率が高いほど認識の信頼性が向上する点で優れる。なお、統計的識別法を適用する場合には「標本データ」もパラメータとして記述されて記憶される構成となる。

以上の構成を有するヘッドマウントディスプレイの「観察モード」の動作について図５に示すフロー図を用いて説明する。
電源の供給により起動すると、「モード」の検出が行われ（ステップＳ１０１）、「観察モード」であると（ステップＳ１０１：ＹＥＳ）ＣＣＤ２５から取得された映像信号の映像認識処理が開始される（ステップＳ１０２）。映像認識の処理中は、表示装置６に「サーチ中」のテキスト表示を行う（ステップＳ１０３）。

映像認識決定処理により「特徴データ」と「標本データ」との同定が判別されると（ステップＳ１０４：ＹＥＳ）、メモリ３３に「対象物に関するデータ」のアドレスとデータ要求信号を送信する（ステップＳ１０５）。
また、「特徴データ」と「標本データ」とが同定しまい場合は（ステップＳ１０４：ＮＯ）ステップＳ１０２に戻って映像認識処理を実行する。

ステップＳ１０５により読み出した「対象物に関するデータ」のうち、予測移動方向を示す矢印の映像データ及び名称や生態等に関するテキストデータをＤＳＰ３５に送信して表示装置６に対象物の予測移動方向である矢印の映像及び対象物の名称や生態等に関するテキストを所定時間表示させる（ステップＳ１０６）。なお、所定時間は予め設定されるものであり時計回路３８からの送信信号に基づいて計時を行う。

その後、「対象物に関するデータ」のうち対象物に関する各種情報等や鳴き声等の音声データを送信してイヤホン８から音声案内を発声する（ステップＳ１０７）。

そして、映像認識処理を継続し（ステップＳ１０８）、対象物の認識ができない場合（ステップＳ９：ＮＯ）は、ステップＳ１０２に戻って映像認識処理を実行する。

ステップＳ９で対象物の認識ができた場合（ステップＳ１０９：ＹＥＳ）は、「対象物に関するデータ」のうち予測移動方向を示す矢印の映像データの表示指示信号のみをＤＳＰ３５に送信し表示装置６に表示させる（ステップＳ１１０）。

以上のように、本発明を適用したヘッドマウントディスプレイ１によれば、対象物を自動的に認識し生態等情報を表示装置６に表示することができ、更に表示装置６におけるシースルー特性により現実の対象物を肉眼で観察することができるため、
従来からの紙媒体等による静的な事典等から取得する情報と異なり、臨場感あふれる観察や情報取得を行うことが可能となる。

更には、肉眼視界により対象物を捉えることにより、従来からのテレビやインターネット等を利用した動画付きコンテンツよりも対象物の現実の外観や動きの取得を体験することができという有利な効果がある。

また、表示装置６に対象物の予測移動方向を示す矢印を表示するため、対象物の咄嗟の移動に対し観者が先入観をもって観察することができ、対象物の追尾が容易となり長時間の観察を可能とする。

また、イヤホン８を備えることで対象物の鳴き声等の聴覚ならでわの情報取得を可能とする。

以上、本発明を適用したヘッドマウントディスプレイ１について説明したが、本発明は上記種々の例に限定されるものではない。例えば、ヘッドマウントディスプレイ１は、撮像装置７で捉えた対象物の映像データを照合し、対象物に関する各種の情報を表示装置６等に提供する情報検索を目的とする構成としているが、特定の対象物を発見する探索補助機能を目的として構成することも可能である。以下、変形例として説明する

＜変形例＞
変形例におけるヘッドマウントディスプレイ１は、ＲＯＭ４１に特定対象物の発見機能が記述されたアプリケーション（以下、「探索モード」という。）が記憶されている。入力部３０からの操作信号を受けＣＰＵ４０は、「探索モード」を起動する。探索する特定対象物は、入力部３０からの指示信号に基づいて予め設定される。

また、ＲＯＭ４１には、特定対象物の検出回数等を記録するカウンタモジュールがソフトウェアとして設けられる。具体的には、「特定対象物の探索回数」、「特定対象物の種類別検出回数」、「視野内滞在時間」及び「特定対象物の種類別視野内滞在時間」等を積算するものである。カウンタモジュールによる計測結果はメモリ３３に記憶されるようになっている。また、記録結果は入力部３０の操作に基づいて表示装置６に表示可能となっている。

更に、ＣＰＵ４０及びＤＳＰ３５等による映像認識処理は、入力部３０からの指示信号により開始する構成としている。

「特定対象物の探索回数」とは、撮像装置７により特定対象物を捉え、映像認識手段がこの映像データから特定対象物と認識した回数である。
「特定対象物の種類別検出回数」とは、特定対象物の下位のカテゴリーに属する分類の検出回数であり、例えば「特定対象物」が「カエル（蛙）」と設定されている場合には「ガマガエル」「アオガエル」「ミドリガエル」等の検出回数である。
「視野内滞在時間」とは、特定対象物を撮像装置７で捕らえて、映像認識手段が認識決定処理を行った瞬間から認識決定処理が連続して継続する時間を時計回路３８からの信号に基づいて計時された時間をいう。
「特定対象物の種類別視野内滞在時間」とは、「視野内滞在時間」を「特定対象物」の下位のカテゴリーで計時した結果である。

次いで、図６のフロー図を用いて「探索モード」におけるヘッドマウントディスプレイ１の動作について説明する。なお、以下の処理はプログラムの指示に従いＣＰＵ４０により制御されるものである。また、探索する対象物を「アオカエル」を例とする。

入力部３０の操作信号に従い、ＣＰＵ４０はＲＯＭ４１に記憶された「探索モード」のアプリケーションを起動する（ステップＳ２０１）。

ＤＳＰ３５に、探索する対象物の選択画面の表示指示信号を送信し表示装置６に対象物が複数列挙された選択画面を表示する（ステップＳ２０２）。なお、図示しないが探索対象物選択画面での選択操作は、メモリ３３に記憶された「対象物に関するデータ」各カテゴリー（例えば「陸の生物」）を選択し、順次下位のカテゴリ−を抽出して対象物を検索する方式でも５０音検索方式でもよい。

観者は、十字キー１２を操作して選択画面から「カエル（蛙）」を選択する。入力部３０から送信される選択指示に基づいて「ガマガエル」「アオガエル」「ミドリガエル」等の「標本データ」を要求する信号をメモリ制御部３２に送信してメモリ３３から読み出し、ＲＡＭ４２に一時的に記憶する（ステップＳ２０３）。以上で設定が終了し、観者は探索を開始することができる。

観者が「アオガエル」を発見し、表示装置６の所定の領域にアオガエルを捉える構図で収め（表示装置６の表示領域の中央付近。図７参照）、十字キー１２を押下する。この指示信号を受信すると（ステップＳ２０４）ＤＳＰ３５に補正処理、特徴抽出処理の指示信号を送信し「特徴データ」を生成させ、ＲＡＭ４２にて予め記憶した「ガマガエル」、「アオガエル」及び「ミドリガエル」等の「標本データ」との比較を開始し、映像認識決定処理を行う（ステップＳ２０５）。

映像認識決定処理の結果、「アオガエル」と判別した場合には（ステップＳ２０６：ＹＥＳ）、ＤＳＰ３５に「アオカエル発見！」の映像表示指示信号を送信し表示装置にテキスト表示させる（図８参照）（ステップＳ２０７）。

また、カウンタモジュールに計測指示信号を送信し、アオガエルの発見回数１及びその上位概念である「カエル（蛙）」の発見回数１を加算した結果をメモリ３３に記録させるとともに、時計回路３８からの送信信号に基づいて判別が行われた時間を記憶させる（ステップＳ２０８）。

更に、映像認識処理を継続する（ステップＳ２０９）が、「アオガエル」と判別不能となった場合（ステップＳ２１０：ＮＯ）、即ち観者が表示装置６における所定の領域（例えば、視野等）から「アオガエル」を逃がしてしまうと、カウンタモジュールに滞在時間の計測指示信号を送信し滞在積算時間をメモリ３３に記憶させる（ステップＳ２１１）。なお、滞在時間は、時計回路からの送信信号に基づいて映像の判別ができなくなった時間と最初に判別が行われた時間との差分を求めることにより行われる。

以上のように、ヘッドマウントディスプレイ１によれば、特定の対象物の探索用途に利用することもできる。また、表示装置のシースルー特性により肉眼により対象物を捕らえるため、例えば、果実や山菜狩りにおける採集効率の向上やそれら採集の訓練をより実践的に行えるという効果がある。更には、カウンタモジュールを備えることでデジタルハンティングといった競技や遊戯に活用することもできる。

＜第２の実施形態＞
第２実施形態におけるヘッドマウントディスプレイ５０は、第１の実施形態におけるヘッドマウントディスプレイ１の「観察モード」の作動時に、外部から送信される情報をカットインする機能を有するものである。例えば、「観察モード」はヘッドマウントディスプレイに防水処理を施すことにより、水中で魚類等の観察を行うことも可能である。しかしながら、ダイビング時には、ボンベの空気残量（残圧）等のダイバーの生命に関わる事項の確認やダイバーが帰還する船の状況（海上の天候情報等）を確認する必要がある。「観察モード」作動時にこれらの情報が滞りなく確認できれば、ダイバーの危険を回避しつつ対象物の観察を行うことができ便利である。

図９に、ヘッドマウントディスプレイ５０の外観構成を示す。
ヘッドマウントディスプレイ５０は、一般にダイビングに用いられるダイビングマスク５１のフレーム５２に表示装置６と撮像装置７を備える。表示装置６は、ヘッドマウントディスプレイ１における接眼光学系１６とレンズ部５Ｒとの構成と同様に、マスクレンズ５３と接眼光学系１６とが表面を平滑に接合される。また、ホログラム素子２２によるホログラム映像の表示構成もヘッドマウントディスプレイ１と同様である（図２参照）。イヤホン８、表示装置６、撮像装置７及びコントロールボックス９は防水処理が施され、水中での作動を可能とする。

Ｉ／Ｆ５４ａは、図示しないゲージ（酸素ボンベの残圧計、水深計及びコンパスを備え、それぞれの値をデジタル表示する計測器）とケーブルを介して接続され、ゲージによる計測結果が信号として制御部３２に送信されるようになっている。
また、Ｉ／Ｆ５４ｂは、図示しない無線機と接続されており、海上（ダイバーを輸送する船）の無線機と無線通信が可能となっている。

図１０にヘッドマウントディスプレイ５０の電子回路構成を示す。
制御部３２のＲＡＭ４２には、第１の実施形態及びその変形例と同様に、通常の映像表示を行う「通常モード」、不特定の対象物の関連情報を提供する「観察モード」及び特定の対象物の探索を目的とする「探索モード」のアプリケーションが記憶されている。各モード設定によりＣＰＵ４０により読み込まれ、全体制御が実行される。

また、ＲＯＭ４１には、上記３つのモードのいずれかを作動中にバックグラウンドで実行される「ゲージ確認モード」と「船上情報確認モード」とが更に格納されている。

「ゲージ確認モード」とは、時計回路３８からの送信信号に基づいてゲージの示す残圧、水深及び方角を表示装置６に一定間隔おきに一定時間表示する機能である。

「船上情報確認モード」とは、船上に備えられ、その様子を撮像し映像信号として送信する無線機からの信号を受信し、時計回路３８からの送信信号に基づいて表示装置６上に一定間隔おきに一定時間表示する機能である。
これら両機能は、ソフトウェアモジュールとして制御部３２に格納されている。
表示の間隔は自由に設定可能であるが、第２の実施形態では、いずれも１分おきに３秒間表示させる設定としている。なお、後述するゲージの各種パラメータと予め対応させた閾値をソフトウェアモジュールに設定し、パラメータがこの閾値に近づくにつれて表示間隔を変化させる制御を行ってもよい。例えば、ボンベの残圧が減少するに従い表示間隔を短くするなどの制御を行ってもよいし、安全停止時間経過前に水深の変化が生じた際に安全停止時間の表示や警告表示を表示する制御を行ってもよい。

次に、以上の構成を有するヘッドマウントディスプレイ５０の動作について図１１に示すフロー図を用いて説明する。以下の処理はＣＰＵ４０により行われる。なお、「観察モード」を実行し観察する対象物は「水中生物」とする。

入力部３０からの操作信号に基づいて「観察モード」を起動すると（ステップ３０１）、ＤＳＰ３５に各種設定画面の表示指示信号を送信し、表示装置６に図１２に示す設定画面が表示される（ステップＳ３０２）。設定項目には「ボンベの残圧」、「現在の水深」、「コンパス」、「船上カメラの映像」、「現在時刻」、「潜水時間」、「水温」、減圧症を回避するための「安全停止時間」及び「水深による滞在可能時間」等が表示される。

この設定画面に基づいて「観察モード」の作動時に割り込ませる各種情報の種類を入力部３０からの選択信号に従って設定する（ステップＳ３０３）。本実施の形態では、「ボンベの残圧」、「現在の水深」、「コンパス」及び「船上カメラの画像」の４つの項目を設定した状態で説明する。なお、項目の選択はその種類及び項目数共に装着者が任意に選択できるものである。

選択が設定されると、「ゲージ確認モード」と「船上情報確認モード」の起動信号を各モジュールに送信し（ステップＳ３０４）、この起動信号を受けたモジュールは時計回路３８からの送信信号に基づいて時間の測定をバックグラウンドで開始する（ステップＳ３０４）。

その後、ＤＳＰ３５に補正処理及び特徴抽出信号を送信し、撮像装置７で捉えた映像データの映像認識処理が開始される（ステップＳ３０５）。なお、このとき表示装置６に「サーチ中」（図１３（ａ）参照）の表示を行う。

映像の認識決定処理により対象物の判別が行われると（例えば、「黒鯛」）（ステップＳ３０６：ＹＥＳ）、アドレスと「黒鯛に関するデータ」の要求信号とをメモリ制御部３２に送信してグラフィックメモリ３６に記録し、その後ＤＳＰ３５に「黒鯛」のデータの表示指示信号を送信して表示装置６に表示させる（図１３（ｂ）参照）（ステップＳ３０７）。

更に、映像認識決定処理を行い（ステップＳ３０８）判別結果が「黒鯛」である場合は、即ち表示装置６の所定領域（ダイバーの視野）に「黒鯛」が入り且つ撮像装置７で同一対象物を捉えつづけている状態である場合は（ステップＳ３０９：ＹＥＳ）、映像認識処理を実行しつづける。

これに対しステップＳ３０９にて判別が不能である場合、即ち表示装置６の所定領域（ダイバーの視野）から「黒鯛」が移動し且つ撮像装置７で同一対象物を捉えられない状態となった場合は（ステップＳ３０９：ＮＯ）、予測移動方向の矢印及び案内テキストデータの要求信号とアドレスをメモリ制御部３２に送信し、ＤＳＰ３５にこのデータの表示指示信号を送信して表示装置６に「黒鯛」の予測移動方向の矢印と案内テキストを表示させる（図１３ｃ参照）（ステップＳ３１０）。

このように「観察モード」が実行されている一方で、バックグラウンドで「ゲージ確認モード」と「船上情報確認モード」の割り込みルーチンが行われている。図１４に処理のフロー図を示す。上記ステップＳ３０４の指示信号を受け（図１１参照）（ステップＳ３３０）、モジュールは時計回路３８の送信信号に基づいて計時を開始する（ステップＳ３３１）。

１分間の計時の後（ステップＳ３３２：ＹＥＳ）、Ｉ／Ｆ５４ａを介してゲージからボンベの残圧、水深及びコンパスの方角の各値を取得し（ステップＳ３３３）、１分の経過と同時にデータ割り込み要求信号をＣＰＵ４０に送信し表示装置６に３秒間表示させる（図１５（ａ）参照）（ステップＳ３３４）。

更に、２分間の計時の後、（ステップＳ３３５：ＹＥＳ）、Ｉ／Ｆ５４ｂを介して無線機に送信される船上の映像データを取得し（ステップＳ３３６）、データ割り込み要求信号をＣＰＵ４０に送信し表示装置６に３秒間表示させる（図１５（ｂ）参照）（ステップＳ３３７）。
なお、割り込みルーチンは「探索モード」でも「通常モード」でも適用可能である。

以上のように、ヘッドマウントディスプレイ５０によれば、ダイバーが対象物の観察を行っている場合にも、一定の規則性を持って生存に関わる重要情報が表示装置６に表示されることから安全に対象物の観察を行うことができる。

特に、水中では地上に比して身動きが制限されるため、表示装置６やゲージの確認等で視線や首が動くと両者の見比べにより対象物を見失うあるいは生存に関わる重要情報を見落とす等の問題が生じる。このような問題が発生することなく安心して対象物の観察を行うことができるという効果ある。

〔第３の実施形態〕
第３の実施形態のヘッドマウントディスプレイ６０は、映像認識処理において使用する「標本データ」を撮像装置７から取得した映像データから複数登録可能とし、これと対応付けられる複数の「対象物に関するデータ」を表示装置６で表示する構成とする。

図１６にヘッドマウントディスプレイ６０の電子回路構成を示す。
ヘッドマウントディスプレイ６０は、通信部５５にてＮＩＣ（Network Interface Card）を介して無線通信手段６２と接続され、ネットワーク通信が可能に構成されている。無線通信手段としては、ＧＳＭ（Global System for Mobile communication）方式、ＧＰＲＳ（General Packet Radio System ；汎用パケット無線システム）方式、ＰＤＣ（Personal Digital Cellular）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband Code Division Multiple Access）方式、ＰＨＳ（Personal Handyphone System）方式、Bluetooth無線通信方式、無線ＬＡＮ（Local Area Network）等の各種携帯電話や無線モデムの規格、通信方式が適用できる。図示しない通信業者の無線基地局と通信用アンテナ（不図示）との間で、データ通信を無線通信手段６２を介して行われ、受信された信号を制御部３２へ出力する。

ネットワークは、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）
、ＭＡＮ（Metropolitan Area Network）及びインターネット等に適用可能である。本実施の形態ではインターネットを適用する。また、無線は第２実施形態における無線機と同様に各種の通信方式が適用可能でありインターネット等のネットワークと接続されるようになっている。

更に、インターネットを介して接続される他のクライアントは、パーソナルコンピュータ等に限定されずインターネットとの通信接続機能を有する各種モジュールであってもよい。第３の実施形態は、クライアントとしてＷｅｂカメラ６５ａ、６５ｂ、６５ｃ及びネットワークにより動画配信を可能とするＷｅｂサーバ６６と接続されている。

制御部３２は、撮像装置７で取得した映像をメモリ３３に記憶することを可能とする。具体的には、第１及び第２の実施形態と同様に、映像認識処理で撮像装置７から取得した映像データがＤＳＰ３５にて補正処理及び特徴抽出処理が施され、生成された「特徴データ」を映像認識決定処理での見本となる「標本データ」（以下、第３実施形態において「登録標本データ」という。）としてメモリ３３に記憶される。ここでの「登録標本データ」は表示装置６の所定領域に対象物を捉えた状態で（即ち撮像装置７で視界に応じた映像を捉えた状態）、十字キー１２の操作により登録する構成としている。

「登録標本データ」は、ＬＡＮを介してヘッドマウントディスプレイ６０と接続されるＷｅｂカメラ６５ａ、６５ｂ、６５ｃ及びＷｅｂサーバ６６のネットワークアドレスと対応付けられて記憶されている。

また、「登録標本データ」の登録の順番によりカットイン（映像の切り替え）の順番が決定されるようになっている。更に、撮像装置７での「登録標本データ」の取り込みの時間に比例してカットインにより切り替えられた映像の表示時間が決定するように構成されている。

以上の構成を有するヘッドマウントディスプレイ６０の使用例を模式的に示す。図１７は、ヘッドマウントディスプレイ６０の装着者（主婦）の家の間取り及び各部屋の状況を示したものである。部屋Ｍには中に赤子が寝ているベビーベッドが設置され、天井付近に設けられたＷｅｂカメラ６５ａにより赤子の様子を捉えることができるようになっている。部屋Ｎには寝たきりのお年寄りが寝ており、天井付近に設置されたＷｅｂカメラ６５ｂ設置によりお年寄りの様子を捉えることができるようになっている。玄関Ｇには、玄関ドアの外側上方にＷｅｂカメラ６５が設置され、来訪者の様子を捉えることができるようになっている。図１８（ａ）〜（ｃ）に、各Ｗｅｂカメラ６５ａ〜６５ｃが捉える映像を示す。
なお、ヘッドマウントディスプレイ６０を装着した主婦は、台所にて家事をしているものとする。

また、表示装置６で表示される映像はＷｅｂサーバから配信される動画を基調とし、３分おきにＷｅｂカメラ６５ａ、６５ｂ、６５ｃの順番で映像がカットインする。各Ｗｅｂカメラの映像の表示時間は５秒、３秒、２秒とするものとする。

事前登録設定に際しては、表示装置６には事前登録設定画面が表示され、この表示に従って「登録標本データ」の取り込みを行う。装着者である主婦は、先ず基調となる映像であるダウンロード動画を選択し、「登録標本データ」の映像として音楽ＣＤのジャケットを表示装置６の所定の領域に合わせ、コントロールボックス９の十字キー１２を操作してジャケットの映像を撮像装置７から取り込む。その後「登録標本データ」として設定されたジャケット映像とＷｅｂサーバ６６のアドレスがともにメモリ３３に記憶される。
次に、部屋Ｍに移動しベビーベッドを表示装置６の所定の領域にあわせ、十字キー１２を操作しベビーベッドを中心とした映像を撮像装置７から取り込む。その後「登録標本データ」として設定されたベビーベッドの映像とＷｅｂカメラ６５ａのアドレスデータとがメモリ３３に記憶される。
以下、同様にお年寄りが布団の中に寝ている状態及び玄関Ｇを家の中から見た状態を「登録標本データ」として設定し、それぞれＷｅｂカメラ６５ｂ、６５ｃのアドレスデータとともにメモリ３３に記憶する。以上が、事前登録設定である。

以上の設定を行った後、表示装置６にカットイン映像を表示させるための順序及び表示時間を入力する。図１９にヘッドマウントディスプレイ６０の入力動作フロー図を示す。

１番目に表示を所望する映像は、Ｗｅｂカメラ６５ａ（赤子の様子を捉えるカメラ）から送信されるものであるから、事前登録設定において取り込んだ「登録標本データ」としてのベビーベッドを中心とした映像と同定する映像を映像認識させるようにする。即ち、表示装置の所定の領域にベビーベッドを中心とした構図を捉える。ＣＰＵ４０は、撮像装置７に撮像指示信号を送信し映像を取得しメモリ３３に記憶させる（ステップＳ４０１）。

ＤＳＰ３５に補正処理指示信号及び特徴抽出処理指示信号を送信して「特徴データ」を生成させ、このデータと「部屋Ｍの登録標本データ」との映像認識決定処理を行う（ステップＳ４０２）。

ステップＳ４０２での映像認識決定処理により既に登録された「部屋Ｍの登録標本データ」と同定するときは（ステップＳ４０３：ＹＥＳ）、表示装置６に「認識ＯＫです。表示を希望する時間だけそのまま動かないでください。」の案内表示を表示させる。同時に、時計回路３８からの送信信号に基づいて判別開始時間をメモリ３３に記憶させる（ステップＳ４０４）。その後も映像認識決定処理を継続し（ステップＳ４０５）、部屋Ｍの登録標本データ」と同定すると認識決定する場合は（ステップＳ４０６：ＹＥＳ）、映像認識決定処理を繰り返す。

表示を希望する時間である５秒を経過し表示装置６を通して主婦が視界を変化させると、ＣＰＵ４０は「部屋Ｍの登録標本データ」との認識決定を行わず（ステップＳ４０６：ＮＯ）、時計回路から送信される現在時間とステップＳ４０４で記憶させた開始時間との差分を演算し表示を希望する時間としてメモリ３３に記憶させる（ステップＳ４０７）。

次いで、２番目にカットインを所望する映像は、Ｗｅｂカメラ６５ｂ（寝たきりのお年寄りが寝ている様子を捉えるカメラ）から送信されるものであるから、以下同様に事前登録設定において取り込んだ映像と同定する映像を映像認識させるようにする。ＣＰＵ４０は、撮像装置７に撮像指示信号を送信し映像を取得しメモリ３３に記憶させる（ステップＳ４０８）。

ＤＳＰ３５に「特徴データ」を生成させ、このデータと「部屋Ｎの登録標本データ」との映像認識決定処理を行う（ステップＳ４０９）。

ステップＳ４０９での映像認識決定処理により既に登録された「部屋Ｎの登録標本データ」と同定するときは（ステップＳ４１０：ＹＥＳ）、表示装置６に「認識ＯＫです。表示を希望する時間だけそのまま動かないでください。」の案内表示Ｂを表示させ、同時に時計回路３８からの送信信号に基づいて開始時間をメモリ３３に記憶させる（ステップＳ４１１）。その後も映像認識処理を実行し（ステップＳ４１２）、「部屋Ｎの登録標本データ」と同定すると認識決定する場合は（ステップＳ４１３：ＹＥＳ）映像認識処理を繰り返す。

表示を希望する時間である３秒を経過し表示装置６を通して観察する視界を変化させると、ＣＰＵ４０は「部屋Ｎの登録標本データ」との認識決定を行わず（ステップＳ４１３：ＮＯ）、時計回路から送信される現在時間とステップＳ４１１で記憶させた開始時間との差分を演算し表示を希望する時間としてメモリ３３に記憶させる（ステップＳ４１４）。

次いで、３番目にカットインを所望する映像は、Ｗｅｂカメラ６５ｃ（玄関の来訪者等を捉えるカメラ）から送信されるものであるから、以下同様に事前登録設定において取り込んだ映像と同定する映像を映像認識させるようにする。ＣＰＵ４０は、撮像装置７に撮像指示信号を送信し映像を取得するとともに、時計回路３８の送信信号に基づいて入力部３０からの指示信号の受信時刻をメモリ３３に記憶させる（ステップＳ４１５）。

ＤＳＰ３５に「特徴データ」を生成させ、このデータと「玄関Ｇの登録標本データ」との映像認識決定処理を行う（ステップＳ４１６）。

ステップＳ４１６での映像認識決定処理により既に登録された「玄関Ｇの登録標本データ」と同定するときは（ステップＳ４１７：ＹＥＳ）、表示装置６に「認識ＯＫです。表示を希望する時間だけそのまま動かないでください。」の案内表示Ｂを表示させる。同時に、時計回路３８からの送信信号に基づいて開始時間をメモリ３３に記憶させる（ステップＳ４１８）。その後も映像認識処理を実行し（ステップＳ４１９）、「玄関Ｇの登録標本データ」と同定すると認識決定する場合は（ステップＳ４２０：ＹＥＳ）映像認識処理を繰り返す。

表示を希望する時間である２秒を経過し表示装置６を通して観察する視界を変化させると、ＣＰＵ４０は「玄関Ｇの登録標本データ」との認識決定を行わず（ステップＳ４２０：ＮＯ）、時計回路から送信される現在時間とステップＳ４１８で記憶させた開始時間との差分を演算し表示を希望する時間としてメモリ３３に記憶させる（ステップＳ４２１）。

表示順序等を入力する作業の終了を指示する信号が入力部３０から送信されると（ステップＳ４２３）、「映像及び切り替え順序ならびに表示時間の選択を終了します。」の案内信号を表示装置６に表示させる（ステップＳ４２２）。

以上の入力処理を終了すると、ＣＰＵ４０はＷｅｂサーバ６６のアドレスにアクセスしダウンロード映像を表示装置６に表示させ、映像のカットイン要求信号を送信するモジュール（図示せず）の送信信号に基づいて順次Ｗｅｂカメラ６５ａ〜６５ｃの映像を設定時間表示する。

図２２に、ヘッドマウントディスプレイ６０の映像表示における動作フロー図を示す。以下の制御はＣＰＵ４０により行われる。

入力部３０からの表示指示信号を受け（ステップＳ４３１）、映像表示が開始される。

ＣＰＵ４０は、通信部にＷｅｂサーバ６６へのアクセス要求信号及びアドレスを送信する（ステップＳ４３２）。

インターネットを介してダウンロード映像データが送信され、グラフィックメモリ３６に記憶される。このダウンロード映像信号を表示装置６に表示させる（ステップＳ４３３）。

ここで、ダウンロード映像データの再生時から、図示しないカットイン表示モジュールがバックグラウンドで３分を計時しており、３分間を計時するとカメラ６５ａへの割込み要求信号を送信し、ＣＰＵ４０はこの割込み要求信号を受信する（ステップＳ４３４）。

割込み要求信号を受信すると、通信部５５にカメラ６５ａへのアクセス要求信号及びアドレスを送信し（ステップＳ４３５）、インターネットを介して部屋Ｍ、即ちベビーベッドの様子を映した映像データを取得しグラフィックメモリ３６に記憶させる。同時に、メモリ３３から部屋Ｍの映像の表示時間を読み出す（ステップＳ４３６）。

その後、表示装置６にカメラ６５ａで捉える映像を５秒間表示する（ステップＳ４３７）。カメラ６５ａの映像を表示し終わると、ダウンロード映像の表示を再開する（ステップＳ４３８）。

次いで、ダウンロード映像データの表示再開時からカットイン表示モジュールが再び３分を計時すると、カメラ６５ｂへの割込み要求信号を送信し、ＣＰＵ４０はこの割込み要求信号を受信する（ステップＳ４３９）。

割込み要求信号を受信すると、通信部５５にカメラ６５ｂへのアクセス要求信号及びアドレスを送信し（ステップＳ４４０）、インターネットを介して部屋Ｎ、即ち寝たきりのお年寄りの様子を映した映像データを取得しグラフィックメモリ３６に記憶させる。同時に、メモリ３３から部屋Ｎの映像の表示時間を読み出す（ステップＳ４４１）。

その後、表示装置６にカメラ６５ａで捉える映像を３秒間表示する（ステップＳ４４２）。カメラ６５ａの映像を表示し終わると、ダウンロード映像の表示を再開する（ステップＳ４４３）。

同様に、ダウンロード映像データの表示再開時（ステップＳ４４３）からカットイン表示モジュールが再び３分を計時すると、カメラ６５ｃへの割込み要求信号を送信し、ＣＰＵ４０はこの割込み要求信号を受信する（ステップＳ４４４）。

割込み要求信号を受信すると、通信部５５にカメラ６５ｃへのアクセス要求信号及びアドレスを送信し（ステップＳ４４５）、インターネットを介して玄関Ｇの様子を映した映像データを取得しグラフィックメモリ３６に記憶させる。同時に、メモリ３３から部屋Ｎの映像の表示時間を読み出す（ステップＳ４４６）。

その後、表示装置６にカメラ６５ａで捉える映像を２秒間表示する（ステップＳ４４７）。カメラ６５ａの映像を表示し終わると、ダウンロード映像の表示を再開する（ステップＳ４４８）。

以上のように、ヘッドマウントディスプレイ６０によれば、映像認識処理機能により観察を所望する対象物の映像切り替え順及び表示時間の入力手段に利用することができる。このため、実際に各部屋等を確認しながら入力をすることが可能となり、より実用に適ったカットインの順番及び表示時間の入力が可能となる。

また、シースルー表示という特性により観者の眼前の作業を妨げることなく空間の異なる場所での映像を提供することができる。このため、同一時間帯に眼前で作業をしながらにして複数の事柄の管理又は観察を効率的に行うことが可能となる。

なお、第３の実施形態では「登録標本データ」として各部屋等の様子のデータを適用したが、観者（主婦）の身近なものの映像を「登録標本データ」とする構成としてもよい。例えば、台所に複数の絵画を貼り付けてこれらを「登録標本データ」とすることで、台所にいながらにしてカットイン映像の表示順及び表示時間を簡便に設定することが可能となる。更には、これらの絵画を視野に捉え映像認識処理により判別することで、その絵画に対応図けられた映像を表示する構成としてもよい。これにより所望するときに各部屋の映像を台所にいながらにして確認することが可能となり便利である。

また、各部屋等の映像表示順や映像表示時間の設定をコントロールボックスの各種操作キーの操作により設定する構成にすることも当然に可能である。

以上、本発明を実施するための最良の形態について説明したが、本発明は上記種々の例に限定するものではない。

第１の実施形態におけるヘッドマウントディスプレイ１の外観構成を示した概要図である。 第１の実施形態におけるヘッドマウントディスプレイ１の表示装置等の構成を示した側断面図である。 第１の実施形態におけるヘッドマウントディスプレイ１の電子回路構成を示したブロック図である。 第１の実施形態におけるヘッドマウントディスプレイ１の表示装置で表示される態様の例を示した模式図である。 第１の実施形態におけるヘッドマウントディスプレイ１の「観察モード」の動作を示したフロー図である。 第１の実施形態における変形例での「探索モード」の動作を示したフロー図である。 第１の実施形態における変形例での対象物の映像を捉える様子を示した模式図である。 第１の実施形態における変形例での映像認識決定処理が行われたときの表示の例を示した模式図である。 第２の実施形態におけるヘッドマウントディスプレイ５０の外観構成を示した概要図である。 第２の実施形態におけるヘッドマウントディスプレイ５０の電子回路構成を示したブロック図である。 第２の実施形態におけるヘッドマウントディスプレイ５０の動作を示したフロー図である。 第２の実施形態におけるヘッドマウントディスプレイ５０の「観察モード」での設定画面の例を示した模式図である。 （ａ）第２の実施形態におけるヘッドマウントディスプレイ５０の「観察モード」での表示態様の一例を示した模式図である。（ｂ）ヘッドマウントディスプレイ５０の「観察モード」での表示態様の一例を示した模式図である。（ｃ）ヘッドマウントディスプレイ５０の「観察モード」での表示態様の一例を示した模式図である。 第２の実施形態におけるヘッドマウントディスプレイ５０の「観察モード」での割込みルーチンの動作を示したフロー図である。 （ａ）第２の実施形態におけるゲージの各種情報のカットイン映像の例を示した模式図である。（ｂ）第２の実施形態における船上の情報のカットイン映像の例を示した模式図である。 第３の実施形態におけるヘッドマウントディスプレイ６０の電子回路構成を示したブロック図である。 第３の実施形態におけるヘッドマウントディスプレイ６０の使用例を示した模式図である。 （ａ）第３の実施形態におけるＷｅｂカメラ６５ａが捉える映像を示した模式図である。（ｂ）第３の実施形態におけるＷｅｂカメラ６５ｂが捉える映像を示した模式図である。（ｃ）第３の実施形態におけるＷｅｂカメラ６５ｃが捉える映像を示した模式図である。 第３の実施形態におけるヘッドマウントディスプレイ６０で表示されるカットイン映像等の表示順序及び表示時間の入力動作を示したフロー図である。 第３の実施形態におけるヘッドマウントディスプレイ６０で表示されるカットイン映像等の表示順序及び表示時間の入力動作を示したフロー図である。 第３の実施形態におけるヘッドマウントディスプレイ６０で表示されるカットイン映像等の表示順序及び表示時間の入力動作を示したフロー図である。 第３の実施形態におけるヘッドマウントディスプレイ６０の表示動作を示したフロー図である。

符号の説明

１、５０、６０ ヘッドマウントディスプレイ
５Ｒ、５Ｌ レンズ部
６ 表示装置
７ 撮像装置
８Ｒ、８Ｌ イヤホン
９ コントロールボックス
１０ モード切替スイッチ
１１ 電源スイッチ
１２ 十字キー
１５ 映像生成ユニット
１６ 接眼光学系
２１ プリズム
２２ ホログラム素子
２５ ＣＣＤ
２８ Ａ／Ｄ変換回路
３０ 入力部
３１ Ｔ／Ｇ
３２ 制御部
３３ メモリ
３５ ＤＳＰ
３６ グラフィックメモリ
５１ ダイビングマスク
５２ フレーム
５３ マスクレンズ
５４ａ、５４ｂ Ｉ／Ｆ
５５ 通信部
６２ 無線通信手段
６５ａ、６５ｂ、６５ｃ Ｗｅｂカメラ
６６ Ｗｅｂサーバ

Claims (11)

1. 頭部に装着可能な装着具に、眼前に位置して映像を光学的に眼に導く映像表示手段及び該映像表示手段に映像を投射する映像投射手段からなる表示装置を備え、視界に映像を重畳表示するヘッドマウントディスプレイにおいて、
   視界方向の注目対象物を電子情報として捉える注目対象物検出手段と、
   前記注目対象物検出手段が捉えた電子情報から前記注目対象物を認識する映像認識手段と、
   １又は複数の注目対象物に関する情報が予め記憶された記憶手段と、
   前記映像認識手段により認識された注目対象物と前記注目対象物の情報との同定を行う判別手段と、
   前記判別手段により前記注目対象物と前記注目対象物の情報とが一致する場合に、
   前記注目対象物の情報を前記映像表示装置に表示させる制御手段とを備えることを特徴とするヘッドマウントディスプレイ。
2. 請求項１に記載のヘッドマウントディスプレイにおいて、
   前記注目対象物に関する情報は、所定時間表示されることを特徴とするヘッドマウントディスプレイ。
3. 請求項１又は２に記載のヘッドマウントディスプレイにおいて、
   前記注目対象物は、移動体であることを特徴とするヘッドマウントディスプレイ。
4. 請求項１〜３のいずれか一項に記載のヘッドマウントディスプレイにおいて、
   前記移動体は動物であることを特徴とするヘッドマウントディスプレイ。
5. 請求項３又は４に記載のヘッドマウントディスプレイにおいて、
   前記注目対象物の情報は、該注目対象物の予測移動方向に関する情報であることを特徴とするヘッドマウントディスプレイ。
6. 請求項１〜５のいずれか一項に記載のヘッドマウントディスプレイにおいて、
   前記注目対象物に関する情報をネットワーク接続されたデータベースから受信する通信手段を更に備え、
   前記記憶手段に記憶される注目対象物の情報は、前記通信手段により受信されるものであることを特徴とするヘッドマウントディスプレイ。
7. 請求項１〜６のいずれか一項に記載のヘッドマウントディスプレイにおいて、
   前記判別手段が前記注目対象物を同定する回数及び／又は時間をカウントする計測手段を更に備えることを特徴とするヘッドマウントディスプレイ。
8. 頭部に装着可能な装着具に、眼前に位置して映像を光学的に眼に導く映像表示手段及び該映像表示手段に映像を投射する映像投射手段からなる表示装置を備え、視界に重畳する複数の映像を順次表示可能とするヘッドマウントディスプレイにおいて、
   視線方向の注目対象物の映像を取得する注目物検出手段と、
   前記注目対象物の映像を認識する映像認識手段と、
   前記映像認識手段により認識された映像に基づいて、前記表示装置に表示された複数の映像の表示順序を設定する設定手段と、
   前記設定手段により設定された表示順序を記憶する記憶手段と、
   前記記憶手段に記憶された表示順序に従って前記複数の映像を前記表示装置に表示させる表示手段と、を備えることを特徴とするヘッドマウントディスプレイ。
9. 請求項８に記載のヘッドマウントディスプレイにおいて、
   前記記憶手段は、表示順序の異なる複数の表示順序を記憶することを特徴とするヘッドマウントディスプレイ。
10. 請求項８又は９に記載のヘッドマウントディスプレイにおいて、
    前記制御手段は、前記映像認識手段の映像認識時間に基づいて、前記複数の映像の各映像表示時間を設定することを特徴とするヘッドマウントディスプレイ。
11. 請求項８〜１０のいずれか一項に記載のヘッドマウントディスプレイにおいて、
    ネットワークを介して映像情報を受信する通信手段を更に備え、
    前記複数の映像は前記通信手段から取得するものであることを特徴とするヘッドマウントディスプレイ。

Images