JP2007256915A - 映像表示装置、及び映像表示方法 - Google Patents

Abstract

【課題】シースルー型の映像表示装置、及び映像表示方法において、耳の不自由な人や音の聞き取りにくい環境においても、外界の状況を正確に把握し安全性を確保することができる映像表示装置、及び映像表示方法を提供する。
【解決手段】頭部または顔面に取り付けられ、使用者が外界をシースルー可能な映像表示装置であって、画像を表示し、シースルー可能な表示手段と、外界の音源から発せられる音を入力し、音声信号を生成する音声入力手段と、音声入力手段で生成された音声信号に基づいて、音源の映像表示装置に対する相対的な方向を検出する音源検知手段と、音源検知手段が検出した音源の方向に基づいて、前記音源の方向を示す画像を生成し、表示手段に出力する画像生成手段と、を有する。
【選択図】図４

Description

本発明は、映像表示装置、及び映像表示方法に関し、特に頭部装着式映像表示装置に関する。

従来、観察者の頭部や顔面に着脱自在に装着され、小型のＣＲＴや液晶表示素子等の映像表示素子から得られる映像（以下、画像とも記する。）を、接眼光学系によって観察者の眼球に直接投影させることで、恰も該映像が空中に拡大投影されているかの様な虚像の観察を可能にした頭部装着式映像表示装置、すなわちＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）が知られている。

ＨＭＤは、映画やビデオ等のコンテンツ映像の観賞用や、産業機器若しくは医療機器等の遠隔操作用としての表示装置として利用され、その用途は多岐に渡っている。

ＨＭＤは、例えば、ビデオ、テレビ等の映像を直接的に左右の眼球に投影させて、大画面の迫力ある映像を自由に楽しむことができるものであるが、一方において、この様な構成によるＨＭＤの場合、これを使用している観察者、つまり、頭部にＨＭＤを装着して映像を観察中の観察者にとっては、左右の眼球部が共に覆われていて、外界の状況が視界から完全に遮蔽されてしまうことになる。この為、周囲環境を考慮するとき、非常に危険ですらあるとも云える。従って、この様な構成のＨＭＤにあっては、外界の状況を容易に観察して把握することができる様に、観察者の外界に対する視界に映像を重畳させて表示すること、つまり、所謂シースルー機能を付与することが要望されている。そして、この様な要望に対して、コンテンツ映像や、操作者の操作用の各種情報をＨＭＤの画像表示部を通して入射する外界光による自然画像に重ね合わせて表示する所謂シースルー型のものや、外界光の入射を一切遮断して電子カメラ等によって撮影され加工された撮影画像を表示する遮蔽型のも等が開発されている。

遮蔽型のＨＭＤでは、コンテンツ映像や、操作者に提供する各種情報を電子カメラ等によって撮影された撮影画像に重ね合わせて表示する機能の他に、外界情景を撮影した撮影画像を種々に加工して表示する機能も発表されている。そして最近では、この様な機能を用いて、外界から収集した音の情報を画像情報に種々に加工して表示する等して、ＨＭＤを聴覚補助装置として使用する方法が提案されている。

例えば、電子カメラやマイクを備えた遮蔽型のＨＭＤにおいて、電子カメラで撮影された画像のエッジ検出による画像認識や、マイクで収集された音声信号に基づく音声認識により、取得した外界の音源情報を画像と音声で再生するようにした技術が開示されている（例えば、特許文献１参照）。
特開２００５−１６５７７８号公報

この様に、ＨＭＤにおいて、外界の音源情報を画像情報として表示するようにした技術がこれまでも種々検討されてきた。

特許文献１に開示されているＨＭＤは、画像認識によりエッジ画像に含まれるオブジェクト（例えば、人、犬、車等）を識別し、オブジェクトの重要度に応じて予め設定された色やシンボルに加工してエッジ画像として表示する。そして音声認識により検出した音源（オブジェクト）の位置や移動速度に応じた音量で音声を再生することにより、野外等で歩行時に頭部に装着し映像や音声を鑑賞している場合であっても、画像、及び音声として歩行等に障害のある対象を通知し、安全性を確保することができる様にしている。ところで、例えば、耳の不自由な人や音の聞き取りにくい環境においては、音源情報は、危険を予知する上で非常に重要な情報であり、容易に識別できることが肝要である。しかしながら、特許文献１に開示されているＨＭＤは遮蔽型であり、音源情報は、エッジ画像やシンボルとして表示される為、音源の対象が何であるかを直感的に識別することは困難なものと考えられる。また、音源から入力された音声は、ＨＭＤの外部から入力されたコンテンツ音声に加算されてイヤホン等に出力される為、本来鑑賞したいコンテンツ音声をはっきりと聞き取れないといった問題がある。また、オブジェクトを識別する為には、電子カメラで撮影された画像にエッジ強調処理を行いエッジ画像を生成し、生成されたエッジ画像よりオブジェクト抽出処理を行い、抽出したオブジェクトが何であるかを識別する画像認識処理等といった種々の処理を必要とするので、処理の複雑化や装置の高価格化を招く恐れがある。

本発明は、上記課題を鑑みてなされたもので、シースルー型の映像表示装置、及び映像表示方法において、装置の複雑化や高価格化を招くことなく、耳の不自由な人や音の聞き取りにくい環境においても、外界の状況を正確に把握し安全性を確保することができる映像表示装置、及び映像表示方法を提供することを目的とする。

上記目的は、下記の１乃至１８のいずれか１項に記載の発明によって達成される。

１．頭部または顔面に取り付けられ、使用者が外界をシースルー可能な映像表示装置であって、
画像を表示し、シースルー可能な表示手段と、
外界の音源から発せられる音を入力し、音声信号を生成する音声入力手段と、
前記音声入力手段で生成された音声信号に基づいて、前記音源の前記映像表示装置に対する相対的な方向を検出する音源検知手段と、
前記音源検知手段が検出した前記音源の方向に基づいて、前記音源の方向を示す画像を生成し、前記表示手段に出力する画像生成手段と、を有することを特徴とする映像表示装置。

２．前記音源検知手段は、前記音声入力手段で生成された音声信号に基づいて、前記音源の前記映像表示装置に対する相対的な移動方向を検出するものであって、
前記画像生成手段は、前記音源検知手段が検出した前記音源の移動方向に基づいて、前記音源の移動方向を示す画像を生成することを特徴とする前記１に記載の映像表示装置。

３．前記画像生成手段が生成する画像を選択する画像選択手段を有し、
前記画像生成手段は、前記画像選択手段で選択された結果に基づいて、前記音源の方向を示す画像および前記音源の移動方向を示す画像、またはそのいずれかを生成することを特徴とする前記２に記載の映像表示装置。

４．前記音声入力手段は、前記音源から発せられる音を前記映像表示装置の異なる位置で収集する少なくとも２つのマイクを有し、
それぞれの前記マイクは、前記映像表示装置を装着した使用者の頭部を中心に外界に向けて異なる方向を指向するように配置されていることを特徴とする前記１乃至３のいずれか１項に記載の映像表示装置。

５．前記音声入力手段で生成された音声信号に基づいて、前記音源から発せられる音を認識し、言語情報に変換する音声認識手段を有し、
前記画像生成手段は、前記音声認識手段が変換した言語情報に係る画像を生成することを特徴とする前記１乃至４のいずれか１項に記載の映像表示装置。

６．前記画像生成手段は、使用者を中心とした空間における前記音源の方向を示す画像および前記音源の移動方向を示す画像、またはそのいずれかを生成することを特徴とする前記２に記載の映像表示装置。

７．前記音源の方向を示す画像および前記音源の移動方向を示す画像は、使用者を真上から見た状態による画像であることを特徴とする前記６に記載の映像表示装置。

８．前記音源の方向を示す画像および前記音源の移動方向を示す画像は、使用者を斜め上から見た状態による画像であることを特徴とする前記６に記載の映像表示装置。

９．前記画像生成手段は、前記音源検知手段が検出した結果に応じて、使用者を真上から見た状態または使用者を斜め上から見た状態のいずれかによる前記音源の方向を示す画像および前記音源の移動方向を示す画像、またはそのいずれかを生成することを特徴とする前記６に記載の映像表示装置。

１０．前記音源の移動方向を示す画像は、該音源の使用者に対する相対的な位置の変化を連続的に示す画像であることを特徴とする前記６に記載の映像表示装置。

１１．前記音源の移動方向を示す画像における該音源を表すシンボルの表示形態は、該音源と使用者との距離に応じて変化することを特徴とする前記１０に記載の映像表示装置。

１２．前記音声入力手段で生成された音声信号に基づいて、前記音源の特性を検出する音源特性検知手段と、
前記音源特性検知手段が検出した前記音源の特性に基づいて、前記画像生成手段の作動を制御する画像制御手段と、を有することを特徴とする前記２に記載の映像表示装置。

１３．前記音源の特性は、該音源から発せられる音の音圧であることを特徴とする前記１２に記載の映像表示装置。

１４．前記音源の特性は、該音源から発せられる音の周波数であることを特徴とする前記１２に記載の映像表示装置。

１５．前記音源の特性は、該音源から発せられる音の音圧の変化率および周波数の変化率、またはそのいずれかであることを特徴とする前記１２に記載の映像表示装置。

１６．使用者の顔の向きの変化を検知する頭部変動検知手段と、
前記頭部変動検知手段が検出した使用者の顔の向きの変化に基づいて、前記画像生成手段の作動を制御する画像制御手段と、を有することを特徴とする前記２に記載の映像表示装置。

１７．前記画像制御手段は、
前記頭部変動検知手段が検出した使用者の顔の向きの変化の方向と、前記音源検知手段が検出した前記音源の方向とが一致する場合、
前記音源の方向を示す画像および前記音源の移動方向を示す画像における該音源を表すシンボルの表示を点滅、または消灯させるように前記画像生成手段の作動を制御することを特徴とする前記１６に記載の映像表示装置。

１８．頭部または顔面に取り付けられ、且つ外界がシースルー可能である表示手段を備えてなる映像表示装置の映像表示方法において、
外界の音源から発せられる音を入力し、音声信号を生成する音声信号生成工程と、
前記音声信号生成工程で生成された音声信号に基づいて、前記音源の前記映像表示装置に対する相対的な方向を検出する音源検知工程と、
前記音源検知工程で検出された前記音源の方向に基づいて、前記音源の方向を示す画像を生成し、前記表示手段に出力する画像生成工程と、を有することを特徴とする映像表示方法。

本発明によれば、頭部または顔面に取り付けられ、使用者が外界をシースルー可能な映像表示装置において、画像生成手段は、音源検知手段が検出した音源の方向に基づいて、音源の方向を示す画像を生成し、表示手段に出力するようにした。したがって、例えば、耳の不自由な人や音の聞き取りにくい環境においても、使用者は、表示手段に表示された音源を示す方向に目を向ければ、表示手段を通して観察できる外界光による自然画像（シースルー画像）により、音源を鮮明に視認することができ、音源の対象が何であるかを容易に識別することができる。また、音源の方向に係る情報は画像として表示される為、鑑賞中のコンテンツ音声は遮断されることなくはっきりと鑑賞することができる。

また、画像生成手段は、音源検知手段が検出した音源の移動方向に基づいて、音源の移動方向を示す画像を生成し、表示手段に出力するようにした。したがって、例えば、耳の不自由な人や音の聞き取りにくい環境においても、使用者は、表示手段に表示される音源の移動方向により、音源が近づいてくるのか遠ざかっていくのかを知ることができ、音源が使用者に影響を及ぼすものか否かを容易に判断し危険を予知することができる。

また、頭部または顔面に取り付けられ、且つ外界がシースルー可能である表示手段を備えてなる映像表示装置の映像表示方法であって、画像生成工程は、音源検知工程で検出された音源の方向に基づいて、音源の方向を示す画像を生成し、表示手段に出力するようにした。したがって、例えば、耳の不自由な人や音の聞き取りにくい環境においても、使用者は、表示手段に表示された音源を示す方向に目を向ければ、表示手段を通して観察できる外界光による自然画像（シースルー画像）により、音源を鮮明に視認することができ、音源の対象が何であるかを容易に識別することができる。また、音源の方向に係る情報は画像として表示される為、鑑賞中のコンテンツ音声は遮断されることなくはっきりと鑑賞することができる。

以下図面に基づいて、本発明に係る映像表示装置の代表的な実施形態の１つであるＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）について説明する。

最初に、ＨＭＤ１の外観を図１を用いて説明する。図１（ａ）は、本発明に係るＨＭＤ１の平面図、図１（ｂ）は正面図である。

ＨＭＤ１は、使用者の眼球の近傍に配置されて使用される頭部装着式映像表示装置である。ＨＭＤ１の要部は、表示ユニット６、カメラユニット７、及び制御ユニット８等を有し、カメラユニット７で撮影された画像や、制御ユニット８に設けられた後述の外部Ｉ／Ｆ８２４から取り込まれた例えばビデオやテレビ等のコンテンツ画像等を、表示ユニット６に表示する。

ＨＭＤ１は、図１（ａ）に示す様に、フレーム２、テンプル３、鼻当て４を備えている。

フレーム２の左右には、テンプル３が一対となって設けられ、可撓性を有する弾性材等により構成された長尺状の部材であり、使用者の耳や側頭部に掛止され、ＨＭＤ１の装着者に対する頭部への保持及び装着位置の調整を行うためのものである。なお、テンプル３は、回動部３ａにおいてフレーム２の方向に回動可能に構成されており、ＨＭＤ１を使用しない場合には、テンプル３をフレーム２の方向に回動させて後述の透明基板５に沿わせることにより、コンパクト化することができる。

また、図１（ｂ）に示す様に、フレーム２には、透明基板５が設けられている。透明基板５は、一方の眼球に対応した位置にＵ字型のスペース５ｓを形成する略平板状の透明体である。また、透明基板５に囲まれて形成されるＵ字型のスペース５ｓには、後述の接眼光学系６５が嵌め込まれている。

また、フレーム２には、後述のＬＣＤ表示部６１及び接眼光学系６５から構成される表示ユニット６が設けられている。表示ユニット６は、本発明における表示手段に該当し、後述のカメラユニット７で撮影された画像や、制御ユニット８に設けられた後述の外部Ｉ／Ｆ８２４から取り込まれた例えばビデオやテレビ等のコンテンツ画像、及び後述の制御部８０１中の画像生成部８０２で生成された音源情報に係る画像等を表示する。

また、フレーム２には、カメラユニット７が設けられている。カメラユニット７は、後述のレンズ７１０、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）７０１、画像処理部７０６等から構成され、使用者の周囲の外界情景を撮影するものであり、レンズ７１０によって結像された被写体光学像を、ＣＣＤ７０１によって光電変換して画像信号を生成し、画像処理部７０６等により画像信号に所定の画像処理を施し画像を生成する。

また、フレーム２には、制御ユニット８が設けられている。制御ユニット８は、マイクロコンピュータからなり、表示ユニット６の表示動作やカメラユニット７の撮影動作、及び画像信号処理動作を統括的に制御するものである。

また、マイク８５１ａ乃至８５１ｅは、本発明における音声入力手段に該当し、外界の音源から発せられる音を入力し、音声信号を生成する。マイク８５１ａ及び８５１ｅはフレーム２に、マイク８５１ｃ及び８５１ｄはそれぞれ左右のテンプル３に、また、マイク８５１ｂはヘッドバンド１０に配置されている。尚、マイク８５１ａ乃至８５１ｅの配置の詳細は後述する。

また、フレーム２には、加速度センサ８５５が設けられている。加速度センサ８５５は、ＨＭＤ１が使用者の頭部の動きにより回転した時の振れの加速度信号を検出し、検出した信号を後述の制御部８０１中の頭部変動検知部８０６に送出する。

尚、図１の構成においては、カメラユニット７、及び表示ユニット６をフレーム２の正面左側にそれぞれ１台ずつ設けたが、図２（ａ）、図２（ｂ）に示す様に、カメラユニット７、及び表示ユニット６をフレーム２の左右にそれぞれ１台ずつ設けて、それぞれのカメラユニット７で撮影した画像をそれぞれ対応する表示ユニット６に表示する様にしてもよい。また、この様な構成においては、制御ユニット８は、図２（ａ）に示す様に、一方のテンプル３の後端からケーブル９を介して表示ユニット６や、カメラユニット７等と接続されている。

ここで、マイク８５１ａ乃至８５１ｅの具体的な配置、及び指向性について図５を用いて説明する。図５（ａ）は、ＨＭＤ１におけるマイク８５１ａ乃至８５１ｅの配置を示す斜視図、図５（ｂ）は、マイク８５１ａ乃至８５１ｅの水平方向の指向性を示す模式図である。

図５（ａ）に示す様に、ＨＭＤ１は、５個のマイク８５１ａ乃至８５１ｅを有している。マイク８５１ａは、フレーム２の上部中央に集音面が前方を指向する様に配置されている。また、マイク８５１ｅは、マイク８５１ａと同じ位置に集音面が上方を指向する様に配置されている。マイク８５１ｃ、８５１ｄは、左右のテンプル３に集音面がそれぞれ右方、左方を指向する様に配置されている。また、マイク８５１ｂは、ヘッドバンド１０に集音面が後方を指向する様に配置されている。

この様に配置された５個のマイク８５１ａ乃至８５１ｅの内、水平方向を指向する４個のマイク８５１ａ乃至８５１ｄは、例えば、略９０度の指向角αを成す指向性を有する様にしている。したがって、これらのマイク８５１ａ乃至８５１ｄによって使用者の頭部Ｈを中心に、外界の水平方向の略全周域の音を収集することができる。そして、この様に使用者の頭部Ｈを中心にしてマイク８５１ａ乃至８５１ｄをそれぞれ外界に向けて指向する様に配置することにより、マイクの指向性が低い（広い範囲の音を収集する）場合であっても、使用者の頭部Ｈが壁になり指向した方向と反対側からの音の影響が軽減されるので、後述の音源検知部８０３は、音源の方向を高い精度で検出することができる。

尚、マイク８５１ａ乃至８５１ｅの配置は、これに限定されるものではなく、例えば、図６に示す様な配置にしてもよい。すなわち、マイク８５１ａ、マイク８５１ｃは、一方のテンプル３の前端に、集音面がそれぞれ前方、右方を指向する様に配置し、また、マイク８５１ｂ、マイク８５１ｄは、他方のテンプル３の後端に、集音面がそれぞれ後方、左方を指向する様に配置し、また、マイク８５１ｅは、フレーム２の上部中央に集音面が上方を指向する様に配置する。この様な配置にすることにより、前述の図５で説明した配置と同様に、マイクの指向性が低い（広い範囲の音を収集する）場合であっても、使用者の頭部Ｈが壁になり指向した方向と反対側からの音の影響が軽減されるので、後述の音源検知部８０３は、音源の方向を高い精度で検出することができる。

次に、表示ユニット６の構成を、図３を用いて説明する。図３は、本発明に係るＨＭＤ１における表示ユニット６の左側面からの側断面図であり、主に表示ユニット６の内部構成を示している。

図３に示す様に、表示ユニット６は、筐体６１１、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）６１２、コリメータレンズ６１３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）６１４からなるＬＣＤ表示部６１、及びプリズム６５１、ＨＯＥ（Ｈｏｌｏｇｒａｐｈｉｃ Ｏｐｔｉｃａｌ Ｅｌｅｍｅｎｔ）６５２からなる接眼光学系６５から構成される。

ＬＣＤ表示部６１の筐体６１１の内部には、ＬＥＤ６１２、コリメータレンズ６１３、及びＬＣＤ６１４が内蔵された状態で、該筐体６１１が接眼光学系６５のプリズム６５１の上端部において上斜め前方（図３では右斜め上方向）に突出する態様で取り付けられている。

ＬＥＤ６１２は、所定波長色を含む白色発光ダイオード（ＬＥＤ）からなる点光源である。

コリメータレンズ６１３は、ＬＥＤ６１２の光をほぼ平行光にしてＬＣＤ６１４に投光するものである。

ＬＣＤ６１４は、カメラユニット７で生成された画像信号や、制御ユニット８に設けられた後述の外部Ｉ／Ｆ８２４から取り込まれた例えばビデオやテレビ等のコンテンツ画像信号、及び後述の制御部８０１中の画像生成部８０２で生成された音源情報に係る画像信号等に基づき映像を生成するものであり、例えば透過型の液晶表示パネルである。

プリズム６５１は、ガラスや透明樹脂等からなる略板状の透明部材であり、ＬＣＤ６１４からの光を内部で複数回の反射を行わせるものである。プリズム６５１の上端部は、ＬＣＤ６１４からの光の大部分を内部に採光できるように、上方に向かってより肉厚となるように前面側（接眼面と反対側）が突き出るように楔形状に形成された肉厚部６５１ａが形成されている。

また、プリズム６５１の下端部には、傾斜面６５１ｂが形成されており、プリズム６５１は、透明基板５に形成された傾斜面５ａに対しＨＯＥ６５２を介して接合（例えば接着）されている。また、プリズム６５１の表裏面は、透明基板５の表裏面に対して面一とされている。これにより、プリズム６５１は、透明基板５と一枚の板状に一体化されている。

ＨＯＥ６５２は、光学的に軸非対称な所謂自由曲面で構成されて正のパワーを有する体積位相型のホログラム光学素子であり、プリズム６５１の下端部において所定の傾斜角を有して支持されている。ＨＯＥ６５２は、プリズム６５１により導光された光が照射されることにより、光の干渉現象を用いてホログラム映像を眼球Ｅに提供する。

以上のような構成を有する表示ユニット６においては、ＬＥＤ６１２から射出された光は、コリメータレンズ６１３を通してＬＣＤ６１４を照明し、この照明によりＬＣＤ６１４で生成された像光は、プリズム６５１内で複数回の全反射を行った後、ＨＯＥ６５２により回折し虚像として使用者の眼球Ｅに導かれる。

さらに、プリズム６５１は、前方から入射する光を使用者の眼球に導くようになっている。これにより、使用者は、外界（前方の被写体）をシースルー可能となり、カメラユニット７により撮影された画像（映像）を外界（前方の被写体）と重畳して視認することとなる。

尚、透明基板５に形成された傾斜面５ａは、プリズム６５１の傾斜面６５１ｂでの光の屈折をキャンセル（相殺）する、すなわち、傾斜面６５１ｂにおけるプリズム効果により矢印Ｗ側からの光が上方に屈曲するのを防止する為、使用者は、プリズム６５１、透明基板５、及びＨＯＥ６５２を通して、外界光を歪むことなく観察することができる。

次に、ＨＭＤ１の電気回路構成について図４を用いて説明する。図４は、本発明に係わるＨＭＤ１の電気回路のブロック図である。尚、図４では、図１乃至図３に示した部材と同じ部材には同一の番号を付与した。

ＨＭＤ１の要部電気回路ブロックは、表示ユニット６、カメラユニット７、及び制御ユニット８等から構成される。

表示ユニット６は、ＬＣＤ表示部６１、接眼光学系６５から構成され、各部位で行われる動作については前述したので詳細な説明は省略する。

ＬＥＤ６１２の駆動電流は、後述の制御ユニット８中の制御部８０１で生成され、ＬＥＤ６１２の発光輝度は、制御部８０１によって制御される。

ＬＣＤ６１４は、制御ユニット８を介して出力されるカメラユニット７で生成された画像信号や、制御ユニット８に設けられた後述の外部Ｉ／Ｆ８２４から取り込まれた例えばビデオやテレビ等のコンテンツ画像信号、及び後述の制御部８０１中の画像生成部８０２で生成された音源情報に係る画像信号等に基づき映像を表示する。

カメラユニット７は、レンズ７１０、ＣＣＤ７０１、ＣＤＳ回路７０２、ＡＧＣ回路７０３、Ａ／Ｄ変換器７０４、タイミングジェネレータ７０５、画像処理部７０６等から構成される。

ＣＣＤ７０１は、Ｒ（赤）光、Ｇ（緑）光、Ｂ（青）光の各色透過フィルタをピクセル単位（画素単位）で市松模様状に配置させたカラーエリア撮像センサで、レンズ７１０により結像された被写体光像を、Ｒ（赤）光、Ｇ（緑）光、Ｂ（青）光の各色成分の画像信号（各画素単位で受光された画素信号の信号列からなる信号）に光電変換するものである。

タイミングジェネレータ７０５は、後述の制御ユニット８から送信される基準クロックに基づいて、ＣＣＤ７０１の駆動制御信号を生成するものである。タイミングジェネレータ７０５で生成される駆動制御信号には、例えば、ＣＣＤ７０１における露出開始、及び終了タイミングを制御する積分開始／終了のタイミング信号、各画素の信号電荷の読出し制御信号（水平同期信号、垂直同期信号、転送信号等）等のクロック信号が挙げられ、これらのクロック信号がＣＣＤ７０１に供給されるとＣＣＤ７０１では各クロック信号に対応した駆動制御が行われる。

ＣＤＳ（相関二重サンプリング）回路７０２は、ＣＣＤ７０１から読み出された画像信号より読み出し時に発生するノイズの低減や、ＯＢクランプ動作を行って黒レベルの補正を行うものである。

ＡＧＣ（自動利得制御）回路７０３は、後述の制御ユニット８の制御により、ＣＤＳ回路７０２で処理された画像信号のゲインを、例えば被写体の明るさ等に応じて調整する。

Ａ／Ｄ変換器７０４は、ＡＧＣ回路７０３から入力された画像信号を構成する各画素信号をデジタル信号に変換するものである。Ａ／Ｄ変換器７０４は、制御ユニット８から送信されるＡ／Ｄ変換用クロックに基づき、アナログ信号の各画素信号を例えば１４ビットのデジタル信号に変換する。

この様に、ＣＣＤ７０１で読み出された画像信号は、ＣＤＳ回路７０２、ＡＧＣ回路７０３、及びＡ／Ｄ変換器７０４で所定の処理が施されて、デジタル画像信号に変換される。デジタル化された画像信号は、画像処理部７０６に取り込まれて所定の処理が行われる。以下、画像処理部７０６で行われるデジタル画像信号への処理について説明する。

最初に、画像処理部７０６に取り込まれたデジタル画像信号は、ＣＣＤ７０１から出力される画像信号の読出しに同期して後述の制御ユニット８中の画像メモリ８２１に書き込まれる。すなわち、画像処理部７０６で行われる処理に使用されるデジタル画像信号は、画像メモリ８２１にいったん記録したものを画像メモリ８２１から取り出し、画像処理部７０６中の各部位における処理に使用される。

画像処理部７０６は、図示しない例えば、黒レベル補正部、画素補間部、解像度変換部、ホワイトバランス制御部、ガンマ補正部、マトリックス演算部、シェーディング補正部、及び画像圧縮部等から構成され、画像メモリ８２１より取り出したデジタル画像信号に周知の画像信号処理を施すものである。そして、これらの部位で所定の処理を施されたデジタル画像信号は、再度、画像メモリ８２１に格納される。

次に、制御ユニット８は、制御部８０１、画像メモリ８２１、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）８２２、記録部８２３、外部Ｉ／Ｆ８２４、及び操作部８３０等から構成される。

制御部８０１は、各制御プログラム等を記憶するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、演算処理や制御処理等のデータを一時的に格納するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、及び前記制御プログラム等をＲＯＭから読み出して実行するＣＰＵ（中央演算処理装置）等からなり、後述の操作部８３０に設けられた各操作スイッチからの信号を受けて、表示ユニット６の表示動作やカメラユニット７の撮影動作、及び画像信号処理動作を統括的に制御するものである。

制御部８０１は、図４に示す様に、画像生成部８０２、音源検知部８０３、音声認識部８０４、音源特性検知部８０５、頭部変動検知部８０６、及び画像制御部８０７等から構成される。

音源検知部８０３は、本発明における音源検知手段に該当し、マイク８５１ａ乃至８５１ｅで入力され生成された音声信号を用いて、周知のスペクトル分解を行い音声を生じる発生源に特有のスペクトルを発見することにより発生源の位置の推定を行う。

例えば、具体的には、先ず、マイク８５１ａ乃至８５１ｅから出力されたそれぞれの音声信号において、同一音と推定される音（同じ種別の音、例えば犬の鳴き声等）を前記スペクトル分解処理により特定する。そして、マイク８５１ａ乃至８５１ｅから出力されたそれぞれの音声信号が示す音の強度と、それぞれの音声信号における前記同一音の時間差を算出する。通常、所定位置で計測される音の強度は、音の発生源からの距離の二乗に反比例し、時間差はそれぞれのマイクからの発生源までの距離の差に比例する。これを利用して、発生源の位置を求めるものである。尚、音源検知部８０３で行われる音源の位置検出処理の詳細は、例えば、特開２００５−１６５７７８号公報に開示されている「頭部装着型表示装置、及びその制御方法装置」等の周知の処理に準ずる。

画像生成部８０２は、本発明における画像生成手段に該当し、音源検知部８０３が検出した音源の方向や移動方向に基づいて、音源の方向や移動方向を示す画像を生成し、表示ユニット６に表示する。尚、画像生成部８０２で生成される音源の方向や移動方向を示す画像の詳細は後述する。

音声認識部８０４は、本発明における音声認識手段に該当し、マイク８５１ａ乃至８５１ｅで入力され生成された音声信号を用いて、周知の音声認識処理を行い音源から発せられる音を認識し、言語情報に変換する。そして、画像生成部８０２は、音声認識部は８０４が変換した言語情報に基づいて、文字画像を生成することもできる。すなわち、外界の音声情報を文字として表示することができるので、コンテンツ画像や音声を鑑賞している時でも外界の音声情報を文字情報として知ることができる。例えば、車中で、コンテンツ映像や音声を鑑賞している時に、車内アナウンスで「まもなく駅に到着する」旨の車内アナウンスがあると、例えば、図８に示す様に、「まもなく○○駅です」等の文字を表示することにより、使用者は周囲の状況を把握することができ、降車駅を乗り過ごす様なことを回避することができる。また、車内アナウンスと周囲の人の話し声とを識別するために音源方向の情報を利用し、頭部の上方からの音を「車内アナウンス」と判断して、車内アナウンスの場合だけ文字表示するようにしてもよい。あるいは、「車内アナウンス」があったことを示す上向きの矢印を表示して、注意を喚起するようにしてもよい。これにより、例えば乗車中に本発明のＨＭＤで映画などを鑑賞していても、外部からの音声情報を映像で認識することで、目的地に近づいたことを知ることができるようになる。

図４に戻って、音源特性検知部８０５は、本発明における音源特性検知手段に該当し、マイク８５１ａ乃至８５１ｅで入力され生成された音声信号を用いて、音源から発せられる音の音圧、周波数、及びそれぞれの変化率等、音源の特性を検出する。

頭部変動検知部８０６は、ＨＭＤ１が使用者の頭部の動き等により回転した時に、加速度センサ８５５で検出された揺れの加速度信号に基づいて頭部の回転方向や回転量等を検出する。すなわち加速度センサ８５５、及び頭部変動検知部８０６は、本発明における頭部変動検知手段として機能する。

画像制御部８０７は、本発明における画像制御手段に該当し、音源特性検知部８０５で検出された音源から発せられる音の音圧、周波数、及びそれぞれの変化率、並びに頭部変動検知部８０６で検出された頭部の回転方向や回転量等に基づいて画像生成部８０２の作動を制御する。尚、画像制御部８０７で行われる画像生成部８０２の制御動作の詳細は後述する。

次に、画像メモリ８２１は、カメラユニット７中の画像処理部７０６や制御ユニット８中の制御部８０１により画像信号に対する各種処理を行う為の作業領域として用いられる一時メモリである。

ＶＲＡＭ８２２は、ＬＣＤ表示部６１中のＬＣＤ６１４の画素数に対応した画像信号の記録容量を有し、ＬＣＤ６１４に再生表示される画像を構成する画素信号のバッファメモリである。

記録部８２３は、例えばメモリカードが装填され、カメラユニット７で撮影された画像を記録するメモリである。

外部Ｉ／Ｆ８２４は、例えば、ビデオやテレビ、パーソナルコンピュータ等のＨＭＤ１の図示しない外部機器から画像信号を入力するインターフェースである。接続ケーブルにより、外部Ｉ／Ｆ８２３を介してＨＭＤ１と例えば携帯型ＤＶＤ再生装置を接続すれば、ＤＶＤに記録された映画や音楽ライブ映像を鑑賞することができる。

操作部８３０には、ＨＭＤ１の電源スイッチ８３０ａ、画像選択スイッチ８３０ｂ等、各種操作スイッチが設けられている。画像選択スイッチ８３０ｂは、本発明における画像選択手段に該当し、画像生成部８０２で生成される画像を選択する。すなわち、画像選択スイッチ８３０ｂによって、画像生成部８０２が、音源の方向を示す画像、または音源の移動方向を示す画像、または音源の方向及び移動方向を示す画像等の何れの画像を生成して表示するかを選択することができる。音源に係る情報は、通常、使用者に対して警告を明示するものであり、表示の意味するところを直感的に把握できることが肝要である。画像生成部８０３が生成する画像は種々の画像があり、例えば、音源の方向と移動方向とを同時に示す画像においては、情報量が多く状況によっては表示の意味するところを直感的に把握することが困難な場合も考えられる。したがって、使用者や周囲の状況に応じて画像の選択を可能にすることにより、表示の意味するところを直感的に把握することができる。

この様な構成のＨＭＤ１において、本発明は、耳の不自由な人や音の聞き取りにくい環境においても、外界の状況を正確に把握し安全性を確保することができる様に、外界の音源情報を画像情報として表示するものである。

ここで、画像生成部８０２で生成される画像の表示例を図７を用いて説明する。図７（ａ）は、音源の方向を示す画像の一例を示す模式図。図７（ｂ）は、音源の方向を示す画像の別例を示す模式図。図７（ｃ）は、音源の移動方向を示す画像の一例を示す模式図。図７（ｄ）は、音源の移動方向を示す画像の別例を示す模式図である。

最初に、音源の方向を示す画像の一例を図７（ａ）を用いて説明する。本表示例は、使用者を中心に上から見た時の音源の位置を示すものである。表示画面Ａの中心部には、ＨＭＤ１の使用者を表すシンボルＳ１を白丸で表示する。また、シンボルＳ１を中心に水平方向に使用者の周囲の方向を表すサークルＣ１を円で表示する。この様に使用者を中心にした平面図をシンボルを用いて表示する。ここで、表示画面Ａの上部を使用者の前方、下部を後方とする。そして、例えば、音源が使用者の右後方に位置する場合は、音源を表すシンボルＸ１をサークルＣ１の円弧上であって右下に黒丸で表示する。この様に、シンボルを用いてシンプルな表示画面にすることにより、使用者は、音源の方向を直感的に掴むことができる。

次に、音源の方向を示す画像の別例を図７（ｂ）を用いて説明する。本表示例は、使用者を中心に後方斜め上から見た時の音源の位置を示すものである。表示画面Ａの中心下部寄りには、ＨＭＤ１の使用者を表すシンボルＳ２を黒丸で表示する。また、シンボルＳ２を中心に水平方向に使用者の周囲の方向を表すサークルＣ２を楕円で表示する。この様に使用者を中心にして後方斜め上から見た時の斜視図をシンボルを用いて表示する。そして、例えば、音源が使用者の水平方向前方、左方、また右後方等に位置する場合は、音源を表すシンボルＸ２ａ、Ｘ２ｂ、Ｘ２ｃをそれぞれサークルＣ２に接して矢印で表示する。また、音源が使用者の上方、右斜め上等に位置する場合は、音源を表すシンボルＸ２ｄ、Ｘ２ｅをそれぞれ表示画面Ａの上端中央、上端右寄りから出るように矢印で表示する。この様に、３次元的な表示画面にすることにより、使用者は、水平方向のみならず垂直方向に位置する音源の方向をも直感的に掴むことができる。尚、表示画面Ａを通して観察できる外界光による自然画像（シースルー画像）は、シンボルの表示によって影響されることなくはっきりと観察できる様に、それぞれのシンボルは、破線や淡色にするとよい。

次に、音源の移動方向を示す画像の一例を図７（ｃ）を用いて説明する。本表示例は、使用者を表すシンボルを人型で表示し、また、音源の移動方向を矢印を種々変化させて表示する。例えば、音源が使用者の左後方から近づいてくる場合は、ＨＭＤ１の使用者を表すシンボルＳ３を、表示画面Ａの上端中央に表示する。ここでシンボルＳ３は、使用者の後姿を表す。そして、音源を表すシンボルＸ３ａ、Ｘ３ｂ、Ｘ３ｃを、表示画面Ａの下端左隅から使用者に向けて、並べて矢印で表示する。また、音源が使用者に近づくにつれて、３つのシンボルＸ３ａ、Ｘ３ｂ、Ｘ３ｃの矢印の濃度や色を、例えば赤や黄色等視覚的に分かり易い色に変化させて警告を明示する。

次に、音源の移動方向を示す画像の別例を図７（ｄ）を用いて説明する。本表示例は、使用者を表すシンボルを人型で表示し、また、音源の移動方向を矢印を種々変化させて表示する。例えば、音源が使用者の左前方から近づいてくる場合は、ＨＭＤ１の使用者を表すシンボルＳ４を、表示画面Ａの下端中央に表示する。ここでシンボルＳ４は、使用者の後姿を表す。そして、音源を表すシンボルを、表示画面Ａの上端左隅から使用者に向けて矢印で点滅させて表示する。また、音源が使用者に近づくにつれて、シンボルの大きさを変化させてシンボルＸ４ａ、Ｘ４ｂ、Ｘ４ｃとして徐々に大きくし、同じ位置で点滅させて表示する。

尚、画像生成部８０２は、例えば、図７（ａ）乃至図７（ｂ）に示した様な表示形態の画像を生成することができるが、いずれの表示形態の画像を生成するかは、音源検知部８０３で検出された音源の方向や移動方向に基づくものである。例えば、音源が使用者の水平方向に位置する場合は、図７（ａ）に示した様に、使用者を中心に真上から見た時の音源の位置を示す画像を生成する。また、音源が使用者の上方向や斜め上方向に位置する場合は、図７（ｂ）に示した様に、使用者を中心に斜め上から見た時の音源の位置を示す画像を生成する。この様に、音源の方向や移動方向に応じた表示形態の画像により、使用者は、音源の位置を直感的に捉えることができる。

ここで、ＨＭＤ１で行われる音源の方向を示す画像の表示制御動作の流れを図９を用いて説明する。図９は、ＨＭＤ１で行われる音源の方向を示す画像の表示制御動作の流れを示すフローチャートである。尚、音源の移動方向を示す画像の表示制御動作の流れは、音源の方向を示す画像の場合と略同様なので説明は省略する。

最初に、電源スイッチ８３０ａを操作してＨＭＤ１に電源を供給し、ＨＭＤ１が作動すると（ステップＳ１）、マイク８５１ａ乃至８５１ｅは、音源からの音を入力し音声信号を生成する（ステップＳ２；音声信号生成工程）。音源特性検知部８０５は、マイク８５１ａ乃至８５１ｅで生成された音声信号に基づいて、音源からの音の音圧Ｒ０を検出する（ステップＳ３）。

画像制御部８０７は、音源特性検知部８０５で検出された音圧Ｒ０と予め設定しておいた基準音圧Ｒ１，Ｒ２とを比較する（ステップＳ４）。ここでＲ１，Ｒ２は、Ｒ１＞Ｒ２の関係を満たすものである。

音圧Ｒ０が基準音圧Ｒ１より大きい場合（ステップＳ５；Ｙｅｓ）、画像生成部８０２は、画像制御部８０７の制御の下で、音源検知部８０３で検出された（音源検知工程）音源の方向に基づいて、音源の方向を示す画像を生成し（ステップＳ６；画像生成工程）、生成した画像を表示ユニット６に出力し表示する（ステップＳ７；画像生成工程）。

一方、ステップＳ５において、音圧Ｒ０が基準音圧Ｒ１より小さく（ステップＳ５；Ｎｏ）、基準音圧Ｒ２より大きい場合（ステップＳ８；Ｙｅｓ）、音源特性検知部８０５は、マイク８５１ａ乃至８５１ｅで生成された音声信号に基づいて、音圧Ｒ０のレベル変動の周期性を検出する（ステップＳ９）。すなわち、音圧ＲＯのレベルが一定の周期で変動するものか否かを検出する。

音圧Ｒ０のレベル変動に周期性が無い場合（ステップＳ１０；Ｎｏ）、画像生成部８０２は、ステップ６，ステップＳ７の場合と同様に、画像制御部８０７の制御の下で、音源検知部８０３で検出された音源の方向に基づいて、音源の方向を示す画像を生成し、生成した画像を表示ユニット６に出力し表示する。

この様に、本実施形態によるＨＭＤ１においては、音源の音圧Ｒ０が基準音圧Ｒ１より大きい場合や音圧Ｒ０のレベル変動に周期性が無い場合のみ、音源の方向や移動方向を示す画像（以下、総称して音源画像とも記する。）を表示する様にした。すなわち音圧Ｒ０が比較的小さい場合や音圧Ｒ０のレベル変動に周期性ある場合は、通常、定常的に発生している騒音であることが多く、使用者に危険を及ぼす恐れが少ないことから音源画像を表示しない。一方、音圧Ｒ０が非常に大きい場合や音圧Ｒ０のレベル変動に周期性が無く単発的に発生する場合は、使用者に危険を及ぼす恐れがあることから、使用者が危険を予知できる様に、音源画像を表示して注意を促す様にしている。

尚、音源画像の表示は、音源特性検知部８０５で検出された音源からの音の音圧変化率、周波数変化率に基づいて、実行する様にしてもよい。例えば、歩行中に急に騒々しくなった場合や異なる音質の音を検出した場合等は、使用者に注意を促す為に、音源画像を表示する。

また、音源特性検知部８０５が特定の周波数を検出した場合、音源画像を表示する様にしてもよい。例えば、電車の発着を知らせるチャイムの音や踏切の警報機の音等、使用者に注意を促す必要がある音を検出した場合、音源画像を表示する。

次に、ＨＭＤ１で行われる頭部位置変動による音源画像の表示制御動作の流れを図１０を用いて説明する。図１０は、ＨＭＤ１で行われる頭部位置変動による音源画像の表示制御動作の流れを示すフローチャートである。

最初に、加速度センサ８５５は、ＨＭＤ１が使用者の頭部の動きにより回転した時の振れの加速度信号を検出する（ステップＳ１）。頭部変動検知部８０６は、加速度センサ８５５で検出された加速度信号に基づいて頭部の回転方向や回転量Θ０を検出する（ステップＳ２）。

画像制御部８０７は、頭部変動検知部８０６で検出された頭部の回転量Θ０と予め設定しておいた基準回転量Θ１とを比較する（ステップＳ３）。頭部の回転量Θ０が基準回転量Θ１より大きい場合（ステップＳ４；Ｙｅｓ）、画像制御部８０７は、頭部変動検知部８０６で検出された頭部の回転方向と音源検知部８０５で検出された音源の方向とを比較する（ステップＳ５）。

頭部の回転方向と音源の方向が一致する場合（ステップＳ６；Ｙｅｓ）、画像制御部８０７は、次に、音源画像が表示中か否かを検出し、表示中の場合（ステップＳ７；Ｙｅｓ）、音源画像における音源を表すシンボルの表示を点滅、または消灯させる。

ここで、頭部位置変動に伴う音源画像の表示例を図１１を用いて説明する。尚、図１１（ａ）乃至図１１（ｄ）に示す音源画像の表示形態は、前述の図７（ｂ）の場合と同様なので、各シンボル等の説明は省略する。

例えば、図１１（ａ）に示す様に、最初に使用者（シンボルＳ２）の右方に位置していた音源（シンボルＸ２ｆ）が、使用者の前方に移動した場合は、図１１（ｂ）に示す様に、音源を表すシンボルＸ２ａを通常通り点灯させて表示する。

一方、図１１（ａ）に示す様に、使用者（シンボルＳ２）の右方に位置している音源（シンボルＸ２ｆ）に対して、使用者が頭部を回転させて、顔を音源の方向を向けた場合は、図１１（ｃ）、または図１１（ｄ）に示す様に、音源を表すシンボルＸ２ｇを点滅、または消灯させる。

この様に、使用者に対する音源の相対的な移動が、音源の移動によるものなのか、あるいは使用者の頭部の回転によるものなのかによって、音源を表すシンボルを異なる形態で表示することにより、音源の状態をより正確に捉えることができる。

この様に、本発明においては、頭部または顔面に取り付けられ、使用者が外界をシースルー可能な映像表示装置において、画像生成部８０２は、音源検知部８０３が検出した音源の方向に基づいて、音源の方向を示す画像を生成し、表示ユニット６に出力するようにした。したがって、例えば、耳の不自由な人や音の聞き取りにくい環境においても、使用者は、表示ユニット６に表示された音源を示す方向に目を向ければ、表示ユニット６を通して観察できる外界光による自然画像（シースルー画像）により、音源を鮮明に視認することができ、音源の対象が何であるかを容易に識別することができる。また、画像生成部８０２は、音源検知部８０３が検出した音源の移動方向に基づいて、音源の移動方向を示す画像を生成し、表示ユニット６に出力するようにした。したがって、例えば、耳の不自由な人や音の聞き取りにくい環境においても、使用者は、表示ユニット６に表示される音源の移動方向により、音源が近づいてくるのか遠ざかっていくのかを知ることができ、音源が使用者に影響を及ぼすものか否かを容易に判断し危険を予知することができる。

以上、本発明を実施の形態を参照して説明してきたが、本発明は前述の実施の形態に限定して解釈されるべきでなく、適宜変更、改良が可能であることは勿論である。

例えば、音源画像を表示中に、音圧が予め設定しておいた基準音圧よりも小さくなった場合、所定の時間後に表示を消灯させる様にしてもよい。また、同様に表示の輝度を低くするようにしてもよい。これにより、使用者は、音源からの危険度が低下したことを視認できる様になる。

本発明の実施形態に係るＨＭＤの一例による外観模式図である。 本発明の実施形態に係るＨＭＤの別例による外観模式図である。 本発明の実施形態に係るＨＭＤにおける表示ユニットの側断面図である。 本発明の実施形態に係るＨＭＤの電気回路ブロック構成図である。 本発明の実施形態に係るＨＭＤにおけるマイク配置の一例を示す模式図である。 本発明の実施形態に係るＨＭＤにおけるマイク配置の別例を示す模式図である。 本発明の実施形態に係るＨＭＤにおける音源表示の一例を示す模式図である。 本発明の実施形態に係るＨＭＤにおける音源表示の別例を示す模式図である。 本発明の実施形態に係るＨＭＤにおける音源の表示動作の流れを示すフローチャートである。 本発明の実施形態に係るＨＭＤにおける頭部位置変動に伴う音源の表示動作の流れを示すフローチャートである。 本発明の実施形態に係るＨＭＤにおける頭部位置変動に伴う音源表示の一例を示す模式図である。

符号の説明

１ ＨＭＤ
２ フレーム
３ テンプル
４ 鼻当て
５ 透明基板
６ 表示ユニット
６１ ＬＣＤ表示部
６１１ 筐体
６１２ ＬＥＤ
６１３ コリメータレンズ
６１４ ＬＣＤ
６５ 接眼光学系
６５１ プリズム
６５２ ＨＯＥ
７ カメラユニット
７０１ ＣＣＤエリアセンサ
７０２ ＣＤＳ回路
７０３ ＡＧＣ回路
７０４ Ａ／Ｄ変換器
７０５ タイミングジェネレータ
７０６ 画像処理部
７１０ レンズ
８ 制御ユニット
８０１ 制御部
８０２ 画像生成部
８０３ 音源検知部
８０４ 音声認識部
８０５ 音源特性検知部
８０６ 頭部変動検知部
８０７ 表示制御部
８２１ 画像メモリ
８２２ ＶＲＡＭ
８２３ 記録部
８２４ 外部Ｉ／Ｆ
８３０ 操作部
８３０ａ 電源スイッチ
８３０ｂ 画像選択スイッチ
８５１ａ、８５１ｂ、８５１ｃ、８５１ｄ、８５１ｅ マイク
８５２ イヤホン
８５５ 加速度センサ
８６０ 電源部
９ ケーブル
１０ ヘッドバンド
Ｅ 目

Claims (18)

1. 頭部または顔面に取り付けられ、使用者が外界をシースルー可能な映像表示装置であって、
   画像を表示し、シースルー可能な表示手段と、
   外界の音源から発せられる音を入力し、音声信号を生成する音声入力手段と、
   前記音声入力手段で生成された音声信号に基づいて、前記音源の前記映像表示装置に対する相対的な方向を検出する音源検知手段と、
   前記音源検知手段が検出した前記音源の方向に基づいて、前記音源の方向を示す画像を生成し、前記表示手段に出力する画像生成手段と、を有することを特徴とする映像表示装置。
2. 前記音源検知手段は、前記音声入力手段で生成された音声信号に基づいて、前記音源の前記映像表示装置に対する相対的な移動方向を検出するものであって、
   前記画像生成手段は、前記音源検知手段が検出した前記音源の移動方向に基づいて、前記音源の移動方向を示す画像を生成することを特徴とする請求項１に記載の映像表示装置。
3. 前記画像生成手段が生成する画像を選択する画像選択手段を有し、
   前記画像生成手段は、前記画像選択手段で選択された結果に基づいて、前記音源の方向を示す画像および前記音源の移動方向を示す画像、またはそのいずれかを生成することを特徴とする請求項２に記載の映像表示装置。
4. 前記音声入力手段は、前記音源から発せられる音を前記映像表示装置の異なる位置で収集する少なくとも２つのマイクを有し、
   それぞれの前記マイクは、前記映像表示装置を装着した使用者の頭部を中心に外界に向けて異なる方向を指向するように配置されていることを特徴とする請求項１乃至３のいずれか１項に記載の映像表示装置。
5. 前記音声入力手段で生成された音声信号に基づいて、前記音源から発せられる音を認識し、言語情報に変換する音声認識手段を有し、
   前記画像生成手段は、前記音声認識手段が変換した言語情報に係る画像を生成することを特徴とする請求項１乃至４のいずれか１項に記載の映像表示装置。
6. 前記画像生成手段は、使用者を中心とした空間における前記音源の方向を示す画像および前記音源の移動方向を示す画像、またはそのいずれかを生成することを特徴とする請求項２に記載の映像表示装置。
7. 前記音源の方向を示す画像および前記音源の移動方向を示す画像は、使用者を真上から見た状態による画像であることを特徴とする請求項６に記載の映像表示装置。
8. 前記音源の方向を示す画像および前記音源の移動方向を示す画像は、使用者を斜め上から見た状態による画像であることを特徴とする請求項６に記載の映像表示装置。
9. 前記画像生成手段は、前記音源検知手段が検出した結果に応じて、使用者を真上から見た状態または使用者を斜め上から見た状態のいずれかによる前記音源の方向を示す画像および前記音源の移動方向を示す画像、またはそのいずれかを生成することを特徴とする請求項６に記載の映像表示装置。
10. 前記音源の移動方向を示す画像は、該音源の使用者に対する相対的な位置の変化を連続的に示す画像であることを特徴とする請求項６に記載の映像表示装置。
11. 前記音源の移動方向を示す画像における該音源を表すシンボルの表示形態は、該音源と使用者との距離に応じて変化することを特徴とする請求項１０に記載の映像表示装置。
12. 前記音声入力手段で生成された音声信号に基づいて、前記音源の特性を検出する音源特性検知手段と、
    前記音源特性検知手段が検出した前記音源の特性に基づいて、前記画像生成手段の作動を制御する画像制御手段と、を有することを特徴とする請求項２に記載の映像表示装置。
13. 前記音源の特性は、該音源から発せられる音の音圧であることを特徴とする請求項１２に記載の映像表示装置。
14. 前記音源の特性は、該音源から発せられる音の周波数であることを特徴とする請求項１２に記載の映像表示装置。
15. 前記音源の特性は、該音源から発せられる音の音圧の変化率および周波数の変化率、またはそのいずれかであることを特徴とする請求項１２に記載の映像表示装置。
16. 使用者の顔の向きの変化を検知する頭部変動検知手段と、
    前記頭部変動検知手段が検出した使用者の顔の向きの変化に基づいて、前記画像生成手段の作動を制御する画像制御手段と、を有することを特徴とする請求項２に記載の映像表示装置。
17. 前記画像制御手段は、
    前記頭部変動検知手段が検出した使用者の顔の向きの変化の方向と、前記音源検知手段が検出した前記音源の方向とが一致する場合、
    前記音源の方向を示す画像および前記音源の移動方向を示す画像における該音源を表すシンボルの表示を点滅、または消灯させるように前記画像生成手段の作動を制御することを特徴とする請求項１６に記載の映像表示装置。
18. 頭部または顔面に取り付けられ、且つ外界がシースルー可能である表示手段を備えてなる映像表示装置の映像表示方法において、
    外界の音源から発せられる音を入力し、音声信号を生成する音声信号生成工程と、
    前記音声信号生成工程で生成された音声信号に基づいて、前記音源の前記映像表示装置に対する相対的な方向を検出する音源検知工程と、
    前記音源検知工程で検出された前記音源の方向に基づいて、前記音源の方向を示す画像を生成し、前記表示手段に出力する画像生成工程と、を有することを特徴とする映像表示方法。

Images