JP2016126188A - 音声情報表示装置 - Google Patents

Abstract

【課題】音源が視界内に存在している場合において発生し得る音源の視認性低下を従来よりも抑制し、音源が視界内に存在しているか否かを従来よりも迅速に判断することが可能となる音声情報表示装置を提供する。【解決手段】音声信号を生成する音声信号生成部２００と、音源の位置を特定する音源位置特定部２２５と、音声信号に基づく画像を生成して表示する画像生成表示部と、音源の位置が視界内であるか否かを判定する判定部２５０とを備え、画像生成表示部は、表示を、判定部２５０による判定が肯定的な場合に、判定部２５０による判定が否定的な場合に比べて視認性が低くなるように行う。【選択図】図２

Description

本発明は、音に基づく画像を表示する音声情報表示装置に関する。

従来、使用者の頭部に装着されて使用され、使用者の視界の一部に、周囲の音に基づく画像を表示する音声情報表示装置が知られている。
例えば、特許文献１に記載されたメガネ型の聴覚障害者用ヘッドマウントディスプレイは、マイクで集音した周囲の音に基づいて文字列を生成し、生成した文字列を、使用者の視界内に表示する。

特開２００７−３３４１４９号公報 特開２０１２−１８５４６１号公報 特開２０１４−１２０９６３号公報 特開２０１１−２５０１００号公報 特開２０１３−１２２６９５号公報

ところで、従来の音声情報表示装置は、音源が視界内に存在している場合と視界内に存在していない場合とで、その表示態様を変更しない。このため、音源が視界内に存在している場合に、表示する画像が邪魔になって音源の視認性を低下させてしまうことがある。また、音源が視界内に存在しているか否かを、迅速に判断することが難しい。
本発明は係る問題に鑑みてなされたものであり、音源が視界内に存在している場合において発生し得る音源の視認性低下を従来よりも抑制し、音源が視界内に存在しているか否かを従来よりも迅速に判断することが可能となる音声情報表示装置を提供することを目的とする。

上記課題を解決するために本発明に係る音声情報表示装置は、使用者に装着されて使用される音声情報表示装置であって、複数の位置で集音して音声信号を生成する音声信号生成部と、前記音声信号生成部によって生成された音声信号に基づいて、音源の位置を特定する音源位置特定部と、前記音声信号生成部によって生成された音声信号に基づく画像を生成して表示する画像生成表示部と、前記音源位置特定部によって特定された音源の位置が、前記使用者の視界内であるか否かを判定する判定部とを備え、前記画像生成表示部は、前記表示を、前記判定部による判定が肯定的な場合に、前記判定部による判定が否定的な場合に比べて視認性が低くなるように行うことを特徴とする。

また、前記画像生成表示部は、前記判定部による判定が否定的な場合に、前記表示を、表示する画像と共に、当該画像に対応する音源について前記音源位置特定部によって特定された音源の位置を示す情報が表示されるように行うとしてもよい。
また、前記音声信号生成部によって生成された音声信号に基づいて、前記音源位置特定部によって位置が特定された音源から発せられた音の種類を特定する音種類特定部を備え、前記画像生成表示部は、前記表示を、表示対象となる画像に対応する音源から発せられた音について前記音種類特定部によって特定された音の種類が、所定の種類である場合とない場合とで、互いに異なるように行うとしてもよい。

また、前記音声信号生成部によって生成された音声信号に基づいて、前記音源位置特定部によって位置が特定された音源から発せられた音の音量を算出する音量算出部を備え、前記画像生成表示部は、前記表示を、表示対象となる画像に対応する音源から発せられた音について前記音量算出部によって算出された音量が、所定の閾値を上回る場合と下回る場合とで、互いに異なるように行うとしてもよい。

また、前記音声信号生成部によって生成された音声信号に人の声の音声成分が含まれている場合に、当該音声信号に対して音声認識処理を行って当該人の声に対応する文字列を生成する文字列生成部を備え、前記画像生成表示部は、前記表示を、生成対象となる画像に対応する音源から発せられた音の音声信号に対して、前記文字列生成部によって文字列が生成された場合には、当該文字列が含まれるように行うとしてもよい。

また、前記音声信号生成部によって生成された音声信号に基づいて、前記音源位置特定部によって位置が特定された音源が移動しているか否かを判定する移動判定部を備え、前記画像生成表示部は、前記判定部による判定が肯定的な場合において、前記移動判定部による判定が肯定的なときに、前記表示を、表示する画像と共に当該画像に対応する音源が移動している旨を示す情報が表示されるように行う
としてもよい。

また、前記音声信号生成部によって生成された音声信号が、所定の条件を満たしている場合に、当該音声信号が当該所定の条件を満たしている旨を、前記使用者に振動によって報知する振動報知部を備えるとしてもよい。
また、前記使用者の眼を撮影して画像を生成する眼画像生成部と、前記眼画像生成部によって生成された画像に基づいて、前記使用者の視界を特定する視界特定部とを備え、前記判定部は、前記判定を、前記視界特定部によって特定された視界に基づいて行うとしてもよい。

また、前記使用者の視界を含む領域を撮影して視界画像を生成する視界画像生成部と、前記視界画像生成部によって生成された視界画像に基づいて、前記使用者の視界に、特定機器における表示パネルの表示面が含まれているか否かを判定するパネル判定部と、前記音声信号生成部によって生成された音声信号が、前記特定機器における所定の音声信号成分を含んでいるか否かを判定する成分判定部を備え、前記画像生成表示部は、前記表示を、前記パネル判定部による判定が肯定的な場合において、前記成分判定部による判定が肯定的なときに、表示する画像が、前記表示パネルの表示面に前記使用者の注意を促す旨を示す画像となるように行い、前記パネル判定部による判定が否定的な場合において、前記成分判定部による判定が肯定的なときに、表示する画像が、前記特定の音声信号成分に対応する文字列が含まれるように行うとしてもよい。

また、前記音声信号生成部によって生成された音声信号が、所定の音声ガイダンスに対応付けられた所定の音声信号成分を含んでいるか否かを判定する成分判定部を備え、前記画像生成表示部は、前記成分判定部による判定が肯定的な場合における前記表示を、前記所定の音声ガイダンスの内容を示す文字列が含まれるように行うとしてもよい。
また、前記画像生成表示部は、前記使用者が外景を視認可能に透過する半透明な表示領域を有し、前記表示を、当該表示領域に行うとしてもよい。

上述の音声情報表示装置によると、表示部は、音源の位置が使用者の視界内に存在する場合に、表示対象となる画像を、音源の位置が視界内に存在しない場合よりも視認性が低くなるように表示する。
これにより、この音声情報表示装置は、音源が視界内に存在している場合において発生し得る音源の視認性低下を従来よりも抑制すると共に、その視認性の差異により音源が視界内に存在しているか否かを従来よりも迅速に判断することが可能となる。

音声情報表示装置１００の斜視図である。 音声情報表示装置１００の機能構成図である。 音種記号対応表３００の構成図である。 音量大きさ対応表４００の構成図である。 音源位置色対応表５００の構成図である。 移動方向拡大率対応表６００の構成図である。 視界内外対応表７００の構成図である。 危険度ポイント対応表８００の構成図である。 音声処理のフローチャートである。 表示処理のフローチャートである。 振動処理のフローチャートである。 （ａ）、（ｂ） 音声情報表示装置１００に表示される画像の例を示す模式図である。 （ａ）、（ｂ） 音声情報表示装置１００に表示される画像の例を示す模式図である。 音声情報表示装置１４００の斜視図である。 ＭＦＰ１５００の斜視図である。 音声情報表示装置１４００の機能構成図である。 （ａ）、（ｂ） 音声情報表示装置１４００に表示される画像の例を示す模式図である。 （ａ）、（ｂ） 音声情報表示装置１４００に表示される画像の例を示す模式図である。 表示部１６７０が行う表示の一例を示す模式図である。 機器メッセージ通知処理のフローチャートである。 変形例において音声情報表示装置に表示される画像の例を示す模式図である。

＜＜実施の形態１＞＞
以下、本発明に係る音声情報表示装置の一実施形態について、図面を参照しながら説明する。
実施の形態１において例示する音声情報表示装置は、使用者の頭部に装着されて使用されるいわゆるヘッドマウントディスプレイであって、マイクで集音した周囲の音に基づく画像を生成し、生成した画像を使用者の視界内に表示する。

この音声情報表示装置の特徴は、画像を生成すると共に音源の位置を特定し、特定した音源の位置が視界内に存在する場合と存在しない場合とで、音源の位置が視界内に存在する場合の方がより視認性が低くなるように、その画像を表示する点にある。
＜構成＞
図１は、上記音声情報表示装置１００の斜視図である。

同図に示されるように、音声情報表示装置１００は、第１マイク１１０と、第２マイク１２０と、第３マイク１３０と、半透明ディスプレイ１４０と、プロジェクター１４５と、イメージセンサー１５０と、バイブレーター１６０と、プロセッサーモジュール１７０と、メガネフレーム１８０と、電池１９０と、ガラス１９５とから構成される。
第１マイク１１０と第２マイク１２０と第３マイク１３０とは、それぞれ、入力される周囲の音を、電気信号である音声信号に変換して出力する。

第１マイク１１０は、メガネフレーム１８０におけるブリッジに配置され、第２マイク１２０は、メガネフレーム１８０における右耳用モダンに配置され、第３マイク１３０は、メガネフレーム１８０における左耳用モダンに配置されている。
音声情報表示装置１００は、３つのマイクを備えることで、周囲の音を立体的に集音する。

半透明ディスプレイ１４０は、メガネフレーム１８０における左目用リムに装着され、ハーフミラーで構成される半透明な表示領域を有し、その表示領域にプロジェクター１４５によって投影される画像を表示する。音声情報表示装置１００を頭部に装着して使用する使用者は、左目で、表示領域に表示される画像と共に、その表示領域を透過して音声情報表示装置１００外部の様子を視認することができる。

プロジェクター１４５は、メガネフレーム１８０における左目用リムの上部に配置され、半透明ディスプレイ１４０の表示領域に画像を投影する。
イメージセンサー１５０は、メガネフレーム１８０における左目用リムの上部に配置され、音声情報表示装置１００を頭部に装着して使用する使用者の左目を撮影して、左目の画像を生成する。

バイブレーター１６０は、メガネフレーム１８０における左耳用テンプルに配置され、左耳用テンプルを振動させることができる。
電池１９０は、音声情報表示装置１００を構成する電子機器に電力を供給する。
ガラス１９５は、メガネフレーム１８０における右目用リムに装着され、音声情報表示装置１００を頭部に装着して使用する使用者は、右目で、ガラス１９５を透過して外部を視認することができる。

プロセッサーモジュール１７０は、メガネフレーム１８０における左耳用テンプルに配置され、図示しないプロセッサーと、図示しないメモリとを含んで構成される。プロセッサーモジュール１７０に含まれるプロセッサー（以下、単に「プロセッサー」と呼ぶ。）は、プロセッサーモジュール１７０に含まれるメモリ（以下、単に「メモリ」と呼ぶ。）に記憶されるプログラムを実行することで、音声情報表示装置１００を構成する電子機器を制御して、音声情報表示装置１００に様々な機能を実現させる。

図２は、音声情報表示装置１００の機能構成図である。
同図に示されるように、音声情報表示装置１００は、音声信号生成部２００と、文字列生成部２０５と、音量算出部２１０と、音種特定部２１５と、移動判定部２２０と、音源位置特定部２２５と、視線画像生成部２３０と、視界特定部２４０と、判定部２５０と、画像生成部２６０と、表示部２７０と、振動報知部２８０とを含んで構成される。

音声信号生成部２００は、第１マイク１１０と、第２マイク１２０と、第３マイク１３０とを含み、第１マイク１１０から入力された音に基づく第１音声信号と、第２マイク１１０から入力された音に基づく第２音声信号と、第３マイク１１０から入力された音に基づく第３音声信号とを生成する。
文字列生成部２０５は、音声信号生成部２００によって生成された第１音声信号と第２音声信号と第３音声信号とに対して音声認識処理を行って、人の声の音声成分が含まれている場合に、その声に対して認識される文字列を生成する。

音量算出部２１０は、音声信号生成部２００によって生成された第１音声信号を解析して第１マイク１１０から入力された音の音量である第１音量を算出し、音声信号生成部２００によって生成された第２音声信号を解析して第２マイク１２０から入力された音の音量である第２音量を算出し、音声信号生成部２００によって生成された第３音声信号を解析して第３マイク１３０から入力された音の音量である第３音量を算出する。

音種特定部２１５は、音量算出部２１０によって最も音量が大きいと算出された音声信号を解析して、その音声信号の元となる音が、所定の音種のうちのいずれであるか、またはいずれでもないかを特定する。
所定の音種としては、例えば、救急車のサイレン、踏切の警報、車のクラクション等が考えられる。

音種特定部２１５は、例えば、所定の音種の音声信号をサンプル音声信号として記憶し、解析の対象となる音声信号とサンプル音声信号とを比較することで、音種の特定を行う。
音源位置特定部２２５は、音量算出部２１０によって算出された第１音量と第２音量と第３音量とが所定の音量以上の場合に、音声信号生成部２００によって生成された第１音声信号と第２音声信号と第３音声信号とを解析して、音源の位置、すなわち、音声情報表示装置１００に対する音源の相対位置を特定する。

音源位置特定部２２５は、例えば、第１マイク１１０、第２マイク１２０、第３マイク１３０のそれぞれに入力された同種の音の入力タイミングの差、及び音量の差に基づいて、音源の位置を特定する。
移動判定部２２０は、音源位置特定部２２５によって特定された音源の位置に基づいて、その音源が移動しているか否かを判定し、移動していると判定する場合には、その移動方向を算出する。

移動判定部２２０は、例えば、音源位置特定部２２５によって特定された音源の位置が時間と共に変化する場合に、その音源が移動していると判定する。そして、例えば、音源の位置の変異方向に基づいて、音源の移動方向を算出する。
視線画像生成部２３０は、イメージセンサー１５０を含み、音声情報表示装置１００を頭部に装着して使用する使用者の左目を撮影して、その左目の視線の向きを算出するための視線画像を生成する。

視界特定部２４０は、視線画像生成部２３０によって生成された視線画像を解析して、使用者の左目の視線の向きを算出し、使用者の視界、すなわち、メガネフレーム１８０における左目用リムに対する使用者の視認範囲の相対位置を特定する。
ここで、視界の特定は、一例として、（１）視線画像生成部２３０によって生成された視線画像から、使用者の左目の瞳孔の位置を算出して、（２）算出した瞳孔の位置から使用者の左目の視線の向きを示す視線ベクトルを算出し、（３）メガネフレーム１８０における左目用リムによって定められる画角のうち、算出した視線ベクトルの方向を中心とした所定範囲内の領域を視界であると特定することで実現する。

判定部２５０は、音源位置特定部２２５によって音源の位置が特定された場合に、その音源の位置が視界特定部２４０によって特定された視界内に入っているか否かを調べることで、その音源位置が使用者の視界内であるか否かを判定する。
画像生成部２６０は、音種記号対応表３００（後述）と、音量大きさ対応表４００（後述）と、音源位置色対応表５００（後述）と、移動方向拡大率対応表６００（後述）とを記憶し、音源位置特定部２２５によって音源の位置が特定された場合に、記憶するこれら対応表を参照して、文字列生成部２０５によって生成された文字列と、音種特定部２１５によって特定された音種と、音量算出部２１０によって算出された音量と、移動判定部２２０によって算出された移動方向と、音源位置特定部２２５によって特定された音源の位置とに基づいて、表示部２７０に表示させるための画像を生成する。

図３は、画像生成部２６０によって記憶される音種記号対応表３００の一例についての構成図である。
同図に示されるように、音種記号対応表３００は、音種３１０と、記号３２０と、表示文字列３３０とが対応付けられて構成される。
音種３１０は、音種特定部２１５によって特定され得る音種である。

記号３２０は、音種特定部２１５によって、対応付けられた音種３１０が特定された場合に、画像生成部２６０が生成する画像に含ませるための記号（図柄）である。
表示文字列３３０は、音種特定部２１５によって特定された音種が、対応付けられた音種３１０である場合に、画像生成部２６０が生成する画像に含ませるための文字列である。

図４は、画像生成部２６０によって記憶される音量大きさ対応表４００の一例についての構成図である。
同図に示されるように、音量大きさ対応表４００は、音量４１０と、大きさ４２０とが対応付けられて構成される。
音量４１０は、音量算出部２１０によって算出される音量の範囲を示す情報である。

大きさ４２０は、音量算出部２１０によって算出された音量が、対応付けられた音量４１０で示される範囲である場合に、画像生成部２６０が生成する画像の大きさを示す情報である。
図５は、画像生成部２６０によって記憶される音源位置色対応表５００の一例についての構成図である。

同図に示されるように、音源位置色対応表５００は、音源位置５１０と、色５２０とが対応付けられて構成される。
音源位置５１０は、音源位置特定部２２５によって特定される音源の位置と、音声情報表示装置１００との距離の範囲を示す情報である。
色５２０は、音源位置特定部２２５によって特定される音源の位置が、対応付けられた音源位置５１０で示される距離の範囲である場合に、画像生成部２６０が生成する画像の色を示す情報である。

図６は、画像生成部２６０によって記憶される移動方向拡大率対応表６００の一例についての構成図である。
同図に示されるように、移動方向拡大率対応表６００は、移動方向６１０と、拡大率６２０とが対応付けられて構成される。
移動方向６１０は、移動判定部２２０によって算出される音源の移動方向の範囲を示す情報である。

拡大率６２０は、移動判定部２２０によって算出される音源の移動方向が、対応付けられた移動方向６１０で示される範囲である場合に、画像生成部２６０が生成する画像の拡大率を示す情報である。
再び図２に戻って、音声情報表示装置１００の構成についての説明を続ける。
表示部２７０は、半透明ディスプレイ１４０と、プロジェクター１４５とを含み、視界内外対応表７００（後述）を記憶し、画像生成部２６０によって画像が生成された場合に、記憶する視界内外対応表７００を参照して、移動判定部２２０によって算出された移動方向と、音源位置特定部２２５によって特定された音源の位置と、判定部２５０によって判定された判定結果とに基づいて、音源の位置が視界内である場合における画像のサイズと輝度とが、音源の位置が視界外である場合における画像のサイズと輝度とよりも抑制されるように画像の表示方法を決定し、決定した表示方法で、画像生成部２６０によって生成された画像を、半透明ディスプレイ１４０に表示する。

また、表示部２７０は、音源の位置が視界外である場合に、音源の位置を示す音源位置情報（例えば、音源の方向を向いた矢印）を生成して画像と共に表示し、音源の位置が視界内である場合において音源が移動しているときに、音源の移動方向を示す音源移動情報を生成して画像と共に表示する。
図７は、表示部２７０によって記憶される視界内外対応表７００の一例についての構成図である。

同図に示されるように、視界内外対応表７００は、条件７１０と、表示倍率７２０と、輝度倍率７３０とが対応付けられて構成される。
条件７１０は、判定部２５０によって判定された判定結果が、視界内であるか視界外であるかを示す情報である。
表示倍率７２０は、判定部２５０によって判定された判定結果が、対応付けられた条件７１０によって示されるものである場合に、画像生成部２６０によって生成された画像を表示部２７０が表示する際の表示倍率を示す情報である。

輝度倍率７３０は、判定部２５０によって判定された判定結果が、対応付けられた条件７１０によって示されるものである場合に、画像生成部２６０によって生成された画像を表示部２７０が表示する際の輝度倍率を示す情報である。
再び図２に戻って、音声情報表示装置１００の構成についての説明を続ける。
振動報知部２８０は、バイブレーター１６０を含み、危険度ポイント対応表８００（後述）を記憶し、画像生成部２６０によって画像が生成された場合に、記憶する危険度ポイント対応表８００を参照して、文字列生成部２０５によって生成された文字列と、音量算出部２１０によって算出された音量と、音種特定部２１５によって特定された音種と、移動判定部２２０によって算出された音源の移動方向と、音源位置特定部２２５によって特定された音源の位置とに基づいて危険度ポイントを算出し、算出した危険度ポイントが所定値以上の場合に、バイブレーター１６０を振動させる。

図８は、振動報知部２８０によって記憶される危険度ポイント対応表８００の一例についての構成図である。
同図に示されるように、危険度ポイント対応表８００は、項目８１０と、条件８２０と、ポイント８３０とが対応付けられて構成される。
項目８１０は、危険度ポイントの算出対象となる項目を示す情報である。

条件８２０は、対応付けられた項目８１０についての条件を示す情報である。
ポイント８３０は、対応付けられた項目８１０について、対応付けられた条件８２０が満たされる場合に、危険度ポイントに加算されるポイントを示す情報である。
振動報知部２８０は、項目８１０毎にポイント８３０を算出して、全ての項目８１０のポイント８３０を加算することで危険度ポイントを算出する。

上記各機能ブロックは、プロセッサーがメモリに記憶されているプログラムを実行することで実現される。
＜動作＞
上記構成の音声情報表示装置１００は、その特徴的な動作として、音声処理と、表示処理と、振動処理とを行う。

以下、これらの処理について、フローチャートに基づいて説明する。
（Ａ）音声処理
音声処理は、音声信号生成部２００に音が入力された場合に、その音の音量と、音源位置と、音種とを特定し、その音に人の声が含まれている場合には、その人の声に対して認識される文字列を生成する処理である。

図９は、音声処理のフローチャートである。
音声処理は、音声情報表示装置１００が起動されることで開始される。
音声処理が開始されると、音声信号生成部２００は、第１マイク１１０から入力された音に基づく第１音声信号と、第２マイク１１０から入力された音に基づく第２音声信号と、第３マイク１１０から入力された音に基づく第３音声信号とを生成する（ステップＳ９００）。

第１音声信号と第２音声信号と第３音声信号とが生成されると、音量算出部２１０は、第１音声信号を解析して第１マイク１１０から入力された音の音量（以下、「第１音量」と呼ぶ。）を算出し、第２音声信号を解析して第２マイク１２０から入力された音の音量（以下、「第２音量」と呼ぶ。）を算出し、第３音声信号を解析して第３マイク１３０から入力された音の音量（以下、「第３音量」と呼ぶ。）を算出する（ステップＳ９１０）。

第１音量と第２音量と第３音量とが算出されると、音源位置特定部２２５は、第１音量と第２音量と第３音量とが所定値以上であるか否かを調べる（ステップＳ９２０）。
ステップＳ９２０の処理において、第１音量と第２音量と第３音量とが所定値以上である場合に（ステップＳ９２０：Ｙｅｓ）、音源位置特定部２２５は、第１音声信号と、第２音声信号と、第３音声信号とを解析して、音源の位置を特定する（ステップＳ９３０）。

音源の位置が特定されると、移動判定部２２０は、音源位置特定部２２５によって特定された音源の位置の時間変化に基づいて、音源が移動しているか否かを判定し、移動していると判定した場合には、その移動方向を算出する（ステップＳ９４０）。
音源が移動しているか否かが判定されると、音種特定部２１５は、音量算出部２１０によって最も音量が大きいと算出された音声信号を解析して、その音声信号の元となる音の音種を特定する（ステップＳ９５０）。

音種が特定されると、文字列生成部２０５は、音量算出部２１０によって最も音量が大きいと算出された音声信号に対して音声認識処理を行って、人の声の音声成分が含まれている場合に（ステップＳ９６０：Ｙｅｓ）、その声に対して認識される文字列を生成する（ステップＳ９７０）。
ステップＳ９２０の処理において、第１音量と第２音量と第３音量との少なくとも１つが所定値以上でない場合（ステップＳ９２０：Ｎｏ）と、ステップＳ９６０の処理において、人の声の音声成分が含まれていない場合（ステップＳ９６０：Ｎｏ）と、ステップＳ９７０の処理が終了した場合とに、再びステップＳ９００の処理に戻って、ステップＳ９００以降の処理を繰り返す。

（Ｂ）表示処理
表示処理は、音源位置特定部２２５によって音源の位置が特定された場合に、音声処理において、（１）算出された音量と移動方向、（２）特定された音種と音源位置、（３）生成された文字列、及び（４）判定された移動の有無に基づいて画像を生成して表示する処理である。

図１０は、表示処理のフローチャートである。
表示処理は、上記音声処理において、音源位置特定部２２５によって音源の位置が特定されることで開始される。
表示処理が開始されると、視線画像生成部２３０は、使用者の左目を撮影して視線画像を生成する（ステップＳ１０００）。

視線画像が生成されると、視界特定部２４０は、その視線画像を解析して、使用者の視界を特定する（ステップＳ１００５）。
使用者の視界が特定されると、画像生成部２６０は、上記音声処理において、文字列生成部２０５によって生成された文字列と、音量算出部２１０によって算出された音量と、音種特定部２１５によって特定された音種と、移動判定部２２０によって算出された移動方向と、音源位置特定部２２５によって特定された音源位置とに基づいて画像（以下、便宜上「出力画像」と呼ぶこともある。）を生成する（ステップＳ１０１０）。

以下、ステップＳ１０１０において画像生成部２６０の行う画像の生成について説明する。
画像生成部２６０は、（１）文字列生成部２０５によって文字列が生成されている場合には、その文字列を含む画像が、出力画像の元となる元画像であると決定し、（２）文字列生成部２０５によって文字列が生成されていない場合には、音種記号対応表３００を参照して、音種特定部２１５によって特定された音種に対応する記号３２０と表示文字列３３０とを含む画像が、出力画像の元となる元画像であると決定する。

元画像を決定すると、画像生成部２６０は、音量大きさ対応表４００を参照して、音量算出部２１０によって算出された音量から、元画像の大きさを決定し、音源位置色対応表５００を参照して、音源位置特定部２２５によって特定された音源位置から、元画像の色を決定する。
元画像の大きさと色とを決定すると、画像生成部２６０は、移動方向拡大率対応表６００を参照して、移動判定部２２０によって算出された移動方向から、拡大率６２０を決定し、決定した拡大率６２０だけ元画像が拡大された出力画像を生成する。

ステップＳ１０１０の処理において画像生成部２６０によって画像が生成されると、判定部２５０は、音源の位置が、使用者の視界内であるか否かを判定する（ステップＳ１０１５）。
ステップＳ１０１５の処理において、使用者の視界内であると判定された場合に（ステップＳ１０１５：Ｙｅｓ）、表示部２７０は、移動判定部２２０によって音源が移動していると判定されていれば、移動判定部２２０によって算出された移動方向に基づいて、移動方向を示す音源移動情報を生成する（ステップＳ１０２０）。ここでは、一例として、音源移動情報が、移動方向の方向を向いている矢印であるとして説明する。移動判定部２２０によって音源が移動していると判定されていなければ、音源移動情報を生成しない。

ステップＳ１０２０の処理が終了すると、表示部２７０は、視界内外対応表７００を参照して、画像生成部２６０によって生成された画像を、表示倍率７２０で示される倍率だけサイズを抑制し、輝度倍率７３０で示される倍率だけ輝度を抑制して、音源移動情報と共に、音源近傍に表示する（ステップＳ１０２５）。但し、ステップＳ１０２５の処理において音源移動情報が生成されていない場合には、音源移動情報を表示しない。

ステップＳ１０１５の処理において、使用者の視界内であると判定されなかった場合に（ステップＳ１０１５：Ｎｏ）、表示部２７０は、音源位置特定部２２５によって特定された音源の位置を示す音源位置情報を生成する（ステップＳ１０３０）。ここでは、一例として、音源位置情報が、音源の位置の方向を向いている矢印であるとして説明する。
音源位置情報が生成されると、表示部２７０は、視界内外対応表７００を参照して、画像生成部２６０によって生成された画像を、サイズと輝度とを抑制せずに、音源位置情報と共に表示する（ステップＳ１０３５）。

ステップＳ１０２５の処理が終了した場合と、ステップＳ１０３５の処理が終了した場合とに、表示部２７０は、所定時間表示を維持した後、再び音源位置特定部２２５によって音源の位置が特定されているか否かを調べる（ステップＳ１０４０）。
音源位置特定部２２５によって再び音源の位置が特定されている場合に（ステップＳ１０４５：Ｙｅｓ）、再びステップＳ１０００の処理に戻って、ステップＳ１０００以降の処理を繰り返す。

音源位置特定部２２５によって再び音源の位置が特定されていない場合に（ステップＳ１０４５：Ｎｏ）、表示部２７０は、維持している表示を終了する（ステップＳ１０５０）
ステップＳ１０５０の処理が終わると、音声情報表示装置１００は、その表示処理を終了する。

（Ｃ）振動処理
振動処理は、音源位置特定部２２５によって音源の位置が特定された場合に、その音源の危険度を示す危険度ポイントを算出し、算出した危険度ポイントが所定値以上の場合に、バイブレーター１６０を振動させて、危険な音源が存在する旨を使用者に通知する処理である。

図１１は、振動処理のフローチャートである。
振動処理は、上記音声処理において、音源位置特定部２２５によって音源の位置が特定されることで開始される。
振動処理が開始されると、振動報知部２８０は、危険度ポイント対応表８００を参照して、音声処理において、文字列生成部２０５によって生成された文字列と、音量算出部２１０によって算出された音量と、音種特定部２１５によって特定された音種と、移動判定部２２０によって算出された移動方向と、音源位置特定部２２５によって特定された音源位置とから危険度ポイントを算出する（ステップＳ１１００）。

危険度ポイントが算出されると、振動報知部２８０は、その危険度ポイントが所定値以上であるか否かを調べる（ステップＳ１１１０）。
ステップＳ１１１０の処理において、危険度ポイントが所定値以上である場合に（ステップＳ１１１０：Ｙｅｓ）、振動報知部２８０は、バイブレーター１６０を振動させる（ステップＳ１１２０）。

ステップＳ１１１０の処理が終了した場合と、ステップＳ１１１０の処理において、危険度ポイントが所定値以上でない場合（ステップＳ１１１０：Ｎｏ）とに、音声情報表示装置１００は、その振動処理を終了する。
＜具体例＞
以下、音声情報表示装置１００に表示される画像の具体例について説明する。

図１２（ａ）、図１２（ｂ）は、音声情報表示装置１００を装着して使用する使用者の周辺に、「危ない、逃げろ」と発声する発声人物がいる場合において、音声情報表示装置１００に表示される画像の例である。
図１２（ａ）は、発声人物が使用者の視界内（破線の枠内）にいるときに表示される画像の例であり、図１２（ｂ）は、発声人物が使用者の視界外（破線の枠外）にいるときに表示される画像の例である。

図１２（ａ）に示されるように、発声人物１２００が視界内にいる場合には、文字列生成部２０５が音声認識を行うことで生成された「危ない、逃げろ」という表示文字列１２１０が、サイズと輝度とが抑制されて、発声人物１２００の近傍に表示される。
一方で、図１２（ｂ）に示されるように、発声人物１２５０が視界外にいる場合には、文字列生成部２０５が音声認識を行うことで生成された「危ない、逃げろ」という表示文字列１２６０が、サイズと輝度とが抑制されずに、発声人物１２５０の方向を示す矢印１２７０と共に表示される。

図１３（ａ）、図１３（ｂ）は、音声情報表示装置１００を装着して使用する使用者の周辺に、サイレンを鳴らしながら移動する救急車が存在する場合において、音声情報表示装置１００に表示される画像の例である。
図１３（ａ）は、救急車が使用者の視界内（破線の枠内）に存在するときに表示される画像の例であり、図１３（ｂ）は、救急車が使用者の視界外（破線の枠外）に存在するときに表示される画像の例である。

図１３（ａ）に示されるように、救急車１３００が視界内に存在する場合には、救急車のサイレンを示す記号１３２０と表示文字列１３４０とが、サイズと輝度とが抑制されて、救急車１３００の移動の向きを示す矢印１３３０と共に、救急車１３００の近傍に表示される。
一方で、図１３（ｂ）に示されるように、救急車１３５０が視界外に存在する場合には、救急車のサイレンを示す記号１３７０と表示文字列１３９０とが、サイズと輝度とが抑制されずに、救急車１３５０の方向を示す矢印１３８０と共に表示される。

本実施の形態１によると、音声情報表示装置１００は、音源の位置が使用者の視界内に存在する場合に、表示対象となる画像を、音源の位置が視界内に存在しない場合よりも視認性が低くなるように表示する。
これにより、音声情報表示装置１００は、音源が視界内に存在している場合において発生し得る音源の視認性低下を従来よりも抑制すると共に、その視認性の差異により音源が視界内に存在しているか否かを従来よりも迅速に判断することが可能となる。

また、音声情報表示装置１００は、音源の位置が使用者の視界内に存在しない場合に、その音源の方向を示す矢印を表示する。
これにより、音声情報表示装置１００を使用する使用者は、比較的容易にその音源を視認するための行動（例えば、矢印の示す向きに振り向く。）を行うことができるようになる。

さらに、音声情報表示装置１００は、音源の音種、音源の音量、音源の位置、音源の移動の方向に応じた画像を表示する。
これにより、音声情報表示装置１００を使用する使用者は、その画像を視認するだけで、その音源についての多様な情報、すなわち、音源の音種、音源の音量、音源の位置、音源の移動の方向等の情報を得ることができるようになる。

また、音声情報表示装置１００は、危険度ポイントが所定値以上の場合に、振動によって、危険な音源が存在する旨を使用者に通知する。
これにより、音声情報表示装置１００を使用する使用者は、いち早く危険な音源に対する認知行動を取ることができるようになる。
＜＜実施の形態２＞＞
以下、実施の形態１における音声情報表示装置１００の一部が変形された音声情報表示装置１４００について説明する。

音声情報表示装置１４００は、頭部に装着して使用する使用者の近傍に存在する所定の機器（ここでは、ＭＦＰ（MultiFunction Peripheral：複合機）１５００として説明する。）から、警告音、音声ガイダンス等といったその機器に対処する必要性が生じ得る音が出力された場合に、その音に応じた画像を生成して表示する。
以下、図面を参照しながら、実施の形態１における音声情報表示装置１００との相違点を中心に説明する。

＜構成＞
図１４は、音声情報表示装置１４００の斜視図である。
同図に示されるように、音声情報表示装置１４００は、ハードウエアとしては、実施の形態１における音声情報表示装置１００に対して、イメージセンサー１５０が削除され、撮影カメラ１４１０が追加されている点が異なる。

撮影カメラ１４１０は、メガネフレーム１８０における左耳用テンプルに、前方を向いて配置され、音声情報表示装置１４００を頭部に装着して使用する使用者の視界を含む領域を撮影して、画像を生成する。
図１５は、上記所定の機器の一例であるＭＦＰ１５００の斜視図である。
同図に示されるように、ＭＦＰ１５００は、表示パネル１５１０と、ＱＲコード（登録商標）１５２０と、スピーカー１５３０とを備える。

表示パネル１５１０は、ＭＦＰ１５００の状態に係るメッセージを表示する。
例えば、ＭＦＰ１５００がコピー処理を実行した後に、ＭＦＰ１５００にコピー原稿が残っている場合に、「原稿が残っています。」との文字列からなるメッセージを表示し、例えば、ＭＦＰ１５００に不具合が生じた場合に、「トラブルが発生しました。」との文字列からなるメッセージを表示する。

ＱＲコード（登録商標）１５２０は、ＭＦＰ１５００の機種を特定する情報を含むＱＲコード（登録商標）であって、表示パネル１５１０の表示面に印刷されている。
スピーカー１５３０は、ＭＦＰ１５００の状態に係る音声を出力する。
例えば、ＭＦＰ１５００がコピー処理を実行した後に、ＭＦＰ１５００にコピー原稿が残っている場合に、「ピーピー」という警告音を出力し、例えば、ＭＦＰ１５００に不具合が生じた場合に、「ブーブー」という警告音を出力し、例えば、コピー原稿が所定位置に置かれたされた場合に、「コピー枚数を設定してコピーボタンを押してください。」という音声ガイダンスを出力する。

音声情報表示装置１４００は、上記ハードウエアの変更に加えて、実施の形態１における音声情報表示装置１００に対して、メモリに記憶されたプログラムの一部が変更されるようにも変形されており、このため、プロセッサーがプログラムを実行することで実現される機能の一部が変更されるように変形されている。
図１６は、音声情報表示装置１４００の機能構成図である。

同図に示されるように、音声情報表示装置１４００は、実施の形態１における音声情報表示装置１００に対して、視界画像生成部１６１０と、成分判定部１６２０と、パネル判定部１６３０とが追加され、視界特定部２４０が視界特定部１６４０に変更され、画像生成部２６０が画像生成部１６６０に変更され、表示部２７０が表示部１６７０に変更されている点が異なる。

視界特定部１６４０は、使用者の視界を特定する点においては、実施の形態１における視界特定部２４０と同様であるが、その特定方法が異なっている。
視界特定部１６４０は、メガネフレーム１８０における左目用リムによって定められる画角が使用者の視界であるとして特定する。
この構成は、使用者の視線があまり変動しない状況で使用されることが想定される場合において、イメージセンサー１５０が不要となるため、コストの観点において有効となる。

視界画像生成部１６１０は、撮影カメラ１４１０を含み、音声情報表示装置１４００を頭部に装着して使用する使用者の視界を含む領域を撮影して、視界画像を生成する。
一例として、視界画像生成部１６１０は、予め、撮影カメラ１４１０によって撮影される画像のうち、どの領域が、メガネフレーム１８０における左目用リムによって定められる画角に相当する領域（すなわち、使用者の視界）であるかを記憶しておき、撮影カメラ１４１０によって撮影された画像に対してトリミング加工をして、使用者における視界の画像となる視界画像を生成する。

成分判定部１６２０は、音量算出部２１０によって最も音量が大きいと算出された音声信号を解析して、その音声信号の元となる音が、ＭＦＰ１５００から出力される所定の音のうちのいずれの音声成分を含んでいるか、またはいずれも含んでいないかを特定する。
所定の音としては、例えば、ＭＦＰ１５００がコピー処理を実行した後に、ＭＦＰ１５００にコピー原稿が残っている場合に出力される「ピーピー」という警告音、ＭＦＰ１５００に不具合が生じた場合に出力される「ブーブー」という警告音、コピー原稿が所定位置に置かれた場合に出力される「コピー枚数を設定してコピーボタンを押してください。」という音声ガイダンス音等が考えられる。

成分判定部１６２０は、例えば、ＭＦＰ１５００から出力される所定の音の音声信号をサンプル音声信号として記憶し、解析対象となる音声信号とサンプル音声信号とを比較することで、上記判定を行う。
パネル判定部１６３０は、視界画像生成部１６１０によって視界画像が生成された場合に、その視界画像を解析して、音声情報表示装置１４００を頭部に装着して使用する使用者の視界の中にＱＲコード（登録商標）１５２０が含まれていれば、その視界に表示パネル１５１０の表示面が含まれていると判定し、その視界にＱＲコード（登録商標）１５２０が含まれていなければ、その視界に表示パネル１５１０の表示面が含まれていないと判定する。

画像生成部１６６０は、実施の形態１における画像生成部２６０の行う動作に加えて、以下の動作を行う。
画像生成部１６６０は、成分判定部１６２０によって、音声信号生成部２００によって生成された音声信号に、ＭＦＰ１５００から出力される所定の音のうちのいずれかの音の音声成分が含まれていると特定された場合において、パネル判定部１６３０によって、使用者の視界に表示パネル１５１０の表示面が含まれていると判定されたときに、視界画像生成部１６１０によって生成された視界画像に対して文字認識処理を行って、表示パネル１５１０に表示されている、その警告音に対応するメッセージの位置を特定し、そのメッセージを取り囲む矩形のマーク（以下、「ボックス」と呼ぶ。）の画像を生成すると共に、その表示位置を示す情報を生成する。

図１７（ａ）、図１８（ａ）には、画像生成部１６６０が生成するボックスの一例が示されている。
図１７（ａ）には、ＭＦＰ１５００から出力される所定の音が、ＭＦＰ１５００がコピー処理を実行した後に、コピー原稿が残っている場合に出力される「ピーピー」という警告音の場合に生成されるボックス１７１０が示され、図１８（ａ）には、ＭＦＰ１５００から出力される所定の音が、不具合が生じた場合に出力される「ブーブー」という警告音の場合に生成されるボックス１８１０が示されている。

再び図１６に戻って、画像生成部１６６０の説明を続ける。
画像生成部１６６０は、成分判定部１６２０によって、音声信号生成部２００によって生成された音声信号に、ＭＦＰ１５００から出力される所定の音のうちのいずれかの警告音の音声成分が含まれていると特定された場合において、パネル判定部１６３０によって、使用者の視界に表示パネル１５１０の表示面が含まれていないと判定されたときに、予めその警告音に対応付けられて記憶している、その警告音の擬音語と、その警告音の意味を示す文字列とを含む画像を生成する。

図１７（ｂ）、図１８（ｂ）には、画像生成部１６６０が生成する画像に含まれる擬音語と文字列との一例が示されている。
図１７（ｂ）には、ＭＦＰ１５００から出力される所定の音が、ＭＦＰ１５００がコピー処理を実行した後に、コピー原稿が残っている場合に生成される「ピーピー」という警告音の場合に生成される擬音語１７６０と表示文字列１７５０とが示され、図１８（ｂ）には、ＭＦＰ１５００から出力される所定の音が、不具合が生じた場合に出力される「ブーブー」という警告音の場合に生成される擬音語１８６０と表示文字列１８５０とが示されている。

再び図１６に戻って、画像生成部１６６０の説明を続ける。
画像生成部１６６０は、成分判定部１６２０によって、音声信号生成部２００によって生成された音声信号に、ＭＦＰ１５００から出力される所定の音のうちのいずれかの音声ガイダンスの音声成分が含まれていると特定された場合に、予めその音声ガイダンスに対応付けられて記憶している、その音声ガイダンスの意味を示す文字列を含む画像を生成する。

図１９には、画像生成部１６６０が生成する画像に含まれる音声ガイダンスの意味を示す文字列の一例が示されている。
同図には、音声ガイダンスが、コピー原稿が所定位置に置かれた場合に出力される「コピー枚数を設定してコピーボタンを押してください。」という音声ガイダンスである場合に生成される表示文字列１９００が示されている。

再び図１６に戻って、音声情報表示装置１４００の構成についての説明を続ける。
表示部１６７０は、実施の形態１における表示部２７０の行う動作に加えて、以下の動作を行う。
表示部１６７０は、成分判定部１６２０によって、音声信号生成部２００によって生成された音声信号に、ＭＦＰ１５００から出力される所定の音のうちのいずれかの警告音の音声成分が含まれていると特定された場合において、パネル判定部１６３０によって、使用者の視界に表示パネル１５１０の表示面が含まれていると判定されたとき（以下、「条件１が満たされたとき」と呼ぶ。）に、画像生成部１６６０によって生成されたボックスの画像を、画像生成部１６６０によって生成されたそのボックスの表示位置を示す情報で示される位置に表示する。

図１７（ａ）、図１８（ａ）は、条件１が満たされたときに、表示部１６７０が行う表示の例である。図１７（ａ）、図１８（ａ）には、メガネフレーム１８０の一部が描画されていないが、半透明ディスプレイ１４０にボックス（ボックス１７１０、ボックス１８１０）が表示されることが示されている様子を、メガネフレーム１８０の描写が省略されて示されている。

図１７（ａ）、図１８（ａ）に示されるように、表示部１６７０は、画像生成部１６６０によって生成されたボックス（ボックス１７１０、ボックス１８１０）を、画像生成部１６６０によって生成された表示位置を示す情報で示される位置（すなわち、該当するメッセージを取り囲む位置）に表示する。
再び図１６に戻って、表示部１６７０の説明を続ける。

表示部１６７０は、成分判定部１６２０によって、音声信号生成部２００によって生成された音声信号に、ＭＦＰ１５００から出力される所定の音のうちのいずれかの警告音の音声成分が含まれていると特定された場合において、パネル判定部１６３０によって、使用者の視界に表示パネル１５１０の表示面が含まれていないと判定されたとき（以下、「条件２が満たされたとき」と呼ぶ。）に、ＭＦＰ１５００の位置を示す音源位置情報（例えば、ＭＦＰ１５００の方向を向いた矢印）を生成して、画像生成部１６６０によって生成された擬音語と文字列と共に表示する。

図１７（ｂ）、図１８（ｂ）は、条件２が満たされたときに、表示部１６７０が行う表示の例である。
図１７（ｂ）、図１８（ｂ）に示されるように、表示部１６７０は、生成した音源位置情報（矢印１７７０、矢印１８７０）を、画像生成部１６６０によって生成された擬音語（擬音語１７６０、擬音語１８６０）と文字列（表示文字列１７５０、表示文字列１８５０）と共に表示する。

再び図１６に戻って、表示部１６７０の説明を続ける。
表示部１６７０は、成分判定部１６２０によって、音声信号生成部２００によって生成された音声信号に、ＭＦＰ１５００から出力される所定の音のうちのいずれかの音声ガイダンスの音声成分が含まれていると特定された場合（以下、「条件３が満たされたとき」と呼ぶ。）に、画像生成部１６６０によって生成された、音声ガイダンスの意味を示す文字列を、所定位置に表示する。

図１９は、条件３が満たされたときに、表示部１６７０が行う表示の例である。
同図に示されるように、表示部１６７０は、画像生成部１６６０によって生成された文字列（表示文字列１９００）を、所定位置に表示する。
上記各機能ブロックは、プロセッサーがメモリに記憶されているプログラムを実行することで実現される。

＜動作＞
上記構成の音声情報表示装置１４００は、その特徴的な動作として、実施の形態１における音声情報表示装置１００の行う、音声処理と、表示処理と、振動処理とに加えて、機器メッセージ通知処理を行う。
以下、機器メッセージ通知処理にいてフローチャートに基づいて説明する。

機器メッセージ通知処理は、音声情報表示装置１４００を頭部に装着して使用する使用者の近傍に存在する所定の機器（ここではＭＦＰ１５００）から、警告音、音声ガイダンス等といったその機器に対処する必要性が生じる可能性のある所定の音が出力された場合に、その音に応じた画像を生成して表示する処理である。
図２０は、機器メッセージ通知処理のフローチャートである。

機器メッセージ通知処理は、音声信号生成部２００によって生成された音声信号に、ＭＦＰ１５００から出力される所定の音のうちのいずれかの音の音声成分が含まれていると、成分判定部１６２０によって特定されることで開始される。
機器メッセージ通知処理が開始されると、成分判定部１６２０は、対象となる所定の音が、ＭＦＰ１５００の警告音であるか否かを調べる（ステップＳ２０００）。

ステップＳ２０００の処理において、ＭＦＰ１５００の警告音である場合に（ステップＳ２０００：Ｙｅｓ）、視界画像生成部１６１０は、使用者の視界を含む領域を撮影して、視界画像を生成する（ステップＳ２００５）。
視界画像が生成されると、パネル判定部１６３０は、視界画像を解析して、使用者の視界にＭＦＰ１５００の表示パネル１５１０が含まれているか否かを調べる（ステップＳ２０１０）。

ステップＳ２０１０の処理において、視界に表示パネル１５１０が含まれている場合に（ステップＳ２０１０：Ｙｅｓ）、画像生成部１６６０は、表示パネル１５１０に表示されている、対象となる警告音に対応するメッセージの位置を特定する（ステップＳ２０１５）。そして、そのメッセージを取り囲むボックスを生成して（ステップＳ２０２０）、その表示位置を示す情報を生成する。すると、表示部１６７０は、そのボックスを、その表示位置、すなわち、メッセージを取り囲む位置に表示する（ステップＳ２０２５）。

ステップＳ２０１０の処理において、視界に表示パネル１５１０が含まれていない場合に（ステップＳ２０１０：Ｎｏ）、画像生成部１６６０は、対象となる警告音に対応付けられている、その警告音の擬音語と、その警告音の意味を示す文字列とを含む画像を生成する（ステップＳ２０３０）。すると、表示部１６７０は、ＭＦＰ１５００の位置を示す音源位置情報（例えば、ＭＦＰ１５００の方向を向いた矢印）を生成して（ステップＳ２０３５）、画像生成部１６６０によって生成された擬音語と文字列と共に表示する（ステップＳ２０４０）。

ステップＳ２０２５の処理が終了した場合と、ステップＳ２０４０の処理が終了した場合とに、成分判定部１６２０は、ステップＳ２０００：Ｙｅｓの処理において、ＭＦＰ１５００の警告音であると判定した後に所定時間経過後もその警告音が継続しているか否かを調べる（ステップＳ２０４５）。
ステップＳ２０４５の処理において、所定時間経過後もその警告音が継続している場合に（ステップＳ２０４５：Ｙｅｓ）、再びステップＳ２００５の処理に戻って、ステップＳ２００５以降の処理を繰り返す。

ステップＳ２０４５の処理において、所定時間経過後もその警告音が継続していない場合に（ステップＳ２０４５：Ｎｏ）、表示部１６７０は、その表示を終了する（ステップＳ２０５０）。
ステップＳ２０００の処理において、ＭＦＰ１５００の警告音でない場合に（ステップＳ２０００：Ｎｏ）、成分判定部１６２０は、対象となる所定の音が、ＭＦＰ１５００の音声ガイダンスであるか否かを調べる（ステップＳ２０５５）。

ステップＳ２０５５の処理において、ＭＦＰ１５００の音声ガイダンスである場合に（ステップＳ２０５５：Ｙｅｓ）、画像生成部１６６０は、予めその音声ガイダンスに対応付けられて記憶している、その音声ガイダンスの意味を示す文字列を含む画像を生成する。（ステップＳ２０６０）。
音声ガイダンスの意味を示す文字列が生成されると、表示部１６７０は、その文字列を所定位置に表示する（ステップＳ２０６５）。

文字列を表示後所定時間経過すると、表示部１６７０は、その表示を終了する（ステップＳ２０７０）。
ステップＳ２０５５の処理において、ＭＦＰ１５００の音声ガイダンスでない場合と（ステップＳ２０５５：Ｎｏ）、ステップＳ２０５０の処理が終了した場合と、ステップＳ２０７０の処理が終了した場合とに、音声情報表示装置１４００は、その機器メッセージ通知処理を終了する。

実施の形態２によると、音声情報表示装置１４００は、ＭＦＰ１５００から警告音が出力された場合において、ＭＦＰ１５００の表示パネル１５１０が視界内にあるときに、その警告音に対応して表示パネル１５１０に表示されるメッセージに対して、そのメッセージを取り囲むボックスを表示する。
これにより、音声情報表示装置１４００は、使用者に対して、そのメッセージに着目させることができるようになる。

また、音声情報表示装置１４００は、ＭＦＰ１５００から警告音が出力された場合において、ＭＦＰ１５００の表示パネル１５１０が視界外にあるときに、その警告音の意味を示す文字列を表示する。
これにより、音声情報表示装置１４００は、使用者に対して、その警告音の意味を視覚的に認識させることができる。

さらに、音声情報表示装置１４００は、ＭＦＰ１５００から音声ガイダンスが出力された場合に、その音声ガイダンスの意味を示す文字列を表示する。
これにより、音声情報表示装置１４００は、使用者に対して、その音声ガイダンスの意味を視覚的に認識させることができる。
＜補足＞
以上、本発明に係る音声情報表示装置の一態様として、実施の形態１と実施の形態２とにおいて、２つの音声情報表示装置を例示して説明したが、以下のように変形することも可能であり、実施の形態１と実施の形態２とにおいて例示した通りの音声情報表示装置に限られないことはもちろんである。

（１）実施の形態１において、音声情報表示装置１００は、いわゆるメガネ型のヘッドマウントディスプレイであって、左目側に半透明ディスプレイ１４０が配され、右目側にガラス１９５が配される構成の例であった。しかしながら、使用者による外景の視認性を確保しつつ、使用者の視界内に、生成した画像を表示することができる構成であれば、必ずしも、上記構成通りでなくても構わない。例えば、右目側に半透明ディスプレイが配され、左目側にガラスが配される構成、両目共に半透明ディスプレイが配される構成等が考えられる。さらには、例えば、いわゆるゴーグル型のヘッドマウントディスプレイである構成の例等も考えられる。

（２）実施の形態１において、音声情報表示装置１００は、３つのマイクを備える構成の例であった。しかしながら、音源の位置を特定することができる構成であれば、必ずしも上記構成通りでなくても構わない。例えば、４つのマイクを備える構成の例も考えられる。
（３）実施の形態１において、音声情報表示装置１００は、音量に応じて画像の大きさが定められ、音源位置に応じて画像の色が定められ、音源の移動方向に応じて画像の拡大率が定められる構成の例であった。しかしながら、音量、音源位置、音源の移動方向に応じて画像の形態が変更される構成であれば、必ずしも上記構成通りでなくても構わない。

さらには、別の変形例として、音量、音源位置、音源の移動方向に応じて画像の形態を変更しない構成の例も考えられる。
（４）実施の形態１において、音声情報表示装置１００は、例えば、図１３（ａ）、（ｂ）に示されるように、（ａ）音源が視界内の場合には、表示部２７０が、記号１３２０と表示文字列１３４０とを、サイズと輝度とを抑制して表示し、（ｂ）音源が視界外の場合には、表示部２７０が、記号１３７０と表示文字列１３９０とを、サイズと輝度とを抑制せずに表示する構成の例であった。

これに対して、別の変形例として、例えば、図２１（ａ）、（ｂ）に示されるように、（ａ）音源が視界内の場合には、表示部２７０が、記号１３２０を、サイズと輝度とを抑制して表示し、（ｂ）音源が視界外の場合には、表示部２７０が、表示文字列１３９０を、サイズと輝度とを抑制せずに表示する構成の例も考えられる。
（５）実施の形態１において、音声情報表示装置１００は、プロジェクター１４５が、半透明ディスプレイ１４０の表示面に画像を投影する構成の例であった。

これに対して、別の変形例として、例えば、プロジェクター１４５を備えずに、半透明ディスプレイ１４０の表示面に半透明の液晶ディスプレイが配され、その半透明の液晶ディスプレイに直接画像が表示される構成とすることも可能である。

本発明に係る音声情報表示装置は、音声に対応する画像を表示する機器に広く利用することができる。

１００ 音声情報表示装置
２００ 音声信号生成部
２０５ 文字列生成部
２１０ 音量算出部
２１５ 音種特定部
２２０ 移動判定部
２２５ 音源位置特定部
２３０ 視線画像生成部
２４０ 視界特定部
２５０ 判定部
２６０ 画像生成部
２７０ 表示部
２８０ 振動報知部

Claims (11)

1. 使用者に装着されて使用される音声情報表示装置であって、
   複数の位置で集音して音声信号を生成する音声信号生成部と、
   前記音声信号生成部によって生成された音声信号に基づいて、音源の位置を特定する音源位置特定部と、
   前記音声信号生成部によって生成された音声信号に基づく画像を生成して表示する画像生成表示部と、
   前記音源位置特定部によって特定された音源の位置が、前記使用者の視界内であるか否かを判定する判定部とを備え、
   前記画像生成表示部は、前記表示を、前記判定部による判定が肯定的な場合に、前記判定部による判定が否定的な場合に比べて視認性が低くなるように行う
   ことを特徴とする音声情報表示装置。
2. 前記画像生成表示部は、前記判定部による判定が否定的な場合に、前記表示を、表示する画像と共に、当該画像に対応する音源について前記音源位置特定部によって特定された音源の位置を示す情報が表示されるように行う
   ことを特徴とする請求項１記載の音声情報表示装置。
3. 前記音声信号生成部によって生成された音声信号に基づいて、前記音源位置特定部によって位置が特定された音源から発せられた音の種類を特定する音種類特定部を備え、
   前記画像生成表示部は、前記表示を、表示対象となる画像に対応する音源から発せられた音について前記音種類特定部によって特定された音の種類が、所定の種類である場合とない場合とで、互いに異なるように行う
   ことを特徴とする請求項１乃至２記載の音声情報表示装置。
4. 前記音声信号生成部によって生成された音声信号に基づいて、前記音源位置特定部によって位置が特定された音源から発せられた音の音量を算出する音量算出部を備え、
   前記画像生成表示部は、前記表示を、表示対象となる画像に対応する音源から発せられた音について前記音量算出部によって算出された音量が、所定の閾値を上回る場合と下回る場合とで、互いに異なるように行う
   ことを特徴とする請求項１乃至３記載の音声情報表示装置。
5. 前記音声信号生成部によって生成された音声信号に人の声の音声成分が含まれている場合に、当該音声信号に対して音声認識処理を行って当該人の声に対応する文字列を生成する文字列生成部を備え、
   前記画像生成表示部は、前記表示を、生成対象となる画像に対応する音源から発せられた音の音声信号に対して、前記文字列生成部によって文字列が生成された場合には、当該文字列が含まれるように行う
   ことを特徴とする請求項１乃至４記載の音声情報表示装置。
6. 前記音声信号生成部によって生成された音声信号に基づいて、前記音源位置特定部によって位置が特定された音源が移動しているか否かを判定する移動判定部を備え、
   前記画像生成表示部は、前記判定部による判定が肯定的な場合において、前記移動判定部による判定が肯定的なときに、前記表示を、表示する画像と共に当該画像に対応する音源が移動している旨を示す情報が表示されるように行う
   ことを特徴とする請求項１乃至５記載の音声情報表示装置。
7. 前記音声信号生成部によって生成された音声信号が、所定の条件を満たしている場合に、当該音声信号が当該所定の条件を満たしている旨を、前記使用者に振動によって報知する振動報知部を備える
   ことを特徴とする請求項１乃至６記載の音声情報表示装置。
8. 前記使用者の眼を撮影して画像を生成する眼画像生成部と、
   前記眼画像生成部によって生成された画像に基づいて、前記使用者の視界を特定する視界特定部とを備え、
   前記判定部は、前記判定を、前記視界特定部によって特定された視界に基づいて行う
   ことを特徴とする請求項１乃至７記載の音声情報表示装置。
9. 前記使用者の視界を含む領域を撮影して視界画像を生成する視界画像生成部と、
   前記視界画像生成部によって生成された視界画像に基づいて、前記使用者の視界に、特定機器における表示パネルの表示面が含まれているか否かを判定するパネル判定部と、
   前記音声信号生成部によって生成された音声信号が、前記特定機器における所定の音声信号成分を含んでいるか否かを判定する成分判定部を備え、
   前記画像生成表示部は、前記表示を、
   前記パネル判定部による判定が肯定的な場合において、前記成分判定部による判定が肯定的なときに、表示する画像が、前記表示パネルの表示面に前記使用者の注意を促す旨を示す画像となるように行い、
   前記パネル判定部による判定が否定的な場合において、前記成分判定部による判定が肯定的なときに、表示する画像が、前記特定の音声信号成分に対応する文字列が含まれるように行う
   ことを特徴とする請求項１記載の音声情報表示装置。
10. 前記音声信号生成部によって生成された音声信号が、所定の音声ガイダンスに対応付けられた所定の音声信号成分を含んでいるか否かを判定する成分判定部を備え、
    前記画像生成表示部は、前記成分判定部による判定が肯定的な場合における前記表示を、前記所定の音声ガイダンスの内容を示す文字列が含まれるように行う
    ことを特徴とする請求項１記載の音声情報表示装置。
11. 前記画像生成表示部は、前記使用者が外景を視認可能に透過する半透明な表示領域を有し、前記表示を、当該表示領域に行う
    ことを特徴とする請求項１乃至１０記載の音声情報表示装置。

Images