JP2014086759A - 音声情報表示装置、音声情報表示方法およびプログラム - Google Patents

Abstract

【課題】緊急性を要する音声が発せられる方向を、直感的且つ適切に認識することを可能とする。
【解決手段】音声情報表示装置１００は、表示部１４０、表示部１４０を囲うように配置された複数のマイクロフォン２０、複数のマイクロフォン２０から入力された音声信号に基づき音源方向を検出する入力音分析部１１３、入力音分析部１１３により検出された音源方向に配置されているマイクロフォン２０の配置方向を基点として、マイクロフォン２０から入力された音声信号を表す形状を表示部１４０に表示させる表示制御部１１１を備える。
【選択図】図３

Description

本発明は、周囲の音声を取得して可視化する装置ための、音声情報表示装置、音声情報表示方法およびプログラムに関する。

聴覚に障害がある場合や、健常者であってもヘッドフォンの利用により周辺の音声情報を認識できない場合がある。また、周辺の音声情報を取得して、取得した音声情報に対応する様々な表示により、ユーザに音声情報を視覚的に認識させる装置がある（特許文献１、特許文献２）。

特開２０１０−２５１９１６号公報 特開２００５−９９４１８号公報

検出される音声情報としては、例えば、緊急車両のサイレン音や自動車のクラクション、室内における各種警報装置が発する警報音など、緊急性を要する音声情報がある。これら緊急性を要する音声情報の認識には、音声が発せられる方向を明確に認識する必要がある。

本発明はこのような問題点に鑑みなされたものであり、緊急性を要する音声が発せられる方向を、直感的且つ適切に認識することを可能とする、音声情報表示装置、音声情報表示方法およびプログラムを提供することを目的とする。

上記目的を達成するために、本発明に係る音声情報表示装置（１００、２００）は、表示部（１４０、６４０）、前記表示部（１４０、６４０）を囲うように配置された複数のマイクロフォン（２０）、前記複数のマイクロフォン（２０）から入力された音声信号に基づき音源方向を検出する入力音分析部（１１３、６１３）、前記入力音分析部（１１３、６１３）により検出された音源方向に配置されている前記マイクロフォン（２０）の配置方向を基点として、前記マイクロフォン（２０）から入力された音声信号を表す形状を前記表示部（１４０、６４０）に表示させる表示制御部（１１１、６１１）、を備えることを特徴とする。

また、本発明に係る音声情報表示方法は、表示部（１４０、６４０）を囲うように配置された複数のマイクロフォン（２０）から入力された音声信号に基づき音源方向を検出する入力音分析ステップ、前記入力音分析ステップにおいて検出された音源方向に配置されている前記マイクロフォン（２０）の配置方向を基点として、前記マイクロフォン（２０）から入力された音声信号を表す形状を前記表示部（１４０、６４０）に表示させる表示ステップ、を備えることを特徴とする。

また、本発明に係るプログラムは、音声情報表示装置（１００、２００）が備えるコンピュータ（１１０、６１０）に、表示部（１４０、６４０）を囲うように配置された複数のマイクロフォン（２０）から入力された音声信号に基づき音源方向を検出する入力音分析ステップ、前記入力音分析ステップにおいて検出された音源方向に配置されている前記マイクロフォン（２０）の配置方向を基点として、前記マイクロフォン（２０）から入力された音声信号を表す形状を前記表示部（１４０、６４０）に表示させる表示ステップ、を実行させることを特徴とする。

本発明によれば、音声が発せられる方向を、直感的且つ適切に認識することを可能とする。

本実施形態に係る音声情報表示装置の外観斜視図である。 本実施形態に係る音声情報表示装置のマイクロフォンの位置に対応する音源方向の例を示した図である。 本実施形態に係る音声情報表示装置の構成ブロック図である。 第１の実施形態に係る音声情報表示装置の動作例を示すフローチャートである。 第１の実施形態に係る音声情報表示装置の動作例を示すフローチャートである。 第１の実施形態に係る音声情報表示装置の動作例を示すフローチャートである。 第１の実施形態に係る音声情報表示装置の表示例を示す図である。 第１の実施形態に係る音声情報表示装置の表示例を示す図である。 第１の実施形態に係る音声情報表示装置の表示例を示す図である。 第２の実施形態に係る音声情報表示装置の表示例を示す図である。 第２の実施形態に係る音声情報表示装置の表示例を示す図である。 第３の実施形態に係る音声情報表示装置の動作例を示すフローチャートである。 第３の実施形態に係る音声情報表示装置の周波数分析例を示すグラフである。 第３の実施形態に係る音声情報表示装置の動作例を示すフローチャートである。 第３の実施形態に係る表示エリアと対応する周波数を示した図である。 第３の実施形態に係る表示エリアと対応する周波数を示した図である。 第３の実施形態に係る表示エリアと対応する周波数を示した図である。 第３の実施形態に係る音声情報表示装置の表示例を示す図である。 第３の実施形態に係る音声情報表示装置の表示例を示す図である。 第３の実施形態に係る音声情報表示装置の表示例を示す図である。 第３の実施形態に係る音声情報表示装置の表示例を示す図である。 第４の実施形態に係る音声情報表示装置の動作例を示すフローチャートである。 第４の実施形態に係る音声情報表示装置の音圧分析例を示すグラフである。 第４の実施形態に係る音声情報表示装置の動作例を示すフローチャートである。 第４の実施形態に係る音声情報表示装置の表示時間を示す図である。 第４の実施形態に係る音声情報表示装置の表示例を示す図である。 第４の実施形態に係る音声情報表示装置の表示例を示す図である。 第５の実施形態に係る音声情報表示装置の動作例を示すフローチャートである。 第５の実施形態に係る音声情報表示装置の動作例を示すフローチャートである。 第５の実施形態に係る音声情報表示装置の動作例を示すフローチャートである。 第５の実施形態に係る音声情報表示装置の表示例を示す図である。 第５の実施形態に係る音声情報表示装置の表示例を示す図である。 第６の実施形態に係る音声情報表示装置を構成するジャケットマイク部の外観斜視図である。 第６の実施形態に係る音声情報表示装置を構成するジャケットマイク部とスマートフォン部が装着されている状態の斜視図である。 第６の実施形態に係る音声情報表示装置の構成ブロック図である。 第６の実施形態に係る音声情報表示装置の動作例を示すフローチャートである。 第６の実施形態に係る音声情報表示装置の動作例を示すフローチャートである。

以下、本発明における第１の実施形態から第５の実施形態に共通する音声情報表示装置１００について、図１から図３を参照して説明する。

音声情報表示装置１００は、図１に示すように、表示機能を備えた装置である。具体的には、携帯電話端末やタブレット端末のように、小型で持ち運び容易であることが好ましい。音声情報表示装置１００は、その筐体１０が構成する面に表示部１４０の表示面を備え、矩形の筐体１０の４隅に各々マイクロフォン２０を備える。

マイクロフォン２０は、例えば図２のように音声情報表示装置１００の長辺を縦方向とした場合に、右上の角部にマイクロフォン２０Ａ、右下にマイクロフォン２０Ｂ、左下にマイクロフォン２０Ｃ、左上にマイクロフォン２０Ｄを備える。マイクロフォン２０の位置は、必ずしも筐体１０の４隅に限定されず、筐体１０の中心からみて４方向に備えられ、音源の方向が判別可能な配置であればよい。

図２における矢印が指す方向Ａ〜Ｈは、マイクロフォン２０によって音源の方向が特定される方向の例を示している。実際の利用形態は、表示部１４０が地面に対して水平となるように配置または把持されるため、方向Ａ〜Ｈは、音声情報表示装置１００を中心として地面と水平方向の向きとなる。

このため、マイクロフォン２０は、各々が備えられている方向を中心に指向性を有していることが好ましい。例えば、マイクロフォン２０Ａは、Ｂ方向を中心に指向性を有し、マイクロフォン２０Ｂは、Ｄ方向を中心に指向性を有する。また、マイクロフォン２０Ｃは、Ｆ方向を中心に指向性を有し、マイクロフォン２０Ｄは、Ｈ方向を中心に指向性を有する。

音声情報表示装置１００は、図１に示すようにその筐体１０は矩形でなくともよく、また、マイクロフォン２０は４箇所のみではなくともよい。例えば、音声情報表示装置１００は、表示部１４０を正面とした場合、円形や多角形であってもよい。また、マイクロフォン２０は、６箇所や８箇所、または矩形の筐体１０が構成する辺の中央に備えられえていてもよい。いずれにおいても、マイクロフォン２０は、表示部１４０の周囲に配置されていることが好ましい。

音声情報表示装置１００は、その構成として図３に示すように、制御部１１０、音声信号入力部１２０、記憶部１３０、表示部１４０、操作部１５０、電源部１６０、マイクロフォン２０を備える。また、音声情報表示装置１００は、他に図示しない各種必要な構成要素を備えていてもよい。

制御部１１０は、音声情報表示装置１００を構成する各部の動作制御、各種データの処理または演算等を行う。制御部１１０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＤＳＰ（Digital Signal Processor）等により構成され、ＲＯＭに記憶された各種プログラムをＲＡＭ上で実行することにより音声情報表示装置１００を構成する各部の動作制御や各部より入力された信号やデータの処理または演算、ファイルの処理等を行う。

制御部１１０は、実行されるプログラムによって各種機能を実現する。本実施形態において制御部１１０は、表示制御部１１１、操作制御部１１２、入力音分析部１１３、音認識部１１４を実現する。

表示制御部１１１は、表示部１４０に対して各種情報を表示させる処理を行う。例えば、記憶部１３０に記憶されている各種表示形態や文字等の表示、図示しないタッチパネル操作部に連動した各種ＧＵＩ（Graphical User Interface）などを表示させる。

操作制御部１１２は、操作部１５０が操作されることによって生成する操作信号に基づいた処理を実行させる。

入力音分析部１１３は、マイクロフォン２０から入力され、音声信号入力部１２０から取得した音声データに対して各種分析を行う。具体例としては、マイクロフォン２０Ａ〜２０Ｄに入力された音圧の分析、音圧に基づく音源方向の分析、周波数の分析などである。

音認識部１１４は、マイクロフォン２０から入力され、音声信号入力部１２０から取得した音声データに対して、例えば記憶部１３０に記憶されている各種音のパターンデータと照合し、入力された音声の特定を行う。

音声信号入力部１２０は、制御部１１０の制御によりマイクロフォン２０から入力された音声信号を制御部１１０が処理するためのデータに変換する。音声信号入力部１２０は、例えば、Ａ／Ｄ変換部１２１および増幅部１２２から構成される。増幅部１２２は、マイクロフォン２０から入力される音声信号を増幅する、例えばオペアンプ等である。Ａ／Ｄ変換部１２１は、増幅部１２２が増幅した音声信号を、Ａ／Ｄ（Analog - Digital）変換し、制御部１１０に音声データを送出する。

記憶部１３０は、例えばフラッシュメモリやＨＤＤ（Hard Disk Drive）より構成され、音声情報表示装置１００に必要な各種データや、マイクロフォン２０等外部から入力される記録対象のデータが記憶され、制御部１１０の処理によって記憶動作や読み出し動作が行われる。記憶部１４０は音声情報表示装置１００に内蔵されるものに限らず、所定のインターフェースによって接続される外部の記憶デバイスであってもよい。外部の記憶デバイスの一例としては、ＵＳＢ（Universal Serial Bus）端子に接続されるＵＳＢメモリや外部ＨＤＤ装置、所定のメモリカードスロットにより接続されるメモリカードなどである。

表示部１４０は、例えば液晶表示素子や有機ＥＬ（Electro Luminescence）表示素子、およびそれらを駆動する回路ユニット等からなり、表示制御部１１１の制御により各種表示内容や表示形態が表示される。

操作部１５０は、音声情報表示装置１００に対してユーザが各種処理や動作指示を行うためのユーザインターフェースであり、例えば、押ボタン式や回転式の操作手段、または表示部１４０に重ねて設けられた図示しないタッチパネル操作部により構成される。操作部１５０が操作されることにより、操作に基づく信号が後述する操作制御部１１２に出力され、操作に基づく各部の動作や各種処理が実行される。

電源部１６０は、音声情報表示装置１００を構成する各部に電力を供給するバッテリを含む電源回路等であり、制御部１１０の制御によって、各部へ適切な電力の供給や、電源部１６０への充電が制御される。

次に、図４から図９に基づき、第１の実施形態について説明する。

音声情報表示装置１００は、操作部１５０の操作によって電源がオンとなり、電源部１６０から電力が供給されて動作している間は、常時マイクロフォン２０による音声の入力を受け付けている。その状態において、入力音分析部１１３は、音声信号入力部１２０から取得した音声データに基づいて、所定音圧以上の音声信号がマイクロフォン２０のいずれかまたは複数のマイクロフォン２０に入力されたか否かを判断する（ステップＳ１１）。

ステップＳ１１における音圧の判定は、例えば、音声信号入力部１２０から入力された音声データに対して、入力信号のレベルに応じてパルス幅のＨレベルとＬレベルの比率を変えるＰＷＭ（Pulse Width Modulation）変換を行い、そのパルス幅により判断する。このＰＷＭ変換は、周波数帯域毎に行ってもよい。その場合は、ＰＷＭ変換前にＢＰＦ（Band Pass Filter）により、所望の周波数帯域毎に音声データを選別する。また、ＰＷＭ変換は、複数のマイクロフォン２０毎に行う。

ステップＳ１１において、入力されていないと判断された場合（ステップＳ１１：Ｎｏ）、ステップＳ１１の処理を再度実行することにより、逐次所定音圧以上の音声信号の入力が監視される。

ステップＳ１１において判断される所定音圧は、任意に設定されてもよいが、具体例として音圧レベルが７０ｄＢ以上とする。この数値は、予め設定されていてもよく、ユーザの聴覚レベルに合わせて設定が変更可能であってもよい。

ステップＳ１１において、所定音圧以上の音声信号が入力されたと判断された場合（ステップＳ１１：Ｙｅｓ）、入力音分析部１１３は、入力された各マイクロフォン２０による音声データに基づき、音源の方向を分析する（ステップＳ１２）。

ステップＳ１２の処理を、図５に基づき説明する。先ず、入力音分析部１１３はマイクロフォン２０Ａ〜２０Ｄの各々に対応する音声データに基づき、入力された音声信号の音圧が最大のマイクロフォンを特定する（ステップＳ１２１）。ステップＳ１２１の処理を行うときに比較する各マイクロフォン２０の音声データは、所定の時間帯における最大値を検出してもよく、所定の時間帯の積分値における最大値を検出してもよい。また、複数のマイクロフォン２０間の最大値の差が所定以上小さい場合、例えば最大音圧の差が２ｄＢ以内である場合は、それらのマイクロフォン２０の音圧は同一であるとしてもよい。

ステップＳ１２１において、音圧が最大のマイクロフォン２０が特定できたと判断された場合（ステップＳ１２１：Ｙｅｓ）、入力音分析部１１３は音圧が最大と特定されたマイクロフォン２０の方向を音源方向であると判断する（ステップＳ１２２）。例えば、図２においてマイクロフォン２０Ａが最大音圧が入力されたマイクロフォンであると特定された場合は、方向Ｂが音源方向であると判断される。同様に、マイクロフォン２０Ｂの場合は方向Ｄ、マイクロフォン２０Ｃの場合は方向Ｆ、マイクロフォン２０Ｄの場合は方向Ｈであると判断される。

ステップＳ１２１において、音圧が最大のマイクロフォン２０が特定できないと判断された場合（ステップＳ１２１：Ｎｏ）、入力音分析部１１３は、音圧が他より大きい同一音圧の２つのマイクロフォン２０が特定できるか否かを判断する（ステップＳ１２３）。ステップＳ１２３の処理においても、同一音圧と判断する誤差はステップＳ１２１と同様でよい。ステップＳ１２３において、音圧が他より大きい同一音圧の２つのマイクロフォン２０が特定できた場合（ステップＳ１２３：Ｙｅｓ）、入力音分析部１１３は音圧が他より大きい同一音圧の２つのマイクロフォン２０の間の方向を音源方向であると判断する（ステップＳ１２４）。

ステップＳ１２４の処理は、例えば図２において、方向Ａ、方向Ｃ、方向Ｅおよび方向Ｇにはマイクロフォンが配置されていないため、これらの方向を挟む２つのマイクロフォン２０を方向Ａ、方向Ｃ、方向Ｅおよび方向Ｇにおける仮想のマイクロフォンとするものである。

ステップＳ１２４の判断は、例えば、図２においてマイクロフォン２０Ａとマイクロフォン２０Ｂが音圧が他より大きい同一音圧の２つのマイクロフォン２０であると特定された場合は、方向Ｃが音源方向であると判断される。同様に、マイクロフォン２０Ｂとマイクロフォン２０Ｃが音圧が他より大きい同一音圧の２つのマイクロフォン２０であると特定された場合は、方向Ｆが音源方向であると判断され、マイクロフォン２０Ｃとマイクロフォン２０Ｄが音圧が他より大きい同一音圧の２つのマイクロフォン２０であると特定された場合は、方向Ｇが音源方向であると判断され、マイクロフォン２０Ｄとマイクロフォン２０Ａが音圧が他より大きい同一音圧の２つのマイクロフォン２０であると特定された場合は、方向Ａが音源方向であると判断される。

ステップＳ１２３において、音圧が他より大きい同一音圧の２つのマイクロフォン２０が特定できなかった場合（ステップＳ１２３：Ｎｏ）、入力音分析部１１３は全てのマイクロフォン２０が同一音圧であるか否かを判断する（ステップＳ１２５）。ステップＳ１２５の処理においても、同一音圧と判断する誤差はステップＳ１２１と同様でよい。ステップＳ１２５において、全てのマイクロフォン２０が同一の音圧であると判断された場合（ステップＳ１２５：Ｙｅｓ）、入力音分析部１１３は音声情報表示装置１００の上方であると判断する（ステップＳ１２６）。ステップＳ１２６の判断は、音声情報表示装置１００が置かれた状況やユーザに把持されている状況が多いために、音源方向が音声情報表示装置１００の上方であると定義しているが、音声情報表示装置１００の下方であると判断してもよい。

ステップＳ１２６の処理は、例えば図２において、表示部１４０の上方を向くマイクロフォンは配置されていないため、全てのマイクロフォン２０を表示部１４０の上方を向く仮想のマイクロフォンとするものである。

ステップＳ１２５において、全てのマイクロフォン２０が同一の音圧ではないと判断された場合（ステップＳ１２５：Ｎｏ）、入力音分析部１１３は音源の方向が特定できないと判断する（ステップＳ１２７）。

図４に戻り、ステップＳ１２において音源の方向が分析された後、分析された音源の方向に基づき、表示制御部１１１は音声を示す情報を表示部１４０に表示させる（ステップＳ１３）。ステップＳ１３の処理と表示例を図６から図９により説明する。

先ず、表示制御部１１１は、入力音分析部１１３が検出した音源方向に基づき、表示部１４０における音源方向のマイクロフォン２０の配置方向を基点とした放射状のパターンを表示させる（ステップＳ１３１）。ステップＳ１３１の処理で表示される例として、図７は、音源方向がマイクロフォン２０Ａの方向であると判断された場合を示す。同様に、図８は、音源方向がマイクロフォン２０Ａと２０Ｄの間であると判断された場合を示す。同様に、図９は、音源方向が音声情報表示装置１００の上方であると判断された場合を示す。

次に、表示制御部１１１は、ステップＳ１３１において表示した放射状パターンの表示パラメータを、基点となるマイクロフォン２０に近い順に表示パラメータを変化させ（ステップＳ１３２）、所定時間が経過するまで繰り返す（ステップＳ１３３）。

ステップＳ１３２の処理を具体的に説明すると、図７から図９において表示される放射状パターンは、音源方向のマイクロフォン２０または仮想マイクロフォンの配置方向を基点として、表示エリア３００Ａ、表示エリア３００Ｒ１、３００Ｒ２、３００Ｒ３、３００Ｒ４が順に配置されている。これらの表示エリア３００を、例えば色や輝度を、表示エリア３００Ｒ１、３００Ｒ２、３００Ｒ３、３００Ｒ４の順に変化させていく。変化のタイミングは、例えば０．５秒毎である。表示制御部１１１は、このような表示を、例えば、５秒から１０秒などの予め定められた所定時間繰り返す。予め定めだれた繰り返し時間は、入力音分析部１１３において、所定音圧以上の音声信号が入力されたと判断された時点からの時間であってもよく、所定音圧以上の音声信号が入力されたと判断され、その音声信号が所定音圧以下となった時点からの時間であってもよい。

また、予め定められた繰り返し時間は、音圧のレベルによって変化してもよい。例えば入力音分析部１１３において検出された音圧が約８０ｄＢである場合は１０秒、約９０ｄＢである場合は１５秒などである。

表示エリア３００Ａには、例えば入力音分析部１１３において分析された最大音の音圧レベルなどを数値で表示する。図７の例においては、マイクロフォン２０Ａにおいて音圧が約８０ｄＢの音声信号が入力され、マイクロフォン２０Ａの方向（方向Ｂ）に音源が存在することを示す。図８の例においては、マイクロフォン２０Ａおよびマイクロフォン２０Ｄにおいて、各々音圧が約８０ｄＢの音声信号が入力され、マイクロフォン２０Ａとマイクロフォン２０Ｄの中間に位置する仮想マイクロフォンの方向（方向Ａ）に音源が存在することを示す。図９の例においては、マイクロフォン２０Ａ〜２０Ｄの全てにおいて、各々音圧が約８０ｄＢの音声信号が入力され、音声情報表示装置１００の上方からの音声信号を検出する仮想マイクロフォンの方向に音源が存在することを示す。

このように、第１の実施形態においては、音源方向のマイクロフォン２０の配置方向を基点として音声信号を表す形状を表示部１４０に表示させるため、ユーザは直感的に最大音を検出したマイクロフォン２０の位置に基づき音源方向とその範囲を把握することができる。また、音声信号を表す形状を、音源方向のマイクロフォン２０の配置方向を基点とする放射状とするため、ユーザは音源方向を直感的に把握することができる。また、音声信号を表す形状を、音源方向のマイクロフォン２０の配置方向を基点とした複数の表示エリアを順に表示パラメータを変化させるため、より明瞭に音源方向を把握することができる。

第１の実施形態においては、音源方向のマイクロフォン２０の配置方向を基点とする放射状とする表示エリア３００を表示エリア３００Ｒ１、３００Ｒ２、３００Ｒ３、３００Ｒ４からなる４つの表示エリア３００としたが、特に表示エリア３００の数は限定されず、放射状の表示範囲も限定されない。

次に、図１０および図１１に基づき、第２の実施形態について説明する。第２の実施形態における音声情報表示装置１００が実行する処理は第１の実施形態と同一であるため説明を省略する。第１の実施形態とは、図６におけるステップＳ１３１で実行される放射状パターンの表示形態が異なる。

第１の実施形態においては、図７から図９において説明したように音声信号を表す形状を放射状に表示したが、第２の実施形態においては、この放射状の表示にマイクロフォン２０の各々における音源特定範囲の情報を含める。

具体的な例の一つとして、図１０に示す表示形態は、音声信号を表す放射形状を音源方向のマイクロフォン２０または仮想マイクロフォンの配置方向を基点として角度が約４５度の放射形状としている。放射形状の角度を４５度とした理由としては、音声情報表示装置１００を中心にマイクロフォン２０Ａ〜２０Ｄおよびこれらのマイクロフォン２０を用いた仮想マイクロフォンによる音源特定範囲は、各々４５度となるためである。

図１０に示した表示形態は、音声信号を表す放射形状を角度が４５度の放射形状としているが、各々のマイクロフォン２０および仮想マイクロフォンにおける音源特定範囲は厳密なものではないため、４５度以上であってもよい。

さらに、具体的な例として、図１１に示す表示形態は、第１の実施形態として説明した図７および図８と同様の表示に加えて、音源特定範囲を示す角度の情報を含めたものである。図１１においても、音源特定範囲を示す角度は４５度またはそれ以上でもよい。さらに音源特定範囲を示す角度は、音声信号を表す放射形状に対して線として表現されてもよく、表示色を異ならせて表示されてもよい。

第２の実施形態においても、表示エリア３００Ａ、表示エリア３００Ｒ１、３００Ｒ２、３００Ｒ３、３００Ｒ４の表示形態については、第１の実施形態と同様である。

このように、音源特定方向を角度として表示させることにより、ユーザは音源の方向をより明確に把握することができる。

次に、図１２から図２１に基づき、第３の実施形態について説明する。第３の実施形態における音声情報表示装置１００が実行する処理において、第１の実施形態と同一の処理については説明を省略する。

図１２のステップＳ１２において、入力音分析部１１３が、入力された各マイクロフォン２０による音声データに基づき音源の方向を分析した後、入力音分析部１１３は、音源方向におけるマイクロフォン２０から入力された音声信号の周波数を分析する（ステップＳ３１）。ステップＳ３１の処理は、前述したように、所定周波数帯域毎のＢＰＦを介したＰＷＭ変換によるパルス幅に基づき周波数帯域毎の音圧レベルを分析する。また、既存のフーリエ変換等の手法を用いてもよい。

図１３は、入力された音声信号の音圧レベルと周波数帯域との関連を示した例であり、縦軸は音圧レベルであり、横軸は周波数である。縦軸における音圧レベルの閾値ｔｈは、ステップＳ１１の所定音圧であり、閾値ｔｈ以上の音圧レベルを有する音声信号に対して処理を実行する。横軸における周波数帯域は、後述する第１の周波数区分と第２の周波数区分の例を表している。第１の周波数区分は、ｆ₁からｆ₂までの周波数帯域、ｆ₂からｆ₃までの周波数帯域、ｆ₃からｆ₄までの周波数帯域、ｆ₄からｆ₅までの周波数帯域、ｆ₅からｆ₆までの周波数帯域として区分されている。また、第２の周波数区分は、第１の周波数区分をさらに細分化した区分であり、ｆ₁からｆ₂までの周波数帯域においては、ｆ₁からｆ_1Aまでの周波数帯域、ｆ_1Aからｆ_1Bまでの周波数帯域、ｆ_1Bからｆ₂までの周波数帯域として区分されている。他の第１の周波数区分においても同様である。図１５から図１７および表１と表２に示すように、第２の周波数区分は第１の周波数区分内において部分的に重複しているが、図１３は便宜的に重複しない記載としている。

図１３には、一例として音声信号Ｗ１と音声信号Ｗ２との２種類の音声信号の例を記載する。音声情報表示装置１００が検出する音声信号は、ユーザの周辺において発せられるあらゆる音声信号を対象とするが、特に音圧レベルが閾値ｔｈ以上となる音声信号は、例えばサイレン音や警報音、報知音など特定の周波数帯域に特化した音声信号が多いため、図１３においては周波数帯域幅の小さい音声信号を例として説明する。

例えば、音声信号Ｗ１の周波数分布は、音圧レベルが閾値ｔｈ以上においては、第１の周波数区分としてはｆ₂からｆ₃までの周波数帯域に分布し、第２の周波数区分としてはｆ_2Aからｆ_2Bの間に分布している。同様に音声信号Ｗ２の周波数分布は、音圧レベルが閾値ｔｈ以上においては、第１の周波数区分としてはｆ₃からｆ₄までの周波数帯域に分布し、第２の周波数区分としてはｆ_3Aから_f4の間に分布している。

次に、表示制御部１１１は、ステップＳ３１で分析された周波数の分布に基づき、音声を示す情報を表示部１４０に表示させる（ステップＳ３２）。ステップＳ３２の処理と表示例を図１４から図２１により説明する。

先ず、表示制御部１１１は、入力音分析部１１３が分析した音源方向におけるマイクロフォン２０から入力された音声信号の周波数帯域に対応する表示エリア３００を表示させ（ステップＳ３２１）、所定時間が経過するまで表示する（ステップＳ３２２）。

ステップＳ３２１における表示例を、図１８から図２１に示す。これらの表示例において、表示エリア３００Ｆ１から３００Ｆ５は、第２の周波数区分に対応する。図１９は、第２の周波数区分は５つに区分されている例であり、図１８、図２０、図２１は第２の周波数区分は３つに区分されている例である。図２０および図２１の表示形態においても、第２の周波数区分は５つに区分されていてもよい。また、第２の周波数区分に加えて第１の周波数区分もその区分数や区分する周波数は限定されない。

ここで、第１の周波数区分および第２の周波数区分の区分例について、図１５および図１６により説明する。

図１５は、第１の周波数区分を５区分し、第２の周波数区分を第１の周波数区分毎に３区分した例である。区分対象となる周波数帯域は２００Ｈｚから７ｋＨｚまでとしているが、この範囲に限定されない。２００Ｈｚから７ｋＨｚまでの周波数帯域は、例えばサイレン音や警報音、報知音などユーザがその発生を即座に知る必要のある音が分布する帯域を中心とした周波数帯域としている。

図１５の例において、第１の周波数区分と第２の周波数区分の各々の周波数帯域と対応する表示エリアは、表１のようになっている。

図１８から図２１に示した表示例において、表示エリア３００を５つに区分している場合、図１５および表１の例に示す２００Ｈｚ〜４２０Ｈｚの第１の周波数区分は、青色や緑色の系統の色により表示し、この第１の周波数区分内の第２の周波数区分の各々は第１の周波数区分として用いる同一の色であってもよく、同系統の異なる色であってもよい。４２０Ｈｚ〜９５０Ｈｚの第１の周波数区分は、黄色系統の色により表示し、９５０Ｈｚ〜２ｋＨｚの第１の周波数区分は、橙色系統の色により表示する。また、２ｋＨｚ〜３．７ｋＨｚの第１の周波数区分は、赤色系統の色により表示し、３．７ｋＨｚ〜７ｋＨｚの第１の周波数区分は、紫色系統の色により表示する。

以上の表示色は一例であるが、例えば緊急車両のサイレン音の周波数帯域が４１５Ｈｚから１．９ｋＨｚであるため、この周波数帯域を含む４２０Ｈｚ〜９５０Ｈｚの第１の周波数区分と９５０Ｈｚ〜２ｋＨｚの第１の周波数区分は、サイレン帯域として黄色系統や橙色系統など、危険や緊急性のある音声信号であることが認識しやすい色調で表示する。同様に、ガス警報器や火災報知機の警報音の周波数帯域が２ｋＨｚから７ｋＨｚであるため、この周波数帯域を含む２ｋＨｚ〜３．７ｋＨｚの第１の周波数区分と３．７ｋＨｚ〜７ｋＨｚの第１の周波数区分は、警報器帯域として赤色系統や紫色系統など、危険や緊急性のある音声信号であることを認識しやすい色調で表示する。

例えば、図１３に示す音声信号Ｗ１の場合は、４２０Ｈｚ〜９５０Ｈｚの第１の周波数区分に属すると共に、５５０Ｈｚ〜７３０Ｈｚの第２の周波数区分に属する。このため、例えば図１８の例においては、音源方向のマイクロフォン２０の配置方向を基点として、表示エリア３００Ｆ２が黄色系統の色により表示される。同様に、音声信号Ｗ２の場合は、９５０Ｈｚ〜２ｋＨｚの第１の周波数区分に属すると共に、１．２ｋＨｚ〜１．６ｋＨｚの第２の周波数区分および１．５ｋＨｚ〜２ｋＨｚの第２の周波数区分に属する。このため、例えば図１８の例においては、音源方向のマイクロフォン２０の配置方向を基点として、表示エリア３００Ｆ２および表示エリア３００Ｆ３が橙色系統の色により表示される。

図１６は、第１の周波数区分を３区分し、第２の周波数区分を第１の周波数区分毎に５区分した例である。区分対象となる周波数帯域は図１５同様に２００Ｈｚから７ｋＨｚまでとしている。

図１６の例において、第１の周波数区分と第２の周波数区分の各々の周波数帯域と対応する表示エリア３００は、表２のようになっている。

図１８から図２１に示した表示例において、表示エリア３００を３つに区分している場合、図１６および表２の例に示す２００Ｈｚ〜４２０Ｈｚの第１の周波数区分は、青色や緑色の系統の色により表示し、この第１の周波数区分内の第２の周波数区分の各々は第１の周波数区分として用いる同一の色であってもよく、同系統の異なる色であってもよい。４２０Ｈｚ〜２ｋＨｚの第１の周波数区分は、黄色系統の色により表示し、２ｋＨｚ〜７ｋＨｚの第１の周波数区分は、赤色系統の色により表示する。以上の表示色も一例であるが、５つの区分と同様に、サイレン帯域および警報器帯域を黄色系統や赤色系統など、危険や緊急性のある音声信号であることを認識しやすい色調で表示する。

図１８から図２１の表示例について説明すると、図１８は、説明を容易にするために、マイクロフォン２０Ａの方向（方向Ｂ）から音声信号を検出した場合と、マイクロフォン２０Ｄおよびマイクロフォン２０Ｃの間の方向（方向Ｇ）から音声信号を検出した場合の表示を同時に示している。

表示制御部１１１により、表示部１４０には音源方向のマイクロフォン２０の配置方向を基点として、表示エリア３００Ａ、３００Ｆ１、３００Ｆ２、３００Ｆ３が順に放射状に配置され、入力音分析部１１３により分析された周波数帯域に基づき、第２の周波数区分に対応する表示エリア３００Ｆ１、３００Ｆ２、３００Ｆ３が、第１の周波数区分に対応する色調により表示される。

図１９の例は、図１８と同様であるが、第２の周波数区分を５つの区分とし、表示エリア３００Ｆ１から３００Ｆ５とした場合の例である。

図２０の例は、第１の実施形態に基づく表示に加えて、第２の周波数区分に基づく表示エリア３００Ｆ１から３００Ｆ３を表示部１４０の中央に配置した例である。第２の周波数区分に基づく表示エリア３００Ｆ１から３００Ｆ３は、図２０のような形態に限定されず、例えば同心円形状や同心角形状であってもよい。同心円形状や同心角形状の場合は、中心側が周波数の低い第２の周波数区分であり、外側が周波数の高い第２の周波数区分とする。

図２１の例は、マイクロフォン２０Ａの方向（方向Ｂ）から音声信号を検出したことを示す複数のドット形状により、第２の周波数区分に基づく表示エリア３００Ｆ１から３００Ｆ３を表した例である。図２１に示すように、音源方向のマイクロフォン２０の配置方向を基点として、破線で囲った複数のドット形状の列で表される表示エリア３００Ｆ１から３００Ｆ３が表示される。図１８から図２０の表示例と異なる点は、第２の周波数区分に基づく表示エリア３００Ｆ１から３００Ｆ３の各々が、例えばドット形状のように複数の表示形状から構成されている。この複数の表示形状は、音源方向のマイクロフォン２０に近い方から、ステップＳ３２２の所定時間に該当する時間内で、表示を移動させる。このため、検出した音声信号に基づく表示エリア３００Ｆ１から３００Ｆ３のいずれかまたは複数の表示が、図２１の例においては、右上から左下の方向に流れる表示となる。

図２１の例は、表示部１４０が例えば液晶表示素子などを用いた場合について説明したが、表示部１４０として、例えばＬＥＤ素子を一面に配置して、図２１の例に示すような表示形態としてもよい。

第３の実施形態においては、第２の周波数区分毎に表示位置を異ならせているため、例えば日本における救急車のサイレン音のように、複数の中心周波数を交互に繰り返す音の場合、複数の第２の周波数区分に対応する表示エリア３００が交互に表示される。このため、複数の中心周波数を交互に繰り返す表示パターンについては、音の種別を特定しやすい。

このように、第３の実施形態においては、検出した音声信号の音源方向と周波数に基づき、音声信号を表す表示が所定時間表示される。このため、ユーザは、検出した音声信号の方向に加えてその周波数帯域も把握することができ、特にサイレン音や警報音、報知音などの周波数帯域が判別可能であるために、緊急を要する音の発生を的確に把握することができる。

第３の実施形態においては、一例として、サイレン帯域や警報機帯域に合わせて第１の周波数区分を設定したが、第１の周波数区分の設定はこれに限定されない。例えば、聴覚の障害として、所定の周波数範囲の聴覚が衰えている場合や聞こえない場合などがある。このため、図１７に示すように、第１の周波数区分をユーザの聴覚に合わせて設定してもよい。例えば、日常的に不都合がない程度に聞こえる周波数帯域を緑系統の色として表示し、ある程度不都合のある周波数帯域を黄色系統の色として表示し、全く聞こえない周波数帯域を赤色系統の色として表示させる。このような設定は、操作部１５０の操作によって、予めユーザの聴覚に適応するように設定する。

このような例においては、ユーザは自らの聴覚で感知が困難な周波数帯域における緊急を要する音の発生を的確に把握することができる。

次に、図２２から図２７に基づき、第４の実施形態について説明する。第４の実施形態における音声情報表示装置１００が実行する処理において、第１の実施形態と同一の処理については説明を省略する。

図２２のステップＳ１２において、入力音分析部１１３が、入力された各マイクロフォン２０による音声データに基づき音源の方向を分析した後、入力音分析部１１３は、音源方向におけるマイクロフォン２０から入力された音声信号の音圧を分析する（ステップＳ４１）。

ステップＳ４１の処理を、図２３を用いて具体的に説明する。図２３の縦軸は音圧レベルであり、横軸は時間となっている。縦軸における音圧レベルの閾値ｔｈは、ステップＳ１１の所定音圧であり、音圧の閾値ｔｈ以上の音声信号に対して処理を実行する。ステップＳ４１の音圧分析処理は、ステップＳ１１の処理と同時に行われてもよい。先ず、入力音分析部１１３は音源方向のマイクロフォン２０から入力された音声データに対して時間毎にその音圧レベルを求める。図２３および図２５においては、一例として音声信号Ｗ３の例を記載する。

例えば、音声信号Ｗ３の音圧分布は、時間ｔ１において閾値ｔｈを超え、時間ｔ２において音圧レベルｐ１を超え、時間ｔ３において音圧レベルｐ４を超えている。また、時間ｔ４において音圧レベルｐ２以下となり、時間ｔ５において音圧レベルｐ１以下となり、時間ｔ６において閾値ｔｈ以下となっている。

図２３の例における音圧レベルの値は、例えば閾値ｔｈを７０ｄＢとした場合、ｐ１が８０ｄＢ、ｐ２が９０ｄＢ、ｐ３が１００ｄＢ、ｐ４が１１０ｄＢである。したがって、音声信号Ｆ３はピーク時で８０ｄＢ以上９０ｄＢ未満の音圧レベルであることが示される。

次に、表示制御部１１１は、ステップＳ４１で分析された音圧レベルに基づき、音声を示す情報を表示部１４０に表示させる（ステップＳ４２）。ステップＳ４２の処理と表示例を図２４から図２７により説明する。

先ず、表示制御部１１１は、入力音分析部１１３が分析した音源方向におけるマイクロフォン２０から入力された音声信号の音圧に対応する表示エリアを表示させ（ステップＳ４２１）、所定時間が経過するまで表示する（ステップＳ４２２）。

ステップＳ４２１からステップＳ４２２までの表示時間は、所定の音圧レベル以上となっている時間であり、例えば、音圧レベルが閾値ｔｈを超えた時刻ｔ１から閾値ｔｈ以下となる時刻ｔ６までの間、表示エリア３００Ｐ１を表示させ、音圧レベルがｐ１を超えた時刻ｔ２からｐ１以下となる時刻ｔ５までの間、表示エリア３００Ｐ２を表示させる。同様に、音圧レベルがｐ３を超えた時刻ｔ３からｐ３以下となる時刻ｔ４までの間、表示エリア３００Ｐ３を表示させる。

また、上記のように音圧の時間変動に対応した表示を行う場合は、音の継続時間が短い場合、ユーザはその音が発生したことを見逃す可能性が高い。したがって、所定値の音圧を検出した時刻に対して係数を掛けることにより実際の音の継続時間よりも長く表示させる。

図２５に示すように、音声信号における閾値ｔｈ以上の時刻ｔ１〜ｔ６に対して係数を掛けることにより、Ｔ１〜Ｔ６の時刻に対して、各表示エリア３００Ｐを表示させる。図２６および図２７の例の場合、時刻ｔ１と同一時刻である時刻Ｔ１に、表示エリア３００Ｐ１の表示が開始され、次に、時刻ｔ２に対応する時刻Ｔ２に、表示エリア３００Ｐ２の表示が開始される。同様に、時刻ｔ３に対応する時刻Ｔ３に、表示エリア３００Ｐ３の表示が開始され、時刻ｔ４に対応する時刻Ｔ４に表示エリア３００Ｐ３の表示が終了する。同様に、時刻ｔ５に対応する時刻Ｔ５に表示エリア３００Ｐ２の表示が終了し、時刻ｔ６に対応する時刻Ｔ６に表示エリア３００Ｐ１の表示が終了する。

このように、図２３における音声信号Ｗ３の例においては、その音声信号の音源方向と音圧レベルに基づき、表示エリア３００Ｐ１から表示エリア３００Ｐ３が所定時間表示される。したがって、ユーザは音源方向の特定とともに、どの程度の大きさの音がしたのかを感覚的に把握することがえきる。本実施形態において、各々の表示エリア３００Ｐは、表示される色が異なっていることが効果的である。また、表示エリア３００Ｐ１から３００Ｐ４までの全ての表示エリアを示す枠が表示された上で、入力音分析部１１３が分析した音圧レベルに該当する表示エリア３００Ｐに色を伴った表示を行うようにしてもよい。

次に、図２８から図３２に基づき、第５の実施形態について説明する。第５の実施形態における音声情報表示装置１００が実行する処理において、第１の実施形態と同一の処理については説明を省略する。

図２８のステップＳ１２において、入力音分析部１１３が、入力された各マイクロフォン２０による音声データに基づき音源の方向を分析した後、音認識部１１４は、音源方向におけるマイクロフォン２０から入力された音声信号の音の種別を分析する（ステップＳ５１）。

ステップＳ５１の処理を、図２９に基づき説明する。先ず、音認識部１１４は、対処となる音声信号に基づく音声データにおいて、分析範囲を特定する（ステップＳ５１１）。具体的には、分析対象の音声データにおける音圧レベルが継続して閾値ｔｈ以上となる区間などであるが、特に限定はされず、既存の各種区間判別手法を用いる。

次に、音認識部１１４は、分析範囲の音声データを、記憶部１３０等に記憶されている音データベースと照合する（ステップＳ５１２）。ステップＳ５１２における音データベースは、記憶部１３０に限らず、音声情報表示装置１００に通信機能が備えられている場合は、その通信機能を用いて外部のサーバ等に記憶されている音データベースとの照合を行ってもよい。また、ステップＳ５１２における音データベースとの照合処理は、通信機能を用いて外部のサーバ等における照合処理を利用してもよい。この場合、音認識部１１４は、外部のサーバ等に分析対象の音声データを送信し、照合結果を受け取る。

次に、音認識部１１４は、ステップＳ５１２の処理において音の種別が特定されたか否かを判断する（ステップＳ５１３）。ステップＳ５１２の照合結果としては、例えば、「救急車」「火災報知機」「地震警報」「電子レンジ」「人の声」などの照合結果を得ることができ、音データベースに分析対象の音声データまたはそれに類似する音声データが含まれていない場合は、特定できない旨の照合結果を得る。

ステップＳ５１３において、音の種別が特定されたと判断された場合（ステップＳ５１３：Ｙｅｓ）、音認識部１１４は、表示制御部１１１に特定された音の種別を表す情報を通知する（ステップＳ５１３）。ステップＳ５１３において、音の種別が特定されなかった判断された場合（ステップＳ５１３：Ｎｏ）、音認識部１１４は、表示制御部１１１に音の種別が特定されないことを表す情報を通知する（ステップＳ５１４）。ステップＳ５１３およびステップＳ５１４における通知とは、各々の情報を一時的にＲＡＭに記憶させておくことにより、表示制御部１１１がその情報に基づく表示を行うことができる処理等である。

図２８に戻り、表示制御部１１１は、ステップＳ５１で分析された音の種別に基づき、音声を示す情報を表示部１４０に表示させる（ステップＳ５２）。ステップＳ５２の処理と表示例を図２９から図３２により説明する。

先ず、表示制御部１１１は、音認識部１１４が分析した音源方向におけるマイクロフォン２０から入力された音声信号の種別を示す情報を表示させ（ステップＳ５２１）、所定時間が経過するまで表示する（ステップＳ５２２）。

ステップＳ５１の処理において、例えばマイクロフォン２０Ａの方向から入力された音声信号が、最大音圧８０ｄＢであり、音認識部１１４による認識結果が救急車のサイレン音である場合は、図３１に示すように、マイクロフォン２０Ａの配置方向を基点とした放射状のパターンの表示に加えて、救急車を表す「Ａｍｂｕｌａｎｃｅ」の文字を表示する。図３１における放射状パターンは、第１の実施形態に基づく表示エリア３００Ａとしているが、第２の実施形態から第４の実施形態を適用してもよい。

また、放射状のパターンの表示に第１の実施形態、第２の実施形態、第４の実施形態を適用した場合は、各表示エリア３００Ａ、３００Ｐの表示色を音認識部１１４の認識結果を連想させる色としてもよい。例えば、音認識部１１４における認識結果が消防車のサイレン音である場合や、火災報知機の警報音である場合は、赤系統の表示色とする。また、図３１においては文字により表示したが、認識結果を表す図やアイコンを表示してもよい。例えば、認識結果が救急車のサイレン音である場合は救急車を表す図を表示し、認識結果が火災報知機の警報音である場合は炎を表す図を表示する。

また、図３２に示すように、音認識部１１４による認識結果が緊急を要する音である場合や重要な音である場合は、放射状のパターンをそれらが判別できるような形状としてもよい。このような場合であっても、各表示エリア３００Ａ，３００Ｆ、３００Ｐは、各実施形態に対応する。

このように、音認識部１１４による認識結果に基づいた表示を組み合わせることにより、ユーザは音源方向に加えて音の種別も的確に認識することができ、危険な音が検出されたことを早い段階で認識することができる。

音認識部が参照する音データベースは、通信機能を用いて照合を行う場合であっても、特に緊急を要する音については、音声情報表示装置１００が備える記憶部１３０に音データベースを備え、記憶部１３０の音データベースを優先的に照合するような処理としてもよい。この場合、特に緊急を要する音の照合結果を、通信機能を用いた照合より早く行うことができる。また、通信機能が利用できない場合においても、特に緊急を要する音についての照合を行うことができる。

次に、図３３から図３７に基づき、第６の実施形態について説明する。第６の実施形態における音声情報表示装置１００の構成は、第１の実施形態から第５の実施形態における音声情報表示装置１００の構成とは異なるが、共通する構成については説明を省略する。また、第６の実施形態における表示形態は、第１の実施形態から第５の実施形態における表示形態が適用可能である。

第１の実施形態から第５の実施形態における音声情報表示装置１００は、筐体１０の４隅にマイクロフォン２０を備えているため、専用の装置となってしまう。第６の実施形態においては、４隅にマイクロフォン２０を備えていない汎用の携帯電話や情報端末を用いて、共通リソースを利用した音声情報表示装置１００を構成する。

図３３は、音声情報表示装置１００を構成するジャケットマイク部５００の概観斜視図である。ジャケットマイク部５００には表示機能は備えられておらず、４隅にマイクロフォン２０が備えられている。図３４は、汎用の携帯電話６００に、ジャケットマイク部５００を装着し、音声情報表示装置２００を構成した場合の斜視図である。この音声情報表示装置２００は、ジャケットマイク部５００に備えられたマイクロフォン２０が取得した音声信号に基づき、音源方向のマイクロフォン２０の配置方向を基点として音声信号を表す形状を、携帯電話６００における表示部６４０に表示させる。

音声情報表示装置２００は、図３５に示すように、ジャケットマイク部５００および携帯電話６００により構成される。携帯電話６００は、上述したように電話機能を有さない情報端末であってもよい。ジャケットマイク部５００はその上面に携帯電話６００を装着するが、装着機構の有無は問わない。

ジャケットマイク部５００は、第１の制御部５１０、音声信号入力部１２０、第１の操作部５５０、第１の電源部５６０、第１の通信部５７０、マイクロフォン２０を備える。また、携帯電話６００は、第２の制御部６１０、記憶部６３０、表示部６４０、第２の操作部６５０、第２の電源部６６０、第２の通信部６７０、第３の通信部６８０を備える。

第１の制御部５１０は、その構成は制御部１１０と同様であり、ジャケットマイク部５００を構成する各部の動作制御、各種データの処理または演算等を行う。第１の制御部５１０は、実行されるプログラムによって、第１の操作制御部５１２および第１の通信制御部５１５を実現する。

第１の操作制御部５１２は、第１の操作部５５０が操作されることによって生成する操作信号に基づいた処理を実行させる。第１の通信制御部５１５は、音声信号入力部１２０から送出された音声データまたは音声データに基づくデータを、第１の通信部５６０を用いて送信する制御を行う。

第１の操作部５５０は、ジャケットマイク部５００に対してユーザが各種処理や動作指示を行うためのユーザインターフェースであり、その構成は操作部１５０と同様である。第１の操作部５５０が操作されることにより、操作に基づく信号が後述する第１の操作制御部５１２に出力され、操作に基づく各部の動作や各種処理が実行される。

第１の電源部５６０は、ジャケットマイク部５００を構成する各部に電力を供給するバッテリを含む電源回路等であり、第１の制御部５１０の制御によって、各部へ適切な電力の供給や、第１の電源部５６０への充電が制御される。

第１の通信部５７０は、携帯電話６００との通信を行う通信ユニットから構成され、第１の通信制御部５１５の制御により音声信号入力部１２０への音声入力に基づく各種データを送出する。第１の通信部５７０は、例えばブルートゥース方式の通信を行う通信ユニットや、赤外線通信を行う通信ユニット、誘導電界を用いた通信方式等、各種無線通信方式が適用可能である。第１の通信部５７０は、無線通信方式に限らず、携帯電話６００と有線接続するインターフェースであってもよい。

第２の制御部６１０は、その構成は制御部１１０と同様であり、携帯電話６００を構成する各部の動作制御、各種データの処理または演算等を行うことにより、携帯電話６００としての機能に加えて、ジャケットマイク部５００から送出されたデータに基づく音声情報表示装置２００としての各種処理を行う。第１の制御部５１０は、実行されるプログラムによって表示制御部６１１、第２の操作制御部６１２、入力音分析部６１３、音認識部６１４、第２の通信制御部６１５、第３の通信制御部６１６を実現する。

表示制御部６１１は、表示部６４０に対して各種情報を表示させる処理を行う。例えば、記憶部１３０に記憶されている各種表示形態や文字等の表示、図示しないタッチパネル操作部に連動した各種ＧＵＩなどを表示させる。

第２の操作制御部６１２は、第２の操作部６５０が操作されることによって生成する操作信号に基づいた処理を実行させる。

入力音分析部６１３は、入力音分析部１１３と同様の処理を、ジャケットマイク部５００から受信した音声データまたは音声データに基づくデータに対して行う。具体例としては、マイクロフォン２０Ａ〜２０Ｄに入力された音圧の分析、音圧に基づく音源方向の分析、周波数の分析などである。

音認識部６１４は、音認識部１１４と同様の処理をジャケットマイク部５００から受信した音声データまたは音声データに基づくデータに対して行う。

第２の通信制御部６１５は、第２の通信部６７０を用いて、ジャケットマイク部５００から音声データまたは音声データに基づくデータを受信する制御を行う。

第３の通信制御部６１６は、第３の通信部６８０を用いて、携帯電話回線や無線ＬＡＮ回線等を用いた通信のための制御を行う。

第２の通信部６７０は、ジャケットマイク部５００との通信を行う通信ユニットから構成され、第２の通信制御部６１５の制御により、第１の通信部５７０から送出された各種データを受信する。第２の通信部６７０の通信方式は第１の通信部５７０と同一の通信方式を用いる。

第３の通信部６８０は、携帯電話６００が単独で電話端末や通信端末として用いられる場合に用いる通信ユニットであり、第３の通信制御部６１６の制御により、携帯電話回線を用いた通信や無線ＬＡＮ回線を用いた通信を行う。第３の通信部６８０は、携帯電話６００にジャケットマイク部５００が装着された場合、通常の電話端末や通信端末としての通信機能に加えて、音声情報表示装置２００として必要な通信を行ってもよい。例えば、音認識部６１４による音データベースとの照合を、第３の通信部６８０による通信を介して他のサーバ等で行う場合である。

記憶部６３０は、その構成は記憶部１３０と同様であり、携帯電話６００として必要な記憶動作に加えて、ジャケットマイク部５００から送出されたデータに基づく音声情報表示装置２００としての記憶動作を行う。

表示部６４０は、その構成は表示部１４０と同様であり、表示制御部６１１の制御により、携帯電話６００として必要な表示内容に加えて、音声情報表示装置２００として必要な表示内容が表示される。

第２の操作部６５０は、携帯電話６００に対してユーザが各種処理や動作指示を行うためのユーザインターフェースであり、その構成は操作部１５０と同様である。第２の操作部６５０が操作されることにより、操作に基づく信号が後述する第２の操作制御部６１２に出力され、操作に基づく各部の動作や各種処理が実行される。

第２の電源部６６０は、携帯電話６００を構成する各部に電力を供給するバッテリを含む電源回路等であり、第２の制御部６１０の制御によって、各部へ適切な電力の供給や、第２の電源部６６０への充電が制御される。

次に、ジャケットマイク部５００が実行する処理を図３６により説明する。ジャケットマイク部５００の電源は、独立して操作されてもよく、携帯電話６００と装着されることにより電源がオンとなってもよい。ジャケットマイク部５００は、第１の電源部５６０から電力が供給されて動作している間は、常時マイクロフォン２０による音声の入力を受け付けている。その状態において、第１の制御部５１０により音声信号の入力があると判断された場合（ステップＳ６１：Ｙｅｓ）、第１の通信制御部５１５は、入力された音声信号に基づく音声信号入力部１２０によりＡ／Ｄ変換された音声データを、携帯電話６００に送信する（ステップＳ６２）。

ステップＳ６１の処理を行わずに、例えば、マイクロフォン２０への音声信号の入力有無に関わらず、無音も含めた音声データを常時携帯電話６００に送信してもよいが、消費電力削減する上では、音声信号の入力毎に送信することが好ましい。さらには、第１の制御部５１０は、音声信号入力部１２０から取得した音声データが、所定以上の音圧の音声データであるかを判断し、所定以上の音圧のデータである場合に、その音声データを携帯電話６００に送信してもよい。

次に、携帯電話６００が実行する処理を図３７により説明する。先ず、入力音分析部６１３は、第２の通信部によりジャケットマイク部５００から音声データを受信したか否かを判断する（ステップＳ７１）。音声データを受信したと判断した場合（ステップＳ７０：Ｙｅｓ）、他の実施形態と同様に、入力音分析部６１３は音源方向の分析を行う（ステップＳ７２）。また、入力音分析部６１３および音認識部６１４は、必要に応じて他の実施形態と同様に、受信音声の周波数分析（ステップＳ７３）、受信音声の音圧分析（ステップＳ７４）、受信音声の音種別分析（ステップＳ７５）を実行する。次に、これらの処理に基づき、他の実施形態と同様に、表示制御部６１１は表示部６４０に音声を示す情報を表示させる（ステップＳ７６）。

このような構成とすることで、音声情報表示装置１００のような専用の装置ではなくとも、汎用の携帯電話や情報端末を用いて、容易に音声情報表示装置２００を構成することができる。音声情報表示装置２００の表示形態は、第１の実施形態から第５の実施形態における表示形態に共通する。

また、音声情報表示装置２００の構成は、図３３および図３４の形状に限定されず、例えば、ジャケットマイク部５００は携帯電話６００の周囲を覆う形状としてもよい。この場合、ジャケットマイク部５００における携帯電話６００の周囲を覆う部分の４隅にマイクロフォン２０が各々設けられる。

本発明の実施の形態は、その要旨を逸脱しない限り、様々に変更可能である。また、本発明における音声情報表示装置１００および音声情報表示装置２００を実現するためのプログラムは、例えばネットワークや可搬型の記憶媒体によって、音声情報表示装置１００または携帯電話６００に加えて、同様の機能を備える装置にインストールされてもよい。

２０：マイクロフォン、１００：音声情報表示装置、１１０：制御部、１１１：表示制御部、１１２：操作制御部、１１３：入力音分析部、１１４：音認識部、１２０：音声信号入力部

Claims (8)

1. 表示部、
   前記表示部を囲うように配置された複数のマイクロフォン、
   前記複数のマイクロフォンから入力された音声信号に基づき音源方向を検出する入力音分析部、
   前記入力音分析部により検出された音源方向に配置されている前記マイクロフォンの配置方向を基点として、前記マイクロフォンから入力された音声信号を表す形状を前記表示部に表示させる表示制御部、
   を備えることを特徴とする、音声情報表示装置。
2. 前記表示制御部は、前記音声信号を表す形状を、前記マイクロフォンの配置方向を基点として、前記マイクロフォンの音源特定範囲を表す形状として表示させる、
   ことを特徴とする、請求項１に記載の音声情報表示装置。
3. 前記表示制御部は、前記音声信号を表す形状を、前記マイクロフォンの配置方向を基点として、放射状に表示させる、
   ことを特徴とする、請求項１または請求項２に記載の音声情報表示装置。
4. 前記入力音分析部は、前記マイクロフォンから入力された音声信号の周波数帯域を分析し、
   前記表示制御部は、前記基点より前記入力音分析部によって分析された周波数帯域毎に表示位置が異なるように前記音声を示す情報を表示させる、
   ことを特徴とする、請求項１から請求項３のいずれか１項に記載の音声情報表示装置。
5. 前記入力音分析部は、前記マイクロフォンから入力された音声信号の音圧レベルを分析し、
   前記表示制御部は、前記基点より前記入力音分析部によって分析された音圧レベル毎に表示位置が異なるように前記音声を示す情報を表示させる、
   ことを特徴とする、請求項１から請求項３のいずれか１項に記載の音声情報表示装置。
6. 前記複数のマイクロフォンから入力された音声信号の種別を分析する音認識部をさらに備え、
   前記表示制御部は、前記音認識部により入力された音声信号が緊急を有する所定の音声信号であると判断された場合、前記音声を示す情報の表示形態を変更して表示させる、
   ことを特徴とする、請求項１から請求項５のいずれか１項に記載の音声情報表示装置。
7. 表示部を囲うように配置された複数のマイクロフォンから入力された音声信号に基づき音源方向を検出する入力音分析ステップ、
   前記入力音分析ステップにおいて検出された音源方向に配置されている前記マイクロフォンの配置方向を基点として、前記マイクロフォンから入力された音声信号を表す形状を前記表示部に表示させる表示ステップ、
   を備えることを特徴とする音声情報表示方法。
8. 音声情報表示装置が備えるコンピュータに、
   表示部を囲うように配置された複数のマイクロフォンから入力された音声信号に基づき音源方向を検出する入力音分析ステップ、
   前記入力音分析ステップにおいて検出された音源方向に配置されている前記マイクロフォンの配置方向を基点として、前記マイクロフォンから入力された音声信号を表す形状を前記表示部に表示させる表示ステップ、
   を実行させることを特徴とするプログラム。

Images