JP2013183286A - 携帯端末装置、音源方向検出方法、及びプログラム - Google Patents

Abstract

【課題】周囲の音を認識できない状況においても、周囲で発生した音の発生方向を通知可能とする。
【解決手段】携帯端末装置３００は、筺体の周囲に配置され、周囲の音源が発する音を検知する複数のマイクロホンＭ１〜Ｍｎと、複数のマイクロホンＭ１〜Ｍｎで検知した各音の到着時間差を取得する音声処理部３０１と、音声処理部３０１により取得された各音の到着時間差に基づいて、音源の方向を算出する音源方向算出部３０２と、音源方向算出部３０２により算出された音源の方向を通知する通知部３０３とを備える。
【選択図】図９

Description

本発明は、携帯端末装置、音源方向検出方法、及びプログラムに関する。

携帯オーディオプレイヤや携帯電話といった携帯端末装置において、イヤホンを使って音楽を聴いたり、通話を行ったりしている場合、使用者は、周囲の音が聞こえない状況になる。例えば、歩行中に音が聞こえないことで、車の接近に気づかないというケースや、近くを歩く、もしくは自転車に乗っている人に気づかないというケースが考えられる。そこで、イヤホンを用いるなど、使用者が周囲の音を認識できない状況においても、周囲の音を検知し、音の発生方向を使用者に報知する技術が望まれる。

特許文献１には、車両用報知装置に係り、車両外における警報音（クラクション音や、サイレン音など）の発生を検出し、その警報音の種類を識別し、聴覚障害者ドライバに警報音の種類を識別できるよう報知する技術が提案されている。

特許文献２には、マイクロホンと振動モータとを備える４つの音検知伝達ブロックを組み込んだベルトを体に装着することで、体の水平面上の前後左右に配置し、マイクロプロセッサが信号変化を最初に検知した音検知伝達ブロックの位置が音源の方向と判定し、そのブロックの振動モータだけを振動させることで、装着者に音源方向を伝達する技術が提案されている。

また、特許文献３には、携帯電話装置の筐体側面（左側側面）に物体検出センサ（例えば光電センサ）を配置し、利用者が音声通話中に、携帯電話装置の利用者の背後方向に存在する物体、または背後方向から接近してくる物体を検出した際に、その旨を筐体振動用のバイブレータや、スピーカを用いて通知する技術が提案されている。

また、特許文献４には、少なくとも３個のマイクロホンを、同一平面上に、１２０度の間隔をもって均等に配置し、これらのマイクロホンのうち、選択された２つを１組としてマイクロホンの出力を、それぞれ対応する相関器に入力とするとともに、これら複数個の相関器に掃引角度の関数である時間差を与えることで相関係数を取得し、取得した複数の相関係数を加算し、極座標上の掃引角度位置にプロットすることで、音の到来方向を表示する技術が提案されている。

また、特許文献５には、携帯端末モジュールで、例えば、泣き、叫び、ガラスを壊しているなどの音を検知し、その音の種類を認識し、親等が装着しているヘッドセットを振動させるなどして警告する技術が提案されている。

特開２００２−２４０６６０号公報 特開２００５−３４９１５５号公報 特開２０１０−１７１６７３号公報 特開平１１−０８３９８２号公報 特表２００８−５２９１２６

しかしながら、上述した特許文献１〜５は、周辺の音の発生や、音の発生方向を検出して使用者に知らせることを目的とした装置であって、イヤホンを用いるなどして使用者が周囲の音を認識できない状況においては、その使用している装置で周囲の音の発生や、音の発生方向を使用者に通知することができないという問題がある。

なお、特許文献３は、携帯電話装置に関する技術であるが、物体検出センサ（例えば光電センサ）により、利用者の背後方向に存在する物体、または背後方向から接近してくる物体を検出するのであって、周辺の音の発生や、音の発生方向を検出することはできないという問題がある。

そこで本発明は、周囲の音を認識できない状況においても、周囲で発生した音の発生方向を通知することができる携帯端末装置、音源方向検出方法、及びプログラムを提供することを目的とする。

本発明の携帯端末装置は、筺体の周囲に配置され、周囲の音源が発する音を検知する複数のマイクロホンと、前記複数のマイクロホンで検知した各音の到着時間差を取得する音声処理部と、前記音声処理部により取得された前記各音の到着時間差に基づいて、前記音源の方向を算出する音源方向算出部と、前記音源方向算出部により算出された前記音源の方向を通知する通知部とを備えることを特徴とする携帯端末装置である。

本発明の音源方向通知方法は、筺体の周囲に配置された複数のマイクロホンで周囲の音源が発する音を検知するステップと、前記複数のマイクロホンで検知した各音の到着時間差を取得するステップと、前記各音の到着時間差に基づいて、前記音源の方向を算出するステップと、前記算出された前記音源の方向を通知するステップとを含むことを特徴とする音源方向通知方法である。

本発明のプログラムは、携帯端末装置のコンピュータに、筺体の周囲に配置された複数のマイクロホンで周囲の音源が発する音を検知するステップと、前記複数のマイクロホンで検知した各音の到着時間差を取得するステップと、前記各音の到着時間差に基づいて、前記音源の方向を算出するステップと、前記算出された前記音源の方向を通知するステップとを実行させることを特徴とするプログラムである。

この発明によれば、周囲の音を認識できない状況においても、周囲で発生した音の発生方向を通知することができる。

本発明の第１実施形態による携帯端末装置１０１の外観を示す外観図である。 本第１実施形態による携帯端末装置１０１の構成を示すブロック図である。 本第１実施形態による音源方向検出方法を説明するための概念図である。 本第１実施形態による音源方向検出方法を説明するための概念図である。 本第１実施形態による携帯端末装置１０１の動作（メインルーチン）を説明するためのフローチャートである。 本第１実施形態による携帯端末装置１０１の動作（音源方向算出方法）を説明するためのフローチャートである。 本第１実施形態による携帯端末装置１０１での音源方向の通知例を示す概念図である。 本第２実施形態による携帯端末装置１０１の動作を説明するためのフローチャートである。 付記１の構成を示すブロック図である。

以下、本発明の実施の形態を、図面を参照して説明する。

Ａ．第１実施形態
まず、本発明の第１実施形態について説明する。
図１は、本発明の第１実施形態による携帯端末装置１０１の外観を示す外観図である。図１において、携帯端末装置１０１の本体は、ディスプレイ１０２、操作ボタン１０３、及び４つマイクロホン（以下、単にマイクという）Ｍ１、Ｍ２、Ｍ３、Ｍ４を備えている。４つのマイクＭ１、Ｍ２、Ｍ３、Ｍ４は、携帯端末装置１０１の筺体の対角箇所に備え付けられており、携帯端末装置１０１周囲の音を検知する。また、携帯端末装置１０１の筺体外周の内部には、特定の箇所のみが振動するように振動部Ｖ１〜Ｖ８が内蔵されている。

図２は、本第１実施形態による携帯端末装置１０１の構成を示すブロック図である。なお、図１に対応する部分には同一の符号を付けて説明を省略する。図２において、４つのマイクＭ１、Ｍ２、Ｍ３、Ｍ４は、音源処理部２０２に接続されている。音源処理部２０２は、各マイクＭ１〜Ｍ４から入力される音から、各マイクＭ１〜Ｍ４で検出された音の到達時間差を取得し、ＣＰＵ２０１に情報を伝える。ＲＯＭ２０３は、ＣＰＵ２０１が動作するための命令コードを記憶している。また、ＲＡＭ２０４は、ＣＰＵ２０１が動作するために必要なデータを一時記録するワーキングエリアとして用いられる。

ＣＰＵ２０１は、ＲＯＭ２０３に格納されている命令コードを実行する。特に、本第１実施形態では、ＣＰＵ２０１は、音源処理部２０２から与えられる各マイクＭ１〜Ｍ４での到達時間差に基づいて、音源の方向、すなわち音の発生方向を算出する。また、ＣＰＵ２０１は、使用者に音の発生方向を報知するため、振動制御部２０５を制御する。振動制御部２０５は、ＣＰＵ２０１の制御の下、音の発生方向に対応する位置に配置された振動部Ｖｉ（ｉ＝１〜８）を駆動する。

また、ＣＰＵ２０１は、上記音の発生方向に従って、表示制御部２０６を制御する。表示制御部２０６は、ＣＰＵ２０１の制御の下、音の発生方向を一見して視認可能な表示形態でディスプレイ２０７に表示する。

このように、本第１実施形態では、音の発生方向を、振動部Ｖｉを振動させることで知らせるとともに、ディスプレイ２０７に表示することでも使用者に検知した音の発生方向を知らせることが可能となっている。なお、どちらか一方であってもよいし、振動させるか、表示するか、あるいは双方とも実行するかは、ユーザにより設定可能としてもよい。

図３、及び図４は、本第１実施形態による音源方向検出方法を説明するための概念図である。図３において、携帯端末装置１０１の斜め方向に位置する音源Ａから音が発生した場合を例に説明する。音源Ａで発生した音は、携帯端末装置１０１のマイクＭ１にまず到達し、続いてマイクＭ２、Ｍ３、Ｍ４の順に到達する。音の発生方向については、２点のマイクから以下の通り算出することが可能となる。

まず、マイクＭ１とマイクＭ２における、音の到達時間差がΔｔ_{Ｍ１−Ｍ２}（ｓ）であったと仮定する。マイクＭ１とマイクＭ２との距離は、固定の値であるため、ｄ_{Ｍ１−Ｍ２}（ｍ）と仮定し、音の速度をｃ（ｍ／ｓ）とする。そのとき、Δｄ_{Ｍ１−Ｍ２}＝ｄ_{Ｍ１−Ｍ２}・ｓｉｎθ_{Ｍ１−Ｍ２}、及び、Δｄ_{Ｍ１−Ｍ２}＝ｃ・Δｔ_{Ｍ１−Ｍ２}で、Δｄ_{Ｍ１−Ｍ２}を表わすことができるため、音源Ａの方向θ_{Ｍ１−Ｍ２}は、ｓｉｎθ_{Ｍ１−Ｍ２}＝ｃ・Δｔ_{Ｍ１−Ｍ２}／ｄ_{Ｍ１−Ｍ２}と算出することができる。

但し、図４に示すように、Δｔ_{Ｍ１−Ｍ２}（ｓ）で到達する音については、音源Ｂから発生していたとしても同じ数値となる。そのため、Δｄ_{Ｍ１−Ｍ２}についても同じ値となるので、音源Ａから発生しているのか、音源Ｂから発生しているのか、携帯端末装置１０１からの方向が不明となる。つまり、携帯端末装置１０１の短い辺側を基準とした音源の方向をθとした場合、音源Ａから発生している場合、θ＝θ_１となるが、音源Ｂからの場合はθ＝θ_２となる。

そこで、図３に示すように、マイクＭ１とマイクＭ３に対しての音の到達時間差からθ_{Ｍ１−Ｍ３}を算出する。マイクＭ１とマイクＭ２に対しての算出したときと同様に、携帯端末装置１０１の短い辺側を基準とした方向を算出すると、θ_{Ｍ１−Ｍ３}からはθ_１と同じ角度が導き出せ、θ_２を導き出すことができない（マイクＭ１とマイクＭ３とを結ぶ辺に角度θ_{Ｍ１−Ｍ３}を持つ三角形は、マイクＭ１とマイクＭ２を結ぶ辺に角度θ_{Ｍ１−Ｍ２}を持つ三角形と相似である）。よって、θ_１の方向に位置する音源Ａが正しい音源であると特定できる。

次に、上述した第１実施形態の動作について説明する。
図５は、本第１実施形態による携帯端末装置１０１の動作（メインルーチン）を説明するためのフローチャートである。まず、携帯端末装置１０１において、マイクＭ１、Ｍ２、Ｍ３、Ｍ４により音源からの音を検出する（ステップＳ１０）。このとき、音源処理部２０２は、マイクＭ１、Ｍ２、Ｍ３、Ｍ４における音の到達時間差を取得する。次に、ＣＰＵ２０１は、該音の到達時間差から音の発生方向を算出する（ステップＳ１２）。発生方向の算出方法の詳細については後述する。

次に、ＣＰＵ２０１は、振動制御部２０５を制御して、音の発生方向に対応する位置に配設されている振動部Ｖｉを振動させるとともに、表示制御部２０６を制御して、音の発生方向をディスプレイ２０７に表示させることで、使用者へ音の発生方向を通知する（ステップＳ１４）。

図６は、本第１実施形態による携帯端末装置１０１の動作（音源方向算出方法）を説明するためのフローチャートである。上述したステップＳ１２での音の発生方向算出方法について図６を参照して詳細に説明する。まず、音源処理部２０２は、マイクＭ１、Ｍ２、Ｍ３、Ｍ４における音の到達時間差をＣＰＵ２０１に通知する（ステップＳ２０）。次に、ＣＰＵ１０１は、４つのマイクＭ１、Ｍ２、Ｍ３、Ｍ４のうち、１番目に検知したマイクＭｌの検知音と、２番目に検知したマイクＭｍの検知音との到達時間差から第１の方向を算出する（ステップＳ２２）。詳細は、図３の説明を参照されたい。

次に、ＣＰＵ１０１は、１番目に検知したマイクＭｌの検知音と、３番目に検知したマイクＭｎの検知音との到達時間差から第２の方向を算出する（ステップＳ２４）。詳細は、図３の説明を参照されたい。次に、ＣＰＵ１０１は、上記第１の方向と上記第２の方向とが満たされる角度を算出し（図３を参照）、その角度から、音の発生方向、すなわち音源の方向を決定する（ステップＳ２６）。

図７（ａ）、（ｂ）は、本第１実施形態による携帯端末装置１０１での音源方向通知例を示す概念図である。上述した処理で、音の発生方向、すなわち音源の方向を決定すると、図７（ａ）、（ｂ）に示すように、ＣＰＵ１０１は、音の発生方向に対応する位置に配置された振動部Ｖｉを振動させるとともに、ディスプレイ１０２に自身の位置と音源の位置とを表示する。

図７（ａ）では、使用者の左斜め前方で音が検知された場合で、携帯端末装置１０１の左斜め上側に配置された振動部Ｖ１が振動して、ディスプレイ１０２には、使用者の位置（△）から左前方に音源（○）が表示されている。また、図７（ｂ）では、使用者の左側で音が発生している場合で、携帯端末装置１０１の左側に配置された振動部Ｖ８が振動して、ディスプレイ１０２には、使用者の位置（△）から左に音源（○）が表示されている。

なお、上述した第１実施形態では、音の発生方向、すなわち音源の方向を決定すると、音の発生方向に対応する位置に配置された振動部Ｖｉを振動させるとともに、ディスプレイ１０２にグラフィックで表示するとしたが、どちらか一方であってもよい。また、振動させるか、表示するか、あるいは双方とも実行するかは、ユーザにより設定可能であってもよい。

また、上述した第１実施形態では、携帯端末装置１０１の筐体内部の周囲（四隅、四辺）に振動部Ｖ１〜Ｖ８を配設したが、これに限らず、四隅に配設した振動部Ｖ１〜Ｖ４の組み合わせで全方向に対応するように振動させるようにしてもよい。すなわち、少なくとも上下左右、左上、右上、右下、左下の８方向を識別可能に振動させるものであれば、その振動部の構成、構造は限定されない。

上述した第１実施形態によれば、携帯端末装置１０１の使用者は、音が聞こえない状況下においても、使用者の周辺で発生している音の発生方向（音源の方向）を認知することができる。また、携帯端末装置１０１の振動箇所から方向を認知することができるため、使用者は、ディスプレイ１０２から目を離していても、音の発生している方向を認識することができる。

Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。
本発明の第２実施形態では、音源が使用者に近づいている場合に、使用者に通知することを特徴とする。ドップラー効果により音源が近づいている場合には、周波数が高くなる。そこで、同じ音源の音を少なくとも２回取得し、それぞれの音の周波数を比較する。周波数が高くなっていれば、音源が近づいていると判断して使用者に通知する。周波数が高くならない場合には、使用者と同じ距離を保っている、もしくは遠ざかっていると判断し、使用者への通知は行わない。比較を行うための音の取得は、４つのマイクＭ１〜Ｍ４のうちいずれか１つのマイクＭｉでよい。なお、携帯端末装置１０１の構成は、図２と同様であるので説明を省略する。

図８は、本第２実施形態による携帯端末装置１０１の動作を説明するためのフローチャートである。まず、携帯端末装置１０１において、マイクＭ１、Ｍ２、Ｍ３、Ｍ４により音を検出する（ステップＳ３０）。１回目の音の検出である。このとき、音源処理部２０２は、該１回目の音の周波数を取得する。次に、上述した第１実施形態と同様に、音源処理部２０２が、マイクＭ１、Ｍ２、Ｍ３、Ｍ４での音の到達時間差を算出し、ＣＰＵ２０１が、該音の到達時間差から音の発生方向を算出する（ステップＳ３２）。

次に、ＣＰＵ２０１は、該１回目の音の周波数をＲＡＭ２０４に記録し（ステップＳ３４）、比較を行うことが可能な音の周波数が記録されているか否かを判別する（ステップＳ３６）。この場合、１回目の音の取得であるので、比較する周波数はない（ステップＳ３６のＮＯ）。ゆえに、この場合、ステップＳ３０に戻り、再度、マイクＭ１、Ｍ２、Ｍ３、Ｍ４により音を検出する（７０１）。２回目の音の検出である。このとき、音源処理部２０２は、１回目の音の検出のときと同様に、該２回目の音の周波数を取得する。そして、ステップＳ３２で、取得した音の発生方向を算出し、ステップＳ３４で、該２回目の音の周波数をＲＡＭ２０４に記録する。

次に、ステップＳ３６で、比較する周波数があるか否かを判別する。この場合、１回目の音の周波数が記録されているので（ステップＳ３６のＹＥＳ）、ＣＰＵ２０１は、１回目の音の周波数に比べて、２回目の音の周波数が高くなっているか否かを判別する（ステップＳ３８）。そして、２回目の音の周波数の方が高くなっていない場合には（ステップＳ３８のＮＯ）、音源が使用者と同じ距離を保っている、もしくは遠ざかっていると判断し、使用者への通知は行わず、当該処理を終了する。

一方、１回目の音の周波数より、２回目の音の周波数の方が高くなっている場合には（ステップＳ３８のＹＥＳ）、音源が使用者に近づいていると判断し、使用者に音の発生方向を通知する（ステップＳ４０）。音の発生方向の通知方法は、前述した第１実施形態と同様に、音の発生方向に対応する位置に配置された振動部Ｖｉを振動させるとともに、ディスプレイ１０２にグラフィックで表示するか、あるいは、どちらか一方で通知するようにしてもよい。

上述した第２実施形態によれば、例えば自分の足音など使用者自身が発している音に対して反応しなくなるので、誤検出を防止することができる。また、使用者に近づかない音源に対して反応しなくなるので、不要な動作を防止することができ、消費電力の低減につながる。

なお、上述した第２実施形態において、２回目の音は、１回目の音と同じ方向からの音である必要がある。例えば、角度にして±２度など、所定の許容誤差範囲なら同じ方向からの音であると判別する。つまり、同じ音源であることが条件となる。

また、上述した第２実施形態において、２回目の音の検出に対しては、１回目の音の検出から一定期間の時間をとるため、例えばタイマーなどで間隔をあけて取得してもよい。

また、上述した第１、第２実施形態では、音源方向を振動や、ディスプレイ１０２への表示によって通知するようにしたが、これに限らず、合成音声により通知する（イヤホンを用いている場合、強制的にイヤホンに音源方向を音声出力する）ようにしてもよい。

また、上述した第１、第２実施形態では、ディスプレイ１０２には、使用者の位置（△）と音源（○）とを表示するようにしたが、これに限らず、音源方向が分かるのであればどのような表示形態であってもよい。例えば、音源方向を示す矢印を表示するようにしてもよい。

また、本第１、第２実施形態は、携帯端末装置として携帯電話に適用した例であるが、本発明はこれに限定されるものではなく、スマートフォンや、携帯ゲーム機、モバイルＰＣ（パーソナルコンピュータ）、携帯型通信機、その他の電子機器等にも幅広く適用できる。

以下、本発明の特徴を付記する。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
図９は、付記１の構成図である。なお、図９と図２との対応について説明する。図９に示すマイクＭ１〜Ｍｎは、図２のマイクＭ１〜Ｍ４に相当し、音源処理部３０１は、図２の音源処理部２０２に相当する。また、図９の音源方向算出部３０２は、図２のＣＰＵ２０１に相当し、図９の通知部３０３は、図２の表示制御部２０６、ディスプレイ１０２、または振動制御部２０５、振動部Ｖ１〜Ｖ８に相当する。

この図に示すように、付記１記載の発明は、
筺体の周囲に配置され、周囲の音源が発する音を検知する複数のマイクロホンＭ１〜Ｍｎと、
前記複数のマイクロホンＭ１〜Ｍｎで検知した各音の到着時間差を取得する音声処理部３０１と、
前記音声処理部３０１により取得された前記各音の到着時間差に基づいて、前記音源の方向を算出する音源方向算出部３０２と、
前記音源方向算出部３０２により算出された前記音源の方向を通知する通知部３０３と
を備えることを特徴とする携帯端末装置３００である。

（付記２）
前記音源方向算出部は、前記マイクロホンのうち、１番目に検知したマイクロホンの検知音と、２番目に検知したマイクフォンの検知音との到達時間差から第１の方向を算出し、１番目に検知したマイクロホンの検知音と、３番目に検知したマイクロホンの検知音との到達時間差から第２の方向を算出し、前記第１の方向と前記第２の方向との双方が満たされる角度を、前記音源の方向であると決定することを特徴とする付記１に記載の携帯端末装置である。

（付記３）
前記通知部は、前記音源の方向に対応する、筺体の一部を振動させることで前記音源の方向を通知することを特徴とする付記１または２に記載の携帯端末装置である。

（付記４）
筺体周囲に配設された複数の振動部を備え、前記通知部は、前記複数の振動部のうち、前記音源の方向に対応する位置に配設された前記振動部を振動させることで前記音源の方向を通知することを特徴とする付記３に記載の携帯端末装置である。

（付記５）
前記通知部は、前記音源の方向を視認可能なグラフィックスで表示することで前記音源の方向を通知することを特徴とする付記１から４のいずれかに記載の携帯端末装置である。

（付記６）
前記通知部は、使用者の位置を示すマーカと該使用者の位置に対して、前記音源の方向に対応する方向に前記音源を示すマーカとを表示することを特徴とする付記５に記載の携帯端末装置である。

（付記７）
前記複数のマイクロホンのうち、少なくとも１つマイクロホンにより同じ音源が発する音を少なくとも２回検知し、それぞれの音の周波数の変化に基づいて、前記音源が近づいているか否かを判別する音源近接判別部を更に備え、前記通知部は、前記音源近接判別部により前記音源が近づいていると判別された場合に、前記音源方向算出部により算出された前記音源の方向を通知することを特徴とする付記１から６のいずれかに記載の携帯端末装置である。

（付記８）
筺体の周囲に配置された複数のマイクロホンで周囲の音源が発する音を検知するステップと、前記複数のマイクロホンで検知した各音の到着時間差を取得するステップと、前記各音の到着時間差に基づいて、前記音源の方向を算出するステップと、前記算出された前記音源の方向を通知するステップとを含むことを特徴とする音源方向通知方法である。

（付記９）
携帯端末装置のコンピュータに、筺体の周囲に配置された複数のマイクロホンで周囲の音源が発する音を検知するステップと、前記複数のマイクロホンで検知した各音の到着時間差を取得するステップと、前記各音の到着時間差に基づいて、前記音源の方向を算出するステップと、前記算出された前記音源の方向を通知するステップとを実行させることを特徴とするプログラムである。

（付記１０）
前記複数のマイクロホンのうち、少なくとも１つマイクロホンにより音源が発する音を少なくとも２回検知する際に、１回目の音の検知後から前記２回目の音の検知までの所定の時間経過を計時する計時部を備えることを特徴とする付記７に記載の携帯端末装置である。

（付記１１）
前記通知部は、前記音源の方向を合成音声により通知することを特徴とする付記１から７のいずれかに記載の携帯端末装置である。

１０１、３００ 携帯端末装置
１０２ ディスプレイ
１０３ 操作ボタン
２０１ ＣＰＵ
２０２、３０１ 音源処理部
２０３ ＲＯＭ
２０４ ＲＡＭ
２０５ 振動制御部
２０６ 表示制御部
３０２ 音源方向算出部
３０３ 通知部
Ｍ１〜Ｍ４ マイク
Ｖ１〜Ｖ８ 振動部

Claims (9)

1. 筺体の周囲に配置され、周囲の音源が発する音を検知する複数のマイクロホンと、
   前記複数のマイクロホンで検知した各音の到着時間差を取得する音声処理部と、
   前記音声処理部により取得された前記各音の到着時間差に基づいて、前記音源の方向を算出する音源方向算出部と、
   前記音源方向算出部により算出された前記音源の方向を通知する通知部と
   を備えることを特徴とする携帯端末装置。
2. 前記音源方向算出部は、
   前記マイクロホンのうち、１番目に検知したマイクロホンの検知音と、２番目に検知したマイクフォンの検知音との到達時間差から第１の方向を算出し、１番目に検知したマイクロホンの検知音と、３番目に検知したマイクロホンの検知音との到達時間差から第２の方向を算出し、前記第１の方向と前記第２の方向との双方が満たされる角度を、前記音源の方向であると決定する
   ことを特徴とする請求項１に記載の携帯端末装置。
3. 前記通知部は、
   前記音源の方向に対応する、筺体の一部を振動させることで前記音源の方向を通知する
   ことを特徴とする請求項１または２に記載の携帯端末装置。
4. 筺体周囲に配設された複数の振動部を備え、
   前記通知部は、
   前記複数の振動部のうち、前記音源の方向に対応する位置に配設された前記振動部を振動させることで前記音源の方向を通知する
   ことを特徴とする請求項３に記載の携帯端末装置。
5. 前記通知部は、
   前記音源の方向を視認可能なグラフィックスで表示することで前記音源の方向を通知する
   ことを特徴とする請求項１から４のいずれかに記載の携帯端末装置。
6. 前記通知部は、
   使用者の位置を示すマーカと該使用者の位置に対して、前記音源の方向に対応する方向に前記音源を示すマーカとを表示する
   ことを特徴とする請求項５に記載の携帯端末装置。
7. 前記複数のマイクロホンのうち、少なくとも１つマイクロホンにより同じ音源が発する音を少なくとも２回検知し、それぞれの音の周波数の変化に基づいて、前記音源が近づいているか否かを判別する音源近接判別部を更に備え、
   前記通知部は、
   前記音源近接判別部により前記音源が近づいていると判別された場合に、前記音源方向算出部により算出された前記音源の方向を通知する
   ことを特徴とする請求項１から６のいずれかに記載の携帯端末装置。
8. 筺体の周囲に配置された複数のマイクロホンで周囲の音源が発する音を検知するステップと、
   前記複数のマイクロホンで検知した各音の到着時間差を取得するステップと、
   前記各音の到着時間差に基づいて、前記音源の方向を算出するステップと、
   前記算出された前記音源の方向を通知するステップと
   を含むことを特徴とする音源方向通知方法。
9. 携帯端末装置のコンピュータに、
   筺体の周囲に配置された複数のマイクロホンで周囲の音源が発する音を検知するステップと、
   前記複数のマイクロホンで検知した各音の到着時間差を取得するステップと、
   前記各音の到着時間差に基づいて、前記音源の方向を算出するステップと、
   前記算出された前記音源の方向を通知するステップと
   を実行させることを特徴とするプログラム。
   

Images