JP2012247300A - 位置測定システム - Google Patents

Abstract

【課題】従来技術に比較して高精度で端末の位置を測定することができる位置測定システムを提供する。
【解決手段】位置測定システムは、マイクロホンアレイを備えた複数のノードが相互にネットワークで接続されかつ時刻同期されたマイクロホンアレイ・ネットワークシステムを用いて、各ノードの位置を推定する制御部を備える。各ノードは、マイクロホンアレイで受信した、１つのノードからのサウンド信号に基づいて、サウンド信号の到来方向の角度を推定する音源推定処理部と、サウンド信号の送信時刻と受信時刻との差分とサウンド信号の速度に基づいて、サウンド信号を送信したノードからの距離を推定する距離推定部と、推定された到来方向の角度及び距離を他のノードに対してデータ通信で送受信するデータ通信部とを備え、制御部は、推定された到来方向の角度及び距離に基づいて、各ノードの位置を推定して計算する。
【選択図】図１４Ａ

Description

本発明は、高音質な音声取得を目的とするマイクロホンアレイ・ネットワークシステムならびにマイクロホンアレイ・ネットワークシステムを用いた位置測定システムに関する。

従来、音声を利用するアプリケーションシステム（例えば、複数台のマイクロホンを接続するような音声会議システム、音声認識するロボットシステム、各種音声インタフェースを備えたシステム等）では、高音質な音声を利用するために、音源定位、音源分離、雑音除去、エコーキャンセル等の様々な音声処理を行っている。

特に、高音質な音声取得を目的として、音源定位や音源分離を主な処理とするマイクロホンアレイが広く研究されている。ここで、音源定位とは音の到達時間差などから音源の方向・位置を特定することであり、また音源分離は音源定位の結果を利用して雑音となる音源を消去し特定方向にある特定音源の抽出を行うことである。

マイクロホンアレイを用いた音声処理は、通常、マイクロホン数が多いほど雑音処理などの音声処理性能が向上することが知られている。また、そのような音声処理では、音源の位置情報を用いる音源定位の手法が多く存在している（例えば、非特許文献１を参照。）。音源定位の結果が正確であるほど音声処理が有効に働くことになる。すなわち、マイクロホン数を増加して音源定位の高精度化と高音質のための雑音除去を同時に図ることが必要とされている。

従来の大規模マイクロホンアレイを用いた音源定位の場合、図１０に示すように、音源の位置範囲を網目状に分割し、各区間に対して音源位置を確率的に求める。この計算には、全音声データをワークステーションなどの一箇所の音声処理サーバに収集し、全音声データを一括処理して音源の位置を推定していた（例えば、非特許文献２を参照。）。このような全音声データの一括処理の場合には、音声収集のためのマイクロホンと音声処理サーバ間の信号配線長、通信量や音声処理サーバでの演算量が膨大となっていた。配線長、通信量、音声処理サーバでの演算量の増大、また音声処理サーバ一箇所に多数のＡ／Ｄコンバータを配置できないという物理的な制限によって、マイクロホン数を増やせないという問題がある。また、信号配線長が長くなることによるノイズの発生の問題もある。そのため、高音質を追求するためのマイクロホン数の増加が困難であるという問題が生じていた。

かかる問題を改善する方法として、複数のマイクロホンを小アレイに分割し、それを統合するマイクロホンアレイによる音声処理システムが知られている（例えば、非特許文献３を参照。）。

しかしながら、かかる音声処理システムの場合でも、小アレイで取得した全てのマイクロホンの音声データを、ネットワークを介して一箇所の音声サーバに統合することから、ネットワークの通信トラフィックの増加の問題がある。また、通信データ量や通信トラフィック量の増加に伴う音声処理の遅延が生じるという問題がある。

また、今後、ユビキタス・システムにおける収音やテレビ会議システムなどの要求に応えるためには、より多くのマイクロホンが必要となってくる（例えば、特許文献１を参照。）。しかしながら、上述の通り、現状のマイクロホンアレイのネットワークシステムでは、マイクロホンアレイで得られた音声データをそのままサーバに転送しているに過ぎない。マイクロホンアレイの各ノードが相互に音源の位置情報を交換して、システム全体の計算量の低減ならびにネットワークの通信量の低減を図るシステムは見当たらない。

従って、マイクロホンアレイのネットワークシステムの大規模化を想定し、システム全体の計算量の低減ならびにネットワークの通信量を抑えるようなシステムアーキテクチャーが重要となる。

上述したように、音声処理サーバにおける通信量と演算量を抑えながら、数多くのマイクロホンアレイを用いて音源定位精度を高め、雑音除去などの音声処理を有効に行わせることが求められている。

また、昨今、音源を用いた位置測定システムが提案されている。例えば、特許文献２では、超音波タグとマイクロホンアレイとを用いて超音波タグを算定することが開示されている。さらに、特許文献３では、マイクロホンアレイを用いて収音を行うことが開示されている。

特開２００８−１１３１６４号公報 国際公開第２００８／０２６４６３号パンフレット 特開２００８−０５８３４２号公報

R.O. Schmidt, "Multiple emitter location and signal parameter estimation", In Proceedings of the RADC Spectrum Estimation Workshop, pp.243-248, October 1979. E. Weinstein et al., "Loud: A 1020-node modular microphone array and beamformer for intelligent computing spaces", MIT, MIT/LCS Technical Memo MIT-LCS-TM-642, April 2004. A. Brutti et al., "Classification of Acoustic Maps to Determine Speaker Position and Orientation from a Distributed Microphone Network", In Proceedings of ICASSP, Vol. IV, pp. 493-496, April. 2007.

しかしながら、多くのモバイル端末に搭載されているＧＰＳシステムやＷｉＦｉシステムの位置測定機能では、地図上のおおまかな位置を取得できても、数十ｃｍといった近距離での端末間の位置関係を取得できないという問題点があった。

本発明の目的は以上の問題点を解決し、従来技術に比較して高精度で端末の位置を測定することができる位置測定システムを提供することにある。

本発明に係る位置測定システムは、マイクロホンアレイを備えた複数のノードが相互にネットワークで接続されかつ時刻同期されたマイクロホンアレイ・ネットワークシステムを用いて、上記各ノードの位置を推定する制御部を備えた位置測定システムであって、
上記各ノードは、
複数のマイクロホンをアレイ状に配列して構成されたマイクロホンアレイと、
上記マイクロホンアレイで受信した、１つのノードからのサウンド信号に基づいて、上記サウンド信号の到来方向の角度を推定する音源推定処理部と、
上記サウンド信号の送信時刻と受信時刻との差分とサウンド信号の速度に基づいて、上記サウンド信号を送信したノードからの距離を推定する距離推定部と、
上記推定された到来方向の角度及び距離を他のノードに対してデータ通信で送受信するデータ通信部とを備え、
上記制御部は、上記推定された到来方向の角度及び距離に基づいて、上記各ノードの位置を推定して計算することを特徴とする。

上記位置測定システムにおいて、上記制御部は、上記各ノードの位置に基づいて座標値を計算して表示し又は出力することを特徴とする。

また、上記位置測定システムにおいて、上記制御部は、上記各ノードの位置を用いて所定のアプリケーションを実行することを特徴とする。

さらに、上記位置測定システムにおいて、上記各ノードは表示部を備え、上記制御部は、上記所定のアプリケーションにおいて、上記計算された各ノードの位置に基づいて、上記表示部上で上記各ノードに対する方向を対応させ、上記表示部上で所定のデータを送信すべきノードに向けてドラッグすることにより、当該送信すべきノードを指示し、当該指示されたノードに対して上記所定のデータを送信することを特徴とする。

またさらに、上記位置測定システムにおいて、上記制御部は、上記各ノード、上記複数のノードのうちの１つのノード、もしくは、上記複数のノードとは別のサーバ装置に設けられたことを特徴とする。

従って、本発明によれば、従来技術に比較して高精度で端末の位置を測定することができる位置測定システムを提供することができる。

本発明の第１の実施形態に係る音源定位システムの構成を示す説明図である。 図１の音源定位システムにおける２次元の音源定位を説明する説明図である。 図１の音源定位システムにおける３次元の音源定位を説明する説明図である。 本発明の実施例１に係るマイクロホンアレイ・ネットワークシステムの構成を示す構成図である。 図４のマイクロホンアレイを備えたノードの構成を示す構成図である。 図４のマイクロホンアレイ・ネットワークシステムの機能を示す機能図である。 図４のマイクロホンアレイ・ネットワークシステムにおける３次元の音源定位精度の実験を説明する説明図である。 図４のマイクロホンアレイ・ネットワークシステムにおける３次元の音源定位精度向上を示す測定結果を示すグラフである。 本発明の実施例２に係るマイクロホンアレイ・ネットワークシステムの構成を示す構成図である。 従来技術に係る音源定位システムを説明する説明図である。 本発明の第２の実施形態に係る位置測定システムで用いるノードの詳細構成を示すブロック図である。 図１１の位置測定システムで用いるネットワークの構成を示すブロック図である。 図１２の位置測定システムで用いる線形補間付き時間同期を示すグラフである。 図１２の位置測定システムにおける各タブレット間の信号伝送手順及び各タブレットで実行される各処理を示すタイミングチャートの第１の部分である。 図１２の位置測定システムにおける各タブレット間の信号伝送手順及び各タブレットで実行される各処理を示すタイミングチャートの第２の部分である。 図１２の位置測定システムの各タブレットで測定された角度情報から各タブレット間の距離を測定する方法を示す平面図である。 図１２の位置測定システムを用いたメッセージ交換システムの概念を示す平面図である。 図１５のメッセージ交換システムの１つのアプリケーションを示すディスプレイの表示例である。 図１２の位置測定システムを用いたホッケーゲームシステムの概念を示す平面図である。 図１７のホッケーゲームシステムのサーバ装置の実行画面の表示例である。 図１７のホッケーゲームシステムを実行しているときのタブレットの表示例である。

以下、本発明に係る実施形態について図面を参照して説明する。なお、以下の各実施形態において、同様の構成要素については同一の符号を付している。

（第１の実施形態）
図１は、本発明の音源定位の説明図を示している。図１に示すように、マイクロホンアレイを備えた６つのノードと１つの音声処理サーバ２０がネットワーク１０で接続されている。複数のマイクロホンをアレイ状に配列して構成されたマイクロホンアレイを備える６つのノードは、室内の四方の壁面に存在し、それぞれのノード内に存在する収音処理用のプロセッサで音源方向の推定を行い、その結果を音声処理サーバに統合することで音源の位置を特定する。各ノードでデータの処理を行うために、ネットワークの通信量が削減でき、ノード間で演算量が分散されるものである。

以下では、２次元の音源定位の場合と３次元の音源定位の場合に分けて詳細に説明する。先ず、本発明の２次元の音源定位方法について図２を参照しながら説明する。図２は２次元の音源定位方法を説明している。図２に示すように、ノード１〜ノード３は、それぞれのマイクロホンアレイから収音した収音信号から音源方向を推定する。各ノードは、各方向に対して、ＭＵＳＩＣ法の応答強度を計算して、その最大値をとる方向を音源方向と推定している。図２では、ノード１がマイクロホンアレイの配列面の垂線方向（正面方向）を０°とし、−９０°〜９０°までの方向に対して、応答強度を計算し、θ１＝−３０°の方向を音源方向と推定する場合を示している。ノード２やノード３も同様に各方向に対して、応答強度を計算して、その最大値をとる方向を音源方向と推定する。

そして、ノード１とノード２、或いは、ノード１とノード３というように、２つのノードの音源方向推定結果の交点に対して、重み付けを行っていく。ここで、重みは、各ノードのＭＵＳＩＣ法の最大応答強度に基づいて決定している（例えば２つのノードの最大応答強度の積とする）。図２では、重みのスケールを交点部分の丸印の径で表現している。
得られた複数の重みを示す丸印（位置とスケール）は音源位置候補となる。そして、得られた複数の音源位置候補の重心を求めることで音源位置を推定する。図２の場合、複数の音源位置候補の重心を求めるとは、複数の重みを示す丸印（位置とスケール）の重み付き重心を求めることである。

次に、本発明の３次元の音源定位方法について図３を参照しながら説明する。図３は３次元の音源定位方法を説明している。図３に示すように、ノード１〜ノード３は、それぞれのマイクロホンアレイから収音した収音信号から音源方向を推定する。各ノードは、３次元方向に対して、ＭＵＳＩＣ法の応答強度を計算して、その最大値をとる方向を音源方向と推定している。図３は、ノード１がマイクロホンアレイの配列面の垂線方向（正面方向）の回転座標系の方向に対して、応答強度を計算し、強度が大きな方向を音源方向と推定する場合を示している。ノード２やノード３も同様に各方向に対して、応答強度を計算して、その最大値をとる方向を音源方向と推定する。

そして、ノード１とノード２、或いは、ノード１とノード３というように、２つのノードの音源方向推定結果の交点に対して、重みを求めていくのであるが、３次元の場合には交点が得られないことが多い。そのため、２つのノードの音源方向推定結果の直線を最短で結ぶ線分上に仮想的に交点を求めることにしている。なお、重みは、２次元と同様に、各ノードのＭＵＳＩＣ法の最大応答強度に基づいて決定している（例えば２つのノードの最大応答強度の積とする）。図３では、図２と同様に、重みのスケールを交点部分の丸印の径で表現している。

得られた複数の重みを示す丸印（位置とスケール）は音源位置候補となる。そして、得られた複数の音源位置候補の重心を求めることで音源位置を推定する。図３の場合、複数の音源位置候補の重心を求めるとは、複数の重みを示す丸印（位置とスケール）の重み付き重心を求めることである。

本発明の一実施形態について説明する。図４は、実施例１のマイクロホンアレイ・ネットワークシステムの構成図を示している。図４は、１６個のマイクロホンがアレイ状に配列されたマイクロホンアレイ備えたノード（１ａ，１ｂ，…，１ｎ）と１つの音声処理サーバ２０がネットワーク１０で接続されたシステム構成を示している。それぞれのノードは、図５に示すように、１６個のアレイ状に配列されたマイクロホン（ｍ１１，ｍ１２，…，ｍ４３，ｍ４４）の信号線が収音処理部２の入出力部（Ｉ／Ｏ部）３に接続されており、マイクロホンから収音された信号が収音処理部２のプロセッサ４に入力される。収音処理部２のプロセッサ４は、入力した収音信号を用いて、ＭＵＳＩＣ法のアルゴリズムの処理を行って音源方向の推定を行う。

そして、収音処理部２のプロセッサ４は、図４で示される音声処理サーバ２０に対して、音源方向推定結果と最大応答強度を送信する。

このように、各ノード内で分散して音声定位を行い、その結果を音声処理サーバに統合し、上述の２次元定位や３次元定位の処理を行い、音源の位置を推定する。

図６は、実施例１のマイクロホンアレイ・ネットワークシステムの機能図を示している。

マイクロホンアレイを備えるノードは、マイクロホンアレイからの信号をＡ／Ｄ変換し（ステップＳ１１）、各マイクロホンの収音信号を入力する（ステップＳ１３）。各マイクロホンから収音した信号を用いて、ノートに搭載されているプロセッサが収音処理部として音源方向を推定する（ステップＳ１５）。

収音処理部は、図６に示すグラフのように、マイクロホンアレイの正面（垂線方向）を０°とし、その左右−９０°〜９０°までの方向について、ＭＵＳＩＣ法の応答強度を算出する。そして、応答強度が強い方向を音源方向と推定する。その収音処理部は、図示しないネットワークを介して音声処理サーバと接続されており、ノード内で音源方向推定結果（Ａ）と最大応答強度（Ｂ）をデータ交換している（ステップＳ１７）。音源方向推定結果（Ａ）と最大応答強度（Ｂ）は、音声処理サーバに送られる。

音声処理サーバでは、各ノードから送られてくるデータを受信する（ステップＳ２１）。各ノードの最大応答強度から複数の音源位置候補を算出する（ステップＳ２３）。そして、音源方向推定結果（Ａ）と最大応答強度（Ｂ）に基づいて音源の位置を推定する（ステップＳ２５）。

以下では、３次元の音源定位精度を説明する。図７は３次元の音源定位精度の実験の様子を模式図で示したものである。床面積が１２ｍ×１２ｍで高さが３ｍの部屋を想定している。１６個のマイクロホンをアレイ状に配列したマイクロホンアレイを床面の四方に等間隔で並べた１６のサブアレイを想定した（１６サブアレイのケースＡ）。また、マイクロホンアレイを床面の四方に１６個及び天井面の四方に１６個のマイクロホンアレイを等間隔で並べ、更に、床面に等間隔に９つのマイクロホンアレイを配置した４１のサブアレイを想定した（４１サブアレイのケースＢ）。また、マイクロホンアレイを床面の四方に３２個及び天井面の四方に３２個のマイクロホンアレイを等間隔で並べ、更に、床面に等間隔に９つのマイクロホンアレイを配置した７３のサブアレイを想定した（７３サブアレイのケースＣ）。

この３つのケースＡ〜Ｃを用いて、ノード数と各ノードの音源方向推定の誤差ばらつきを変更し、３次元位置推定の結果を比較した。３次元位置推定は、各ノードが通信相手をひとつランダムに選び、仮想交点を求めている。

測定した結果を図８に示す。図８の横軸は、方向推定誤差のばらつき（標準偏差）を示しており、縦軸は、位置推定誤差を示している。図８の結果から、音源方向の推定精度が悪くても、ノード数を増やすことで、３次元位置推定の精度を向上させられることがわかる。

本発明の他の実施形態について説明する。図９は、実施例２のマイクロホンアレイ・ネットワークシステムの構成図を示している。図９は、１６個のマイクロホンがアレイ状に配列されたマイクロホンアレイ備えたノード（１ａ，１ｂ，１ｃ）がネットワーク（１１，１２）で接続されたシステム構成を示している。実施例２のシステムの場合、実施例１のシステム構成と異なり、音声処理サーバが存在しない。また、それぞれのノードは、実施例１と同様に、図５に示すように、１６個のアレイ状に配列されたマイクロホン（ｍ１１，ｍ１２，…，ｍ４３，ｍ４４）の信号線が収音処理部２のＩ／Ｏ部３に接続されており、マイクロホンから収音された信号が収音処理部２のプロセッサ４に入力される。収音処理部２のプロセッサ４は、入力した収音信号を用いて、ＭＵＳＩＣ法のアルゴリズムの処理を行って音源方向の推定を行う。

そして、収音処理部２のプロセッサ４は、隣接するノードや他のノードとの間で、音源方向推定結果をデータ交換する。収音処理部２のプロセッサ４は、自ノードを含む複数のノードの音源方向推定結果及び最大応答強度から、上述の２次元定位や３次元定位の処理を行い、音源の位置を推定する。

（第２の実施形態）
図１１は本発明の第２の実施形態に係る位置測定システムで用いるノードの詳細構成を示すブロック図である。第２の実施形態に係る位置測定システムは、第１の実施形態に係る音源定位システムを用いて、従来技術に比較して高精度で端末の位置を測定することを特徴としている。本実施形態に係る位置測定システムは、例えばユビキタスネットワークシステム（ＵＮＳ）を用いて構築され、例えば１６個のマイクロホンを有する小規模なマイクロホンアレイ（センサノード）を所定のネットワークで結ぶことで、全体として大規模なマイクロホンアレイ音声処理システムを構築することにより、位置測定システムを構成する。ここで、センサノードにはそれぞれマイクロホンロプロセッサを搭載し、分散・協調し合って音声処理を行う。

センサノードのブロック図を図１１に示す。各センサノードは、
（１）収音する複数のマイクロホン１に接続されたＡＤ変換回路５１と、
（２）ＡＤ変換回路５１に接続され音声信号を検知するための発話推定処理部（Voice Activity Detection：以下、ＶＡＤ処理部という。）５２と、
（３）ＡＤ変換回路５１によりＡＤ変換された音声信号又はサウンド信号を含む音声信号等（ここで、サウンド信号は、例えば、５００Ｈｚなどの可聴周波数の信号もしくは超音波信号をいう。）を一時的に記憶するＳＲＡＭ（Static Random Access Memory）５４と、
（４）ＳＲＡＭ５４から出力される音声信号等のディジタルデータに対して音源の位置を推定する音源定位（Sound Source Localization）処理を実行してその結果をＳＳＳ処理部５６に出力するＳＳＬ処理部５５と、
（５）ＳＲＡＭ５４及びＳＳＬ処理部５５から出力される音声信号等のディジタルデータに対して、特定の音源を抽出する音源分離（Sound Source Separation）処理を実行して、それらの処理の結果として得られたＳＮＲの高い音声データを他のノードと、ネットワークインターフェース回路５７を介して送受信することにより収集するＳＳＳ処理部５６と、
（６）他の周囲センサノードＮｎ（ｎ＝１，２，…，Ｎ）と接続され、音声データを送受信するデータ通信部を構成するネットワークインターフェース回路５７とを備えて構成される。

各センサノードＮｎ（ｎ＝０，１，２，…，Ｎ）は互いに同様の構成を有するが、ベースステーションのセンサノードＮ０では、上記音声データをネットワーク上で集約することで、さらにＳＮＲが高められた音声データが得られる。なお、ＶＡＤ処理部５２及び電源管理部５３は第１の実施形態の音源定位において用いるが、第２の実施形態の位置推定では、原則として用いない。また、後述する距離推定は、例えばＳＳＬ処理部５５で実行される。

ここで、各センサノードでの処理の一例について以下に説明する。まず、初期段階では全てのセンサノードはスリープ状態にあり、ある程度距離の離れた幾つかのセンサノードは、例えば１つのセンサノードはサウンド信号を所定時間（例えば、３秒間）送信し、当該サウンド信号を検知したセンサノードは、多チャンネル入力による音源方向推定を開始する。同時にウエイクアップメッセージを周辺に存在する他のセンサノードにブロードキャストし、受け取ったセンサノードも即座に音源方向推定を開始する。各センサノードは、音源方向推定完了後、推定結果をベースステーション（サーバ装置に接続されたセンサノード）へ向けて送信する。ベースステーションは収集した各センサノードの方向推定結果を用いて音源位置の推定を行い、音源方向推定を行った全てのセンサノードに向けて結果をブロードキャストする。次に、各センサノードはベースステーションから受け取った位置推定結果を用いて音源分離を行う。音源分離も音源定位と同様に、センサノード内とセンサノード間の２段階に分けて実行される。各センサノードで得られた音声データは、再びネットワークを介してベースステーションへ集約される。最終的に得られたＳＮＲの高い音声信号はベースステーションからサーバ装置に転送され、サーバ装置上で所定のアプリケーションに用いられる。

図１２は図１１の位置測定システムで用いるネットワークの構成（具体例）を示すブロック図であり、図１３は図１２の位置測定システムで用いる線形補間付き時間同期を示すグラフである。

図１２において、サーバ装置ＳＶを含むセンサノードＮ０〜Ｎ２間は例えばＵＴＰケーブル６０で接続され、１０ＢＡＳＥ−Ｔのイーサネット（登録商標）を用いて通信を行う。本実施例では、各センサノードＮ０〜Ｎ２は直線トポロジーで接続され、そのうち１つのセンサノードＮ０がベースステーションとして動作して、例えばパーソナルコンピュータにてなるサーバ装置ＳＶに接続されている。当該通信システムのデータリンク層には低消費電力化のために公知の低電力リスニング法（Low Power Listening）を使用し、ネットワーク層における経路構築には公知のタイニー・ディフュージョン法（Tiny Diffusion）を用いる。

本実施例において、センサノードＮ０〜Ｎ２間で音声データの集約を行うためには、ネットワーク上の全てのセンサノードで時刻（タイマーの値）を同期する必要がある。本実施例では、公知のフラディングタイム同期プロトコル（Flooding Time Synchronization Protocol（ＦＴＳＰ））に線形補間を加えた同期手法を用いる。ＦＴＳＰは一方向の簡略な通信のみによって高精度の同期を実現するものである。ＦＴＳＰによる同期の精度は隣接センサノード間で１マイクロ秒以下だが、各センサノードが持つ水晶発振器にはばらつきがあり、図１３のように同期処理後は時間と共に時刻ずれが生じてしまう。このずれは１秒間で数マイクロ秒から数十マイクロ秒であり、これでは音源分離の性能を低下させてしまうおそれがある。

そこで、提案する本実施例のシステムでは、ＦＴＳＰによる時刻同期時にセンサノード間の時刻ずれを記憶し、線形補間によってタイマの進み方を調整する。１度目の同期時の受信タイムスタンプを、２度目の同期時のタイムスタンプを、受信側のタイマ値をとすると、の期間にだけのタイマの進み方を調節することで、発振周波数のずれを補正することができる。これにより、同期完了後の時刻ずれを１秒間で０．１７マイクロ秒以内に抑えることができる。ＦＴＳＰによる時刻同期が１分に１度であったとしても、線形補間を行うことによりセンサノード間の時刻ずれは、１０マイクロ秒以内に抑えられ、音源分離の性能を維持することが可能となる。

各センサノードにおいて相対時刻（例えば、最初のセンサノードがオンされた時刻を０として経過時間を相対時刻として定義する。）又は絶対時刻（例えば、暦の日時分秒を時刻とする。）を記憶しておいて、各センサノード間で時刻同期を上述の方法で行う。この時刻同期は、後述するようにセンサノード間の正確な距離を測定するために用いる。

図１４Ａ及び図１４Ｂは、図１２の位置測定システムにおける各タブレットＴ１〜Ｔ４間の信号伝送手順及び各タブレットＴ１〜Ｔ４で実行される各処理を示すタイミングチャートである。ここで、例えば図１１の構成を有する各タブレットＴ１〜Ｔ４は上記センサノードを備えて構成される。以下の説明では、タブレットＴ１をマスターとし、タブレットＴ２〜Ｔ４をスレーブとした場合の一例について説明するが、タブレットの数や、マスターはいずれのタブレットを使用してもよい。また、サウンド信号は可聴音波又は可聴域の周波数を越える超音波などであってもよい。ここで、サウンド信号は例えばＡＤ変換回路５１はＤＡ変換回路も備えてＳＳＬ処理部５５の指示に応答して１つのマイクロホン１から、例えば無指向性サウンド信号を発生し、もしくは、超音波発生素子を備えてＳＳＬ処理部５５の指示に応答して超音波の無指向性サウンド信号を発生してもよい。さらに、図１４Ａ及び図１４ＢにおいてＳＳＳ処理は実行しなくてもよい。

図１４Ａにおいて、まず、ステップＳ３１では、タブレットＴ１は、タブレットＴ２〜Ｔ４に対して、「サウンド信号をマイクロホン１で受信する準備を行いかつサウンド信号に応答してＳＳＬ処理を実行することを指示するＳＳＬ指示信号」を送信した後、所定時間後、サウンド信号を例えば３秒間などの所定時間送信する。ＳＳＬ指示信号には、サウンド信号の送信時刻情報が含まれており、各タブレットＴ２〜Ｔ４は、サウンド信号を受信した時刻と、上記送信時刻情報の差分、すなわち、サウンド信号の伝送時間を計算し、公知の音波又は超音波の速度に上記計算された伝送時間を乗算することにより、タブレットＴ１と自分のタブレットとの間の距離を計算して内蔵メモリに記憶する。また、各タブレットＴ２〜Ｔ４は、受信したサウンド信号に基づいて、第１実施形態で詳細説明したＭＵＳＩＣ法を用いて音源定位の処理を行うことによりサウンド信号の到来方向を推定計算して内蔵メモリに記憶する。すなわち、各タブレットＴ２〜Ｔ４のＳＳＬ処理では、タブレットＴ１から自分のタブレットまでの距離と、タブレットＴ１に対する角度を推定計算して記憶する。

次いで、ステップＳ３２では、タブレットＴ１は、タブレットＴ３，Ｔ４に対して、「マイクロホン１で受信する準備を行いかつサウンド信号に応答してＳＳＬ処理を実行することを指示するＳＳＬ指示信号」を送信した後、所定時間後、タブレットＴ２に対して、サウンド信号を発生することを指示するサウンド発生信号を送信する。ここで、タブレットＴ１もサウンド信号の待機状態となる。タブレットＴ２は、サウンド発生信号に応答して、サウンド信号を発生してタブレットＴ１，Ｔ３，Ｔ４に送信する。各タブレットＴ１，Ｔ３，Ｔ４は、受信したサウンド信号に基づいて、第１実施形態で詳細説明したＭＵＳＩＣ法を用いて音源定位の処理を行うことによりサウンド信号の到来方向を推定計算して内蔵メモリに記憶する。すなわち、各タブレットＴ１，Ｔ３，Ｔ４のＳＳＬ処理では、タブレットＴ２に対する角度を推定計算して記憶する。

さらに、ステップＳ３３では、タブレットＴ１は、タブレットＴ２，Ｔ４に対して、「マイクロホン１で受信する準備を行いかつサウンド信号に応答してＳＳＬ処理を実行することを指示するＳＳＬ指示信号」を送信した後、所定時間後、タブレットＴ３に対して、サウンド信号を発生することを指示するサウンド発生信号を送信する。ここで、タブレットＴ１もサウンド信号の待機状態となる。タブレットＴ３は、サウンド発生信号に応答して、サウンド信号を発生してタブレットＴ１，Ｔ２，Ｔ４に送信する。各タブレットＴ１，Ｔ２，Ｔ４は、受信したサウンド信号に基づいて、第１実施形態で詳細説明したＭＵＳＩＣ法を用いて音源定位の処理を行うことによりサウンド信号の到来方向を推定計算して内蔵メモリに記憶する。すなわち、各タブレットＴ１，Ｔ２，Ｔ４のＳＳＬ処理では、タブレットＴ３に対する角度を推定計算して記憶する。

またさらに、ステップＳ３４では、タブレットＴ１は、タブレットＴ２，Ｔ３に対して、「マイクロホン１で受信する準備を行いかつサウンド信号に応答してＳＳＬ処理を実行することを指示するＳＳＬ指示信号」を送信した後、所定時間後、タブレットＴ４に対して、サウンド信号を発生することを指示するサウンド発生信号を送信する。ここで、タブレットＴ１もサウンド信号の待機状態となる。タブレットＴ４は、サウンド発生信号に応答して、サウンド信号を発生してタブレットＴ１，Ｔ２，Ｔ３に送信する。各タブレットＴ１，Ｔ２，Ｔ３は、受信したサウンド信号に基づいて、第１実施形態で詳細説明したＭＵＳＩＣ法を用いて音源定位の処理を行うことによりサウンド信号の到来方向を推定計算して内蔵メモリに記憶する。すなわち、各タブレットＴ１，Ｔ２，Ｔ３のＳＳＬ処理では、タブレットＴ４に対する角度を推定計算して記憶する。

次いで、データ通信を行うステップＳ３５では、タブレットＴ１はタブレットＴ２に対して情報返信指示信号を送信する。これに応答して、タブレットＴ２は、ステップＳ３１で計算されたタブレットＴ１とＴ２間の距離と、ステップＳ３１〜Ｓ３４で計算された、タブレットＴ２から各タブレットＴ１，Ｔ３，Ｔ４を見たときの角度とを含む情報返信信号をタブレットＴ１に返信する。また、タブレットＴ１はタブレットＴ３に対して情報返信指示信号を送信する。これに応答して、タブレットＴ３は、ステップＳ３１で計算されたタブレットＴ１とＴ３間の距離と、ステップＳ３１〜Ｓ３４で計算された、タブレットＴ３から各タブレットＴ１，Ｔ２，Ｔ４を見たときの角度とを含む情報返信信号をタブレットＴ１に返信する。さらに、タブレットＴ１はタブレットＴ４に対して情報返信指示信号を送信する。これに応答して、タブレットＴ４は、ステップＳ３１で計算されたタブレットＴ１とＴ４間の距離と、ステップＳ３１〜Ｓ３４で計算された、タブレットＴ４から各タブレットＴ１，Ｔ２，Ｔ３を見たときの角度とを含む情報返信信号をタブレットＴ１に返信する。

タブレットＴ１のＳＳＬ全体処理においては、以上のように収集された情報に基づいて、タブレットＴ１は、図１５を参照して説明するように以下のようにして各タブレット間の距離を計算し、また、各タブレットＴ１〜Ｔ４での他のタブレットを見た角度情報に基づいて、例えば、タブレットＴ１（図１５のＡ）をＸＹ座標の原点としたときの、他のタブレットＴ２〜Ｔ４のＸＹ座標を公知の三角関数の定義式を用いて計算することにより、
すべてのタブレットＴ１〜Ｔ４の座標値を求めることができる。当該座標値は、ディスプレイに表示してもいいし、プリンタに出力して印字してもよい。また、上記座標値を用いて、例えば詳細後述する所定のアプリケーションを実行してもよい。

なお、タブレットＴ１のＳＳＬ全体処理については、マスターであるタブレットＴ１のみが行ってもよいし、すべてのタブレットＴ１〜Ｔ４で行ってもよい。すなわち、少なくとも１つのタブレット又はサーバ装置（例えば、図１２のＳＶ）が実行すればよい。また、上記ＳＳＬ処理及び上記ＳＳＬ全体処理は、制御部である例えばＳＳＬ処理部５５により実行される。

図１５は図１２の位置測定システムの各タブレットＴ１〜Ｔ４（図１５におけるＡ，Ｂ，Ｃ，Ｄに対応する。）で測定された角度情報から各タブレット間の距離を測定する方法を示す平面図である。サーバ装置は、全てのタブレットが角度情報を取得した後、全員分の距離情報を計算する。距離情報の計算では、図１５に示すように、１２個の角度の値とどれか１辺の長さを用いて、正弦定理により全ての辺の長さを求める。ＡＢの長さをｄとすると、ＡＣの長さは次式で求められる。

他の辺の長さも同様に、１２個の角度と上記長さｄを用いて求めることができる。各センサノードが上述の時刻同期を行うことができれば、上記の計算法を用いずに、各センサノードが発音開始時間と到達時間の差から距離を求めることができる。図１５のノード数を４としたが、本発明はこれに限らず、ノード数を２以上でノード数に関わらずノード間距離を求めることができる。

以上の第２の実施形態では、２次元の位置を推定したが、本発明はこれに限らず、同様の数式を用いて３次元の位置を推定してもよい。

さらに、センサノードの移動端末への実装について以下に説明する。当該ネットワークシステムの実用化に際しては、センサノードを壁や天井に固定して使用するだけでなく、ロボットのような移動する端末に実装することも考えられる。被認識者の位置が推定できれば、より解像度な画像の収集や高精度な音声認識のために、ロボットを被認識者に近づけるといった操作が可能となる。また、近年急速に普及が進んでいるスマートフォン等のモバイル端末は、ＧＰＳ機能を用いて自身の現在位置を取得することができるが、近距離での端末同士の位置関係を取得することは難しい。しかし、当該ネットワークシステムのセンサノードをモバイル端末に実装すれば、端末から音声を発して互いを音源定位することで、ＧＰＳ機能等では判別できない近距離における端末同士の位置関係の取得が可能となる。本実施形態では、端末同士の位置関係を利用するアプリケーションとして、メッセージ交換システムと多人数ホッケーゲームシステムの２種類を、プログラミング言語ｊａｖａを用いて実装した。

本実施例では、アプリケーションを実行するタブレットパーソナルコンピュータと、プロトタイプセンサノードとを接続した。タブレットパーソナルコンピュータのＯＳとしては汎用のＯＳが搭載されており、２か所のＵＳＢ２．０ポートやＩＥＥＥ８０２．１ｂ／ｇ／ｎ準拠の無線ＬＡＮ機能を有して無線ネットワークを構成する。このタブレットパーソナルコンピュータの４辺に、プロトタイプセンサノードのマイクロホンを５cm間隔で配置し、センサノード（ＦＰＧＡで構成される）では音源定位モジュールが稼動しており、定位結果をタブレットパーソナルコンピュータに出力するように構成した。本実施例における位置推定精度は数ｃｍ程度であり、従来技術に比較して大幅に高精度になる。

図１６は図１２の位置測定システムを用いたメッセージ交換システムの概念を示す平面図であり、図１７は図１５のメッセージ交換システムの１つのアプリケーションを示すディスプレイの表示例である。

近くにいる相手とモバイル端末上でメッセージのやりとりを行う場合、メールやインスタントメッセンジャーでは、予めアカウントを取得してメールアドレス等で毎回相手を指定しなければならない。本実施例では、そうした煩雑な作業を行わず、「どの角度に誰がいるか」といった相手の角度情報を用いて、直感的にメッセージの送受信を行うメッセージ交換システムのアプリケーションを実装した。

図１６の概念図において、各タブレット上でメッセージ交換システムのアプリケーションが起動しており、無線ＬＡＮで親機に立てられたサーバ装置に接続されている。メッセージ交換システムでは、メッセージの書かれた付箋型のウィンドウをドラッグして（すなわち、当該アプリケーションにおいて、上記計算された各ノードの位置に基づいて、公知のポインティングデバイスを有する表示部であるディスプレイ上で上記各ノードに対する方向を対応させ、上記ディスプレイ上で所定のデータを送信すべきノードに向けて、ドラッグすることにより、当該送信すべきノードを指示する。）相手方のノードへ向けて飛ばすことでメッセージの送信を行う。送られてきた付箋に、メッセージを追加して隣の人に回すといった操作を、接続時に指定する自分の名前、サーバのＩＰアドレス及びポート番号のみで行うことができる。

メッセージ交換システムを使用するには、予め全てのタブレットに、「他のタブレットが自分から見てどの方向にあるか」という角度情報を取得させる必要があり、図１４Ａ及び図１４Ｂを参照して説明した、上述の通信手順及び処理によりすべてのタブレットの角度情報を得ることができる。

メッセージ交換システムのアプリケーションの使用例を示す図１７において、普段はタスクトレイに常駐しており、アイコンをダブルクリックすると付箋ウィンドウが画面上に表示される。自分で出した付箋は青、他のタブレットから送られてきた付箋は黄で表示されている。付箋をドラッグ＆ドロップすると画面外へ飛んで行き、付箋に書かかれた内容が飛んで行った方向に一番近い相手へ送信される。メッセージを受信した時は、受信したメッセージが書かれた付箋が、送信者の登録されている角度の画面外から飛んでくる。また、付箋は右クリックメニューから削除を選択することで削除できる。

図１８は図１２の位置測定システムを用いたホッケーゲームシステムの概念を示す平面図である。上述したメッセージ交換システムでは、「どの角度に誰がいるか」という角度情報のみを用いたが、各タブレットが持つ角度情報を集約して各タブレット間の距離を求めることで、データを時間差で伝送することが可能となる。この手法を用いて、タブレット間で互いにボールを送り合って対戦する多人数ホッケーゲームシステムのアプリケーションを実装した。

図１８の概念図において、接続方法、角度情報の取得、データの送受信方法はメッセージ交換システムと同様である。ホッケーゲームシステムは、ボールをバーで弾くことで互いに相手の画面へ送り合って対戦する。今回は、ゲームに参加する人数を４人とする。

サーバ装置の実行画面を図１９に示す。サーバ装置は、各タブレットの角度情報を収集して距離を計算するＳＳＬボタン、ゲームを開始（Ｓｔａｒｔ）、中断（Ｐａｕｓｅ）、リセット（Ｒｅｓｅｔ）するボタン、接続を終了するＥｎｄボタンを有する。テキストエリアには、接続情報、距離情報計算の終了通知、誰が誰にボールを送ったか等が表示される。サーバは、全てのタブレットが角度情報を取得した後、ゲームを開始する前にＳＳＬボタンを押して全員分の距離情報を計算する。距離情報の計算では、図１５に示すように、１２個の角度の値とどれか１辺の長さを用いて、正弦定理により全ての辺の長さを求める。ＡＢの長さをとすると、ＡＣの長さは上記（１）式で求められる。また、他の辺の長さも同様に、１２個の角度と長さｄを用いて求めることができる。各センサノードが上述の時刻同期を行うことができれば、上記の計算法を用いずに、各センサノードが発音開始時間と到達時間の差から距離を求めることができる。今回は参加人数を４人としたが、この方法を使えば参加人数に関わらず距離を求めることができる。

図１９は図１７のホッケーゲームシステムのサーバ装置の実行画面の表示例であり、図２０は図１７のホッケーゲームシステムを実行しているときのタブレットの表示例である。図１９において、画面上部に得点が表示されており、ボールが画面下部に落ちると−１、自分が送ったボールで相手がミスすると１だけインクリメントされる。画面をタッチすると、バーの少し上にボールが出現し、自分が出したボールや相手から送られてきたボールをバーで弾いて相手に送る。バーは上下左右に動かすことができ、加速をつけてボールを弾くことで、相手に速いボールを送ることができる。ボールの色はプレイヤー毎に異なり、誰から送られてきたボールか区別できる。誰かの得点が１０か−３０になったところでゲーム終了となる。

本発明は、マイクロホンアレイを用いて端末の位置を高精度に測定できる位置測定システム及びそれを用いたアプリケーションに有用である。

１，ｍ１１，ｍ１２，…，ｍ４３，ｍ４４…マイクロホン、
１ａ，１ｂ，１ｃ，…，１ｎ…マイクロホンアレイ、
２，２ａ，２ｂ，２ｃ，…，２ｎ…収音処理部、
３…入出力部（Ｉ／Ｏ部）、
４…プロセッサ、
１０，１１，１２…ネットワーク、
２０…音声処理サーバ、
３０，３０ａ，３０ｂ，３０ｃ…ノード、
５１…ＡＤ変換回路、
５２…ＶＡＤ処理部、
５３…電源管理部、
５４…ＳＲＡＭ、
５５…ＳＳＬ処理部、
５６…ＳＳＳ処理部、
５７…ネットワークインターフェース回路、
Ｎ０〜Ｎｎ…センサノード（ノード）、
ＳＶ…サーバ装置、
Ｔ１〜Ｔ４…タブレット。

Claims (5)

1. マイクロホンアレイを備えた複数のノードが相互にネットワークで接続されかつ時刻同期されたマイクロホンアレイ・ネットワークシステムを用いて、上記各ノードの位置を推定する制御部を備えた位置測定システムであって、
   上記各ノードは、
   複数のマイクロホンをアレイ状に配列して構成されたマイクロホンアレイと、
   上記マイクロホンアレイで受信した、１つのノードからのサウンド信号に基づいて、上記サウンド信号の到来方向の角度を推定する音源推定処理部と、
   上記サウンド信号の送信時刻と受信時刻との差分とサウンド信号の速度に基づいて、上記サウンド信号を送信したノードからの距離を推定する距離推定部と、
   上記推定された到来方向の角度及び距離を他のノードに対してデータ通信で送受信するデータ通信部とを備え、
   上記制御部は、上記推定された到来方向の角度及び距離に基づいて、上記各ノードの位置を推定して計算することを特徴とする位置測定システム。
2. 上記制御部は、上記各ノードの位置に基づいて座標値を計算して表示し又は出力することを特徴とする請求項１記載の位置測定システム。
3. 上記制御部は、上記各ノードの位置を用いて所定のアプリケーションを実行することを特徴とする請求項１又は２記載の位置測定システム。
4. 上記各ノードは表示部を備え、
   上記制御部は、上記所定のアプリケーションにおいて、上記計算された各ノードの位置に基づいて、上記表示部上で上記各ノードに対する方向を対応させ、上記表示部上で所定のデータを送信すべきノードに向けてドラッグすることにより、当該送信すべきノードを指示し、当該指示されたノードに対して上記所定のデータを送信することを特徴とする請求項３記載の位置測定システム。
5. 上記制御部は、上記各ノード、上記複数のノードのうちの１つのノード、もしくは、上記複数のノードとは別のサーバ装置に設けられたことを特徴とする請求項１乃至４のうちのいずれか１つに記載の位置測定システム。

Images