JP2005323381A - マイクロホンの位置確認のためのシステム、方法、及びプログラム - Google Patents

Abstract

【課題】未知のマイクロホンを位置確認するためのシステム及び方法を提供する。
【解決手段】システム及び方法は、第１及び第２の音声信号が既知の位置にある音源から発せられた略同じ音を示し、既知の位置にある１つのマイクロホンによって生成された第１の音声信号と未知の位置にある他のマイクロホンによって生成された第２の音声信号との間の到着時間の違いを判断し、少なくとも判断された到着時間の違いに基づいて前記既知の位置にある音源と前記未知の位置にあるマイクロホンとの間の距離を判断し、判断された前記既知の位置にある音源と前記未知の位置にあるマイクロホンとの間の距離に基づいて前記未知のマイクロホンの位置を判断することによって、未知の位置にあるマイクロホンの位置を、他の複数のマイクロホンの位置から判断する。
【選択図】 図２

Description

本発明は、既知の位置にあるマイクロホンを用いて未知のマイクロホンを位置確認するためのシステム、方法、及びプログラムに関する。

多数の人間が会議、テレビ会議、記者会見、講演等に参加する時には、例えば、話者に照明を集中したり、話者にカメラを向けたり、マイクロホンを話者の最も近くに動かしたりするために、話者の位置を判断することが有利である。

このような話者の位置を推定するために、種々の方法が提案されて来た。例えば、特許文献１には、グラフィカルインタフェースによる対話的共有環境内で、物理的装置及びそれらの環境のビデオ画像等と対話することにより、一人以上のユーザが一つ以上の実際の装置と対話することを可能にする技術が提案されている。特許文献２には、ユーザが画像・映像リンクを介して操作することにより、遠隔オーディオ装置を管理するオーディオ装置管理システムが記載されている。非特許文献１および非特許文献２には、複数のカメラを有する広角カメラシステムを一つの座標に対して較正する方法において、カメラのおおよその位置を推定する技術が利用されている。非特許文献３には、多数配置されたマイクを利用した時間遅延推定により、話者の音源を検出する方法が紹介されている。
たとえば、ＳｐｏｔＯＮシステムは、話者が身に付けた専用の追跡装置を用いる。しかしながら、別個の追跡システムを用いると、追跡装置を身に付けた話者の追跡のために専用のシステムを設定、使用、及び操作するための費用及びリソースが必要とされる。さらに、誰か、たとえば聴衆の一員又は会議等に遅れて来た人が追跡装置なしに話す場合、彼らはシステムによって追跡することができない。

別個の追跡システムに関連する費用の増加とリソース支出を防ぐ試みとしての他の方法は、話者又はその他の対象物によって発せられた音に基づいて話者又はその対象物の位置を三角測量するために、各マイクロホンが既知の位置にある多数のマイクロホンを使用することである。しかしながら、これらのシステムは、音を発する種々の物を単に追跡できるだけである。従って、話者又は物は、彼、彼女、又はその物が音を出すまでは、位置確認（検出）できない。その結果、話者又は物の位置は、それらが音を出した後まで判断することができない。

米国特許出願第１０／６２９，４０３号 米国特許出願第１０／６１２，４２９号 シン・チェン，ジェームス・デービス，及びフィリップ・スルサレック（Xing Chen，James Davis, and Philipp Slusallek）著、「仮想較正オブジェクトを使用する広域カメラ較正」（"Wide Area Calibration Using Virtual Calibration Objects"）、IEEE CVPR 2000, http://graphics.stanford.edu/papers/wide_area_calibration/cvpr16.pdf. ハンス−ゲルド・マス（Hans-Gerd Mass）著、「画像シーケンスベースの自動マルチカメラシステム較正技術」（"Image Sequence Based Automatic Multi-Camera System Calibration Techniques"）、写真測量及び遠隔探知の国際的アーカイブ（International Archives of Photogrammetry and Remote Sensing）、第３２巻第Ｖ部、１９９８年、http://www.tu-dresden.de/fghgipf/forshung/material/publ_maas/isprs_journal_seqcal.pdf Ｍ．Ｓ．ブランドシュタイン，Ｊ．Ｅ．アドコック、及びＨ．Ｆ．シルバーマン（M.S.Brandstein, J.E.Adcock and H.F.Silverman）「マイクロホンアレイによりスピーチソースを位置確認するための実用的時間遅延推定器」（"A Practical Time-Delay Estimator for Localizing Speech Sources With A Microphone Array"），コンピュータ、スピーチ、及び言語（Computer, Speech and Language）、第９巻、Ｐ．１５３〜１６９、１９９５年９月、http://www.lems.brown.edu/pub/array/papers/cs195.ps.gz

本発明は、別個の専用の位置確認システムを必要とせずに、かつ話者又は物が位置確認される前に音を発することを必要とせずに、室内の話者又は物の位置確認ができるシステム、方法、及びプログラムを提供することを課題とする。

本発明の種々の例示的な実施形態は、未知の位置にあるマイクロホンの位置を、その他の複数のマイクロホンの位置が与えられることにより判断するためのシステム、方法、及びプログラムを提供する。一般的に、会議室、講堂、会見室等は、既に組込のオーディオシステムを有する。その結果、本発明の種々の例示的な実施形態は、別個の専用の位置確認（検出）システムを必要とせずに、かつ話者又は物が位置確認前に音を発することを必要とせずに、室内の話者又は物の位置確認ができるようにする。

本発明の種々の例示的な実施形態によるシステム及び方法は、従って、その信号がオーディオシステムによって受信される任意の他のマイクロホンの位置を判断するために、既知の位置にある室内の複数の種々のマイクロホンを用いる。

請求項１に係る発明は、マイクロホンの位置を判断するための方法であって、第１及び第２の音声信号が既知の位置にある音源から発せられた略同じ音を示し、既知の位置にある１つのマイクロホンによって生成された第１の音声信号と、未知の位置にある他のマイクロホンによって生成された第２のオーディオ信号との間の到着時間の違いを判断し、少なくとも判断された到着時間の違いに基づいて前記既知の位置にある音源と前記未知の位置にあるマイクロホンとの間の距離を判断し、判断された前記既知の位置にある音源と前記未知の位置にあるマイクロホンとの間の距離に基づいて前記未知のマイクロホンの位置を判断すること、を含むことを特徴とする。

請求項１６に係る発明は、マイクロホンの位置を判断するためのシステムであって、既知の位置にある２つ以上のマイクロホンを使用して１つ以上の音源の位置を判断する音源位置判断部と、前記既知の位置にあるマイクロホンによって生成された音声信号と未知の位置にある他のマイクロホンによって生成された音声信号とに基づいて１つ以上の未知のマイクロホンの位置を判断するための未知位置判断部と、を備え、前記音声信号が既知の位置にある同じ音源から発せられた略同じ音を示すことを特徴とする。音源位置判断部および未知位置判断部はそれぞれ単一の回路、ルーティン、又はアプリケーション等として実装することができる。

請求項１９に係る発明は、マイクロホンの位置を判断する処理をコンピュータに実行させる、コンピュータ可読プログラムであって、第１及び第２の音声信号が既知の位置にある音源から発せられた略同じ音を示し、既知の位置にある１つのマイクロホンによって生成された第１の音声信号と未知の位置にある他のマイクロホンによって生成された第２の音声信号との間の到着時間の違いを判断し、少なくとも判断された到着時間の違いに基づいて前記既知の位置にある音源と前記未知の位置にあるマイクロホンとの間の距離を判断し、判断された前記既知の位置にある音源と前記未知の位置にあるマイクロホンとの間の距離に基づいて前記未知のマイクロホンの位置を判断すること、をコンピュータに実行させることを特徴とする。

本発明によると、別個の専用の位置確認システムを必要とせずに、かつ話者又は物が位置確認される前に音を発することを必要とせずに、室内の話者又は物の位置確認ができる。

本発明の例示的な実施形態を、添付の図を参照して説明する。

近代的な会議室、会見室、オフィス、会議場等は、しばしば、卓上マイクロホン、有線ラップトップコンピュータ等の可動有線オーディオリソース（資材）及び無線のハンドマイクロホン又はラペルマイクロホン、無線ラップトップコンピュータ、個人用携帯情報端末（ＰＤＡ）、無線パームトップコンピュータ、無線タブレットコンピュータ、携帯電話等の可動無線オーディオリソースを備える。たとえば、図１に示すように、会議室１００は、たとえば演壇に取付けられるか又は部屋１００全体に配置されたマイクロホンアレイ１０２を制御するオーディオシステム１１０を備えることができる。オーディオシステムは、たとえば、会議机を中心に配置された個々のマイクロホン等１つ以上の卓上マイクロホン１０４も制御してもよい。

オーディオシステム１１０に直接取付けられたマイクロホン１０２，１０４に加え、オーディオデータが個々のＩＰアドレスに結びつき、有線ネットワーク１４０及び無線ネットワーク１５０のいずれか又は両方の上を伝送されることができる電話システム１２０、無線ＡＶ（オーディオ／ビデオ）システム１６０、及びＶＯＩＰ（Ｖｏｉｃｅ Ｏｖｅｒ Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）ネットワーク１３０が、オーディオシステム１１０に接続されていてもよい。図１に示すように、これにより、たとえば種々の話者が身に付けた無線マイクロホン１６２、及び有線電話１２２、携帯電話１２４、ＰＤＡ１５４、有線ラップトップ１４２、無線ラップトップ１５２内に組み込まれたマイクロホンからの音声信号をオーディオシステムが受信可能となる。

本発明の種々の例示的な実施形態によるシステム及び方法は、このように室内において既知の位置にある複数の種々のマイクロホンを用いて、その信号がオーディオシステム１１０によって受信される任意の他のマイクロホンの位置を判断する。このようなマイクロホンには、たとえば、予め配置されたマイクロホンアレイ１０２、予め配置された卓上マイクロホン１０４、予め配置された有線電話１２２、及び任意の他の予め配置された又は取り外せないように配置されたマイクロホン又は既知の位置にあるマイクロホンを備えた装置等の少なくとも１つ以上が含まれる。

その結果、本発明の種々の例示的な実施形態によるシステム及び方法は、マイクロホンに関連した人又は物が最初に音を発する必要なしに、マイクロホン及びそのマイクロホンに関連した人又は物の位置を判断できる。マイクロホンと関連する人又は物が話す又は音を発する前にそれらの位置を知る必要がある時に、これは特に有用である。たとえばテレビ会議又は記者会見の間には、話す直前又は直後に、ある話者から次の話者へ、たとえばカメラ又は照明を急いで当てることが必要である場合がある。さらに未知のマイクロホンが、有線ラップトップ１４２、無線ラップトップ１５２、ＰＤＡ１５４、又は携帯電話１２４等の装置内に組み込まれており、かつ装置の位置が本発明の種々の実施形態によって判断できる時には、装置がどこにあるかを事前に知ることなしに、特定の装置に電子情報を送ることができる。

さらに、ここで説明された方法を通じて位置確認されたマイクロホンは、人又は機械の位置確認をするために使用されるだけでなく、たとえば会議室等の現在のオーディオシステム内に組み込み可能である。その結果、位置確認されたマイクロホンは、切り替えマイクロホンシステム、又はマイクロホンの位置確認が適切に機能することが要求されるマルチマイクロホンスピーチ効果向上システムのいずれかにおいて、既存のマイクロホンリソースを増強させるために使用されることができる。このようなマイクロホンシステムには、たとえば、遅延和（Ｄｅｌａｙ−ａｎｄ−Ｓｕｍ）ビームフォーマ（ビーム形成装置）又はマイクロホン配置の知識が一般的に要求される任意の他の電気的に操作可能なマイクロホンアレイシステムが含まれていてもよい。

図２は、本発明による、既知の位置にある複数のマイクロホンを使用して、未知のマイクロホンの位置を判断するための方法の一例示的な実施形態を概説するフローチャートである。説明を容易にするために、この例示的な実施形態は、二次元に限定されている。従ってこの実施形態は、二次元平面内の未知のマイクロホンの位置を判断するための方法を開示する。しかしながら、種々の他の例示的な実施形態について後で説明するように、本方法は三次元での使用に容易に適合する。

上述のように、種々の例示的な実施形態において本発明によるシステム及び方法は、それぞれが既知の位置にある複数のマイクロホンと、音を発することが可能な１つ以上の音源と、少なくとも１つの未知の位置にあるマイクロホンと、を含む。さらに、既知のマイクロホンの信号と１つ以上の未知のマイクロホンの信号との両方は、オーディオシステムによって受信される。それゆえ、下記に特に断りのない限り、次の例示的な実施形態の目的のために、これらの要素が存在すると仮定されている。

図２に示すように、本方法の動作はステップＳ１０００で開始する。上述のように、複数のマイクロホンの位置が既知である。次にステップＳ１０１０では、１つ以上の音源の位置が判断される。音源の位置は、多数の方法で判断されてもよい。位置は、たとえば、座席指定された会議における話者又は既知の位置にある固定されたスピーカから発せられた音等、既知の位置情報に基づいて判断されてもよい。音源の位置は、ＳｐｏｔＯＮ等の専用の追跡システムを使用して判断されてもよい。既知の位置にある音源又は別個の追跡システムが得られない場合には、複数の音源の位置は、たとえば周波数ベース遅延推定等の種々の既知の音源位置検出技術のいずれかを使用し、既知の位置にある複数のマイクロホンを使用して判断されてもよい。周波数ベース遅延推定は、非特許文献３に記載されており、その全体が本明細書中に組み込まれている。

一旦複数の音源の位置が知られると、動作はステップＳ１０２０に進む。ステップＳ１０２０では、既知の位置にある最初の又は次の音源が、現在の音源として選択される。次に、ステップＳ１０３０では、既知のマイクロホン（すなわち、その位置が既に知られた複数のマイクロホンの１つ）と未知のマイクロホンとの間の到着時間差（ＴＤＯＡ）が判断される。本質的に、ＴＤＯＡは、ある音源によって発せられ１つのマイクロホンによって伝送された音を示す音声信号の到着と、同じ音源によって発せられ他のマイクロホンによって伝送された略同じ音を示す音声信号の到着との間の時間差である。それゆえ、現在の音源（その位置は既知）と既知のマイクロホン（その位置は既知）との間の距離が既知であり、現在の音源によって発せられた略同じ音について既知のマイクロホンと未知のマイクロホンとの間のＴＤＯＡが既知である場合には、現在の音源と未知のマイクロホンとの間の距離は推定可能である。これは、ＴＤＯＡが既知の距離と未知の距離との間の差に比例するからであり、一般的に次の一式の数式によって表現可能である。

ここで、ｔ_kは既知のマイクロホンについての到着時間であり、ｔ_uは未知のマイクロホンについての到着時間であり、ｄ_kは音源と既知のマイクロホンとの間の距離であり、ｄ_uは音源と未知のマイクロホンとの間の距離であり、ｃは音速である。

したがって、ステップＳ１０４０では、未知のマイクロホンと現在の音源との間の距離が計算される。次に、ステップＳ１０５０では、未知のマイクロホンの位置が、未知のマイクロホンと現在の音源との間の計算された距離に基づいて判断（推定）される。図３は、１つの音源Ｓ₁について既知のマイクロホンと未知のマイクロホンとの間のＴＤＯＡが測定され、音源Ｓ₁と未知のマイクロホンとの間の距離が計算された後の、未知のマイクロホンの二次元での種々の推定位置３００を示す。

図３に示すように、推定位置３００は、半径Ｒ₁を有する円の円周Ｃ₁に沿って位置し、ここで半径Ｒ₁は音源Ｓ₁と未知のマイクロホンとの間の計算された距離に等しい。これは、単純な幾何学により、既知の点から既知の距離に位置する未知の点は、その半径がその既知の距離と等しい既知の点を中心とした円の円周上になければならないことが求められるからである。当然のことながら、部屋３１０（又は任意の予め定義された領域）の寸法が既知の場合には、部屋３１０の外側にある全ての推定位置３００は、除外されてもよい。

次に、ステップＳ１０６０では、既知の位置にあるすべての音源が、現在の音源として選択されたかが判断される。そうであるならば、未知のマイクロホンの位置はこれ以上に正確には推定できないため、本方法の動作はステップＳ１９９９に進み、本方法は終了する。しかしながら、既知の位置にあるすべての音源が現在の音源として選択されていなかった場合には、動作はステップＳ１０７０に進む。

ステップＳ１０７０では、未知のマイクロホンの推定位置３００がユーザの目的のために受け入れられるかが判断される。未知のマイクロホンの推定位置３００が受け入れられるならば、別の音源を使用して推定位置をさらに絞り込む理由はない。その場合、動作はステップＳ１９９９に進み、本方法が終了する。しかしながら、未知のマイクロホンの推定位置３００が受け入れられない場合には、動作はステップＳ１０２０に戻り、次の音源が現在の音源として選択される。

図４は、２つの音源Ｓ₁，Ｓ₂についての既知のマイクロホンと未知のマイクロホンとの間のＴＤＯＡが測定され、音源Ｓ₁，Ｓ₂と未知のマイクロホンとの間のそれぞれの距離が計算された後の、未知のマイクロホンの二次元での種々の推定位置３００を示す。図４に示すように、未知のマイクロホンについての考えられる推定位置３００は、半径Ｒ₁，Ｒ₂を有する２つの音源Ｓ₁，Ｓ₂を中心とする円の円周Ｃ₁，Ｃ₂の交点上にある。半径Ｒ₁及びＲ₂は、それぞれの音源Ｓ₁及びＳ₂と未知のマイクロホンとの間の計算された距離に等しい。これは、第１の点から既知の距離である未知の点と、第２の点からの既知の距離とは、それぞれ第１及び第２の点を中心とした、それぞれ既知の距離の半径を有する円の２つの円周の共通点上になければならないことが、単純な幾何学から求められるからである。

さらに当然のことながら、部屋３１０の寸法が既知の場合には、部屋３１０の外側にある全ての推定位置３００は除外されてもよい。その結果、図４で示された推定位置の１つが部屋３００の外側に位置していた場合には、それは除外できる。図２に戻ると、未知のマイクロホンの位置が２つの音源に基づいて（たとえば、図４）二次元で推定され、推定位置３００の１つが部屋の外側に位置していた場合には、ステップＳ１０７０において、残りの推定位置は受け入れられると判断されるであろう。

図５は、３つの音源Ｓ₁，Ｓ₂，Ｓ₃についての既知のマイクロホンと未知のマイクロホンとの間のＴＤＯＡが測定され、音源Ｓ₁，Ｓ₂，Ｓ₃と未知のマイクロホンとの間のそれぞれの距離が計算された後の、未知のマイクロホンの二次元での種々の推定位置３００を示す。図５に示すように、未知のマイクロホンについての考えられる推定位置３００は、半径Ｒ₁，Ｒ₂，Ｒ₃を有する３つの音源Ｓ₁，Ｓ₂，Ｓ₃を中心とした円の円周Ｃ₁，Ｃ₂，Ｃ₃の交点上にある。半径Ｒ₁，Ｒ₂，及びＲ₃は、それぞれの音源Ｓ₁，Ｓ₂，及びＳ₃と未知のマイクロホンとの間の距離に等しい。これは、第１の点から既知の距離にあり、第２の点から既知の距離にあり、第３の点から既知の距離にある未知の点は、それぞれ第１、第２、及び第３の点を中心とした、それぞれ既知の距離の半径を有する円の３つの円周の共通点上になければならないことが、単純な幾何学から求められるからである。

前述の説明から既に明らかなように、上述の方法を未知のマイクロホンの位置について解くことが可能な数式のシステムに変形できる。たとえば、部屋３１０の二次元平面がデカルト座標で表される場合には、既知のマイクロホンと未知のマイクロホンとの間の各音源についての、ＴＤＯＡを使用して計算された距離（Ｒ₁，Ｒ₂，Ｒ₃）によって表現された３つの円周Ｃ₁，Ｃ₂，Ｃ₃は、次の一式の数式によって表現できる。

（ｘ₁−Ｘ）²＋（ｙ₁−Ｙ）²＝（ｃｔ₁）²
（ｘ₂−Ｘ）²＋（ｙ₂−Ｙ）²＝（ｃｔ₂）²
（ｘ₃−Ｘ）²＋（ｙ₃−Ｙ）²＝（ｃｔ₃）²

上記の数式では、未知のマイクロホンは点（Ｘ，Ｙ）に位置し、各既知の音源Ｓ_kは（ｘ_k，ｙ_k）に位置し、ｃは音速を表し、ｔ_kは各既知の音源Ｓ_kについての既知のマイクロホンと未知のマイクロホンとの間のＴＤＯＡを表す。

さらに、上記の数式から同様に明らかなように、他の例示的な実施形態において、未知のマイクロホンの位置は、第１の例示的な実施形態における円を球に置き換えることによって、三次元でも判断できる。したがって、これらの実施形態においては、未知のマイクロホンの位置は、次の数式によって表現できる。多くの場合において、追加の未知の変数（すなわち、未知のマイクロホンのＺ方向における位置）があるため、追加の数式を得るために、４番目の音源を用いることが必要であることに留意されたい。たとえば、デカルト座標で三次元の部屋が表現されている場合には、未知のマイクロホンの位置（Ｘ，Ｙ，Ｚ）は、次の一式の数式によって表現できる。

（ｘ₁−Ｘ）²＋（ｙ₁−Ｙ）²＋（ｚ₁−Ｚ）²＝（ｃｔ₁）²
（ｘ₂−Ｘ）²＋（ｙ₂−Ｙ）²＋（ｚ₂−Ｚ）²＝（ｃｔ₂）²
（ｘ₃−Ｘ）²＋（ｙ₃−Ｙ）²＋（ｚ₃−Ｚ）²＝（ｃｔ₃）²
（ｘ₄−Ｘ）²＋（ｙ₄−Ｙ）²＋（ｚ₄−Ｚ）²＝（ｃｔ₄）²

上記の数式では、各既知の音源Ｓ_kは（ｘ_k，ｙ_k，ｚ_k）に位置し、ｃは音速を表し、ｔ_kは各既知の音源Ｓ_kについての既知のマイクロホンと未知のマイクロホンとの間のＴＤＯＡを表す。

当然のことながら上述の実施形態は、種々の既知のマイクロホンと、音源と、未知のマイクロホンとの間の幾何学的関係を説明する。しかしながら、既知の位置にある複数のマイクロホンを使用して音源が位置確認される場合には（たとえば、周波数ベースの遅延推定を使用して）、数式のシステムは各音源の位置についての別個の明確な解を必要とせずに、非線形最適としてより一般的に定式化できる。すなわち、種々の実施形態によると、音源の位置は未知のマイクロホンの位置と同時に推定可能である。

これらの例示的な実施形態によると、測定可能な値は、既知のマイクロホンの位置ｍ*と、すべてのマイクロホンの対（すなわち、既知のマイクロホンと未知のマイクロホン）の間のＴＤＯＡτ*である。問題は、次に、所与の明白な実際の音源位置に基づき、未知のマイクロホン位置ｕ*と、音源位置ｓ_k*と、のうちの１つの「最良の」値の発見である（値に付したアスタリスクは、これらがベクトル値変数であることを示す）。

関数Ｅ（ｕ*，τ_k*，ｍ*，ｓ_k*）は、既知のマイクロホン位置ｍ*とＴＤＯＡ測定τ_k*とが与えられた時の、特定の解ｕ*，ｓ_k*の誤差度合である。たとえば、種々の実施形態において、この関数は、特定の解についての実際の値の間の誤差の二乗である。

関数τ（ｕ*，ｍ*，ｓ_k*）は、一式の既知のマイクロホンについての期待されるＴＤＯＡｍ*と、未知のマイクロホンについての推定位置ｕ*と、推定音源位置ｓ_k*とを計算する。この関数の最小化は、上述の数式のシステムの最良の解に相当する。

さらに、種々の例示的な実施形態によると、ＴＤＯＡ測定の相対的精度又は変動についての情報が得られる時には、式は重み付けされた解を得るようにされてもよい。たとえば上述の誤差関数は、最も高い変動（又は予想される変動）を有する測定値が誤差関数内で緩和され（強調されないようにし）、低い変動（高い正確さ）を有する測定値が強調される、重み関数を組み込んでいてもよい。同様に、種々の例示的な実施形態によると、観測値は、最新の測定値を強調し、さらに過去における測定値を緩和するために、重み付け可能である。

上述のように、本発明の種々の例示的な実施形態によると、複数の音源があることが好ましい。図３〜５から明らかなように、より多くの音源が得られると、未知のマイクロホンの位置がより正確に推定可能である。本発明の種々の例示的な実施形態によると、会議における複数の人間の会話により、十分に多数の音源を提供することができる。話者は順番に話したり、又は位置を移動することにより、位置決め手順（処理）のための個別の音源を提供する。また、正確なＴＤＯＡ測定は、約２５ミリ秒のスピーチセグメント（時間区分）により実行可能であり、このセグメント間では適度な速度で移動する話者は本質的に静止していると見なせるので、話しながら部屋の中を歩く又は移動する一人の話者（音源）は、この目的のための最適な一式の音源位置を提供するであろう。

話者が互いに話すような時でさえ、スピーチの性質から、短時間の分析であれば、単一話者のセグメント（時間区分）が識別可能である。任意の特定の時間に単一の音源のみが動作中であると仮定されると、信号処理は非常に単純化される。この仮定により、種々の例示的な実施形態によると、任意の一対のマイクロホンの間のＴＤＯＡ測定は、周知の相関法を通じて簡単に実現される。

多くの場合、音声装置は装置に関連した未知の待ち時間（レイテンシー）を有していることがある。たとえば、ネットワーク化された音声装置は、符号化及び伝送の待ち時間を有する。一般的にこの種類の待ち時間は、計算されるべきＴＤＯＡよりも規模が大きい。それゆえ、この待ち時間が未知である場合には、この装置への時間遅延は明確には推定できず、その位置を判断するためにここに記載された方法は不正確になる。

本発明の種々の例示的な実施形態によると、ある場合には、待ち時間を測定されるべきマイクロホンを既知の地点に設置し、それが既知の地点にある間に装置のＴＤＯＡを測定すること、を含む較正ステップにより、装置の待ち時間を測定することが可能であってよい。この場合、その位置での予想されるＴＤＯＡと測定されたＴＤＯＡとの間の違いが装置の待ち時間である。

種々の他の例示的な実施形態において、あまり阻害的でない方法では、時計の補正についてＧＰＳシステムにおいて用いられるのと同じ方法を使用する。これらの実施形態によると、装置の待ち時間は、単に上述の数式が解かれる間に推定される、また別の未知数である。問題の装置において、未知の待ち時間（観測の間は一定であると仮定される）がある場合には、測定されるＴＤＯＡ値は、装置の待ち時間に対応する固定された偏り（ｂｉａｓ）を有する。その結果、三角測量における円（二次元の場合）又は球（三次元の場合）の半径は、比例する値分大きいか又は小さく、それらは一点において交差しない。たとえば、図３〜５のすべての範囲の円の半径を、固定の値分だけ増加させる。待ち時間を未知数として扱うことによって、待ち時間は最も近接した交点（最良の解）という結果になる解（この場合は、既知のマイクロホンの位置及び考えられる音源位置ばかりでなく、装置の待ち時間をも含む）を選択することによって、見出し得る。

同様に、種々の例示的な実施形態によると、音速（温度及び湿度の関数として変化する）は、未知の変数として扱うことができ、測定に基づいて求めることができる。他の種々の例示的な実施形態によると、温度及び湿度の少なくとも１つに対応する音速は、部屋の温度及び湿度の少なくとも１つがわかる場合には、たとえば周知の数式を用いる通常のＨＶＡＣシステムから推定できる。

当然のことながら、上述の例示的な実施形態においては追加の未知数が導入されているため、解を判断するためにより多くの数式（独自の音源観測）が必要とされる。たとえば上述のように、三次元（３つの未知数）で未知のマイクロホンを疑い無く判断するために４つの音源位置が要求されるとすれば、マイクロホン位置（３つの未知数）及び未知のチャネル待ち時間（１つの未知数）を見出すためには５つの音源位置が要求される。マイクロホン位置（３つの未知数）、未知のチャネル待ち時間（１つの未知数）、温度及び湿度に対応する音速（１つの未知数）を見出すためには、６つの音源位置が必要となる。

本発明の種々の例示的な実施形態によると、既知の位置にある一式のマイクロホン位置が正確には知られないことがあることが想像できる。たとえば、マイクロホンは座席に対応する会議机の上に置かれ、机及び席の位置が判明していることがある。あるいはマイクロホンは演壇に沿っておおまかな間隔で順番に配置され、それらの正確な位置が未知であることがある。これらの実施形態において、各マイクロホンを未知のマイクロホンとして選択し、そのマイクロホンの位置を判断するために残りのマイクロホンを使用することによって、各マイクロホンの推定位置は徐々に改善できる。次に、各マイクロホンについて、本プロセスは１回以上繰り返される。最初の一式の位置がマイクロホンの実際の位置に比較的近い場合には、種々の推定位置は各マイクロホンの正確な位置に集中されるはずである。その結果、本発明の種々の例示的な実施形態が不案内な部屋に設定され使用される場合（すなわち、マイクロホンを正確に配置する機会がない場合）には、この較正プロセスにより、ユーザが任意の未知のマイクロホン位置を判断するのに先立って、既知のマイクロホン位置をより正確に判断できる。既知のマイクロホン位置がより正確に知られていると、残りの変数はより正確に計算される。

図６は、本発明による未知のマイクロホンの位置を判断するために使用可能な例示的な実施形態のシステム６００の機能ブロック図である。図６に示すように、システム６００は、入力／出力インタフェース６３０、コントローラ６４０、メモリ６５０、音源位置判断部（回路、ルーティン、又はアプリケーション）６６０、及び未知位置判断部（回路、ルーティン、又はアプリケーション）６７０を含み、それぞれが、１つ以上のデータ／制御バス及び／又はアプリケーションプログラミングインタフェース６８０等によって適切に相互接続されている。入力／出力インタフェース６３０は、１つ以上のリンク６２０を通じて１つ以上の入力装置６１０に接続されている。入力装置６１０は、オーディオシステム、無線ＡＶシステム、電話システム、及びＶＯＩＰ等のうちの少なくとも１つ以上の、マイクロホンから音声信号を供給するために適切な任意の装置であってよい。入力装置６１０は、音声信号をマイクロホンからシステム６００の入力／出力インタフェース６３０に供給可能な、任意の既知又は今後開発される装置であってもよい。

入力装置６１０は、１つ以上のキーボード、マウス、トラックボール、トラックパッド、タッチスクリーン、又はデータ及び制御信号の少なくとも１つ以上をシステム６００に入力するための他の任意の周知の、又は今後開発される装置を含んでいてもよい。

本実施形態において、入力／出力インタフェース６３０は、１つ以上のリンク７２０を通じてデータシンク７１０に接続されている。一般的には、データシンク７１０は、システム６００によって判断された未知のマイクロホンの位置を示すデータを受信、使用、処理、及び記憶することのうちの少なくとも１つが可能な任意の装置又はシステムであってもよい。たとえば、データシンクは、ビデオシステム、テレビジョンシステム、テレビ会議システム、照明システム、又は未知のマイクロホンの位置又は未知のマイクロホンと関連した人又は装置の位置を用いることが可能な他の任意のシステムであってもよい。

さらに、データシンク７１０は、ローカル又は遠隔に位置するラップトップ又はパーソナルコンピュータ、個人用携帯情報端末、タブレットコンピュータ、電子データを受信及び記憶及び伝送の少なくともいずれかをする装置、たとえば、有線又は無線ネットワークの、イントラネット、エクストラネット、ローカル・エリア・ネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、ストレージ・エリア・ネットワーク、インターネット（特に、Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）等クライアント又はサーバであってもよい。一般的には、データシンク７１０は、１つ以上のリンク７２０によって供給される未知のマイクロホンの位置を示すデータを受信、使用、処理、及び記憶することの少なくとも１つが可能な任意の装置であってもよい。

種々のリンク６２０及び７２０の各々は、入力装置６１０及びデータシンクの少なくとも１つをそれぞれ入力／出力インタフェース６３０に接続するための、任意の既知又は今後開発される装置又はシステムを使用して実装され得る。特に、リンク６２０及び７２０は、それぞれ、１つ以上の直接ケーブル接続、オーディオ及び／又はビジュアルシステムを通じた接続、広域ネットワークを通じた接続、ローカル・エリア・ネットワークを通じた接続、イントラネットを通じた接続、エクストラネットを通じた接続、任意の他の分散処理ネットワーク若しくはシステムを通じた接続、又は赤外、無線周波、若しくは他の無線接続として実装可能である。

図６に示すように、メモリ６５０は、既知のマイクロホン位置記憶部６５２、音源位置記憶部６５４、及び推定された未知のマイクロホン位置記憶部６５６を含む、多数の異なるメモリ部を備える。既知のマイクロホン位置記憶部６５２は、既知のマイクロホンの位置を記憶する。音源位置記憶部６５４は、音源の既知又は計算された位置を記憶する。推定された未知のマイクロホン位置記憶部６５６は、１つ以上の未知のマイクロホンの推定位置を記憶する。

図６に示されたメモリ６５０は、可変の、揮発又は不揮発メモリ、又は非可変メモリ又は固定メモリの、任意の適切な組合せを用いて実装できる。可変メモリは、揮発又は不揮発のいずれにおいても、任意の１つ以上の、スタティック又はダイナミックＲＡＭ、フロッピィディスク及びディスクドライブ、書込可能又は再書込可能な光ディスク及びディスクドライブ、ハードディスクドライブ、フラッシュメモリ等を用いて、実装され得る。同様に、非可変又は固定メモリは、任意の１つ以上のＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ―ＲＯＭ若しくはＤＶＤ−ＲＯＭディスク等の光ＲＯＭディスク、及びディスクドライブ等を用いて、実装され得る。

音源位置判断部６６０は、既知のマイクロホンからの音声信号情報を入力し、音声信号情報の音源の位置を示す情報を出力する。未知位置判断部６７０は、未知の位置にあるマイクロホンによって受信された既知の位置にある音源からの音声信号情報と、既知の位置にあるマイクロホンによって受信された未知の位置にある音源からの音声信号情報と、音源の位置とを入力し、未知の位置にあるマイクロホンの位置を示す情報を出力する。

動作中には、システム６００は、入力装置６１０からの既知のマイクロホンの位置データを、リンク６２０を通じて入力／出力インタフェース６３０に入力する。コントローラ６４０の制御下で、既知のマイクロホンの位置データが、メモリ６５０の既知のマイクロホン位置記憶部６５２内に記憶される。次に、１つ以上の音源の位置が知られている場合には、システム６００は、音源位置データをリンク６２０を通じて入力装置６１０から入力／出力インタフェースに入力する。コントローラ６４０の制御下で、音源位置データはメモリ６５０の音源位置記憶部６５４内に記憶される。

１つ以上の音源の位置が判断されなければならない場合には、システムは同じ音源によって発せられ少なくとも２つの既知のマイクロホンによって受信された略同じ音を示す音声信号の１つ以上のグループを、リンク６２０を通じて入力装置６１０から入力／出力インタフェース６３０に入力する。次に、コントローラ６４０の制御下で、音声信号は、音源位置判断部６６０に入力される。コントローラ６４０の制御下で、音源位置判断部６６０は、既知のマイクロホン位置記憶部６５２内の既知のマイクロホン位置データにアクセスし、１つ以上の音源を計算する。計算された音源位置は、次にコントローラ６４０の制御下で、既知のマイクロホン位置記憶部６５２内に記憶される。

次にシステム６００は、それぞれ既知のマイクロホンと未知のマイクロホンとの少なくとも１つによって受信され、それぞれの音声信号グループが同じ既知の音源によって生成された１つ以上の音声信号グループを、リンク６２０を通じて入力装置６１０から入力／出力インタフェース６３０に入力する。コントローラ６４０の制御下で、入力音声信号グループは、未知位置判断部６７０内に入力される。コントローラ６４０の制御下で、未知位置判断部６７０は、既知のマイクロホン位置記憶部６５２及び音源位置記憶部６５４それぞれからの既知のマイクロホン位置データ及び音源位置データにアクセスし、未知のマイクロホンの推定位置を出力する。次に、コントローラ６４０の制御下で、未知のマイクロホンの推定位置が、メモリ６５０の推定された未知のマイクロホン位置記憶部６５６内に記憶される。あるいはコントローラ６４０の制御下で、未知のマイクロホンの推定位置は、未知位置判断部６７０から、入力／出力インタフェースを介し、リンク７２０を通じてデータシンク７１０に直接出力されてもよい。

当然のことながら、費用又は他の設計上の制約によって、上述のシステム６００の１つ以上の要素は、必要に応じて、単一の要素に組み合わされても複数の要素に分割されてもよい。たとえば、音源及び未知のマイクロホンの位置が同時に判断される場合には、音源位置判断部６６０と未知位置判断部６７０とは、適切に組み合わされてもよい。

上述の例示的な実施形態によると、すでに存在するもの以外に追加的なハードウェア及び／又はソフトウェアを用いる必要なく、オーディオシステム及び複数のマイクロホンを含む予め定義された領域内で、未知のマイクロホン（従ってマイクロホンと関連した人や物の一方あるいは両方）の位置を位置確認することできる。これにより、専用追跡システムをインストールし動作するために必要な費用及びリソースなしに、人及び物のいずれかあるいは両方の位置確認を可能にする。

さらに、上述の例示的な実施形態によると、人及び物は、それら自身が音を出す必要なしに（すなわち、単に音源を位置確認するなどの場合）、位置確認されることができる。これにより、たとえば会見又はテレビ会議において、話す前に、ある話者の位置を位置確認可能にする。その結果、たとえば、カメラ、照明、又はマイクロホンは、話者が話す前に、その話者の位置の方向に向けることができ、切れ目のない音声又はビデオ信号を可能にする。さらに、たとえば法廷等での討論中に、カメラ、照明、又はマイクロホンは、その当事者がまだ話していなくても、話者又は事象への反応を捉えるために、他の当事者の方向に向けられることもできる。

上述の例示的な実施形態によると、移動するマイクロホンを追跡することが可能である。プレセンテーションの間に、ある話者はひっきりなしに移動したと仮定する。種々の例示的な実施形態によると、未知のマイクロホンの位置を繰返し計算することが可能である。それぞれの順次の計算された位置は、移動する話者の最新の位置となる。たとえばその位置は、既知の音源からの約２５ミリ秒間の音のセグメントについて判断されてもよく、その間では適度な歩行速度で移動する未知のマイクロホンは本質的に静止している

さらに、上述の例示的な実施形態によると、組込み式マイクロホンを有する装置の位置を判断することが可能である。たとえば多数の装置が一時的に、たとえば会議の間に、ネットワークに接続されているとする。本発明の種々の例示的な実施形態による組込み式マイクロホンを使用することによって、１つ以上の装置を位置確認することが可能である。各装置に、たとえば机を中心とした位置又は室内での位置に基づいた一時的なネットワーク内のアドレスが割り当てられている場合には、各装置は一時的なネットワークアドレスと対応可能であり、秘密の電子メッセージが１つ以上の装置に送信可能である。

上述の例示的な実施形態によると、未知のマイクロホンの位置確認をするために、音源としての１つ以上のスピーカから発せられた超音波連続基準音を使用することによって、組込み式マイクロホンを有する装置の位置を能動的に判断することも、可能である。たとえば、複数の超音波対応スピーカ（又はむしろ、専用超音波変換器）は、時間（時間多重）、周波数（周波数多重）、又はコード（スペクトル拡散変調又はコード多重）でのいずれかで区別可能な超音波オーディオ探査信号を生成可能であり、マイクロホンと、マイクロホンに関連する問題のデジタル化システムとがそれらの信号を検出可能である間は、これらの超音波探査器から完全に位置確認可能である。

原則的に、上述の超音波バージョンは、音源位置／時間差処理における既知の位置から任意の既知の再生信号（すなわち、可聴又は超音波）を使用する特殊例である。しかしながら、超音波音の使用は、オーディオシステムの基本的な使用に干渉しうるオーディオシステム内の可聴音による干渉を防止する。

本発明を上述の概説された例示的な実施形態に関連して述べてきたが、種々の代替物、修正、変更、及び／又は改良が、可能である。したがって、上述した本発明の例示的な実施形態は、説明を意図したものである。本発明の精神及び範囲から逸脱せずに種々の変更が可能である。

会議室の代表的なレイアウトである。 本発明による未知のマイクロホンの位置を判断するための方法の例示的な実施形態を示すフローチャートである。 二次元での既知の音源を使用した未知のマイクロホンの推定位置を示す。 二次元での２つの既知の音源を使用した未知のマイクロホンの推定位置を示す。 二次元での３つの既知の音源を使用した未知のマイクロホンの推定位置を示す。 本発明による未知のマイクロホンの位置を判断するためのシステムの例示的な実施形態の機能ブロック図である。

符号の説明

６００：システム
６３０：入力／出力インタフェース
６４０：コントローラ
６５０：メモリ
６６０：音源位置判断部
６７０：未知位置判断部

Claims (19)

1. 第１及び第２の音声信号が既知の位置にある音源から発せられた略同じ音を示し、既知の位置にある１つのマイクロホンによって生成された第１の音声信号と未知の位置にある他のマイクロホンによって生成された第２の音声信号との間の到着時間の違いを判断し、
   少なくとも判断された到着時間の違いに基づいて前記既知の位置にある音源と前記未知の位置にあるマイクロホンとの間の距離を判断し、
   判断された前記既知の位置にある音源と前記未知の位置にあるマイクロホンとの間の距離に基づいて前記未知のマイクロホンの位置を判断すること、を含む、
   マイクロホンの位置を判断するための方法。
2. 判断された前記未知のマイクロホンの位置の正確さを高めるために請求項１のステップを１回以上繰り返すことをさらに含み、請求項１の方法の各繰返しについて第１及び第２の音声信号が未知のマイクロホンの位置を判断するためにすでに使用された音源以外の音源から発せられた略同じ音を示す、請求項１の方法。
3. 既知の位置にある２つ以上のマイクロホンを使用して１つ以上の音源の位置を判断することをさらに含む、請求項２の方法。
4. 前記ステップのそれぞれが略同時に実行される、請求項３の方法。
5. 異なる既知の位置にある同一の音源は異なる音源であると見なされる、請求項２の方法。
6. 少なくとも判断された到着時間の違いに基づいて前記既知の位置にある音源と前記未知の位置にあるマイクロホンとの間の距離を判断することが、
   前記未知の位置にあるマイクロホンの装置待ち時間を判断し、
   判断された前記未知の位置にあるマイクロホンの装置待ち時間に基づいて前記既知の位置にある音源と前記未知の位置にあるマイクロホンとの間の距離を判断すること、を含む、
   請求項２の方法。
7. 少なくとも判断された到着時間の違いに基づいて前記既知の位置にある音源と前記未知の位置にあるマイクロホンとの間の距離を判断することが、
   音速を判断し、
   判断された音速に基づいて前記既知の位置にある音源と前記未知の位置にあるマイクロホンとの間の距離を判断すること、を含む、
   請求項２の方法。
8. 少なくとも判断された到着時間の違いに基づいて前記既知の位置にある音源と前記未知の位置にあるマイクロホンとの間の距離を判断することが、
   前記既知の位置にあるマイクロホンの装置待ち時間を判断し、
   判断された前記マイクロホンの装置待ち時間に基づいて前記既知の位置にある音源と前記未知の位置にあるマイクロホンとの間の距離を判断すること、を含む、
   、請求項２の方法。
9. 前記未知の位置にあるマイクロホンがラップトップコンピュータに組み込まれている、請求項１の方法。
10. 前記未知の位置にあるマイクロホンが有線電話に組み込まれている、請求項１の方法。
11. 前記未知の位置にあるマイクロホンが携帯電話に組み込まれている、請求項１の方法。
12. 前記未知の位置にあるマイクロホンが個人用携帯情報端末に組み込まれている、請求項１の方法。
13. 前記未知の位置にあるマイクロホンが無線マイクロホンである、請求項１の方法。
14. 前記略同じ音が可聴音である、請求項１の方法。
15. 前記略同じ音が超音波である、請求項１の方法。
16. 既知の位置にある２以上のマイクロホンを使用して１つ以上の音源の位置を判断する、音源位置判断部と、
    前記既知の位置にあるマイクロホンによって生成された音声信号と未知の位置にある他のマイクロホンによって生成された音声信号とに基づいて１つ以上の未知のマイクロホンの位置を判断するための未知位置判断部と、を備え、前記音声信号が既知の位置にある同じ音源から発せられた略同じ音を示す、
    マイクロホンの位置を判断するためのシステム。
17. 前記１つ以上の音源の位置と前記１つ以上の未知のマイクロホンとが略同時に判断される、請求項１６のシステム。
18. 請求項１６のシステムを備える、オーディオシステム。
19. マイクロホンの位置を判断する処理をコンピュータに実行させる、コンピュータ可読プログラムであって、
    第１及び第２の音声信号が既知の位置にある音源から発せられた略同じ音を示し、既知の位置にある１つのマイクロホンによって生成された第１の音声信号と未知の位置にある他のマイクロホンによって生成された第２の音声信号との間の到着時間の違いを判断し、
    少なくとも判断された到着時間の違いに基づいて前記既知の位置にある音源と前記未知の位置にあるマイクロホンとの間の距離を判断し、
    判断された前記既知の位置にある音源と前記未知の位置にあるマイクロホンとの間の距離に基づいて前記未知のマイクロホンの位置を判断すること、をコンピュータに実行させる、
    マイクロホンの位置を判断するためのプログラム。

Images