JP2008079256A - 音響信号処理装置、音響信号処理方法及びプログラム - Google Patents
音響信号処理装置、音響信号処理方法及びプログラム Download PDFInfo
- Publication number
- JP2008079256A JP2008079256A JP2006259347A JP2006259347A JP2008079256A JP 2008079256 A JP2008079256 A JP 2008079256A JP 2006259347 A JP2006259347 A JP 2006259347A JP 2006259347 A JP2006259347 A JP 2006259347A JP 2008079256 A JP2008079256 A JP 2008079256A
- Authority
- JP
- Japan
- Prior art keywords
- sound source
- feature
- feature quantity
- feature amount
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
Abstract
【課題】室内や車内などの反射や残響の存在する残響下において2つのマイクロホンだけでも奥行き方向も含む音源位置推定を行うことが可能な音響信号処理装置を提供する。
【解決手段】対象音源109からの直接波及び反射波をマイクロホン101−1,101−2で受信し、各受音信号を各フーリエ変換部102−1,102−2でフーリエ変換し、変換結果をもとにコヒーレンス特徴算出部110で受音信号の特徴量を算出する。また、特徴量辞書107には、予め複数の音源位置候補について学習された特徴量の代表値が登録されている。照合部106は、受音信号の特徴量を、特徴量辞書107に登録されている特徴量モデルと照合して、受音信号の特徴量により近い特徴量モデルを選択し、選択した特徴量モデルに対応付けられている音源位置候補を、対象音源の位置の推定結果とする。
【選択図】 図1
【解決手段】対象音源109からの直接波及び反射波をマイクロホン101−1,101−2で受信し、各受音信号を各フーリエ変換部102−1,102−2でフーリエ変換し、変換結果をもとにコヒーレンス特徴算出部110で受音信号の特徴量を算出する。また、特徴量辞書107には、予め複数の音源位置候補について学習された特徴量の代表値が登録されている。照合部106は、受音信号の特徴量を、特徴量辞書107に登録されている特徴量モデルと照合して、受音信号の特徴量により近い特徴量モデルを選択し、選択した特徴量モデルに対応付けられている音源位置候補を、対象音源の位置の推定結果とする。
【選択図】 図1
Description
本発明は、入力音響信号から音源位置を推定する音響信号処理装置、音響信号処理方法及びプログラムに関する。
例えばテレビ会議システムやロボットの聴覚システム等において、複数の話者の中から特定の人の声を抽出する場合に、どの方向又は位置から音声が到来するかを推定する音源定位の問題は重要な課題である。複数のマイクロホン(マイクロホンアレー)を用いた手法は、音響信号のみから音源位置の推定を行うものであり、近年研究が盛んに行われている。
音源の方位を特定する古典的な手法として、ビームフォーマ法(例えば非特許文献1の9章参照)が挙げられる。ビームフォーマ法は、複数のマイクに到来する信号の時間差から信号の到来方向を求めるという簡単な原理に基づいている。
また、ロボット頭部の左右にマイクを配置した場合に、ロボット頭部が障害となり、両耳間の到来時間差が正確に求められないことがある。この問題に対しては、左右のマイクに到達する信号に強度差が生じることを利用し、強度比のパターンを認識することで音源方向を推定する方法が提案されている(例えば非特許文献2参照)。
これら音源方位を推定する手法では、原理的には2マイクで構成可能であり、低コストで実現可能であるという利点がある。
一方で、奥行きも含めた2次元空間での音源位置の推定を行うには、多数のマイクを、音源を取り囲むように配置する必要がある。例えば、非特許文献3では、車内に搭乗者を囲むように配置したマイクを用いて、MUSIC法(例えば非特許文献1の10章参照)を2次元に拡張した2D−MUSIC法により音源位置を推定する方法が述べられている。
方向のみでなく奥行きまで検出するには多数のマイクが必要であり、コストがかかるという問題に加え、マイクアレーシステムのサイズも大きくなり、設置が困難になるという問題がある。
菊間信良, アレーアンテナによる適応信号処理, 科学技術出版, 1998 持木南生也,関矢俊之,小川哲司,小林哲則, "ロボット頭部に設置した4系統指向性マイクロホンによる音源定位", 日本音響学会講演論文集, pp.609-610, 3月, 2005 近藤啓介,長井隆行,金子正秀,榑松明, "マイクロホンアレーを用いた話者位置推定による車載音声認識" 電子情報通信学会論文誌D−II, vol. J85, no.7, pp.1176-1187, 2002
菊間信良, アレーアンテナによる適応信号処理, 科学技術出版, 1998 持木南生也,関矢俊之,小川哲司,小林哲則, "ロボット頭部に設置した4系統指向性マイクロホンによる音源定位", 日本音響学会講演論文集, pp.609-610, 3月, 2005 近藤啓介,長井隆行,金子正秀,榑松明, "マイクロホンアレーを用いた話者位置推定による車載音声認識" 電子情報通信学会論文誌D−II, vol. J85, no.7, pp.1176-1187, 2002
上述したように従来の技術では、2マイクで構成される小規模なマイクによる場合、音源方向の推定は可能であるが、奥行き方向も含めた音源位置の推定は困難であるという問題があった。また、奥行き方向の推定を行うためには、多数のマイクを広範囲に設置する必要があり、コストがかかり、装置が大がかりになるという問題があった。
本発明は、上記事情を考慮してなされたもので、室内や車内などの反射や残響の存在する残響下において2つのマイクロホンだけでも奥行き方向も含む音源位置推定を行うことが可能な音響信号処理装置、音響信号処理方法及びプログラムを提供することを目的とする。
本発明に係る音響信号処理装置は、音源から直接到来する直接波と、前記音源から前記直接波とは異なる方位に放射され反射して到来する反射波とを複数のチャネルで受音する受音手段と、受音した受音信号に対し、前記受音信号のチャネル間の相関を含むチャネル間の差異を表す特徴量を算出する算出手段と、前記受音信号に対する特徴量を、予め定められた音源位置候補に対応付けられている特徴量モデルと照合して、1又は複数の特徴量モデルを選択し、選択した特徴量モデルに対応付けられている音源位置候補に基づいて、前記音源の位置に関する推定を行う推定処理手段とを備えたことを特徴とする。
また、本発明に係る音響信号処理装置は、音源から直接到来する直接波と、前記音源から前記直接波とは異なる方位に放射され反射して到来する反射波とを複数のチャネルで受音する受音手段と、受音した受音信号に対し、前記受音信号のチャネル間の相関を含むチャネル間の差異を表す特徴量を算出する算出手段と、前記受音信号に対する特徴量を、予め定められた音源位置候補に対応付けられている特徴量モデルと照合して、前記受音信号に対する特徴量と前記特徴量モデルとの近さを表す指標を求め、求められた該指標が所定の基準を満たすか否かによって、前記音源が前記音源位置候補に存在するものであるか否かを推定する推定処理手段とを備えたことを特徴とする。
本発明によれば、室内や車内などの反射や残響の存在する空間での受音信号に対してチャネル間の相関を含むチャネル間の差異を表す特徴量を求め、反射や残響を含んだ特徴量を、事前に学習した特徴量のモデルと比較し、音源の位置に関する推定を行うことにより、従来は多数のマイクロホンが必要であった奥行き方向を含む音源位置推定を、2つのマイクロホンだけでも実現することができ(3つ以上のマイクロホンを用いても構わない)、低コストで小規模な構成で奥行きも含めた音源位置の推定が可能となる。
なお、装置に係る本発明は方法に係る発明としても成立し、方法に係る本発明は装置に係る発明としても成立する。
また、装置または方法に係る本発明は、コンピュータに当該発明に相当する手順を実行させるための(あるいはコンピュータを当該発明に相当する手段として機能させるための、あるいはコンピュータに当該発明に相当する機能を実現させるための)プログラムとしても成立し、該プログラムを記録したコンピュータ読み取り可能な記録媒体としても成立する。
また、装置または方法に係る本発明は、コンピュータに当該発明に相当する手順を実行させるための(あるいはコンピュータを当該発明に相当する手段として機能させるための、あるいはコンピュータに当該発明に相当する機能を実現させるための)プログラムとしても成立し、該プログラムを記録したコンピュータ読み取り可能な記録媒体としても成立する。
本発明によれば、室内や車内などの反射や残響の存在する残響下において2つのマイクロホンだけでも奥行き方向も含む音源位置推定を行うことが可能になる。
以下、図面を参照しながら本発明の実施形態について説明する。
(第1の実施形態)
図1に、本発明の第1の実施形態に係る音響信号処理装置の構成例を示す。
図1に、本発明の第1の実施形態に係る音響信号処理装置の構成例を示す。
図1中、101−1,101−2はいずれもマイクロホンを表し、109は位置推定の対象となる音源を表し、108は音源109からマイクロホン101−1とマイクロホン101−2への反射波を生成する壁面(反射面)を表している。なお、ここでは、音源とマイクロホンが開空間の環境下にある場合を例にとっているが、音源とマイクロホンが例えば部屋や車内などのような閉空間(図8等参照)の環境下にあってもよい(他の実施形態も同様である)。
本実施形態では、後述するように、各マイクロホンと反射面との位置関係とが固定されている場合を想定している。
図1に示されるように、本実施形態の音響信号処理装置は、第1のマイクロホン101−1と、第2のマイクロホン101−2と、第1のマイクロホン101−1の受音信号をフーリエ変換するフーリエ変換部102−1と、第2のマイクロホン101−2の受音信号をフーリエ変換するフーリエ変換部102−2と、それらフーリエ変換部102−1,102−2により得られるフーリエ変換結果をもとに特徴量を算出するコヒーレンス特徴算出部110と、コヒーレンス特徴算出部110により得られる特徴量を、(予め複数の特徴量モデルが登録されている)特徴量辞書107に登録されている特徴量モデルと照合し、音源の位置に関する推定を行う照合部106とを備えている。また、コヒーレンス特徴算出部110は、周波数成分ごとにコヒーレンスを計算するコヒーレンス算出部103と、コヒーレンス算出部103により得られる周波数成分ごとのコヒーレンスを統合して特徴量を生成するコヒーレンス統合部104とを有する。
なお、特徴量辞書107については、本音響信号処理装置が特徴量辞書107を備える形態でもよいし、本音響信号処理装置の外部に特徴量辞書107が存在し、本音響信号処理装置が(例えばネットワークを介するなどして)特徴量辞書107を利用する形態でもよい(他の実施形態の辞書についても同様である)。
本実施形態では、詳しくは後述するように、受信信号に対する特徴量として、コヒーレンスを利用し、特徴量辞書107に登録する特徴量モデルとして、候補となる音源位置(音源位置候補)に対応する特徴量の代表値を用いる。
図2に、本音響信号処理装置が音源からの音響信号を受信してから、音源の位置に関する推定を行うまでの処理手順例を示す。
音源からの直接波及び反射波を各マイクロホンで受音し(ステップS1)、受音した各受音信号をそれぞれフーリエ変換し(ステップS2)、それらフーリエ変換結果をもとに特徴量を算出し(ステップS3)、算出された特徴量を特徴量辞書に登録されている特徴量と照合して、音源の位置に関する推定を行う(ステップS4)。
以下に、本実施形態の動作について詳しく説明する。
音源109を話者の発話とすると、話者の声はマイクロホン101−1,101−2で受音される。このとき、音源109から直接マイクロホン101−1,101−2に到達する信号に加え、壁面108で反射して到達する信号も合わせて受音される(ステップS1)。
各マイクロホン101−1,101−2の受音信号はそれぞれフーリエ変換部102−1,102−2でフーリエ変換される(ステップS2)。具体的には、離散化された受音信号に対して、ハミング窓等の窓関数により切り出されたフレームに対して高速フーリエ変換を行う。この処理は、時間的に連続して入力される受音信号に対して、所定のサンプル数だけシフトしながらフレーム毎に行われる。フレームのサンプル数が2(K−1)の場合、K個の周波数成分(Xm(1),Xm(2),…,Xm(K))が得られる。ここで、mはマイク番号で、m=1 or 2である(なお、図1において、m=1がマイクロホン101−1を示し、m=2がマイクロホン101−2を示す)。
次に、コヒーレンス算出部103で周波数成分ごとにコヒーレンスが計算される(ステップS3)。
コヒーレンスは、2つのマイクロホン間の信号の相関を表す量であり、数式(1)に示す複素コヒーレンスを用いることができる。
γ(k)=E{X1 *(k)X2(k)}/{E{|X1(k)|2}E{|X2(k)|2}}−1/2
…(1)
数式(1)の分子はクロススペクトルとも呼ばれる。
γ(k)=E{X1 *(k)X2(k)}/{E{|X1(k)|2}E{|X2(k)|2}}−1/2
…(1)
数式(1)の分子はクロススペクトルとも呼ばれる。
次に、周波数ごとに求められたコヒーレンス(Coh(1),Coh(2),…,Coh(K))をコヒーレンス統合部104で統合して、受音信号に対する特徴量として、特徴ベクトルfcohを生成する(ステップS3)。
なお、複素コヒーレンスは、複素数であるので、Coh(i)を実部と虚部に分解して(Real(Coh(i),Image(Coh(i))として扱い、あるいは、絶対値と角度に分解して(|Coh(i)|,Arg(Coh(i)))として扱うと、後段の処理を実数で行うことができ、好都合である。
また、位相成分を削除して、|Coh(i)|またはその2乗(振幅2乗コヒーレンス)を用いると、特徴ベクトルの次元数を半分に減らすことができる。
また、この特徴ベクトルを複数フレームまとめた系列を、1つの特徴ベクトルとして扱うことも可能である。さらに、この系列に対して主成分分析等の統計的手法を用いて次元圧縮をすることも可能である。
なお、上記では、振幅の変動による影響を取り除くために、クロススペクトルを正規化したコヒーレンスを用いて特徴量を定義する場合を例にとって説明しているが、クロススペクトルを用いて特徴量を定義することも可能である。
このようにして得られた特徴ベクトルfcohは、特徴量辞書107に格納されている各特徴量モデル(特徴ベクトル)fiと、照合部106により照合される(ステップS4)。なお、特徴量辞書107に登録する複数の特徴ベクトルを生成する方法については後述する。
照合の方法としては様々な方法が考えられる。
ここでは、一例として、ベクトル間のユークリッド距離を用いる方法について説明する。
受音信号に対する特徴ベクトルfcohと、特徴量辞書107に格納されたi番目の特徴ベクトルfiとの距離の2乗Diは、
Di=(fcoh−fi)2
と定義される。
Di=(fcoh−fi)2
と定義される。
照合部106では、Diを最小とする特徴量モデル(特徴ベクトル)fiを探索し、その特徴量モデル(特徴ベクトル)に対応付けられている音源位置候補(例えば、特定の地点を基準とする座標値)を、音源(話者)の位置の推定結果として出力する。
次に、特徴量辞書107の作成方法について説明する。
特徴量辞書107は、本音響信号処理装置の利用時(音源位置推定時)の環境と同じ(あるいはほぼ同じ)条件下で作成されるのが望ましい。つまり、音源位置推定時における各マイクロホンと反射面との位置関係を想定して、学習時の音源位置推定時における各マイクロホンと反射面との位置関係を設定すると効果的である。なお、必ずしも当該音響信号処理装置が現実に用いられる環境・場所で学習を行うのではなくてもよく、同じ(あるいは、ほぼ同じ)条件下であれば、異なる環境・場所で学習を行っても構わない。例えば、当該音響信号処理装置が自動車に搭載して利用されるものである場合に、当該音響信号処理装置を実際に搭載する当該自動車を用いて学習する代わりに、当該自動車と同種の他の自動車を用いて学習を行うことも可能である。
この状態で候補となる音源位置(例えば図1のA、B、Cの位置)から学習用信号を発生する。学習用信号は、必ずしも、位置推定の対象として想定している音源から得られるであろうものと同一の信号を用いなくても構わない。例えば、対象となる音源として人の声を想定する場合に、学習用信号としては、肉声やスピーカによる人の声を用いるのが望ましいが、白色雑音等のノイズも利用可能である。また、例えば、特定の話者を推定対象とする場合に、学習用信号として肉声やスピーカによる人の声を用いるときであっても、当該特定の話者以外の人の声を用いることも可能である。
このようにして発生させた信号を各マイクロホン101−1,101−2で受音し、コヒーレンス特徴算出部110により前述の手法を用いて、特徴ベクトルを生成し(これらを所定回数繰り返して複数の特徴ベクトルを生成し)、その平均値を、その音源位置候補における特徴ベクトルの代表値(特徴量モデル)として保存する(例えば図1のfA、fB、fC)。なお、平均値のもととなる複数の特徴ベクトルの生成には、種々の方法が考えられ、例えば、同一の学習用信号から切り出された複数のフレームに対する特徴ベクトルを生成して用いることも可能であり、また、異なる学習用信号からそれぞれ切り出された複数のフレームに対する特徴ベクトルを生成して用いることも可能である。また、例えば、学習に人の声を用いる場合に、特定の一人の音声を用いることも可能であるし、複数の人の音声を用いることも可能である。
この作業を音源位置候補ごとに行って、各音源位置候補に対応する特徴量モデルを求める。そして、各特徴量モデルに、その音源位置候補(例えば、特定の地点を基準とする座標値もしくはこれを特定可能な情報)を対応付けて、特徴量辞書107に登録する。
図3に、この学習の処理手順例を示す。
まず、ステップS11において、N個の学習用音源位置(すなわち、音源位置候補)p(1)〜p(N)に対し、1番目の位置を選択する(n=1とする)。
ステップS12では、音源位置p(n)より学習用信号を放射する。
ステップS13で、放射された信号に対する特徴量を所定回数求め、ステップS14で、その平均値(特徴ベクトルの代表)を求め、p(n)に対応する特徴ベクトル(特徴量モデル)とする。
ステップS15で、全ての学習用音源位置に対して学習が終了したかを判定し、終了していなければ、ステップS16で次の音源位置を選択(nを1増加)した後に、ステップS12に戻り、終了していれば、特徴ベクトルの組(f(1),f(2),…,f(n))を特徴量辞書107として出力する。
なお、各特徴ベクトルに対応する音源位置候補は、特徴量辞書107に併せて登録してもよいし、他の辞書に登録して、特徴ベクトルの識別情報(例えば、上記の番号)などで対応付けて検索可能にしてもよい(他の実施形態についても同様である)。
以上の学習方法から理解されるように、本手法は任意の環境や任意のマイク配置での使用には不向きである反面、これらの固定された環境、例えば車内に設置されたマイクロホンに対して音源が運転席や助手席などある程度決まった位置に存在するような環境には、好適である。
次に、このように使用条件を限定することにより生じる利点について述べる。
図4に、使用環境の例を示す。この例の使用環境は、閉空間308と音源位置A,Bとマイクロホン101−1,101−2より構成される。2つの音源A,Bは、2つのマイクロホンの中心に対し真正面に奥行方向のみ異なるように配置されている。
かりに、閉空間308が存在しなかった場合、マイクロホンで観測される信号は音源からの直接波のみであるため、音源位置A,Bによらず左右のマイクロホンで同一の波形が観測される。これに対し、閉空間308が存在する場合は、直接波の他に反射波が加わる。反射波は、音源位置A,Bに依存して、異なる角度、時間遅れを生じて受音されるため、これを手がかりに奥行き方向を推定することができる。
図5に、受音した信号のコヒーレンスを模式的に表す。
閉空間が存在せず、反射の無い環境では、左右のマイクロホンの受音信号は同一となるため、数式(1)の定義によりコヒーレンスは全周波数帯域で1となり、図5(a)のように周波数による変化のない特徴となる。これに対し、反射のある場合は、直接波と反射波の位相差が(2n+1)π,(n=0,1,…)となる周波数で直接波と反射波が弱め合って受音信号のSNRが劣化し、コヒーレンスの低下を招く。これが図5(b)に示すように、特定の周波数で特徴的なディップ(くぼみ)となって現れる。ディップの現れる周波数は音源位置(奥行き方向も含む)により異なるため、この特徴は、音源位置の識別、特に奥行き方向の識別に効果的である。一方、コヒーレンスの高い成分は、その位相成分に音源の方向情報が現れるため、音源方向の推定に効果的である。このような性質を持つコヒーレンスのパターンを特徴量とすることで、奥行き方向も含めた音源位置の特定が可能になる。
なお、上記では、マイクロホンの数を2として説明したが、マイクロホンの数が3以上の場合も実現可能である。この場合、例えば、各マイクロホン間のコヒーレンスを連結したベクトルを特徴ベクトルとするなどの手法があげられる。
また、図1の例では、特徴量モデルの対象となる音源位置候補を3箇所のみ示しているが、より多くの音源位置候補を用いてもよい。また、例えば、音源位置候補を格子状に配置するなどの方法も可能である。これらは、他の実施形態についても同様である。
また、上記では、本音響信号処理装置がマイクロホン101−1,101−2を備えたが、マイクロホンで受音した信号を運搬または伝送可能なシステム(運搬または伝送はどのような方法によっても構わない。)を介して本音響信号処理装置に与えることも可能である。この場合、本音響信号処理装置の構成としては、マイクロホン101−1,101−2は不要となり、マイクロホン101−1,101−2の替わりに入力端子を設け、マイクロホンから運搬または伝送された信号を入力端子に入力する構成とすることができる。この点は、以下の各実施形態についても同様である。
(第2の実施形態)
本発明の第2の実施形態について、第1の実施形態と相違する点を中心に説明する。
本発明の第2の実施形態について、第1の実施形態と相違する点を中心に説明する。
第1の実施形態は、受信信号に対する特徴量や特徴量辞書107に登録する特徴量モデルとして、コヒーレンスによる特徴量ベクトルを用いたが、本実施形態では、コヒーレンスによる特徴量ベクトルの替わりに、一般化相互相関関数による特徴量ベクトルを用いるものである。
図6に、本実施形態に係る音響信号処理装置の構成例を示す。
本実施形態は、第1の実施形態の音響信号処理装置の構成例(図1)において、コヒーレンス特徴算出部110を一般化相互相関関数特徴算出部210に置き換えたものである。
図6に示されるように、一般化相互相関関数特徴算出部210は、一般化相互相関関数203とフーリエ逆変換部204と最大値探索部205とを有する。
一般化相互相関関数gcc(t)は、次の数式(2)で定義され、ここでは左右のマイクロホンの相関を表す量に相当する。
gcc(t)=IFT{φ(k)E{X1 *(k)X2(k)}} …(2)
一般化相互相関関数の1つである平滑化コヒーレンス変換では、重み関数φ(k)は、次の数式(3)で定義される。
φ(k)={E{|X1(k)|2}E{|X2(k)|2}}−1/2 …(3)
重み関数φ(k)には多くのバリエーションが存在するが(例えば“金井浩, 音・振動のスペクトル解析, コロナ社, 1999“の10.3章参照)、周波数成分ごとに重みを変え、より用途に適した相互相関関数を求めようという観点から同一のものと言える。
gcc(t)=IFT{φ(k)E{X1 *(k)X2(k)}} …(2)
一般化相互相関関数の1つである平滑化コヒーレンス変換では、重み関数φ(k)は、次の数式(3)で定義される。
φ(k)={E{|X1(k)|2}E{|X2(k)|2}}−1/2 …(3)
重み関数φ(k)には多くのバリエーションが存在するが(例えば“金井浩, 音・振動のスペクトル解析, コロナ社, 1999“の10.3章参照)、周波数成分ごとに重みを変え、より用途に適した相互相関関数を求めようという観点から同一のものと言える。
本実施形態では、一般化相互相関関数特徴算出部210において、一般化相互相関関数203によりGCC={φ(k)E{X1 *(k)X2(k)}}の部分を求め、これをフーリエ逆変換部204によりフーリエ逆変換し、この結果gccから、最大値探索部205により、最大値を探索し、最大値Mと、これを与える遅れ時間δとの組を、特徴量fgcc(M,δ)とする。
特徴量辞書107の生成方法は、コヒーレンスの替わりに一般化相互相関関数を用いる点以外は、第1の実施形態と同様である。また、照合部106による照合についても、第1の実施形態と同様であり、例えばベクトル間のユークリッド距離を用いる場合には、受音信号に対する特徴ベクトルfgccと、特徴量辞書107に格納されたi番目の特徴ベクトルfiとの距離の2乗Di=(fgcc−fi)2を最小とする特徴量モデル(特徴ベクトル)fiを探索し、その特徴量モデル(特徴ベクトル)に対応付けられている音源位置候補(例えば、特定の地点を基準とする座標値)を、音源(話者)の位置の推定結果として出力すればよい。
さて、数式(2)からもわかるように、本実施形態で用いる一般化相互相関関数はフーリエ逆変換により時間領域の量となっており、最大値とこれを与える遅れ時間から、チャネル間の相関の強さと音源の方向を知ることができる。相関の強さは残響の強さと関係があり、一般に音源が遠くなるに従って直接波よりも残響の寄与が大きくなり、相関が低下する。この性質は奥行き方向の推定に利用することができる。
第1の実施形態で用いるコヒーレンスが周波数ごとの処理であるのに対し、本実施形態で用いる一般化相互相関関数は全帯域に対して求めるため、SNRが高い場合は統計的なバラツキが小さくなり、高精度の音源推定が可能となる。
なお、第1の実施形態では、受信信号に対する特徴量や特徴量辞書107に登録する特徴量モデルとして、コヒーレンス(あるいは、クロススペクトル)による特徴量ベクトルを用い、第2の実施形態では、一般化相互相関関数による特徴量ベクトルを用いたが、それら以外の特徴量を用いることも可能である(なお、コヒーレンス(あるいは、クロススペクトル)と一般化相互相関関数とを統合した特徴量ベクトルを用いることも可能である)。
(第3の実施形態)
本発明の第3の実施形態について、第1,2の実施形態と相違する点を中心に説明する。
本発明の第3の実施形態について、第1,2の実施形態と相違する点を中心に説明する。
図7に、本実施形態に係る音響信号処理装置の構成例を示す。
第1の実施形態ではコヒーレンス特徴算出部110を用い、第2の実施形態では一般化相互相関関数特徴算出部210を用いたが、本実施形態は、図7に示されるように、コヒーレンス特徴算出部110と一般化相互相関関数特徴算出部210の両方を用いるものである。
すなわち、まず、本実施形態では、第1の実施形態と同様にしてコヒーレンス特徴算出部110で特徴ベクトルfcohを生成するとともに、第2の実施形態と同様にして一般化相互相関関数特徴算出部210で特徴ベクトルfgccを生成した後に、特徴量統合部310により、それらが統合された特徴ベクトルfmixを生成する。
特徴ベクトルfcohと特徴ベクトルfgccの統合の方法には、種々の方法が考えられる。
例えば、特徴ベクトルfcohとして複素コヒーレンスの実部と虚部を分解したものを用いる場合に、fcohのi(i=1〜K)番目の成分を(CohR(i),CohI(i))とし、特徴ベクトルをgcc(M,δ)として、統合された特徴ベクトルfmixのi番目の成分を、(CohR(i),CohI(i),M,δ)で表すようにしてもよいし(最大値M、遅れ時間δは、いずれも、全成分に共通の値になる)、他の統合方法も可能である。
また、例えば、特徴ベクトルfcohとして複素コヒーレンスの絶対値|Coh(i)|を用いるときに、特徴ベクトルfmixのi番目の成分を、(|Coh(i)|,M,δ)としてもよい。
また、例えば、統合にあたって、重み付けを行ってもよい。例えば、上記の例の場合において、統合された特徴ベクトルfmixのi番目の成分を、(w1・CohR(i),w2・CohI(i),w3・M,w4・δ)としてもよい(ここで、w1,w2,w3,w4は予め定められた重みである)。
なお、上記において、コヒーレンスの替わりに、クロススペクトルを用いることも可能である。
次に、第1,2の実施形態では、特徴量辞書107に登録する特徴量モデルには、各音源位置候補に対応する特徴量の代表値を用い、照合部106では、受音信号に対する特徴ベクトルとの距離が最小となる特徴量モデルに対応付けられている音源位置候補を、音源の位置の推定結果としたが、本実施形態では、特徴量辞書307には、特徴量モデルとして、各音源位置候補に対する特徴ベクトルの出現確率のモデルが格納されており、照合部306においては、得られた特徴ベクトルfmixを対象として、特徴量辞書307を利用して、音源位置の推定を後述する統計的な手法に基づいて行う。
ここで、特徴ベクトルfが音源位置候補q(例えば、q=A,B,C)から発せられた確率(事後確率)P(q|f)を考える。
この確率P(q|f)の求め方の例として、ベイズの定理を用いて、
P(q|f)=P(f|q)P(q)/P(f) …(4)
と変形し、右辺を利用して算出する手法がある。ただし、P(f|q)は音源位置qから特徴ベクトルfが出現する確率、P(q),P(f)は、それぞれ、音源、特徴ベクトルの出現確率である。右辺の項は事前に測定可能な量なので、これらを用いて事後確率が計算可能となる。
P(q|f)=P(f|q)P(q)/P(f) …(4)
と変形し、右辺を利用して算出する手法がある。ただし、P(f|q)は音源位置qから特徴ベクトルfが出現する確率、P(q),P(f)は、それぞれ、音源、特徴ベクトルの出現確率である。右辺の項は事前に測定可能な量なので、これらを用いて事後確率が計算可能となる。
上記の確率P(q|f)を最大にする音源位置qを求めるような問題には種々の解法を用いることができ、例えば、P(f)は音源位置qの推定には無関係なので、分子のP(f|q)P(q)を最大にするqを音源位置として推定する方法(MAP推定)や、P(q)は同一とみなしてP(f|q)を最大にするqを音源位置とする方法(最尤推定)などがあげられる。
上記の最尤推定を用いる場合、特徴量辞書307には、各音源位置候補ごとの確率モデルP(f|q)(例えば、q=A,B,C)が格納される。P(f|q)の分布として単一ガウス分布を用いる場合、P(f|q)は、次の数式(5)で表すことができる。ただし、μは特徴ベクトルfの平均、Rは共分散行列、nはfの次元数である。
P(f|q)=(2π)−n/2・|R|−1/2・exp〔−{(f−μ)´R−1(f−μ)}/2〕
… (5)
この場合、特徴量辞書307には、それぞれの音源位置候補に対するモデルパラメータ(特徴量モデル)として平均と分散を登録しておけばよい。
P(f|q)=(2π)−n/2・|R|−1/2・exp〔−{(f−μ)´R−1(f−μ)}/2〕
… (5)
この場合、特徴量辞書307には、それぞれの音源位置候補に対するモデルパラメータ(特徴量モデル)として平均と分散を登録しておけばよい。
モデルパラメータは、事前学習で獲得が可能であり、図3の手順例におけるステップS14で代表ベクトルを求める代りに、平均と共分散を求めることで実現できる。
このようにして得られた特徴量辞書307を用いて、照合部306では、入力された特徴ベクトルfmixに対し、その尤度P(fmix|q)を各候補音源位置ごとのモデルパラメータ(単一ガウス分布の平均と分散)を用いて数式(5)で算出し、この値が最大となる音源位置を、音源の位置の推定結果として出力する。
確率モデルとしては、複数のガウス分布の重み付和であるGMM(Gaussian Mixture Model)や、音声認識等でよく用いられるHMM(Hidden Markov Model)など、様々な手法が考えられる。また、数式(5)は計算時間がかかるため、様々な近似計算法があり、例えば共分散行列を対角行列と近似する手法などがあげられる。
なお、上記では、受信信号に対する特徴量として、コヒーレンス(あるいは、クロススペクトル)と一般化相互相関関数とを統合した特徴量ベクトルfmixを用い、特徴量辞書307に登録する特徴量モデルとして、各音源位置候補に対する特徴ベクトルfmixの出現確率のモデルを用いたが、特徴ベクトルfmix以外の特徴量を用いることも可能である(なお、コヒーレンス(あるいは、クロススペクトル)による特徴ベクトルや、一般化相互相関関数による特徴ベクトルを用いることも可能である)。
(第4の実施形態)
本発明の第4の実施形態について、第3の実施形態と相違する点を中心に説明する。
本発明の第4の実施形態について、第3の実施形態と相違する点を中心に説明する。
第3の実施形態では、予め学習された音源位置候補のうちから選択したものを、音源の位置の推定結果としたが、本実施形態では、特徴量モデルをもとに、音源の推定位置を算出するようにしたものである。
図8に、本実施形態に係る音響信号処理装置の構成例を示す。
本実施形態は、第3の実施形態の音響信号処理装置の構成例(図7)において、照合部306を後述する照合部406に置き換え、その後段に、後述する音源位置推定部407と、各音源位置候補に対応する座標を登録した音源位置辞書409とを加えたものである。
なお、ここでは、音源とマイクロホンが例えば部屋や車内などのような閉空間408の環境下にある場合を例にとっているが、音源とマイクロホンが開空間(図1等参照)の環境下にあってもよい(他の実施形態も同様である)。
また、各特徴ベクトルに対応する音源位置候補は、音源位置辞書409に登録する替わりに特徴量辞書307に併せて登録するようにしてもよい。また、音源位置推定部407の機能を照合部406に含めるようにしてもよい。
まず、第3の実施形態の照合部306では選択された音源位置候補が出力されたが、本実施形態の照合部406では各音源位置候補q(各特徴量モデル)に対する尤度P(f|q)を出力する。
音源位置推定部407では、各音源位置候補qに対応する座標を音源位置辞書409から取り出し、この座標と尤度を用いて音源位置を推定する。これによって、実際の音源が特徴量辞書307に保持されている特徴量モデルのもととなった音源位置候補(例えば、A、B、C)に必ずしも存在しない場合でも、音源位置を特定することができるようになる。
音源位置を算出する方法の具体例として、各音源位置候補qに対する事後確率P(q|f)でそれぞれの音源位置候補qに対する座標を重みづけて足し合わせる方法があげられる。つまり、推定された音源位置の座標R’は、次の数式(6)で表される。ただし、Rqは音源位置qの座標である。
R’= Σq={A,B,C} Rq×P(q|f) …(6)
ここで、事後確率P(q|f)は、数式(4)を用いて、照合部406から出力される音源位置候補qごとの尤度P(f|q)を用いて計算が可能である。
R’= Σq={A,B,C} Rq×P(q|f) …(6)
ここで、事後確率P(q|f)は、数式(4)を用いて、照合部406から出力される音源位置候補qごとの尤度P(f|q)を用いて計算が可能である。
なお、この数式(6)は一例であり、例えば、数式(6)において、P(q|f)の替わりに、P(q|f)に所定の変換(例えば、各音源位置候補qに対するP(q|f)を二乗した後に、全ての音源位置候補qに対するP(q|f)2の総和が1になるように正規化する変換)を施したものを用いてもよい。
上記では、特徴量辞書307に登録されている全ての特徴量モデルを音源の推定位置の計算に用いたが、一部の特徴量モデルを選択して、音源の推定位置の計算に用いるようにしてもよい。
例えば、特徴量辞書307に登録されている特徴量モデルのうち、与える確率の高いものから順に予め定められたn個(nは複数)を選択して用いるようにしてもよい。
また、例えば、あらかじめ定められた閾値より高い確率を与える特徴量モデルのみを選択して用いるようにしてもよい。また、例えば、(特徴量辞書307に登録されている各特徴量モデルが与える確率のうちで)最も高い確率の値に所定の係数を乗じて基準値を求め、この基準値より高い確率を与える特徴量モデルのみを選択して用いるようにしてもよい。なお、これらの場合において、選択された特徴量モデルが一つのみである場合には、当該選択された特徴量モデルに対応付けられている音源位置候補を音源位置の推定結果としてもよい。
なお、数式(6)のような音源の推定位置の計算に、特徴量辞書307に登録されている特徴量モデルのうちの一部のものを用いる場合に、当該一部の特徴量モデルに対する確率P(q|f)の総和が1になるように、選択された各特徴量モデルに対する確率P(q|f)に係数を乗じて正規化するようにしてもよい。
なお、上記では、照合に用いる特徴量として、コヒーレンスを利用した特徴ベクトルfcohと一般化相互相関関数を利用した特徴ベクトルfgccとを統合した特徴ベクトルfmixを用いる場合について説明したが、照合に用いる特徴量として、コヒーレンスを利用した特徴ベクトルfcohのみを用いる構成も、一般化相互相関関数を利用した特徴ベクトルfgccのみを用いる構成も可能である。
図9に、本実施形態において、コヒーレンスを利用した特徴ベクトルfcohのみを用いる場合の音響信号処理装置の構成例を示す。図8と比較して、一般化相互相関関数特徴算出部210及び特徴量統合部310が省かれた形になっている。この場合、特徴量辞書307に登録する特徴量モデルは、統合した特徴ベクトルfmixに対応するものを用いる替わりに、特徴ベクトルfcohのみに対応するものを用いればよい(特徴量モデルの生成方法は、統合した特徴ベクトルfmixを用いる場合と、基本的に同様である)。また、照合部406及び音源位置推定部407の動作は、統合した特徴ベクトルfmixを用いる場合と、基本的に同様である。
図10に、本実施形態において、一般化相互相関関数を利用した特徴ベクトルfgccのみを用いる場合の音響信号処理装置の構成例を示す。図8と比較して、コヒーレンス特徴算出部110及び特徴量統合部310が省かれた形になっている。この場合、特徴量辞書307に登録する特徴量モデルは、統合した特徴ベクトルfmixに対応するものを用いる替わりに、特徴ベクトルfgccのみに対応するものを用いればよい(特徴量モデルの生成方法は、統合した特徴ベクトルfmixを用いる場合と、基本的に同様である)。また、照合部406及び音源位置推定部407の動作は、統合した特徴ベクトルfmixを用いる場合と、基本的に同様である。
本実施形態により、音源が事前に学習された位置以外に存在する場合でも、その位置を推定することが可能となる。
(第5の実施形態)
本発明の第5の実施形態について、第3の実施形態と相違する点を中心に説明する。
本発明の第5の実施形態について、第3の実施形態と相違する点を中心に説明する。
第3の実施形態では、予め学習された音源位置候補のうちから選択したものを、音源の位置の推定結果としたが、本実施形態では、一つの音源位置候補に対応する特徴量モデルをもとに、音源がその音源位置候補に存在するか否かを推定するものである。
図11に、本実施形態に係る音響信号処理装置の構成例を示す。
本実施形態は、第3の実施形態の音響信号処理装置の構成例(図7)において、照合部306を後述する判定部506に、特徴量辞書307を後述する特徴量辞書507に置き換えたものである。
本実施形態において、特徴量辞書507は、一つの音源位置候補(ここでは、一例として、図8のAとする)に対応する特徴量モデルのみを保持している。音源が位置Aに存在する場合は、事後確率P(A|f)が大きな値をとる。この値は、数式(4)を用いて位置Aにおける尤度P(f|A)を用いて表すことができる。
特徴量辞書507には、これらの計算に必要な値が格納されている。例えば、最尤推定を行う場合は、P(f|A)が格納されている。
判定部506では、このようにして計算された事後確率P(A|f)をもとに、音源が位置Aにあるか否かを判定する。例えば、予め定めた閾値TaよりもP(A|f)が大きな場合に、音源が位置Aに存在すると判定する。
他の例として、音源が、位置A,Bのどちらかに存在するかを判定することも可能である。この場合、例えば、位置Aに対する尤度P(f|A)と位置Bに対するP(f|B)とを用いて、それらの比や、それらの対数の比などに基づいて判定する方法なども考えられる。
なお、上記では、照合に用いる特徴量として、コヒーレンスを利用した特徴ベクトルfcohと一般化相互相関関数を利用した特徴ベクトルfgccとを統合した特徴ベクトルfmixを用いる場合について説明したが、照合に用いる特徴量として、コヒーレンスを利用した特徴ベクトルfcohのみを用いる構成も、一般化相互相関関数を利用した特徴ベクトルfgccのみを用いる構成も可能である。
図12に、本実施形態において、コヒーレンスを利用した特徴ベクトルfcohのみを用いる場合の音響信号処理装置の構成例を示す(ここでは、図11との相違が分かる部分を抜き出して示している)。図11と比較して、一般化相互相関関数特徴算出部210が省かれた形になっている。この場合、特徴量辞書507に登録する特徴量モデルは、統合した特徴ベクトルfmixに対応するものを用いる替わりに、特徴ベクトルfcohのみに対応するものを用いればよい(特徴量モデルの生成方法は、統合した特徴ベクトルfmixを用いる場合と、基本的に同様である)。また、判定部506の動作は、統合した特徴ベクトルfmixを用いる場合と、基本的に同様である。
図13に、本実施形態において、一般化相互相関関数を利用した特徴ベクトルfgccのみを用いる場合の音響信号処理装置の構成例を示す(ここでは、図11との相違が分かる部分を抜き出して示している)。図11と比較して、コヒーレンス特徴算出部110及び特徴量統合部310が省かれた形になっている。この場合、特徴量辞書507に登録する特徴量モデルは、統合した特徴ベクトルfmixに対応するものを用いる替わりに、特徴ベクトルfgccのみに対応するものを用いればよい(特徴量モデルの生成方法は、統合した特徴ベクトルfmixを用いる場合と、基本的に同様である)。また、判定部506の動作は、統合した特徴ベクトルfmixを用いる場合と、基本的に同様である。
なお、第1〜第5の実施形態に係る音響信号処理装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。
すなわち、フーリエ変換、特徴算出、照合は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、上記プログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、CD−ROMなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。
また、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
101−1,101−2…マイクロホン、102−1,102−2…フーリエ変換部、110…コヒーレンス特徴算出部、107,307,507…特徴量辞書、106,306,406…照合部、103…コヒーレンス算出部、104…コヒーレンス統合部、210…一般化相互相関関数特徴算出部、203…一般化相互相関関数、204…フーリエ逆変換部、205…最大値探索部、310…特徴量統合部、407…音源位置推定部、409…音源位置辞書、506…判定部
Claims (14)
- 音源から直接到来する直接波と、前記音源から前記直接波とは異なる方位に放射され反射して到来する反射波とを複数のチャネルで受音する受音手段と、
受音した受音信号に対し、前記受音信号のチャネル間の相関を含むチャネル間の差異を表す特徴量を算出する算出手段と、
前記受音信号に対する特徴量を、予め定められた音源位置候補に対応付けられている特徴量モデルと照合して、1又は複数の特徴量モデルを選択し、選択した特徴量モデルに対応付けられている音源位置候補に基づいて、前記音源の位置に関する推定を行う推定処理手段とを備えたことを特徴とする音響信号処理装置。 - 前記特徴量モデルは、これに対応付けられている前記音源位置候補に音源がある場合に得られる特徴量の代表値であり、
前記推定処理手段は、各々の前記特徴量モデルについて、前記受音信号に対する特徴量と前記代表値との距離を求め、前記受音信号に対する特徴量に対してより近い距離を与える特徴量モデルを一つ選択し、選択した特徴量モデルに対応付けられている音源位置候補を、前記音源の位置として推定することを特徴とする請求項1に記載の音響信号処理装置。 - 前記特徴量モデルは、これに対応付けられている前記音源位置候補に前記音源がある確率を、前記受音信号に対する特徴量に基づいて算出するものであり、
前記推定処理手段は、各々の前記特徴量モデルについて、前記受音信号に対する特徴量に基づいて前記確率を算出し、前記受音信号に対する特徴量に対してより高い確率を与える前記特徴量モデルを一つ選択し、選択した特徴量モデルに対応付けられている音源位置候補を、前記音源の位置として推定することを特徴とする請求項1に記載の音響信号処理装置。 - 前記特徴量モデルは、これに対応付けられている前記音源位置候補に前記音源がある確率を、前記受音信号に対する特徴量に基づいて算出するものであり、
前記推定処理手段は、各々の前記特徴量モデルについて、前記受音信号に対する特徴量に基づいて前記確率を算出し、全部又は一部の特徴量モデルに係る前記音源位置候補及び前記確率に基づいて、前記音源の推定位置を算出するものであることを特徴とする請求項1に記載の音響信号処理装置。 - 前記推定処理手段は、各々の前記音源位置候補の座標に対して前記確率に応じた重みを乗じて加算して得られた座標を、前記音源の推定位置とするものであることを特徴とする請求項4に記載の音響信号処理装置。
- 音源から直接到来する直接波と、前記音源から前記直接波とは異なる方位に放射され反射して到来する反射波とを複数のチャネルで受音する受音手段と、
受音した受音信号に対し、前記受音信号のチャネル間の相関を含むチャネル間の差異を表す特徴量を算出する算出手段と、
前記受音信号に対する特徴量を、予め定められた音源位置候補に対応付けられている特徴量モデルと照合して、前記受音信号に対する特徴量と前記特徴量モデルとの近さを表す指標を求め、求められた該指標が所定の基準を満たすか否かによって、前記音源が前記音源位置候補に存在するものであるか否かを推定する推定処理手段とを備えたことを特徴とする音響信号処理装置。 - 前記特徴量モデルは、これに対応付けられている前記音源位置候補に前記音源がある確率を、前記受音信号に対する特徴量に基づいて算出するものであり、
前記推定処理手段は、前記特徴量モデルについて、前記受音信号に対する特徴量に基づいて前記確率を算出し、前記確率が予め定められた閾値よりも高い場合に、前記音源が前記音源位置候補に存在するものであると推定するものであることを特徴とする請求項6に記載の音響信号処理装置。 - 前記チャネル間の相関としてコヒーレンスを用いることを特徴とする請求項1ないし7のいずれか1項に記載の音響信号処理装置。
- 前記チャネル間の相関として一般化相互相関関数を用いることを特徴とする請求項1ないし7のいずれか1項に記載の音響信号処理装置。
- 前記チャネル間の相関としてコヒーレンス及び一般化相互相関関数を用いることを特徴とする請求項1ないし7のいずれか1項に記載の音響信号処理装置。
- 音源から直接到来する直接波と、前記音源から前記直接波とは異なる方位に放射され反射して到来する反射波とを複数のチャネルで受音するステップと、
受音した受音信号に対し、前記受音信号のチャネル間の相関を含むチャネル間の差異を表す特徴量を算出するステップと、
前記受音信号に対する特徴量を、予め定められた音源位置候補に対応付けられている特徴量モデルと照合して、1又は複数の特徴量モデルを選択し、選択した特徴量モデルに対応付けられている音源位置候補に基づいて、前記音源の位置に関する推定を行うステップとを有することを特徴とする音響信号処理方法。 - 音源から直接到来する直接波と、前記音源から前記直接波とは異なる方位に放射され反射して到来する反射波とを複数のチャネルで受音するステップと、
受音した受音信号に対し、前記受音信号のチャネル間の相関を含むチャネル間の差異を表す特徴量を算出するステップと、
前記受音信号に対する特徴量を、予め定められた音源位置候補に対応付けられている特徴量モデルと照合して、前記受音信号に対する特徴量と前記特徴量モデルとの近さを表す指標を求め、求められた該指標が所定の基準を満たすか否かによって、前記音源が前記音源位置候補に存在するものであるか否かを推定するステップとを有することを特徴とする音響信号処理方法。 - 音響信号処理装置としてコンピュータを機能させるためのプログラムであって、
音源から直接到来する直接波と、前記音源から前記直接波とは異なる方位に放射され反射して到来する反射波とを複数のチャネルで受音するステップと、
受音した受音信号に対し、前記受音信号のチャネル間の相関を含むチャネル間の差異を表す特徴量を算出するステップと、
前記受音信号に対する特徴量を、予め定められた音源位置候補に対応付けられている特徴量モデルと照合して、1又は複数の特徴量モデルを選択し、選択した特徴量モデルに対応付けられている音源位置候補に基づいて、前記音源の位置に関する推定を行うステップとをコンピュータに実行させることを特徴とするプログラム。 - 音響信号処理装置としてコンピュータを機能させるためのプログラムであって、
音源から直接到来する直接波と、前記音源から前記直接波とは異なる方位に放射され反射して到来する反射波とを複数のチャネルで受音するステップと、
受音した受音信号に対し、前記受音信号のチャネル間の相関を含むチャネル間の差異を表す特徴量を算出するステップと、
前記受音信号に対する特徴量を、予め定められた音源位置候補に対応付けられている特徴量モデルと照合して、前記受音信号に対する特徴量と前記特徴量モデルとの近さを表す指標を求め、求められた該指標が所定の基準を満たすか否かによって、前記音源が前記音源位置候補に存在するものであるか否かを推定するステップとをコンピュータに実行させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006259347A JP2008079256A (ja) | 2006-09-25 | 2006-09-25 | 音響信号処理装置、音響信号処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006259347A JP2008079256A (ja) | 2006-09-25 | 2006-09-25 | 音響信号処理装置、音響信号処理方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008079256A true JP2008079256A (ja) | 2008-04-03 |
Family
ID=39350788
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006259347A Abandoned JP2008079256A (ja) | 2006-09-25 | 2006-09-25 | 音響信号処理装置、音響信号処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008079256A (ja) |
Cited By (74)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010035044A (ja) * | 2008-07-30 | 2010-02-12 | Fujitsu Ltd | 伝達特性推定装置、雑音抑圧装置、伝達特性推定方法及びコンピュータプログラム |
JP2011259397A (ja) * | 2010-06-11 | 2011-12-22 | Nippon Telegr & Teleph Corp <Ntt> | 瞬時直間比推定装置、雑音除去装置、遠近判定装置、音源距離測定装置と、各装置の方法と、装置プログラム |
JP2011259398A (ja) * | 2010-06-11 | 2011-12-22 | Nippon Telegr & Teleph Corp <Ntt> | 耐雑音直間比推定装置、干渉雑音除去装置、遠近判定装置、音源距離測定装置と、各装置の方法と、装置プログラム |
JP2012507049A (ja) * | 2008-10-24 | 2012-03-22 | クゥアルコム・インコーポレイテッド | コヒーレンス検出のためのシステム、方法、装置、およびコンピュータ可読媒体 |
US8620672B2 (en) | 2009-06-09 | 2013-12-31 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for phase-based processing of multichannel signal |
JP2015040934A (ja) * | 2013-08-21 | 2015-03-02 | 日本電信電話株式会社 | 音源分離装置とその方法とプログラム |
WO2018064362A1 (en) * | 2016-09-30 | 2018-04-05 | Sonos, Inc. | Multi-orientation playback device microphones |
US9947316B2 (en) | 2016-02-22 | 2018-04-17 | Sonos, Inc. | Voice control of a media playback system |
US9965247B2 (en) | 2016-02-22 | 2018-05-08 | Sonos, Inc. | Voice controlled media playback system based on user profile |
US9978390B2 (en) | 2016-06-09 | 2018-05-22 | Sonos, Inc. | Dynamic player selection for audio signal processing |
US10034116B2 (en) | 2016-09-22 | 2018-07-24 | Sonos, Inc. | Acoustic position measurement |
US10051366B1 (en) | 2017-09-28 | 2018-08-14 | Sonos, Inc. | Three-dimensional beam forming with a microphone array |
US10097939B2 (en) | 2016-02-22 | 2018-10-09 | Sonos, Inc. | Compensation for speaker nonlinearities |
US10095470B2 (en) | 2016-02-22 | 2018-10-09 | Sonos, Inc. | Audio response playback |
US10097919B2 (en) | 2016-02-22 | 2018-10-09 | Sonos, Inc. | Music service selection |
US10115400B2 (en) | 2016-08-05 | 2018-10-30 | Sonos, Inc. | Multiple voice services |
US10134399B2 (en) | 2016-07-15 | 2018-11-20 | Sonos, Inc. | Contextualization of voice inputs |
US10152969B2 (en) | 2016-07-15 | 2018-12-11 | Sonos, Inc. | Voice detection by multiple devices |
US10181323B2 (en) | 2016-10-19 | 2019-01-15 | Sonos, Inc. | Arbitration-based voice recognition |
US10264030B2 (en) | 2016-02-22 | 2019-04-16 | Sonos, Inc. | Networked microphone device control |
US10365889B2 (en) | 2016-02-22 | 2019-07-30 | Sonos, Inc. | Metadata exchange involving a networked playback system and a networked microphone system |
WO2019171580A1 (ja) * | 2018-03-09 | 2019-09-12 | 日本電気株式会社 | 信号源識別装置、信号源識別方法、プログラム |
US10446165B2 (en) | 2017-09-27 | 2019-10-15 | Sonos, Inc. | Robust short-time fourier transform acoustic echo cancellation during audio playback |
US10445057B2 (en) | 2017-09-08 | 2019-10-15 | Sonos, Inc. | Dynamic computation of system response volume |
US10466962B2 (en) | 2017-09-29 | 2019-11-05 | Sonos, Inc. | Media playback system with voice assistance |
US10475449B2 (en) | 2017-08-07 | 2019-11-12 | Sonos, Inc. | Wake-word detection suppression |
US10482868B2 (en) | 2017-09-28 | 2019-11-19 | Sonos, Inc. | Multi-channel acoustic echo cancellation |
WO2020026727A1 (ja) * | 2018-08-02 | 2020-02-06 | 日本電信電話株式会社 | 集音装置 |
US10573321B1 (en) | 2018-09-25 | 2020-02-25 | Sonos, Inc. | Voice detection optimization based on selected voice assistant service |
US10582322B2 (en) | 2016-09-27 | 2020-03-03 | Sonos, Inc. | Audio playback settings for voice interaction |
US10587430B1 (en) | 2018-09-14 | 2020-03-10 | Sonos, Inc. | Networked devices, systems, and methods for associating playback devices based on sound codes |
US10586540B1 (en) | 2019-06-12 | 2020-03-10 | Sonos, Inc. | Network microphone device with command keyword conditioning |
US10602268B1 (en) | 2018-12-20 | 2020-03-24 | Sonos, Inc. | Optimization of network microphone devices using noise classification |
US10621981B2 (en) | 2017-09-28 | 2020-04-14 | Sonos, Inc. | Tone interference cancellation |
US10681460B2 (en) | 2018-06-28 | 2020-06-09 | Sonos, Inc. | Systems and methods for associating playback devices with voice assistant services |
US10692518B2 (en) | 2018-09-29 | 2020-06-23 | Sonos, Inc. | Linear filtering for noise-suppressed speech detection via multiple network microphone devices |
US10797667B2 (en) | 2018-08-28 | 2020-10-06 | Sonos, Inc. | Audio notifications |
US10818290B2 (en) | 2017-12-11 | 2020-10-27 | Sonos, Inc. | Home graph |
US10847178B2 (en) | 2018-05-18 | 2020-11-24 | Sonos, Inc. | Linear filtering for noise-suppressed speech detection |
US10867604B2 (en) | 2019-02-08 | 2020-12-15 | Sonos, Inc. | Devices, systems, and methods for distributed voice processing |
US10871943B1 (en) | 2019-07-31 | 2020-12-22 | Sonos, Inc. | Noise classification for event detection |
US10878811B2 (en) | 2018-09-14 | 2020-12-29 | Sonos, Inc. | Networked devices, systems, and methods for intelligently deactivating wake-word engines |
US10880650B2 (en) | 2017-12-10 | 2020-12-29 | Sonos, Inc. | Network microphone devices with automatic do not disturb actuation capabilities |
US10950227B2 (en) | 2017-09-14 | 2021-03-16 | Kabushiki Kaisha Toshiba | Sound processing apparatus, speech recognition apparatus, sound processing method, speech recognition method, storage medium |
US10959029B2 (en) | 2018-05-25 | 2021-03-23 | Sonos, Inc. | Determining and adapting to changes in microphone performance of playback devices |
US11024331B2 (en) | 2018-09-21 | 2021-06-01 | Sonos, Inc. | Voice detection optimization using sound metadata |
US11076035B2 (en) | 2018-08-28 | 2021-07-27 | Sonos, Inc. | Do not disturb feature for audio notifications |
US11100923B2 (en) | 2018-09-28 | 2021-08-24 | Sonos, Inc. | Systems and methods for selective wake word detection using neural network models |
US11120794B2 (en) | 2019-05-03 | 2021-09-14 | Sonos, Inc. | Voice assistant persistence across multiple network microphone devices |
CN113406567A (zh) * | 2021-06-25 | 2021-09-17 | 安徽淘云科技股份有限公司 | 一种声源定位方法、装置、设备及存储介质 |
US11132989B2 (en) | 2018-12-13 | 2021-09-28 | Sonos, Inc. | Networked microphone devices, systems, and methods of localized arbitration |
US11138969B2 (en) | 2019-07-31 | 2021-10-05 | Sonos, Inc. | Locally distributed keyword detection |
US11138975B2 (en) | 2019-07-31 | 2021-10-05 | Sonos, Inc. | Locally distributed keyword detection |
US11175880B2 (en) | 2018-05-10 | 2021-11-16 | Sonos, Inc. | Systems and methods for voice-assisted media content selection |
US11183183B2 (en) | 2018-12-07 | 2021-11-23 | Sonos, Inc. | Systems and methods of operating media playback systems having multiple voice assistant services |
US11183181B2 (en) | 2017-03-27 | 2021-11-23 | Sonos, Inc. | Systems and methods of multiple voice services |
US11189286B2 (en) | 2019-10-22 | 2021-11-30 | Sonos, Inc. | VAS toggle based on device orientation |
US11200900B2 (en) | 2019-12-20 | 2021-12-14 | Sonos, Inc. | Offline voice control |
US11200894B2 (en) | 2019-06-12 | 2021-12-14 | Sonos, Inc. | Network microphone device with command keyword eventing |
US11200889B2 (en) | 2018-11-15 | 2021-12-14 | Sonos, Inc. | Dilated convolutions and gating for efficient keyword spotting |
US11308962B2 (en) | 2020-05-20 | 2022-04-19 | Sonos, Inc. | Input detection windowing |
US11308958B2 (en) | 2020-02-07 | 2022-04-19 | Sonos, Inc. | Localized wakeword verification |
US11315556B2 (en) | 2019-02-08 | 2022-04-26 | Sonos, Inc. | Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification |
US11343614B2 (en) | 2018-01-31 | 2022-05-24 | Sonos, Inc. | Device designation of playback and network microphone device arrangements |
US11361756B2 (en) | 2019-06-12 | 2022-06-14 | Sonos, Inc. | Conditional wake word eventing based on environment |
US11482224B2 (en) | 2020-05-20 | 2022-10-25 | Sonos, Inc. | Command keywords with input detection windowing |
US11551700B2 (en) | 2021-01-25 | 2023-01-10 | Sonos, Inc. | Systems and methods for power-efficient keyword detection |
US11556307B2 (en) | 2020-01-31 | 2023-01-17 | Sonos, Inc. | Local voice data processing |
US11562740B2 (en) | 2020-01-07 | 2023-01-24 | Sonos, Inc. | Voice verification for media playback |
CN116030815A (zh) * | 2023-03-30 | 2023-04-28 | 北京建筑大学 | 一种基于声源位置的语音分割聚类方法和装置 |
US11698771B2 (en) | 2020-08-25 | 2023-07-11 | Sonos, Inc. | Vocal guidance engines for playback devices |
US11727919B2 (en) | 2020-05-20 | 2023-08-15 | Sonos, Inc. | Memory allocation for keyword spotting engines |
US11899519B2 (en) | 2018-10-23 | 2024-02-13 | Sonos, Inc. | Multiple stage network microphone device with reduced power consumption and processing load |
US11984123B2 (en) | 2020-11-12 | 2024-05-14 | Sonos, Inc. | Network device interaction by range |
-
2006
- 2006-09-25 JP JP2006259347A patent/JP2008079256A/ja not_active Abandoned
Cited By (188)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010035044A (ja) * | 2008-07-30 | 2010-02-12 | Fujitsu Ltd | 伝達特性推定装置、雑音抑圧装置、伝達特性推定方法及びコンピュータプログラム |
JP2012507049A (ja) * | 2008-10-24 | 2012-03-22 | クゥアルコム・インコーポレイテッド | コヒーレンス検出のためのシステム、方法、装置、およびコンピュータ可読媒体 |
US8724829B2 (en) | 2008-10-24 | 2014-05-13 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for coherence detection |
US8620672B2 (en) | 2009-06-09 | 2013-12-31 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for phase-based processing of multichannel signal |
JP2011259397A (ja) * | 2010-06-11 | 2011-12-22 | Nippon Telegr & Teleph Corp <Ntt> | 瞬時直間比推定装置、雑音除去装置、遠近判定装置、音源距離測定装置と、各装置の方法と、装置プログラム |
JP2011259398A (ja) * | 2010-06-11 | 2011-12-22 | Nippon Telegr & Teleph Corp <Ntt> | 耐雑音直間比推定装置、干渉雑音除去装置、遠近判定装置、音源距離測定装置と、各装置の方法と、装置プログラム |
JP2015040934A (ja) * | 2013-08-21 | 2015-03-02 | 日本電信電話株式会社 | 音源分離装置とその方法とプログラム |
US11006214B2 (en) | 2016-02-22 | 2021-05-11 | Sonos, Inc. | Default playback device designation |
US11513763B2 (en) | 2016-02-22 | 2022-11-29 | Sonos, Inc. | Audio response playback |
US11726742B2 (en) | 2016-02-22 | 2023-08-15 | Sonos, Inc. | Handling of loss of pairing between networked devices |
US10764679B2 (en) | 2016-02-22 | 2020-09-01 | Sonos, Inc. | Voice control of a media playback system |
US10740065B2 (en) | 2016-02-22 | 2020-08-11 | Sonos, Inc. | Voice controlled media playback system |
US11750969B2 (en) | 2016-02-22 | 2023-09-05 | Sonos, Inc. | Default playback device designation |
US10743101B2 (en) | 2016-02-22 | 2020-08-11 | Sonos, Inc. | Content mixing |
US10097939B2 (en) | 2016-02-22 | 2018-10-09 | Sonos, Inc. | Compensation for speaker nonlinearities |
US10095470B2 (en) | 2016-02-22 | 2018-10-09 | Sonos, Inc. | Audio response playback |
US10097919B2 (en) | 2016-02-22 | 2018-10-09 | Sonos, Inc. | Music service selection |
US11556306B2 (en) | 2016-02-22 | 2023-01-17 | Sonos, Inc. | Voice controlled media playback system |
US10971139B2 (en) | 2016-02-22 | 2021-04-06 | Sonos, Inc. | Voice control of a media playback system |
US10970035B2 (en) | 2016-02-22 | 2021-04-06 | Sonos, Inc. | Audio response playback |
US10142754B2 (en) | 2016-02-22 | 2018-11-27 | Sonos, Inc. | Sensor on moving component of transducer |
US11736860B2 (en) | 2016-02-22 | 2023-08-22 | Sonos, Inc. | Voice control of a media playback system |
US11832068B2 (en) | 2016-02-22 | 2023-11-28 | Sonos, Inc. | Music service selection |
US10212512B2 (en) | 2016-02-22 | 2019-02-19 | Sonos, Inc. | Default playback devices |
US10225651B2 (en) | 2016-02-22 | 2019-03-05 | Sonos, Inc. | Default playback device designation |
US10264030B2 (en) | 2016-02-22 | 2019-04-16 | Sonos, Inc. | Networked microphone device control |
US9965247B2 (en) | 2016-02-22 | 2018-05-08 | Sonos, Inc. | Voice controlled media playback system based on user profile |
US12047752B2 (en) | 2016-02-22 | 2024-07-23 | Sonos, Inc. | Content mixing |
US11137979B2 (en) | 2016-02-22 | 2021-10-05 | Sonos, Inc. | Metadata exchange involving a networked playback system and a networked microphone system |
US9947316B2 (en) | 2016-02-22 | 2018-04-17 | Sonos, Inc. | Voice control of a media playback system |
US10365889B2 (en) | 2016-02-22 | 2019-07-30 | Sonos, Inc. | Metadata exchange involving a networked playback system and a networked microphone system |
US10409549B2 (en) | 2016-02-22 | 2019-09-10 | Sonos, Inc. | Audio response playback |
US11983463B2 (en) | 2016-02-22 | 2024-05-14 | Sonos, Inc. | Metadata exchange involving a networked playback system and a networked microphone system |
US11514898B2 (en) | 2016-02-22 | 2022-11-29 | Sonos, Inc. | Voice control of a media playback system |
US10847143B2 (en) | 2016-02-22 | 2020-11-24 | Sonos, Inc. | Voice control of a media playback system |
US11405430B2 (en) | 2016-02-22 | 2022-08-02 | Sonos, Inc. | Networked microphone device control |
US11863593B2 (en) | 2016-02-22 | 2024-01-02 | Sonos, Inc. | Networked microphone device control |
US11212612B2 (en) | 2016-02-22 | 2021-12-28 | Sonos, Inc. | Voice control of a media playback system |
US10499146B2 (en) | 2016-02-22 | 2019-12-03 | Sonos, Inc. | Voice control of a media playback system |
US11042355B2 (en) | 2016-02-22 | 2021-06-22 | Sonos, Inc. | Handling of loss of pairing between networked devices |
US10509626B2 (en) | 2016-02-22 | 2019-12-17 | Sonos, Inc | Handling of loss of pairing between networked devices |
US10555077B2 (en) | 2016-02-22 | 2020-02-04 | Sonos, Inc. | Music service selection |
US11184704B2 (en) | 2016-02-22 | 2021-11-23 | Sonos, Inc. | Music service selection |
US10714115B2 (en) | 2016-06-09 | 2020-07-14 | Sonos, Inc. | Dynamic player selection for audio signal processing |
US11545169B2 (en) | 2016-06-09 | 2023-01-03 | Sonos, Inc. | Dynamic player selection for audio signal processing |
US9978390B2 (en) | 2016-06-09 | 2018-05-22 | Sonos, Inc. | Dynamic player selection for audio signal processing |
US10332537B2 (en) | 2016-06-09 | 2019-06-25 | Sonos, Inc. | Dynamic player selection for audio signal processing |
US11133018B2 (en) | 2016-06-09 | 2021-09-28 | Sonos, Inc. | Dynamic player selection for audio signal processing |
US10699711B2 (en) | 2016-07-15 | 2020-06-30 | Sonos, Inc. | Voice detection by multiple devices |
US11979960B2 (en) | 2016-07-15 | 2024-05-07 | Sonos, Inc. | Contextualization of voice inputs |
US10297256B2 (en) | 2016-07-15 | 2019-05-21 | Sonos, Inc. | Voice detection by multiple devices |
US11664023B2 (en) | 2016-07-15 | 2023-05-30 | Sonos, Inc. | Voice detection by multiple devices |
US11184969B2 (en) | 2016-07-15 | 2021-11-23 | Sonos, Inc. | Contextualization of voice inputs |
US10593331B2 (en) | 2016-07-15 | 2020-03-17 | Sonos, Inc. | Contextualization of voice inputs |
US10152969B2 (en) | 2016-07-15 | 2018-12-11 | Sonos, Inc. | Voice detection by multiple devices |
US10134399B2 (en) | 2016-07-15 | 2018-11-20 | Sonos, Inc. | Contextualization of voice inputs |
US10115400B2 (en) | 2016-08-05 | 2018-10-30 | Sonos, Inc. | Multiple voice services |
US10565999B2 (en) | 2016-08-05 | 2020-02-18 | Sonos, Inc. | Playback device supporting concurrent voice assistant services |
US10847164B2 (en) | 2016-08-05 | 2020-11-24 | Sonos, Inc. | Playback device supporting concurrent voice assistants |
US10565998B2 (en) | 2016-08-05 | 2020-02-18 | Sonos, Inc. | Playback device supporting concurrent voice assistant services |
US10354658B2 (en) | 2016-08-05 | 2019-07-16 | Sonos, Inc. | Voice control of playback device using voice assistant service(s) |
US11531520B2 (en) | 2016-08-05 | 2022-12-20 | Sonos, Inc. | Playback device supporting concurrent voice assistants |
US10034116B2 (en) | 2016-09-22 | 2018-07-24 | Sonos, Inc. | Acoustic position measurement |
US10582322B2 (en) | 2016-09-27 | 2020-03-03 | Sonos, Inc. | Audio playback settings for voice interaction |
US11641559B2 (en) | 2016-09-27 | 2023-05-02 | Sonos, Inc. | Audio playback settings for voice interaction |
WO2018064362A1 (en) * | 2016-09-30 | 2018-04-05 | Sonos, Inc. | Multi-orientation playback device microphones |
US10075793B2 (en) | 2016-09-30 | 2018-09-11 | Sonos, Inc. | Multi-orientation playback device microphones |
US10873819B2 (en) | 2016-09-30 | 2020-12-22 | Sonos, Inc. | Orientation-based playback device microphone selection |
US11516610B2 (en) | 2016-09-30 | 2022-11-29 | Sonos, Inc. | Orientation-based playback device microphone selection |
US10313812B2 (en) | 2016-09-30 | 2019-06-04 | Sonos, Inc. | Orientation-based playback device microphone selection |
US10117037B2 (en) | 2016-09-30 | 2018-10-30 | Sonos, Inc. | Orientation-based playback device microphone selection |
US10181323B2 (en) | 2016-10-19 | 2019-01-15 | Sonos, Inc. | Arbitration-based voice recognition |
US11727933B2 (en) | 2016-10-19 | 2023-08-15 | Sonos, Inc. | Arbitration-based voice recognition |
US11308961B2 (en) | 2016-10-19 | 2022-04-19 | Sonos, Inc. | Arbitration-based voice recognition |
US10614807B2 (en) | 2016-10-19 | 2020-04-07 | Sonos, Inc. | Arbitration-based voice recognition |
US11183181B2 (en) | 2017-03-27 | 2021-11-23 | Sonos, Inc. | Systems and methods of multiple voice services |
US11380322B2 (en) | 2017-08-07 | 2022-07-05 | Sonos, Inc. | Wake-word detection suppression |
US11900937B2 (en) | 2017-08-07 | 2024-02-13 | Sonos, Inc. | Wake-word detection suppression |
US10475449B2 (en) | 2017-08-07 | 2019-11-12 | Sonos, Inc. | Wake-word detection suppression |
US10445057B2 (en) | 2017-09-08 | 2019-10-15 | Sonos, Inc. | Dynamic computation of system response volume |
US11500611B2 (en) | 2017-09-08 | 2022-11-15 | Sonos, Inc. | Dynamic computation of system response volume |
US11080005B2 (en) | 2017-09-08 | 2021-08-03 | Sonos, Inc. | Dynamic computation of system response volume |
US10950227B2 (en) | 2017-09-14 | 2021-03-16 | Kabushiki Kaisha Toshiba | Sound processing apparatus, speech recognition apparatus, sound processing method, speech recognition method, storage medium |
US11017789B2 (en) | 2017-09-27 | 2021-05-25 | Sonos, Inc. | Robust Short-Time Fourier Transform acoustic echo cancellation during audio playback |
US11646045B2 (en) | 2017-09-27 | 2023-05-09 | Sonos, Inc. | Robust short-time fourier transform acoustic echo cancellation during audio playback |
US10446165B2 (en) | 2017-09-27 | 2019-10-15 | Sonos, Inc. | Robust short-time fourier transform acoustic echo cancellation during audio playback |
US10880644B1 (en) | 2017-09-28 | 2020-12-29 | Sonos, Inc. | Three-dimensional beam forming with a microphone array |
US10621981B2 (en) | 2017-09-28 | 2020-04-14 | Sonos, Inc. | Tone interference cancellation |
US12047753B1 (en) | 2017-09-28 | 2024-07-23 | Sonos, Inc. | Three-dimensional beam forming with a microphone array |
US11538451B2 (en) | 2017-09-28 | 2022-12-27 | Sonos, Inc. | Multi-channel acoustic echo cancellation |
US11769505B2 (en) | 2017-09-28 | 2023-09-26 | Sonos, Inc. | Echo of tone interferance cancellation using two acoustic echo cancellers |
US11302326B2 (en) | 2017-09-28 | 2022-04-12 | Sonos, Inc. | Tone interference cancellation |
US10482868B2 (en) | 2017-09-28 | 2019-11-19 | Sonos, Inc. | Multi-channel acoustic echo cancellation |
US10051366B1 (en) | 2017-09-28 | 2018-08-14 | Sonos, Inc. | Three-dimensional beam forming with a microphone array |
US10891932B2 (en) | 2017-09-28 | 2021-01-12 | Sonos, Inc. | Multi-channel acoustic echo cancellation |
US10511904B2 (en) | 2017-09-28 | 2019-12-17 | Sonos, Inc. | Three-dimensional beam forming with a microphone array |
US11893308B2 (en) | 2017-09-29 | 2024-02-06 | Sonos, Inc. | Media playback system with concurrent voice assistance |
US11288039B2 (en) | 2017-09-29 | 2022-03-29 | Sonos, Inc. | Media playback system with concurrent voice assistance |
US10466962B2 (en) | 2017-09-29 | 2019-11-05 | Sonos, Inc. | Media playback system with voice assistance |
US11175888B2 (en) | 2017-09-29 | 2021-11-16 | Sonos, Inc. | Media playback system with concurrent voice assistance |
US10606555B1 (en) | 2017-09-29 | 2020-03-31 | Sonos, Inc. | Media playback system with concurrent voice assistance |
US10880650B2 (en) | 2017-12-10 | 2020-12-29 | Sonos, Inc. | Network microphone devices with automatic do not disturb actuation capabilities |
US11451908B2 (en) | 2017-12-10 | 2022-09-20 | Sonos, Inc. | Network microphone devices with automatic do not disturb actuation capabilities |
US11676590B2 (en) | 2017-12-11 | 2023-06-13 | Sonos, Inc. | Home graph |
US10818290B2 (en) | 2017-12-11 | 2020-10-27 | Sonos, Inc. | Home graph |
US11343614B2 (en) | 2018-01-31 | 2022-05-24 | Sonos, Inc. | Device designation of playback and network microphone device arrangements |
US11689858B2 (en) | 2018-01-31 | 2023-06-27 | Sonos, Inc. | Device designation of playback and network microphone device arrangements |
US11626102B2 (en) | 2018-03-09 | 2023-04-11 | Nec Corporation | Signal source identification device, signal source identification method, and program |
WO2019171580A1 (ja) * | 2018-03-09 | 2019-09-12 | 日本電気株式会社 | 信号源識別装置、信号源識別方法、プログラム |
JPWO2019171580A1 (ja) * | 2018-03-09 | 2021-02-04 | 日本電気株式会社 | 信号源識別装置、信号源識別方法、プログラム |
JP7075064B2 (ja) | 2018-03-09 | 2022-05-25 | 日本電気株式会社 | 信号源識別装置、信号源識別方法、プログラム |
US11797263B2 (en) | 2018-05-10 | 2023-10-24 | Sonos, Inc. | Systems and methods for voice-assisted media content selection |
US11175880B2 (en) | 2018-05-10 | 2021-11-16 | Sonos, Inc. | Systems and methods for voice-assisted media content selection |
US10847178B2 (en) | 2018-05-18 | 2020-11-24 | Sonos, Inc. | Linear filtering for noise-suppressed speech detection |
US11715489B2 (en) | 2018-05-18 | 2023-08-01 | Sonos, Inc. | Linear filtering for noise-suppressed speech detection |
US11792590B2 (en) | 2018-05-25 | 2023-10-17 | Sonos, Inc. | Determining and adapting to changes in microphone performance of playback devices |
US10959029B2 (en) | 2018-05-25 | 2021-03-23 | Sonos, Inc. | Determining and adapting to changes in microphone performance of playback devices |
US10681460B2 (en) | 2018-06-28 | 2020-06-09 | Sonos, Inc. | Systems and methods for associating playback devices with voice assistant services |
US11696074B2 (en) | 2018-06-28 | 2023-07-04 | Sonos, Inc. | Systems and methods for associating playback devices with voice assistant services |
US11197096B2 (en) | 2018-06-28 | 2021-12-07 | Sonos, Inc. | Systems and methods for associating playback devices with voice assistant services |
JP2020022115A (ja) * | 2018-08-02 | 2020-02-06 | 日本電信電話株式会社 | 集音装置 |
WO2020026727A1 (ja) * | 2018-08-02 | 2020-02-06 | 日本電信電話株式会社 | 集音装置 |
US11479184B2 (en) | 2018-08-02 | 2022-10-25 | Nippon Telegraph And Telephone Corporation | Sound collection apparatus |
JP7210926B2 (ja) | 2018-08-02 | 2023-01-24 | 日本電信電話株式会社 | 集音装置 |
US11076035B2 (en) | 2018-08-28 | 2021-07-27 | Sonos, Inc. | Do not disturb feature for audio notifications |
US10797667B2 (en) | 2018-08-28 | 2020-10-06 | Sonos, Inc. | Audio notifications |
US11482978B2 (en) | 2018-08-28 | 2022-10-25 | Sonos, Inc. | Audio notifications |
US11563842B2 (en) | 2018-08-28 | 2023-01-24 | Sonos, Inc. | Do not disturb feature for audio notifications |
US10878811B2 (en) | 2018-09-14 | 2020-12-29 | Sonos, Inc. | Networked devices, systems, and methods for intelligently deactivating wake-word engines |
US11432030B2 (en) | 2018-09-14 | 2022-08-30 | Sonos, Inc. | Networked devices, systems, and methods for associating playback devices based on sound codes |
US11778259B2 (en) | 2018-09-14 | 2023-10-03 | Sonos, Inc. | Networked devices, systems and methods for associating playback devices based on sound codes |
US11551690B2 (en) | 2018-09-14 | 2023-01-10 | Sonos, Inc. | Networked devices, systems, and methods for intelligently deactivating wake-word engines |
US10587430B1 (en) | 2018-09-14 | 2020-03-10 | Sonos, Inc. | Networked devices, systems, and methods for associating playback devices based on sound codes |
US11024331B2 (en) | 2018-09-21 | 2021-06-01 | Sonos, Inc. | Voice detection optimization using sound metadata |
US11790937B2 (en) | 2018-09-21 | 2023-10-17 | Sonos, Inc. | Voice detection optimization using sound metadata |
US11031014B2 (en) | 2018-09-25 | 2021-06-08 | Sonos, Inc. | Voice detection optimization based on selected voice assistant service |
US11727936B2 (en) | 2018-09-25 | 2023-08-15 | Sonos, Inc. | Voice detection optimization based on selected voice assistant service |
US10573321B1 (en) | 2018-09-25 | 2020-02-25 | Sonos, Inc. | Voice detection optimization based on selected voice assistant service |
US10811015B2 (en) | 2018-09-25 | 2020-10-20 | Sonos, Inc. | Voice detection optimization based on selected voice assistant service |
US11100923B2 (en) | 2018-09-28 | 2021-08-24 | Sonos, Inc. | Systems and methods for selective wake word detection using neural network models |
US11790911B2 (en) | 2018-09-28 | 2023-10-17 | Sonos, Inc. | Systems and methods for selective wake word detection using neural network models |
US10692518B2 (en) | 2018-09-29 | 2020-06-23 | Sonos, Inc. | Linear filtering for noise-suppressed speech detection via multiple network microphone devices |
US11501795B2 (en) | 2018-09-29 | 2022-11-15 | Sonos, Inc. | Linear filtering for noise-suppressed speech detection via multiple network microphone devices |
US11899519B2 (en) | 2018-10-23 | 2024-02-13 | Sonos, Inc. | Multiple stage network microphone device with reduced power consumption and processing load |
US11741948B2 (en) | 2018-11-15 | 2023-08-29 | Sonos Vox France Sas | Dilated convolutions and gating for efficient keyword spotting |
US11200889B2 (en) | 2018-11-15 | 2021-12-14 | Sonos, Inc. | Dilated convolutions and gating for efficient keyword spotting |
US11183183B2 (en) | 2018-12-07 | 2021-11-23 | Sonos, Inc. | Systems and methods of operating media playback systems having multiple voice assistant services |
US11557294B2 (en) | 2018-12-07 | 2023-01-17 | Sonos, Inc. | Systems and methods of operating media playback systems having multiple voice assistant services |
US11132989B2 (en) | 2018-12-13 | 2021-09-28 | Sonos, Inc. | Networked microphone devices, systems, and methods of localized arbitration |
US11538460B2 (en) | 2018-12-13 | 2022-12-27 | Sonos, Inc. | Networked microphone devices, systems, and methods of localized arbitration |
US10602268B1 (en) | 2018-12-20 | 2020-03-24 | Sonos, Inc. | Optimization of network microphone devices using noise classification |
US11159880B2 (en) | 2018-12-20 | 2021-10-26 | Sonos, Inc. | Optimization of network microphone devices using noise classification |
US11540047B2 (en) | 2018-12-20 | 2022-12-27 | Sonos, Inc. | Optimization of network microphone devices using noise classification |
US11646023B2 (en) | 2019-02-08 | 2023-05-09 | Sonos, Inc. | Devices, systems, and methods for distributed voice processing |
US10867604B2 (en) | 2019-02-08 | 2020-12-15 | Sonos, Inc. | Devices, systems, and methods for distributed voice processing |
US11315556B2 (en) | 2019-02-08 | 2022-04-26 | Sonos, Inc. | Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification |
US11120794B2 (en) | 2019-05-03 | 2021-09-14 | Sonos, Inc. | Voice assistant persistence across multiple network microphone devices |
US11798553B2 (en) | 2019-05-03 | 2023-10-24 | Sonos, Inc. | Voice assistant persistence across multiple network microphone devices |
US11501773B2 (en) | 2019-06-12 | 2022-11-15 | Sonos, Inc. | Network microphone device with command keyword conditioning |
US11854547B2 (en) | 2019-06-12 | 2023-12-26 | Sonos, Inc. | Network microphone device with command keyword eventing |
US11361756B2 (en) | 2019-06-12 | 2022-06-14 | Sonos, Inc. | Conditional wake word eventing based on environment |
US11200894B2 (en) | 2019-06-12 | 2021-12-14 | Sonos, Inc. | Network microphone device with command keyword eventing |
US10586540B1 (en) | 2019-06-12 | 2020-03-10 | Sonos, Inc. | Network microphone device with command keyword conditioning |
US11138969B2 (en) | 2019-07-31 | 2021-10-05 | Sonos, Inc. | Locally distributed keyword detection |
US11551669B2 (en) | 2019-07-31 | 2023-01-10 | Sonos, Inc. | Locally distributed keyword detection |
US11714600B2 (en) | 2019-07-31 | 2023-08-01 | Sonos, Inc. | Noise classification for event detection |
US11710487B2 (en) | 2019-07-31 | 2023-07-25 | Sonos, Inc. | Locally distributed keyword detection |
US10871943B1 (en) | 2019-07-31 | 2020-12-22 | Sonos, Inc. | Noise classification for event detection |
US11138975B2 (en) | 2019-07-31 | 2021-10-05 | Sonos, Inc. | Locally distributed keyword detection |
US11354092B2 (en) | 2019-07-31 | 2022-06-07 | Sonos, Inc. | Noise classification for event detection |
US11189286B2 (en) | 2019-10-22 | 2021-11-30 | Sonos, Inc. | VAS toggle based on device orientation |
US11862161B2 (en) | 2019-10-22 | 2024-01-02 | Sonos, Inc. | VAS toggle based on device orientation |
US11200900B2 (en) | 2019-12-20 | 2021-12-14 | Sonos, Inc. | Offline voice control |
US11869503B2 (en) | 2019-12-20 | 2024-01-09 | Sonos, Inc. | Offline voice control |
US11562740B2 (en) | 2020-01-07 | 2023-01-24 | Sonos, Inc. | Voice verification for media playback |
US11556307B2 (en) | 2020-01-31 | 2023-01-17 | Sonos, Inc. | Local voice data processing |
US11308958B2 (en) | 2020-02-07 | 2022-04-19 | Sonos, Inc. | Localized wakeword verification |
US11961519B2 (en) | 2020-02-07 | 2024-04-16 | Sonos, Inc. | Localized wakeword verification |
US11308962B2 (en) | 2020-05-20 | 2022-04-19 | Sonos, Inc. | Input detection windowing |
US11482224B2 (en) | 2020-05-20 | 2022-10-25 | Sonos, Inc. | Command keywords with input detection windowing |
US11727919B2 (en) | 2020-05-20 | 2023-08-15 | Sonos, Inc. | Memory allocation for keyword spotting engines |
US11694689B2 (en) | 2020-05-20 | 2023-07-04 | Sonos, Inc. | Input detection windowing |
US11698771B2 (en) | 2020-08-25 | 2023-07-11 | Sonos, Inc. | Vocal guidance engines for playback devices |
US11984123B2 (en) | 2020-11-12 | 2024-05-14 | Sonos, Inc. | Network device interaction by range |
US11551700B2 (en) | 2021-01-25 | 2023-01-10 | Sonos, Inc. | Systems and methods for power-efficient keyword detection |
CN113406567B (zh) * | 2021-06-25 | 2024-05-14 | 安徽淘云科技股份有限公司 | 一种声源定位方法、装置、设备及存储介质 |
CN113406567A (zh) * | 2021-06-25 | 2021-09-17 | 安徽淘云科技股份有限公司 | 一种声源定位方法、装置、设备及存储介质 |
CN116030815A (zh) * | 2023-03-30 | 2023-04-28 | 北京建筑大学 | 一种基于声源位置的语音分割聚类方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008079256A (ja) | 音響信号処理装置、音響信号処理方法及びプログラム | |
CN108122563B (zh) | 提高语音唤醒率及修正doa的方法 | |
US20240233719A1 (en) | Audio recognition method, method, apparatus for positioning target audio, and device | |
JP4937622B2 (ja) | 位置標定モデルを構築するコンピュータ実施方法 | |
US7626889B2 (en) | Sensor array post-filter for tracking spatial distributions of signals and noise | |
KR101688354B1 (ko) | 신호 소스 분리 | |
KR101925887B1 (ko) | 상관된 소스들의 블라인드 측위를 위한 시스템들 및 방법들 | |
US9042573B2 (en) | Processing signals | |
US20170140771A1 (en) | Information processing apparatus, information processing method, and computer program product | |
CN113113034A (zh) | 用于平面麦克风阵列的多源跟踪和语音活动检测 | |
US10535361B2 (en) | Speech enhancement using clustering of cues | |
WO2008121905A2 (en) | Enhanced beamforming for arrays of directional microphones | |
US20190355373A1 (en) | 360-degree multi-source location detection, tracking and enhancement | |
CN114171041A (zh) | 基于环境检测的语音降噪方法、装置、设备及存储介质 | |
CN109859769A (zh) | 一种掩码估计方法及装置 | |
JP2008175733A (ja) | 音声到来方向推定・ビームフォーミングシステム、移動装置及び音声到来方向推定・ビームフォーミング方法 | |
Aktas et al. | Acoustic direction finding using single acoustic vector sensor under high reverberation | |
Daniel et al. | Echo-enabled direction-of-arrival and range estimation of a mobile source in ambisonic domain | |
Hadad et al. | Multi-speaker direction of arrival estimation using SRP-PHAT algorithm with a weighted histogram | |
JP3862685B2 (ja) | 音源方向推定装置、信号の時間遅延推定装置及びコンピュータプログラム | |
Karimian-Azari et al. | Fast joint DOA and pitch estimation using a broadband MVDR beamformer | |
Xue et al. | Noise robust direction of arrival estimation for speech source with weighted bispectrum spatial correlation matrix | |
Hu et al. | Robust speaker's location detection in a vehicle environment using GMM models | |
Cirillo et al. | Sound mapping in reverberant rooms by a robust direct method | |
Ito et al. | Crystal-MUSIC: Accurate localization of multiple sources in diffuse noise environments using crystal-shaped microphone arrays |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080926 |
|
A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20100201 |