JP2009529699A - 分離信号を生成するシステムおよび方法 - Google Patents
分離信号を生成するシステムおよび方法 Download PDFInfo
- Publication number
- JP2009529699A JP2009529699A JP2008557329A JP2008557329A JP2009529699A JP 2009529699 A JP2009529699 A JP 2009529699A JP 2008557329 A JP2008557329 A JP 2008557329A JP 2008557329 A JP2008557329 A JP 2008557329A JP 2009529699 A JP2009529699 A JP 2009529699A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- frequency domain
- frequency
- signals
- reordering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 243
- 238000000926 separation method Methods 0.000 claims abstract description 151
- 230000006870 function Effects 0.000 claims description 47
- 238000012880 independent component analysis Methods 0.000 claims description 17
- 238000009795 derivation Methods 0.000 claims description 15
- 230000003595 spectral effect Effects 0.000 claims description 12
- 230000006872 improvement Effects 0.000 claims description 8
- 230000005236 sound signal Effects 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 159
- 230000000875 corresponding effect Effects 0.000 description 32
- 238000005070 sampling Methods 0.000 description 14
- 239000011159 matrix material Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 239000000243 solution Substances 0.000 description 9
- 230000004913 activation Effects 0.000 description 8
- 238000005096 rolling process Methods 0.000 description 5
- 230000006978 adaptation Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 239000003855 balanced salt solution Substances 0.000 description 2
- 238000005314 correlation function Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005204 segregation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0272—Voice signal separating
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03H—IMPEDANCE NETWORKS, e.g. RESONANT CIRCUITS; RESONATORS
- H03H7/00—Multiple-port networks comprising only passive electrical elements as network components
- H03H7/30—Time-delay networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L25/00—Baseband systems
- H04L25/02—Details ; arrangements for supplying electrical power along data transmission lines
- H04L25/03—Shaping networks in transmitter or receiver, e.g. adaptive shaping networks
- H04L25/03006—Arrangements for removing intersymbol interference
- H04L25/03159—Arrangements for removing intersymbol interference operating in the frequency domain
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Circuit For Audible Band Transducer (AREA)
- Digital Transmission Methods That Use Modulated Carrier Waves (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Abstract
本発明は、ブラインド信号源分離に関するものである。より詳細には、本発明は、周波数領域プロセスを使ったブラインド信号源分離に関するものである。
【選択図】 図1
【選択図】 図1
Description
本願は、共に参照によりこれの全文が本明細書に組み込まれる、2006年3月1日に出願された米国仮特許出願第60/777,900号と、2006年3月1日に出願された米国仮特許出願第60/777,920号の優先権を主張するものである。
本発明はブラインド信号源分離(blind source separation)に関する。より詳細には本発明は周波数領域プロセスを使ったブラインド信号源分離に関する。
ブラインド信号源分離(BSS)法を使って混合音響を分離することができ、この方法は時間領域法または周波数領域法を備える。時間領域法は、より良好な分離性能を達成するが、比較可能な周波数領域法よりも多くの計算量を生じ得る。また、時間領域法では、あらゆるフィルタタップ適応が他のすべてのタップに依存するため、収束が遅く、極小値になる傾向があり、したがって適切な初期設定に大きく依存する。
したがって、計算時間を低減し、かつ/または解の収束を改善すると同時に信号分離の向上をもたらすことのできる装置および方法が求められている。
ある実施形態においては、本発明は、それぞれが複数の周波数に対応する周波数領域第1信号要素を備える周波数領域第1信号の集合であり、複数の信号源を備える周波数領域第1信号の集合を受け取ることと、周波数領域第1信号の集合を、複数の周波数の個々の周波数に対応する分離された周波数領域第2信号要素の集合を備える周波数領域第2信号の集合であり、周波数領域第2信号の集合のうちのどの信号が各周波数領域第2信号要素を含むかを示す識別子が各周波数領域第2信号要素に割り当てられている周波数領域第2の信号の集合に分離することと、周波数領域第3信号の集合を生成して周波数領域第2信号のコヒーレンスを改善するために少なくとも1つの周波数に対応する各識別子を再順序付けすることとを含む信号分離方法に関するものである。
周波数領域第1信号の集合を分離することはブラインド信号源分離法を含む。ブラインド信号源分離法は、個々の周波数に対応する周波数領域第1信号要素に適用される。コヒーレンスは、異なる周波数における信号の同時活動性(co-activity)を反映する関数を含む。周波数領域第2信号のコヒーレンスを改善することは周波数領域第2信号のコヒーレンスを最適化することを含む。周波数領域第2信号のコヒーレンスを改善することは、隣接する一対の周波数領域第2信号要素のコヒーレンスを改善することを含む。識別子を再順序付けすることは、複数の周波数に対応する各識別子を再順序付けすることを含む。識別子を再順序付けすることは、複数の周波数のうちの低い周波数から複数の周波数のうちの高い周波数へと各識別子を順次再順序付けすることをさらに含む。識別子を再順序付けすることは、複数の周波数に対応する各識別子を再順序付けすることを含む。識別子を再順序付けすることは、オーバーラップしない各周波数領域第2信号要素対の間のコヒーレンスを改善することをさらに含む。周波数領域第2信号のコヒーレンスを改善することは、第1の周波数部分集合に対応する周波数領域第2信号要素のコヒーレンスを最適化することと、第2の周波数部分集合に対応する周波数領域第2信号要素のコヒーレンスを最適化することとを含み、第2の周波数部分集合は第1の周波数部分集合より大きく、第2の周波数部分集合は第1の周波数部分集合を含む。実施形態によっては、本明細書で開示する方法は、時間領域入力信号の集合を変換して周波数領域第1信号の集合を生成することをさらに含む。時間領域入力信号は混合音響信号とすることができる。混合音響信号は音声信号を含み得る。実施形態によっては、本明細書で開示する方法は、周波数領域第3信号の集合の周波数領域第3信号を逆変換して所望の信号を生成することをさらに含む。
ある実施形態では、本発明は、それぞれが複数の周波数に対応する周波数領域第1信号要素を備える周波数領域第1信号の集合であり、複数の信号源を備える周波数領域第1信号の集合を受け取ることと、学習規則(learning rule)を備える独立ベクトル分析(Independent Vector Analysis)(IVA)法を使って周波数領域第1信号の集合を周波数領域第2信号の集合に分離することと、学習規則に1つまたは複数の制約条件を適用することとを含む信号分離法に関するものである。
1つまたは複数の制約条件は、周波数領域第2信号の集合から導出される。学習規則に1つまたは複数の制約条件を適用することは、極小または極大で収束する確率を低減させる。本明細書で開示する方法は、周波数領域第1信号の第2の集合を受け取ることと、制約付き信号分離法を使って周波数領域第1信号の第2の集合を分離することとをさらに含む。1つまたは複数の制約条件は幾何学的制約条件を含み得る。幾何学的制約条件は推定される到来方向情報を含み、到来方向情報は、既知のセンサ位置を使ったヒストグラムおよび/または他の統計的技法から出力信号サブバンドを計算することによって推定される。1つまたは複数の制約条件は、信号のスペクトルまたはエネルギ特性に関する情報を含み得る。信号は、周波数領域第1信号、望ましい出力信号、および望ましくない出力信号の中から選択される。1つまたは複数の制約条件は非導出制約条件(non-derived constraints)を含み得る。
ある実施形態では、本発明は、時間領域入力信号の集合を受け取る受信機と、時間領域入力信号の集合を、それぞれが複数の周波数に対応する周波数領域第1信号要素を備える周波数領域第1信号の集合であり、複数の信号源を備える周波数領域第1信号の集合に変換する変換モジュールと、周波数領域第1信号の集合を、複数の周波数の個々の周波数に対応する分離された周波数領域第2信号要素の集合を備え、各周波数領域第2信号要素に、周波数領域第2信号の集合のうちのどの信号が各周波数領域第2信号要素を含むかを示す識別子が割り当てられている周波数領域第2信号の集合に分離する周波数領域信号分離モジュールと、周波数領域第2信号のコヒーレンスを改善するために、少なくとも1つの周波数に対応する各識別子を再順序付けして周波数領域第3信号の集合を生成する再順序付けモジュールとを備える、信号分離システムに関するものである。
周波数領域信号分離モジュールは、独立成分分析法(Independent Component Analysis)および/または独立ベクトル分析法を使って周波数領域第1信号の集合を分離する。再順序付けモジュールは、対応する周波数を決定することによって再順序付けすべき第1の周波数領域第2信号要素を決定する初期パラメータサブモジュールと、所定の周波数に隣接する周波数に対応する周波数領域第2信号要素を用いてこの所定の周波数に対応する周波数領域第2信号要素のコヒーレンスを改善するコヒーレンス改善サブモジュールと、再順序付けすべき次の周波数領域第2信号要素を決定する周波数前進サブモジュールであり、次の周波数領域第2信号要素を、最も新しく再順序付けされた周波数領域第2信号要素に対応する周波数に隣接した周波数に対応する周波数領域第2信号要素として決定するサブモジュールとを含む。
再順序付けモジュールは、対応する周波数を決定することによって再順序付けすべき第1の周波数領域第2信号要素を決定する初期パラメータサブモジュールと、所定の周波数に隣接する周波数に対応する周波数領域第2信号要素を用いてこの所定の周波数に対応する周波数領域第2信号要素のコヒーレンスを改善するコヒーレンス改善サブモジュールと、再順序付けすべき次の周波数領域第2信号要素を決定する周波数前進サブモジュールであり、次の周波数領域第2信号要素を、以前にコヒーレンス改善サブモジュールによって分析されていない周波数領域第2信号要素として決定するサブモジュールとを含む。再順序付けモジュールは、再順序付け要素のグループの初期状態を、少なくとも1つの周波数に対応する第1の周波数領域第2信号要素として決定する初期パラメータサブモジュールと、再順序付け要素のグループ内の周波数領域第2信号要素のコヒーレンスを改善するコヒーレンス改善サブモジュールと、再順序付け要素のグループに加えるべき周波数領域第2信号要素を決定する周波数前進サブモジュールとを含む。本明細書で述べるシステムは、周波数領域第3信号の集合の周波数領域第3信号を逆変換して所望の信号を生成する逆変換モジュールを含んでいてもよい。システムは、ヘッドセットおよび/または電話機を含んでいてもよい。
ある実施形態では、本発明は、時間領域入力信号の集合を受け取る受信機と、時間領域入力信号の集合を、それぞれが複数の周波数に対応する周波数領域第1信号要素を備える周波数領域第1信号の集合であり、複数の信号源を備える周波数領域第1信号の集合に変換する変換モジュールと、学習規則を備える独立ベクトル分析(IVA)法を使って周波数領域第1信号の集合を周波数領域第2信号の集合に分離する周波数領域信号分離モジュールと、学習規則に1つまたは複数の制約条件を強制する制約条件強制モジュールとを含む、信号分離システムに関するものである。
本明細書で述べるシステムは、周波数領域第2信号の集合から1つまたは複数の制約条件を導出する制約条件導出モジュールをさらに含んでいてもよい。1つまたは複数の制約条件は幾何学的制約条件を含み得る。幾何学的制約条件は推定される到来方向情報を含む。到来方向情報は、既知のセンサ位置を使ったヒストグラムおよび/または他の統計的技法から出力信号サブバンドを計算することによって推定される。1つまたは複数の制約条件は非導出制約条件を含み得る。1つまたは複数の制約条件は、周波数領域信号分離モジュールにおける信号のスペクトルまたはエネルギ特性に関する情報を含み得る。本明細書で述べるシステムは、ヘッドセットおよび/または電話機を含んでいてもよい。
信号分離の方法およびシステムにおいては独立ベクトル分析(IVA)が使用されている。IVA法は周波数領域において実施され、そのため時間領域の混合信号はまず周波数領域に変換される。次いで、出力混合信号を分離するために混合信号の各周波数成分に信号分離法が適用される。IVAと関連付けられる学習規則は任意の所与の周波数と関連付けられた各分離出力信号要素が独立であることを維持するが、一方では、各周波数にまたがる相関関係も存在し得る。したがってIVA法は、完全適応フィルタを備える。しかし、かかる方法は極小および極大で収束する傾向がある。さらに、学習規則は出力信号内のサブバンドを設けるが、これらのサブバンドは、すべての信号要素を正しい信号源に対して適正に特定するには不十分なこともある。
ある実施形態では、本発明は、独立ベクトル分析(IVA)ステップおよび/またはモジュールを備える方法およびシステムを改善することに関するものである。実施形態によっては、本明細書で開示する方法およびシステムは、例えば、極小または極大で収束する確率を低減し、かつ/または速度および/またはロバスト性を改善することなどによって性能を向上させる。
ある実施形態では、本発明は、信号分離プロセスに適用される制約条件を備える方法および/またはシステムに関するものである。制約条件は、信号分離プロセスの学習規則に適用される。学習規則は規則的な時間間隔で変更される。制約条件は、演繹的(a priori)に知られていても導出されてもよく、幾何学的制約条件を含んでいてもよい。制約条件は、信号分離プロセスが極小または極大に収束する確率を低減する。
ある実施形態では、本発明は、異なる周波数に対応する分離信号源要素を異なる出力源に再割り当てし、各信号源に割り当てられた異なる周波数の信号源要素の間のコヒーレンスを改善することに関するものである。かかる再割り当ては、例えば最適な再割り当てなどを識別するための線形法、ボトムアップ法、またはトップダウン法を備える。
入力信号
ある実施形態では、本発明は、信号を分離する方法またはシステムに関するものである。信号は2つ以上の信号とすることができる。信号は音響信号とすることができる。代替として、信号は、生体医学、スペクトル、データ、または他のデータ源信号とすることもできる。
ある実施形態では、本発明は、信号を分離する方法またはシステムに関するものである。信号は2つ以上の信号とすることができる。信号は音響信号とすることができる。代替として、信号は、生体医学、スペクトル、データ、または他のデータ源信号とすることもできる。
信号は、1台、2台、またはそれ以上のマイクロホンから生成される。マイクロホンは、ヘッドセットや無線モバイルハンドセットといった音声用アクセサリや音声機器に取り付けられる。マイクロホンは、複数の音源から音響信号を受け取るように配置され、これらの音源には人間の話者などの目標音源が含まれ得る。マイクロホンは、変換器技術を使って音響信号を電気信号に変換する。
本明細書で述べる方法またはシステムは、例えば、暗騒音などから音声信号を分離するように機能する。開示のシステムは、広範囲の音響製品で有利に使用され得ることが理解されるであろう。
制約条件を備える周波数領域信号分離
ある実施形態では、本発明は、周波数領域で行われる信号分離を備え、信号分離に制約条件を強制する方法および/またはシステムに関するものである。制約条件は、信号分離によって以前に生成された分離データから導出される。制約条件は、以前の分離経験に基づいて演繹的(a priori)に知られていてもよい。一実施形態では、制約条件は幾何学的制約条件、すなわち信号源のスペクトル特性に関連する制約条件を備える。加えて、制約条件は学習規則によっても適用される。実施形態の中には、システムおよび装置が時間領域信号をスペクトル入力信号に変換することを備えるものもあり、変換プロセスがシステムおよび装置に含まれない実施形態もある。
ある実施形態では、本発明は、周波数領域で行われる信号分離を備え、信号分離に制約条件を強制する方法および/またはシステムに関するものである。制約条件は、信号分離によって以前に生成された分離データから導出される。制約条件は、以前の分離経験に基づいて演繹的(a priori)に知られていてもよい。一実施形態では、制約条件は幾何学的制約条件、すなわち信号源のスペクトル特性に関連する制約条件を備える。加えて、制約条件は学習規則によっても適用される。実施形態の中には、システムおよび装置が時間領域信号をスペクトル入力信号に変換することを備えるものもあり、変換プロセスがシステムおよび装置に含まれない実施形態もある。
ある実施形態では、システムおよび装置は少なくとも1つの分離周波数領域信号を少なくとも1つの時間領域信号に逆変換することを含むものもあり、システムおよび装置がこれを含まない実施形態もある。実施形態によっては、信号分離はブラインド信号源分離を備える。実施形態によっては、信号分離は独立ベクトル分析(IVA)または独立成分分析(ICA)を備える。
図1を参照すると、システム10は信号を分離する1つのプロセスおよびシステムを提供する。マイクロホン12やマイクロホン16といった複数のマイクロホンが信号を受け取る。2台のマイクロホンしか示していないが、別の実施形態では異なる数のマイクロホンが含まれていてもよいことが理解されるであろう。マイクロホン12とマイクロホン16は、それぞれ、音響信号(図示せず)を電気信号14と電気信号18に変換するように働く。
電気信号14および電気信号18は、実施形態によっては、時間領域信号である。電気信号14と電気信号18は、それぞれ、サンプリングウィンドウ集合20と22にサンプリングされる。サンプリングウィンドウ集合20および22の各サンプリングウィンドウは、例えば、約8kHzで獲得され、約200の時間サンプリング単位に及ぶ。時間領域信号の特定の用途および種類に応じて、別のサンプリングウィンドウ長およびサンプリング率を使用してもよいことが理解されるであろう。
次いで、FFTプロセス24とFFTプロセス26が、それぞれ、サンプリングウィンドウ集合20と22の各サンプリングウィンドウに対して高速フーリエ変換(FFT)を行う。このようにして、各FFTプロセス24、26は、信号分離プロセス28への入力として使用される周波数領域情報を生成する。
信号分離プロセス28は、有利には、ICA(独立成分分析)プロセスなどのブラインド信号分離プロセスとすることができ、あるいは、別の分離プロセスとすることもできる。信号分離プロセス28は、出力周波数領域データを独立の信号源に分離しようと試みる。独立の信号源は、図1に示すように2つの信号源を含んでいてもよく、これ以上の信号源を含んでいてもよい。より詳細には、出力データが周波数ビンに入れられ、一時的に分離周波数ビンデータ29として格納される。ある種の周波数依存サブバンド構造を生み出すウェーブレットフィルタバンク(wavelet filterbanks)のような他のサブバンド変換も使用できることが理解されるであろう。
分離周波数ビンデータ29は、逆高速フーリエ変換(IFFT)プロセス35に入力される。次いで、分離周波数ビンデータ29の各分離成分が、IFFTプロセス35によって、時間領域出力37や時間領域出力39といった時間領域出力に対応するように変換される。場合によっては、2つを上回る時間領域出力が生じることもある。時間領域出力の1つを源信号の推定値とし、出力の1つまたは複数を1つまたは複数の雑音信号の推定値とすることができる。場合によっては、必ずしも分離周波数ビンデータ29の分離成分のすべてがIFFTプロセス35によって変換されるとは限らないこともある。例えば、源信号に対応する分離成分だけがIFFTプロセス35によって変換される。
信号分離プロセス28は、学習規則27を使って周波数領域入力を分離信号源割り当てに分離する。有利には、学習規則27は、分離性能を改善するためにフィルタ学習規則に追加項目を加えることによって制約される。学習規則27に制約を付けることにより、より効率的でロバストな分離プロセスが可能となる。学習規則27は演繹的制約条件(a priori constraints)31によって制約され得る。これらの演繹的制約条件31は、例えば、期待される信号源位置または位置範囲、期待される分離信号スペクトル特性、または別の期待される信号品質に関連するものなどとすることができる。具体的な例では、信号源が特定の場所にあることが分かっている場合、学習規則27は、限られた位置範囲内でこの信号源を見つけるように演繹的に制約される。このようにして、信号源がより迅速に、正確に識別される。別の演繹的制約条件31を使って学習規則をより効率化してもよいことが理解されるであろう。例えば、演繹的制約条件31は、例えば、雑音信号の期待される位置またはスペクトル特性などに関連するものとすることもできる。演繹的制約条件は、ユーザが指定する信号スペクトル制約条件を含んでいてもよい。例えば、レーダやソナーなどの用途では、普通、刺激信号の良好な推定を使用することができる。
また、学習規則27は、導出制約条件(derived constraints)30によっても制約され得る。これらの導出制約条件30は、分離周波数ビンデータ29を使って学習規則27における分離信号の目標特性を調整し、または設定する。例えば、分離周波数ビンデータ29で信号源が特定の場所範囲内にあることが示される場合、導出制約条件30が、学習規則27の「視野」をこの場所だけに、または少なくとも導出される場所の周りの全般的領域に制限するよう設定される。この場所情報は、例えば、到来方向(DOA)情報を含む。また、導出制約条件30は、実際の動作条件に従ってデフォルトの事前制約条件31を適合させることもできる。フィルタ学習プロセスが開始する前に利用可能である演繹的制約条件31とは異なり、導出制約条件30は、部分的分離解に収束する間に「オンザフライ」様式で獲得され、適合されることに留意すべきである。導出制約条件30と演繹的制約条件31の両方が学習規則27に適用される実施形態もある。導出制約条件30だけが学習規則27に適用される実施形態もある。さらに、演繹的制約条件31だけが学習規則27に適用される実施形態もある。加えて、演繹的制約条件31が導出制約条件30に影響を及ぼすように構成されてもよく、かつ/または導出制約条件30が演繹的制約条件31に影響を及ぼすように構成されてもよい。例えば、演繹的制約条件31が、導出制約条件30の初期条件に影響を及ぼしてもよい。
ある実施形態においては、本発明は、図2に示すような分離システム50に関連するものである。信号分離モジュール54は、図2の入力チャネル51および52に対応する1つまたは複数の入力チャネルから入力信号を受け取る。信号分離モジュール54は、独立成分分析(ICA)プロセスを備えるブラインド信号分離プロセスとすることができるが、他のプロセスを使用してもよい。
信号分離モジュール54は、学習規則58に影響を及ぼし、また、学習規則58から影響を受ける。学習規則58は、学習規則58の動作を制約する1つまたは複数の制約条件60を含む。これら1つまたは複数の制約条件60は指向性行列を含んでもよく、ヌルビームおよび幾何学的情報を含んでもよい。制約条件60はデフォルト設定を有していてもよく、演繹的制約条件62を含んでもよい。演繹的制約条件62には、例えば、装置またはシステムの別の態様などによって獲得される信号源位置、信号源エネルギ、信号源のスペクトル情報などに関する情報が含まれる。また、制約条件60には、以下で詳細に説明するように、導出制約条件64も含まれる。
また、学習規則58は重み係数61も備え、重み係数61は1つまたは複数の制約条件60と掛け合わされ、演繹的制約条件62および導出制約条件64の執行に対するBSS最適化目的のトレードオフに使用される。BSS目的に対する1つまたは複数の制約条件60の重み係数61は、事前に設定されてもよく、より高信頼でより高速でより最適な分離のために調整されてもよい。重み係数は動作条件に従って適合され得ることが理解されるであろう。いくつかの制約条件は固定され、適合できないものもあり、適合させるためのデフォルトの始点とするものあることも理解されるであろう。重み係数は、以下で詳細に説明するように、導出制約条件64によって適合され得る。
動作に際して、信号分離モジュール54は、割り当て信号源に従った周波数ビンにおいて編成される分離周波数ビン出力データ56を生成する。分離周波数ビン出力データ56の分離成分は、分離周波数ビン信号源成分59を含む。一実施形態では、分離周波数ビン信号源成分59は、分離時間領域源信号が生成されるIFFTプロセスに出力される。別の実施形態では、周波数領域分離重みだけがIFFTを介して送られ、時間領域混合信号は、獲得される時間領域分離フィルタを用いてフィルタリングされる。
また、分離周波数ビン出力データ56は、1つまたは複数の導出制約条件64を決定するのにも使用される。これらの導出制約条件64は、典型的には幾何学的情報または位置情報であるが、スペクトル情報またはエネルギ情報を含んでもよい。また、導出制約条件64は、期待される特性69またはシステム全体の別の部分からの情報に従って動的に調整されてもよい。例えば、無線ハンドセットは、導出制約条件64をさらに調整し、または設定するのに役立つ情報を提供する電波を有する。導出制約条件64は、暗黙的に、学習規則58において制約付き重み係数61によって分離周波数ビン出力データ56を適正に順序付けすること66に役立つように使用される。
例えば、位相関係が、到来方向(DOA)情報を決定するのに使用され、これらの位相関係を決定するプロセスでは、ある出力データが別の信号源とより適切に関連付けられていることを示す情報が生成される。1つの具体例を挙げると、隣接する周波数ビン間に急激な位相差が見られることがあるが、これは、音声信号では一般に予期されないはずである。この場合、位相の不連続性は、出力データ内のある周波数範囲が誤って割り当てられていることを示す可能性があり、したがって、この周波数ビン範囲の出力は、重み付き制約付き学習項目を使って例えばビンごとの位相変化を最小限に抑えることなどによって再配置する必要がある。個々のBSS出力において出現するDOAの選択は、何らかの管理された方法、すなわち、グラフ内の部分的に解決された分離をBSS出力DOAの関数とて評価することによって決定することもでき、管理されないやり方で決定することもできる。例えば、カルマンフィルタは、低い周波数から高い周波数に向かう位相情報と、ビン間刺激変動の典型的な分散を使って、個々のBSS出力における平均DOAを推定する。DOA位相偏移が典型的なビン間分散を、統計的に有意な起こりそうにない量だけ超過するやいなや、この強いDOA偏移が発生している周波数ビンは、分離信号源間の周波数ビン範囲の順列イベントをマークする可能性が高くなる。低い周波数ビンから開始されるカルマンフィルタによってそれまでに提供されたDOA推定値を導出DOA制約条件パラメータとして使用し、このBSSの残りの高周波数DOAをBSS出力の低周波数の分離部分と整合させる。
ある実施形態では、本発明は、図3に示すような分離システム100に関するものである。システム100は、入力チャネル102や104のような1つまたは複数の入力チャネルから周波数データを受け取る信号分離モジュール106を含み、生成分離周波数ビン出力データ109を生成する。生成分離周波数ビン出力データ109は、周波数ビンの集合110を個々の独立信号源112と関連付ける。各周波数ビンは、関連するサンプルウィンドウの複素周波数データを表す出力データ114を有する。出力データ114は、導出プロセスによって、1つまたは複数の信号源の到来方向(DOA)情報といった導出制約条件121を導出するために使用される。例えば、信号源1のDOAは、出力データD1−1、D1−2、D1−3からD1−nまでの分析によって決定される。導出プロセスは、1組の出力データのDOA情報を平均して信号源をより正確に突き止め、周波数ビン間に、何らかの出力データが誤って割り当てられていることを示す位相情報の異常に大きい変化がないか監視する。DOA情報を決定するのに他のフィルタおよび選択プロセスを使用してもよいことが理解されるであろう。
また、監視される位相イベントは、分離周波数ビン出力データ109内の出力データを再配置するためにも使用される。例えば、隣接する周波数ビン間で急激な位相差が見られることがあり、これは音声信号では一般に予期されないはずである。この場合、位相の不連続性は、何らかの出力データが誤って割り当てられていることを示している可能性があり、したがって、この周波数ビンの出力が、ビンごとの位相変化を最小限に抑えるなどのために再配置される必要がある。出力データの再配置に役立つ他の情報も導出され得ることが理解されるであろう。図示するように、監視される位相イベントは、信号分離プロセスを調整して誤った割り当てを訂正するよう学習規則を調整するのに使用される。代替として、監視される位相イベントは、再順序付けプロセスが1つまたは複数の周波数ビン内のBSS出力データを再順序付けするために使用されてもよい。
導出制約条件121は、学習規則125がより効率よくロバストに信号を分離することを可能にする幾何学的制約条件123を定義するために使用される。例えば、1つまたは複数の信号源の導出DOA情報が、学習規則の焦点を特定の幾何学的または位置的解決に合わせるために使用される。また、幾何学的制約条件123は、デフォルトの条件または他の演繹的制約条件127を含んでいてもよい。これらの演繹的制約条件127は、マイクロホンが目標信号源と固定した関係にある場合には静的とすることもでき、装置の別の態様によって動的に調整されてもよい。
ある実施形態では、本発明は、図4に示すような、分離プロセス150に関するものである。プロセス150のステップ152で、音響信号をローリングウィンドウに取り込む。プロセス150のステップ154で、時間領域ローリングウィンドウに高速フーリエ変換(FFT)を適用して周波数領域データを作成する。プロセス150のステップ156で、結果として生じる、FFTデータとも呼ばれる周波数領域データを信号分離プロセスへのチャネル入力として使用する。演繹的制約条件155を使って信号分離プロセスをより効率的でロバストなものにする。これらの演繹的制約条件155は、静的なものでもよく、全般的システムの別の態様によって調整されてもよい。プロセス150のステップ158で、信号分離プロセスからの出力が、信号源に従って分離された分離BSS出力データを提供する。プロセス150のステップ161で、分離出力データを分析してプロセスの各ステップを調整する。例えば、分離出力データを使って分離プロセスの学習規則における適応可能な制約条件または重み係数を調整する。また、出力データを分析して、周波数ビン内の出力データの信号源割り当てを再順序付けし、または訂正するのに役立つ情報を提供してもよい。プロセス150のステップ163で、IFFTが周波数領域データを処理する。次いで、プロセス150のステップ165で、IFFTが分離時間領域信号を生成する。代替として、周波数領域分離重みだけをIFFTを介して送り、獲得した時間領域分離フィルタを用いて時間領域混合信号をフィルタリングしてもよい。
多変量活性化関数および幾何学的制約条件
いくつかの実施形態では、本明細書で述べる方法および/またはシステムの制約条件には幾何学的制約条件が含まれ、それらの制約条件がIVA法と関連付けられた学習規則に強制される。制約条件を導出し、制約条件を信号分離のプロセスまたは方法に適用する任意のプロセスまたは方法が使用され得る。しかし、以下では一例として1つの特定の数学的定式化を示す。
いくつかの実施形態では、本明細書で述べる方法および/またはシステムの制約条件には幾何学的制約条件が含まれ、それらの制約条件がIVA法と関連付けられた学習規則に強制される。制約条件を導出し、制約条件を信号分離のプロセスまたは方法に適用する任意のプロセスまたは方法が使用され得る。しかし、以下では一例として1つの特定の数学的定式化を示す。
周波数領域において、複素ICAは、X(ω,l)=[X1(ω,l),……,XM(ω,l)]T(時間ウィンドウをl、混合信号の数をMとする)を時間領域混合信号x(t)のDFTとする場合に、分離される出力Y(ω,l)=W(ω)X(ω,l)が相互に独立であるような各周波数ωごとの分離行列W(ω)を見つけることに関する。W(ω)の更新規則は以下の式で与えられる。
ΔW(ω)=μ[I−<φ(Y(ω,l)Y(ω,l)H>]W(ω) 式(1)
式中、Y(ω,l)=[Y1(ω,l),……,YM(ω,l)]Tであり、<>は時間l=1,……,Lにおける平均演算子を表し、μは学習率である。従来の情報量最大化(Infomax)活性化関数は、φ(Yj(ω,l)=tanh(|Yj(ω,l)|)*Yj(ω,l)/|Yj(ω,l)|で与えられ、これは、更新規則(1)と共に、ICA問題が各周波数ビンごとに独立に解決され、順列問題に至ることを示唆するものである。しかし、対象とする信号が、多次元プライヤ(prior)によってモデル化することのできる周波数領域における一定の依存関係を有するものと仮定することによって、かかるプライヤ(prior)を使用するグループとして元の依存信号源を抽出することができる。その結果、多変量活性化関数
φ(Yj(ω,l)=Yj(ω,l)/(Σω|Yj(ω,l)|2)0.5 式(2)
が得られ、式中、分母の項はすべての周波数に及ぶ分離信号源スペクトル電力に関連するものである。ここで使用する多変量活性化関数は、一般的な統計分布から導出されるより一般的な学習規則の特殊な事例であることが分かる(共に参照によりこれらの全文が本明細書に組み込まれる、Kim,T.、Lee,T.−W.、「ブラインド源信号分離のシステムおよび方法(Systems and Methods for Blind Source Signal Separation)」、米国特許出願、2006年3月1日、およびKim,T.、Eltoft,T.、Lee,T.−W.、「独立ベクトル分析(IVA):多変量成分へのICAの拡張(Independent Vector Analysis (IVA): An Extension of ICA to Multivariate Components)」、Proc.of 6th Conf.on ICA and BSS、165〜172頁、2006年3月を参照)。Wのスケーリングの曖昧さは、最小ひずみ原理を用いて設計されたスケーリング行列によって解決される。
式中、Y(ω,l)=[Y1(ω,l),……,YM(ω,l)]Tであり、<>は時間l=1,……,Lにおける平均演算子を表し、μは学習率である。従来の情報量最大化(Infomax)活性化関数は、φ(Yj(ω,l)=tanh(|Yj(ω,l)|)*Yj(ω,l)/|Yj(ω,l)|で与えられ、これは、更新規則(1)と共に、ICA問題が各周波数ビンごとに独立に解決され、順列問題に至ることを示唆するものである。しかし、対象とする信号が、多次元プライヤ(prior)によってモデル化することのできる周波数領域における一定の依存関係を有するものと仮定することによって、かかるプライヤ(prior)を使用するグループとして元の依存信号源を抽出することができる。その結果、多変量活性化関数
φ(Yj(ω,l)=Yj(ω,l)/(Σω|Yj(ω,l)|2)0.5 式(2)
が得られ、式中、分母の項はすべての周波数に及ぶ分離信号源スペクトル電力に関連するものである。ここで使用する多変量活性化関数は、一般的な統計分布から導出されるより一般的な学習規則の特殊な事例であることが分かる(共に参照によりこれらの全文が本明細書に組み込まれる、Kim,T.、Lee,T.−W.、「ブラインド源信号分離のシステムおよび方法(Systems and Methods for Blind Source Signal Separation)」、米国特許出願、2006年3月1日、およびKim,T.、Eltoft,T.、Lee,T.−W.、「独立ベクトル分析(IVA):多変量成分へのICAの拡張(Independent Vector Analysis (IVA): An Extension of ICA to Multivariate Components)」、Proc.of 6th Conf.on ICA and BSS、165〜172頁、2006年3月を参照)。Wのスケーリングの曖昧さは、最小ひずみ原理を用いて設計されたスケーリング行列によって解決される。
式(2)の場合のような多変量活性化関数を使用すれば、フィルタ学習プロセスの間に個々の周波数ビンフィルタ重み間の明示的依存関係を導入することによって順列問題が回避される。実際には、このフィルタ重みの同時接続適合は、時間領域アルゴリズムにおいて観測されているのと同様の初期フィルタ条件への収束依存性の増大をもたらす。したがってこの場合、幾何学的制約条件を使ってこれら実際的な限界が克服される。
本明細書の方法および/またはシステムには任意の幾何学的制約条件が適用される。さらに、本明細書で述べる演繹的制約条件または導出制約条件は、幾何学的制約条件だけを含んでいても、幾何学的制約条件を他の制約条件と共に含んでいても、幾何学的制約条件を全く含まなくてもよい。
幾何学的制約条件を使って、個々の出力チャネルの空間応答を特定の方位に制約し、他の方位にヌルビームを配置することができる。これは、線形制約付き適応ビーム形成、特に汎用型サイドローブキャンセラ(GSC)の基底をなす一般概念である。ここで提案する考えは、干渉源方向に空間的ヌルを配置することによって特定の信号源方向に集中するという目的をサポートする独立ベクトル分析(IVA、Kimら、「ブラインド源信号分離のシステムおよび方法(Systems and Methods for Blind Source Signal Separation)」、米国特許出願、2006年3月1日参照)費用関数に正規化項を加えるというものである。以下の正規化項が提案される。
指向性行列D(ω,θest)の各列は、ベクトルdj、すなわち、
dj=exp(−i*cos(θestj)*pos*ω/c) 式(4)
からなり、pos=[p1 p2 ……pM]Tはセンサ位置であり、cは空気中の音の速度であり、iは−1の平方根である。
dj=exp(−i*cos(θestj)*pos*ω/c) 式(4)
からなり、pos=[p1 p2 ……pM]Tはセンサ位置であり、cは空気中の音の速度であり、iは−1の平方根である。
θestj sは、演繹的な知識から利用でき、または以下のように反復して求める必要のあるR≦M信号源の信号源到来方向(DOA)推定値である。前述したように、分離行列Wの逆を使って、分離出力YjのDOAを、
式(5)
を用いて推定することができ、式中、θj,mn(ω)はセンサ対(pair)mおよびnに対する信号源jのDOAであり、pmとpnはそれぞれマイクロホンmとnの位置であり、c=340m/sは音の伝搬速度である(参照によりこの全文が本明細書に組み込まれる、Mukai,R.、Sawada,H.、Araki,S.、Makino,S.、「多音声信号の周波数領域ブラインド信号源分離(Frequency domain blind source separation for many speech signals)」、Proc.ICA 2004、461〜469頁、2004参照)。複数のマイクロホン対を使用するとき、特定のIVA出力YjのDOAθestjは、選択したサブバンド内のすべてのマイクロホン対および周波数に対して式(5)のθj,mn(ω)のヒストグラムを描くことによって算出することができる(例えば図7を参照)。その場合、平均値θestjは、結果として生じるヒストグラム(θj,N(θj))の重力(Σθj=0……180 N(θj)*θj)/Σθj=0……180 N(θj)の最大値または中心であり、N(θj)は角度θjにおけるDOA推定値の数である。かかるヒストグラムからの高信頼DOA推定値は、数回の反復後に平均信号源方向が現れるもっと後の学習段階において初めて利用可能になる。式(5)の推定値は、マイクロホンアレイから、Dを最大アレイ次元とし、λを考察される最短波長とする(2〜4)*D2/λを超える信号源距離に有効な遠距離音場モデルに基づくものである。
を用いて推定することができ、式中、θj,mn(ω)はセンサ対(pair)mおよびnに対する信号源jのDOAであり、pmとpnはそれぞれマイクロホンmとnの位置であり、c=340m/sは音の伝搬速度である(参照によりこの全文が本明細書に組み込まれる、Mukai,R.、Sawada,H.、Araki,S.、Makino,S.、「多音声信号の周波数領域ブラインド信号源分離(Frequency domain blind source separation for many speech signals)」、Proc.ICA 2004、461〜469頁、2004参照)。複数のマイクロホン対を使用するとき、特定のIVA出力YjのDOAθestjは、選択したサブバンド内のすべてのマイクロホン対および周波数に対して式(5)のθj,mn(ω)のヒストグラムを描くことによって算出することができる(例えば図7を参照)。その場合、平均値θestjは、結果として生じるヒストグラム(θj,N(θj))の重力(Σθj=0……180 N(θj)*θj)/Σθj=0……180 N(θj)の最大値または中心であり、N(θj)は角度θjにおけるDOA推定値の数である。かかるヒストグラムからの高信頼DOA推定値は、数回の反復後に平均信号源方向が現れるもっと後の学習段階において初めて利用可能になる。式(5)の推定値は、マイクロホンアレイから、Dを最大アレイ次元とし、λを考察される最短波長とする(2〜4)*D2/λを超える信号源距離に有効な遠距離音場モデルに基づくものである。
式(6)
を使って最小化することができ、式中、αは調整パラメータである。更新方程式(6)をIVA更新方程式(1)に加えて制約付きIVA重み更新ΔW(ω)を求めるとき、調整パラメータαは、音響シナリオの空間的分離可能性および他の考慮事項に応じて正規化制約条件(3)を適切に執行することを可能にする。
を使って最小化することができ、式中、αは調整パラメータである。更新方程式(6)をIVA更新方程式(1)に加えて制約付きIVA重み更新ΔW(ω)を求めるとき、調整パラメータαは、音響シナリオの空間的分離可能性および他の考慮事項に応じて正規化制約条件(3)を適切に執行することを可能にする。
信号源Rの数が混合信号Mの数と等しい場合、所望のビームパターンの選択は、
C(ω)=diag(W(ω)*D(ω,θ))
に設定され、よって、干渉する方位からの信号源を無効にすると同時に、各反復ごとに制約付きIVAアルゴリズムによって求められる所望の方位にビーム強度を保つ。R<Mの場合、DOAが識別されていないWの第k行は、C(ω)におけるゼロエントリの対応する行を必要とし、したがって、この出力チャネルではすべての信号源が無効とされ、暗騒音だけが残る。代替として、R<Mの場合には、まず、PCAを使って次元削減を行ってから、次元削減した部分空間に対してIVAを行うこともできる。次元削減された制約勾配は、
C(ω)=diag(W(ω)*D(ω,θ))
に設定され、よって、干渉する方位からの信号源を無効にすると同時に、各反復ごとに制約付きIVAアルゴリズムによって求められる所望の方位にビーム強度を保つ。R<Mの場合、DOAが識別されていないWの第k行は、C(ω)におけるゼロエントリの対応する行を必要とし、したがって、この出力チャネルではすべての信号源が無効とされ、暗騒音だけが残る。代替として、R<Mの場合には、まず、PCAを使って次元削減を行ってから、次元削減した部分空間に対してIVAを行うこともできる。次元削減された制約勾配は、
として表され、C(ω)=diag(W(ω)Wr(ω)D(ω,θ))であり、WrはR*MのPCA次元削減行列を表す。
ビーム形成法を用いることができ、音声は一般に広帯域信号であるため、臨界周波数範囲にわたって優れた性能が得られることが保証される。式(5)の基底をなす遠距離音場モデルが無効である場合には、ビームパターンへの近距離音場修正が行われてもよい。また、空間的エイリアシングを回避するために、2つ以上のマイクロホンの間の距離が十分小さく(最高周波数の波長の半分未満に)なるよう選択することもできる。この場合、非常に低い周波数において鋭いビームを強いることは不可能である。
図5は、極小値を回避し、収束を加速するために幾何学的制約条件と組み合わせたIVAに基づく一システムの概要を示す。複数の混合入力(X1,X2,……XM)180が適合プロセス185に入力される。適合プロセス185は、IVAプロセス187と幾何学的制約条件プロセス184の両方を備える。例えば信号源や、あるいは別の例としては雑音などの演繹的知識191が幾何学的制約条件184の一因となることもある。代替として、またはそれに加えて、以下で詳細に説明する導出情報が幾何学的制約条件184の一因となることもある。適合プロセス185は、分離行列W193を適合させる。分離行列W(ω)193は、複数の混合入力(X1,X2,……XM)180を受け取り、それらの混合入力180を複数の分離信号(Y1,Y2,……YM)195に変換する。複数の分離信号(Y1,Y2,……YM)195は、1つまたは複数の源信号を含み得る。導出制約条件は、分離行列W(ω)の逆を使って部分分離信号の周波数サブバンドを繰り返し算出することによって導出される。
図6に、3台のスピーカ、4つのマイクロホンの音響シナリオにおける手法を示す。信号源1、信号源2、信号源3は、それぞれ、マイクロホンアレイから130cm、130cm、60cm離れている。マイクロホンアレイは、各マイクロホンが隣接するマイクロホンから4cmずつ離れて位置するように直線上に配置された4台のマイクロホンを含む。信号源1、信号源2、信号源3は、それぞれ、各マイクロホンの線に沿った軸に対して70°、95°、135°のところに位置する。
図7には、学習規則(1)と活性化関数(2)を使って各IVA分離出力ごとに[0〜4kHz]帯域内のすべての周波数にわたり、マイクロホン対(1,2)、(2,3)、(3,4)について式(5)を用いて推定されたDOAのヒストグラムが示されている。IVA出力1と2は、それぞれ、信号源1と2に対応し(図6と比較されたい)、そのため、ヒストグラムは、信号源1と2の位置に対応する約70°と95°のところで最大となる。IVA出力3と4はこれらに類似の鋭いピークを示さず、それによって出力3と4では定義されたDOAが感知されないことを示している。よって、制約なしのIVAアルゴリズムは、信号源3を分離するのに失敗し、極小に収束している。
一方、図8には、制約付きIVAの収束解(更新式(1)および式(4)、α=0.1)において初期設定されたIVA分離解(更新規則(1)、活性化関数(2))に対応するすべてのマイクロホン対および周波数に及ぶ式(5)からのDOA推定値のヒストグラムが示されている。図7とは異なり、IVA出力3は信号源3に明確に対応しており、ヒストグラムのピークは約135°のところに位置している。よって、制約付きIVA規則を使ってブラインド信号源分離を行うことにより、極小値への収束が回避され、3つの元の信号源すべてが記録された混合信号から分離される。
表1に、制約付き手法を使ってよりよい最終信号対干渉比(SIR)を得ることができることを示す。異なるαの値によって異なる制約付きIVA手法を評価した。各頭字語の説明は以下の通りである。IVA=関数(1)を使った更新規則(1)によるIVA、conIVA=αの異なる設定での(5)に(1)を加えたものから構成される更新規則を使った制約付きIVA、IVAopt=conIVA(α=0.1)を用いて獲得した最終解において初期設定されたIVA。
幾何学的制約条件を実施することの物理的影響を説明するために、図9に、ω=2kHzにおいて制約付きIVA(活性化関数(2)を用いた式(5)に更新規則(1)を加えた)を使用して得られた分離出力ビームパターン|W*d(θ)|を示す。ヌルビームがDOA76度、96度、134度のところに配置され、αを使った制約条件(式5)の強制という別の誘導により、結果として生じるヌルビームの深さを調整することが可能になる(α=2は破線、α=0.1は一点短鎖線)。実線は、α=0.1を使った制約付きIVAから得られた収束フィルタを用いて初期設定された制約なしIVA(関数(2)を用いた更新規則(1))の最適解に対応する。αを調整することによって、ビームパターンの深さおよび幅を選択した角度で調整することができ、よって、BSS解を特殊解として初期設定し、またはBSS解を特殊解に導く直接手段が可能になることが分かる。
周波数領域信号分離および再順序付け処理
ある実施形態では、本発明は、周波数領域で行われる信号分離を備え、分離信号の信号源割り当てを再割り当てするシステムおよび/または装置に関するものである。再順序付けは、特定の周波数および/または特定の周波数グループに対応する信号データ内の割り当てを再割り当てすることを備える。「再順序付けする(reorder)」、「再割り当てする(reassign)」、「再配置する(rearrange)」の各語は同義で使用し得ることが理解されるであろう。実施形態によっては、再順序付けは、本明細書で述べるトップダウン、ボトムアップ、または線形の各プロセスを備える。実施形態の中にはシステムおよび装置が時間領域信号をスペクトル入力信号に変換するものもあり、変換がシステムおよび装置に含まれない実施形態もある。実施形態の中にはシステムおよび装置が少なくとも1つの分離周波数領域信号を少なくとも1つの時間領域信号に逆変換することを備えるものもあり、逆変換を備えない実施形態もある。実施形態によっては、信号分離はブラインド信号源分離を備える。実施形態によっては、信号分離は独立ベクトル分析(IVA)または独立成分分析(ICA)を備える。
ある実施形態では、本発明は、周波数領域で行われる信号分離を備え、分離信号の信号源割り当てを再割り当てするシステムおよび/または装置に関するものである。再順序付けは、特定の周波数および/または特定の周波数グループに対応する信号データ内の割り当てを再割り当てすることを備える。「再順序付けする(reorder)」、「再割り当てする(reassign)」、「再配置する(rearrange)」の各語は同義で使用し得ることが理解されるであろう。実施形態によっては、再順序付けは、本明細書で述べるトップダウン、ボトムアップ、または線形の各プロセスを備える。実施形態の中にはシステムおよび装置が時間領域信号をスペクトル入力信号に変換するものもあり、変換がシステムおよび装置に含まれない実施形態もある。実施形態の中にはシステムおよび装置が少なくとも1つの分離周波数領域信号を少なくとも1つの時間領域信号に逆変換することを備えるものもあり、逆変換を備えない実施形態もある。実施形態によっては、信号分離はブラインド信号源分離を備える。実施形態によっては、信号分離は独立ベクトル分析(IVA)または独立成分分析(ICA)を備える。
本明細書では特定の再順序付け法を説明するが、任意の再順序付けプロセスを使用し得ることが理解されるであろう。加えて、特定の周波数および/または特定の周波数グループに対応するデータの再順序付けを考察する間、別の周波数および/または周波数グループに進む前に再順序付けした割り当てを固定する必要がないことも理解されるであろう。
図10に示すシステム500は、信号を分離する1つのプロセスおよびシステムを提供し、図1に示すシステム10として開始するものである。マイクロホン12やマイクロホン16といった複数のマイクロホンが信号を受け取る。マイクロホン12およびマイクロホン16の特性と、マイクロホン12およびマイクロホン16によって生成される音響信号14および18の特性は、システム10で示したものと同様である。システム10について前述したように、時間領域電気信号14と18は、それぞれ、サンプリングウィンドウ集合20と22にサンプリングされる。
システム10について前述したように、次いで、FFTプロセス24と26によって、それぞれ、サンプリングウィンドウ集合20と22の各サンプリングウィンドウに対して高速フーリエ変換(FFT)が行われる。このようにして、各FFTプロセス24、26は、信号分離プロセス28への入力として使用される周波数領域情報を生成する。
信号分離プロセス28は、有利にはICA(独立成分分析)プロセスなどのブラインド信号分離プロセスとすることができ、別の分離プロセスとすることもできる。信号分離プロセス28は、出力周波数領域データを独立信号源に分離しようと試みる。独立信号源には、図10に示すように2つの信号源が含まれていてもよく、これを上回る信号源があってもよい。
より詳細には、出力データを周波数ビンに入れ、一時的に順列表532に格納する。順列表532は、分離周波数領域データを保持する。
しかし、信号分離プロセス28はしばしば、特定の出力データ要素を正しい信号源に正確に割り当てるのに失敗する。典型的には、周波数ビンは期待される各独立信号源ごとにデータ出力要素を有し、これは通常は使用するマイクロホンの数でもある。例えば、装置が3台のマイクロホンを有する場合、各周波数ビンは3つの出力データ要素を有することになる。信号を正確に分離するためには、各出力データを正しい信号源と関連付ける必要がある。場合によっては、出力データは、信号源と誤って関連付けられることもある。この周波数データの誤った割り当ては通常は順列問題と呼ばれ、ひずみ、分離の失敗、または他の望ましくない結果につながる。したがってシステム500は、順列表532内の各周波数ビンごとに出力データを順序付けする再順序付けプロセス530を備える。したがって順列表532は、各成分が複数のデータ点を備え、各データ点が各成分に割り当てられた周波数ビンの信号分離結果に対応する複数の分離成分を備えるように再順序付けされる。
順列表532が適正に順序付けされると、訂正された周波数領域データが逆高速フーリエ変換(IFFT)35に渡される。次いで、IFFTプロセス35によって再順序付けされた順列表の各分離成分が、時間領域出力37や39のごとく時間領域出力に対応するように変換される。場合によっては、2つを上回る時間領域出力が生じることもある。時間領域出力のうちの1つを源信号の推定値とし、出力の1つまたは複数を1つまたは複数の雑音信号の推定値とすることができる。場合によっては、必ずしも分離周波数ビンデータ29の分離成分すべてがIFFTプロセス35によって変換されるとは限らないこともある。例えば、源信号に対応する分離成分だけがIFFTプロセス35によって変換される。
ある実施形態では、本発明は、図11に示すような分離プロセス550に関するものである。プロセス550のステップ552で、音響信号がローリングウィンドウに取り込まれる。プロセス550のステップ554で、時間領域ローリングウィンドウに高速フーリエ変換(FFT)を適用して周波数領域データが作成される。プロセス550のステップ556で、結果として生じる、FFTデータともいう周波数領域データが信号分離プロセスへのチャネル入力として使用される。プロセス550のステップ558で、独立信号源に従って周波数ビン内の信号分離プロセスの出力を配置する順列表が生成される。プロセス550のステップ561で、順列表に周波数ビン内の出力データを再順序付けするプロセスを適用して、各周波数ビン内で、信号分離プロセスからのデータ出力と合致するように信号源の割り当てを再順序付けする。プロセス550のステップ563で、IFFTによって周波数領域再順序付けデータが処理される。プロセス550のステップ565で、IFFTが次いで分離時間領域信号を生成する。代替として、周波数領域分離重みだけをIFFTを介して送り、獲得される時間領域分離フィルタを用いて時間領域混合信号をフィルタリングしてもよい。
図12に順列表の一例を示す。順列表600は独立信号源602の識別と利用可能な周波数ビン604の識別を含む。典型的には、信号源の数はシステムのマイクロホンの数に関係する。例えば、装置に3台のマイクロホンがある場合、最大3つまでの独立信号源を識別することができる。周波数ビン604の数は、実行される高速フーリエ変換の種類、ならびにFFTサンプルブロックおよびサンプリングウィンドウ内のデータ点の数に依存する。各周波数ビン、例えば周波数ビン608などは、出力609や出力610のような出力データの集合を含む。各出力は、すべてのサンプルウィンドウを表す複素数値データの集合を含む。例えば、周波数ビン608は、複素数出力609および610を有し、出力609は、最初の3つのサンプルウィンドウの「周波数3」の内容を表す複素数値データQ1、Q2、Q3を有する。例えば、ある期間に240個のサンプルウィンドウが取られる場合、出力609などの各出力は240個の複素数値を有し、各値が1サンプルウィンドウの1周波数ビン内のデータ要素を表す。
順列再順序付け結果を改善するためには、サンプルデータの最小指定長が必要である。例えば、3秒間の時間領域データが望ましい分離結果をもたらすことが分かっている。8kHzでサンプリングする場合であり、サンプルウィンドウが200点に設定されている場合、各サンプルウィンドウの長さは約25ミリ秒である。サンプルウィンドウは重なり合うため、追加のサンプルウィンドウを使って3秒間の時間を消費する。例えば、各サンプルウィンドウが約100点だけ重なり合う場合、約240個のサンプルウィンドウで3秒間の時間を消費することになる。全般的な時間の長さ、サンプルウィンドウの数、オーバーラップ、ウィンドウの長さ、およびサンプリング速度は調整され得ることが理解されるであろう。
表625には、1つの軸に信号源が記載され、別の軸に周波数ビンが記載された順列表が示されている。周波数ビン内の各出力にはA、BまたはNの文字が割り当てられている。考察のために、各文字A、B、Nで、個々の信号源からの信号を表わすものとする。このやり方では、完全に分離された信号は、信号源の1つと整合するすべての「A」と、別の信号源と整合するすべての「B」と、別の信号源と関連付けられたすべての「N」とになるはずである。しかし、実際にはおそらくこのような完璧な結果が生じることはなく、若干の誤った割り当ては一般には許容される。しかし、本明細書で論じる再順序付けプロセスを使えば明確さおよび分離効率の改善が見られることが理解できるであろう。
次に図13Aを参照すると、順列表を再順序付けするシステムが示されている。システム650は、信号源652や信号源654といった信号源を有する順列表を有する。順列表には、信号分離プロセスが個々の周波数ビン内で分離出力データを割り当てており、各出力が特定の信号源に割り当てられていることが示されている。文字ラベルで示すように、分離プロセスは、周波数ビンの多くにおいて特定の信号源を正しい出力データと正確に関連付けるのに失敗している。したがって、有利には再順序付けプロセスを適用する。再順序付けシステム650は、周波数ビン656など所定の周波数ビンから開始する線形法である。線形法では、グローバル費用関数(global cost function)が最小になるまで選択した周波数ビン内の出力を再配置する。より詳細には、各周波数ビンごとの出力をすべての利用可能な組み合わせに再順序付けし、各順列ごとに各信号源ごとの費用関数を計算する。
システム650において、周波数ビン1は最初はA−B−Nに配置された。3つの信号源が示されているので、この周波数ビン内では6つの異なる順列が配置され得る。これらの利用可能な配置658を順次適用する。各配置ごとに、各信号源ごとの費用の値を計算する。例えば、周波数1がA−N−Bに設定されているときには、信号源1 652と、信号源2 654と、信号源sの費用を計算する。この費用関数はグローバル相関機構665とすることができる。別の種類の費用関数を使用してもよく、別の種類のアルゴリズムを使用して最良適合を求めてもよいことが理解されるであろう。比較に従って、最良適合を有する配置を選択する。システム650に示すように、配置B−A−Nが最良適合を有するものとして選択される。
したがって、配置B−A−Nを周波数1に固定し、システム650は、図13Bのブロック657で示すように続いて周波数2を再配置する。再度、この線形法は周波数ビン内の出力を再配置し、各信号源ごとの費用関数を計算し、次いで、最低の全般的費用関数、すなわち最良適合を有する配置を選択する。図13Bに示すように、配置B−A−Nがf2の最良適合を有する。したがって、B−A−Nをf2に固定し、線形法はf3に進む。このプロセスが、すべての周波数を完了するまで続く。複数のパスを使用し得ることが理解されるであろう。
ある実施形態では、本発明は、図14に示すような、順列表を再配置するプロセスに関するものである。プロセス700はステップ702から開始し、そこで周波数ビン内の出力を信号源に関連付ける表を設ける。プロセス700のステップ704で、周波数ビンの1つを選択する。一例では、周波数ビンは第1の周波数ビンであるが、開始ビンを選択する別のやり方を使用してもよい。プロセス700のステップ706で、周波数ビン内の出力割り当てを再配置し、プロセス700のステップ708でグローバル費用関数を各信号源ごとに計算する。プロセス700のステップ712で、すべての可能な配置が試されていることを検証する。すべての可能な割り当ての組み合わせが試されていない場合、プロセス700は引き続きステップ706、708、712を繰り返す。そうでない場合、プロセス700はステップ715に進み、そこで全般的最良適合を有する配置をこの周波数ビンの出力割り当てとして固定する。ステップ715は、ステップ708で計算して得られたグローバル費用関数を比較することを備える。プロセス700のステップ717で、すべての周波数ビンが試され、固定されていることを検証する。すべての周波数ビンが試されていない場合、プロセス700は引き続きステップ704、706、708、712、715および717を繰り返す。そうでない場合、プロセス700はステップ719に進み、そこで再順序付け周波数領域データにIFFTを適用する。プロセス700のステップ723で、時間領域信号を生成する。
ある実施形態では、本発明は、図15Aに示すような、複数のグループ再順序付けシステムに関するものである。再順序付けシステム750では、一方の軸に沿って複数の信号源が割り当てられ、他方の軸に沿って周波数ビンが割り当てられている。ブロック752に示すように周波数ビンのグループを選択する。前述のように単一の周波数ビンを操作するのではなく、システム750は、複数のビンを一緒に操作する。より詳細には、複数のビン752には最初、A−A、B−N、N−Bの組み合わせがあった。再配置のために、周波数ビン1と2の出力を1つの要素として一緒に処理する。このやり方では、代替配置756で示す6つの異なる配置が利用できる。代替配置のそれぞれを順次試し、信号源754などの各信号源ごとに費用関数を計算する。グローバル相関または費用関数758を各配置ごとに適用し、最良適合をもたらす配置を選択する。選択後に、最良適合配置を表に挿入する。図15Aに示すように、配置B−N、A−A、N−Bが最良適合を提供している。したがって、この配置を、図15Bに示すようにf1およびf2に挿入する。
プロセス750は続いて別の周波数ビングループ761を選択する。図示するように、このグループは前のグループと重なり合う。また、グループを選択する任意の方法を使用し得ることも理解されるであろう。プロセス750は前述のように進行する。例えば、f2およびf3を1つの要素として一緒に処理し、そのため、選択配置756には、6つの代替配置が利用できることが示されている。これらの各配置を試し、各配置ごとにグローバル費用関数を計算する。最良の相関を有する配置を選択し、次いでこの配置を順列表に挿入する。すべての周波数が使用されるまで引き続き周波数ビングループを進める。複数のパスを使用し得ることが理解されるであろう。また、複数グループのプロセス750を単一集合のプロセス700と組み合わせて複数の再順序付けのパスを提供し得ることも理解されるであろう。例えば、第1のパスで単一集合の再順序付けを使用し、次いで、複数集合の再順序付けを用いて1つまたは複数のパスを行ってもよい。また、複数集合の再順序付けは、1集合で2つまたは別の数の周波数ビンを使用し得ることも理解されるであろう。
ある実施形態では、本発明は、図16に示すような、順列表を再配置するプロセスに関するものである。プロセス775はステップ777から開始し、そこで周波数ビン内の出力を信号源に関連付ける表が設けられる。プロセス775のステップ779で、いくつかの周波数ビンをグループとしてまとめて選択する。考察する例では、グループ化される周波数ビンの数は2であるが、異なる数のビンを選択してもよい。プロセス775のステップ781で、出力割り当てを一緒に再配置する。プロセス775のステップ783で、各配置ごとに、各信号源ごとのグローバル費用関数を計算する。プロセス775のステップ785で、3つの信号源では6つの異なる利用可能な配置になるすべての配置が試されているかどうか判定する。すべての配置が試されていない場合、プロセス775は、ステップ781、783および785を繰り返す。そうでない場合、プロセス775はステップ787に進み、そこで最良適合割り当てを固定する。ステップ787は、すべてのグローバル費用関数を比較し、最良適合割り当てを最小のグローバルコストと関連付けられるものとして識別することを備える。プロセス775のステップ789で、すべての周波数グループが試されているかどうか判定する。すべての周波数グループが試されていない場合、プロセス775は次の周波数ブロックに進んでステップ779、781、783、785、787および789を繰り返す。これは1度に1つのビンだけ進めてもよく、別のスケジュールに従って進めてもよい。すべての周波数を再順序付けした後、複数グループプロセスを用いて別のパスを行ってもよく、別の再順序付けプロセスを用いてもよい。プロセス775のステップ791で、再順序付けした出力にIFFTを適用し、プロセス775のステップ793で、分離時間領域信号を生成する。
ある実施形態では、本発明は、図17に示すような、順列表を再配置するボトムアップシステムに関するものである。再順序付けプロセス800は、信号源802と関連付けられた周波数ビンを有する。方法800を使用する際、周波数ビンを、線803で示すようにグループ化する。例えば、周波数ビンf1とf2を対にし、周波数ビンf3とf4を対にし、周波数ビンf5とf6を対にする。各対ごとに、対の一方のメンバを固定し、対の他方のメンバの出力を再配置する。周波数ビンf1とf2を表す対803を例にとる。周波数ビンf2は固定されるため、集合805内の第2の要素をA−N−Bに固定する。対の第2のメンバを固定して、対の第1のメンバ(f1)を再配置し、各再配置ごとに各グループ内で費用関数を計算する。次いで、最良適合を有する出力の配置を選択し、固定する。このようにして、集合805が、AA、NN、およびBBに配置される。方法800は、各周波数ビンを対にし、第1レベル804で各対ごとの最良適合配置を生成する。集合805など、結果として生じる第2レベル801内の各集合も同様に対のグループとし、対の第2のメンバの出力値を固定し、対の第1のメンバの出力値を再配置する。例えば、レベル3の第1の集合806は、出力AA、BBおよびNNを固定し、次いで、この対(805)の第1のメンバの出力を再配置して最良適合を識別することを示している。最良適合が見つかった後で、新しい組み合わせの集合を作成する。同様に、レベル3の各集合806を対のグループにし、プロセスは引き続きレベル4の各集合808を生成する。最後に、各集合を対にし、組み合わせて最終出力810を生成する。
ある実施形態では、本発明は、図18に示すような、順列表を再配置するボトムアッププロセスに関するものである。プロセス850はステップ852から開始し、そこで周波数ビン内の出力を信号源に関連付ける表を設ける。プロセス850のステップ854で、集合のうちの2つを選択し、同じレベルで対にする。第1の選択では、各集合が個々の周波数ビンに対応し、より高いレベルでは、各集合が周波数ビンのグループに対応する。プロセス850のステップ856で、出力または要素を再配置する。より詳細には、ステップ857に示すように、集合の一方の各値を固定し、対の他方のメンバの各値を再配置する。プロセス850のステップ859で、各グループ内の費用関数を計算する。プロセス850のステップ861で、すべての配置が試されているかどうか判定する。すべての配置が試されていない場合、プロセス850は引き続きステップ856、857および859を繰り返す。そうでない場合、プロセス850はステップ863に進み、そこで最良の配置の値を使って固定される次のレベルで集合を生成する。プロセス850のステップ865で、グループが現在のレベルにおける最後のグループであるかどうか判定する。最後のグループでない場合、プロセス850は引き続きステップ854、856、857、859、861、863および865を繰り返す。最後のグループである場合、プロセス850はステップ868に進み、そこで次のレベルに進むべきかどうか判定する。プロセス850は、複数のレベルを進んで、徐々により多くのビンを含む集合を生成する。プロセス850が次のレベルに進むたびに、ステップ854、856、857、859、861、863、865および868を繰り返す。最後のレベルに到達すると、プロセス850はステップ871に進み、そこで出力データにIFFTを適用する。プロセス850のステップ873で、時間領域信号を生成する。
ある実施形態では、本発明は、図19Aから19Cに示すような、順列表を再配置するシステムに関するものである。図19Aに示すように、順序付けプロセス900では、一方の軸に信号源が記載されており、別の軸に周波数ビンが記載されている。方法900では、比較のために、最初の2つの周波数、例えば周波数902と904などを選択する。より詳細には、中心周波数902の値を固定し、プール901内のビンの費用関数が最小になるまで周波数904の出力値を再配置する。このようにして、出力902との最良適合が見つかるまで、周波数ビン904の出力を再配置する。図では、出力902を周波数ビンの中心周波数として選択し、周波数904は1/4周波数である。他の機構を使って初期の2つの周波数を選択してもよいことが理解されるであろう。次にプールに加えるためにやはり1/4周波数906である第3の周波数を選択する。周波数902と904の値を固定しておき、周波数ビン906の出力を最良適合が見つかるまで再配置し、次いで、最良適合値をプール907に挿入する。同様に、次に1/8周波数908を適用し、周波数902、904、906をプール内で固定する。このようにして、図19Bに示すように、最良適合が見つかるまで周波数ビン908の周波数出力を再配置し、最良適合値を周波数プール909に挿入する。方法900は、図19Cに示すように、ブロック915で示すようにプール901全体が埋まるまで、次の1/8周波数を加え、次いで、1/16周波数(および、もしあれば、1/32周波数、1/64周波数など)に進む。周波数比較を選択し、順序付けする他のプロセスを使用してもよいことが理解されるであろう。
ある実施形態では、本発明は、図20に示すような、順列表を再配置するプロセスに関するものである。プロセス950はステップ952から開始し、そこで周波数ビン内の出力を信号源に関連付ける表を設ける。プロセス950のステップ954で、開始周波数ビンを選択し、再順序付けプールに加える。一例では、プロセス950は、開始周波数を中心として選択するステップ955を含む。プロセス950のステップ957で、1/2周波数とし得る別の周波数ビンを選択し、続いて1/4周波数を選択し、続いて1/8周波数を選択し、以下同様とする(958)。プロセス950のステップ961で、選択した周波数ビンにおいて各出力の信号源割り当てを再配置し、プロセス950のステップ963で、各配置ごとにプール内で費用関数を計算する。プロセス950のステップ967で、すべての配置が試されているかどうか判定する。すべての配置が試されていない場合、プロセス950は引き続きステップ961、963および965を繰り返す。そうでない場合、プロセス950はステップ967に進み、そこで最良適合を有する配置を再順序付けプールに加える。プロセス950のステップ969で、すべての周波数が再順序付けプールに加えられているかどうか判定する。すべての周波数が加えられていない場合、プロセス950は引き続きステップ957、961、963、965、967および969を繰り返す。そうでない場合、プロセス950はステップ972に進み、そこで再順序付けプールをIFFTに送る。プロセス950はステップ973に進み、そこで時間領域信号を生成する。
ある実施形態では、本発明は、図21に示すような、順列表を再配置するプロセスに関するものである。プロセス975はステップ977から開始し、そこで音響信号をローリングウィンドウとして獲得する。プロセス975のステップ979で、各ウィンドウにFFTを適用し、プロセス975のステップ981で、FFTの結果を、信号分離プロセスへの入力として使用する。プロセス975のステップ983で、信号源に従って周波数ビン内の出力を配置する表を生成する。表を985に示すように再順序付けする。より詳細には、ブロック986に示すようにトップダウンプロセスを適用し、ブロック987に示すようにボトムアッププロセスを適用し、ブロック988に示すように線形単一集合を適用し、かつ/またはブロック989に示すように線形複数集合を適用する。再順序付けプロセスのそれぞれの詳細についてはすでに論じており、詳細には扱わない。プロセス975はステップ992に進み、そこで次の再順序付けパスを出すかどうか判定する。そうである場合、プロセス975はブロック985を繰り返す。例えば、複数の線形単一集合プロセス988を実行することが望ましいこともあり、複数の線形複数集合989を実行することが望ましいこともある。様々な組み合わせの単一および複数集合の線形プロセスを使用し得ることが理解されるであろう。別の例では、トップダウン986プロセスまたはボトムアップ987プロセスをまず適用し、次いで、線形プロセスを適用する。しかし、トップダウン986プロセスおよびボトムアップ987プロセスは通常は相互に排他的であり、トップダウン986プロセスまたはボトムアップ987プロセスは通常は線形プロセスを使用した後には適用されないことが理解されるであろう。ステップ992で、さらなる再順序付けパスが行われない場合、プロセス975はステップ994に進み、そこで再順序付けした周波数領域データにIFFTを適用する。プロセス975のステップ996で、分離時間領域信号を生成する。
以上の各項では、図13Aの656などの周波数ビン、または図15Aのブロック752のような周波数ビングループの所与の順列が、この順列が選択されるときに、すべての信号源に関する「グローバル相関」費用関数の結果として生じる総和に基づいて評価されることに言及している。この総和を「グランドグローバル相関費用関数」という。図12を参照すると、このグローバル相関費用関数は、例えば信号源2などの1つの信号源内で、各周波数間のコヒーレンスを、経時的サンプルウィンドウロールフォワードとして測る。ある周波数からの複素数値のQ(ブロック609)が、別の周波数からの複素数値のQと同時に活性化するとき、これら2つの周波数は高い相関を有するはずであり、コヒーレントであるという。ある周波数集合に対するグローバル相関費用関数は、この集合内のすべての周波数対のコヒーレンス尺度の総和とすることができる。またこれは、この集合内のすべての3つの周波数の組のコヒーレンス尺度の総和とすることもできる。周波数間のコヒーレンスを反映する任意の形の費用関数を使って、プロセス700、775、850および950により、周波数ビンまたは周波数ビングループの最良適合順列を求めることができることが理解されるはずである。例えば、参照により全文が本明細書に組み込まれる、Taesu Kim、Hagai Attias、Soo−Young Lee、およびTe−Won Lee、「高次周波数依存関係を利用したブラインド信号源分離(Blind source separation exploiting higher-order frequency dependencies)」、IEEE Trans.Speech Audio Processing、第14巻、第1号、2006に記載されている独立ベクトル分析費用関数を使って順列最適化のためのコヒーレンスを測定してもよい。グローバル相関費用関数は、ある信号源内のすべての周波数に対して定義される必要はないことに留意すべきである。費用関数は、任意の周波数集合に適用することができる。この集合は、図12の信号源内のすべての周波数604を指すものでもよい。また、この集合は、ブロック805のような2つの周波数のグループとすることも、ブロック806のような4つの周波数のグループとすることもでき、以下同様である。
さて、入力信号を周波数領域においてX(ω,l)で表わされるものとする。ここで、X(ω,l)=[X1(ω,l),……,XM(ω,l)]Tは、各要素がM個のチャネルの各入力を表す複素数値ベクトルである。ωは周波数を表し、lはウィンドウインデックスである。信号分離の後、出力はY(ω,l)=[Y1(ω,l),……,YN(ω,l)]Tで表わされ、これはN個の出力チャネルがあることを意味する。
式(11)
である。
である。
式(14)
である。
である。
2つのグループがそれぞれ全周波数集合を含む場合、相関関数は1チャネルのグローバル相関は、
Cn=Cn(ωa,ωb),ωa=ωb={l,2,Λ,Ω} 式(15)
になり、すべての出力チャネルおよびすべての周波数のグランドグローバル相関は、
Cn=Cn(ωa,ωb),ωa=ωb={l,2,Λ,Ω} 式(15)
になり、すべての出力チャネルおよびすべての周波数のグランドグローバル相関は、
式(16)
である。
である。
周波数順列訂正の線形法の線形法では、これの線形法において周波数を走査し、各周波数ごとにベクトルY(ω,l)の各要素を並べ替えてKまたはCを最適化する。各周波数を通して走査するときに、g個の隣接周波数を一緒に並べ替えてKまたはCを最適化してもよい。線形法の擬似コードは以下の通りである。
1)for g = 1 to gmax do
2)for ω = 1 to Ω-g
3)ωg = [ω,...,ω+g-l]
4)Permute Y(ωg,l)together to optimize K (or C)
5)end for
6)end for
周波数順列訂正のボトムアップ法は、隣接周波数の対ωa={ω1,ω2}を並べ替えてK({ω1,ω2})またはC({ω1,ω2)}を最適化することを含む。これを他の対について繰り返す。次に、対ωa、ωbの隣接対を並べ替えてK({ωa,ωb})またはC{(ωa,ωb)}を最適化する。このプロセスを他の対の対について繰り返す。次に、対の対の隣接対を並べ替えてこれらのKまたはCを最適化する。これを、対の対の対を形成することができなくなるまで繰り返す。擬似コードは以下の通りである。
2)for ω = 1 to Ω-g
3)ωg = [ω,...,ω+g-l]
4)Permute Y(ωg,l)together to optimize K (or C)
5)end for
6)end for
周波数順列訂正のボトムアップ法は、隣接周波数の対ωa={ω1,ω2}を並べ替えてK({ω1,ω2})またはC({ω1,ω2)}を最適化することを含む。これを他の対について繰り返す。次に、対ωa、ωbの隣接対を並べ替えてK({ωa,ωb})またはC{(ωa,ωb)}を最適化する。このプロセスを他の対の対について繰り返す。次に、対の対の隣接対を並べ替えてこれらのKまたはCを最適化する。これを、対の対の対を形成することができなくなるまで繰り返す。擬似コードは以下の通りである。
1)g = 2
2)while g/2 < Ω do
3)for ω = 1 to Ω step g do
4)ωa = {ω,...ω+g/2-1}, ωb = {ω +g/2,...ω+ g-1 }
5)Permute Y(ωb,l)together to optimize K({ωa, ωb})(or C ({ωa, ωb}))
6)end for
7)g = 2g
8)end while
トップダウン法は、中心周波数だけのプールから開始し、次いでこのプールに一度に1/4周波数を加える。新たに加えた周波数を並べ替えて、プール内の周波数グループωaのK(ωa)またはC(ωa)を最適化する。擬似コードは以下の通りである。
2)while g/2 < Ω do
3)for ω = 1 to Ω step g do
4)ωa = {ω,...ω+g/2-1}, ωb = {ω +g/2,...ω+ g-1 }
5)Permute Y(ωb,l)together to optimize K({ωa, ωb})(or C ({ωa, ωb}))
6)end for
7)g = 2g
8)end while
トップダウン法は、中心周波数だけのプールから開始し、次いでこのプールに一度に1/4周波数を加える。新たに加えた周波数を並べ替えて、プール内の周波数グループωaのK(ωa)またはC(ωa)を最適化する。擬似コードは以下の通りである。
1)g = (Ω-l)/2, ωa={g}
2)while g > 1 do
3)for ω = g/2 to Ω-1 step g do
4)add ω to ωa
5)Permute Y(ω,l)to optimize K(ωa)or C(ωa)
6)end while
装置
本明細書の任意の方法またはプロセスを装置に組み込んでもよい。プロセスの各ステップは装置のモジュールまたはサブモジュールとして含まれる。実施形態によっては、装置は音声装置である。音声装置は、ヘッドセット、無線モバイルハンドセット、または電話機とすることができる。装置は1つまたは複数のマイクロホンを含んでいてもよい。装置はマイクロホンアレイを含んでいてもよい。
2)while g > 1 do
3)for ω = g/2 to Ω-1 step g do
4)add ω to ωa
5)Permute Y(ω,l)to optimize K(ωa)or C(ωa)
6)end while
装置
本明細書の任意の方法またはプロセスを装置に組み込んでもよい。プロセスの各ステップは装置のモジュールまたはサブモジュールとして含まれる。実施形態によっては、装置は音声装置である。音声装置は、ヘッドセット、無線モバイルハンドセット、または電話機とすることができる。装置は1つまたは複数のマイクロホンを含んでいてもよい。装置はマイクロホンアレイを含んでいてもよい。
また、装置を医療用装置とすることもできる。例えば、装置を使ってEKGやEEGデータを分離してもよい。
本明細書で述べる方法、プロセス、またはシステムは、データをリアルタイムで処理するのに使用してもよく、データを事後処理するのに使用してもよい。
ある実施形態では、本発明は、本明細書で述べるプロセスまたは方法を実行するモジュールを含むソフトウェアまたはコンピュータに関するものである。コンピュータは、メモリ、プロセッサ、および/またはディスプレイを備え得る。コンピュータは、ヘッドセットなどの本明細書で述べる別の装置に接続されていてもよい。
本発明の各実施形態は、ステップが省略され、追加され、または再配置されているプロセスを含むことが理解されるであろう。
Claims (39)
- それぞれが複数の周波数に対応する周波数領域第1信号要素を備える周波数領域第1信号の集合であり、複数の信号源を備える前記周波数領域第1信号の集合を受け取ることと、
前記周波数領域第1信号の集合を、前記複数の周波数の個々の周波数に対応する分離された周波数領域第2信号要素の集合を備える周波数領域第2信号の集合であり、前記周波数領域第2信号の集合のうちのどの信号が前記周波数領域第2信号要素を含むかを示す識別子が前記周波数領域第2信号要素のそれぞれに割り当てられている前記周波数領域第2信号の集合に分離することと、
前記周波数領域第2信号のコヒーレンスを改善し、周波数領域第3信号の集合を生成するために、少なくとも1つの周波数に対応する前記識別子を再順序付けすることと、
を備える信号分離の方法。 - 前記周波数領域第1信号の集合を分離することは、ブラインド信号源分離法を備える、請求項1に記載の方法。
- 前記ブラインド信号源分離法は、個々の周波数に対応する前記周波数領域第1信号要素に適用される、請求項2に記載の方法。
- 前記コヒーレンスは、異なる周波数における信号の同時活動性を反映する関数を備える、請求項1に記載の方法。
- 前記周波数領域第2信号の前記コヒーレンスを改善することは、前記周波数領域第2信号の前記コヒーレンスを最適化することを備える、請求項1に記載の方法。
- 前記周波数領域第2信号の前記コヒーレンスを改善することは、隣接する1対の前記周波数領域第2信号要素の前記コヒーレンスを改善することを備える、請求項1に記載の方法。
- 前記識別子を再順序付けすることは、複数の周波数に対応する前記識別子を再順序付けすることを備え、前記識別子を再順序付けすることは、前記複数の周波数のうちの低い周波数から前記複数の周波数のうちの高い周波数へと前記識別子を順次再順序付けすることをさらに備える、請求項6に記載の方法。
- 前記識別子を再順序付けすることは、複数の周波数に対応する前記識別子を再順序付けすることを備え、前記識別子を再順序付けすることは、オーバーラップしない対の周波数領域第2信号要素の間の前記コヒーレンスを改善することをさらに備える、請求項6に記載の方法。
- 前記周波数領域第2信号の前記コヒーレンスを改善することは、
第1の周波数部分集合に対応する前記周波数領域第2信号要素の前記コヒーレンスを最適化することと、
第2の周波数部分集合に対応する前記周波数領域第2信号要素の前記コヒーレンスを最適化することと
を備え、
前記第2の周波数部分集合は、前記第1の周波数部分集合より大きく、
前記第2の周波数部分集合は、前記第1の周波数部分集合を含む、請求項1に記載の方法。 - 時間領域入力信号の集合を変換して前記周波数領域第1信号の集合を生成することをさらに備える、請求項1に記載の方法。
- 前記時間領域入力信号は混合音響信号である、請求項9に記載の方法。
- 前記混合音響信号は音声信号を備える、請求項11に記載の方法。
- 前記周波数領域第3信号の集合の周波数領域第3信号を逆変換して所望の信号を生成することをさらに備える、請求項1に記載の方法。
- それぞれが複数の周波数に対応する周波数領域第1信号要素を備える周波数領域第1信号の集合であり、複数の信号源を備える前記周波数領域第1信号の集合を受け取ることと、
学習規則を備える独立ベクトル分析(IVA)法を使って前記周波数領域第1信号の集合を周波数領域第2信号の集合に分離することと、
前記学習規則に1つまたは複数の制約条件を適用することと
を備える、信号分離の方法。 - 前記1つまたは複数の制約条件は、前記周波数領域第2信号の集合から導出される、請求項14に記載の方法。
- 前記学習規則に1つまたは複数の制約条件を適用することは、極小または極大で収束する確率を低減する、請求項14に記載の方法。
- 周波数領域第1信号の第2の集合を受け取ることと、前記制約付きの信号分離の方法を使って周波数領域第1信号の前記第2の集合を分離することとをさらに備える、請求項14に記載の方法。
- 前記1つまたは複数の制約条件は幾何学的制約条件を備える、請求項14に記載の方法。
- 前記幾何学的制約条件は推定到来方向情報を備え、前記到来方向情報は、既知のセンサ位置を使ったヒストグラムおよび/または他の統計的技法から出力信号サブバンドを算出することによって推定される、請求項18に記載の方法。
- 前記1つまたは複数の制約条件は、信号のスペクトルまたはエネルギ特性に関する情報を備える、請求項14に記載の方法。
- 前記信号は、周波数領域第1信号、望ましい出力信号、および望ましくない出力信号の中から選択される、請求項20に記載の方法。
- 前記1つまたは複数の制約条件は非導出制約条件を備える、請求項14に記載の方法。
- 時間領域入力信号の集合を受け取る受信機と、
前記時間領域入力信号の集合を、それぞれが複数の周波数に対応する周波数領域第1信号要素を備える周波数領域第1信号の集合であり、複数の信号源を備える前記周波数領域第1信号の集合に変換する変換モジュールと、
前記周波数領域第1信号の集合を、前記複数の周波数の個々の周波数に対応する分離された周波数領域第2信号要素の集合を備える周波数領域第2信号の集合であり、前記周波数領域第2信号の集合のうちのどの信号が前記周波数領域第2信号要素を含むかを示す識別子が前記周波数領域第2信号要素のそれぞれに割り当てられている前記周波数領域第2信号の集合に分離する周波数領域信号分離モジュールと、
前記周波数領域第2信号の前記コヒーレンスを改善し、周波数領域第3信号の集合を生成するために、少なくとも1つの周波数に対応する前記識別子を再順序付けする再順序付けモジュールと、
を備える、信号を分離するシステム。 - 前記周波数領域信号分離モジュールは、独立成分分析法または独立ベクトル分析法を使って前記周波数領域第1信号の集合を分離する、請求項23に記載のシステム。
- 前記再順序付けモジュールは、
前記対応する周波数を決定することによって再順序付けすべき第1の周波数領域第2信号要素を決定する初期パラメータサブモジュールと、
所定の周波数に隣接する周波数に対応する周波数領域第2信号要素を用いて、前記所定の周波数に対応する周波数領域第2信号要素の前記コヒーレンスを改善するコヒーレンス改善サブモジュールと、
再順序付けすべき次の周波数領域第2信号要素を決定する周波数前進サブモジュールであり、次の周波数領域第2信号要素を、最も新しく再順序付けされた周波数領域第2信号要素に対応する周波数に隣接した周波数に対応する周波数領域第2信号要素として決定する前記周波数前進サブモジュールと、
を備える、請求項23に記載のシステム。 - 前記再順序付けモジュールは、
前記対応する周波数を決定することによって再順序付けすべき第1の周波数領域第2信号要素を決定する初期パラメータサブモジュールと、
所定の周波数に隣接する周波数に対応する周波数領域第2信号要素を用いて、前記所定の周波数に対応する周波数領域第2信号要素の前記コヒーレンスを改善するコヒーレンス改善サブモジュールと、
再順序付けすべき次の周波数領域第2信号要素を決定する周波数前進サブモジュールであり、次の周波数領域第2信号要素を、以前に前記コヒーレンス改善サブモジュールによって分析されていない周波数領域第2信号要素として決定する前記周波数前進サブモジュールと、
を備える、請求項23に記載のシステム。 - 前記再順序付けモジュールは、
再順序付け要素グループの初期状態を、少なくとも1つの周波数に対応する第1の周波数領域第2信号要素として決定する初期パラメータサブモジュールと、
前記再順序付け要素グループ内の周波数領域第2信号要素の前記コヒーレンスを改善するコヒーレンス改善サブモジュールと、
前記再順序付け要素グループに加えるべき周波数領域第2信号要素を決定する周波数前進サブモジュールと、
を備える、請求項23に記載のシステム。 - 前記周波数領域第3信号の集合の周波数領域第3信号を逆変換して所望の信号を生成する逆変換モジュールをさらに備える、請求項23に記載のシステム。
- ヘッドセットを備える、請求項27に記載のシステム。
- 電話機を備える、請求項27に記載のシステム。
- 時間領域入力信号の集合を受け取る受信機と、
前記時間領域入力信号の集合を、それぞれが複数の周波数に対応する周波数領域第1信号要素を備える周波数領域第1信号の集合であり、複数の信号源を備える前記周波数領域第1信号の集合に変換する変換モジュールと、
学習規則を備える独立ベクトル分析(IVA)法を使って前記周波数領域第1信号の集合を周波数領域第2信号の集合に分離する周波数領域信号分離モジュールと、
前記学習規則に1つまたは複数の制約条件を強制する制約条件強制モジュールと、
を備える、信号を分離するシステム。 - 前記周波数領域第2信号の集合から前記1つまたは複数の制約条件を導出する制約条件導出モジュールをさらに備える、請求項31に記載のシステム。
- 前記1つまたは複数の制約条件は幾何学的制約条件を備える、請求項31に記載のシステム。
- 前記幾何学的制約条件は推定到来方向情報を備える、請求項33に記載のシステム。
- 前記到来方向情報は、既知のセンサ位置を使ったヒストグラムおよび/または他の統計的技法から出力信号サブバンドを算出することによって推定される、請求項34に記載のシステム。
- 前記1つまたは複数の制約条件は非導出制約条件を備える、請求項31に記載のシステム。
- 前記1つまたは複数の制約条件は、前記周波数領域信号分離モジュール内の信号のスペクトルまたはエネルギ特性に関する情報を備える、請求項31に記載のシステム。
- ヘッドセットを備える、請求項31に記載のシステム。
- 電話機を備える、請求項31に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US77790006P | 2006-03-01 | 2006-03-01 | |
US77792006P | 2006-03-01 | 2006-03-01 | |
PCT/US2007/004966 WO2007103037A2 (en) | 2006-03-01 | 2007-02-27 | System and method for generating a separated signal |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009529699A true JP2009529699A (ja) | 2009-08-20 |
Family
ID=38475354
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008557329A Pending JP2009529699A (ja) | 2006-03-01 | 2007-02-27 | 分離信号を生成するシステムおよび方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8898056B2 (ja) |
EP (1) | EP1989777A4 (ja) |
JP (1) | JP2009529699A (ja) |
KR (1) | KR100959050B1 (ja) |
WO (1) | WO2007103037A2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013068938A (ja) * | 2011-09-05 | 2013-04-18 | Research Organization Of Information & Systems | 信号処理装置、信号処理方法及びコンピュータプログラム |
JP2014048398A (ja) * | 2012-08-30 | 2014-03-17 | Nippon Telegr & Teleph Corp <Ntt> | 音響信号解析装置、方法、及びプログラム |
JP2015213328A (ja) * | 2010-10-25 | 2015-11-26 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | マルチマイクロフォンを用いた3次元サウンド獲得及び再生 |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8160273B2 (en) | 2007-02-26 | 2012-04-17 | Erik Visser | Systems, methods, and apparatus for signal separation using data driven techniques |
KR101434200B1 (ko) * | 2007-10-01 | 2014-08-26 | 삼성전자주식회사 | 혼합 사운드로부터의 음원 판별 방법 및 장치 |
US8175291B2 (en) | 2007-12-19 | 2012-05-08 | Qualcomm Incorporated | Systems, methods, and apparatus for multi-microphone based speech enhancement |
US8321214B2 (en) * | 2008-06-02 | 2012-11-27 | Qualcomm Incorporated | Systems, methods, and apparatus for multichannel signal amplitude balancing |
KR101178801B1 (ko) * | 2008-12-09 | 2012-08-31 | 한국전자통신연구원 | 음원분리 및 음원식별을 이용한 음성인식 장치 및 방법 |
JP5255467B2 (ja) * | 2009-02-02 | 2013-08-07 | クラリオン株式会社 | 雑音抑制装置、雑音抑制方法、及び、プログラム |
EP2476008B1 (en) | 2009-09-10 | 2015-04-29 | Rudjer Boskovic Institute | Underdetermined blind extraction of components from mixtures in 1d and 2d nmr spectroscopy and mass spectrometry by means of combined sparse component analysis and detection of single component points |
JP5452158B2 (ja) * | 2009-10-07 | 2014-03-26 | 株式会社日立製作所 | 音響監視システム、及び音声集音システム |
US9961442B2 (en) * | 2011-11-21 | 2018-05-01 | Zero Labs, Inc. | Engine for human language comprehension of intent and command execution |
US20130294611A1 (en) * | 2012-05-04 | 2013-11-07 | Sony Computer Entertainment Inc. | Source separation by independent component analysis in conjuction with optimization of acoustic echo cancellation |
CN103281269B (zh) * | 2013-05-09 | 2015-11-04 | 合肥工业大学 | 基于改进的排序算法的频域盲源分离算法 |
WO2015044419A1 (en) * | 2013-09-30 | 2015-04-02 | Ventana Medical Systems, Inc. | Systems and methods for adaptive histopathology image unmixing |
US10002622B2 (en) * | 2013-11-20 | 2018-06-19 | Adobe Systems Incorporated | Irregular pattern identification using landmark based convolution |
CN104064195A (zh) * | 2014-06-30 | 2014-09-24 | 电子科技大学 | 一种噪声环境下的多维盲分离方法 |
US9762742B2 (en) * | 2014-07-24 | 2017-09-12 | Conexant Systems, Llc | Robust acoustic echo cancellation for loosely paired devices based on semi-blind multichannel demixing |
CN105989852A (zh) | 2015-02-16 | 2016-10-05 | 杜比实验室特许公司 | 分离音频源 |
US10325006B2 (en) | 2015-09-29 | 2019-06-18 | International Business Machines Corporation | Scalable architecture for analog matrix operations with resistive devices |
US10387778B2 (en) | 2015-09-29 | 2019-08-20 | International Business Machines Corporation | Scalable architecture for implementing maximization algorithms with resistive devices |
DK3157268T3 (da) * | 2015-10-12 | 2021-08-16 | Oticon As | Høreanordning og høresystem, der er konfigureret til at lokalisere en lydkilde |
US20170323349A1 (en) * | 2016-05-05 | 2017-11-09 | Prospect Smarter, Inc. | Offline-to-online mass personal direct mail automation system and methods |
US10249305B2 (en) * | 2016-05-19 | 2019-04-02 | Microsoft Technology Licensing, Llc | Permutation invariant training for talker-independent multi-talker speech separation |
JP6763721B2 (ja) | 2016-08-05 | 2020-09-30 | 大学共同利用機関法人情報・システム研究機構 | 音源分離装置 |
EP3324406A1 (en) | 2016-11-17 | 2018-05-23 | Fraunhofer Gesellschaft zur Förderung der Angewand | Apparatus and method for decomposing an audio signal using a variable threshold |
EP3324407A1 (en) | 2016-11-17 | 2018-05-23 | Fraunhofer Gesellschaft zur Förderung der Angewand | Apparatus and method for decomposing an audio signal using a ratio as a separation characteristic |
CN106887238B (zh) * | 2017-03-01 | 2020-05-15 | 中国科学院上海微系统与信息技术研究所 | 一种基于改进独立向量分析算法的声信号盲分离方法 |
FR3067511A1 (fr) * | 2017-06-09 | 2018-12-14 | Orange | Traitement de donnees sonores pour une separation de sources sonores dans un signal multicanal |
US10957337B2 (en) | 2018-04-11 | 2021-03-23 | Microsoft Technology Licensing, Llc | Multi-microphone speech separation |
CN110890098B (zh) * | 2018-09-07 | 2022-05-10 | 南京地平线机器人技术有限公司 | 盲信号分离方法、装置和电子设备 |
US10629226B1 (en) * | 2018-10-29 | 2020-04-21 | Bestechnic (Shanghai) Co., Ltd. | Acoustic signal processing with voice activity detector having processor in an idle state |
CN111435598B (zh) * | 2019-01-15 | 2023-08-18 | 北京地平线机器人技术研发有限公司 | 语音信号处理方法、装置、计算机可读介质及电子设备 |
Family Cites Families (108)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4649505A (en) | 1984-07-02 | 1987-03-10 | General Electric Company | Two-input crosstalk-resistant adaptive noise canceller |
US5742735A (en) * | 1987-10-06 | 1998-04-21 | Fraunhofer Gesellschaft Zur Forderung Der Angewanten Forschung E.V. | Digital adaptive transformation coding method |
US4912767A (en) | 1988-03-14 | 1990-03-27 | International Business Machines Corporation | Distributed noise cancellation system |
JPH03269498A (ja) | 1990-03-19 | 1991-12-02 | Ricoh Co Ltd | 雑音除去方式 |
JP2962572B2 (ja) | 1990-11-19 | 1999-10-12 | 日本電信電話株式会社 | 雑音除去装置 |
US5327178A (en) | 1991-06-17 | 1994-07-05 | Mcmanigal Scott P | Stereo speakers mounted on head |
US5208786A (en) | 1991-08-28 | 1993-05-04 | Massachusetts Institute Of Technology | Multi-channel signal separation |
JPH05316587A (ja) | 1992-05-08 | 1993-11-26 | Sony Corp | マイクロホン装置 |
US5251263A (en) | 1992-05-22 | 1993-10-05 | Andrea Electronics Corporation | Adaptive noise cancellation and speech enhancement system and apparatus therefor |
US5732143A (en) | 1992-10-29 | 1998-03-24 | Andrea Electronics Corp. | Noise cancellation apparatus |
US5383164A (en) | 1993-06-10 | 1995-01-17 | The Salk Institute For Biological Studies | Adaptive system for broadband multisignal discrimination in a channel with reverberation |
US5375174A (en) | 1993-07-28 | 1994-12-20 | Noise Cancellation Technologies, Inc. | Remote siren headset |
JP3146804B2 (ja) | 1993-11-05 | 2001-03-19 | 松下電器産業株式会社 | アレイマイクロホンおよびその感度補正装置 |
US5706402A (en) * | 1994-11-29 | 1998-01-06 | The Salk Institute For Biological Studies | Blind signal processing system employing information maximization to recover unknown signals through unsupervised minimization of output redundancy |
US6002776A (en) | 1995-09-18 | 1999-12-14 | Interval Research Corporation | Directional acoustic signal processor and method therefor |
US5770841A (en) | 1995-09-29 | 1998-06-23 | United Parcel Service Of America, Inc. | System and method for reading package information |
US5675659A (en) | 1995-12-12 | 1997-10-07 | Motorola | Methods and apparatus for blind separation of delayed and filtered sources |
US6130949A (en) | 1996-09-18 | 2000-10-10 | Nippon Telegraph And Telephone Corporation | Method and apparatus for separation of source, program recorded medium therefor, method and apparatus for detection of sound source zone, and program recorded medium therefor |
CA2269027A1 (en) | 1996-10-17 | 1998-04-23 | Andrea Electronics Corporation | Noise cancelling acoustical improvement to wireless telephone or cellular phone |
JPH10124084A (ja) | 1996-10-18 | 1998-05-15 | Oki Electric Ind Co Ltd | 音声処理装置 |
US5999567A (en) | 1996-10-31 | 1999-12-07 | Motorola, Inc. | Method for recovering a source signal from a composite signal and apparatus therefor |
FR2759824A1 (fr) | 1997-02-18 | 1998-08-21 | Philips Electronics Nv | Systeme de separation de sources non stationnaires |
US7072476B2 (en) | 1997-02-18 | 2006-07-04 | Matech, Inc. | Audio headset |
US6393199B1 (en) | 1997-03-20 | 2002-05-21 | Recording Physics, Inc. | Apparatus and method for high speed recording of video signals |
US6496581B1 (en) | 1997-09-11 | 2002-12-17 | Digisonix, Inc. | Coupled acoustic echo cancellation system |
US6167417A (en) * | 1998-04-08 | 2000-12-26 | Sarnoff Corporation | Convolutive blind source separation using a multiple decorrelation method |
DE19822021C2 (de) | 1998-05-15 | 2000-12-14 | Siemens Audiologische Technik | Hörgerät mit automatischem Mikrofonabgleich sowie Verfahren zum Betrieb eines Hörgerätes mit automatischem Mikrofonabgleich |
US6654468B1 (en) | 1998-08-25 | 2003-11-25 | Knowles Electronics, Llc | Apparatus and method for matching the response of microphones in magnitude and phase |
DE19849739C2 (de) | 1998-10-28 | 2001-05-31 | Siemens Audiologische Technik | Adaptives Verfahren zur Korrektur der Mikrofone eines Richtmikrofonsystems in einem Hörgerät sowie Hörgerät |
US6898612B1 (en) * | 1998-11-12 | 2005-05-24 | Sarnoff Corporation | Method and system for on-line blind source separation |
US6606506B1 (en) | 1998-11-19 | 2003-08-12 | Albert C. Jones | Personal entertainment and communication device |
US6343268B1 (en) | 1998-12-01 | 2002-01-29 | Siemens Corporation Research, Inc. | Estimator of independent sources from degenerate mixtures |
DE19859174C1 (de) | 1998-12-21 | 2000-05-04 | Max Planck Gesellschaft | Verfahren und Vorrichtung zur Verarbeitung rauschbehafteter Schallsignale |
US6381570B2 (en) | 1999-02-12 | 2002-04-30 | Telogy Networks, Inc. | Adaptive two-threshold method for discriminating noise from speech in a communication signal |
WO2000057671A2 (de) | 1999-03-19 | 2000-09-28 | Siemens Aktiengesellschaft | Verfahren und einrichtung zum aufnehmen und bearbeiten von audiosignalen in einer störschallerfüllten umgebung |
JP3688934B2 (ja) | 1999-04-16 | 2005-08-31 | アルパイン株式会社 | マイクロホンシステム |
US6526148B1 (en) | 1999-05-18 | 2003-02-25 | Siemens Corporate Research, Inc. | Device and method for demixing signal mixtures using fast blind source separation technique based on delay and attenuation compensation, and for selecting channels for the demixed signals |
CN100379752C (zh) | 1999-06-11 | 2008-04-09 | 纽约州州立大学研究基金会 | BMP和TGFβ信号转导途径的拮抗剂 |
JP2001022380A (ja) | 1999-07-07 | 2001-01-26 | Alpine Electronics Inc | ノイズ/オーディオ音キャンセル装置 |
US6424960B1 (en) * | 1999-10-14 | 2002-07-23 | The Salk Institute For Biological Studies | Unsupervised adaptation and classification of multiple classes and sources in blind signal separation |
US6594367B1 (en) | 1999-10-25 | 2003-07-15 | Andrea Electronics Corporation | Super directional beamforming design and implementation |
JP4277400B2 (ja) | 1999-12-17 | 2009-06-10 | ソニー株式会社 | 音声信号記録装置 |
US6549630B1 (en) | 2000-02-04 | 2003-04-15 | Plantronics, Inc. | Signal expander with discrimination between close and distant acoustic source |
JP2003527012A (ja) | 2000-03-14 | 2003-09-09 | オーディア テクノロジー インク | 多重マイクロフォン方向システムにおける順応型マイクロフォン・マッチング |
US6654719B1 (en) * | 2000-03-14 | 2003-11-25 | Lucent Technologies Inc. | Method and system for blind separation of independent source signals |
US20010038699A1 (en) | 2000-03-20 | 2001-11-08 | Audia Technology, Inc. | Automatic directional processing control for multi-microphone system |
US8903737B2 (en) | 2000-04-25 | 2014-12-02 | Accenture Global Service Limited | Method and system for a wireless universal mobile product interface |
US6879952B2 (en) * | 2000-04-26 | 2005-04-12 | Microsoft Corporation | Sound source separation using convolutional mixing and a priori sound source knowledge |
US20030179888A1 (en) | 2002-03-05 | 2003-09-25 | Burnett Gregory C. | Voice activity detection (VAD) devices and methods for use with noise suppression systems |
US7027607B2 (en) | 2000-09-22 | 2006-04-11 | Gn Resound A/S | Hearing aid with adaptive microphone matching |
AU2001294960A1 (en) | 2000-09-29 | 2002-04-08 | Knowles Electronics, Llc. | Second order microphone array |
US7471798B2 (en) | 2000-09-29 | 2008-12-30 | Knowles Electronics, Llc | Microphone array having a second order directional pattern |
JP4028680B2 (ja) | 2000-11-01 | 2007-12-26 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 観測データから原信号を復元する信号分離方法、信号処理装置、モバイル端末装置、および記憶媒体 |
US6462664B1 (en) | 2000-11-20 | 2002-10-08 | Koninklijke Philips Electronics N.V. | Baby monitor, system, and method and control of remote devices |
CN1372127A (zh) | 2001-01-23 | 2002-10-02 | 林清芳 | 改进的定位和数据集成方法及其系统 |
US7206418B2 (en) | 2001-02-12 | 2007-04-17 | Fortemedia, Inc. | Noise suppression for a wireless communication device |
AU2002250080A1 (en) | 2001-02-14 | 2002-08-28 | Gentex Corporation | Vehicle accessory microphone |
FR2824145B1 (fr) * | 2001-04-27 | 2005-04-15 | Thomson Csf | Procede et dispositif d'estimation spatio-temporelle d'un ou plusieurs emetteurs |
EP1391138B1 (en) | 2001-05-23 | 2005-09-28 | Phonak Ag | Method of generating an electrical output signal and acoustical/electrical conversion system |
US7123727B2 (en) | 2001-07-18 | 2006-10-17 | Agere Systems Inc. | Adaptive close-talking differential microphone array |
JP2005519491A (ja) | 2002-01-09 | 2005-06-30 | ミードウエストベココーポレーション | 複数のrfアンテナを使用するインテリジェントステーションならびにこれを組み込んだ在庫制御システムおよび在庫制御方法 |
CA2474331A1 (en) | 2002-01-24 | 2003-07-31 | The General Hospital Corporation | Apparatus and method for rangings and noise reduction of low coherence interferometry lci and optical coherence tomography (oct) signals by parallel detection of spectral bands |
US8098844B2 (en) | 2002-02-05 | 2012-01-17 | Mh Acoustics, Llc | Dual-microphone spatial noise suppression |
US6711528B2 (en) * | 2002-04-22 | 2004-03-23 | Harris Corporation | Blind source separation utilizing a spatial fourth order cumulant matrix pencil |
AU2002309146A1 (en) | 2002-06-14 | 2003-12-31 | Nokia Corporation | Enhanced error concealment for spatial audio |
JP2005538633A (ja) | 2002-09-13 | 2005-12-15 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 第1及び第2マイクロホンの較正 |
WO2004053839A1 (en) | 2002-12-11 | 2004-06-24 | Softmax, Inc. | System and method for speech processing using independent component analysis under stability constraints |
US7142682B2 (en) | 2002-12-20 | 2006-11-28 | Sonion Mems A/S | Silicon-based transducer for use in hearing instruments and listening devices |
KR100480789B1 (ko) | 2003-01-17 | 2005-04-06 | 삼성전자주식회사 | 피드백 구조를 이용한 적응적 빔 형성방법 및 장치 |
WO2004071130A1 (ja) | 2003-02-07 | 2004-08-19 | Nippon Telegraph And Telephone Corporation | 収音方法及び収音装置 |
EP1453348A1 (de) | 2003-02-25 | 2004-09-01 | AKG Acoustics GmbH | Selbstkalibrierung von Arraymikrofonen |
GB2398913B (en) | 2003-02-27 | 2005-08-17 | Motorola Inc | Noise estimation in speech recognition |
EP1600789B1 (en) * | 2003-03-04 | 2010-11-03 | Nippon Telegraph And Telephone Corporation | Position information estimation device, method thereof, and program |
DE10310579B4 (de) | 2003-03-11 | 2005-06-16 | Siemens Audiologische Technik Gmbh | Automatischer Mikrofonabgleich bei einem Richtmikrofonsystem mit wenigstens drei Mikrofonen |
US6931362B2 (en) * | 2003-03-28 | 2005-08-16 | Harris Corporation | System and method for hybrid minimum mean squared error matrix-pencil separation weights for blind source separation |
KR100486736B1 (ko) * | 2003-03-31 | 2005-05-03 | 삼성전자주식회사 | 두개의 센서를 이용한 목적원별 신호 분리방법 및 장치 |
US7203323B2 (en) | 2003-07-25 | 2007-04-10 | Microsoft Corporation | System and process for calibrating a microphone array |
US7424119B2 (en) | 2003-08-29 | 2008-09-09 | Audio-Technica, U.S., Inc. | Voice matching system for audio transducers |
DE602004027774D1 (de) * | 2003-09-02 | 2010-07-29 | Nippon Telegraph & Telephone | Signaltrennverfahren, Signaltrenneinrichtung,und Signaltrennprogramm |
US7099821B2 (en) | 2003-09-12 | 2006-08-29 | Softmax, Inc. | Separation of target acoustic signals in a multi-transducer arrangement |
US7515721B2 (en) | 2004-02-09 | 2009-04-07 | Microsoft Corporation | Self-descriptive microphone array |
KR100600313B1 (ko) | 2004-02-26 | 2006-07-14 | 남승현 | 다중경로 다채널 혼합신호의 주파수 영역 블라인드 분리를 위한 방법 및 그 장치 |
US7415117B2 (en) | 2004-03-02 | 2008-08-19 | Microsoft Corporation | System and method for beamforming using a microphone array |
US7688985B2 (en) | 2004-04-30 | 2010-03-30 | Phonak Ag | Automatic microphone matching |
US7190308B2 (en) | 2004-09-23 | 2007-03-13 | Interdigital Technology Corporation | Blind signal separation using signal path selection |
DE602004015987D1 (de) | 2004-09-23 | 2008-10-02 | Harman Becker Automotive Sys | Mehrkanalige adaptive Sprachsignalverarbeitung mit Rauschunterdrückung |
US7515138B2 (en) | 2004-10-01 | 2009-04-07 | 3M Innovative Properties Company | Distinguishing vibration signals from interference in vibration sensing touch input devices |
US7826624B2 (en) | 2004-10-15 | 2010-11-02 | Lifesize Communications, Inc. | Speakerphone self calibration and beam forming |
TWI268477B (en) | 2004-11-26 | 2006-12-11 | Univ National Chiao Tung | Microphone array system for PC which achieves the advantage of low cost, convenience, expansibility and high flexibility |
US7729673B2 (en) | 2004-12-30 | 2010-06-01 | Sony Ericsson Mobile Communications Ab | Method and apparatus for multichannel signal limiting |
US7464029B2 (en) | 2005-07-22 | 2008-12-09 | Qualcomm Incorporated | Robust separation of speech signals in a noisy environment |
JP4701931B2 (ja) | 2005-09-02 | 2011-06-15 | 日本電気株式会社 | 信号処理の方法及び装置並びにコンピュータプログラム |
DE102005047047A1 (de) | 2005-09-30 | 2007-04-12 | Siemens Audiologische Technik Gmbh | Mikrofonkalibrierung bei einem RGSC-Beamformer |
US7813923B2 (en) | 2005-10-14 | 2010-10-12 | Microsoft Corporation | Calibration based beamforming, non-linear adaptive filtering, and multi-sensor headset |
KR100636368B1 (ko) * | 2005-11-09 | 2006-10-19 | 한국전자통신연구원 | 상대 최적화를 이용한 다중경로 혼합신호 분리 방법 및 그장치 |
JP2007156300A (ja) | 2005-12-08 | 2007-06-21 | Kobe Steel Ltd | 音源分離装置、音源分離プログラム及び音源分離方法 |
JP4863713B2 (ja) | 2005-12-29 | 2012-01-25 | 富士通株式会社 | 雑音抑制装置、雑音抑制方法、及びコンピュータプログラム |
CN1809105B (zh) | 2006-01-13 | 2010-05-12 | 北京中星微电子有限公司 | 适用于小型移动通信设备的双麦克语音增强方法及系统 |
WO2007100330A1 (en) | 2006-03-01 | 2007-09-07 | The Regents Of The University Of California | Systems and methods for blind source signal separation |
US20070244698A1 (en) | 2006-04-18 | 2007-10-18 | Dugger Jeffery D | Response-select null steering circuit |
JP2007295085A (ja) | 2006-04-21 | 2007-11-08 | Kobe Steel Ltd | 音源分離装置及び音源分離方法 |
US8068619B2 (en) | 2006-05-09 | 2011-11-29 | Fortemedia, Inc. | Method and apparatus for noise suppression in a small array microphone system |
JP2008057926A (ja) | 2006-09-01 | 2008-03-13 | Sanyo Electric Co Ltd | タンクユニット |
US20080175407A1 (en) | 2007-01-23 | 2008-07-24 | Fortemedia, Inc. | System and method for calibrating phase and gain mismatches of an array microphone |
KR20090123921A (ko) | 2007-02-26 | 2009-12-02 | 퀄컴 인코포레이티드 | 신호 분리를 위한 시스템, 방법 및 장치 |
US8160273B2 (en) | 2007-02-26 | 2012-04-17 | Erik Visser | Systems, methods, and apparatus for signal separation using data driven techniques |
US8175291B2 (en) | 2007-12-19 | 2012-05-08 | Qualcomm Incorporated | Systems, methods, and apparatus for multi-microphone based speech enhancement |
US8321214B2 (en) | 2008-06-02 | 2012-11-27 | Qualcomm Incorporated | Systems, methods, and apparatus for multichannel signal amplitude balancing |
-
2007
- 2007-02-27 JP JP2008557329A patent/JP2009529699A/ja active Pending
- 2007-02-27 KR KR1020087024092A patent/KR100959050B1/ko not_active IP Right Cessation
- 2007-02-27 US US12/281,245 patent/US8898056B2/en not_active Expired - Fee Related
- 2007-02-27 EP EP07751705A patent/EP1989777A4/en not_active Withdrawn
- 2007-02-27 WO PCT/US2007/004966 patent/WO2007103037A2/en active Application Filing
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015213328A (ja) * | 2010-10-25 | 2015-11-26 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | マルチマイクロフォンを用いた3次元サウンド獲得及び再生 |
JP2013068938A (ja) * | 2011-09-05 | 2013-04-18 | Research Organization Of Information & Systems | 信号処理装置、信号処理方法及びコンピュータプログラム |
JP2014048398A (ja) * | 2012-08-30 | 2014-03-17 | Nippon Telegr & Teleph Corp <Ntt> | 音響信号解析装置、方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
KR100959050B1 (ko) | 2010-05-20 |
US8898056B2 (en) | 2014-11-25 |
EP1989777A4 (en) | 2011-04-27 |
KR20090007304A (ko) | 2009-01-16 |
WO2007103037A3 (en) | 2009-04-30 |
EP1989777A2 (en) | 2008-11-12 |
WO2007103037A2 (en) | 2007-09-13 |
US20090254338A1 (en) | 2009-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2009529699A (ja) | 分離信号を生成するシステムおよび方法 | |
US11354536B2 (en) | Acoustic source separation systems | |
US9668066B1 (en) | Blind source separation systems | |
US10123113B2 (en) | Selective audio source enhancement | |
Parra et al. | Convolutive blind separation of non-stationary sources | |
US7603401B2 (en) | Method and system for on-line blind source separation | |
KR100878992B1 (ko) | 지오메트릭 소스 분리 신호 처리 기술 | |
US8874439B2 (en) | Systems and methods for blind source signal separation | |
US10818302B2 (en) | Audio source separation | |
US20080130914A1 (en) | Noise reduction system and method | |
US20110231185A1 (en) | Method and apparatus for blind signal recovery in noisy, reverberant environments | |
US20090268962A1 (en) | Method and apparatus for blind source separation | |
GB2548325A (en) | Acoustic source seperation systems | |
Wang et al. | Combining superdirective beamforming and frequency-domain blind source separation for highly reverberant signals | |
WO2001017109A1 (en) | Method and system for on-line blind source separation | |
US11823698B2 (en) | Audio cropping | |
Dam et al. | Blind signal separation using steepest descent method | |
Fontaine et al. | Scalable source localization with multichannel α-stable distributions | |
Ayllón et al. | An evolutionary algorithm to optimize the microphone array configuration for speech acquisition in vehicles | |
CN101558397A (zh) | 用于产生分离的信号的系统和方法 | |
JP2005091560A (ja) | 信号分離方法および信号分離装置 | |
WO2023001850A1 (en) | Audio signal separation and cropping | |
KAWAMURA et al. | Graduate School of Information Science, Nara Institute of Science and Technology 8916-5 Takayama-cho, Ikoma-shi, Nara, 630-0101, JAPAN E-mail: sawatari Gisaist-nara. ac. jp | |
Hwang et al. | Convolutive source separation and selective null beamforming using a pilot-based channel estimation technique |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110524 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20111101 |