JP2007526511A

JP2007526511A - 周波数領域で多重経路多チャネル混合信号のブラインド分離のための方法及びその装置

Info

Publication number: JP2007526511A
Application number: JP2007500683A
Authority: JP
Inventors: ヒョンナム，スン
Original assignee: Individual
Current assignee: Individual
Priority date: 2004-02-26
Filing date: 2005-02-26
Publication date: 2007-09-13
Also published as: CN1914683A; WO2005083706A1; KR20050087291A; US7711553B2; US20080208570A1; EP1719129A1; KR100600313B1

Abstract

本発明は、周波数領域で正規化された多チャネルブラインドデコンボリューションを用いてブラインド原信号を分離するための方法及びその装置を提供する。本発明における多チャネル混合信号は、Ｍサンプルのｒ連続ブロックからなってＮサンプルのフレームを形成する。混合信号のフレームは、ＤＦＴ（Discrete Fourier Transform）を用いたオーバーラップ−セーブ（overlap-save）方式によって、周波数領域で分離フィルタを用いて分離される。分離された信号は、非線形関数に適用するために逆ＤＦＴを用いて時間領域に再び変換する。分離された信号と非線形に変形された信号との間の相互電力スペクトルが計算され、分離された信号の電力スペクトル及び平らなスペクトルを有する非線形に変形された信号の電力スペクトルによって正規化される。本発明では、最初のＬ相互相関係数を抽出するために、時間領域の制限条件を適用した。
【選択図】図２ａ

Description

本発明は、信号処理に関するもので、詳しくは、混合された独立な原信号を、周波数領域で各信号に対する事前情報なしに分離する多重経路多チャネル混合信号のブラインド信号分離（ＢｌｉｎｄＳｏｕｒｃｅＳｅｐａｒａｔｉｏｎ）のための方法及びその装置、並びに、その方法を実現するためのプログラムを記録したコンピュータ可読の記録媒体に関するものである。

従来の音声処理においては、実際の騒音環境で多重経路を通して多数個のセンサで収集された混合信号を、音声信号を初めとする多様な信号に分離する必要があった。事前情報のない混合された原信号を分離する技術は、ブラインド信号分離（ＢｌｉｎｄＳｏｕｒｃｅＳｅｐａｒａｔｉｏｎ：以下、ＢＳＳと略称する）として知られている。前記ＢＳＳ技法は、多数個のスピーカー及びソナーアレイなどの独立した原信号を有する前記各信号を分離するのに非常に有用である。ＢＳＳ技法は、スピーカー位置追跡、音声認識、音声符号化器、３次元客体指向オーディオ信号処理、音響反響消去器、チャネルの干渉除去及び到来角の推定や、ＥＥＧやＭＥＧなどの生体信号検出において広範囲に活用される。

ほとんどのＢＳＳ技法は、多重混合経路の影響を無効化することで、原信号を復元しようとする。多重混合経路の影響を無効化するのに必要な理想的な多重分離には、無限長さのフィルタが必要であるが、有限長さのフィルタも充分に実用可能となっている。

現在広く用いられている多チャネルブラインド信号分離の二つの類型としては、（１）独立した各信号の２次統計特性を用いた多重相関関係除去（ＭｕｌｔｉｐｌｅＤｅｃｏｒｒｅｌａｔｉｏｎ：以下、ＭＤと略称する）方式と、（２）非線形関数を用いた多チャネルブラインドデコンボリューション（ＭｕｌｔｉｃｈａｎｎｅｌＢｌｉｎｄＤｅｃｏｎｖｏｌｕｔｉｏｎ：以下、ＭＢＤと略称する）方式とがある。

前記ＭＤ方法は、対角線化した２次統計による混合信号の相関関係除去である（例えば、非特許文献１参照）。

信号分離がうまくいくために対角線化が複数回行われるべきであり、これら方法は、非定常信号のみに適用される。また、これら方法は、非常に迅速でかつ安定的である。その反面、ＭＢＤ方法は、信号の統計的分布による非線形関数によって非線形に変形された分離信号の相互情報を最小化して信号を分離する（例えば、非特許文献２参照）。

E. Weinstein, M. Feder, and A. V. Oppenheim, Multi-channel signal separation by decorrelation, IEEE Trans. Speech Audio Processing, vol. １, no. 4, pp. 405-413, Apr. 1993; Lucas Parra and Clay Spence, "Convolutive blind source separation of nonstationary sources", IEEE IEEE Trans. Speech Audio Processing, pp. 320-327, May, 2000; D.W.E. Schobben and P.C.W. Sommen, A frequency-domain blind signal separation method based on decorrelation, IEEE Trans. Signal Processing, vol. 50, no. 8, pp. 1855-1865, Aug. 2002; N. Murata and S. Ikeda, and A. Ziehe, An approach to blind source separation based on temporal structure of speech signal, Neurocomputing, vol. 41, no. 4, pp.1-24, 2001

S. Amari, S.C. Douglas, A. Cichocki, H.H. Yang, "Novel on-line adaptive learning algorithm for blind deconvolution using the natural gradient approach", Proc. IEEE 11th IFAC Symposium on System Identification, Japan, 1997, pp.1057-1062; A. J. Bell and T. J. Sejnowski, An information maximization approach to blind separation and blind deconvolution, Neural Computation, 7, no. ６, pp. 1129-1159, Nov. 1995; L. Zhang, A. Cichocki, and S. Amari, Geometrical structures of FIR manifolds and their application to multichannel blind deconvolution, Proc of Int. IEEE Workshop on Neural Networks and Signal Processing, pp. 303-312, Madison, Wisconsin, USA, Aug. 23-25, 1999

従来技術における分離性能は、周波数領域で各分離信号が互いに混合される現象（Ｆｒｅｑｕｅｎｃｙｐｅｒｍｕｔａｔｉｏｎ）、白色化（ｗｈｉｔｉｎｇ）現象及び採用されたフィルタタイプなどの問題点によってかなり制限されている。前記ＭＤ方法は、各分離信号が各周波数領域で異った命令を受けることで、各分離信号が混合状態で残るという問題があった。もちろん、信号が混合されるという問題の解決策があるとはいえ、分離フィルタの長さが長くなるほど分離性能は減少してしまう。その反面、ＭＢＤ方法は、スペクトルが平らな分離信号には適しているが、スペクトルが傾斜した信号には不向きであるという白色化現象があった。上記のようなＭＢＤ方法の問題点を解決するために、音声信号のための線形の予測方法が提案された。[例えば S.C. Douglas, "Blind eparation of acoustic signals", in Microphone Arrays: Signal processing techniques and applications, M. Brandstein and D. Ward Eds, Springer, pp. 355-380, 2001. 参照]。この方法は、実際に一般的な混合信号環境に適してない両方向フィルタを採択している。さらに、ルーム衝撃応答（ｒｏｏｍｉｍｐｕｌｓｅｒｅｓｐｏｎｓｅ）の一部は、人間音声信号の音声トラック応答として見なされる。

したがって、音声信号を、高音質で迅速かつ正確に分離できるＢＳＳ技法が要求されている。

本発明は、ブラインド信号分離のための多重経路分離回路フィルタを推定するために、周波数領域で正規化された自然接線勾配（ｎｏｍａｌｉｚｅｄｎａｔｕｒａｌｇｒａｄｉｅｎｔ）を用いる方法及びその装置を提供する。

図１は、本発明の信号分離方法を実現するためのシステム１００である。このシステム１００は、多重経路混合信号を提供する入力装置１２６と、周波数領域多チャネルブラインドデコンボリューションプログラム１２４を実行するコンピュータシステム１０８と、から構成される。入力装置１２６は、多様な装置を備えているが、本発明では、図１に示すように、センサアレイ１０２、信号処理プロセッサ１０４及び録音された信号源１０６を備えている。センサアレイ１０２は、マイクロフォンなどの一つ以上のセンサ１０２Ａ，１０２Ｂ，１０２Ｃによって構成される。信号処理プロセッサ１０４は、混合信号をデジタル化する。

コンピュータシステム１０８は、中央処理装置１１４、メモリ１２２、入出力インターフェース１２０及び補助回路１１６によって構成される。コンピュータシステム１０８は、一般的に入力装置１１０に接続されており、モニター、マウス、キーボードなどの多様な入出力装置は、入出力インターフェース１２０を通して接続される。補助回路１１６は、電源供給部、キャッシュ（Ｃａｃｈｅ）、タイミング回路、通信回路、バスなどの回路を含む。メモリは、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ディスクドライブ、テープドライブ、フラッシュメモリ及びＣＤ、或いは、これらを組み合わせた装置である。本発明は、メモリ１２２に保存された周波数領域多重チャネルブラインドデコンボリューションプログラム１２４として実現され、中央処理装置１１４によって実行されて入力装置１２６を通して入力された混合信号を分離する。このようなコンピュータシステム１０８は、本発明の周波数領域多重チャネルブラインドデコンボリューションプログラム１２４を実行するための特殊な目的を持つコンピュータシステムである。本発明は、ソフトウェア、ハードウェアまたはＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃｉｎｔｅｒｇｒａｔｅｄＣｉｒｃｕｉｔ）、デジタル信号処理プロセッサ及び他のハードウェア装置などのハードウェアとソフトウェアとを組み合わせた形態で実現される。

本発明における前記コンピュータシステム１０８は、本発明の混合信号から分離された信号を処理するために用いられる音声認識回路カードまたは音声認識ソフトウェアなどの音声認識プロセッサ１１８をさらに含む。多くの人々が集まった会議室では、人々の音声あるいは音楽、背景雑音などがマイクロフォンアレイ１０２を通して採音される。マイクロフォン１０２によって採音された音声信号は、多重経路を通して混合された多チャネル信号であり、各人の音声を分離した後、各音声を音声符号化器に印加することができる。混合信号は、信号処理プロセッサ１０４を通してフィルタリング及び増幅された後、デジタルに変換されてコンピュータシステム１０８に送られる。中央処理装置１１４は、周波数領域多チャネルブラインドデコンボリューションプログラム１２４を行うことで、混合信号をそれぞれ独立した信号に分離する。この過程で、混合信号に含まれた背景雑音が除去されるが、雑音の除去された信号は、音声認識器（あるいは音声符号化器）１１８に送られる。ここで、音声認識器が用いられた場合、音声認識器１１８で音声を解析してコンピュータ命令や文字に変換でき、音声符号化器が用いられた場合、一層きれいな音質の通話を提供できる。このように、コンピュータシステム１０８は、周波数領域多チャネルブラインドデコンボリューションプログラムを行うことで、音声認識器や音声符号化器に前処理器として活用される。

図２ａは、本発明の周波数領域多チャネルブラインドデコンボリューションプログラム１２４の一実施形態を示した構造図である。本発明の多重経路多チャネル分離装置は、分離部２０１、非線形変換部２０２及び自然接線勾配を用いた分離フィルタ係数更新演算部２０３を備えている。前記分離部２０１は、多重チャネル混合信号ｘ(k)から信号を分離するという役割を有している。前記混合信号ｘ(k)は、ｍ個の独立した原信号が多重経路を通してｎ個のセンサから印加されたもので、次式のように定義される。

上式中、ｘ_j(k)は、ｊ番目のセンサから印加された混合信号である。ｘ(k)を(i, j)要素のm × n行列ｗ(z,k)の独立信号に分離するための分離フィルタは、次式のように示される。

上式中、Ｌは、分離フィルタの長さである。分離信号ｕ(k)は、次式のように定義される。

上式中、ｕ_i(k)は、ｉ番目の分離信号であり、次式のように定義される。

図２ｂは、ｍ＝ｎ＝２である場合に対する分離フィルタのダイアグラムである。前記分離部２０１で分離された信号ｕ(k)は、非線形変換部２０２に入力される。

非線形変換部２０２は、メモリのない非線形関数を通して分離信号の変換を行い、よって、非線形変形信号は、均一な確率密度（ｐｒｏｂａｂｉｌｉｔｙｄｅｎｓｉｔｙ）を有するようになる。非線形変換は、次式のように示される。

図２ｃは、非線形変換の一例であり、ラプラシアン（Ｌａｐｌａｃｉａｎ）確率密度の信号は、均一な確率密度の信号として示される。非線形変形に用いられる関数は、確率密度と密接な関連がある。一般に、オーディオや音声信号においては、αsgn(u)またはtanh(u)が用いられる。

非線形関数ｇ（・）は、図２ｃに示すように、原信号の確率密度ｐ（ｕ）を均一な確率密度ｐ（ｙ）に変換する。非線形関数は、原信号の確率密度によって異なったものが選定される。音声やオーディオ信号の確率密度は、ガンマあるいはラプラシアンであり、この場合は非線形関数が適している。

フィルタ更新部２０３は、次式を通して、自然接線勾配を示す最大勾配方式を用いて分離フィルタ係数を更新する。

本発明において、上述した工程は、ＦＦＴ（ＦａｓｔＦｏｕｒｉｅｒＴｒａｎｓｆｏｒｍ）の長所を用いて、オーバーラップ−セーブ（Ｏｖｅｒｌａｐ-ｓａｖｅ）方式によって周波数領域で行われる。フィルタ長さ、ブロック長さ及びフレーム長さは、それぞれＬ、Ｍ、Ｎに示される。各フレーム間のオーバーラップ程度は、ｒ＝Ｎ／Ｍの比によって決定される。したがって、５０％のオーバーラップは、ｒ＝２と見なされ、ＦＦＴサイズは、簡単にフレーム長さと同一になったものと仮定される。

図３は、本発明の一実施形態のフローチャートであり、正規化された周波数領域多チャネルブラインドデコンボリューションを示している。図３のフローチャートに示すように、混合信号ｘ(k)は、ステップ３０１で入力される。ステップ３０２では、混合信号がＭサンプルの二つ（ｒ＝２）の連続ブロックの現在フレームを形成し、これは、次式のようである。

上式中、ｂは、ブロックインデックスである。ステップ３０３では、混合信号が分離フィルタを用いて分離される。

一般に、分離フィルタは、次式のように初期化される。

分離フィルタに何らの有用な情報がある場合、その情報は、分離フィルタを初期化するのに用いられる。前記分離信号は、周波数領域で循環コンボリューション（ｃｉｒｃｕｌａｒｃｏｎｖｏｌｕｔｉｏｎ）を用いて、次式のように計算される。

上式中、Ｆは、Ｎ×ＮのＤＦＴ行列である。分離された信号は、エイリアス（ａｌｉａｓｅｄ）された最初のＬ個を除去するために再び時間領域に変換すると、次式のように示される。

上式中、Ｐ_0,N-Lは、最初のＬサンプルを０にするプロジェクション行列（ウィンドウ行列）であり、次式のように定義される。

上式中、０_Lは、Ｌ×Ｌの大きさの０行列であり、Ｉ_N-Lは、（Ｎ−Ｌ）×（Ｎ−Ｌ）の大きさの単位行列である。

ステップ３０４では、分離された信号が、時間領域で非線形関数を通して変換される。このとき、次の二つ式のうち何れか一つが用いられる。

前記非線形関数の結果は、ステップ３０６で、相互相関関係係数（Ｃｒｏｓｓ−ｃｏｒｒｅｌａｔｉｏｎｓ）f（u_i(k)）u_j(k-p),p=0,1,…,L-1を計算するのに用いられる。式１５ａが用いられる場合、相互相関関係は、バイアスされた係数となり、式１５ｂが用いられる場合、相互相関関係は、バイアスされない係数となる。

ステップ３０５では、エイリアシングが除去され、正規化された相互電力スペクトル（ｃｒｏｓｓ−ｐｏｗｅｒｓｐｅｃｔｒａ）が計算される。前記正規化された相互電力スペクトルは、次式のように定義される。

上式中、＊は、共役複素数（ｃｏｍｐｌｅｘｃｏｎｊｕｇａｔｉｏｎ）を意味する。

ここで、式１７の相互電力スペクトルは、式１８ａ及び１８ｂのように、現在フレームからサンプルのみを用いて計算される。ステップ３０７では、分離された信号の平均電力スペクトル及び非線形に変換された信号が、相互電力スペクトルを正規化するのに用いられる。信号が時間の経過とともに変化するため、平均電力スペクトルは、ブロックごとに次式のように更新される。

上式中、γは、０と１との間の常数である。平均電力スペクトルは、P_y1(f,0)=P_u1(f,0)=c[1,…,1]^T,i=1,…,mに初期化され、ここで、ｃは、0＜c≪1である。ステップ３０８では、相互電力スペクトルが、次式のように正規化される。

ここで、割り算は、要素別に行われる。式２０の相互電力スペクトルが時間領域に再び変換される場合、相関関係係数の結果は、エイリアシング部分を含む。さらに、最初のＬ個の相関関係係数のみが、式７の自然接線勾配を計算するのに必要となる。したがって、最初のＬ個の相関関係係数のみが抽出されるべきである。ステップ３０９に適用される時間領域の制限条件は、次式のようである。

上式中、Ｆ^-1は、Ｎ×Ｎの大きさの逆ＤＦＴ行列であり、Ｐ_L,0は、最初のＬ個のサンプルはそのまま残し、残りの（Ｎ−Ｌ）個のサンプル値を０にしたＮ×Ｎのプロジェクション行列であり、次式のように定義される。

ステップ３１０は、非ホロノミック（ｎｏｎｈｏｌｏｎｏｍｉｃ）条件を適用して自然接線勾配を計算する過程であり、次式のようである。

一般に、分離フィルタの全ての要素が知られているが、全ての対角線要素は、知られたように省略され、前記各対角線要素が非対角線要素内に含まれる。この結果、本発明では、次式のように対角線勾配を０にして容易に得られる。

式２４と式２５とを組み合わせると、計算が減ることになる。ここで、ｍ＝ｎ＝２である場合、式２１で時間領域の制限条件が不要になり、計算に対する負担が大いに軽減される。このような変更の柔軟性は、本発明の長所である。

ステップ３１１では、分離フィルタが次式のように更新される。

ステップ３１２では、分離フィルタが、周波数領域で期待値１を有するために正規化される。期待値１を有する前記分離フィルタは、反復的に行う間、信号の電力を維持する。

ステップ３１３で、終了条件は、前記分離過程が終了したかどうかが判断される。

ステップ３１４で収斂された分離フィルタは、分離信号を得るために混合された信号をフィルタリングするのに用いられる。ステップ３０２の式１１も、このステップに用いられる。

以上説明した本発明は、上述した実施形態及び図面によって限定されるものではなく、本発明の思想から逸脱しない範囲内で多様な置換、変更及び変形が可能であることは、本発明の属する技術分野で通常の知識を有する者にとって明白であり、それら実施形態は、本発明の思想及び範囲から逸脱しないものである。

図４ａは、実際の環境で混合信号を分離する例を示している。音声及び音楽信号が二つのマイクを通して一つの部屋内で録音され、前記混合信号は、本発明を通して分離された結果である。図４ａは、二つの混合信号ｘ＝（x₁,x₂）及び二つの分離信号ｕ＝（u₁,u₂）を示している。ここで用いられた常数は、Ｌ＝１２８、Ｍ＝２Ｌ、Ｎ＝２Ｍ、μ＝０．００２５である。図４ｂは、最終的に得られた分離フィルタを示している。

本発明は、混合信号から所望の高音質信号を分離することができ、前記分離された信号は、音声認識器または音声符号化器に直接活用される。図５は、各チャネルの原信号ｓ、混合信号ｘ、分離信号ｕを順に示した図で、分離された音声信号が優れた音質を有することを示している。

本発明は、デコンボリューションのための信号処理器として音声認識システムに適用されるもので、各混合信号から分離された信号は、雑音のない多様な音声信号を抽出する音声認識プロセッサに適用される。

多チャネル多重経路混合信号のブラインド分離装置を示した構成図である。自然接線勾配を用いた多チャネルブラインドデコンボリューションアルゴリズムを示したブロック図である。多チャネル混合信号を分離するための多チャネル分離フィルタのダイヤグラムである。メモリのない非線形関数を用いた混合信号の確率密度を、均一な確率密度に変換する概念図である。自然接線勾配を用いた周波数領域多チャネルブラインドデコンボリューションアルゴリズムを示したフローチャートである。実際の事務室環境で録音した混合された音声-音楽信号ｘ１，ｘ２と、本発明の方法を用いて分離した音声-音楽分離信号ｕ１，ｕ２を示した図である。実際の事務室環境で録音した混合された音声-音楽信号を、本発明の分離方法を用いて分離した結果、最終的に収斂された分離フィルタ係数を示した図である。二人の原音声ｓ１，ｓ２、仮想の混合回路を通して混合された音声ｘ１，ｘ２、本発明の分離方法で分離した音声ｕ１，ｕ２の波形を比較して示した図である。

Claims

多重経路多チャネル混合信号を分離する分離方法において、
（ａ）混合信号から現在フレームを形成するステップ（３０２）と、
（ｂ）前記フレームを分離して現在フレームの分離信号を形成するステップ（３０３）と、
（ｃ）前記分離信号を、非線形関数を用いて非線形に変換された信号に変換するステップ（３０４）と、
（ｄ）前記分離信号と前記ステップ（ｃ）で非線形に変換された信号から、エイリアシングが除去されて正規化された相互電力スペクトルを計算するステップ（３０５）と、
（ｅ）前記相互電力スペクトルを用いて自然接線勾配を計算するステップ（３１０）と、
（ｆ）前記自然接線勾配を用いて分離フィルタ係数を更新するステップ（３１１）と、
（ｇ）前記分離フィルタ係数を正規化するステップ（３１２）と、
（ｈ）収斂条件を決定し、収斂するまで前記ステップ（ａ）〜（ｇ）を繰り返して行うステップ（３１３）と、
（ｉ）収斂の完了後、分離フィルタ係数を用いて多チャネル混合信号を分離するステップ（３１４）と、
を含むことを特徴とする多重経路混合信号のブラインド分離のための方法。
前記ステップ（ｂ）は、
（ｂ１）前記分離フィルタ係数及び前記現在フレームの混合信号を周波数領域に変換するステップと、
（ｂ２）周波数領域で前記分離信号を計算し、その結果を時間領域に変換するステップと、
（ｂ３）時間領域に変換された分離信号の最初のＬサンプルを０に置換して分離信号を抽出するステップと、
を含むことを特徴とする請求項１に記載の多重経路混合信号のブラインド分離のための方法。
前記ステップ（ｄ）は、
（ｄ１）前記現在フレームの分離信号及び非線形関数変換信号を周波数領域に変換するステップと、
（ｄ２）前記周波数領域に変換された分離信号及び非線形関数変換信号から、現在フレームの相互電力スペクトルを計算するステップ（３０６）と、
（ｄ３）前記周波数領域に変換された分離信号及び非線形関数変換信号の平均電力スペクトルを計算するステップ（３０７）と、
（ｄ４）前記相互電力スペクトルを正規化するステップ（３０８）と、
（ｄ５）前記正規化された相互電力スペクトルを時間領域に変換した後、時間領域制約条件を加えて最初のサンプルのみを抽出し、再び周波数領域に変換するステップ（３０９）と、
を含むことを特徴とする請求項１に記載の多重経路混合信号のブラインド分離のための方法。
前記ステップ（ｅ）は、
（ｅ１）前記エイリアシングが除去されて正規化された相互電力スペクトルの対角元素に対する期待値１を除去し、非ホロノミック条件を満足させるステップと、
（ｅ２）前記分離フィルタ係数及び前記非ホロノミック条件を満足する相互電力スペクトルを用いて自然接線勾配を計算するステップと、
を含むことを特徴とする請求項１に記載の多重経路混合信号のブラインド分離のための方法。
周波数領域で、請求項１乃至請求項４の正規化された多重チャネルブラインドデコンボリューション方法を用いて多重経路の混合信号を多数の分離信号に分離するための装置。
周波数領域で、請求項１乃至請求項４の正規化された多重チャネルブラインドデコンボリューション方法を用いて多重経路の混合信号を多数の分離信号に分離するためのプログラムが保存されたコンピュータシステムの保存媒体。