JP2007193035A - 音声信号分離装置及び方法 - Google Patents

Abstract

【課題】複数の信号が混合された音声信号を独立成分分析を用いて信号毎に分離する際のパーミュテーションの問題を解消する。
【解決手段】短時間フーリエ変換部１２は、観測信号を時間周波数領域に変換し、標準化・無相関化部１３は、この観測信号に対して標準化処理と無相関化処理とを施す。信号分離部１４は、時間周波数領域の観測信号と初期値が代入された分離行列とから時間周波数領域の分離信号を生成し、この時間周波数領域の分離信号と多次元確率密度関数を用いたスコア関数と分離行列とを用いて該分離行列の修正値を計算し、この修正値を用いて、分離行列が略々収束するまで該分離行列を修正し、略々収束した分離行列を用いて時間周波数領域の分離信号を生成する。但し、分離行列の初期値及び修正値による修正後の分離行列は、正規直交行列である。逆フーリエ変換部１７は、この分離信号を時間領域に変換する。
【選択図】図３

Description

本発明は、複数の信号が混合された音声信号を独立成分分析（Independent Component Analysis；ＩＣＡ）を用いて信号毎に分離する音声信号分離装置及びその方法に関する。

複数の原信号が未知の係数によって線形に混合されているときに、統計的独立性のみを用いて原信号を分離・復元するという独立成分分析（Independent Component Analysis；ＩＣＡ）の手法が信号処理の分野で注目されている。この独立成分分析を応用することで、例えば話者とマイクロホンとが離れた場所にあり、マイクロホンで話者の音声以外の音を拾ってしまうような状況でも、音声信号を分離・復元することが可能となる。

ここで、時間周波数領域の独立成分分析を用いて、複数の信号が混合された音声信号を信号毎に分離する場合について考える。

図７に示すようにＮ個の音源からそれぞれ異なる音が鳴っており、それらをｎ個のマイクロホンで観測するという状況を想定する。音源が発した音（原信号）がマイクロホンに届くまでには時間遅れや反射などがあるため、ｋ番目（１≦ｋ≦ｎ）のマイクロホンｋで観測される信号（観測信号）ｘ_ｋ（ｔ）は、下記式（１）のように、原信号と伝達関数との畳み込み演算を全音源について総和した式で表される。また、全てのマイクロホンについての観測信号を１つの式で表すと、下記式（２）のようになる。この式（１）、（２）において、ｘ（ｔ）、ｓ（ｔ）はそれぞれ ｘ_ｋ（ｔ）、ｓ_ｋ（ｔ）を要素とする列ベクトルを表し、Ａはａ_ｉｊ（ｔ）を要素とするｎ×Ｎの行列を表す。なお、以下ではＮ＝ｎとする。

時間周波数領域の独立成分分析では、上記式（２）のｘ（ｔ）からＡ及びｓ（ｔ）を直接推定するのではなく、ｘ（ｔ）を時間周波数領域の信号に変換し、Ａ及びｓ（ｔ）に対応する信号を時間周波数領域で推定する。以下、その方法について説明する。

信号ベクトルｘ（ｔ）、ｓ（ｔ）を長さＬの窓で短時間フーリエ変換したものをそれぞれＸ（ω，ｔ），Ｓ（ω，ｔ）とし、行列Ａ（ｔ）を同様に短時間フーリエ変換したものをＡ（ω）とすると、時間領域の上記式（２）は時間周波数領域の下記式（３）で表すことができる。但し、ωは周波数binの番号を示し（１≦ω≦Ｍ）、ｔはフレーム番号を示す（１≦ｔ≦Ｔ）。時間周波数領域の独立成分分析では、式（３）のＳ（ω，ｔ）、Ａ（ω）を時間周波数領域で推定することになる。

なお、周波数binの個数は、本来は窓の長さＬと同一であり、各周波数binは、−Ｒ／２からＲ／２まで（Ｒはサンプリング周波数）をＬ等分したそれぞれの周波数成分を表す。但し、負の周波数成分は正の周波数成分の共役複素数であり、Ｘ（−ω）＝conj（Ｘ(ω)）（conj（・）は共役複素数）として求めることができるため、本明細書では０からＲ／２までの非負の周波数成分（周波数binの個数はＬ／２＋１）のみを考え、その周波数成分に１からＭ（Ｍ＝Ｌ／２＋１）までの番号を振っている。

時間周波数領域でＳ（ω，ｔ）、Ａ（ω）を推定するには、先ず、下記式（４）のような式を考える。この式（４）において、Ｙ（ω，ｔ）はｙ_ｋ（ｔ）を長さＬの窓で短時間フーリエ変換したＹ_ｋ（ω，ｔ）を要素とする列ベクトルを表し、Ｗ（ω）はｗ_ｉｊ（ω）を要素とするｎ×ｎの行列（分離行列）を表す。

次に、ωを固定してｔを変化させたときにＹ_１（ω，ｔ）〜Ｙ_ｎ（ω，ｔ）が統計的に独立となる（実際には、独立性が最大となる）ようなＷ（ω）を求める。後述のように、時間周波数領域の独立成分分析ではパーミュテーション（permutation）の不定性があるため、Ｗ（ω）＝Ａ（ω）^−１以外にも解が存在する。統計的に独立となるＹ_１（ω，ｔ）〜Ｙ_ｎ（ω，ｔ）が全てのωについて得られたら、それらを逆フーリエ変換することで、時間領域の分離信号ｙ（ｔ）を得ることができる。

時間周波数領域における従来の独立成分分析の概略を図８を用いて説明する。ｎ個の音源が発するお互いに独立な原信号をｓ_１〜ｓ_ｎとし、それらを要素とするベクトルをｓとする。マイクロホンで観測される観測信号ｘは、原信号ｓに上記式（２）の畳み込み・混合演算を施したものである。マイクロホンの数ｎが２であるとき、すなわちチャンネル数が２であるときの観測信号ｘの例を図９（Ａ）に示す。次に、観測信号ｘに対して短時間フーリエ変換を施し、時間周波数領域の信号Ｘを得る。Ｘの要素をＸ_ｋ（ω，ｔ）とすると、Ｘ_ｋ（ω，ｔ）は複素数値をとる。Ｘ_ｋ（ω，ｔ）の絶対値である｜Ｘ_ｋ（ω，ｔ）｜を色の強弱で表現した図をスペクトログラムという。スペクトログラムの例を図９（Ｂ）に示す。この図において、横軸は t（フレーム番号）を示し、縦軸はω（周波数bin番号）を示す。続いて、信号Ｘの各周波数binにＷ（ω）を乗算することで、図９（Ｃ）に示すような分離信号Ｙを得る。そして、分離信号Ｙを逆フーリエ変換することで、図９（Ｄ）に示すような時間領域の分離信号ｙを得る。

なお、以下では時間周波数領域の信号であるＸ_ｋ（ω，ｔ）やＹ_ｋ（ω，ｔ）自体も「スペクトログラム」と表現する。

ここで、独立成分分析において信号の独立性を表す尺度には、Kullback-Leibler情報量（以下、「ＫＬ情報量」という。）や尖度（kurtosis）等があるが、ここでは一例としてＫＬ情報量を用いるものとする。

図１０のように、ある周波数binに着目する。Ｙ_ｋ（ω，ｔ）のフレーム番号ｔを１〜Ｔの間で変化させたものをＹ_ｋ（ω）としたとき、分離信号Ｙ_１（ω）〜Ｙ_ｎ（ω）の独立性を表す尺度であるＫＬ情報量Ｉ（Ｙ（ω））を下記式（５）のように定義する。すなわち、各チャンネルについての周波数bin（＝ω）毎のエントロピーＨ（Ｙ_ｋ（ω））の総和から全チャンネルについての周波数bin（＝ω）毎の同時エントロピーＨ（Ｙ（ω））を減算した値をＫＬ情報量Ｉ（Ｙ（ω））と定義する。ｎ＝２のときのＨ（Ｙ_ｋ（ω））とＨ（Ｙ（ω））との関係を図１１に示す。式（５）のうち、Ｈ（Ｙ_ｋ（ω））はエントロピーの定義により下記式（６）の第１項のように書き換えられ、Ｈ（Ｙ（ω））は上記式（４）により式（６）の第２項及び第３項のように展開される。この式（６）において、Ｐ_{Ｙｋ（ω）}（Ｙ_ｋ（ω，ｔ））はＹ_ｋ（ω，ｔ）の確率密度関数（Probabilistic Density Function；ＰＤＦ）を表し、Ｈ（Ｘ（ω））は観測信号Ｘ（ω）の同時エントロピーを表す。

ＫＬ情報量Ｉ（Ｙ（ω））は、Ｙ_１（ω）〜Ｙ_ｎ（ω）が独立である場合に最小（理想的には０）となるため、分離処理では、ＫＬ情報量Ｉ（Ｙ（ω））を最小にする分離行列Ｗ（ω）を求めることになる。

分離行列Ｗ（ω）を求める最も基本的なアルゴリズムは、下記式（７）、（８）のように、自然勾配法に基づいて分離行列を更新するものである。式（７）、（８）の導出過程の詳細については、非特許文献１の「3.3.1 基本的な勾配法」に記載されている。

上記式（７）において、Ｉ_ｎはｎ×ｎの単位行列を表し、Ｅ_ｔ［・］はフレーム方向での平均を表す。また、上付き文字の“Ｈ”はエルミート転置（ベクトルを転置すると共に、要素を共役複素数に置き換える）を表す。また、関数φは確率密度関数の対数を微分したものであり、スコア関数（又は「活性化関数」）と称される。また、上記式（６）において、ηは学習係数（正の微小値）を表す。

なお、上記式（７）で用いる確率密度関数は、Ｙ_ｋ（ω，ｔ）の分布を真に反映している必要はなく、固定でよいことが知られている。確率密度関数の一例を下記式（１０）、（１２）に示し、そのときのスコア関数を下記式（１１）、（１３）に示す。

自然勾配法では、上記式（７）に従って分離行列Ｗ（ω）の修正値ΔＷ（ω）を求め、上記式（８）に従ってＷ（ω）を更新し、更新された分離行列Ｗ（ω）を用いて上記式（９）に従って分離信号を生成する。この式（７）〜（９）の処理を何度もループさせて繰り返すと、最終的にＷ（ω）の各要素はある値に収束し、それが分離行列の推定値となる。そして、その分離行列を用いて分離処理を行ったときの結果が、最終的な分離信号となる。

しかしながら、このような単純な自然勾配法では、Ｗ（ω）が収束するまでのループ回数が多くなるという問題があった。そこで、収束までのループ回数を少なくするため、観測信号に無相関化と呼ばれる前処理（後述）を施した上で、正規直交行列の中から分離行列を探すという方法が提案されている。正規直交行列とは、下記式（１４）で示される条件を満たす正方行列のことである。上記式（７）に正規直交制約（Ｗ（ω）が正規直交行列のときに、Ｗ（ω）＋η・ΔＷ（ω）も正規直交行列になるための条件）を適用すると、下記式（１５）が得られる。式（１５）の導出過程の詳細については、非特許文献１の「3.3.2 直交行列に制限した勾配法」に記載されている。

正規直交制約付きの勾配法では、上記式（１５）に従って分離行列Ｗ（ω）の修正値ΔＷ（ω）を求め、上記式（８）に従ってＷ（ω）を更新する。式（１５）、（８）、（９）の処理を何度もループさせて繰り返すと、最終的にＷ（ω）の各要素はある値に収束し、それが分離行列の推定値となる。そして、その分離行列を用いて分離処理を行ったときの結果が、最終的な分離信号となる。このような上記式（１５）を用いた方法では、正規直交という制約を設けているため、上記式（７）を用いた場合よりも少ないループ回数で収束する。

村田昇著，「入門独立成分分析」，東京電気大学出版局 澤田 宏、向井 良、荒木 章子、牧野 昭二，「実環境における３音源以上のブラインド分離」，日本音響学会２００３年秋季研究発表会，ｐ５４７−５４８ 特開２００４−１４５１７２号公報

ところで、上述した時間周波数領域の独立成分分析では、図１０に示したように、信号の分離処理を周波数bin毎に行っており、周波数binの間の関係は考慮していない。そのため、分離自体は成功しても、周波数binの間で分離先の不統一が発生する可能性がある。分離先の不統一とは、例えばω＝１ではＹ_１にＳ_１由来の信号が現れるのに対してω＝２ではＹ_１にＳ_２由来の信号が現れる、というような現象のことであり、パーミュテーション（置換）の問題と呼ばれている。

パーミュテーションの例を図１２に示す。図１２（Ａ）は、ＷＥＢページ（http://www.cnl.salk.edu/~tewon/Blind/blind_audio.html）にある「rsm2_mA.wav」と「rsm2_mB.wav」という２つのファイルから生成したスペクトログラムを示すものであり、音声と音楽とが混合された観測信号の一例を表している。各スペクトログラムは、各ファイルの先頭から４００００サンプルのデータを、窓長５１２のハニング窓を用いてシフト幅１２８で高速フーリエ変換することにより生成した。一方、図１２（Ｂ）は、この２つのスペクトログラムを観測信号とし、上記式（１５）、（８）、（９）を２００回繰り返したときの分離信号のスペクトログラムを示すものである。スコア関数φには上記式（１３）を用いた。図１２（Ｂ）から分かるように、図中矢印を付した位置付近の周波数binにおいて、顕著にパーミュテーションが発生している。

このように、従来の時間周波数領域の独立成分分析では、パーミュテーションの問題が発生していた。なお、正規直交制約付きの独立成分分析には、上記式（１４）、（１５）で示したような勾配法の他にも、不動点法、ヤコビ法などを用いる方法もあり（非特許文献１の「3.4 不動点法」、「3.5 ヤコビ法」を参照）、それらを時間周波数領域の独立成分分析に適用した例も存在するが（例えば、非特許文献２を参照）、何れも信号の分離処理を周波数bin毎に行っているため、パーミュテーションの問題が発生してしまう。

従来、このパーミュテーションの問題を解消するために、後処理により入れ替えを行う方法が知られている。この後処理では、先ず周波数bin毎の分離によって図１２（Ｂ）のようなスペクトログラムを得て、その後、何らかの基準に従ってチャンネル間で分離信号の入れ替えを行うことでパーミュテーションの発生していないスペクトログラムを得る。入れ替えの基準としては、（ａ）エンベロープの類似性（非特許文献１を参照）、（ｂ）推定された音源方向（特許文献１の［従来の技術］を参照）、（ｃ）ａとｂとの組合せ（特許文献１を参照）が挙げられる。

しかしながら、上記（ａ）は、周波数binによってはエンベロープの違いが不明瞭なことがあり、そのような場合には入れ替え間違いが発生してしまう。また、入れ替えを１度間違えると、それ以降の周波数binでは全て分離先を間違えてしまうことになる。また、上記（ｂ）は、方向推定の精度に問題があり、さらにマイクロホンの位置情報が必要である。また、両者を組み合わせた上記（ｃ）は、入れ替えの精度は向上しているものの、上記（ｂ）と同様にマイクロホンの位置情報が必要である。また、何れの方法においても、分離と入れ替えという２つのステップを経るため、処理時間が長いという問題がある。処理時間の観点では、分離が完了した時点でパーミュテーションの問題も解消していることが望ましいが、後処理による方法ではそれは難しい。

本発明は、このような従来の実情に鑑みて提案されたものであり、複数の信号が混合された音声信号を独立成分分析を用いて信号毎に分離する際に、分離後の後処理を行うことなくパーミュテーションの問題を解消することが可能な音声信号分離装置及びその方法を提供することを目的とする。

上述した目的を達成するために、本発明に係る音声信号分離装置は、音声信号を含む複数の信号が混合された複数チャンネルの時間領域の観測信号を独立成分分析を用いて信号毎に分離し、複数チャンネルの分離信号を生成する音声信号分離装置において、上記時間領域の観測信号を時間周波数領域の観測信号に変換する第１の変換手段と、上記時間周波数領域の観測信号をチャンネル間で無相関化する無相関化手段と、上記時間周波数領域の観測信号から時間周波数領域の分離信号を生成する分離手段と、上記時間周波数領域の分離信号を時間領域の分離信号に変換する第２の変換手段とを有し、上記分離手段は、上記時間周波数領域の観測信号と初期値が代入された分離行列とから時間周波数領域の分離信号を生成し、この時間周波数領域の分離信号と多次元確率密度関数を用いたスコア関数と上記分離行列とを用いて該分離行列の修正値を計算し、上記修正値を用いて、上記分離行列が略々収束するまで該分離行列を修正し、略々収束した分離行列を用いて上記時間周波数領域の分離信号を生成し、上記初期値及び上記修正値による修正後の分離行列は、正規直交行列であることを特徴とする。

また、本発明に係る音声信号分離方法は、音声信号を含む複数の信号が混合された複数チャンネルの時間領域の観測信号を独立成分分析を用いて信号毎に分離し、複数チャンネルの分離信号を生成する音声信号分離方法において、上記時間領域の観測信号を時間周波数領域の観測信号に変換する工程と、上記時間周波数領域の観測信号をチャンネル間で無相関化する工程と、上記時間周波数領域の観測信号と初期値が代入された分離行列とから時間周波数領域の分離信号を生成する工程と、この時間周波数領域の分離信号と多次元確率密度関数を用いたスコア関数と上記分離行列とを用いて該分離行列の修正値を計算する工程と、上記修正値を用いて、上記分離行列が略々収束するまで該分離行列を修正する工程と、略々収束した分離行列を用いて生成された時間周波数領域の分離信号を時間領域の分離信号に変換する工程とを有し、上記初期値及び上記修正値による修正後の分離行列は、正規直交行列であることを特徴とする。

本発明に係る音声信号分離装置及びその方法によれば、音声信号を含む複数の信号が混合された複数チャンネルの時間領域の観測信号を独立成分分析を用いて信号毎に分離し、複数チャンネルの分離信号を生成する際に、初期値が代入された分離行列とから時間周波数領域の分離信号を生成し、この時間周波数領域の分離信号と多次元確率密度関数を用いたスコア関数と分離行列とを用いて該分離行列の修正値を計算し、この修正値を用いて、分離行列が略々収束するまで該分離行列を修正し、略々収束した分離行列を用いて生成された時間周波数領域の分離信号を時間領域の分離信号に変換することにより、分離後の後処理を行うことなくパーミュテーションの問題を解消することができる。また、時間周波数領域の観測信号を予めチャンネル間で無相関化し、分離行列の初期値と修正値による修正後の分離行列とを正規直交行列としているため、少ないループ回数で分離行列が略々収束する。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、複数の信号が混合された音声信号を独立成分分析を用いて信号毎に分離する音声信号分離装置に適用したものである。前述したように、従来は、分離行列Ｗ（ω）を用いて周波数bin毎に信号を分離していたが、本実施の形態では、図１に示すように、分離行列Ｗを用いてスペクトログラム全体で信号を分離する。以下では先ず、本実施の形態で用いる具体的な計算式について説明し、次いで、本実施の形態における音声信号分離装置の具体的構成について説明する。

従来の周波数bin毎の分離を行列及びベクトルで表現すると、上記式（９）のように表される。この式（９）を、全てのω（１≦ω≦Ｍ）について展開し、行列とベクトルとの積の形式で表すと下記式（１６）のようになる。この式（１６）が、スペクトログラム全体を分離する行列演算である。式（１６）の両辺をＹ（ｔ）、Ｗ、Ｘ（ｔ）という文字を用いて表記すると下記式（１７）のようになる。また、下記式（１６）のチャンネル毎の成分をそれぞれ１つの文字で表記すると下記式（１８）のようになる。この式（１８）において、Ｙ_ｋ（ｔ）はチャンネル番号ｋのスペクトログラムからフレーム番号ｔのスペクトルを切り出して作った列ベクトルを表す。

本実施の形態ではさらに、上記式（１７）の分離行列Ｗに正規直交という制約を設ける。すなわち、下記式（２０）で表される制約を設ける。この式（２０）において、Ｉ_ｎＭはｎＭ×ｎＭの単位行列を表す。但し、下記式（２０）は下記式（２１）と等価であるため、分離行列Ｗに対する制約は、従来と同様に周波数bin毎で構わない。また、下記式（２０）と下記式（２１）とが等価であるため、観測信号に予め施しておく無相関化の前処理（後述）も、従来と同様に周波数bin毎で構わない。

また、本実施の形態では、信号の独立性を表す尺度もスペクトログラム全体から計算する。前述したように、独立成分分析において信号の独立性を表す尺度には、ＫＬ情報量や尖度等があるが、ここでは一例としてＫＬ情報量を用いるものとする。

本実施の形態では、スペクトログラム全体のＫＬ情報量Ｉ（Ｙ）を下記式（２２）のように定義する。すなわち、各チャンネルについてのエントロピーＨ（Ｙ_ｋ）の総和から全チャンネルについての同時エントロピーＨ（Ｙ）を減算した値をＫＬ情報量Ｉ（Ｙ）と定義する。ｎ＝２のときのＨ（Ｙ_ｋ）とＨ（Ｙ）との関係を図２に示す。式（２２）のうち、Ｈ（Ｙ_ｋ）はエントロピーの定義により下記式（２３）の第１項のように書き換えられ、Ｈ（Ｙ）はＹ＝ＷＸの関係から式（２３）の第２項及び第３項のように展開される。この式（２３）において、Ｐ_Ｙｋ（Ｙ_ｋ（ｔ））はＹ_ｋ（ｔ）の確率密度関数を表し、Ｈ（Ｘ）は観測信号Ｘの同時エントロピーを表す。

ＫＬ情報量Ｉ（Ｙ）は、Ｙ_１〜Ｙ_ｎが独立である場合に最小（理想的には０）となるため、分離処理では、ＫＬ情報量Ｉ（Ｙ）を最小とし、且つ、正規直交制約を満たす分離行列Ｗを求めることになる。

本実施の形態では、このような分離行列Ｗを求めるため、下記式（２４）〜（２６）で示される正規直交制約付きの勾配法を用いる。この式（２４）において、ｆ（・）はΔＷが正規直交制約を満たす、すなわちＷが正規直交行列のときに、Ｗ＋η・ΔＷも正規直交行列になるための操作を表す。

正規直交制約付きの勾配法では、上記式（２４）に従って分離行列Ｗの修正値ΔＷを求め、上記式（２５）に従ってＷを更新し、更新された分離行列Ｗを用いて上記式（２６）に従って分離信号を生成する。この式（２４）〜（２６）の処理を何度もループさせて繰り返すと、最終的にＷの各要素はある値に収束し、それが分離行列の推定値となる。そして、その分離行列を用いて分離処理を行ったときの結果が、最終的な分離信号となる。特に、本実施の形態では、スペクトログラム全体からＫＬ情報量を計算し、分離行列Ｗを用いてスペクトログラム全体で信号を分離するため、分離信号にはパーミュテーションが発生しない。

ここで、行列ΔＷはＷと同様に疎行列であるため、非ゼロの要素のみを更新する式を用いた方が効率がよい。そこで、ω番目の周波数binの要素のみからなる行列ΔＷ（ω）と Ｗ（ω）とを下記式（２７）、（２８）のように定義し、下記式（２９）に従ってΔＷ（ω）を計算する。この式（２９）を全てのωについて計算すれば、ΔＷの中の非ゼロの要素は全て計算できたことになる。また、このようにして求めたＷ＋η・ΔＷは、正規直交行列となっている。

上記式（３０）において、関数φ_ｋω（Ｙ_ｋ（ｔ））は上記式（３１）のように確率密度関数の対数をω番目の引数で偏微分したものであり、スコア関数（又は「活性化関数」）と称される。本実施の形態では、多次元確率密度関数を用いているため、このスコア関数も多次元（多変量）である。

以下、スコア関数の導出方法とスコア関数の具体例とについて説明する。

スコア関数を導出する方法の１つは、下記式（３２）に従って多次元確率密度関数を構築し、その対数を微分することである。この式（３２）において、ｈは確率の総和を１に調整するための定数であるが、スコア関数を導出する過程で約分されて消えるため、具体的な値を代入する必要はない。また、ｆ（・）は任意のスカラー関数である。また、||Ｙ_ｋ（ｔ）||_２はＹ_ｋ（ｔ）のＬ２ノルムであり、下記式（３３）に従って計算されるＬ_ＮノルムにおいてＮ＝２としたものである。

多次元確率密度関数の一例を下記式（３４）、（３６）に示し、そのときのスコア関数を下記式（３５）、（３７）に示す。但し、複素数の絶対値の微分は、下記式（３８）のように定義する。

また、上述のように多次元確率密度関数を経由してスコア関数を導出するのではなく、多次元確率密度関数を経由せずにスコア関数を直接構築することも可能である。このためには、以下の条件ｉ）、ii）を満たすようにスコア関数を構築すればよい。なお、上記式（３５）、（３７）は、この条件ｉ）、ii）を満たしている。
ｉ） 返値が無次元量
ii） 返値の位相（複素数の位相）がω番目の引数Ｙ_ｋ（ω，ｔ）の位相と逆位相

ここで、スコア関数φ_ｋω（Ｙ_ｋ（ｔ））の返値が無次元量とは、Ｙ_ｋ（ω，ｔ）の単位を［ｘ］としたとき、スコア関数の分子と分母とで［ｘ］が相殺され、返値には［ｘ］の次元（ｎを実数としたときに［ｘ^ｎ］と記述される単位）が含まれないことを表す。

一方、スコア関数φ_ｋω（Ｙ_ｋ（ｔ））の返値の位相がω番目の引数Ｙ_ｋ（ω，ｔ）の位相と逆位相とは、arg｛φ_ｋω（Ｙ_ｋ（ｔ））｝＝−arg｛Ｙ_ｋ（ω，ｔ）｝が任意のＹ_ｋ（ω，ｔ）について成立することを表す。但し、arg｛ｚ｝は複素数ｚの位相成分を表す。例えば、大きさｒと位相角θとを用いてｚ＝ｒ・exp（ｉθ）と表した場合、arg｛ｚ｝＝θである。

なお、本実施の形態では、スコア関数をlogＰ_Ｙｋ（Ｙ_ｋ（ｔ））を微分したものと定義しているため、スコア関数の条件は、返値の位相がω番目の引数の位相と「逆位相」となるが、スコア関数をlog（１／Ｐ_Ｙｋ（Ｙ_ｋ（ｔ）））を微分したものと定義した場合には、スコア関数の条件は、返値の位相がω番目の引数の位相と「同位相」となる。何れの場合であっても、スコア関数は、返値の位相がω番目の引数の位相にのみ依存するものであればよい。

上述した条件ｉ）、ii）を共に満たすスコア関数の具体例を下記式（３９）、（４０）に示す。この式（３９）は、上記式（３５）をＮに対して一般化し、Ｌ２ノルム以外でもパーミュテーションなしに分離できるようにしたものである。式（４０）も同様に、上記式（３７）をＮに対して一般化したものである。この式（３９）、（４０）において、Ｌ、ｍは正の定数であり、例えば１でよい。また、ａは０除算を防ぐための定数であり、値は非負である。

上記式（３９）、（４０）において、Ｙ_ｋ（ω，ｔ）の単位を［ｘ］とすると、［ｘ］を持つ量は分子と分母とで同数（何れもＬ＋１回）出現するため、相殺されてスコア関数全体では無次元量となる（tanhは無次元量と見なす）。さらに、これらの式の返値の位相は−Ｙ_ｋ（ω，ｔ）の位相と等しい（それ以外の項は位相には影響しない）ため、返値の位相はω番目の引数Ｙ_ｋ（ω，ｔ）の位相と逆位相である。

さらに一般化したスコア関数を下記式（４１）に示す。この式（４１）において、ｇ（ｘ）は以下の条件iii）〜vi）を満たす関数である。
iii）ｘ≧０においてｇ（ｘ）≧０
iv） ｘ≧０において、ｇ（ｘ）は定数、単調増加関数、又は単調減少関数
ｖ） ｇ（ｘ）が単調増加又は単調減少である場合、ｘ→∞においてｇ（ｘ）は正の値に収束する
vi） ｇ（ｘ）はｘに対して無次元量

分離に成功するｇ（ｘ）の例を下記式（４２）〜（４６）に示す。この式（４２）〜（４６）において、定数項は上述の条件iii）〜ｖ）を満たすように定める。

なお、上記式（４１）において、ｍはチャンネル番号ｋや周波数bin番号ωとは関係なく定数であるが、これをｋやωに依存して変更しても構わない。すなわち、下記式（４７）のように、ｍの代わりにｍ_ｋ（ω）としても構わない。このようにｍ_ｋ（ω）を用いることで、収束時のＹ_ｋ（ω，ｔ）のスケールをある程度調整することが可能になる。

ここで、上記式（３９）〜（４１）、（４７）において、Ｙ_ｋ（ｔ）のＬ_Ｎノルム||Ｙ_ｋ（ｔ）||_Ｎを計算する際には、複素数の絶対値を求める必要があるが、下記式（４８）、（４９）に示すように、複素数の絶対値を実部又は虚部の絶対値で近似してもよく、下記式（５０）に示すように、両者の和で近似してもよい。

複素数を実部と虚部とに分解して保持しているシステムにおいて、ｚ＝ｘ＋ｉｙ（ｘ，ｙは実数、ｉは虚数単位）で表される複素数ｚの絶対値は下記式（５１）のように計算される。これに対して実部や虚部の絶対値は、下記式（５２）、（５３）のように計算されるため、計算量が削減される。特に、Ｌ１ノルムの場合には、２乗や平方根を用いずに、実数の絶対値と和のみで計算できるため、計算を非常に簡略化することができる。

また、Ｌ_Ｎノルムの値は、Ｙ_ｋ（ｔ）のうちで絶対値の大きな成分によってほぼ決まるため、Ｌ_Ｎノルムの計算の際、Ｙ_ｋ（ｔ）の全ての成分を用いるのではなく、絶対値の大きな成分の上位ｘ％のみを用いるようにしてもよい。この上位ｘ％は、観測信号のスペクトログラムから事前に求めることができる。

さらに一般化したスコア関数を下記式（５４）に示す。このスコア関数は、ベクトルＹ_ｋ(ｔ)を引数とする関数ｆ（Ｙ_ｋ(ｔ)）と、スカラーＹ_ｋ(ω，ｔ)を引数とする関数ｇ（Ｙ_ｋ(ω，ｔ)）と、返値の位相を決定するための項−Ｙ_ｋ(ω，ｔ)との積で表される関数である（ｆ（・）、ｇ（・）は上述した関数とは別物である）。但し、ｆ（Ｙ_ｋ(ｔ)）及びｇ（Ｙ_ｋ(ω，ｔ)）は、両者の積が任意のＹ_ｋ(ｔ）、Ｙ_ｋ(ω，ｔ）について以下のvii）、viii）の条件を満たすように、それぞれ定める。
vii） ｆ（Ｙ_ｋ(ｔ)）とｇ（Ｙ_ｋ(ω，ｔ)）との積は非負の実数
viii）ｆ（Ｙ_ｋ(ｔ)）とｇ（Ｙ_ｋ(ω，ｔ)）との積の次元は［１／ｘ］
（Ｙ_ｋ(ω，ｔ)の単位を［ｘ］とする）

上述の条件vii）により、スコア関数の位相は−Ｙ_ｋ（ω，ｔ）と同一となり、スコア関数の返値の位相がω番目の引数の位相と逆位相であるという条件が満たされる。また、上述の条件viii）により、次元がＹ_ｋ（ω，ｔ）と相殺され、スコア関数の返値が無次元量という条件が満たされる。

以上、本実施の形態で用いる具体的な計算式について説明したが、以下では本実施の形態における音声信号分離装置の具体的な構成について説明する。

本実施の形態における音声信号分離装置の概略構成を図３に示す。この音声信号分離装置１において、ｎ個のマイクロホン１０_１〜１０_ｎは、ｎ個の音源が発する独立な音を観測し、Ａ／Ｄ（Analog/Digital）変換部１１は、この信号をＡ／Ｄ変換して観測信号を得る。短時間フーリエ変換部１２は、観測信号を短時間フーリエ変換して観測信号のスペクトログラムを生成する。標準化・無相関化部１３は、観測信号のスペクトログラムに対して標準化処理（平均や分散の調整）と無相関化処理（チャンネル間での無相関化）とを施す。信号分離部１４は、信号モデル保持部１５に保持された信号モデルを利用して、観測信号のスペクトログラムを独立な信号に基づくスペクトログラムに分離する。信号モデルとは、具体的には上述のスコア関数のことである。

リスケーリング部１６は、分離信号のスペクトログラムの各周波数binに対してスケールを揃える処理を行う。また、分離処理前に観測信号に対して施されていた標準化処理を元に戻す処理を行う。逆フーリエ変換部１７は、逆フーリエ変換によって分離信号のスペクトログラムを時間領域の分離信号に変換する。Ｄ／Ａ変換部１８は、時間領域の分離信号をＤ／Ａ変換し、ｎ個のスピーカ１９_１〜１９_ｎは、それぞれ独立の音を再生する。

この音声信号分離装置の処理の概略を図４のフローチャートを用いて説明する。先ずステップＳ１において、マイクロホンを介して音声信号を観測し、ステップＳ２において、観測信号を短時間フーリエ変換してスペクトログラムを得る。次にステップＳ３において、観測信号のスペクトログラムに対して標準化処理及び無相関化処理を施す。

ここで、標準化は、各周波数binの平均を０に、標準偏差を１に揃える操作のことである。周波数bin毎に平均値を減算することで平均を０にし、さらに標準偏差で除算することで標準偏差を１にすることができる。標準化後の観測信号をＸ’とすると、Ｘ’＝Ｐ（Ｘ−μ）と表すことができる。なお、Ｐは標準偏差の逆数からなる分散標準化行列を表し、μは周波数bin毎の平均値からなる平均値ベクトルを表す。

一方、無相関化は、白色化（whitening）、或いは球状化（sphering）とも称され、チャンネル間の相関を０にする操作のことである。この無相関化は、従来と同様に周波数bin毎に行えばよい。

この無相関化についてさらに説明する。周波数bin＝ωにおける観測信号ベクトルＸ（ω，ｔ）の分散共分散行列Σ（ω）を下記式（５５）のように定義する。このΣ（ω）は、固有ベクトル ｐ_ｋ（ω）と固有値λ_ｋ（ω）とを用いて下記式（５６）のように表すことができる。固有ベクトル ｐ_ｋ（ω）からなる行列をＰ（ω）とし、固有値λ_ｋ（ω）からなる対角行列をΛ（ω）とし、Ｘ（ω，ｔ）を下記式（５７）のように変換すると、変換結果であるＸ'（ω，ｔ）の各要素は互いに無相関になっている。すなわち、Ｅ_ｔ［Ｘ'（ω，ｔ）Ｘ'（ω，ｔ）^Ｈ］＝Ｉ_ｎを満たす。

続いてステップＳ４において、標準化・無相関化された観測信号に対して分離処理を行う。具体的には、分離行列Ｗと分離信号Ｙとを求める。なお、このステップＳ４における処理は正規直交制約を適用したものであるが、詳細については後述する。ステップＳ４で得られた分離信号Ｙは、パーミュテーションは発生していないものの、周波数bin毎にスケールが異なっている。そこでステップＳ５では、リスケーリング処理を行い、周波数binの間のスケールを揃える。ここでは、標準化処理で変更した平均と標準偏差とを元に戻す処理も行う。なお、ステップＳ５におけるリスケーリング処理の詳細については後述する。続いてステップＳ６において、リスケーリング後の分離信号を逆フーリエ変換によって時間領域の分離信号に変換し、ステップＳ７においてスピーカから再生する。

上述したステップＳ４（図４）における分離処理の詳細について、図５のフローチャートを用いて説明する。なお、図５におけるＸ（ｔ）は標準化・無相関化された観測信号であり、図４のＸ’（ｔ）に相当する。

先ずステップＳ１１において、分離行列Ｗに初期値を代入しておく。正規直交制約を満たすため、この初期値も正規直交行列とする。なお、単位行列も正規直交行列の一種であるため、初期値として単位行列を代入するようにしてもよい。また、同じ環境で何度も分離処理を行う場合には、前回の収束値を今回の初期値としてもよい。これにより、収束までのループ回数を少なくすることができる。

次にステップＳ１２において、Ｗが収束したか否かを判別し、収束している場合には処理を終了し、収束していない場合にはステップＳ１３に進む。

続いてステップＳ１３において、その時点での分離信号Ｙを計算し、ステップＳ１４において上記式（２９）に従ってΔＷを計算する。このΔＷは周波数bin毎に計算されるため、ωのループを回し、それぞれのωについて上記式（２９）を適用する。ΔＷを求めたら、ステップＳ１５においてＷを更新し、ステップＳ１２に戻る。

なお、図５ではステップＳ１３，Ｓ１５が周波数binループの外側にある場合について説明したが、これらの処理を周波数binループの内側に移し、従来のように周波数bin毎に計算しても構わない。この場合、ΔＷ（ω）の計算式とＷ（ω）の更新式とを統合し、ΔＷ（ω）を計算せずにＷ（ω）を直接計算するようにしても構わない。

また、図５ではＷが収束するまでＷの更新処理を行うものとして説明したが、十分に大きな所定回数だけ繰り返すようにしても構わない。

次に、上述したステップＳ５（図４）におけるリスケーリング処理の詳細について説明する。リスケーリングの方法は、以下に示す３通りの方法のうち、何れを用いても構わない。

リスケーリングの第１の方法は、分離結果（スケール不揃い）からＳＩＭＯ（Single Input Multiple Output）形式の信号を生成するものである。これは、文献「Noboru Murata and Shiro Ikeda,“An on-line algorithm for blind source separation on speech signals.”In Proceedings of 1998 International Symposium on Nonlinear Theory and its Applications (NOLTA'98), pp.923-926, Crans-Montana, Switzerland, September 1998（http://www.ism.ac.jp/~shiro/papers/conferences/nolta1998.pdf）」に記述されている周波数bin毎のリスケーリング方法を、上記式（１７）の分離行列Ｗを用いてスペクトログラム全体のリスケーリングに拡張したものである。

観測信号ベクトルＸ（ｔ）のうち、ｋ番目の音源に由来する成分をＸ_Ｙｋ（ｔ）とする。Ｘ_Ｙｋ（ｔ）は、ｋ番目の音源のみが鳴っている状態を想定し、それに伝達関数を作用させることで求めることができる。独立成分分析の分離結果を用いると、ｋ番目の音源のみが鳴っている状態は、上記式（１９）のベクトルにおいて、Ｙ_ｋ（ｔ）以外を０とすることで表現でき、また、伝達関数は分離行列Ｗの逆行列として表現できる。したがって、Ｘ_Ｙｋ（ｔ）は下記式（５８）のように求めることができる。この式（５８）において、Ｑは観測信号を標準化・無相関化する行列である。また、右辺の第２項は上記式（１９）のＹ_ｋ（ｔ）以外を０としたベクトルである。このようにして求めたＸ_Ｙｋ（ｔ）では、スケールの不定性が解消されている。

リスケーリングの第２の方法は、最小歪み原理に基づくものである。これは、文献「K. Matsuoka and S. Nakashima,“Minimal distortion principle for blind source separation.”, Proceedings of International Conference on INDEPENDENT COMPONENT ANALYSIS and BLIND SIGNAL SEPARATION (ICA 2001), 2001, pp.722-727（http://ica2001.ucsd.edu/index_files/pdfs/099-matauoka.pdf）」に記述されている周波数bin毎のリスケーリング方法を、上記式（１７）の分離行列Ｗを用いてスペクトログラム全体のリスケーリングに拡張したものである。

最小歪み原理に基づくリスケーリングでは、下記式（５９）に従って分離行列Ｗを再計算する。再計算された分離行列Ｗを用いて再びＹ＝ＷＸによって分離信号を計算すると、Ｙからはスケールの不定性が消えている。

リスケーリングの第３の方法は、以下のように分離信号と残差信号との独立性を利用するものである。

チャンネル番号ｋ、周波数bin番号ωにおける分離結果Ｙ_ｋ(ω，ｔ）に対して、スケーリング係数α_ｋ（ω）を乗じた信号α_ｋ（ω）Ｙ_ｋ(ω，ｔ）と、観測信号からの残差であるＸ_ｋ(ω，ｔ）−α_ｋ（ω）Ｙ_ｋ(ω，ｔ）とを想定する。もしα_ｋ（ω）が正しい値ならば、残差Ｘ_ｋ(ω，ｔ）−α_ｋ（ω）Ｙ_ｋ(ω，ｔ）からはＹ_ｋ(ω，ｔ）の要素が完全に消えているはずである。そして、そのときのα_ｋ（ω）Ｙ_ｋ(ω，ｔ）は、マイクロホンで観測される原信号の１つを、スケールを含めて推定したことになっている。

ここで、独立性という尺度を導入すると、要素が完全に消えていることは、｛Ｘ_ｋ(ω，ｔ）−α_ｋ（ω）Ｙ_ｋ(ω，ｔ）｝と｛Ｙ_ｋ(ω，ｔ）｝とが時間方向に独立であると表現でき、この条件は任意のスカラー関数 ｆ（・）、ｇ（・）を用いて下記式（６０）のように表現できる。但し、上線は共役複素数を表す。したがって、下記式（６０）を満たすスケーリング係数α_ｋ（ω）を求め、そのα_ｋ（ω）をＹ_ｋ(ω，ｔ）に乗じれば、スケールの不定性は解消する。

上記式（６０）の必用条件としてｆ（ｘ）＝ｘの場合を考えると、スケーリング係数 α_ｋ（ω）が満たすべき条件として、下記式（６１）が得られる。この式（６１）のｇ（ｘ）は任意でよく、例えば下記式（６２）〜（６５）の何れかを用いることができる。分離結果として、Ｙ_ｋ(ω，ｔ）の代わりにα_ｋ（ω）Ｙ_ｋ(ω，ｔ）を用いることで、スケールの不定性は解消される。

以下、具体的な分離結果を示す。図６（Ａ）は、前述した「rsm2_mA.wav」と「rsm2_mB.wav」という２つのファイルから生成したスペクトログラムを示すものであり、音声と音楽とが混合された観測信号の一例を表している。一方、図６（Ｂ）は、この２つのスペクトログラムを観測信号とし、上記式（２９）の更新式と上記式（３７）のスコア関数とを用いて分離した結果である。それ以外の条件は前述した図１２と同様である。図６（Ｂ）から分かるように、従来法ではパーミュテーションが発生していたのに対し（図１２（Ｂ））、本実施の形態における分離方法では、パーミュテーションが発生していない。

以上詳細に説明したように、本実施の形態における音声信号分離装置１によれば、従来のように分離行列Ｗ（ω）を用いて周波数bin毎に信号を分離する代わりに、分離行列Ｗを用いてスペクトログラム全体で信号を分離することにより、分離後の後処理を行うことなくパーミュテーションの問題を解消することができる。特に、本実施の形態における音声信号分離装置１では、正規直交制約付きの勾配法を用いているため、正規直交制約を設けない場合と比較して、少ないループ回数で分離行列Ｗを求めることができる。

なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。

例えば、上述した実施の形態では、上記式（２５）において学習係数ηを定数としていたが、このηの値をΔＷの値によって適応的に変化させても構わない。すなわち、ΔＷの各要素の絶対値が大きな値の場合にはηを小さくしてＷのオーバーフローを防ぎ、ΔＷが零行列に近い場合（Ｗが収束点に近づいている場合）にはηを大きくして収束点への収束を速くするようにしても構わない。

以下、このように学習係数ηの値を適応的に変化させる場合のηの計算方法について説明する。

||ΔＷ||_Ｎを行列ΔＷのノルムとして、例えば下記式（６８）のように計算する。そして、下記式（６６）に示すように、学習係数ηを||ΔＷ||_Ｎの関数として表す。或いは、ΔＷの他にＷについても同様にノルム||Ｗ||_Ｎを計算し、下記式（６７）に示すように、両者の比である||ΔＷ||_Ｎ／||Ｗ||_Ｎをｆ（・）の引数とする。簡単な例としては、Ｎ＝２とすることができる。この式（６６）、（６７）のｆ（・）には、例えば下記式（６９）〜（７１）のように、ｆ（０）＝η_０、ｆ（∞）→０を満たす単調減少関数を用いる。この式（６９）〜（７１）において、ａは任意の正の値であり、ｆ（・）の減少の度合いを調整するパラメータである。また、Ｌは任意の正の実数である。簡単な例としては、ａ＝１、Ｌ＝２とすることができる。

また、上記式（６６）、（６７）では、全ての周波数binで共通の学習係数ηを用いたが、下記式（７２）のように、周波数bin毎に異なる学習係数η（ω）を用いても構わない。この場合には、ΔＷ（ω）のノルム||ΔＷ（ω）||_Ｎを例えば下記（７４）のように計算し、下記式（７３）に示すように、学習係数η（ω）を||ΔＷ（ω）||_Ｎの関数として表す。この式（７３）において、ｆ（・）は上記式（６６）、（６７）と同様である。また、||ΔＷ（ω）||_Ｎの代わりに、||ΔＷ（ω）||_Ｎ／||Ｗ（ω）||_Ｎ を用いても構わない。

また、上述した実施の形態では、スペクトログラム全体の信号、すなわちスペクトログラムの全ての周波数binの信号を用いるものとして説明したが、全チャンネルに亘って信号が殆ど存在しない（０に近い成分しか存在しない）周波数binは、分離が成功してもしなくても時間領域の分離信号には殆ど影響しないため、そのような周波数binを省いてスペクトログラムを縮退させることで、計算量を削減し、分離処理を高速化することができる。

スペクトログラムを縮退させる一例としては、観測信号のスペクトログラムを生成した後、周波数bin毎に信号の絶対値が所定の閾値を上回っているか否かの判定を行い、全フレーム且つ全チャンネルにおいて閾値を下回っている周波数binを信号が存在しないと判定してスペクトログラムから除去する方法が挙げられる。但し、後で復元するため、何番目の周波数binを除去したかを記録しておく。信号が存在しない周波数binがｍ本あるとすると、除去後のスペクトログラムはＭ−ｍ本の周波数binを持つ。

スペクトログラムを縮退させる他の例としては、周波数bin毎に例えば下記式（７５）に従って信号の強さＤ（ω）を計算し、強さの上位Ｍ−ｍ本を採用する（下位ｍ本を除去する）方法が挙げられる。

スペクトログラムを縮退させると、この縮退後のスペクトログラムに対して、標準化・無相関化、分離処理、リスケーリング処理を行う。さらに、先ほど除去した周波数binを挿入する。なお、除去した信号の代わりに全ての成分が０というベクトルを挿入してもよい。この信号を逆フーリエ変換することで、時間領域の分離信号を得ることができる。

また、上述した実施の形態では、マイクロホンの数と音源数とが一致するものとして説明したが、マイクロホンの数が音源数よりも多い場合にも適用可能である。この場合には、例えば主成分分析（Principal Component Analysis；ＰＣＡ）を用いることで、マイクロホンの数を音源数まで減らすことができる。

また、上述した実施の形態では、スピーカを介して音を再生するものとしたが、分離信号を出力し、音声認識等に用いるようにすることも可能である。この場合には、逆フーリエ変換処理を適宜省略しても構わない。分離信号を音声認識に用いる場合、複数の分離信号の中から何れが音声かを特定する必要があるが、そのためには例えば以下の何れかの方法を用いればよい。
（ａ）複数の分離信号のそれぞれについて、尖度などを用いて最も「音声らしい」チャンネルを１つ特定し、その分離信号を音声認識に用いる。
（ｂ）複数の分離信号を複数の音声認識装置に並列に入力して音声認識を行い、認識結果毎に尤度や信頼度などの尺度を計算し、最も尺度の高い認識結果を採用する。

信号の分離処理をスペクトログラム全体で行う様子を示す図である。 本実施の形態におけるエントロピーと同時エントロピーとを説明する図である。 本実施の形態における音声信号分離装置の概略構成を示す図である。 上記音声信号分離装置の処理の概略を説明するフローチャートである。 分離処理の詳細を説明するフローチャートである。 信号の分離処理をスペクトログラム全体で行った場合における観測信号と分離信号との一例を示す図である。 Ｎ個の音源から出力された原信号をｎ個のマイクロホンで観測する状況を示す図である。 時間周波数領域における従来の独立成分分析の概略を示す図である。 観測信号及びそのスペクトログラムと分離信号及びそのスペクトログラムとを示す図である。 信号の分離処理を周波数bin毎に行う様子を示す図である。 従来のエントロピーと同時エントロピーとを説明する図である。 信号の分離処理を周波数bin毎に行った場合における観測信号と分離信号との一例を示す図である。

符号の説明

１ 音声信号分離装置、１０_１〜１０_ｎ マイクロホン、１１ Ａ／Ｄ変換部、１２ 短時間フーリエ変換部、１３ 標準化・無相関化部、１４ 信号分離部、１５ 信号モデル保持部、１６ リスケーリング部、１７ 逆フーリエ変換部、１８ Ｄ／Ａ変換部、１９_１〜１９_ｎ スピーカ

Claims (4)

1. 音声信号を含む複数の信号が混合された複数チャンネルの時間領域の観測信号を独立成分分析を用いて信号毎に分離し、複数チャンネルの分離信号を生成する音声信号分離装置において、
   上記時間領域の観測信号を時間周波数領域の観測信号に変換する第１の変換手段と、
   上記時間周波数領域の観測信号をチャンネル間で無相関化する無相関化手段と、
   上記時間周波数領域の観測信号から時間周波数領域の分離信号を生成する分離手段と、
   上記時間周波数領域の分離信号を時間領域の分離信号に変換する第２の変換手段とを有し、
   上記分離手段は、上記時間周波数領域の観測信号と初期値が代入された分離行列とから時間周波数領域の分離信号を生成し、この時間周波数領域の分離信号と多次元確率密度関数を用いたスコア関数と上記分離行列とを用いて該分離行列の修正値を計算し、上記修正値を用いて、上記分離行列が略々収束するまで該分離行列を修正し、略々収束した分離行列を用いて上記時間周波数領域の分離信号を生成し、
   上記初期値及び上記修正値による修正後の分離行列は、正規直交行列である
   ことを特徴とする音声信号分離装置。
2. 上記スコア関数は、返値が無次元量であり、且つ、返値の位相が１つの引数にのみ依存することを特徴とする請求項１記載の音声信号分離装置。
3. 音声信号を含む複数の信号が混合された複数チャンネルの時間領域の観測信号を独立成分分析を用いて信号毎に分離し、複数チャンネルの分離信号を生成する音声信号分離方法において、
   上記時間領域の観測信号を時間周波数領域の観測信号に変換する工程と、
   上記時間周波数領域の観測信号をチャンネル間で無相関化する工程と、
   上記時間周波数領域の観測信号と初期値が代入された分離行列とから時間周波数領域の分離信号を生成する工程と、
   この時間周波数領域の分離信号と多次元確率密度関数を用いたスコア関数と上記分離行列とを用いて該分離行列の修正値を計算する工程と、
   上記修正値を用いて、上記分離行列が略々収束するまで該分離行列を修正する工程と、
   略々収束した分離行列を用いて生成された時間周波数領域の分離信号を時間領域の分離信号に変換する工程とを有し、
   上記初期値及び上記修正値による修正後の分離行列は、正規直交行列である
   ことを特徴とする音声信号分離方法。
4. 上記スコア関数は、返値が無次元量であり、且つ、返値の位相が１つの引数にのみ依存することを特徴とする請求項３記載の音声信号分離方法。

Images