JP2010233173A - 信号処理装置、および信号処理方法、並びにプログラム - Google Patents

Abstract

【課題】音源分離用マイクとは異なる射影先マイクを設定して射影処理を行なう構成を提供する。
【解決手段】音源分離用マイクが取得した複数音源の混合信号に基づく観測信号に対して独立成分分析（ＩＣＡ：Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）を適用して混合信号の分離処理を行い、各音源対応の分離信号を生成する。次に、生成した分離信号と、音源分離用マイクとは異なる射影先マイクの観測信号を入力し、これらの入力信号を適用して射影先マイクが取得すると推定される各音源対応の分離信号である射影信号を生成する。さらに、射影信号による出力デバイスに対する音声データの出力、あるいは音源方向または位置の推定などを可能とした。
【選択図】図７

Description

本発明は、信号処理装置、および信号処理方法、並びにプログラムに関する。さらに、詳細には、複数の音の混合信号を独立成分分析（ＩＣＡ：Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）によって音源ごとに分離し、分離結果である分離信号を用いて任意の位置における音信号の解析、例えば任意位置に設置されたマイクロホンの集音信号の解析（マイクロホンへの射影）を行う信号処理装置、および信号処理方法、並びにプログラムに関する。

複数の音の混合信号に含まれる個々の音源信号を分離する技術として独立成分分析（ＩＣＡ：Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）が知られている。ＩＣＡは多変量分析の一種であり、信号の統計的な性質を利用して多次元信号を分離する手法である。ＩＣＡ自体の詳細については、例えば非特許文献１［『入門・独立成分分析』（村田昇著、東京電機大学出版局）］などを参照されたい。

本発明は、複数の音が混合した信号を独立成分分析（ＩＣＡ：Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）によって音源ごとに分離し、その分離結果である分離信号を用いて、例えば任意の位置に設置されたマイクロホン（以降「マイク」）へ射影することを可能とする技術である。この技術によって、例えば以下のような処理が可能となる。

（１）指向性マイクで収録した音からＩＣＡを行ない、その分離結果である分離信号を無指向性マイクへ射影する。
（２）音源分離に適した配置のマイクで収録した音からＩＣＡを行ない、その分離結果である分離信号を、音源方向推定または音源位置推定に適した配置のマイクへ射影する。

図１を参照して、音信号のＩＣＡ、特に時間周波数領域（ｔｉｍｅ−ｆｒｅｑｕｅｎｃｙ ｄｏｍａｉｎ）のＩＣＡについて説明する。

図１に示すように、Ｎ個の音源から異なる音が鳴っていて、それらをｎ個のマイクで観測するという状況を考える。音源が発した音（原信号）がマイクに届くまでには、時間遅れや反射などがある。従って、マイクｊで観測される信号（観測信号）は以下に示す式［１．１］のように、原信号と伝達関数（transfer function）との畳み込み演算（convolution）を全音源について総和した式として表わすことができる。この混合を以下では「畳み込み混合」（convolutive mixtures）と呼ぶ。
また、全てのマイクについての観測信号を一つの式で表わすと、以下に示す式［１．２］のように表わせる。

ただし、ｘ（ｔ），ｓ（ｔ）はそれぞれｘ_ｋ（ｔ），ｓ_ｋ（ｔ）を要素とする列ベクトルであり、Ａ^［ｌ］はａ_ｋｊ（ｌ）を要素とするｎ×Ｎの行列である。以降では、ｎ＝Ｎとする。

時間領域の畳み込み混合は、時間周波数領域では瞬時混合で表わされることが知られており、その特徴を利用したのが時間周波数領域のＩＣＡである。

時間周波数領域ＩＣＡ自体については、非特許文献２［『詳解 独立成分分析』の「１９．２．４．フーリエ変換法」］や、特許文献１（特開２００６−２３８４０９『音声信号分離装置・雑音除去装置および方法』）などを参照されたい。

以下では、主に本発明と関係ある点を説明する。
上記の式［１．２］の両辺を短時間フーリエ変換すると、以下に示す式［２．１］が得られる。

上記式［２．１］において、
ωは周波数ビンの番号（ω＝１〜Ｍ。Ｍは周波数ビンの総数）、
ｔはフレームの番号（ｔ＝１〜Ｔ。Ｔはフレームの総数）、
である。

ωを固定すると、この式は瞬時混合（時間遅れのない混合）と見なせる。そこで、観測信号を分離するには、分離結果である分離信号［Ｙ］の算出式［２．５］を用意した上で、分離結果：Ｙ（ω，ｔ）の各成分が最も独立になるように分離行列Ｗ（ω）を決める。

従来の時間周波数領域ＩＣＡでは、パーミュテーション問題と呼ばれる、「どの成分がどのチャンネルに分離されるか」が周波数ビンごとに異なるという問題が発生していたが、本願と同一発明者による前の特許出願である特許文献１［特開２００６−２３８４０９『音声信号分離装置・雑音除去装置および方法』］に示した構成によって、このパーミュテーション問題は、ほぼ解決することができた。本発明でもこの方法を用いるため、特許文献１［特開２００６−２３８４０９］に開示したパーミュテーション問題の解決手法について簡単に説明する。

特許文献１［特開２００６−２３８４０９］では、分離行列Ｗ（ω）を求めるために、以下に示す式［３．１］から式［３．３］までを分離行列Ｗ（ω）が収束するまで（または一定回数）繰り返し実行する。

この繰り返し実行を以降では「学習」と呼ぶ。ただし、式［３．１］〜式［３．３］は、全ての周波数ビンに対して行ない、さらに式［３．１］は、蓄積された観測信号の全てのフレームに対しても行なう。また、式［３．２］において、ｔはフレーム番号であり、＜＞_ｔはある区間内の全フレームについての平均を表わす。Ｙ（ω，ｔ）の右上に示すＨはエルミート転置を示している。エルミート転置は、ベクトルや行列の転置を取ると共に、要素を共役複素数に変換する処理である。

分離結果である分離信号Ｙ（ｔ）は式［３．４］で表わされ、分離結果の全チャンネル・全周波数ビンの要素を並べたベクトルである。φ_ω（Ｙ（ｔ））は、式［３．５］で表わされるベクトルである。このベクトルの各要素φ_ω（Ｙ_ｋ（ｔ））はスコア関数と呼ばれ、Ｙ_ｋ（ｔ）の多次元（多変量）確率密度関数（ＰＤＦ）の対数微分である（式［３．６］）。多次元ＰＤＦとして、例えば式［３．７］で表わされる関数を用いることができ、その場合、スコア関数φ_ω（Ｙ_ｋ（ｔ））は式［３．９］のように表わせる。ただし、‖Ｙ_ｋ（ｔ）‖_２はベクトルＹ_ｋ（ｔ）のＬ−２ノルム（全要素の２乗和を求め、さらに平方根をとったもの）である。Ｌ−２ノルムを一般化したＬ−ｍノルムは式［３．８］で定義される。式［３．７］および式［３．９］のγは、Ｙ_ｋ（ω，ｔ）のスケールを調整するための項であり、例えばｓｑｒｔ（Ｍ）（周波数ビン数の平方根）といった適切な正の定数を代入しておく。式［３．３］のηは学習率や学習係数と呼ばれる正の小さな値（例えば０．１程度）である。これは、式［３．２］で計算されたΔＷ（ω）を分離行列Ｗ（ω）に少しずつ反映させるために用いられる。

なお、式［３．１］は一つの周波数ビンにおける分離（図２（ａ）参照）を表わしているが、全周波数ビンの分離を一つの式で表わす（図２（ｂ）参照）ことも可能である。

そのためには、上述した式［３．４］で表わされる全周波数ビンの分離結果Ｙ（ｔ）および、式［３．１１］で表わされる観測信号Ｘ（ｔ）、さらに式［３．１０］で表わされる全周波数ビン分の分離行列を用いればよく、それらのベクトルと行列を用いることで、分離は式［３．１２］のように表わすことができる。本発明の説明においては、必要に応じて式［３．１］と式［３．１１］とを使い分ける。

なお、図２に示したＸ１〜ＸｎおよびＹ１〜Ｙｎの図はスペクトログラムと呼ばれ、短時間フーリエ変換（ＳＴＦＴ）の結果を周波数ビン方向とフレーム方向とに並べたものである。縦方向が周波数ビン、横方向がフレームである。式［３．４］や式［３．１１］では低い周波数を上に書いてあるが、スペクトログラムでは低い周波数を下に描いてある。

なお、時間周波数領域のＩＣＡにはスケーリングと呼ばれる問題も存在する。これは、分離結果のスケール（振幅）が周波数ビンごとに異なり、それらを適切に調整しない限り、波形に戻したときに周波数間のバランスが原信号とは異なってしまうという問題である。この問題を解決する方法として、次に説明する「マイクへの射影」が考案された。

［マイクへの射影］
ＩＣＡの分離結果をマイクに射影（ｐｒｏｊｅｃｔｉｏｎ ｂａｃｋ）するとは、ある位置に設定したマイクの集音信号を解析し、その集音信号から各原信号に由来する成分を求めることである。ある原信号に由来する成分とは、仮に音源が一つだけしか鳴っていないときにマイクで観測される信号に等しい。

例えば、信号の分離結果として得られる１つの分離信号Ｙｋが、図１にに示す音源１であるとする。分離信号Ｙｋを各マイク１〜ｎに射影するとは、仮に音源１だけが鳴っている場合に各マイクで観測される信号を推定することと等価である。なお。射影後の信号は、原信号に対して、位相遅れ・減衰・残響などの影響が含まれるため、射影先のマイクごとに異なる信号となる。

図１のような複数のマイク１〜ｎを設定した構成では、一つの分離結果に対して射影先が複数（ｎ通り）ある。このように、１つの入力に対して複数の出力を得る信号をＳｉｎｇｌｅ Ｉｎｐｕｔ， Ｍｕｌｔｉｐｌｅ Ｏｕｔｐｕｔｓ（ＳＩＭＯ）と呼ぶ。なお、例えば図１のような設定では、音源の数Ｎに応じて分離結果もｎ個あるため、射影後の信号は全部でＮ×ｎ通り存在する。ただし、単にスケーリング問題の解消だけが目的の場合は、どれか一つのマイクへ射影するか、Ｙ１〜Ｙｎをそれぞれマイク１〜マイクｎへ射影するだけで十分である。

このように、分離結果をマイクへ射影することで、原信号と似た周波数スケールを持つ信号を得ることができる。このように、分離結果のスケールを調整することをリスケーリング（ｒｅ−ｓｃａｌｉｎｇ）と呼ぶ。

ＳＩＭＯ形式の信号は、リスケーリング以外の用途にも用いられている。たとえば特許文献２（特開２００６−１５４３１４号公報）では、２つのマイクで観測した信号を２つのＳＩＭＯ信号（２つのステレオ信号）へと分離することで、定位感を持った分離結果を得る構成を開示している。さらに、スレテオ信号の分離結果に対してバイナリマスクという別種の音源分離を適用することで、ＩＣＡの分離行列の更新間隔よりも短い頻度で音源の変化に追従することを可能にする構成を開示している。

次に、ＳＩＭＯ形式の分離結果を生成する方法について説明する。一つはＩＣＡのアルゴリズム自体を工夫し、ＳＩＭＯ形式の分離結果を直接生成するものである。これをＳＩＭＯ ＩＣＡと呼び、特許文献２（特開２００６−１５４３１４号公報）はこの形式の処理を開示している。

もう一つは、通常の分離結果Ｙ１〜Ｙｎをいったん求めた後、適切な係数を乗じることで各マイクへの射影結果を求めるものである。これを、射影ＳＩＭＯ（Ｐｒｏｊｅｃｔｉｏｎ−ｂａｃｋ ＳＩＭＯ）と呼ぶ。以下では、本発明と関連が深い後者の射影ＳＩＭＯ（Ｐｒｏｊｅｃｔｉｏｎ−ｂａｃｋ ＳＩＭＯ）について説明する。

なお、例えば以下の文献に、射影ＳＩＭＯ（Ｐｒｏｊｅｃｔｉｏｎ−ｂａｃｋ ＳＩＭＯ）についての説明が記載されている。
非特許文献３［Ｎｏｂｏｒｕ Ｍｕｒａｔａ ａｎｄ Ｓｈｉｒｏ Ｉｋｅｄａ， "Ａｎ ｏｎ−ｌｉｎｅ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｂｌｉｎｄ ｓｏｕｒｃｅ ｓｅｐａｒａｔｉｏｎ ｏｎ ｓｐｅｅｃｈ ｓｉｇｎａｌｓ．" Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ １９９８ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｎｏｎｌｉｎｅａｒ Ｔｈｅｏｒｙ ａｎｄ ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎｓ （ＮＯＬＴＡ’９８）， ｐｐ．９２３−９２６， Ｃｒａｎｓ−Ｍｏｎｔａｎａ， Ｓｗｉｔｚｅｒｌａｎｄ， Ｓｅｐｔｅｍｂｅｒ １９９８
（ｈｔｔｐ：／／ｗｗｗ．ｉｓｍ．ａｃ．ｊｐ／〜ｓｈｉｒｏ／ｐａｐｅｒｓ／ｃｏｎｆｅｒｅｎｃｅｓ／ｎｏｌｔａ１９９８．ｐｄｆ）］
非特許文献４［Ｍｕｒａｔａ他： "Ａｎ ａｐｐｒｏａｃｈ ｔｏ ｂｌｉｎｄ ｓｏｕｒｃｅ ｓｅｐａｒａｔｉｏｎ ｂａｓｅｄ ｏｎ ｔｅｍｐｏｒａｌ ｓｔｒｕｃｔｕｒｅ ｏｆ ｓｐｅｅｃｈ ｓｉｇｎａｌｓ"， Ｎｅｕｒｏｃｏｍｐｕｔｉｎｇ， ｐｐ．１．２４， ２００１． ｈｔｔｐ：／／ｃｉｔｅｓｅｅｒｘ．ｉｓｔ．ｐｓｕ．ｅｄｕ／ｖｉｅｗｄｏｃ／ｄｏｗｎｌｏａｄ？ｄｏｉ＝１０．１．１．４３．８４６０＆ｒｅｐ＝ｒｅｐ１＆ｔｙｐｅ＝ｐｄｆ］

本発明と関連が深い後者の射影ＳＩＭＯ（Ｐｒｏｊｅｃｔｉｏｎ−ｂａｃｋ ＳＩＭＯ）について説明する。
分離結果Ｙｋ（ω，ｔ）をマイクｉへ射影した結果をＹｋ^［ｉ］（ω，ｔ）と書く。分離結果Ｙｋ（ω，ｔ）をｎ個のマイク１〜ｎへ射影した結果であるＹｋ^［１］（ω，ｔ）〜Ｙｋ^［ｎ］（ω，ｔ）からなるベクトルは、以下に示す式［４．１］で求めることができる。ただし、この式の右辺の第２項は、前記の式［２．６］のＹ（ω，ｔ）に対してｋ番目以外の要素を０とすることで生成されるベクトルであり、「Ｙｋ（ω，ｔ）に対応する音源だけが鳴っている状態」を表わしている。分離行列の逆行列は空間の伝達関数を表わすため、結果として式［４．１］は「Ｙｋ（ω，ｔ）に対応する音源だけが鳴っている状態で、各マイクが観測する信号」を求める式になっている。

式［４．１］は、式［４．２］のように変形できる。ただしＢ_ｉｋ（ω）は、分離行列Ｗ（ω）の逆行列であるＢ（ω）の各要素である（式［４．３］）。
また、
ｄｉａｇ（・）
は、カッコ内の要素を対角要素とする対角行列を表わす。

一方、分離結果、Ｙ１（ω，ｔ）〜Ｙｎ（ω，ｔ）をマイクｋに射影する式は、式［４．４］である。すなわち、分離結果のベクトルＹ（ω，ｔ）に射影の係数の行列ｄｉａｇ（Ｂ１ｋ（ω），...，Ｂｎｋ（ω））を乗じることで、射影が行われるのである。

［従来技術の問題点］
しかしながら、上記の式［４．１］へ式［４．４］に従った射影処理は、ＩＣＡで使用しているマイクへの射影であり、ＩＣＡで使用していないマイクへは射影できない。そのため、ＩＣＡで使用しているマイクやその配置がその他の処理にとって最適ではない場合に、問題が発生する可能性がある。以下では、その例として次の２点について言及する。
（１）指向性マイクの使用
（２）音源方向推定や音源位置推定との併用

（１）指向性マイクの使用
ＩＣＡで複数のマイクを使用する理由は、複数音源の混合の度合いの異なる観測信号を複数、得るためである。その際、混合の度合いが各マイク間で大きく異なる方が、分離にも学習にも都合が良い。すなわち、分離結果における目的信号と消し残りの妨害音との比率（Ｓｉｇｎａｌ−ｔｏ−Ｉｎｔｅｒｆｅｒｅｎｃｅ Ｒａｔｉｏ：ＳＩＲ）を高くすることができる上に、分離行列を求める学習処理も、少ない回数で収束する。

そのような、混合度合いが大きく異なる観測信号を得るために、指向性マイクを使う方法が提案されている。例えば、特許文献３（特開２００７−２９５０８５号公報）に記載がある。すなわち、特定の方向の感度が高い（または低い）マイクを用いることで、混合度合いを異ならせる手法である。

しかし、指向性マイクで観測した信号に対してＩＣＡを行ない、その分離結果を指向性マイクへ射影すると、問題が生じる。それは、指向性マイクの指向性は周波数によって異なるため、分離結果の音が歪む（原信号の周波数バランスと異なったものになる）可能性があることである。この問題について、図３を用いて説明する。

図３は、簡単な指向性マイク３００の構成例を示す図である。指向性マイク３００は、２つの集音素子３０１，３０２が距離ｄほど離れて配置された構成を持つ。集音素子３０１，３０２各々で観測された信号中、一方の周音素子、図に示す例では周音素子３０２の観測信号に対して、所定の遅延（Ｄ）を発生させる遅延処理部３０３と、所定のゲイン（ａ）を作用させる混合ゲイン制御部３０４を通過させる。このような遅延信号と、集音素子３０１の観測信号を加算部３０５において混合すると、方向によって感度の異なる信号３０６を生成することができる。指向性マイク３００は、例えばこのような構成によって、特定方向の音への感度を高めた、いわゆる指向性を実現している。

図３に示す指向性マイク３００の構成において、遅延Ｄ＝ｄ／Ｃ（Ｃは音速）、混合ゲインａ＝−１とすると、マイクの右側から到来する音に対しては相殺される一方で、左側から到来する音に対しては強調されるような指向性が形成される。ｄ＝０．０４［ｍ］、Ｃ＝３４０［ｍ／ｓ］として、指向性（到来方向と出力ゲインとの関係）を４つの周波数（１００Ｈｚ，１０００Ｈｚ，３０００Ｈｚ，６０００Ｈｚ）についてプロットした結果を図４に示す。ただしこの図では、左側から到来する音の出力ゲインがちょうど１となるように、周波数ごとにスケールを調整してある。また、図４に示す集音素子４０１，４０２は、図３に示す集音素子３０１，３０２と同一であるものとする。

この図４に示すように、２つの集音素子４０１，４０２の配列方向に相当する左側（指向性マイクの前方）から到来する音（音Ａ）については、各周波数（１００〜６００Ｈｚ）で出力ゲインが１でそろっており、また、２つの集音素子４０１，４０２の配列方向に相当する右側（指向性マイクの後方）から到来する音（音Ｂ）については、出力ゲインが０でそろっている。しかし、それ以外の方向については、周波数が変化すると出力ゲインが異なる。

また、音の波長がマイク間隔：ｄの２倍より短い周波数の場合（ｄ＝０．０４［ｍ］，Ｃ＝３４０［ｍ／ｓ］の場合なら、４２５０［Ｈｚ］以上の周波数）では、空間エリアシングという現象が発生するため、右側以外にも感度の低い方向が形成される。例えば、図４において、６０００Ｈｚに対応した指向性のプロットを見ると、音Ｃのような斜め方向からの音に対して出力ゲインが０となる。このように、所定の方向以外にも、特定周波数の音の検出が不可能になる観測領域が発生する。

図１４において右方向に死角が存在することは、次のような問題を発生させる。すなわち、図３で示される指向性マイク（２つの集音素子で１つのマイクと見なす）を複数用いて観測信号を取得し、それをＩＣＡで分離し、さらに分離結果をこの指向性マイクへ射影するという使い方を考えると、このマイクに対して右側に存在する音源（音Ｂ）に対応した分離結果については、射影結果はほぼ無音となってしまう。

また、音Ｃの方向のゲインが周波数によって大きく異なることは、次のような問題を発生させる。すなわち、音Ｃに対応する分離結果を図１４の指向性マイクへ射影すると、３０００Ｈｚの成分は、１００Ｈｚや１０００Ｈｚの成分と比較して強調される一方、６０００Ｈｚの成分については抑圧された信号が生成されてしまう。

特許文献３（特開２００７−２９５０８５号公報）に記載の構成は、前方指向性を持つマイクを放射状に配置し、各音源に最も近い方向を向いたマイクを事前に選択することで、結果として周波数成分の歪みの問題を回避している。しかし、歪みの影響を小さくすることと、混合度合いの大きく異なる観測信号を取得することとを両立させるためには、鋭い指向性を前方に持つマイクをできる限り多くの方向に向けて設置する必要がある。

（２）音源方向推定や音源位置推定との併用
音源方向推定とは、マイクに対して音がどの方向から到来するか（Ｄｉｒｅｃｔｉｏｎ ｏｆ Ａｒｒｉｖａｌ：ＤＯＡ）を推定することである。また、方向だけでなく音源の位置も特定することを、音源位置推定と呼ぶ。方向推定や位置推定は、複数のマイクを用いるという点ではＩＣＡと共通点があるが、それらに最適なマイク配置は、ＩＣＡに最適なマイク配置と必ずしも一致しない。そのため、音源分離と方向推定（または位置推定）との両方を行なうシステムにおいては、マイクの配置にジレンマが発生する場合がある。

以下では、音源方向推定と位置推定の方法について説明した後、ＩＣＡと組み合わせた場合の問題点について述べる。

図５を参照して、ＩＣＡの分離結果を各マイクに射影してから音源方向を推定する方法について説明する。なお、この手法は、特許第３８８１３６７号に記載の方法と同一である。

２つのマイク５０２，５０３が間隔ｄで設置されている環境を考える。複数音源の混合信号からの分離処理によって得られた１つの音源の分離結果を、図５に示す分離結果Ｙｋ（ω，ｔ）５０１とする。この分離結果Ｙｋ（ω，ｔ）５０１を図５に示すマイクｉ５０２とマイクｉ'５０３へ射影した結果を、それぞれＹｋ^［ｉ］（ω，ｔ），Ｙｋ^［ｉ'］（ω，ｔ）とする。マイク間距離ｄ_ｉｉ'に比べて音源とマイク間の距離が十分大きい場合、音波は平面波であると近似できるため、音源Ｙｋ（ω，ｔ）からマイクｉまでの距離と同音源からマイクｉ'までの距離との差は、ｄ_ｉｉ'ｃｏｓθ_ｋｉｉ'と表すことができる。図５に示す経路差５０５である。ただし、θ_ｋｉｉ'は、音源の方向、すなわち、両マイクを結ぶ線分と、音源からマイク間中点への線分とがなす角度である。

音源方向θ_ｋｉｉ'を求めるためには、射影結果であるＹｋ^［ｉ］（ω，ｔ）とＹｋ^［ｉ'］（ω，ｔ）との位相差を求めれば良い。射影結果であるＹｋ^［ｉ］（ω，ｔ）とＹｋ^［ｉ'］（ω，ｔ）との関係は、以下に示す式［５．１］によって示される。位相差算出式は、以下に示す式［５．２］および式［５．３］によって示される。

ただし、
ａｎｇｌｅ（）は複素数の位相を表わし、
ａｃｏｓ（）はｃｏｓ（）の逆関数を表わす。

射影を先に説明した式［４．１］で行なう限り、この位相差はフレーム番号ｔには依らず、分離行列Ｗ（ω）にのみ依存した値となるため、音源方向θ_ｋｉｉ'を計算する式は、式［５．４］のように表わすことができる。

一方、本願と同一出願人の先の出願である特願２００８−１５３４８３においては、逆行列を用いずに音源方向を計算する方法を説明している。観測信号Ｘ（ω，ｔ）と分離結果Ｙ（ω，ｔ）との共分散行列Σ_ＸＹ（ω）は、音源方向の算出においては分離行列の逆行列であるＷ（ω）^−１と似た性質を持っている。したがって、共分散行列Σ_ＸＹ（ω）を、以下に示す式［６．１］または式［６．２］で計算すると、音源方向θ_ｋｉｉ'を式［６．４］で計算することが可能となる。ただし、σ_ｉｋ（ω）はΣ_ＸＹ（ω）の成分である。この式を用いることで、逆行列の計算が不要になるだけでなく、リアルタイムで動くシステムにおいては、ＩＣＡの分離行列よりも細かい間隔で（最小で１フレームごとに）音源方向を更新することが可能となる。

次に、音源方向から音源の位置を推定する方法について説明する。基本的な考えは、複数のマイクペアについて音源方向が求まれば、三角測量の要領で音源位置が求まるというものである。三角測量による音源位置推定については、たとえば特許文献４（特開２００５−４９１５３号公報）などを参照されたい。以下では、図６を用いて、簡単に説明する。

マイク６０２，６０３は、図５のマイク５０２，５０３と同一である。このマイクペア６０４に対して音源方向θ_ｋｉｉ'が求まったとする。そして、両マイクの中点を頂点とし、頂点の角度の半分がθ_ｋｉｉ'である円錐６０５を考えると、音源はその円錐の表面のどこかに存在する。マイクペアごとに同様の円錐６０５〜６０７を求め、それらの円錐の交点（または円錐の表面同士が最も接近する点）を求めると、そこが音源位置であると推定できる。この手法が三角測量による音源位置推定方法である。

ここで、ＩＣＡと、音源方向推定・位置推定とのマイク配置に関する問題点について説明する。大きく分けて、以下の３点である。
ａ） マイクの本数
ｂ） マイクの間隔
ｃ） 位置の変化するマイク

ａ）マイクの本数
音源方向推定や位置推定の計算量と、ＩＣＡの計算量とを比較すると、ＩＣＡの計算量の方がずっと大きい。また、ＩＣＡの計算量はマイク数ｎの２乗に比例するため、計算量の上限からマイクの本数が制限される場合もある。その結果、特に音源位置推定に必要な本数のマイクを確保できないこともありうる。たとえば、マイク数＝２の場合、２音源までの分離は可能であり、さらに各音源が特定の円錐の表面に存在しているということまでは推定可能だが、音源の位置は特定できない。

ｂ）マイクの間隔
音源位置推定において、位置を高い精度で推定するためには、マイクペア同士をある程度、例えば音源とマイク間の距離と同程度のオーダーで離すことが望ましい。また、逆に、マイクペアを構成する２つのマイクについては、平面波仮定が成立する程度に接近している方が望ましい。

しかし、ＩＣＡにとっては、間隔の離れたマイクを用いることが分離精度の点からは不利となる場合もある。以下は、その点について説明する。

時間周波数領域のＩＣＡでの分離は、妨害音の方向に死角（ｎｕｌｌ ｂｅａｍ：ゲインが０になる方向）を形成することによって実現されていることが知られている。たとえば、図１の環境において、音源１を分離・抽出する分離行列は、妨害音である音源２〜音源Ｎの方向に死角を形成することで、結果として、目的音である音源１の方向の信号のみを残している。

死角の個数は、低い周波数ではｎ−１まで形成可能（ｎはマイク数）であるが、Ｃ／（２ｄ）（Ｃは音速、ｄはマイク間隔）を超える周波数においては、空間エリアシングと呼ばれる現象により、所定外の方向にも死角が形成される。例えば図４の６０００Ｈｚの指向性プロットを見ると、図４に示す集音素子配列方向の右側（指向性マイクの後方）の音（音Ｂ）以外に、（音Ｃ）のように斜め方向にも死角が形成されている。これと同様の現象が、分離行列に対しても発生する。マイク間隔ｄが大きくなるほど、低い周波数から空間エリアシングが発生し始めるようになり、また、高い周波数では所定外の死角が複数形成されるようになる。所定外の死角の方向がたまたま目的音の方向と一致した場合は、分離の精度が低下してしまう。

したがって、ＩＣＡで用いるマイクの間隔や配置は、どの程度の高さの周波数まで高精度に分離したいかによって決める必要があり、音源位置推定の精度を確保するための配置とは矛盾する場合もあり得る。

ｃ）位置の変化するマイク
音源方向推定や位置推定では、少なくともマイク同士の相対的な位置関係の情報が既知である必要がある。さらに、位置推定において、マイクから音源への相対的な位置だけでなく、固定された原点（例えば、部屋の隅を原点とする）からの絶対座標も推定する場合は、マイク自体の絶対座標も必要となる。

一方、ＩＣＡの分離においては、マイクの位置情報は不要である。（マイク配置によって分離の精度は変わるが、分離や学習の式にマイクの位置情報が含まれているわけではない。）そのため、ＩＣＡで使用しているマイクが音源方向推定や位置推定で使用できない場合もあり得る。例えば、テレビに音源分離と音源位置推定の機能を組み込み、ユーザーの声を抽出したり位置を推定したりする場合を考える。その音源位置がテレビ匡体のある一点（例えば画面の中心）を原点とする座標で表現されるとすると、位置推定で使用する各マイクは、原点からの座標が既知である必要がある。例えば、匡体に固定されたマイクであれば、位置は既知である。

一方、音源分離の観点からは、マイクをできるかぎりユーザーに近づけた方が、分離しやすい観測信号が得られる。そのため、マイクはたとえばリモコン上に設置する方が、匡体に設置するよりも望ましい場合もある。しかし、リモコン上のマイクの絶対位置を取得することができない場合は、リモコン上のマイクに由来する分離結果から音源位置を求めることはできない。

上述したように、従来の音源分離処理として独立成分分析（ＩＣＡ：Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）を行う場合、ＩＣＡに最適なマイク配置の下で、複数の指向性マイクを利用した設定で行われることがある。

しかし、前述したように、指向性マイクを利用した処理結果として得られる分離結果を指向性マイクへ射影すると、図４を参照して説明したように指向性マイクの指向性が周波数によって異なるため、分離結果の音が歪むという問題が発生する。
また、ＩＣＡに最適なマイク配置は、音源分離には最適な配置であっても、音源方向推定や音源位置推定に不適切な配置となる場合もある。従って、複数のマイクを複数の位置に設定してＩＣＡと音源方向推定や音源位置推定処理を併せて行った場合、音源分離処理、または音源方向や位置推定処理のいずれかの処理の処理精度が低下してしまうという問題がある。

特開２００６−２３８４０９号公報 特開２００６−１５４３１４号公報 特開２００７−２９５０８５号公報 特開２００５−４９１５３号公報

『入門・独立成分分析』（村田昇著、東京電機大学出版局） 『詳解 独立成分分析』の「１９．２．４．フーリエ変換法」 ［Ｎｏｂｏｒｕ Ｍｕｒａｔａ ａｎｄ Ｓｈｉｒｏ Ｉｋｅｄａ， "Ａｎ ｏｎ−ｌｉｎｅ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｂｌｉｎｄ ｓｏｕｒｃｅ ｓｅｐａｒａｔｉｏｎ ｏｎ ｓｐｅｅｃｈ ｓｉｇｎａｌｓ．" Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ １９９８ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｎｏｎｌｉｎｅａｒ Ｔｈｅｏｒｙ ａｎｄ ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎｓ （ＮＯＬＴＡ’９８）， ｐｐ．９２３−９２６， Ｃｒａｎｓ−Ｍｏｎｔａｎａ， Ｓｗｉｔｚｅｒｌａｎｄ， Ｓｅｐｔｅｍｂｅｒ １９９８ （ｈｔｔｐ：／／ｗｗｗ．ｉｓｍ．ａｃ．ｊｐ／〜ｓｈｉｒｏ／ｐａｐｅｒｓ／ｃｏｎｆｅｒｅｎｃｅｓ／ｎｏｌｔａ１９９８．ｐｄｆ）］ ［Ｍｕｒａｔａ他： "Ａｎ ａｐｐｒｏａｃｈ ｔｏ ｂｌｉｎｄ ｓｏｕｒｃｅ ｓｅｐａｒａｔｉｏｎ ｂａｓｅｄ ｏｎ ｔｅｍｐｏｒａｌ ｓｔｒｕｃｔｕｒｅ ｏｆ ｓｐｅｅｃｈ ｓｉｇｎａｌｓ"， Ｎｅｕｒｏｃｏｍｐｕｔｉｎｇ， ｐｐ．１．２４， ２００１． ｈｔｔｐ：／／ｃｉｔｅｓｅｅｒｘ．ｉｓｔ．ｐｓｕ．ｅｄｕ／ｖｉｅｗｄｏｃ／ｄｏｗｎｌｏａｄ？ｄｏｉ＝１０．１．１．４３．８４６０＆ｒｅｐ＝ｒｅｐ１＆ｔｙｐｅ＝ｐｄｆ］

本発明は、例えば、音源分離処理を独立成分分析（Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ；ＩＣＡ）に適したマイク設定でＩＣＡによる音源分離処理を実行し、かつ、その他の処理、例えばＩＣＡに適用したマイク位置以外の位置への射影処理や、音源方向推定や音源位置推定処理を高精度に行うことを可能とする信号処理装置、および信号処理方法、並びにプログラムを提供することを目的とする。

本発明は、例えばＩＣＡによる音源分離処理に最適な指向性マイクを用い、ＩＣＡに最適な配置でＩＣＡ処理を行った場合においても、任意位置のマイクへの射影処理を高精度に実現する。さらに、ＩＣＡに最適な環境で音源方向推定や音源位置推定処理についても高精度に行うことを可能とする信号処理装置、および信号処理方法、並びにプログラムを提供することを目的とする。

本発明の第１の側面は、
音源分離用マイクが取得した複数音源の混合信号に基づいて生成される観測信号に対して、独立成分分析（ＩＣＡ：Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）を適用して前記混合信号の分離処理を行い、各音源対応の分離信号を生成する音源分離部と、
射影先マイクの観測信号と、前記音源分離部の生成した分離信号を入力し、前記射影先マイクが取得する前記各音源対応の分離信号である射影信号を生成する信号射影部を有し、
前記信号射影部は、前記音源分離用マイクとは異なる射影先マイクの観測信号を入力して前記射影信号を生成する信号処理装置にある。

さらに、本発明の信号処理装置の一実施態様において、前記音源分離部は、前記音源分離用マイクの取得信号を時間周波数領域に変換した観測信号に対して独立成分分析（ＩＣＡ）を実行して時間周波数領域の各音源対応の分離信号を生成し、前記信号射影部は、時間周波数領域の分離信号に射影係数を乗じて算出する各音源対応の射影信号の総和と、前記射影先マイクの観測信号との誤差を最小にする射影係数を算出し、算出した射影係数を前記分離信号に乗じて射影信号を算出する。

さらに、本発明の信号処理装置の一実施態様において、前記信号射影部は、前記誤差を最小にする射影係数の算出処理に最小二乗近似を適用する。

さらに、本発明の信号処理装置の一実施態様において、前記音源分離部は、複数の指向性マイクによって構成された音源分離用マイクの取得信号を入力して、各音源対応の分離信号を生成する処理を実行し、前記信号射影部は、無指向性マイクである射影先マイクの観測信号と、前記音源分離部の生成した分離信号を入力し、無指向性マイクである射影先マイクに対する射影信号を生成する。

さらに、本発明の信号処理装置の一実施態様において、前記信号処理装置は、さらに、複数の無指向性マイクによって構成された音源分離用マイクの取得信号を入力し、２つの無指向性マイクによって構成されるマイクペアの一方のマイクの位相を、前記マイクペアのマイク間距離に応じて遅らせて仮想的な指向性マイクの出力信号を生成する指向性形成部を有し、前記音源分離部は、前記指向性形成部の生成した出力信号を入力して前記分離信号を生成する。

さらに、本発明の信号処理装置の一実施態様において、前記信号処理装置は、さらに、前記信号射影部において生成された射影信号を入力し、複数の異なる位置の射影先マイクの射影信号の位相差に基づいて音源方向の算出処理を行う音源方向推定部を有する。

さらに、本発明の信号処理装置の一実施態様において、前記信号処理装置は、さらに、前記信号射影部において生成された射影信号を入力し、複数の異なる位置の射影先マイクの射影信号の位相差に基づいて音源方向の算出処理を行い、さらに、複数の異なる位置の射影先マイクの射影信号によって算出された音源方向の組み合わせデータに基づいて音源位置を算出する音源位置推定部を有する。

さらに、本発明の信号処理装置の一実施態様において、前記信号処理装置は、さらに、前記信号射影部において生成された射影係数を入力して、該射影係数を適用した演算を実行して音源方向または音源位置の算出処理を行う音源方向推定部を有する。

さらに、本発明の信号処理装置の一実施態様において、前記信号処理装置は、さらに、前記射影先マイクに対応する位置に設定された出力デバイスと、前記出力デバイスの位置に対応する射影先マイクの射影信号を出力する制御を行う制御部を有する。

さらに、本発明の信号処理装置の一実施態様において、前記音源分離部は、少なくとも一部が異なる音源分離用マイクによって取得された信号を入力して分離信号を生成する複数の音源分離部によって構成され、前記信号射影部は、前記複数の音源分離部の生成した個別の分離信号と、射影先マイクの観測信号を入力して音源分離部対応の複数の射影信号を生成し、生成した複数の射影信号を合成して前記射影先マイクに対応する最終的な射影信号を生成する。

さらに、本発明の第２の側面は、
信号処理装置において実行する信号処理方法であり、
音源分離部が、音源分離用マイクが取得した複数音源の混合信号に基づいて生成される観測信号に対して、独立成分分析（ＩＣＡ：Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）を適用して前記混合信号の分離処理を行い、各音源対応の分離信号を生成する音源分離ステップと、
信号射影部が、射影先マイクの観測信号と、前記音源分離部の生成した分離信号を入力し、前記射影先マイクが取得する前記各音源対応の分離信号である射影信号を生成する信号射影ステップを有し、
前記信号射影ステップは、前記音源分離用マイクとは異なる射影先マイクの観測信号を入力して前記射影信号を生成する信号処理方法にある。

さらに、本発明の第３の側面は、
信号処理装置において信号処理を実行させるプログラムであり、
音源分離部に、音源分離用マイクが取得した複数音源の混合信号に基づいて生成される観測信号に対して、独立成分分析（ＩＣＡ：Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）を適用して前記混合信号の分離処理を行い、各音源対応の分離信号を生成させる音源分離ステップと、
信号射影部に、射影先マイクの観測信号と、前記音源分離部の生成した分離信号を入力し、前記射影先マイクが取得する前記各音源対応の分離信号である射影信号を生成させる信号射影ステップを有し、
前記信号射影ステップは、前記音源分離用マイクとは異なる射影先マイクの観測信号を入力して前記射影信号を生成させるステップであるプログラムにある。

なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な各種の情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体などによって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、各種の情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の一実施例によれば、音源分離用マイクが取得した複数音源の混合信号に基づく観測信号に対して独立成分分析（ＩＣＡ：Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）を適用して混合信号の分離処理を行い、各音源対応の分離信号を生成する。次に、生成した分離信号と、音源分離用マイクとは異なる射影先マイクの観測信号を入力し、これらの入力信号を適用して射影先マイクが取得すると推定される各音源対応の分離信号である射影信号を生成する。さらに、射影信号による出力デバイスに対する音声データの出力、あるいは音源方向または位置の推定などを可能とするものである。

Ｎ個の音源から異なる音が鳴っていて、それらをｎ個のマイクで観測するという状況について説明する図である。 周波数ビンにおける分離（図２（Ａ））と、全周波数ビンの分離処理（図２（Ｂ））について説明する図である。 簡単な指向性マイクの構成例を示す図である。 指向性（到来方向と出力ゲインとの関係）を４つの周波数（１００Ｈｚ，１０００Ｈｚ，３０００Ｈｚ，６０００Ｈｚ）についてプロットした結果を示す図である。 ＩＣＡの分離結果を各マイクに射影してから音源方向を推定する方法について説明する図である。 三角測量による音源位置推定について説明する図である。 本発明の実施例１に係る信号処理装置の構成を示す図である。 図７に示す信号処理装置７００の指向性マイク７０１と無指向性マイク７０２の配置例について説明する図である。 本発明の実施例２に係る信号処理装置の構成を示す図である。 図９に示す信号処理装置９００の構成に対応したマイク配置の例と、マイクの指向性の形成方法について説明する図である。 本発明の実施例３に係る信号処理装置の構成を示す図である。 図１１に示す信号処理装置１１００の構成に対応したマイク配置の例について説明する図である。 図１１に示す信号処理装置１１００の構成に対応したマイク配置の例について説明する図である。 音源分離部の一構成例を示す図である。 信号射影部の構成例を示す図である。 信号射影部の構成例を示す図である。 音源分離用マイクの取得データに基づく分離結果を適用して射影先マイクへの射影処理を行う際の処理シーケンスを説明するフローチャートを示す図である。 分離結果の射影と音源方向推定（または位置推定）を併せて行う処理のシーケンスについて説明するフローチャートを示す図である。 音源分離処理のシーケンスについて説明するフローチャートを示す図である。 射影処理のシーケンスについて説明するフローチャートを示す図である。 本発明の信号処理装置の実施例４のマイクおよび出力デバイスの第１の配置例を示す図である。 本発明の信号処理装置の実施例４のマイクおよび出力デバイスの第２の配置例を示す図である。 複数の音源分離システムを有する信号処理装置構成を示す図である。 複数の音源分離システムを有する信号処理装置の処理例について説明する図である。

以下、図面を参照しながら本発明の信号処理装置、および信号処理方法、並びにプログラムの詳細について説明する。説明は、以下の項目に従って行う。
１．本発明の処理の概要
２．ＩＣＡの適用マイクとは異なるマイクへの射影処理とその原理について
３．ＩＣＡの適用マイクとは異なるマイクへの射影処理の処理例（実施例１）
４．無指向性マイクを複数用いて仮想的な指向性マイクを構成した実施例（実施例２）
５．音源分離処理の分離結果の射影処理と、音源方向推定または位置推定とを併せて行う処理例（実施例３）
６．本発明の信号処理装置を構成するモジュールの構成例について
７．信号処理装置の実行する処理シーケンスについて
８．本発明の信号処理装置のその他の実施例
８．１．信号射影部の射影係数行列Ｐ（ω）算出処理における逆行列演算を省略した実施例
８．２．音源分離処理による分離結果を、特定の配置のマイクへ射影する処理を行う実施例（実施例４）
８．３．複数の音源分離システムを適用した実施例（実施例５）
９．本発明の信号処理装置の特徴および効果についてのまとめ

［１．本発明の処理の概要］
前述したように、従来の音源分離処理として独立成分分析（ＩＣＡ：Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）を行う場合、ＩＣＡに最適なマイク配置の下で、複数の指向性マイクを利用した設定で行うことが好ましい。
しかし、
（１）指向性マイクを利用した処理結果として得られる分離結果である分離信号を指向性マイクへ射影すると、図４を参照して説明したように指向性マイクの指向性が周波数によって異なるため、分離結果の音が歪むという問題が発生する。また、
（２）ＩＣＡに最適なマイク配置は、音源分離には最適な配置であっても、音源方向推定や音源位置推定には不適切な配置となる場合も多い。
このように、ＩＣＡに最適なマイクと位置に設定したＩＣＡ処理と、他の処理をいずれも構成度に行うことは困難となるという問題がある。

本発明は、ＩＣＡによって生成した音源分離結果を、ＩＣＡで使用していないマイクの位置へ射影することを可能として、上記の問題点を解決する。
すなわち、（１）の指向性マイクの問題については、指向性マイクに由来する分離結果を、無指向性マイクへ射影すればよい。また、（２）のＩＣＡと音源方向・位置推定とのマイク配置の矛盾も、ＩＣＡに適したマイク配置で分離結果を生成し、それを音源方向・位置推定に適した配置のマイク（または、位置の分かっているマイク）へ射影すれば解決する。
このように、本発明は、ＩＣＡの適用マイクとは異なるマイクへ射影することを可能とする構成を持つ。

［２．ＩＣＡの適用マイクとは異なるマイクへの射影処理とその原理について］
まず、ＩＣＡの適用マイクとは異なるマイクへ射影する処理とその原理について説明する。

ＩＣＡで使用するマイクで観測された信号を時間周波数領域に変換したデータをＸ（ω，ｔ）、その分離結果（分離信号）をＹ（ω，ｔ）とする。これらは、先に説明した数式［２．１］〜［２．７］で示される従来法と同一である。すなわち、
観測信号の時間周波数領域変換データ：Ｘ（ω，ｔ）、
分離結果：Ｙ（ω，ｔ）
分離行列：Ｗ（ω）
とした場合、
Ｙ（ω，ｔ）＝Ｗ（ω）Ｘ（ω，ｔ）
の関係がある。なお、分離結果Ｙ（ω，ｔ）は、リスケーリング前のものでもリスケーリング後のものでも構わない。

次に、ＩＣＡの分離結果を利用して任意位置のマイクに射影する処理を行う。なお、前述したように、ＩＣＡ分離結果をマイクに射影（ｐｒｏｊｅｃｔｉｏｎ ｂａｃｋ）する処理は、ある位置に設定したマイクの集音信号を解析し、その集音信号から各原信号に由来する成分を求める処理である。ある原信号に由来する成分とは、仮に音源が一つだけしか鳴っていないときにマイクで観測される信号に等しい。

射影処理は、射影先マイクの観測信号と、音源分離処理によって生成された分離結果（分離信号）を入力して、射影先マイクが取得する各音源対応の分離信号である射影信号（射影結果）を生成する処理として行われる。

射影先のマイクの一つで観測された観測信号（時間周波数領域版）をＸ'ｋ（ω，ｔ）とする。射影先のマイクの個数をｍとし、各マイク１〜ｍの観測信号（時間周波数領域版）をＸ'１（ω，ｔ）〜Ｘ'ｍ（ω，ｔ）を要素とするベクトルを、以下の式［７．１］に示すベクトル：Ｘ'（ω，ｔ）とする。

ベクトル：Ｘ'（ω，ｔ）の要素は、ＩＣＡで使用しないマイクだけから構成されていても良いし、ＩＣＡで使用するマイクが混在していても構わない。ただし、ＩＣＡで使用しないマイクを少なくとも一つ含む。なお、従来の処理法は、ＩＣＡで使用するマイクだけからＸ'（ω，ｔ）が構成されている場合に相当する。

なお、ＩＣＡで指向性マイクを用いる場合、指向性マイクの出力は「ＩＣＡで使用するマイク」に含まれるが、指向性マイクを構成する各集音素子は「ＩＣＡで使用しないマイク」として扱うことができる。たとえば図３を参照して説明した指向性マイク３００をＩＣＡにおいて利用する場合、指向性マイク３００の出力３０６は、観測信号（時間周波数領域版）Ｘ（ω，ｔ）の要素であるが、集音素子３０１または集音素子３０２各々において個別に観測された信号自体は、「ＩＣＡで使用しないマイク」の観測信号Ｘ'ｋ（ω，ｔ）として用いることができる。

分離結果Ｙｋ（ω，ｔ）を、「ＩＣＡで使用しないマイク」（以降、マイクｉ）へ射影した結果、すなわち射影結果（射影信号）をＹｋ^［ｉ］（ω，ｔ）と表記する。なお、マイクｉの観測信号はＸ'ｉ（ω，ｔ）である。
ＩＣＡによる分離結果（分離信号）Ｙｋ（ω，ｔ）のマイクｉへの射影結果（射影信号）Ｙｋ^［ｉ］（ω，ｔ）は以下の手順で計算することができる。

ＩＣＡによる分離結果Ｙｋ（ω，ｔ）からマイクｉへの射影の係数をＰ_ｊｋ（ω）とすると、射影は、前記の式［７．２］で表すことができる。ここで、係数Ｐ_ｊｋ（ω）を求めるには、最小二乗近似を行なえば良い。すなわち、各分離結果からマイクｉへの射影結果を総和した信号を用意し（式［７．３］）、それとマイクｉの観測信号との平均二乗誤差（式［７．４］）が最小になるように係数を決めれば良い。

前述したように、音源分離処理においては、音源分離用マイクの取得信号を時間周波数領域に変換した観測信号に対して独立成分分析（ＩＣＡ）を実行して時間周波数領域の各音源対応の分離信号を生成している。信号射影処理では、この時間周波数領域の分離信号に射影係数を乗じて各音源対応の射影信号を算出することになる。

この射影係数Ｐ_ｊｋ（ω）は、各音源対応の射影信号の総和と、射影先マイクの観測信号との誤差を最小にする射影係数として算出する。この射影係数の算出処理には、例えば最小二乗近似を適用することができる。各分離結果からマイクｉへの射影結果を総和した信号を用意し（式［７．３］）、それとマイクｉの観測信号との平均二乗誤差（式［７．４］）が最小になるように係数を決めれば良い。算出した射影係数を分離信号に乗じることで射影結果（射影信号）を算出することができる。

具体的な処理について説明する。射影の係数からなる行列をＰ（ω）とする（式［７．５］）。Ｐ（ω）は、式［７．６］で計算できる。または、先に説明した式［３．１］の関係を用いて変形した式［７．７］を用いてもよい。

Ｐ_ｊｋ（ω）が求まったため、式［７．２］を用いて射影結果を計算することができる。あるいは、式［７．８］または式［７．９］を用いてもよい。
式［７．８］は、分離結果の１チャンネル分を各マイクへ射影する式、
式［７．９］は、各分離結果を特定のマイクへ射影する式である。
さらに式［７．９］は、射影の係数を反映させた新たな分離行列Ｗ^［ｋ］（ω）を用意することで（式［７．１１］）、式［７．１０］のようにも表せる。すなわち、射影前の分離結果Ｙ（ω，ｔ）を生成することなく、射影後の分離結果Ｙ'（ω，ｔ）を観測信号Ｘ（ω，ｔ）から直接生成することも可能である。

なお、式［７．７］において、
Ｘ'（ω，ｔ）＝Ｘ（ω，ｔ）
とすると、すなわち、ＩＣＡで使用しているマイクのみへ射影すると、Ｐ（ω）はＷ（ω）^−１と同一となる。つまり、従来法の射影ＳＩＭＯ（Ｐｒｏｊｅｃｔｉｏｎ−ｂａｃｋ ＳＩＭＯ）は、本発明で用いている方法の特別な場合に相当する。

ＩＣＡに適用したマイクからどの程度離れたマイクに射影できるかは、短時間フーリエ変換の１フレームに相当する時間に音がどれだけの距離を移動できるかによる。たとえば、１６ｋＨｚでサンプリングした観測信号を５１２ポイントのフレームで短時間フーリエ変換した場合、１フレームは、
５１２／１６０００＝０．０３２秒
である。
音速を音速Ｃ＝３４０［ｍ／ｓ］とすると、この時間［０．０３２秒］で音は約１０ｍ移動する。従って、本発明の方法を用いれば、ＩＣＡに適用したマイクから約１０ｍ程度離れたマイクへの射影が可能となる。

なお、射影係数行列Ｐ（ω）（式［７．５］）は、式［７．６］、または、式［７．７］を用いて計算することができるが、これらの式［７．６］、または、式［７．７］には逆行列が含まれ、計算量が大きくなる。この計算量の削減のために、以下の式［８．１］または式［８．２］を用いて射影係数行列Ｐ（ω）を算出する構成としてもよい。

なお、上記式［８．１］〜［８．４］用いた処理については、後段の［８．本発明の信号処理装置のその他の実施例］の項目において詳しく説明する。

［３．ＩＣＡの適用マイクとは異なるマイクへの射影処理の処理例（実施例１）］
次に、図７〜図１０を参照して本発明の実施例１について説明する。
実施例１は、ＩＣＡの適用マイクとは異なるマイクへの射影処理を行う実施例である。

図７は、本発明の実施例１に係る信号処理装置の構成を示す図である。図７に示す信号処理装置７００は独立成分分析（ＩＣＡ：Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）による音源分離処理に適用するマイクを指向性マイクとしている。指向性マイクで観測した信号で音源分離処理を行ない、その結果を無指向性マイクへ射影する処理を行う信号処理装置である。

マイクロホンは、音源分離の入力として用いる複数の指向性マイクロホン７０１と、射影先として用いる１以上の無指向性マイクロホン７０２からなる。マイクロホンの配置については後述する。各マイクロホンは、ＡＤ変換・ＳＴＦＴ部７３に接続され、そこでサンプリング（ＡＤ変換）と短時間フーリエ変換（Ｓｈｏｒｔ−ｔｉｍｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ：ＳＴＦＴ）とが行なわれる。

信号の射影には、各マイクで観測される信号の位相差が重要な意味を持つため、各ＡＤ変換・ＳＴＦＴ部７０３において実行するＡＤ変換は共通のクロックでサンプリングを行う必要がある。そのため、クロック供給部７０４でクロックを生成し、生成したクロック信号を、各マイクの入力信号の処理を行うそれぞれのＡＤ変換・ＳＴＦＴ部７０３へ入力し、それぞれのＡＤ変換・ＳＴＦＴ部７０３において実行するサンプリング処理の同期化を実行する。ＡＤ変換・ＳＴＦＴ部７０３において短時間フーリエ変換（ＳＴＦＴ）が行なわれた後の信号は、周波数領域の信号、すなわちスペクトログラムである。

音源分離処理に適用する音声信号を取得する複数の指向性マイクロホン７０１の観測信号は、ＡＤ変換・ＳＴＦＴ部７０３ａ１〜７０３ａｎに入力され、ＡＤ変換・ＳＴＦＴ部７０３ａ１〜７０３ａｎは入力信号に基づいて観測信号スペクトログラムを生成して音源分離部７０５に入力する。

音源分離部７０５では、ＩＣＡの技術を用いて、指向性マイクに由来する観測信号スペクトログラムから、各音源に対応した分離結果スペクトログラムと、そのような分離結果を生成する分離行列とを生成する。詳細は後述する。この段階の分離結果は、マイクへの射影が行なわれる前のものである。

一方、射影先として用いる１以上の無指向性マイクロホン７０２の観測信号はＡＤ変換・ＳＴＦＴ部７０３ｂ１〜７０３ｂｍに入力され、ＡＤ変換・ＳＴＦＴ部７０３ｂ１〜７０３ｂｍは入力信号に基づいて観測信号スペクトログラムを生成し信号射影部７０６に入力する。

信号射影部７０６では、音源分離部７０５で生成された分離結果（または、観測信号と分離行列）と、射影先マイク７０２に対応した観測信号とを用いて、分離結果を無指向性マイク７０２へ射影する。詳細は後述する。

射影後の分離結果は、必要に応じて、後段の処理を行う後段処理部７０７へ送られたり、スピーカー等のデバイスから出力されたりする。後段処理部７０７の実行する後段の処理としては、例えば音声認識処理などがある。一方、スピーカー等のデバイスから出力する場合は、逆ＦＴ・ＤＡ変換部７０８によって逆フーリエ変換（ＦＴ）やＤＡ変換を行ない、その結果である時間領域のアナログ信号を、スピーカーやヘッドホン等の出力デバイス７０９から出力する。

なお、各処理部の制御は、制御部７１０によって行われる。以降の構成図においては制御部についての記載は省略するが、以下において説明する処理は制御部による制御がなされるものとする。

図７に示す信号処理装置７００の指向性マイク７０１と無指向性マイク７０２の配置例について、図８を参照して説明する。この図８に示す例は、４本の指向性マイク８０１（８０１ａ〜８０１ｄ）の観測信号に基くＩＣＡ処理によって得られる分離結果を、２つの無指向性マイク８０３（８０３ｐ，８０３ｑ）へ射影する例である。２つの無指向性マイク８０３ｐ，８０３ｑを、ちょうど人間の両耳と同程度に離して設置すれば、バイノーラル（ｂｉｎａｕｒａｌ：両耳で観測された音信号）に近い音源分離結果が得られる。

指向性マイク８０１（８０１ａ〜８０１ｄ）は４本の指向性マイクであり、真上から見てそれぞれ上下左右の方向に感度の高い方向８０２を向けて設置してある。指向性マイクとしては、矢印と逆方向に死角を持つようなタイプ（例えば図４に示すような指向特性を持つマイク）のものでも構わない。

指向性マイクとは別に、射影先である無指向性マイク８０３（８０３ｐ，８０３ｑ）も用意する。このマイクの個数や位置によって、どのような射影結果が得られるかが異なる。図８に示すように、射影先である無指向性マイク８０３（８０３ｐ，８０３ｑ）を、左右の指向性マイク８０１ａ，８０１ｃの先端とほぼ同じ位置に設置した場合は、ちょうどその位置に人間の両耳があるのとほぼ等価なバイノーラル信号が得られる。

なお、図８では射影先の無指向性マイクの個数は２個のマイク８０３ｐ，８０３ｑとしているが、射影先の無指向性マイクの個数は２個に限らない。単に周波数特性が平坦な分離結果を得るのが目的であれば、無指向性マイクは一つで良い。逆に、音源分離で使用するマイクよりも多くても構わない。射影先マイクを増やした例は、変形例で説明する。

［４．無指向性マイクを複数用いて仮想的な指向性マイクを構成した実施例（実施例２）］
図７に示す信号処理装置７００の構成では、音源分離で使用する指向性マイク７０１と射影先である無指向性マイク７０２とを、それぞれ個別に設定した構成であるが、無指向性マイクを複数用いて仮想的な指向性マイクを構成するようにすれば、両マイクを共用することができる。そのような構成を図９および図１０を参照して説明する。なお、以降の説明では、無指向性マイクを「集音素子」、複数の集音素子で形成される指向性を「（仮想的な）指向性マイク」と表現する。例えば、先に図３を参照して説明した指向性マイクは、２つの集音素子を用いて１つの仮想的な指向性マイクを形成している。

図９に示す信号処理装置９００は、集音素子を複数使用した構成である。集音素子は、射影に使用される集音素子９０２と、射影には使用されない、すなわち音源分離のみに使用される集音素子９０１とに分類される。なお、図９に示す信号処理装置９００も図７に示す装置と同様、各処理部の制御を行う制御部を有しているが、図では省略してある。

各集音素子９０１，９０２で観測された信号は、ＡＤ変換・ＳＴＦＴ部９０３（９０３ａ１〜９０３ａｎ，９０３ｂ１〜９０３ｂｍ）によって時間周波数領域の信号に変換される。図７を参照して説明した構成と同様、信号の射影には、各マイクで観測される信号の位相差が重要な意味を持つため、各ＡＤ変換・ＳＴＦＴ部９０３において実行するＡＤ変換は共通のクロックでサンプリングを行う必要がある。そのため、クロック供給部９０４でクロックを生成し、生成したクロック信号をＡＤ変換・ＳＴＦＴ部９０３へ入力してサンプリング処理の同期化を実行する。ＡＤ変換・ＳＴＦＴ部９０３において短時間フーリエ変換（ＳＴＦＴ）が行なわれ周波数領域の信号、すなわちスペクトログラムが生成される。

ＡＤ変換・ＳＴＦＴ部９０３（９０３ａ１〜９０３ａｎ，９０３ｂ１〜９０３ｂｍ）の生成する各集音素子の観測信号（ＳＴＦＴ結果である時間周波数領域信号）からなるベクトルをＯ（ω，ｔ）９１１とする。各集音素子９０１に由来する観測信号は、指向性形成部９０５によって、複数の仮想的な指向性マイクで観測された信号へ変換される。詳細は後述する。変換結果からなるベクトルを、Ｘ（ω，ｔ）９１２とする。音源分離部９０６では、仮想的な指向性マイクによる観測信号Ｘ（ω，ｔ）９１２から、各音源に対応した分離結果（射影前）および分離行列を生成する。

音源分離に使用され、かつ射影対象となる集音素子９０２に由来する観測信号は、ＡＤ変換・ＳＴＦＴ部９０３（９０３ｂ１〜９０３ｂｍ）から信号射影部９０７へも送られる。これらの集音素子９０２に由来する観測信号からなるベクトルを、Ｘ'（ω，ｔ）９１３とする。信号射影部９０７では、音源分離部９０６からの分離結果（または観測信号Ｘ（ω，ｔ）と分離行列）と、射影先集音素子９０２の観測信号Ｘ'（ω，ｔ）９１３とを用いて、分離結果の射影を行なう。

信号射影部９０７、後段処理部９０８、逆ＦＴ・ＤＡ変換部９０９、出力デバイス９１０の処理および構成は、先に図７を参照して説明した処理および構成と同一であるため、説明を省略する。

次に、図９に示す信号処理装置９００の構成に対応したマイク配置の例と、マイクの指向性の形成方法について、図１０を用いて説明する。

図１０に示すマイク配置構成では、集音素子１，１００１〜集音素子５，１００５の５個の集音素子が十字型に配置されている。これらはすべて、図９の信号処理装置９００の音源分離処理に適用する集音素子に相当する。また、音源分離処理に適用するとともに、射影先としても使用される集音素子、すなわち、図９に示す集音素子９０２を集音素子２，１００２と集音素子５，１００５とする。

なお、中央に示す集音素子３，１００３以外の周囲の４つの集音素子は、集音素子３，１００３とペアで使用することで、各方向へ指向性を形成する。例えば、集音素子１，１００１と集音素子３，１００３とを用いて、この図において上方向へ指向性を持つ（下方向に死角を持つ）仮想的な指向性マイク１，１００６を形成する。すなわち、５個の集音素子１，１００１〜集音素子５，１００５を用いて、４本の仮想的な指向性マイク１，１００６〜４，１００９で観測したのと等価な観測信号を生成するのである。指向性の形成方法は後述する。

また、射影先のマイクとして、集音素子２，１００２と集音素子５，１００５とを使用する。この２つは、図９の集音素子９０２に相当する。

ここで、図１０に示す５つの集音素子１，１００１〜集音素子５，１００５から４つの指向性を形成する方法について、以下に示す式［９．１］〜［９．４］を参照して説明する。

各集音素子の観測信号（時間周波数領域）をＯ_１（ω，ｔ）〜Ｏ_５（ω，ｔ）とし、それらを要素とするベクトルをＯ（ω，ｔ）とする（式［９．１］）。
集音素子のペアから指向性を形成するには、図３と同じ方法を用いればよい。時間周波数領域で遅延を表わすには、式［９．３］で表わされるＤ（ω，ｄ_ｋｉ）を観測信号の一方に乗じる。その結果、４つの仮想的な指向性マイクで観測される信号であるＸ（ω，ｔ）は、式［９．２］で表すことができる。

式［９．３］で表わされるＤ（ω，ｄ_ｋｉ）を観測信号の一方に乗じる処理は、集音素子のペアの集音素子間の距離に応じて位相を遅らせる処理に対応し、結果として、図３を参照して説明した指向性マイク３００と同様の出力を算出することができる。図９に示す信号処理装置９００の指向性形成部は、このようにして生成した信号を音源分離部９０６に出力する。

なお、射影先マイクの観測信号からなるベクトルＸ'（ω，ｔ）は、集音素子２，１００１と集音素子５，１００５の観測信号であるため、式［９．４］で表せる。Ｘ（ω，ｔ）とＸ'（ω，ｔ）とが求まったため、以降は、Ｘ（ω，ｔ）とＸ'（ω，ｔ）とで別個のマイクを用いた場合と同様に、先に説明した式［７．１］〜式［７．１１］を用いて射影を行なうことができる。

［５．音源分離処理の分離結果の射影処理と、音源方向推定または位置推定とを併せて行う処理例（実施例３）］
次に、図１１〜図１３を参照して本発明の実施例３について説明する。
実施例３は、音源分離処理の分離結果の射影処理と、音源方向推定または位置推定とを併せて行う処理例である。

本実施例の信号処理装置の構成例について図１１を参照して説明する。この図１１に示す信号処理装置１１００の構成も、図７、図９を参照して説明した信号処理装置と同様、マイクは音源分離で使用する音源分離用マイク１１０１と、射影先専用として使用する射影先物専用マイク１１０２を用いる。設置位置の詳細は後述する。なお、図１１に示す信号処理装置１１００も図７に示す装置と同様、各処理部の制御を行う制御部を有しているが、図では省略してある。

音源分離で使用する音源分離用マイク１１０１の一部または全部を射影先マイクと兼用してもよいが、音源分離には使用されない、射影先専用のマイクを少なくとも１つは用意する。

ＡＤ変換・ＳＴＦＴ部１１０３およびクロック供給部１１０４の機能は、図７、図９を参照して説明したＡＤ変換・ＳＴＦＴ部およびクロック供給部と同一である。

音源分離部１１０５および信号射影部１１０６の機能も、それぞれ、図７、図９を参照して説明した音源分離部および信号射影部と同一である。ただし、信号射影部１１０６へ入力する観測信号には、射影先専用マイク１１０２で観測されたものの他に、音源分離で使用するマイク１１０１の内で射影先も兼ねるものも含まれる。（具体例は後述する。）

信号射影部の処理結果を用いて、音源方向（または位置）推定部１１０８において、各音源に対応した方向または位置を推定する。処理の詳細は後述する。その結果、音源方向または音源位置１１０９が得られる。

信号統合部１１１０は省略可能なモジュールである。これは、音源方向（または位置）１１０９と、信号射影部で得られた射影結果１１０７とを統合し、「どの音がどの方向（または位置）から鳴っているか」という結果を生成する。

次に、図１１に示す信号処理装置１１００、すなわち、音源分離処理によって得られる分離結果を射影する処理と、音源方向推定または位置推定とを併せて行う信号処理装置１１００のマイク配置例について図１２を参照して説明する。

マイク配置は、音源方向推定または位置推定を可能とした設定とすることが必要である。具体的には、先に図６を参照して説明した三角測量による位置推定を可能にする配置である。

図１２には８個のマイク１２０１〜１２０８を示している。マイク１，１２０１と、マイク２，１２０２は音源分離処理のみに使用する。マイク５，１２０５〜マイク８，１２０８は射影先とし、かつ位置推定処理に使用する。残るマイク３，１２０３、マイク４，１２０４は、音源分離処理および位置推定処理の両方で使用する。

すなわち、マイク１，１２０１〜マイク４，１２０４の４つのマイクによる観測信号で音源分離を行ない、その結果をマイク５，１２０５〜マイク８，１２０８へ射影する。

各マイク１，１２０１〜マイク８，１２０８各々の観測信号をＯ_１（ω，ｔ）〜Ｏ_８（ω，ｔ）とすると、音源分離用の観測信号Ｘ（ω，ｔ）は、以下に示す式［１０．２］で示される。また、射影用の観測信号Ｘ'（ω，ｔ）は式［１０．３］で表される。Ｘ（ω，ｔ）とＸ'（ω，ｔ）とが求まったため、以降は、Ｘ（ω，ｔ）とＸ'（ω，ｔ）とで別個のマイクを用いた場合と同様に、先に説明した式［７．１］〜式［７．１１］を用いて射影を行なうことができる。

例えば、図１２に示すマイクペア１，１２１２、マイマペア２，１２１３〜マイクペア３，１２１４、これらの３つのマイクペアを設定する。１つのマイクペアを構成する各マイクの射影結果としての音源分離結果（射影結果）を用いれば、先に図５を参照して説明した処理に従って、音源方向（角度）を求めることができる。

すなわち、隣接するマイク同士でペアを構成して、それぞれで音源の方向を求める。図１１に示す音源方向（または位置）推定部１１０８は、信号射影部１１０６において生成された射影信号を入力し、複数の異なる位置の射影先マイクの射影信号の位相差に基づいて音源方向の算出処理を行う。

先に説明したように、音源方向θ_ｋｉｉ'を求めるためには、射影結果であるＹｋ^［ｉ］（ω，ｔ）とＹｋ^［ｉ'］（ω，ｔ）との位相差を求めれば良い。射影結果であるＹｋ^［ｉ］（ω，ｔ）とＹｋ^［ｉ'］（ω，ｔ）との関係は、先に説明した式［５．１］によって示される。位相差算出式は、先に説明した式［５．２］および式［５．３］によって示される。

さらに、音源方向（または位置）推定部１１０８は、複数の異なる位置の射影先マイクの射影信号によって算出された音源方向の組み合わせデータに基づいて音源位置を算出する。この処理は、先に図６を参照して説明したと同様の三角測量の原理による音源位置の特定処理である。

図１２に示す設定では、３つのマイクペア、すなわちマイクペア１，１２１２、マイマペア２，１２１３〜マイクペア３，１２１４、これらの３つのマイクペアの各々、個別にそれぞれ音源方向（角度θ）を求めることができる。次に、先に図６を参照して説明したよううに、各マイクペアの中点を頂点とし、頂点の角度の半分を音源方向（角度θ）とした円錐を設定する。図１２の例では３つのマイクペアに対応する３つの円錐が設定される。これ３つの円錐の交点を音源位置として求めることができる。

図１３は、図１１に示す信号処理装置、すなわち、音源分離処理と射影処理、および音源方向または音源位置推定処理を実行する信号処理装置におけるマイク配置の別の例である。これは、従来法の問題点で述べた「位置の変化するマイク」に対処するための配置である。

テレビ１３０１と、ユーザーの操作するリモコン１３０３にそれぞれマイクが設置されている。リモコン１３０３上のマイク１３０４は音源分離用として用いる。テレビ１３０１上のマイク１３０２は、射影先として用いるマイクである。

リモコン１３０３にマイク１３０４を設置することで、音声を発しているユーザーに近い位置で音を集音できる。しかし、リモコン上のマイクの正確な位置は未知である。一方、テレビ１３０１のフレームに設置されたマイク１３０２は、テレビ匡体の一点（例えば画面の中心）からの位置は既知である。その代わり、ユーザーからは距離が離れている可能性がある。

そこで、リモコン１３０３上のマイク１３０４の観測信号を利用して音源分離を行ない、分離結果をテレビ１３０１上のマイク１３０２へ射影すると、両者の利点をもった分離結果を得ることができる。テレビ１３０１上のマイク１３０２への射影結果は、音源方向または音源位置の推定に適用される。具体的には、音源としてリモコンを所持するユーザーの発話を想定すると、リモコンを所持したユーザーの位置や方向を推定することができる。

例えば、リモコン１３０３上の、位置が未知のマイク１３０４を使用しているにも関わらず、例えば音声コマンドを発話した、リモコン１３０３を所持するユーザーがテレビ１３０１の正面にいるか真横にいるかによって、テレビの応答を変化させる（正面から発話した場合のみ反応するなど）といったことも可能になる。

［６．本発明の信号処理装置を構成するモジュールの構成例について］
次に、各構成で共通している音源分離部と信号射影部の構成および処理の詳細について、図１４〜図１６を参照して説明する。

図１４は音源分離部の一構成例を示す図である。基本的に、ＩＣＡの学習規則である先に説明した式［３．１］〜式［３．９］の演算に適用する変数や関数に対応したデータを格納したバッファー１４０２〜１４０５を持ち、それらの値を用いて学習演算部１４０１が演算を行なう。

観測信号バッファー１４０２は、時間周波数領域の所定区間の観測信号を格納する領域であり、先に説明した式［３．１］のＸ（ω，ｔ）に対応するデータを格納する。
分離行列バッファー１４０３と分離結果バッファー１４０４は、それぞれ学習途中の分離行列と分離結果とを格納する領域であり、式［３．１］のＷ（ω）とＹ（ω，ｔ）に対応するデータを格納する。
同様に、スコア関数バッファー１４０５と分離行列修正値バッファー１４０６は、式［３．２］のφ_ω（Ｙ（ｔ））とΔＷ（ω）にそれぞれ対応するデータを格納する。

なお、図１４に示す構成で用意されている各種バッファーは、観測信号バッファー１４０２を除き、学習のループが回っている間は常に値が変化する。

図１５および図１６は、信号射影部の構成例を示す図である。
図１５は、射影係数行列Ｐ（ω）（式［７．５］参照）を算出する処理に際して、先に説明した式［７．６］を用いる構成、
図１６は、射影係数行列Ｐ（ω）（式［７．５］参照）を算出する処理に式［７．７］を用いる構成である。

先に図１５に示す信号射影部の構成例について説明する。この図１５の信号射影部は、式［７．６］および式［７．８］〜式［７．９］の各変数に対応したバッファー１５０２〜１５０７を持ち、それらの値を用いて演算部１５０１が演算を行なう。

射影前分離結果バッファー１５０２は、音源分離部が出力した分離結果を格納する領域である。図１４に示す音源分離部の分離結果バッファー１４０４と異なり、図１５に示す信号射影部の射影前分離結果バッファー１５０２に格納される分離結果は、学習終了後の値である。
射影先観測信号バッファー１５０３は、射影先マイクで観測された信号を格納するバッファーである。
これら２つのバッファーを用いて、式［７．６］の２種類の共分散行列を計算する。

共分散行列バッファー１５０４は射影前分離結果自身の共分行列であり、これは式［７．６］の〈Ｙ（ω，ｔ）Ｙ（ω，ｔ）^Ｈ〉_ｔに相当するデータを格納する。
一方、相互共分散行列バッファー１５０５は射影先観測信号Ｘ'（ω，ｔ）と射影前分離結果Ｙ（ω，ｔ）との共分散行列であり、式［７．６］の〈Ｘ'（ω，ｔ）Ｙ（ω，ｔ）^Ｈ〉_ｔに相当するデータを格納する。なお、異なる変数間での共分散行列を「相互（ｃｒｏｓｓ−）共分散行列」と呼び、同一変数同士のものは単に「共分散行列」と呼ぶことにする。

射影係数バッファー１５０６は、式［７．６］で計算される射影係数Ｐ（ω）を格納する領域である。
射影結果バッファー１５０７は、式［７．８］または式［７．９］で計算される射影結果Ｙｋ^［ｉ］（ω，ｔ）を格納する。

なお、音源方向推定や位置推定については、射影係数が求まれば、射影結果自体は計算しなくても音源方向や音源位置を計算できる。そのため、本発明の実施例のうち、音源方向推定または位置推定と組み合わせた形態においては、射影結果バッファー１５０７を省略することができる。

次に、図１６に示す信号射影部の構成例について説明する。この図１６に示す構成は式［７．７］に対応した構成である。図１５との違いは、Ｙ（ω，ｔ）＝Ｗ（ω）Ｘ（ω，ｔ）（式［２．５］）の関係を用いて、分離結果Ｙ（ω，ｔ）に関するバッファーを省略し、代わりに分離行列Ｗ（ω）のバッファーを用意している点にある。

音源分離用観測信号バッファー１６０２は、音源分離用のマイクの観測信号を格納する領域である。これは、先に図１４を参照して説明した音源分離部の観測信号バッファー１４０２と共通で良い。

分離行列バッファー１６０３は、音源分離部によって学習された分離行列を格納する。これは、先に図１４を参照して説明した音源分離部の分離行列バッファー１４０３と異なり、学習終了後の分離行列の値を格納する。
射影先観測信号バッファー１６０４は、図１５を参照して説明した射影先観測信号バッファー１５０３と同様、射影先マイクで観測された信号を格納するバッファーである。
これら２つのバッファーを用いて、式［７．７］の２種類の共分散行列を計算する。

共分散行列バッファー１６０５は音源分離用観測信号自身の共分行列であり、これは式［７．７］の〈Ｘ（ω，ｔ）Ｘ（ω，ｔ）^Ｈ〉_ｔに相当するデータを格納する。
一方、相互共分散行列バッファー１６０６は射影先観測信号Ｘ'（ω，ｔ）と音源分離用観測信号Ｘ（ω，ｔ）との共分散行列であり、式［７．７］の〈Ｘ'（ω，ｔ）Ｘ（ω，ｔ）^Ｈ〉_ｔに相当するデータを格納する。

射影係数バッファー１６０７は、式［７．７］で計算される射影係数Ｐ（ω）を格納する領域である。
射影結果バッファー１６０８は、図１５を参照して説明した、射影結果バッファー１５０７と同様、式［７．８］または式［７．９］で計算される射影結果Ｙｋ^［ｉ］（ω，ｔ）を格納する。

［７．信号処理装置の実行する処理シーケンスについて］
次に、本発明の信号処理装置の実行する処理シーケンスについて、図１７〜２０に示すフローチャートを参照して説明する。

図１７は、音源分離用マイクの取得データに基づく分離結果を適用して射影先マイクへの射影処理を行う際の処理シーケンスを説明するフローチャートである。例えば、指向性マイク（または仮想的な指向性マイク）由来の音源分離結果を無指向性マイクへ射影する装置（図７に示す信号処理装置７００および図９に示す信号処理装置９００に対応）の処理を説明するフローチャートである。

ステップＳ１０１において、各マイク（または集音素子）で集音した信号に対して、ＡＤ変換を行なう。次に、ステップＳ１０２において、各信号に対して短時間フーリエ変換を行ない、時間周波数領域の信号へ変換する。

次のステップＳ１０３の指向性形成処理は、先に図１０を参照して説明したような、複数の無指向性マイクで仮想的な指向性を形成するという構成において必要となる処理である。例えば図１０に示すように、複数の無指向性マイクを配置した構成の場合、先に説明した式［９．１］〜式［９．４］に従って、仮想的な指向性マイクの観測信号を生成する。ただし、図８に示したような、当初から指向性マイクを用いた構成では、ステップＳ１０３の指向性形成処理は省略できる。

ステップＳ１０４の音源分離処理は、指向性マイクで得られた時間周波数領域の観測信号に対して、ＩＣＡを適用して独立な分離結果を得る処理である。詳細は後述する。
ステップＳ１０５は、ステップＳ１０４で得られた分離結果に対して、所定のマイクへの射影を行なう処理である。詳細は後述する。

マイクへ射影した結果が得られたら、必要に応じて逆フーリエ変換（ステップＳ１０６）等を行ない、さらに後段の処理（ステップＳ１０７）を行なう。こうして、全処理を終了する。

次に、図１８に示すフローチャートを参照して、分離結果の射影と音源方向推定（または位置推定）を併せて行う信号処理装置（図１１に示す信号処理装置１１００に対応）の処理シーケンスについて説明する。

ステップＳ２０１〜Ｓ２０３の処理は、図１７に示すフローにおけるステップＳ１０１，Ｓ１０２，Ｓ１０４の処理と同様であるため、説明を省略する。
ステップＳ２０４の射影処理は、分離結果を射影対象とするマイクに射影する処理である。図１７のフローのステップＳ１０５の射影処理と同様の処理であり、ステップＳ２０３で得られた分離結果に対して、所定のマイクへの射影を行なう処理である。
ただし、射影処理を行ってもよいが、射影係数（先に説明した式［７．６］、または式［７．７］、あるいは式［８．１］、式［８．２］に示す射影係数行列Ｐ（ω））を計算するだけにとどめ、分離結果の射影自体は省略してもよい。

ステップＳ２０５は、各マイクへ射影された分離結果から音源方向または音源位置を計算する処理である。計算方法自体は従来技術と同様であるため、以下では概略のみを説明する。

ｋ番目の分離結果Ｙｋ（ω，ｔ）について、マイクｉとマイクｉ'との間で計算される音源方向をθ_ｋｉｉ'（ω）とする。ただし、ｉとｉ'は、音源分離用のマイクではなく、射影先のマイク（または集音素子）につけたインデックスである。角度θ_ｋｉｉ'（ω）は、以下に示す式［１１．１］で計算される。

なお、上記式［１１．１］は従来の処理として［背景技術］の欄において説明した式［５．３］と同一である。また、先に説明した式［７．８］を用いれば、射影後の分離結果Ｙｋ^［ｉ］（ω，ｔ）を生成することなく、射影係数Ｐ（ω）の要素から方向を直接計算することもできる。（式［１１．２］）。式［１１．２］を用いる場合は、射影ステップ（Ｓ２０４）において分離結果の射影を省略し、射影係数Ｐ（ω）を求めるのみの処理とすることができる。

なお、マイクｉとマイクｉ'との間で計算される音源方向を示す角度θ_ｋｉｉ'（ω）を算出する場合には、周波数ビンωやマイクペア（ｉ，ｉ'の組）単位で個別に角度θ_ｋｉｉ'（ω）を算出し、これらの複数の算出角度から平均を求め、平均値により最終的な音源方向を決定する構成としてもよい。一方、音源位置を求めるには、先に説明した図６のように三角測量を用いればよい。
ステップＳ２０５の処理の後、必要に応じて後段処理（Ｓ２０６）を行なう。

なお、図１１の信号処理装置１１００の音源方向（または位置）推定部１１０８は、式［１１．２］を用いて音源方向や位置を算出することが可能である。すなわち、音源方向（または位置）推定部１１０８は、信号射影部１１０６において生成された射影係数を入力して、音源方向または音源位置の算出処理を行う。この場合は、信号射影部１１０６は射影係数の算出のみを行い射影結果（射影信号）を求める処理を省略することができる。

次に、図１７に示すフロー中のステップＳ１０４、および図１８に示すフロー中のステップＳ２０３において実行する音源分離処理の詳細について、図１９に示すフローチャートを参照して説明する。

音源分離処理は、複数の音源からの信号の混合信号から、音源ごとの信号に分離する処理である。この処理には、様々なアルゴリズムが適用可能である。以下では、特開２００６−２３８４０９号公報に記載された方法を適用した処理例について説明する。

以下に説明する音源分離処理は、バッチ処理（一定時間の観測信号を蓄積してから行なう処理）によって分離行列を求める処理である。先に式［２．５］等において説明したように、分離行列Ｗ（ω）と、観測信号Ｘ（ω，ｔ）と分離結果Ｙ（ω，ｔ）との関係は以下の式によって表現される。
Ｙ（ω，ｔ）＝Ｗ（ω）Ｘ（ω，ｔ）

図１９に示すフローに従って音源分離処理のシーケンスについて説明する。
まず、最初のステップＳ３０１において、一定時間の観測信号を蓄積する。ここでいう観測信号とは、音源分離用マイクで集音した信号に対して短時間フーリエ変換処理を施した信号である。また、一定時間の観測信号とは、一定数の連続するフレーム（例えば２００フレーム）分からなるスペクトログラムと等価である。以降における「全フレームに対する処理」は、ここで蓄積した観測信号の全フレームに対しての処理である。

ステップＳ３０４〜ステップＳ３０９の学習のループに入る前に、ステップＳ３０２において、必要に応じて蓄積された観測信号に対して正規化（ｎｏｒｍａｌｉｚａｔｉｏｎ）や無相関化（ｐｒｅ−ｗｈｉｔｅｎｉｎｇ）などの処理を行なう。例えば正規化を行なう場合、フレームについて観測信号Ｘｋ（ω，ｔ）の標準偏差を求め、標準偏差の逆数からなる対角行列をＳ（ω）として、
Ｚ（ω，ｔ）＝Ｓ（ω）Ｘ（ω，ｔ）
を計算する。
無相関化の場合は、
Ｚ（ω，ｔ）＝Ｓ（ω）Ｘ（ω，ｔ）、かつ、
＜Ｚ（ω，ｔ）Ｚ（ω，ｔ）^Ｈ＞_ｔ＝Ｉ（Ｉは単位行列）を満たすＺ（ω，ｔ），Ｓ（ω）を求める。
なお、ｔはフレーム番号であり、＜・＞_ｔは全フレーム、あるいはサンプルフレームについての平均を表わす。
なお、以下の説明および式に示すＸ（ｔ）やＸ（ω，ｔ）は、上記の前処理によって算出されるＺ（ｔ）やＺ（ω，ｔ）に置き換え可能なものとする。

ステップＳ３０２の前処理の後、ステップＳ３０３では、分離行列Ｗに対して、初期値を代入する。初期値は単位行列でも良いが、前回の学習で求まった値が存在する場合は、それを今回の学習の初期値として用いてもよい。

ステップＳ３０４〜ステップＳ３０９は学習のループであり、これらの処理をＷが収束するまで繰り返す。ステップＳ３０４の収束判定処理は、分離行列Ｗが収束したかどうかを判定する処理である。この収束判定方法としては、例えば分離行列の増分ΔＷとゼロ行列との近さを判定し、所定の値よりも近ければ「収束した」と判別する処理を適用することができる。または予め学習ループの最大回数（例えば５０回）を設定しておき、その最大回数に達した場合に「収束した」と判別する設定としてもよい。

分離行列Ｗが収束していない場合（またはループ回数が所定の値に達していない場合）は、ステップＳ３０４〜ステップＳ３０９の学習ループを繰り返し実行する。この学習ループは、先に説明した式［３．１］から式［３．３］までを分離行列Ｗ（ω）が収束するまで（または一定回数）繰り返し実行する処理である。

ステップＳ３０５では、前記の式［３．１２］を用いて全フレーム分の分離結果Ｙ（ｔ）を求める。
ステップＳ３０６〜ステップＳ３０９は、周波数ビンωについてのループである。
ステップＳ３０７において式［３．２］によって分離行列の修正値であるΔＷ（ω）を計算し、ステップＳ３０８において式［３．３］によって分離行列Ｗ（ω）を更新する。この２つの処理を、全周波数ビンに対して行なう。

一方、ステップＳ３０４において分離行列Ｗが収束したと判定したら、ステップＳ３１０の後処理へ進む。ステップＳ３１０の後処理では、分離行列に対して、正規化前（無相関化前）の観測信号に対応させる処理を行なう。すなわち、ステップＳ３０２において正規化や無相関化を行なった場合、ステップＳ３０４〜Ｓ３０９で求まる分離行列Ｗは、正規化後（または無相関化後）の観測信号であるＺ（ｔ）を分離するものであり、正規化前（または無相関化前）の観測信号であるＸ（ｔ）を分離するものではない。そこで、
Ｗ←ＳＷ
上記の補正を行なうことで、分離行列Ｗを、前処理以前の観測信号Ｘ（ｔ）に対応させる。射影処理で使用される分離行列Ｗは、この補正後の分離行列である。

なお、時間周波数領域ＩＣＡのアルゴリズムの多くは、学習後にリスケーリング（分離結果のスケールを周波数ビンごとに適切なものへ調整する処理）を必要とする。しかし、本発明での構成では、分離結果を利用して実行する射影処理において分離結果のリスケーリング処理を実行する構成としているため、音源分離処理の中ではリスケーリングは不要である。

なお、音源分離処理としては、前述の特許文献１［特開２００６−２３８４０９］に基づくバッチ処理の他にも、それをブロックバッチ処理によってリアルタイム化した特開２００８−１４７９２０に記載された方式なども利用可能である。なお、ブロックバッチ処置とは、観測信号を一定時間のブロックへ分割し、ブロックごとにバッチ処理によって分離行列を学習する処理のことである。あるブロックにおいて分離行列が学習されたら、その分離行列を、次のブロックで分離行列が学習されるタイミングまでの間、適用し続けることで、分離結果Ｙ（ｔ）を途切れなく生成することが可能である。

次に、図１７に示すフロー中のステップＳ１０５、および図１８に示すフロー中のステップＳ２０４において実行する射影処理の詳細について、図２０に示すフローチャートを参照して説明する。

なお、先に説明したように、ＩＣＡの分離結果をマイクに射影（ｐｒｏｊｅｃｔｉｏｎ ｂａｃｋ）するとは、ある位置に設定したマイクの集音信号を解析し、その集音信号から各原信号に由来する成分を求めることである。この射影処理には、音源分離処理によって算出した分離結果を適用する。図２０に示すフローチャートの各ステップの処理について説明する。

ステップＳ４０１では、射影の係数からなる行列をＰ（ω）（式［７．５］参照）の計算に適用する２種類の共分散行列を計算する。
射影係数行列Ｐ（ω）は、先に説明したように、前述の式［７．６］で計算できる。または、先に説明した式［３．１］の関係を用いて変形した式［７．７］を用いて計算することもできる。

先に説明したように、信号射影部は、図１５または図１６に示す構成のいずれかによって構成される。図１５は、射影係数行列Ｐ（ω）（式［７．５］参照）を算出する処理に際して、先に説明した式［７．６］を用いる信号射影部の構成であり、図１６は、射影係数行列Ｐ（ω）を算出する処理に式［７．７］を用いる信号射影部の構成である。

従って、信号処理装置の持つ信号射影部が図１５に示す構成である場合は、式［７．６］の適用によって射影係数行列Ｐ（ω）（式［７．５］参照）を算出することになり、ステップＳ４０１では、以下の２種類の共分散行列を計算する。
＜Ｘ'（ω，ｔ）Ｙ（ω，ｔ）＞_ｔと、
＜Ｙ（ω，ｔ）Ｙ（ω，ｔ）＞_ｔ
これらの共分散行列を計算する。

一方、信号処理装置の持つ信号射影部が図１６に示す構成である場合は、式［７．７］の適用によって射影係数行列Ｐ（ω）（式［７．５］参照）を算出することになり、ステップＳ４０１では、以下の２種類の共分散行列を計算する。
＜Ｘ'（ω，ｔ）Ｘ（ω，ｔ）＞_ｔと、
＜Ｘ（ω，ｔ）Ｘ（ω，ｔ）＞_ｔ
これらの共分散行列を計算する。

次に、ステップＳ４０２において、前述の式［７．６］、または式［７．７］を用いて、射影係数からなる行列Ｐ（ω）を求める。

次のステップＳ４０３のチャンネル選別処理は、分離結果のうち、目的に適うチャンネルを選び出す処理である。例えば、特定の音源に対応するチャンネルを一つだけ選択したり、どの音源にも対応しないチャンネルを除去したりする。「どの音源にも対応しないチャンネル」とは、音源分離で使用するマイクの数よりも音源の数の方が小さい場合に、分離結果Ｙ１〜Ｙｎの中にはどの音源にも対応しない出力チャンネルができてしまうことをいう。そのようなチャンネルに対して射影を行なったり、音源方向（位置）を求めることは無駄であるため、そのような出力チャンネルの除去を必要に応じて行なうのである。

選別の尺度としては、たとえば射影後分離結果のパワー（分散）が使用可能である。分離結果Ｙｉ（ω，ｔ）をｋ番目のマイク（射影用）へ射影した結果をＹｉ^［ｋ］（ω，ｔ）とすると、そのパワーは、以下に示す式［１２．１］で計算できる。

式［１２．１］で算出される分離結果の射影した結果のパワーの値が、予め設定した一定値を上回っていたら、「分離結果Ｙｉ（ω，ｔ）は特定の音源に対応した分離結果」と判定し、一定値を下回っていたら「分離結果Ｙｉ（ω，ｔ）はどの音源にも対応していない」と判定する。

なお、実際の計算においては、分離結果Ｙｉ（ω，ｔ）をｋ番目のマイク（射影用）へ射影した結果データであるＹｉ^［ｋ］（ω，ｔ）の算出処理を実行する必要はなく、この算出処理は省略してよい。なぜなら、式［７．９］のベクトルに対応した共分散行列は前記の式［１２．２］で計算でき、この行列の対角要素を取り出すと射影結果の絶対値の二乗データである｜Ｙｉ^［ｋ］（ω，ｔ）｜^２と同じ値が得られるからである。

チャンネル選別が完了したら、ステップＳ４０４において射影結果の生成を行なう。選別後のチャンネルの分離結果を一つのマイクへ射影する場合は式［７．９］を用いる。逆に、一つのチャンネルの分離結果を全マイクへ射影する場合は式［７．８］を用いる。なお、この後の処理において、音源方向推定（または位置推定）処理を実行する場合は、ステップＳ４０４の射影結果の生成処理は省略することができる。

［８．本発明の信号処理装置のその他の実施例］
（８．１．信号射影部の射影係数行列Ｐ（ω）算出処理における逆行列演算を省略した実施例）
まず、信号射影部の射影係数行列Ｐ（ω）算出処理における逆行列演算を省略した実施例について説明する。
先に説明したように、図１５、図１６に示す信号射影部の処理は、図２０のフローチャートに従った処理となる。図２０に示すフローチャートのステップＳ４０１では、射影の係数からなる行列をＰ（ω）（式［７．５］参照）の計算に適用する２種類の共分散行列を計算する。

すなわち、信号射影部が図１５の構成である場合は、式［７．６］の適用によって射影係数行列Ｐ（ω）（式［７．５］参照）を算出することになり、以下の２種類の共分散行列を計算する。
＜Ｘ'（ω，ｔ）Ｙ（ω，ｔ）＞_ｔと、
＜Ｙ（ω，ｔ）Ｙ（ω，ｔ）＞_ｔ
一方、信号射影部が図１６に示す構成である場合は、式［７．７］の適用によって射影係数行列Ｐ（ω）（式［７．５］参照）を算出することになり、以下の２種類の共分散行列を計算する。
＜Ｘ'（ω，ｔ）Ｘ（ω，ｔ）＞_ｔと、
＜Ｘ（ω，ｔ）Ｘ（ω，ｔ）＞_ｔ
これらの共分散行列を計算する。

射影係数行列Ｐ（ω）を求める式［７．６］および式［７．７］は、どちらも逆行列（厳密にはフル行列の逆行列）を含んでいる。しかし、逆行列を求める処理はそれなりの計算量を必要とする（あるいは、ハードウェアで逆行列を求める場合は回路規模が大きくなる）ため、逆行列を使わずに同等の処理が可能であるなら、その方が望ましい。

そこで、逆行列が不要な式を用いる方式について、変形例として説明する。
先に簡単に説明したが、以下に示す式［８．１］は、式［７．６］の代わりに使用可能な式である。

分離結果ベクトルＹ（ω，ｔ）の各要素がお互いに独立である場合、すなわち分離が完全に行なわれている場合、
共分散行列＜Ｙ（ω，ｔ）Ｙ（ω，ｔ）^Ｈ＞_ｔ
は、対角行列に近い行列となる。従って、対角要素のみを抽出してもほぼ同じ行列となる。対角行列の逆行列は、単に対角要素を逆数に置き換えるだけで得られるため、フル行列の逆行列演算と比べて計算量は少ない。

同じく、上記の式［８．２］は、式［７．７］の代わりに使用可能な式である。ただし、この式のｄｉａｇ（・）は、カッコ内の行列に対して対角以外の要素をゼロにする操作を表わす。この式においても、対角要素を逆数に置き換えるだけで、対角行列の逆行列が求まる。

さらに、射影後の分離結果または射影係数を音源方向推定（または位置推定）のみに用いる場合は、対角行列自体を省略した式［８．３］（式［７．６］の代わり）や式［８．４］（式［７．７］の代わり）も使用可能である。なぜなら、式［８．１］や式［８．２］に現れる対角行列は要素が全て実数であり、実数を乗じる限り、式［１１．１］や式［１１．２］で計算される音源方向には影響を与えないからである。

このように、上記の式［８．１］〜式［８．４］を前述した式［７．６］または式［７．７］の代わりに利用する構成とすることで、計算量の多いフル行列の逆行列算出処理を省略することが可能となり、効率的に射影係数行列Ｐ（ω）を求めることが可能となる。

（８．２．音源分離処理による分離結果を、特定の配置のマイクへ射影する処理を行う実施例（実施例４））
次に、音源分離処理による分離結果を、特定の配置のマイクへ射影する処理を行う実施例について説明する。

前述した実施例では、音源分離処理による分離結果を適用した射影処理の利用形態として、以下の３つの実施例について説明した。
［３．ＩＣＡの適用マイクとは異なるマイクへの射影処理の処理例（実施例１）］
［４．無指向性マイクを複数用いて仮想的な指向性マイクを構成した実施例（実施例２）］
［５．音源分離処理の分離結果の射影処理と、音源方向推定または位置推定とを併せて行う処理例（実施例３）］
これらの３つの実施例について説明した。
実施例１と実施例２は、指向性マイク由来の音源分離結果を無指向性マイクへ射影する処理、
実施例３は、音源分離に適した配置のマイクで集音し、その分離結果を、音源方向（位置）推定に適した配置のマイクへ射影する処理、
これらの処理例である。

以下、上記３つの実施例と異なる第４の実施例として、音源分離処理による分離結果を、特定の配置のマイクへ射影する処理を行う実施例について説明する。
本実施例４の信号処理装置は、実施例１において説明した図７に示す信号処理装置７００を適用可能である。マイクロホンは、音源分離の入力として用いる複数のマイクロホン７０１と、射影先として用いる１以上の無指向性マイクロホン７０２を備える。

ただし、先に説明した実施例１では、音源分離の入力として用いるマイクロホン７０１は指向性マイクロホンとして説明したが、本実施例４では音源分離の入力として用いるマイクロホン７０１は指向性マイクロホンであってもよいし、無指向性マイクロホンであってもよい。マイクの具体的な配置については後述する。また、出力デバイス７０９の配置も重要な意味を持つが、これについても後述する。

以下、実施例４におけるマイクおよび出力デバイスの２つの配置例について、図２１、図２２を参照して説明する。
図２１は、本実施例４におけるマイクおよび出力デバイスの第１の配置例を示している。この図２１に示すマイクおよび出力デバイス配置例は、音源分離処理および射影処理により、ユーザーの両耳の位置に対応したバイノーラル信号を生成するためのマイクおよび出力デバイスの配置例である。

ヘッドホン２１０１は、図７に示す信号処理装置７００に示す出力デバイス７０９に対応する。ヘッドホン２１０１の両耳に対応したスピーカー２１１０，２１１１の位置に射影先マイク２１０８，２１０９が装着されている。図２１に示す音源分離用マイク２１０４は、図７に示す音源分離用マイク７０１に対応する。この音源分離用マイク２１０４は、無指向性マイクでも指向性マイクでも良く、その環境の音源を分離するのに適した配置で設置する。なお、図２１に示す構成では音源が３個（音源１，２１０５〜音源３，２１０７）存在するため、音源分離用のマイクは少なくとも３個必要である。

図２１に示す音源分離用マイク２１０４（＝図７の音源分離用マイク７０１）と、射影先マイク２１０８，２１０９（＝図７の射影先マイク７０２）をもつ信号処理装置の処理は、先に図１７のフローチャートを参照して説明した処理シーケンスと同様の処理である。

すなわち、図１７のフローチャートのステップＳ１０１において、音源分離用マイク２１０４での集音信号に対してＡＤ変換を行なう。次に、ステップＳ１０２において、ＡＤ変換後の各信号に対して短時間フーリエ変換を行ない、時間周波数領域の信号へ変換する。次のステップＳ１０３の指向性形成処理は、先に図１０を参照して説明したような、複数の無指向性マイクで仮想的な指向性を形成するという構成において必要となる処理である。例えば図１０に示すように、複数の無指向性マイクを配置した構成の場合、先に説明した式［９．１］〜式［９．４］に従って、仮想的な指向性マイクの観測信号を生成する。ただし、図８に示したような、当初から指向性マイクを用いた構成では、ステップＳ１０３の指向性形成処理は省略できる。

ステップＳ１０４の音源分離処理においては、音源分離用マイク２１０４で得られた時間周波数領域の観測信号に対してＩＣＡを適用して独立な分離結果を得る。具体的には、図１９に示すフローチャートに従った処理により、音源分離結果を得る。
ステップＳ１０５では、ステップＳ１０４で得られた分離結果に対して、所定のマイクへの射影を行なう。本例では、図２１に示す射影先マイク２１０８，２１０９への射影を行う。射影処理の具体的シーケンスは、図２０に示すフローチャートに従った処理となる。

なお、射影処理を行う際は、分離結果の内で特定の音源に対応したチャンネルを一つ選別し（図２０のフローのステップＳ４０３に対応する処理）、それを射影先マイク２１０３へ射影した信号を生成する（図２０のフローのステップＳ４０４に対応する処理）。

さらに、図１７に示すフローのステップＳ１０６において、射影後の信号を逆フーリエ変換で波形に戻し、図１７に示すフローのステップＳ１０７において、その波形をヘッドホン内のスピーカーから再生する。すなわち、このようにして、２つの射影先マイク２１０８，２１０９へ射影された分離結果は、ヘッドホン２１０１のスピーカー２１１０，２１１１からそれぞれ再生される。

なお、スピーカー２１１０，２１１１からの音声出力の制御は信号処理装置の制御部が実行する。すなわち、信号処理装置の制御部は、各出力デバイス（スピーカー）に対して、各出力デバイスの位置に設定された射影先マイクに対応する射影信号に相当する音声データを出力する制御を実行する。

例えば、射影前の分離結果のうち、音源１，２１０５に対応した分離結果を選別し、それを、射影先マイク２１０８，２１０９へ射影し、それをヘッドホン２１０１で再生すると、ヘッドホン２１０１を装着しているユーザーにとっては、３つの音源が同時に鳴っているにもかかわらず、あたかも音源１，２１０５のみが右方で鳴っているように聞こえる。言い換えると、音源分離用マイク２１０４にとって音源１，２１０５は左方に位置しているにもかかわらず、分離結果を射影先マイク２１０８，２１０９へ射影することで、音源１，２１０５が、ヘッドホン２１０１の右方に定位しているバイノーラル信号を生成することができるのである。しかも、射影のためには、ヘッドホン２１０１（または射影先マイク２１０８，２１０９）の位置情報は不要であり、射影先マイク２１０８，２１０９の観測信号だけがあればよい。

同様に、図２０に示すフローチャートのステップＳ４０３において、音源２，２１０６、または音源３，２１０７に対応したチャンネルを一つ選択すれば、ユーザーにとっては、あたかもそれぞれの音源が一つだけその位置から鳴っているかのように聞こえる。また、ユーザーがヘッドホン２１０１を装着したまま場所を移動すると、それに従って分離結果の定位も変化する。

なお、従来の処理構成、すなわち音源分離の適用マイクと射影対象マイクを同一の設定とした構成も可能であるが、このような処理には問題がある。音源分離の適用マイクと射影対象マイクを同一の設定とした場合には、以下のような処理を行うことになる。図２１に示す射影先マイク２１０８，２１０９自体を音源分離処理のための音源分利用マイクとして設定し、このマイクの集音結果を用いて音源分離処理を実行して、分離結果を用いて射影先マイク２１０８，２１０９へ射影するという処理を行うことになる。

しかし、このような処理を行うと、以下の２つの問題が発生する。
（１）図２１に示す環境では音源が３つ（音源１，２１０５〜音源３，２１０７）あるため、マイクを２個しか使わないと、音源を完全には分離できない。
（２）図２１に示す射影先マイク２１０８，２１０９はヘッドホン２１０１のスピーカー２１１０，２１１１と接近しているため、スピーカー２１１０，２１１１から出た音をマイク２１０８，２１０９が拾ってしまう可能性がある。その場合、音源の数が増え、しかも独立性の仮定が成立しないため、分離精度が低下する。

また、別の従来法として、図２１に示す射影先マイク２１０８，２１０９を音源分離用マイクとして設定し、かつ、図２１に示す音源分離用マイク２１０４も音源分離用マイクとして利用する構成も考えられる。この場合は、音源数（３つ）より多い音源分離用マイクが設定されることになるので音源分離処理の精度を高めることができる。例えば、計６個のマイクを使用したり、マイク２１０８，２１０９の２個と図２１に示す音源分離用マイク２１０４の内の２個の計４個のマイクを使うといった構成である。

しかしその場合も、上記（２）の問題は解決できない。すなわち、図２１に示す射影先マイク２１０８，２１０９がヘッドホン２１０１のスピーカー２１１０，２１１１の音を拾ってしまうと、分離精度が低下する。

また、ヘッドホン２１０１を装着したユーザーが移動する場合、ヘッドホンに装着されたマイク２１０８，２１０９とマイク２１０４とが大きく離れる場合もある。音源分離で使用するマイクの間隔が大きくなるほど、空間エリアシングが低い周波数でも発生しやすくなり、これも分離精度の低下に繋がる。また、６個のマイクを音源分離用に使う構成では、４個の構成と比べ、計算量が増大する。すなわち、
（４／６）^２＝２．２５倍となる。
このように計算コストが大きくなり、処理効率が低下するという問題がある。これに対して、本発明のように、射影先マイクと音源分離用マイクを別のマイクとして、音源分利用マイクで取得した信号に基づいて生成した分離結果を射影先マイクに射影するといった処理によって、上記の問題はすべて解決する。

次に、実施例４におけるもう１つのマイクと出力デバイスの配置例について、図２２を参照して説明する。図２２に示す構成は、射影によってサラウンド効果のある分離結果を生成するための配置例であり、射影先マイクと再生デバイスの位置に特徴がある。

図２２（Ｂ）はスピーカー２２１０〜２２１４を設置された環境（再生環境）、図２２（Ａ）は音源１，２２０２〜音源３，２２０４およびマイク２２０１，２２０５〜２２０９が設置された環境（収録環境）である。両者は別の環境であり、（Ｂ）に示す再生環境のスピーカー２２１０〜２２１４から出力された音が（Ａ）に示す収録環境のマイク２２０１，２２０５〜２２０９に入ることはない。

最初に、（Ｂ）再生環境について説明する。再生用スピーカー２２１０〜２２１４はサラウンド対応のスピーカーであり、それぞれを所定の位置に配置する。（Ｂ）再生環境は、５．１チャンネルサラウンド対応のスピーカーのうち、サブウーファー以外を設置した環境を表わしている。

次に、（Ａ）収録環境について説明する。射影先マイク２２０５〜２２０９はそれぞれ、（Ｂ）再生環境の再生用スピーカー２２１０〜２２１４に対応する位置に設置する。音源分離用マイク２２０１については、図２１に示す音源分離用マイク２１０４と同様であり、指向性マイクであっても無指向性マイクであってもよい。十分な分離性能を得るために音源数より多いマイク数とすることが好ましい。

処理自体は図２１に示す構成と同様の処理であり、図１７のフローに従って処理が行われる。音源分離処理は図１９に示すフローに従って処理が実行され、射影処理は図２０に示すフローに従った処理が行われる。図２０に示すフローのステップＳ４０３のチャンネル選別処理では、分離結果のうちで特定の音源に対応するものを一つ選択する。ステップＳ４０４では、選択した分離音源を、図２２（Ａ）の射影先マイク２２０５〜２２０９へ射影する。

それぞれに射影された信号を、図２２（Ｂ）再生環境の再生用スピーカー２２１０〜２２１４から再生することにより、試聴者２２１５はあたかも音源の一つだけが周囲で鳴っているかのようなサウンドを体験することができる。

（８．３．複数の音源分離システムを適用した実施例（実施例５））
ここまで説明してきた複数の実施例は、いずれも音源分離システムが１つの場合であったが、複数の音源分離システムが共通の射影先マイクを備えるという例も可能である。以下では、そのような方法の使い道として、異なるマイク配置を持つ複数の音源分離システムを持つ構成とした実施例について説明する。

図２３は、複数の音源分離システムを有する信号処理装置構成を示している。音源分離システム１（高域用）２３０５と、音源分離システム２（低域用）２３０６の２つの音源分離システムを備えている。

音源分離システム１（高域用）２３０５と、音源分離システム２（低域用）２３０６の２つの音源分離システムは、それぞれ別の配置のマイクを備えている。
すなわち、音源分離用のマイクは２種類あり、狭い間隔で配置された音源分離用マイク（狭間隔）２３０１は音源分離システム１（高域用）２３０５に接続され、もう一方の広い間隔で設置された音源分離用マイク（広間隔）２３０２は音源分離システム２（低域用）２３０６に接続されている。

射影先マイクは、図に示すように、音源分離用のマイクの一部を射影先マイク（ａ）２３０３とする設定としてもよいし、別の独立した射影先マイク（ｂ）２３０４を利用する構成としてもよい。

次に、図２３に示す２つの音源分離システム２３０５，２３０６の分離結果を統合する方法について、図２４を参照して説明する。高域用の音源分離システム１，２４０１（図２３に示す音源分離システム１（高域用）２３０５に対応）によって生成された射影前の分離結果スペクトログラム２４０２に対して、低域と高域との分割を行ない、高域データ２４０３のみ、すなわち高域部分スペクトログラムを選択抽出する。

一方、低域用の音源分離システム２４０５（図２３に示す音源分離システム２（低域用）２３０６に対応）の分離結果２４０６に対しても、低域と高域との分割を行ない、こちらは低域データ２４０７のみ、すなわち低域部分スペクトログラムを選択抽出する。

それぞれの部分スペクトログラムに対し、前述した本発明の各実施例において説明した方法で射影を行なう。射影後のスペクトログラム２４０４，２４０８を結合すると、再び全帯域のスペクトログラム２４０９が出来上がる。

図２３、図２４を参照して説明した信号処理装置は、音源分離部が少なくとも一部が異なる音源分離用マイクによって取得された信号を入力して分離信号を生成する複数の音源分離システムを有するものである。信号射影部は、複数の音源分離システムの生成した個別の分離信号と、射影先マイクの観測信号を入力して各音源分離システム対応の複数の射影信号（図２４に示す射影信号２４０４，２４０８）を生成し、生成した複数の射影信号を合成して射影先マイクに対応する最終的な射影信号（図２４に示す射影信号２４０９）を生成する。

このような処理において射影が必要となる理由について説明する。
複数の音源分離システムを有し、それぞれ異なるマイク配置を持つという構成は、従来技術が存在する。例えば特開２００３−２６３１８９号公報には、低域は広い間隔に設定したマイクアレイとした複数のマイクが取得した音信号を利用して音源分離処理を行い、高域は狭いマイクアレイとした複数のマイクが取得した音信号を利用して音源分離処理を行い、最終的に両者の分離結果を結合するという方式を開示している。また、本願と同じ出願人の先の特許出願である特開２００８−９２３６３号公報は、そのような複数の分離システムを同時に動かす場合に、出力チャンネルの対応付けをとる（例えば、それぞれの分離システムの出力Ｙ１に、同一の音源に由来する信号を出力させる）構成を開示している。

しかし、これらの従来技術は、分離結果に対するリスケーリングの方法として、音源分離で使用しているマイクへの射影が使用されていた。そのため、広い間隔のマイクに由来する低域の分離結果と、狭い間隔のマイクに由来する高域の分離結果との間に位相のギャップが存在していた。位相のギャップは、定位感をもった分離結果を生成するためには大きな問題となる。また、マイクのゲインにはたとえ同一機種でも個体差があるため、広間隔マイクと狭間隔マイクとの間で入力ゲインが異なる場合は、結合後の信号が音として不自然に聞こえる可能性もあった。

それに対して、図２３、図２４に示す本発明の実施例の構成は、複数の分離システムが、共通の射影先マイクに分離結果を射影し、その後で結合を行なう構成としている。例えば、図２３に示すシステムでは、射影先マイク（ａ）２３０３、または射影先マイク（ｂ）２３０４が射影先であり、これらは、複数の音源分離システム２３０４，２３０５に対して共通の射影先である。従って、位相ギャップの問題もゲインの個体差の問題も解決でき、定位感をもった分離結果を生成することが可能となる。

［９．本発明の信号処理装置の特徴および効果についてのまとめ］
以上、説明したように、本発明の信号処理装置は、音源分離用マイクと、射影先マイクを独立に設定している。すなわち、射影先マイクを音源分離用マイクと異なるマイクとして設定可能な構成としている。

音源分離用マイクで取得したデータに基づいて音源分離処理を実行して分離結果を得て、その分離結果を射影先マイクへ射影する。射影処理においては、射影先マイクで得た観測信号と分離結果との相互共分散行列および、分離結果自身の共分散行列を用いる構成としている。

本発明の信号処理装置は、例えば以下のような効果を奏するものである。
１．指向性マイク（または複数の無指向性マイクから形成される仮想的な指向性マイク）で観測された信号に対して音源分離を行ない、その結果を無指向性マイクへ射影することで、指向性マイクの持つ周波数依存性の問題を解決する。
２．音源分離に適した配置のマイクで観測した信号に対して音源分離を行ない、その結果を音源方向推定（または音源位置推定）に適した配置のマイクへ射影することで、音源分離と方向（位置）推定の間で発生するマイク配置のジレンマを解消する。
３．射影先マイクを再生用スピーカーと同様に配置し、分離結果をそのマイクへ射影することで、定位感のある分離結果が得られるとともに、射影先マイクを音源分離用マイクとして使用する場合の問題を解消する。
４．複数の分離システムの間で共通の射影先マイクを備え、分離結果をそのマイクへ射影することで、音源分離用マイクへ射影する際に発生していた位相差ギャップやゲインの個体差の問題を解消する。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の一実施例の構成によれば、音源分離用マイクが取得した複数音源の混合信号に基づく観測信号に対して独立成分分析（ＩＣＡ：Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）を適用して混合信号の分離処理を行い、各音源対応の分離信号を生成する。次に、生成した分離信号と、音源分離用マイクとは異なる射影先マイクの観測信号を入力し、これらの入力信号を適用して射影先マイクが取得すると推定される各音源対応の分離信号である射影信号を生成する。さらに、射影信号による出力デバイスに対する音声データの出力、あるいは音源方向または位置の推定などを可能とした。

３００ 指向性マイク
３０１，３０２ 集音素子
３０３ 遅延処理部
３０４ 混合ゲイン制御部
３０５ 加算部
４０１，４０２ 集音素子
５０１ 音源
５０２，５０３ マイク
６０１ 音源
６０２，６０３ マイク
６０４ マイクペア
７００ 信号処理装置
７０１ 音源分利用マイク
７０２ 射影先マイク
７０３ ＡＤ変換・ＳＴＦＴ部
７０４ クロック供給部
７０５ 音源分離部
７０６ 信号射影部
７０７ 後段処理部
７０８ 逆ＦＴ・ＤＡ変換部
７０９ 出力デバイス
７１０ 制御部
８０１ 指向性マイク
８０３ 無指向性マイク
９００ 信号処理装置
９０１ 集音素子
９０２ 集音素子
９０３ ＡＤ変換・ＳＴＦＴ部
９０４ クロック供給部
９０５ 指向性形成部
９０６ 音源分離部
９０７ 信号射影部
９０８ 後段処理部
９０９ 逆ＦＴ・ＤＡ変換部
９１０ 出力デバイス
１００１〜１００５ 集音素子
１００６〜１００９ 仮想指向性マイク
１１００ 信号処理装置
１１０１ 音源分利用マイク
１１０２ 射影先専用マイク
１１０３ ＡＤ変換・ＳＴＦＴ部
１１０４ クロック供給部
１１０５ 音源分離部
１１０６ 信号射影部
１１０８ 音源方向（または位置）推定部
１１１０ 信号統合部
１２０１〜１２０８ マイク
１２１２〜１２１４ マイクペア
１３０１ テレビ
１３０２ 射影先マイク
１３０３ リモコン
１３０４ 音源分離用マイク
１４０１ 学習演算部
１４０２ 観測信号バッファー
１４０３ 分離行列バッファー
１４０４ 分離結果バッファー
１４０５ スコア関数バッファー
１４０６ 分離行列修正値バッファー
１５０１ 演算部
１５０２ 射影前分離結果バッファー
１５０３ 射影先観測信号バッファー
１５０４ 共分散行列バッファー
１５０５ 相互共分散行列バッファー
１５０６ 射影係数バッファー
１５０７ 射影結果バッファー
１６０１ 演算部
１６０２ 音源分離用観測信号バッファー
１６０３ 分離行列バッファー
１６０４ 射影先観測信号バッファー
１６０５ 共分散行列バッファー
１６０６ 相互共分散行列バッファー
１６０７ 射影係数バッファー
１６０８ 射影結果バッファー
２１０１ ヘッドホン
２１０４ 音源分離用マイク
２１０５〜２１０７ 音源
２１０８，２１０９ 射影先マイク
２１１０，２１１１ スピーカー
２２０１ 音源分離用マイク
２２０２〜２２０４ 音源
２２０５〜２２０９ マイク
２２１０〜２２１４ スピーカー
２２１５ 試聴者
２３０１ 音源分離用マイク（狭間隔）
２３０２ 音源分離用マイク（広間隔）
２３０３，２３０４ 射影先マイク
２３０５ 音源分離システム１（高域用）
２３０６ 音源分離システム２（低域用）
２４０１ 音源分離システム１（高域用）
２４０２，２４０６ 分離結果スペクトログラム
２４０３ 高域データ
２４０４ 高域射影結果
２４０５ 音源分離システム２（低域用）
２４０７ 低域データ
２４０８ 低域射影結果
２４０９ 射影結合結果

Claims (12)

1. 音源分離用マイクが取得した複数音源の混合信号に基づいて生成される観測信号に対して、独立成分分析（ＩＣＡ：Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）を適用して前記混合信号の分離処理を行い、各音源対応の分離信号を生成する音源分離部と、
   射影先マイクの観測信号と、前記音源分離部の生成した分離信号とを入力し、前記射影先マイクが取得する前記各音源対応の分離信号である射影信号を生成する信号射影部を有し、
   前記信号射影部は、前記音源分離用マイクとは異なる射影先マイクの観測信号を入力して前記射影信号を生成する信号処理装置。
2. 前記音源分離部は、
   前記音源分離用マイクの取得信号を時間周波数領域に変換した観測信号に対して独立成分分析（ＩＣＡ）を実行して時間周波数領域の各音源対応の分離信号を生成し、
   前記信号射影部は、
   時間周波数領域の分離信号に射影係数を乗じて算出する各音源対応の射影信号の総和と、前記射影先マイクの観測信号との誤差を最小にする射影係数を算出し、算出した射影係数を前記分離信号に乗じて射影信号を算出する請求項１に記載の信号処理装置。
3. 前記信号射影部は、
   前記誤差を最小にする射影係数の算出処理に最小二乗近似を適用する請求項２に記載の信号処理装置。
4. 前記音源分離部は、
   複数の指向性マイクによって構成された音源分離用マイクの取得信号を入力して、各音源対応の分離信号を生成する処理を実行し、
   前記信号射影部は、
   無指向性マイクである射影先マイクの観測信号と、前記音源分離部の生成した分離信号を入力し、無指向性マイクである射影先マイクに対する射影信号を生成する請求項１に記載の信号処理装置。
5. 前記信号処理装置は、さらに、
   複数の無指向性マイクによって構成された音源分離用マイクの取得信号を入力し、２つの無指向性マイクによって構成されるマイクペアの一方のマイクの位相を、前記マイクペアのマイク間距離に応じて遅らせて仮想的な指向性マイクの出力信号を生成する指向性形成部を有し、
   前記音源分離部は、前記指向性形成部の生成した出力信号を入力して前記分離信号を生成する請求項１に記載の信号処理装置。
6. 前記信号処理装置は、さらに、
   前記信号射影部において生成された射影信号を入力し、複数の異なる位置の射影先マイクの射影信号の位相差に基づいて音源方向の算出処理を行う音源方向推定部を有する請求項１に記載の信号処理装置。
7. 前記信号処理装置は、さらに、
   前記信号射影部において生成された射影信号を入力し、複数の異なる位置の射影先マイクの射影信号の位相差に基づいて音源方向の算出処理を行い、さらに、複数の異なる位置の射影先マイクの射影信号によって算出された音源方向の組み合わせデータに基づいて音源位置を算出する音源位置推定部を有する請求項１に記載の信号処理装置。
8. 前記信号処理装置は、さらに、
   前記信号射影部において生成された射影係数を入力して、該射影係数を適用した演算を実行して音源方向または音源位置の算出処理を行う音源方向推定部を有する請求項２に記載の信号処理装置。
9. 前記信号処理装置は、さらに、
   前記射影先マイクに対応する位置に設定された出力デバイスと、
   前記出力デバイスの位置に対応する射影先マイクの射影信号を出力する制御を行う制御部を有する請求項１に記載の信号処理装置。
10. 前記音源分離部は、少なくとも一部が異なる音源分離用マイクによって取得された信号を入力して分離信号を生成する複数の音源分離部によって構成され、
    前記信号射影部は、前記複数の音源分離部の生成した個別の分離信号と、射影先マイクの観測信号を入力して音源分離部対応の複数の射影信号を生成し、生成した複数の射影信号を合成して前記射影先マイクに対応する最終的な射影信号を生成する請求項１に記載の信号処理装置。
11. 信号処理装置において実行する信号処理方法であり、
    音源分離部が、音源分離用マイクが取得した複数音源の混合信号に基づいて生成される観測信号に対して、独立成分分析（ＩＣＡ：Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）を適用して前記混合信号の分離処理を行い、各音源対応の分離信号を生成する音源分離ステップと、
    信号射影部が、射影先マイクの観測信号と、前記音源分離部の生成した分離信号を入力し、前記射影先マイクが取得する前記各音源対応の分離信号である射影信号を生成する信号射影ステップを有し、
    前記信号射影ステップは、前記音源分離用マイクとは異なる射影先マイクの観測信号を入力して前記射影信号を生成する信号処理方法。
12. 信号処理装置において信号処理を実行させるプログラムであり、
    音源分離部に、音源分離用マイクが取得した複数音源の混合信号に基づいて生成される観測信号に対して、独立成分分析（ＩＣＡ：Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）を適用して前記混合信号の分離処理を行い、各音源対応の分離信号を生成させる音源分離ステップと、
    信号射影部に、射影先マイクの観測信号と、前記音源分離部の生成した分離信号を入力し、前記射影先マイクが取得する前記各音源対応の分離信号である射影信号を生成させる信号射影ステップを有し、
    前記信号射影ステップは、前記音源分離用マイクとは異なる射影先マイクの観測信号を入力して前記射影信号を生成させるステップであるプログラム。