JP2018156052A - 信号処理システム、信号処理方法及び信号処理プログラム - Google Patents

Abstract

【課題】 同一のチャネルに常に同一の信号源に由来する発生信号を出力し続ける。【解決手段】 実施形態に係る信号処理システムにおいて、センサ装置は、複数の信号源の発生信号を観測して受信信号を取得し、分離装置は、フレーム単位ごとにセンサ装置の受信信号から分離フィルタを推定し、この分離フィルタに基づいて受信信号を分離して複数のチャネルから出力し、第１算出装置は、分離フィルタに基づき複数のチャネルの分離信号毎に方向特性分布を計算し、第２算出装置は、分離信号を得た現在のフレームよりも過去のフレームで出力した複数のチャネルの分離信号それぞれの方向特性分布を表す累積分布を求め、現在のフレームの分離信号の方向特性分布との類似度を算出し、連結装置は、複数のチャネルの分離信号毎に類似度に基づいて複数のチャネルの分離信号から選択した一つの信号に連結して出力する。【選択図】図１

Description

本実施形態は、信号処理システム、信号処理方法及び信号処理プログラムに関する。

従来より、会議システム等の信号処理システムでは、多チャネルの音源を対象として収録した音響信号から任意の音源の音響信号を分離する多チャネル音源分離技術が採用されている。この多チャネル音源分離技術では、一般的に、音源ごとに分離された音響信号同士を比較し、その比較結果に基づいて分離度（独立性など）を高くして、分離すべき音響信号を推定するアルゴリズムが用いられている。このとき、音響環境に依存した閾値を予め設定することで方向特性のピークを検出し、そのピーク検出結果に基づいて分離した音源の音響信号と対応する音源とを連結している。

ところが、実際の運用にあっては、必ずしも１つのチャネルに１つの音源のみの音響信号が適切に集音され続けるとは限らない。なぜならこのことから、例えばある処理フレームにおいて分離された音響信号の中から任意の２つの信号を選択出力する際に、それぞれの出力端（以下、チャネルと呼ぶこともある）に割り振るチャネル番号を入れ替えても、出力される信号同士を比較した分離度を基準とする目的関数の値は変わらないからである。実際に、音源分離のシステムを使い続けると、ある音源の音響信号を出力し続けていたチャネルに、別の音源の音響信号が出力されるように切り替わることが現象として起こる。この現象は、音源分離に失敗したというわけではなく、上述のように出力されるチャネル番号に関する不定性が残っていることに起因する。

特開２００８−３９６９３号公報 特開２０１４−４１３０８号公報

"非同期分散マイクロホンアレイに基づく音響信号処理"、小野順貴、宮部滋樹、牧野昭二、日本音響学会誌70巻7号、pp.391-396, 2014。 "Multiple Emitter Location and Signal Parameter Estimation," Ralph O. Schmidt, IEEE Transactions on Antennas and Propagation, Vol. AP-34, No. 3, March 1986.

"Color Indexing," Michael J. Swain, Dana H. Ballard, International Journal on Computer Vision, 7:1, II-32, 1991.

"A Tutorial on Onset Detection in Music Signals," J.P. Bello ; L. Daudet ; S. Abdallah ; C. Duxbury ; M. Davies ; M.B. Sandler, IEEE Transactions on Speech and Processing, Vol:13, Issue:5, Sept. 2005.

以上のように、従来の多チャネル信号源分離技術に基づく信号処理システムでは、必ずしも１つのチャネルに１つの信号源のみの発生信号が適切に収集され続けるとは限らず、ある信号源の発生信号を出力し続けていたチャネルに、別の信号源の発生信号が出力されるように切り替わることが起こるという課題がある。

本実施形態は上記課題に鑑みなされたもので、多チャネル信号源分離処理において、同一のチャネルに常に同一の信号源に由来する発生信号を出力し続けることのできる信号処理システム、信号処理方法及び信号処理プログラムを提供することを目的とする。

実施形態によれば、センサ装置と、分離装置と、第１算出装置と、第２算出装置と、連結装置とを備える。センサ装置は、複数の信号源の発生信号を観測して受信信号を取得し、分離装置は、フレーム単位ごとにセンサ装置の受信信号から分離フィルタを推定し、この分離フィルタに基づいて受信信号を分離して複数のチャネルから出力し、第１算出装置は、分離フィルタに基づき複数のチャネルの分離信号毎に方向特性分布を計算し、第２算出装置は、分離信号を得た現在のフレームよりも過去のフレームで出力した複数のチャネルの分離信号それぞれの方向特性分布を表す累積分布を求め、現在のフレームの分離信号の方向特性分布との類似度を算出し、連結装置は、複数のチャネルの分離信号毎に類似度に基づいて複数のチャネルの分離信号から選択した一つの信号に連結して出力する。これにより時間的に連続な出力信号を得る。

第１の実施形態に係る信号処理システムの構成を示すブロック図。 第１の実施形態に係る信号処理システムの処理を説明するための座標系を示す概念図。 第２の実施形態に係る信号処理システムの構成を示すブロック図。 第３の実施形態に係る信号処理システムの構成を示すブロック図。 第４の実施形態に係る信号処理システムの構成を示すブロック図。 第１〜第４の実施形態に係る信号処理システムをコンピュータ装置によって実現する構成を示すブロック図。 第１〜第４の実施形態に係る信号処理システムをネットワークシステムによって実現する構成を示すブロック図。

以下、本発明に係る実施形態について、図面を参照して説明する。
（第１の実施形態）
図１は、第１の実施形態に係る信号処理システム１００−１の構成を示すブロック図である。この信号処理システム１００−１は、センサ部１０１と、音源分離部１０２と、方向特性分布算出部１０３と、類似度算出部１０４と、連結部１０５とを備える。

上記センサ部１０１は、複数のセンサによって観測される観測信号が重ね合わさったものを受信する。上記音源分離部１０２は、一定時間に基づくフレーム単位ごとに、センサ部１０１で受信された信号から観測信号同士を分離するフィルタとしての働きを持つ分離行列を推定し、その分離行列に基づいて受信信号から複数の信号を分離し、各分離信号を出力する。上記方向特性分布算出部１０３は、音源分離部１０２で推定された分離行列から各分離信号の方向特性分布を算出する。上記類似度算出部１０４は、現在の処理フレームの方向特性分布と過去に算出された方向特性分布の累積分布との類似度を算出する。上記連結部１０５は、類似度算出部１０４で算出された類似度の値に基づいてそれぞれの現在の処理フレームの分離信号を過去の出力信号に連結させる。

第１の実施形態に係る信号処理システム１００−１は、音源分離処理によって分離された複数の出力信号から、それぞれの出力信号に対応する音源の到来方向を推定する技術を提案する。この技術は、例えば、分離行列から間接的に求められるステアリングベクトルと、予め用意した複数の方向から信号が到来したと仮定したときの参照ステアリングベクトルとを乗算し、その値の大小で到来方向を判断する。その際、到来方向を音響環境の変化に頑健に求めることは必ずしも容易ではない。

そこで、第１の実施形態に係る信号処理システム１００−１では、各分離信号の到来方向を直接求めるのではなく、方向特性分布を使って過去のフレームまでに出力された信号と現在の処理フレームにおける分離信号とを連結させる。このように方向特性分布を使うことで、音響環境の変化に応じた閾値調整が不要になる効果がある。

なお、以下の実施形態では、音波を観測して音響信号を処理する例について言及するが、観測及び処理する信号は必ずしも音響信号に限らず、電波などの他の種類の信号に適用してもよい。
第１の実施形態に係る信号処理システムの具体的な処理動作を説明する。
上記センサ部１０１は、複数チャネルのセンサ（例えばマイクロフォン）を備え、各センサは収録環境において存在する全ての音源から到来する音響信号が重ね合わされた信号を観測する。上記音源分離部１０２は、センサ部１０１から観測信号を受け取り、センサのチャネル数と同数の音響信号に分離し、分離信号として出力する。ここで出力される分離信号は、信号同士の分離度が高くなる基準を用いて学習された分離行列を観測信号に乗算することによって得られる。

上記方向分布算出部１０３は、音源分離部１０２で求められた分離行列を利用して、それぞれの分離信号の方向特性分布を計算する。分離行列には、各音源の空間特性情報が含まれているため、その情報を抽出することで、それぞれの分離信号の様々な角度における「その角度から到来したという確信度」を算出することができる。この確信度を方向特性と呼ぶ。この方向特性を広範囲の角度について求めることで得られる分布のことを方向特性分布と呼ぶ。

上記類似度算出部１０４は、方向特性分布算出部１０３で求められた方向特性分布を用いて、過去の複数の分離信号から別途算出した方向特性分布との類似度を算出する。過去の複数の分離信号から算出した方向特性分布のことを「累積分布」と呼ぶ。累積分布は、現在の処理フレームよりも前の分離信号の方向特性分布に基づいて算出され、類似度算出部１０４で保持される。類似度算出部１０４は、類似度の計算結果から、過去の分離信号の末尾に現在の処理フレームの分離信号を追加するための切替制御命令を連結部１０５に送る。

上記連結部１０５では、類似度算出部１０４から送られる切替制御命令に基づいて、現在の処理フレームの分離信号それぞれを、過去の出力信号いずれか１つの末尾に１つずつ連結させる。
以上に説明した各処理部（１０２〜１０５）は、例えばＣＰＵ（Central Processing Unit）などのコンピュータ装置にプログラムを実行させること、すなわちソフトウェアとして実現してもよいし、ＩＣ（Integrated Circuit）などのハードウェアにより実現してもよいし、ソフトウェアとハードウェアを併用して実現してもよい。以降の実施形態で説明する各処理部についても同様のことが言える。

次に、本実施形態についてさらに詳述する。
まず、図１中のセンサ部１０１について具体的に説明する。
センサ部１０１が備える各センサは任意の位置に配置することが可能であるが、ある１つのセンサが別の１つのセンサの受信口を塞がないように注意する必要がある。センサの個数Ｍは２以上とする。なお、Ｍ≧３のとき、ある一直線上に音源が並んでいない（音源座標が２次元的に配置されている）場合は、センサも一直線上に並ぶことがないように２次元的に配置すると、後段の音源分離において好適である。一方、Ｍ＝２のときは、２つの音源を結ぶ線分上にセンサが並んでいる方が好適である。

また、センサ部１０１ではＡ／Ｄ変換により、アナログ量である音波をデジタル信号に変換する機能も備えているものとし、以下では一定の周期でサンプリングされたデジタル信号を扱うものとする。本実施形態では、例として音声信号の処理に応用することを考え、音声が存在する帯域の大半をカバーできるようにサンプリング周波数を１６ｋＨｚとするが、用途に応じて変更してもよい。また、センサ間でのサンプリングは、原則として同一クロックによりサンプリングされる必要があるが、例えば非特許文献１のように、非同期のサンプリングによるセンサ間のミスマッチを補償する処理を加えて、同一クロックの観測信号が回復されたもので代替することもできる。

次に、図１中の音源分離部１０２について具体例に説明する。
いま、周波数ω、時刻ｔにおける音源信号をＳω,ｔ、センサ部１０１で観測された観測信号をＸω,ｔとおく。音源信号Ｓω,ｔはＫ次元のベクトル量であり、各要素には単独の音源信号が含まれているものと考える。一方、観測信号Ｘω,ｔはＭ次元のベクトル量であり（Ｍはセンサの個数）、その各要素には上記の音源から到来した音波が複数重ね合わされた値が含まれる。このとき、両者は

という線形の式でモデル化されるものとする。ここで、Ａ(ω,ｔ) は次元が（Ｋ×Ｍ）の行列である混合行列と呼ばれ、音響信号の空間伝搬の特徴を表す。
時不変な系であれば、混合行列Ａ(ω,ｔ) は時間に依存しない量となるが、実際には音源やセンサアレイの位置変化などの音響条件の変化が伴うため、一般的には時変な量である。なお、Ｘ及びＳは時間領域の信号ではなく、短時間フーリエ変換（ＳＴＦＴ；Short Time Fourier Transform）やウェーブレット変換など周波数領域に変換した信号を表す。よって、一般にこれらは複素変数となることに注意する。本実施形態では、例としてＳＴＦＴを取り上げる。この場合、上述の観測信号と音源信号との関係式が成り立つように、インパルス応答に対して十分長いフレーム長を設定する必要がある。このため、例えばフレーム長を４０９６点、シフト長を２０４８点とする。

本実施形態では、次に、センサで観測した観測信号Ｘω,ｔに対し、元の音源信号を復元するために乗算する分離行列Ｗ(ω,ｔ)（次元はＫ×Ｍ）を推定する。この推定は、

で表される。ここで、

は左辺の量が右辺の量で近似できることを表す。（２）式に従って、各処理フレームごとに分離された信号Ｓを取得することができる。（１）式と（２）式を見比べると分かる通り、混合行列Ａ(ω,ｔ) と分離行列Ｗ(ω,ｔ) とは、次式に示すように、互いに疑似的な逆行列（以下、疑似逆行列）の関係になっている。

本実施形態では、混合行列Ａ(ω,ｔ) と分離行列Ｗ(ω,ｔ) は正方行列、すなわちＫ＝Ｍとしているが、擬似逆行列を求めるアルゴリズムなどで代用すること、すなわちＫ≠Ｍの実施形態を構成することもできる。上述の通り混合行列Ａ(ω,ｔ) が時変な量であると考えるので、分離行列Ｗ(ω,ｔ) も時変な量である。仮に時不変な系とみなせる環境であっても、実時間で本実施形態により出力された信号を利用したい場合は、短い時間間隔で分離行列Ｗ(ω,ｔ) を逐次更新していく分離手法が必要となる。

そこで、本実施形態では、特許文献２のオンライン化された独立ベクトル分析法を採用する。但し、空間特性に基づくフィルタリングの働きをする分離フィルタを求める実時間での処理が可能な音源分離アルゴリズムであれば、これに置き換えてもよい。独立ベクトル分析法では、分離行列が、それぞれの分離される信号同士の独立性を高くするように更新される分離法を用いる。この分離法を用いる利点は、事前情報を全く使わずに音源分離を実現できるという点であり、事前に音源の位置やインパルス応答を計測するなどの処理が不要となる。

独立ベクトルによる分析法において、パラメタは全て文献にて推奨されている値を用いる（忘却係数＝０．９６、形状パラメタ＝１．０（音源信号をLaplace分布で近似することに相当）、フィルタ更新繰り返し回数＝２）が、これらについても値を変更してもよいものとする。例えば音源信号を時変ガウス分布で近似することなどの変形が考えられる（形状パラメタ＝０とすることに相当）。求められた分離行列は、後段の方向特性分布計算部１０３（図１を参照）で用いる。

次に、図１中の方向特性分布計算部１０３について具体的に説明する。ここではまず、（３）式に基づいて、分離行列Ｗを混合行列Ａに変換する。これにより求められた混合行列Ａの各列ベクトルａ_k＝［ａ_1k，…，ａ_Mk］^T（１≦ｋ≦Ｋ）をステアリングベクトルと呼ぶ。ここでＴは行列の転置を表す。ステアリングベクトルのｍ番目の要素ａ_mk（１≦ｍ≦Ｍ）は、ｋ番目の音源からｍ番目のセンサに発せられた信号の振幅の減衰や位相に関する特徴を含む。例えば、ａ_kの要素間の絶対値の比は、ｋ番目の音源が発した信号のセンサ間の振幅比を表し、またそれらの位相の差は音波のセンサ間の位相差に対応する。したがって、ステアリングベクトルに基づいて、センサから見た音源の位置情報を得ることができる。ここでは、事前に様々な角度について求めた参照ステアリングベクトルと、分離行列から求めたステアリングベクトルａ_kとの類似度に基づいた情報を用いる。

次に、前記の参照ステアリングベクトルの算出方法を説明する。ここでは、信号が平面波であると近似した場合のステアリングベクトルの算出法について説明するが、平面波に限らず、例えば球面波としてモデル化した場合に算出されるステアリングベクトルを用いてもよい。また、ここでは位相差の特徴のみを反映したステアリングベクトルを算出する方法について説明するが、これに限らず、例えば振幅差を考慮したステアリングベクトルを算出してもよい。

平面波がＭ個のセンサに到来したとき、ある信号の到来方位角をθと表すと、位相差のみを考慮したときのステアリングベクトルは理論的には

と計算できる。ここでｊは虚数単位、ωは周波数、Ｍはセンサの数、Ｔは行列の転置を表す。また、原点に対するｍ番目のセンサ（１≦ｍ≦Ｍ）での遅延時間τ_mは、以下のように算出できる。

ここでｔ［℃］は実施環境における空気の温度である。本実施形態ではｔ＝２０℃と固定するが、これに限らず実施環境に応じて変更してもよい。また、（５）式の右辺の分母は音速［m/s］を求める計算に相当しているので、事前に他の方法で音速が推定できる場合はその推定値で置き換えてもよい（例：温度計で測定した気温に基づいて推定する、など）。ｒ_m ^T、ｅ_θはそれぞれｍ番目のセンサの座標（３次元のベクトルだが、特定の平面のみを考える場合は２次元としてもよい）、特定の方向θを示す単位ベクトル（大きさが１のベクトル）である。本実施形態では、例として図２に示すようなｘ−ｙ座標系を考える。この場合は、

となるが、必ずしも座標系の設定はこれに限らず任意に設定できるものとする。
また、参照ステアリングベクトルをセンサの位置座標に依存しないものとして準備する形態を考えることもできる。この形態では、センサを任意の位置に配置することが可能になるため、複数のセンサを具備するシステムであれば、どんなものでも実施することが可能となる。

後述の類似度計算において、（５）式で求められる遅延時間の基準値を予め定めておく必要がある。本実施形態では、以下の（７）式の通り、センサ番号ｍ＝１における遅延時間τ_１を基準値とする。

なお、記号「←」は、「右辺の値を用いて左辺の値を更新する」という意味を持つ。
以上の計算を複数の角度θについて行う。本実施形態では、それぞれの音源の到来方向自体を求めることが目的でないので、参照ステアリングベクトルを用意する際の角度の解像度はΔθ＝３０°とし、それらの個数は０°から３３０°までの計１２個とした。これにより、音源の位置変化が微小である場合は、そのような位置変化に頑健な分布を取得することができる。しかし、角度の解像度は使用目的や使用状況に応じてより細かい、または粗い解像度に変更してもよい。

実際の分離行列から算出されたＫ個のステアリングベクトルａ_kは、複数の周波数帯をまとめた特徴量とする。この理由は、例えば特定の周波数帯に存在する雑音の影響で音声に関するステアリングベクトルが精度よく求められなかった場合、別の周波数帯でのステアリングベクトルが精度よく推定できていれば、その雑音の影響を低減させることができるからである。この連結処理は必ずしも必要ではなく、後述する類似度を算出する際に、例えばそれぞれの周波数ごとに求めた類似度の中から信頼できるものを取捨選択するような手法に置き換えてもよい。

以上により求められた参照ステアリングベクトルと、実際の分離行列から算出されたステアリングベクトルａとの類似度Ｓを（８）式に基づき求める。本実施形態では類似度計算においてコサイン類似度を採用したが、これに限らず例えばベクトル間のユークリッド距離を求め、それらの大小関係を逆転させたものなどを類似度と定義してもよい。

類似度Ｓは非負の実数値であり、Ｓの値は必ず０≦Ｓ（θ）≦１という範囲に収まり、扱いが簡単になる。但し、類似度Ｓを定義する際に、それらの大小が判定できる実数値になっているのであれば、必ずしも同様の値の範囲に制限する必要はない。

以上の類似度を複数の角度θについて求めてまとめたものｐを、現在の処理フレームの分離信号に関する方向特性分布と定義する。

ただし、Ｎは角度インデックスの総数であり、上述の通り３０°おきに０°から３３０°までを考える場合Ｎ＝１２となる。
方向特性分布は、必ずしもステアリングベクトルを乗算することによって求める必要はなく、例えば非特許文献２で提案されているＭＵＳＩＣスペクトルなどを方向特性分布とみなして代用してもよい。しかしながら、本実施形態では、音源の微小な移動を許容する構成を目指しており、少しの角度の差で分布の値が急峻に変化するような分布は好適でないことに注意する。

以上のようにして求められた方向特性分布は、従来技術においては、その後段で各分離信号の方向を推定するために使われる。一方、本実施形態では、それぞれの分離信号の方向を直接推定することなく、過去の出力信号と現在の処理フレームの分離信号とを連結する。

次に、図１中の類似度算出部１０４について具体的に説明する。このブロックでは、方向特性分布算出部１０３によって求められた、分離信号それぞれについての方向特性分布情報に基づき、過去の複数の出力信号の中から現在の処理フレームの分離信号と連結する組み合わせ最適な問題を解くための類似度を計算する。本実施形態では、類似度計算の結果が高くなるような組み合わせを選ぶという方式を採用するが、例えば類似度の代わりに距離を使い、距離計算の結果が小さくなるような組み合わせを選ぶという問題に置き換えてもよい。

次に、現在の処理フレームよりも過去の分離信号についての累積分布の計算方法を説明する。本実施形態では、音源やマイクアレイの移動などを考慮して、過去の処理フレームで推定された方向位特性分布の情報を時間経過とともに忘却していく忘却係数を導入する。すなわち、あるαという正の実数値（０より大きく１より小さい値とする）に対して

と推定する。このαは固定値として設定してもよいし、あるいは方向特性分布以外の情報に基づいて値を時間変化させてもよい。
例えば、現在の処理フレームにおける分離信号の音声らしさ（パワーの大小、スペクトルエントロピーの大小など）に基づき、音声らしさが高い場合には現在の処理フレームで推定されたｐ_T+1の信頼度が高いと仮定してαの値を小さくする、などの実施形態が考えられる。Ｔは累積フレーム数（このとき、現在の処理フレームの番号はＴ＋１となることに注意）、ｐ_t＝［ｐ_t,1，…，ｐ_t,N］はフレーム番号ｔにおける方向特性分布である。

また、累積分布の算出方法の変形として、処理開始フレームから現在よりも１つ前までの全ての処理フレームにおける方向特性分布ｐの和を累積分布として用いたり、例えば考慮する過去のフレームの数を限定するなどの手法の変更を行ってもよい。当該の実施形態での累積分布ｐ_past(Ｔ)の求め方を式で示すと以下のようになる。

この場合、Ｔ個のフレームｐ_ｔの分布を累積したため、ｐ_past(Ｔ)＝［ｐ_past,1，…，ｐ_past,N］は一般にｐ_T+1よりも大きな値を取る。このままでは、値のスケールが互いに異なるため、類似度計算に適さない。そこで、以下の式のような正規化処理を施す。

これはヒストグラムを正規化するものと同様の計算式になっている（全ての成分の総和が１になる）が、類似度計算に好適な処理であれば、例えば両者のユークリッドノルムを１に正規化する処理や，各成分から最小の成分を引いて最小値を０にする正規化、平均値で引くことで平均を０にする正規化など、他の正規化の手法で置き換えてもよい。

次に、現在の処理フレームから算出した方向特性分布と、過去の処理フレームから算出した累積分布との類似度を計算する手法を説明する。２つの分布ｐ₁ ＝［ｐ₁₁，…，ｐ_1Ｎ］、ｐ_past ＝［ｐ₂₁，…，ｐ_2Ｎ］の間の類似度Ｉは以下の（１４）式で計算できる。

本実施形態では、非特許文献３に記載のヒストグラム交差法を用いたが、他にもカイ二乗距離、Bhattacharyya距離など分布同士の類似度または距離を適切に計算できるものであればどのようなもので代用してもよい。例えば、より単純に、以下の式のようなノルムＤなどを距離尺度として用いてもよい。

例えばｌ＝１の場合はＬ１ノルム（マンハッタン距離），ｌ＝２の場合はＬ２ノルム（ユークリッド距離）として知られる距離である。
以上に説明した類似度を全ての出力信号と分離信号との組み合わせについて求め、類似度が最も高くなる組み合わせ（Ｋ個の分離信号が得られるので、その組み合わせの総数はＫ！＝Ｋ×（Ｋ−１）×…×１通り）を選び、その選択結果を切替制御命令として連結部１０５に送る。ここではＫが小さい場合（２や３など）を想定して全ての組み合わせを考慮したが、Ｋが大きくなるにつれて組み合わせの総数が多くなる問題がある。そこで、Ｋが大きい場合には、例えばあるチャネルの類似度の値が、音響環境に依存しない閾値を下回った場合、他のチャネルの類似度の計算を省略して組み合わせの候補から除外するなど、より効率的なアルゴリズムを導入してもよい。

なお、本実施形態で一番初めに処理するフレームにおいては、方向特性分布は前述の累積分布を算出するためのみに使われ、またその場合において後述の連結部１０５での処理は省略することができる。
最後に、図１中の連結部１０５について具体的に説明する。この連結部１０５では、過去に出力された信号のそれぞれの末尾に、音源分離部１０２で得られた分離信号を、類似度算出部１０４から送られた切替制御命令に基づいて１つずつ連結する。

但し、連結処理された周波数領域での信号を、例えば逆短時間フーリエ変換（ＩＳＴＦＴ；Inverse Short Time Fourier Transform）などを用いて時間領域に逆変換して利用したい場合には、フレーム毎に得られた時間信号をそのまま連結させると不連続性が生じる懸念がある。そこで、例えば重畳加算法（あるフレームの末端部とその次のフレームの先頭部とを一部重複させ、それらの重み付き和として出力信号を表現する）などの手法を用いて、出力信号が滑らかになることを保証するなどの処理を追加する。

（第２の実施形態）
図３は、第２の実施形態に係る信号処理システム１００−２の構成を示すブロック図である。図３において、図１と同一部分には同一符号を付して示し、重複する説明を省略する。
本実施形態の信号処理システム１００−２は、第１の実施形態により出力された信号について、さらにそれらの相対的な位置関係を付与することができる機能を追加したものとして構成され、第１の実施形態の構成を基本に、方向推定部１０６及び位置関係付与部１０７が追加されている。

上記方向推定部１０６は、音源分離部１０２で求められた分離行列に基づき、それぞれの分離信号についての位置関係を決定する。すなわち、ｋ番目の分離信号に対応する方位特性分布を

とする。ここで、θ_nはｎ番目（１≦ｎ≦Ｎ）の参照ステアリングベクトルが代表する角度である。方向推定部１０６では、これらの方向特性分布の中から、その信号の大まかな到来方向を以下の式により推定する。

（１７）式ではｐ_kが最大となる角度インデックスを取得する方式だが、これに限らず例えば、当該角度インデックスおよび隣り合う角度インデックスのｐ_kの和を最大化するようなθを求めるなどの変更を加えてもよい。

以上の（１７）式から求められた到来方向の情報は、位置関係付与部１０７でそれぞれの出力信号に付与される。ここで付与された角度の情報に関して、必ずしもその絶対値そのものを利用するとは限らないことに注意する。例えば第１の実施形態では、参照ステアリングベクトルの角度の解像度をΔθ＝３０°としていたが、この実施形態はそもそも高精度な方向推定を目指していない。その代わり、相対的に右側または左側に音源が位置している、という情報だけ取得できれば、応用シーンにおいて十分である場合も多い（下記のケース参照）。このため、本実施形態では到来方向の情報を与えることを“位置付与”ではなく“位置関係付与”と呼ぶことで、厳密に角度を推定するシステムと区別している。

また、方向推定において、必ずしも（１７）式に基づき角度を推定することに限定せず、分離信号のパワーの大きさを加味するなどの実施例を考えることもできる。例えば、注目する分離信号のパワーが小さい場合は、推定された角度の確信度が低いとみなし、過去の出力信号においてよりパワーの高かった場合の推定角度で代用するなどのアルゴリズムが考えられる。

以上の理由から、方向位推定部１０６は、図３に示すように、方向特性分布計算部１０３で得られた方向特性分布情報だけでなく、音源分離部１０２で得られた分離行列や分離信号の情報を用いている。

（第４の実施形態）
図５は、第４の実施形態に係る信号処理システム１００−４の構成を示すブロック図である。図５において、図１と同一部分には同一符号を付して示し、重複する説明を省略する。
本実施形態では、第１の実施形態またはその派生形に対して、音声区間検出（ＶＡＤ；Voice Activity Detection）の手法を導入することで、目的音声以外の雑音によって累積分布が意図しないものに更新されてしまうことを防ぐ。具体的には、図５に示すように、音源分離部１０２で得られた複数の分離信号それぞれに対して、音声区間検出部１０９で音声区間または非音声区間のいずれかを判定し、音声区間であるとみなされたチャネルに対応する累積分布のみを類似度算出部１０４で更新し、それ以外のチャネルに対応する累積分布は更新を省略する。

なお、ここで説明した実施形態では、音声を集音するために音声区間検出処理を導入したが、それ以外にも例えば楽器の信号を集音するために音符のオンセットを検出する処理（非特許文献４）を導入するなどの変形も可能である。
（信号処理システムのユースケース）
これまでに説明した信号処理システムの実際の利用例を説明する。
（ユースケース１：ＶｏＣ（Voice of Customer）収集システム）
例えば第２の実施形態は、店頭販売や窓口業務を行う店員及びその顧客が対話するケースへの応用が考えられる。これらの話者同士がセンサから見た方向に差を付けて位置する（第１の実施形態で述べた角度の解像度以上の角度の差があることが望ましい）という条件と、相対的な位置により話者を識別するという前提知識（例えば、右側に店員、左側に顧客が位置するものと決める）があれば、当該実施形態を用いることで話者ごとに分けて発話を認識することができる。これを使って音声認識システムと統合することで、お客様の声（ＶｏＣ；Voice of Customer）のみを選択的に収集したり、店員の応対で発した言葉を収集することで接客マニュアルの改善に役立てたりすることが可能となる。

なお、出力信号は後段での音声認識にて用いられるので、信号対雑音比（ＳＮＲ；Signal-to-Noise Ratio）が低くならないように、センサと話者の間の距離は数十ｃｍ〜１ｍ程度とすることが望ましい。以下の別のケースにおいても、音声認識システムを用いる場合は同様のことが言える。

音声認識モジュールは当該実施形態のシステムと同じ装置に組み込んで実現してもよいが、特に当該実施形態の装置で計算資源が制限されている場合などでは別の形態で実現する必要がある。その場合には、第２の実施形態などの構成により、出力された音声を通信によって別の音声認識用の装置に送信し、その音声認識用の装置で得られた認識結果を利用する、という実施形態を考えることもできる。
なお、ここでは店員と顧客という２種類の役割を持った人物を想定したが、必ずしも話者の数はそれぞれ１人ずつの計２人に限定されるものではなく、合計で３人以上の話者が登場する場合に応用することもできる。

（ユースケース２：複数言語同時翻訳システム）
例えば第２の実施形態は、互いに異なる言語を話す話者同士のコミュニケーションを支援するために複数言語を同時に翻訳するシステムなどに応用できる。話者同士がセンサから見た方向に差を付けて位置するという条件と、相対的な位置により言語を区別するという前提知識（例えば、右側に日本語話者、左側に英語話者が位置するものと決める）があれば、当該実施形態を用いることで話者ごとに分けて発話を認識および翻訳することができる。以上の動作をなるべく少ない遅延時間で実現することにより、相手の言語についての知識が無い場合であってもコミュニケーションをとることが可能になる。

（ユースケース３：音楽信号分離システム）
複数の楽器が同時に音を奏でる合奏音を、本システムを用いて分離するという応用も考えられる。楽器ごとに方向の差を付けて空間内に配置し、第１または第２の実施形態またはその派生形態を適用すれば、楽器ごとに分離された信号を複数同時に得ることができる。このシステムは、出力された信号をスピーカやヘッドホン等を通して聴くことで、演奏家や指揮者が楽器ごとの演奏を確認したり、後段に自動採譜システムを連結させることで未知の楽曲を楽器ごとに採譜したりするなどの効果が期待できる。

（実施例１）
次に、第１〜第４の実施形態にかかる信号処理システムのハードウェア構成について説明する。この構成は、図６に示すように、ＣＰＵ（Central Processing Unit）などの制御装置２０１と、ＲＯＭ（Read Only Memory）などのプログラム記憶装置２０２と、ＲＡＭ（Random Access Memory）などの作業用記憶装置２０３、各部を接続するバス２０４、センサ部１０１からの観測信号の入力、連結信号の出力を行うインターフェース装置２０５とを備えている。

第１〜第４の実施形態にかかる信号処理システムで実行されるプログラムは、ＲＯＭ等の記憶装置２０２に予め組み込まれて提供され、また、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプロダクトとして提供されるように構成してもよい。

（実施例２）
さらに、図７に示すように、第１〜第４の実施形態に係る信号処理システムで実行されるプログラムを、インターネット等のネットワーク３０１に接続されたコンピュータ（サーバ）３０２に格納し、ネットワーク経由で、第１〜第４の実施形態に係る信号処理システムの処理機能を有する通信端末３０３にダウンロードさせることにより提供するように構成してもよい。また、そのプログラムをネットワーク経由で提供または配布するように構成してもよい。また、ネットワーク経由でコンピュータ３０２に通信端末３０３からセンサ出力を送り、分離連結された出力信号を通信端末３０３が受け取るように、サーバ・クライアント構成で実現することも可能である。

第１〜第４の実施形態に係る信号処理システムで実行されるプログラムは、コンピュータを上述した信号処理システムの各部として機能させうる。このコンピュータは、ＣＰＵがコンピュータ読み取り可能な記憶媒体からプログラムを主記憶装置上に読み出して実行することができる。

その他、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１００−１，１００−２，１００−３，１００−４…信号処理システム、
１０１…センサ部、１０２…音源分離部、１０３…方向特性分布算出部、１０４…類似度算出部、１０５…連結部、１０６…方向推定部、１０７…位置関係付与部、１０８…通知ボタン、１０９…音声区間検出部、
２０１…ＣＰＵ、２０２…ＲＯＭ、２０３…ＲＡＭ、２０４…バス、２０５…インターフェース装置、
３０１…ネットワーク、３０２…コンピュータ、３０３…通信端末。

Claims (5)

1. 複数の信号源の発生信号を観測し受信するセンサ装置と、
   フレーム単位ごとに前記センサ装置の受信信号から分離フィルタを推定し、この分離フィルタに基づいて受信信号を分離して複数のチャネルから分離信号を出力する分離装置と、
   前記分離フィルタに基づき前記複数のチャネルの分離信号毎に方向特性分布を計算する第１算出装置と、
   前記分離信号を得た現在のフレームよりも過去のフレームで出力した複数のチャネルの分離信号それぞれについての方向特性分布を表す累積分布を求め、前記現在のフレームの分離信号の方向特性分布との類似度を算出する第２算出装置と、
   前記複数のチャネルの分離信号毎に前記類似度に基づいて前記複数のチャネルの分離信号から選択した一つの信号に連結して出力する連結装置と
   を具備する信号処理システム。
2. 前記分離装置で推定された分離フィルタに基づいて、前記複数のチャネルの分離信号それぞれについて、対応する信号源からの到来方向を推定する推定装置と、
   前記分離装置で得られる複数のチャネルの分離信号それぞれに前記推定装置で推定される到来方向に基づく位置関係の情報を付与する付与装置と
   をさらに備える請求項１記載の信号処理システム。
3. 前記複数のチャネルの分離信号それぞれについて信号の発生区間、非発生区間を判定する判定装置を備え、
   前記第２算出装置は、前記判定装置で発生区間であるとみなされたチャネルに対応する累積分布のみを更新する請求項１記載の信号処理システム。
4. 複数の信号源の発生信号を観測して受信信号を取得し、
   フレーム単位ごとに前記受信信号から分離フィルタを推定し、この分離フィルタに基づいて前記受信信号を分離して複数のチャネルから分離信号を出力し、
   前記分離フィルタに基づき前記複数のチャネルから出力される分離信号毎に方向特性分布を計算し、
   前記分離信号を得た現在のフレームよりも過去のフレームで出力した複数のチャネルの分離信号それぞれについての方向特性分布を表す累積分布を求め、前記現在のフレームの分離信号の方向特性分布との類似度を算出し、
   前記複数のチャネルの分離信号毎に前記類似度に基づいて前記複数のチャネルの分離信号から選択した一つの信号に連結して出力する信号処理方法。
5. 複数の信号源の発生信号を観測した受信信号から前記複数の信号源からの受信信号を分離出力する処理をコンピュータに実行させるための信号処理プログラムであって、
   フレーム単位ごとに前記受信信号から分離フィルタを推定し、この分離フィルタに基づいて前記受信信号を分離して複数のチャネルから分離信号を出力する分離ステップと、
   前記分離フィルタに基づき前記複数のチャネルの分離信号毎に方向特性分布を算出する第１算出ステップと、
   前記分離信号を得た現在のフレームよりも過去のフレームで出力した複数のチャネルの分離信号それぞれの方向特性分布を表す累積分布を求め、前記現在のフレームの分離信号の方向特性分布との類似度を算出する第２算出ステップと、
   前記複数のチャネルの分離信号毎に前記類似度に基づいて前記複数のチャネルの分離信号から選択した一つの信号に連結して出力する連結ステップと
   を具備する信号処理プログラム。

Images