JP2011027825A - 音声処理装置、音声処理方法およびプログラム - Google Patents

Abstract

【課題】混合信号から独立性の高い音源を含む信号を効率的に除去する。
【解決手段】音声処理装置１００は、複数の音源から発生して複数のセンサにより観測された複数の観測信号に非線形処理を施すことにより、所定の領域に存在する音源を含む複数の音声信号を出力する非線形処理部１０２と、非線形処理部により出力された複数の音声信号から特定の音源を含む音声信号と、複数の音源を含む観測信号とを選択する信号選択部１０４と、信号選択部により選択された観測信号から、信号選択部により選択された特定の音源を含む音声信号を分離する音声分離部１０６と、を備える。
【選択図】図７

Description

本発明は、音声処理装置、音声処理方法およびプログラムに関し、特に、独立成分分析（ＩＣＡ）を利用した音源分離および雑音除去に関する音声処理装置、音声処理方法およびプログラムに関する。

最近では、複数の音源からの音声が含まれる混合音声のうち、１つ以上の音源からの信号をＩＣＡ（Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｉｓｉｓ）法に基づくＢＢＳ（Ｂｌｉｎｄｅ Ｓｏｕｒｃｅ Ｓｅｐａｒａｔｉｏｎ）方式を用いて分離する技術が存在する。例えば、ＩＣＡを利用した音源分離で除去しきれなかった残留雑音の低減を実現するために、ＩＣＡを利用した音源分離の後に、非線形処理を利用する技術が開示されている（例えば特許文献１）。

しかし、ＩＣＡ処理の後に非線形処理を行う場合には、前段のＩＣＡによる分離が良好に動作することが前提となる。したがって、ＩＣＡによる分離処理において、ある程度の音源分離が実現できていない場合には、後段に非線形処理を施しても十分な性能向上を望むことは出来ないという問題があった。

そこで、ＩＣＡを利用した音源分離の前段に非線形処理を行う技術が開示されている（例えば、特許文献２）。特許文献２によれば、信号源の数Ｎとセンサの数ＭがＮ＞Ｍの関係にある場合でも、混合信号を高い品質で分離することが可能となる。ＩＣＡを利用した音源分離において、精度よく各信号を抽出するためには、Ｍ≧Ｎである必要がある。そこで、特許文献２では、Ｎ個の音源は同時に存在しないと仮定して、バイナリマスキングなどによりＮ個の音源が混じった観測信号からＶ個（Ｖ≦Ｍ）の音源のみを含む時間−周波数成分を抽出している。そして、その限定された時間−周波数成分に対して、ＩＣＡなどを適用して各音源を抽出することが可能となる。

特開２００６−１５４３１４号公報 特許第３９４９１５０号明細書

しかし、上記特許文献２では、２≦Ｖ≦Ｍの条件を作り出して、個々の音源をそれぞれ抽出することが可能となるが、混合信号から１個の音源からのみの信号を除去したい場合でも、個々の音源を抽出した後に必要な信号を混合しなければならないという問題があった。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、混合信号から特定の音源を含む信号を効率的に除去することが可能な、新規かつ改良された音声処理装置、音声処理方法およびプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、複数の音源から発生して複数のセンサにより観測された複数の観測信号に非線形処理を施すことにより、所定の領域に存在する音源を含む複数の音声信号を出力する非線形処理部と、非線形処理部により出力された複数の音声信号から特定の音源を含む音声信号と、複数の音源を含む観測信号とを選択する信号選択部と、信号選択部により選択された観測信号から、信号選択部により選択された特定の音源を含む音声信号を分離する音声分離部と、を備える、音声処理装置が提供される。

また、複数の音源から発生して複数のセンサにより観測された複数の観測信号を周波数領域の信号値に変換する周波数領域変換部を備え、非線形処理部は、周波数領域変換部により変換された観測信号値に非線形処理を施すことにより、所定の領域に存在する音源を含む複数の音声信号を出力してもよい。

また、複数のセンサにより観測される複数の音源には、独立性の高い特定の音源が含まれており、非線形処理部は、独立性の高い特定の音源の音声成分を示す音声信号を出力し、信号選択部は、非線形処理部により出力された特定の音源の音声成分を示す音声信号と、複数の観測信号のうち、特定の音源および特定の音源以外の音源を含む観測信号とを選択し、音声分離部は、信号選択部により選択された観測信号から、特定の音源の音声成分を除去してもよい。

また、非線形処理部は、第１の音源が発生している領域に存在する音声成分を示す音声信号を出力し、信号選択部は、非線形処理部により出力された第１の音源が発生している領域に存在する音声成分を示す音声信号と、複数の観測信号のうち、第１の音源および第１の音源以外の音源が発生している領域に位置するセンサにより観測される第２の音源を含む観測信号とを選択し、音声分離部は、信号選択部により選択された第２の音源を含む観測信号から、第１の音源の音声成分を除去してもよい。

また、非線形処理部は、複数のセンサ間の位相差を時間−周波数成分毎に算出する位相算出手段と、位相算出手段により算出された複数のセンサ間の位相差に基づいて、各時間−周波数成分が起因している領域を判定する判定手段と、判定手段による判定結果に基づいて、センサにより観測される周波数成分に所定の重み付けを行う演算手段と、を備えてもよい。

また、位相算出手段は、センサ間の遅延を利用してセンサ間の位相を算出してもよい。

また、複数の観測信号は、複数のセンサの個数分観測され、信号選択部は、非線形処理部により出力された複数の音声信号から、１つの観測信号と合計して複数のセンサの個数分となる個数分の音声信号を選択してもよい。

また、非線形処理部は、独立性の高い特定の音源を含む３つの音源から発生して３つのセンサにより観測される３つの観測信号に非線形処理を施すことにより、独立性の高い特定の音源の音声成分を示す第１の音声信号と、３つの音源の音声成分のいずれも含まない第２の音声信号とを出力し、信号選択部は、非線形処理部により出力された第１の音声信号と第２の音声信号と、特定の音源と特定の音源以外の音源を含む観測信号とを選択し、音声分離部は、信号選択部により選択された観測信号から、第１の音源の音声成分を除去してもよい。

また、非線形処理部は、独立性の高い特定の音源を含む３つの音源から発生して２つのセンサにより観測される２つの観測信号に非線形処理を施すことにより、独立性の高い特定の音源の音声成分を示す音声信号を出力し、信号選択部は、非線形処理部により出力された音声信号と、特定の音源と特定の音源以外の音源を含む観測信号とを選択し、音声分離部は、信号選択部により選択された観測信号から、第１の音源の音声成分を除去してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、複数の音源から発生して複数のセンサにより観測された複数の観測信号に非線形処理を施すことにより、所定の領域に存在する音源を含む複数の音声信号を出力するステップと、非線形処理により出力された複数の音声信号から特定の音源を含む音声信号と、複数の音源を含む観測信号とを選択するステップと、選択された観測信号から、信号選択部により選択された特定の音源を含む音声信号を分離するステップと、を含む、音声処理方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータをして、複数の音源から発生して複数のセンサにより観測された複数の観測信号に非線形処理を施すことにより、所定の領域に存在する音源を含む複数の音声信号を出力する非線形処理部と、非線形処理部により出力された複数の音声信号から特定の音源を含む音声信号と、複数の音源を含む観測信号とを選択する信号選択部と、信号選択部により選択された観測信号から、信号選択部により選択された特定の音源を含む音声信号を分離する音声分離部と、を備える、音声処理装置として機能させるための、プログラムが提供される。

以上説明したように本発明によれば、混合信号から独立性の高い音源を含む信号を効率的に除去することができる。

ＩＣＡを利用した音源分離処理について説明する説明図である。 ＩＣＡを利用した音源分離処理について説明する説明図である。 ＩＣＡを利用した音源分離処理について説明する説明図である。 本実施形態にかかる音源分離部の利用について説明する説明図である。 ＩＣＡを利用した音源分離の前段に非線形処理を行う技術について説明する説明図である。 本発明にかかる音声処理装置の概要について説明する説明図である。 本発明の一実施形態にかかる音声処理装置の機能構成を示すブロック図である。 同実施形態にかかる音声処理方法を示すフローチャートである。 第１の実施例にかかる音声処理装置の構成を示すブロック図である。 同実施形例にかかるマイクロホンと音源の位置関係を説明する説明図である。 同実施形例にかかる音声処理方法を示すフローチャートである。 同実施形例にかかる非線形処理の詳細について説明する説明図である。 同実施形例にかかる非線形処理の詳細について説明する説明図である。 同実施形例にかかる非線形処理の詳細について説明する説明図である。 同実施形例にかかる非線形処理の詳細について説明する説明図である。 同実施形例にかかる非線形処理の詳細について説明する説明図である。 第２の実施例にかかるマイクロホンと音源の位置関係を説明する説明図である。 同実施形例にかかる音声処理方法を示すフローチャートである。 本発明の応用例を説明する説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下に示す順序に従って、当該「発明を実施するための最良の形態」を説明する。
〔１〕本実施形態の目的
〔２〕音声処理装置の機能構成
〔３〕音声処理装置の動作
〔４〕実施例
〔４−１〕第１の実施例
〔４−２〕第２の実施例

〔１〕本実施形態の目的
まず、本発明の実施形態の目的について説明する。最近では、複数の音源からの音声が含まれる混合音声のうち、１つ以上の音源からの信号をＩＣＡ（Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｉｓｉｓ）法に基づくＢＢＳ（Ｂｌｉｎｄｅ Ｓｏｕｒｃｅ Ｓｅｐａｒａｔｉｏｎ）方式を用いて分離する技術が存在する。図１および図２は、ＩＣＡを利用した音源分離処理について説明する説明図である。例えば、図１に示したように、それぞれ独立な音源であるピアノの音である音源１および人の声である音源２が、マイクロホンＭ_１およびマイクロホンＭ_２により混合されて観測される。そして、音声処理装置に備わるＩＣＡを利用した音源分離部１０により、混合された信号を、信号の統計的独立性や音源からマイクロホンまでの経路に基づいて分離する。これにより、互いに独立な信号である元音源１１および元音源１２が復元される。

次に、マイクロホン毎に観測される音源数が異なる場合について説明する。例えば、図２に示したように、音源１はマイクロホンＭ_１およびマイクロホンＭ_２で観測され、音源２は、マイクロホンＭ_２でのみ観測されるとする。この場合も、独立な信号が、少なくとも一つ以上のマイクロホンで観測されるため、元音源１１および元音源１２を復元することができる。具体的にはＩＣＡを利用した音源分離部１０は、マイクロホンＭ_１により観測された情報を利用して、マイクロホンＭ_２から音源１の成分を引く処理が行われる。

また、図３に示したように、マイクロホンＭ_１およびマイクロホンＭ_２にそれぞれ独立な音源のみが観測される場合には、信号を分離することなく、各独立音源を得ることができる。すなわち、マイクロホンＭ_１で音源１のみが観測され、マイクロホンＭ_２で音源２のみが観測された場合には、信号を分離することなく元音源１１および元音源１２を復元する。これは、ＩＣＡを利用した音源分離部１０が、独立性の高い信号を出力するように動作するためである。

このように、観測信号自体の独立性が高い場合には、ＩＣＡを利用した音源分離部１０は、観測信号をそのまま出力する傾向があることがわかる。このことから、音源分離部１０に入力される信号のうち、所定の信号を選択することにより、音源分離部１０の動作を制御することが可能となる。

次に、図４を参照して、本実施形態にかかる音源分離部１０の利用について説明する。図４は、本実施形態にかかる音源分離部の利用について説明する説明図である。図４に示したように、マイクロホンＭ_１では、音源１、２および３に対して音源１のみが観測されるとする。またマイクロホンＭ_２では音源１〜３が観測される。マイクロホンＭ_２により観測される３つの音源は、もともと独立した音源であるが、音源数よりもマイクロホン数が少ないため、ＩＣＡを利用した音源分離部１０では音源２と音源３を分離するための条件が足りず分離できない。すなわち、音源２および音源３は、ひとつのチャネルのみでしか観測されていないため、音源２および音源３の独立性を評価することができない。これは、ＩＣＡを利用した音源分離部１０では、複数の観測信号を利用し、分離信号の独立性を高めることにより音源分離を実現しているためである。

一方、音源１は、マイクロホンＭ_１でも観測されているため、音源１をマイクロホンＭ_２から抑圧することが可能となる。なお、この場合、音源１は、音源２および３に比べて大きい音であるなど支配的な音源であることが望ましい。したがって、音源分離部１０では、音源２および音源３をペアとして、マイクロホンＭ_２から音源１の成分を除去するように動作する。本実施形態では、複数の信号のうち、独立性の高い信号はそのまま出力され、それ以外の信号から独立性の高い信号が除去されて出力されるという音源分離部１０の特性を利用する。

また、上記したＩＣＡを利用した音源分離で除去しきれなかった残留雑音の低減を実現するために、ＩＣＡを利用した音源分離の後に、非線形処理を利用する技術が開示されている。しかし、ＩＣＡ処理の後に非線形処理を行う場合には、前段のＩＣＡによる分離が良好に動作することが前提となる。したがって、ＩＣＡによる分離処理において、ある程度の音源分離が実現できていない場合には、後段に非線形処理を施しても十分な性能向上を望むことは出来ないという問題があった。

そこで、ＩＣＡを利用した音源分離の前段に非線形処理を行う技術が開示されている。当該技術によれば、音源の数Ｎとセンサの数ＭがＮ＞Ｍの関係にある場合でも、混合信号を高い品質で分離することが可能となる。ＩＣＡを利用した音源分離において、精度よく各信号を抽出するためには、Ｍ≧Ｎである必要がある。そこで、特許文献２では、Ｎ個の音源は同時に存在しないと仮定して、バイナリマスキングなどによりＮ個の音源が混じった観測信号からＶ個（Ｖ≦Ｍ）の音源のみを含む時間−周波数成分を抽出している。そして、その限定された時間−周波数成分に対して、ＩＣＡなどを適用して各音源を抽出することが可能となる。

図５は、ＩＣＡを利用した音源分離の前段に非線形処理を行う技術について説明する説明図である。図５では、音源数（Ｎ）が３つでマイクロホン数（Ｍ）が２つの場合、精度よく分離するために、観測信号に非線形処理としてバイナリマスク処理などを適用する。限定信号処理部２２で行われるバイナリマスク処理では、Ｎ個の音源を含む信号からＶ（≦Ｍ）個の音源のみを含む成分を抽出する。これにより、マイクロホン数に対して、音源数が等しいか少ない状況を作ることができる。

図５に示したように、限定信号作成部２２において、マイクロホンＭ_１およびマイクロホンＭ_２により観測された観測信号の時間周波数成分から、音源１および音源２のみを含む時間−周波数成分と、音源２および音源３のみを含む時間−周波数成分を取り出す。そして、音源数＝マイク数が成立した時間−周波数成分に対して、ＩＣＡを利用した音源分離を行う。これにより、音源分離部２４ａからは、音源１が復元された音源２５ａおよび音源２が復元された音源２５ｂが分離される。また、音源分離部２４ｂからは、音源２が復元された音源２５ｃおよび音源３が復元された音源２５ｄが分離される。

しかし、上記技術では、２≦Ｖ≦Ｍの条件を作り出して、個々の音源をそれぞれ抽出することが可能となるが、混合信号から１個の音源からのみの信号を除去したい場合でも、個々の音源を抽出した後に必要な信号を混合しなければならないという問題があった。 そこで、上記のような事情を一着眼点として、本実施形態にかかる音声処理装置１００が創作されるに至った。本実施形態にかかる音声処理装置１００によれば、混合信号から独立性の高い音源を含む信号を効率的に除去することが可能となる。

ここで、図６を参照して、本発明にかかる音声処理装置１００の概要について説明する。 図６は、本発明と図５に示した技術との差異を説明する説明図である。以下では、Ｎ個の音源（Ｎ＝４（Ｓ１、Ｓ２、Ｓ３、Ｓ４））をＭ個（Ｍ＝２）のマイクロホンで観測した場合、音源Ｓ１、Ｓ２、Ｓ３を含む信号を得る場合について説明する。

図６に示したように、図５に示した音声処理装置２０では、限定信号作成部２２により、マイク数と同数の音源を含む混合音声を抽出して、音源分離部２４ａおよび音源分離部２４ｂにより各音源の分離信号が出力される。そして、音源Ｓ１、Ｓ２、Ｓ３を含む信号を得るためには、各音源に分離された信号のうち、音源Ｓ１、Ｓ２、Ｓ３を加算することにより音源Ｓ４のみを含まない信号を得ることができる。

一方、本発明にかかる音声処理装置１００では、非線形処理部１０２により簡易的に音源Ｓ４を抽出して、音源Ｓ４のみを含む信号と観測信号Ｓ１〜Ｓ４とを音源分離部に入力する。選択された入力信号を入力された音源分離部１０６は、Ｓ４とＳ１〜Ｓ４を２つの独立した音源と認識して、Ｓ１〜Ｓ４を含む観測信号からＳ４を削除した信号（Ｓ１＋Ｓ２＋Ｓ３）を出力する。

このように、音声処理装置２０では、Ｓ１〜Ｓ３を含む音声信号を取得するためには、２回の音源分離処理を行った上で、さらに必要な音声信号を混合する処理を行う必要がある。しかし、本発明では、非線形処理により１個の独立性の高い信号Ｓ４を得ることにより、１回の音源分離処理でＳ１〜Ｓ３を含む所望の音声信号を得ることが可能となる。

〔２〕音声処理装置の機能構成
次に、図７を参照して、本実施形態にかかる音声処理装置１００の機能構成について説明する。図７に示したように、音声処理装置１００は、非線形処理部１０２と、信号選択部１０４と、音源分離部１０６と、制御部１０８を備える。上記非線形処理部１０２、信号選択部１０４、音源分離部１０６、制御部１０８は、コンピュータにより構成され、その動作は、コンピュータに備わるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）に記憶されたプログラムをもとに、ＣＰＵで実行される。

非線形処理部１０２は、制御部１０８による指示のもと、複数の音源から発生して複数のセンサにより観測された複数の観測信号に非線形処理を施すことにより、所定の領域に存在する複数の音声信号を出力する機能を有する。本実施形態では、複数のセンサは、例えばマイクロホンなどを例示できる。また、以下では、マイクロホンの個数Ｍは２個以上であるとする。非線形処理部１０２は、Ｍ個のマイクロホンで観測された観測信号に非線形処理を施して、Ｍｐ個の音声信号を出力する。

非線形処理部１０２では、複数のセンサにより観測された観測信号において、複数の音源が存在する場合に、同時に同じ時間−周波数成分を持つことはまれであるという仮定をおくことにより、特定の信号を抽出することができる。本実施形態では、複数のセンサにより観測される複数の音源には、独立性の高い特定の音源が含まれているものとする。この場合、非線形処理部１０２は、非線形処理により、独立性の高い特定の音源のみを含む音声信号を出力することが可能となる。非線形処理部１０２による非線形処理については、第１の実施例の説明において詳細に説明する。非線形処理部１０２は、出力した音声信号を信号選択部１０４に提供する。

信号選択部１０４は、制御部１０８により指示のもと、非線形処理部１０２により出力された音声信号から特定の音源を含む音声信号と、マイクロホンにより観測された複数の音源を含む観測信号とを選択する機能を有する。上記したように、非線形処理部１０２により独立性の高い特定の音源の音声成分を示す音声信号が提供されると、信号選択部１０４は、非線形処理部１０２により出力された特定の音源の音声成分を示す音声信号と、マイクロホンにより観測された複数の観測信号のうち、特定の音源および特定の音源以外の音源を含む観測信号とを選択する。信号選択部１０４により信号選択処理については、後で詳細に説明する。信号選択部１０４は、選択した音声信号と観測信号とを音源分離部１０６に提供する。

音源分離部１０６は、信号選択部１０４により選択された観測信号から、信号選択部１０４により選択された特定の音源を含む音声信号を分離する機能を有する。音源分離部１０６は、ＩＣＡを利用して出力信号の独立性が高まるように音源分離処理を行う。したがって、独立性の高い特定の音源の音声成分を示す音声信号と、特定の音源および特定の音源以外の音源を含む観測信号が音源分離部１０６に入力された場合には、特定の音源および特定の音源以外の音源を含む観測信号から、特定の音源の音声成分を分離する処理が行われる。ＩＣＡを利用した音源分離処理においては、音源分離部にＬ個の入力信号が入力されると、入力信号と同数のＬ個の独立性の高い出力信号が出力される。

〔３〕音声処理装置の動作
以上、音声処理装置１００の機能構成について説明した。次に、図８を参照して、音声処理装置１００の動作について説明する。図８は、音声処理装置１００における音声処理方法を示すフローチャートである。図８に示したように、まず、非線形処理部１０２は、Ｍ個のマイクロホンで観測された信号を利用して、非線形処理を施し、Ｍｐ個の音声信号を出力する（Ｓ１０２）。信号選択部１０４は、Ｍ個のマイクロホンで観測されたＭ個の観測信号と、非線形処理部１０２により出力されたＭｐ個の音声信号から、音源分離部１０６に入力するＬ個の信号を選択する（Ｓ１０４）。

そして、音源分離部１０６は、音源分離部１０６から出力される出力信号の独立性が高まるように音源分離処理を行う（Ｓ１０６）。そして、音源分離部１０６は、Ｌ個の独立な信号を出力する（Ｓ１０８）。以上、音声処理装置１００の動作について説明した。

〔４〕実施例
次に、音声処理装置１００を利用した実施例について説明する。以下では音源の個数をＮ、マイクロホンの個数をＭとして説明する。第１の実施例では、音源の個数とマイクロホンの個数が同数（Ｎ＝Ｍ）の場合について説明する。具体的に、音源の個数とマイクロホンの個数が３つの場合について説明する。また、第２の実施例では、音源の個数がマイクロホンの個数より多い場合（Ｎ＞Ｍ）について説明する。具体的に、音源の個数が３つ、マイクロホンの個数が２つの場合について説明する。

〔４−１〕第１の実施例
まず、図９を参照して、第１の実施例にかかる音声処理装置１００ａの構成について説明する。音声処理装置１００ａの基本的な構成は、上記した音声処理装置１００と同様であるため。音声処理装置１００ａでは、音声処理装置１００のさらに詳細な構成を示している。図９に示したように、音声処理装置１００ａは、周波数領域変換部１０１と、非線形処理部１０２と、信号選択部１０４と、音源分離部１０６と、制御部１０８と、時間領域変換部１１０などを備える。

周波数領域変換部１０１は、複数の音源から発生して複数のマイクロホンにより観測された複数の観測信号を周波数領域の信号値に変換する機能を有する。周波数領域変換部１０１は、変換した観測信号値を非線形処理部１０２に提供する。また、時間領域変換部１１０は、音源分離部１０６により出力された出力信号に対して、短時間逆フーリエ変換等の時間領域変換を行って、時間波形を出力する機能を有する。

また、第１の実施例では、３つのマイクロホン（Ｍ１〜Ｍ３）と３つの音源（Ｓ１〜Ｓ３）は、図１０に示した位置関係にあるとして説明する。第１の実施例においては、音源Ｓ３は、他の音源Ｓ１やＳ２よりも大きい音であるなど支配的な音源である。また、音源がマイクに対して指向性がある場合も、他の音源より支配的な音源としてマイクロホンにより観測される。指向性があるとは、例えば、音源がスピーカであった場合には、スピーカの正面がマイクに向いている場合であり、人の話声である場合には、人がマイクに向かって話している場合である。音声処理装置１００ａでは、音源Ｓ１〜Ｓ３を含む音声信号から、特定の音源である音源Ｓ３の音声信号を除去することを目的としている。

次に、図１１を参照して、音声処理装置１００ａにおける音声処理方法について説明する。まず、周波数領域変換部１０１は、マイクロホンにより観測された観測信号を短時間フーリエ変換することにより、以下の時間−周波数系列を得る（Ｓ２０２）。

次に、ステップＳ２０２において取得した時間−周波数系列の各時間−周波数成分の位相差を算出したか否かを判定する（Ｓ２０４）。ステップＳ２０４において、各時間−周波数成分の位相差を算出していないと判定された場合には、ステップＳ２０６の処理を行う。ステップＳ２０４において各時間−周波数成分の位相差を算出したと判定された場合には、処理を終了する。

ステップＳ２０４において各時間−周波数成分の位相差を算出していないと判定された場合には、ステップＳ２０２において取得した時間−周波数成分に対して以下の位相差を算出する。

マイクロホン対の位相差については、後で詳述する。次に、マイクロホン対の位相差が以下の条件式１を満たすか否か判定する（Ｓ２０８）。

ステップＳ２０８において、マイクロホン対の位相差が条件式１を満たしていると判定された場合には、マイクロホン１で観測される音源Ｓ３の時間−周波数成分を以下の数式により取得する（Ｓ２１２）。

ここで、マイクロホンｉで観測される音源ｊだけを含む時間−周波数成分を以下の数式により表記する。

本実施形例では、図１０に示したような音源とマイクの位置関係となっており、音源Ｓ３は独立性の高い音源である。このため、ステップＳ２１２においては、マイクロホン１で観測される観測信号に非線形処理を施すことにより、音源Ｓ３のみの時間−周波数成分（音声信号））を得ることができる。一方、ステップＳ２０８において、マイクロホン対の位相差が条件式１を満たしていないと判定された場合には、マイクロホン対の位相差が以下の条件式２を満たすか否か判定する（Ｓ２１０）。

ステップＳ２１０において、マイクロホン対の位相差が条件式２を満たしていると判定された場合には、マイクロホン３で観測される、音源Ｓ１、Ｓ２、Ｓ３などの主たる音源を含まない残響成分などのみを含む時間−周波数成分を以下の数式により取得する（Ｓ２２０）。

ここで、主たる音源を含まない時間−周波数成分を以下の数式により表記する。

ステップＳ２２０においては、マイクロホン３で観測される観測信号に非線形処理を施すことにより、主たる音源を含まない残響成分の時間−周波数成分（音声信号）を得ることができる。そして、音源分離部１０６は、以下の成分に対して分離処理を行う（Ｓ２１４）。

上記した非線形処理により、マイクロホン１で観測される音源Ｓ３だけを含む音声信号と、主たる音源を含まない音声信号を得る。そこで、信号選択部１０４は、非線形処理部１０２により出力されたマイクロホン１で観測される音源Ｓ３だけを含む音声信号と、主たる音源を含まない音声信号と、マイクロホン２で観測される観測信号との３つの信号を選択して、音源分離部１０６に入力する。そして、音源分離部１０６は、音源Ｓ３を含まない以下の時間−周波数成分を出力する（Ｓ２１６）。

そして、時間領域変換部１１０は、音源Ｓ３を含まない上記の時間−周波数成分を短時間逆フーリエ変換して、音源３のみを含まない時間波形を得る（Ｓ２１８）。

上記したように、マイクロホン１で観測される音源Ｓ３だけを含む音声信号と、主たる音源を含まない音声信号と、マイクロホン２で観測される観測信号との３つの信号が入力された音源分離部１０６は、ＩＣＡを利用して出力信号の独立性が高まるように音源分離処理を行う。したがって、独立性の高い音源Ｓ３だけを含む音声信号はそのまま出力される。また、マイクロホン２で観測される観測信号からは音源Ｓ３が除去されて出力される。そして、主たる音源を含まない音声信号もそのまま出力されることとなる。このように、非線形処理により独立性の高い音源を含む音声信号を簡易的に分離させておくことにより、独立性の高い音源のみを含まない音声信号を効率的に得ることが可能となる。

次に、図１２〜図１６を参照して、非線形処理部１０２における非線形処理の詳細について説明する。図１２に示したように、非線形処理部１０２は、マイク間位相算出手段１２０、判定手段１２２、演算手段１２４、重み算出手段１２６などを備える。非線形処理部１０２のマイク間位相算出手段１２０には、上記した周波数領域変換部１０１により出力されたマイクロホンにより観測された観測信号のフーリエ変換系列（周波数成分）が入力される。

本実施例においては、入力信号を短時間フーリエ変換した信号を非線形処理の対象とし、周波数成分毎の観測信号について非線形処理が行われるものとする。非線形処理部１０２における非線形処理では、観測信号において複数の音源が存在する場合に、同時に同じ時間−周波数成分を有することは稀であることを前提としている。そして、周波数成分毎に所定の条件を満たすか否かにより時間−周波数成分に重み付けして信号の抽出を行っている。例えば、所定の条件を満たす時間−周波数成分に対して１の重みを乗じる。また、所定の条件を満たさない時間−周波数成分に対して０に近い重みを乗じる。すなわち、時間−周波数成分毎に、どちらの音源に寄与するかを１または０で判定する。

非線形処理部１０２は、マイクロホン間の位相差を算出して、算出した位相差から各時間−周波数成分が制御部１０８から提供される条件を満たすか否か判定する。そして、判定結果に応じて重み付けを行っている。次に、図１３を参照して、マイク間位相算出手段１２０の詳細について説明する。マイク間位相算出手段１２０は、マイクロホン間の遅延を利用してマイクロホン間の位相を算出する。

マイクロホン間隔に対して十分離れた位置から到来する信号について考える。一般に、図１３に示した間隔ｄ離れたマイクロホンで遠方のθ方向から来る信号を受信した場合、以下の遅延時間が生じる。

ここで、τ_１２は、マイクロホンＭ_１を基準としたときに、マイクロホンＭ_２との間に生じる到達遅延時間であり、マイクロホンＭ_１によりはやく到達する場合に正の値を有する。遅延時間の符合は、到来方向θに依存する。

各時間−周波数成分について考えると、マイクロホン間の周波数成分の比は、マイクロホン間の遅延を利用して、周波数成分毎に以下の式で算出することができる。

ここで、Ｘ_Ｍｉ（ω）は、マイクロホンＭ_ｉ（ｉ＝１，２）で観測された信号に対して、周波数変換を行った成分である。実際には、短時間フーリエ変換を行い、その周波数インデックスωの値となる。

次に、判定手段１２２の詳細について説明する。判定手段１２２は、マイク間位相算出手段１２０により提供された値から、各時間−周波数成分が条件を満たしているか否かを判断する。時間−周波数成分毎に、複素数Ｚ（ω）の位相つまり、マイク間位相差は以下の式により算出することができる。

Ｐの符号は、遅延時間に依存する。つまり、Ｐの符号はθのみに依存することとなる。よって、０＜θ＜１８０から到来する信号（ｓｉｎθ＞０）については、Ｐ符号は負となる。一方、−１８０＜θ＜０から到来する信号（ｓｉｎθ）については、Ｐ符号は正となる。 したがって、制御部１０８から、０＜θ＜１８０から到来する信号の条件を満たす成分を抽出するように通知された場合、Ｐの符号が正であれば条件を満たしていることとなる。

上記判定手段１２２による判定処理を、図１４を参照して説明する。図１４は、判定手段１２２による判定処理について説明する説明図である。上記したように、周波数領域変換部１０１により観測信号が周波数変換されて、マイクロホン間の位相差が算出される。そして、算出されたマイクロホン間の位相差の符号に基づいて各時間−周波数成分がどの領域に起因したものであるのかを判定することができる。例えば、図１４に示したように、マイクロホンＭ_１とマイクロホンＭ_２との位相差の符号が負であった場合には、時間−周波数成分が領域Ａに起因したものであることがわかる。また、マイクロホンＭ_１とマイクロホンＭ_２の位相差の符号が正であった場合には、時間−周波数成分が領域Ｂに起因したものであることがわかる。

次に、演算手段１２４の詳細について説明する。演算手段１２４は、判定手段１２２による判定結果に基づいて、マイクロホンＭ_１で観測される周波数成分に以下のように重みをつける。この重み付けにより、領域Ａに起因する音源スペクトルを抽出することができる。

同様に、領域Ｂから到来する音源スペクトルは、以下のように抽出することができる。

なお、

は、マイクロホンＭ_ｉで観測される領域Ｘから到来する音源スペクトルの推定値を示す。また、αは０もしくは、０に近い小さい正の値である。

次に、マイクロホンＭ１〜Ｍ３と音源Ｓ１〜Ｓ３が図１０に示した位置関係である場合の位相差について説明する。図１５は、第1の実施例における各マイクロホン対に生じる位相差を説明する説明図である。各マイクロホン対に生じる位相差は、以下の数式により定義される。

図１５に示すように、位相差の符号を比較することにより、その周波数成分がどの領域から到来しているのかを判定することが可能となる。例えば、マイクロホンＭ_１とＭ_２に着目した場合（説明図５１）には、位相差Ｐ₁₂（ω）が負の場合には、周波数成分が領域Ａ１から到来しているものであると判定することができる。また、位相差Ｐ₁₂（ω）が正の場合には、周波数成分が領域Ｂ１から到来しているものであると判定することができる。

同様に、マイクロホンＭ_２とＭ_３に着目した場合（説明図５２）には、位相差Ｐ₂₃（ω）が負の場合には、周波数成分が領域Ａ２から到来しているものであると判定することができる。また、位相差Ｐ₂₃（ω）が正の場合には、周波数成分が領域Ｂ２から到来しているものであると判定することができる。また、マイクロホンＭ_３とＭ_１に着目した場合（説明図５３）には、位相差Ｐ₃₁（ω）が負の場合には、周波数成分が領域Ａ３から到来しているものであると判定することができる。また、位相差Ｐ₃₁（ω）が正の場合には、周波数成分が領域Ｂ３から到来しているものであると判定することができる。さらに、以下の条件を設けることにより、演算手段１２４では、以下のような処理を行うことにより、図１６に示した説明図５５の領域Ａに存在する成分を抽出する。

同様に、以下の条件を設けることにより、図１６に示した説明図５６の領域Ｂに存在する成分を抽出する。

すなわち、領域Ａの周波数成分を抽出することにより、領域Ａから到来する音源Ｓ３の音声信号を得ることができる。また、領域Ｂの周波数成分を抽出することにより、音源Ｓ１〜Ｓ３の独立性に関与しない音声信号を抽出することができる。ここで、領域Ｂから到来する音源は、各音源の直接音を含まず、弱い残響などを含む成分である。

次に、第１の実施例における信号選択部１０４の処理の詳細について説明する。信号選択部１０４は、Ｎ_in個の入力に対して、どのように音源分離を行うかに応じて、制御部１０８から通知される制御情報に基づいて、Ｎ_out（≦Ｎ_in）の出力信号を選択する。信号選択部１０４には、周波数領域変換部１０１により提供される観測信号のフーリエ変換系列（周波数成分）および非線形処理部１０２により提供される時間−周波数系列が入力される。信号選択部１０４は、制御部１０８による指示のもと、必要な信号を選択して、音源分離部１０６に提供する。

第１の実施例では、制御部１０８による制御のもと、図１０に示した音源Ｓ３だけを含まない信号を得ることを目的としている。したがって、信号選択部１０４は、音源分離部１０６に入力されるべき信号を選択する必要がある。音源分離部１０６に入力されるべき信号は、少なくとも、音源Ｓ３のみを含む信号と、すべての音源Ｓ１〜Ｓ３を含む信号である。また、第１の実施例では、音源分離部１０６に３つの音源が入力されるため、信号選択部１０４は、さらに、音源Ｓ１〜Ｓ３のいずれも含まない信号を選択する必要がある。

信号選択部１０４に入力される信号は、各マイクロホン（３個）において観測された信号と、非線形処理部１０２により出力された各領域からそれぞれ到来する信号である。信号選択部１０４は、非線形処理部１０２により出力された信号のうち、音源Ｓ３のみが存在する領域（図１６の領域Ａ）から到来する信号と、音源Ｓ１〜Ｓ３のいずれも存在しない領域（図１６の領域Ｂ）から到来する信号とを選択する。さらに、マイクロホンにより観測された音源Ｓ１〜Ｓ３の混合音声を含む信号を選択する。

信号選択部１０４により選択された上記３つの信号が、音源分離部１０６に入力される。そして、音源分離部１０６により、領域Ａから到来する信号（音源Ｓ３のみの成分）と、領域Ｂから到来する信号（音源Ｓ１〜Ｓ３のいずれも含まない成分）と、領域Ａと領域Ｂから到来する成分を含まない信号（音源３を含まない信号）が出力される。これにより、目的としている領域Ａに存在する音源Ｓ３を含まない信号を得る。

〔４−２〕第２の実施例
次に、図１７および図１８を参照して、音源の個数がマイクロホンの個数より多い場合（Ｎ＞Ｍ）について説明する。具体的には、音源の個数Ｎが３つ、マイクロホンの個数Ｍが２つの場合である。第２の実施例においても、第１の実施例と同様の音声処理装置１００ａにより音声処理が行われる。図１７は、２つのマイクロホン（Ｍ２、Ｍ３）と３つの音源（Ｓ１〜Ｓ３）の位置関係を示した説明図である。第２の実施例においては、第１の実施例と同様に、３つの音源のうち、音源Ｓ３が独立性の高い特定の音源であるとする。すなわち、音源Ｓ３は、他の音源Ｓ１やＳ２よりも大きい音であるなど支配的な音源である。第２の実施例においても、音源Ｓ１〜Ｓ３を含む音声信号から、特定の音源である音源Ｓ３の音声信号を除去することを目的とする。

次に図１８を参照して、第２の実施例における音声処理方法について説明する。まず、周波数領域変換部１０１は、マイクロホンにより観測された観測信号を短時間フーリエ変換することにより、以下の時間−周波数系列を得る（Ｓ３０２）。

次に、ステップＳ３０２において取得した時間−周波数系列の各時間−周波数成分の位相差を算出したか否かを判定する（Ｓ３０４）。ステップＳ３０４において、各時間−周波数成分の位相差を算出していないと判定された場合には、ステップＳ３０６の処理を行う。ステップＳ３０４において各時間−周波数成分の位相差を算出したと判定された場合には、処理を終了する。ステップＳ３０４において各時間−周波数成分の位相差を算出していないと判定された場合には、ステップＳ３０２において取得した時間−周波数成分に対して以下の位相差を算出する。

次に、マイクロホン対の位相差が以下の条件式３を満たすか否か判定する（Ｓ３０８）。

ステップＳ３０８において、マイクロホン対の位相差が条件式３を満たしていると判定された場合には、マイクロホン２で観測される音源Ｓ３の時間−周波数成分を以下の数式により取得する（Ｓ３１０）。

ここで、マイクロホンｉで観測される音源ｊだけを含む時間−周波数成分を以下の数式により表記する。

本実施例では、図１７に示したような音源とマイクの位置関係となっており、音源Ｓ３は独立性の高い音源である。このため、ステップＳ３１０においては、マイクロホン２で観測される観測信号に非線形処理を施すことにより、音源Ｓ３のみの時間−周波数成分（音声信号））を得ることができる。そして、音源分離部１０６は、以下の成分に対して分離処理を行う（Ｓ３１２）。

上記した非線形処理により、マイクロホン２で観測される音源Ｓ３だけを含む音声信号を得る。そこで、信号選択部１０４は、非線形処理部１０２により出力されたマイクロホン_Ｍ２で観測される音源Ｓ３だけを含む音声信号と、マイクロホン_Ｍ３で観測される観測信号との２つの信号を選択して、音源分離部１０６に入力する。そして、音源分離部１０６は、音源Ｓ３を含まない以下の時間−周波数成分を出力する（Ｓ３１４）。

そして、時間領域変換部１１０は、音源Ｓ３を含まない上記の時間−周波数成分を短時間逆フーリエ変換して、音源３のみを含まない時間波形を得る（Ｓ３１６）。

上記したように、マイクロホン２で観測される音源Ｓ３だけを含む音声信号と、マイクロホン３で観測される観測信号との２つの信号が入力された音源分離部１０６は、ＩＣＡを利用して出力信号の独立性が高まるように音源分離処理を行う。したがって、独立性の高い音源Ｓ３だけを含む音声信号はそのまま出力される。また、マイクロホン３で観測される観測信号からは音源Ｓ３が除去されて出力される。このように、非線形処理により独立性の高い音源を含む音声信号を簡易的に分離させておくことにより、独立性の高い音源のみを含まない音声信号を効率的に得ることが可能となる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、点音源に近似できる音源について音声処理を行ったが、拡散雑音下においても本発明にかかる音声処理装置１００を利用することができる。例えば、拡散雑音下において、例えば、スペクトルサブトラクションのような非線形処理をあらかじめおこなって雑音を低減する。そして、雑音を低減した信号に対して、ＩＣＡを利用した音源分離処理を行うことにより、ＩＣＡの分離性能を向上することが可能となる。

また、図１９に示したように、エコーキャンセラーとして本発明の音声処理装置１００を利用してもよい。例えば、エコーキャンセラーとして音声処理装置１００を利用する場合には、あらかじめ除去したい音源が既知である場合である。この場合、除去すべき音源を抽出して音源分離部１０６に入力することにより、ＩＣＡの分離性能を向上することが可能となる。

例えば、本明細書の音声処理装置１００の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。すなわち、音声処理装置１００の処理における各ステップは、異なる処理であっても並列的に実行されてもよい。また、音声処理装置１００に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した音声処理装置１００の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。

１００、１００ａ 音声処理装置
１０１ 周波数領域変換部
１０２ 非線形処理部
１０４ 信号選択部
１０６ 音源分離部
１０８ 制御部
１１０ 時間領域変換部
１２０ マイク間位相算出手段
１２２ 判定手段
１２４ 演算手段
１２６ 重み算出手段

Claims (11)

1. 複数の音源から発生して複数のセンサにより観測された複数の観測信号に非線形処理を施すことにより、所定の領域に存在する音源を含む複数の音声信号を出力する非線形処理部と、
   前記非線形処理部により出力された複数の音声信号から特定の音源を含む音声信号と、前記複数の音源を含む前記観測信号とを選択する信号選択部と、
   前記信号選択部により選択された前記観測信号から、前記信号選択部により選択された前記特定の音源を含む音声信号を分離する音声分離部と、
   を備える、音声処理装置。
2. 複数の音源から発生して複数のセンサにより観測された複数の観測信号を周波数領域の信号値に変換する周波数領域変換部を備え、
   前記非線形処理部は、前記周波数領域変換部により変換された観測信号値に非線形処理を施すことにより、所定の領域に存在する音源を含む複数の音声信号を出力することを特徴とする、請求項１に記載の音声処理装置。
3. 前記複数のセンサにより観測される複数の音源には、独立性の高い特定の音源が含まれており、
   前記非線形処理部は、前記独立性の高い特定の音源の音声成分を示す音声信号を出力し、
   前記信号選択部は、前記非線形処理部により出力された前記特定の音源の音声成分を示す音声信号と、前記複数の観測信号のうち、前記特定の音源および前記特定の音源以外の音源を含む観測信号とを選択し、
   前記音声分離部は、前記信号選択部により選択された前記観測信号から、前記特定の音源の音声成分を除去する、請求項１に記載の音声処理装置。
4. 前記非線形処理部は、前記第１の音源が発生している領域に存在する音声成分を示す音声信号を出力し、
   前記信号選択部は、前記非線形処理部により出力された前記第１の音源が発生している領域に存在する音声成分を示す音声信号と、前記複数の観測信号のうち、前記第１の音源および前記第１の音源以外の音源が発生している領域に位置するセンサにより観測される第２の音源を含む観測信号とを選択し、
   前記音声分離部は、前記信号選択部により選択された前記第２の音源を含む観測信号から、前記第１の音源の音声成分を除去する、請求項１に記載の音声処理装置。
5. 前記非線形処理部は、
   前記複数のセンサ間の位相差を時間−周波数成分毎に算出する位相算出手段と、
   前記位相算出手段により算出された前記複数のセンサ間の位相差に基づいて、各時間−周波数成分が起因している領域を判定する判定手段と、
   前記判定手段による判定結果に基づいて、前記センサにより観測される周波数成分に所定の重み付けを行う演算手段と、
   を備える、請求項１に記載の音声処理装置。
6. 前記位相算出手段は、センサ間の遅延を利用してセンサ間の位相を算出する、請求項５に記載の音声処理装置。
7. 前記複数の観測信号は、前記複数のセンサの個数分観測され、
   前記信号選択部は、前記非線形処理部により出力された複数の音声信号から、１つの観測信号と合計して前記複数のセンサの個数分となる個数分の前記音声信号を選択する、請求項１に記載の音声処理装置。
8. 前記非線形処理部は、独立性の高い特定の音源を含む３つの音源から発生して３つのセンサにより観測される３つの観測信号に非線形処理を施すことにより、前記独立性の高い特定の音源の音声成分を示す第１の音声信号と、前記３つの音源の音声成分のいずれも含まない第２の音声信号とを出力し、
   前記信号選択部は、前記非線形処理部により出力された前記第１の音声信号と前記第２の音声信号と、前記特定の音源と前記特定の音源以外の音源を含む前記観測信号とを選択し、
   前記音声分離部は、前記信号選択部により選択された前記観測信号から、前記第１の音源の音声成分を除去する、請求項１に記載の音声処理装置。
9. 前記非線形処理部は、独立性の高い特定の音源を含む３つの音源から発生して２つのセンサにより観測される２つの観測信号に非線形処理を施すことにより、前記独立性の高い特定の音源の音声成分を示す音声信号を出力し、
   前記信号選択部は、前記非線形処理部により出力された前記音声信号と、前記特定の音源と前記特定の音源以外の音源を含む観測信号とを選択し、
   前記音声分離部は、前記信号選択部により選択された前記観測信号から、前記第１の音源の音声成分を除去する、請求項１に記載の音声処理装置。
10. 複数の音源から発生して複数のセンサにより観測された複数の観測信号に非線形処理を施すことにより、所定の領域に存在する音源を含む複数の音声信号を出力するステップと、
    前記非線形処理により出力された複数の音声信号から特定の音源を含む音声信号と、前記複数の音源を含む前記観測信号とを選択するステップと、
    前記選択された前記観測信号から、前記信号選択部により選択された前記特定の音源を含む音声信号を分離するステップと、
    を含む、音声処理方法。
11. コンピュータをして、
    複数の音源から発生して複数のセンサにより観測された複数の観測信号に非線形処理を施すことにより、所定の領域に存在する音源を含む複数の音声信号を出力する非線形処理部と、
    前記非線形処理部により出力された複数の音声信号から特定の音源を含む音声信号と、前記複数の音源を含む前記観測信号とを選択する信号選択部と、
    前記信号選択部により選択された前記観測信号から、前記信号選択部により選択された前記特定の音源を含む音声信号を分離する音声分離部と、
    を備える、音声処理装置として機能させるための、プログラム。
    

Images