JP2011124873A - 音源分離装置、方法及びプログラム - Google Patents

Abstract

【課題】音源分離性能の劣化を少なくする。
【解決手段】本発明の音源分離装置は、目的音と、目的音の音源とは異なる音源から発生した妨害音とを分離するものであり、所定の受音処理に従って２個の音入力部から入力した入力音を受音信号に変換する１又は複数の入力手段と、各入力手段からの各受音信号の周波数成分を分析する１又は複数の周波数分析手段と、各受音信号の周波数成分に基づいて複数の受音信号の周波数成分の特性を正規化する１又は複数の信号特性補正手段と、正規化された各受音信号の周波数成分に基づき目的音の到来方向以外の所定方向から到来した音の周波数成分を抑圧して得た１又は複数の第１音信号成分と、目的音の到来方向から音の周波数成分を抑圧して得た第２音信号成分とを分離する１又は複数の分離手段と、各第１音信号成分と第２音信号成分とを用いて目的音特性成分を求める除去手段とを備える。
【選択図】 図１

Description

本発明は、音源分離装置、方法及びプログラムに関し、例えば、目的音と、この目的音の到来方向以外の任意の方向から到来する妨害音とを分離する音源分離装置、方法及びプログラムに適用し得るものである。

例えば、音声操作が可能な機器（例えば、カーナビゲーションシステム、対話型ロボット等）は音声を正確に認識することが求められる。又例えば、電話システム等においてメッセージを録音する場合には、聞き取りやすい音声を録音することが求められる。

このように、音声認識の利用、あるいは電話メッセージ録音の利用を行う場合、マイクロフォンから音声を入力するが、周囲雑音等が一緒に入力されることによって音声認識の精度が極度に劣化したり、あるいは録音した音声が雑音のために聞き取りにくい等の問題が生じ得る。

このため、マイクロフォンアレーにより指向特性を制御する等して、所望の音声だけを選択的に収録する試みがなされているが、このような指向特性の制御だけでは、所望の音声を背景雑音から分離して取り出すことは困難であった。

なお、マイクロフォンアレーによる指向特性の制御技術自体は、公知の技術であり、例えば、遅延和アレー（ＤＳＡ：Delayed Sum Array、または以下ではＢＦ：Beam-Formingと呼ぶこともある。）による指向特性制御に関する技術、あるいはＤＣＭＰ（Directionally Constrained Minimization of Power）アダプティブアレーによる指向特性制御に関する技術等がある。

一方、遠隔発話による音声を分離する技術として、複数の固定マイクロフォンの出力信号を狭帯域スペクトル分析し、周波数帯域毎に最も大きな振幅を与えたマイクロフォンにその周波数帯域の音を割り当てる技術（ＳＡＦＩＡと称されている。）もある（特許文献１参照）。

この帯域選択（ＢＳ：Band Selection）による音声の分離技術は、所望の音声を得るために、所望の音声を発する音源に最も近いマイクロフォンを選び、そのマイクロフォンに割り当てられた周波数帯域の音成分を使って音声を合成するという技術である。

また、更なる技術として、帯域選択の方法に改良を加えた方法として、特許文献２に記載される技術がある。この特許文献２に記載の音源分離方法について、図８を用いて簡単に説明する。

図８に示す音源分離装置３００は、２個のマイクロフォン３２１、３２２が、目的音到来方向と直角又は略直角をなす方向に並べて配置されている。

目的音優勢信号生成手段３３０は、時間領域上又は周波数領域上で、２個のマイクロフォン３２１、３２２のうちの一方のマイクロフォンからの受音信号と、他方のマイクロフォンからの受音信号に遅延処理を施した後の信号との差をとって第１の目的音優勢の信号を生成する第１目的音優勢信号生成手段３３１と、時間領域上又は周波数領域上で、他方のマイクロフォンの受音信号と、一方のマイクロフォンの受音信号に遅延処理を施した後の信号との差をとって第２の目的音優勢の信号を生成する第２目的音優勢信号生成手段３３２とを備えて構成されている。

目的音劣勢信号生成手段３４０は、時間領域上又は周波数領域上で、２個のマイクロフォン３２１、３２２の受音信号の差をとり、目的音劣勢の信号を生成する構成を備えている。

第１目的音優勢信号生成手段３３１、第２目的音優勢信号生成手段３３２及び目的音劣勢信号生成手段３４０から出力される第１の目的音優勢の信号、第２の目的音優性の信号及び目的音劣勢の信号は、周波数解析手段３５０で周波数分析される。

そして、第１分離手段３６１において、
（第１の目的音優勢の信号のスペクトル）−（目的音劣勢の信号のスペクトル）
が演算され、目的音を含む一方の分離音のスペクトルを得る。

また、第２分離手段３６２において
（第２の目的音優勢の信号のスペクトル）−（目的音劣勢の信号のスペクトル）
が演算され、目的音を含む他方の分離音のスペクトルを得る。

次に、統合処理３６３において、一方の分離音のスペクトルと他方の分離音のスペクトルとの両者を加えることにより、分離された目的音のスペクトルを得ている。

特開平１０−３１３４９７号公報 特開２００６−１９７５５２号公報

前述した特許文献１に記載されるようなＳＡＦＩＡでは、２個の音が重なった状況において、両者を精度良く分離することができるが、音源が３個以上となると、理論的には分離可能とされているものの、分離性能は極端に劣化する。従って、複数の雑音源が存在する状況下で、これら複数の雑音から目的音を精度良く分離することは困難であるという問題がある。

一方、特許文献２に記載の方法は、各音源からの音声が適切に強調された各周波数特性を算出し、これらの各周波数特性における同一の周波数帯域の振幅値同士の大小比較を適切に行い、妨害音を排除している。

図８において、第１目的音優勢信号生成手段３３１、第２目的音優勢信号生成手段３３２及び目的音劣勢信号生成手段３４０には、空間フィルタと呼ばれるフィルタが使われている。

ここで、空間フィルタについて、図６を用いて簡単に説明する。

図６（Ａ）は、抑圧角度＝θの場合の空間フィルタの利得特性を示す図である。図６（Ａ）において、２個のマイクロフォン（マイク１、マイク２）を結ぶ線に対して垂直方向を正面とする。また、正面方向に対して角度θ（ここでは左方向を正とする。）から到来する音が入力するものとし、この角度θ方向から到来する音を抑圧する場合を例示する。

このとき、図６（Ｂ）に示すように、間隔ｄで配置された２個のマイク１及びマイク２の間で、角度θで到来する音の伝播距離はｄ×ｓｉｎθの距離差が生じる。その結果として、マイク１及びマイク２に到来する音は、式（１）で与える時間差τが生じる。

τ＝（ｄ×ｓｉｎθ）／（音の伝播速度） …（１）
そこで、マイク２の出力信号Ｘ_２（ｔ）から、マイク１の出力信号Ｘ_１（ｔ）を時間差τだけ遅延させた出力信号Ｘ_１（ｔ−τ）を減じると、お互いが相殺され、抑圧角度θ方向からの音は抑圧される。

第１目的音優勢信号生成手段３３１及び第２目的音優勢信号生成手段３３２は、抑圧角度を、例えば、−９０度、９０度に設定した空間フィルタを用いて、正面から到来する目的音成分を抽出するとともに、妨害音成分を抑圧している。

一方、目的音劣勢信号生成手段３４０は、抑圧角度０度の空間フィルタを用いて、目的音成分を抑圧するとともに、妨害音声成分を抽出している。

ところで、これらの空間フィルタは、２個のマイクロフォンからの入力信号を利用している。

しかし、一般に、マイクロフォンは、製造誤差等により、音圧に対する電圧変換効率（以下、マイクゲインと呼ぶ。）が大きく異なる。また、マイク入力回路にも使われる抵抗などの製造誤差により、マイクロフォンから入力した受音信号の周波数特性が異なることがある。

図７は、抑圧角度θ＝０のときの空間フィルタの特性を示す図である。図７において、横軸はマイクに対する角度を表し、縦軸は空間フィルタの利得特性を表す。破線は、２個のマイクのマイクゲインが同じ場合の空間フィルタ特性を示し、実線は、一方のマイクのマイクゲインが０．９の場合（他方のマイクのマイクゲインは１．０の場合）の空間フィルタ特性を示す。

図７に示すように、２個のマイクのマイクゲインが同じ場合（破線）、抑圧角度において空間フィルタ特性は「０」になっており、抑圧角度方向から到来した音成分を抑圧できることがわかる。

一方、片方のマイクのマイクゲインが０．９の場合（実線）、２個のマイクのマイクゲインが揃っていないため、抑圧角度でも空間フィルタの特性が「０」になっていないので、十分に抑圧角度からの音を抑圧できておらず、抑圧性能が低下していることがわかる。すなわち、抑圧角度方向から到来した音成分を十分に抑圧できていないことがわかる。

このように、空間フィルタにおいて、所望の特性を得るためには、２個のマイクロフォンのマイクゲイン、受音信号の周波数特性が同一であることが必要となる。

そのため、目的音と、この目的音の到来方向以外の任意の方向から到来する妨害音とを分離するものであって、配置された２個のマイクロフォンのマイクゲイン、受音信号の周波数特性を同一にし、空間フィルタ特性を所望の特性に修正することができる音源分離装置及びプログラムが求められている。

そこで、本発明は、上記課題に鑑み、例えば製造誤差等によるマイク特性を補正することにより、空間フィルタ特性を所望の特性として、音源分離性能の劣化を少なくした音源分離装置、方法及びプログラムを提供する。

かかる課題を解決するために、第１の本発明の音源分離装置は、目的音と、目的音の音源とは異なる音源から発生した妨害音とを分離する音源分離装置において、（１）所定の受音処理に従って、２個の音入力部から入力した入力音を受音信号に変換する１又は複数の入力手段と、（２）各入力手段からの各受音信号の周波数成分を分析する１又は複数の周波数分析手段と、（３）各周波数分析手段からの各受音信号の周波数成分に基づいて、複数の受音信号の周波数成分の特性を正規化する１又は複数の信号特性補正手段と、（４）各信号特性補正手段により周波数成分の特性が正規化された各受音信号の周波数成分に基づき、目的音の到来方向以外の所定方向から到来した音の周波数成分を抑圧して得た１又は複数の第１音信号成分と、目的音の到来方向から音の周波数成分を抑圧して得た第２音信号成分とを分離する１又は複数の分離手段と、（５）各分離手段からの１又は複数の第１音信号成分と第２音信号成分とを用いて、目的音の特性を示す目的音特性成分を求める除去手段とを備えることを特徴とする。

第２の本発明の音源分離方法は、目的音と、目的音の音源とは異なる音源から発生した妨害音とを分離する音源分離装置の音源分離方法において、（１）入力手段が、所定の受音処理に従って、２個の音入力部から入力した入力音を受音信号に変換する入力工程と、（２）周波数分析手段が、入力手段からの各受音信号の周波数成分を分析する周波数分析工程と、（３）信号特性補正手段が、周波数分析手段からの各受音信号の周波数成分に基づいて、複数の受音信号の周波数成分の特性を正規化する信号特性補正工程と、（４）分離手段が、信号特性補正手段により周波数成分の特性が正規化された各受音信号の周波数成分に基づき、目的音の到来方向以外の所定方向から到来した音の周波数成分を抑圧して得た１又は複数の第１音信号成分と、目的音の到来方向から音の周波数成分を抑圧して得た第２音信号成分とを分離する分離工程と、（５）除去手段が、分離手段からの１又は複数の第１音信号成分と第２音信号成分とを用いて、目的音の特性を示す目的音特性成分を求める除去工程とを有することを特徴とする。

第３の本発明の音源分離プログラムは、目的音と、目的音の音源とは異なる音源から発生した妨害音とを分離する音源分離プログラムにおいて、所定の受音処理に従って、２個の音入力部から入力した入力音を受音信号に変換する１又は複数の入力手段を備える音源分離装置を、（１）各入力手段からの各受音信号の周波数成分を分析する周波数分析手段、（２）周波数分析手段からの各受音信号の周波数成分に基づいて、複数の受音信号の周波数成分の特性を正規化する信号特性補正手段、（３）信号特性補正手段により周波数成分の特性が正規化された各受音信号の周波数成分に基づき、目的音の到来方向以外の所定方向から到来した音の周波数成分を抑圧して得た１又は複数の第１音信号成分と、目的音の到来方向から音の周波数成分を抑圧して得た第２音信号成分とを分離する分離手段、（４）分離手段からの１又は複数の第１音信号成分と第２音信号成分とを用いて、目的音の特性を示す目的音特性成分を求める除去手段として機能させることを特徴とする。

本発明によれば、配置されたマイクロフォンのマイクゲイン、受音信号の周波数特性とが同一となるように補正することができ、空間フィルタ特性を所望の特性に修正することができるので、妨害音から目的音を分離する音源分離性能の劣化を少なくすることができる。

第１の実施形態の音源分離装置の内部構成を示すブロック図である。 第１の実施形態のゲイン算出部の内部構成示すブロック図である。 第２の実施形態の音源分離装置の内部構成を示すブロック図である。 第２の実施形態のゲイン算出部の内部構成示すブロック図である。 第３の実施形態の音源分離装置の内部構成を示すブロック図である。 空間フィルタによる妨害音除去の処理を説明する説明図である。 空間フィルタ利得特性を説明する説明図である。 従来の音源分離装置の内部構成を示すブロック図である。

（Ａ）第１の実施形態
以下では、本発明の音源分離装置、方法及びプログラムの第１の実施形態を図面を参照しながら説明する。

第１の実施形態では、目的音と、この目的音の到来方向以外の任意の方向から到来する音（妨害音）とを分離する音源分離装置に本発明を適用した場合の実施形態を例示する。

なお、第１の実施形態の音源分離装置の用途は特に限定されるものではなく、例えば、音声認識装置や音声録音装置の前処理装置としての雑音除去装置、ハンズフリー通話が可能な電話機（携帯電話機、固定電話機を含む）等が音声を捕捉する初期処理装置など広く適用することができる。

（Ａ−１）実施形態の構成及び動作
図１は、第１の実施形態の音源分離装置１０Ａの内部構成を示すブロック図である。

図１において、第１の実施形態の音源分離装置１０Ａは、大きくは、入力手段２０、分析手段３０、分離手段４０、除去手段５０、生成手段６０を有して構成されるものである。

音源分離装置１０Ａの各構成要素は、それぞれ専用のハードウェア（例えば半導体チップ等）で構成されても良く、又プロセッサ（例えばＣＰＵ等）を有する装置に、後述する各構成要素の機能を実行するためのプログラムを搭載することによりソフトウェア処理によって実現するようにしても良い。

入力手段２０は、音源からの音を捕捉し、捕捉した受音信号を分析手段３０に与えるものである。入力手段２０は、所定の間隔を置いて配置された２個のマイクロフォンＭ２１及びマイクロフォンＭ２２を音捕捉手段として有する。

マイクロフォンＭ２１及びＭ２２は、捕捉した音声を電気信号に変換するものである。ここで、マイクロフォンＭ２１及びＭ２２は、既存のマイクロフォンを適用することができるが、捕捉した音声を電気信号に変換する際に、所定のマイクゲインにより電気信号に変換する。

また、入力手段２０は、図示しないアナログ／ディジタル変換器を有する。この図示しないアナログ／ディジタル変換器は、マイクロフォンＭ２１及びＭ２２から出力される受音信号（アナログ信号）をディジタル変換するものであり、ディジタル受音信号を分析手段３０に与えるものである。

例えば、アナログ／ディジタル変換器は、入力されたアナログ受音信号を、標本化周期Ｔ毎に標本化して得られたディジタル信号を、受音信号として分析手段３０に出力する。例えば、標本化周期Ｔは、通常用いられる３１．２５マイクロ秒〜１２５マイクロ秒程度を適用することができる。

なお、マイクロフォンＭ２１から出力されるディジタル受音信号をｘ１（ｎ）とし、マイクロフォンＭ２２から出力されるディジタル受音信号をｘ２（ｎ）とする。ここで、ｎは、ｎ番目のサンプルデータであることを示す。

ここで、音声分離装置１０では、同一時間区間における、Ｎ個の連続するｘ１（ｎ）、ｘ２（ｎ）を１つの分析単位（以下、フレームともいう。）として処理を行う。例えば、Ｎ＝１０２４（個）とすることができる。そして、処理対象の分析単位に対する当該音源分離の一連の処理が終了すると、ｘ１（ｎ）、ｘ２（ｎ）のうち後半の（３Ｎ／４）個のデータを前半にシフトし、新たに入力された連続する（Ｎ／４）個のデータを後半に接続することにより、新たなＮ個の連続するｘ１（ｎ）、ｘ２（ｎ）を生成し、１つの分析単位として新たな処理を行い、このような処理対象分析単位の処理を繰り返すようになされている。

なお、第１の実施形態では、入力手段２０においてマイクロフォンＭ２１及びＭ２２が捕捉した音をディジタル受音信号とする場合を例示しているが、これに限定されるものではない。例えば、記録媒体等から読み出された音信号を当該ディジタル受音信号としても良いし、又例えば、他の装置から通信によって与えられたディジタル信号を当該ディジタル受音信号としても良い。

分析手段３０は、入力手段２０から受け取ったディジタル受音信号ｘ１（ｎ）、ｘ２（ｎ）に対して周波数分析を行うものである。また、分析手段３０は、ディジタル受音信号ｘ１（ｎ）、ｘ２（ｎ）の周波数分析結果を用いて、入力手段２０でのマイクゲインの正規化を行うものである。

分析手段３０は、図１に示すように、周波数分析部３１、周波数分析部３２、信号特性補正手段７０を少なくとも有する。また、信号特性補正手段７０は、乗算部３３、乗算部３４、ゲイン算出部３５を少なくとも有する。

周波数分析部３１及び周波数分析部３２は、妨害音（例えば雑音等）が混在したディジタル受音信号ｘ１（ｎ）及びｘ２（ｎ）を入力し、このディジタル受音信号ｘ１（ｎ）及びｘ２（ｎ）の周波数分析処理を行うものである。

周波数分析部３１は、ディジタル受音信号ｘ１（ｎ）の周波数分析を行い、周波数分析部３２は、ディジタル受音信号ｘ２（ｎ）の周波数分析を行う。

ここで、周波数分析方法としては、高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）に限定されず、離散フーリエ変換（ＤＦＴ：Discrete Fourier Transform）や、一般的調和解析（ＧＨＡ：Generalized Harmonic Analysis）等の周波数分析方法を広く適用することができる。

例えば、ＦＦＴ処理を適用する場合、周波数分析部３１及び周波数分析部３２は、Ｎ個の連続するディジタル受音信号ｘ１（ｎ）、ｘ２（ｎ）に対して、窓関数をかける。この窓関数ｗ（ｎ）としては、各種の窓関数を適用可能であるが、例えば、式（２）に示すような、ハニング窓を適用することができる。窓処理は、後述するように生成手段６０における分析単位の接続処理を考慮してなされる処理である。

ただし、周波数分析部３１及び周波数分析部３２において、窓関数をかけることは好ましいが、必須ではないことに注意されたい。

周波数分析部３１は、ディジタル受音信号ｘ１（ｎ）に対する周波数分析処理により得られた信号Ｃ１（ｍ）を、乗算部３３及びゲイン算出部３５に与える。また、周波数分析部３２は、ディジタル受音信号ｘ２（ｎ）に対する周波数分析処理により得られた信号Ｃ２（ｍ）を、乗算部３４及びゲイン算出部３５に与える。なお、このＣ１（ｍ）及びＣ２（ｍ）は複素数である。

なお、分析手段３０において、当該音源分離装置１０Ａを搭載する装置によっては、他の目的の処理を行う構成を備えるようにしても良い。例えば、当該音源分離装置１０Ａの搭載装置がＩＰ電話機の場合には、ＩＰパケットのペイロードにはＦＦＴ出力信号を符号化したものを挿入するため、そのペイロードに含まれるＦＦＴ出力信号を獲得するための復号手段を、周波数分析部３１及び３２に代えて当該分析手段３０が有するような構成としても良い。

ゲイン算出部３５は、周波数分析部３１及び周波数分析部３２から周波数分析された出力信号Ｃ１（ｍ）及びＣ２（ｍ）を受け取り、これら出力信号Ｃ１（ｍ）及びＣ２（ｍ）に基づき、マイクロフォンＭ２１及びマイクロフォンＭ２２による利得（マイクゲイン）のばらつきを補正するものである。

ここで、ゲイン算出部３５によるゲインの補正処理の一例を、図２を参照しながら説明する。図２は、ゲイン算出部３５の内部構成を示すブロック図である。

図２において、ゲイン算出部３５は、第１パワー算出部３５１、第２パワー算出部３５２、第１ゲイン計算部３５３、第２ゲイン計算部３５４を有する。

第１パワー算出部３５１及び第２パワー算出部３５２は、周波数分析部３１から出力されたＣ１（ｍ）及びＣ２（ｍ）に基づいて、マイクロフォンＭ２１及びマイクロフォンＭ２２から出力された受音信号のパワー値を求めるものである。

第１パワー算出部３５１は、マイクロフォンＭ２１から出力された受音信号のパワー値を求めるものであり、第２パワー算出部３５２は、マイクロフォンＭ２１から出力された受音信号のパワー値を求めるものである。

ここで、パワー値の算出方法の一例として、第１パワー算出部３５１及び第２パワー算出部３５２は、式（３）及び式（４）に従ってそれぞれのパワー値ｐ１及びＰ２を求める。

例えば、式（３）は、マイクロフォンＭ２１から出力された受音信号の信号成分Ｃ１（ｍ）を自乗したものを１フレーム区間で加算して、１フレーム区間のパワー値ｐ１を求めることを示す。式（４）も、マイクロフォンＭ２２から出力された受話信号について同様である。

第１ゲイン計算部３５３は、第１パワー算出部３５１からのパワー値ｐ１と第２パワー算出部３５２からのパワー値ｐ２とに基づいて、マイクロフォンＭ２１による利得（ゲイン）を補正するものである。また、第１ゲイン計算部３５３は、その補正したゲイン値Ｇ１を乗算部３３に与える。

第２ゲイン計算部３５４も、同様に、第１パワー算出部３５１からのパワー値ｐ１と第２パワー算出部３５２からのパワー値ｐ２とに基づいて、マイクロフォンＭ２２による利得（ゲイン）を補正し、補正したゲイン値Ｇ２を乗算部３４に与える。

ここで、ゲイン値の補正方法の一例として、第１ゲイン計算部３５３及び第２ゲイン計算部３５４は、式（５）及び式（６）に従って、補正したゲイン値Ｇ１及びＧ２を求める。

例えば、式（５）は、パワー値ｐ１とパワー値ｐ２とを加算したものを（２×ｐ１）で割ったものの平方根を示す。式(６)についても同様である。これにより、マイクロフォンＭ２１及びマイクロフォンＭ２２でのマイクゲインの修正を行うことができる。

乗算部３３は、ゲイン算出部３５により補正されたゲイン値Ｇ１を受け取り、式（７）に示すように、周波数分析部３１から出力されたＣ１（ｍ）にゲイン値Ｇ２を乗じるものである。

乗算部３４も、ゲイン算出部３５により補正されたゲイン値Ｇ２を受け取り、式（８）に示すように、周波数分析部３２から出力されたＣ２（ｍ）にゲイン値Ｇ１を乗じるものである。

乗算部３３及び乗算部３４による処理により、マイクロフォンＭ２１及びマイクロフォンＭ２２のマイクゲインのばらつきを補正したゲイン値で修正したものを出力することができる。

乗算部３３及び乗算部３４は、上記のようしてマイクゲインのばらつきを補正した演算結果Ｄ１（ｍ）及びＤ２（ｍ）を分離手段４０に与える。

分離手段４０は、乗算部３３及び３４により正規化された出力信号Ｄ１（ｍ）及びＤ２（ｍ）を受け取り、これらＤ１（ｍ）及びＤ２（ｍ）に基づいて、２個のマイクロフォンＭ２１及びＭ２２を結ぶ線に対して、垂直平面上に音源Ｓ_Ａ及びＳ_Ｂからの音（目的音）を抽出するものである。

分離手段４０は、図１に示すように、３個の空間フィルタ４１、４２及び４３と、最小選択部４４とを有する。

これから説明する分離手段４０における処理は、スペクトルＣ（ｍ）の性質Ｃ（ｍ）＝Ｃ＊（Ｎ−ｍ）（ただし、１≦ｍ≦（Ｎ／２）−１、Ｃ＊（Ｎ−ｍ）はＣ（Ｎ−ｍ）の共役複素数を表す。）から、０≦ｍ≦Ｎ／２の範囲で行えば良い。

空間フィルタ４１は、特定の指向性（例えば、２個のマイクロフォンＭ２１及びＭ２２を結ぶ線に対する垂直平面に対して右側９０度の指向性）を持った空間フィルタを生成する。例えば、図６（Ａ）に示す抑圧角度θが時計回り９０度の場合である。

空間フィルタ４１は、次式（９）の演算を行い、時計回り方向の９０度の方向から入力してきた音成分を抑圧し、これを目的音成分を強調した目的音優勢スペクトル（第１目的音優勢スペクトル）である出力Ｅ１（ｍ）を得る。

ここで、Ｆはサンプリング周波数を示し、例えば１６００Ｈｚを適用することができる。またｊは虚数単位を示す。

空間フィルタ４２は、２個のマイクロフォンＭ２１及びＭ２２を結ぶ線に対する垂直平面に対して空間フィルタ４１の指向性と対称の方向の指向性（例えば、２個のマイクロフォンＭ２１及びＭ２２を結ぶ線に対する垂直平面に対して左側９０度の指向性）を持った空間フィルタを生成する。例えば、図６（Ａ）に示す抑圧角度θが反時計回り９０度の場合である。

空間フィルタ４２は、次式（１０）の演算を行い、反時計回り方向の９０度の方向から入力してきた音成分を抑圧し、これを目的音優勢スペクトル（第２目的音優勢スペクトル）である出力Ｅ２（ｍ）を得る。

空間フィルタ４３は、２個のマイクロフォンＭ２１及びＭ２２を結ぶ線方向の音（妨害音）を抽出するものであり、例えば、図６（Ａ）に示す抑圧角度θが０度の場合である。

空間フィルタ４３は、次式（１１）の演算を行い、抑圧角度０度としているので、正面方向からの音成分を抑圧し、目的音成分とは異なる角度から入力してきた音成分（妨害音成分）を強調した目的音抑圧スペクトルである出力Ｎ（ｍ）を得る。

最小選択部４４は、空間フィルタ４１から出力される目的音優勢スペクトルＥ１（ｍ）の絶対値と、空間フィルタ４２から出力される目的音優勢スペクトルＥ２（ｍ）の絶対値のうち、最小値Ｍ（ｍ）を選択して、除去手段５０に与えるものである。

除去手段５０は、最小選択部４４により選択された最小値Ｍ（ｍ）と、空間フィルタ４３により求められた目的音抑圧スペクトルである出力Ｎ（ｍ）とに基づいて、式（１３）に従って、目的音優勢スペクトルの特徴的なスペクトル成分Ｓ（ｍ）を抽出するものである。

式（１３）では、目的音優勢スペクトルの大きさが目的音抑圧スペクトルの大きさ以上の場合には、当該目的音優勢スペクトルが目的音の特徴的なスペクトル部分であるとし、そのスペクトル成分を抽出し、それ以外の場合には「０」とすることを示す。

さらに、除去手段５０は、０≦ｍ≦Ｎ／２の範囲で求められたＳ（ｍ）に対して、式（１４）に示すように、受音信号を乗算することにより、除去手段５０の出力である分離スペクトルＨ（ｍ）を求めるものである。

なお、式（１３）及び式（１４）において、分離スペクトルＨ（ｍ）は、（Ｍ（ｍ）−Ｎ（ｍ））^１／２と、マイクロフォンＭ２１から入力された信号である複素信号Ｄ１（ｍ）の位相を使って求める場合を例示するが、マイクロフォンＭ２２からの信号の位相成分を用いるようにしても良い。

また、除去手段５０は、Ｈ（ｍ）＝Ｈ＊（Ｎ−ｍ）（ただし、（Ｎ／２）＋１≦ｍ≦Ｎ−１）の性質を利用して、０≦ｍ≦Ｎ−１の範囲の分離スペクトルＨ（ｍ）を求め、これを生成手段６０に与える。これにより、目的音優勢スペクトルから目的音抑圧スペクトルを分離した分離スペクトルＨ（ｍ）を求めることができる。

生成手段６０は、除去手段５０から分離スペクトルＨ（ｍ）を受け取り、目的音を分離した音源分離信号を再生するものである。生成手段６０は、分離スペクトルＨ（ｍ）をＮ点逆ＦＦＴ処理を行い、音源分離信号ｈ（ｎ）を求め、現在の音源分離信号ｈ（ｎ）と、直前の分析単位についての音源分離信号ｈ’（ｎ）の後半の３Ｎ／４個のデータを加算して、出力ｙ（ｎ）を得るものである。

ここで、相前後する分析単位でデータ（サンプル）を重複させるように、Ｎ／４個のデータをシフトしながら、上述した処理を行うのは、波形接続を円滑に行うためであり、この手法は良く用いられている。１つの分析単位に対し、分析手段３０から当該生成手段６０までの上述した一連の処理に許される時間は、ＮＴ／４となる。

なお、音源分離装置１０Ａの用途によっては、生成手段６０を省略したり、他の装置が有する生成部を流用したりすることができる。

例えば、音源分離装置１０Ａが音声認識装置に利用される場合であれば、分離スペクトルＨ（ｍ）を認識用特徴量として用いるようにして生成手段６０を省略することができる。

また例えば、音源分離装置１０ＡがＩＰ電話機に利用される場合であれば、ＩＰ電話機が生成部を有するので、その生成部を流用するようにしても良い。

（Ａ−２）第１の実施形態の効果
以上のように、第１の実施形態によれば、入力手段における複数のマイクロフォンのマイクゲインのばらつきに関わらず、所望の空間フィルタ特性を得ることができ、その結果、分離後の合成音を非常に聞きやすくすることができる。

（Ｂ）第２の実施形態
次に、本発明の音源分離装置、方法及びプログラムの第２の実施形態を図面を参照しながら説明する。

（Ｂ−１）第２の実施形態の構成及び動作
図３は、第２の実施形態の音源分離装置１０Ｂの内部構成を示すブロック図である。

図３において、第２の実施形態の音源分離装置１０Ａが、第１の実施形態の音源分離装置１０Ａと異なる点は、分析手段３０が、信号特性補正手段７０に代えて信号特性補正手段８０を備える点である。

なお、図３において、図１に示す構成要素と同様のものには、同様の番号を付している。また、以下では、第２の実施形態に特有の構成及び処理を詳細に説明し、第１の実施形態ですでに説明した構成要素の処理の詳細な説明は重複するので省略する。

図３において、信号特性補正手段８０は、乗算部３３及び３４と、平均算出部３６とを有する。

平均算出部３６は、周波数分析部３１及び周波数分析部３２から周波数分析結果Ｃ１（ｍ）及びＣ２（ｍ）を受け取り、これらＣ１（ｍ）及びＣ２（ｍ）に基づき、マイクロフォンＭ２１及びマイクロフォンＭ２２に入力される受音信号の周波数特性のばらつきを補正するものである。

ここで、平均算出部３６による受音信号の周波数特性の補正処理の一例を、図４を参照しながら説明する。

平均算出部３６は、周波数分析部３１及び３２からの出力信号Ｃ１（ｍ）及びＣ２（ｍ）の周波数特性を平均化するものである。

つまり、２個のマイクロフォンＭ２１及びＭ２２が、同一平面上に配置されており、さらに両者の配置間隔の距離が非常に小さい場合、２個のマイクロフォンＭ２１及びＭ２２に入力する受音信号は位相特性のみが異なり、振幅特性は同じと想定することができる。

そこで、平均算出部３６は、マイクロフォンＭ２１及びＭ２２からの出力信号の振幅特性が同じとなるようにゲイン値を補正し、その補正したゲイン値を用いて受音信号の周波数特性を正規化する。

図４は、平均算出部３６の内部構成を示すブロック図である。図４において、平均算出部３６は、第１振幅値算出部３６１、第２振幅値算出部３６２、第１ゲイン計算部３６３、第２ゲイン計算部３６４を有する。

第１振幅値算出部３６１及び第２振幅値算出部３６２は、周波数分析部３１から出力されたＣ１（ｍ）及びＣ２（ｍ）に基づいて、マイクロフォンＭ２１及びマイクロフォンＭ２２から出力された受音信号の振幅値を求めるものである。

第１振幅値算出部３６１は、マイクロフォンＭ２１から出力された受音信号の振幅値Ａ１（ｍ）を求めるものであり、第２パワー算出部３６２は、マイクロフォンＭ２１から出力された受音信号の振幅値Ａ２（ｍ）を求めるものである。

ここで、振幅値の算出方法の一例として、第１振幅値算出部３６１及び第２振幅値算出部３６２は、式（１６）及び式（１７）に従ってそれぞれの振幅値Ａ１（ｍ）
及びＡ２（ｍ）を求める。

例えば、式（１６）は、マイクロフォンＭ２１からの出力信号Ｃ１（ｍ）の絶対値を、振幅値とすることを示す。式（１７）も、マイクロフォンＭ２２から出力された受話信号について同様である。

第１ゲイン計算部３６３は、第１振幅値算出部３６１からの振幅値Ａ１（ｍ）と第２振幅値算出部３６２からの振幅値Ａ２（ｍ）とに基づいて、マイクロフォンＭ２１から出力される受音信号に与える利得（ゲイン）を求めるものである。また、第１ゲイン計算部３６３は、その補正したゲイン値ＧＧ１（ｍ）を乗算部３３に与える。

第２ゲイン計算部３６４も、同様に、第１振幅値算出部３６１からの振幅値Ａ１（ｍ）
と第２振幅値算出部３６２からの振幅値Ａ２（ｍ）とに基づいて、マイクロフォンＭ２２から出力される受音信号に与える利得（ゲイン）を求め、その補正したゲイン値Ｇ１を乗算部３３に与える。

ここで、ゲイン値の算出方法の一例として、第１ゲイン計算部３６３及び第２ゲイン計算部３６４は、式（１８）及び式（１９）に従って、求めたゲイン値ＧＧ１（ｍ）及びＧＧ２（ｍ）を求める。

乗算部３３及び乗算部３４は、平均算出部３６が求めたゲイン値ＧＧ１（ｍ）及びゲイン値ＧＧ２（ｍ）を受け取り、式（２０）及び式（２１）に示すように、周波数分析部３１及び３２からの信号Ｃ１（ｍ）及びＣ２（ｍ）に、ゲイン値ＧＧ１（ｍ）及びゲイン値ＧＧ２（ｍ）を乗算することで、信号Ｃ１（ｍ）及びＣ２（ｍ）の周波数成分を補正する。

なお、その後の処理は、第１の実施形態と同様の処理である。

（Ｂ−２）第２の実施形態の効果
以上のように、第２の実施形態によれば、マイクの実装、回路構成による振幅特性のばらつきに関わらず、所望の空間フィルタ特性を得ることができ、その結果、分離後の合成音を非常に聞きやすくすることができる。

（Ｃ）第３の実施形態
次に、本発明の音声分離装置、方法及びプログラムの第３の実施形態を図面を参照しながら説明する。

第１及び第２の実施形態では、２個のマイクロフォンを用いた場合の実施形態を例示したが、第３の実施形態では、２個以上のマイクロフォンを用いた場合の実施形態を例示する。

（Ｃ−１）第３の実施形態の構成及び動作
図５は、第３の実施形態の音声分離装置１０Ｃの内部構成を示すブロック図である。図５において、第３の実施形態の音声分離装置１０Ｃは、音源分離手段１１０Ａ、音源分離手段１１０Ｂ、除去手段５１、生成手段６０を少なくとも有して構成される。

第３の実施形態では、音源分離装置１０Ｃが、４個のマイクロフォンＭ２１、マイクロフォンＭ２２、マイクロフォンＭ１２１及びマイクロフォンＭ１２２を備える場合を例示する。勿論、６個、８個、…のマイクロフォンを用いるようにしても良い。

音源分離装置１０Ｃは、第１の実施形態、第２の実施形態で説明した、入力手段２０、分析手段３０、分離手段４０を備える音源分離手段１１０Ａを複数有する構成であり、図５の例では、２個の音源分離手段１１０Ａ及び音源分離手段１１０Ｂを有する。

なお、音源分離手段１１０Ｂは、入力手段２０、分析手段３０、分離手段４０に相当する、入力手段１２０、分析手段１３０、分離手段１４０を備える。

音源分離手段１１０Ａ及び音源分離手段１１０Ｂにおける処理は、第１の実施形態、第２の実施形態で説明してあるので、第３の実施形態では、除去手段５１が、２個の音源分離手段１１０Ａ及び１１０Ｂからの出力信号に基づいて、妨害音成分を除去する処理を中心に説明する。

除去手段５１は、２個の音源分離手段１１０Ａ及び１１０Ｂからの出力信号に基づいて、妨害音成分を除去するものである。除去手段５１は、分離手段４０から最小選択された出力信号ＭＡ（ｍ）及び出力信号ＮＡ（ｍ）と、分離手段１４０から最小選択された出力信号ＭＢ（ｍ）及び出力信号ＮＢ（ｍ）とを受け取る。

除去手段５１は、分離手段４０及び分離手段１４０から受け取った信号に基づいて、例えば式（２２）に従って、妨害音成分の除去を行い、その結果信号Ｓ（ｍ）を取得する。なお、その後、Ｈ（ｍ）の算出については、第１の実施形態、第２の実施形態と同様である。

以上のようにすることで、４個のマイクロフォンを備える場合にも適用することができる。

また、第３の実施形態では、４個のマイクロフォンを例示したが、３個のマイクロフォンを備える場合にも適用できる。

この場合、３個のうち、１個のマイクロフォンを、音源分離手段１１０Ａ及び音源分離手段１１０Ｂが共通に用いる構成とすることで実現できる。この場合、マイクロフォンの数を少なくすることができ、又共通の演算があるため、最終的な演算量を少なくすることができるので実用的である。

（Ｃ−２）第３の実施形態の効果
以上のように、第３の実施形態によれば、マイクロフォンの個数を３個以上とする場合にも適用することができる。

（Ｄ）他の実施形態
（Ｄ−１）第１〜第３の実施形態で説明した音源分離装置及びプログラムは、例えば、音声認識が必要なロボットとの対話、音声認識による音声操作を行うカーナビゲーションシステム等の車載機器、音声メッセージを録音することができる電話システムや電話会議システム、他の装置からの音響又は音声を録音するシステム等幅広く適用することができる。

例えば、遠隔発話を行う複数の話者による混合音声から任意の話者の音声を分離する場合、あるいは遠隔発話を行う話者の音声とその他の音との混合音から話者の音声を分離する場合等に利用でき、より具体的には、例えば、ロボットとの対話、カーナビゲーションシステム等の車載機器についての音声による操作、会議の議事録作成等に用いることができる。

（Ｄ−２）第１〜第３の実施形態では、２個のマイクロフォンが平行に配置されている場合の実施形態を例示した。しかし、第１〜第３の実施形態の信号特性補正手段７０及び８０が、複数のマイクロフォン間のマイクゲインの補正や、それぞれのマイクロフォンから出力する受音信号の周波数特性を補正することができれば、複数個のマイクロフォンの配置位置は特に限定されるものではない。例えば、２個のマイクロフォンが垂直平面上に並べて配置されている場合にも適用できる。

分離手段４０、除去手段５０及び生成手段６０における処理は、第１〜第３の実施形態で説明した処理に限定されるものではなく、種々の処理を広く適用することができる。

（Ｄ−３）第１〜第３の実施形態において、周波数領域上の信号（スペクトル）で多くの処理を行っているが、その処理のいくつかを、時間軸上の信号で実行するようにしても良い。例えば、第１、第２の実施形態において、信号特性補正手段７０及び８０は、周波数分析部３１及び３２の前段に設け、マイクロフォン２１及び２２からの受音信号を用いて時間軸上でゲインを同一に正規化するようにしても良い。また、周波数分析部３１及び３２が、空間フィルタ４１、４２及び４３の後段に設けるようにしても良い。

１０Ａ、１０Ｂ、１０Ｃ…音源分離装置、
２０及び１２０…入力手段、Ｍ２１、Ｍ２２、Ｍ１２１及びＭ１２２…マイクロフォン、
３０及び１３１…分析手段、３１及び３２…周波数分析部、
７０及び８０…信号特性補正手段、３３及び３４…乗算部、３５…ゲイン算出部、
３６…平均算出部、３５１…第１パワー算出部、３５２…第２パワー算出部、
３５３及び３６３…第１ゲイン算出部、３５４及び３６４…第２ゲイン算出部、
３６１…第１振幅値算出部、３６２…第２振幅値算出部、
４０…分離手段、４１、４２、４３…空間フィルタ、４４…最小選択部、
５０及び５１…除去手段、６０…生成手段。

Claims (5)

1. 目的音と、上記目的音の音源とは異なる音源から発生した妨害音とを分離する音源分離装置において、
   所定の受音処理に従って、２個の音入力部から入力した入力音を受音信号に変換する１又は複数の入力手段と、
   上記各入力手段からの上記各受音信号の周波数成分を分析する１又は複数の周波数分析手段と、
   上記各周波数分析手段からの上記各受音信号の周波数成分に基づいて、上記複数の受音信号の周波数成分の特性を正規化する１又は複数の信号特性補正手段と、
   上記各信号特性補正手段により周波数成分の特性が正規化された上記各受音信号の周波数成分に基づき、上記目的音の到来方向以外の所定方向から到来した音の周波数成分を抑圧して得た１又は複数の第１音信号成分と、上記目的音の到来方向から音の周波数成分を抑圧して得た第２音信号成分とを分離する１又は複数の分離手段と、
   上記各分離手段からの上記１又は複数の第１音信号成分と上記第２音信号成分とを用いて、上記目的音の特性を示す目的音特性成分を求める除去手段と
   を備えることを特徴とする音源分離装置。
2. 上記各信号特性補正手段が、
   上記複数の受音信号の周波数成分に基づく所定時間区間のパワー値に応じて、上記各受音信号に付与する利得を補正する利得補正部と、
   上記利得補正部により求められた補正された利得を用いて、上記周波数分析手段からの上記各受音信号の周波数成分の特性を補正する受音信号補正部と
   を有することを特徴とする請求項１に記載の音源分離装置。
3. 上記各信号特性補正手段が、
   上記複数の受音信号の周波数成分の振幅値を用いて、上記各受音信号に付与する利得を補正する利得補正部と、
   上記利得補正部により求められた補正された利得を用いて、上記周波数分析手段からの上記各受音信号の周波数成分の特性を補正する受音信号補正部と
   を有することを特徴とする請求項１に記載の音源分離装置。
4. 目的音と、上記目的音の音源とは異なる音源から発生した妨害音とを分離する音源分離装置の音源分離方法において、
   入力手段が、所定の受音処理に従って、２個の音入力部から入力した入力音を受音信号に変換する入力工程と、
   周波数分析手段が、上記入力手段からの上記各受音信号の周波数成分を分析する周波数分析工程と、
   信号特性補正手段が、上記周波数分析手段からの上記各受音信号の周波数成分に基づいて、上記複数の受音信号の周波数成分の特性を正規化する信号特性補正工程と、
   分離手段が、上記信号特性補正手段により周波数成分の特性が正規化された上記各受音信号の周波数成分に基づき、上記目的音の到来方向以外の所定方向から到来した音の周波数成分を抑圧して得た１又は複数の第１音信号成分と、上記目的音の到来方向から音の周波数成分を抑圧して得た第２音信号成分とを分離する分離工程と、
   除去手段が、上記分離手段からの上記１又は複数の第１音信号成分と上記第２音信号成分とを用いて、上記目的音の特性を示す目的音特性成分を求める除去工程と
   を有することを特徴とする音源分離方法。
5. 目的音と、上記目的音の音源とは異なる音源から発生した妨害音とを分離する音源分離プログラムにおいて、
   所定の受音処理に従って、２個の音入力部から入力した入力音を受音信号に変換する１又は複数の入力手段を備える音源分離装置を、
   上記各入力手段からの上記各受音信号の周波数成分を分析する周波数分析手段、
   上記周波数分析手段からの上記各受音信号の周波数成分に基づいて、上記複数の受音信号の周波数成分の特性を正規化する信号特性補正手段、
   上記信号特性補正手段により周波数成分の特性が正規化された上記各受音信号の周波数成分に基づき、上記目的音の到来方向以外の所定方向から到来した音の周波数成分を抑圧して得た１又は複数の第１音信号成分と、上記目的音の到来方向から音の周波数成分を抑圧して得た第２音信号成分とを分離する分離手段、
   上記分離手段からの上記１又は複数の第１音信号成分と上記第２音信号成分とを用いて、上記目的音の特性を示す目的音特性成分を求める除去手段
   として機能させることを特徴とする音源分離プログラム。

Images