JP2010176105A - 雑音抑制装置、雑音抑制方法、及び、プログラム - Google Patents

Abstract

【課題】車室内のように反響等の影響が大きく、雑音の到来方向が次々変化する環境において、目的音の音源を推定し、雑音を抑制した目的音を取得すること。
【解決手段】独立成分分析部３０３は、２つ以上のマイクロホンが受信した音の音源を分離する音源分離フィルタを求め、話者音（目的音）同定部３０６は、分離した音源のうち、目的音の音源方向を推定し、位相検出部３０８は、目的音の音源方向を用いてマイクロホン間の位相差を検出し、中心値更新処理部３０９は、検出された位相差を用いて、位相差の中心値を更新し、フィルタリング部３１１は、更新された中心値を用いて生成された雑音抑制フィルタを用いて、マイクロホンが受信した音の雑音を抑制し出力する。
【選択図】図３

Description

本発明は、複数の音源が存在する空間において、少なくとも２つ以上のマイクロホンを用いて、雑音を抑制した目的音を取得する雑音抑制装置、雑音抑制方法、及びプログラムに関する。

従来、複数の音源が存在する空間において、複数のマイクロホンを用いて、特定の方向の音源（目的音）のみを抽出する方法が広く検討されている（例えば、特許文献１参照）。特に、最小分散ビームフォーマに基づく方法は、マイクロホン間位相差から、時間ごと、周波数成分ごとに、目的音の到来方向を算出し、その位相差が所定の範囲内であれば、その時間成分、周波数成分を目的音と判定し、その位相差が所定の範囲外であれば雑音と判定する。そして、その判定結果に基づき、雑音を抑制するためのフィルタを作成し、そのフィルタを用いて雑音抑制処理を行い、目的音を取り出す。例えば、マイクロホンを２つ用いる場合、ある特定方向θから到来する音の位相差Θは、マイクロホンの配置から決まる理論値（Θ＝２πｆｃ^−１ｄsinθ）で求めることができる。ここで、ｆは周波数、ｃは音速、ｄはマイク間の距離である。こうして求められた位相差の理論値を元に、受信した音が目的音か雑音かという判定を行う。

また、例えば、非特許文献１に記載されるような、音源方向の情報を使わず、目的音と雑音とが統計的に独立であることを利用した独立成分分析に基づき、目的音を取得する方法がある。

特開２００６−１７９６１号公報

戸上真人,天野明雄 "人間共生ロボットEMIEWの騒音下音声認識技術,"計測と制御,Vol.46,No.6,2007/6.

音源が存在する空間が無響環境である場合は、最小分散ビームフォーマに基づく方法で求められた位相差の理論値は、実測値との差が所定の範囲内であり、目的音か雑音かの判定を行うことができるが、音源が存在する環境が、例えば、車室内のように狭い環境では、音の反響などにより位相差の実値と求められた理論値との差が大きくなる。
図１４は車室内に設置したマイクロホンアレイの一例を示す図であり、図１５はマイクロホンアレイのマイクロホン配置から求めた目的音の位相差の理論値と実値の一例を示す図である。図１４に示す複数のマイクロホン１００５からなるマイクロホンアレイ１００１のマイク配置から目的音のマイク間位相差の理論値を推定し、推定した位相差の理論値との差が小さい周波数成分を目的音と推定する。図１５において、位相差の理論値は点線で、実値は実線で示される。図１５に示すように、実値は、理論値と異なり周波数成分ごとにかなり振幅がある。これは、車室内の音の反響等の影響である。例えば、図１５に示すＧ点は、実際は目的音であるのにかかわらず、理論値に基づく判定だと理論値との差が大きいため、目的音ではなく、雑音として判定されてしまうこととなる。
このように、反響などの大きい車室内等の環境では、マイク配置を基に求めた位相差の理論値を基準にしての判定では目的音の音源分離の精度が低くなってしまうという問題が生じる。

また、走行中の車などでは、走行音や外部からの雑音、車内の運転手及び同乗者の発話など時々刻々と変化する音が存在するため、例えば、車室内ハンズフリー装置などでは、さまざまな雑音方向に追従し、目的音を抽出する必要がある。しかしながら、非特許文献１に記載された独立成分分析による音源分離方法では、目的音と雑音の統計的性質を用いるため，比較的長い観測データが必要となり、雑音方向が変化した場合，目的音と雑音の独立性を評価するのに十分な観測データが得られるまで，雑音抑制処理に用いる雑音抑制フィルタを更新することができないという問題がある。

そこで、本発明は、前記従来技術の問題点を解決するためになされたものであり、車室内のように、反響や残響等の影響によりマイクロホン配置から求めた位相差の理論値と実値との差が大きい環境において、雑音の到来方向が時々刻々と変化した場合であっても、瞬時に目的音の音源を分離し、目的音の雑音抑制信号を出力することが可能な精度の高い雑音抑制装置及び雑音抑制方法を提供することを課題とする。

前記課題を解決するために、本発明は、音を受信する複数の音声受信手段と、前記音声受信手段によって受信された音から目的音を分離する音源分離手段と、前記音源分離手段によって分離された目的音の音源方向を推定する音源方向推定手段と、前記音源方向推定手段によって推定された音源の方向に基づき、前記複数の音声受信手段によって受信された音の位相差を検出する位相差検出手段と、前記位相差検出手段により検出された前記位相差の中心値を算出する中心値算出処理手段と、前記中心値算出処理手段で算出された中心値を用いて雑音を抑制する雑音抑制フィルタ特性を設定するフィルタ作成手段と、前記フィルタ作成手段によって特性が設定された前記雑音抑制フィルタを用いて、前記目的音の雑音抑制処理を行う雑音抑制処理手段とを有することを特徴とする。

本発明では、複数のマイクロホンなどの音声受信手段から受信した音から目的音を分離し、その目的音の音源方向を推定し、その推定された音源方向を基に複数の音声受信手段によって受信された音の位相差の中心値を算出し、その算出された中心値を用いて雑音を抑制するフィルタを作成し、その雑音抑制フィルタを用いて複数の音源の音が混在する音から雑音を抑制した目的音を取得するものである。
ここで、中心値算出処理手段は、目的音とそれ以外の音のパワーを推定し、その時間相関を求め、求められた時間相関が所定値以上である場合に、位相差の中心値を更新する。

また、第２の発明は、複数の音声受信手段によって音を受信する音声受信ステップと、前記音声受信手段によって受信された音から目的音を分離する音源分離ステップと、前記分離された目的音の音源方向を推定する音源方向推定ステップと、前記推定された音源方向に基づき、前記複数の音声受信手段によって受信された音の位相差を検出する位相差検出ステップと、前記検出された位相差の中心値を算出する中心値算出ステップと、前記算出された中心値を用いて雑音を抑制する雑音抑制フィルタ特性を設定するフィルタ作成ステップと、前記フィルタ作成ステップにおいて特性が設定された前記雑音抑制フィルタを用いて、前記目的音の雑音抑制処理を行う雑音抑制ステップを有することを特徴とする雑音抑制方法である。

また、第３の発明は、コンピュータを、音を受信する複数の音声受信手段と、前記音声受信手段によって受信された音から目的音を分離する音源分離手段と、前記音源分離手段によって分離された目的音の音源方向を推定する音源方向推定手段と、前記音源方向推定手段によって推定された音源の方向に基づき、前記複数の音声受信手段によって受信された音の位相差を検出する位相差検出手段と、前記位相差検出手段により検出された前記位相差の中心値を算出する中心値算出処理手段と、前記中心値算出処理手段で算出された中心値を用いて雑音を抑制する雑音抑制フィルタ特性を設定するフィルタ作成手段と、前記フィルタ作成手段によって特性が設定された前記雑音抑制フィルタを用いて、前記目的音の雑音抑制処理を行う雑音抑制処理手段として動作させることを特徴とするプログラムである。

本発明の雑音抑制装置、雑音抑制方法、及びプログラムによれば、複数の音源が混在する環境、車室内など特に音の反響や残響などの影響のある狭い空間において、雑音の到来方向が時々刻々と変化した場合でも雑音を抑制した目的音を取得することが可能となる。

雑音抑制装置のハードウェア構成図である。 雑音抑制装置の適用例を示す図である。 中央演算装置の機能ブロック構成を示す図である。 雑音抑制処理の時間的な流れを示す図である。 フィルタ適応部の機能ブロック構成を示す図である。 独立成分分析部による処理の流れを示すフローチャートである。 音源定位部による音源方向の推定処理のフローチャートである。 目的音の存在範囲を示す図である。 目的音の音源方向の推定処理を説明するための図である。 中心値更新処理部によって行われる判定処理の流れを示すフローチャートである。 雑音抑制装置によって推定された目的音の推定値と実測値との比較を示す図である。 雑音抑制装置によって求められた目的音の残留雑音と従来の雑音抑制方法で求めた目的音の残留雑音との比較を示す図である。 雑音抑制装置の応用例を示す図である。 車室内に設置したマイクロホンアレイの一例を示す図である。 マイクロホン素子の配置から求めた位相差の理論値と実値との比較を示す図である。

以下に、添付図面を参照しながら、本発明を実施するための最良の形態（以下、「実施形態」という）を詳細に説明する。なお、以下の説明および添付図面において、略同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略することにする。
図１は、本発明の実施形態に係る雑音抑制装置のハードウェア構成を示す図である。図２は雑音抑制装置の適用の一例を示す図である。なお、以下の実施形態の説明では、図２に示すような車３における車室内での雑音抑制装置の適用を例に説明する。

図１に示すように、雑音抑制装置１は、マイクロホンアレイ２１、多チャンネルＡ／Ｄ変換機２２、中央演算装置２３、揮発性メモリ２４、不揮発性メモリ２５から構成される。マイクロホンアレイ２１は、複数のマイクロホン素子３１−１、３１−２、…、３１−Ｍ（以下、複数個のマイクロホン素子すべてを示す場合はマイクロホン素子３１とする）を配置してなる。マイクロホン素子３１の配置は、図２の設置例に限らず適宜選択可能である。マイクロホンアレイ２１のマイクロホン素子３１は空間の音、ここでは車室内の音を受信し、マイクロホンアレイ２１は受信したアナログ音を多チャンネルＡ／Ｄ変換機２２に送る。例えばハンズフリー装置を考えると、マイクロホン素子３１の取得すべき目的音は図２に示す運転席に座る運転手の発話となるが、車室内であると、マイクロホン素子３１は、走行中のエンジン音や外部環境からの雑音、同乗者の発話、また、それらの音すべての反響や残響などのさまざまな音を一緒に集音することとなる。

多チャンネルＡ／Ｄ変換機２２は、マイクロホンアレイ２１から受信したアナログ音波形をデジタル音波形に変換し、中央演算装置２３に送信する。中央演算装置２３は、マイクロプロセッサなどの演算処理装置であり、不揮発性メモリ２４に記憶された雑音抑制処理などのプログラムを実行する。不揮発性メモリ２４はＲＯＭ（Read Only Memory）などの記憶装置であり、後記する各処理を行うプログラムやマイクロホン素子３１の配置、その配置から求める係数や定数といった雑音抑制処理に必要な数値データ等を記憶する。揮発性メモリ２５はＲＡＭ（Random Access Memory）などの記憶装置であり、中央演算装置２３によって不揮発性メモリ２４から読み出された処理プログラムは揮発性メモリ２５に展開され、実行される。また、揮発性メモリ２５はプログラム実行中のワークメモリとして使われる。

図３は、中央演算装置２３における機能ブロック構成を示す図である。図３に示すように、多チャンネルＡ／Ｄ変換機２２は波形取り込み部３０１を有し、中央演算装置２３は、遅延バッファ部３０２、独立成分分析部３０３、音源定位部３０４、ステアリングベクトル生成部３０５、話者音（目的音）同定部３０６、位相差検出部３０８、中心値更新処理部３０９、フィルタ適応部３１０、フィルタリング部３１１といった機能ブロックを有してなる。図３中の矢印は、各機能ブロック間の係わりと動作の方向性を示す。

多チャンネルＡ／Ｄ変換機２２の波形取り込み部３０１は、デジタル音圧データＸ_ｍ(ｔ)を取得し、中央演算装置２３に送信する。デジタル音圧データＸ_ｍ(ｔ)はｍ番目のマイクロホン素子３１のｔサンプル目のデジタル音圧データを示し、各マイクロホン素子３１で受信された複数の音源からの音が混在するデータである。
中央演算装置２３の遅延バッファ部３０２は、送信されるデジタル音圧データＸ_ｍ(ｔ)を所定の時間分だけ蓄積する。所定の時間とは例えば数秒であり、遅延バッファ部３０２は、時間分のデジタル音圧データＸ_ｍ(ｔ)が蓄積すると、そのデータを独立成分分析部３０３に送信する。

独立成分分析部３０３は、後記する独立成分分析処理を行い、複数の音源からの音が混在するデジタル音圧データＸ_ｍ(ｔ)を音源ごとに分離する。音源定位部３０４は、後記する処理によりそれぞれの音源の存在する方向を推定する。話者音(目的音)同定部３０６は複数の音源から目的音である音源の方向を推定する。ステアリングベクトル生成部３０５は、独立成分分析処理で求められた雑音抑制処理のためのフィルタの逆行列を求める。位相差検出部３０８は、目的音同定部３０６により推定された目的音の音源と各マイクロホン素子３１との位相差を検出する。中心値更新処理部３０９は、位相差検出部３０８で検出された位相差を用いて雑音抑制処理に使用する中心値ベクトルを更新する。

フィルタ適応部３１０は、後記するように、波形取り込み部３０１から受信したデジタル音圧データＸ_ｍ(ｔ)に対して、周波数ごとに雑音抑制信号処理に使用するフィルタを生成する。フィルタリング部３１１は、フィルタ適応部３１０が生成したフィルタを用いて、雑音抑制音を抽出する。
ここで、フィルタ適応部３１０、フィルタリング部３１１による処理Ａは、波形取り込み部３０１によって取り込まれたデジタル音圧データＸ_ｍ(ｔ)に対してほぼリアルタイムに雑音か目的音かを判定し、目的音を取り出す処理である。
また、遅延バッファ部３０２、独立成分分析部３０３、音源定位部３０４、ステアリングベクトル生成部３０５、話者音（目的音）同定部３０６、位相差検出部３０８、中心値更新処理部３０９による処理Ｂは、車室内の反響や残響等を考慮した目的音の抽出処理であり、遅延バッファ部３０２にデジタル音圧データＸ_ｍ(ｔ)を保持するバッファ長分の時間毎に行われ、中心値が正しく更新された場合に、フィルタ適応部３１０は更新された中心値を考慮したフィルタを用いて雑音抑制処理を行う。

図４は、雑音抑制装置１の処理の時間的な流れの一例を示す図である。
図４において、Ｔ１、Ｔ２、Ｔ３、…は、遅延バッファ部３０２が入力波形であるデジタル音圧データＸ_ｍ（ｔ）を蓄積する時間であり、例えば数秒である。
フィルタ適応部３１０、フィルタリング部３１１による処理Ａは、波形取り込み部３０１によって取り込まれた入力波形に対して、雑音抑制処理が開始された時間Ｔ１から、例えば数十[ｍｓ]といった時間刻みｔ_{ｆｒａｍｅ}ごとに（Ｔ１、Ｔ２、Ｔ３はｔ_{ｆｒａｍｅ}より大きい）、ほぼリアルタイムにフィルタを作成し、雑音抑制処理を行う。

図３に戻り、遅延バッファ部３０２、独立成分分析部３０３、音源定位部３０４、ステアリングベクトル生成部３０５、話者音（目的音）同定部３０６、位相差検出部３０８、中心値更新処理部３０９による処理Ｂは、遅延バッファ部３０２にデジタル音圧データＸ_ｍ(ｔ)を保持するバッファ長分の時間毎に行われる。例えば、図４に示すように、時間Ｔ１分の入力波形が取り込まれると、独立成分分析部３０３は、時間Ｔ１分の入力波形に対して独立成分分析を行い、音源定位部３０４、ステアリングベクトル生成部３０５、話者音（目的音）同定部３０６、位相差検出部３０８、中心値更新処理部３０９は中心値を更新する。従って、処理Ａにおける雑音抑制フィルタには、過去の音信号に対して処理Ｂによって更新された中心値が考慮され、到来方向が時々刻々と変化する雑音を抑制することが可能である。

次に、雑音抑制装置１の雑音抑制処理について詳細に説明する。
図５は、フィルタ適応部３１０の機能ブロック構成を示す図である。フィルタ適応部３１０は、離散フーリエ変換部４０２、音源方向推定部４０３、目的音適応部４０４、雑音適応部４０５、フィルタ適応部４０６から構成される。離散フーリエ変換部４０２は、波形取り込み部３０１によって取り込まれた入力波形信号の直流成分をカットし、例えば数十[ｍｓ]といった時間刻みｔ_{ｆｒａｍｅ}の窓関数を重畳して、短時間フーリエ変換を実行し、マイクロホン素子３１ごとの時間周波数領域信号Ｘ_ｍ（ｆ，τ）を得る。窓関数としては、ハミング窓、ハニング窓、ブラックマン窓などがある。マイクロホン素子３１ごとの時間周波数領域信号Ｘ_ｍ（f，τ）は（式１）で定義される。

以下に説明する処理は、短時間フーリエ変換を実行するごと、例えば、数十[ｍｓ]といった時間刻みｔ_{ｆｒａｍｅ}ごとに行う。
音源方向推定部４０３は周波数ｆごとに処理を行い、処理Ｂによって求めた中心値ベクトルＣ(f)を用いて目的音が含まれる周波数成分を同定する。中心値ベクトルＣ(f)は、目的音の方向ベクトルであり、中心値更新処理部３０９によって更新された位相差の中心値ａ_ｍ(f)を用いて（式２）で表される。ここで、Ｔは転置行列を示す。位相差の中心値ａ_ｍ(f)の算出方法については、後に詳細に述べる。

音源方向推定部４０３は、（式３）で表されるコスト関数Cost(ｆ，τ)を用いて時間周波数領域信号Ｘ_ｍ（ｆ，τ）が目的音であるか、雑音であるかの判定を行う。

ここで、＊は複素共役を示す。また、Ｔh(f)は、Ｘ_ｍ（ｆ，τ）／｜Ｘ_ｍ（ｆ，τ）｜が、目的音の中心値ベクトルＣ(ｆ)からどれだけ離れていれば雑音とみなすかをコントロールする閾値を示す定数であり、例えば、Ｘ_ｍ（ｆ，τ）が目的音である場合はコスト関数Cost(ｆ，τ)が１より大きい値をとるように決定されるものである。尚、この定数Ｔh(f)は、不揮発性メモリ２４に予め記憶されるものである。

こうして、音源方向推定部４０３は、（式３）を用いて、時間周波数領域信号Ｘ_ｍ（ｆ，τ）を試し、コスト関数Cost(ｆ，τ)が１より大きい値をとれば、時間周波数領域信号Ｘ_ｍ（ｆ，τ）が目的音であり、コスト関数Cost(ｆ，τ)が１以下の値であれば、時間周波数領域信号Ｘ_ｍ（ｆ，τ）が雑音であると判定する。
目的音適応部４０４は、目的音であると判定された時間周波数領域信号Ｘ_ｍ（ｆ，τ）を用いて、（式４）によりステアリングベクトルの推定値ａ(ｆ)を更新する。

また、雑音適応部４０５は、目的音と判断されなかった時間周波数領域信号Ｘ_ｍ（ｆ，τ）を用いて、（式５）を求める。

ここで、（式４）におけるβ、（式５）におけるαは、更新速度を制御する定数であり、α、βが大きいほど更新速度が大きくなる。尚、α、βの定数は不揮発性メモリ２４に予め記憶されるものである。
フィルタ適応部４０６は、（式４）、（式５）で求められた周波数ｆにおけるａ（ｆ）、Ｒn（ｆ）を用いて、周波数ｆごとに雑音抑制フィルタＷ（ｆ）を求める。

このように、フィルタ適応部３１０は雑音抑制フィルタＷ（ｆ）を求めて、フィルタリング部３１１に送信する。
フィルタリング部３１１は、（式７）により（式６）のフィルタＷ（ｆ）を用いて時間周波数領域信号Ｘ_ｍ（ｆ，τ）をフィルタリング処理し、雑音抑制信号ｙ_ｍ（ｆ，τ）を求める。

こうして求められたｙ_ｍ（ｆ，τ）に離散逆フーリエ変換を行うと、時間領域の雑音抑制信号を得ることができる。即ち、目的音を確実に取得することが可能となる。
次に、中心値を更新する処理Ｂについて説明する。
遅延バッファ部３０２に時刻ｔs_{ｌｅｎｇｔｈ}から所定の時間Ｔｎ分の蓄積されたデジタル音圧データＸ_ｍ(ｔ)は、独立成分分析部３０３に送信される。独立成分分析３０３は、デジタル音圧データＸ_ｍ（ｔ）を時間刻みｔ_{ｆｒａｍｅ}ごとに短時間フーリエ変換して時間周波数領域信号Ｘ（ｆ，τ）を求め、周波数ｆごとに図６に示す処理を行う。ここで、τは、τ＝ｔs_{ｌｅｎｇｔｈ}＋ｉ×ｔ_{ｆｒａｍｅ}（ｉ＝１，…，length）とされ、ｉ＝lengthの時のτはτ＝ｔs_{ｌｅｎｇｔｈ}＋Ｔｎとなる。

図６は、独立成分分析部３０３によるフィルタ更新処理の手順を示すフローチャートである。フィルタＷ_icaは、周波数ｆ、時間τにおけるＸ（ｆ，τ）を音源ごとに分離するための音源分離フィルタであり、図６に示す処理は、その時点でフィルタリング部３１１で使用されているフィルタＷをＷ_icaとし、更新する処理である。また、図６に示す処理はある周波数ｆにおける処理であり、独立成分分析部３０３は、図６に示す処理を全周波数に対して実行する。

ステップＳ５０１で、独立成分分析部３０３は、フィルタＷ_icaが十分収束しているかどうかを判定する。この判定は、フィルタの閾値を予め設定し、その閾値に到達したかどうかで判定してもよいし、処理回数の閾値を予め設定し、その処理回数に到達したら、Ｗ_icaは収束したものとみなして処理を終了してもよい。尚、この場合の閾値あるいは処理回数は、予め不揮発性メモリ２４に記憶される。
次に、フィルタＷ_icaが十分収束していない場合（ステップＳ５０１で「Ｎｏ」）、ステップＳ５０２で、独立成分分析部３０３はｉを初期化し、バッファ長時間Ｔｎの開始時のデータから処理を行う。また、ステップＳ５０２で、後記するＲ_ica（ｆ）をゼロにするなどして初期化する。

ステップＳ５０３で、独立成分分析部３０３は、ｉがlength以下であるかどうかを判定する。図４に示す処理は、遅延バッファ部３０２にデジタル音圧データが蓄積された時間分だけ、つまり、τがτ＝ｔs_{ｌｅｎｇｔｈ}＋Ｔｎになるまで行われる。そこで、ｉがlength以下である場合、即ち、ｔs_{ｌｅｎｇｔｈ}≦τ≦ｔs_{ｌｅｎｇｔｈ}＋Ｔｎである場合（ステップＳ５０３で「Ｙｅｓ」）、独立成分分析部３０３は、時間周波数領域信号Ｘ（ｆ，τ）に対して（式８）により現在のフィルタＷ_icaを用いてフィルタリング処理を行い（ステップＳ５０４）、音源分離信号ｙ_ica（ｆ，τ）を得る。

ステップＳ５０５で、独立成分分析部３０３は、ステップＳ５０４で求められたｙ_ica（ｆ，τ）を用いて、（式９）により非線形共分散行列Ｒ_ica（ｆ）を更新する。非線形共分散行列Ｒ_ica（ｆ）の非対角項が「０」に近づくほど、分離した音源が独立になっていることを示し、対角項は各音源の大きさに相当する。

ここで、関数φ（ｘ）は、音源の確率分布の微分関数に相当する関数であり、（式１０）として定義する。

次に、ステップＳ５０６で、独立成分分析３０３は、ｉに１を加算し、次のτ＝ｔs_{ｌｅｎｇｔｈ}＋ｉ×ｔ_{ｆｒａｍｅ}について、ステップＳ５０３からステップＳ５０６の処理を繰り返し行う。こうして、共分散行列Ｒ_ica（ｆ）は少しずつ更新していく。

ステップＳ５０３においてｉ＞lengthとなり（ステップＳ５０３で「Ｎｏ」）、バッファ長の時間分Ｔｎだけの処理が終了すると、ステップＳ５０７で、独立成分分析部３０３は、（式１１）によりフィルタＷ_ica（ｆ）を更新する。つまり、フィルタＷ_ica（ｆ）は遅延バッファ部３０２に蓄積された１つのデータに対して１回更新されることになる。

ここで、ηはフィルタＷ_icaを更新する速度を制御するための定数であり、大きいほどフィルタＷ_icaの収束速度は上がるが、フィルタＷ_icaが発散する可能性も高くなる。
ステップＳ５０７が終了したら、ステップＳ５０１に戻り、Ｗ_icaの収束判定を行う。
更新されたＷ_icaを用いて（式８）で求められた音源ごとの音源分離信号ｙ_ica（ｆ，τ）は音源定位部３０４に送られる。音源分離信号ｙ_ica（ｆ，τ）は、各音源の時間τ、周波数ｆの分離信号を要素に持つベクトルである。

音源定位部３０４は、音源分離信号ｙ_ica（ｆ，τ）から音源方向を推定する。
図７は、音源定位部による音源方向の推定処理の手順を示すフローチャートである。
ステップＳ６０１で、音源定位部３０４は、周波数ｆを初期化して０［Ｈｚ］として処理を開始する。以下に述べる処理は、周波数範囲０≦ｆ≦ｆ_maxの周波数ｆについて行われる。ステップＳ６０２で、周波数ｆがｆ_max以下であるかどうかの判定を行い、周波数ｆがｆ_maxを超えた場合（ステップＳ６０２で「Ｎｏ」）は処理を終了する。

ステップＳ６０２で「Ｙｅｓ」の場合、ステップＳ６０３で、音源定位部３０４は音源方向の各変数の初期化を行う。ここで、θはθ_min≦θ≦θ_maxの範囲内で、マイクロホンアレイ２１に対する音源の方向を表す角度の変数であり、ステップＳ６０３ではθ＝θ_minとする。図８は、目的音の音源の存在範囲を説明するための図である。図８に示すように、目的音である音源は、マイクロホンアレイ２１から見てθ_minからθ_maxの間に存在するとし、θ_min≦θ≦θ_maxの範囲内のθについて以下に述べる処理を行う。また、θactive（ｆ）は求めるべき目的音の音源方向の角度を示し、ステップＳ６０３ではθactive（ｆ）＝θ_minとする。Ｖ_maxは後記する関数を示し、ステップＳ６０３では、Ｖ_max＝０とする。

図７に戻り、ステップＳ６０４において、音源定位部３０４はθがθ_max以下であるかどうかを判定し、θ≦θ_maxである場合（ステップＳ６０４で「Ｙｅｓ」）、ステップＳ６０５で内積Ｖを計算する。内積Ｖは（式１２）で求められる。
Ｖ ＝ ｜Ａ_ｆ(θ)・Ｚ（ｆ）｜ ・・（式１２）
ここで、Ａ_ｆ(θ)は音源方向θに存在する周波数ｆの音がマイクロホン素子３１のそれぞれに到達するまでの位相の遅延量を要素に持つベクトルであり、（式１３）によって定義される。

ここで、本実施の形態では、１番目のマイクロホン素子３１−１を基準とし、ｍ番目のマイクロホン素子３１−ｍに到達する位相の遅延量Ｔ_ｍ,f（θ）を（式１４）で定義する。

ここで、ｔ_ｍ（θ）は音源方向θの音がｍ番目のマイクロホン素子３１−ｍに到達するまでの時間を示す。
また、マイクロホン素子３１が直線上に配置され、音源がマイクロホン素子３１間の距離に比べて十分大きい場合は、位相の遅延量Ｔ_m,f（θ）は（式１５）として近似することが可能となる。

ここで、d_ｍはマイクロホン素子３１−１とマイクロホン素子３１−ｍ（ｍ＝２，…，Ｍ）との距離を示す。また、ｃは音速であり、常温でほぼ３４０［ｍ／ｓ］である。
Ｔ_m,f（θ）は、マイクロホン素子３１の配置による幾何学計算よって求められる。マイクロホン素子３１の配置は不揮発性メモリ２４に記憶される。
また、（式１２）において、Ｚ（ｆ）はステアリングベクトルである。ｉ番目の音源のステアリングベクトルＺ（ｆ）は、図６に示す処理で求められたフィルタＷ_ica（ｆ）の逆行列Ｗ_ica ^−１（ｆ）の第ｉ列に相当する。

こうして、音源定位部３０４は、（式１２）により内積Ｖを求め、ステップＳ６０６では、求めた内積ＶとＶ_maxとを比較する。内積ＶがＶ_max以上である場合（ステップＳ６０６で「Ｙｅｓ」）、音源定位部３０４は、ステップＳ６０７において、Ｖ_max＝Ｖ、θactive（ｆ）＝θとする。ステップＳ６０７が終了した場合も、ステップＳ６０６で内積ＶがＶ_maxより小さい場合も、音源定位部３０４は、θをθ＝θ＋Δθとして（Δθは本処理における角度変数の刻みであり、適宜決められる）、ステップＳ６０４に戻り、ステップＳ６０４からステップＳ６０７の処理を繰り返す。ステップＳ６０７において内積Ｖが大きいということは、現在調べているθに関して音源方向θのステアリングベクトルＡｆ（θ）と図５に示す独立成分分析処理で更新したフィルタＷ_ica（ｆ）の逆行列から求めたステアリングベクトルＺ（ｆ）とが近いということである。このようにして求められた、内積Ｖが最も大きいθが、周波数ｆにおける目的音の音源方向θactiveと推定される。

周波数ｆにおいてのすべてのθ（θ_min≦θ≦θ_max）でステップＳ６０４からステップＳ６０７の処理が行われると（ステップＳ６０４で「Ｎｏ」）、音源定位部３０４は、ステップＳ６０２に戻り、次の周波数ｆ＝ｆ＋Δｆ（Δｆは本処理における周波数の刻みであり、適宜決められる）において、ステップＳ６０２以降の処理を行う。こうして、音源定位部３０４は、周波数ｆ（０≦ｆ≦ｆ_max）においての音源方向θactiveを求める。

音源定位部３０４によって推定された音源ごと、周波数ごとに求めた目的音の音源方向θactiveは話者音（目的音）同定部３０６に送られる。話者音（目的音）同定部３０６は、周波数成分ごとに求められたθactiveの頻度を算出し、最も頻度の多い方向を目的音の音源方向θtargetとする。図９は、話者音同定の処理を説明するための図である。話者音（目的音）同定部３０６は、例えば、周波数成分ごとに求められたθactiveの頻度を算出し、図９に示すヒストグラム（横軸は方向θ、縦軸は頻度を示す）を求め、最も頻度の多い方向θを音源方向の推定値θtargetとする。

ステアリングベクトル生成部３０５は、独立成分分析部３０３が各音源ごとに求めたフィルタＷ_ica（ｆ）から音源のステアリングベクトルを周波数ごとに抽出する。位相差検出部３０８は、ステアリングベクトル生成部３０５によって抽出された、話者音（目的音）同定部３０６によって目的音と判定された音源方向θtargetのステアリングベクトルｙ_s（ｆ）からマイク間位相差σ_m（ｆ）を抽出する。目的音と推定されたステアリングベクトルをｙ_s（ｆ）とすると、１番目のマイクロホン素子３１−１を基準としたときのｍ番目のマイクロホン素子３１−ｍのマイク間位相差σ_ｍ（ｔ）は（式１６）によって表される。

位相差検出部３０８によって求められたマイク間位相差σ_ｍ（ｔ）（（式１６））を用いて、中心値更新処理部３０９は、中心値ａ_ｍ（ｆ）を（式１７）に従って更新する。

ここで、λは更新速度を制御するための定数であり、λが小さいほど、更新速度が早いことになる。
こうして求めた中心値ａ_ｍ（ｆ）を（式２）に適用し、中心値ベクトルＣ（ｆ）を求める。前記の処理に従って、フィルタリング部３１１は中心値が更新された雑音抑制音ｙ（ｆ，τ）を（式７）により求め、雑音抑制音ｙ（ｆ，τ）を離散逆フーリエ変換することによって、時間領域の雑音抑制信号を得る。
本実施の形態では、マイクロホン素子３１が音を受信し、遅延バッファ部３０２に取り込まれると、前記のように、フィルタＷ_icaはバッファ長ごとに更新され、更新されたフィルタＷ_icaを用いて音源を分離し、目的音の音源方向を推定し、中心値を更新し、その更新した中心値を用いて雑音抑制信号を求める。雑音の到来方向が次々変化した場合であっても、目的音と雑音を考慮し、時間に追随して更新されたフィルタＷ_icaを用いて音源分離を行い、目的音の音源方向を推定し、目的音の雑音抑制信号を得ることが可能である。

尚、本実施の形態では、雑音抑制信号を求める際に、更新した中心値を反映するかどうかを判定する。
図１０は、中心値更新処理部３０９によって行われる判定処理の流れを示すフローチャートである。ステップＳ８０１では、話者音（目的音）と同定されるステアリングベクトルｙ_s（ｆ）、即ち、これは独立成分分析部３０３で求められたＷ_icaの逆行列のｓ列目の音源成分であるｙ_s（ｆ）であるが、その音源成分を逆短時間フーリエ変換することによって求めたＹ_s（ｔ）を使って、目的音のパワーＰ_s（ｔ）を推定する。ここで、パワーＰ_s（ｔ）は（式１８）で定義される。

Ｐ_s（ｔ）＝Σ_s|Ｙ_s（ｔ）｜^２・・（式１８）
ここで、Σ_sは目的音と判定された信号に対して和を取るものとする。
同様に、ステップＳ８０２における話者音同定の結果、雑音と判定された成分のパワーＰ_n（ｔ）を推定する。これは、（式１９）で定義される。
Ｐ_n（ｔ）＝Σ_n|Ｙ_n（ｔ）|^２・・（式１９）
Ｙ_n(t)は独立成分分析で分離して取り出したｎ番目の時間領域の雑音信号とする。またΣ_nは雑音と判定された信号に対して和を取るものとする。

ステップＳ８０３では、目的音パワーＰ_s（ｔ）と雑音パワーＰ_n（ｔ）の時間相関ＣＯＲpを計算する。ＣＯＲpは（式２０）で定義される。
ＣＯＲp= Ｅ[(Ｐ_s(t)-Ｅ[Ｐ_s(t)])(Ｐ_n(t)-Ｅ[Ｐ_n(t)]]・・（式２０）
ここで、Ｅ[・]は期待値計算を行うオペレータとする。

ステップＳ８０４では、計算したＣＯＲpが予め定める閾値以上であるかどうかを判定する。閾値以上である場合は、独立成分分析により目的音と雑音の分離が十分できていないと考えられる。このような場合、独立成分分析の結果から算出した目的音のマイク間位相差σ_ｍ（ｆ）（（式１６））は雑音の影響を大きく受けていると考えられる。従って、このような場合は抽出したマイク間位相差σ_ｍ（ｆ）を中心値ベクトルＣ（ｆ）に反映せずに、処理を終了する。逆に、計算したＣＯＲpが予め定める閾値以下の場合（ステップＳ８０４で「Ｎｏ」）は、目的音と雑音の分離が十分行われていると考えられるため、ステップＳ８０５において前記のような中心値更新処理（（式１６）、（式１７））を行う。尚、時間相関ＣＯＲpの閾値は、不揮発性メモリ２４に予め記憶される。

以上説明したように、雑音抑制装置１では、独立成分分析による音源定位を利用し、車室内の反響、残響等を考慮した雑音抑制音を得ることが可能となる。
図１１は、雑音抑制装置１により算出した目的音の推定値と実測値とを示す図である。図１５に示す理論値と比べてもわかるように、雑音抑制装置１による目的音の推定値は実測値によく一致していることがわかる。従って、本雑音抑制装置１を用いれば、取得した音が目的音であるか、雑音であるかの判定は、マイクロホン素子の配置から求めた位相差の理論値を基準とした判定の場合よりも高い精度で行うことができる。

図１２は、目的音に残留した雑音信号波形の比較の一例を示す図である。図１２（ａ）に示す信号波形は、本実施の形態である雑音抑制装置１により取得された目的音の残留雑音信号波形であり、図１２（ｂ）に示す信号波形は従来の雑音抑制方式により取得した目的音の残留雑音信号波形である。これにより、雑音抑制装置１を用いて取得した目的音の残留雑音は、従来の雑音抑制方式の残留雑音に比べて小さくなっていることがわかる。即ち、本実施の形態である雑音抑制装置１により精度の高い目的音が取得できることがわかる。
尚、以上説明した本実施の形態の（式３）で定義したコスト関数を、（式２１）で定義される別のコスト関数Ｃｏｓｔ２_ｍ(ｆ，τ)を用いてもよい。

ここで、Ｘ（ｆ，τ）のマイクロホン素子３１−ｍとマイクロホン素子３１−１との間の位相差σ_ｍ（ｆ，τ）と中心値ａ（ｆ）のｍ番目のマイクロホン素子の成分の位相差との差をＴh２_ｍ(f)で正規化したコスト関数Ｃｏｓｔ２_ｍ（ｆ,τ）が全てのｍに対して１より小さければ目的音成分と同定するような構成を取っても良い。Ｔh２_ｍ(f)は目的話者範囲内で、Ｃｏｓｔ２_ｍ(f,τ)が１より小さい値をとるように事前に調整するものである。
また、定数Ｔh２_ｍ(f)は、（式２２）で定義するようにΔθ＝|θ_max-θ_min|から決めてもよい。

尚、この定数Ｔh２_ｍ(f)は、不揮発性メモリ２４に予め記憶されるものである。

次に、雑音抑制装置１の応用例について述べる。雑音抑制装置１の適用環境は図２に示す場合と同様である。
図１３は、目的音の中心値ベクトルＣ（ｆ）を非運転中に決定する雑音抑制処理の流れを示すフローチャートである。
ステップＳ９０１で、車内設置スピーカ（図示せず）から「発話してください」などといった発話促進ガイダンスが行われ、目的音の音源、例えば運転手などの発話を促す。
ステップＳ９０２で、多チャンネルＡ／Ｄ変換機２２は、マイクロホンアレイ２１が受信した音声（発話）のアナログ音波形をデジタル音波形に変換し、中央演算装置２３に送信する。

ステップＳ９０３で、独立成分分析部３０３は前記の独立成分分析処理を行い、複数の音源（最大個数Ｍの音源）からの音が混在するデジタル音波形を音源ごとに分離する。
ステップＳ９０４で、音源のインデックスを示すｉと音源ごとのパワー最大値Ｐ_maxを「０」とし、初期化する。
ステップＳ９０５で、インデックスｉが音源の最大個数Ｍ以下であるかどうかを判定する（ソース判定）。

インデックスｉがＭ以下である場合（ステップＳ９０５で「Ｙｅｓ」）、ステップＳ９０６で、音源定位部３０４は音源ｉの音源定位を行う。これは、音源ｉの音源方向を求めることであり、ステップＳ９０３の独立成分分析で求めたフィルタＷ_icaの逆行列のｉ列目が音源方向を示すベクトルとなる。
ステップＳ９０７で、音源定位部３０４は、求めた音源方向が予め設定する目的音方向であるかどうかを判定する。ステップＳ９０７で、求めた音源方向が予め設定する目的音方向でない場合、ステップＳ９０５のソース判定処理に戻る。

ステップＳ９０７で、求めた音源方向が予め設定する目的音方向であった場合、ステップＳ９０８ではその音源のパワーＰ_ｉを求める。ここで、パワーＰ_ｉは（式１８）で示されるように、独立成分分析で求めたフィルタＷ_icaの逆行列のｉ列目の成分を逆フーリエ変換した成分の平均２乗で計算される。
ステップＳ９１０で、計算されたパワーＰ_ｉがパワー最大値Ｐ_maxより大きいかどうかを判定し、大きい場合（ステップＳ９１０で「Ｙｅｓ」）は、ステップＳ９１１でｉ_max＝ｉ、Ｐ_max＝Ｐ_ｉとして、パワーが最大となる音源インデックスｉ_maxとパワー最大値Ｐ_maxを更新する。ステップＳ９１０で「Ｎｏ」のときは、ステップＳ９０５のソース判定に戻る。

こうして、音源のインデックスｉがＭより大きくなるまでステップＳ９０５〜ステップＳ９１１の処理を繰り返し、音源のインデックスｉがＭより大きくなった場合（ステップＳ９０５で「Ｎｏ」）、ステップＳ９０９でパワーＰ_ｉが最も大きい音源ｉ_maxを目的音の音源として判定し、その方向を中心値ベクトルＣ（ｆ）として設定し、処理を終了する。
図１３に示す処理では、目的音方向にいくつかの音源があるとされた場合、パワーＰ_ｉを計算し、パワーが最大となる音源が最も目的音の音源に近いと判定するものである。

以上、添付図面を参照しながら、本発明に係る雑音抑制装置の好適な実施形態について説明したが、本発明はかかる例に限定されない。ここでは、車室内での雑音抑制装置の適用を例に説明したが、音の反響や残響の影響の多いその他の環境においても同様に適用可能であり、同様な効果を得ることができる。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

このように、本発明によれば、車室内やホールなどといった残響や反響の影響の大きい空間において、目的音を精度よく取得可能である。また、走行中の車など雑音の到来方向が次々変化する環境において、雑音を抑制し、目的音を取得することが可能である。

１………雑音抑制装置
２１………マイクロホンアレイ
２２………多チャンネルＡ／Ｄ変換機
２３………中央演算装置
２４………不揮発性メモリ
２５………揮発性メモリ
３１、３１−１、３１−２、…、３１−Ｍ………マイクロホン素子
３０１………波形取り込み部
３０２………遅延バッファ部
３０３………独立成分分析部
３０４………音源定位部
３０５………ステアリングベクトル生成部
３０６………話者音（目的音）同定部
３０８………位相差検出部
３０９………中心値更新処理部
３１０………フィルタ適応部
３１１………フィルタリング部

Claims (12)

1. 音を受信する複数の音声受信手段と、
   前記音声受信手段によって受信された音から目的音を分離する音源分離手段と、
   前記音源分離手段によって分離された目的音の音源方向を推定する音源方向推定手段と、
   前記音源方向推定手段によって推定された音源の方向に基づき、前記複数の音声受信手段によって受信された音の位相差を検出する位相差検出手段と、
   前記位相差検出手段により検出された前記位相差の中心値を算出する中心値算出処理手段と、
   前記中心値算出処理手段で算出された中心値を用いて雑音を抑制する雑音抑制フィルタ特性を設定するフィルタ作成手段と、
   前記フィルタ作成手段によって特性が設定された前記雑音抑制フィルタを用いて、前記目的音の雑音抑制処理を行う雑音抑制処理手段と、
   を有することを特徴とする雑音抑制装置。
2. 前記音源分離手段は、
   前記受信された音を周波数変換することにより得られる周波数領域信号を生成する周波数領域信号生成手段と、
   前記雑音抑制フィルタと前記周波数領域信号とから算出される音源分離信号を生成する音源分離信号生成手段と、
   前記音源分離信号を用いて共分散行列を生成する共分散行列生成手段と、
   を有し、
   前記生成された共分散行列を用いて前記目的音の音源を分離することを特徴とする請求項１に記載の雑音抑制装置。
3. 前記音源方向推定手段は、
   前記音源分離手段によって分離された前記目的音のステアリングベクトルを算出するステアリングベクトル算出手段と、
   前記位相差検出手段によって取得された前記位相差を遅延量の大きさとして持つ前記音声受信手段間のベクトルを算出する受信手段間ベクトル算出手段と、
   前記ステアリングベクトルと前記音声受信手段間のベクトルとの内積を算出する内積算出手段と、
   を有し、
   前記内積を大きさに持つ目的音の中心値ベクトルを用いて、前記目的音の音源方向を推定することを特徴とする請求項１に記載の雑音抑制装置。
4. 前記中心値算出処理手段は、
   前記音源のパワーを推定するパワー推定手段と、
   前記パワー推定手段により、目的音とそれ以外の音のパワーを推定し、その時間相関を求める時間相関検出手段と、
   前記時間相関検出手段によって求められた前記時間相関が所定値以上である場合に、前記位相差の中心値を更新する中心値更新手段と、
   を有することを特徴とする請求項１に記載の雑音抑制装置。
5. 複数の音声受信手段によって音を受信する音声受信ステップと、
   前記音声受信手段によって受信された音から目的音を分離する音源分離ステップと、
   前記分離された目的音の音源方向を推定する音源方向推定ステップと、
   前記推定された音源方向に基づき、前記複数の音声受信手段によって受信された音の位相差を検出する位相差検出ステップと、
   前記検出された位相差の中心値を算出する中心値算出ステップと、
   前記算出された中心値を用いて雑音を抑制する雑音抑制フィルタ特性を設定するフィルタ作成ステップと、
   前記フィルタ作成ステップにおいて特性が設定された前記雑音抑制フィルタを用いて、前記目的音の雑音抑制処理を行う雑音抑制ステップと、
   を有することを特徴とする雑音抑制方法。
6. 前記音源分離ステップは、
   前記受信された音を周波数変換することにより得られる周波数領域信号を生成する周波数領域信号生成ステップと、
   前記雑音抑制フィルタと前記周波数領域信号とから算出される音源分離信号を生成する音源分離信号生成ステップと、
   前記音源分離信号を用いて共分散行列を生成する共分散行列生成ステップと、
   を有し、
   前記生成された共分散行列を用いて前記目的音の音源を分離することを特徴とする請求項５に記載の雑音抑制方法。
7. 前記音源方向推定ステップは、
   前記音源分離ステップによって分離された前記目的音のステアリングベクトルを算出するステアリングベクトル算出ステップと、
   前記位相差検出ステップによって取得された前記位相差を遅延量の大きさとして持つ前記音声受信手段間のベクトルを算出する受信手段間ベクトル算出ステップと、
   前記ステアリングベクトルと前記音声受信手段間のベクトルとの内積を算出する内積算出ステップと、
   を有し、
   前記内積を大きさに持つ目的音の中心値ベクトルを用いて、前記目的音の音源方向を推定することを特徴とする請求項５に記載の雑音抑制方法。
8. 前記中心値算出ステップは、
   前記音源のパワーを推定するパワー推定ステップと、
   前記パワー推定ステップにおいて目的音とそれ以外の音のパワーを推定し、その時間相関を求める時間相関検出ステップと、
   前記時間相関検出ステップにおいて求められた前記時間相関が所定値以上である場合に、前記位相差の中心値を更新する中心値更新ステップと、
   を有することを特徴とする請求項５に記載の雑音抑制方法。
9. コンピュータを、
   音を受信する複数の音声受信手段と、
   前記音声受信手段によって受信された音から目的音を分離する音源分離手段と、
   前記音源分離手段によって分離された目的音の音源方向を推定する音源方向推定手段と、
   前記音源方向推定手段によって推定された音源の方向に基づき、前記複数の音声受信手段によって受信された音の位相差を検出する位相差検出手段と、
   前記位相差検出手段により検出された前記位相差の中心値を算出する中心値算出処理手段と、
   前記中心値算出処理手段で算出された中心値を用いて雑音を抑制する雑音抑制フィルタ特性を設定するフィルタ作成手段と、
   前記フィルタ作成手段によって特性が設定された前記雑音抑制フィルタを用いて、前記目的音の雑音抑制処理を行う雑音抑制処理手段と、
   して動作させることを特徴とするプログラム。
10. 前記音源分離手段は、
    前記受信された音を周波数変換することにより得られる周波数領域信号を生成する周波数領域信号生成手段と、
    前記雑音抑制フィルタと前記周波数領域信号とから算出される音源分離信号を生成する音源分離信号生成手段と、
    前記音源分離信号を用いて共分散行列を生成する共分散行列生成手段と、
    を有し、
    前記生成された共分散行列を用いて前記目的音の音源を分離することを特徴とする請求項９に記載のプログラム。
11. 前記音源方向推定手段は、
    前記音源分離手段によって分離された前記目的音のステアリングベクトルを算出するステアリングベクトル算出手段と、
    前記位相差検出手段によって取得された前記位相差を遅延量の大きさとして持つ前記音声受信手段間のベクトルを算出する受信手段間ベクトル算出手段と、
    前記ステアリングベクトルと前記音声受信手段間のベクトルとの内積を算出する内積算出手段と、
    を有し、
    前記内積を大きさに持つ目的音の中心値ベクトルを用いて、前記目的音の音源方向を推定することを特徴とする請求項９に記載のプログラム。
12. 前記中心値算出処理手段は、
    前記音源のパワーを推定するパワー推定手段と、
    前記パワー推定手段により、目的音とそれ以外の音のパワーを推定し、その時間相関を求める時間相関検出手段と、
    前記時間相関検出手段によって求められた前記時間相関が所定値以上である場合に、前記位相差の中心値を更新する中心値更新手段と、
    を有することを特徴とする請求項９に記載のプログラム。

Images