JP2004334218A - マイクロホンアレイ方法及びシステム、並びにこれを用いた音声認識方法及び装置 - Google Patents

Abstract

【課題】 室内環境のように反響が存在する環境で音声認識を高めるためのマイクロホンアレイ方法及びシステムと、これを用いた音声認識方法及び装置を提供する。
【解決手段】 サウンド信号を入力されるためにマイクロホンアレイを用いる入力部１０１と、入力された信号を周波数成分別に分離する離散フーリエ変換部１０２と、前記アレイをサブアレイの集合と見なしてサブアレイの広域空間共分散行列を求め、これらの平均を求める平均空間共分散行列推定部１０４と、推定された共分散行列を通じて信号源の位置を決定する広域ＭＵＳＩＣ部１０５と、推定された共分散行列を用いて信号の歪曲を補正する広域ＭＶ部１０６と、周波数領域の信号を時間領域に復元する逆離散フーリエ変換部１０７と、を含むように、マイクロホンアレイシステムを構成する。
【選択図】図２

Description

本発明はマイクロホンアレイ方法及びシステムに係り、より詳細にはマイクロホンアレイに入力される信号のうちから目的信号を効率よく受信するためのマイクロホンアレイ方法及びシステムに関する。また、本発明は前記マイクロホンアレイ方法及びシステムで用いられるMUSICアルゴリズム演算量を減らす方法に関する。
また、本発明は前記マイクロホンアレイ方法及びシステムを用いた音声認識方法及び音声認識装置に関する。

マルチメディア技術の発展とさらに便利な生活を追求する人間の欲求によって、ＴＶ、ＤＶＤをはじめとする家電製品を音声で制御しようとする研究が新たに浮び上がっている。このように便利なＨＭＩ(Human-Machine Interface)のためにはユーザの音声を受け入れる音声入力モジュール及びそれを認識する音声認識モジュールが必要である。

実際の環境でＨＭＩのための音声インターフェースを構成する場合、話者の音声だけでなく音楽、ＴＶ、背景雑音などの干渉信号も存在する。このような実際の生活環境でＨＭＩのための音声インターフェースを構成しようとすれば、周辺の雑音や干渉に関係なく高品質の音声信号を取得できる音声入力モジュールが必要である。

マイクロホンアレイ方法は、空間的に所望の信号方向に対して多くの利得を与え、そうでない方向に対しては少ない利得を与える空間フィルタリングを通じて高品質の音声信号の取得を可能にする。音声認識では、このようなマイクロホンアレイ方法を用いて高品質の音声信号を取得することによって、音声認識の性能を高めようとする研究が活発に進行しつつある。しかし、アレイ信号処理技術の基本仮定である狭域条件に比べて広い帯域幅を有する音声信号を用いなければならない問題と室内環境での反響などにより発生する問題によって実際の適用には難点が多い。

これを解決するためにGriffthsとJimらがＧＳＣ(Generalized Sidelobe Canceller)に基づく適応マイクロホンアレイ法を提案した。適応マイクロホンアレイ法の場合、比較的簡単な構造を持ち、かつ高いＳＩＮＲ(Signal to Interface and Noise Ratio)利得を得られる長所を有している。しかし、入射角推定誤差に対する影響と室内環境での反響により性能低下が発生するために推定誤差と反響とに強靭な適応アルゴリズムの開発を必要としている。

また、Caponらが提案したＭＶＤＲ(Minimum Variance Distortionless Response)を広域信号を対象として拡張した広域ＭＶ方法がある。広域ＭＶ方法は、信号の自己相関行列を構成する方法によってＭＶ方法とＭＬ(Maximum Likelihood)方法とに区分され、各方法でも自己相関行列を構成する多様な方法が提案されている。このような広域ＭＶに基づいたマイクロホンアレイはAsano、Ward、Friedlanderらにより提案された。

次いで、従来の技術によるマイクロホンアレイ方法について説明する。まず、Ｍ個のセンサーを有しているマイクロホンアレイにＤ個の信号源がθ=[θ₁、θ₂，．．．，θ_d]の方向から入射される場合にθ₁が目的信号の方向であり、残りは干渉信号の方向であると仮定する。アレイに受信されたデータを離散フーリエ変換した後、各周波数成分別に集めたベクトルを次の数式（３）のように表現して信号をモデリングする。この際、前記ベクトルを以下では周波数ビンと表する。

また、ａ_k（θ_d）は、次のように表現しうる。

広域信号の入射角推定には、アレイ入力信号を離散フーリエ変換した後、各周波数成分毎にＭＵＳＩＣ(Multiple Signal Classification)アルゴリズムを適用し、関心のある周波数帯域で平均を取る方法が使われる。k番目の周波数成分に対する類似空間スペクトルは次のように定義される。

この際、各信号源の入射角と一致すれば、指向ベクトルと雑音副空間とは直交するという性質により分母が0になるので、類似空間スペクトルは無限大のピーク値を有し、これに対応する角度が入射方向となる。

この際、平均化された類似空間スペクトルは次のように求められる。

広域ＭＶアルゴリズムは広域信号である音声を離散フーリエ変換した後、各周波数成分毎に狭域ＭＶアルゴリズムを適用する。その加重値ベクトルを求めるための最適化問題は各周波数別に異なる線形制限条件を有するビーム形成方法から誘導される。

ここで、空間共分散行列Ｒ_kは次の通りである。

ラグランジュマルチプライヤ(Lagrange Multiplier)を用いて数式（８）を解けば加重値ベクトルは次の通りである。

このような広域ＭＶは数式（９）でＲ_kを推定する方法によって２つに区分される。目的信号と雑音とが同時に存在する区間で加重値を求める方法をＭＶビーム形成方法と称し、雑音だけが存在する区間で加重値を求める方法をＳＩＮＲビーム形成方法またはＭＬ(Maximum Likelihood)方法と称する。

図１は、従来に提案されたマイクロホンアレイシステムを示す。従来のマイクロホンアレイシステムは前述した入射角推定方法と広域ビーム形成方法とを統合した。図１のマイクロホンアレイシステムは、複数のマイクロホンで構成された入力部１に入力されたサウンド信号を離散フーリエ変換部２で複数の狭域信号に分解した後、雑音と音声区間とを区分する音声信号検出器３を用いて空間共分散行列推定部４でそれぞれの狭域信号に対する空間共分散行列を推定する。推定された空間共分散行列は、広域ＭＵＳＩＣモジュール５で固有値分解を通じて雑音副空間に該当する固有ベクトルを求めた後、数式（６）を用いて平均類似空間スペクトルを計算して目的信号の方向情報を得る。それから広域ＭＶモジュール６で数式（９）を用いて各周波数成分に該当する加重値ベクトルを求め、これを各周波数成分に掛け合わせる。逆離散フーリエ変換部７は補正された各周波数成分をサウンド信号に復元する。

このような従来のシステムは干渉信号だけが存在する区間で空間共分散行列を推定する場合には安定した動作を示す。しかし、もし目的信号が存在する区間で空間共分散行列を求めれば、干渉信号だけでなく目的信号まで除去してしまう問題が発生する。このような現象が発生することは目的信号が直接経路だけでなく反響による多重経路を通じて伝送されるからである。すなわち、目的信号の方向以外の方向に伝送された目的信号は何れも干渉信号と見なされて相関度のある目的信号まで除去されてしまう。

前述したように反響による影響をあまり受けずに目的信号を効率よく入力されうる方法やシステムが必要である。

また、広域ＭＵＳＩＣモジュール５ではそれぞれの周波数ビンに対してＭＵＳＩＣアルゴリズムの演算が行われるが、前記演算はシステム動作において多くの負荷として作用するところ、ＭＵＳＩＣアルゴリズムの演算量を減らす方法が必要となった。

本発明は前記必要性のために案出されたものであって、本発明は反響環境に強靭なマイクロホンアレイ方法及びシステムを提供することをその技術的課題とする。

また、提供されたマイクロホンアレイ方法及びシステムを用いて反響環境に強靭な音声認識方法及び装置を提供することを他の技術的課題とする。

また、周波数ビンの数を減少させることによって音声の方向を認識するために使われるＭＵＳＩＣアルゴリズムの演算量を減らす方法を提供することをさらに他の技術的課題とする。

前記目的を達成するために本発明に係るマイクロホンアレイシステムは、サウンド信号を入力されるために複数のマイクロホンを用いる入力部と、前記入力部に入力された各サウンド信号を狭域の信号に分離する周波数分離部と、前記入力部の複数のマイクロホンを仮想のサブアレイの結合と仮定して各サブアレイ別に空間共分散行列を求め、これらを平均して平均空間共分散行列を算出する空間平滑法を用いて、前記周波数分離部を通じて分離されたサウンド信号の各周波数成分に対する空間共分散行列を求める平均空間共分散行列推定部と、空間平滑法を通じて求められた平均共分散行列を通じて前記サウンド信号の入射角を決定する信号位置決定部と、前記信号源位置決定部を通じて得たサウンド信号の入射角に基づいて前記サウンド信号の各周波数成分に掛け合わせる加重値を求め、これを掛け合わせる信号歪曲補正部、及び補正された各周波数成分を用いてサウンド信号を復元する信号復元部を含む。一方、本発明によるマイクロホンアレイシステムの前記周波数分離部は離散フーリエ変換を用いて周波数を分離し、前記信号復元部は逆離散フーリエ変換を通じてサウンド信号を復元するように具現しうる。

前記他の目的を達成するために本発明による音声認識装置は、前記具現されたマイクロホンアレイシステムと、前記マイクロホンアレイシステムで入力されたサウンド信号の特徴を抽出する特徴抽出部、前記抽出された特徴と比較されるパターンを保存している基準パターン保存部、前記基準パターン保存部のパターンと前記抽出された特徴とを比較する比較部、及び前記比較された結果で音声認識如何を判定する決定部を含む。

このためのマイクロホンアレイ方法は、複数のマイクロホンで構成されたアレイから広域のサウンド信号を入力される段階、入力された信号を複数の狭域に分離する段階、前記アレイを複数のマイクロホンで構成されたサブアレイの集合と仮定してサブアレイ別に前記分離された帯域別に所定の方式で空間共分散行列を求め、これを各帯域別に平均して帯域別に平均空間共分散行列を求める段階、前記平均空間共分散行列で前記サウンド信号の入射角を所定の公式で求める段階、前記求められた入射角に基づいて前記狭域に分離された信号に掛け合わせる加重値を計算し、これを前記狭域に分離された信号に掛け合わせる段階、及び前記加重値を掛け合わせた狭域信号を広域信号に復元する段階を含む。本発明によるマイクロホンアレイ方法は、前記入力された信号を狭域に分離する段階は離散フーリエ変換により、前記加重値を掛け合わせた狭域信号を広域信号に復元する段階は逆離散フーリエ変換により具現しうる。

また、音声認識方法は、前記マイクロホンアレイ方法により入力された信号の特徴を抽出する段階、前記抽出された特徴と基準パターンとを比較する段階、及び前記特徴と基準パターンとを比較した結果で音声認識如何を決定する段階を含む。

本発明によれば、室内環境のように反響が存在する所でも広域の目的信号が除去される現象を減少させることによって、目的信号を最大限生かせる。また、本発明による音声認識装置は、このような目的信号除去現象を減少させるマイクロホンアレイを用いることによって高い音声認識率を達成しうる。また、本発明によって広域MUSICアルゴリズムの演算量を減らすことによってマイクロホンアレイシステムの性能向上を図れる。

以下、添付図面に基づいて本発明に係る望ましい実施形態を詳細に説明する。
図２は、本発明の一実施形態によって具現されたマイクロホンアレイシステムのブロック図である。

マイクロホンアレイシステムは、サブアレイを含むＭ個のマイクロホンを用いる入力部１０１からサウンド信号を入力される。この際、Ｍ個のマイクロホンアレイはＬ個のマイクロホンで構成された仮想のサブアレイよりなるものと仮定するが、サブアレイを構成する方法については図４を通じて詳述する。Ｍ個のマイクロホンを通じて入力されたＭ個のサウンド信号は、狭域周波数信号に分離されるように、周波数分離部たる離散フーリエ変換部１０２に入力される。本発明の望ましい実施形態においては離散フーリエ変換を通じて音声のような広域のサウンド信号をＮ個の狭域の周波数成分に分離するが、これに限定されるものではない。離散フーリエ変換部１０２を通じて各サウンド信号はＮ個の周波数成分に分けられる。平均空間共分散行列推定部１０４は、Ｍ個のサウンド信号を所定の数よりなるサブアレイを基準として空間共分散行列を求め、これを平均して各周波数成分に対するＮ個の平均空間共分散行列を求める。これについては図５を通じて詳述する。推定された空間共分散行列を用いて信号源の位置を決定するための信号源位置検索部たる広域ＭＵＳＩＣ部１０５が、信号源の位置を計算し、この結果に基づいて信号歪曲補正部たる広域ＭＶ部１０６は各周波数成分に掛け合わせる加重値行列を求め、これを通じて雑音と目的信号との反響による歪曲を補正する。補正されたＮ個の周波数成分は信号復元部たる逆離散フーリエ変換部１０７によりサウンド信号に復元される。

図３は、本発明の一実施形態によって具現されたマイクロホンアレイシステム(信号歪曲補正モジュール)と音声認識モジュールとを含む音声認識装置を示す。
音声認識モジュールについて説明すれば次の通りである。まず、特徴抽出部２０１は逆離散フーリエ変換部１０７を通じて受けたデジタルサウンド信号に基づいて信号源の特徴を抽出する。抽出された特徴ベクトルはパターン比較部２０２に入力され、パターン比較部２０２はこれと類似したサウンドを探すためのパターンが保存されている基準パターン保存部２０３に保存されているパターンと特徴ベクトルとを比較する。両者を比較してマッチングされる程度の最も大きいパターン(相関度の最も大きいパターン)の相関度(マッチング点数)を決定部２０４に送る。決定部２０４はマッチング点数が一定程度以上であれば該当サウンド情報に該当する情報を決定する。

図４は、空間平滑法(Spatial Smoothing、以下"ＳＳ"と称する。)の概念を説明するための図面である。全体アレイが幾つかのサブアレイで構成されたものと仮定して各副配列センサー出力の空間共分散行列に対して平均を取ることによって、新しい空間共分散行列を作る前処理方法である。この時に作られた空間共分散行列は全体アレイにより現れる指向行列と同じ特性を有する新しい指向行列と相関関係が除去された新しい信号源よりなる。Ｍ個のセンサーで構成された等間隔アレイマイクロホンの数がＬ個であるｐ個のサブアレイを次のように定義する。

i番目サブアレイ入力ベクトルは、

と与えられ、Ｄ^(i-1)は、

であり、
τ（θ_d）はd番目信号源のセンサー間遅延時間を意味する。

また、Ｂは全体等間隔線形アレイのＭ次元指向ベクトルより減ったＬ次元サブアレイ指向ベクトルよりなる指向行列であって、次式で表される。

各サブアレイで空間共分散行列を求め、平均化を取れば次の通りである。

この際、ｐ≧Ｄであれば、

のrankはＤとなる。

のrankがＤになれば、信号副空間次元がＤとなるので残りの固有ベクトルと直交され、結果的に干渉信号の方向に ナル(null)を形成する。もし、Ｋ個のコヒーレントな信号を分離するためには、信号源数より１つ以上多いセンサー数より構成されたサブアレイセンサーがＫ個あるべきなので、少なくとも全体アレイセンサーの数は２Ｋ以上にならねばならない。

図５は、本発明により拡張された広域ＳＳを説明するためのブロック図である。本発明では実際環境で発生する反響の問題を解決するために前述したＳＳを広域信号源に適用可能に拡張した。このために広域に入力される信号を望ましくは離散フーリエ変換によって狭域信号に分離した後、各狭域信号毎にＳＳを適用した。次のように、p個のサブアレイマイクロホンを定義すれば、k番目の周波数成分での１次元サブアレイマイクロホンの入力信号は次のように定義しうる。

各サブアレイマイクロホンで空間共分散行列を求め、その平均を取れば次のようである。

と、数式（５）、数式（６）、及び数式（９）とを用いて目的信号源の入射角推定とビーム形成とが可能である。本発明は

を目的信号源の入射角推定とビーム形成方法に用いることによって反響環境で現れる性能低下を防止しうる。

図６は、本発明の一実施形態によって反響による歪曲を補正するアレイ方法を示すフローチャートである。

まず、Ｍ個のマイクロホンアレイからサウンド信号を入力される(Ｓ１）。入力されたＭ個のサウンド信号に対してＮポイント離散フーリエ変換を行う(Ｓ２)。離散フーリエ変換を通じて広域のサウンド信号の周波数を狭域のＮ個の周波数成分に分ける。次いで、狭域の各周波数成分に対して空間共分散行列を求める。空間共分散行列を求める時、Ｍ個の信号全部を対象として計算せず、Ｌ個のマイクロホンで構成された仮想サブアレイ各々に対してｔ周波数成分別に空間共分散行列を求め(Ｓ３)、各サブアレイから求められた空間共分散行列の平均を周波数成分別に求める(Ｓ４)。平均空間共分散行列が求められれば、これに基づいて目的信号源の位置(信号源の入射角度)を検索する(Ｓ５)。目的信号源の位置は、望ましくはＭＵＳＩＣ法を用いる。信号源の位置(入射角)を探せば、これに基づいて信号源の各周波数成分に対して信号歪曲を補正するための加重値を計算し、これを掛け合わせる(Ｓ６)。信号源に加重値を与える望ましい方法は広域ＭＶ法である。加重値が与えられた信号源の各周波数成分を合わせて本来のサウンド信号に復元する(Ｓ７）。望ましい復元方法は逆離散フーリエ変換を用いる。

図７は、本発明の一実施形態に係る音声を認識する方法を示すフローチャートである。図６で説明した過程を通じて反響による信号歪曲を補正したサウンド信号、例えば人の音声を入力される(Ｓ１０)。入力されたサウンド信号に対してその特徴点を抽出して特徴ベクトルを生成する(Ｓ１１)。生成された特徴ベクトルを保存されている基準パターンと比較する(Ｓ１２)。比較された両者の相関度が一定の基準を超えればその結果を出力し、そうでなければ新しいサウンド入力を有する(Ｓ１３)。

図８は、マイクロホンアレイを実験した室内環境を示す。大体仮定で数ｍ²規模の大きさでＴＶのような家電機器と壁面とが存在し、複数の人が有り得る。このような物体や壁面または人々によってサウンド信号はマイクロホンアレイに直接伝達される以外に、反射されて伝達されることもある。図９は、実際に具現したマイクロホンアレイ構造を示す。本発明のための実験では９個のマイクロホンを用いてアレイシステムを構築した。本発明で提案したサウンド信号に適した空間平滑法はマイクロホン数によって性能が変化する。サブアレイのマイクロホン数が減少すれば、サブアレイの数が増加して目的信号除去現象が減るが、分解能の減少によって干渉信号の除去性能が低下する。適切な数のマイクロホンでサブアレイを構成せねばならない。表１は、９個のマイクロホンアレイシステムでサブアレイのマイクロホン数に係るＳＩＮＲと音声認識率とを実験した結果である。

表１の結果に基づいてサブアレイの最適のマイクロホン数を６つに決定した。図１０（Ａ）は既存の方法による基準信号に対する出力信号を示す波形図であり、図１０（Ｂ）は本発明による基準信号に対する出力信号を示す波形図である。

各々（ａ）は基準信号であり、（ｂ）は最初のマイクロホンに入力された信号であり、（ｃ）は最終の出力信号である。図面から確認できるように、本発明を用いて目的信号減衰現象が克服可能なのを確認できる。

従来の技術による音声認識率と本発明による音声認識率とを比較するために多様な雑音環境で実験した平均音声認識率は次の通りである。

従来の技術は音声信号検出器の性能により全体システムの性能が左右される一方、本発明は空間平滑法を適用して目的信号の存在有無に関係なく安定した性能を保証しうる。

一方、本発明の場合、前記図２で示した広域ＭＵＳＩＣ部１０５では全ての周波数ビンに対してＭＵＳＩＣアルゴリズム演算が行われるが、これは前述したように音声信号の方向を認識するシステムにおいては相当なシステム負荷として作用する。すなわち、マイクロホンアレイを構成するマイクロホンの数がＭ個である場合、狭域ＭＵＳＩＣアルゴリズムの大部分の演算量はＭ＊Ｍとも分散行列から雑音副領域を探すために行う固有値分解で求められるが、この際、演算量はマイク数の３乗に比例し、Ｎポイント−離散フーリエ変換を行う場合、広域ＭＵＳＩＣアルゴリズム演算量はO(Ｍ³)＊Ｎ_FFT／２のように示しうる。したがって、全体的なシステム性能の向上のために広域ＭＵＳＩＣアルゴリズム演算量を減らす方法が必要となった。

図１１は、本発明の実施によってＭＵＳＩＣアルゴリズムの計算量を減らすためのマイクロホンアレイシステムのブロック図を示す例示図である。
一般に、広域ＭＵＳＩＣ部１０５で行われるＭＵＳＩＣアルゴリズムは前述したように全ての周波数ビンに対して演算を行うので、ＭＵＳＩＣアルゴリズムを用いる音声認識システムの計算に手間がたくさんかかる問題点がある。したがって、本発明では多数のマイクロホンで構成されるマイクロホンアレイから信号を受信した後、所定の基準によって受信した信号のうち音声信号が存在する可能性が高い周波数ビンを選択し、広域ＭＵＳＩＣ部１０５をして前記選択された周波数ビンに対してのみＭＵＳＩＣアルゴリズム演算を行わせる周波数ビン選択部１１１０を前記図１１で示したように信号歪曲補正モジュールに追加することによって、ＭＵＳＩＣアルゴリズムの演算減少によるシステムの性能向上を図れる。また、共分散行列生成部１１２０は、前記図２で示した広域ＳＳ法を用いた空間共分散行列推定部１０４でもよいし、共分散行列を生成する他の形態の論理ブロックである場合も有り得る。この際、離散フーリエ変換部１０２では高速フーリエ変換も可能である。

一方、広域ＭＵＳＩＣ部１０５を構成する論理的ブロック図を図１２で具体的に例示している。前記図１２で示しているように、広域ＭＵＳＩＣ部１０５にある共分散行列選択部１２１０は前記周波数ビン選択部１１１０により選択された周波数ビンに該当する共分散行列だけを選択する。したがって、例えば、Ｎ_FFTポイント−離散フーリエ変換をする場合、Ｎ_FFT／２個の周波数ビンが形成されうる。この際、共分散行列選択部１２１０で形成されたＮ_FFT／２個の周波数ビン全部に対してＭＵＳＩＣアルゴリズム演算が行われるものではなく、周波数ビン選択部１１１０により選択されたＬ個の周波数ビンに対してのみＭＵＳＩＣアルゴリズム演算が行われるものである。したがって、ＭＵＳＩＣアルゴリズム演算量が従来のO(Ｍ³)＊Ｎ_FFT／２からO(Ｍ³)＊Ｌに減少する。一方、それぞれのＭＵＳＩＣアルゴリズム演算結果は、スペクトル平均過程１２３０を経た後、ピーク値検出部１２４０で音声信号の方向値を得る。この際、前記スペクトル平均及びピーク値検出演算は従来のＭＵＳＩＣアルゴリズム方法を用いられる。

図１３は、本発明の一実施形態にかかる周波数ビン選択部をさらに具体的に示した論理的ブロック図である。特に、図１３では直接周波数ビンの数を選択することでなく、選択されたチャンネル数により間接的に周波数ビンの数が決定される方法を示している。この際、前記‘チャンネル'の意味については後述する図１３の動作過程を説明しつつ定義する。

Ｍ個のマイクロホンで構成されるマイクロホンアレイから受信した信号を合わせた後(１３１０)、従来の公示技術を用いた音声信号検出器(Voice Activity Detector、以下‘ＶＡＤ'と称する)１３２０から音声信号が検出されれば、前記ＶＡＤ１３２０はそれぞれのチャンネル別に音声信号が存在する確率を出力値として提供する。この際、前記’チャンネル'とは、一定数の周波数ビンを束ねた束単位をいう。すなわち、音声が高周波へ行くほどパワーが減少する傾向があるために音声信号の処理をそれぞれの周波数ビンごとに行わず、チャンネル単位で行うことである。したがって、高周波へ行くほど１つのチャンネルを構成する周波数ビンの数は多くなる。

図１４では、本発明の実施において前記ＶＡＤ１３２０で使われるチャンネルと周波数ビンとの関係を示すが、横軸は周波数ビンを、縦軸はチャンネルを示している。この際、本発明の実施では１２８ポイント−離散フーリエ変換を行ったので、周波数ビンの数は６４個となる。しかし、実際には６２個の周波数ビンが使われるが、これは最初の周波数ビンは直流成分の信号であり、２番目の周波数ビンは非常に低い低周波成分であるために、２つの周波数ビンを除いたものである。

前記図１４に示したように、高周波成分の信号であるほど幾つかの周波数ビンが１つのチャンネルを形成することが分かる。例えば、６番目のチャンネルには２つの周波数ビンが属しているが、１６番目のチャンネルには８つの周波数ビンが属している。

一方、本発明ではチャンネルの数を１６個としたので、前記ＶＡＤ１３２０は全て１６個のチャンネル別に音声が存在する確率を出力する。次いで、チャンネル選択部１３３０は１６個の確率値を整列して確率が高い上位Ｋ個のチャンネルだけを選択してチャンネル−ビンコンバータ１３４０に伝達し、前記チャンネル−ビンコンバータ１３４０は前記選択されたＫ個のチャンネルを周波数ビンに転換し、転換された周波数ビンにのみ前記図１２で示した広域ＭＵＳＩＣ部１０５にある共分散行列選択部１２１０で選択される。

例えば、図１４に示した５番目のチャンネルと１０番目のチャンネルで音声が存在する確率が最も高いと仮定すれば、チャンネル選択部で音声存在の確率の高い上位２つのチャンネルだけを選択させる場合(すなわち、Ｋ＝２)、全て６個の周波数ビンに対してのみＭＵＳＩＣアルゴリズム演算が行われる。

図１５では、１．３３ｄＢ程度のファン雑音が存在する時、前記図１３に示したＶＡＤ１３２０で演算されたそれぞれのチャンネルに対する平均音声存在確率分布を示している。この際、Ｋ＝６とすれば、チャンネル選択部１３３０では前記図１５に示したように、２ないし６番目のチャンネルと、１２、１３番目のチャンネルを選択する。

前記図１５の右側上段にあるグラフは経時的な信号の大きさを示したものであって、サンプリング周波数を８ｋＨｚとして測定した信号を１６ビットサンプリング値の大きさに示している。また、前記図１５の右側下段にあるグラフはスペクトログラムを示したものであって、前記図１４を参照すれば、前記選択された６個のチャンネルに属する周波数ビンに該当する部分はスペクトログラム上で四角形部分に該当し、雑音より音声が多く存在する部分であることが分かる。

図１６は、本発明の一実施形態にかかる周波数ビン選択部をさらに具体的に示した論理的ブロック図であって、前記図１３で示す論理的ブロック図とは違って直接周波数ビンの数を選択する方法を示している。

前記図１４に示したように、それぞれのチャンネルには相異なる数の周波数ビンが属しているために音声が存在する確率の高い上位Ｋ個のチャンネルを選択しても、ＭＵＳＩＣアルゴリズム演算を行う周波数ビンの数は変わる。したがって、ＭＵＳＩＣアルゴリズム演算を行う周波数ビンの数を一定に保つための方法が必要であり、前記図１６ではこれを示している。

すなわち、周波数ビン数決定部１６１０でＬ個の周波数ビンを選択するように決定されれば、チャンネル選択部１６２０では音声が存在する確率の高い順に整列されたチャンネルでＬ番目の周波数ビンが属するＫ番目のチャンネルを決定する。この際、(Ｋ−１)番目のチャンネルまでは第１チャンネル-ビンコンバータ１６３０でＭ個の周波数ビンに変換され、広域ＭＵＳＩＣ部１０５にある共分散行列選択部１２１０で変換されたＭ個の周波数ビンが選択される。

一方、Ｌ番目の周波数ビンが属するＫ番目のチャンネルでは(Ｌ−Ｍ)個の周波数ビンが選択されるべきであるが、選択する方法としてＫ番目のチャンネル内で周波数ビンのパワーの高い順に(Ｌ−Ｍ)個の周波数ビンを選択する方法が用いられる。すなわち、第２チャンネル−ビンコンバータ１６５０でＫ番目のチャンネルを周波数ビンに変換し、残余ビン選択部１６５０では前記変換された周波数ビンのうちパワーの高い順に(Ｌ−Ｍ)個の周波数ビンを選択することによって、広域ＭＵＳＩＣ部１０５にある共分散行列選択部１２１０が変換された(Ｌ−Ｍ)個の周波数ビンを選択してＭＵＳＩＣアルゴリズム演算を行わせる。この際、パワー測定部１６６０はＶＡＤ１３２０に入力される信号に対してそれぞれの周波数ビン別にパワーを測定した後、測定結果を残余ビン選択部１６５０に伝達することによって残余ビン選択部１６５０が(Ｌ−Ｍ)個の周波数ビンを選択可能にする。

図１７は、本発明の実施による実験環境を示す例示図であって、音声スピーカ１７１０と雑音スピーカ１７２０、及び信号処理するロボット１７３０で構成される。この際、前記音声スピーカ１７１０と前記雑音スピーカ１７２０とは、前記ロボット１７３０を基準に90°方向に位置する。雑音はファン雑音を利用し、信号対雑音比(Signal to Noise Ratio、以下‘ＳＮＲ'と称する)は１２．５４ｄＢ、５．８８ｄＢ、１．３３ｄＢの３つの場合に分けて実験した。雑音スピーカ１７２０はロボットから４ｍ、２７０°に位置させた。また、前記音声スピーカ１７１０はロボット１７３０から１ｍ、２ｍ、３ｍ、４ｍ、５ｍ離れた場合について逆時計回り方向に０°、４５°、９０°、１３５°、１８０°に移動しつつ測定した。但し、実験環境の制約によって５ｍの場合、４５°と１３５°回転した場合にのみ測定した。

一方、マイクロホンアレイ構造は、図１８に示しているが、マイクロホンはすべて８個を利用し、前記８個のマイクロホンは前記ロボット１７３０の背面に付着させた。

また、本実験では音声の存在確率の高い上位６つのチャンネルを選択するものとしてＭＵＳＩＣアルゴリズム演算を行わせたが、前記図１５に示したように、２ないし６番目のチャンネルと、１２、１３番目のチャンネルとが選択されることによって全て６２個の周波数ビンのうち前記選択されたチャンネルに対する２１個の周波数ビンに対してＭＵＳＩＣアルゴリズム演算が行われた。

前記図１７及び前記図１８のような実験環境で、本発明の実施による音声方向の認識実験を行った結果は次の通りである。この際、従来の方法とは、あらゆる周波数ビンに対してＭＵＳＩＣアルゴリズム演算を行う方法をいう。また、エラーの限界を外れた場合にはアンダーラインで表示した。

(１) ＳＮＲ=１２．５４ｄＢである場合(エラーの限界:±５°)
(Ａ) 従来の方法による実験結果

(Ｂ) 本発明の実施による実験結果(計算量７０．０％減少)

(２) ＳＮＲ=５．８８ｄＢである場合(エラーの限界:±５°)
(Ａ) 従来の方法による実験結果

(Ｂ) 本発明の実施による実験結果(計算量６３．５％減少)

(３) ＳＮＲ=１．３３ｄＢである場合(エラーの限界:±５°)
(Ａ) 従来の方法による実験結果

(Ｂ) 本発明の実施による実験結果

前記（１）ないし（３）の結果を分析してみれば、全体計算量は平均約６６％減少されたと現れるが、これは周波数ビンの数が減少した比率とほぼ同一であると見られる。但し、計算量が減少しただけ音声スピーカ１７１０の方向を示す成功率が多少落ちることがあるが、これを表９で示している。しかし、表９を見れば計算量減少に係る成功率の減少は僅かであることが分かる。

図１９（Ａ）ないし図１９（Ｂ）は本発明の実施によって雑音方向のスペクトルが改善されたことを示す例示図である。この際、前記図１９（Ａ）は、従来の方法によってあらゆる周波数ビンに対してＭＵＳＩＣアルゴリズム演算を行った結果を示すスペクトルであり、前記図１９（Ｂ）は本発明の実施によって選択された周波数ビンに対してＭＵＳＩＣアルゴリズム演算を行った結果を示すスペクトルである。前記図１９（Ａ）に示したようにあらゆる周波数ビンを用いる場合には雑音方向にもスペクトルが大きく現れるが、前記図１９（Ｂ）に示したように本発明の実施によって音声存在確率値に基づいて周波数ビンを選択すれば、雑音方向のスペクトルを多く減らせる。すなわち、チャンネル数を音声存在確率値に基づいて選択することによってＭＵＳＩＣアルゴリズムの演算量を減らす効果以外にもスペクトル改善効果も得られる。

当業者ならば本発明がその技術的思想や必須特徴を変更せずとも他の具体的な形に実施されうるということが理解できるであろう。したがって、前述した実施形態はあらゆる面で例示的なものであり、限定的なものと理解してはならない。本発明の範囲は前述した詳細な説明よりは特許請求の範囲によって現れ、特許請求の範囲の意味及び範囲、そしてその等価概念から導かれるあらゆる変更または変形された形が本発明の範囲に含まれると解釈せねばならない。

本発明によるマイクロホンアレイ方法及びシステム、並びにそれを用いた音声認識方法及び音声認識装置は、ＨＭＩを具現するための全ての製品に適用されうる。

従来のマイクロホンアレイシステムブロック図である。 本発明の一実施形態によって具現されたマイクロホンアレイシステムのブロック図である。 本発明の一実施形態によって具現されたマイクロホンアレイシステムを用いた音声認識装置のブロック図である。 狭域信号に対する空間平滑法の概念を説明するための図面である。 本発明によって広域の信号源にまで拡張された広域ＳＳの概念を説明するための図面である。 本発明の一実施形態に係る反響による歪曲を補正する方法を示すフローチャートである。 本発明の一実施形態に係る音声を認識する方法を示すフローチャートである。 マイクロホンアレイを実験した室内環境を示す例示図である。 実際に具現したマイクロホンアレイを示す例示図である。 （Ａ）は従来の方法による基準信号に対する出力信号を示す波形図であり、（Ｂ）は本発明による基準信号に対する出力信号を示す波形図である。 本発明の実施によってＭＵＳＩＣアルゴリズムの計算量を減らすためのマイクロホンアレイシステムのブロック図を示す例示図である。 本発明の実施による広域ＭＵＳＩＣ部の論理的ブロック図を示す例示図である。 本発明の一実施形態にかかる周波数ビン選択部をさらに具体的に示した論理的ブロック図である。 本発明の実施によるチャンネルと周波数ビンとの関係を示す例示図である。 本発明の実施によるチャンネル別平均音声存在確率分布を示す例示図である。 本発明の一実施形態にかかる周波数ビン選択部をさらに具体的に示した論理的ブロック図である。 本発明の実施による実験環境を示す例示図である。 本発明の実施によるマイクロホンアレイ構造を示す例示図である。 （Ａ）及び（Ｂ）は本発明の実施によって雑音方向のスペクトルが改善されたことを示す例示図である。

符号の説明

１０１ 入力部
１０２ 離散フーリエ変換部
１０４ 平均空間共分散行列推定部
１０５ 広域ＭＵＳＩＣ部
１０６ 広域ＭＶ部
１０７ 逆離散フーリエ変換部

Claims (25)

1. サウンド信号を入力されるために複数のマイクロホンを用いる入力部と、
   前記入力部に入力された各サウンド信号を狭域の信号に分離する周波数分離部と、
   前記入力部の複数のマイクロホンを仮想のサブアレイの結合と仮定して各サブアレイ別に空間共分散行列を求め、これらを平均して平均空間共分散行列を算出する空間平滑法を用いて、前記周波数分離部を通じて分離されたサウンド信号の各周波数成分に対する空間共分散行列を求める平均空間共分散行列推定部と、
   前記空間平滑法を通じて求められた平均空間共分散行列に基づいて前記サウンド信号の入射角を決定する信号源位置決定部と、
   前記信号源位置決定部を通じて得たサウンド信号の入射角に基づいて前記サウンド信号の各周波数成分に掛け合わせる加重値を求め、これを掛け合わせる信号歪曲補正部と、
   補正された各周波数成分を用いてサウンド信号を復元する信号復元部と、を含むことを特徴とするマイクロホンアレイシステム。
2. 前記周波数分離部は離散フーリエ変換を用いて周波数を分離し、前記信号復元部は逆離散フーリエ変換を通じてサウンド信号を復元することを特徴とする請求項１に記載のマイクロホンアレイシステム。
3. 前記空間平滑法は数式（１）によってなされ、この平均空間共分散行列を用いてＭＵＳＩＣ法により信号の入射角θ₁を求めた後、この入射角θ₁を数式（２）に代入して前記入力されたサウンド信号に掛け合わせる加重値を計算することを特徴とする請求項１に記載のマイクロホンアレイシステム。
   

   

   
4. 前記信号源位置決定部は、前記入力部から受信したサウンド信号を前記周波数分離部により分離されたサウンド信号の各周波数成分に分離し、前記分離された周波数成分のうちから所定の基準によって選択された周波数成分に対してのみＭＵＳＩＣアルゴリズム演算を行うことによって前記サウンド信号の入射角を決定することを特徴とする請求項１に記載のマイクロホンアレイシステム。
5. 前記信号源位置決定部は、前記入力部から受信したサウンド信号を前記周波数分離部により分離されたサウンド信号の各周波数成分に分離し、前記分離されたサウンド信号を同じ周波数成分ごとに複数のグループに分けて各グループ別に音声の存在する可能性を測定する音声信号検出部と、
   前記グループのうちから前記可能性が高い順に所定数だけのグループを選択するグループ選択部と、
   前記選択されたグループに属する周波数成分に対してＭＵＳＩＣアルゴリズム演算を行う演算部と、を含むことを特徴とする請求項４に記載のマイクロホンアレイシステム。
6. サウンド信号を入力されるために複数のマイクロホンを用いる入力部、前記入力部に入力された各サウンド信号を狭域の信号に分離する周波数分離部、前記入力部の複数のマイクロホンを仮想のサブアレイの結合と仮定して各サブアレイ別に空間共分散行列を求め、これらを平均して平均空間共分散行列を算出する空間平滑法を用いて、前記周波数分離部を通じて分離されたサウンド信号の各周波数成分に対する空間共分散行列を求める平均空間共分散行列推定部、前記空間平滑法を通じて求められた平均共分散行列に基づいて前記サウンド信号の入射角を決定する信号源位置検索部、前記信号源位置検索部を通じて得たサウンド信号の入射角に基づいて前記サウンド信号の各周波数成分に掛け合わせる加重値を求め、これを掛け合わせる信号歪曲補正部、及び補正された各周波数成分を用いてサウンド信号を復元する信号復元部を含むマイクロホンアレイシステムと、
   前記マイクロホンアレイシステムから入力されたサウンド信号の特徴を抽出する特徴抽出部と、
   前記抽出された特徴と比較されるパターンを保存する基準パターン保存部と、
   前記基準パターン保存部のパターンと前記抽出された特徴とを比較する比較部と、
   前記比較された結果で音声認識の如何を判定する決定部と、を含むことを特徴とする音声認識装置。
7. 前記空間平滑法は数式（１）によってなされ、この平均空間共分散行列を用いてＭＵＳＩＣ法により信号の入射角θ₁を求めた後、この入射角θ₁を数式（２）に代入して前記入力されたサウンド信号に掛け合わせる加重値を計算することを特徴とする請求項６に記載の音声認識装置。
   

   

   
8. 前記信号源位置決定部は前記入力部から受信したサウンド信号を前記周波数分離部により分離されたサウンド信号の各周波数成分に分離し、前記分離された周波数成分のうちから所定の基準によって選択された周波数成分に対してのみＭＵＳＩＣアルゴリズム演算を行うことによって前記サウンド信号の入射角を決定することを特徴とする請求項６に記載の音声認識装置。
9. 前記信号源位置決定部は、
   前記入力部から受信したサウンド信号を前記周波数分離部により分離されたサウンド信号の各周波数成分に分離し、前記分離されたサウンド信号を同じ周波数成分ごとに複数のグループに分けて各グループ別に音声の存在可能性を測定する音声信号検出部と、
   前記グループのうちから前記可能性が高い順に所定数だけのグループを選択するグループ選択部と、
   前記選択されたグループに属する周波数成分に対してＭＵＳＩＣアルゴリズム演算を行う演算部と、を含むことを特徴とする請求項８に記載の音声認識装置。
10. 複数のマイクロホンで構成されたアレイから広域のサウンド信号を入力される第1段階と、
    入力された信号を複数の狭域に分離する第２段階と、
    前記アレイを複数のマイクロホンで構成されたサブアレイの集合と仮定してサブアレイ別に前記分離された帯域別に所定の方式で空間共分散行列を求め、これを各帯域別に平均して帯域別に平均空間共分散行列を求める第３段階と、
    前記平均空間共分散行列で前記サウンド信号の入射角を所定の公式で求める第４段階と、
    前記求められた入射角に基づいて前記狭域に分離された信号に掛け合わせる加重値を計算し、これを前記狭域に分離された信号に掛け合わせる第５段階と、
    前記加重値を掛け合わせた狭域信号から広域信号に復元する第６段階と、を含むことを特徴とするマイクロホンアレイ方法。
11. 前記第２段階は離散フーリエ変換により、第６段階は逆離散フーリエ変換によることを特徴とする請求項１０に記載のマイクロホンアレイ方法。
12. 前記第３段階は平均空間共分散行列を数式（１）により求め、前記第４段階は前記平均空間共分散行列を用いてＭＵＳＩＣ法により信号の入射角θ₁を求め、前記第５段階は前記第３段階で求められた平均空間共分散行列と前記第４段階で求められたθ₁とを数式（２）に代入してｋ番目の周波数成分に対する加重値を求め、これを各周波数成分に掛け合わせることを特徴とする請求項１０に記載のマイクロホンアレイ方法。
    

    

    
13. 前記第４段階は、前記第１段階で受信したサウンド信号を前記第２段階で分離されたサウンド信号の各周波数成分に分離し、前記分離された周波数成分のうちから所定の基準によって選択された周波数成分に対してのみＭＵＳＩＣアルゴリズム演算を行うことによって前記サウンド信号の入射角を決定する段階を含むことを特徴とする請求項１０に記載のマイクロホンアレイ方法。
14. 前記第４段階は前記第１段階で受信したサウンド信号を前記第２段階で分離されたサウンド信号の各周波数成分に分離する段階、前記分離された各周波数成分を複数のグループに分けて各グループ別に音声の存在可能性を測定する段階、前記可能性の高い順に所定数だけのグループを選択する段階、前記選択されたグループに属する周波数成分に対してＭＵＳＩＣアルゴリズム演算を行う段階を含むことを特徴とする請求項１３に記載のマイクロホンアレイ方法。
15. 複数のマイクロホンで構成されたアレイから広域のサウンド信号を入力される第１段階と、
    入力された信号を複数の狭域に分離する第２段階と、
    前記アレイを複数のマイクロホンで構成されたサブアレイの集合と仮定してサブアレイ別に前記分離された帯域別に所定の方式で空間共分散行列を求め、これを各帯域別に平均して帯域別に平均空間共分散行列を求める第３段階と、
    前記平均空間共分散行列で前記サウンド信号の入射角を所定の公式で求める第４段階と、
    前記求められた入射角に基づいて前記狭域に分離された信号に掛け合わせる加重値を計算し、これを前記狭域に分離された信号に掛け合わせる第５段階と、
    前記加重値を掛け合わせた狭域信号から広域信号に復元する第６段階と、
    前記復元された広域信号の特徴を抽出する第７段階と、
    前記抽出された特徴と基準パターンとを比較する第８段階と、
    前記特徴と基準パターンとを比較した結果で音声認識如何を決定する第９段階と、を含むことを特徴とする音声認識方法。
16. 前記第２段階は離散フーリエ変換により、第６段階は逆離散フーリエ変換によることを特徴とする請求項１５に記載の音声認識方法
17. 前記第３段階は平均空間共分散行列を数式（１）により求め、前記第４段階は前記平均空間共分散行列を用いてＭＵＳＩＣ法により信号の入射角θ₁を求め、前記第５段階は前記第３段階で求められた平均空間共分散行列と前記第４段階で求められたθ₁とを数式（２）に代入してｋ番目の周波数成分に対する加重値を求め、これを各周波数成分に掛け合わせることを特徴とする請求項１５に記載の音声認識方法。
    

    

    
18. 前記第４段階は、前記第１段階で受信したサウンド信号を前記第２段階で分離されたサウンド信号の各周波数成分に分離し、前記分離された周波数成分のうちから所定の基準によって選択された周波数成分に対してのみＭＵＳＩＣアルゴリズム演算を行うことによって前記サウンド信号の入射角を決定する段階を含むことを特徴とする請求項１５に記載の音声認識方法。
19. 前記第４段階は、前記第１段階で受信したサウンド信号を前記第２段階で分離されたサウンド信号の各周波数成分に分離する段階、前記分離されたサウンド信号を同じ周波数成分ごとに複数のグループに分けて各グループ別に音声の存在する可能性を測定する段階、前記可能性の高い順に所定数だけのグループを選択する段階、前記選択されたグループに属する周波数成分に対してＭＵＳＩＣアルゴリズム演算を行う段階を含む請求項１８に記載の音声認識方法。
20. サウンド信号を入力される複数のマイクロホンを含む信号入力部と、
    前記信号入力部に入力されたサウンド信号を狭域の信号に分離する周波数分離部と、
    前記周波数分離部により分離されたサウンド信号の各周波数成分のうちから所定の基準によって選択された周波数成分に対してＭＵＳＩＣアルゴリズム演算を行う信号処理部と、
    前記信号処理部の処理結果を用いて音声信号の方向を検出する方向検出部と、を含むことを特徴とする音声認識装置。
21. 前記周波数分離部は離散フーリエ変換を用いて周波数を分離することを特徴とする請求項２０に記載の音声認識装置。
22. 前記信号処理部は、前記信号入力部から受信したサウンド信号を前記周波数分離部により分離されたサウンド信号の各周波数成分に分離し、前記分離された各周波数成分を複数のグループに分けて各グループ別に音声の存在可能性を測定する音声信号検出部と、
    前記グループのうちから前記可能性の高い順に所定数だけのグループを選択するグループ選択部と、
    前記選択されたグループに属する周波数成分に対してＭＵＳＩＣアルゴリズム演算を行う演算部と、を含むことを特徴とする請求項２０に記載の音声認識装置。
23. 複数のマイクロホンからサウンド信号を受信する（ａ）段階と、
    前記受信したサウンド信号を狭域の信号に分離する（ｂ）段階と、
    前記分離されたサウンド信号の各周波数成分のうちから所定の基準によって選択された周波数成分に対してＭＵＳＩＣアルゴリズム演算を行う（ｃ）段階と、
    前記（ｃ）段階の演算結果を用いて音声信号の方向を検出する（ｄ）段階と、を含むことを特徴とする音声認識装置。
24. 前記（ｂ）段階は離散フーリエ変換を用いて周波数を分離する段階であることを特徴とする請求項２３に記載の音声認識方法。
25. 前記（ｃ）段階は、前記（ａ）段階から受信したサウンド信号を前記（ｂ）段階により分離されたサウンド信号の各周波数成分に分離し、前記分離されたサウンド信号を同じ周波数成分ごとに複数のグループに分けて各グループ別に音声の存在する可能性を測定する段階と、
    前記グループのうちから前記可能性の高い順に所定数だけのグループを選択する段階と、
    前記選択されたグループに属する周波数成分に対してＭＵＳＩＣアルゴリズム演算を行う段階と、を含むことを特徴とする請求項２３に記載の音声認識方法。
    
    

Images