JP2005249816A - 信号強調装置、方法及びプログラム、並びに音声認識装置、方法及びプログラム - Google Patents

Abstract

【課題】雑音区間が存在しない突発性雑音や、未知の突発性雑音に対しても有効な音声強調技術を提供する。
【解決手段】目的信号及び雑音信号を含む入力信号から、所定の参照信号をスペクトル減算により差し引くスペクトル減算手段１３ａ，１３ｂ，１５と、参照信号に対して適用される適応フィルタ１４と、入力信号における雑音信号の成分を減少させるべく、適応フィルタのフィルタ係数を制御する係数制御手段とを備えた信号強調装置において、目的信号についての所定の特徴量を所定の統計モデルで表した信号モデルのデータベース１６を設け、スペクトル減算手段の出力信号に対する前記信号モデルの尤度に基づいて前記フィルタ係数の制御を行うようにする。
【選択図】図１

Description

本発明は、雑音信号が重畳された目的信号から雑音信号に類似する参照信号をスペクトル減算により差し引くとともに、参照信号に適用される適応フィルタのフィルタ係数を制御して雑音信号を抑圧することにより、目的信号を強調するようにした信号強調装置、方法及びプログラム、並びに音声認識装置、方法及びプログラムに関する。

従来、マイクロホンを経て入力される音声信号から雑音成分を除去する技術として、複数のマイクロホン及び適応フィルタを用いた適応マイクロホンアレーによる信号処理技術が知られている。主な適応マイクロホンアレーとしては、従来、グリフィス−ジム（Griffiths-Jim）形アレー（非特許文献１参照）や、適応形雑音抑圧マイクロホンアレー（ＡＭＮＯＲ；非特許文献２参照）等が知られている。いずれの場合においても、適応フィルタの設計には、観測信号における雑音区間での信号が用いられる。また、グリフィス−ジム形アレーを周波数領域において実現し、音声及び雑音の各区間における検出精度を改善したものも知られている（非特許文献３参照）。

このような適応マイクロホンアレー処理においては、一般に、使用するマイクロホンの数を増やすことにより、雑音抑圧性能を高めることができる。一方、パソコン等の情報端末機器などにおいては、コストやハードウェア上の制約により、音声入力に使用できるマイクロホンの数は制限される。上述の非特許文献３の技術によれば、２チャンネルのマイクロホンアレーを用い、スペクトルサブトラクションにより、雑音に頑健な適応マイクロホンアレー処理を実現することができる。

図８は２チャンネルのビームフォーマによる従来の音声強調システムを示すブロック図である。このシステムは、音波信号を電気信号に変換するための２つのマイクロホン８１ａ及び８１ｂ、マイクロホン８１ａ及び８１ｂからの入力信号を加算する加算器８２ａ、マイクロホン８１ａからの入力信号に対し、マイクロホン８１ｂからの入力信号を反転して加算する加算器８２ｂ、加算器８２ａ及び８２ｂの出力信号に対し、それぞれ所定のフレーム長及びフレーム周期で高速フーリエ変換を施す高速フーリエ変換器８３ａ及び８３ｂ、高速フーリエ変換器８３ｂの出力側に設けられた適応フィルタ８４、並びに、高速フーリエ変換器８３ａの出力信号に対し、適応フィルタ８４の出力信号を反転して加算する加算器８５を有する。

強調の対象となる目的音声を発する目的音声源１ｓが各マイクロホン８１ａ及び８１ｂから等距離で、かつ正面方向に位置し、雑音源１ｎが他の方向に位置するとき、時刻ｔにおける各マイクロホン８１ａ及び８１ｂからの入力信号ｍ１（ｔ）及びｍ２（ｔ）は数１式で表すことができる。ただし、ｓ（ｔ）は目的音声に基づく成分である目的音声信号、ｎ（ｔ）及びｎ（ｔ−ｄ）は雑音源１ｎからの雑音に基づく成分である雑音信号、ｄは雑音源１ｎから各マイクロホン８１ａ及び８１ｂまでの距離が異なることに起因する遅延時間である。

このとき、加算器８２ｂにより、入力信号ｍ１（ｔ）に対し、入力信号ｍ２（ｔ）を反転させて加算すると、入力信号ｍ１（ｔ）及びｍ２（ｔ）は相互に逆位相の状態で加算されることになるため、目的音声信号ｓ（ｔ）が相殺され、雑音源１ｎからの雑音と相関のある成分のみが残る。この成分を参照入力ｒ（ｔ）とすると、ｒ（ｔ）は次式で表すことができる。

一方、加算手段８２ａにより入力信号ｍ１（ｔ）及びｍ２（ｔ）を加算して得られる信号を主入力ｐ（ｔ）とすると、主入力ｐ（ｔ）は、次式で表すことができる。

したがって、周波数領域において、加算手段８５により主入力から参照入力を差し引くとともに、参照入力に対して適応フィルタ８４を適用し、そのフィルタ係数を調整することにより、雑音信号が抑圧され、目的音声信号が強調された出力信号Ｙを得ることができる。フレーム番号ｎにおける周波数ωでの出力信号ｙ（ω；ｎ）は、次式により与えられる。

ここで、ｗ（ω）は適応フィルタ８４の周波数ωにおけるフィルタ係数であり、ｐ（ω；ｎ）はフレーム番号ｎにおける周波数ωでの主入力である。ｒ（ω；ｎ）はフレーム番号ｎにおける周波数ωでの参照入力であり、フィルタ係数ｗ（ω）により振幅の調整が行われる。

フィルタ係数ｗ（ω）の調整は、雑音区間における入力信号ｍ１（ｔ）及びｍ２（ｔ）を用い、次式で示される誤差ｅの２乗が最小となるように行われる。なお、雑音区間とは雑音のみに基づく入力信号が発生している時間的区間を意味する。これに対し、目的音声信号ｓ（ｔ）が入力信号に含まれている時間的区間を音声発生区間という。

雑音区間での入力信号を用いるようにしたのは、主入力ｐ（ω；ｎ）に目的音声信号の成分が含まれていると、フィルタ係数の学習が妨げられるからである。このため、完全に目的音声信号に重畳し、音声発生区間においてのみしか存在しない、継続時間の短い突発性雑音に関しては、これを除去するためのフィルタ係数ｗ（ω）を推定するのは困難である。したがって、講演や会議などの書き起しに際しての音声認識や、車内での音声認識等においては、物がぶつかる音、ページをめくる際の紙をさわる音、ドアを閉める音等の突発的な雑音が、認識精度を劣化させる要因の一つとなっている。

これに対し、突発性雑音下での音声認識手法として、音声データの音韻隠れマルコフモデル及び雑音データの隠れマルコフモデルを合成したモデルと、入力音声の特徴量とのマッチングを行い、その結果に基づいて入力音声の認識を行うようにした技術が提案されている（特許文献１参照）。この技術によれば、対象となる突発性雑音の種類は既知のものである必要がある。しかし、実環境下では多くの雑音が存在するため、発生し得る雑音の種類を予測してモデル化しておくことは困難な場合がある。

特開２００３−２８０６８６号公報 L. J. Griffiths and C. W. Jim, "An alternative approach to linearlyconstrained adaptive beamforming," IEEE Trans. AP, Vol. 30, no. 1, pp. 27-34,Jan. 1982 Y. Kaneda and J. Ohga, "Adaptive microphone-array system for noisereduction," IEEE Trans. ASSP, vol. 34, no.6 pp.1391-1400, Dec. 1986 永田・藤岡・安部，「話者方向に基づくＳＳの制御を用いた話者追尾２ｃｈマイクロホンアレーに関する検討」，日本音響学会秋季講演論文集，１９９９年，ｐ．４７７−４７８

上述のように、２チャンネルのマイクロホンアレーを用いた適応マイクロホンアレー処理として有効なものは、グリフィス−ジム形のものである。これによれば、適応フィルタの設計は、雑音区間の入力信号に基づき、雑音成分のパワーが最小となるようにフィルタ係数を決定することによって行われる。しかしながら実際の音声認識への応用場面では、種々の突発性雑音が音声認識の妨害となっている。突発性雑音の場合、雑音区間が存在しないときがある。つまり、突発性雑音の成分を含む入力信号としては、音声発生区間におけるものしか得ることができない場合がある。その場合、雑音区間の信号に基づいてフィルタ係数を決定する従来のグリフィス−ジム形のアレー処理によれば、突発性雑音に対しては対処することができない。

また、上述の、音声及び雑音の双方の隠れマルコフモデルを合成したものと、入力信号の特徴量とのマッチングによる音声認識技術によれば、発生し得る突発性雑音の種類を予測し、予めモデル化しておく必要があるので、未知の突発性雑音に対処することはできない。

本発明の目的は、このような従来技術の問題点に鑑み、雑音区間が存在しない突発性雑音や、未知の突発性雑音に対しても有効な音声強調技術を提供することにある。

上記目的を達成するため、本発明に係る信号強調装置は、目的信号及び雑音信号を含む主入力信号から、所定の参照信号をスペクトル減算により差し引くスペクトル減算手段と、参照信号に対して適用される適応フィルタと、主入力信号における雑音信号の成分を減少させるべく、適応フィルタのフィルタ係数を制御する係数制御手段とを備えた信号強調装置において、目的信号に関する所定の特徴量を所定の統計モデルで表した信号モデルのデータベースを備え、係数制御手段は、スペクトル減算手段の出力信号に対する前記信号モデルの尤度に基づいて適応フィルタのフィルタ係数の制御を行うものであること特徴とする。

また、本発明の信号強調方法は、目的信号及び雑音信号を含む主入力信号から、所定の参照信号をスペクトル減算により差し引いて強調出力信号とするスペクトル減算手順と、参照信号に対して適応フィルタを適用する手順と、前記主入力信号における雑音信号の成分を減少させるべく、適応フィルタのフィルタ係数を制御する係数制御手順とを備えた信号強調方法において、係数制御手順では、目的信号についての、所定の特徴量を所定の統計モデルで表した信号モデルを参照し、前記強調出力信号に対する該信号モデルの尤度に基づいて前記フィルタ係数の制御を行うこと特徴とする。

ここで、目的信号としてはたとえば、発話による音声に基づくものが該当する。雑音信号としてはたとえば、定常的な雑音や突発的な雑音に基づくものが該当する。主入力信号としてはたとえば、マイクロホンを介して入力されるものが該当する。適応フィルタとしては、たとえば、ＦＩＲフィルタを用いたものが該当する。統計モデルとしては、たとえば状態遷移におけるスペクトルパターンの出現確率をガウス分布で表したＨＭＭ（Hidden Markov Model）が該当する。フィルタ係数の制御は、たとえばＥＭ（Expectation Maximization）アルゴリズムを用いて行われる。

この構成において、目的信号の強調が行われる際、適応フィルタを通過した参照信号が主入力信号からスペクトル減算により差し引かれるとともに、スペクトル減算の結果として得られる強調出力信号において雑音信号成分が抑圧されるように適応フィルタのフィルタ係数が制御される。この制御に際し、従来は、主入力信号に目的信号が含まれていない雑音区間における強調出力信号に基づき、その強調出力信号の２乗が最小となるようにフィルタ係数を変更するようにしていたため、主入力信号に目的信号が含まれている目的信号区間において目的信号に対し突発的に重畳される未知の雑音信号を有効に抑圧することはできなかった。これに対し、本発明によれば、強調出力信号に対する信号モデルの尤度に基づいて適応フィルタのフィルタ係数の制御を行うようにしたため、目的信号区間において突発的に発生する未知の雑音に対しても、雑音抑圧効果を発揮することができる。

本発明の好ましい態様においては、音波信号を電気信号に変換する第１及び第２の信号変換手段の各出力信号を、それぞれに含まれる目的信号が同相で加算されるように加算することによって前記主入力信号を取得すとともに、第１及び第２信号変換手段の各出力信号を、それぞれに含まれる目的信号が逆相で加算されるように加算することによって参照信号を取得する。信号変換手段としては、たとえばマイクロホンが該当する。

また、目的信号についての信号モデルが隠れマルコフモデルによるものである場合、強調出力信号に対する信号モデルの尤度を最大化するフィルタ係数をＥＭアルゴリズムによって求め、求めた値によってフィルタ係数を更新することによりフィルタ係数の制御を行うようにしてもよい。この場合、主入力信号及び参照信号を所定のフレーム長及びフレーム周期でフーリエ変換した結果に基づいてスペクトル減算を行うとすれば、所定のフレーム数毎、例えば発話毎に、フィルタ係数の更新を行うことができる。

また、本発明の信号強調装置及び信号強調方法はたとえば、音声認識装置や音声認識方法に適用することができる。その場合、信号強調装置又は信号強調方法により強調された音声信号に基づいて音声認識が行われる。また、信号強調装置及び信号強調方法における各手段や手順はコンピュータを用い、コンピュータプログラムにより実現することができる。

本発明によれば、雑音信号区間では発生せず、目的信号区間においてのみ突発的に発生するような未知の雑音信号に対しても、雑音抑圧効果を発揮することができる。

図１は本発明の一実施形態に係る音声強調装置の構成を示す。この装置は、音波信号をそれぞれ電気信号ｍ１（ｔ）及びｍ２（ｔ）に変換するための２つのマイクロホン１１ａ及び１１ｂ、入力信号ｍ１（ｔ）及びｍ２（ｔ）を加算する加算器１２ａ、入力信号ｍ１（ｔ）に対し入力信号ｍ２（ｔ）を反転して加算する加算器１２ｂ、加算器１２ａ及び１２ｂの出力に対して高速フーリエ変換を施す高速フーリエ変換器１３ａ及び１３ｂ、高速フーリエ変換器１３ｂの出力側に設けられた適応フィルタ１４、高速フーリエ変換器１３ａの出力に対し、適応フィルタ１４の出力を反転して加算する加算器１５、音響モデルλのデータベース１６、並びに、加算器１５の出力及び音響モデルλを参照し、適応フィルタ１４のフィルタ係数を更新するフィルタ係数更新手段１７を備える。

この構成において、入力信号ｍ１（ｔ）及びｍ２（ｔ）には、マイクロホン１１ａ及び１１ｂから等距離に位置する目的音声源１ｓからの発話等の目的音声に基づく成分である目的音声信号、並びに目的音声源とは異なる方向に位置する雑音源１ｎからの突発性雑音や白色雑音に基づく成分である雑音信号が含まれ得る。入力信号ｍ１（ｔ）及びｍ２（ｔ）は加算器１２ａにより加算され、さらに、高速フーリエ変換器１３ａによって所定のフレーム長及びフレーム周期で高速フーリエ変換が施され、スペクトルの時系列に変換される。入力信号ｍ１（ｔ）及びｍ２（ｔ）は、また、加算手段１２ｂによって逆位相で加算され、高速フーリエ変換器１３ｂにより同様にして周波数成分のデータに変換される。

高速フーリエ変換器１３ｂの出力は、適応フィルタ１４によって振幅が調整され、加算器１５に出力される。加算器１５は、上述数４式のように、高速フーリエ変換器１３ａの出力から適応フィルタ１４の出力を減算し、この結果を出力信号Ｙとして出力する。

フィルタ係数更新手段１７は、発話毎に、出力信号Ｙに基づき、出力信号Ｙの音響モデルλに対する尤度が最大となる適応フィルタ１４のフィルタ係数を求め、フィルタ係数の更新を行う。各発話について更新されるフィルタ係数により得られる出力信号Ｙが、その発話に基づく音声信号が強調された信号Ｅとして出力される。

このように、フィルタ係数更新手段１７は、出力信号Ｙが音響モデルλに合致するように、適応フィルタ１４のフィルタ係数を発話毎に更新するが、その際、新たなフィルタ係数ｗ’は、次のフィルタ更新式により決定される。

このフィルタ更新式は、音響モデルλを用いたＥＭ（Expectation-Maximization）アルゴリズムにより解くことができる。音響モデルλとしては、ＨＭＭ（Hidden
Markov Model）等の統計モデルに従ったものを使用することができる。ＥＭアルゴリズムでは、モデルのパラメータを仮定し、観測データに対するモデルの状態の遷移回数を計算し（以下、「Ｅステップ」という。）、その計算結果に基づいて最尤推定を行い(以下、「Ｍステップ」という。)、モデルのパラメータの更新を行う。

すなわちまず、Ｅステップ（Expectation step）において、数７式により対数尤度の期待値を計算する。

この式は例えば「“A maximum-likelihood approach to stochastic matching for robust
speech recognition,” A. Sankar, C.-H. Lee, IEEE Trans. On Speech and Audio
Processing, pp. 190-202, Vol. 4, No. 3, 1996.」のセクションIII、１９３頁の式（１４）及び式（２０）に相当する。なお、ｎは１発話中のフレーム番号である。

次に、Ｍステップ（Maximization step）において、数７式の値を最大にする重みｗを求める。求まったｗが新たなフィルタ係数となる。数７式の値を最大にするｗは、次式により求めることができる。

一般的な導出は、以上のとおりである。音響モデルλにおいて使用する出現確率を表す分布としては、ガウス分布（正規分布）、ｔ−分布、対数正規分布等の任意の分布を使用することができる。次に、多次元ガウス分布を用いた場合の例を示す。ＨＭＭとしては複数の状態を有するモデルを用いることが可能であるが、ここでは、次式で示すような１状態の混合モデルを用いている。なお、複数状態のモデルへの拡張は容易に行うことができる。

ここで、Ｎ（μ_ｋ，Ｖ_ｋ）は、平均ベクトルμ_ｋ、分散Ｖ_ｋのｋ番目の多次元ガウス分布であり、ｃ_ｋはｋ番目の多次元ガウス分布に対する重み係数である。また、Ｓは音声の特徴量である。したがってこの場合、音響モデルλに関するパラメータは、出力確率分布（多次元ガウス分布）の平均値μ_ｋ、分散Ｖ_ｋ、及び混合重み係数ｃ_ｋの３つとなる。この重み係数ｃ_ｋと多次元ガウス分布Ｎ（μ_ｋ，Ｖ_ｋ）は、学習用の音声データを用い、ＥＭアルゴリズムにより学習することができる。ＥＭアルゴリズムによる学習法は、音声認識で広く使われているモデル学習法であり、多くの文献で見ることができる。かかる文献として例えば「X.D.Huang, Y. Ariki, and M.A.Jack, “Hidden Markov models for speech
recognition”, Edinburgh University Press, 1990, ISBN:0748601627」を挙げることができる。この文献においては、上記パラメータの更新式は、第１８２〜１８３頁の式（６．３．１７）、（６，３．２０）及び（６．３．２１）として記述されている。

音響モデルλがこのような音響モデルである場合、アレー出力信号Ｙに対する音響モデルλの尤度が最大となるように、すなわち尤度最大化基準に基づいて、フィルタ係数ｗ’の推定を行うために、数６式をＥＭアルゴリズムで解くには、まず、Ｅステップにおいて次式で示される対数尤度の期待値を計算する。

ただしここでは、求めたいフィルタ係数ｗに関連する項のみを記述しており、状態遷移確率などに関しては必要ないので省略している。数９式より、次式が成立する。

ここで、Ｄは多次元ガウス分布の次元数であり、Ｔは転置行列であることを表す。γ_ｋ（ｎ）の値は次式により求める。

このγ_ｋ（ｎ）の計算については、例えば上述の文献“Hidden Markov models for speech recognition”における第１８２頁の式（６．３．１６）を参照することができる。次に、Ｍステップにおいて、次式に示すように、上記Ｑ関数Ｑ（ｗ’｜ｗ）を最大にするｗ’を求める。

ｗ’は、次式により求めることができる。

したがって、周波数サブバンドにおけるｉ次元目の重みｗ_i ^’は、次式により求めることができる。ｉは上述数４式におけるωに対応する。

ここで、σ² _k,iはｋ番目の分布におけるｉ次元目の分散である。新たなｗ'_iが求まると、これを適応フィルタ１４における新たなフィルタ係数として用いて、アレー出力信号Ｙ_iを求める。このように、出力信号Ｙに基づいて新たなフィルタ係数を求め、新たなフィルタ係数に基づいて再度出力信号Ｙを取得するという処理を、尤度が収束するまで繰り返す。尤度が収束したか否かは、Ｑ関数Ｑ（ｗ’｜ｗ）の値の変化が所定値以下になったかどうかにより判定することができる。尤度が収束した場合、そのときの新たなフィルタ係数が、更新されたフィルタ係数となる。

図２は図１の音声強調装置を実現するコンピュータの構成を示す。このコンピュータは、プログラムに基づくデータ処理や各部の制御を行う中央処理装置２１、中央処理装置２１が実行中のプログラムや関連するデータを高速にアクセスできるように記憶する主記憶装置２２、プログラムやデータを記憶する補助記憶装置２３、データや指令を入力するための入力装置２４、中央処理装置２１による処理結果の出力や、入力装置２４との協働によるＧＵＩ機能を行うための出力装置２５等を備える。

図中の実線はデータの流れ、破線は制御信号の流れを示している。このコンピュータには、図１の音声強調装置における各要素１２ａ、１２ｂ、１３ａ、１３ｂ、１４、１５及び１７としてコンピュータを機能させる音声強調プログラムがインストールされている。また、入力装置２４には、図１におけるマイクロホン１１ａ及び１１ｂが含まれる。補助記憶装置２３には、音響モデルλのデータベース１６が設けられている。

図３は音声強調プログラムによるシステム構成を示す。このシステムは、図１の加算手段１２ａ及び１２ｂとして機能する信号合成部３１、高速フーリエ変換器１３ａ及び１３ｂとして機能するＦＦＴ部３２、適応フィルタ１４として機能する適応フィルタ部３３、加算器１５として機能するスペクトル減算部３４、及びフィルタ係数更新手段１７として機能するフィルタ係数更新部３５を備える。図中の３６は音響モデルλのデータベースである。

信号合成部３１は、上記数３式のように、目的音声信号ｓ（ｔ）が同位相で加算されるように、マクロホン１１ａ及び１１ｂからの入力信号ｍ１及びｍ２を加算し、主入力信号ｐ（ｔ）として出力する。信号合成部３１はまた、上記数２式のように、目的音声信号ｓ（ｔ）が相殺されるように、入力信号ｍ１に対し、入力信号ｍ２を反転して加算し、参照信号ｒ（ｔ）として出力する。ＦＦＴ部３２は主入力信号ｐ（ｔ）及び参照信号ｒ（ｔ）をそれぞれ所定のフレーム周期及びフレーム長で周波数スペクトル信号ｐ（ω，ｎ）及びｒ（ω，ｎ）に変換する。適応フィルタ部３３は、フィルタ係数ｗ（ω）に応じ、参照信号ｒ（ω，ｎ）の振幅を調整する。スペクトル減算部３４は、主入力信号ｐ（ω，ｎ）から適応フィルタ部３３の出力ｗ（ω）ｒ（ω，ｎ）を減算する。フィルタ係数更新部３５は、発話毎に、スペクトル減算部３４の出力ｙ（ω，ｎ）及び音響モデルλに基づき、上述数６式によりＥＭアルゴリズムを用いてフィルタ係数ｗ’を求め、適応フィルタ部３３におけるフィルタ係数を更新する。そして、スペクトル減算部３４は、発話毎に、更新されたフィルタ係数を用い、１発話分の主入力信号ｐ（ω，ｎ）及び参照信号ｒ（ω，ｎ）に基づいて生成されるｙ（ω，ｎ）を、目的音声信号が強調された信号Ｅとして出力する。

図４はこの音声強調プログラムによる１発話分の主入力信号ｐ（ω；ｎ）及び参照信号ｒ（ω；ｎ）についての処理を示す。ＦＦＴ部３２により高速フーリエ変換が施された１発話分の主音声信号ｐ（ω；ｎ）及び参照信号ｒ（ω；ｎ）がメモリ上に保持されているものとする。以下の各ステップの処理は１発話分のデータについて行われる。

処理を開始すると、まずステップ４１において、適応フィルタのフィルタ係数ｗ（ω）の初期値を、たとえば１．０に設定する。次に、ステップ４２において、主音声信号ｐ（ω；ｎ）から、適応フィルタによって振幅が調整された参照信号ｗ（ω）ｒ（ω；ｎ）を減算し、出力信号ｙ（ω；ｎ）を取得する。ただしこの段階では、出力信号ｙ（ω；ｎ）は、目的信号が強調された信号Ｅとして出力されることはない。次に、ステップ４３において、上述のＥＭアルゴリズムに従い、Ｅステップ及びＭステップを経て、新たなフィルタ係数ｗ’（ω）を求める。

次に、ステップ４４において、出力信号ｙに対する音響モデルλの尤度が収束したか否かを判定する。この判定は、数１０式のＱ関数Ｑ（ｗ’｜ｗ）についての前回の値に対する今回の値の増加が所定値以下であるか否かに基づいて行うことができる。尤度が収束していないと判定した場合は、ステップ４５において適応フィルタのフィルタ係数を新たなフィルタ係数ｗ’に変更し、ステップ４２に戻る。

ステップ４４において、尤度が収束したと判定した場合は、ステップ４３において求めた新たなフィルタ係数ｗ’が出力信号Ｙに対する音響モデルλの尤度を最大にするフィルタ係数であるので、ステップ４６へ進み、その新たなフィルタ係数ｗ’に置き換えることにより、適応フィルタのフィルタ係数を更新する。そして、ステップ４７において、更新されたフィルタ係数ｗ’により調整された参照信号ｗ’（ω）ｒ（ω；ｎ）を主音声信号ｐ（ω；ｎ）から減算し、得られる信号を、目的音声信が強調された出力信号Ｅとして出力する。これにより、１発話分の音声強調処理が完了する。

図５は本発明の一実施形態に係る音声認識装置の構成を示すブロック図である。同図に示すように、この装置は、雑音が重畳された目的音声に基づき、マイクロホン１１ａ及び１１ｂを介して入力される入力信号について音声強調処理を行い、音声強調がなされた信号Ｅを出力する音声強調部５１、強調信号Ｅについて所定の特徴量の抽出を行う特徴量抽出部５２、抽出された特徴量に基づき音声認識を行う音声認識部５３を備える。音声強調部５１、特徴量抽出部５２及び音声認識部５３は図２と同様のコンピュータ及びソフトウェアによって実現することができる。音声強調部５１は、図１又は図３の音声強調装置により構成される。

この音声認識装置による音声認識の実施例として、予めエンジンが停止している車内で収録した音声を対象として音声認識を行い、誤り率を測定した。

すなわちまず、適応フィルタのフィルタ係数の推定に使用するガウス混合モデル（ＧＭＭ；Gaussian mixture model）の混合数、すなわち多次元ガウス分布の数を２５６とし、男性話者９５名分の音声データを使用してＧＭＭについての学習を行うことにより、不特定話者ＨＭＭを作成した。

次に、予め車内で収録した男性３７人のテスト話者による５〜１１桁の連続数字についての４１１発話分の発話データ、及び予め測定したスウィープ音に対するマイクロホン１１ａ及び１１ｂのインパルス応答を用いて入力信号ｍ１（ｔ）及びｍ２（ｔ）を作成し、この入力信号に基づいて音声認識を行い、誤り率を測定した。ただし、マイクロホン１１ａ及び１１ｂの間隔は３０［ｃｍ］とし、目的話者の方向は正面、すなわち９０度方向とした。２５［ｄＢ］のアイドリング雑音を２０度方向から全区間において付与した。また、発話区間にのみしか存在しない雑音として、図６に示すような窓をノックする突発性雑音を１４０度方向から付与するとともに、音楽ＣＤの再生音を４０度方向から付与した。誤り率の測定は、０［ｄＢ］のノック音を付与した場合、５［ｄＢ］のノック音を付与した場合、０［ｄＢ］のノック音と０［ｄＢ］のＣＤ音を付与した場合、５［ｄＢ］のノック音と５［ｄＢ］のＣＤ音を付与した場合のそれぞれについて行った。誤り率の測定結果を図７の表における実施例の欄に示す。

比較のため、１チャンネルの入力信号を用い、かつ雑音抑圧処理を行わないこと以外は上述実施例の場合と同様にして音声認識を行い、同様の場合について誤り率を測定した。測定結果を、図７の表における比較例１の欄に示す。

また、音声強調部５１として図８の従来の構成による音声強調装置を用い、従来の２チャンネルスペクトルサブトラクションによるパワー最小化基準に基づいて適応フィルタのフィルタ係数の推定を行うことにより音声強調を行った以外は、上述実施例の場合と同様にして音声認識を行い、同様の場合について誤り率を測定した。ただし、フィルタ係数の推定は、発話区間の直前１秒間における入力信号に基づいて行った。測定結果を、図７の表における比較例２の欄に示す。

図７の表から、実施例によれば、比較例１や２に比較し、認識率がかなり改善されていることがわかる。すなわち、音声強調部５１において、音声区間のみでしか存在しない未知の突発性雑音に対しても、効果的に雑音抑圧機能を発揮していることがわかる。

なお、本発明は上述実施形態に限定されることなく、適宜変形して実施することができる。例えば、上述実施形態においては、２つのマイクロホンから等距離の位置にある目的音源に基づく各入力信号ｍ１及びｍ２をそのまま加算することにより各入力信号ｍ１及びｍ２が同相で加算されるようにしているが、この代わりに、遅延手段により入力信号ｍ１及びｍ２の同相化を図るようにしてもよい。

また、上述実施形態においては、２つのマイクロホン有するマイクロホンアレーを用いているが、この代わりに、３以上のマイクロホンを有するマイクロホンアレーを用いるようにしてもよい。例えば、３チャネルのマイクロホンアレーを用いる場合、正面の目的音源に基づく時刻ｔにおける各マイクロホンからの入力信号をｍ１（ｔ）、ｍ２（ｔ）、ｍ３（ｔ）とすれば、主入力ｐ（ｔ）をｐ（ｔ）＝１／３（ｍ１（ｔ）＋ｍ２（ｔ）＋ｍ３（ｔ））とし、参照信号ｒ１（ｔ）をｒ１（ｔ）＝ｍ１（ｔ）−ｍ２（ｔ）、ｒ２（ｔ）＝ｍ２（ｔ）−ｍ３（ｔ）とし、そして、ｐ（ｎ）−｛ｗ１＊ｒ１（ｎ）＋ｗ２＊ｒ２（ｎ）｝をＥＭアルゴリズムにおけるＱ関数に適用し、各参照信号ｒ１（ｎ）及びｒ２（ｎ）についての各適応フィルタのフィルタ係数ｗ１とｗ２を求めるようにすればよい。なお、目的音源がマイクロホンの正面に位置していない場合には、各マイクロホンへの目的音の到達時間差を遅延手段によって調整すればよい。

また、上述実施形態においては、参照信号を、入力信号ｍ１から入力信号ｍ２を減算することによって取得しているが、この代わりに、主音声信号に含まれる雑音信号に類似した信号、たとえば雑音源の近傍に配置したマイクロホンにより取得したほぼ雑音のみを含む信号を参照信号として使用するようにしてもよい。

また、上述実施形態においては、１発話毎にフィルタ係数を更新し、更新したフィルタ係数により目的音声信号の強調を行うようにしているが、この代わりに、１フレーム毎、又は複数フレーム毎にフィルタ係数を更新して目的音声信号の強調を行うようにしてもよい。

本発明の一実施形態に係る音声強調装置の構成を示すブロック図である。 図１の音声強調装置を実現するコンピュータの構成を示すブロック図である。 図２のコンピュータにおける音声強調プログラムによるシステム構成を示すブロック図である。 図３の音声強調プラグラムによる処理を示すフローチャートである。 本発明の一実施形態に係る音声認識装置の構成を示すブロック図である。 図６の音声認識装置による音声認識の実施例に適用された窓をノックする突発性雑音を示すグラフである。 図６の音声認識装置による音声認識の結果を示す表の図である。 ２チャンネルのビームフォーマによる従来の音声強調システムを示すブロック図である。

符号の説明

１１ａ，１１ｂ，８１ａ，８１ｂ：マイクロホン、１２ａ，１２ｂ，１５，８２ａ，８２ｂ，８５：加算器、１３ａ，１３ｂ，８３ａ，８３ｂ：高速フーリエ変換器、１４，８４：適応フィルタ、１６：音響モデルλのデータベース、１７：フィルタ係数更新手段、２１：中央処理装置、２２：主記憶装置、２３：補助記憶装置、２４：入力装置、２５：出力装置、３１：信号合成部、３２：ＦＦＴ部、３３：適応フィルタ部、３４：スペクトル減算部、３５：フィルタ係数更新部、３６：音響モデル、５１：音声強調部、５２：特徴量抽出部、５３：音声認識部。

Claims (12)

1. 目的信号及び雑音信号を含む主入力信号から、所定の参照信号をスペクトル減算により差し引くスペクトル減算手段と、前記参照信号に対して適用される適応フィルタと、前記主入力信号における雑音信号の成分を減少させるべく、前記適応フィルタのフィルタ係数を制御する係数制御手段とを備えた信号強調装置において、
   前記目的信号についての、所定の特徴量を所定の統計モデルで表した信号モデルのデータベースを備え、前記係数制御手段は、前記スペクトル減算手段の出力信号に対する前記信号モデルの尤度に基づいて前記フィルタ係数の制御を行うものであること特徴とする信号強調装置。
2. 音波信号を電気信号に変換する第１及び第２の信号変換手段を備え、前記主入力信号は前記第１及び第２信号変換手段の各出力信号を、それぞれに含まれる前記目的信号が同相で加算されるように加算することによって得られるものであり、前記参照信号は前記第１及び第２信号変換手段の各出力信号を、それぞれに含まれる前記目的信号が逆相で加算されるように加算することによって得られるものであることを特徴とする請求項１に記載の信号強調装置。
3. 前記統計モデルは隠れマルコフモデルによるものであり、前記係数制御手段はＥＭアルゴリズムを用いて前記尤度を最大化する前記フィルタ係数を求め、これに置き換えることによって前記フィルタ係数を更新するものであることを特徴とする請求項１に記載の信号強調装置。
4. 前記スペクトル減算手段は、前記主入力信号及び参照信号を所定のフレーム長及びフレーム周期でフーリエ変換する手段を有し、前記係数制御手段は、所定のフレーム数毎に前記フィルタ係数の更新を行うものであることを特徴とする請求項３に記載の信号強調装置。
5. 請求項１の信号強調装置を備え、該装置により強調された音声信号に基づいて音声認識を行う手段を具備することを特徴とする音声認識装置。
6. 目的信号及び雑音信号を含む主入力信号から、所定の参照信号をスペクトル減算により差し引いて強調出力信号とするスペクトル減算手順と、前記参照信号に対して適応フィルタを適用する手順と、前記主入力信号における雑音信号の成分を減少させるべく、前記適応フィルタのフィルタ係数を制御する係数制御手順とを備えた信号強調方法において、
   前記係数制御手順では、前記目的信号についての、所定の特徴量を所定の統計モデルで表した信号モデルを参照し、前記強調出力信号に対する該信号モデルの尤度に基づいて前記フィルタ係数の制御を行うこと特徴とする信号強調方法。
7. 第１及び第２の信号変換手段により音波信号を電気信号に変換する手順と、前記第１及び第２信号変換手段の各出力信号を、それぞれに含まれる前記目的信号が同相で加算されるように加算することによって前記主入力信号を取得する手順と、前記第１及び第２信号変換手段の各出力信号を、それぞれに含まれる前記目的信号が逆相で加算されるように加算することによって前記参照信号を取得する手順とを有することを特徴とする請求項６に記載の信号強調方法。
8. 前記統計モデルは隠れマルコフモデルによるものであり、前記係数制御手順では、ＥＭアルゴリズムを用いて前記尤度を最大化する前記フィルタ係数を求め、これに置き換えることによって前記フィルタ係数を更新することを特徴とする請求項６に記載の信号強調方法。
9. 前記スペクトル減算手順では、前記主入力信号及び参照信号を所定のフレーム長及びフレーム周期でフーリエ変換する手順を有し、前記係数制御手順では、所定のフレーム数毎に前記フィルタ係数の更新を行うものであることを特徴とする請求項８に記載の信号強調方法。
10. 請求項６の信号強調方法により音声信号を強調する手順と、強調された音声信号に基づいて音声認識を行う手順とを具備することを特徴とする音声認識方法。
11. コンピュータに、請求項６の各手順を実行させることを特徴とする信号強調プログラム。
12. コンピュータに、請求項１０の各手順を実行させることを特徴とする音声認識プログラム。
    

Images