JP2006201287A - 雑音抑圧装置及び音声認識システム - Google Patents

Abstract

【課題】 非定常雑音下での音声認識性能を改善し、かつ雑音の抑圧を短時間で行なうことができる雑音抑圧装置を提供する。
【解決手段】 雑音抑圧部１１４は、クリーン音声と雑音とが重畳した雑音重畳音声について所定周期ごとにフレーム化された所定時間長のフレームよりそれぞれ抽出される特徴量１２４を受けて、雑音重畳音声に関する所定の状態空間モデルと、目的音声に関するクリーン音声ＨＭＭとを基に、パーティクルフィルタを用いて、雑音の推定パラメータ２０６をフレームごとに逐次生成するための雑音確率分布推定部２００と、雑音重畳音声の特徴量１２４と、雑音の推定パラメータ２０６と、クリーン音声ＨＭＭ１３０とを用いて、フレームごとに目的音声の推定特徴量１２６を算出するためのパラメータ生成部２０２及びクリーン音声推定部２０４とを含む。
【選択図】 図４

Description

本発明は、雑音下での音声認識技術に関し、特に、非定常雑音下での音声認識精度を改善するための雑音抑圧装置及びそれを使用した音声認識システムに関する。

人間にとって容易かつ自然なヒューマンマシンインタフェースを実現するための技術として、音声認識技術が研究されている。近年では、大規模な音声・テキストデータベースと統計確率的な音声認識手法とにより、高い認識率での音声認識が実現されるようになった。今日ではさらに、人間が機械と接する実環境において、高速にかつ高い認識率で音声認識を実現するための応用技術開発が進められている。

実環境が実験室等の環境と大きく異なる点のひとつに、雑音の存在がある。雑音は、無視できない音量で絶え間なく不規則に発生する。雑音下での音声認識性能の改善は、音声認識の応用技術開発を行なう上で、早急に解決されるべき問題である。

この問題を解決するための技術のひとつに、音声認識の前処理の段階で雑音を推定し抑圧する技術がある。後掲の非特許文献１には、雑音抑圧の一般的な方法であるスペクトルサブトラクション法が開示されている。この方法では、発話の前の区間において観測された雑音の振幅スペクトルが発話中の区間における雑音の振幅スペクトルと同じであると仮定し、発話から得られた音声信号の振幅スペクトルから、発話直前に観測された雑音の振幅スペクトルを減算することで雑音を抑圧する。

音声認識の前処理の段階において雑音を逐次的に推定し抑圧する技術もある。非特許文献２には、逐次ＥＭ（Expectation Maximization）アルゴリズムを適用して雑音の最尤推定値を逐次的に求める手法が開示されている。逐次ＥＭアルゴリズムを用いて逐次的に雑音を推定する手法では、雑音の時間変動に対処しつつ高精度に雑音の推定及び抑圧を行なうことができる。

非特許文献３及び非特許文献４に開示された、カルマンフィルタを用いて雑音の推定値を逐次的に求める手法も一般的に用いられている。この手法では、一期先予測とフィルタリングとを交互に行なうことによって、雑音を逐次的に推定し抑圧する。

また、この問題を解決するための技術として、雑音を考慮した確率モデルを用いて適応的に音声認識を行なう技術がある。例えば後掲の特許文献１には、パーティクルフィルタと呼ばれる逐次推定法を用いて、雑音パラメータの推定と、隠れマルコフモデル（ＨＭＭ：Hidden Markov Model）を構成する隠れ状態の時間的成長とを行ない、当該隠れマルコフモデルに基づく音声認識を行なう音声認識システムが開示されている。

特開２００２−２５１１９８号公報 Ｓ．Ｆ．ボル：「スペクトルサブトラクションを用いた、音声内の音響ノイズの抑圧」、ＩＥＥＥ Ｔｒａｎｓ． ＡＳＳＰ、Ｖｏｌ．２７、Ｎｏ．２、１１３−１２０頁、１９７９年（S.F.Boll: "Suppression of Acoustic Noise in Speech Using Spectral Subtraction," IEEE Trans. ASSP, Vol. 27, No. 2, pp. 113-120, 1979） Ｍ．アフィフィ、Ｏ．シオアン：「ロバスト音声認識のための最適な忘却による逐次推定」、ＩＥＥＥ Ｔｒａｎｓ． ＳＡＰ、Ｖｏｌ．１２、Ｎｏ．１、１９−２６頁、２００４年（M.Afify, O.Siohan: "Sequential Estimation with Optimal Forgetting for Robust Speech Recognition," IEEE Trans. SAP, Vol. 12, No.1, pp. 19-26, 2004） 有本 卓：「カルマンフィルター」、産業図書 中野 道雄 監修、西山 清 著：「パソコンで解くカルマンフィルタ」、丸善

実環境において雑音の多くは非定常な雑音である。すなわち、雑音の音響的特徴は時間の経過に伴い変動する。非特許文献１に記載のスペクトルサブトラクション法のように、雑音が定常的なものであるという前提のもとで雑音の推定及び抑圧を行なう技術では、雑音の時間変動に対応できず、高精度に雑音を抑圧することができない。

非特許文献２に記載された逐次ＥＭアルゴリズムを用いた手法は、尤度関数の局所最適値に値が収束するまで反復計算を行なう。そのため、雑音が変動する度に膨大な量の計算が必要となり、計算に時間を要する。よって、この手法により実時間で雑音を推定し抑圧するのは困難である。

非特許文献３及び非特許文献４に開示されたカルマンフィルタを用いる推定方法は、一期先予測とフィルタリングとを交互に行ない逐次推定を行なう。そのため、逐次ＥＭアルゴリズムのような反復計算を必要とはしない。しかし、カルマンフィルタを用いた手法は、雑音の事後確率分布が単一正規分布であるものとして確率分布を推定する。真の確率分布が混合分布であった場合には、単一正規分布で近似される。そのため、精度が劣化する。

特許文献１に記載の音声認識システムのように、雑音を考慮したモデルを用いて音声認識を行なう技術では、雑音が重畳された音声と確率モデルとのマッチングが行なわれる。そのため、例えば音響モデル適応など、雑音のない音声に基づいて行なうべき前処理を実行できない。

それゆえに、本発明の目的は、非定常雑音下での音声認識性能を改善し、かつ雑音の抑圧を短時間で行なうことができる雑音抑圧装置を提供することである。

本発明の第１の局面に係る雑音抑圧装置は、目的音声と雑音とが重畳した雑音重畳音声について所定周期ごとにフレーム化された所定時間長のフレームよりそれぞれ抽出される特徴量を受けて、雑音重畳音声に関する所定の状態空間モデルと、目的音声に関する所定の音響モデルとを基に、複数のパーティクルを有するパーティクルフィルタを用いて、雑音の推定パラメータをフレームごとに逐次生成するための雑音推定手段と、雑音重畳音声の特徴量と雑音の推定パラメータ、及び音響モデルを用いて、フレームごとに目的音声の推定特徴量を算出するための目的音声推定手段とを含む。

好ましくは、雑音推定手段は、雑音重畳音声の特徴量を基に雑音の初期分布を推定し、初期分布にしたがった確率で、複数のパーティクルの各々における雑音の初期パラメータをそれぞれサンプリングするための初期パラメータ推定手段と、音響モデルと雑音重畳音声の特徴量とを基に、拡張カルマンフィルタを用いて、各パーティクルにおける先行する第１のフレームの雑音の推定パラメータをそれぞれ第１のフレームに後続する第２のフレームに対応するものに更新するための更新手段と、第２のフレームにおける複数のパーティクルの各々の重みを算出するための重み算出手段と、更新手段により更新された雑音の推定パラメータと重み算出手段により算出された重みとにより複数のパーティクルの各々について表現される雑音パラメータの確率分布に基づき、複数のパーティクルにおける第２のフレームの雑音の推定パラメータをそれぞれ再サンプリングするための再サンプリング手段とを含む。

より好ましくは、雑音推定手段はさらに、再サンプリング手段により再サンプリングされたパラメータを基に、複数のパーティクルの各々において、第１のフレームに対応する雑音の推定パラメータをそれぞれ、第２のフレームに対応するものに再更新するための再更新手段と、複数のパーティクルの各々において、再更新手段により再更新された雑音の推定パラメータと、再サンプリング手段により再サンプリングされた雑音の推定パラメータとの一方を、所定の判定基準にしたがい第２フレームの雑音の推定パラメータとして選択するための選択手段とを含む。

好ましくは、目的音声推定手段は、雑音重畳音声の特徴量と、雑音の推定パラメータと、音響モデルとを基に、フレームに対応する雑音重畳音声の確率モデルを合成するための雑音重畳音声モデル合成手段と、雑音重畳音声の特徴量、雑音の推定パラメータ、音響モデル、及び雑音重畳音声の確率モデルを基に、フレームごとに、目的音声の推定特徴量を算出するための推定特徴量算出手段とを含む。

雑音重畳音声モデル合成手段は、複数のパーティクルの各々に対して、雑音の推定パラメータと音響モデルとを基に、当該パーティクルにおける雑音重畳音声の確率モデルのパラメータを推定するための手段を含んでもよい。

推定特徴量算出手段は、フレームごとに、複数のパーティクルの各々の目的音声の推定パラメータを、雑音重畳音声の特徴量、音響モデル、雑音の推定パラメータ、及び雑音重畳音声の確率モデルを基に算出するための手段と、複数のパーティクルの各々における目的音声の推定パラメータを基に、当該フレームにおける目的音声の推定特徴量を算出するための手段とを含んでもよい。

本発明の第２の局面に係る音声認識システムは、本発明の第１の局面に係る上記したいずれかの雑音抑圧装置と、雑音抑圧装置により算出される目的音声の推定特徴量を受けて、目的音声に関する所定の音響モデルと、認識対象言語に関する所定の言語モデルとを用いて、目的音声に関する音声認識を行なうための認識手段とを含む。

以下、図面を参照しつつ、本発明の一実施の形態について説明する。なお、以下の説明に用いる図面では、同一の部品には同一の符号を付してある。それらの名称及び機能も同一である。したがって、それらについての説明は繰返さない。以下の説明のテキスト中で使用する記号「＾」等は、本来はその直後の文字の直上に記載すべきものであるが、テキスト記法の制限により当該文字の直前に記載する。式中では、これらの記号等は本来の位置に記載してある。また以下の説明のテキスト中では、ベクトル又は行列については例えば「ベクトルＸ_ｔ」、「行列Σ_W」等のように直前に「ベクトル」、「行列」等を付した通常のテキストの形で記載するが、式中ではいずれも太字で記載する。

［構成］
図１に、本実施の形態に係る音声認識システム１００全体の構成を示す。図１を参照して、この音声認識システム１００は、音源１０２が発生する音を収集し、収集した音から認識に用いる特徴量を抽出するための前処理部１０４と、音声と音素との関係を表す確率モデル（音響モデル）を準備するための音響モデル部１０６と、認識対象の言語における単語の連接確率等を表す確率モデル（言語モデル）を準備するための言語モデル部１０８と、前処理部１０４から出力された特徴量に対応する単語等を、音響モデル部１０６の音響モデルと言語モデル部１０８の言語モデルとを用いて探索するための探索部１１０とを含む。

音源１０２は、認識されるべき音声（目的音声）を発話する話者１１６と、話者１１６の周囲の雑音源１１８とを含む。音源１０２が発生する音は、話者１１６の発話により発生する音声１２０と、雑音源１１８が発生する雑音１２２とが重畳した音である。本明細書では、話者１１６の発話により発生する雑音のない目的音声１２０を、「クリーン音声」と呼ぶ。クリーン音声１２０と雑音１２２とが重畳した音を「雑音重畳音声」と呼ぶ。

音響モデル部１０６は、クリーン音声１２０に対するＨＭＭからなる音響モデルを準備し保持する。音響モデル部１０６は、予め用意された大量の学習データを記憶するための学習データ記憶部１３２と、学習データ記憶部１３２に記憶された学習データを用いてＨＭＭに対する学習処理を行なうためのモデル学習部１３４と、モデル学習部１３４による学習で得られるクリーン音声ＨＭＭ１３０を記憶するためのクリーン音声ＨＭＭ記憶部１３６とを含む。

図２に、クリーン音声ＨＭＭ１３０の概念を模式的に示す。図２を参照して、クリーン音声ＨＭＭ１３０は、複数の定常信号源（状態）の間の遷移により時系列信号をモデル化した確率モデルである。このクリーン音声ＨＭＭ１３０は、複数の状態１４２Ａ，１４２Ｂ，１４２Ｃ，１４２Ｄ，…，１４２Ｍを含む。クリーン音声ＨＭＭ１３０ではさらに、各状態に対してその状態から他の状態への遷移確率が定義される。例えば状態１４２Ａに対して、自己すなわち状態１４２Ａへの遷移１４４に関する遷移確率と、状態１４２Ｂへの遷移１４６に関する遷移確率とが定義されている。また、このクリーン音声ＨＭＭ１３０の各状態においては、各遷移に伴う出力の出力確率が定義される。本実施の形態においては、出力確率はそれぞれ混合正規分布によって表現される。例えば状態１４２Ａは単一正規分布１４８Ａ，１４８Ｂ，…，１４８Ｋからなる混合正規分布を持つ。

再び図１を参照して、前処理部１０４は、音源１０２が発生する雑音重畳音声を計測し、得られる計測信号に所定の信号処理を施すことにより雑音重畳音声に関する所定の特徴量ベクトル（以下単に「特徴量」と呼ぶ。）１２４を抽出するための計測部１１２と、計測部１１２が抽出する特徴量１２４に含まれる雑音成分を、クリーン音声ＨＭＭ１３０を用いて抑圧する雑音抑圧処理を行なうための雑音抑圧部１１４とを含む。

具体的には、計測部１１２は、雑音重畳音声を時間長数１０ミリ秒のフレームごとに対数メルフィルタバンク分析し、得られる対数メル周波数スペクトルを要素とするベクトルを特徴量１２４として出力する。

雑音抑圧部１１４は、クリーン音声ＨＭＭ１３０を用いて、雑音重畳音声の特徴量１２４からクリーン音声１２０の特徴量を推定する。そして推定により得られた特徴量１２６を探索部１１０に出力する。本明細書では、推定により得られる特徴量１２６によって表される音声を「推定クリーン音声」と呼ぶ。

図３に、雑音重畳音声の観測過程及び雑音の状態変化過程を表現する状態空間モデル１６０を示す。図３を参照して、時刻ｔのフレームにおける雑音重畳音声の特徴量１２４を特徴量ベクトルＸ_tとする。特徴量ベクトルＸ_tは、計測により得られる既知のパラメータである。特徴量ベクトルＸ_tは、クリーン音声１２０からの成分であるベクトルＳ_tと、雑音１２２からの成分である雑音成分ベクトルＮ_tとからなる。ベクトルＳ_t及びＮ_tは、いずれも未知のパラメータである。

上記したベクトルＸ_t、Ｓ_t及びＮ_tの次元数は同一である。なお、以下に説明する処理はこれらベクトルの各次元の要素についてそれぞれ行なわれるが、以下の説明では、簡単のために各次元の要素を特に区別して言及することはしない。

状態空間モデル１６０において、クリーン音声１２０の出力過程はＨＭＭでモデル化できるものと仮定する。すなわち、時刻ｔにおけるクリーン音声１２０の成分であるベクトルＳ_tは、クリーン音声ＨＭＭ１３０におけるある状態内のある確率分布にしたがって出力されるものと仮定する。

クリーン音声ＨＭＭ１３０において、時刻ｔに対応する状態をｓ_tとし、状態ｓ_t内の混合確率分布を構成するある単一正規分布をｋ_tとする。また、分布ｋ_tから出力されるパラメータのベクトルをベクトルＳ_st,kt,tとする。以下、クリーン音声ＨＭＭ１３０から出力されるパラメータベクトルＳ_st,kt,tを、「（クリーン音声ＨＭＭ１３０の）出力パラメータ」と呼ぶ。クリーン音声１２０の特徴量ベクトルＳ_tと、出力パラメータベクトルＳ_st,kt,tとの間には誤差が存在する。この誤差もまたベクトルであり、このベクトルをベクトルＶ_tとする。雑音重畳音声の特徴量ベクトルＸ_tの観測過程は、クリーン音声ＨＭＭ１３０の出力パラメータベクトルＳ_st,kt,t、誤差ベクトルＶ_t、及び雑音１２２の成分ベクトルＮ_tを用いて、次の式（１）により表現される。

誤差ベクトルＶ_tは、次の式（２）のように単一正規分布にしたがうものとする。

ただしこの式においてΣ_S,st,ktはクリーン音声ＨＭＭ１３０における状態ｓ_t、分布ｋ_tより得られるパラメータの共分散行列を表わし、記号「〜」は左辺の値が右辺に示される確率分布にしたがうことを示し、「Ｎ（μ，Σ）」は、平均値ベクトルμ、分散Σの正規分布を表す。

また状態空間モデル１６０において、雑音の成分ベクトルＮ_tは、ランダムウォーク過程にしたがって変化するものと仮定する。すなわち、時刻ｔ−１における雑音１２２の成分ベクトルＮ_t-1と時刻ｔにおける雑音１２２の成分ベクトルＮ_tとの間に誤差が生じるものと仮定する。この誤差をベクトルＷ_tとする。すると、ベクトルＮ_tの状態変化過程は、次の式（３）により表現される。

誤差ベクトルＷ_tは、次の式（４）のように単一正規分布にしたがうものとする。

ただし、式（４）においてΣ_Wは、誤差ベクトルＷ_tの共分散行列を表す。

図１に示す雑音抑圧部１１４は、上記の式（１）〜式（４）により表現される状態空間モデル１６０を用いて、時刻ｔに対応するフレームごとに、クリーン音声の特徴量ベクトルを逐次推定する。

図４に、雑音抑圧部１１４の構成をブロック図で示す。図４を参照して、雑音抑圧部１１４は、雑音重畳音声の特徴量Ｘ_t（１２４）を受けて、クリーン音声ＨＭＭ１３０を用いて状態空間モデル１６０における雑音１２２の確率分布（以下、「雑音確率分布」と呼ぶ。）を推定するための雑音確率分布推定部２００と、雑音確率分布推定部２００により推定された雑音確率分布とクリーン音声ＨＭＭ１３０とから雑音重畳音声の確率モデルの平均ベクトルと共分散行列とを生成するためのパラメータ生成部２０２と、雑音確率分布、雑音重畳音声の平均ベクトル及び共分散行列、並びにクリーン音声ＨＭＭ１３０を用いて、推定クリーン音声の特徴量１２６を算出するためのクリーン音声推定部２０４とを含む。

雑音確率分布推定部２００は、雑音確率分布をフレームごとに逐次推定し、雑音確率分布を表すパラメータ２０６を出力する機能を持つ。ここに、雑音１２２の成分ベクトルＮ₀，…，Ｎ_tからなる系列をベクトルＮ_0;t＝｛Ｎ₀，…，Ｎ_t｝とする。ベクトルＮ_0;tの事後確率分布ｐ（Ｎ_0;t｜Ｘ_0;t）は、１次マルコフ連鎖を用いて、次の式（５）のように表される。

式（５）のｐ（Ｎ_t｜Ｎ_t-1）は、単一正規分布を用いて次の式（６）のようにモデル化される。

また、式（５）のｐ（Ｘ_t｜Ｎ_t）は、単一正規分布を用いて次の式（７）のようにモデル化される。

したがって、状態空間モデル１６０を基に雑音ベクトルＮ_tの確率分布を逐次推定する問題は、雑音重畳音声ベクトルＸ_tが与えられた時の出力確率を最大にするような事後確率分布ｐ（Ｎ_t｜Ｎ_t-1）を推定する問題に帰着する。雑音確率分布推定部２００は、雑音重畳音声ベクトルＸ_tと状態空間モデル１６０とに基づき、この推定を行なう。

雑音確率分布推定部２００は、雑音の成分ベクトルＮ_tの確率分布を逐次的に推定する際に、パーティクルフィルタと呼ばれる手法を用いる。この推定法は、状態空間内に、局限された状態空間（パーティクル）を多数生成して、各パーティクルにおいてパラメータの確率分布を推定し、状態空間内におけるパラメータの確率分布を、各パーティクルにおいて推定された確率分布を用いて近似的に表現する手法である。この手法では、多数のパーティクルにおける初期的なパラメータを、ランダムなサンプリングにより、又は当該パラメータの初期分布からのサンプリングにより決定する。そして、以下の処理をフレームごとに行なう。すなわち、あるフレームに対応して各パーティクルにおいてパラメータが決定されると、各パーティクルのパラメータを当該フレームに後続するフレームに対応するものに更新し、その更新の尤度に応じて各パーティクルに対して重みを付与する。そして、更新後のパーティクルにおけるパラメータの確率分布にしたがい、当該後続のフレームに対応する各パーティクルのパラメータを再サンプリングする。再サンプリングされたパラメータを基に、当該後続のフレームに対応する各パーティクルのパラメータを決定する。以上の処理をフレームごとに行なうことにより、逐次的に各パーティクルにおけるパラメータを決定する。状態空間におけるパラメータは、パーティクルにおけるパラメータの重み付き和によって近似的に表現される。すなわち、パーティクルの数をＪ、ｊ番目のパーティクルにおける雑音のパラメータをベクトルＮ_t ^(j)とし、当該パーティクルに対する重みをｗ_t ^(j)とすると、式（５）に示す雑音の事後確率分布ｐ（Ｎ_0:t｜Ｘ_0:t）は、次の式（８）によって近似的に表現される。

パラメータ生成部２０２は、具体的にはＶＴＳ（Vector Taylor Series）法と呼ばれるＨＭＭ合成法によって、パーティクルフィルタにより推定された雑音の分布を用い、複数のパーティクルにおける雑音重畳音声の特徴量ベクトルＸ_tの平均ベクトル及び共分散行列（２０８）をそれぞれ算出する機能を持つ。

クリーン音声推定部２０４は、最小２乗誤差（Minimum Mean Square Error：ＭＭＳＥ）推定法で、フレームごとに、複数のパーティクルにおけるクリーン音声のパラメータをそれぞれ推定し、それら推定されたパラメータの重み付き和によって推定クリーン音声の特徴量１２６を算出する機能を持つ。クリーン音声推定部２０４はさらに、雑音確率分布推定部２００に、次のフレームへの移行に関する要求２１０を発行する機能を持つ。

図５に、雑音確率分布推定部２００の構成をブロック図で示す。図５を参照して、雑音確率分布推定部２００は、雑音重畳音声の特徴量１２４とクリーン音声推定部２０４からの要求２１０とを受けて、処理対象となるフレームを選択し、当該フレームにおける雑音重畳音声の特徴量１２４をフレームに応じた出力先に出力するためのフレーム選択部２２０と、フレーム選択部２２０から最初の所定フレーム分の雑音重畳音声の特徴量１２４を受けて雑音の初期分布を推定し、各パーティクルにおける雑音の初期的なパラメータを決定するための雑音初期分布推定部２２２と、フレーム選択部２２０から時刻ｔ（ｔ≧１）のフレームにおける雑音重畳音声の特徴量１２４を受けて、逐次的に、パーティクルにおける雑音のパラメータと当該パーティクルに対する重みとを算出するための逐次計算部２２４とを含む。

雑音初期分布推定部２２２は、雑音の初期分布ｐ（Ｎ₀）が単一正規分布であるものとみなして雑音の初期分布を推定する。雑音の初期分布における平均ベクトルをμ_Nとし、共分散行列を行列Σ_Nとすると、雑音の初期分布ｐ（Ｎ₀）は次の式（９）のように表される。

雑音初期分布推定部２２２は、最初の所定フレーム分の区間の雑音重畳音声の特徴量ベクトルＸ_tが雑音の成分のみからなるものとみなし、雑音の初期分布の平均ベクトルμ_N、及び共分散行列Σ_Nを推定する。例えば０≦ｔ≦９の１０フレーム分の区間がこの区間に該当する場合、雑音初期分布推定部２２２は、平均ベクトルμ_N及び共分散行列Σ_Nをそれぞれ、次の式（１０）及び式（１１）によって算出する。ただし、ベクトルの右肩に付した「Ｔ」は転置を表す。

雑音初期分布推定部２２２はさらに、各パーティクルにおける雑音の初期パラメータベクトルＮ₀ ^(j)を、初期分布ｐ（Ｎ₀）からのサンプリングによって生成する。すなわち、式（１２）と式（１３）とに示すサンプリングを、パーティクルｊ（１≦ｊ≦Ｊ）ごとに行なう。

逐次計算部２２４は、クリーン音声ＨＭＭ１３０の出力パラメータ１４０をサンプリンするためのクリーン音声ＨＭＭサンプリング部２２６と、時刻ｔにおける雑音重畳音声の特徴量１２４を受け、各パーティクルにおける雑音のパラメータを更新するための更新部２３０と、更新後のパーティクルに対する重みをそれぞれ算出するための重み算出部２３２と、重み算出部２３２により算出された重みに基づき、パーティクルにおける雑音のパラメータを再サンプリングするための再サンプリング部２３４と、再サンプリングされたパーティクルにおける雑音のパラメータと時刻ｔ−１における各パーティクルにおける雑音のパラメータとに基づき、各パーティクルにおける雑音のパラメータを決定し、推定雑音分布２０６を生成するための推定雑音分布生成部２３６とを含む。

更新部２３０は、状態空間モデル１６０（図３）を基に構成される拡張カルマンフィルタを用いて、時刻ｔ−１に対応するパーティクルにおける雑音のパラメータを、時刻ｔに対応するものに更新する機能を持つ。拡張カルマンフィルタは、式（１）に示すように非線形項を含む状態空間モデルに対応したカルマンフィルタである。本実施の形態における拡張カルマンフィルタの分布更新式を、以下の式（１４）〜式（１９）に示す。なお、これらの数式において時刻ｔ−１に対応するパラメータから予測される時刻ｔにおけるパラメータについては添え字として「_t|t-1」を付してある。

ただし、式（１６）〜式（１８）のベクトルＳ^(j) _st ^(j) _,kt ^(j) _,tは、ｊ番目のパーティクルにおいてクリーン音声ＨＭＭ１３０（図２参照）の出力パラメータベクトルＳ_st,kt,tに相当するパラメータである。また前述した通り、行列Σ_Wは、時刻ｔ−１から時刻ｔへの状態変化の際に雑音ベクトルＮ_tに生じる誤差ベクトルＷ_tの共分散行列を表す。

クリーン音声ＨＭＭサンプリング部２２６は、クリーン音声ＨＭＭ１３０（図２参照）内の状態ｓ_t ^(j)を、状態ｓ_t-1 ^(j)からの遷移確率にしたがってサンプリングし、サンプリングされた状態ｓ_t ^(j)内の混合分布から、単一正規分布ｋ_t ^(j)をその混合重みに基づいてサンプリングする。クリーン音声ＨＭＭサンプリング部２２６はさらに、サンプリングされた単一正規分布ｋ_t ^(j)から出力パラメータベクトルＳ^(j) _st ^(j) _,kt ^(j) _,tを確率分布にしたがってサンプリングして、更新部２３０に与える。

クリーン音声ＨＭＭ１３０内の状態ｓ_t-1 ^(j)から状態ｓ_tへの遷移確率をベクトルａ_S,ｓt-1 ^(j) _,stとすると、状態ｓ_t ^(j)は、クリーン音声ＨＭＭ１３０から次の式（２０）に示すサンプリングによって得られる。

状態ｓ_t ^(j)の混合分布における単一正規分布ｋ_tの混合重みをＰ_S,st ^(j) _,ktとすると、分布ｋ_t ^(j)は、状態ｓ_t ^(j)から次の式（２１）に示すサンプリングによって得られる。

分布ｋ_t ^(j)の平均ベクトルをベクトルμ_S,st ^(j) _,kt ^(j)とし、分布ｋ_t ^(j)の共分散行列を行列Σ_S,st ^(j) _,kt ^(j)とすると、ｊ番目のパーティクルにおけるクリーン音声ＨＭＭ１３０の出力パラメータベクトルＳ^(j) _st ^(j) _,kt ^(j) _,tは、分布ｋ_t ^(j)から、次の式（２２）に示すサンプリングによって得られる。

なお、フレーム選択部２２０はさらに、クリーン音声ＨＭＭサンプリング部２２６に対し、時刻ｔにおけるクリーン音声ＨＭＭの出力パラメータのサンプリングを要求する機能を持つ。

重み算出部２３２は、時刻ｔでの雑音重畳音声の特徴量ベクトルＸ_tと、時刻ｔの各パーティクルにおけるクリーン音声１３０のパラメータベクトルＳ^(j) _st ^(j) _,kt ^(j) _,t、及び雑音のパラメータベクトルＮ_t ^(j)と、時刻ｔ−１のパーティクルに対する重みｗ_t-1 ^(j)とを基に、次の式（２３）及び式（２４）に示す算出方法を用いて、時刻ｔのパーティクルに対する重みｗ_t ^(j)を算出する機能を持つ。

なお、重みｗ_t ^(j)（１≦ｊ≦Ｊ）は、Σ_j=1〜Ｊｗ_t ^(j)＝１となるように正規化される。

再サンプリング部２３４は、パラメータが更新されたパーティクルにおける雑音のパラメータの確率分布にしたがい、時刻ｔに対応する各パーティクルにおける雑音のパラメータベクトルＮ_t ^(j)を再サンプリングする機能を持つ。この際、再サンプリング部２３４は、微小な重みｗ_t ^(j)しか与えられていないパーティクルにおける確率分布からは、パラメータの再サンプリングを行なわない。一方、大きな重みｗ_t ^(j)が与えられているパーティクルにおける確率分布からは、パラメータを重みｗ_t ^(j)の大きさに応じた回数の再サンプリングを行ない、得られたパラメータをそれぞれ、当該再サンプリングの回数と同数のパーティクルに割当てる。ただし再サンプリングの全回数及びパーティクルの全数は一定（Ｊ）である。このようにするのは、各パーティクルに割当てられる重みが、式（２３）から分かるように観測された特徴量ベクトルＸ_tの尤度に対応しているからである。

推定雑音分布生成部２３６は、Metropolis-Hastingsアルゴリズムにより、時刻ｔのフレームに対応するパーティクルの再生成を行なう機能を持つ。図６に、推定雑音分布生成部２３６の構成をブロック図で示す。図６を参照して、推定雑音分布生成部２３６は、再サンプリング部２３４による再サンプリングで得られた各パーティクルにおける雑音の確率分布を用いて状態空間モデル１６０における雑音の確率分布を表し、当該表した確率分布に基づき、時刻ｔ−１に対応するパーティクルにおける雑音のパラメータを時刻ｔに対応するものへ、上記の式（１４）〜式（１９）に示す拡張カルマンフィルタを用いて再更新するための再更新部２６２と、再更新されたパーティクルに対する重み（これを以下「ｗ_t ^*(j)」とする。）を上記の式（２３）及び式（２４）に示す算出方法を用いて算出するための重み再計算部２６４と、再サンプリングされたパーティクルに対する重みｗ_t ^(j)及び再更新されたパーティクルに対する重みｗ_t ^*(j)から、再更新されたパラメータを許容するか否かの判定に用いる許容確率νを算出するための許容確率算出部２６６と、所定の乱数発生方法により０から１までの閉区間内の乱数ｕを発生させるための乱数発生部２６８と、許容確率νと乱数ｕとに基づき、時刻ｔに対応するパーティクルにおけるパラメータとして、再サンプリングされたパーティクルにおけるパラメータと、再更新されたパーティクルにおけるパラメータとの一方を選択するためのパラメータ選択部２７０とを含む。

許容確率算出部２６６は、重みｗ_t ^(j)及び重みｗ_t ^*(j)から次の式（２５）にしたがって、許容確率νを算出する機能を持つ。

パラメータ選択部２７０は、ｕが許容確率ν以下であれば、当該パーティクルにおける雑音のパラメータを再更新で得られた新たなパラメータに変更する機能を持つ。

［プログラム構造］
以下の説明からも明らかなように、図１に示す音声認識システム１００の前処理部１０４、音響モデル部１０６、及び探索部１１０は、いずれもコンピュータハードウェアとその上で実行されるプログラムにより実現可能である。図７に、本実施の形態に係る前処理部１０４に含まれる雑音抑圧部１１４が行なう雑音抑圧処理を実現するコンピュータプログラムの制御構造をフローチャートで示す。

図７を参照して、雑音抑圧処理が開始されると、ステップ３０２において、雑音１２２の初期分布を推定する。すなわち、上記の式（１０）及び式（１１）に示す算出方法により、式（９）に示す初期分布ｐ（Ｎ₀）のパラメータ平均ベクトルμ_N及び共分散行列Σ_Nを算出する。さらに、初期分布ｐ（Ｎ₀）からパラメータベクトルＮ₀ ^(j)（ｊ＝１，…，Ｊ）をサンプリングし、各パーティクルにおける雑音の初期的なパラメータに設定する。

ステップ３０４では、雑音抑圧の対象となるフレームを次のフレームに移行させる。ステップ３０６では、パーティクルフィルタを用いて、処理対象のフレームにおける雑音１２２の確率分布を推定する。すなわち、各パーティクルにおける雑音のパラメータベクトルＮ_t ^(j)、及びベクトルＮ_t ^(j)の共分散行列Σ_Nt ^(j)を推定し、さらに、各パーティクルにおけるクリーン音声ＨＭＭ１３０の状態ｓ_t ^(j)、並びに各パーティクルに対する重みｗ^(j)を定める。このステップでの処理については、図８を用いて後述する。

ステップ３０８では、ステップ３０６でパーティクルごとに定めたクリーン音声ＨＭＭ１３０の状態ｓ_t ^(j)と、雑音のパラメータベクトルＮ_t ^(j)と、共分散行列Σ_Nt ^(j)とを用いて、各パーティクルにおける雑音重畳音声の特徴量ベクトルＸ_t（１２４）の確率分布を推定する。さらに、クリーン音声ＨＭＭ１３０を構成する分布ｋ（１≦ｋ≦Ｋ）ごとに、パーティクルにおける雑音重畳音声の確率モデルの平均ベクトルμ_Xkt ^(j) _,tと、共分散行列Σ_Xk,t ^(j)とを算出する。

ステップ３１０では、ＭＭＳＥ推定法により、時刻ｔのフレームにおけるクリーン音声の特徴量を推定する。すなわちまず、ステップ３０６及びステップ３０８の処理で得られたパラメータを用いて、ＭＭＳＥ推定法によって、各パーティクルにおけるクリーン音声１２０のＭＭＳＥ推定値ベクトル＾Ｓ_t ^(j)を算出する。ＭＭＳＥ推定値ベクトル＾Ｓ_t ^(j)は、次の数式により得られる。

この式において、Ｐ（ｋ｜Ｘ_t，（ｊ））は、ｊ番目のパーティクルにおける、クリーン音声ＨＭＭ１３０内の分布ｋに対する混合重みを表す。混合重みＰ（ｋ｜Ｘ_t，（ｊ））は、次の数式により算出される。

続いて、ＭＭＳＥ推定値ベクトル＾Ｓ_t ^(j)と重みｗ_t ^(j)とを用いて、時刻ｔにおけるクリーン音声の推定特徴量ベクトル＾Ｓ_tを、次の数式に示す重み付き和によって算出し、推定クリーン音声の特徴量１２６（図１参照）として出力する。

ステップ３１２では、終了判定を行なう。すなわち時刻ｔのフレームが最終のフレームであれば雑音抑圧処理を終了する。さもなければステップ３０４に戻る。

図８に、ステップ３０６（図７参照）において行なわれる雑音確率分布の推定処理を実現するプログラムの制御構造をフローチャートで示す。図８を参照して、雑音確率分布の推定処理が開始されると、ステップ３２２において、式（１４）〜式（１９）により示す拡張カルマンフィルタを用いて、時刻ｔ−１のパーティクルにおける雑音の確率分布から、時刻ｔのパーティクルにおける雑音の確率分布を推定する。

ステップ３２４では、時刻ｔの各パーティクルに対する重みｗ_t ^(j)を、式（２３）及び式（２４）によって算出し、正規化する。ステップ３２６では、各パーティクルに与えられた重みｗ_t ^(j)に基づき、各パーティクルからの再サンプリングの回数を決定し、当該パーティクルにおける雑音の確率分布に基づいてパラメータを再サンプリングする。ステップ３２８では、Metropolis-Hastingsアルゴリズムを用いて時刻ｔにおけるパーティクルを再生成する。

図９にステップ３２８（図８参照）における処理の詳細をフローチャートで示す。図９を参照して、ステップ３２８における処理が開始されると、ステップ３４２において、ステップ３２６（図８参照）での再サンプリングで得られたパーティクルにおけるパラメータを用いて、雑音の確率分布の再更新を行なう。すなわち、時刻ｔのフレームのパーティクルを新たに準備し、ステップ３２２（図８参照）での処理と同様の処理により、時刻ｔ−１のフレームのパーティクルに対応するパラメータから、時刻ｔのフレームのパーティクルに対応するパラメータへの再更新を行ない、準備したパーティクルのパラメータに設定する。ステップ３４４では、ステップ３４２で準備したパーティクルに対する重みｗ_t ^*(j)を、図８に示すステップ３２４の処理と同様の処理で算出し正規化する。

ステップ３４６では、ステップ３２４の処理で算出された重みｗ_t ^(j)と、ステップ３４４で算出された重みｗ_t ^*(j)との比較により、ステップ３４２で準備されたパーティクルの許容確率νを定める。ステップ３４８では、区間［０，１］の値からなる一様な集合Ｕ_[0,1]の中から任意の値を選択することにより乱数ｕを発生する。ステップ３５０では、ステップ３４８で発生した乱数ｕの値と、ステップ３４６で定めた許容確率νの値とを比較する。ｕが許容確率の値以下であれば、ステップ３５２へ進む。さもなければステップ３５４に進む。ステップ３５２では、ステップ３４２で準備されたパーティクルを許容する。すなわち、ステップ３２６での再サンプリングで得られたパラメータを、準備されたパーティクルのパラメータで置換して処理を終了する。ステップ３５４では、ステップ３４２で準備されたパーティクルを棄却する。すなわち、準備されたパーティクル及びそのパラメータを破棄し、処理を終了する。

［動作］
本実施の形態に係る音声認識システム１００は以下のように動作する。まず、図５に示す雑音確率分布推定部２００による雑音の初期分布の推定動作を説明する。図１に示す計測部１１２が、音源１０２から雑音重畳音声（１２０及び１２２）を受け、特徴量Ｘ_t（１２４）を抽出する。抽出された特徴量Ｘ_t（１２４）は、雑音抑圧部１１４の図４に示す雑音確率分布推定部２００に与えられる。図５を参照して、雑音確率分布推定部２００のフレーム選択部２２０は、特徴量Ｘ_t（１２４）のうち最初の１０フレーム分を、雑音初期分布推定部２２２に与える。雑音初期分布推定部２２２は、上記の式（９）〜式（１１）に示す処理により雑音の初期分布ｐ（Ｎ₀）を推定する。さらに、雑音の初期分布ｐ（Ｎ₀）から、上記の式（１２）及び式（１３）に示すサンプリングをＪ回行なう。このサンプリングによって、各パーティクルにおける雑音の初期的なパラメータベクトルＮ₀ ^(j)及び共分散行列Σ_N0 ^(j)が決定される。雑音確率分布推定部２００は、これらのパラメータを、時刻ｔ＝０における推定雑音分布２０６のパラメータとして出力する。

次に、雑音確率分布推定部２００による、時刻ｔ（ｔ≧１）のフレームにおける推定雑音分布２０６の推定動作を説明する。図５を参照して、次のフレームの処理の開始要求２１０に応答して、フレーム選択部２２０は、雑音重畳音声の特徴量Ｘ_t（１２４）を更新部２３０に与えるとともに、クリーン音声ＨＭＭサンプリング部２２６に、時刻ｔにおけるクリーン音声ＨＭＭの出力パラメータのサンプリングを要求する。更新部２３０は、これに応答して、時刻ｔ−１の各パーティクルにおける推定確率分布のパラメータ２０６を取得する。

クリーン音声ＨＭＭサンプリング部２２６は、クリーン音声ＨＭＭ１３０から、出力パラメータベクトルＳ^(j) _st ^(j) _,kt ^(j) _,tのサンプリングを行なう。図１０に、出力パラメータベクトルＳ^(j) _st ^(j) _,kt ^(j) _,tのサンプリングの概要を模式的に示す。例えば、ｊ番目のパーティクルにおいて、時刻ｔ−１に対応する状態ｓ_t-1 ^(j)から、遷移確率にしたがって状態遷移を行なうことにより時刻ｔにおけるｊ番目のパーティクルに関する状態４００を抽出する。次にクリーン音声ＨＭＭサンプリング部２２６は、状態ｓ_t ^(j)の混合正規分布の中から、混合重みにしたがった確率で単一正規分布ｋ_t ^(j)（４０２）をサンプリングする。クリーン音声ＨＭＭサンプリング部２２６はさらに、分布ｋ_t ^(j)（４０２）により表される出力確率の分布にしたがい、出力パラメータベクトルＳ^(j) _st ^(j) _,kt ^(j) _,tをサンプリングする。クリーン音声ＨＭＭサンプリング部２２６は、総数Ｊの各パーティクルにおける出力パラメータベクトルＳ^(j) _st ^(j) _,kt ^(j) _,tをそれぞれ、以上の手順でサンプリングし、図５に示す更新部２３０に与える。

図１１に、逐次計算部２２４によるパラメータの更新、及び再サンプリングの概要を模式的に示す。図１１においては、雑音のパラメータが左右方向に分布し、時間が上から下に進行する。また、図１１においては、パーティクルを、白抜きの丸印、及び黒塗りの丸印によって模式的に示す。例えば、白抜きの丸印で示すパーティクルが重みｗ_t ^(j)の値の微小なパーティクルであり、黒塗りの丸印で示すパーティクルが重みｗ_t ^(j)の値の大きなパーティクルであるものとする。

図１１を参照して、時刻ｔ−１に対応するパーティクルにより状態空間４２０が近似的に表現されているものとする。更新部２３０は、式（１４）〜式（１９）により示す拡張カルマンフィルタを用いて、状態空間４２０内の各パーティクルにおける雑音のパラメータベクトル＾Ｎ_t-1 ^(j)を、時刻ｔに対応する推定雑音分布のパラメータベクトル＾Ｎ_t ^(j)に更新する。これにより、状態空間４２０内の各パーティクルは更新され、パラメータが更新されたパーティクルにより時刻ｔに対応する状態空間４３０が表現される。

続いて重み算出部２３２は、状態空間４３０内の各パーティクルに対する重みｗ_t ^(j)を、式（２３）及び式（２４）によって算出する。再サンプリング部２３４は、重みｗ_t ^(j)に基づき、パーティクルにおける雑音のパラメータを再サンプリングする。この際、再サンプリング部２３４はまず、状態空間４３０内の各パーティクルからの再サンプリングの回数を、ｗ_t ^(j)に応じてパーティクルごとに設定する。白抜きの丸印で表される重みの微小なパーティクルからのサンプリングの回数を０に設定する。また、黒塗りの丸印で表される重みの大きなパーティクルからのサンプリングの回数を、重みの大きさに応じて１〜３に設定する。続いて、状態空間４３０内のパーティクルにおける雑音の確率分布に基づき、設定された回数ずつ、雑音のパラメータの再サンプリングを行なう。このようにして、時刻ｔに対応する新たな状態空間４４０を表現するパーティクルがそれぞれ形成される。

再サンプリング部２３４によるこのような再サンプリングが繰返し行なわれると、あるフレームに対応するパーティクルの多くにおける雑音のパラメータが、それ以前の時点のフレームに対応する少数のパーティクルにおける雑音の確率分布からサンプリングされたものとなるおそれがある。そこで、推定雑音分布生成部２３６は、Metropolis-Hastingsアルゴリズムを用いて、新たに時刻ｔに対応するパーティクルにおけるパラメータを生成することにより、このような事態を防止する。図６に示す再更新部２６２は、状態空間４４０における推定雑音分布にしたがい、時刻ｔ−１に対応する状態空間４２０内のパーティクルにおける雑音のパラメータを再更新する。重み再計算部２６４は、再更新されたパーティクルに対する重みｗ_t ^*(j)を算出する。許容確率算出部２６６は、再更新されたパーティクルに対する重みｗ_t ^*(j)と、再サンプリングされたパーティクルに対する重みｗ_t ^(j)とを基に、許容確率νを算出する。パラメータ選択部２７０は、許容確率νと、乱数発生部２６８が発生した［０，１］の区間の乱数ｕとを比較し、乱数ｕが許容確率ν以下であれば、再サンプリングされたパーティクルにおけるパラメータを、再更新されたパーティクルにおけるパラメータで置換する。さもなければ、再更新されたパーティクルにおけるパラメータを破棄する。

以上のような動作をフレームごとに繰返すことにより、各フレームに対応して、各パーティクルにおける推定雑音分布２０６のパラメータベクトルＮ_t ^(j)及び共分散行列Σ_Nt ^(j)が推定される。雑音確率分布推定部２００は、各パーティクルにおける推定雑音分布２０６のパラメータベクトルＮ_t ^(j)及び共分散行列Σ_Nt ^(j)と、各パーティクルに対する重みｗ_t ^(j)と、当該パーティクルにおけるクリーン音声ＨＭＭ１３０の出力パラメータ及びそのサンプリング元である状態ｓ_t ^(j)と、雑音重畳音声の特徴量ベクトルＸ_tとを、フレームごとに、図４に示すパラメータ生成部２０２に与える。

図４を参照して、パラメータ生成部２０２は、ＶＴＳ法によって、時刻ｔに対応する各パーティクルにおける雑音重畳音声の確率モデルの平均ベクトル及び共分散行列（２０８）を生成する。これにより、各パーティクルにおいて雑音の確率分布と、雑音重畳音声の確率分布とが推定されたことになる。クリーン音声推定部２０４は、ＭＭＳＥ推定法により、時刻ｔのフレームに対応する各パーティクルにおいて、クリーン音声のＭＭＳＥ推定値ベクトル＾Ｓ_t ^(j)を算出する。さらに、ＭＭＳＥ推定値ベクトル＾Ｓ_t ^(j)と重みｗ_t ^(j)とを用いて、時刻ｔにおけるクリーン音声の推定特徴量ベクトル＾Ｓ_tを算出し、図１に示す探索部１１０に出力する。

図１に示す探索部１１０は、クリーン音声の推定特徴量ベクトル＾Ｓ_tを用いて、クリーン音声ＨＭＭ１３０と、言語モデル部１０８に保持された言語モデルとを基に、適合する目的言語の単語等を探索し、その結果を認識出力１２８として出力する。

［実験］
本実施の形態に係る音声認識システム１００による効果を確認するために、雑音重畳音声からの雑音の推定実験と、雑音重畳音声の認識実験とを行なった。以下、実験方法及び結果について説明する。

本実験においては、日本語の雑音下音声認識評価用共通データベースに収録されたクリーン音声１００１文のデータに雑音を人工的に加算して、雑音重畳音声を生成した。加算する雑音には、それぞれ実環境で収録された工場雑音と道路工事雑音とを使用した。本実験では、雑音を加算していないクリーン音声と、クリーン音声に２０ｄＢから０ｄＢまでのＳＮＲ（Signal-to-Noise Ratio）で雑音を加算した雑音重畳音声とを用意し、試料とした。なお、クリーン音声の各文には、ＣＭＳ（Cepstrum Mean Subtraction）処理を施した。その他、音声認識の際の音響分析条件は、次の表１に示す通りであった。

雑音認識実験では、比較のために、上記の各試料から、本実施の形態に係る雑音抑圧処理の方法を含む次の５種の処理方法で、探索に用いる特徴量を生成した。すなわち、（Ａ）雑音抑圧処理を行なわない雑音重畳音声の特徴量（ベースライン）、（Ｂ）ＥＴＳＩ（European Telecommunications Standards Institute）により勧告されているＥＴＳＩ Ａｄｖａｎｃｅｄ ｆｒｏｎｔ−ｅｎｄ（ＥＳ ２０２）による雑音抑圧処理を施した特徴量、（Ｃ）雑音の確率分布を更新せずに実行される従来のＭＭＳＥ推定（従来型ＭＭＳＥ）により得られる推定特徴量、（Ｄ）パーティクルフィルタを用いた本実施の形態に係る雑音抑圧処理により得られる推定特徴量、及び（Ｅ）雑音重畳音声への加算前の雑音（真の雑音）を用いて実行されるＭＭＳＥ推定により得られる推定特徴量である。

パーティクルフィルタを用いた雑音抑圧処理において、クリーン音声ＨＭＭには、１状態５１２混合モデル、４状態１２８混合モデル、８状態６４混合モデル、及び１６状態３２混合モデルの４種を用いた。

図１２及び図１３にそれぞれ、工場雑音及び道路工事雑音の各フレームにおける、メル対数フィルタバンクの１番目のフィルタによる出力値と、当該出力値の移動平均と、雑音抑圧処理において当該出力値に対応する推定結果とを示す。これらグラフの横軸は、雑音のフレーム番号を表す。グラフ上、左から右に進むにしたがい時間が推移する。図１２及び図１３を参照して、本実施の形態に係る雑音抑圧処理における雑音の推定結果は、工場雑音及び道路工事雑音のいずれにおいても、雑音の移動平均に近い時間軌跡となっている。よって、本実施の形態に係る雑音抑圧処理において、時間変動が推定できていることが分かる。

また、この雑音推定実験における処理に、クロック周波数３．２ギガヘルツ、３２ビットの市販のＣＰＵ（Central Processing Unit）を用いた場合、処理に要した時間は、雑音重畳音声における実時間の０．８倍であった。すなわち、雑音推定処理を実時間で処理できることが明らかとなった。

表２に、工場雑音を加算して得られた雑音重畳音声に対する認識実験で得られた単語認識精度を、上記（Ａ）〜（Ｅ）の処理方法別に示す。また、表３に、道路工事雑音を加算して得られた雑音重畳音声に対する認識実験で得られた単語認識精度を、上記（Ａ）〜（Ｅ）の処理方法別に示す。なお、これらの表の「（Ｄ）パーティクルフィルタ」の項目においては、雑音抑圧処理に用いたクリーン音声ＨＭＭの状態数ごとに単語認識精度を示す。

表２及び表３を参照して、（Ｄ）パーティクルフィルタによる雑音抑圧処理を行なうことで、良好な単語認識精度が得られることが分かる。特に、ＳＮＲの小さな雑音重畳音声すなわち雑音成分の割合が大きな雑音重畳音声においては、（Ｄ）パーティクルフィルタによる雑音抑圧処理により、高い単語認識精度が得られることが分かる。

以上の実験結果から、本実施の形態の雑音抑圧処理により、雑音下での音声認識性能が改善され、かつ実時間処理が可能になることが明らかとなった。

［変形例等］
なお、本実施の形態においては、パーティクルフィルタによる処理を雑音抑圧に用いている。そのため、雑音抑圧後の推定クリーン音声のパラメータを用いて探索を行なう前に、さらに音響モデル適応を行なうこともできる。音響モデル適応により、推定クリーン音声に適合した音響モデルを探索に用いることができるようになる。したがって、認識精度が向上することが期待される。

今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内でのすべての変更を含む。

本発明の一実施の形態に係る音声認識システム１００の構成を示す概略図である。 クリーン音声ＨＭＭ１３０の概念を示す概略図である。 雑音重畳音声の状態空間モデル１６０の概念を示す概略図である。 雑音抑圧部１１４の構成を示すブロック図である。 雑音確率分布推定部２００の構成を示すブロック図である。 推定雑音分布生成部２３６の構成を示すブロック図である。 雑音抑圧処理の制御構造を示すフローチャートである。 雑音確率分布推定処理の制御構造を示すフローチャートである。 Metropolis-Hastingsアルゴリズムによるサンプリング処理の制御構造を示すフローチャートである。 クリーン音声ＨＭＭ１３０からパラメータをサンプリングする動作の概要を示す図である。 パーティクルフィルタによる処理の概要を示す図である。 工場雑音のメルフィルタバンク出力値と当該雑音の推定値とのフレームごとの変化を示す図である。 道路工事雑音のメルフィルタバンク出力値と当該雑音の推定値とのフレームごとの変化を示す図である。

符号の説明

１００ 音声認識システム
１０２ 音源
１０４ 前処理部
１０６ 音響モデル部
１０８ 言語モデル部
１１０ 探索部
１１２ 計測部
１１４ 雑音抑圧部
１１６ 話者
１１８ 雑音源
１２０ クリーン音声
１２２ 雑音
１２４ 特徴量
１３０ クリーン音声ＨＭＭ
１３２ 学習データ
１３４ モデル学習部
１３６ クリーン音声ＨＭＭ記憶部
１６０ 状態空間モデル
２００ 雑音確率分布推定部
２０２ パラメータ生成部
２０４ クリーン音声推定部
２２０ フレーム選択部
２２２ 雑音初期分布推定部
２２４ 逐次計算部
２２６ クリーン音声ＨＭＭサンプリング部
２３０ 更新部
２３２ 重み算出部
２３４ 再サンプリング部
２３６ 推定雑音分布生成部
２６２ 再更新部
２６４ 重み再計算部
２６６ 許容確率算出部
２６８ 乱数発生部
２７０ パラメータ選択部

Claims (7)

1. 目的音声と雑音とが重畳した雑音重畳音声について所定周期ごとにフレーム化された所定時間長のフレームよりそれぞれ抽出される特徴量を受けて、前記雑音重畳音声に関する所定の状態空間モデルと、前記目的音声に関する所定の音響モデルとを基に、複数のパーティクルを有するパーティクルフィルタを用いて、前記雑音の推定パラメータを前記フレームごとに逐次生成するための雑音推定手段と、
   前記雑音重畳音声の特徴量と、前記雑音の推定パラメータと、前記音響モデルとを用いて、前記フレームごとに前記目的音声の推定特徴量を算出するための目的音声推定手段とを含む、雑音抑圧装置。
2. 前記雑音推定手段は、
   前記雑音重畳音声の特徴量を基に前記雑音の初期分布を推定し、当該初期分布にしたがった確率で、前記複数のパーティクルの各々における雑音の初期パラメータをそれぞれサンプリングするための初期パラメータ推定手段と、
   前記音響モデルと前記雑音重畳音声の特徴量とを基に、拡張カルマンフィルタを用いて、各パーティクルにおける先行する第１のフレームの雑音の推定パラメータをそれぞれ前記第１のフレームに後続する第２のフレームに対応するものに更新するための更新手段と、
   前記第２のフレームにおける前記複数のパーティクルの各々の重みを算出するための重み算出手段と、
   前記更新手段により更新された雑音の推定パラメータと前記重み算出手段により算出された重みとにより前記複数のパーティクルの各々について表現される雑音パラメータの確率分布に基づき、前記複数のパーティクルにおける前記第２のフレームの雑音の推定パラメータをそれぞれ再サンプリングするための再サンプリング手段とを含む、請求項１に記載の雑音抑圧装置。
3. 前記雑音推定手段はさらに、
   前記再サンプリング手段により再サンプリングされたパラメータを基に、前記複数のパーティクルの各々において、前記第１のフレームに対応する前記雑音の推定パラメータをそれぞれ、前記第２のフレームに対応するものに再更新するための再更新手段と、
   前記複数のパーティクルの各々において、前記再更新手段により再更新された前記雑音の推定パラメータと、前記再サンプリング手段により再サンプリングされた前記雑音の推定パラメータとの一方を、所定の判定基準にしたがい前記第２のフレームの雑音の推定パラメータとして選択するための選択手段とを含む、請求項２に記載の雑音抑圧装置。
4. 前記目的音声推定手段は、
   前記雑音重畳音声の特徴量と、前記雑音の推定パラメータと、前記音響モデルとを基に、前記フレームに対応する前記雑音重畳音声の確率モデルを合成するための雑音重畳音声モデル合成手段と、
   前記雑音重畳音声の特徴量、前記雑音の推定パラメータ、前記音響モデル、及び前記雑音重畳音声の確率モデルを基に、前記フレームごとに、前記目的音声の推定特徴量を算出するための推定特徴量算出手段とを含む、請求項１に記載の雑音抑圧装置。
5. 前記雑音重畳音声モデル合成手段は、前記複数のパーティクルの各々に対して、前記雑音の推定パラメータと、前記音響モデルとを基に、当該パーティクルにおける雑音重畳音声の確率モデルのパラメータを推定するためのパラメータ推定手段を含む、請求項４に記載の雑音抑圧装置。
6. 前記推定特徴量算出手段は、
   前記フレームごとに、前記複数のパーティクルの各々の前記目的音声の推定パラメータを、前記雑音重畳音声の特徴量、前記音響モデル、前記雑音の推定パラメータ、及び前記雑音重畳音声の確率モデルを基に算出するための手段と、
   前記複数のパーティクルの各々における前記目的音声の推定パラメータを基に、当該フレームにおける目的音声の推定特徴量を算出するための手段とを含む、請求項４又は請求項５に記載の雑音抑圧装置。
7. 請求項１〜請求項６のいずれかに記載の雑音抑圧装置と、
   前記雑音抑圧装置により算出される前記目的音声の推定特徴量を受けて、前記目的音声に関する前記所定の音響モデルと、認識対象言語に関する所定の言語モデルとを用いて、前記目的音声に関する音声認識を行なうための音声認識手段とを含む、音声認識システム。

Images