JP2006243290A - 外乱成分抑圧装置、コンピュータプログラム、及び音声認識システム - Google Patents

Abstract

【課題】加法性雑音及び残響等の外乱による影響を受ける実環境下での音声認識性能を改善し、外乱の成分の抑圧を短時間で行なうことができる外乱成分抑圧装置を提供する。
【解決手段】外乱成分抑圧部１１４は、加法性雑音及び乗法性歪みが生じる環境下で目的音声を観測することにより得られる観測信号について、所定周期ごとにフレーム化された所定時間長のフレームよりそれぞれ抽出される特徴量１２４を受け、複数のパーティクルを有するパーティクルフィルタを用いて、外乱を表すパラメータ２０６をフレームごとに逐次生成するための外乱確率分布推定部２００と、観測信号の特徴量１２４と、外乱の推定パラメータ２０６と、ＧＭＭ１３０とを用いて、フレームごとに目的音声の推定特徴量１２６を算出するためのパラメータ生成部２０２及びクリーン音声推定部２０４とを含む。
【選択図】 図５

Description

本発明は、音声に影響を与えるような外乱が発生する実環境下での音声認識技術に関し、特に、非定常的な加法性雑音と残響等の乗法性歪みとが発生する環境下での音声認識精度を改善するための、外乱成分抑圧装置及びそれを使用した音声認識システムに関する。

人間にとって容易かつ自然なヒューマンマシンインタフェースを実現するための技術として、音声認識技術が研究されている。近年では、大規模な音声・テキストデータベースと統計確率的な音声認識手法とにより、高い認識率での音声認識が実現されるようになった。今日ではさらに、人間が機械と接する実環境下において、高速にかつ高い認識率で音声認識を実現するための応用技術開発が進められている。

実環境が実験室等の環境と大きく異なる点の一つに、雑音の存在がある。雑音は、無視できない音量で絶間なく不規則に発生する。加えて実環境ではさらに、その環境下での音声の空間伝達特性に依存して、又は残響等によって、音声に乗法性の歪みが生じる。このような外乱は、音声認識を行なう際の妨げとなる。これらの外乱が生じる環境下での音声認識性能の改善は、音声認識の応用技術開発を行なう上で、早急に解決されるべき問題である。

雑音環境下での音声認識性能を改善するための技術のひとつに、音声認識の前処理の段階で雑音を推定し抑圧する技術がある。後掲の非特許文献１には、雑音抑圧の一般的な方法であるスペクトルサブトラクション法が開示されている。この方法では、発話の前の区間において観測された雑音の振幅スペクトルが発話中の区間における雑音の振幅スペクトルと同じであると仮定し、発話から得られた音声信号の振幅スペクトルから、発話直前に観測された雑音の振幅スペクトルを減算することで雑音を抑圧する。

音声認識の前処理の段階において雑音を逐次的に推定し抑圧する技術もある。非特許文献２には、逐次ＥＭ（Expectation Maximization）アルゴリズムを適用して雑音の最尤推定値を逐次的に求める手法が開示されている。逐次ＥＭアルゴリズムを用いて逐次的に雑音を推定する手法では、雑音の時間変動に対処しつつ高精度に雑音の推定及び抑圧を行なうことができる。

非特許文献３及び非特許文献４に開示された、カルマンフィルタを用いて雑音の推定値を逐次的に求める手法も一般的に用いられている。この手法では、一期先予測とフィルタリングとを交互に行なうことによって、雑音を逐次的に推定し抑圧する。

また、雑音環境下での音声認識性能を改善するための技術として、雑音を考慮した確率モデルを用いて適応的に音声認識を行なう技術がある。例えば後掲の特許文献１には、パーティクルフィルタと呼ばれる逐次推定法を用いて、雑音パラメータの推定と、隠れマルコフモデル（ＨＭＭ：Hidden Markov Model）を構成する隠れ状態の時間的成長とを行ない、当該隠れマルコフモデルに基づく音声認識を行なう音声認識システムが開示されている。

乗法性歪みが生じる環境下での音声認識性能を改善するための技術として、ケプストラム平均減算法（Cepstrum Mean Subtraction：ＣＭＳ）を用いて乗法性歪みを除去する技術がある。この手法は、収録用のマイクロホンの特性による歪みなど、分析窓長より短いインパルス応答長の伝達特性を持つ乗法性歪みを除去することができる。

非特許文献５には、反射音を加法性雑音とみなして残響下での音声認識を行なう技術が開示されている。この技術では、残響下で観測される音声（以下、「残響音声」と呼ぶ。）を、１次線形予測により表現している。ここに、時刻ｔにおける目的音声及び残響音声の線形メルスペクトルを要素に持つベクトルをＳ_t ^Lin、及びＸ_S,t ^Linとし、各メル周波数領域での音声の伝達特性、すなわち乗法性歪みの線形メルスペクトルを対角成分に持つ行列をＨ^Linとする。また、各メル周波数領域での残響の線形予測係数を対角成分に持つ行列をＡ^Linとする。この技術では、残響音声のベクトルＸ_S,t ^Linを次の再帰式によって表現する。

Ｘ_S,t ^Lin＝Ｈ^LinＳ_t ^Lin＋Ａ^LinＸ_S,t-1 ^Lin
また、この技術では、行列Ｈ^Linの要素すなわち乗法性歪みの線形メルスペクトルと、行列Ａ^Linの要素すなわち残響の線形予測係数を、それぞれ時間固定のパラメータとみなし、ＥＭアルゴリズムによりこれらのパラメータを推定する。上記の再帰式により、分析窓長よりも長いインパルス応答長の歪みも表現されるため、反射音の影響等をモデル化することができる。

特開２００２−２５１１９８号公報 Ｓ．Ｆ．ボル：「スペクトルサブトラクションを用いた、音声内の音響ノイズの抑圧」、ＩＥＥＥ Ｔｒａｎｓ． ＡＳＳＰ、Ｖｏｌ．２７、Ｎｏ．２、１１３−１２０頁、１９７９年（S.F.Boll: "Suppression of Acoustic Noise in Speech Using Spectral Subtraction," IEEE Trans. ASSP, Vol. 27, No. 2, pp. 113-120, 1979） Ｍ．アフィフィ、Ｏ．シオアン：「ロバスト音声認識のための最適な忘却による逐次推定」、ＩＥＥＥ Ｔｒａｎｓ． ＳＡＰ、Ｖｏｌ．１２、Ｎｏ．１、１９−２６頁、２００４年（M.Afify, O.Siohan: "Sequential Estimation with Optimal Forgetting for Robust Speech Recognition," IEEE Trans. SAP, Vol. 12, No.1, pp. 19-26, 2004） 有本 卓：「カルマンフィルター」、産業図書 中野 道雄 監修、西山 清 著：「パソコンで解くカルマンフィルタ」、丸善 タキグチ テツヤ他：「１次線形予測を用いた残響音声の認識」、ＩＣＡＳＳＰ’０４、８６９−８７２頁、２００４年５月（T.Takiguchi et al: "Reverberant speech recognition using first-order linear prediction," ICASSP'04, pp. 896-872, May 2004）

実環境において雑音の多くは非定常な雑音である。すなわち、雑音の音響的特徴は時間の経過に伴い変動する。非特許文献１に記載のスペクトルサブトラクション法のように、雑音が定常的なものであるという前提のもとで雑音の推定及び抑圧を行なう技術では、雑音の時間変動に対応できず、高精度に雑音を抑圧することができない。

非特許文献２に記載された逐次ＥＭアルゴリズムを用いた手法は、尤度関数の局所最適値に値が収束するまで反復計算を行なう。そのため、雑音が変動する度に膨大な量の計算が必要となり、計算に時間を要する。よって、この手法により実時間で雑音を推定し抑圧するのは困難である。

非特許文献３及び非特許文献４に開示されたカルマンフィルタを用いる推定方法は、一期先予測とフィルタリングとを交互に行ない逐次推定を行なう。そのため、逐次ＥＭアルゴリズムのような反復計算を必要とはしない。しかし、カルマンフィルタを用いた手法は、雑音の事後確率分布が単一正規分布であるものとして確率分布を推定する。真の確率分布が混合分布であった場合には、単一正規分布で近似される。そのため、精度が劣化する。

特許文献１に記載の音声認識システムのように、雑音を考慮したモデルを用いて音声認識を行なう技術では、雑音が重畳された音声と確率モデルとのマッチングが行なわれる。そのため、例えば音響モデル適応など、雑音のない音声に基づいて行なうべき前処理を実行できない。

非特許文献５に記載の技術では、上記の再帰式により反射音の影響についてモデル化されている。しかし、一般に残響は、音源から離れた地点で音を観測又は収録する際に生じる現象である。音源と観測地点との距離が離れている環境下では、反射音のみならず、音源と観測地点とを取り巻く環境で発生する雑音の存在が無視できなくなる。非特許文献５に記載の技術では、この点について考慮されていない。また、非特許文献５に記載の技術では、行列Ｈ^Linの要素すなわち乗法性歪みの線形メルスペクトルと、行列Ａ^Linの要素すなわち残響の線形予測係数を、それぞれ時間固定のパラメータとみなしている。しかし、実環境においては、例えば音源及びその周囲で音を反射する物体が移動することがある。このような環境下では、乗法性歪みのパラメータも、残響の線形予測係数も時間の経過とともに変動する。そのため、非特許文献５に記載の技術では、残響の時間変動に対応できず、外乱の影響に高精度に対処することができない。

それゆえに、本発明の目的は、非定常雑音及び残響等の乗法性歪みが生じる環境下での音声認識性能を改善し、かつ外乱成分の抑圧を短時間で行なうことができる外乱成分抑圧装置を提供することである。

本発明の第１の局面に係る外乱成分抑圧装置は、加法性雑音及び乗法性歪みが生じる環境下で目的音声を観測することにより得られる観測信号の、外乱の成分を抑圧する装置である。この装置は、観測信号について所定周期ごとにフレーム化された所定時間長のフレームよりそれぞれ抽出される特徴量を受けて、複数のパーティクルを有するパーティクルフィルタを用いて、外乱を表す確率分布の推定パラメータをフレームごとに逐次生成するための外乱パラメータ推定手段と、観測信号の特徴量と、推定パラメータと、目的音声に関する所定の音響モデルとを用いて、フレームごとに目的音声の推定特徴量を算出するための目的音声推定手段とを含む。

好ましくは、外乱パラメータ推定手段は、外乱の初期分布を設定し、当該初期分布にしたがった確率で、複数のパーティクルの各々における外乱を表す確率分布の初期パラメータをそれぞれ設定するための初期パラメータ設定手段と、音響モデルと観測信号の特徴量とを基に、拡張カルマンフィルタを用いて、各パーティクルにおける先行する第１のフレームの推定パラメータをそれぞれ第１のフレームに後続する第２のフレームに対応するものに更新するための更新手段と、第２のフレームにおける複数のパーティクルの各々の重みを算出するための重み算出手段とを含む。

より好ましくは、初期パラメータ設定手段は、観測信号の特徴量を基に加法性雑音の初期分布を推定し、当該初期分布にしたがった確率で、複数のパーティクルの各々における加法性雑音の確率分布の初期パラメータをそれぞれサンプリングするための手段と、複数のパーティクルの各々における乗法性歪みの確率分布の初期パラメータの値を所定値に設定するための手段とを含む。

より好ましくは、外乱パラメータ推定手段はさらに、再サンプリング手段により再サンプリングされたパラメータを基に、複数のパーティクルの各々において、第１のフレームに対応する推定パラメータをそれぞれ、第２のフレームに対応するものに再更新するための再更新手段と、複数のパーティクルの各々において、再更新手段により再更新された推定パラメータと、再サンプリング手段により再サンプリングされた推定パラメータとの一方を、所定の判定基準にしたがい第２のフレームの推定パラメータとして選択するための選択手段とを含む。

好ましくは、目的音声推定手段は、観測信号の特徴量と、推定パラメータと、音響モデルとを基に、フレームに対応する観測信号の確率モデルを合成するための観測信号モデル合成手段と、観測信号の特徴量、推定パラメータ、音響モデル、及び観測信号の確率モデルを基に、フレームごとに、目的音声の推定特徴量を算出するための推定特徴量算出手段とを含む。

より好ましくは、観測信号モデル合成手段は、複数のパーティクルの各々に対して、推定パラメータと、音響モデルとを基に、当該パーティクルにおける観測信号の確率モデルのパラメータを推定するためのパラメータ推定手段を含む。

推定特徴量算出手段は、フレームごとに、複数のパーティクルの各々の目的音声の推定パラメータを、観測信号の特徴量、音響モデル、推定パラメータ、及び観測信号の確率モデルを基に算出するための手段と、複数のパーティクルの各々における目的音声の推定パラメータを基に、当該フレームにおける目的音声の推定特徴量を算出するための手段とを含んでもよい。

本発明の第２の局面に係るコンピュータプログラムは、コンピュータにより実行されると、コンピュータを本発明の第１の局面に係るいずれかの外乱成分抑圧装置として動作させる。

本発明の第３の局面に係る音声認識システムは、本発明の第１の局面に係るいずれかの外乱成分抑圧装置と、外乱成分抑圧装置により算出される目的音声の推定特徴量を受けて、目的音声に関する所定の音響モデルと、認識対象言語に関する所定の言語モデルとを用いて、目的音声に関する音声認識を行なうための音声認識手段とを含む。

以下、図面を参照しつつ、本発明の一実施の形態について説明する。なお、以下の説明に用いる図面では、同一の部品には同一の符号を付してある。それらの名称及び機能も同一である。したがって、それらについての説明は繰返さない。以下の説明のテキスト中で使用する記号「＾」等は、本来はその直後の文字の直上に記載すべきものであるが、テキスト記法の制限により当該文字の直前に記載する。式中では、これらの記号等は本来の位置に記載してある。また以下の説明のテキスト中では、ベクトル又は行列については例えば「ベクトルＸ_ｔ」、「行列Σ_W」等のように直前に「ベクトル」、「行列」等を付した通常のテキストの形で記載するが、式中ではいずれも太字で記載する。

［構成］
図１に、本実施の形態に係る音声認識システム１００全体の構成を示す。図１を参照して、この音声認識システム１００は、音源１０２が発生する音１２２を収集し、収集した音から認識に用いる特徴量を抽出するための前処理部１０４と、前処理部１０４に接続され、音声と音素との関係を表す確率モデル（音響モデル）を準備するための前処理用音響モデル部１０６と、認識対象の言語における単語の連接確率等を表す確率モデル（言語モデル）を準備するための言語モデル部１０８と、前処理部１０４から出力された特徴量に対応する単語等を、言語モデル部１０８の言語モデルを用いて探索するための探索部１１０と、探索部１１０に接続され、探索部１１０による探索に用いられる音響モデルを準備するための認識用音響モデル部１０９とを含む。

音源１０２は、認識されるべき音声（目的音声）１２０を発話する話者１１６と、話者１１６の周囲において音の伝達に影響を及ぼす外乱要因１１８とを含む。前処理部１０４に到達する音１２２は、話者１１６の発話により発生した目的音声１２０ではなく、外乱要因１１８の影響を受けて変化した音となる。本明細書では、話者１１６の発話により発生する雑音のない目的音声１２０を、「クリーン音声」と呼ぶ。また、前処理部１０４により収録される音、すなわち外乱要因１１８の影響により変化した状態で前処理部１１４に到達する音１２２を「観測音」と呼ぶ。

前処理用音響モデル部１０６は、クリーン音声１２０に対するガウス混合モデル（ＧＭＭ：Gaussian Mixture Model）からなる音響モデルを準備し保持する。前処理用音響モデル部１０６は、予め用意された大量の学習データを記憶するための学習データ記憶部１３２と、学習データ記憶部１３２に記憶された学習データを用いてＧＭＭに対する学習処理を行なうためのモデル学習部１３４と、モデル学習部１３４による学習で得られるＧＭＭ１３０を記憶するためのＧＭＭ記憶部１３６とを含む。

図２に、ＧＭＭ１３０の概念を模式的に示す。図２を参照して、ＧＭＭ１３０は、時系列信号の値を、一つの定常信号源（状態）によりモデル化した確率モデルである。このＧＭＭ１３０においては、出力確率が定義される。具体的には、ＧＭＭ１３０では、時刻ｔにおいてクリーン音声１２０として出力される可能性のある値と、その値が出力される確率とが定義される。ＧＭＭ１３０においては、出力確率は混合正規分布によって表現される。例えばＧＭＭ１３０は単一正規分布１４８Ａ，１４８Ｂ，…，１４８Ｋからなる混合正規分布を持つ。

再び図１を参照して、前処理部１０４は、観測音１２２を収録し、得られる観測信号に所定の信号処理を施すことにより、当該観測信号に関する所定の特徴量ベクトル（以下単に「特徴量」と呼ぶ。）１２４を抽出するための計測部１１２と、計測部１１２が抽出する特徴量１２４に含まれる外乱の成分を、ＧＭＭ１３０を用いて抑圧するための外乱成分抑圧部１１４とを含む。

具体的には、計測部１１２は、観測信号を時間長数１０ミリ秒のフレームごとに対数メルフィルタバンク分析し、得られる対数メルスペクトルを要素とするベクトルを特徴量１２４として出力する。

外乱成分抑圧部１１４は、ＧＭＭ１３０を用いて、観測信号の特徴量１２４からクリーン音声１２０の特徴量を推定する。そして推定により得られた特徴量１２６を探索部１１０に出力する。本明細書では、推定クリーン音声の特徴量１２６によって表される音声を「推定クリーン音声」と呼ぶ。

図３に、外乱要因１１８の信号モデルを模式的に示す。図３を参照して、クリーン音声１２０は、図１に示す話者１１６から計測部１１２までの空間伝達特性等に依存して乗法性歪みを受けるため、話者１１６から計測部１１２に到達する音５００は、クリーン音声１２０と異なる音となる。ここに、時刻ｔのフレーム（以下、単に「第ｔフレーム」と呼ぶ。）におけるクリーン音声１２０の線形メルスペクトルを要素に持つベクトルをＳ_t ^Linとし、乗法性歪みの線形メルスペクトルを対角成分に持つ行列をＨ_t ^Linとする。計測部１１２に到達する音５００の線形メルスペクトルを要素に持つベクトルをＸ_S,t ^Lin（Ｄ）とすると、Ｘ_S,t ^Lin（Ｄ）は一般に、次の式で表現される。すなわち、
Ｘ_S,t ^Lin（Ｄ）＝Ｈ_t ^LinＳ_t ^Lin

しかし、観測音１２２は、残響の影響を受ける。すなわち、直接的に到達する音５００だけでなく、周囲の壁面等により反射して計測部１１２に到達する反射音５０２の影響を受ける。本実施の形態では、反射音を加法性雑音とみなす。反射音５０２の線形メルスペクトルを要素に持つベクトルをＸ_S,t ^Lin（Ｒ）とし、残響の影響を受けて計測部１１２に到達した音をＸ_S,t ^Linとすると、Ｘ_S,t ^Linは、次の式で表現される。すなわち、
Ｘ_S,t ^Lin＝Ｘ_S,t ^Lin（Ｄ）＋Ｘ_S,t ^Lin（Ｒ）

直接音５００と反射音５０２とはいずれも話者１１６が発した音であるが、伝播する経路の違いにより、反射音５０２は、直接音５００より遅延して計測部１１２に到達する。非特許文献５によれば、各メル周波数帯域における残響の線形予測係数を対角成分に持つ行列を行列Ａ_t ^Linとすると、Ｘ_S,t ^Lin（Ｒ）は、次の式で表現される。すなわち、
Ｘ_S,t ^Lin（Ｒ）＝Ａ_t ^LinＸ_S,t-1 ^Lin

さらに実環境では、話者１１６及び計測部１１２の周囲において雑音５０４が発生し、計測部１１２に到達する。ここに雑音５０４の線形メルスペクトルを要素に持つベクトルをＮ_t ^Linとし、観測音１２２の線形メルスペクトルを要素に持つベクトルをＸ_S+N,t ^Linとする。Ｘ_S+N,t ^Linは、次の信号モデルによりモデル化できる。すなわち、
Ｘ_S+N,t ^Lin＝Ｘ_S,t ^Lin＋Ｎ_t ^Lin＝Ｈ_t ^LinＳ_t ^Lin＋Ｎ_t ^Lin＋Ａ^LinＸ_S,t-1 ^Lin
反射音は観測できないため、この式において反射音のベクトルＸ_S,t-1 ^Linを次のように近似する。すなわち、
Ｘ_S,t-1 ^Lin＝Ｘ_S+N,t-1 ^Lin−Ｎ_t-1 ^Lin

第ｔフレームにおける観測信号の特徴量１２４、すなわち観測音１２２から得られる対数メルスペクトルを要素に持つベクトルを特徴量ベクトルＸ_tとする。なお、特徴量ベクトルＸ_tは、ベクトルＸ_S,t ^Linの各要素を対数メルスペクトル領域に変換することにより得られるベクトルである。特徴量ベクトルＸ_tは、計測により得られる既知のパラメータである。特徴量ベクトルＸ_tは、クリーン音声１２０の対数メルスペクトルを要素に持つベクトルＳ_tが外乱の影響で変化したベクトルである。ベクトルＳ_tは、未知のベクトルである。外乱には、乗法性歪み、残響、及び加法性雑音による影響分が含まれる。ここに、乗法性歪みの対数メルスペクトルを対角成分に持つ行列をＨ_tとし、加法性雑音の対数メルスペクトルを要素に持つベクトルをＮ_tとする。また、外乱には、残響による影響分も含まれる。さらに第ｔフレームにおける線形予測係数の対数を対角成分に持つ行列を行列Ａ_t、反射音のベクトルＸ_S,t-1 ^Linの各要素を対数化したベクトルをＸ_S,t-1とする。

上記したベクトルＸ_t、Ｓ_t、Ｎ_t、及びＸ_S,t-1の次元数は同一である。また、行列Ｈ_t及びＡ_tの行数及び列数は同一である。なお、以下に説明する処理はこれらベクトル及び行列の要素についてそれぞれ行なわれるが、以下の説明では、簡単のために各の要素を特に区別して言及することはしない。

図４に、観測信号の観測過程及び雑音の状態変化過程を表現する状態空間モデル１６０を示す。図４を参照して、状態空間モデル１６０において、クリーン音声１２０の出力過程はＧＭＭでモデル化できるものと仮定する。すなわち、第ｔフレームにおけるクリーン音声１２０の成分であるベクトルＳ_tは、ＧＭＭ１３０内のある要素分布にしたがって出力されるものと仮定する。

ＧＭＭ１３０において、第ｔフレームに対応する要素分布をｋ_tとする。なお、要素分布ｋ_tは、平均をμ_S,ktとし分散をΣ_S,ktとする単一正規分布とする。また、要素分布ｋ_tから出力されるパラメータのベクトルをベクトルＳ_kt,tとする。以下、ＧＭＭ１３０から出力されるパラメータベクトルＳ_kt,tを、「（ＧＭＭ１３０の）出力パラメータ」と呼ぶ。クリーン音声１２０の特徴量ベクトルＳ_tと、出力パラメータベクトルＳ_kt,tとの間には誤差が存在する。また、Ｘ_S+N,t ^Linを対数メルスペクトル領域に変換する際にも誤差を伴う。これらの誤差もまたベクトルであり、これらの誤差のベクトルをまとめて、ベクトルＶ_tとする。また、外乱要因１１８による外乱を表す行列をΛ_t＝（Ｎ_t，Ｈ_t，Ａ_t）とする。観測信号の特徴量ベクトルＸ_t（１２４）の観測過程は、上記のＸ_S+N,t ^Linを対数メルスペクトル領域に変換することにより、ＧＭＭ１３０の出力パラメータベクトルＳ_kt,t及び誤差ベクトルＶ_t、並びにベクトルＸ_t、Ｓ_t、Ｎ_t、及びＸ_S,t-1、並びに行列Ｈ_t及びΛ_tを用いて、次の式（１）により表現される。

なお、式（１）でＩは単位行列を表す。また行列の対数、行列の指数演算はそれぞれ、行列の各要素について対数をとり、又は指数計算をし、その結果を成分とする行列を表すものとする。誤差ベクトルＶ_tは、次の式（２）のように平均が０で分散がΣ_S,ktの単一正規分布で表現される確率分布にしたがう値を要素に持つものとする。

ただしこの式においてΣ_S,ktはＧＭＭ１３０内のある要素分布ｋ_tより得られるパラメータの共分散行列を表し、記号「〜」は左辺の値が右辺に示される確率分布にしたがうことを示す。すなわち、左辺の値が右辺に示す確率分布にしたがったサンプリングにより推定できることを示す。また、この式において、「Ｎ（μ，Σ）」は、平均値ベクトルμ、分散Σの単一正規分布を表す。

また状態空間モデル１６０において、外乱を表す行列Λ_tは、ランダムウォーク過程にしたがって変化するものと仮定する。すなわち、第ｔ−１フレームにおける外乱を表す行列Λ_t-1と時刻ｔにおける外乱を表す行列Λ_tとの間に誤差が生じるものと仮定する。ベクトルＮ_t、行列Ｈ_t、及び行列Ａ_tに対するこの誤差をそれぞれ、ベクトルＷ_N、行列Ｗ_H、及び行列Ｗ_Aとし、これらをまとめて誤差を表す行列Ｗ_t＝（Ｗ_Nt，Ｗ_Ht，Ｗ_At）と定義する。外乱を表す行列Λ_tの時間変動は、次の式（３）により表現される。

この式において、誤差を行列Ｗ_t＝（Ｗ_Nt，Ｗ_Ht，Ｗ_At）を構成する、ベクトルＷ_Nt、行列Ｗ_Ht、及び行列Ｗ_Atはそれぞれ予測誤差であり、それぞれ平均０、共分散行列がΣ_WN、Σ_WH、及びΣ_WAの単一正規分布で表現される確率分布にしたがう白色性ガウス雑音であるものとする。誤差を表す行列Ｗ_tは、次の式（４）のように単一正規分布にしたがう。

ただし、式（４）においてΣ_Wは、誤差を表す行列Ｗ_tの共分散行列を表す。

図１に示す外乱成分抑圧部１１４は、上記の式（１）〜式（４）により表現される状態空間モデル１６０を用いて、フレームごとに、クリーン音声の特徴量ベクトルを逐次推定する。

図５に、外乱成分抑圧部１１４の構成をブロック図で示す。図５を参照して、外乱成分抑圧部１１４は、観測信号の特徴量Ｘ_t（１２４）を受けて、ＧＭＭ１３０を用いて状態空間モデル１６０における外乱を表す行列Λ_tの確率分布（以下、「外乱確率分布」と呼ぶ。）を推定するための外乱確率分布推定部２００と、外乱確率分布推定部２００により推定された外乱確率分布とＧＭＭ１３０とから観測信号の確率モデルの平均ベクトルと共分散行列とを生成するためのパラメータ生成部２０２と、外乱確率分布、観測信号の平均ベクトル及び共分散行列、並びにＧＭＭ１３０を用いて、推定クリーン音声の特徴量１２６を算出するためのクリーン音声推定部２０４とを含む。

外乱確率分布推定部２００は、外乱確率分布をフレームごとに逐次推定し、外乱確率分布を表すパラメータ２０６を出力する機能を持つ。ここに、外乱を表す行列Λ₀，…，Λ_tからなる行列の系列を系列Λ_0:t＝｛Λ₀，…，Λ_t｝とする。系列Λ_0:tの事後確率分布ｐ（Λ_0:t｜Ｘ_0:t）は、１次マルコフ連鎖を用いて、次の式（５）のように表される。

式（５）のｐ（Λ_t｜Λ_t-1）は、単一正規分布を用いて次の式（６）のようにモデル化される。

また、式（５）のｐ（Ｘ_t｜Λ_t）は、単一正規分布を用いて次の式（７）のようにモデル化される。

したがって、状態空間モデル１６０を基に外乱を表す行列Λ_tの確率分布を逐次推定する問題は、観測信号ベクトルＸ_tが与えられた時の事後確率を最大にするような系列Λ_0:tを推定する問題に帰着する。外乱確率分布推定部２００は、観測信号ベクトルＸ_tと状態空間モデル１６０とに基づき、この推定を行なう。

外乱確率分布推定部２００は、外乱を表す行列Λ_tの確率分布を逐次的に推定する際に、パーティクルフィルタと呼ばれる手法を用いる。この推定法は、状態空間内に、局限された状態空間（パーティクル）を多数生成して、各パーティクルにおいてパラメータの確率分布を推定し、状態空間内におけるパラメータの確率分布を、各パーティクルにおいて推定された確率分布を用いて近似的に表現する手法である。この手法では、多数のパーティクルにおける初期的なパラメータを、ランダムなサンプリングにより、又は当該パラメータの初期分布からのサンプリングにより決定する。そして、以下の処理をフレームごとに行なう。すなわち、あるフレームに対応して各パーティクルにおいてパラメータが決定されると、各パーティクルのパラメータを当該フレームに後続するフレームに対応するものに更新し、その更新の尤度に応じて各パーティクルに対して重みを付与する。そして、更新後のパーティクルにおけるパラメータの確率分布にしたがい、当該後続のフレームに対応する各パーティクルのパラメータを再サンプリングする。再サンプリングされたパラメータを基に、当該後続のフレームに対応する各パーティクルのパラメータを決定する。以上の処理をフレームごとに行なうことにより、逐次的に各パーティクルにおけるパラメータを決定する。状態空間におけるパラメータは、パーティクルにおけるパラメータの重み付き和によって近似的に表現される。すなわち、パーティクルの数をＪ、ｊ番目のパーティクルにおいて外乱を表す行列Λ_tに対応する各パラメータからなる行列を行列Λ_t ^(j)とし、当該パーティクルに対する重みをｗ_t ^(j)とすると、式（５）に示す系列Λ_0:tの事後確率分布ｐ（Λ_0:t｜Ｘ_0:t）は、次の式（８）によって近似的に表現される。

パラメータ生成部２０２は、具体的にはＶＴＳ（Vector Taylor Series）法と呼ばれるＨＭＭ合成法によって、パーティクルフィルタにより推定された外乱確率分布を用い、複数のパーティクルにおける観測信号の特徴量ベクトルＸ_tの平均ベクトル及び共分散行列（２０８）をそれぞれ算出する機能を持つ。

クリーン音声推定部２０４は、最小２乗誤差（Minimum Mean Square Error：ＭＭＳＥ）推定法で、フレームごとに、複数のパーティクルにおけるクリーン音声のパラメータをそれぞれ推定し、それら推定されたパラメータの重み付き和によって推定クリーン音声の特徴量１２６を算出する機能を持つ。クリーン音声推定部２０４はさらに、外乱確率分布推定部２００に、次のフレームへの移行に関する要求２１０を発行する機能を持つ。

図６に、外乱確率分布推定部２００の構成をブロック図で示す。図６を参照して、外乱確率分布推定部２００は、観測信号の特徴量１２４とクリーン音声推定部２０４からの要求２１０とを受けて、処理対象となるフレームを選択し、当該フレームにおける観測信号の特徴量１２４をフレームに応じた出力先に出力するためのフレーム選択部２２０と、フレーム選択部２２０から最初の所定フレーム分の観測信号の特徴量１２４を受けて初期状態における外乱確率分布を推定し、各パーティクルにおける外乱の初期的なパラメータを決定するための外乱初期分布推定部２２２と、フレーム選択部２２０からｔ（ｔ≧１）番目フレームにおける観測信号の特徴量１２４を受けて、逐次的に、パーティクルにおける雑音のパラメータと当該パーティクルに対する重みとを算出するための逐次計算部２２４とを含む。

外乱初期分布推定部２２２は、時刻ｔ＝０のフレームにおける外乱を表す行列Λ₀＝（Ｎ₀，Ｈ₀，Ａ₀）の確率分布（以下、「外乱初期分布」）を推定する。この際、加法性雑音の初期分布を以下のようにして推定する。

外乱初期分布推定部２２２はまず、加法性雑音の初期分布、すなわち加法性雑音の初期値ベクトルＮ₀の確率分布ｐ（Ｎ₀）が、単一正規分布であるものとみなし、加法性雑音の初期分布を推定する。加法性雑音の初期分布における平均ベクトルをμ_Nとし、共分散行列を行列Σ_Nとすると、加法性雑音の初期分布ｐ（Ｎ₀）は次の式（９）のように表される。

外乱初期分布推定部２２２は、最初の所定フレーム分の区間の観測信号の特徴量ベクトルＸ_tが加法性雑音の成分のみからなるものとみなし、加法性雑音の初期分布の平均ベクトルμ_N、及び共分散行列Σ_Nを推定する。例えば０≦ｔ≦９の１０フレーム分の区間がこの区間に該当する場合、外乱初期分布推定部２２２は、平均ベクトルμ_N及び共分散行列Σ_Nをそれぞれ、次の式（１０）及び式（１１）によって算出する。ただし、ベクトルの右肩に付した「Ｔ」は転置を表す。

次に外乱初期分布推定部２２２は、初期状態での各パーティクルにおける外乱を表す行列Λ₀ ^(j)を構成するベクトルＮ₀ ^(j)、行列Ｈ₀ ^(j)、及び行列Ａ₀ ^(j)を、式（１２）のように設定する。

すなわち、各パーティクルにおける加法性雑音のベクトルＮ₀ ^(j)を、初期分布ｐ（Ｎ₀）からのサンプリングによって生成し、各パーティクルにおける乗法性歪みの行列Ｈ₀ ^(j)及び残響の行列Ａ₀ ^(j)の各要素の値を０に設定する。

さらに外乱初期分布推定部２２２は、各パーティクルにおける外乱を表す行列Λ₀ ^(j)を構成するベクトルＮ₀ ^(j)、行列Ｈ₀ ^(j)、及び行列Ａ₀ ^(j)の共分散行列Σ_N0 ^(j)、Σ_H0 ^(j)、及びΣ_A0 ^(j)を式（１３）のように設定する。

すなわち、各パーティクルにおける加法性雑音のベクトルＮ₀ ^(j)の共分散行列を、初期分布ｐ（Ｎ₀）の共分散行列に設定し、各パーティクルにおける乗法性歪みの行列Ｈ₀ ^(j)及び残響の行列Ａ₀ ^(j)の共分散行列の各要素を０に設定する。外乱初期分布推定部２２２は、式（１２）と式（１３）とに示す設定を、パーティクルｊ（１≦ｊ≦Ｊ）ごとに行なう。

逐次計算部２２４は、ＧＭＭ１３０の出力パラメータ１４０をサンプリンするためのＧＭＭサンプリング部２２６と、第ｔフレームにおける観測信号の特徴量１２４を受け、各パーティクルにおける外乱のパラメータを更新するための更新部２３０と、更新後のパーティクルに対する重みをそれぞれ算出するための重み算出部２３２と、重み算出部２３２により算出された重みに基づき、パーティクルにおける外乱のパラメータを再サンプリングするための再サンプリング部２３４と、再サンプリングされたパーティクルにおける外乱のパラメータと第ｔ−１フレームにおける各パーティクルにおける外乱のパラメータとに基づき、各パーティクルにおける外乱のパラメータを決定し、推定外乱分布２０６を生成するための推定外乱分布生成部２３６とを含む。

更新部２３０は、状態空間モデル１６０（図４）を基に構成される拡張カルマンフィルタを用いて、第ｔ−１フレームに対応するパーティクルにおける雑音のパラメータを、第ｔフレームに対応するものに更新する機能を持つ。拡張カルマンフィルタは、式（１）に示すように非線形項を含む状態空間モデルに対応したカルマンフィルタである。本実施の形態における拡張カルマンフィルタの分布更新式を、以下の式（１４）〜式（１９）に示す。なお、これらの数式において第ｔ−１フレームに対応するパラメータから予測される第ｔフレームにおけるパラメータについては添え字として「_t|t-1」を付してある。

ただし、式（１７）及び式（１８）のベクトルＳ^(j) _kt ^(j) _,tは、ｊ番目のパーティクルにおいてＧＭＭ１３０（図２参照）の出力パラメータベクトルＳ_kt,tに相当するパラメータである。また前述した通り、行列Σ_Wは、第ｔ−１フレームから第ｔフレームへの状態変化の際に外乱を表す行列Λ_tに生じる誤差の行列Ｗ_tの共分散行列を表す。

ＧＭＭサンプリング部２２６は、ＧＭＭ１３０（図２参照）内の混合分布から、要素分布である単一正規分布ｋ_t ^(j)をその混合重みに基づいてサンプリングする。ＧＭＭサンプリング部２２６はさらに、サンプリングされた要素分布ｋ_t ^(j)から出力パラメータベクトルＳ^(j) _kt ^(j) _,tを確率分布にしたがってサンプリングして、更新部２３０に与える。ＧＭＭ１３０における要素分布ｋ_tの混合重みをＰ_S,st ^(j) _,ktとすると、要素分布ｋ_t ^(j)は、混合重みＰ_S,st ^(j) _,ktを出力確率とする確率分布にしたがう。すなわち、ＧＭＭ１３０から次の式（２０）に示すサンプリングによって得られる。

要素分布ｋ_t ^(j)の平均ベクトルをベクトルμ_kt ^(j)とし、要素分布ｋ_t ^(j)の共分散行列を行列Σ_S,kt ^(j)とすると、ｊ番目のパーティクルにおけるＧＭＭ１３０の出力パラメータベクトルＳ^(j) _kt ^(j) _,tは、要素分布ｋ_t ^(j)から、次の式（２１）に示すサンプリングによって得られる。

なお、フレーム選択部２２０はさらに、ＧＭＭサンプリング部２２６に対し、第ｔフレームにおけるＧＭＭの出力パラメータのサンプリングを要求する機能を持つ。

重み算出部２３２は、第ｔフレームでの観測信号の特徴量ベクトルＸ_tと、第ｔフレームの各パーティクルにおけるＧＭＭ１３０の出力パラメータベクトルＳ^(j) _kt ^(j) _,t、及び外乱のパラメータ行列Λ_t ^(j)と第ｔ−１フレームのパーティクルに対する重みｗ_t-1 ^(j)とを基に、次の式（２２）及び式（２３）に示す算出方法を用いて、第ｔフレームのパーティクルに対する重みｗ_t ^(j)を算出する機能を持つ。

なお、重みｗ_t ^(j)（１≦ｊ≦Ｊ）は、Σ_j=1〜Ｊｗ_t ^(j)＝１となるように正規化される。

再サンプリング部２３４は、パラメータが更新されたパーティクルにおける外乱のパラメータの確率分布にしたがい、時刻ｔに対応する各パーティクルにおける外乱のパラメータ行列Λ_t ^(j)を再サンプリングする機能を持つ。この際、再サンプリング部２３４は、微小な重みｗ_t ^(j)しか与えられていないパーティクルにおける確率分布からは、パラメータの再サンプリングを行なわない。一方、大きな重みｗ_t ^(j)が与えられているパーティクルにおける確率分布からは、パラメータを重みｗ_t ^(j)の大きさに応じた回数の再サンプリングを行ない、得られたパラメータをそれぞれ、当該再サンプリングの回数と同数のパーティクルに割当てる。ただし再サンプリングの全回数及びパーティクルの全数は一定（Ｊ）である。このようにするのは、各パーティクルに割当てられる重みが、式（２２）から分かるように観測された特徴量ベクトルＸ_tの尤度に対応しているからである。

推定外乱分布生成部２３６は、Metropolis-Hastingsアルゴリズムにより、第ｔフレームに対応するパーティクルの再生成を行なう機能を持つ。図７に、推定外乱分布生成部２３６の構成をブロック図で示す。図７を参照して、推定外乱分布生成部２３６は、再サンプリング部２３４による再サンプリングで得られた各パーティクルにおける外乱の確率分布を用いて状態空間モデル１６０における外乱の確率分布を表し、当該表した確率分布に基づき、第ｔ−１フレームに対応するパーティクルにおける外乱のパラメータを第ｔフレームに対応するものへ、上記の式（１４）〜式（１９）に示す拡張カルマンフィルタを用いて再更新するための再更新部２６２と、再更新されたパーティクルに対する重み（これを以下「ｗ_t ^*(j)」とする。）を上記の式（２２）及び式（２３）に示す算出方法を用いて算出するための重み再計算部２６４と、再サンプリングされたパーティクルに対する重みｗ_t ^(j)及び再更新されたパーティクルに対する重みｗ_t ^*(j)から、再更新されたパラメータを許容するか否かの判定に用いる許容確率νを算出するための許容確率算出部２６６と、所定の乱数発生方法により０から１までの閉区間内の乱数ｕを発生させるための乱数発生部２６８と、許容確率νと乱数ｕとに基づき、第ｔフレームに対応するパーティクルにおけるパラメータとして、再サンプリングされたパーティクルにおけるパラメータと、再更新されたパーティクルにおけるパラメータとの一方を選択するためのパラメータ選択部２７０とを含む。

許容確率算出部２６６は、重みｗ_t ^(j)及び重みｗ_t ^*(j)から次の式（２４）にしたがって、許容確率νを算出する機能を持つ。

パラメータ選択部２７０は、ｕが許容確率ν以下であれば、当該パーティクルにおける外乱のパラメータを再更新で得られた新たなパラメータに変更する機能を持つ。

［プログラム構造］
以下の説明からも明らかなように、図１に示す音声認識システム１００の前処理部１０４、前処理用音響モデル部１０６、及び探索部１１０は、いずれもコンピュータハードウェアとその上で実行されるプログラムにより実現可能である。図８に、本実施の形態に係る前処理部１０４に含まれる外乱成分抑圧部１１４が行なう外乱成分の抑圧処理を実現するコンピュータプログラムの制御構造をフローチャートで示す。

図８を参照して、外乱成分の抑圧処理が開始されると、ステップ３０２において、初期状態における外乱Λ₀の各要素の値に対応する初期分布を推定する。すなわち、上記の式（１０）及び式（１１）に示す算出方法により、式（９）に示す加法性雑音の初期分布ｐ（Ｎ₀）のパラメータ平均ベクトルμ_N及び共分散行列Σ_Nを算出する。さらに、式（１２）及び式（１３）にしたがい、初期分布ｐ（Ｎ₀）からパラメータベクトルＮ₀ ^(j)（ｊ＝１，…，Ｊ）をサンプリングし、各パーティクルにおける加法性雑音の初期的なパラメータに推定する。またこの際、各パーティクルにおける乗法性雑音の初期的なパラメータ行列Ｈ₀ ^(j)及び残響の初期的なパラメータ行列Ａ₀ ^(j)についても、それぞれ式（１２）及び式（１３）にしたがい設定を行なう。

ステップ３０４では、外乱抑圧の対象となるフレームを次のフレームに移行させる。ステップ３０６では、パーティクルフィルタを用いて、処理対象のフレームにおける外乱を表す行列に対応する確率分布のパラメータを推定する。すなわち、各パーティクルにおける外乱のパラメータ行列Λ_t ^(j)、及び行列Λ_t ^(j)の共分散行列を推定し、さらに、各パーティクルに対する重みｗ^(j)を定める。このステップでの処理については、図９を用いて後述する。

ステップ３０８では、ステップ３０６でパーティクルごとに定めた外乱のパラメータ行列Λ_t ^(j)と、その共分散行列とを用いて、各パーティクルにおける観測信号の特徴量ベクトルＸ_t（１２４）の確率分布を推定する。さらに、ＧＭＭ１３０を構成する要素分布ｋ（１≦ｋ≦Ｋ）ごとに、パーティクルにおける観測信号の確率モデルの平均ベクトルμ_Xkt ^(j) _,tと、共分散行列Σ_Xk,t ^(j)とを算出する。

ステップ３１０では、ＭＭＳＥ推定法により、第ｔフレームにおけるクリーン音声の特徴量を推定する。すなわちまず、ステップ３０６及びステップ３０８の処理で得られたパラメータを用いて、ＭＭＳＥ推定法によって、ＭＭＳＥ推定値ベクトル＾Ｓ_tを算出し、推定クリーン音声の特徴量１２６（図１参照）として出力する。

この式において、Ｐ（ｋ｜Ｘ_t，（ｊ））は、ｊ番目のパーティクルにおける、ＧＭＭ１３０内の要素分布ｋに対する混合重みを表す。混合重みＰ（ｋ｜Ｘ_t，（ｊ））は、次の数式により算出される。

ステップ３１２では、終了判定を行なう。すなわち第ｔフレームが最終のフレームであれば外乱成分の抑圧処理を終了する。さもなければステップ３０４に戻る。

図９に、ステップ３０６（図８参照）において行なわれる外乱確率分布の推定処理を実現するプログラムの制御構造をフローチャートで示す。図９を参照して、外乱確率分布の推定処理が開始されると、ステップ３２２において、式（１４）〜式（１９）により示す拡張カルマンフィルタを用いて、第ｔ−１フレームのパーティクルにおける外乱確率分布から、第ｔフレームのパーティクルにおける外乱確率分布を推定する。

ステップ３２４では、第ｔフレームの各パーティクルに対する重みｗ_t ^(j)を、式（２２）及び式（２３）によって算出し、正規化する。ステップ３２６では、各パーティクルに与えられた重みｗ_t ^(j)に基づき、各パーティクルからの再サンプリングの回数を決定し、当該パーティクルにおける外乱確率分布に基づいてパラメータを再サンプリングする。ステップ３２８では、Metropolis-Hastingsアルゴリズムを用いて第ｔフレームのパーティクルを再生成する。

図１０にステップ３２８（図９参照）における処理の詳細をフローチャートで示す。図１０を参照して、ステップ３２８における処理が開始されると、ステップ３４２において、ステップ３２６（図９参照）での再サンプリングで得られたパーティクルにおけるパラメータを用いて、外乱確率分布の再更新を行なう。すなわち、時刻ｔのフレームのパーティクルを新たに準備し、ステップ３２２（図９参照）での処理と同様の処理により、第ｔ−１フレームのパーティクルに対応するパラメータから、第ｔフレームのパーティクルに対応するパラメータへの再更新を行ない、準備したパーティクルのパラメータに設定する。ステップ３４４では、ステップ３４２で準備したパーティクルに対する重みｗ_t ^*(j)を、図９に示すステップ３２４の処理と同様の処理で算出し正規化する。

ステップ３４６では、ステップ３２４の処理で算出された重みｗ_t ^(j)と、ステップ３４４で算出された重みｗ_t ^*(j)との比較により、ステップ３４２で準備されたパーティクルの許容確率νを定める。ステップ３４８では、区間［０，１］の値からなる一様な集合Ｕ_[0,1]の中から任意の値を選択することにより乱数ｕを発生する。ステップ３５０では、ステップ３４８で発生した乱数ｕの値と、ステップ３４６で定めた許容確率νの値とを比較する。ｕが許容確率の値以下であれば、ステップ３５２へ進む。さもなければステップ３５４に進む。ステップ３５２では、ステップ３４２で準備されたパーティクルを許容する。すなわち、ステップ３２６での再サンプリングで得られたパラメータを、準備されたパーティクルのパラメータで置換して処理を終了する。ステップ３５４では、ステップ３４２で準備されたパーティクルを棄却する。すなわち、準備されたパーティクル及びそのパラメータを破棄し、処理を終了する。

［動作］
本実施の形態に係る音声認識システム１００は以下のように動作する。まず、図６に示す外乱確率分布推定部２００による初期状態における外乱の確率分布の推定動作を説明する。図１に示す計測部１１２が、音源１０２から観測音１２２を受け、観測信号の特徴量Ｘ_t（１２４）を抽出する。抽出された特徴量Ｘ_t（１２４）は、外乱成分抑圧部１１４の図５に示す外乱確率分布推定部２００に与えられる。図６を参照して、外乱確率分布推定部２００のフレーム選択部２２０は、特徴量Ｘ_t（１２４）のうち最初の１０フレーム分を、外乱初期分布推定部２２２に与える。外乱初期分布推定部２２２は、上記の式（９）〜式（１１）に示す処理により加法性雑音の初期分布ｐ（Ｎ₀）を推定する。さらに、雑音の初期分布ｐ（Ｎ₀）から、上記の式（１２）及び式（１３）に示すサンプリングをＪ回行なう。このサンプリングによって、各パーティクルにおける雑音の初期的なパラメータベクトルＮ₀ ^(j)及び共分散行列Σ_N0 ^(j)が決定される。乗法性歪みの初期パラメータ行列Ｈ₀ ^(j)及びその共分散行列Σ_H0 ^(j)をともに０に設定し、残響の初期パラメータ行列Ａ₀ ^(j)及びその共分散行列Σ_A0 ^(j)をともに０に設定する。外乱確率分布推定部２００は、これらのパラメータを、時刻ｔ＝０のフレームにおける推定外乱分布２０６のパラメータとして出力する。

次に、外乱確率分布推定部２００による、第ｔフレーム（ｔ≧１）における推定外乱分布２０６の推定動作を説明する。図６を参照して、次のフレームの処理の開始要求２１０に応答して、フレーム選択部２２０は、観測信号の特徴量Ｘ_t（１２４）を更新部２３０に与えるとともに、ＧＭＭサンプリング部２２６に、第ｔフレームにおけるＧＭＭの出力パラメータのサンプリングを要求する。更新部２３０は、これに応答して、第ｔ−１フレームの各パーティクルにおける推定確率分布のパラメータ２０６を取得する。

ＧＭＭサンプリング部２２６は、ＧＭＭ１３０から、出力パラメータベクトルＳ^(j) _kt ^(j) _,tのサンプリングを行なう。図１１に、出力パラメータベクトルＳ^(j) _kt ^(j) _,tのサンプリングの概要を模式的に示す。例えば、ｊ番目のパーティクルにおいて、ＧＭＭ１３０内の混合正規分布４００の中から、混合重みにしたがった確率で要素分布ｋ_t ^(j)（４０２）をサンプリングする。ＧＭＭサンプリング部２２６はさらに、要素分布ｋ_t ^(j)（４０２）により表される出力確率の分布にしたがい、出力パラメータベクトルＳ^(j) _kt ^(j) _,t（４０４）をサンプリングする。ＧＭＭサンプリング部２２６は、総数Ｊの各パーティクルにおける出力パラメータベクトルＳ^(j) _kt ^(j) _,tをそれぞれ、以上の手順でサンプリングし、図６に示す更新部２３０に与える。

図１２に、逐次計算部２２４によるパラメータの更新、及び再サンプリングの概要を模式的に示す。図１２においては、ある外乱のパラメータが左右方向に分布し、時間が上から下に進行する。また、図１２においては、パーティクルを、白抜きの丸印、及び黒塗りの丸印によって模式的に示す。例えば、白抜きの丸印で示すパーティクルが重みｗ_t ^(j)の値の微小なパーティクルであり、黒塗りの丸印で示すパーティクルが重みｗ_t ^(j)の値の大きなパーティクルであるものとする。

図１２を参照して、第ｔ−１フレームに対応するパーティクルにより状態空間４２０が近似的に表現されているものとする。更新部２３０は、式（１４）〜式（１９）により示す拡張カルマンフィルタを用いて、状態空間４２０内の各パーティクルにおける外乱分布のパラメータ行列＾Λ_t-1 ^(j)を、第ｔフレームに対応する推定外乱分布のパラメータ行列＾Λ_t ^(j)に更新する。これにより、状態空間４２０内の各パーティクルは更新され、パラメータが更新されたパーティクルにより第ｔフレームに対応する状態空間４３０が表現される。

続いて重み算出部２３２は、状態空間４３０内の各パーティクルに対する重みｗ_t ^(j)を、式（２２）及び式（２３）によって算出する。再サンプリング部２３４は、重みｗ_t ^(j)に基づき、パーティクルにおける外乱のパラメータを再サンプリングする。この際、再サンプリング部２３４はまず、状態空間４３０内の各パーティクルからの再サンプリングの回数を、ｗ_t ^(j)に応じてパーティクルごとに設定する。白抜きの丸印で表される重みの微小なパーティクルからのサンプリングの回数を０に設定する。また、黒塗りの丸印で表される重みの大きなパーティクルからのサンプリングの回数を、重みの大きさに応じて１〜３に設定する。続いて、状態空間４３０内のパーティクルにおける外乱の確率分布に基づき、設定された回数ずつ、外乱のパラメータの再サンプリングを行なう。このようにして、第ｔフレームに対応する新たな状態空間４４０を表現するパーティクルがそれぞれ形成される。

再サンプリング部２３４によるこのような再サンプリングが繰返し行なわれると、あるフレームに対応するパーティクルの多くにおける外乱のパラメータが、それ以前の時点のフレームに対応する少数のパーティクルにおける外乱のパラメータの確率分布からサンプリングされたものとなるおそれがある。そこで、推定外乱分布生成部２３６は、Metropolis-Hastingsアルゴリズムを用いて、新たに第ｔフレームに対応するパーティクルにおけるパラメータを生成することにより、このような事態を防止する。図７に示す再更新部２６２は、状態空間４４０における推定外乱分布にしたがい、第ｔ−１フレームに対応する状態空間４２０内のパーティクルにおける外乱のパラメータを再更新する。重み再計算部２６４は、再更新されたパーティクルに対する重みｗ_t ^*(j)を算出する。許容確率算出部２６６は、再更新されたパーティクルに対する重みｗ_t ^*(j)と、再サンプリングされたパーティクルに対する重みｗ_t ^(j)とを基に、許容確率νを算出する。パラメータ選択部２７０は、許容確率νと、乱数発生部２６８が発生した［０，１］の区間の乱数ｕとを比較し、乱数ｕが許容確率ν以下であれば、再サンプリングされたパーティクルにおけるパラメータを、再更新されたパーティクルにおけるパラメータで置換する。さもなければ、再更新されたパーティクルにおけるパラメータを破棄する。

以上のような動作をフレームごとに繰返すことにより、各フレームに対応して、各パーティクルにおける推定外乱分布２０６のパラメータベクトルＮ_t ^(j)Ｈ_t ^(j)及び行列Ａ_t ^(j)、並びに共分散行列Σ_Nt ^(j)Σ_Ht ^(j)及びΣ_At ^(j)が推定される。外乱確率分布推定部２００は、各パーティクルにおける推定外乱分布２０６のパラメータベクトルＮ_t ^(j)Ｈ_t ^(j)及び行列Ａ_t ^(j)、並びに共分散行列Σ_Nt ^(j)Σ_Ht ^(j)及びΣ_At ^(j)と、各パーティクルに対する重みｗ_t ^(j)と、観測信号の特徴量ベクトルＸ_tとを、フレームごとに、図５に示すパラメータ生成部２０２に与える。

図５を参照して、パラメータ生成部２０２は、ＶＴＳ法によって、第ｔフレームに対応する各パーティクルにおける観測信号の確率モデルの平均ベクトル及び共分散行列（２０８）を生成する。これにより、各パーティクルにおいて外乱の確率分布と、観測信号の確率分布とが推定されたことになる。クリーン音声推定部２０４は、ＭＭＳＥ推定法により、第ｔフレームに対応する各パーティクルにおいて、クリーン音声のＭＭＳＥ推定値ベクトル＾Ｓ_t ^(j)を算出する。さらに、ＭＭＳＥ推定値ベクトル＾Ｓ_t ^(j)と重みｗ_t ^(j)とを用いて、時刻ｔにおけるクリーン音声の推定特徴量ベクトル＾Ｓ_tを算出し、図１に示す探索部１１０に出力する。

図１に示す探索部１１０は、クリーン音声の推定特徴量ベクトル＾Ｓ_tを用いて、認識用音響モデル部１０９に保持された音響モデルと、言語モデル部１０８に保持された言語モデルとを基に、適合する目的言語の単語等を探索し、その結果を認識出力１２８として出力する。

［実験］
本実施の形態に係る音声認識システム１００による効果を確認するために、観測信号からの雑音の推定実験と、観測信号の認識実験とを行なった。以下、実験方法及び結果について説明する。

本実験においては、日本語の雑音下音声認識評価用共通データベースに収録されたクリーン音声１００１文のデータに、残響のインパルス応答を畳み込み、さらに加法性雑音を人工加算して、観測信号を生成した。残響のインパルス応答には、実環境音声・音響データベースに収録されている、残響時間０．３秒及び１．３秒のインパルス応答を用いた。また加算する雑音には、それぞれ実環境で収録された工場雑音と道路工事雑音とを使用した。本実験では、雑音を加算していない試料と、クリーン音声に２０ｄＢ、１５ｄＢ、及び１０ｄＢのＳＮＲ（Signal-to-Noise Ratio）でそれぞれ雑音を加算した試料とを用意した。用意した各試料を２３次対数メルフィルタバンク処理し、得られた２３次対数メルスペクトルの各成分を要素とするベクトルをそれぞれ生成し、認識対象の特徴量ベクトルとした。

認識実験では、比較のために、上記の各試料から、本実施の形態に係る外乱成分の抑圧処理の方法を含む次の５種の処理方法で、探索に用いる特徴量を生成した。すなわち、ＨＴＫ Ｂａｓｅｌｉｎｅすなわち外乱抑圧処理を行なわない観測信号の特徴量（Ｂａｓｅｌｉｎｅ）、ＥＴＳＩ（European Telecommunications Standards Institute）により勧告されているＥＴＳＩ Ａｄｖａｎｃｅｄ ｆｒｏｎｔ−ｅｎｄ（ＥＳ ２０２）による雑音抑圧処理を施した特徴量（ＥＴＳＩ）、従来のＭＭＳＥ推定により得られる推定特徴量（ＭＭＳＥ）、非特許文献５に記載の手法での処理により得られる推定特徴量（ＥＭ）、及びパーティクルフィルタを用いた本実施の形態に係る外乱成分の抑圧処理（Ｐｒｏｐｏｓｅｄ）により得られる推定特徴量である。

パーティクルフィルタを用いた外乱成分の抑圧処理を行なう際の、ＧＭＭ１３０（図１参照）には、混合分布数５１２のモデルを用いた。この処理においては、誤差ベクトルＷ_tの共分散行列を、Σ_WN＝Σ_WH＝Σ_WA＝diag（0.01）に設定した。また、処理に用いるパーティクルの総数Ｊを２０に設定した。

抑圧後の推定クリーン音声を用いた音声認識を行なう際の特徴量には、３９次ＭＦＣＣ（Mel Frequency Cepstrum Coefficient）（１２次ＭＦＣＣ＋Ｃ０＋Δ＋ΔΔ）を用いた。また、図１に示す認識用音響モデル１０９には、１６状態２０混合分布のＨＭＭを用いた。

この認識実験における処理に、クロック周波数３．２ギガヘルツ、３２ビットの市販のＣＰＵ（Central Processing Unit）を用いた場合、処理に要した時間は、観測信号における実時間の０．８倍であった。すなわち、認識処理を実時間で処理できることが明らかとなった。

表１〜表４に、各試料に対する認識実験で得られた認識精度を、上記の処理方法別に示す。

表１〜表４を参照して、パーティクルフィルタによる抑圧処理（Ｐｒｏｐｏｓｅｄ）を行なうことで、良好な単語認識精度が得られることが分かる。特に、残響１．３秒の観測信号においては、パーティクルフィルタによる抑圧処理（Ｐｒｏｐｏｓｅｄ）により、高い単語認識精度が得られることが分かる。

以上の実験結果から、本実施の形態の外乱成分の抑圧処理により、非定常な加法性雑音及び残響による歪みを受ける環境下での音声認識性能が改善され、かつ実時間処理が可能になることが明らかとなった。

［変形例等］
なお、本実施の形態においては、パーティクルフィルタによる処理を外乱成分の抑圧に用いている。そのため、雑音抑圧後の推定クリーン音声のパラメータを用いて探索を行なう前に、さらに音響モデル適応を行なうこともできる。音響モデル適応により、推定クリーン音声に適合した音響モデルを探索に用いることができるようになる。したがって、認識精度が向上することが期待される。

また、本実施の形態においては、前処理用の音響モデルにＧＭＭを用いたが、前処理用の音響モデルにＨＭＭを用いてもよい。この場合、上記の式（２０）に示す要素分布のサンプリングに先立ち、ＨＭＭの遷移確率にしたがって状態のサンプリングを行なえばよい。

今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内でのすべての変更を含む。

本発明の一実施の形態に係る音声認識システム１００の構成を示す概略図である。 ＧＭＭ１３０の概念を示す概略図である。 外乱要因１１８を模式的に示す図である。 観測信号の状態空間モデル１６０の概念を示す概略図である。 外乱成分抑圧部１１４の構成を示すブロック図である。 外乱確率分布推定部２００の構成を示すブロック図である。 推定外乱分布生成部２３６の構成を示すブロック図である。 雑音抑圧処理の制御構造を示すフローチャートである。 外乱確率分布推定処理の制御構造を示すフローチャートである。 Metropolis-Hastingsアルゴリズムによるサンプリング処理の制御構造を示すフローチャートである。 ＧＭＭ１３０からパラメータをサンプリングする動作の概要を示す図である。 パーティクルフィルタによる処理の概要を示す図である。

符号の説明

１００ 音声認識システム
１０２ 音源
１０４ 前処理部
１０６ 前処理用音響モデル部
１０８ 言語モデル部
１０９ 認識用音響モデル部
１１０ 探索部
１１２ 計測部
１１４ 外乱分布抑圧部
１１６ 話者
１１８ 外乱要因
１２０ クリーン音声
１２２ 観測音
１２４ 観測信号の特徴量
１２６ 推定クリーン音声の特徴量
１３０ ＧＭＭ
１３２ 学習データ記憶部
１３４ モデル学習部
１３６ ＧＭＭ記憶部
１６０ 状態空間モデル
２００ 外乱確率分布推定部
２０２ パラメータ生成部
２０４ クリーン音声推定部
２２０ フレーム選択部
２２２ 外乱初期分布推定部
２２４ 逐次計算部
２２６ ＧＭＭサンプリング部
２３０ 更新部
２３２ 重み算出部
２３４ 再サンプリング部
２３６ 推定外乱分布生成部
２６２ 再更新部
２６４ 重み再計算部
２６６ 許容確率算出部
２６８ 乱数発生部
２７０ パラメータ選択部

Claims (4)

1. 外乱により加法性雑音及び乗法性歪みが生じる環境下で目的音声を観測することにより得られる観測信号の外乱成分を抑圧する外乱成分抑圧装置であって、
   前記観測信号について所定周期ごとにフレーム化された所定時間長のフレームよりそれぞれ抽出される特徴量を受けて、複数のパーティクルを有するパーティクルフィルタを用いて、前記外乱を表す確率分布の推定パラメータを前記フレームごとに逐次生成するための外乱パラメータ推定手段と、
   前記観測信号の特徴量と、前記推定パラメータと、前記目的音声に関する所定の音響モデルとを用いて、前記フレームごとに前記目的音声の推定特徴量を算出するための目的音声推定手段とを含む、外乱成分抑圧装置。
2. 前記外乱パラメータ推定手段は、
   前記外乱の初期分布を設定し、当該初期分布にしたがった確率で、前記複数のパーティクルの各々における外乱を表す確率分布の初期パラメータをそれぞれ設定するための初期パラメータ設定手段と、
   前記音響モデルと前記観測信号の特徴量とを基に、拡張カルマンフィルタを用いて、各パーティクルにおける先行する第１のフレームの前記推定パラメータをそれぞれ前記第１のフレームに後続する第２のフレームに対応するものに更新するための更新手段と、
   前記第２のフレームにおける前記複数のパーティクルの各々の重みを算出するための重み算出手段とを含む、請求項１に記載の外乱成分抑圧装置。
3. コンピュータにより実行されると、当該コンピュータを請求項１又は請求項２に記載の外乱成分抑圧装置として動作させる、コンピュータプログラム。
4. 請求項１又は請求項２に記載の外乱成分抑圧装置と、
   前記外乱成分抑圧装置により算出される前記目的音声の推定特徴量を受けて、前記目的音声に関する所定の音響モデルと、認識対象言語に関する所定の言語モデルとを用いて、前記目的音声に関する音声認識を行なうための音声認識手段とを含む、音声認識システム。

Images