JP2006084732A

JP2006084732A - 多項式近似に基づく雑音下音声認識のためのモデル適応法

Info

Publication number: JP2006084732A
Application number: JP2004268926A
Authority: JP
Inventors: Shigeki Sagayama; 茂樹嵯峨山; Kant Raut Chandra; カントラウトチャンドラ; Takuya Nishimoto; 卓也西本; Hitoshi Yamamoto; 山本　　仁
Original assignee: University of Tokyo NUC
Current assignee: University of Tokyo NUC
Priority date: 2004-09-15
Filing date: 2004-09-15
Publication date: 2006-03-30
Also published as: WO2006030551A1

Abstract

【課題】
簡単な手法でありながら、ロバストかつ正確な音声認識を可能とする雑音下音声認識のためのモデル適応手法を提供する。
【解決手段】
各周波数における音声のスペクトル密度値の対数値xの分布パラメータと、加法性雑音のスペクトル密度値の対数値nの分布パラメータ及び／或いは乗法性雑音のスペクトル密度値の対数値hの分布パラメータから、これらの雑音が重畳した音声のスペクトル密度値の対数値yの分布パラメータを推定することによるモデル適応法において、x, n, h, y の間の非線形の関係を多項式で近似することで、y の分布パラメータを推定する。
【選択図】
図２

Description

本発明は、雑音下音声認識のためのモデル適応に係り、詳しくは、与えられたクリーン音声モデル及び雑音モデルから雑音重畳音声モデルのパラメータを推定する手法に関するものである。

実環境では、クリーン音声によってトレーニングされた音声認識のパフォーマンスは、トレーニング条件と認識時の収音環境とのミスマッチによって低下する。ロバストな音声認識を行う手法として、ＰＭＣが知られている。ＰＭＣは、クリーン音声ＨＭＭと雑音ＨＭＭとを合成することで雑音を含むモデルを推定し、前記ミスマッチを低減させる（非特許文献１，２）。しかしながら、モデルパラメータの正確な推定には数値統合を必要とし、多くの計算を必要とする。Data-driven ＰＭＣ（非特許文献３）は数値統合に比べると正確であるものの、依然として計算に時間を要する。ＰＭＣＬｏｇ−ｎｏｒｍａｌ近似，ＰＭＣＬｏｇ−ａｄｄ近似，ＰＭＣＬｏｇ−ｍａｘ近似のような手法（非特許文献４）も提案されており、計算上は効率的であるが、正確さに欠ける。

また、音声と雑音の間の非線形関係をベクトルテイラー級数で近似するＶＴＳ法（非特許文献５，６）も提案されている。

しかしながら、いずれも手法も環境変動にロバストな認識技術という観点からは、依然として十分なものとは言えない。
Gales, M. J. F. and Young, S. J., "Robust Continuous SpeechRecognition using Parallel Model Combination," in IEEE Trans. on Speech andAudio Processing, vol. 4, no. 5, pp. 352-359, 1996. Gales, M. J. F., "Model-Based Technologies for Noise Robust SpeechRecognition," Ph.D. Thesis, Cambridge University, 1995. Gales, M. J. F. and Young, S. J., "A Fast and FlexibleImplementation of Parallel Model Combination," in Proc. ICASSP95, pp.133-136.1995. Gong, Y., "A Comparative Study of Approximations for Parallel ModelCombination of Static and Dynamic Parameters," in Proc. ICSLP02, pp. 1029-1032,2002. Acero, A et al., "HMM Adaptation using Vector Taylor Series forNoisy Speech Recognition," in Proc. ICSLP00, vol.3, pp.869-873, 2000 Moreno, P.J., Raj, B., and Stern, R. M., "A Vector Taylor SeriesApproach for Environment Independence Speech Recognition," in Proc. ICASSP96,pp. 733-736, 1996

本発明は、簡単な手法でありながら、ロバストかつ正確な音声認識を可能とする雑音下音声認識のためのモデル適応手法を提供することを目的とするものである。

かかる課題を解決するために本発明が採用した技術手段は、各周波数における音声のスペクトル密度値の対数値xの分布パラメータと、加法性雑音のスペクトル密度値の対数値nの分布パラメータ及び／或いは乗法性雑音のスペクトル密度値の対数値hの分布パラメータから、これらの雑音が重畳した音声のスペクトル密度値の対数値yの分布パラメータを推定することによるモデル適応法において、x, n, h, y の間の非線形の関係を多項式で近似することで、y の分布パラメータを推定することを特徴とする雑音下音声認識のためのモデル適応法である。また、本発明は他の態様では、コンピュータを、各周波数における音声のスペクトル密度値の対数値xの分布パラメータと、加法性雑音のスペクトル密度値の対数値nの分布パラメータ及び／或いは乗法性雑音のスペクトル密度値の対数値hの分布パラメータから、これらの雑音が重畳した音声のスペクトル密度値の対数値yの分布パラメータを推定するにあたり、x, n, h, y の間の非線形の関係を多項式で近似することで、y の分布パラメータを推定するように実行させることを特徴とする雑音下音声認識のためのコンピュータプログラムとして提供される。

一つの好ましい態様では、x,n,hそれぞれの分布の平均値をμ_x,μ_n,μ_h同じく分散をσ_x ²,σ_n ²,σ_h ²とするとき、変数z=n-x-hの分布の平均値をμ_z =μ_n-μ_x-μ_h、分散をσ_z=σ_n ²+σ_x ²+σ_h ²により求め、非線形関数ｇ(ｚ)=ｌｎ(１＋ｅ^ｚ)を多項式ａｚ²＋ｂｚ＋ｃで近似することにより、雑音重畳音声の特徴量ｙの分布の平均値を、E[g(x)]=a(σ_z ²+μ_z ²)+bμ_z+c の形式(但し、a, b, c は定数)で求める。

本発明に用いることができる多項式の種類は限定されないが、一つの好ましい態様では、前記多項式はラグランジェ多項式である。また、前記多項式はチェビシェフーラグランジェ多項式でもよい。多項式の次数は限定されず１次以上であればよいが、一つの好ましい態様では、多項式は２次多項式である。多項式の変数は一つの態様では１変数であるが、多変数であってもよい。また、近似多項式は g(z) に対する重みつき最小二乗近似多項式によって求めるものでもよい。また、パラメータは静的パラメータのみならず、動的パラメータであってもよい。

本発明は、雑音重畳音声のパラメータを正確かつ効率的に推定することができ、ロバストかつ正確な音声認識を可能とするものである。

[Ａ]音響環境モデル
図１に、クリーン音声信号ｘ[ｍ]に対する加法性雑音ｎ[ｍ]および乗法性雑音（チャネルフィルタリング、すなわちチャネル歪）ｈ[ｍ]の影響を示す音響モデルを示す。劣化された音声（クリーン音声に対して、加法性雑音及びチャネル歪が重畳ないし混合された音声）は、式（１）によって与えられる。

ここで、ｍはサンプル数である。さらに、パワースペクトル領域において、フィルタバンクエネルギーは次のように与えられる。

ここで、式（４）は対数スペクトル領域であり、各項は対数スペクトルエネルギー（スペクトル密度値の対数値）を表し、具体的には、ｘ：クリーン音声、ｎ：加法性雑音、ｈ：乗法性雑音（チャネル歪）、ｙ：劣化された音声信号である。

クリーン音声と雑音の関係は、式（４）で与えられるような非線形関係となる。実験によると、雑音及びクリーン音声のパラメータがガウス分布（対数領域において）を有していても、劣化された音声パラメータはガウス分布を有するものではない。しかしながら、これらのパラメータが低い分散を有しており、複数のガウス分布がこれらの分布をモデル化することに用いられる場合には、パラメータの分布をガウス分布とみなすことができ、ガウス分布のために最適化されたデコーダを用いることができる。

［Ｂ］多項式近似
本発明の一つの目的は、雑音パラメータのｎ,ｈの分布、クリーン音声パラメータｘの分布が与えられた時の雑音を含む音声パラメータyの分布（平均と分散）を求めることにある。ここで、ｙの平均、すなわち、期待値は、次の式で表すことができる。

各パラメータｘ,ｎ,ｈがガウス分布を有すると仮定すると、Ｅ[ｇ(ｘ,ｎ,ｈ)]はクローズドフォームの数式を有しない。したがって、Ｅ[ｇ(ｘ,ｎ,ｈ)]の値を求めるために、先ず、関数ｇ(ｘ,ｎ,ｈ)を、与えられた範囲内で、可能な限り低い次数で近似できる多項式に展開する。多項式近似は、

とおいて、関数ｇ(ｘ,ｎ,ｈ)を１変数に減らすことで行う。

本実施例では、関数ｇ(ｚ)を近似させるために、以下に示す２次ラグランジェ補間多項式を用いる。

点ｚ_０，ｚ_１，ｚ_２は、１点がｚ＝μ_ｚ、他の２点が必要とされる範囲における誤差を最小化するように選択することで、適宜特定される。あるいは、これらの点を特定するのに、チェビシェフーラグランジェ多項式(Chebyshev-Lagrange polynomial)を用いても良く、その場合、与えられた範囲内で点を自身で特定する。

図４は、μ_z＝０における関数ｇ(ｚ)=ｌｎ(１＋ｅ^ｚ)を近似するのに用いる異なる多項式を示す。図４（ａ）において、ラグランジェ多項式展開のために選択された点は、ｚ₀＝μ_ｚ，ｚ_１＝ｚ₀−５，ｚ₂＝ｚ₀＋５である。図に示すように、ラグランジェ多項式は、２次テイラー級数に比べてより広い範囲でより正確に関数を近似することができる。ｚの分散が小さい場合には、ｚ_１点、ｚ_２点をｚ₀点に近づけることができる。しかしながら、ｚが大きい分散を有する場合には、ｚ_１点、ｚ_２点はｚ₀点からより離れることになる。しかしながら、ｚ_１点、ｚ_２点がｚ₀点からより離れることになると、多くのデータが生じるであろうｚ＝ｚ₀＝μ_ｚの近傍領域の近似において不正確さが生じることになる。したがって、ｚの分散に応じて、ｚ₁点、ｚ₂点を最適な値に配置する必要がある。

最後に、式（６）をｇ(ｚ)=ａｚ²＋ｂｚ＋ｃ（ａ,ｂ,ｃは定数）の形に書き直すと以下のとおりとなる。

式（５）に対してＥ[ｇ(ｚ)]の予測値を用いることで、劣化された音声ベクトルの平均を計算する。平均の正確な値は分散の正確な値よりも重要なので、クリーン音声の共分散行列が用いられる。しかしながら、上記近似から対角分散を適用するための式を導くことができ、ｚのより高次のモーメント（４次モーメントまで）として対角分散を適用することもできる。

図２，図３に劣化された音声のモデルパラメータを予測する方法を示す。近似を対数スペクトル領域で行うため、ケプストラム領域のクリーン音声及び雑音のＨＭＭパラメータを逆ＤＣＴによって対数スペクトル領域に変換する。ケプストラム領域からスペクトル領域へのパラメータの変換はＣ_０の知識を必要とする。与えられたモデルパラメータがＣ_０を含んでいない場合には、線形スペクトル領域のメルバンドのエネルギーの総和は全体のフレームエネルギーと同じであることを用いて、算出することができる。これについては、Crafa, S., Fissore, L., and Vair, C., “Data-Driven PMC and Bayesian
Learning Integration for Fast Model Adaptation in Noisy Environment,” in Proc.
ICSLP98, vol.2, pp.471-474, 1998を参照することができる。

チャネル歪を説明する統計は、期待スコアを最大化するEM手法を用いることで得ることができる。チャネル歪の統計を推定するためにはいくつかの適応データが必要とされる。これについては、Minami, Y. and Furui, S., “A Maximum Likelihood Procedure for a
Universal Adaptation Method Based on HMM Composition, ”in Proc. ICASSP95,
vol.1, pp.129-132, 1995を参照することができる。

全ての場合において、アルゴリズムの複雑さを避け、計算量を低減するために、音声ＨＭＭ及び雑音ＨＭＭの共分散行列の対角要素のみが考慮される。

［Ｃ］ラグランジェ多項式近似（ＬＰＡ）の分析
本発明に係る多項式近似の正確性を分析し、他の手法と比較するために、モンテカルロシミュレーションによって音声パラメータとして一次ベクトルを生成した。音声ベクトルに対して、異なるＳＮＲにおいて雑音を付加した。雑音ベクトルもモンテカルロシミュレーションによって生成した。異なる手法によって推定された劣化された音声の平均を図６に示す。ラグランジェ多項式近似（ＬＰＡ）がＶＴＳ−１及びＬｏｇ−ｍａｘ近似に比べてより正確であることがわかる。ラグランジェ多項式近似によって与えられた平均推定はモンテカルロシミュレーションによって与えられたものと略同じであるだけでなく、計算コストも大幅に削減することができる。

［Ｄ］実験結果
ラグランジェ多項式近似による手法を評価するために、実験を行った。ＡＴＲ音声データベースＡ−Ｓｅｔから取り出した同じ話者の２６２０語でトレーニングした孤立単語音声認識タスクに基づいてテストを行った。テストセットは、同データベースから取り出した同じ話者の６５５語を含む。ベースラインシステムは、４１のcontext-independent continuous-density phone ＨＭＭ、全体として１２６状態、単一混合、２６次元音声ベクトル（13-dim ＭＦＣＣ(Ｃ_０を伴う)及びデルタ）から構成される。デコーダとしてＪｕｌｉａｎ３．４を用いた。クリーン音声のベースライン単語音声認識正確さは９３．８％である。ＪＥＩＴＡデータベースからの雑音(exhibition hall noise)を０ｄＢ，５ｄＢ，１０ｄＢ，２０ｄＢ，４０ｄＢのＳＮＲでテストデータに加えた。クリーン音声ＨＭＭでの認識において、０ｄＢのＳＮＲ単語音声認識正確さは２．８％に減少する。

ラグランジェ多項式近似により適応化されたモデルによって認識を実行した。モデルは、静的平均パラメータにのみ適応化されている。図５は、幾つかのモデルにより取得された異なるＳＮＲにおける単語認識正確さを示す。与えられたＳＮＲの雑音によって劣化されたトレーニングデータからＨＭＭをトレーニングすることでマッチトモデルを確立した。ＰＭＣＬｏｇ−ｎｏｒｍａｌ近似の場合、静的パラメータの平均及び分散が適応される。図５に示すように、高いＳＮＲにおいて、ラグランジェ多項式近似（ＬＰＡ）に基づくモデル適応化により得られたパフォーマンスは、マッチトモデルによって得られたものと近似しており、低いＳＮＲにおいては、ＰＭＣＬｏｇ−ｎｏｒｍａｌ近似に比べて格段に改良されている。

図６は、μ_ｎ>>μ_ｘあるいはμ_ｎ<<μ_ｘの場合には、他の手法でも、十分な正確さでμ_ｙを推定することができることを示している。しかしながら、μ_ｎとμ_ｘが同じか近い場合には、ラグランジェ多項式近似（ＬＰＡ）が極めて良好に機能するのに対して、他の手法は正確な推定を行うことができない。したがって、合成時に雑音及び音声のＨＭＭパラメータが互いに近い場合には、ラグランジェ多項式近似（ＬＰＡ）の有利性が強調される。

図７はクリーン音声及び雑音の平均パラメータ（対数スペクトル領域）のヒストグラムである。図７(a）の場合は図７(b)の場合に比べて、音声平均及び雑音平均が互いに近似している（影領域）。ラグランジェ多項式による近似（ＬＰＡ）は、他の手法に比べて、図７(a)のような場合に特に有利である。

本発明は音声認識の分野に利用可能である。

クリーン音声信号ｘ[ｍ]に対する加法性雑音ｎ[ｍ]およびチャネルフィルタリングｆ[ｍ]の影響を示す音響モデルである。多項式近似に基づく雑音下音声認識のためのモデル適応方法を示す図である。図２と類似の図であって、本発明にかかる実施例を示す図である。ラグランジェ多項式を用いた近似（ＬＰＡ）を、他の手法（ＶＴＳ）と比較したものである。クリーン音声モデル、マッチトモデル、ＰＭＣＬｏｇ−ｎｏｒｍａｌによって適応化されたモデル、ラグランジェ多項式近似（ＬＰＡ）により適応化されたモデルによる音声認識結果を示す図である。 μ_ｎ＝１０、σ_ｎ ^２＝０．１、σ_ｘ ^２＝６、μ_ｘ＝０〜２０における、モンテカルロシミュレーション、Ｌｏｇ−ｍａｘ近似、ＶＴＳ−１近似、ラグランジェ多項式近似（ＬＰＡ）による雑音混合音声の推定平均を示す図である。対数スペクトル領域におけるクリーン音声及び雑音の平均パラメータのヒストグラムである。

Claims

各周波数における音声のスペクトル密度値の対数値xの分布パラメータと、加法性雑音のスペクトル密度値の対数値nの分布パラメータ及び／或いは乗法性雑音のスペクトル密度値の対数値hの分布パラメータから、これらの雑音が重畳した音声のスペクトル密度値の対数値yの分布パラメータを推定することによるモデル適応法において、
x, n, h, y の間の非線形の関係を多項式で近似することで、y の分布パラメータを推定することを特徴とする雑音下音声認識のためのモデル適応法。
非線形関数ｇ(ｚ)=ｌｎ(１＋ｅ^ｚ)を多項式ａｚ²＋ｂｚ＋ｃ（ａ,ｂ,ｃは定数）で近似することにより、雑音重畳音声の特徴量ｙの分布の平均値を、

で求めることを特徴とする請求項１に記載のモデル適応法。
ここで、x, n, h のそれぞれの分布の平均値をμ_x,μ_n,μ_h、同じく分散をσ_x ², σ_n ², σ_h ²とするとき、変数z=n-x-hの分布の平均値をμ_z = μ_n-μ_x-μ_h、分散をσ_z=σ_n ²+σ_x ²+σ_h ²により求める。
前記近似多項式はラグランジュ多項式であることを特徴とする請求項１，２いずれかに記載のモデル適応法。
前記近似多項式はチェビシェフ−ラグランジェ多項式であることを特徴とする請求項１，２いずれかに記載のモデル適応法。
前記近似多項式は重みつき最小二乗近似多項式であることを特徴とする請求項１，２いずれかに記載のモデル適応法。
コンピュータを、各周波数における音声のスペクトル密度値の対数値xの分布パラメータと、加法性雑音のスペクトル密度値の対数値nの分布パラメータ及び／或いは乗法性雑音のスペクトル密度値の対数値hの分布パラメータから、これらの雑音が重畳した音声のスペクトル密度値の対数値yの分布パラメータを推定するにあたり、x, n, h, y の間の非線形の関係を多項式で近似することで、y の分布パラメータを推定するように実行させることを特徴とする雑音下音声認識のためのコンピュータプログラム。
非線形関数ｇ(ｚ)=ｌｎ(１＋ｅ^ｚ)を多項式ａｚ²＋ｂｚ＋ｃ（ａ,ｂ,ｃは定数）で近似することにより、雑音重畳音声の特徴量ｙの分布の平均値を、

で求めることを特徴とする請求項１に記載のコンピュータプログラム。
ここで、x, n, h のそれぞれの分布の平均値をμ_x,μ_n,μ_h、同じく分散をσ_x ², σ_n ², σ_h ²とするとき、変数z=n-x-hの分布の平均値をμ_z = μ_n-μ_x-μ_h、分散をσ_z=σ_n ²+σ_x ²+σ_h ²により求める。
前記近似多項式はラグランジュ多項式であることを特徴とする請求項６，７いずれかに記載のコンピュータプログラム。
前記近似多項式はチェビシェフ−ラグランジェ多項式であることを特徴とする請求項６，７いずれかに記載のコンピュータプログラム。
前記近似多項式は重みつき最小二乗近似多項式であることを特徴とする請求項６，７いずれかに記載のコンピュータプログラム。