JP2013120379A - スペクトル歪みパラメータ推定値補正装置とその方法とプログラム - Google Patents

Abstract

【課題】加法性歪み対数スペクトルの時系列と加法性歪み対数スペクトルの分散と乗法性歪み対数スペクトルを出力するスペクトル歪みパラメータ推定値補正方法を提供する。
【解決手段】この発明のスペクトル歪みパラメータ推定値補正方法は、パラメータ推定値初期化ステップと、パラメータ推定値選択ステップと、劣化対数スペクトルモデル合成ステップと、パラメータ推定値更新ステップと、収束判定ステップと、パラメータ推定値出力ステップとを備え、劣化対数スペクトルの時系列と公知の方法で求められた加法性歪み対数スペクトルの推定値の一次的な時系列が与えられたときに、各時間フレームにおける加法性歪み対数スペクトルの補正された推定値と、乗法性歪み対数スペクトル推定値と、加法性歪み対数スペクトルの分散の推定値を計算し、これらをスペクトル歪みパラメータの推定値として出力する。
【選択図】図１

Description

この発明は、音声信号に重畳した歪みを抑圧するために必要なスペクトル歪みパラメータを推定する装置とその方法とプログラムに関する。

スペクトル歪みパラメータとは、クリーン音声に重畳した加法性歪みないし乗法性歪みのスペクトルの時系列を表現するパラメータである。自動音声認識装置やテレビ会議装置等の音声処理装置を雑音や残響のある環境で使用する場合、雑音や残響、マイクロホン固有の特性によって生じる加法性・乗法性歪みを、スペクトル歪み抑圧装置を用いて抑圧する必要がある。スペクトル歪みパラメータは、スペクトル歪み抑圧装置が歪みを抑圧する過程で用いられる。

従来のスペクトル歪み抑圧装置が実行する処理の手順、すなわちスペクトル歪み抑圧方法について説明する。スペクトル歪み抑圧方法は、入力される劣化スペクトル系列からスペクトル歪みパラメータを推定する歪み推定ステップと、劣化スペクトル系列とスペクトル歪みパラメータを用いて強調スペクトル系列を計算する強調ステップを含む。ただし、劣化スペクトルと強調スペクトルは、それぞれ歪みによって劣化した音声のスペクトルと歪みを抑圧した後の音声のスペクトルを指す。

強調ステップを実施する方法には、ＶＴＳ（Vector Taylor Series）法のように、スペクトル歪みパラメータとして加法性歪みのスペクトル（あるいは対数スペクトル）だけでなく、乗法性歪みのスペクトル（あるいは対数スペクトル）と加法性歪みの対数スペクトルの分散も必要とする方法が存在する。

歪み推定ステップを実施する方法には、雑音、すなわち加法性歪みが定常であることを仮定して、発話全体で平均された加法性歪みのスペクトルと、乗法性歪みのスペクトル、及び加法性歪みの対数スペクトルの分散を計算する方法が知られている。この方法によると加法性歪みのスペクトルと乗法性歪みのスペクトルと加法性歪みの対数スペクトルの分散が得られるので、強調ステップとしてＶＴＳ法を用いることができる。これとは別に、加法性歪みの定常性を仮定しないで歪み推定ステップを実施する方法も存在するが、この方法はスペクトル歪みパラメータとして各時間フレームにおける加法性歪みのスペクトルしか推定しない（非特許文献１と２）。この方法では乗法性歪みのスペクトルと加法性歪みの対数スペクトルの分散が得られないので、強調ステップとしてＶＴＳ法を用いることができない。

I. A. McCowan and H. Bourlard, "Microphone array post-filter based on noise field coherence," IEEE Trans. Speech, Audio Process., vol. 11, no.6, pp.709-716, 2003. K. Lebart, J. M. Boucher, and P. N. Denbigh, "A new method based on spectral subtraction for speech dereverberation," Acta Acustica united with Acustica, vol. 87, pp.359-366, 2001.

従来の歪み推定ステップを実施する方法には、非定常性な雑音環境において、加法性歪みのスペクトル系列と乗法性歪みのスペクトルと加法性歪みの対数スペクトルの分散を推定する方法は存在しなかった。よって、高精度なスペクトル歪み抑圧手段であるＶＴＳ法を非定常な雑音環境に適切に適用できず、十分なスペクトル歪み抑圧精度及び音声認識精度が得られないという課題があった。

この発明はこの課題を解決するためになされたものであり、劣化対数スペクトルの時系列と公知の方法で事前に求められた加法性歪みの対数スペクトルの一次的な推定値の時系列が与えられたときに、各時間フレームにおける加法性歪み対数スペクトルの補正された推定値の時系列と、乗法性歪みの対数スペクトルの推定値と、加法性歪みの対数スペクトルの分散の推定値を計算し、これらをスペクトル歪みパラメータの推定値として出力するスペクトル歪みパラメータ推定値補正装置とその方法とプログラムを提供することを目的とする。

この発明のスペクトル歪みパラメータ推定値補正装置は、劣化対数スペクトルの時系列と加法性歪み対数スペクトルの一次的な推定値である参照対数スペクトルの時系列とを入力とし、加法性歪み対数スペクトルの補正された推定値の時系列と加法性歪み対数スペクトル分散の推定値と乗法性歪み対数スペクトルの推定値とを出力するスペクトル歪みパラメータ推定値補正装置であって、パラメータ推定値更新部とパラメータ推定値出力部と、を具備する。パラメータ推定更新部は、バイアススペクトルと加法性歪み対数スペクトル分散と乗法性歪み対数スペクトルとからなる未知パラメータの推定値を、これら未知パラメータに関する尤度関数が最大化ないし増大されるように計算する。パラメータ推定値出力部は、加法性歪み対数スペクトルの補正された推定値を参照対数スペクトルとバイアススペクトルの推定値の和として計算する。

この発明のスペクトル歪みパラメータ推定値補正装置によれば、加法性歪み対数スペクトルの一次的な推定値があれば、加法性歪み対数スペクトルの補正された推定値の時系列と、乗法性歪み対数スペクトルの推定値と、加法性歪み対数スペクトル分散の推定値を計算することができる。よって、このスペクトル歪みパラメータ推定値補正装置と加法性歪み対数スペクトル系列だけを推定する公知の歪み推定ステップ実施手段（非特許文献１と２）を用いて歪み推定ステップを実行し、ＶＴＳ法を用いて強調ステップを実行するスペクトル歪み抑圧装置によって、非定常雑音環境において音声に重畳した歪みを精度よく抑圧できる。これによって、このスペクトル歪み抑圧装置を用いた音声認識装置は、非定常雑音環境でも高い音声認識精度をもつ。

この発明のスペクトル歪みパラメータ推定値補正装置１００の機能構成例を示す図。 スペクトル歪みパラメータ推定値補正装置１００の動作フローを示す図。 パラメータ推定部１０の機能構成例を示す図。 パラメータ推定部１０の動作フローを示す図。 パラメータ推定値更新部１４の機能構成例を示す図。 パラメータ推定値更新部１４の動作フローを示す図。 この発明の音声認識装置２００の機能構成例を示す図。 音声認識装置２００の動作フローを示す図。

以下、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには
同じ参照符号を付し、説明は繰り返さない。実施例の説明の前にこの発明の基本的な原理について説明する。

〔この発明の原理〕
まず、以降の説明で使用する文言について説明する。パワースペクトル、すなわち周波数帯域毎のパワーの配列を単にスペクトルと称する。スペクトルはどのような分析方法を用いて計算してもよい。例えば、短時間フーリエ変換、メルフィルタバンク分析、ガンマトーンフィルタバンク分析等のスペクトル分析方法を用いることができる。また、スペクトルの対数値を対数スペクトルと称する。スペクトルと対数スペクトルは互いに一意に変換できる。さらに、時間フレーム毎のＸＸからなる時系列をＸＸ系列と称する。例えば、対数スペクトル系列は、時間フレーム毎の対数スペクトルの時系列を指す。

加法性歪みの対数スペクトル、乗法性歪みの対数スペクトル、加法性歪みの対数スペクトルの分散を、それぞれ加法性歪み対数スペクトル、乗法性歪み対数スペクトル、加法性歪み対数スペクトル分散と称する。また、入力される加法性歪み対数スペクトルの一次的な推定値を参照対数スペクトルと称する。

次に各種データの変数名を定義する。歪みによって劣化した音声信号から抽出された劣化対数スペクトルをｘ_ｎ＝（ｘ_ｎ，ｊ）_{ｊ＝１，…，Ｆ}、公知の方法で事前に求められた加法性歪み対数スペクトルの一次的な推定値、すなわち参照対数スペクトルをｒ_ｎ＝（ｒ_ｎ，ｊ）_{ｊ＝１，…，Ｆ}と表記する。ただし、Ｆは処理対象の周波数チャネルの個数、ｎは時間フレームのインデクスである。また、観測されない真の加法性歪み対数スペクトルをμ_ｎ＝（μ_ｎ，ｊ）_{ｊ＝１，…，Ｆ}、乗法性歪み対数スペクトルをｈ＝（ｈ_ｊ）_{ｊ＝１，…，Ｆ}、加法性歪み対数スペクトル分散をσ＝（σ_ｊ）_{ｊ＝１，…，Ｆ}と表記する。この表記から明らかなように、ｈとσは時間に依存しないと仮定する。さらに、μ_ｎ，ｊ−ｒ_ｎ，ｊは時間に依存しないと仮定し、これをｂ_ｊと表記する。以降、ｂ＝（ｂ_ｊ）_{ｊ＝１，…，Ｆ}をバイアススペクトルと称する。

この発明のスペクトル歪みパラメータ推定値補正方法は、クリーンな音声の対数スペクトル系列のモデルであるクリーン対数スペクトルモデルを用いる。クリーン対数スペクトルモデルとしては、混合正規分布（ＧＭＭ:Gaussian Mixture Model）、隠れマルコフモデル（ＨＭＭ:Hidden Markov Model）、切替線形動的モデル（ＳＬＤＭ：Switching Linear Dynamical Model）等を用いることができる。時間フレームの個数をＴ、クリーン対数スペクトル系列をｓ^→＝（ｓ_ｎ）_{ｎ＝１，…，Ｔ}と書くと、ＧＭＭを用いる場合のクリーン対数スペクトル系列の確率密度関数は次式で与えられる。

ただし、ｋ_ｎは時間フレームｎにおけるＧＭＭの状態を表す変数であり、１〜Ｋの範囲の値を取り得る。また、ＫはＧＭＭの混合数、ｋ^→＝（ｋ_ｎ）_{ｎ＝１，…，Ｔ}は状態ｋ_ｎの時系列、ｆ_Ｎ（ｘ；μ，σ）は、平均μ、分散σの正規分布の確率密度関数である。なお、式（２）では、可読性を高めるために、時間フレームのインデクスｎを省略している。以降の説明において、文脈から明らかな場合はこのように時間フレームのインデクスを省略して表記する。ＨＭＭあるいはＳＬＤＭを用いる場合、クリーン対数スペクトル系列の確率密度関数ｐ_Ｓ→（ｓ^→）はそれぞれ次式で定義される。

クリーン対数スペクトルモデルのパラメータであるπ_ｋ，π_ｋ｜ｋ′，ν_ｋ，ｊ，τ_ｋ，ｊ，α_ｋ，ｊ，β_ｋ，ｊ，γ_ｋ，ｊは、公知の学習方法を用いて予め訓練データから求められている。なお、上記したクリーン対数スペクトルモデルの例では対角共分散行列を仮定したが、対角共分散行列の代わりに全共分散行列を用いることもできる。

この発明のスペクトル歪みパラメータ推定値補正方法は、劣化対数スペクトル系列ｘ^→＝（ｘ_ｎ）_{ｎ＝１，…，Ｔ}と参照対数スペクトル系列ｒ^→＝（ｒ_ｎ）_{ｎ＝１，…，Ｔ}が与えられときに、バイアススペクトルｂ、乗法性歪み対数スペクトルｈ、加法性歪み対数スペクトル分散σを最尤推定によって推定する。つまり、次式で定義されるバイアススペクトルの推定値ｂ＾、乗法性歪み対数スペクトルの推定値ｈ＾、加法性歪み対数スペクトル分散の推定値σ＾を計算する。

ここでｐ_Ｘ→（ｘ^→；ｂ，ｈ，σ，ｒ^→）は劣化対数スペクトル系列の確率密度関数であり、バイアススペクトルｂ、乗法性歪み対数スペクトルｈ、加法性歪み対数スペクトル分散σの尤度関数である。バイアススペクトルｂ、乗法性歪み対数スペクトルｈ、加法性歪み対数スペクトル分散σを最尤推定によって推定した後に、加法性歪み対数スペクトルの補正された推定値をμ_ｎ＾＝ｒ_ｎ＋ｂ＾として求め、加法性歪み対数スペクトルの補正された推定値の時系列（μ_ｎ＾）_{ｎ＝１，…，Ｔ}と乗法性歪み対数スペクトルの推定値ｈ＾と加法性歪み対数スペクトル分散の推定値σ＾を出力する。式（６）の最大化には、最急降下法等の汎用的な最適化技法を用いても良いし、後述する実施例で説明するＥＭアルゴリズムを用いても良い。

劣化対数スペクトル系列ｘ^→の確率密度関数ｐ_Ｘ→（ｘ^→；ｂ，ｈ，σ，ｒ^→）について説明する。この発明のスペクトル歪みパラメータ推定値補正方法では、この確率密度関数を以下のように定義する。

ｐ_Ｋ→（ｋ^→）は状態系列の事前確率であり、クリーン対数スペクトルモデルとしてＧＭＭやＳＬＤＭを用いる場合は式（８）、ＨＭＭを用いる場合は式（９）により与えられる。

ｐ_{Ｘ→|Ｋ→}（ｘ^→|ｋ^→；ｂ，ｈ，σ，ｒ^→）は状態系列が既知の条件下での劣化対数スペクトル系列の確率密度関数であり、クリーン対数スペクトル系列ｓ^→＝（ｓ_ｎ）_{ｎ＝１，…，Ｔ}を用いて更に次式のように展開される。

ただし、Ｒ^ＦはＦ次元ユークリッド空間を表す。状態系列が既知の条件下でのクリーン対数スペクトル系列の確率密度関数ｐ_{Ｓ→|Ｋ→}ｐ（ｓ^→|ｋ^→）は、クリーン対数スペクトルモデルとしてＧＭＭやＨＭＭを用いる場合は式（１１）、ＳＬＤＭを用いる場合は式（１２）として与えられる。

一方、クリーン対数スペクトル系列と状態系列が既知の条件下での劣化スペクトル系列の確率密度関数ｐ_{Ｘ→|Ｓ→，Ｋ→}ｐ（ｘ^→|ｓ^→，ｋ^→；ｂ，ｈ，σ，ｒ^→）は、次式のように時間フレーム毎の確率密度関数の積として表現される。

クリーン対数スペクトルと状態が既知の条件下での劣化対数スペクトルの確率密度関数ｐ_{Ｘ|Ｓ，Ｋ}（ｘ|ｓ，ｋ；ｂ，ｈ，σ，ｒ）を歪みモデルと称する。歪みモデルは、具体的にはＶＴＳ（vector taylor series）モデルや位相感応（phase-sensitive）モデル、あるいはリフテド最大値（lifted max）モデル等を用いて定義される。例えば、ＶＴＳモデルの場合は次式のように表せる。

ただし、ｆ（ｘ，ｙ，ｚ）はミスマッチ関数と称される関数であり、ｇ（ｘ，ｙ，ｚ）はミスマッチ関数のｘに関する偏導関数である。具体的には、それぞれ次式で与えられる。

上記したこの発明の原理をまとめると、この発明のスペクトル歪みパラメータ推定値補正方法は、劣化対数スペクトル系列ｘ^→と参照対数スペクトル系列ｒ^→が与えられたときに、バイアススペクトル、乗法性歪み対数スペクトル、加法性歪み対数スペクトル分散の各推定値ｂ＾，ｈ＾，σ＾を上記した式（６）により求め、各時間フレームｎにおける加法性歪み対数スペクトルの補正された推定値をμ_ｎ＾＝ｒ_ｎ＋ｂ＾として求め、加法性歪み対数スペクトルの補正された推定値の時系列（μ_ｎ＾）_{ｎ＝１，…，Ｔ}と乗法性歪み対数スペクトルの推定値ｈ＾と加法性歪み対数スペクトル分散の推定値σ＾を出力する。式（６）の最大化の実施には、最急降下法等の公知の最適化技法やＥＭアルゴリズムが用いられる。

図１に、この発明のスペクトル歪みパラメータ推定値補正装置１００の機能構成例を示す。その動作フローを図２に示す。この実施例では、クリーン対数スペクトルモデルとしてＧＭＭを、歪みモデルとしてＶＴＳモデルを用い、ＥＭアルゴリズムを用いて式（６）の最尤推定を実施する。以降、バイアススペクトル、加法性歪み対数スペクトル分散、乗法性歪み対数スペクトルをまとめて未知パラメータと称する。

スペクトル歪みパラメータ推定値補正装置１００は、パラメータ推定部１０と、クリーン対数スペクトルモデルパラメータ記憶部２０と、パラメータ推定値出力部３０と、を具備する。その各部の機能は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。

パラメータ推定部１０は、劣化対数スペクトル系列ｘ^→と参照対数スペクトル系列ｒ^→とクリーン対数スペクトルモデルパラメータ記憶部２０に記憶されたクリーン対数スペクトルモデルのパラメータ｛μ_ｋ，ν_ｋ，τ_ｋ｝_{ｋ＝１，…，Ｋ}を受け取り、バイアススペクトルの推定値ｂ＾と加法性歪み対数スペクトル分散の推定値σ＾と乗法性歪み対数スペクトルの推定値ｈ＾を計算し、これら未知パラメータの推定値をパラメータ推定値出力部３０に送出する（ステップＳ１０）。

パラメータ推定値出力部３０は、各未知パラメータの推定値ｂ＾、σ＾、ｈ＾と参照対数スペクトル系列ｒ^→を受け取り、加法性歪み対数スペクトルの補正された推定値の時系列（μ_ｎ＾）_{ｎ＝１，…，Ｔ}と乗法性歪み対数スペクトルの推定値ｈ＾と加法性歪み対数パワースペクトル分散の推定値σ＾を出力する（ステップＳ３０）。

図３に、パラメータ推定値更新部１０のより具体的な機能構成例を示す。図４にその動作フローを示す。パラメータ推定値更新部１０は、パラメータ推定値初期化部１１と、パラメータ推定値選択部１２と、劣化対数スペクトルモデル合成部１３と、パラメータ推定値更新部１４と、収束判定部１５と、を備える。パラメータ推定値選択部１２、劣化対数スペクトルモデル合成部１３、パラメータ推定値更新部１４、収束判定部１５の動作は繰り返し実行される。

パラメータ推定値初期化部１１は、バイアススペクトルの初期推定値ｂ_０＾と加法性歪み対数スペクトル分散の初期推定値σ_０＾と乗法性歪み対数スペクトルの初期推定値のｈ_０＾を計算し、これら未知パラメータの初期推定値をパラメータ推定値選択部１２に送出する（ステップＳ１１）。

パラメータ推定値選択部１２は、各未知パラメータの初期推定値ｂ_０＾、σ_０＾、ｈ_０＾と後述する各未知パラメータの更新推定値ｂ_＋＾、σ_＋＾、ｈ_＋＾を受け取り、何れか一方を現在の繰り返しにおける各未知パラメータの暫定推定値ｂ₋＾、σ₋＾、ｈ₋＾として選択し、これらの未知のパラメータの暫定推定値を劣化音声モデル合成部１３に送出する（ステップＳ１２）。具体的には、繰り返しの最初ではｂ₋＾＝ｂ_０＾、σ₋＾＝σ_０＾、ｈ₋＾＝ｈ_０＾とし、以降の繰り返しではｂ₋＾＝ｂ_＋＾、σ₋＾＝σ_＋＾、ｈ₋＾＝ｈ_＋＾とする。

劣化対数スペクトル合成部１３は、参照対数スペクトル系列ｒ^→と各未知パラメータの暫定推定値ｂ₋＾、σ₋＾、ｈ₋＾、及びクリーン対数スペクトルモデルのパラメータ｛μ_ｋ，ν_ｋ，τ_ｋ｝_{ｋ＝１，…，Ｋ}を受け取り、状態系列が既知の条件下での劣化スペクトル系列の確率密度関数
ｐ_{Ｘ→|Ｋ→}（ｘ^→|ｋ^→；ｂ，ｈ，σ，ｒ^→）においてｂ＝ｂ₋＾、ｈ＝ｈ₋＾、σ＝σ₋＾としたときのパラメータの集合Θ＝{Θ_ψ，Θ_υ}を計算し、これをパラメータ推定値更新部１４に送出する（ステップＳ１３）。以降、ｐ_{Ｘ→|Ｋ→}（ｘ^→|ｋ^→；ｂ，ｈ，σ，ｒ^→）を劣化対数スペクトル系列モデル、Θを劣化対数スペクトル系列モデルパラメータと称する。

パラメータ推定値更新部１４は、劣化対数スペクトル系列ｘ^→と参照対数スペクトル系列ｒ^→と劣化対数スペクトル系列モデルパラメータΘと各未知パラメータの暫定推定値ｂ₋＾、σ₋＾、ｈ₋＾を受け取り、ＥＭアルゴリズムのＥステップとＭステップを各一回ずつ実施することにより式（６）右辺の尤度関数が大きくなるように各未知パラメータの更新推定値ｂ_＋＾、σ_＋＾、ｈ_＋＾を計算し、これらを収束判定部１５とパラメータ推定値選択部１２に送出する（ステップＳ１４）。

収束判定部１５は、各未知パラメータの更新推定値ｂ_＋＾、σ_＋＾、ｈ_＋＾を受け取り、収束条件が満たされているか否かを判定し、満たされている場合にのみ各未知パラメータの推定値ｂ＾、σ＾、ｈ＾をｂ＾＝ｂ_＋＾、σ＾＝σ_＋＾、ｈ＾＝ｈ_＋＾として計算し、これらを出力する（ステップＳ１５）。収束条件は、例えば、繰り返し回数が一定回数を越えたか否か、尤度関数もしくは対数尤度関数の変化が閾値以下か否か、あるいは、各未知パラメータの推定値の変化が閾値以下か否かなどの条件を用いることができる。

以上述べたこの発明のスペクトル歪みパラメータ推定値補正装置１００を用いると、劣化対数スペクトル系列ｘ^→と参照対数スペクトル系列ｒ^→から、加法性歪み対数スペクトルの補正された推定値の時系列（μ_ｎ＾）_{ｎ＝１，…，Ｔ}と乗法性歪み対数スペクトルの推定値ｈ＾と加法性歪み対数パワースペクトル分散の推定値σ＾が得られる。すなわち、このスペクトル歪みパラメータ推定値補正装置１００と加法性歪み対数スペクトル系列だけを推定する公知の歪み推定ステップ実施手段（非特許文献１と２）を用いることにより、高精度なスペクトル歪み抑圧手段の一つであるＶＴＳ法を非定常な雑音環境でも有効に利用することができる。

なお、各機能部の間で直接データをやり取りする代わりに、これらのデータをスペクトル歪みパラメータ推定値補正装置１００を構成するコンピュータの記憶装置に記憶して、必要時に適宜読み出して使用するような構成にしても良い。

以降各機能部の動作を更に詳しく説明する。

〔パラメータ推定値初期化部〕
パラメータ推定値初期化部１１は、バイアススペクトルの初期推定値ｂ_０＾と加法性歪み対数スペクトル分散の初期推定値σ_０＾と乗法性歪み対数スペクトルの初期推定値ｈ_０＾を所定の方法で計算する。例えば、全ての周波数ｊについてｂ_０ｊ＾＝０、σ_０ｊ＾＝１、ｈ_０ｊ＾＝０とする。ただし、ベクトル変数の右下に付した添え字ｊは、当該ベクトル変数のｊ番目の要素を表す。なお、初期推定値はこの値に限定する趣旨ではないし、パラメータ推定値初期化部１１に加法性雑音対数スペクトル系列ｘ^→や参照対数スペクトルｒ^→を入力として、これらを用いて各初期推定値を計算するように構成しても良い。

〔劣化対数スペクトルモデル合成部〕
劣化音声モデル合成部１３は、ｂ＾＝ｂ₋＾ｈ＾＝ｈ₋＾、σ＾＝σ₋＾のときに、劣化対数スペクトル系列モデルｐ_{Ｘ→|Ｋ→}（ｘ^→|ｋ^→；ｂ，ｈ，σ，ｒ^→）を定義する劣化対数スペクトル系列モデルパラメータを計算する。

この実施例ではクリーン対数スペクトルモデルとしてＧＭＭを、歪みモデルとしてＶＴＳモデルを用いるため、劣化対数スペクトル系列モデルｐ_{Ｘ→|Ｋ→}（ｘ^→|ｋ^→；ｂ，ｈ，σ，ｒ^→）は、状態が既知の条件下での劣化対数スペクトルの各時間フレームにおける確率密度関数ｐ_Ｘ|Ｋ（ｘ_ｎ|ｋ_ｎ；ｂ，ｈ，σ，ｒ_ｎ）の全フレームに亘る積で与えられる。ｐ_Ｘ|Ｋ（ｘ_ｎ|ｋ_ｎ；ｂ，ｈ，σ，ｒ_ｎ）を劣化対数スペクトルモデルと称する。ｂ＾＝ｂ₋＾、ｈ＾＝ｈ₋＾、σ＾＝σ₋＾としたときの劣化対数スペクトルモデルは式（２０）で与えられ、その平均の集合Θ_ψ＝{ψ_{ｎ，ｋ，ｊ}}_{１≦ｎ≦Ｔ，１≦ｋ≦Ｋ，１≦ｊ≦Ｆ}と分散の集合Θ_υ＝{υ_{ｎ，ｋ，ｊ}}_{１≦ｎ≦Ｔ，１≦ｋ≦Ｋ，１≦ｊ≦Ｆ}が劣化対数スペクトル系列モデルパラメータΘ＝{Θ_ψ，Θ_υ}となる。

〔パラメータ推定値更新部〕
図５に、パラメータ推定値更新部１４のより具体的な機能構成例を示す。その動作フローを図６に示す。

パラメータ推定値更新部１４は、分岐手段１４０と、Ｅステップを実行する事後確率計算手段１４１と、Ｍステップを実行する第二パラメータ推定値更新手段１４２と、で構成される。

分岐手段１４０は、第二パラメータ推定値更新手段１４２における処理を選択するのに用いられる分岐信号ａを計算し、第二パラメータ推定値更新手段１４２に送出する。分岐信号ａ＝０又はａ＝１の何れかの値を取る。繰り返しの度に、ａ＝０とａ＝１を交互に選択しても良い。又は、乗法性歪み対数スペクトルが既知の場合には、ａ＝０として第二パラメータ推定値更新手段１４２でバイアススペクトルと加法性歪み対数スペクトル分散の各推定値のみを更新するようにしても良い。

ＥＭアルゴリズムのＥステップを実行する事後確率計算手段１４１は、劣化対数スペクトル系列モデルパラメータΘと各未知パラメータの暫定推定値ｂ₋＾、σ₋＾、ｈ₋＾と劣化対数スペクトル系列ｘ^→と参照対数スペクトル系列ｒ^→を受け取り、各時間フレームｎについて状態の事後確率{ｗ_ｎ，ｉ}_{１≦ｉ≦Ｋ}と加法性歪み対数スペクトルの事後確率分布の平均の集合{ｍ_{ｎ，ｋ，ｊ}}_{１≦ｋ≦Ｋ，１≦ｊ≦Ｆ}と分散の集合{ｅ_{ｎ，ｋ，ｊ}}_{１≦ｋ≦Ｋ，１≦ｊ≦Ｆ}を計算し、それらの全時間フレームに亘る集合Θ_ｗ＝{ｗ_ｎ，ｋ}_{１≦ｎ≦Ｔ，１≦ｋ≦Ｋ}、Θ_ｍ＝{ｍ_{ｎ，ｋ，ｊ}}_{１≦ｎ≦Ｔ，１≦ｋ≦Ｋ，１≦ｊ≦Ｆ}、Θ_ｅ＝{ｅ_{ｎ，ｋ，ｊ}}_{１≦ｎ≦Ｔ，１≦ｋ≦Ｋ，１≦ｊ≦Ｆ}を第二パラメータ推定値更新手段１４２に送出する。(ステップＳ１４１）。

具体的には、ｗ_ｎ，ｉは各未知パラメータの暫定推定値が与えられた条件下で時間フレームｎにおける状態ｋ_ｎがｉである事後確率である。また、ｍ_{ｎ，ｋ，ｊ}とｅ_{ｎ，ｋ，ｊ}はそれぞれ、各未知パラメータの暫定推定値と状態ｋ_ｎが与えられた条件下での時間フレームｎにおける加法性歪み対数スペクトルの第ｊ要素の事後分布の平均と分散である。これらはそれぞれ、式（２３）〜（２５）にしたがって計算される。

Θ_ｍとΘ_ｅを合わせて、単に加法性歪み対数スペクトルの事後分布のパラメータと称する。

ＥＭアルゴリズムのＭステップを実行する第二パラメータ推定値更新手段１４２は、参照対数スペクトルｒ^→、状態の事後確率の集合Θ_ｗ＝{ｗ_ｎ，ｋ}_{１≦ｎ≦Ｔ，１≦ｋ≦Ｋ}、加法性歪み対数スペクトルの事後分布のパラメータΘ_ｍ＝{ｍ_{ｎ，ｋ，ｊ}}_{１≦ｎ≦Ｔ，１≦ｋ≦Ｋ，１≦ｊ≦Ｆ}とΘ_ｅ＝{ｅ_{ｎ，ｋ，ｊ}}_{１≦ｎ≦Ｔ，１≦ｋ≦Ｋ，１≦ｊ≦Ｆ}、各未知パラメータの暫定推定値ｂ₋＾、σ₋＾、ｈ₋＾ならびに分岐信号ａを受け取り、バイアススペクトルの更新推定値ｂ_＋＾と加法性歪み対数スペクトル分散の更新推定値σ_＋＾と乗法性歪み対数スペクトルの更新推定値ｈ_＋＾を計算して出力する（ステップＳ１４２）。各未知パラメータの更新推定値の計算方法は、分岐信号ａの値によって異なる。ａ＝０の場合、式（２６）〜（２８）を用いて、バイアススペクトルと加法性ひずみ対数スペクトル分散の各推定値のみ更新する(ステップＳ１４２０)。

一方、ａ＝１の場合、式（２９）〜（３３）を用いて、乗法性歪み対数スペクトルの推定値のみ更新する（ステップＳ１４２１）。

なお、パラメータ推定値更新部１４２で計算された未知パラメータの更新推定値を用いて計算した尤度関数が、入力された未知パラメータの暫定推定値を用いて計算した尤度関数よりも小さい場合、バックオフ処理（参考文献：H. Liao, “Uncertainty decoding for noise robust speech recognition,” Ph.D. dissertation, The University of Cambridge,2007.）を行うようにしても良い。

〔パラメータ推定値出力部〕
パラメータ推定値出力部６０は、各未知パラメータの推定値ｂ^，σ＾，ｈ＾と、加法性歪み対数スペクトル系列ｒ^→を受け取り、各時間フレームｎにおける加法性歪み対数スペクトルの補正された推定値μ_ｎ＾を式（３１）で計算する。

そして、加法性歪み対数スペクトルの補正された推定値の時系列（μ_ｎ＾）_{ｎ＝1…，Ｔ}と乗法性歪み対数スペクトルの推定値ｈ＾と加法性歪み対数スペクトル分散の推定値σ＾を外部に出力する。あるいは、（μ_ｎ＾）_{ｎ＝1…，Ｔ}とｈ＾とσ＾は、スペクトル歪みパラメータ推定値補正装置１００を構成するコンピュータシステムの記憶装置に記憶しても良い。

〔音声認識装置〕
次に、スペクトル歪みパラメータ推定値補正装置１００で求めた加法性歪み対数スペクトルの補正された推定値の時系列（μ_ｎ＾）_{ｎ＝1…，Ｔ}と乗法性歪み対数スペクトルの推定値ｈ＾と加法性歪み対数スペクトル分散の推定値σ＾を利用して、残響環境で音声認識する音声認識装置２００を説明する。残響は極めて非定常な雑音と見做すことができる。

図７に、この発明を用いた音声認識装置２００の機能構成例を示す。その動作フローを図８に示す。音声認識装置２００は、メルフィルタバンク部２１０と、参照対数スペクトル生成部２２０と、スペクトル歪みパラメータ推定値補正部２３０と、音声強調部２４０と、音声認識部２５０と、を具備する。その各部の機能は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。

メルフィルタバンク部２１０は、入力された残響を含む音声信号から対数メル周波数スペクトル系列を上記劣化対数スペクトル系列として抽出する（ステップＳ２１０）。メル周波数対数スペクトル系列は、音声認識装置２００を構成するコンピュータの記憶装置に記憶しても良い。

参照対数スペクトル生成部２２０は、劣化対数スペクトル系列ｘ^→を受け取り、加法性歪み対数スペクトルの一次的な推定値の時系列、すなわち参照対数スペクトル系列を計算し、これをスペクトル歪みパラメータ推定値補正部２３０に送出する（ステップＳ２２０）。各時間フレームにおける参照対数スペクトルは、既存の方法(例えば非特許文献２)を用いて残響のメル周波数スペクトルを計算し、その対数値をとることで計算する。

スペクトル歪みパラメータ推定値補正部２３０は、上記したスペクトル歪みパラメータ推定値補正装置１００を用いて実施される。すなわち、スペクトル歪みパラメータ推定値補正部２３０は、劣化対数スペクトル系列ｘ^→と参照対数スペクトル系列ｒ^→を受け取り、上記したように加法性歪み対数スペクトルの補正された推定値の時系列（μ_ｎ＾）_{ｎ＝1…，Ｔ}と乗法性歪み対数スペクトルの推定値ｈ＾と加法性歪み対数スペクトル分散の推定値σ＾を求めて、音声強調部２４０に送出する。

音声強調部２４０は、劣化対数スペクトル系列ｘ^→と加法性歪み対数スペクトルの補正された推定値の時系列（μ_ｎ＾）_{ｎ＝1…，Ｔ}と、乗法性歪み対数スペクトルの推定値ｈ＾と、加法性歪み対数スペクトル分散の推定値σ＾と、を受け取り、ＶＴＳ法を用いて残響が抑圧された強調対数スペクトル系列を計算し、これを音声認識部２５０に送出する。（ステップＳ２４０）。

音声認識部２５０は、強調対数スペクトル系列を受け取り、これに基づいて音声認識して、テキスト情報を出力する（ステップＳ２５０）。

〔評価実験〕
本発明のスペクトル歪みパラメータ推定値補正方法の効果を確認する目的で、音声認識装置２００の音声認識精度を数字認識実験により評価した。実験用の残響音声信号は、TIDigitsコーパスに含まれるクリーン音声信号に可変残響室で計測されたインパルス応答を畳み込むことで合成した。

スペクトル歪み抑圧を伴わない標準的な音声認識装置による単語正解精度は70.77%、本発明を用いた音声認識装置２００による単語正解精度は85.89%であった。このように、本発明によるスペクトル歪みパラメータ推定値補正方法とその方法を用いた音声認識装置の有効性を確認することができた。

なお、上記した実施例では、パラメータ推定部が尤度関数を最大化する方法としてＥＭアルゴリズムを用いたが、尤度関数の最大化には最急降下法等の他の汎用的な最適化技法を用いても良い。

上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、DVD（Digital Versatile Disc）、DVD-RAM（Random Access Memory）、CD-ROM（Compact Disc Read Only Memory）、CD-R（Recordable）/RW（ReWritable）等を、光磁気記録媒体として、MO（Magneto Optical disc）等を、半導体メモリとしてEEP-ROM（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。

また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (7)

1. 劣化対数スペクトルの時系列と加法性歪み対数スペクトルの一次的な推定値である参照対数スペクトルの時系列とを入力とし、前記加法性歪み対数スペクトルの補正された推定値の時系列と加法性歪み対数スペクトル分散の推定値と乗法性歪み対数スペクトルの推定値とを出力するスペクトル歪みパラメータ推定値補正装置であって、
   バイアススペクトルの推定値と前記加法性歪み対数スペクトル分散の推定値と前記乗法性歪み対数スペクトルの推定値を、尤度関数が最大化ないし増大されるように計算するパラメータ推定部と、
   前記加法性歪み対数スペクトルの前記補正された推定値を前記参照対数スペクトルと前記バイアススペクトルの前記推定値の和として計算するパラメータ推定値出力部と、
   を具備することを特徴とするスペクトル歪みパラメータ推定値補正装置。
2. 請求項１に記載したスペクトル歪みパラメータ推定値補正装置において、前記パラメータ推定部は、
   前記バイアススペクトルの初期推定値と前記加法性歪み対数スペクトル分散の初期推定値と前記乗法性歪み対数スペクトルの初期推定値を計算するパラメータ推定値初期化部と、
   前記バイアススペクトルの前記初期推定値と前記バイアススペクトルの更新推定値の一方を前記バイアススペクトルの暫定推定値とし、前記加法性歪み対数スペクトル分散の前記初期推定値と前記加法性歪み対数スペクトル分散の更新推定値の一方を前記加法性歪み対数スペクトル分散の暫定推定値とし、前記乗法性歪み対数スペクトルの前記初期推定値と前記乗法性歪み対数スペクトルの更新推定値の一方を前記乗法性歪み対数スペクトルの暫定推定値とするパラメータ推定値選択部と、
   前記参照対数スペクトルの時系列と前記バイアススペクトルの前記暫定推定値と前記加法性歪み対数スペクトル分散の前記暫定推定値と前記乗法性歪み対数スペクトルの前記暫定推定値とクリーン対数スペクトルモデルパラメータとを用いて、劣化対数スペクトル系列モデルパラメータを計算する劣化対数スペクトルモデル合成部と、
   前記劣化対数スペクトルの時系列と前記参照対数スペクトルの時系列と前記バイアススペクトルの前記暫定推定値と前記加法性歪み対数スペクトル分散の前記暫定推定値と前記乗法性歪み対数スペクトルの前記暫定推定値と前記劣化対数スペクトル系列モデルパラメータと前記クリーン対数スペクトルモデルパラメータとを用いて、ＥＭアルゴリズムのＥステップとＭステップを実行することによって尤度関数が増大されるように前記バイアススペクトルの前記更新推定値と前記加法性歪み対数スペクトル分散の前記更新推定値と前記乗法性歪み対数スペクトルの前記更新推定値を計算するパラメータ推定値更新部と、
   収束条件を満たしていれば前記バイアススペクトルの前記更新推定値を前記バイアススペクトルの前記推定値とし、前記加法性歪み対数スペクトル分散の前記更新推定値を前記加法性歪み対数スペクトル分散の前記推定値とし、前記乗法性歪み対数スペクトルの前記更新推定値を前記乗法性歪み対数スペクトルの前記推定値として出力する収束判定部と、
   を備えることを特徴とするスペクトル歪みパラメータ推定値補正装置。
3. 請求項２に記載したスペクトル歪みパラメータ推定値補正装置において、前記パラメータ推定値更新部は、
   第二パラメータ推定値更新手段の処理を選択するのに用いられる分岐信号を計算する分岐手段と、
   前記劣化対数スペクトル系列モデルパラメータと前記バイアススペクトルの前記暫定推定値と前記加法性歪み対数スペクトル分散の前記暫定推定値と前記乗法性歪み対数スペクトルの前記暫定推定値と前記劣化対数スペクトルの時系列と前記参照対数スペクトルの時系列とを用いて、ＥＭアルゴリズムのＥステップにしたがって状態事後確率と前記加法性歪み対数スペクトルの事後確率分布のパラメータを計算する事後確率計算手段と、
   前記参照対数スペクトルの時系列と前記状態事後確率と前記加法性歪み対数スペクトルの前記事後確率分布のパラメータと前記分岐信号を用いて、ＥＭアルゴリズムのＭステップにしたがって前記バイアススペクトルの前記更新推定値と前記加法性歪み対数スペクトル分散の前記更新推定値と前記乗法性歪み対数スペクトルの前記更新推定値を計算する前記第二パラメータ推定値更新手段と、
   を備えることを特徴とするスペクトル歪みパラメータ推定値補正装置。
4. 劣化対数スペクトルの時系列と加法性歪み対数スペクトルの一次的な推定値である参照対数スペクトルの時系列とを入力とし、前記加法性歪み対数スペクトルの補正された推定値の時系列と加法性歪み対数スペクトル分散の推定値と乗法性歪み対数スペクトルの推定値とを出力するスペクトル歪みパラメータ推定値補正方法であって、
   バイアススペクトルの推定値と前記加法性歪み対数スペクトル分散の推定値と前記乗法性歪み対数スペクトルの推定値を、尤度関数が最大化ないし増大されるように計算するパラメータ推定過程と、
   前記加法性歪み対数スペクトルの前記補正された推定値を前記参照対数スペクトルと前記バイアススペクトルの前記推定値の和として計算するパラメータ推定値出力過程と、
   を備えることを特徴とするスペクトル歪みパラメータ推定値補正方法。
5. 請求項４に記載したスペクトル歪みパラメータ推定値補正方法において、前記パラメータ推定過程は、
   前記バイアススペクトルの初期推定値と前記加法性歪み対数スペクトル分散の初期推定値と前記乗法性歪み対数スペクトルの初期推定値を計算するパラメータ推定値初期化ステップと、
   前記バイアススペクトルの前記初期推定値と前記バイアススペクトルの更新推定値の一方を前記バイアススペクトルの暫定推定値とし、前記加法性歪み対数スペクトル分散の前記初期推定値と前記加法性歪み対数スペクトル分散の更新推定値の一方を前記加法性歪み対数スペクトル分散の暫定推定値とし、前記乗法性歪み対数スペクトルの前記初期推定値と前記乗法性歪み対数スペクトルの更新推定値の一方を前記乗法性歪み対数スペクトルの暫定推定値とするパラメータ推定値選択ステップと、
   前記参照対数スペクトルの時系列と前記バイアススペクトルの前記暫定推定値と前記加法性歪み対数スペクトル分散の前記暫定推定値と前記乗法性歪み対数スペクトルの前記暫定推定値とクリーン対数スペクトルモデルパラメータとを用いて、劣化対数スペクトル系列モデルパラメータを計算する劣化対数スペクトルモデル合成ステップと、
   前記劣化対数スペクトルの時系列と前記参照対数スペクトルの時系列と前記バイアススペクトルの前記暫定推定値と前記加法性歪み対数スペクトル分散の前記暫定推定値と前記乗法性歪み対数スペクトルの前記暫定推定値と前記劣化対数スペクトル系列モデルパラメータと前記クリーン対数スペクトルモデルパラメータとを用いて、ＥＭアルゴリズムのＥステップとＭステップを実行することによって尤度関数が増大されるように前記バイアススペクトルの前記更新推定値と前記加法性歪み対数スペクトル分散の前記更新推定値と前記乗法性歪み対数スペクトルの前記更新推定値を計算するパラメータ推定値更新ステップと、
   収束条件を満たしていれば前記バイアススペクトルの前記更新推定値を前記バイアススペクトルの前記推定値とし、前記加法性歪み対数スペクトル分散の前記更新推定値を前記加法性歪み対数スペクトル分散の前記推定値とし、前記乗法性歪み対数スペクトルの前記更新推定値を前記乗法性歪み対数スペクトルの前記推定値として出力する収束判定ステップと、
   を含むことを特徴とするスペクトル歪みパラメータ推定値補正方法。
6. 請求項５に記載したスペクトル歪みパラメータ推定値補正方法において、前記パラメータ推定値更新ステップは、
   第二パラメータ推定値更新ステップの処理を選択するのに用いられる分岐信号を計算する分岐ステップと、
   前記劣化対数スペクトル系列モデルパラメータと前記バイアススペクトルの前記暫定推定値と前記加法性歪み対数スペクトル分散の前記暫定推定値と前記乗法性歪み対数スペクトルの前記暫定推定値と前記劣化対数スペクトルの時系列と前記参照対数スペクトルの時系列とを用いて、ＥＭアルゴリズムのＥステップにしたがって状態事後確率と前記加法性歪み対数スペクトルの事後確率分布のパラメータを計算する事後確率計算ステップと、
   前記参照対数スペクトルの時系列と前記状態事後確率と前記加法性歪み対数スペクトルの前記事後確率分布のパラメータと前記分岐信号を用いて、ＥＭアルゴリズムのＭステップにしたがって前記バイアススペクトルの前記更新推定値と前記加法性歪み対数スペクトル分散の前記更新推定値と前記乗法性歪み対数スペクトルの前記更新推定値を計算する前記第二パラメータ推定値更新ステップと、
   を含むことを特徴とするスペクトル歪みパラメータ推定値補正方法。
7. 請求項１乃至３の何れかに記載したスペクトル歪みパラメータ推定値補正装置としてコンピュータを機能させるためのプログラム。

Images