JP2000250583A - 統計的言語モデル生成装置及び音声認識装置 - Google Patents

Abstract

(57)【要約】 【課題】 トライグラム以上の統計的言語モデルであっ
ても記憶すべきパラメータが少なくてすみ、高い音声認
識率を得る。 【解決手段】 言語モデル生成部２０は、学習用テキス
トデータメモリ２１に格納された学習用テキストデータ
に基づいて、処理対象の単語のユニグラムと、処理対象
の単語とその単語から直前の距離１にある単語との間の
バイグラムと、処理対象の単語とその単語から直前の距
離２にある単語との間のバイグラムと、上記ユニグラム
及び２つのバイグラムを正規化するための正規化パラメ
ータとを含むモデルパラメータを有する統計的言語モデ
ルを、処理対象の単語のトライグラムと、２つのバイグ
ラムの推定値との誤差が最小となるように平滑化して学
習することにより統計的言語モデルを生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、学習用テキストデ
ータに基づいて統計的言語モデルを生成する統計的言語
モデル生成装置、及び上記統計的言語モデルを用いて、
入力される発声音声文の音声信号を音声認識する音声認
識装置に関する。

【０００２】

【従来の技術】近年、連続音声認識装置において、その
性能を高めるために言語モデルを用いる方法が研究され
ている。これは、言語モデルを用いて、次単語を予測し
探索空間を削減することにより、認識率の向上及び計算
時間の削減の効果を狙ったものである。最近盛んに用い
られている言語モデルとしてＮ−グラム（Ｎ−ｇｒａ
ｍ）がある。これは、大規模なテキストデータを学習
し、直前のＮ−１個の単語から次の単語への遷移確率を
統計的に与えるものである。複数Ｌ個の単語列ｗ₁ ^L＝ｗ
₁，ｗ₂，…，ｗ_Lの生成確率Ｐ（ｗ₁ ^L）は次式で表され
る。

【０００３】

【数１】

【０００４】ここで、ｗ_tは単語列ｗ₁ ^Lのうちｔ番目の
１つの単語を表し、ｗ_i ^jはｉ番目からｊ番目の単語列を
表わす。上記数１において、確率Ｐ（ｗ_t｜
ｗ_t+1-N ^t-1）は、Ｎ個の単語からなる単語列ｗ_t+1-N ^t-1
が発声された後に単語ｗ_tが発声される確率であり、以
下同様に、確率Ｐ（Ａ｜Ｂ）は単語又は単語列Ｂが発声
された後に単語Ａが発声される確率を意味する。また、
数１における「Π」はｔ＝１からＬまでの確率Ｐ（ｗ_t
｜ｗ_t+1-N ^t-1）の積を意味し、以下同様である。

【０００５】Ｎ−グラムは極めて単純なものでありなが
ら、構築の容易さ、統計的音響モデルとの相性の良さ、
認識率向上や計算時間の短縮の効果が大きい等の理由
で、連続音声認識には非常に有効である（例えば、従来
技術文献１「L.R.Bahl et al.,“A Maximum Likelihood
Approach to Continuous Speech Recognition”,IEEET
ransaction on Pattern Analysis and Machine Intelli
gence, pp.179-190,1983年」、従来技術文献２「P.C.Wo
odland et al.,“THE 1994 HTK Large Vocabulary Spee
ch Recognition System”,Proceedings of ICASSP’95,
Vol.1,pp.73-76,1995年」、従来技術文献３「村上ほ
か，“単語のｔｒｉｇｒａｍを利用した文音声認識と自
由発話認識への拡張”，電子情報通信学会技術研究報
告，ＳＰ９３−１２７，ｐｐ７１−７８，平成６年」参
照。）。

【０００６】一般に、Ｎ−グラムの言語モデルは、Ｎを
大きくすると長い単語連鎖を取り扱うことにより次単語
の精度は高くなるが、パラメータ数が多くなり、学習デ
ータ量が少ない場合は出現頻度の低い単語に信頼できる
遷移確率を与えることはできない。例えば語彙数が５，
０００語のとき、トライグラム（ｔｒｉｇｒａｍ）（Ｎ
＝３）の全ての単語の遷移組は（５，０００）³＝１，
２５０億であるから、信頼できる遷移確率を求めるため
には、数千億単語以上からなる膨大なテキストデータが
必要となる。これだけの膨大なテキストデータを集める
のは事実上不可能である。逆に、Ｎを小さくすると、遷
移確率の信頼性は高くなるが、短い単語連鎖しか取り扱
うことができず、次単語の予測精度は低くなる。

【０００７】この問題を解決するため、次のような方法
が提案されている。 （１）補間による未学習遷移確率の推定方法 この方法は、例えば、削減補間法（Deleted Interpolat
ion）（例えば、従来技術文献４「F.Jelinek et al.,
“Interpolated estimation of Markov SourceParamete
rs from Sparse Data”,Proceedings of Workshop Patt
ern Recognition in Practice,pp.381-37,1980年」参
照。）や、バックオフ平滑化法（Back-offSmoothing）
（例えば、従来技術文献５「S.M.Katz,“Estimation of
Probabilities from Sparse Data for the Language m
odel Component of a Speech Recognizer”,IEEE Trans
action on Acoustics, Speech, and Signal Processin
g,Vol.ASSP-35,No.3,pp.400-401,1987年3月」参照。）
等に代表される方法で、小さいＮのＮ−グラム（Ｎ−ｇ
ｒａｍ）の値で遷移確率を補間することにより、学習用
テキストデータには存在しない単語遷移に対しても、遷
移確率を与えることができる。しかしながら、出現頻度
の低い単語に関しては信頼できる遷移確率を与えられな
い恐れがある。

【０００８】（２）クラスＮ−グラムによるパラメータ
数の削減方法 この方法は、相互情報量に基づくクラスタリング（例え
ば、従来技術文献６「P.F.Brown et al.,“Class-Based
n-gram models of natural language”,Computational
Linguistics,Vol.18,No.4,pp467-479,1992年」参
照。）や、品詞（従来技術文献７「周ほか，“確率モデ
ルによる日本語の大語彙連続音声認識”，情報処理学
会，第５１回全国大会講演論文集，ｐｐ．１１９−１２
０，平成７年」参照。）等によるクラス間のＮ−グラム
を考えたもので、Ｌ個の単語の文生成確率Ｐ（ｗ₁ ^L）は
一般に次式で表される。

【０００９】

【数２】

【００１０】ここで、ｃ_tは単語ｗ_tの属するクラスを表
し、ｃ_i ^jはｉ番目からｊ番目のクラス列を表わす。上記
数２で、Ｐ（ｃ_t｜ｃ_t-N+1 ^t+1）は、直前の（Ｎ−１）
個の単語の属するクラスから次の単語の属するクラスへ
の遷移確率を表す。クラス数が５０のとき、トライグラ
ムの全てのクラス間の遷移の組は５０³＝１２５，００
０であるから、数十万単語程度と単語Ｎ−グラムに比べ
てかなり小規模なテキストデータで遷移確率が求められ
ると考えられる。しかしながら、単語間の特有な連接関
係を表現することができないので、次単語の予測精度は
悪くなると考えられる。

【００１１】これらの問題点を解決するために、従来例
に比較して遷移確率の予測精度及び信頼性を改善するこ
とができる統計的言語モデルを生成することができる統
計的言語モデル生成装置を、本特許出願人は、特開平９
−１３４１９２号公報において提案している。この従来
例の装置では、所定の話者の発声音声文を書き下した学
習用テキストデータに基づいて、すべての語彙を品詞毎
にクラスタリングされた品詞クラスに分類し、それらの
品詞クラス間のバイグラムを初期状態の統計的言語モデ
ルとして生成する生成手段と、上記生成手段によって生
成された初期状態の統計的言語モデルに基づいて、単語
の品詞クラスからの分離することができる第１の分離ク
ラス候補と、１つの単語と１つの単語との結合、１つの
単語と複数の単語の単語列との結合、複数の単語の単語
列と１つの単語との結合、複数の単語の単語列と、複数
の単語の単語列との結合とを含む連接単語又は連接単語
列の結合によって単語の品詞クラスから分離することが
できる第２の分離クラス候補とを検索する検索手段と、
上記検索手段によって検索された第１と第２の分離クラ
ス候補に対して、次単語の予測の難易度を表わす所定の
エントロピーを用いて、クラスを分離することによる当
該エントロピーの減少量を計算する計算手段と、上記計
算手段によって計算された上記第１と第２の分離クラス
候補に対するエントロピーの減少量の中で最大のクラス
分離を選択して、選択されたクラスの分離を実行するこ
とにより、品詞のバイグラムと可変長Ｎの単語のＮ−グ
ラムとを含む統計的言語モデルを生成する分離手段と、
上記分離手段によって生成された統計的言語モデルのク
ラス数が所定のクラス数になるまで、上記分離手段によ
って生成された統計的言語モデルを処理対象モデルとし
て、上記検索手段の処理と、上記計算手段の処理と、上
記分離手段の処理とを繰り返すことにより、所定のクラ
ス数を有する統計的言語モデルを生成する制御手段とを
備えたことを特徴としている。

【００１２】

【発明が解決しようとする課題】従来例の装置で生成し
たバイグラムの統計的言語モデルでは、それほど記憶す
べきパラメータはそんなに多大にならないが、トライグ
ラム以上の統計的言語モデルでは、記憶すべきパラメー
タが膨大になり、統計的言語モデルを記憶する記憶装置
の容量が多大になるという問題点があった。

【００１３】本発明の目的は以上の問題点を解決し、ト
ライグラム以上の統計的言語モデルであっても記憶すべ
きパラメータが少なくてすみ、しかも高い音声認識率を
得ることができる統計的言語モデル生成装置及び、当該
統計的言語モデル生成装置を備えた音声認識装置を提供
することにある。

【００１４】

【課題を解決するための手段】本発明に係る請求項１記
載の統計的言語モデル装置は、所定の話者の発声音声文
を書き下した学習用テキストデータに基づいて、処理対
象の単語のユニグラムと、処理対象の単語とその単語か
ら直前の距離１にある単語との間のバイグラムと、処理
対象の単語とその単語から直前の距離２にある単語との
間のバイグラムと、上記ユニグラム及び２つのバイグラ
ムを正規化するための正規化パラメータとを含むモデル
パラメータを有する統計的言語モデルを、処理対象の単
語とその直前の２つの単語との観測値のトライグラム
と、上記２つのバイグラムの推定値との誤差が最小とな
るように平滑化して学習することにより、上記モデルパ
ラメータを有する統計的言語モデルを生成する生成手段
を備えたことを特徴とする。

【００１５】また、本発明に係る請求項２記載の音声認
識装置は、入力される発声音声文の音声信号に基づい
て、所定の統計的言語モデルを用いて音声認識する音声
認識手段を備えた音声認識装置において、上記音声認識
手段は、請求項１記載の統計的言語モデル生成装置によ
って生成された統計的言語モデルを用いて音声認識する
ことを特徴とする。

【００１６】

【発明の実施の形態】以下、図面を参照して本発明に係
る実施形態について説明する。

【００１７】図１に本発明に係る一実施形態の連続音声
認識装置のブロック図を示す。本実施形態の連続音声認
識装置は、言語モデル生成部２０を備え、言語モデル生
成部２０は、学習用テキストデータメモリ２１に格納さ
れた所定の話者の発声音声文を書き下した学習用テキス
トデータに基づいて、処理対象の単語のユニグラムと、
処理対象の単語とその単語から直前の距離１にある単語
との間のバイグラムと、処理対象の単語とその単語から
直前の距離２にある単語との間のバイグラムと、上記ユ
ニグラム及び２つのバイグラムを正規化するための正規
化パラメータとを含むモデルパラメータを有する統計的
言語モデルを、処理対象の単語とその直前の２つの単語
との観測値のトライグラムと、上記２つのバイグラムの
推定値との誤差が最小となるように平滑化して学習する
ことにより、上記モデルパラメータを有する統計的言語
モデルを生成することを特徴としている。

【００１８】本実施形態では、言語モデリングの新しい
手法としてエントロピー最大手法による生起距離の異な
る単語共起関係の結合（ＤＵＡＭＥ）による統計的言語
モデル（以下、ＤＵＡＭＥモデルという。）を用いる。
言語のモデル化は、音声認識及び翻訳における重要な要
素である。近年、Ｎ−グラムが言語モデルの主流となっ
ているが、これは、Ｎ−グラムが言語列を離散的確率過
程と見なし、マルコフ（Ｍａｒｋｏｖ）モデルとして効
率的にモデル化することができるという理由による。Ｎ
−グラムの利点は、モデル化が簡単なこと、そして実行
時の計算が簡単な所にある。しかしながら、このモデル
に使用できる言語制約は、連続した単語列に対してのみ
であるため、多様な言語制約の統合に対して柔軟性がな
く、また長距離の言語制約表現することが難しいという
問題点があった。この問題点を解決するために、本実施
形態では、エントロピー最大手法を用いて統計的言語モ
デルを平滑化して学習する。

【００１９】ところで、本実施形態で用いるエントロピ
ー最大手法（ＭＥ）は、多数の言語制約を組合せて用い
る場合に効果的なモデリング手法である（例えば、従来
技術文献８「R. Rosenfeld et al.,”A maximum entro
py approach to adaptive statistical language model
ing”,Computer Speech and Language, pp.187-228,199
6年」や従来技術文献９「S. A. Della Pietra et a
l.,”Adaptive languagemodeling using minimum discr
iminant estimation”,In ICASSP’92, pp.I-633-635,
1992年」参照。）。エントロピー最大手法の下では、知
識リソースを各々１つの特徴セットと見なし、それを確
率関数のセットへと対応づける。エントロピー最大手法
は、エントロピーが最大となるような確率関数のセット
を求めるものである。従って、エントロピー最大手法を
用いて、それぞれ異なった知識リソースが表現している
特性を保ったままひとつの表現形式にまとめあげること
が可能である。

【００２０】本実施形態では、生起距離の異なる単語共
起関係という複数の特徴をエントロピー最大手法を用い
て統合した統計的言語モデル（ＤＵＡＭＥモデル）を用
いる。従来のＮ−グラムモデルに比べると、ＤＵＡＭＥ
モデルは、柔軟な特徴を用いることができ、かつ未出現
の事象の平滑化も同じＭＥの枠組みの中で行えるという
メリットがある。また、生起距離１から（ｎ−１）まで
の共起関係により、Ｎ−グラムにおける共起関係である
ｎ個単位の列を近似することができる。このため、以下
に示すように、ＤＵＡＭＥモデルは大幅に少ないメモリ
でＮ−グラムの非常によい近似を行うことができる。

【００２１】まず、最大エントロピーの原理について説
明する。

【数３】Ｓ＝＜ｘ₁，ｘ₂，…，ｘ_z＞ を所定の自然言語の任意の単位列（本実施形態におい
て、単位は単語であり、単位列は単語列である。）とし
た場合、イベント＜Ｈ_i，ｘ_i＞は、単位ｘ_iに先行して
起こった単位列のうち、長さ（ｎ−１）で窓がけした単
位列である

【数４】Ｈ_i＝＜ｘ_i-n+1，…，ｘ_i-1＞ と定義される。全てのイベントからなる空間を、イベン
ト空間ε＜Ｈ，ｘ＞とする。ある特定の自然言語のコー
パスにおいて、コーパスに出現するイベントを観察可能
なイベントと呼び、その他を未出現イベントセットとし
て分類することができる。

【００２２】観測可能なイベントセットからは、特徴セ
ットＧを抽出することができる。特徴ｇ（ｈ_i，ｘ_i）は
イベントのもつ単位列Ｈ_i全体又は単位列Ｈ_iの一部ｈ_i
に着目することで決められ、属性セット

【数５】＜ｇ（ｈ_i，ｘ_i），ａ_i，ｍ_i，α_i＞ を持つ。ここで、ｇ（ｈ_i，ｘ_i）は特徴を示し、ｈ_iは
イベント窓Ｈ_iの下の文脈の着目するサブセット、ｘ_iは
列のうち着目する単位、ａ_iはその目標期待値、ｍ _iはそ
の特徴期待値、α_iは特徴の確率に関する特徴重み係数
である。

【００２３】イベント及び特徴の上記定義に基づいて、
ある指数分布で単位列を次式のように予測することがで
きる。

【００２４】

【数６】

【００２５】ここで、

【数７】 は指数分布に従った確率であり、

【数８】 はイベント＜Ｈ_i，ｘ_i＞において活性化された特徴重み
係数の積であり、次式を用いて正規化される。

【００２６】

【数９】

【００２７】各特徴ｇ（ｈ_i，ｘ_i）には、次式で示され
る対応する期待値が存在する。

【００２８】

【数１０】

【００２９】ここで、ｐｈ（Ｈ_i）は学習データにおい
て文脈Ｈ_iが観測された確率である。これにより、特徴
期待値は、その目標期待値の近似（次式）となることが
期待できる。

【数１１】ｍ（ｈ_i，ｘ_i）≒Ｅ（ｐ（ｈ_i，ｘ_i））＝ａ
（ｈ_i，ｘ_i） また、最尤となる指数分布モデルは、次式で示される最
大エントロピーモデルと同一であることが証明されてい
る（例えば、従来技術文献１０「J. N. Darroch et a
l.,”Generalized iterative scaling for log-linear
models”,In TheAnnals of Mathematical Statistics,
Vol.43, pp.1470-1480, 1972年」参照。）。

【００３０】

【数１２】

【００３１】従って、エントロピーが最大となる指数分
布を、尤度が最大のとなる指数分布ｍ（Ｓ）で置換すれ
ば、単位列の最大エントロピーを求めることができる。

【００３２】次いで、エントロピー最大手法による生起
距離の異なる単語共起関係の結合言語モデルについて説
明する。Ｎ−グラムは、一次のマルコフ（Ｍａｒｋｏ
ｖ）モデルと見なすことが可能であり、単位列の連続性
に基づいている。これに対して、エントロピー最大モデ
ルはイベントの記述に重きを置いたものであって、当該
イベントにおける活性化されたさまざまな特徴を使用す
ることができる。これは、その特徴がイベントによって
表現できるものである限り、なんら制限なしに特徴を定
義できることを意味している。事実、Ｎ−グラムの場合
と同等の特徴も存在している。この１つとして、生起距
離の異なる単語共起関係を使用するにする。この場合、
使用する特徴は次のように定義することができる。

【００３３】定義：生起距離の異なる単語共起関係の特
徴は、属性

【数１３】＜ｇ_d（ｈ，ｘ），ａ_d（ｈ，ｘ），ｍ
_d（ｈ，ｘ），α_d（ｈ，ｘ）＞ を有する生起距離ｄの単位ペア（ｈ，ｘ）である。

【００３４】ここで、ｈは限定された窓内の１つの文脈
上の単位であり、ｘは着目する単位（クラス、単語又は
句）、ｄはｈとｘ間の距離、ａ_d（ｈ，ｘ）は特徴ｇ
_d（ｈ，ｘ）の目標期待値、ｍ_d（ｈ，ｘ）はその特徴期
待値、α_d（ｈ，ｘ）はｇ_d（ｈ，ｘ）の重み係数であ
る。

【００３５】従って、文脈窓長ｎのイベント＜ｈ₁，
…，ｈ_n，ｘ＞に対して、高次のＮ−グラムをｎ個の異
生起距離の異なる単語共起関係の特徴を使用して次式の
ように近似することができる。

【数１４】α_n（ｈ₁，ｘ）α_n-1（ｈ₂，ｘ）…α
₁（ｈ_n，ｘ）⇒α_N-gram（ｈ₁，…，ｈ_n，ｘ） 距離属性を有するこれらの特徴は互いに重複部分を持た
ず、特徴重み係数α_iのその共起を表している。従っ
て、生起距離の異なる単語共起関係のエントロピー最大
モデルの一般的表現は、以下のように記述することがで
きる。

【００３６】イベント＜ｈ₁，…，ｈ_n，ｘ＞のときに次
式となる。

【００３７】

【数１５】

【００３８】特に、距離＝２であるイベント＜ｈ₁，
ｈ₂，ｘ＞のときに次式となる。

【００３９】

【数１６】

【００４０】本実施形態のＤＵＡＭＥモデルは、全ての
生起距離の異なる単語共起関係（ＵＡ）の特徴の結合に
よってＮグラム特徴を近似でき、また未観測のイベント
の分布を自動的に平滑化することができるため、その機
能はバックオフＮ−グラムに類似している。

【００４１】距離ｎのＤＵＡＭＥモデルの場合、必要な
メモリ容量はＶⁿ＋ｎ×Ｖ²＋Ｖ未満であり、すなわちＶ
ⁿのオーダーのメモリ容量を必要とする。ここで、Ｖは
語彙のサイズ（語彙数）、ｎは文脈上の窓の長さであっ
て、Ｖⁿは合計の文脈Ｚ（ｈ₁，…，ｈ_n）の組み合わせ
数を表し、ｎ×Ｖ²＋Ｖは単位に関連する特徴重み係数
を格納するために必要なメモリ容量である。距離２のＤ
ＵＡＭＥモデルの場合、必要なメモリ容量は３Ｖ²＋Ｖ
のオーダー未満である。

【００４２】すなわち、同一次元のＮ−グラムは、Ｖ
^N+1のオーダーのメモリ容量を必要とする。従って、距
離ｎのエントロピー最大モデルに必要なメモリ容量は、
Ｎ−グラムモデルの場合より遥かに少ない。

【００４３】さらに、本実施形態に係る統計的言語モデ
ル及びその生成処理について詳細に説明する。本実施形
態の統計的言語モデルは、単語列ｗ_j，ｗ_k，ｗ_iに対し
て処理対象の単語ｗ_iのときに、次のモデルパラメータ
を有する。 （ａ）α₀（ｗ_i）：ｗ_iのユニグラムパラメータ（観測
値）； （ｂ）α₁（ｗ_j，ｗ_i）：ｗ_j，ｗ_iの距離１のバイグラ
ムパラメータ（近似値又は推定値）； （ｃ）α₂（ｗ_k，ｗ_i）：ｗ_k，ｗ_iの距離２のバイグラ
ムパラメータ（近似値又は推定値）；及び （ｄ）ｚ（ｗ_k，ｗ_j）：正規化パラメータ。 ここで、正規化パラメータは、ユニグラム及び２つのバ
イグラムを正規化するためのパラメータである。また、
モデル生成処理において次の中間パラメータを用いる。

【００４４】（ｅ）ｇ₀（ｗ_i）：単語ｗ_iが現われれば
１、そうでなければ０である中間パラメータ； （ｆ）ｇ₁（ｗ_j，ｗ_i）：距離１でｗ_j，ｗ_iが現われれ
ば１、そうでなければ０である中間パラメータ； （ｇ）ｇ₂（ｗ_k，ｗ_i）：距離２でｗ_k，ｗ_iが現われれ
ば１、そうでなければ０である中間パラメータ； （ｈ）Ｔ：学習データ中の総単語数；及び （ｉ）ａ（ｗ_k，ｗ_j，ｗ_i）：学習データ中での単語列
ｗ_k，ｗ_j，ｗ_iの出現確率。

【００４５】エントロピー最大手法を用いた平滑化後の
トライグラムの確率ｐ（ｗ_i|ｗ_k，ｗ_j）は次式で表され
る。

【００４６】（ｉ）ｇ₁（ｗ_j，ｗ_i）＝１かつｇ
₂（ｗ_k，ｗ_i）＝１のとき

【数１７】ｐ（ｗ_i｜ｗ_k，ｗ_j）＝α₁（ｗ_j，ｗ_i）×α
₂（ｗ_k，ｗ_i）／ｚ（ｗ_k，ｗ_j） （ii）ｇ₁（ｗ_j，ｗ_i）＝１かつｇ₂（ｗ_k，ｗ_i）＝０の
とき

【数１８】ｐ（ｗ_i｜ｗ_k，ｗ_j）＝α₁（ｗ_j，ｗ_i）／ｚ
（ｗ_k，ｗ_j） （iii）ｇ₁（ｗ_j，ｗ_i）＝０かつｇ₂（ｗ_k，ｗ_i）＝１
のとき

【数１９】ｐ（ｗ_i｜ｗ_k，ｗ_j）＝α₂（ｗ_k，ｗ_i）／ｚ
（ｗ_k，ｗ_j） （iv）ｇ₁（ｗ_j，ｗ_i）＝０かつｇ₂（ｗ_k，ｗ_i）＝０の
とき

【数２０】

【００４７】上記の数１７乃至数２０に示すように、平
滑化後のトライグラムの確率ｐ（ｗ _i|ｗ_k，ｗ_j）は、ユ
ニグラムの観測値と、２つのバイグラムの推定値とによ
り、近似的に現れていることがわかる。本実施形態で
は、この式を用いて漸近計算して、ここで、トライグラ
ムと、２つのバイグラムの推定値との誤差が最小となる
ように漸近計算して平滑化して学習することにより、本
実施形態のモデルパラメータを有する統計的言語モデル
を生成する。そして、本実施形態では、２つのバイグラ
ムのパラメータにより、トライグラムのパラメータの代
替として用いている。

【００４８】図３及び図４は、図１の言語モデル生成部
２０によって実行される言語モデル生成処理を示すフロ
ーチャートであり、図３及び図４を参照して、言語モデ
ル生成処理について説明する。まず、図３のステップＳ
１においてすべてのｉ，ｊ，ｋに対して次式のように、

【数２１】α₀（ｗ_i）←１

【数２２】α₁（ｗ_j，ｗ_i）←１

【数２３】α₂（ｗ_k，ｗ_i）←１ と初期化する。次いで、ステップＳ２においてすべての
ｊ、ｋの組み合わせに対して次式を用いてそれぞれバイ
グラムの正規化パラメータｚ（ｗ_k，ｗ_j）及びユニグラ
ムの正規化パラメータｚ_uniを計算する

【００４９】

【数２４】

【数２５】

【００５０】さらに、ステップＳ３においてすべての
ｉ，ｊ，ｋに対して次式を用いて中間パラメータｍ（ｗ
_k，ｗ_j，ｗ_i）を計算する。

【００５１】

【数２６】

【００５２】ここで、Ｃ（ｗ_k，ｗ_j，ｗ_i）は３つの単
語にてなる単語列の出現回数であり、Ｃ（ｗ_k，ｗ_j，ｗ
_i）／Ｔはトライグラムの確率、すなわち、トライグラ
ムａ（ｗ_k，ｗ_j，ｗ_i）となる。次いで、ステップＳ４
においてすべてのｉ，ｊ，ｋに対して次式を用いてそれ
ぞれｍ₀（ｗ_i），ｍ₁（ｗ_j，ｗ_i），ｍ₂（ｗ_k，ｗ_i）を
計算する。

【００５３】

【数２７】

【数２８】

【数２９】

【００５４】さらに、図４のステップＳ５においてすべ
てのｉ，ｊ，ｋに対して次式を用いてそれぞれα
₀（ｗ_i），α₁（ｗ_i，ｗ_j），α₂（ｗ_i，ｗ_k）を更新す
る。

【００５５】

【数３０】α₀（ｗ_i）←α₀（ｗ_i）×ａ（＊，＊，
ｗ_i）／ｍ₀（ｗ_i）

【数３１】α₁（ｗ_i，ｗ_j）←α₁（ｗ_i，ｗ_j）×ａ
（＊，ｗ_j，ｗ_i）／ｍ₁（ｗ_i，ｗ_j）

【数３２】α₂（ｗ_i，ｗ_j）←α₂（ｗ_i，ｗ_k）×ａ（ｗ
_k，＊，ｗ_i）／ｍ₂（ｗ_i，ｗ_k）

【００５６】ここで、＊はワイルドカードであり、すな
わち、任意の単語である。次いで、ステップＳ６におい
て次式を用いてクルバック・レイグラーの発散値Ｄ（誤
差に対応する。）を計算する。

【００５７】

【数３３】

【００５８】そして、ステップＳ７において発散値Ｄは
所定のしきい値Ｄｔｈ（例えば、９００）よりも小さい
か否かが判断され、ＮＯのときは収束していないと判断
してステップＳ２に戻り、上記の処理を繰り返す。一
方、ステップＳ７でＹＥＳのときは、ステップＳ８にお
いてすべてのｊ，ｋの組み合わせに対して上位数２４及
び数２５を用いてそれぞれバイグラムの正規化パラメー
タｚ（ｗ_k，ｗ_j）及びユニグラムの正規化パラメータｚ
_uniを再計算し、ステップＳ９において計算されたパラ
メータα₀（ｗ_i），α₁（ｗ_j，ｗ_i），α₂（ｗ_k，
ｗ_i），ｚ（ｗ_k，ｗ_j），ｚ_uniを含む統計的言語モデル
を統計的言語モデルメモリ２２に格納して当該言語モデ
ル生成処理を終了する。

【００５９】さらに、連続音声認識装置の構成及び動作
について以下に説明する。図１において、単語照合部４
に接続され、例えばハードディスクメモリである音素Ｈ
ＭＭメモリ１１内の音素ＨＭＭは、各状態を含んで表さ
れ、各状態はそれぞれ以下の情報を有する。 （ａ）状態番号 （ｂ）受理可能なコンテキストクラス （ｃ）先行状態、及び後続状態のリスト （ｄ）出力確率密度分布のパラメータ （ｅ）自己遷移確率及び後続状態への遷移確率 なお、本実施形態において用いる音素ＨＭＭは、各分布
がどの話者に由来するかを特定する必要があるため、所
定の話者混合ＨＭＭを変換して生成する。ここで、出力
確率密度関数は３４次元の対角共分散行列をもつ混合ガ
ウス分布である。

【００６０】また、単語照合部４に接続され、例えばハ
ードディスクなどの単語辞書メモリ１２に格納される単
語辞書は、音素ＨＭＭの各単語毎にシンボルで表した読
みを示すシンボル列を格納する。

【００６１】図１において、話者の発声音声はマイクロ
ホン１に入力されて音声信号に変換された後、特徴抽出
部２に入力される。特徴抽出部２は、入力された音声信
号をＡ／Ｄ変換した後、例えばＬＰＣ分析を実行し、対
数パワー、１６次ケプストラム係数、Δ対数パワー及び
１６次Δケプストラム係数を含む３４次元の特徴パラメ
ータを抽出する。抽出された特徴パラメータの時系列は
バッファメモリ３を介して単語照合部４に入力される。

【００６２】単語照合部４は、例えばワン−パス・ビタ
ビ復号化法を用いて、バッファメモリ３を介して入力さ
れる特徴パラメータのデータに基づいて、音素ＨＭＭと
単語辞書とを用いて単語仮説を検出し尤度を計算して出
力する。ここで、単語照合部４は、各時刻の各ＨＭＭの
状態毎に、単語内の尤度と発声開始からの尤度を計算す
る。尤度は、単語の識別番号、単語の開始時刻、先行単
語の違い毎に個別にもつ。また、計算処理量の削減のた
めに、音素ＨＭＭ及び単語辞書とに基づいて計算される
総尤度のうちの低い尤度のグリッド仮説を削減する。単
語照合部４は、その結果の単語仮説と尤度の情報を発声
開始時刻からの時間情報（具体的には、例えばフレーム
番号）とともにバッファメモリ５を介して単語仮説絞込
部６に出力する。

【００６３】単語仮説絞込部６は、単語照合部４からバ
ッファメモリ５を介して出力される単語仮説に基づい
て、統計的言語モデルメモリ２２内の統計的言語モデル
を参照して、終了時刻が等しく開始時刻が異なる同一の
単語の単語仮説に対して、当該単語の先頭音素環境毎
に、発声開始時刻から当該単語の終了時刻に至る計算さ
れた総尤度のうちの最も高い尤度を有する１つの単語仮
説で代表させるように単語仮説の絞り込みを行った後、
絞り込み後のすべての単語仮説の単語列のうち、最大の
総尤度を有する仮説の単語列を認識結果として出力す
る。本実施形態においては、好ましくは、処理すべき当
該単語の先頭音素環境とは、当該単語より先行する単語
仮説の最終音素と、当該単語の単語仮説の最初の２つの
音素とを含む３つの音素並びをいう。

【００６４】例えば、図２に示すように、（ｉ−１）番
目の単語Ｗ_i-1の次に、音素列ａ₁，ａ₂，…，ａ_nからな
るｉ番目の単語Ｗ_iがくるときに、単語Ｗ_i-1の単語仮説
として６つの仮説Ｗａ，Ｗｂ，Ｗｃ，Ｗｄ，Ｗｅ，Ｗｆ
が存在している。ここで、前者３つの単語仮説Ｗａ，Ｗ
ｂ，Ｗｃの最終音素は／ｘ／であるとし、後者３つの単
語仮説Ｗｄ，Ｗｅ，Ｗｆの最終音素は／ｙ／であるとす
る。終了時刻ｔ_eと先頭音素環境が等しい仮説（図２で
は先頭音素環境が“ｘ／ａ₁／ａ₂”である上から３つの
単語仮説）のうち総尤度が最も高い仮説（例えば、図２
において１番上の仮説）以外を削除する。なお、上から
４番めの仮説は先頭音素環境が違うため、すなわち、先
行する単語仮説の最終音素がｘではなくｙであるので、
上から４番めの仮説を削除しない。すなわち、先行する
単語仮説の最終音素毎に１つのみ仮説を残す。図２の例
では、最終音素／ｘ／に対して１つの仮説を残し、最終
音素／ｙ／に対して１つの仮説を残す。

【００６５】以上の実施形態においては、当該単語の先
頭音素環境とは、当該単語より先行する単語仮説の最終
音素と、当該単語の単語仮説の最初の２つの音素とを含
む３つの音素並びとして定義されているが、本発明はこ
れに限らず、先行する単語仮説の最終音素と、最終音素
と連続する先行する単語仮説の少なくとも１つの音素と
を含む先行単語仮説の音素列と、当該単語の単語仮説の
最初の音素を含む音素列とを含む音素並びとしてもよ
い。

【００６６】以上の実施形態において、特徴抽出部２
と、単語照合部４と、単語仮説絞込部６と、言語モデル
生成部２０とは、例えば、デジタル電子計算機で構成さ
れ、バッファメモリ３，５は例えばハードディスクメモ
リで構成され、音素ＨＭＭメモリ１１と単語辞書メモリ
１２と学習用テキストデータ２１と統計的言語モデル２
２とは、例えばハードディスクメモリなどの記憶装置に
記憶される。

【００６７】以上実施形態においては、単語照合部４と
単語仮説絞込部６とを用いて音声認識を行っているが、
本発明はこれに限らず、例えば、音素ＨＭＭを参照する
音素照合部と、例えばＯｎｅ Ｐａｓｓ ＤＰアルゴリ
ズムを用いて統計的言語モデル２２を参照して単語の音
声認識を行う音声認識部とで構成してもよい。

【００６８】

【実施例】さらに、本発明者は、本実施形態の言語モデ
ル生成部２０を用いて行った実験及びその実験結果につ
いて説明する。本特許出願人が所有する英語旅行対話タ
スク・コーパスに基づいて、距離２のＤＵＡＭＥモデル
について実験を行った。距離２の結合されたエントロピ
ー最大モデルのパープレキシティを、最尤（ＭＬ）バイ
グラム及びトライグラムモデルの場合と比較した。ま
た、学習モデルの基本単位は、可変Ｎ−グラム言語モデ
ルで学習された拡張された単語クラスとして定義した。
可変Ｎ−グラム言語モデルは、エントロピーを最小化に
基づいて、品詞クラス（ＰＯＳ）からクラスを分離した
（例えば，従来技術文献１１「H. Masataki et al.,”V
ariable order n-gram generation by word-class spli
tting and consecutive word grouping”, In ICASSP’
96, pp.I-188-191, 1996年」や従来例の特開平９−１３
４１９２号公報参照。）。ここで、拡張されたクラスの
最終的な数は１０６９である。

【００６９】ここで、次式の標準的パープレキシティＰ
Ｐ及び次式のクルバック・レイブラー（Kullback-Leibl
er）の発散値Ｄをそれぞれ用いた２つの方法を使用し
て、ＤＵＡＭＥモデリングの収束状況を確認した。

【００７０】

【数３４】 ＰＰ＝ｅｘｐ（（−１／ｎ）×ｌｎＰ（Ｘ））

【数３５】

【００７１】図５及び図６は、この２方法の収束過程の
一例を示したものである。ここで、各Ｎ−グラムモデル
のテストセットにおけるパープレキシティは、公知のＣ
ＭＵ−ケンブリッジ言語モデリングツールキットを使用
して計算した。その結果を表１に示す。

【００７２】

【表１】 英語旅行対話タスクにおける各種モデルのパープレキシティＰＰ （学習セット：４７１，６３２、テストセット：２３，３３７） ―――――――――――――――――――――――――――――――――― 制 約 数 モデル ユニグラム バイグラム トライグラム d2 UA ＰＰ ―――――――――――――――――――――――――――――――――― GTトライク゛ラム １０６９ ３６７２ ２０７０５７ なし ４９．５ LNトライク゛ラム １０６９ ６３６７２ ２０７０５７ なし ５２．２ ＤＵＡＭＥ １０６９ ６３６７２ なし ９８７９８ ５２．１ GTハ゛イク゛ラム １０６９ ６３６７２ なし なし ５６．９ LNハ゛イク゛ラム １０６９ ６３６７２ なし なし ５８．８ ―――――――――――――――――――――――――――――――――― （注）ＧＴ：グッド・チューリング； ＬＮ：線形； ＤＵＡＭＥにおけるｄ２ ＵＡはバイグラムである。

【００７３】 表１から明らかなように、パープレキシ
ティＰＰに関しては距離２のエントロピー最大モデルの
方がバイグラムモデルより低く、また、線形ディスカウ
ントバックオフ法によるトライグラムに匹敵するもので
あることを示している。

【００７４】以上説明したように、本実施形態によれ
ば、言語モデル生成部２０は、学習用テキストデータメ
モリ２１に格納された学習用テキストデータに基づい
て、処理対象の単語のユニグラムと、処理対象の単語と
その単語から直前の距離１にある単語との間のバイグラ
ムと、処理対象の単語とその単語から直前の距離２にあ
る単語との間のバイグラムと、上記ユニグラム及び２つ
のバイグラムを正規化するための正規化パラメータとを
含むモデルパラメータを有する統計的言語モデルを、処
理対象の単語のトライグラムと、２つのバイグラムの推
定値との誤差が最小となるように平滑化して学習するこ
とにより統計的言語モデルを生成する。従って、本実施
形態によれば、Ｎ−グラムモデルの統計的言語モデルに
比較してＶ倍少ないメモリ容量で実現することができ
（ここで、Ｖは語彙数である。）、学習データ中に現わ
れなかった事象に対する予測を事前知識なしに人手を介
さず自動的に平滑化して学習することができる。また、
きわめて良好な近似的な高次のＮ−グラムの統計的言語
モデルを得ることができる。さらに、従来例のＮ−グラ
ムの統計的言語モデルを使用した音声認識に比較してよ
り高い音声認識率で音声認識することができる。

【００７５】

【発明の効果】以上詳述したように本発明に係る請求項
１記載の統計的言語モデル装置によれば、所定の話者の
発声音声文を書き下した学習用テキストデータに基づい
て、処理対象の単語のユニグラムと、処理対象の単語と
その単語から直前の距離１にある単語との間のバイグラ
ムと、処理対象の単語とその単語から直前の距離２にあ
る単語との間のバイグラムと、上記ユニグラム及び２つ
のバイグラムを正規化するための正規化パラメータとを
含むモデルパラメータを有する統計的言語モデルを、処
理対象の単語とその直前の２つの単語との観測値のトラ
イグラムと、上記２つのバイグラムの推定値との誤差が
最小となるように平滑化して学習することにより、上記
モデルパラメータを有する統計的言語モデルを生成する
生成手段を備える。従って、本発明によれば、Ｎ−グラ
ムモデルの統計的言語モデルに比較してＶ倍少ないメモ
リ容量で実現することができ（ここで、Ｖは語彙数であ
る。）、学習データ中に現われなかった事象に対する予
測を事前知識なしに人手を介さず自動的に平滑化して学
習することができる。また、きわめて良好な近似的な高
次のＮ−グラムの統計的言語モデルを得ることができ
る。さらに、従来例のＮ−グラムの統計的言語モデルを
使用した音声認識に比較してより高い音声認識率で音声
認識することができる。

【００７６】また、本発明に係る請求項２記載の音声認
識装置によれば、入力される発声音声文の音声信号に基
づいて、所定の統計的言語モデルを用いて音声認識する
音声認識手段を備えた音声認識装置において、上記音声
認識手段は、請求項１記載の統計的言語モデル生成装置
によって生成された統計的言語モデルを用いて音声認識
する。従って、本発明によれば、Ｎ−グラムモデルの統
計的言語モデルに比較してＶ倍少ないメモリ容量で実現
することができ（ここで、Ｖは語彙数である。）、学習
データ中に現われなかった事象に対する予測を事前知識
なしに人手を介さず自動的に平滑化して学習することが
できる。また、きわめて良好な近似的な高次のＮ−グラ
ムの統計的言語モデルを得ることができる。さらに、従
来例のＮ−グラムの統計的言語モデルを使用した音声認
識に比較してより高い音声認識率で音声認識することが
できる。

【図面の簡単な説明】

【図１】 本発明に係る一実施形態である連続音声認識
装置のブロック図である。

【図２】 図１の連続音声認識装置における単語仮説絞
込部６の処理を示すタイミングチャートである。

【図３】 図１の言語モデル生成部２０によって実行さ
れる言語モデル生成処理の第１の部分を示すフローチャ
ートである。

【図４】 図１の言語モデル生成部２０によって実行さ
れる言語モデル生成処理の第２の部分を示すフローチャ
ートである。

【図５】 図１の連続音声認識装置の実験結果であっ
て、パープレキシティＰＰの収束過程の一例を示すグラ
フである。

【図６】 図１の連続音声認識装置の実験結果であっ
て、クルバック・レイグラーの発散値Ｄの収束過程の一
例を示すグラフである。

【符号の説明】

１…マイクロホン、 ２…特徴抽出部、 ３，５…バッファメモリ、 ４…単語照合部、 ６…単語仮説絞込部、 １１…音素ＨＭＭメモリ、 １２…単語辞書メモリ、 ２０…言語モデル生成部、 ２１…学習用テキストデータ、 ２２…統計的言語モデルメモリ。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 ハラルド・シンガー 京都府相楽郡精華町大字乾谷小字三平谷５ 番地 株式会社エイ・ティ・アール音声翻 訳通信研究所内 (72)発明者 匂坂 芳典 京都府相楽郡精華町大字乾谷小字三平谷５ 番地 株式会社エイ・ティ・アール音声翻 訳通信研究所内 (72)発明者 山本 博史 京都府相楽郡精華町大字乾谷小字三平谷５ 番地 株式会社エイ・ティ・アール音声翻 訳通信研究所内 Ｆターム(参考） 5B091 AA15 CB12 CC01 CC05 CC16 EA01 EA24 5D015 GG00 HH11 HH23 LL02 9A001 BB06 HH11 HH17 KK46

Claims (2)

【特許請求の範囲】
1. 【請求項１】 所定の話者の発声音声文を書き下した学
   習用テキストデータに基づいて、処理対象の単語のユニ
   グラムと、処理対象の単語とその単語から直前の距離１
   にある単語との間のバイグラムと、処理対象の単語とそ
   の単語から直前の距離２にある単語との間のバイグラム
   と、上記ユニグラム及び２つのバイグラムを正規化する
   ための正規化パラメータとを含むモデルパラメータを有
   する統計的言語モデルを、処理対象の単語とその直前の
   ２つの単語との観測値のトライグラムと、上記２つのバ
   イグラムの推定値との誤差が最小となるように平滑化し
   て学習することにより、上記モデルパラメータを有する
   統計的言語モデルを生成する生成手段を備えたことを特
   徴とする統計的言語モデル生成装置。
2. 【請求項２】 入力される発声音声文の音声信号に基づ
   いて、所定の統計的言語モデルを用いて音声認識する音
   声認識手段を備えた音声認識装置において、 上記音声認識手段は、請求項１記載の統計的言語モデル
   生成装置によって生成された統計的言語モデルを用いて
   音声認識することを特徴とする音声認識装置。