JP2007052166A - 音響モデルの準備方法及び自動音声認識装置 - Google Patents

Abstract

【課題】音響モデルのトレーニング用データ量を低く保ち、広域音声コンテキストを効率的に反映して、ＡＳＲシステムの仮説を再スコアリングする。
【解決手段】広域コンテキスト音響モデルを準備する方法であって、３状態を有するＨＭＭをトレーニングするステップと、第１及び第３の状態に対応するベイズネットワークをトレーニングするステップと、ＨＭＭとベイズネットワークとを組合せるステップとを含む。ベイズネットワークは、第１及び第３の状態に対応する第１のノードq1及びq3と、第１の音素の直前の音素及び最後の音素の直後の音素を表す隠れ変数の第２のノードC_L及びC_Rと、第１及び第３の状態の観測空間の第３のノードX₁及びX₃とを含むトポロジーを有する。
【選択図】 図４

Description

この発明は音声認識に関し、特に、より広域なコンテキストの音響モデルを用いる音声認識に関する。

今日の最先端の自動音声認識（Ａｕｔｏｍａｔｉｃ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ：ＡＳＲ）システムは、制御された条件下では非常に高い性能を発揮する。しかし、ＡＳＲシステムが、日常生活での広範な使用を通じてその潜在的能力を十分に発揮するまでには依然として多くの難問がある。最良のシステムに関して、１９９９年のＤＡＲＰＡ放送ニュースベンチマークテストで報告された結果によれば、テストセットの自発音声での誤り率は、計画されスタジオで録音された条件のそれのほぼ倍であった（非特許文献１を参照されたい。）。

性能の低下につながる要因としては、チャンネル効果、話し方、不注意な発音等多くのものがある。非特許文献２に記載の実験結果では、認識誤り率の主な要因は音声のスタイル（音響変動）であった。既存の音響モデル（Ａｃｏｕｓｔｉｃ Ｍｏｄｅｌ：ＡＭ）は、日常の会話音声に存在する同時調音の影響に対処するものとしては限られた能力しか依然として備えていない。

同時調音とは、隣接する音声セグメントの調音パターンが重なる場合に生ずる、音響的・調音的変動性である。これは言語の音体系の根本的部分であって、（単語内と単語間との両方で）隣接した音素セグメント間のダイナミックな遷移を可能にし、発声を容易にすると思われる（非特許文献３）。この結果、音素は、他の音素のコンテキスト内で生成されると非常に異なる波形を持ち得ることになる（非特許文献４）。

大語彙音声認識（Ｌａｒｇｅ Ｖｏｃａｂｕｌａｒｙ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ：ＬＶＣＳＲ）システムでは、明らかに、これらの同時調音の効果を的確に捕えることができる音響モデルが必要である。単位モデルが広域になればなるほど、同時調音の影響を良好に捕えることができる（非特許文献５）。ＬＶＣＳＲシステムでは、必要とされるトレーニングデータの量が多く、デコード用検索空間が大きく、語彙システムの拡張が効率的でないため、単語単位でのモデルは現実的でない。音節単位（非特許文献６、７）、及び複数音素単位（非特許文献８）は、数も持続期間も単語に比べて小さい。しかし、これらの数は依然として多すぎ、単語の場合と同様、一般性を欠く（非特許文献９）。

例えば、大規模ＳＷＩＴＣＨ−ＢＯＡＲＤ（ＳＷＢ）コーパスでは、トレーニングデータベースに約９０００の音節が現れるが、これらのうち８０００超については、トレーニングトークンは１００に満たない（非特許文献７）。従って、音素ユニットは当然の選択肢となる。というのも、これらは数が少ないうえに、トレーニングデータに出現する頻度もかなり高いからである。同時調音の問題に対する標準的解決法は、音素ユニットを、コンテキストを含むように拡張することである（非特許文献１０）。

現在のＬＶＣＳＲシステムのほとんどは、コンテキスト依存のトライフォンを基本的な音響単位として用いる。コンテキスト依存のトライフォンユニットは、コンテキストに依存しない音素（単音素）ユニットと同じ構造を有するが、先行する音素コンテキスト情報及び後続する音素コンテキスト情報によってトレーニングされる（非特許文献９）。

このようなトライフォンは有効な選択であることが分かっているが、全ての同時調音の影響を捕えるには不十分であると考えられている。これらの影響は直前／直後のコンテキストからのみでなく、さらに離れて隣接するコンテキストからも及ぼされる。非特許文献１１では、母音は直前の子音に影響を及ぼすだけでなく、その子音の前の母音にも影響を及ぼすことが分かっている。／ｅｌｉ／と／ｅｌａ／の録音及び／ｅｂｉ／と／ｅｂａ／の録音から、／ｅ／の調音的設定はシーケンス中の２番目の母音により異なることが示された。

／ｅｌｉ／と／ｅｂｉ／とでは、最後の音が／ａ／で成るトークンよりも、舌がより高く上がり、／ｉ／のそれに近くなる（非特許文献１２）。他の研究でもまた、英語の／ｌ／及び／ｒ／が音節をまたぐ長距離の同時調音効果、すなわち「共鳴」を及ぼすことがわかっている（非特許文献１３及び１４）。従って、トライフォンコンテキストよりも何かより広域なものを組入れることによって、単に先行する一個及び後続する一個のコンテキスト以上のものを考慮に入れることができる。このような音響モデルの性能は向上すると予測される。

過去１０年にわたって、ベイズのアプローチが多くの応用分野で広く用いられるようになった。このアプローチでは、確率論的フレームワークを用いて、独立性の有無に関する不確実性を符号化する。ベイズのフレームワークではまた、いくつかのモデルからの情報を組合せてよりよい推論を行ない、モデリングの不確実性をよりよく説明できる。

ベイズの統計的方法は、統計的推論と不確実性のもとでの判断との両者に完全なパラダイムを提供する（非特許文献１を参照されたい。）。その最も簡潔な形では、Ｈが仮説、Ｄがデータを表すものとして、ベイズの理論は以下を述べている。

ただしｐ（Ｈ｜Ｄ）はＤを得た後のＨについての確からしさの確率論的記述、すなわちいわゆる事後条件分布であり、ｐ（Ｈ）はデータＤを得る前のＨについての確からしさの確率論的記述、すなわちいわゆる事前分布と考えることができる。ｐ（Ｄ｜Ｈ）とｐ（Ｄ）とを特定すれば、この理論のメカニズムにより、データからどのように学習すべきかという問題への解が得られる（非特許文献２を参照されたい。）。

事後分布の推定に基づき、過学習したモデルを排除する適切なモデル構造の選択が可能となる。これは予測事後分布に基づく頑健な分類を提供し、これにより、過学習の影響が緩和される（非特許文献３）。いくつかのモデルからの情報をベイズのフレームワークに基づいて組合せ、よりよい推論を行なうとともにモデリングの不確実性についてよりよい説明を与えることもできる（非特許文献４）。これらの利点を利用することにより、ベイズのフレームワークは、特に問題が不確実であって利用可能なデータが限られている場合に、多くの応用領域で有用であろう。

ＡＳＲシステムで用いられる従来のトライフォンユニットであって、完全なトライフォンモデルを何もないところからトレーニングするものを図１６に示す。図１６を参照して、従来のトライフォン音響モデル３８０は、直前のコンテキスト３９０及び３９４と、中央単音素音響ユニット３９２とを含む。このモデルはトライフォン／ａ⁻，ａ，ａ^＋／が与えられたときの観測値Ｘの確率として示される。

図１７は従来のＡＳＲシステム４００の構造を示す。図１７を参照して、ＡＳＲシステム４００は、上述の、それぞれの音素に対するトライフォンモデルを含む音響モデル４１０と、トライフォン音響モデル４１０を用いて波形データ４１２をデコードし、Ｎベストリスト４１６を出力するデコーダ４１４とを含む。Ｎベストリストは最も高い確率スコアを有するＮ個の仮説を含む。スコアは、トライフォン音響モデル４１０を用いてデコーダ４１４で計算される。
Ｄ．パレット、Ｊ．フィスカス、Ｊ．ガロフォロ、Ａ．マーティン及びＭ．プロジボッキ、「１９９８放送ニュースベンチマークテスト結果：英語及び非英語単語誤り率の性能尺度」DARPA放送ニュースワークショップ予稿集、バージニア、USA、５−１２ページ、１９９９年（D. Pallett, J. Fiscuss, J. Garofolo, A. Martin, and M. Przybocki, "1998 broadcast news benchmark test results: English and non-English word error rate performance measures," Proc. DARPA Broadcast News Workshop, Virginia, USA, pp. 5-12, 1999.） Ｍ．ワイントラウブ、Ｋ．タウシッヒ、Ｋ．ヒュニック−スミス及びＡ．ソンドグラス、「LVCSR性能に対する話し方スタイルの影響」ICSLP予稿集、フィラデルフィア、USA、１６−１９ページ、１９９６年（M. Weintraub, K. Taussig, K. Hunicke-Smith, and A. Snodgrass, "Effect of speaking style on LVCSR performance," Proc. ICSLP, Philadelphia, USA, pp. 16-19, 1996.) Ｒ．スカーボロー、同時調音とレキシコンの構造、カリフォルニア大学ロサンジェルス校(UCLA)、言語学博士論文、USA、２００４年（R. Scarborough, Coarticulation and the Structure of the Lexicon, PhD dissertation in Linguistics, University of California at Los Angeles (UCLA), USA, 2004.) Ｌ．ラビナー及びＢ．Ｈ．ユアン、音声認識の基礎、プレンティスホール、ニュージャージー、USA、２００４年（L. Rabiner and B.H. Juang, Fundamentals of Speech Recognition, Prentice Hall, New Jersey, USA, 2004.） Ｔ．ファウ、Ｍ．ベーハム、Ｗ．ライクル、及びＧ．ラスク、「音声認識のための大型サブワードユニットの生成」EUROSPEECH予稿集、ロードス、ギリシャ、１１９１−１１９４ページ、１９９７年（T. Pfau, M. Beham, W. Reichl, and G. Ruske, "Creating large subword units for speech recognition," Proc. EUROSPEECH, Rhodos, Greece, pp. 1191-1194, 1997.） Ｉ．シャフラン及びＭ．オステンドルフ、「音節構造に基づく音響モデルのクラスタリング」コンピュータ音声及び言語、第１７巻第４号、３１１−３２８ページ、２００３年（I. Shafran and M. Ostendorf, "Acoustic model clustering based on syllable structure," Computer Speech and Language, vol. 17, no. 4, pp. 311-328, 2003.） Ａ．ガナパティラジュ、Ｊ．ハマカー、Ｊ．ピコーネ、Ｍ．オルドフスキ及びＧ．ドッジントン、「音節ベースの大語彙連続音声認識」IEEE音声及び音響処理トランザクション、第９巻、第４号、３５８−３６６ページ、２００１年（A. Ganapathiraju, J. Hamaker, J. Picone, M. Ordowski, and G. Doddington, "Syllable-based large vocabulary continuous speech recognition," IEEE Trans. on Speech and Audio Processing, vol. 9, no. 4, pp. 358-366, 2001.） Ｒ．メッシーナ及びＤ．ジョーベ、「音声認識のためのコンテキスト依存の長いユニット」ICSLP予稿集、チェジュ島、韓国、６４５−６４８ページ、２００４年（R. Messina and D. Jouvet, "Context dependent long unit for speech recognition," Proc. ICSLP, Jeju Island, Korea, pp. 645-648, 2004.） Ｐ．オニール、Ｓ．ヴェセジ、Ｂ．ドハティ、Ｗ．タン及びＰ．マッコート、「音声認識のためのサブワードユニットとしての多音ストリング」ICSLP予稿集、シドニー、オーストラリア、２５２３−２５２６ページ、１９９８年（P. O'Neil, S. Vaseghi, B. Doherty, W. Tan, and P. McCourt, "Multi-phone strings as subword units for speech recognition," Proc. ICSLP, Sydney, Australia, pp. 2523-2526, 1998.） Ｅ．スミス、Ｓ．マリアン及びＭ．ジャビエ、「顔の動きのコンピュータによる認識：同時調音効果の研究」ニューラルコンピュテーションに関する第８回シンポジウム予稿集、カリフォルニア、USA、２００１年（E. Smith, S. Marian, and M. Javier, "Computer recognition of facial actions: A study of co-articulation effects," Proc. of the 8th Symposium of Neural Computation, California, USA, 2001.） Ｅ．スクリプチャ、経験的音声学の要素、チャールズ スクリブナー サンズ、ニューヨーク、USA、１９０２年（E. Scripture, The Elements of Experimental Phonetics, Charles Scribners Sons, New York, USA, 1902.） Ｂ．クーヘナー及びＦ．ノーラン、「同時調音の起源」、同時調音：理論、データ、技術、Ｗ．ハードキャスル及びＮ．ホーレット編、ケンブリッジ、UK、７−３０ページ、ケンブリッジ大学出版部、１９９９年（B. Kuehner and F. Nolan, "The origin of coarticulation," in Coarticulation: Theory, Data, Techniquues, ed. W. Hardcastle and N. Hawlett, Cambridge, UK, pp. 7-30, Cambridge University Press 1999.） Ｓ．ハイド及びＸ．ホーキンス、「長いドメインの/r/及び/l/同時調音の音響的研究」、音声生成に関する第５回セミナー：モデル及びデータ、クロスターゼオン、ドイツ、７７−８０ページ、２０００年（S. Heid and S. Hawkins, "An acoustical study of long domain /r/ and /l/ coarticulation," 5th Seminar on Speech Production: Model and Data, Kloster Seeon, Germany, pp. 77-80, 2000.） Ｐ．ウェスト、「イギリス英語での/l/及び/r/への長距離同時調音の影響：ならびにEMA，EPGと音響研究」音声生成に関する第５回セミナー：モデル及びデータ、クロスターゼオン、ドイツ、１０５−１０８ページ、２０００年（P. West, "Long distance coarticulatory effects of British English /l/ and /r/: and EMA, EPG and acoustic study," 5th Seminar on Speech Production: Model and Data, Kloster Seeon, Germany, pp. 105-108, 2000.） Ｍ．フィンケ及びＩ．ロジーナ、「読みあげ音声対自然音声での広域コンテキストの音響モデリング」、ICASSP予稿集、ミュンヘン、ドイツ、１７４３−１７４６ページ、１９９７年（M. Finke and I. Rogina, "Wide context acoustic modeling in read vs. spontaneous speech," Proc. ICASSP, Munich, Germany, pp. 1743-1746, 1997.） Ｌ．バール、Ｐ．デズーザ、Ｐ．ゴパルクリシュナン、Ｄ．ナハムー及びＭ．ピチェニ、「連続音声における音韻論的規則のための判断ツリー」、ICASSP予稿集、トロント、カナダ、１８５−１８８ページ、１９９１年（L. Bahl, P. de Souza, P. Gopalakrishnan, D. Nahamoo, and M. Picheny, "Decision tree for phonological rules in continuous speech," Proc. ICASSP, Toronto, Canada, pp. 185-188, 1991.） Ｃ．ネッティ、Ｇ．ポタミアノス、Ｊ．ルッティン、Ｉ．マシューズ、Ｈ．グロティン、Ｄ．ヴェルギリ、Ｊ．シソン、Ａ．マシャリ及びＪ．シュー、「聴覚−視覚的音声認識」、技術報告、CSLPジョンホプキンス大学、ボルチモア、USA、２０００年（C. Neti, G. Potamianos, J. Luettin, I. Matthews, H. Glotin, D. Vergyri, J. Sison, A. Mashari, and J. Zhou, "Audio-visual speech recognition," tech. rep., CSLP John Hopkins University, Baltimore, USA, 2000.） Ｐ．ベヤライン、Ｘ．オーバート、Ｒ．ヘイアンバック、Ｍ．ハリス、Ｄ．クラコー、Ａ．ワンデムス、Ｓ．モロー、Ｍ．ピッツ、及びＡ．シクスツス、「ニュース放送のトランスクリプションのためのフィリップス/RWTHシステム」、DARPA放送ニュースワークショップ、予稿集、バージニア、USA，１５１−１５５ページ、１９９９年（P. Beyerlein, X. Aubert, R. Haeb-Umbach, M. Harris, D. Klakow, A. Wandemuth, S. Molau, M. Pitz, and A. Sixtus, "The Philips/RWTH system for transcription of broadcast news," Proc. DARPA Broadcast News Workshop, Virginia, USA, pp. 151-155, 1999.） Ａ．ローリエ、Ｄ．ヒンドル、Ｍ．ライリー及びＲ．スプロート、「AT&TLVCSR-２０００システム」、音声トランスクリプションワークショップ、メリーランド大学、USA、２０００年（A. Ljolje, D. Hindle, M. Riley, and R. Sproat, "The AT&T LVCSR-2000 system," Speech Transcription Workshop, University of Maryland, USA, 2000.） Ｍ．シュスター及びＴ．ホリ、「音声認識のための高次コンテキスト依存重み付け有限状態変換器の効率的生成」、ICASSP予稿集、フィラデルフィア、USA、２０１−２０４ページ、２００５年（M. Schuster and T. Hori, "Efficient generation of high-order context-dependent weighted finite state transducers for speech recognition," Proc. ICASSP, Philadelphia, USA, pp. 201-204, 2005.） Ｔ．ホリ、Ｙ．ノダ及びＳ．マツナガ、「大語彙連続音声認識のための改良された音声経過依存の検索方法」IEICE情報＆システムトランザクション、Ｅ８６−Ｄ巻、第６号、１０５９−１０６７ページ、２００３年（T. Hori, Y. Noda, and S. Matsunaga, "Improved phoneme-history-dependent search method for large-vocabulary continuous-speech recognition," IEICE Trans. Inf. & Syst., vol. E86-D, no. 6, pp. 1059-1067, 2003.） Ｍ．ライリー、Ｆ．ピレイラ及びＭ．モーリ、「コンテキスト依存ネットワーク拡張のための変換器構造」EUROSPEECH予稿集、ロードス、ギリシャ、１４２７−１４３０ページ、１９９７年（M. Riley, F. Pereira, and M. Mohri, "Transducer composition for context-dependent network expansion," Proc. EUROSPEECH, Rhodos, Greece, pp. 1427-1430, 1997.） Ｎ．フリードマン及びＭ．ゴールドシュミット、「データからのベイズネットワークの学習」SRIインターナショナル技術報告、http://www/dsv.su.se/ijcai-99/tutorials/d3.html、１９９８年（N. Friedman and M. Goldszmidt, "Learning Bayesian network from data," tech. rep., SRI International, http://www/dsv.su.se/ijcai-99/tutorials/d3.html, 1998.） Ｄ．ハッカーマン、「ベイズネットワークでの学習チュートリアル」技術報告、ＭＳＲ−ＴＲ−９５−０６、マイクロソフト研究部門、１９９５年（D. Heckerman, "A tutorial on learning with Bayesian networks," Tech. Rep. MSR-TR-95-06, Microsoft Research, March 1995.） Ｋ．マルコフ及びＳ．ナカムラ、「自動音声認識のためのハイブリッドＨＭＭ／ＢＮ音響モデリング」IEICE情報＆システムトランザクション、Ｅ８６−Ｄ巻、第３号、４３８−４４５ページ、２００３年（K. Markov and S. Nakamura, "A hybrid ＨＭＭ／ＢＮ acoustic modeling for automatic speech recognition," IEICE Trans. Inf. & Syst. vol. E86-D, no. 3, pp. 438-445, 2003.） Ｋ．マルコフ、Ｊ．ダン、Ｙ．リズカ及びＳ．ナカムラ、「スペクトルと調音的特徴とを統合したハイブリッドＨＭＭ／ＢＮ ＡＳＲ システム」EUROSPEECH予稿集、ジュネーブ、スイス、９６５−９６８ページ、２００３年（K. Markov, J. Dang, Y. Lizuka, and S. Nakamura, "Hybrid ＨＭＭ／ＢＮ ＡＳＲ system integrating spectrum and articulatory features," Proc. EUROSPEECH, Geneva, Switzerland, pp. 965-968, 2003.） Ｋ．マルコフ及びＳ．ナカムラ、「ハイブリッドＨＭＭ／ＢＮ音響モデルでの連続フレーム依存のモデリング」ICASSP予稿集、フィラデルフィア、USA、７０１−７０４ページ、２００５年（K. Markov and S. Nakamura, "Modeling successive frame dependencies with hybrid ＨＭＭ／ＢＮ acoustic model," Proc. ICASSP, Philadelphia, USA, pp. 701-704, 2005.） Ｋ．ダウディ、Ｄ．フォア及びＣ．アントアーヌ、「確率論的グラフィックモデルに基づく多バンド音声認識の新たな試み」ICSLP予稿集、北京、中国、３２９−３３２ページ、２０００年（K. Daoudi, D. Fohr, and C. Antoine, "A new approach formulti-band speech recognition based on probabilistic graphical models,"Proc. ICSLP, Beijing, China, pp. 329-332, 2000.） Ｔ．スティーブンソン、Ｍ．マシュー及びＨ．ボーランド、「ベイズネットワークベースのＡＳＲにおける補助的情報のモデリング」EUROSPEECH予稿集、アールボーグ、デンマーク、２７６５−２７６８ページ、２００１年（T. Stephenson, M. Mathew, and H. Bourland, "Modeling auxiliary information in Bayesian network based ＡＳＲ," Proc. EUROSPEECH, Aalborg, Denmark, pp. 2765-2768, 2001.） Ｘ．ハン、Ａ．アケロ、及びＨ．Ｗ．ホン、会話言語処理、プレンティスホール、ニュージャージー、USA、２００１年（X. Huang, A. Acero, and H.W. Hon, Spoken Language Processing, Prentice Hall, New Jersey, USA, 2001.） Ｄ．ポール及びＪ．ベーカー、「ウォールストリートジャーナルベースのCSRコーパスの設計」DARPA SLSワークショップ予稿集、パシフィックグローブ、カリフォルニア、USA，３５７−３６１ページ、１９９２年（D. Paul and J. Baker, "The design for the Wall Street Journal based CSR corpus," Proc. DARPA SLS Workshop, Pacific Grove, California, USA, pp. 357-361, 1992.） Ｔ．ジツヒロ、Ｔ．マツイ、及びＳ．ナカムラ、「MDL基準に基づく非均一ＨＭＭトポロジーの自動生成」、IEICE情報＆システムトランザクション、Ｅ８７−Ｄ巻、第８号、２１２１−２１２９ページ、２００４年（T. Jitsuhiro, T. Matsui, and S. Nakamura, "Automatic generation of non-uniform ＨＭＭ topologies based on the MDL criterion," IEICE Trans. Inf. & Syst., vol. E87-D, no. 8, pp. 2121-2129, 2004） Ｔ．タケザワ、Ｅ．スミタ、Ｆ．スガヤ、Ｈ．ヤマモト、及びＳ．ヤマモト、「実世界における旅行会話の音声翻訳のための広域囲バイリンガルコーパスへ向けて」LREC予稿集、ラパルマ、カナリー諸島、スペイン、１４７−１５２ページ、２００２年（T. Takezawa, E. Sumita, F. Sugaya, H. Yamamoto, and S. Yamamoto, "Toward a broad-coverage bilingual corpus for speech translation of travel conversations in the real world," Proc. LREC, Las Palmas, Canary Islands, Spain, pp. 147-152, 2002.）

多くの研究者が、テトラフォン、クインタフォン／ペンタフォンまたはそれ以上の、トライフォンより広域なコンテキストを組入れることによって音響モデルを改良しようと試みてきた（非特許文献１５及び非特許文献１６を参照されたい。）。先行技術のシステムのうちいくつかは、ペンタフォンモデルを用いて十分に成功している（非特許文献１７〜非特許文献１９を参照）。ペンタフォン音響モデルの一例を図１８に示す。このモデルは、所与のペンタフォン／ａ⁻⁻，ａ⁻，ａ，ａ^＋，ａ^＋＋／の観測値Ｘの確率として表される。

図１８を参照して、ペンタフォンモデル４３０は中央単音素ユニット（／ａ／）、直前のコンテキスト及び直後のコンテキスト（／ａ⁻／及び／ａ^＋／）、並びに二つ前の／二つ後のコンテキスト（／ａ⁻⁻／及び／ａ^＋＋／）を含む。このモデルは、何もないところからトレーニングすることもできる。しかし、モデルのパラメータを適切にトレーニングし、かつこれらを語をまたいだデコードに用いるためには、大量のトレーニング用データとメモリ空間とが必要とされる。しかし、このような資源は通常利用できない。利用できるトレーニングデータが限られている場合、パラメータの推定が頑健でなく、さらに出現しないテキストの数が増加するため、コンテキストの分解能が失われるであろう。

さらにメモリにも制約がある場合、語をまたぐコンテキストモデルの使用はわずらわしく、時として全く不可能にさえなる（非特許文献２０を参照されたい。）。大規模システムでは、デコードの複雑さを避けるための簡単な方策は、再スコアリングのパスに広域コンテキストモデルを適用することである。この場合、デコードの際には、漸進的に複雑さを増す知識源を用いて、検索空間のサイズを減少させることになる（非特許文献２１）。

別の可能性は、単語内の幅のコンテキストユニットのみを用いることである（非特許文献２２）。非特許文献２２では、広域コンテキスト依存モデルを重み付け有限状態変換器（Ｗｅｉｇｈｔｅｄ Ｆｉｎｉｔｅ Ｓｔａｔｅ Ｔｒａｎｓｄｕｃｅｒｓ：ＷＦＴ）のネットワークにコンパイルし、それによって、デコード処理が広域なコンテキストの扱いから完全に分離することが提案されている。しかし、次元の高いモデルを使用すると、コンパイルそのものが困難になる。このため、非特許文献２０の研究ではコンパイル方法の簡潔化を目指している。

要するに、トライフォンより広域なコンテキストを組入れることはさらなる改良につながるが、これには大量のトレーニング用データを必要とし、トレーニングとデコーディングとを困難にする。他方で、より簡潔なモデルはより信頼性が高いものの、同時調音の影響を捕えるには精密さに欠ける。従って、コンテキストの分解能とトレーニングデータのサイズとの間のバランスを保つことのできる、広域なコンテキスト単位の効率的モデリングを行なうことは、ＡＳＲシステムの現実的応用のために対処すべき重要な問題の一つである。例えば、もしこのような広域コンテキスト単位のモデリングをＡＳＲシステムの仮説の再スコアリングに適用すれば、結果はより信頼性の高いものとなる。なぜなら、この結果はより広域な音声的コンテキストを効率的に反映しており、一方でモデルのトレーニング過程は簡単なままであり、トレーニングのために大量のトレーニング用データを必要としないからである。

従って、この発明の目的の一つは、音声モデルのトレーニングに必要とされるデータの量を低いレベルに保ったままで、より広域な音声コンテキストを効率的に反映する、ＡＳＲシステムの仮説を再スコアリングする装置を提供することである。

この発明の第１の局面に従えば、広域コンテキスト音響モデルを準備する方法は、トレーニング用音響データの組を用いて予め定められた数の状態を有する音響隠れマルコフモデル（ＨＭＭ）をトレーニングするステップを含む。この状態は他の状態に対応する他の音素に先行する第１の音素に対応する第１の状態と、他の状態に対応する他の音素に後続する最後の音素に対応する最後の状態と、第１の音素と最後の音素との間の音素に対応する中央状態とを含む。この方法はさらに、音響データの組を用いて第１の状態に対応する第１のベイズネットワークをトレーニングするステップをさらに含む。この第１のベイズネットワークは第１の状態に対応する第１のノードと、第１の音素にすぐ先行する音素を表す隠れ変数の第２のノードと、第１の状態の観察空間の第３のノードとを含むトポロジーを有し、第２及び第３のノードは第１のノードの子であり、第３のノードは第２のノードの子である。この方法はさらに、隠れマルコフモデルと第１のベイズネットワークとを結合するステップを含む。

好ましくは、この方法は、音響データの組を用いて最後の状態に対応する第２のベイズネットワークをトレーニングするステップをさらに含む。この第２のベイズネットワークは最後の状態に対応する第１のノードと、最後の音素の直後の音素を表す隠れ変数の第２のノードと、最後の状態の観測空間の第３のノードとを含むトポロジーを有する。第２のベイズネットワークの第２及び第３のノードは第２のベイズネットワークの第１のノードの子である。第２のベイズネットワークの前記第３のノードは第２のベイズネットワークの第２のノードの子である。この方法はさらに、隠れマルコフモデルと第２のベイズネットワークとを結合するステップを含む。

より好ましくは、この方法は、音響データの組を用いて中央状態に対応する第３のベイズネットワークをトレーニングするステップをさらに含む。この第３のベイズネットワークは中央状態に対応する第１のノードと、第１の音素の直前の音素を表す隠れ変数の第２のノードと、最後の音素の直後の音素を表す隠れ変数の第３のノードと、中央の状態の観測空間の第４のノードとを含むトポロジーを有する。この方法はさらに、隠れマルコフモデルと第３のベイズネットワークとを結合するステップを含む。

最も好ましくは、第３のベイズネットワークの第２及び第３のノードによって表される隠れ変数によって表される音素は、所定のクラスタリング方式に従って、トレーニング中にクラスタリングされる。

好ましくは、第１のベイズネットワークの第２のノードによって表される隠れ変数によって表される音素は、所定のクラスタリング方式に従って、トレーニング中にクラスタリングされる。

より好ましくは、第２のベイズネットワークの第２のノードによって表される隠れ変数によって表される音素は、所定のクラスタリング方式に従って、トレーニング中にクラスタリングされる。

さらに好ましくは、所定のクラスタリング方式は、分類手順のガイドとなる音素コンテキストの特定の知識に従って音素がクラスタリングされる知識ベースのスキームである。

これに代えて、所定のクラスタリング方式は、音素間の音響特徴量における予め定められた類似性の尺度に基づいて音素がクラスタリングされる、データ駆動のクラスタリングでもよい。

この発明の第２の局面にかかる自動音声認識装置は、上述の方法のいずれかに従って準備された広域コンテキスト音響モデルを記憶するための手段と、この記憶手段に記憶された広域コンテキスト音響モデルを用いて、統計的デコード方法で入力波形をデコードするデコーダとを含む。

［第１の実施の形態］
−概観−
過去１０年にわたって、ベイズネットワーク（ＢＮ）は人口知能における不確実性を符号化するためによく用いられる方法となった。さらにこれは、エキスパートシステム、判断支援システム及びパターン認識等の分野において、さまざまなデータ分析問題を解決するのに非常に有力であることも分かってきた（非特許文献２３）。ＢＮは不完全なデータセットを容易に扱うことができ、因果関係の学習を可能にし、うまく構築できるうえに表現も簡単であり、知識のドメインとデータとの組合せを容易にし、さらに、過適応のデータを回避するのに効率的で理にかなった方策を提供する。

ＢＮにより、任意の変数の組を音声フレームの各々又はＨＭＭ状態と関連付けることができる。従って、音声状態情報が他の変数で補強されたモデルを容易に構築できる（非特許文献２５）。最近、音声認識分野の多くの研究者が調音的特徴量、サブバンド相関、又は話し方のスタイル等の付加的知識を組入れるのにＢＮを利用するのはこのためである（非特許文献２６〜非特許文献２９）。ＢＮの別の利点は、認識の間に信頼性をもって推定するのが困難な付加的特徴量を、隠されたまま、すなわち観測不能なままでおくことができるという点である。

この実施の形態のアプローチは、ハイブリッドＨＭＭ／ＢＮモデルに基づいたものであって（非特許文献２５）、ＢＮの利点を利用して、トライフォンよりも広域なコンテキストを組入れることを可能にする。トライフォンコンテキスト単位と、二つ前の／二つ後のコンテキストとの確率論的依存度がＢＮによって学習され、広域コンテキストによる状態出力確率分布がモデル化される。このアプローチの利点は、モデル化された音素コンテキストをトライフォンのフレームワーク内で拡張できることと、二つ前の／二つ後のコンテキストの変数が認識の間は隠されていると仮定することによって、標準的なデコードシステムを使用できることとである。この実施の形態では、まず、二つ前のコンテキスト及び二つ後のコンテキストが、主に外側のＨＭＭ状態に影響を及ぼすと仮定し、これらの状態のｐｄｆのみを修正する。その後、このアプローチを拡張して、トライフォンＨＭＭモデルの内部状態を含むようにし、完全なハイブリッドペンタフォンコンテキスト依存のＨＭＭ／ＢＮモデリングを行なう。パラメータ推定の頑健性を向上させるため、標準的なアプローチではいくつかの状態出力確率分布を共有する。この実施の形態では、知識ベースのクラスタリング技術を用いたガウス分布の共有を適用する。第２の実施の形態では、データ駆動技術を用いる。

−ハイブリッドＨＭＭ／ＢＮの背景−
ＨＭＭ／ＢＮモデルは、ＨＭＭとＢＮとの組合せである。音声の時間的特性がＨＭＭ状態遷移によってモデリングされ、ＨＭＭ状態確率分布がＢＮで表される。ＨＭＭ／ＢＮ３０のブロック図を図１に示す。ここでＨＭＭ３２は上のレベルにあり、ＢＮ３４は下のレベルにある。

図１を参照して、ＨＭＭ３２は３つの状態４０、４２及び４４を含む。このモデルは二つの確率の組によって記述される。ＨＭＭ遷移確率Ｐ（ｑ_ｊ｜ｑ_ｉ）と、ＢＮの複合確率分布Ｐ（Ｘ_１，…，Ｘ_ｋ）とである。ここでＸｉ， Ｉ＝１，…，ＫはＢＮ変数である。ＢＮの複合確率密度関数（ＰＤＦ）は以下のように因数分解できる。

ただしＰａ（Ｘ_ｉ）は変数Ｘ_ｉの親を示す。

ＨＭＭ状態の種々の組に対し、種々の種類のＢＮ構造を用いることもできる。図２は３個の変数５２、５４及び５６を備えたＢＮ構造５０の簡単な例を示す。ただし変数Ｑ５２はＨＭＭ状態を示し、Ｘ５６はスペクトル観測ベクトルを示し、Ｙ５４はピッチ、調音位置、話者の性別、コンテキスト情報等の何らかの付加的情報を示す。ここで、Ｑ及びＹは正方形のノードで示されるディスクリートな変数であり、Ｘは丸いノードで示される連続変数である。二つの変数間の依存性（親子のノード）は、条件付確率関数によって記述されるアークとｉｄとにより示される。ＢＮ構造を自動的に学習するのは通常困難であるので、ＢＮ構造はデータに関する知識に基づいて手動で設計される。

従来のＨＭＭでは、状態出力の観測確率は以下のガウス混合密度から得られる。

ただしｂ_ｍは状態のｍ番目の混合分布の混合重みであり、Ｎ（・）は平均ベクトルμ_ｍと共分散行列Σ_ｍとを持つガウス関数である。

図２のようなＨＭＭ／ＢＮモデルの場合、複合確率モデルは式（１）による連鎖法則で表すことができる。

従って、全てのＢＮ変数が観測可能な場合、状態出力の観測確率は以下のように計算される。

しかし、付加的変数Ｙが隠されている場合、状態出力の観測確率はＹに対するマージナライゼーションによって計算される。

ここで、Ｐ（Ｙ＝ｙ｜Ｑ）の項をガウス成分Ｐ（Ｘ｜Ｙ＝ｙ，Ｑ）の混合重み係数として扱えば、式（５）は式（２）の従来のＨＭＭの観測確率と等価であることが分かる。従って、既存のＨＭＭデコーダを何の修正もなくＨＭＭ／ＢＮモデルで動作させることができる。

図７を参照して、ハイブリッドＨＭＭ／ＢＮモデルのトレーニング手順は、ビタビアルゴリズムに基づき、以下のステップからなる。

１．初期化（ステップ２１０）：従来のブートストラップＨＭＭモデルを用いたＨＭＭ／ＢＮパラメータの初期化。

２．ビタビアライメント（ステップ２１２）：トレーニングデータを時間で整列させた状態セグメンテーションを得る。

３．ＢＮトレーニング（ステップ２１４）：状態ラベル付トレーニングデータを用いてＢＮをトレーニング。

４．遷移確率の更新（ステップ２１６）。

５．埋込みＢＮ／ＨＭＭトレーニング（ステップ２１８）。

６．収束のチェック（ステップ２２０）：収束基準を満たせば停止、さもなければステップ２１２に戻る。

上述のステップ２１４でのＢＮ状態のトレーニングは、標準的な統計方法を用いてなされる。トレーニングの間に全ての変数が観測可能であれば、単純なＭＬパラメータ推定のみを適用できる。何らかの変数が隠されていれば、パラメータは標準的なＥＭ（Ｍａｘｉｍｕｍ Ｌｉｋｅｌｉｈｏｏｄ：最大尤度）アルゴリズムによって推定される。

ＨＭＭ／ＢＮアプローチのさらなる詳細は非特許文献２５〜非特許文献２７に記載されている。

−ハイブリッドペンタフォンコンテキスト依存ＨＭＭ／ＢＮモデル−
この実施の形態に従ったペンタフォンＨＭＭ／ＢＮモデルでは、上部レベルのＨＭＭがトライフォンコンテキストユニットに対応し、３個の状態を有する。これを図３に示す。

図３を参照して、ペンタフォンＨＭＭ／ＢＮモデル６０は３個の状態７０、７２、７４を備えたＨＭＭモデルを含む。下部レベルのＢＮは、トライフォンコンテキストユニットと、異なるＢＮ変数で表される二つ前の／二つ後のコンテキストとの間の確率依存性をモデル化するために用いられる。ＢＮは左の状態のＢＮ（以下「ＢＮ_Ｌ」とする）８０と、中央状態のＢＮ（以下「ＢＮ_Ｃ」）８２と、右の状態のＢＮ（以下「ＢＮ_Ｒ」）８４とを含む。

ペンタフォンＨＭＭ／ＢＮモデル６０は従来のトライフォンＨＭＭを、さらに二つ前及び二つ後のコンテキストで拡張し、／ａ⁻⁻，ａ⁻，ａ，ａ^＋，ａ^＋＋／のようなペンタフォンのコンテキストを提供する。左、中央及び右の状態出力確率分布は、図４（Ａ）、（Ｂ）及び（Ｃ）にそれぞれ示すような３種のＢＮトポロジーで表すことができる。ここではまず、二つ前のコンテキスト及び二つ後のコンテキストは主にトライフォンＨＭＭモデルの外側の状態に影響を与えるものと仮定する。従ってＢＮ_Ｌ及びＢＮ_Ｒのみが付加的なディスクリートな変数Ｃ_Ｌ及びＣ_Ｒを（図２の変数Ｙとして）有する。これらはそれぞれ、二つ前及び二つ後のコンテキスト／ａ⁻⁻／及び／ａ^＋＋／と関連する。ＢＮ_Ｃは何ら付加的なコンテキストの変数を持たない。左と右の状態のみが付加的変数を有するので、このモデルをＬＲ−ＨＭＭ／ＢＮと呼ぶ。

認識時、Ｃ（Ｃ_Ｌ又はＣ_Ｒ）が隠されており、Ｎ個の値をとると仮定すれば、ＢＮから得られる左と右との状態の出力確率は以下で与えられる。

ただし、Ｐ（Ｃ＝ｃ_ｎ｜Ｑ）は状態Ｑが二つ前／二つ後のコンテキストｃ_ｎを有する確率であり、Ｐ（Ｘ｜Ｃ＝ｃ_ｎ，Ｑ）はＱが二つ前／二つ後にコンテキストｃ_ｎを有する状態にある場合の観測値Ｘの確率である。この場合、Ｐ（Ｃ＝ｃ_ｎ｜Ｑ）及びＰ（Ｘ｜Ｃ＝ｃ_ｎ，Ｑ）はそれぞれ式（２）の混合重み及びガウス関数に対応する。

式（６）を用いることで、既存のトライフォンＨＭＭを用いたデコーダを何ら修正することなく用いて認識を行なうことができる。

−パラメータの削減−
式（６）によれば、先行／後続する音素コンテキストの各値について、対応するガウス成分がある。ＢＮ_Ｒによる空間モデリングの観測例を図９に示す。図９を参照して、トライフォンコンテキストＨＭＭ（／ａ−，ａ，ａ＋／）の右の状態ｑ_３は、二つ後の音素コンテキスト変数Ｃ_Ｒを有する。変数Ｃ_Ｒは二つ後の音素コンテキストの種々の値２５０、２５２、…２５６を有する。変数Ｃ_Ｒの種々の値は、種々のガウス分布２６０、２６２、…２６４にそれぞれ対応する。

図９に示す例では、（無音を含む）４４音素の組を英語ＡＳＲに用いるとすれば、左／右の各状態の最大ガウス分布数が４４になりうるということになる。このように増加したモデルパラメータを信頼性高く推定するにはトレーニングデータの量が不十分な場合、全体の性能はかなり劣化する。従って、ガウス分布の数を減らす必要がある。ガウス分布の数を減らすために利用できる方式が二つある。一つは知識ベースの音素クラスを用いることである。他の一つはデータ駆動のクラスタリングである。これらの方式は、どのようなベイズネットワークにも適用可能である。

−知識ベースの音素クラス−
これは、分類手順の手引きとして、ユニットコンテキストの特定の知識を明示的に用いて方法である（非特許文献３０）。ここでは、音素コンテキストを、調音の仕方の主な区別に基づいたツリーとして構成する。同じ調音位置を有する多くの音素は隣接する音素に対し同様の影響を及ぼす傾向がある。例えば、／ｂ／及び／ｐ／は後続する母音に同じ影響を与え、／ｎ／及び／ｍ／もまた、後続する母音に対し同じ影響を与える。

図５は音素ツリーの一例を示す。図５を参照して、このツリーはルートノード９０を有し、ここから、主な終端ノード９２、９４、９６、９８、１００及び１０２が分岐する。主な終端ノードは以下の通りである。破裂音９２（例／ｂ／，／ｐ／，／ｋ／，／ｃｈ／）、鼻音９４（例／ｎ／，／ｍ／）、摩擦音９６（例／ｆ／，／ｓ／）、側音９８（例／ｌ／）、顫動音１００（例／ｒ／）及び母音１０２（例／ａ／，／ｉ／）である。

トレーニングデータの量も考慮して、これら終端ノードの各々をさらに、破裂音９２から破裂両唇音１０４及び破裂軟口蓋音１０６へ、さらに摩擦音９６から摩擦声門音１０８へ、とさらに細かいノードに分割することもできる。

図５に示すようなツリーに基づき、Ｎ（Ｎ_Ｌ又はＮ_Ｒ）個の二つ前の／二つ後のコンテキストをＬ個のクラスにクラスタリングすることができる。ただしＬ＜Ｎである。

−データ駆動のクラスタリング−
データ駆動のクラスタリングもまた、パラメータの連結には慣用のアプローチである。特定の知識に基づくデータのクラスタリングに代えて、音素がどのような音声学的コンテキストを表すかに関わらず、何らかの類似性の尺度に基づいて音素がクラスタリングされる（非特許文献２３）。初期状態では、各ガウス分布は別々のクラスタに入れられる。組合せた場合得られるクラスタが最も小さいようなクラスタ対がマージされる。距離尺度は、ガウス分布の平均間のユークリッド距離で決定される。クラスタの総数があるしきい値より小さくなるまで、この処理が繰返される。このクラスタリング技術により、ガウス分布の総数Ｘを、状態ごとの混合成分の数の平均が所定の固定値となるように設定できる。

＜構造＞
図６はこの発明の一実施の形態に従ったＡＳＲシステム１１０の全体構造を示す。図６を参照して、ＡＳＲシステム１１０は、トレーニング用音響データを記憶するための記憶装置１２０（以下「音響データ１２０」）と、左と右のベイズネットワーク１７０及び１７４をトレーニングするためのデータを準備するベイズネットワーク（Ｂ．Ｎ．）トレーニングデータ準備モジュール１２２と、左と右のベイズネットワーク１７０及び１７４をそれぞれトレーニングするトレーニングモジュール１４４及び１６４とを含む。

ＡＳＲシステム１１０はさらに、音響データ１２０を用いてＨＭＭモデルをトレーニングするためのデータを準備するＨＭＭトレーニングデータ準備ユニット１２６と、ＨＭＭトレーニングデータ準備ユニット１２６によって準備されたＨＭＭトレーニングデータを記憶する記憶装置１２８と、記憶装置１２８に記憶されたトレーニングデータを用いてＨＭＭ音響モデル１３２をトレーニングするトレーニングモジュール１３０と、ＨＭＭ音響モデル１３２の左と右の状態の各々のガウス分布を、対応するベイズネットワーク１７０及び１７４のガウス分布で置換することによって、ベイズネットワーク１７０及び１７４とＨＭＭ音響モデル１３２とを結合するモデル結合モジュール１３４と、モデル結合モジュール１３４によって生成されたＨＭＭ／ＢＮ音響モデルを記憶する記憶装置１８０と、入力波形データ１８２をデコードし、仮説のＮベストリスト１８６を出力するためのデコーダ１８４とを含む。

ＢＮトレーニングデータ準備モジュール１２２は、ベイズネットワーク１７０及び１７４のためのトレーニングデータをそれぞれ準備するトレーニングデータ準備ユニット１４０及び１６０と、第１のトレーニングデータ準備ユニット１４０及び１６０によってそれぞれ準備されたトレーニングデータを記憶する記憶装置１４２及び１６２とを含む。

＜動作＞
この実施の形態のＡＳＲシステム１１０は以下のように動作する。ＡＳＲシステム１１０は二つの動作段階を有する。モデリングとデコーディングである。

モデルのトレーニングでは、モデルトレーニング用の音響データ１２０が予め準備されているものと仮定する。第１のトレーニングデータ準備ユニット１４０及び１６０は音響データ１２０からそれぞれ、左と右のベイズネットワーク用のトレーニングデータを準備する。記憶装置１４２及び１６２が、それぞれ第１のトレーニングデータ準備ユニット１４０及び１６０から出力されるベイズネットワーク１７０及び１７４のためのトレーニングデータをそれぞれ記憶する。トレーニングユニット１４４及び１６４は、それぞれ記憶装置１４２及び１６２に記憶されたトレーニングデータを用いて、ベイズネットワーク１７０及び１７４をトレーニングする。

ＨＭＭトレーニングデータ準備ユニット１２６は、音響データ１２０から、ＨＭＭ音響モデル１３２をトレーニングするためのトレーニングデータを準備する。記憶装置１２８がＨＭＭトレーニングデータ準備ユニット１２６によって準備されたデータを記憶する。トレーニングユニット１３０が、記憶装置１２８に記憶されたトレーニングデータを用いて、ＨＭＭ音響モデル１３２をトレーニングする。

モデル結合モジュール１３４はＨＭＭ音響モデル１３２をベイズネットワーク１７０及び１７４と結合する。すなわち、モデル結合モジュール１３４はＨＭＭ音響モデル１３２の左状態のガウス分布をベイズネットワーク１７０のガウス分布と置換する。モデル結合モジュール１３４はさらに、ＨＭＭ音響モデル１３２の右状態をベイズネットワーク１７４のガウス分布と置換する。モデル結合ユニット１３４はＨＭＭ／ＢＮモデルを記憶装置１８０に出力し、記憶装置１８０はＨＭＭ／ＢＮモデルを記憶する。

デコーダ１８４は、記憶装置１８０に記憶されたＨＭＭ／ＢＮモデルを用いて波形データ１８２をデコードし、Ｎベストリスト１８６を出力する。上述の通り、既存のデコーダを何ら修正することなく使用できる。結果として得られるＮベストリスト１８６は、しかし、先行技術で得られるものとは異なる。なぜなら、認識に用いられる音響モデルが異なるからである。

ＡＳＲシステム１１０はコンピュータハードウェア及びソフトウェアで実現可能である。デコーダ１８４を実現するコンピュータプログラムの制御構造は図７に示すとおりである。

［第２の実施の形態］
−完全ペンタフォンコンテキスト依存ＨＭＭ／ＢＮモデル−
上述の第１の実施の形態のＡＳＲシステム１１０は図４に示すようなトポロジーのＨＭＭ／ＢＮモデルを使用する。しかし、この発明のＡＳＲシステムはこのようなシステムには限定されない。例えば、ＨＭＭモデルの中央状態に広域コンテキストに対する依存性を組込み、完全なハイブリッドのペンタフォンコンテキスト依存ＨＭＭ／ＢＮモデルを達成するようにしてもよい。第２の実施の形態は、そのようなＨＭＭ／ＢＮモデルを用いるシステムに関する。

この実施の形態に係るＢＮトポロジーの状態は図８に示すとおりである。ＢＮ_Ｌ及びＢＮ_Ｒは第１の実施の形態と同じである。しかし、ＢＮ_Ｃは、新たに２個のコンテキスト変数を有する。二つ前のコンテキスト（Ｃ_Ｌ）と二つ後のコンテキスト（Ｃ_Ｒ）とである。従って、３個の状態全てが広域のコンテキスト変数を有する。このモデルをＬＲＣ−ＨＭＭ／ＢＮと呼ぶ。

左／右状態の出力確率はＬＲ−ＨＭＭ／ＢＮと同様に得られる。ここで、中央状態の出力確率は、追加された変数Ｃ_Ｌ及びＣ_Ｒがともに認識の間は隠されており、Ｎ_Ｌ個及びＮ_Ｒ個の値をとると仮定して、ＢＮ_Ｃから得られる。すなわち

ただしＰ（Ｃ_Ｌ＝Ｃ_ｎＬ｜Ｑ）Ｐ（Ｃ_Ｒ＝Ｃ_ｎＲ｜Ｑ）は中央状態Ｑが二つ前及び二つ後のコンテキスト（Ｃ_ｎＬ及びＣ_ｎＲ）を有する確率であり、Ｐ（Ｘ｜Ｃ_Ｌ＝Ｃ_ｎＬ，Ｃ_Ｒ＝Ｃ_ｎＲ，Ｑ）は、それぞれ二つ前及び二つ後のコンテキストＣ_ｎＬ及びＣ_ｎＬを有する中央状態Ｑにあるときの観測値Ｘの確率である。この場合、Ｐ（Ｃ_Ｌ＝Ｃ_ｎＬ｜Ｑ）Ｐ（Ｃ_Ｒ＝Ｃ_ｎＲ｜Ｑ）及びＰ（Ｘ｜Ｃ_Ｌ＝Ｃ_ｎＬ，Ｃ_Ｒ＝Ｃ_ｎＲ，Ｑ）はそれぞれ式（２）の混合重みとガウス関数とに対応する。

第２の実施の形態では、英語ＡＳＲで４４個の音素を用いるとすれば、ＨＭＭ／ＢＮモデルの中央状態の各々のガウス分布の総数は４４^２＝１，９３６個となり得る。この場合、データのスパースネスの問題は、第１の実施の形態よりも深刻になる。従って、ガウス分布数の削減がより重要となる。

＜構造＞
この実施の形態では、図１０に示すＡＳＲシステム２８０を用いることができる。ＡＳＲシステム２８０は図６に示すＡＳＲシステム１１０と同様のものである。ＡＳＲシステム２８０がＡＳＲシステム１１０と異なる点は、図６に示すＢＮトレーニングデータ準備モジュール１２２に代えてＢＮトレーニングデータ準備モジュール１２４を含むこと、及び図６のモデル結合モジュール１３４に代えてモデル結合モジュール２９０を含むことである。

ＢＮトレーニングデータ準備モジュール１２４は、ＢＮトレーニングデータ準備モジュール１２２内の各ユニットに加えて、中央のベイズネットワーク１７２のためのトレーニングデータを準備するトレーニングデータ準備ユニット１５０と、トレーニングデータ準備ユニット１５０によって準備されたトレーニングデータを記憶する記憶装置１５２と、記憶装置１５２に記憶されたトレーニングデータを用いて中央のベイズネットワーク１７２をトレーニングするトレーニングユニット１５４とを含む。

＜動作＞
モデル結合モジュール２９０はＨＭＭ音響モデル１３２の状態の各々のガウス分布をベイズネットワークのガウス分布に置換する。すなわち、モデル結合モジュール２９０は、ＨＭＭ音響モデル１３２の中央状態の全てのガウス分布を中央ベイズネットワーク１７２のガウス分布と置換する。他の点では、モデル結合モジュール２９０は図６に示すモデル結合モジュール１３４と同様に動作する。

こうしてＨＭＭ／ＢＮモデル２９２はモデル結合モジュール２９０によって生成される。デコーダ１８４は波形データ１８２をデコードし、ＨＭＭ／ＢＮモデル２９２を用いてＮベストリスト１８６を出力する。デコーダには何ら修正は必要ない。

［コンピュータによる実現］
上述の実施の形態はコンピュータシステムと、当該システム上で実行されるコンピュータプログラムとによって実現可能である。図１１はこれら実施の形態で用いられるコンピュータシステム３３０の外観を示し、図１２はコンピュータシステム３３０のブロック図である。ここで示すコンピュータシステム３３０は単なる例示であって、さまざまな他の構成が利用可能である。

図１１を参照して、コンピュータシステム３３０は、コンピュータ３４０と、全てコンピュータ３４０に接続された、モニタ３４２、キーボード３４６、及びマウス３４８とを含む。さらに、コンピュータ３４０は内蔵のＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）ドライブ３５０及びＦＤ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ）ドライブ３５２を有する。

図１２を参照して、コンピュータ３４０はさらに、ＣＤ−ＲＯＭドライブ３５０及びＦＤドライブ３５２に接続されたバス３６６と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３５６と、コンピュータのブートアッププログラム等のプログラムを記憶するためのＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）３５８と、ＣＰＵ３５６によって使用される作業領域及びＣＰＵ３５６によって実行されるプログラムの記憶領域を提供するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３６０と、音響データ、波形データ、及び仮説を記憶するためのハードディスク３５４とを含み、これらは全てバス３６６に接続されている。

上述の実施の形態に係るシステムを実現するソフトウェアはＣＤ−ＲＯＭ３６２又はＦＤ３６４等の記録媒体に記録されて配布され、ＣＤ−ＲＯＭドライブ３５０又はＦＤドライブ３５２等の読出装置を介してコンピュータ３４０に提供され、ハードディスク３５４に記憶される。ＣＰＵ３５６がプログラムを実行する際には、プログラムはハードディスク３５４から読出されてＲＡＭ３６０に記憶される。図示しないプログラムカウンタによって指定されたアドレスから命令が読みだされ、命令が実行される。ＣＰＵ３５６は処理対象のデータをハードディスク３５４から読出し、処理の結果をまたハードディスク３５４に記憶する。

コンピュータシステム３３０の一般的な動作は周知であり、従ってその詳細はここでは説明しない。

ソフトウェア配布の方法に関して、ソフトウェアは必ずしも記録媒体上に固定されなくてもよい。例えば、ソフトウェアはネットワークで接続された別のコンピュータから配布されてもよい。ソフトウェアの一部をハードディスク３５４に記憶し、ソフトウェアの残りの部分はネットワークを介して入手してハードディスク３５４に格納し、実行時に統合してもよい。

典型的には、現在のコンピュータはコンピュータのオペレーティングシステム（ＯＳ）によって提供される一般的な機能を利用し、所望の目的に従って、制御された様態で機能を達成する。従って、ＯＳ又はサードパーティプログラムによって提供され得る一般的な機能を含まず、一般的機能を実行する順序の組合せのみを指定するプログラムであっても、そのプログラムが全体として所望の目的を達成する限り、それがこの発明の範囲内にあることは明らかである。

［実験結果］
ウォールストリートジャーナル（ＷＳＪ０及びＷＳＪ１）スピーチコーパス（非特許文献１８）からの６０時間超の母国語話者による英語の音声データを用いて、ベースライントライフォンＨＭＭ音響モデルをトレーニングした（非特許文献３１）。サンプリング周波数は１６ｋＨｚであり、フレーム長は２０ミリ秒のハミングウィンドウであり、フレームシフトは１０ミリ秒であり、１２次のＭＦＣＣ（Ｍｅｌ−Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒｕｍ Ｃｏｅｆｆｉｃｉｅｎｔｓ：メル周波数ケプストラム）、ΔＭＦＣＣ及びΔ対数パワーからなる２５次特徴パラメータを、特徴パラメータとして用いた。各音素について、初期ＨＭＭとして３状態を用いた。こうして、トライフォンコンテキストが状態レベルで共有され連結される最適状態トポロジーを得るために、最小記述長さ（ｍｉｎｉｍｕｍ ｄｅｓｃｒｉｐｔｉｏｎ ｌｅｎｇｔｈ：ＭＤＬ）に基づく連続状態分割（ｓｕｃｃｅｓｓｉｖｅ ｓｔａｔｅ ｓｐｌｉｔｔｉｎｇ：ＳＳＳ）を用いて、状態レベルＨＭｎｅｔを得た。ＭＤＬ−ＳＳＳの詳細は非特許文献３２に記載されている。

ここで、各トライフォンコンテキストのためのＨＭｎｅｔパスの長さは３状態に保たれる。状態の総数は１１４４であり、状態ごとのガウス混合成分の数には４つの異なるバージョンがある。すなわち、５、１０、１５及び２０である。

各モデルの性能を、トレーニングコーパスとは全く異なる、出願人が準備した基本旅行表現コーパス（Ｂａｓｉｃ Ｔｒａｖｅｌ Ｅｘｐｒｅｓｓｉｏｎ Ｃｏｒｐｕｓ：ＢＴＥＣ）（非特許文献３３）でテストした。実験では、４，０８０の発話から、４０人の異なる話者（男性２０名、女性２０名）による２００個の発話をランダムに選択した。最良のベースラインＨＭＭ性能は８７．９８％の単語精度であり、１状態あたり１５ガウス分布のトライフォンＨＭＭで得られた。

同じデータコーパスを用いて、時間でアライメントした状態セグメンテーションを得た。始めに、ハイブリッドペンタフォンＬＲ−ＨＭＭ／ＢＮを評価し、二つ前／二つ後のコンテキストを、新たなディスクリートな変数としてＢＮ_Ｌ／ＢＮ_Ｒをトレーニングした。中央状態ＢＮ_Ｃはガウス混合分布としてモデル化された標準的ＨＭＭ状態のｐｄｆと等価であった。このため、ＨＭＭ／ＢＮモデルの中央状態として、ベースライン音響モデルからの、対応する５個の成分混合状態を用いた。ＨＭＭ／ＢＮ状態トポロジー、状態の総数及び遷移確率は、ベースラインのそれらと全て同じであった。

初期のＨＭＭ／ＢＮモデルはＣについて４４音素のコンテキストの組を使用し、これによりトレーニング後、左／右状態ごとに平均で３０個のガウス分布を結果としてもたらした。中央状態のパラメータはベースラインのトライフォン５−混合成分ＨＭＭと同じままであったので、最終的なハイブリッドＬＲ−ＨＭＭ／ＢＮモデルは状態ごとに（平均で）約２４の混合分布を有する。その後、上述のとおり、知識ベースの音素クラスタリングを用いて、４４音素の組を３０、２０及び１０のクラスに削減した。中央状態を１状態当たり５個のガウス分布に維持した結果、それぞれ平均で１８、１３及び８成分混合分布のハイブリッドＬＲ−ＨＭＭ／ＢＮモデルが得られた。

種々の種類の音素クラスの組のペンタフォンＬＲ−ＨＭＭ／ＢＮの結果を図１３に示す。比較のため、最良の性能を示した１５成分混合分布のＨＭＭトライフォンベースライン１５も含めた。

次に、ハイブリッドペンタフォンＬＲＣ−ＨＭＭ／ＢＮモデルを評価し、新たなディスクリートな変数として二つ前及び二つ後のコンテキストにより、ＢＮ_Ｃをトレーニングした。左と右の状態（それぞれＢＮ_Ｌ及びＢＮ_Ｒ）はハイブリッドペンタフォンＬＲ−ＨＭＭ／ＢＮと同じであった。ＨＭＭ／ＢＮ状態トポロジー、状態の総数、及び遷移確率は全て、ベースラインのものと同じであった。トレーニング後、Ｃについての４４音素コンテキストの組の初期ＨＭＭ／ＢＮモデルから、中央状態について約４１２のガウス分布、左／右の１状態当たり３０のガウス分布が得られた。最終的なハイブリッドペンタフォンＬＲＣ−ＨＭＭ／ＢＮモデルは平均で１状態当たり約１４２の混合分布を有した。

ガウス分布の数を削減するために、知識ベースの音素クラスタリングを用いて４４音素コンテキストの組を３０、２０及び１０のクラスにクラスタリングした。この結果、ハイブリッドペンタフォンＬＲＣ−ＨＭＭ／ＢＮモデルはそれぞれ、１０８、７０及び３９の成分混合分布を有することとなった。種々の種類の音素の組でのペンタフォンＬＲＣ−ＨＭＭ／ＢＮモデルの結果を図１４に示す。

ＢＮを介してより広域な音素コンテキストを組込むために確率分布のみを変更し、他のパラメータを同じままに保つことによって、ベースラインより良好な、改良された認識性能を得た。４４音素の組のハイブリッドペンタフォンＬＲＣ−ＨＭＭ／ＢＮ（１状態当たり１４２混合分布）は、パラメータの数が膨大であるため、ＨＭＭベースラインにくらべ性能がわずかに向上しただけであった。ガウス分布の数を削減することによって、結果として性能は８８．０５％から８８．８２％に改良された。ペンタフォンＬＲＣ−ＨＭＭ／ＢＮのこの最良の性能は、クラス数＝１０（１状態当たり２９ガウス分布）で得られた。知識ベースの音素クラスタリングを用いた最適サイズのＣ_Ｌ及びＣ_Ｒでは、ＬＲＣ−ＨＭＭ／ＢＮモデルもＬＲ−ＨＭＭ／ＢＮモデルもともに同様の性能を達成した。

ガウス分布の総数が全く同じ数のペンタフォンＨＭＭ／ＢＮモデルとベースラインとの比較を可能にするために、データ駆動クラスタリングを用いて、初期ＨＭＭ／ＢＮのサイズを５、１０、２０混合成分ベースラインに対応するように削減した。ペンタフォンＬＲ−ＨＭＭ／ＢＮの中央状態混合成分サイズもまた、対応するサイズであった。トライフォンＨＭＭベースライン、ペンタフォンＬＲ−ＨＭＭ／ＢＮ及びペンタフォンＬＲＣ−ＨＭＭ／ＢＮの結果を図１５に示す。

示されるとおり、パラメータ数が同じ場合、いずれのタイプのペンタフォンＨＭＭ／ＢＮもベースラインを上回る性能であった。ペンタフォンＬＲ−ＨＭＭ／ＢＮの最良の性能は、ガウス混合分布数が１５の時に得られ、これによって単語誤り率（Ｗｏｒｄ Ｅｒｒｏｒ Ｒａｔｅ：ＷＥＲ）が相対的に約９％減少した。ペンタフォンＬＲＣ−ＨＭＭ／ＢＮの最良の性能は、ガウス混合分布数が２０の時に得られ、ＷＥＲが相対的に約１０％減少した。平均して、ＬＲＣ−ＨＭＭ／ＢＮモデル及びＬＲ−ＨＭＭ／ＢＮモデルはともに、以前と同様の性能を達成した。これは、知識ベースのクラスタリング技術も、データ駆動のクラスタリング技術も、ガウス成分の数を減少させるには等しく有効であることを示す。

上述の通り、ＨＭＭ／ＢＮモデルはモデルコンテキストの拡張に有利である。実施の形態のＨＭＭ／ＢＮモデルを用いることにより、従来のトライフォンモデルを容易に拡張してより広域なコンテキストをカバーしつつ、何ら修正なしに既存の標準的デコードシステムを使用できる。認識結果は、ベースライントライフォンＨＭＭとガウス分布の数が同じであっても、ハイブリッドペンタフォンＨＭＭ／ＢＮモデルによって、ＡＳＲシステムの性能が向上することを示した。

今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味および範囲内でのすべての変更を含む。

この発明の一実施の形態に従ったＨＭＭ／ＢＮモデルを概略的に示す図である。 ＢＮネットワークの一例を概略的に示す図である。 この発明の第１の実施の形態で用いられるＨＭＭ／ＢＮネットワークの構造を概略的に示す図である。 この発明の第１の実施の形態で用いられるベイズネットワークのトポロジーを示す図である。 音素の知識ベースのクラスタリングで用いられる音素のクラスのツリーを概略的に示す図である。 この発明の第１の実施の形態に従ったＡＳＲシステム１１０の全体構造を示す図である。 この発明の第１の実施の形態のＨＭＭ／ＢＮネットワークのトレーニングの制御構造を示す図である。 この発明の第２の実施の形態で用いられるベイズネットワークのトポロジーを示す図である。 ＢＮ_Ｒによる観測空間モデリングの例を示す図である。 この発明の第２の実施の形態に従ったＡＳＲシステム２８０の全体構造を示す図である。 コンピュータシステム３３０の外観を示す図である。 コンピュータシステム３３０を示すブロック図である。 実験結果を示す図である。 別の実験結果を示す図である。 さらに別の実験結果を示す図である。 狭いコンテキストモデルで構築された従来のトライフォンモデルを示す図である。 従来のＡＳＲシステム４００の構造を示す図である。 何もないところから構築されたペンタフォンモデルを示す図である。

符号の説明

３０，６０ ＨＭＭ／ＢＮモデル
３２ ＨＭＭモデル
３４ ベイズネットワーク
１１０，２８０ ＡＳＲシステム
１７０，１７２，１７４ ベイズネットワーク
１３２ ＨＭＭ音響モデル
１３４，２９０ モデル結合モジュール
１８４ デコーダ

Claims (9)

1. 広域コンテキスト音響モデルを準備する音響モデルの準備方法であって、
   トレーニング用音響データの組を用いて予め定められた数の状態を有する音響隠れマルコフモデルをトレーニングするステップを含み、前記状態は、他の状態に対応する他の音素に先行する第１の音素に対応する第１の状態と、他の状態に対応する他の音素に後続する最後の音素に対応する最後の状態と、第１の音素と最後の音素との間の音素に対応する中央状態とを含み、
   前記方法は、前記音響データの組を用いて前記第１の状態に対応する第１のベイズネットワークをトレーニングするステップをさらに含み、前記第１のベイズネットワークは前記第１の状態に対応する第１のノードと、前記第１の音素の直前の音素を表す隠れ変数の第２のノードと、第１の状態の観測空間の第３のノードとを含むトポロジーを有し、前記第２及び第３のノードは前記第１のノードの子であり、前記第３のノードは前記第２のノードの子であり、
   前記方法はさらに、前記隠れマルコフモデルと前記第１のベイズネットワークとを結合するステップを含む、音響モデルの準備方法。
2. 前記方法は、前記音響データの組を用いて前記最後の状態に対応する第２のベイズネットワークをトレーニングするステップをさらに含み、前記第２のベイズネットワークは前記最後の状態に対応する第１のノードと、前記最後の音素の直後の音素を表す隠れ変数の第２のノードと、前記最後の状態の観測空間の第３のノードとを含むトポロジーを有し、前記第２のベイズネットワークの前記第２及び第３のノードは前記第２のベイズネットワークの前記第１のノードの子であり、前記第２のベイズネットワークの前記第３のノードは前記第２のベイズネットワークの前記第２のノードの子であり、
   前記方法はさらに、前記隠れマルコフモデルと前記第２のベイズネットワークとを結合するステップを含む、請求項１に記載の音響モデルの準備方法。
3. 前記方法は、前記音響データの組を用いて前記中央状態に対応する第３のベイズネットワークをトレーニングするステップをさらに含み、前記第３のベイズネットワークは前記中央状態に対応する第１のノードと、前記第１の音素の直前の音素を表す隠れ変数の第２のノードと、前記最後の音素の直後の音素を表す隠れ変数の第３のノードと、前記中央状態の観測空間の第４のノードとを含むトポロジーを有し、
   前記方法はさらに、前記隠れマルコフモデルと前記第３のベイズネットワークとを結合するステップを含む、請求項２に記載の音響モデルの準備方法。
4. 前記第３のベイズネットワークの前記第２及び第３のノードによって表される隠れ変数によって表される音素は、所定のクラスタリング方式に従って、トレーニング中にクラスタリングされる、請求項３に記載の音響モデルの準備方法。
5. 前記第１のベイズネットワークの前記第２のノードによって表される隠れ変数によって表される音素は、所定のクラスタリング方式に従って、トレーニング中にクラスタリングされる、請求項３または請求項４に記載の音響モデルの準備方法。
6. 前記第２のベイズネットワークの前記第２のノードによって表される隠れ変数によって表される音素は、所定のクラスタリング方式に従って、トレーニング中にクラスタリングされる、請求項３〜請求項５のいずれかに記載の音響モデルの準備方法。
7. 前記所定のクラスタリング方式は、分類手順のガイドとなる音素コンテキストの特定の知識に従って音素がクラスタリングされる知識ベースの方式である、請求項４に記載の音響モデルの準備方法。
8. 所定のクラスタリング方式は、音素間の音響特徴量における予め定められた類似性の尺度に基づいて音素がクラスタリングされるデータ駆動のクラスタリングである、請求項４に記載の音響モデルの準備方法。
9. 請求項１〜請求項８のいずれかに従った方法で準備された広域コンテキスト音響モデルを記憶するための手段と、
   前記記憶手段に記憶された広域コンテキスト音響モデルを用いて、統計的デコード方法で入力波形をデコードするデコーダとを含む自動音声認識装置。

Images