JP2007155833A - 音響モデル開発装置及びコンピュータプログラム - Google Patents

Abstract

【課題】ターゲット言語とは異なるソース言語の言語資源を用いて、ターゲット言語の音響モデルを迅速に開発することが可能な装置を提供する。
【解決手段】第１の言語の音響モデル（ＡＭ）を開発するためのモデル５０は、第２の言語の音声データと、第２の言語の音素ラベルを第１の言語の音素ラベルにマッピングするためのマッピングテーブル６６と、テーブル６６に従って、第２の言語の音素ラベルを第１の言語の音素ラベルに置換するための置換モジュール６２と、第２の言語の音素ラベルが第１の言語の音素ラベルと置換された音声データを用いて、シード音響モデル７２をトレーニングするトレーニングモジュール７０とを含む。
【選択図】 図３

Description

この発明は音響モデリングに関し、特に、利用可能な音声データの量がわずかしかない言語の音響モデルを構築する技術に関する。

新たな言語について自動音声認識（Ａｕｔｏｍａｔｉｃ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ：ＡＳＲ）システムを開発するためには、膨大な量の音声データが必要とされ、さらに、人手による注釈付け及び書起こしも必要である。しかし、この様な手順はしばしば、特に時間と予算が限られているために、困難である。

特に、世界で４番目に人口の多い（２億人以上が住んでいる）国であるインドネシアは、依然として音声に関する技術と研究とを欠いており、また、インドネシア語のデータが不足している。インドネシア語の大規模語彙音声認識（Ｌａｒｇｅ Ｖｏｃａｂｕｌａｒｙ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ：ＬＶＣＳＲ）システムの開発に当たっては、インドネシア語が、実際には、ほとんどの人々にとって、母語である民族語に次ぐ第２言語であるために困難が生じる。インドネシア語の中に認められる全ての民族の言語と方言とをカバーする音声コーパスを収集することは、従って、依然として最大の問題である。

最近、インドネシアで話されているいくつかの主な民族方言をカバーしたインドネシア語の音声コーパスが収集され、よい結果が得られた。しかし、このコーパスが含む語彙は小規模であって、インドネシア語の全音素セットの約７０％しかカバーしていない。これは、音素の残り３０％がまだカバーされていないということである。ある適用領域でのアプリケーションのタスクにインドネシア語のＡＳＲシステムを適用するためには、全音素セットを備えた適切な音響モデルが必要である。さらに、この音響モデルを迅速に開発できることが好ましい。

この種の問題はインドネシア語に特有のものではない。音声データを収集し、注釈を付け、書起こすための膨大な労力、時間及び予算を考えれば、ほとんどの言語で、全音素セットをカバーする音声データを欠くために不利な状況にあることは容易に理解できる。
Ｂ．ホィートリィ、Ｋ．コンドー、Ｗ．アンダーソン及びＹ．ムスサミー、「新規言語における迅速なＨＭＭ開発のための言語間適応の評価」、ＩＣＡＳＳＰ予稿集、アデレード、オーストラリア、１９９４年、２３７−２４０ページ。（B. Wheatly, K. Kondo, W. Anderson, and Y. Muthusamy, "An evaluation of cross-language adaptation for rapid HMM development in a new language," in Proc. ICASSP, Adelaide, Australia, 1994, pp. 237-240.） Ｖ．バク ル、及びＬ．ベサシエール、「新規言語のための迅速な音響モデリングの第一歩：ベトナム語への応用」、ＩＣＡＳＳＰ予稿集、フィラデルフィア、ＵＳＡ、２００５年、８２１−８２４ページ。（V. Bac Le and L. Besacier, "First steps in fast acoustic modeling for a new language: Application to vietnamese," in Proc. ICASSP, Philadelphia,USA, 2005, pp. 821-824.） Ｔ．マーティン及びＳ．スリダラン、「インドネシア語のための言語間音響モデルの洗練」、ＩＣＡＳＳＰ予稿集、フィラデルフィア、ＵＳＡ、２００５年、８６５−８６８ページ。（T. Martin and S. Sridharan, "Cross-language acoustic model refinement for the Indonesian language," in Proc. ICASSP, Philadelphia, USA, 2005, pp. 865-868.） Ｔ．シュルツ及びＡ．ワイベル、「言語間音響モデリングの実験」ＥＵＲＯＳＰＥＥＣＨ予稿集、エールボルグ、デンマーク、２００１年、２７２１−２７２４ページ。（T. Schultz and A. Waibel, "Experiments on cross-language acoustic modeling," in Proc. EUROSPEECH, Aalborg, Denmark, 2001, pp. 2721-2724.) Ｈ．アルウィ、Ｄ．ダルドヨウィヨロ、Ｈ．ラポリワ、及びＡ．Ｍ．メリオノ、「タタバハサバクバハサインドネシア（インドネシア語文法）」、バライプスタカ、ジャカルタ、インドネシア、２００３年。（H. Alwi, S. Dardjowidjojo, H. Lapoliwa, and A.M. Moeliono, Tata Bahasa Baku Bahasa Indonesia (Indonesian Grammar), Balai Pustaka, Jakarta, Indonesia, 2003.） Ｐ．ファン及びＭ．チーエン、「言語学的知識により補強されたＭＡＰによる言語間適応：英語から中国語へ」ＥＵＲＯＳＰＥＥＣＨ予稿集、ブタペスト、ハンガリー、１９９９年、８７１−８７４ページ。（P. Fung and M. Chi Yuen, "MAP-based cross-language adaptation augmented by linguistic knowledge: From English to Chinese," in Proc. EUROSPEECH, Budapest, Hungary, 1999, pp. 871-874.)

近年、多言語での認識システムに対する需要が高まるにつれて、音声技術を言語間で移植する可能性について関心が高まっている。言語間技術は、大量のデータのあるソース言語から、データがごくわずかであるか又は全くないターゲット言語について行なわれる。多くの研究者が、新規言語のＡＳＲシステムを開発するには言語間アプローチが有用であることを示している（非特許文献［１］、［２］、［３］、［４］）。しかし、インドネシア語等の、言語資源が乏しい第１の言語の音響モデルを、英語、日本語等の十分に開発された言語資源から開発する試みはこれまでなされていない。

従って、この発明の目的の一つは、ターゲット言語とは異なるソース言語の言語資源を用いて、ターゲット言語の音響モデルを迅速に開発することが可能な方法と装置とを提供することである。

この発明の別の目的は、ソース言語の言語資源を用いて、ターゲット言語の高品質の音響モデルを迅速に開発することが可能な方法及び装置を提供することである。

この発明のさらに別の目的は、インドネシア語と異なるソース言語の言語資源を用いて、インドネシア語の高品質の音響モデルを迅速に開発することが可能な方法及び装置を提供することである。

この発明のさらに別の目的は、英語の言語資源を用いて、インドネシア語の高品質の音響モデルを迅速に開発することが可能な方法及び装置を提供することである。

この発明の第１の局面に係る、第１の言語の音響モデルを開発するための音響モデル開発装置は、第１の言語と異なる第２の言語の機械可読な音声データを記憶する記憶部を含む。この音声データは、各々が第２の言語の音素ラベルでラベル付けされた音素にセグメント化された発話を含む。この装置はさらに、音声データ中の第２の言語の音素ラベルを第１の言語の音素ラベルにマッピングするためのモジュールと、このマッピングモジュールによるマッピングに従って、この音声データ中の第２の言語の音素ラベルを第１の言語のそれぞれの音素ラベルに置換するための置換モジュールと、置換モジュールによって第２の言語の音素ラベルが第１の言語の音素ラベルに置換された音声データを用いて、シード音響モデルをトレーニングするための第１のトレーニングモジュールとを含む。

第２の言語の音声データが記憶部に準備される。音声データの発話が音素にセグメント化される。各音素は第２の言語の音素ラベルでラベル付けされる。マッピングモジュールは第２の言語の音素ラベルを第１の言語の音素ラベルにマッピングする。第２の言語の音素ラベルが、マッピングモジュールのマッピングに従って、もしあれば、第１の言語の音素ラベルにマッピングされる。結果として得られる音声データは第１の言語の音素ラベルが割当てられた音素と、第２の言語の音素ラベルが割当てられた音素とを含む。この様にして得られた音声データを用いて音響モデルをトレーニングすることにより、第１の言語のシード音響モデルが得られる。ただし、音素のいくつかは第２の言語の音素のみでトレーニングされることになる。

第１の言語のデータが利用できない場合でも、第２の言語の音声データを用い、第１の言語と第２の言語との音素ラベル間のマッピングを行なうことで、第１の言語のシード音響モデルを得ることができる。

好ましくは、マッピングモジュールは、各々が第２の言語の音素ラベルを第１の言語の対応する音素ラベルにマッピングするマッピング規則を記憶するためのマッピングテーブルを含む。

マッピングがマッピングテーブルの形で準備されるので、マッピングを容易に生成し保守することができる。

さらに好ましくは、これらのマッピング規則のうちあるものは、第２の言語の音素ラベルを第１の言語の２又はそれ以上の音素ラベルにマッピングする。

もし第２の言語の複雑な音素に対応する音素が第１の言語にない場合、この音素は２個又はそれ以上の音素ラベルにマッピングされ得る。この様にして得られた音素ラベルは、第１の言語の音素セットのうち、より広い範囲をカバーする。

さらに好ましくは、これらのマッピング規則のうちいくつかは、第２の言語の異なる音素ラベルを第１の言語の同じ音素ラベルにマッピングする。

第２の言語の異なる音素ラベルが第１の言語の同じ音素ラベルにマッピングされる。この様にして得られたシード音響モデルの特定の音素は、同じ音素のより多彩な変化を反映する。従って、シード音響モデルの信頼性が高まる。

さらに好ましくは、この音響モデル開発装置は、第１の言語の機械可読な音声データを記憶するための記憶部をさらに含む。この第１の言語の音声データは第１の言語の発話を含む。この音響モデル開発装置はさらに、シード音響モデルを用いて第１の言語の発話の各々をアライメントし、シード音響モデルに従って第１の言語のアライメントされた発話における音素の各々に第１の言語の音素ラベルを割当てるためのアライメントモジュールと、アライメントモジュールによってアライメントされた音声データを用いて音響モデルをトレーニングするための第２のトレーニングモジュールと、第２のトレーニングモジュールによってトレーニングされた音響モデルにおいて欠落している音素モデルを、シード音響モデルから挿入するためのモジュールとを含む。

この様にして得られた音響モデルは、シードモデルに比べて自動音声認識においてより正確で効果的であることが分かった。

この音響モデル開発装置はさらに、第１の言語の機械可読な音声データを記憶するための記憶部をさらに含んでもよい。第１の言語の音声データは第１の言語の発話を含んでいる。音響モデル開発装置はさらに、シード音響モデルを用いて第１の言語の発話の各々をアライメントし、第１の言語のアライメントされた発話における音素の各々に、シード音響モデルに従って第１の言語の音素ラベルを割当てるためのモジュールと、アライメントモジュールによってアライメントされた音声データを用いて、シード音響モデルを適合させるための適合モジュールとを含んでもよい。

この様にして得られた音響モデルはシードモデルに比べて自動音声認識においてより正確で効果的であることが分かった。

この発明の第２の局面に係るコンピュータプログラムは、コンピュータ上で実行されると、コンピュータに、上述の装置のいずれかの機能の全てを実行させる様に構成されている。

＜仕様の概略＞
この発明の目的を達成する方法の一つは、ソース言語のトレーニングデータの音素ラベルのアライメントをターゲット言語の音素ラベルと置換し、モデルをターゲット言語のシード音響モデルとしてトレーニングし、これを用いてターゲット言語の音声を認識する、というものであり、これは言語間置換（ｃｒｏｓｓ−ｌａｎｇｕａｇｅ ｓｕｂｓｔｉｔｕｔｉｏｎ：ＣＬＳ）と呼ばれる。別の方法は、シード音響モデルを用いて、ターゲット言語のトレーニングデータの発話をビタビアライメントアルゴリズムに基づいてセグメント化し、ターゲット言語の新たなモデルをトレーニングするものである。このモデルは完全な音素セットを含んでいないので、欠落している音素モデルはシードモデルから挿入される。この方法を言語間挿入（ｃｒｏｓｓ−ｌａｎｇｕａｇｅ ｉｎｓｅｒｔｉｏｎ：ＣＬＩ）と呼ぶ。第３の方法は、ターゲット言語のトレーニングデータを用いてシード音響モデルのパラメータを適合させるものであり、この方法を言語間適合（ｃｒｏｓｓ−ｌａｎｇｕａｇｅ ａｄａｐｔａｔｉｏｎ：ＣＬＡ）と呼ぶ。

第１、第２及び第３の実施の形態を以下で説明するが、これらはそれぞれ、ＣＬＳ、ＣＬＩ及びＣＬＡの適用に関するものである。実施の形態全体を通して、ターゲット言語はインドネシア語であり、ソース言語は英語である。

＜音声コーパス＞
英語については、よく使われるウォールストリートジャーナル（ＷＳＪ０及びＷＳＪ１）大規模語彙音声コーパスを用いた。これは英語を母国語とする２８４名の話者（男性及び女性）によって話された６０時間分の英語音声データからなる。ＣＭＵ（カーネギーメロン大学）発音辞書によって定義された音素セットと基本的に同様の、４４個の音素セットを用いてこのＷＳＪデータを表した。

ここで用いた小規模語彙インドネシア語音声コーパスは、アジア太平洋テレコミュニティ（Ａｓｉａ Ｐａｃｉｆｉｃ Ｔｅｌｅｃｏｍｍｕｎｉｔｙ：ＡＰＴ）の資金提供により、ＡＴＲ（日本）、ＴＥＬＫＯＭＲｉｓＴＩ（Ｒ＆Ｄセンター、ＰＴテレコミュニカシインドネシア）、及びバンドン技術研究所（Ｂａｎｄｕｎｇ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ：ＩＴＢ）の共同プロジェクトによって収集されたものである。これは数字タスクのためのコーパスセットＣ１と、簡単な対話タスクのためのコーパスセットＣ２とからなり、これらは明瞭発話の条件下と電話発話の条件下とで並列に得られた。以下の実施の形態では、コーパスセットＣ２（明瞭な音声）のみを用いる。これは、元々は、救急１１９、電話案内１０８、及びチケット予約のやり取り等の、聴き話すことに障害のあるユーザ用の通信システムで必要とされる電話での会話のいくつかから導出したものである。対話のシナリオの例を表１に示す。救急１１９からの音声メッセージはＡＳＲによってカバーされ、一方、障害のあるユーザからのテキストメッセージはＴＴＳ（テキスト−トゥ−スピーチシステム）によってカバーされる。従って、音声コーパスに収集されるのは、救急部門の担当者によって発話された文のみである。

このコーパスは、インドネシアで話されている約１５以上の主な民族方言をカバーすることができている。これは各々２００人の話者（女性１００名、男性１００名）によって発話された、７０語の対話語彙による（単一の単語からなる文を含む）１００個の文の２０，０００発話（約１８時間の音声）から成る。これらの発話は、各セットが１０，０００発話、１００話者（女性５０名、男性５０名）となる様に、トレーニングセットとテストセットとに等分される。その後、連続音声認識システムの性能を分析するため、単一の単語の発話をテストセットから除き、約４０００の発話を得た。

インドネシア語の音素セットは、非特許文献［５］に記載のインドネシア語文法によって定義される。完全な音素セットは合計で３３個の音素シンボルを含むが、Ｃ２インドネシア語コーパスは完全なセットの７０％しかカバーしていない。インドネシア語は英語ほど一般的でないので、インドネシア語の音素を次のセクションでより詳細に説明する。

＜インドネシア語の音素セット＞
図１を参照して、インドネシア語音素セットは１０個の母音（二重母音を含む）、２２個の子音、及び１個の無音シンボルを含む。声道の最初の２個の共鳴Ｆ１（高さ）及びＦ２（後部音声）を示すインドネシア語の母音調音パターンを、図１に示す。

これは、母音／ａ／（“ｆａｔｈｅｒ”の“ａ”等）、／ｉ／（“ｓｃｒｅｅｎ”の“ｅｅ”等）、／ｕ／（“ｓｏｏｎ”の“ｏｏ”等）、／ｅ／（“ｂｅｄ”の“ｅ”等）、／ｅ２／（“ｌｅａｒｎ”の“ｅ”等のシュワー音）、／ｏ／（“ｂｏｓｓ”の“ｏ”等）、及び４個の二重母音／ａｙ／、／ａｗ／、／ｏｙ／及び／ｅｙ／から成る。インドネシア語の子音については、調音パターンは表２に示す通りである。

＜ＡＳＲシステム＞
ＡＴＲ音声認識エンジンを用いて実験を行なった。サンプリング周波数１６ｋＨｚ、フレーム長２０ｍｓハミングウィンドウ、フレームシフト１０ｍｓ、１２次ＭＦＣＣ（Ｍｅｌ−Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒｕｍ Ｃｏｅｆｆｉｃｉｅｎｔ：メル周波数ケプストラム係数）、ΔＭＦＣＣ及びΔ対数パワーからなる２５次元特徴パラメータを、特徴パラメータとして用いた。各音素について、３状態コンテキスト非依存ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ：隠れマルコフモデル）音響モデルを用い、状態ごとに、異なる２つのバージョンのガウス混合成分として、５個及び１５個を適用した。ここでは７０語の対話語彙を用いているだけなので、ユニグラム言語モデリング（Ｌａｎｇｕａｇｅ Ｍｏｄｅｌｉｎｇ：ＬＭ）を適用した。

［実施の形態１］（言語間置換）
言語間置換の最初のステップは、英語というソース言語からインドネシア語というターゲット言語への音素マッピングである。言語間で音素シンボルをマッピングするには、知識ベース又はデータ駆動型のアプローチなど、多くの方法がある（非特許文献［４］、［６］）。音素マッピングテーブルを生成するのに最も直観的かつ直截的なアプローチは、知識（言語学的）ベースの音素マッピングを用いることである。なぜなら、これらはデータベース間に存在する可能性がある録音特性の影響から独立だからである。ここでは、国際音素アルファベット（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｐｈｏｎｅｔｉｃ Ａｌｐｈａｂｅｔ：ＩＰＡ）の定義を用いて、英語とインドネシア語との音響−音素的類似性の根拠を見出した。手順は以下の通りである。

−全ての英語及びインドネシア語の音素をＩＰＡシンボルに変換する。

−インドネシア語の各音素について、同じＩＰＡシンボルを有するか、最も近いものを持つ、代表となる英語の音素を見出す。

−必要に応じて、いくつかの英語の音素を組合わせることにより、インドネシア語の音素を近似する。

表３はソース言語としての英語の４４個の音素セットから、ターゲット言語としてのインドネシア語の３３個の音素セットへの音素マッピングテーブルの例を示す。

しかし、このマッピングによる解決策は以下の理由から、最適とは言いがたい。まず第１に、同じラベルを共有する両言語の音の音響特性には、依然として差がある。例えば、インドネシア語の／ｒ／はスペイン語風の顫音（せんおん）であり、一方英語の／ｒ／は流音である。第２に、インドネシア語の音素音には、英語の音素セットの目録には生じない音がいくつかある。例えば、インドネシア語には子音の鼻口蓋音／ｎｙ／があり、これは英語の単語“ｃａｎｙｏｎ”における“ｎｙ”と類似している。しかし、英語の音素セットには／ｎｙ／にあたる単一の音素シンボルがないため、これを英語の音素／ｎ／と／ｙ／とから構築した。別の例として、インドネシア語では母音／ｉ／を表す音素は一つしかないが、英語では／ｉ／の音の変形がより多い。この場合、英語の全ての／ｉ／の変形を１つのインドネシア語の音素／ｉ／にマッピングする。“ｔ”の音の場合、インドネシア語には子音破裂音／ｔ／は一つしかないが、英語では子音破裂音／ｔ／と摩擦音／ｔｈ／とがある。

そこで、図２に示す様な、２種類の異なるマッピングを行なった。図２を参照して、英語の音素をインドネシア語の音素にマッピングするにあたって２タイプ、すなわちタイプＡとタイプＢとを試みた。タイプＡでは、英語の音素“ｔ”の全ての音を、“ｔ”が破裂音の／ｔ／であるか摩擦音の／ｔｈ／であるかに関わらず、インドネシア語の音素／ｔ／にマッピングした。タイプＢでは、英語の子音破裂音／ｔ／のみをインドネシア語の子音破裂音／ｔ／にマッピングした。英語の子音摩擦音／ｔｈ／はインドネシア語の２個の音素／ｔ／及び／ｈ／の組合せとして表した。“ｄ”及び“ｚ”の音についても“ｔ”の音と同様に取扱った。

英語からインドネシア語への音素マッピングテーブルを構築した後の次のステップは、前もって書き起こしを行い、セグメント化されたＷＳＪトレーニングデータ上の全ての英語音素ラベルを、このテーブルに基づいてインドネシア語の音素ラベルに変換することである。その後、このモデルをインドネシア語ターゲット言語のシードモデルとしてトレーニングし、これを用いてインドネシア語ターゲット言語の音声認識を行なう。モデルは言語間置換を用いて構築されているので、これをＣＬＳモデルと呼ぶ。

図３に英語の音声データ６０からインドネシア語の音響モデル７２を開発するシステム５０の全体構造を示す。英語の音声データ６０はセグメント化され書き起こしがされ、さらに英語の音素ラベルが付される。図３を参照して、システム５０は、英語−インドネシア語音素マッピングテーブル６６を手動で生成し更新するためのコンソール６４と、テーブル６６を記憶する記憶部と、英語音声データ６０内の英語音素ラベルを、テーブル６６に記憶されたマッピングに従ってインドネシア語の音素ラベルに置換し、結果としてインドネシア語の音素ラベルによる書き起こしデータ付の英語音声データ６８を得るための置換モジュール６２と、インドネシア語の音素ラベルによる書き起こしデータ付の英語音声データ６８を記憶するための記憶部と、インドネシア語の音素ラベルによる書き起こしデータ付の英語音声データ６８をトレーニングデータとして用いて、基になる（ブートストラップ）インドネシア語音響モデル７２をトレーニングするためのトレーニングモジュール７０とを含む。

システム５０は以下の様に動作する。テーブル６６は、コンソール６４を用いて記憶部内に手動で準備される。英語の音素ラベルによる書き起こしデータ付の英語音声データ６０が与えられると、置換モジュール６２は英語の音素ラベルの各々をテーブル６６に従って対応するインドネシア語の音素ラベルに置換し、この結果、インドネシア語の音素ラベルによる書き起こしデータ付の英語音声データ６８が得られる。インドネシア語の音素ラベルによる書き起こしデータ付の英語音声データ６８は好適な記憶部に記憶される。

その後トレーニングモジュール７０はインドネシア語の音素ラベルによる書き起こしデータ付の英語音声データ６８をトレーニングデータとして用いて、インドネシア語の音響モデル７２をトレーニングする。この様にしてトレーニングされたインドネシア語の音響モデル７２が、インドネシア語のシードＣＬＳモデルである。

インドネシア語の音響モデル７２の品質は、インドネシア語の音響モデル７２を音響モデルとして用いたＡＳＲの認識性能で測定することが可能であろう。図４はシードＣＬＳモデルの認識精度率を測定するのに用いられるＡＳＲシステム８０の全体構造を示す。

図４を参照して、システム８０は、この実施の形態では図３に示したインドネシア語の音響モデル（シードＣＬＳモデル）である、音響モデル９２を記憶するための記憶部と、インドネシア語の言語モデル９４を記憶するための記憶部と、インドネシア語のレキシコン９６を記憶するための記憶部と、入力されたインドネシア語の音声９０を、音響モデル９２、言語モデル９４及びレキシコン９６を利用してインドネシア語のテキスト１００にデコードするための、統計学ベースのデコーダ９８とを含む。

図５はインドネシア語のテストセットに対するシードＣＬＳモデルの認識精度率を示す。ここでは、上述のマッピングの両方のタイプ（タイプＡ及びタイプＢ）を適用し、それぞれを「ＣＬＳ１」及び「ＣＳＬ２」と称する。最適な精度を見出すために、いくつかのＬＭ（言語モデル）スケールパラメータもまた使用した。

図５を参照して、認識結果は、英語の摩擦音のいくつかをインドネシア語の２つの音素の組合せとして表した（濃い線１１２と薄い線１１６とで示される）ＣＬＳ２の性能が、英語の音素の音の全ての変形、すなわち“ｔ”、“ｄ”、又は“ｚ”等をインドネシア語の単一の音素にマッピングした（濃い線１１０と薄い線１１４とで示した）ＣＬＳ１の性能より劣っていることを示している。５混合成分のＣＬＳ１の最良の性能は４５．５０％の単語精度であり、１５混合成分のそれは４９．２６％の単語精度であり、一方５混合成分のＣＬＳ２の最良の性能は４４．４７％の単語精度であり、１５混合成分のそれは４８．６０％の単語精度であった。各タイプの最良の性能は、第１ＬＭスケールが６で、かつ第２ＬＭスケールが１２のときに達成された。

［実施の形態２］（言語間挿入）
ＣＬＩアプローチにおける最初のステップは、第１の実施の形態から結果として得られた最適なシードＣＬＳモデル、すなわちＣＬＳ１モデル、を用いて、ビタビアライメントアルゴリズムに基づきインドネシア語のＣ２トレーニングデータの発話をセグメント化することである。次のステップは、以前と同じ手順とパラメータとを用いて、インドネシア語の音響モデルの各音素ＨＭＭをトレーニングすることである。Ｃ２コーパスは完全な音素セットを含んでいないので、インドネシア語の音素ＨＭＭモデルのうち欠落しているものについては、シードＣＬＳモデルの音素ＨＭＭを挿入する。最後に、全ての音素ＨＭＭが一つの大きなＨＭネットに組合わされ、ここで埋込みトレーニングが行なわれる。最終モデルをＣＬＩモデルと称する。

図６は第２の実施の形態のシステム１２０の全体構造を示す。シード音響モデル１３０は、第１の実施の形態のＣＬＳ１モデルである。従って、システム１２０は図３に示す要素を含むのであるが、図６では簡潔のためこれらは図示していない。Ｃ２コーパスであるインドネシア語の音声データ１３２もまた準備される。

図６を参照して、システム１２０はさらに、インドネシア語の音声データ１３２の各発話を音素のシーケンスにアライメントし、セグメント化して、セグメント化されたインドネシア語の音声データ１３６を得るためのアライメントモジュール１３４と、アライメントモジュール１３４から出力されるセグメント化されたインドネシア語の音声データ１３６を記憶するための記憶部と、セグメント化されたインドネシア語の音声データ１３６をトレーニングデータとして用いて、基になる音響モデル１４０をトレーニングするためのトレーニングモジュール１３８と、を含む。インドネシア語の音声データ１３２はインドネシア語の音素セットの全てをカバーしてはいないので、音響モデル１４０は完全ではない。音響モデル１４０では、音素ＨＭＭモデルのいくつかが欠落している。

音響モデル１４０を補充するために、システム１２０はさらに、音響モデル１４０で欠落している音素の音素ＨＭＭモデルをシード音響モデル１３０から音響モデル１４０に挿入し、これによって完全な音響モデル１４４を出力するための挿入モジュール１４２を含む。

インドネシア語のテストセットにおけるＣＬＩモデルの認識精度率（％）を図７に示す。音声認識は、図４に示すＡＳＲシステム８０で行なわれる。ここで音響モデル９２はこの実施の形態のＣＬＩモデルに置換されている。ここでは、最適な精度を見出すために、いくつかのＬＭスケールパラメータもまた適用される。

５混合成分のＣＬＩモデルでは、薄い線１５２で示される様に、最良の性能は８７．９１％の単語精度であり、一方、１５混合成分のＣＬＩモデルは、濃い線１５０で示される様に、８８．９７％であった。これらの結果は、第１の実施の形態に比べ、はるかに良好である。

［実施の形態３］（言語間適合）
このアプローチの方法は、シードＣＬＳモデルのパラメータをインドネシア語のＣ２トレーニングデータに適合させるものである。ここでは、最大事後推定（ｍａｘｉｍｕｍ ａ ｐｏｓｔｅｒｉｏｒｉ：ＭＡＰ）ベースの適合スキームを用いる。これは、モノリンガルＡＳＲシステム及び言語間適合において、雑音等の環境による、又は話者による変化を補償するために慣用されるものである。

このスキームは原理的には、既存のモデルに関する事前情報を利用する。その後ベイズの学習メカニズムによってシード音響モデルのパラメータを調整し、限られたインドネシア語のＣ２トレーニングデータが、事前知識を案内としてシード音響モデルを修正し、不一致（ミスマッチ）の悪影響を補償する様にする。さらに、パラメータの再評価は、事前知識とターゲット言語の新たな推定との加重和である。Ｃ２は全音素の７０％しかカバーしていないので、これらの音素モデルパラメータのみを適合させることができる。残りは同じままである。

図８はこの実施の形態に従ったシステム１６０の全体構成を示す。シード音響モデル１３０は第２の実施の形態のそれと同じである。システム１６０はシード音響モデル１３０を生成するために図３に示す要素を含み得るが、図８では簡潔のためこれらは図示していない。同様に、インドネシア語の音声データ１３２、アライメントモジュール１３４、及びセグメント化されたインドネシア語の音声データ１３６もまた、図６に示したものと同じである。

図８を参照して、シード音響モデル１３０はさらに、セグメント化されたインドネシア語の音声データ１３６をトレーニングデータとして用いて、シード音響モデル１３０のパラメータを適合させるための適合モジュール１７０を含む。この適合の結果、適合された音響モデル１７２が得られる。

ここで、パラメータの適合（再評価）は以下の様に行なわれる。まずはじめに、ＨＭＭ音素モデルの各状態のガウス分布の平均と分散とを、セグメント化されたインドネシア語の音声データ１３６を用いて推定する。次に、シード音響モデル１３０内のガウス分布のパラメータと新たに推定されたパラメータとの加重和のための重みを、セグメント化されたインドネシア語の音声データ１３６との不一致を最小化する様に計算する。この処理は、話者独立の音響モデルを、ある特定の話者用に、その話者の音声データを用いて適合させる処理と同様である。言換えれば、シード音響モデル１３０は、セグメント化されたインドネシア語の音声データ１３６を較正用データとして用いて較正される。この結果が、適合された音響モデル１７２におけるガウス分布のパラメータとなる。

図９はインドネシア語のテストセットに対するＣＬＡモデルの認識精度率を示す。いくつかのＬＭスケールパラメータも、最適な精度を見出すために適用されている。５混合成分のＣＬＡモデルでは、薄い線１８２で示す様に、最良の性能は６２．８２％の単語精度であり、１５成分のＣＬＡモデルでは、濃い線１８０で示す様に、７０．６９％であった。

［実施の形態の結果比較］
ここでは、言語間置換、言語間挿入及び言語間適合を含む全ての言語間アプローチから得られた単語精度を比較して評価を行なった。ＣＬＳ、ＣＬＩ及びＣＬＡモデルからの最良の性能を、図１０にまとめて示す。

図１０を参照して、ＣＬＳモデルの性能が最も悪く、単語精度は４５．５０％（５ガウス混合成分を用いた場合）と４９．２６％（１５ガウス混合成分を用いた場合）とであった。ＣＬＡモデルと同様に、ＣＬＳモデルをインドネシア語のＣ２トレーニングコーパスに適合させることにより、結果として、ＭＡＰベースの適合による支援で精度を絶対値で２１．４％も改良することができた。しかし、ＣＬＡモデルによるこの性能も、依然としてＣＬＩモデルよりは劣っている。その理由は以下の通りであると思われる。

まず第１に、ＣＬＩモデルは基本的にインドネシア語のＣ２コーパスからトレーニングされた純粋なモノリンガルのＨＭＭであり、一方で、ＣＬＡモデルは適合されたＣＬＳモデルである。第２に、ＭＡＰベースの適合アプローチの主な限界は、既存のＣＬＳモデルの事前知識に関する正確な推定が最初に必要とされることであって、これはこの例では得るのが難しい。なぜなら、ＣＬＳモデルは英語の音声データからトレーニングされるからである。さらに、異なる言語間の音響的変化の幅は、同じ言語内での変化の幅より大きく、より複雑である。この結果、より効率の良い適合のためには、より多くのインドネシア語のトレーニングデータが必要である。これが、ＣＬＡモデルの性能がＣＬＩモデルのそれより良好でない理由である。

［コンピュータによる実現］
上述の実施の形態は、コンピュータシステム及びコンピュータシステム上で実行されるプログラムによって実現され得る。図１１はこの実施の形態で用いられるコンピュータシステム３３０の外観を示し、図１２はコンピュータシステム３３０のブロック図である。ここで示すコンピュータシステム３３０は単なる例であって、他の構成も利用可能である。

図１１を参照して、コンピュータシステム３３０はコンピュータ３４０と、全てコンピュータ３４０に接続された、モニタ３４２と、キーボード３４６と、マウス３４８と、スピーカ３７２と、マイクロフォン３７０と、を含む。さらに、コンピュータ３４０はＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅａｄ−Ｏｎｌｙ−Ｍｅｍｏｒｙ：ディジタル多用途ディスク読出専用メモリ）ドライブ３５０と、半導体メモリ装置ドライブ３５２とを含む。

図１２を参照して、コンピュータ３４０はさらに、ＤＶＤ−ＲＯＭドライブ３５０と半導体メモリドライブ３５２とに接続されたバス３６６と、全てバス３６６に接続された、ＣＰＵ３５６と、コンピュータ３４０のブートアッププログラムを記憶するＲＯＭ３５８と、ＣＰＵ３５６によって使用される作業領域を提供するとともにＣＰＵ３５６によって実行されるプログラムのための記憶領域となるＲＡＭ３６０と、音声データ、音響モデル、言語モデル、レキシコン、及びマッピングテーブルを記憶するためのハードディスク３５４と、を含む。

上述の実施の形態のシステムを実現するソフトウェアは、ＤＶＤ−ＲＯＭ３６２又は半導体メモリ３６４等の媒体に記録されたオブジェクトコードの形で流通し、ＤＶＤ−ＲＯＭドライブ３５０又は半導体メモリドライブ３５２等の読出装置を介してコンピュータ３４０に提供され、ハードディスクドライブ３５４に記憶される。ＣＰＵ３５６がプログラムを実行する際には、プログラムはハードディスクドライブ３５４から読出されてＲＡＭ３６０に記憶される。図示しないプログラムカウンタによって指定されたアドレスから命令がフェッチされ、その命令が実行される。ＣＰＵ３５６はハードディスクドライブ３５４から処理すべきデータを読出し、処理の結果をこれもまたハードディスクドライブ３５４に記憶する。スピーカ３７２とマイクロフォン３７０とは、音声認識と音声合成とに用いられる。

コンピュータシステム３３０の一般的動作は周知であるので、詳細な説明は省略する。

ソフトウェアの流通の方法に関して、ソフトウェアは必ずしも記憶媒体上に固定されたものでなくてもよい。例えば、ソフトウェアはネットワークに接続された別のコンピュータから分配されてもよい。ソフトウェアの一部がハードディスク３５４に記憶され、ソフトウェアの残りの部分をネットワークを介してハードディスク３５４に取込み、実行の際に統合する様にしてもよい。

典型的には、現代のコンピュータはコンピュータのオペレーティングシステム（ＯＳ）によって提供される一般的な機能を利用し、所望の目的に従って制御された態様で機能を達成する。従って、ＯＳ又はサードパーティから提供されうる一般的な機能を含まず、一般的な機能の実行順序の組合せのみを指定したプログラムであっても、そのプログラムが全体として所望の目的を達成する制御構造を有する限り、そのプログラムがこの発明の範囲に包含されることは明らかである。

［結論］
英語をソース言語とし、インドネシア語をターゲット言語として、言語間のアプローチを用いて、インドネシア語の音素ベースの初期的な音声認識システムを迅速に開発する可能性を提示した。３種類の言語間アプローチを試みた。すなわち（１）言語間置換、（２）言語間挿入、及び（３）言語間適合、である。また、英語からインドネシア語への音素マッピングが、知識ベースの方法に基づいてどの様に生成されるかを示した。評価結果から、ＣＬＩモデルがＣＬＳモデル及びＣＬＡモデルの両者より優れた性能を発揮することが明らかとなり、これは、ここではインドネシア語のＡＳＲを迅速に開発するためには言語間挿入が最も効果的であることを意味する。

ソース言語はインドネシア語に限られない。利用可能な資源が乏しい言語であれば、この発明はその初期音響モデルを迅速に開発するのに有用であろう。

今回開示された実施の形態は単に例示であって、本発明は上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内でのすべての変更を含む。

インドネシア語の母音の調音パターンを示す図である。 英語の音素ラベルとインドネシア語の音素ラベルとの２種類の異なるマッピングパターンを示す図である。 第１の実施の形態に従ったシステム５０の全体構成を示す図である。 自動音声認識システム８０の全体構成を示す図である。 インドネシア語のテストセットに対する、第１の実施の形態に従ったシードＣＬＳモデルの認識精度率を示す図である。 第２の実施の形態に従ったシステム１２０の全体構成を示す図である。 インドネシア語のテストセットに対する、第２の実施の形態に従ったシードＣＬＩモデルの認識精度率を示す図である。 第３の実施の形態に従ったシステム１６０の全体構造を示す図である。 インドネシア語のテストセットに対する、第３の実施の形態に従ったシードＣＬＡモデルの認識精度率を示す図である。 ＣＬＳ、ＣＬＩ、及びＣＬＡモデルからの最良の性能を示す図である。 コンピュータシステム３３０の正面図である。 コンピュータシステム３３０のブロック図である。

符号の説明

５０、１２０、１６０ インドネシア語の音響モデルを開発するためのシステム
６０ 英語音声データ
６２ 置換モジュール
６４ コンソール
６６ マッピングテーブル
６８ インドネシア語の音素ラベルによる書き起こしデータ付の英語音声データ
７０ トレーニングモジュール
７２ インドネシア語音響モデル
８０ ＡＳＲシステム
９２、１４０ 音響モデル
９４ 言語モデル
９６ レキシコン
９８ デコーダ
１３０ シード音響モデル
１３２ インドネシア語音声データ
１３４ アライメントモジュール
１３６ セグメント化されたインドネシア語音声データ
１３８ トレーニングモジュール
１４２ 挿入モジュール
１４４ 完全な音響モデル
１７０ 適合モデル
１７２ 適合された音響モデル

Claims (7)

1. 第１の言語の音響モデルを開発するための音響モデル開発装置であって、
   前記第１の言語と異なる第２の言語の機械可読な音声データを記憶する記憶部を含み、前記音声データは、各々が前記第２の言語の音素ラベルでラベル付けされた音素にセグメント化された発話を含み、前記装置はさらに、
   前記音声データ中の前記第２の言語の音素ラベルを前記第１の言語の音素ラベルにマッピングするための手段と、
   前記マッピングするための手段によるマッピングに従って、前記音声データ中の前記第２の言語の音素ラベルを前記第１の言語のそれぞれの音素ラベルに置換するための手段と、
   前記置換するための手段によって前記第２の言語の音素ラベルが前記第１の言語の音素ラベルに置換された前記音声データを用いて、シード音響モデルをトレーニングするための第１のトレーニング手段とを含む、音響モデル開発装置。
2. 前記マッピングするための手段が、各々が前記第２の言語の音素ラベルを前記第１の言語の対応する音素ラベルにマッピングするマッピング規則を記憶するためのマッピングテーブルを含む、請求項１に記載の音響モデル開発装置。
3. 前記マッピング規則のうちのあるものは、前記第２の言語の音素ラベルを第１の言語の２又はそれ以上の音素ラベルにマッピングする、請求項２に記載の音響モデル開発装置。
4. 前記マッピング規則のうちいくつかは、前記第２の言語の異なる音素ラベルを前記第１の言語の同じ音素ラベルにマッピングする、請求項２又は請求項３に記載の音響モデル開発装置。
5. 前記第１の言語の機械可読な音声データを記憶するための記憶部をさらに含み、前記第１の言語の音声データは前記第１の言語の発話を含んでおり、さらに、
   前記シード音響モデルを用いて前記第１の言語の発話の各々をアライメントし、前記第１の言語のアライメントされた発話における音素の各々に、前記シード音響モデルに従って前記第１の言語の音素ラベルを割当てるための手段と、
   前記アライメントするための手段によってアライメントされた前記音声データを用いて音響モデルをトレーニングするための第２のトレーニング手段と、
   前記第２のトレーニング手段によってトレーニングされた音響モデルにおいて欠落している音素モデルを、前記シード音響モデルから挿入するための手段とを含む、請求項１から請求項４のいずれかに記載の音響モデル開発装置。
6. 前記第１の言語の機械可読な音声データを記憶するための記憶部をさらに含み、前記第１の言語の音声データは前記第１の言語の発話を含んでおり、
   前記音響モデル開発装置はさらに、
   前記シード音響モデルを用いて前記第１の言語の前記発話の各々をアライメントし、第１の言語のアライメントされた発話における音素の各々に、前記シード音響モデルに従って前記第１の言語の音素ラベルを割当てるための手段と、
   前記アライメントするための手段によってアライメントされた前記音声データを用いて、前記シード音響モデルを適合させるための手段とをさらに含む、請求項１から請求項４のいずれかに記載の音響モデル開発装置。
7. コンピュータ上で実行されると、当該コンピュータに、請求項１から請求項６のいずれかに記載の音響モデル開発装置の機能の全てを実行させる、コンピュータプログラム。

Images