JP2002358096A

JP2002358096A - リストからの一パターンの一実現変形例にそれぞれが厳密に関連付けられたパターン認識システムのパラメータを訓練する方法及びシステム

Info

Publication number: JP2002358096A
Application number: JP2002118437A
Authority: JP
Inventors: Hauke Schramm; シュラムハオケ; Peter Beyerlein; バイエルラインペーター
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2001-04-20
Filing date: 2002-04-19
Publication date: 2002-12-13
Also published as: EP1251489A3; US20030023438A1; CN1391211A; EP1251489A2; DE10119284A1

Abstract

(57)【要約】【課題】語彙からの一ワードの一発音変形例にそれぞ
れが厳密に関連付けられた音声認識システムのパラメー
タを訓練する方法及びシステムを提供すること。【解決手段】本発明は、リストからの一パターンの一
実現変形例にそれぞれが厳密に関連付けられたパターン
認識システムのパラメータを訓練する方法であって、パ
ターンの訓練群を使用可能にし、目標関数の選択的最適
化を通じて前記パラメータを決定することを特徴とする
方法に関する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、リストからの一パ
ターンの一実現変形例にそれぞれが厳密に関連付けられ
たパターン認識システムのパラメータを訓練する方法及
びシステムに係り、特に、語彙からの一ワードの一発音
変形例にそれぞれが厳密に関連付けられた音声認識シス
テムのパラメータを訓練する方法及びシステムに関す
る。

【０００２】

【従来の技術】パターン認識システム、特に音声認識シ
ステムは、多くの用途に用いられている。例えば、独国
の航空会社であるルフトハンザ（Ｌｕｆｔｈａｎｓａ）
のフライト情報サービスなどの自動電話情報システム
や、フィリップス（Ｐｈｉｌｉｐｓ）社のＦｒｅｅＳｐ
ｅｅｃｈなどの自動口述筆記システム、Ｇｅｒｍａｎ
ＰｏｓｔａｌＳｅｒｖｉｃｅｓによって用いられてい
る自動住所認識システムなどの手書き認識システム、個
人の識別用としてしばしば提案される例えば指紋、虹
彩、若しくは顔など生体システム、などが挙げられる。
更に、このようなパターン認識システムは、上述の個人
識別の例より明らかであるが、より一般的なパターン処
理システムの構成要素として用いられてもよい。

【０００３】

【発明が解決しようとする課題】多くの既知システム
は、これらパターンを認識するために、未知のテスト・
パターンを該システムにとって既知の参照パターンと比
較する統計的方法を用いる。この参照パターンは、適切
なパラメータによって特徴付けられる。このパラメータ
は、パターン認識システムに記録されている。したがっ
て、例えば多くのパターン認識システムは、一ワードの
語彙を認識単位として用いる。この認識単位は、次い
で、未知の音声発音との音響的比較のためにいわゆるサ
ブワード単位へ再分割される。これら「ワード」は、言
語学的な意味でのワードでもよいが、通常、音声認識に
おいては「ワード」という概念をより幅広く解釈する。
スペリング用途において、例えば、一文字が一ワードを
構成してもよく、音節又は統計的に決定された言語学上
のワードの一部を認識語彙のためのワードとして用いて
もよい。

【０００４】自動音声認識における問題は、特に、ワー
ドが非常に様々に発音されるという事実にある。一方
で、話者間におけるこのような差異は、話者の心理状態
に依存するか、又はワードの呂律において話者によって
用いられる方言によって影響を受ける。他方で、特に非
常に頻出ワードは、慎重に朗読された際の音声シーケン
スと比較すると、自然に話されたときの音声シーケンス
では異なる音で発音されることがある。このように、例
えば、「ｗｏｕｌｄ」が「ｄ」となったり、「ｃａｎ」
が「ｃ’ｎ」となるなど、ワードの発音を縮めることが
よくある。

【０００５】多くのシステムは、１つの同じワードの異
なる発音をモデル化したいわゆる発音変形例を用いる。
例えば、語彙Ｖのｌ番目のワードｗ_ｌが様々に発音され
得る場合、このワードのｊ番目の発音方法が発音ｖ_ｌｊ
の導入を通じてモデル化され得る。すると、この発音変
形例ｖ_ｌｊは、ｗ_ｌのｊ番目の発音方法に適合するサブ
ワード単位によって構成される。言語の基本的な音をモ
デル化する音素を発音変形例を構成するサブワード単位
として用いてもよい。しかし、統計的に導かれたサブワ
ードが用いられてもよい。いわゆるＨｉｄｄｅｎＭａ
ｒｋｏｖＭｏｄｅｌが音響学的モデル化の最低レベル
としてしばしば用いられる。

【０００６】音声認識において用いられるワードの発音
変形例の概念を上のように分類した。しかし、この概念
は、同様に、パターン認識システムのリストからパター
ンの実現変形例に対しても用いられ得る。音声認識シス
テムにおける語彙からのワードは、パターン認識システ
ムのリストからのパターン、すなわち認識単位に対応す
る。ワードが異なる発音で発せられると、リストからの
パターンは異なって実現され得る。このように、ワード
は、手動又はタイプライタで異なって書かれ、例えばス
マイルなどの所定の顔の表情が個人毎及び状況毎に異な
って構成される。したがって、本発明の考察は、経済的
理由から本ドキュメントには音声認識システムを用いる
場合しか主として開示されていないが、一般的なパター
ン認識システムにおいてリストからの一パターンの一実
現変形例と厳密に関連付けられたパラメータを訓練する
ことに適用可能である。

【０００７】上述のように、多くのパターン認識システ
ムは、未知のテスト・パターンをリストに記録された参
照パターンと比較し、該テスト・パターンが参照パター
ンのいずれかに対応するか、対応するとすればどの参照
パターンに対応するかを判断する。このため、上記参照
パターンには適切なパラメータが備えられる。このパラ
メータは、パラメータ認識システムに記録される。特に
統計的方法に基づいたパターン認識システムは、次い
で、参照パターンがどの程度良好にテスト・パターンと
一致するかを示すスコアを計算する。次いで、該システ
ムは、最高の起こり得るスコアを有する参照パターンを
見つけることを試みる。該スコアを有する参照パターン
は、次いで、該テスト・パターンに対する認識結果とし
て出力される。このような一般的手順を通じて、用いら
れた発音変形例に応じたスコアが得られる。このスコア
は、音声発音が発音変形例にいかに良好に一致するか、
及びその発音変形例がいかに良好にワードに一致するか
を示す。すなわち、後者の場合のスコアは、この発音変
形例に応じて該ワードを話者が発音したか否かに関する
ものである。

【０００８】多くの音声認識システムは、スコアとし
て、確率モデルに密接に関連した量を用いる。これは、
例えば以下のように構成され得る。音声認識システムの
タスクは、音声発音ｘに対するワード・シーケンス

【０００９】

【数８】を見つけることである。ここで、このワード・シーケン
スはＮ（未知数）個のワードから成るシーケンスであ
り、音声発音ｘに最適に一致する（すなわち、条件ｘの
観点から最高の条件確率を有する）すべての考えられる
長さＮ’を有するすべての考えられるワード・シーケン
ス

【００１０】

【数９】：

【００１１】

【数１０】の中のシーケンスである。

【００１２】ベイズの定理を適用すると、既知モデル・
パーティション：

【００１３】

【数１１】が得られる。

【００１４】このワード・シーケンス

【００１５】

【数１２】に関連付けられた考えられる発音変形例

【００１６】

【数１３】は、合計：

【００１７】

【数１４】によって導入され得る。なぜなら、音声発音ｘの発音変
形例

【００１８】

【数１５】及びワード・シーケンス

【００１９】

【数１６】への依存はもっぱら発音変形例

【００２０】

【数１７】のシーケンスによってのみ定義されることが想定される
からである。

【００２１】別の依存モデル化

【００２２】

【数１８】について、いわゆるユニグラム（ｕｎｉｇｒａｍ）合計
が通常行われる。このユニグラム合計は、コンテキスト
の影響：

【００２３】

【数１９】を無視する。

【００２４】音声認識システムの語彙Ｖのｌ番目のワー
ドをｗ_ｌで表し、このワードのｊ番目の発音変形例をｖ
_ｌｊで表し、発音変形例ｖ_ｌｊが発音変形例

【００２５】

【数２０】のシーケンスにおいて発生するときの周波数を、

【００２６】

【数２１】で表す（例えば、「ｇｉｖｅｍｅａｃｕｐｐａ
ｃｏｆｆｅｅ」という発音における発音変形例「ｃｕｐ
ｐａ」の周波数は１であり、変形例「ｃｕｐｏｆ」の
それは０である）場合、後者の表現は、

【００２７】

【数２２】とも書くことができる。ここで、右式において、語彙Ｖ
のＤ個のワードすべてについて解が計算される。

【００２８】量

【００２９】

【数２３】、すなわちワードｗ_ｌに対して発音変形例ｖ_ｌｊが発音
される条件確率は、この場合、それぞれが語彙からの一
ワードの一発音変形例に厳密に関連付けられた音声認識
システムのパラメータである。それらは、音響学的音声
信号の形で利用可能な訓練用の音声発音群を用いて音声
認識システムの訓練を行う過程において適切な方法で推
定され、それら推定された値は上記数式に基づく未知の
テスト・パラメータの認識処理における認識代替物のス
コアへ導入される。

【００３０】パターン認識において一般的な確率手順は
上記説明において用いられたため、確率の条件が満たさ
れない一般的な評価関数が実際には適用されるのが通常
であることは当業者には明らかであろう。したがって、
例えば、標準化条件は条件を満たすのに必要なものとみ
なされないこともしばしばあり、確率ｐの代わりにパラ
メータλを用いて指数的に修正された量ｐ^λがしばしば
用いられる。多くのシステムは、これら量の負の対数：
−λｌｏｇｐを用いても動作する。この負の対数はしば
しば「スコア」と見なされる。したがって、本ドキュメ
ントにおいて確率と言ったとき、当業者には馴染みのよ
り一般的な評価関数がその語に含まれるものと見なされ
る。

【００３１】語彙からのワードｗ_ｌの発音変形例ｖ_ｌｊ
とそれぞれが厳密に関連付けられた音声認識システムの
パラメータ

【００３２】

【数２４】の訓練は、多くの音声認識システムにおいて「最大尤
度」方法の使用を含む。ワードｗ_ｌの個々の変形例ｖ
_ｌｊがどの程度頻繁に発音されたかは、例えば訓練群に
おいて決定され得る。次いで、この訓練群から観測され
る関連する周波数

【００３３】

【数２５】が、例えばパラメータ

【００３４】

【数２６】に対する推定値として直接的に用いられるか、或いは、
例えばディスカウンティングなどの既知の統計的スムー
ジング演算を最初に受ける。

【００３５】米国特許第６，０７６，０５３号は、対照
的に、語彙からのワードの発音変形例が発音ネットワー
ク構造へマージされる方法について開示している。この
ような発音ネットワーク構造の弧は、例えば、発音変形
例のＨＭＭの形をした音素であるサブワードから成る
（「サブワード（音素）ＨＭＭは固有の弧へ割り当てら
れる」）。語彙からのワードｗ_ｌの発音変形例ｖ_ｌｊが
話されたか否かという問題に答えるために、重み乗算
子、重み加算子、及び電話長さに依存した重みパラメー
タが発音ネットワークの弧のレベルで、又は弧のＨＨＭ
状態のサブレベルで導入される。

【００３６】米国特許第６，０７６，０５３号において
提案されている方法において、スコア

【００３７】

【数２７】は使用されない。代わりに、例えば弧レベルで重みパラ
メータを用いる際に、スコア

【００３８】

【数２８】がｋ番目のワードに対する発音ネットワークにおける弧
ｊに割り当てられる。ここで、

【００３９】

【数２９】は、例えば、確率の（負の）対数である。弧レベルでの
重み付けにおいて、弧ｊにはスコア

【００４０】

【数３０】が割り当てられる。現在最も好ましい実施形態におい
て、このスコアは尤度の対数である。このスコアは、次
いで、重みパラメータを用いて修正される（「弧レベル
重み付けを適用すると、修正されたスコア：

【００４１】

【数３１】が得られる」）。この重みパラメータ自体は、例えば訓
練群における分類誤り率を最小化することを通じた選択
的訓練によって決定される（「最小分類誤り基準を用い
たパラメータの最適化は異なる発音ネットワーク間の弁
別を最大化する」）。

【００４２】本発明は、リストからの一パターンの一実
現変形例にそれぞれが厳密に関連付けられたパターン認
識システムのパラメータを訓練する方法及びシステム、
特に、語彙からの一ワードの一発音変形例にそれぞれが
厳密に関連付けられた音声認識システムのパラメータを
訓練する方法及びシステムを提供することを目的とす
る。ここで、パターン認識システムには未知のテスト・
パターンの認識において高度な精度が与えられる。

【００４３】

【課題を解決するための手段】上記目的は、リストから
の一パターンの一実現変形例にそれぞれが厳密に関連付
けられたパターン認識システムのパラメータを訓練する
方法であって、パターンの訓練群を使用可能にし、目標
関数の選択的最適化を通じて前記パラメータを決定する
ことを特徴とする方法によって実現される。

【００４４】また、上記目的は、リストからの一パター
ンの一実現変形例にそれぞれが厳密に関連付けられたパ
ターン認識システムのパラメータを訓練するシステムで
あって、パターンの訓練群を使用可能にし、目標関数の
選択的最適化を通じて前記パラメータを決定することを
特徴とするシステムによって実現される。

【００４５】また、上記目的は、特に、語彙からの一ワ
ードの一発音変形例にそれぞれが厳密に関連付けられた
音声認識システムのパラメータを訓練する方法であっ
て、音響学的音声信号の訓練群を使用可能にし、目標関
数の選択的最適化を通じて前記パラメータを決定するこ
とを特徴とする方法によって実現される。

【００４６】さらに、上記目的は、語彙からの一ワード
の一発音変形例にそれぞれが厳密に関連付けられた音声
認識システムのパラメータを訓練するシステムであっ
て、音響学的音声信号の訓練群を使用可能にし、目標関
数の選択的最適化を通じて前記パラメータを決定するこ
とを特徴とするシステムによって実現される。

【００４７】従属項である請求項２乃至５は、本発明の
有益的な別の実施形態に関連する。それらは、パラメー
タが、スコア

【００４８】

【数３２】、目標関数の詳細、様々なスコアの性質、及び目標関数
を最適化する方法に対して割り当てられる形に関連す
る。

【００４９】しかし、請求項９及び１０において、本発
明は、請求項７記載の方法によって訓練されたパラメー
タ自体、及び該パラメータがその上に記録されたデータ
・キャリアに関連する。

【００５０】

【発明の実施の形態】本発明の上記及び別の態様を、実
施形態及び添付図面を参照して以下に詳細に説明する。

【００５１】語彙からのワードｗ_ｌの発音変形例ｖ_ｌｊ
に厳密に関連付けられた音声認識システムのパラメータ

【００５２】

【数３３】は、目標関数の選択的最適化へ直接的にフィードされて
もよい。適切な目標関数は、特に、文章誤り率（すなわ
ち、誤っている（最小分類誤り）と認識された音声発音
の割合）、及び、ワード誤り率（すなわち、誤っている
と認識されたワードの割合）である。これらは離散関数
であるため、当業者は、通常、実際の誤り率の代わりに
スムージングされたバージョンを適用するであろう。例
えばスムージングされた誤り率を最小化する、使用可能
な最適化手順は、特に「汎用確率下降（ｇｅｎｅｒａｌ
ｉｚｅｄｐｒｏｂａｂｉｌｉｓｔｉｃｄｅｓｃｅｎ
ｔ：ＧＰＤ）」である傾き手順や、例えばシンプレック
ス法などの他のすべての非線形最適化用の手順である。

【００５３】しかし、本発明の好ましい実施形態におい
て、最適化問題は、選択モデル合成（ｄｉｓｃｒｉｍｉ
ｎａｔｉｖｅｍｏｄｅｌｃｏｍｂｉｎａｔｉｏｎ）
方法を用いることを可能にする形へ持って来られる。こ
の選択モデル合成は、個々のモデルの対数−線形合成を
形成し、それらの重み因子の選択的最適化を行うＷＯ９
９／３１６５４から知られた一般的な方法である。した
がって、ＷＯ９９／３１６５４は、選択モデル合成方法
の反復記載を避けるために、参考文献として本願に組み
込まれる。

【００５４】スコア

【００５５】

【数３４】は、それ自体が選択モデル合成方法の実行においてパラ
メータとして直接的に用いられないが、代わりに、それ
らは新しいパラメータλ_ｌｊを有する指数の形：

【００５６】

【数３５】で表される。

【００５７】非線形最適化の既知の方法におけるパラメ
ータλ_ｌｊは目標関数を最適化するのに直接的に用いる
ことができるため、選択モデル合成は、モデル・スコア

【００５８】

【数３６】の対数−線形の形を達成することを狙いとする。このた
め、式（３）の合計は、近似：

【００５９】

【数３７】におけるその主たる寄与に制限される。ここで、

【００６０】

【数３８】である。

【００６１】前述のベイズの定理（式（２）参照）と式
（５）及び（７）とを考慮すると、所望の対数−線形表
現は、

【００６２】

【数３９】となる。

【００６３】最適化されるパラメータΛ＝（λ_１，
λ_２，・・・，λ_ｌｊ，・・・）についての個々の語の
依存を分類するために、関連場所における指数としてΛ
が導入された。さらに、選択モデル合成においては一般
的なように、残りの２つの加数

【００６４】

【数４０】及び

【００６５】

【数４１】にも適切なパラメータλ_１及びλ_２が備えられた。しか
し、これらはかならずしも最適化される必要はなく、１
に等しくなるように選ばれてもよい（λ_１＝λ_２＝
１）。それにもかかわらず、それらの最適化は、通常、
音声認識システムの品質を向上させる。品質Ｚ_λ（ｘ）
は、音声発音ｘ（及びパラメータΛ）のみに依存し、ス
コア

【００６６】

【数４２】を確率モデルとして解釈することが望まれる限り正規化
のためのみに役立つ。すなわち、Ｚ_λ（ｘ）は、正規化
条件

【００６７】

【数４３】に適合するように決定される。

【００６８】選択モデル合成は、特に、目標関数として
訓練中に決定されたスムージングされたワード誤り率の
様々な形を利用する。このため、訓練群は、Ｈ個の音声
発音ｘ_ｎ（ｎ＝１，・・・，Ｈ）から成る必要がある。
このような発音ｘ_ｎのそれぞれは、割り当てられた長さ
Ｌ_ｎを有する音声ワード・シーケンス

【００６９】

【数４４】（ここでは便宜上ワード・シーケンスｋ_ｎと呼ぶ）を有
する。ｋ_ｎはかならずしも実際に話されたワード・シー
ケンスでなくてもよい。いわゆる非監視適合（ｕｎｍｏ
ｎｉｔｏｒｅｄａｄａｐｔａｔｉｏｎ）の場合、ｋ_ｎ
は例えば予備的な認識工程によって決定され得る。さら
に、認識処理において最高スコアについて音声ワード・
シーケンスｋ_ｎと競合するＫ_ｎ個の別のワード・シーケ
ンスの量

【００７０】

【数４５】（ｉ＝１，・・・，Ｋ_ｎ）は、例えばいわゆるワード・
グラフ若しくはＮ個のベスト・リストを計算する認識工
程によって、各発音ｘ_ｎに対して決定される。これら競
合するワード・シーケンスは、便宜上、ｋ≠ｋ_ｎで表さ
れ、シンボルｋがｋ_ｎ及びｋ≠ｋ_ｎに対するフラフィッ
ク・シンボルとして用いられる。

【００７１】本音声認識システムは、ワード・シーケン
スｋ_ｎ及びｋ（≠ｋ_ｎ）に対するスコア

【００７２】

【数４６】及び

【００７３】

【数４７】を決定する。これらスコアは、それらがどの程度良好に
音声発音ｘ_ｎに一致するかを示す。本音声認識システム
は、最高スコアを有するワード・シーケンスｋ_ｎ若しく
はｋを認識結果として選ぶため、話された（又は話され
たと仮定された）ワード・シーケンスｋ_ｎと選ばれたワ
ード・シーケンスとの間のリーベンシュタイン距離Γと
してワード誤りＥ（Λ）：

【００７４】

【数４８】が計算される。

【００７５】このワード誤り率は、「インジケータ関
数」Ｓ（ｋ，ｎ，Λ）によって弁別が可能な連続関数Ｅ
_Ｓ（Λ）：

【００７６】

【数４９】へとスムージングされる。このインジケータ関数Ｓ
（ｋ，ｎ，Λ）は、本音声認識システムによって選ばれ
た最高スコアを有するワード・シーケンスに対して１に
近く、他のすべてのワード・シーケンスに対しては０に
近くなるようにすべきである。考えられる選択は、

【００７７】

【数５０】である。ここで、ηは適切な定数である。ηは、最もシ
ンプルなケースにおいて、１となるように選ばれてもよ
い。

【００７８】式（１１）の目標関数は、個々の偏微分を
実行した後で発音変形例のパラメータλ_ｌｊに対する以
下の反復式：

【００７９】

【数５１】が当業者によって得られるように、例えば反復傾斜法に
よって、最適化されてもよい。

【００８０】ステップ幅εを有する反復工程は、Ｉ番目
の反復工程に対するパラメータ

【００８１】

【数５２】から（Ｉ＋１）番目のダイ・パラメータ

【００８２】

【数５３】を得る。

【００８３】

【数５４】及び

【００８４】

【数５５】は、ワード・シーケンスｋ及びｋ_ｎに対して（式（８）
によると）最高スコアを有する発音変形例を示す。

【００８５】

【数５６】は、

【００８６】

【数５７】の省略形である。

【００８７】量

【００８８】

【数５８】は、Ｓ（ｋ’，ｎ，Λ）で重み付けされたすべてのワー
ド・シーケンスの誤り率周辺の誤り率Γ（ｋ，ｋ_ｎ）の
偏差であるため、

【００８９】

【数５９】となるワード・シーケンスｋを正しいワード・シーケン
スとして特徴付けることができる。なぜなら、それらは
Ｓ（ｋ’，ｎ，Λ）で重み付けされたものよりも低い誤
り率を示すからである。したがって、式（１３）の反復
規則は、パラメータλ_ｌｊ及びスコア

【００９０】

【数６０】が、音声ワード・シーケンスｋ_ｎから判断して、正しい
ワード・シーケンスにおいて頻出する、すなわち正しい
ワード・シーケンスにおいて

【００９１】

【数６１】を保持する発音変形例ｖ_ｌｊに対して拡大されることを
明らかにする。同様の規則は、悪いワード・シーケンス
においてめったに登場しない変形例に対して適用され
る。他方、上記スコアは、良好なワード・シーケンスに
おいてめったに登場せず、悪いワード・シーケンスにお
いて頻出する変形例に対して下げられる。この解釈は、
本発明の有益的な効果のよい例である。

【００９２】図１は、一ワードの一発音変形例が厳密に
一パラメータと関連付けられた音声認識システムのパラ
メータを訓練する本発明に掛かるシステムの一実施形態
を示す。一ワードの一発音変形例に厳密に関連付けられ
た音声認識システムのパラメータを訓練する本発明に係
る方法は、プログラム・メモリ２に記録されたプログラ
ムの制御下でコンピュータ１上で実行される。マイク３
は、音声発音を音声メモリ４に記録する。別の方法とし
て、このような音声発音が又はマイク３を通じた記録の
代わりに、ネットワークを通じて他のデータ・キャリア
から音声メモリ内へ転送されることも可能である。

【００９３】パラメータ・メモリ５及び６は、パラメー
タを記憶する。本実施形態において、前述の種類の反復
最適化処理が実行されるものと仮定する。すると、パラ
メータ・メモリ５は、例えば、（Ｉ＋１）番目の反復工
程の計算のために、該ステージにおいて既知のＩ番目の
反復工程のパラメータを含み、パラメータ・メモリ６
は、（Ｉ＋１）番目の反復工程の新しいパラメータを受
信する。本例において、次のステージ、すなわち（Ｉ＋
２）番目の反復工程において、パラメータ・メモリ５及
び６は役割を交換する。

【００９４】本発明に係る方法は、本実施形態におい
て、汎用コンピュータ１上で実行される。該コンピュー
タは、通常、メモリ２、５、及び６を１つの共通構成と
して有するであろうが、音声メモリ４は、ネットワーク
を通じてアクセス可能な中央サーバに配置されると考え
られる。しかし、別の方法として、本方法を実行するた
めに特殊なハードウェアが用いられてもよい。この特殊
なハードウェアは、本方法の全部又は一部が特に素早く
実行され得るように構成されてもよい。

【００９５】図２は、それぞれが語彙からの一ワードの
一発音変形例に関連付けられた音声認識システムのパラ
メータを訓練する本発明に係る方法の一実施形態のフロ
ーチャートを示す。一般的な準備的措置が採られる開始
ブロック１０１の後、ブロック１０２において、パラメ
ータに対する初期値Λ^（０）が選ばれ、反復計数変数Ｉ
が０にセットされる（Ｉ＝０）。スコア

【００９６】

【数６２】を推定するのに前述の「最大尤度」方法が用いられても
よい。次いで、

【００９７】

【数６３】の初期値は、対数関数の形成を通じて、該スコアから得
られる。

【００９８】ブロック１０３は、計数変数ｎが１にセッ
トされる（ｎ＝１）音声発音の訓練群を通じた処理を開
始する。ブロック１０４において、音声発音ｘ_ｎに一致
するように競合ワード・シーケンスｋ≠ｋ_ｎが選ばれ
る。音声発音ｘ_ｎと一致する音声ワード・シーケンスｋ
_ｎが訓練データにとっていまだ知られていないものであ
れば、ブロック１０４において、本音声認識システムが
更新されたパラメータを形成することによって推定され
てもよい。しかし、このような推定は、例えばブロック
１０２において、一度だけ前もって実行することも可能
である。さらに、個々の音声認識システムが音声ワード
・シーケンスｋ_ｎを推定するのに択一的に用いられても
よい。

【００９９】ブロック１０５において、競合ワード・シ
ーケンスｋ≠ｋ_ｎの量を通じた処理が開始される。この
ため、計数変数ｋは１にセットされる（ｋ＝１）。個々
の語の計算と、計数変数ｎ及びｋによって式（１３）に
おいて生じる二重合計の累積とがブロック１０６で行わ
れる。競合ワード・シーケンスｋ≠ｋ_ｎの量を通じた処
理を制限する判断ブロック１０７において、あらゆる別
の競合ワード・シーケンスｋ≠ｋ_ｎが存在するか否かが
テストされる。存在する場合、本制御は、計数変数ｋが
１つインクリメントされる（ｋ＝ｋ＋１）ブロック１０
８へ切り替えられ、その後すぐにブロック１０６へ戻
る。存在しなければ、本制御は、あらゆる別の訓練発音
が使用可能か否かがテストされるために、音声発音の訓
練群を通じた処理を制限する判断ブロック１０９へ進
む。使用可能である場合、ブロック１１０において計数
変数ｎが１つインクリメントされ（ｎ＝ｎ＋１）、本制
御はブロック１０４へ戻る。使用可能でなければ、音声
発音の訓練群を通じた処理は終了し、本制御はブロック
１１１へ進む。

【０１００】ブロック１１１において、パラメータΛの
新しい値、すなわち最初の反復工程Ｉ＝１における値Λ
^（１）が計算される。続く判断ブロック１１２におい
て、最適化が十分に集束したか否かを確認するために、
停止基準が適用される。このための様々な方法が知られ
ている。例えば、パラメータの相対変化若しくは目標関
数の相対変化が所定の閾値を下回るべきであることが要
求されてもよい。しかし、いずれの場合においても、上
記反復は、反復工程の所定の最大数後に終了してもよ
い。

【０１０１】反復がいまだ十分に集束していない場合、
ブロック１１３において、反復計数変数Ｉが１つインク
リメントされ（Ｉ＝Ｉ＋１）、その後すぐに、ブロック
１０３において、反復ループに再び入る。反対のケース
においては、ブロック１１４において、一般的な再構成
方法を用いて、反復が終了する。

【０１０２】パラメータλ_ｌｊを決定する特別な反復最
適化処理を上述のように詳細に説明した。しかし、他の
最適化方法を代わりに用いることも可能であることは当
業者には明らかである。特に、選択モデル合成と関連し
て知られているすべての方法が適用可能である。ここ
で、ＷＯ９９／３１６５４に開示された方法について再
び特別に触れる。この引用文献は、パラメータを閉じた
系で非反復的に決定することを可能にする方法について
も特に開示している。すると、パラメータ・ベクトルΛ
が、形Λ＝Ｑ^−１Ｐを有する線形連立方程式を解くこと
によって得られる。より詳しくはＷＯ９９／３１６５４
を参照のこと。

【０１０３】パラメータλ_ｌｊが決定されると、それら
は同じく発音語彙集に含まれる発音変形例ｖ_ｌｊを選択
するのに用いられ得る。したがって、例えば、所定の閾
値より低いスコア

【０１０４】

【数６４】を有する変形例ｖ_ｌｊが発音語彙集から削除されてもよ
い。さらに、発音語彙集は、最も低いスコア

【０１０５】

【数６５】を有する適切な数の変形例ｖ_ｌｊが消去されるため、所
定数の変形例ｖ_ｌｊを用いて作成されてもよい。

【０１０６】

【発明の効果】本発明によれば、リストからの一パター
ンの一実現変形例にそれぞれが厳密に関連付けられたパ
ターン認識システムのパラメータを訓練する方法及びシ
ステム、特に、語彙からの一ワードの一発音変形例にそ
れぞれが厳密に関連付けられた音声認識システムのパラ
メータを訓練する方法及びシステムを提供することがで
きる。

【図面の簡単な説明】

【図１】語彙からの一ワードの一発音変形例にそれぞれ
が厳密に関連付けられた音声認識システムのパラメータ
を訓練する本発明に係るシステムの一実施形態を示す図
である。

【図２】語彙からの一ワードの一発音変形例にそれぞれ
が厳密に関連付けられた音声認識システムのパラメータ
を訓練する本発明に係る方法の一実施形態を示すフロー
チャートである。

【符号の説明】

１コンピュータ２プログラム・メモリ３マイク４音声メモリ５、６パラメータ・メモリ

───────────────────────────────────────────────────── フロントページの続き (72)発明者ハオケシュラムドイツ連邦共和国，52159 レートゲン− ムラートシュッテ，ツヴァイファラーシュトラーセ 51 (72)発明者ペーターバイエルラインドイツ連邦共和国，52080 アーヘン，フォン−ケールス−シュトラーセ 232 Ｆターム(参考） 5D015 CC00

Claims

【特許請求の範囲】

【請求項１】語彙からの一ワードの一発音変形例にそ
れぞれが厳密に関連付けられた音声認識システムのパラ
メータを訓練する方法であって、音響学的音声信号の訓練群を使用可能にし、目標関数の選択的最適化を通じて前記パラメータを決定
することを特徴とする方法。
【請求項２】請求項１記載の方法であって、前記語彙からのｌ番目のワードｗ_ｌのｊ番目の発音変形
例に関連付けられたパラメータλ_ｌｊは、前記ワードｗ
_ｌが発音変形例ｖ_ｌｊとして発音されるように、スコア【数１】と指数関数関係：【数２】を有することを特徴とする方法。
【請求項３】請求項１又は２記載の方法であって、前記目標関数は、前記訓練群からの対応する音響学的音声信号ｘ_ｎに関連
付けられた音声ワード・シーケンスｋ_ｎと、該音声信号
に関連付けられたｋ_ｎと競合する別のワード・シーケン
スｋ≠ｋ_ｎとの間の個別のリーベンシュタイン距離Γ
（ｋ_ｎ，ｋ）と、前記別のワード・シーケンスｋ≠ｋ_ｎ及び前記音声ワー
ド・シーケンスｋ_ｎが前記音声信号ｘ_ｎにどの程度良好
に一致するかを示す個別のスコア【数３】及び【数４】と、について微分可能な連続関数として計算されること
を特徴とする方法。
【請求項４】請求項１乃至３のいずれか一項記載の方
法であって、確率モデルが、ワードｗ_ｌが発音変形例ｖ_ｌｊとして発音された確率を
示す前記個別のスコア【数５】として、前記訓練群からの対応する音響学的音声信号ｘ_ｎに関連
付けられた音声ワード・シーケンスｋ_ｎが前記音声信号
ｘ_ｎとして話された確率を示す前記個別のスコア【数６】として、及び／又は、前記関連する競合ワード・シーケンスｋ≠ｋ_ｎが前記音
声信号ｘ_ｎとして話された確率を示す前記個別のスコア【数７】として用いられること特徴とする方法。
【請求項５】請求項１乃至４のいずれか一項記載の方
法であって、前記目標関数の選択的最適化は、選択的モデル合成方法
の１つによって実行されることを特徴とする方法。
【請求項６】語彙からの一ワードの一発音変形例にそ
れぞれが厳密に関連付けられた音声認識システムのパラ
メータを訓練するシステムであって、音響学的音声信号の訓練群を使用可能にし、目標関数の選択的最適化を通じて前記パラメータを決定
することを特徴とするシステム。
【請求項７】リストからの一パターンの一実現変形例
にそれぞれが厳密に関連付けられたパターン認識システ
ムのパラメータを訓練する方法であって、パターンの訓練群を使用可能にし、目標関数の選択的最適化を通じて前記パラメータを決定
することを特徴とする方法。
【請求項８】リストからの一パターンの一実現変形例
にそれぞれが厳密に関連付けられたパターン認識システ
ムのパラメータを訓練するシステムであって、パターンの訓練群を使用可能にし、目標関数の選択的最適化を通じて前記パラメータを決定
することを特徴とするシステム。
【請求項９】パターン認識システムのパラメータであ
って、リストからの一パターンの一実現変形例にそれぞれが厳
密に関連付けられ、請求項７記載の方法によって生成されたことを特徴とす
るパラメータ。
【請求項１０】請求項９記載のパラメータ認識システ
ムのパラメータを保持するデータ・キャリア。