JP2001516903A - コンピュータによる言語認識の際に少なくとも２つの単語から成るシーケンスの発生する確率を求める方法 - Google Patents
コンピュータによる言語認識の際に少なくとも２つの単語から成るシーケンスの発生する確率を求める方法Info
- Publication number
- JP2001516903A JP2001516903A JP2000512197A JP2000512197A JP2001516903A JP 2001516903 A JP2001516903 A JP 2001516903A JP 2000512197 A JP2000512197 A JP 2000512197A JP 2000512197 A JP2000512197 A JP 2000512197A JP 2001516903 A JP2001516903 A JP 2001516903A
- Authority
- JP
- Japan
- Prior art keywords
- language
- probability
- word
- class
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000013507 mapping Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 4
- 230000006978 adaptation Effects 0.000 description 13
- 238000012937 correction Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
- G10L15/19—Grammatical context, e.g. disambiguation of the recognition hypotheses based on word sequence rules
- G10L15/197—Probabilistic grammars, e.g. word n-grams
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Machine Translation (AREA)
Abstract
(57)【要約】
自動言語認識システムの認識率を改善するために、統計的な言語モデルを使用する。ここで提供される方法によれば、テキスト量の僅かな場合ないし全くテキストの無い場合の言語モデルを構築することができる。言語クラスが形成され、言語モデルすなわちワードシーケンスのアプリオリな確率がテキストの文法構造に基づきテキストの語彙に依存して求められる。このために単語についての規定の確率と言語クラスについての規定の確率とが定められる。予め設定された適用領域に対する言語モデルを新たに作成する他に、この方法は同様に既存の言語モデルを新たな適用領域に適応させるための手段を有する。
Description
【０００１】 本発明は、コンピュータによる言語認識の際に少なくとも２つの単語から成る
シーケンスの発生する確率を求める方法に関する。
シーケンスの発生する確率を求める方法に関する。
【０００２】 言語認識の方法は文献［１］から周知である。ここではワード認識の要素とし
て通常少なくとも１つの単語から成るシーケンスが有用であることが示されてい
る。この有用性に対する尺度は確率である。
て通常少なくとも１つの単語から成るシーケンスが有用であることが示されてい
る。この有用性に対する尺度は確率である。
【０００３】 統計的な言語モデルは文献［２］から周知である。すなわちワードシーケンス
Ｗに対する確率Ｐ（Ｗ）は、有利には大きな語彙量を有する言語認識の範囲では
一般に（統計的な）言語モデルである。確率Ｐ（Ｗ）いわゆるワードシーケンス
確率は、Ｎグラム言語モデルＰN（Ｗ）によって近似される。すなわち
Ｗに対する確率Ｐ（Ｗ）は、有利には大きな語彙量を有する言語認識の範囲では
一般に（統計的な）言語モデルである。確率Ｐ（Ｗ）いわゆるワードシーケンス
確率は、Ｎグラム言語モデルＰN（Ｗ）によって近似される。すなわち
【０００４】
【数３】
【０００５】 ここでｗiはシーケンスＷのｉ番目の単語であってｉ＝１．．．ｎであり、ｎは シーケンスＷの単語Ｗiの数である。Ｎ＝２でこの式０−１からいわゆるバイグ ラムが得られる。
【０００６】 さらに有利に商用分野における言語認識では、語彙の制限された適用領域（ド
メイン）を使用することが知られている。種々のドメインのテキストはそれぞれ
の語彙の点で区別されるだけではなく、それぞれの文構造の点でも区別される。
特定のモデルに対する言語モデルの学習には相応に大量のテキスト（テキスト材
料、テキスト集成体）が必要であるが、これは実際にはめったに存在せず、また
あったとしても高いコストがかかる。
メイン）を使用することが知られている。種々のドメインのテキストはそれぞれ
の語彙の点で区別されるだけではなく、それぞれの文構造の点でも区別される。
特定のモデルに対する言語モデルの学習には相応に大量のテキスト（テキスト材
料、テキスト集成体）が必要であるが、これは実際にはめったに存在せず、また
あったとしても高いコストがかかる。
【０００７】 言語辞書は文献［４］から周知である。ここではこの言語辞書はコンピュータ
上で使用可能な１つの言語におけるできる限り多数の語であり、言語的な特性を
探索プログラムに即してレファレンスするために用いられる。それぞれの語のエ
ントリ（いわゆる語の本形）ごとに語の本形に関連する言語特徴と該当する割り
当て分（Belegung）すなわち言語値とが取り出される。
上で使用可能な１つの言語におけるできる限り多数の語であり、言語的な特性を
探索プログラムに即してレファレンスするために用いられる。それぞれの語のエ
ントリ（いわゆる語の本形）ごとに語の本形に関連する言語特徴と該当する割り
当て分（Belegung）すなわち言語値とが取り出される。
【０００８】 文献［３］から、言語クラスを使用することが周知である。１つのセンテンス
の単語には種々のタイプの言語特徴および言語値が割り当てられている。表１に
は例として種々の言語特徴およびこれに属する値が示されている（別の例は文献
［３］に示されている）。
の単語には種々のタイプの言語特徴および言語値が割り当てられている。表１に
は例として種々の言語特徴およびこれに属する値が示されている（別の例は文献
［３］に示されている）。
【０００９】 表１：言語特徴および言語値の例
【００１０】
【表１】
【００１１】 言語特徴 （ｆ1，．．．，ｆm） （０−２） と言語値 （ｖ11，．．．，ｖ1j）．．．（ｖm1，．．．，ｖmj） （０−３） とに基づいて各単語に少なくとも１つの言語クラスが割り当てられており、この
場合次の写像ルールＦが適用される。すなわち （C1,...,Ck）＝F（（f1,v11,...,v1j）...（fm,vml,...,vmj）） （ ０−４） ここでｆmは言語特徴であり、ｍは言語特徴の数であり、ｖm1．．．ｖmjは言語 特徴ｆmの言語値であり、ｊは言語値の数であり、Ｃiは言語クラスであっってｉ
＝１．．．ｋであり、ｋは言語クラスの数であり、Ｆは所定の言語クラスにおけ
る言語特徴および言語値の写像ルール（クラス識別子）である。
場合次の写像ルールＦが適用される。すなわち （C1,...,Ck）＝F（（f1,v11,...,v1j）...（fm,vml,...,vmj）） （ ０−４） ここでｆmは言語特徴であり、ｍは言語特徴の数であり、ｖm1．．．ｖmjは言語 特徴ｆmの言語値であり、ｊは言語値の数であり、Ｃiは言語クラスであっってｉ
＝１．．．ｋであり、ｋは言語クラスの数であり、Ｆは所定の言語クラスにおけ
る言語特徴および言語値の写像ルール（クラス識別子）である。
【００１２】 言語クラス、言語特徴（フィーチャー）、言語値（真理値）、およびクラスバ
イグラム確率を以下に例文を用いて説明する。
イグラム確率を以下に例文を用いて説明する。
【００１３】 ドイツ語文“der Bundestag setzt seine Debatte fort”について考察する。
【００１４】 冠詞“der”すなわち第１の単語は、ドイツ語では６つの言語クラス（以下単 にクラスと称する）に分割することができる。それぞれのクラスは数、性、格に
区別される。次の表２にこの関係を示す。
区別される。次の表２にこの関係を示す。
【００１５】 表２：単語“der”に対するクラスＣi
【００１６】
【表２】
【００１７】 ドイツ語の主語“Bundestag”すなわち上の例文の第２の単語に対しては、類 似の表３が当てはまる。
【００１８】 表３：単語“Bundestag”に対するクラスＣi
【００１９】
【表３】
【００２０】 この例ではクラスバイグラム（言語クラスに適用されるバイグラム）に関して
クラスＣ7に続いて適切なカテゴリすなわち数、格、性のコンビネーションが例 文に関して示されている。実際に生じたクラスバイグラムの頻度が予め設定され
たテキストから求められる場合、上のクラスバイグラムＣ1−Ｃ7に対してはこの
ようなコンビネーションはドイツ語では頻繁に発生するので多数の発生が結論さ
れ、別のクラスバイグラム、例えばコンビネーションＣ２−Ｃ８に対してはドイ
ツ語では性が異なるために許容されない。このようにして見出された頻度から生
じるクラスバイグラム確率は相応に、頻繁に発生する場合には高く、許容されな
い場合には低い。
クラスＣ7に続いて適切なカテゴリすなわち数、格、性のコンビネーションが例 文に関して示されている。実際に生じたクラスバイグラムの頻度が予め設定され
たテキストから求められる場合、上のクラスバイグラムＣ1−Ｃ7に対してはこの
ようなコンビネーションはドイツ語では頻繁に発生するので多数の発生が結論さ
れ、別のクラスバイグラム、例えばコンビネーションＣ２−Ｃ８に対してはドイ
ツ語では性が異なるために許容されない。このようにして見出された頻度から生
じるクラスバイグラム確率は相応に、頻繁に発生する場合には高く、許容されな
い場合には低い。
【００２１】 本発明の課題は、コンピュータによる言語認識の際に少なくとも１つの単語か
ら成るシーケンスの発生する確率を求める方法を提供し、僅かなテキスト材料か
ら成るドメインに対する言語モデルを求めることである。
ら成るシーケンスの発生する確率を求める方法を提供し、僅かなテキスト材料か
ら成るドメインに対する言語モデルを求めることである。
【００２２】 ここで言語モデルを求めると云う場合、言語モデルの形成とともに既存の言語
モデルの適応化も含むことに留意されたい。
モデルの適応化も含むことに留意されたい。
【００２３】 この課題は請求項１に記載の特徴により解決される。
【００２４】 本発明によれば、コンピュータによる言語認識の際に少なくとも２つの単語か
ら成るシーケンスの発生する確率を求める方法が提供される。 １つの言語は言 語クラス （C1,...,Ck） （１ ） を （C1,...,Ck）＝F（（f1,v11,...,v1j）...（fm,vml,...,vmj）） （２） により有する。ここでｆmは言語特徴であり、ｍは言語特徴の数であり、ｖm1． ．．ｖmjは言語特徴ｆmの言語値であり、ｊは言語値の数であり、Ｃiは言語クラ
スであってｉ＝１．．．ｋであり、ｋは言語クラスの数であり、Ｆは所定の言語
クラスにおける言語特徴および言語値の写像ルール（クラス識別子）である。こ
の場合、１つの単語には少なくとも１つ言語クラスが割り当てられている。少な
くとも２つの単語から成るシーケンスの発生する確率はバイグラムを使用して
ら成るシーケンスの発生する確率を求める方法が提供される。 １つの言語は言 語クラス （C1,...,Ck） （１ ） を （C1,...,Ck）＝F（（f1,v11,...,v1j）...（fm,vml,...,vmj）） （２） により有する。ここでｆmは言語特徴であり、ｍは言語特徴の数であり、ｖm1． ．．ｖmjは言語特徴ｆmの言語値であり、ｊは言語値の数であり、Ｃiは言語クラ
スであってｉ＝１．．．ｋであり、ｋは言語クラスの数であり、Ｆは所定の言語
クラスにおける言語特徴および言語値の写像ルール（クラス識別子）である。こ
の場合、１つの単語には少なくとも１つ言語クラスが割り当てられている。少な
くとも２つの単語から成るシーケンスの発生する確率はバイグラムを使用して
【００２５】
【数４】
【００２６】 から得られる。ここでＰ（Ｗ）は少なくとも２つの単語から成るシーケンスの発
生する確率であり、Ｗは少なくとも２つの単語から成るシーケンスであり、ｗi はシーケンスＷのｉ番目の単語であってｉ＝１．．．ｎであり、ｎはシーケンス
Ｗの単語Ｗiの数であり、Ｃiは単語Ｗiに属する言語クラスであり、Ｃi-1は単語
Ｗi-1に属する言語クラスであり、ΣＣiは単語Ｗiに属する全ての言語クラスＣ の和であり、Ｐ（ｗi｜Ｃi）は規定のワード確率であり、Ｐ（Ｃi｜Ｃi-1）はバ
イグラムの確率であり（クラスバイグラム確率とも称する）、Ｐ（Ｃi-1｜ｗi-1 ）は規定のクラス確率である。
生する確率であり、Ｗは少なくとも２つの単語から成るシーケンスであり、ｗi はシーケンスＷのｉ番目の単語であってｉ＝１．．．ｎであり、ｎはシーケンス
Ｗの単語Ｗiの数であり、Ｃiは単語Ｗiに属する言語クラスであり、Ｃi-1は単語
Ｗi-1に属する言語クラスであり、ΣＣiは単語Ｗiに属する全ての言語クラスＣ の和であり、Ｐ（ｗi｜Ｃi）は規定のワード確率であり、Ｐ（Ｃi｜Ｃi-1）はバ
イグラムの確率であり（クラスバイグラム確率とも称する）、Ｐ（Ｃi-1｜ｗi-1 ）は規定のクラス確率である。
【００２７】 この場合、用語ＣiはワードシーケンスＷの単語Ｗiに割り当てられた少なくと
も１つの言語クラスに関連することに注意されたい。同様のことは相応に用語Ｃ i-1 にも相当する。例えばクラスバイグラム確率とは、先行の単語Ｗi-1が第２の
言語クラスに近似する条件のもとで単語Ｗiが第１の言語クラスに近似する確率 を意味する（冒頭部の例および説明を参照）。
も１つの言語クラスに関連することに注意されたい。同様のことは相応に用語Ｃ i-1 にも相当する。例えばクラスバイグラム確率とは、先行の単語Ｗi-1が第２の
言語クラスに近似する条件のもとで単語Ｗiが第１の言語クラスに近似する確率 を意味する（冒頭部の例および説明を参照）。
【００２８】 確率Ｐ（ｗi｜Ｃi）、Ｐ（Ｃi｜Ｃi-1）は式３内へ挿入され、いわゆるベース
言語モデルを形成するが、これはテキスト集成体、すなわち予め設定された条件
を有するテキストから求められる。
言語モデルを形成するが、これはテキスト集成体、すなわち予め設定された条件
を有するテキストから求められる。
【００２９】 言語クラスに基づく言語モデルは特に適応化に際して決定的な利点を有する。
ここで提供される方法は言語モデルに含まれる言語的な特性を使用している。
ここで提供される方法は言語モデルに含まれる言語的な特性を使用している。
【００３０】 別の実施形態では、新たなテキストに対して予め求められたベース言語モデル
に即し、確率Ｐ（Ｃi｜Ｃi-1）が新たなテキストのベース言語モデルへ引き継が
れる。
に即し、確率Ｐ（Ｃi｜Ｃi-1）が新たなテキストのベース言語モデルへ引き継が
れる。
【００３１】 ベース言語モデルのクラスバイグラムの確率（文献［３］および冒頭部の説明
を参照）は一方では学習テキストの文法構造であり、他方では語彙から独立して
いる。新たなドメインはベース言語モデルのオリジナルの学習テキストに類似し
たテキスト構造（文法構造）であるということに基づいて、クラスバイグラムの
確率Ｐ（Ｃi｜Ｃi-1）をベース言語モデルから変更なしに引き継ぐと有利である
。
を参照）は一方では学習テキストの文法構造であり、他方では語彙から独立して
いる。新たなドメインはベース言語モデルのオリジナルの学習テキストに類似し
たテキスト構造（文法構造）であるということに基づいて、クラスバイグラムの
確率Ｐ（Ｃi｜Ｃi-1）をベース言語モデルから変更なしに引き継ぐと有利である
。
【００３２】 言語モデルを求めるべき新たなドメインの語彙は予め設定された言語辞書とク
ラス識別子Ｆを使用して式２により処理される。テキスト中の新たな語に対して
自動的に少なくとも１つの言語クラスが求められる。言語クラス、言語特徴およ
び言語値に関する詳細な説明は文献［３］を、言語辞書に関する詳細な説明は文
献［４］および／または冒頭部の説明を参照されたい。
ラス識別子Ｆを使用して式２により処理される。テキスト中の新たな語に対して
自動的に少なくとも１つの言語クラスが求められる。言語クラス、言語特徴およ
び言語値に関する詳細な説明は文献［３］を、言語辞書に関する詳細な説明は文
献［４］および／または冒頭部の説明を参照されたい。
【００３３】 別の実施形態では、確率Ｐ（ｗi｜Ｃi）を以下の手段のうち少なくとも１つの
手段に従って求める、すなわち ａ）確率Ｐ（ｗi｜Ｃi）をテキストに即して求めるか、 ｂ）確率Ｐ（ｗi｜Ｃi）を単語Ｗiごとに予め設定された確率Ｐ（ｗi）を用いて
求めるか、 ｃ）確率Ｐ（ｗi｜Ｃi）をワードリストを使用して求める。
手段に従って求める、すなわち ａ）確率Ｐ（ｗi｜Ｃi）をテキストに即して求めるか、 ｂ）確率Ｐ（ｗi｜Ｃi）を単語Ｗiごとに予め設定された確率Ｐ（ｗi）を用いて
求めるか、 ｃ）確率Ｐ（ｗi｜Ｃi）をワードリストを使用して求める。
【００３４】 付加的な実施形態では、求められた確率Ｐ（ｗi｜Ｃi）に即してベース言語モ
デルを適応化する。ここで有利には、求められた確率Ｐ（ｗi｜Ｃi）がベース言
語モデル内に取り入れられる。
デルを適応化する。ここで有利には、求められた確率Ｐ（ｗi｜Ｃi）がベース言
語モデル内に取り入れられる。
【００３５】 また本発明の別の実施形態では、確率Ｐ（Ｃi-1｜ｗi-1）を確率Ｐ（ｗi｜Ｃi ）に即して P（Ci｜wi）＝K×P（wi｜Ci）×P（Ci） （４） により求めることもできる。ここで
【００３６】
【数５】
【００３７】 は正規化係数である。
【００３８】 本発明の別の実施形態では、確率Ｐ（Ｗ）が予め設定された閾値を上方超過す
る場合に、相応の少なくとも１つの単語から成るシーケンスを認識する。そうで
ない場合には予め設定されたアクションを実行する。この予め設定されたアクシ
ョンとはエラーメッセージの出力または当該の方法を中止するトリガである。
る場合に、相応の少なくとも１つの単語から成るシーケンスを認識する。そうで
ない場合には予め設定されたアクションを実行する。この予め設定されたアクシ
ョンとはエラーメッセージの出力または当該の方法を中止するトリガである。
【００３９】 別の実施形態の範囲においては、テキストは予め設定された適用領域、いわゆ
るドメインに関連している。
るドメインに関連している。
【００４０】 本発明の範囲において特に有利には、ここで提供される方法は、新たなドメイ
ンの言語モデルを求めるのに僅かな量の新たなテキストしか必要としない。
ンの言語モデルを求めるのに僅かな量の新たなテキストしか必要としない。
【００４１】 また有利には新たな単語のリストを使用することもでき、このリストは確率Ｐ
（ｗi）のデータを有しても有さなくてもよい。ドメインに関連する言語認識は 実際には重要な役割を果たす。本発明の方法は実際の要求に対処可能であり、実
験では適切かつ有効であると判明している。ベース言語モデルに立ち戻って云え
ば、新たに評価される確率の数はＰ（ｗｉ｜Ｃi）の評価が必要なだけであるた め著しく低減される。
（ｗi）のデータを有しても有さなくてもよい。ドメインに関連する言語認識は 実際には重要な役割を果たす。本発明の方法は実際の要求に対処可能であり、実
験では適切かつ有効であると判明している。ベース言語モデルに立ち戻って云え
ば、新たに評価される確率の数はＰ（ｗｉ｜Ｃi）の評価が必要なだけであるた め著しく低減される。
【００４２】 本発明の別の実施形態は従属請求項から得られる。
【００４３】 以下に図に即して本発明の実施例を詳細に説明する。図１には、本発明のコン
ピュータによる言語認識の際に少なくとも２つのワードから成るシーケンスの発
生する確率を求める方法のステップを含むブロック図が示されている。図２には
確率Ｐ（ｗi｜Ｃi）を求める第１の適応化方法が示されている。図３には確率Ｐ
（ｗi｜Ｃi）を求める第２の適応化方法が示されている。
ピュータによる言語認識の際に少なくとも２つのワードから成るシーケンスの発
生する確率を求める方法のステップを含むブロック図が示されている。図２には
確率Ｐ（ｗi｜Ｃi）を求める第１の適応化方法が示されている。図３には確率Ｐ
（ｗi｜Ｃi）を求める第２の適応化方法が示されている。
【００４４】 図１には、コンピュータによる言語認識の際に少なくとも２つの単語から成る
シーケンスが発生する確率を求める方法の個々のステップが示されている。ステ
ップ１０１では、言語が言語クラス （C1,...,Ck） （１ ） へ区分される。すなわち （C1,...,Ck）＝F（（f1,v11,...,v1j）...（fm,vml,...,vmj）） （２） へ分割される。ここでｆmは言語特徴であり、ｍは言語特徴の数であり、ｖm1． ．．ｖmjは言語特徴ｆmの言語値であり、ｊは言語値の数であり、Ｃiは言語クラ
スであってｉ＝１．．．ｋであり、ｋは言語クラスの数であり、Ｆは所定の言語
クラスにおける言語特徴および言語値の写像ルール（クラス識別子）である。
シーケンスが発生する確率を求める方法の個々のステップが示されている。ステ
ップ１０１では、言語が言語クラス （C1,...,Ck） （１ ） へ区分される。すなわち （C1,...,Ck）＝F（（f1,v11,...,v1j）...（fm,vml,...,vmj）） （２） へ分割される。ここでｆmは言語特徴であり、ｍは言語特徴の数であり、ｖm1． ．．ｖmjは言語特徴ｆmの言語値であり、ｊは言語値の数であり、Ｃiは言語クラ
スであってｉ＝１．．．ｋであり、ｋは言語クラスの数であり、Ｆは所定の言語
クラスにおける言語特徴および言語値の写像ルール（クラス識別子）である。
【００４５】 言語特徴および言語値の詳細な説明については文献［３］の例えば1201頁の表
４に記載されており、ここでは言語特徴とこれに属する言語値が種々のカテゴリ
に依存して発生することが例示的に示されている。
４に記載されており、ここでは言語特徴とこれに属する言語値が種々のカテゴリ
に依存して発生することが例示的に示されている。
【００４６】 ステップ１０２では１つの単語に少なくとも１つ言語クラスが割り当てられる
。文献［３］に記載されているように、単語には１つまたは複数の言語クラスを
割り当てることができる。
。文献［３］に記載されているように、単語には１つまたは複数の言語クラスを
割り当てることができる。
【００４７】 さらにステップ１０３で、少なくとも１つの単語から成るシーケンスの発生す
る確率Ｐ（Ｗ）が
る確率Ｐ（Ｗ）が
【００４８】
【数６】
【００４９】 により求められる。ここでＷは少なくとも２つの単語から成るシーケンスであり
、ｗiはシーケンスＷのｉ番目の単語であってｉ＝１．．．ｎであり、ｎはシー ケンスＷの単語Ｗiの数であり、Ｃiは単語Ｗiに属する言語クラスであり、Ｃi-1 は単語Ｗi-1に属する言語クラスであり、ΣＣiは単語Ｗiに属する全ての言語ク ラスＣの和であり、Ｐ（ｗi｜Ｃi）は規定の確率であり、Ｐ（Ｃi｜Ｃi-1）はバ
イグラムの確率であり（クラスバイグラム、バイグラム確率とも称する）、Ｐ（
Ｃi-1｜ｗi-1）は規定のクラス確率である。
、ｗiはシーケンスＷのｉ番目の単語であってｉ＝１．．．ｎであり、ｎはシー ケンスＷの単語Ｗiの数であり、Ｃiは単語Ｗiに属する言語クラスであり、Ｃi-1 は単語Ｗi-1に属する言語クラスであり、ΣＣiは単語Ｗiに属する全ての言語ク ラスＣの和であり、Ｐ（ｗi｜Ｃi）は規定の確率であり、Ｐ（Ｃi｜Ｃi-1）はバ
イグラムの確率であり（クラスバイグラム、バイグラム確率とも称する）、Ｐ（
Ｃi-1｜ｗi-1）は規定のクラス確率である。
【００５０】 式３は個々に求められた以下の３つの成分Ｐ（Ｃi｜Ｃi-1）、Ｐ（ｗi｜Ｃi）
、Ｐ（Ｃi-1｜ｗi-1）のカスケード乗算から形成される。
、Ｐ（Ｃi-1｜ｗi-1）のカスケード乗算から形成される。
【００５１】確率Ｐ（Ｃi｜Ｃi-1）の決定 新たなドメインのテキストの語彙には言語辞書とクラス識別子Ｆとを使用して
式２に示されているように言語クラスが割り当てられる。この場合それぞれ新た
な単語には自動的に少なくとも１つの言語クラスが割り当てられる。ベース言語
モデルは文献［３］に記載のクラスバイグラムに対する確率を有しており、この
確率は一方では文法構造を表し、他方では個々の単語から独立している。ドメイ
ンすなわち特殊な適用領域に関連するテーマ領域がベース言語モデルを基礎とす
る学習テキストと類似したテキスト構造を有することに基づいて、クラスバイグ
ラムの確率Ｐ（Ｃi｜Ｃi-1）はベース言語モデルから変更なしに引き継がれる。
このような自動的な割り当てが可能となるのは、一貫してテキストの内容とは無
関係に、言語特徴および言語値、すなわち言語クラスへの写像（式２を参照）が
１つの言語に固有に対応しており、したがって有利には１つのテーマ領域（ドメ
イン）から他のテーマ領域へ移すことができる点に基づいている。複数の学習テ
キストの文法構造は類似であるかまたは同一であり、それぞれの学習テキストを
基礎とするテーマ領域（ドメイン）から独立している。確率Ｐ（Ｃi｜Ｃi-1）は
ベース言語モデルに対して先行の学習トライアルによって求められ、新たなテキ
ストの語彙のクラス割り当てに関連する基礎知識となる。これは新たに求める必
要はなく、言語モデルが充分な程度に詳細性を有していれば引き継ぐことができ
る。
式２に示されているように言語クラスが割り当てられる。この場合それぞれ新た
な単語には自動的に少なくとも１つの言語クラスが割り当てられる。ベース言語
モデルは文献［３］に記載のクラスバイグラムに対する確率を有しており、この
確率は一方では文法構造を表し、他方では個々の単語から独立している。ドメイ
ンすなわち特殊な適用領域に関連するテーマ領域がベース言語モデルを基礎とす
る学習テキストと類似したテキスト構造を有することに基づいて、クラスバイグ
ラムの確率Ｐ（Ｃi｜Ｃi-1）はベース言語モデルから変更なしに引き継がれる。
このような自動的な割り当てが可能となるのは、一貫してテキストの内容とは無
関係に、言語特徴および言語値、すなわち言語クラスへの写像（式２を参照）が
１つの言語に固有に対応しており、したがって有利には１つのテーマ領域（ドメ
イン）から他のテーマ領域へ移すことができる点に基づいている。複数の学習テ
キストの文法構造は類似であるかまたは同一であり、それぞれの学習テキストを
基礎とするテーマ領域（ドメイン）から独立している。確率Ｐ（Ｃi｜Ｃi-1）は
ベース言語モデルに対して先行の学習トライアルによって求められ、新たなテキ
ストの語彙のクラス割り当てに関連する基礎知識となる。これは新たに求める必
要はなく、言語モデルが充分な程度に詳細性を有していれば引き継ぐことができ
る。
【００５２】確率Ｐ（ｗi｜Ｃi）の決定 ベース言語モデルに関する全ての新たな単語の確率Ｐ（ｗi｜Ｃi）を新たに計
算し、ベース言語モデルに存在する語彙の単語の確率Ｐ（ｗi｜Ｃi）を有利には
相応に適応化しなければならない。確率Ｐ（ｗi｜Ｃi）を求めるために以下に３
つの異なる方法を説明する。
算し、ベース言語モデルに存在する語彙の単語の確率Ｐ（ｗi｜Ｃi）を有利には
相応に適応化しなければならない。確率Ｐ（ｗi｜Ｃi）を求めるために以下に３
つの異なる方法を説明する。
【００５３】 方法１ 新たなドメインの新たな単語Ｗiに対する確率Ｐ（ｗi｜Ｃi）は、新たなドメ インのテキストに基づいて評価される。言語クラスに基づくベース言語モデルか
ら出発し、その際に新たに評価された確率Ｐ（ｗi｜Ｃi）は有利にはベース言語
モデルへ引き継がれ、これによりベース言語モデルは新たなテキストに即して適
応化される。有利にはこの手法は、新たなドメインの新たなテキストが充分な量
を有する場合に使用される。新たなテキストの各単語にはセンテンスコンテクス
トにより求められた少なくとも１つの言語クラスが割り当てられる。これは文献
［３］に記載されている“タグ付けツール”により行われる。新たなそれぞれの
単語Ｗiに対する確率Ｐ（ｗi｜Ｃi）は新たなテキストに即して評価される。
ら出発し、その際に新たに評価された確率Ｐ（ｗi｜Ｃi）は有利にはベース言語
モデルへ引き継がれ、これによりベース言語モデルは新たなテキストに即して適
応化される。有利にはこの手法は、新たなドメインの新たなテキストが充分な量
を有する場合に使用される。新たなテキストの各単語にはセンテンスコンテクス
トにより求められた少なくとも１つの言語クラスが割り当てられる。これは文献
［３］に記載されている“タグ付けツール”により行われる。新たなそれぞれの
単語Ｗiに対する確率Ｐ（ｗi｜Ｃi）は新たなテキストに即して評価される。
【００５４】 図２には単語の確率Ｐ（ｗi｜Ｃi）を求める適応化方法が示されている。クラ
ス識別子Ｆ２１１と言語辞書２０６とを用いてタグ付けツール２０２を使用し（
タグ付けツールの詳細な説明は文献［３］を参照）、大きなテキストのデータベ
ース２０１から“タグ付きの”大きなテキスト２０３が求められ、また新たなド
メイン（すなわち新たなテキスト）の小さなテキストのデータベース２０７から
は“タグ付きの”小さいテキスト２０８が求められる。“タグ付きの”大きなテ
キスト２０３からは言語モデル発生器２０４を用いて、言語クラスに基づくベー
ス言語モデル２０５が求められる。上述したように、確率Ｐ（Ｃi｜Ｃi-1）は変
更なしで新たなドメインの言語モデルへ導入される。“タグ付きの”小さいテキ
スト２０８からは、確率Ｐ（ｗi｜Ｃi）の評価を“タグ付きの”小さいテキスト
によって行う適応化ツール２０９を用いて、有利には適応化された新たな言語モ
デル２１０が求められる。これは限定的なものではなく、ここで説明した適応化
のほかに別の言語モデルを形成することもできる。
ス識別子Ｆ２１１と言語辞書２０６とを用いてタグ付けツール２０２を使用し（
タグ付けツールの詳細な説明は文献［３］を参照）、大きなテキストのデータベ
ース２０１から“タグ付きの”大きなテキスト２０３が求められ、また新たなド
メイン（すなわち新たなテキスト）の小さなテキストのデータベース２０７から
は“タグ付きの”小さいテキスト２０８が求められる。“タグ付きの”大きなテ
キスト２０３からは言語モデル発生器２０４を用いて、言語クラスに基づくベー
ス言語モデル２０５が求められる。上述したように、確率Ｐ（Ｃi｜Ｃi-1）は変
更なしで新たなドメインの言語モデルへ導入される。“タグ付きの”小さいテキ
スト２０８からは、確率Ｐ（ｗi｜Ｃi）の評価を“タグ付きの”小さいテキスト
によって行う適応化ツール２０９を用いて、有利には適応化された新たな言語モ
デル２１０が求められる。これは限定的なものではなく、ここで説明した適応化
のほかに別の言語モデルを形成することもできる。
【００５５】 方法２ 別の方法ではベース言語モデルによって与えられる個々の単語の確率Ｐ（ｗi ｜Ｃi）が低減され、それぞれの言語クラスＣi内で補足すべき語彙ないし単語へ
の低減された寄与分が移される。これは新たな単語のそれぞれの値Ｐ（ｗi）に 依存して行われる。
の低減された寄与分が移される。これは新たな単語のそれぞれの値Ｐ（ｗi）に 依存して行われる。
【００５６】 図３には単語の確率Ｐ（ｗi｜Ｃi）を求める第２の適応化方法が示されている
。クラス識別子Ｆ３１１と言語辞書３０６とを用いてタグ付けツール３０２に即
して、大きなテキストのデータベース３０１から“タグ付きの”大きなテキスト
３０３が求められる。言語モデル発生器３０４により“タグ付きの”大きなテキ
スト３０３から言語クラスに基づくベース言語モデル３０５が求められる。ベー
ス言語モデル３０５から確率Ｐ（Ｃi｜Ｃi-1）は変更なしで引き継がれる。新た
なドメイン３０７のワードリストに即して、適応化ツール３０８により適応化さ
れた言語モデル３０９が求められる。ここでも適応化という場合、言語モデルの
変更または形成を含む。適応化ツール３０８では新たな単語の確率Ｐ（ｗi｜Ｃi ）が確率Ｐ（ｗi）から計算され、再正規化がベース言語モデルの確率Ｐ（ｗi｜
Ｃi）に対して行われる。以下にこの方法を詳細に説明する。
。クラス識別子Ｆ３１１と言語辞書３０６とを用いてタグ付けツール３０２に即
して、大きなテキストのデータベース３０１から“タグ付きの”大きなテキスト
３０３が求められる。言語モデル発生器３０４により“タグ付きの”大きなテキ
スト３０３から言語クラスに基づくベース言語モデル３０５が求められる。ベー
ス言語モデル３０５から確率Ｐ（Ｃi｜Ｃi-1）は変更なしで引き継がれる。新た
なドメイン３０７のワードリストに即して、適応化ツール３０８により適応化さ
れた言語モデル３０９が求められる。ここでも適応化という場合、言語モデルの
変更または形成を含む。適応化ツール３０８では新たな単語の確率Ｐ（ｗi｜Ｃi ）が確率Ｐ（ｗi）から計算され、再正規化がベース言語モデルの確率Ｐ（ｗi｜
Ｃi）に対して行われる。以下にこの方法を詳細に説明する。
【００５７】 次の諸量はベース言語モデルにより与えられている。すなわちｗiはベース言 語モデルの語彙であってｉ＝１，．．．，Ｎであり、Ｎはベース言語モデルの語
彙の数であり、ＮCはベース言語モデルのそれぞれのクラスＣの単語数であり、 ｋはベース言語モデルのクラスの数であり、Ｐ（Ｃj）はベース言語モデルのク ラスに対するユニグラムの確率であってｊ＝０，．．．，ｋであり、Ｐ（Ｃj｜ Ｃi-1）はベース言語モデルのクラスに対するバイグラム確率であってｊ＝１， ．．．，ｋであり、Ｐ（ｗｉ｜Ｃj（ｗi））およびＰ（Ｃj（ｗi）｜ｗi）は単 語Ｗiが言語クラスＣjに存在する場合の全ての単語Ｗi，ｉ＝１，．．．，Ｎ、 および全てのクラスＣj（ｗi），ｊ＝０，．．．，ｋに対するベース言語モデル
の確率である。
彙の数であり、ＮCはベース言語モデルのそれぞれのクラスＣの単語数であり、 ｋはベース言語モデルのクラスの数であり、Ｐ（Ｃj）はベース言語モデルのク ラスに対するユニグラムの確率であってｊ＝０，．．．，ｋであり、Ｐ（Ｃj｜ Ｃi-1）はベース言語モデルのクラスに対するバイグラム確率であってｊ＝１， ．．．，ｋであり、Ｐ（ｗｉ｜Ｃj（ｗi））およびＰ（Ｃj（ｗi）｜ｗi）は単 語Ｗiが言語クラスＣjに存在する場合の全ての単語Ｗi，ｉ＝１，．．．，Ｎ、 および全てのクラスＣj（ｗi），ｊ＝０，．．．，ｋに対するベース言語モデル
の確率である。
【００５８】 言語モデルの言語クラスを新たなドメインに対して形成することは、ベース言
語モデルの言語クラスを形成することに相応する。ベース言語モデルのクラス識
別子Ｆ（式２を参照）が引き継がれる。したがって言語クラスの数ｋは変更され
ない。テキストの新たなドメインに対して、ベース言語モデルに基づく学習テキ
ストと類似した構造が出力される。クラスバイグラム確率Ｐ（Ｃi｜Ｃi-1）およ
びベース言語モデルのクラスユニグラム確率Ｐ（Ｃj）は変更されないまま維持 される。
語モデルの言語クラスを形成することに相応する。ベース言語モデルのクラス識
別子Ｆ（式２を参照）が引き継がれる。したがって言語クラスの数ｋは変更され
ない。テキストの新たなドメインに対して、ベース言語モデルに基づく学習テキ
ストと類似した構造が出力される。クラスバイグラム確率Ｐ（Ｃi｜Ｃi-1）およ
びベース言語モデルのクラスユニグラム確率Ｐ（Ｃj）は変更されないまま維持 される。
【００５９】 注目すべきことに個々の語のそれぞれに関連する確率Ｐ（ｗｉ｜Ｃj（ｗi））
および確率Ｐ（Ｃj（ｗi）｜ｗi）は維持される。確率Ｐ（ｗｉ｜Ｃj（ｗi）） および確率Ｐ（Ｃj（ｗi）｜ｗi）は新たなドメインのベース言語モデルには含 まれない語に対して計算される。ベース言語モデルの単語に対する既存の確率は
再スケーリングされる。
および確率Ｐ（Ｃj（ｗi）｜ｗi）は維持される。確率Ｐ（ｗｉ｜Ｃj（ｗi）） および確率Ｐ（Ｃj（ｗi）｜ｗi）は新たなドメインのベース言語モデルには含 まれない語に対して計算される。ベース言語モデルの単語に対する既存の確率は
再スケーリングされる。
【００６０】 新たなドメインに対して次の値が与えられている。すなわち、ｗhは新たなド メインのベース言語モデルには含まれない語彙であって、ｈ＝１，．．．，Ｌで
あり、Ｌは新たなドメインに対する言語モデルすなわち目標言語モデルの語彙の
数であり、ＬCはそれぞれの言語クラスＣにおける新たな単語Ｗhおよびベース言
語モデルの単語Ｗiの数であり、Ｐ（ｗh）は新たなドメイン内のクラスに依存し
ない単語の確率である。
あり、Ｌは新たなドメインに対する言語モデルすなわち目標言語モデルの語彙の
数であり、ＬCはそれぞれの言語クラスＣにおける新たな単語Ｗhおよびベース言
語モデルの単語Ｗiの数であり、Ｐ（ｗh）は新たなドメイン内のクラスに依存し
ない単語の確率である。
【００６１】 確率Ｐ（ｗh）は基礎となるテキストの単語の頻度および量を備えたワードリ ストにより与えられる。
【００６２】 確率Ｐ（Ｃj（ｗh）｜ｗh）の評価について説明する。それぞれ新たな単語Ｗh の確率Ｐ（Ｃj（ｗh）｜ｗh）を評価するために、 Ｐ（Ｃj（ｗh）｜ｗh）が同 じクラスＣjに存在するワードにほぼ等しいことから出発する。これにより次の 近似式、
【００６３】
【数７】
【００６４】 が相当する。ここでｗiはクラスＣjに存在するベース言語モデルの全ての単語で
ある。
ある。
【００６５】 以下の実施例では例としてクラスＣjを調査する。簡単化のために以下ではク ラスＣjをクラスＣと称する。
【００６６】 既存の確率値は再正規化しなければならない。以下では古い値を波形符号で示
す。
す。
【００６７】 式６の別の近似解は、全ての言語クラスと新たな単語のクラスとが一致する単
語Ｗi全体にわたっての合計である。
語Ｗi全体にわたっての合計である。
【００６８】 新たな確率Ｐ（ｗh｜Ｃ（ｗh））の計算、または与えられた確率Ｐ（ｗi｜Ｃ （ｗi））の再正規化のために以下の方法が適用される。すなわち、 １）ワードシーケンスにおける新たなワード成分αを求める ２）
【００６９】
【数８】
【００７０】 を
【００７１】
【数９】
【００７２】 により再正規化し、成分αを式１１により求める ３）クラスＣの新たなワード成分１−γCを求める ４）式１７により
【００７３】
【数１０】
【００７４】 を求める ５）γCを式１６により求める ６）確率Ｐ（ｗh｜Ｃ（ｗh））を
【００７５】
【数１１】
【００７６】 により求める。式１６を参照。この係数は言語クラスＣにおける古いワードの成
分と古いワードの語彙の成分との商として解釈される。
分と古いワードの語彙の成分との商として解釈される。
【００７７】 成分αを求めるために式８により
【００７８】
【数１２】
【００７９】 が得られる。ここから
【００８０】
【数１３】
【００８１】 が結論される。
【００８２】 成分γCを求めるためにベイズの法則が式６に適用される（文献［５］を参照 ）。これにより
【００８３】
【数１４】
【００８４】 が結論される。式１２に即して確率値の正規化特性を適用することにより（文献
［６］を参照）次のように示すことができる。すなわち
［６］を参照）次のように示すことができる。すなわち
【００８５】
【数１５】
【００８６】 である。
【００８７】
【数１６】
【００８８】 に対して、再正規化されていない古い分布としてγC≦１および
【００８９】
【数１７】
【００９０】 により
【００９１】
【数１８】
【００９２】 が成り立つ。ここから式８により
【００９３】
【数１９】
【００９４】 が結論され、ここで
【００９５】
【数２０】
【００９６】 である。
【００９７】 方法３ ベース言語モデルに関する新たな単語Ｗiの確率Ｐ（ｗi｜Ｃi）は相応のワー ドリストを使用して近似される。この方法では「方法２」で説明した方法の解の
ストラテジが引き継がれる。ここでは存在しない新たな単語Ｗhに対する確率Ｐ （ｗh）が近似される。これはそれぞれの単語ＷhのメインカテゴリＨＣに依存し
て行われる。近似的に
ストラテジが引き継がれる。ここでは存在しない新たな単語Ｗhに対する確率Ｐ （ｗh）が近似される。これはそれぞれの単語ＷhのメインカテゴリＨＣに依存し
て行われる。近似的に
【００９８】
【数２１】
【００９９】 が得られる。このためにベース言語モデルの単語ｗiの特性が使用される。ＮHC はメインカテゴリＨＣに存在するベース言語モデルの語彙の数である。加算はベ
ース言語モデルのそれぞれの単語Ｗiが属する全てのクラスＣjにわたって行われ
る。
ース言語モデルのそれぞれの単語Ｗiが属する全てのクラスＣjにわたって行われ
る。
【０１００】確率Ｐ（Ｃi-1｜ｗi-1）の決定 さらに確率Ｐ（Ｃi-1｜ｗi-1）が次に説明するようにして求められる。式３に
おいて確率Ｐ（Ｃi-1｜ｗi-1）がインデクスｉ−１を有していることに注意され
たい。以下ではこのインデクスを簡単にインデクスｉと設定する。
おいて確率Ｐ（Ｃi-1｜ｗi-1）がインデクスｉ−１を有していることに注意され
たい。以下ではこのインデクスを簡単にインデクスｉと設定する。
【０１０１】 確率Ｐ（Ｃi｜ｗi）はそれぞれ上述のようにして求められた確率Ｐ（ｗ1｜Ｃi ）から得られる。すなわち P（Ci｜wi）＝K×P（wi｜Ci）×P（Ci） （４）
であり、ここで正規化係数は
であり、ここで正規化係数は
【０１０２】
【数２２】
【０１０３】 である。言語クラスＣiはこの場合単語Ｗiに対して可能な全ての言語クラスを含
んでいる。確率Ｐ（Ｃi）はベース言語モデルから引き継がれる。これはベース 言語モデルのそれぞれの言語クラスに対するユニグラム確率である。
んでいる。確率Ｐ（Ｃi）はベース言語モデルから引き継がれる。これはベース 言語モデルのそれぞれの言語クラスに対するユニグラム確率である。
【０１０４】 本明細書の範囲で次の刊行物が引用されている。
【０１０５】
【表４】
【図１】 本発明の方法ステップを表すブロック図である。
【図２】 第１の適応化方法を示す図である。
【図３】 第２の適応化方法を示す図である。
【手続補正書】特許協力条約第３４条補正の翻訳文提出書
【提出日】平成１２年３月１４日（２０００．３．１４）
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】請求項６
【補正方法】変更
【補正内容】
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正内容】
【００２１】 本発明の課題は、コンピュータによる言語認識の際に少なくとも１つの単語か
ら成るシーケンスの発生する確率を求める方法を提供し、僅かなテキスト材料か
ら成るドメインに対する言語モデルを求めることである。
ら成るシーケンスの発生する確率を求める方法を提供し、僅かなテキスト材料か
ら成るドメインに対する言語モデルを求めることである。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】変更
【補正内容】
【００３８】 本発明の別の実施形態では、確率Ｐ（Ｗ）が予め設定された閾値を上方超過す
る場合に、相応の少なくとも２つの単語から成るシーケンスを認識する。そうで
ない場合には予め設定されたアクションを実行する。この予め設定されたアクシ
ョンとはエラーメッセージの出力または当該の方法を中止するトリガである。
る場合に、相応の少なくとも２つの単語から成るシーケンスを認識する。そうで
ない場合には予め設定されたアクションを実行する。この予め設定されたアクシ
ョンとはエラーメッセージの出力または当該の方法を中止するトリガである。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００４７
【補正方法】変更
【補正内容】
【００４７】 さらにステップ１０３で、少なくとも２つの単語から成るシーケンスの発生す
る確率Ｐ（Ｗ）が
る確率Ｐ（Ｗ）が
Claims (8)
- 【請求項１】 ａ）１つの言語は次の言語クラスを有し、すなわち （C1,...,Ck）＝F（（f1,v11,...,v1j）...（fm,vm1,...,vmj）） ここでｆmは言語特徴であり、ｍは言語特徴の数であり、ｖm1，．．．，ｖmjは 言語特徴ｆmの言語値であり、ｊは言語値の数であり、Ｃ1，．．．，Ｃkは言語 クラスであり、ｋは言語クラスの数であり、Ｆは所定の言語クラスに対する言語
特徴および言語値の写像ルール（クラス識別子）であり、 ｂ）１つの語に前記言語クラスのうち少なくとも１つを割り当て、 ｃ）少なくとも２つの単語から成るシーケンスの発生する確率を次式により求め
る、すなわち 【数１】 ここでＰ（Ｗ）は少なくとも２つの単語から成るシーケンスの発生する確率であ
り、Ｗは少なくとも２つの単語から成るシーケンスであり、ｗiはシーケンスＷ のｉ番目の単語であってｉ＝１．．．ｎであり、ｎはシーケンスＷの単語Ｗiの 数であり、Ｃiは単語Ｗiに属する言語クラスＣであり、Ｃi-1は単語Ｗi-1に属す
る言語クラスであり、ΣＣｉは単語ｗiに属する全ての言語クラスＣにわたる和 であり、Ｐ（ｗi｜Ｃi）は規定のワード確率であり、Ｐ（Ｃi｜Ｃi-1）はバイグ
ラムの確率であり（クラスバイグラム、バイグラム確率とも称する）、Ｐ（Ｃi- 1 ｜ｗi-1）は規定のクラス確率である、 ことを特徴とするコンピュータによる言語認識の際に少なくとも２つの単語から
成るシーケンスの発生する確率を求める方法。 - 【請求項２】 テキストごとに予め定められたベース言語モデルに即して、
確率Ｐ（Ｃi｜Ｃi-1）をベース言語モデルから引き継ぐことによりテキストごと
の確率Ｐ（Ｃi｜Ｃi-1）を求める、請求項１記載の方法。 - 【請求項３】 確率Ｐ（ｗi｜Ｃi）を以下の手段のうち少なくとも１つの手
段に従って求める、すなわち ａ）確率Ｐ（ｗi｜Ｃi）をテキストに即して求めるか、 ｂ）確率Ｐ（ｗi｜Ｃi）を単語ｗiごとに予め設定された確率Ｐ（ｗi）を用いて
求めるか、 ｃ）確率Ｐ（ｗi｜Ｃi）をワードリストを使用して求める、 請求項２記載の方法。 - 【請求項４】 求められた確率Ｐ（ｗi｜Ｃi）に即してベース言語モデルを
適応させる、請求項３記載の方法。 - 【請求項５】 確率Ｐ（Ｃi｜ｗi）を確率Ｐ（ｗi｜Ｃi）に即して次式によ
り求める、すなわち P（Ci｜wi）＝K×P（wi｜Ci）×P（Ci） ここで 【数２】 は正規化係数である、 請求項３または４記載の方法。 - 【請求項６】 少なくとも１つの単語から成るシーケンスが発生する確率Ｐ
（Ｗ）が予め設定された閾値を上方超過する場合に相応の少なくとも１つの単語
から成るシーケンスを認識し、そうでない場合には予め設定されたアクションを
実行する、請求項１から５までのいずれか１項記載の方法。 - 【請求項７】 前記予め設定されたアクションはエラーメッセージの出力ま
たは当該の方法を中止するトリガである、請求項６記載の方法。 - 【請求項８】 テキストが予め設定された適用領域に関連する、請求項２か
ら７までのいずれか１項記載の方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE19740911.3 | 1997-09-17 | ||
| DE19740911 | 1997-09-17 | ||
| PCT/DE1998/002632 WO1999014740A1 (de) | 1997-09-17 | 1998-09-07 | Verfahren zur bestimmung einer wahrscheinlichkeit für das auftreten einer folge von mindestens zwei wörtern bei einer spracherkennung |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001516903A true JP2001516903A (ja) | 2001-10-02 |
| JP4243017B2 JP4243017B2 (ja) | 2009-03-25 |
Family
ID=7842662
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000512197A Expired - Lifetime JP4243017B2 (ja) | 1997-09-17 | 1998-09-07 | コンピュータによる言語認識の際に少なくとも２つの単語から成るシーケンスの発生する確率を求める方法 |
Country Status (6)
| Country | Link |
|---|---|
| EP (1) | EP1016077B1 (ja) |
| JP (1) | JP4243017B2 (ja) |
| CN (1) | CN1111841C (ja) |
| DE (1) | DE59800737D1 (ja) |
| ES (1) | ES2158702T3 (ja) |
| WO (1) | WO1999014740A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006525552A (ja) * | 2003-04-30 | 2006-11-09 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング | 音声認識における統計的言語モデリング方法 |
| JP2008058341A (ja) * | 2006-08-29 | 2008-03-13 | Nippon Hoso Kyokai <Nhk> | 単語分類装置及び音声認識装置及び単語分類プログラム |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040078191A1 (en) * | 2002-10-22 | 2004-04-22 | Nokia Corporation | Scalable neural network-based language identification from written text |
| EP1450350A1 (en) * | 2003-02-20 | 2004-08-25 | Sony International (Europe) GmbH | Method for Recognizing Speech with attributes |
| CA2486125C (en) | 2003-10-30 | 2011-02-08 | At&T Corp. | A system and method of using meta-data in speech-processing |
| DE102004048348B4 (de) * | 2004-10-01 | 2006-07-13 | Daimlerchrysler Ag | Verfahren zur Adaption und/oder Erzeugung statistischer Sprachmodelle |
| US20060149553A1 (en) * | 2005-01-05 | 2006-07-06 | At&T Corp. | System and method for using a library to interactively design natural language spoken dialog systems |
| US8478589B2 (en) | 2005-01-05 | 2013-07-02 | At&T Intellectual Property Ii, L.P. | Library of existing spoken dialog data for use in generating new natural language spoken dialog systems |
| US8185399B2 (en) | 2005-01-05 | 2012-05-22 | At&T Intellectual Property Ii, L.P. | System and method of providing an automated data-collection in spoken dialog systems |
| CN101271450B (zh) * | 2007-03-19 | 2010-09-29 | 株式会社东芝 | 裁剪语言模型的方法及装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5418717A (en) * | 1990-08-27 | 1995-05-23 | Su; Keh-Yih | Multiple score language processing system |
| EP0481107B1 (en) * | 1990-10-16 | 1995-09-06 | International Business Machines Corporation | A phonetic Hidden Markov Model speech synthesizer |
| US5949961A (en) * | 1995-07-19 | 1999-09-07 | International Business Machines Corporation | Word syllabification in speech synthesis system |
-
1998
- 1998-09-07 WO PCT/DE1998/002632 patent/WO1999014740A1/de active IP Right Grant
- 1998-09-07 JP JP2000512197A patent/JP4243017B2/ja not_active Expired - Lifetime
- 1998-09-07 EP EP98954131A patent/EP1016077B1/de not_active Expired - Lifetime
- 1998-09-07 CN CN98809243A patent/CN1111841C/zh not_active Expired - Fee Related
- 1998-09-07 DE DE59800737T patent/DE59800737D1/de not_active Expired - Lifetime
- 1998-09-07 ES ES98954131T patent/ES2158702T3/es not_active Expired - Lifetime
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006525552A (ja) * | 2003-04-30 | 2006-11-09 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング | 音声認識における統計的言語モデリング方法 |
| JP4740837B2 (ja) * | 2003-04-30 | 2011-08-03 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング | 音声認識における統計的言語モデリング方法、システム及び記録媒体 |
| JP2008058341A (ja) * | 2006-08-29 | 2008-03-13 | Nippon Hoso Kyokai <Nhk> | 単語分類装置及び音声認識装置及び単語分類プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| WO1999014740A1 (de) | 1999-03-25 |
| CN1111841C (zh) | 2003-06-18 |
| CN1270687A (zh) | 2000-10-18 |
| EP1016077A1 (de) | 2000-07-05 |
| JP4243017B2 (ja) | 2009-03-25 |
| EP1016077B1 (de) | 2001-05-16 |
| DE59800737D1 (de) | 2001-06-21 |
| ES2158702T3 (es) | 2001-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7031101B2 (ja) | 方法、システムおよび有形コンピュータ可読デバイス | |
| CN108304372B (zh) | 实体提取方法和装置、计算机设备和存储介质 | |
| US6393388B1 (en) | Example-based translation method and system employing multi-stage syntax dividing | |
| US8909529B2 (en) | Method and system for automatically detecting morphemes in a task classification system using lattices | |
| US6598017B1 (en) | Method and apparatus for recognizing speech information based on prediction | |
| EP0838073B1 (en) | Method and apparatus for dynamic adaptation of a large vocabulary speech recognition system and for use of constraints from a database in a large vocabulary speech recognition system | |
| US7707027B2 (en) | Identification and rejection of meaningless input during natural language classification | |
| US6188976B1 (en) | Apparatus and method for building domain-specific language models | |
| US6910004B2 (en) | Method and computer system for part-of-speech tagging of incomplete sentences | |
| US7496621B2 (en) | Method, program, and apparatus for natural language generation | |
| CN106897439A (zh) | 文本的情感识别方法、装置、服务器以及存储介质 | |
| US20010051868A1 (en) | Method and configuration for forming classes for a language model based on linguistic classes | |
| CA2621451A1 (en) | Word recognition using ontologies | |
| US8099281B2 (en) | System and method for word-sense disambiguation by recursive partitioning | |
| JPH06266780A (ja) | 意味パターン認識による文字列検索方法及びその装置 | |
| CN111104803B (zh) | 语义理解处理方法、装置、设备及可读存储介质 | |
| US20210104235A1 (en) | Arbitration of Natural Language Understanding Applications | |
| JP2001516903A (ja) | コンピュータによる言語認識の際に少なくとも２つの単語から成るシーケンスの発生する確率を求める方法 | |
| CN114144774A (zh) | 问答系统 | |
| US20020103837A1 (en) | Method for handling requests for information in a natural language understanding system | |
| CN114550718A (zh) | 热词语音识别方法、装置、设备与计算机可读存储介质 | |
| López-Cózar et al. | Using knowledge of misunderstandings to increase the robustness of spoken dialogue systems | |
| JPH1049543A (ja) | 文書検索装置 | |
| US20050086214A1 (en) | Computer system and method for multilingual associative searching | |
| JP2004354787A (ja) | 統計情報を用いた対話方法及びその装置と、対話プログラム及びそのプログラムを記録した記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050906 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081128 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081226 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120109 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130109 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130109 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |