JP2003514304A5

JP2003514304A5 -

Info

Publication number: JP2003514304A5
Application number: JP2001536716A
Authority: JP
Filing date: 2000-10-13
Publication date: 2013-10-10
Anticipated expiration: 2020-10-13

Description

この最後の理由により、タイピング誤りは、ピンイン入力の文脈ではきわめて厄介なものである。ピンイン文字列は、文字間にスペーシングがないため再検討、訂正が非常に難しい。その代わりに、ピンイン文字は、ピンイン文字で構成される単語の数に関係なく混在する。さらに、ピンイン−漢字変換はすぐに実行されることはないが、追加ピンインを入力するにつれ正しい解釈が定式化され続ける。従って、ユーザが間違ったピンイン記号をタイプした場合、単一の誤りが変換プロセスによって複合され、下流に伝播して、いくつかの追加誤りの原因となる場合がある。その結果、システムが漢字に確定変換しその後ユーザが誤りのあったことに気づくまでに、１回訂正するのにユーザは数回バックスペースを入力せざるをえないため、誤り訂正の時間が長くかかる。システムによっては、元の誤りを明らかにできない場合さえある。

従って、モード切替を必要としない「モードレス」システムが必要なのである。モードを無用とするために、システムは、タイプしている言語を検出し、文字シーケンスを１単語ずつ一方の言語または他方の言語に動的に変換することができなければならない。

例えば、ユーザがピンイン入力テキスト「ｗｏｓｈｉｙｉｇｅｚｈｏｎｇｇｕｏｒｅｎ」をタイプすると、システムはこの文字列を中国語文字（一般に「私は中国人である」と翻訳される）に変換する。

（好ましい実施形態の詳細な説明）
本発明は、言語のある形式（例えば、表音バージョン）から言語の別の形式（例えば、書き言葉バージョン）に変換する言語入力システムおよび方法に関連する。このシステムおよび方法は、テキスト入力時に発生するスペルミスおよびタイプミスおよびある言語形式から別の言語形式への変換時に発生する変換誤りに対する誤り耐性がある。説明のため、本発明は、汎用コンピュータで実行される文書処理プログラムの一般的なコンテキスト（ｃｏｎｔｅｘｔ）において説明される。ただし、本発明は、文書処理以外の異なる多くの環境に実装することができ、またさまざまな種類のデバイスで実施することができる。他のコンテキストとしては、電子メールプログラム、表計算ソフト、ブラウザなどを含む。

言語入力システムは、統計的言語モデルを採用して非常に高い精度を達成している。一実施例では、言語入力アーキテクチャは、最高確率ベースの方法による統計的言語モデリング（ｓｔａｔｉｓｔｉｃａｌｌａｎｇｕａｇｅｍｏｄｅｌｉｎｇ）を使用し、自動で、単語をセグメント化し、語彙を選択し、トレーニングデータをフィルタ処理し、可能な最良の変換候補を求める。

センテンスベースの統計的言語モデリング（Ｓｔａｔｉｓｔｉｃａｌｓｅｎｔｅｎｃｅ−ｂａｓｅｄｌａｎｇｕａｇｅｍｏｄｅｌｉｎｇ）では、ユーザの入力が完全であると仮定している。実際には、ユーザの入力にはタイピング誤りやスペルミスが多数ある。従って、言語入力アーキテクチャは、確率論的スペリングモデルを使用して、ありがちなタイピング誤りやスペルミスを許容しながら正しいタイピングを受け入れる１つまたは複数のタイピングモデルを含む。タイピングモデルを英語や中国語など複数言語についてトレーニングし、どれくらいの確からしさで入力シーケンスがある言語の単語であって別の言語の単語ではないかを識別するようにできる。両方のモデルは並列実行でき、その言語モデル（例えば、中国語モデル）により誘導されて最も可能性の高い文字シーケンス（つまり、英語および中国語の文字）を出力する。

コンピュータシステム１００は、Ｉ／Ｏインタフェース１０６を介して接続された１つまたは複数の周辺装置を備える。例として、周辺装置は、マウス１１０、キーボード１１２（例えば、英数字ＱＷＥＲＴＹキーボード、表音キーボードなど）、ディスプレイモニタ１１４、プリンタ１１６、周辺記憶装置１１８、およびマイクロホン１２０を備える。例えば、コンピュータシステムは、汎用コンピュータで実装できる。従って、コンピュータシステム１００は、メモリ１０４に格納され、ＣＰＵ１０２で実行されるコンピュータのオペレーティングシステム（図に示されていない）を実装する。オペレーティングシステムは、ウィンドウ操作環境をサポートするマルチタスクオペレーティングシステムであるのが好ましい。適当なオペレーティングシステムの例として、ＭｉｃｒｏｓｏｆｔＣｏｒｐｏｒａｔｉｏｎ社のＷｉｎｄｏｗｓ（登録商標）ブランドのオペレーティングシステムがある。

説明の目的のために、ワードプロセッサ１３０は、中国語ベースのワードプロセッサでのコンテキストにおいて説明され、言語入力アーキテクチャ１３１はピンインを漢字に変換するように構成されている。つまり、表音テキストはピンインであり、言語テキストは漢字である。しかし、言語入力アーキテクチャは、言語と無関係であり、他の言語にも使用できる。例えば、表音テキストは日本語の話し言葉の形態でよいが、言語テキストは漢字などの日本語の書き言葉を表す。他の多くの例としては、アラビア語、韓国語、インド語、その他のアジア言語などを含むが、これに限定されるものではない。

ＵＩ１３２では、表音テキストを入力と同時に表示する。このＵＩは、グラフィカルユーザインタフェースであるのが好ましい。

ユーザインタフェース１３２は、表音テキスト（Ｐ）を検索エンジン１３４に渡し、さらに、これは表音テキストをタイピングモデル１３５に渡す。タイピングモデル１３５は、表音テキストに誤りが含まれていると思われる場合にユーザが意図した表音テキストの適当な編集結果と考えられるさまざまなタイピング候補（ＴＣ₁，．．．，ＴＣ_N）を生成する。タイピングモデル１３５は、妥当な確率が設定されている複数のタイピング候補を検索エンジン１３４に渡し、さらに、これはタイピング候補を言語モデル１３６に渡す。この言語モデル１３６は、センテンス処理中のテキスト文字列（すなわち、ｃｏｎｔｅｘｔ：コンテキスト（文脈））内でタイピング候補を求め、ユーザが意図した表音テキストの変換された形式を表すと考えられる言語テキストで書かれているさまざまな変換候補（ＣＣ₁，．．．，ＣＣ_N）を生成する。変換候補は、タイピング候補と関連付けられている。

検索エンジン１３４は、タイピングモデル１３５から返された有望なタイピング候補のリストを言語モデル１３６に送る。簡単にいうと、言語モデルは、語句やセンテンスなどの指定された文脈内に単語またはテキスト文字列がある確率を測定する。つまり、言語モデルは、項目（単語、文字、英字など）のシーケンスを取り、そのシーケンスの確率を推定することができる。言語モデル１３６は、検索エンジン１３４から有望なタイピング候補と前のテキストとを組み合わせ、タイピング候補に対応する言語テキストの１つまたは複数の候補を生成する。

言語入力アーキテクチャ１３１は、入力テキスト文字列の入力時に生じる誤りを許容し、入力文字列となる単語およびセンテンスで最も確率の高いものを返そうとする。言語モデル１３６は、タイピングモデル１３５でユーザが入力した入力文字列に対しどのセンテンスが最も妥当かを判別する際に役立つ。２つのモデルは、辞書から、入力された文字列ｓが認識可能でかつ有効な単語ｗである確率Ｐ（ｗ｜ｓ）として統計的に記述することができる。ベイズの公式を使用すると、確率Ｐ（ｗ｜ｓ）は次のように記述される。

分母Ｐ（ｓ）は、所与の単語（ｗ）を比較可能とする目的で、入力文字列（ｓ）が与えられる。したがって、分析は、分子の積Ｐ（ｓ｜ｗ）・Ｐ（ｗ）のみに関係し、確率Ｐ（ｓ｜ｗ）はスペルまたはタイピングモデルの確率を表し、確率Ｐ（ｗ）は言語モデルの確率を表す。より具体的には、タイピングモデルの確率Ｐ（ｓ｜ｗ）は、単語（ｗ）としてＸを入力するつもりの人がどの程度代わりにＹを入力することになるかを示す確率を記述する。言語モデルの確率Ｐ（ｗ）は、与えられたセンテンスの文脈において特定の単語（ｗ）がどの程度生成されているべきかを示す確率を記述する。

ピンインを漢字に変換するコンテキストにおいては、確率Ｐ（ｗ｜ｓ）は確率Ｐ（Ｈ｜ｐ）と言い換えることができ、Ｈは漢字文字列、ｐはピンイン文字列を表す。目標は、確率Ｐ（Ｈ｜ｐ）を最大にする、最も確率の高い中国語文字Ｈ′を見つけることである。従って、確率Ｐ（Ｈ｜ｐ）は、入力されたピンイン文字列ｐが有効な漢字文字列Ｈである確率である。ｐは固定されており、従って、確率Ｐ（ｐ）は与えられたピンイン文字列に対し一定であるため、ベイズ公式により、次のように確率Ｐ（Ｈ｜ｐ）が小さくなる。

Ｈ′＝ａｒｇｍａｘＰ（Ｈ｜ｐ）
＝ａｒｇｍａｘＰ（ｐ｜Ｈ）＊Ｐ（Ｈ）

確率Ｐ（ｐ｜Ｈ）はスペルまたはタイピングモデルの確率を表す。通常、漢字文字列Ｈは、さらに、複数の単語Ｗ₁，Ｗ₂，Ｗ₃，．．．，Ｗ_Mに分割され、確率Ｐ（ｐ｜Ｈ）は次のように推定できる。

Ｐｒ（ｐ｜Ｈ） ΠＰ（ｐ_f(i)｜Ｗ_i）

従来技術の統計ベースのピンイン−漢字変換システムでは、確率Ｐ（ｐ_f(i)｜Ｗ_i）は、Ｐ_f(i)が単語Ｗ_iの受け入れ可能なスペルである場合に１に設定され、ｐ_f(i)が単語Ｗ_iの受け入れ可能スペルでない場合に０に設定される。そのため、従来のシステムは、誤って入力された文字に対する耐性がない。一部のシステムでは、「南部訛りの発音」機能があり、このような問題に対応しているが、これはプリセット値確率１および０を採用している。さらに、このようなシステムは、（実際のタイピング誤りから学習する）データ駆動方式でないため、タイピング誤りのうちごくわずかしか扱えない。

対照的に、本発明で説明している言語入力アーキテクチャでは、タイピングモデルと言語モデルの両方を利用して変換を実行する。タイピングモデルでは、実際のコーパスから確率Ｐ（ｐ _f(i) ｜Ｗ _i ）をトレーニングすることにより誤って入力した文字に対する誤り耐性が可能になっている。タイピングモデルを構築する方法は多数ある。理論的には、すべての可能なＰ（ｐ _f(i) ｜Ｗ _i ）をトレーニングできるが、実際には、パラメータが多すぎる。トレーニングする必要のあるパラメータの個数を減らす１つの方法として、１文字単語のみを考察し、発音が等価なすべての文字を単一の音節に対応づける方法がある。中国語にはおおよそ４０６個の音節があり、これは本質的にＰ（ピンインテキスト｜音節）をトレーニングし、各文字を対応する音節に対応づけることである。以下では「タイピングモデルのトレーニング」という見出しのもとでこれについて詳述する。

言語入力アーキテクチャ１３１では、広範な確率が計算される。ピンイン−漢字変換の一目標は、確率Ｐ（ｐ｜Ｈ）を最大にする漢字文字列Ｈを見つけることである。これは、最大の確率を最良の漢字シーケンスとして求めるＷ_iを選択することにより実行する。実際、よく知られているＶｉｔｅｒｂｉＢｅａｍ検索のような効率的な検索方法を使用できる。ＶｉｔｅｒｂｉＢｅａｍ検索法の詳細については、「ＡｕｔｏｍａｔｉｃＳｐｅｅｃｈＲｅｃｏｇｎｉｔｉｏｎ」（ＫｌｕｗｅｒＡｃａｄｅｍｉｃＰｕｂｌｉｓｈｅｒｓ、１９８９）という表題のＫａｉ−ＦｕＬｅｅの記事、および「ＡｕｔｏｍａｔｉｃＳｐｅｅｃｈａｎｄＳｐｅａｋｅｒＲｅｃｏｇｎｉｔｉｏｎ − ＡｄｖａｎｃｅｄＴｏｐｉｃｓ」（ＫｌｕｗｅｒＡｃａｄｅｍｉｃＰｕｂｌｉｓｈｅｒｓ、１９９６）という表題のＣｈｉｎ−ＨｕｉＬｅｅ、ＦｒａｎｋＫ．Ｓｏｏｎｇ、ＫｕｌｄｉｐＫ．Ｐａｌｉｗａｌの記事に記載されている。

確率Ｐ（Ｈ）は、言語モデルを表し、所与の単語列のアプリオリな確率を測定する。統計的言語モデル構築の一般的な方法として、プレフィックスツリー風のデータ構造を利用して、知られているテキストのトレーニングセットからＮ重文字言語モデルを構築する方法がある。広く使用されている統計的言語モデルの一実施例として、Ｎ重文字マルコフモデルがあり、これについては、ＦｒｅｄｅｒｉｃｋＪｅｌｉｎｅｋ著「ＳｔａｔｉｓｔｉｃａｌＭｅｔｈｏｄｓｆｏｒＳｐｅｅｃｈＲｅｃｏｇｎｉｔｉｏｎ」（ＴｈｅＭＩＴＰｒｅｓｓ，Ｃａｍｂｒｉｄｇｅ、Ｍａｓｓａｃｈｕｓｅｔｔｓ、１９９７）に説明がある。プレフィックスツリーデータ構造（ａ．ｋ．ａ．サフィックスツリー、またはＰＡＴツリー）の使用により、高レベルアプリケーションで言語モデルを素早く実行し、実質的にリアルタイムに実行する特性を持つ。Ｎ重文字言語モデルでは、テキスト全体を通して文字列（サイズＮ）内の特定のアイテム（単語、文字など）の出現数をカウントする。このカウントを使用して、そのアイテムの列の使用の確率を計算する。

言語モデル１３６は、三重文字言語モデル（つまり、Ｎ＝３とするＮ重文字）であるのが好ましいが、状況によっては二重文字が適している場合がある。三重文字言語モデルは、英語に適しており、また中国にも十分機能するが、大きなトレーニングコーパスを利用すると想定している。

Ｐ（Ｗ₁，Ｗ₂，Ｗ₃，．．．，Ｗ_M）｜ΠＰ（Ｗ_n〜Ｗ_n-1，Ｗ_n-2）
（１）

図３は、ユーザによって入力された入力テキスト３００の例を示しており、タイピングモデル１３５および言語モデル１３６に渡される。入力テキスト３００を受け取ると、タイピングモデル１３５は入力テキスト３００を種々の方法でセグメント化し、キーボード入力時に生じる可能性のあるタイプミスを考慮した有望なタイピング候補のリストを生成する。タイピング候補３０２は、前の単語の終了時刻が現在の単語の開始時刻となるように、各時間フレーム内に異なる複数のセグメンテーション（segmentations）が存在する。例えば、候補３０２の上行は、入力文字列３００「ｍａｆａｎｇｎｉｔｒｙｙｉｓ．．．」を「ｍａ」、「ｆａｎ」、「ｎｉ」、「ｔｒｙ」、「ｙｉ」などにセグメント分割する。タイピング候補３０２の第２行は、入力文字列「ｍａｆａｎｇｎｉｔｒｙｙｉｓ．．．」を異なる形で「ｍａ」、「ｆａｎｇ」、「ｎｉｔ」、「ｙｕ」、「ｘｉａ」などにセグメント分割する。

これらの候補から、検索エンジン１３４は、候補のうちどれがユーザが意図するものである確率が最も高いかを判別する統計分析を実行する。タイピング候補は、各行毎に互いの関連性はなく、検索エンジンはいずれかの行から種々のセグメントを自由に選択し、受け入れ可能な変換候補を定義することができる。図３の例では、検索エンジンは、ハイライト表示になっているタイピング候補３０４、３０６、３０８、３１０、３１２、および３１４が最高の確率であることを示していると判断している。これらの候補は、左から右に連結され、候補３０４の後に候補３０６が続くなどして、入力テキスト３００の受け入れ可能な解釈を形成することができる。

ステップ４０２では、ユーザインタフェース１３２は、ユーザが入力したピンインなどの表音テキスト列を受け取る。入力テキスト文字列には、１つまたは複数のタイプミスが含まれる。ＵＩ１３２は、エディタ２０４を介して入力テキストを検索エンジン１３４に渡し、検索エンジンは入力テキストをタイピングモデル１３５とセンテンス文脈モデル２１６に配送する。

有望なタイピング候補が、検索エンジン１３４に返され、その後、言語モデル１３６に伝達される。言語モデル１３６は、有望なタイピング候補と以前の入力テキストとを組み合わせ、タイピング候補に対応する言語テキストの１つまたは複数の候補を生成する。例えば、図３の候補３０２を参照すると、言語モデルはボックス３０２ａ−ｊ内に言語テキストを可能な出力テキストとして返す。

＜タイピングモデルのトレーニング＞
上で指摘したように、タイピングモデル１３５は、確率Ｐ（ｓ｜ｗ）に基づいて処理がなされる。タイピングモデルでは、入力テキストを出力テキストに変換するのに使用できる異なるタイピング候補の確率を計算し、有望な候補を選択する。この方法で、タイピングモデルは、タイピング誤りが存在していても入力テキストの有望なタイピング候補を返すことにより誤りを許容する。

本発明の一態様は、実際のデータからのタイピングモデルＰ（ｓ｜ｗ）のトレーニングに関するものである。タイピングモデルは、数百または好ましくは数千などできる限り多くのトレーナによるテキスト入力に基づいて開発またはトレーニングされる。トレーナは同じまたは異なるトレーニングデータを入力し、入力されたデータとトレーニングデータとの差異をタイピング誤りとして捕らえる。目標は、同じトレーニングテキストをタイプさせ、タイピングでの誤りの個数またはタイピング候補に基づいて確率を求めることである。このようにして、タイピングモデルはトレーナのタイピング誤りの確率を学習する。

タイピングモデル１３５をトレーニングするためにさまざまな手法を使用できる。一方法では、タイピングモデルは、単一文字テキストについて、すべての同等な発音の文字テキストを単一音節に対応付けることにより直接トレーニングされる。例えば、中国語ピンインには４００を超える音節がある。音節を与える表音テキストの確率（例えば、Ｐ（ピンインテキスト｜音節）をトレーニングし、各文字テキストを対応する音節に対応付ける。

図６は、音節対応付けトレーニング手法６００を示している。ステップ６０２で、トレーニングプログラム５０８は、トレーナが入力したテキスト文字列を読みとる。テキスト文字列は、センテンスでも、また単語および／または文字のその他のグループでもよい。プログラム５０８は、音節をテキストの文字列内の対応する英字に合わせるか、または対応付ける（ステップ６０４）。各テキスト文字列では、各音節に対応付けた英字の頻度が更新される（ステップ６０６）。これは、ステップ６０８から「はい」分岐で表されているように、トレーナにより入力されたトレーニングデータに含まれるテキスト文字列ごとに繰り返される。最終的に、入力されたテキスト文字列は、中国語ピンインの多くのまたはすべての音節を表す。ステップ６０８から「いいえ」分岐により表されるように、すべての文字列が読み込まれたら、トレーニングプログラムは、ユーザが各音節をタイピングする確率Ｐ（ピンインテキスト｜音節）を決定する（ステップ６１０）。一実装では、そのタイピングする確率Ｐ（ピンインテキスト｜音節）は、すべての音節を最初に正規化して決定される。

さらに他のトレーニング手法では、トレーニングは英字の挿入（φ→ｘ）、

英字の削除（ｘ→φ）、

および一方の文字を他方に置換（ｘ→ｙ）

目的関数は、英語ではスペルモデルＰ（ｐ｜Ｈ）、中国語では言語モデルＰ（Ｈ）の２つの部分があることで特徴付けることができる。

多言語変換を説明するために、ユーザが「私はＩＮＴＥＲＮＥＴマガジンを読むのが好きだ」という意味のテキスト文字列「ｗｏａｉｄｕｉｎｔｅｒｎｅｔｚａｚｈｉ」を入力すると仮定する。初期文字列「ｗｏａｉｄｕ」を受け取った後、中国語タイピングモデルは、英語タイピングモデルよりも高い確率となり、入力テキストのその部分を「ＩＮＴＥＲＮＥＴ」に変換する。このアーキテクチャは、続いてタイプした曖昧な部分「ｉｎｔｅｒｎｅ」を英字「ｔ」がタイプされるまで探し続ける。このときに、英語タイピングモデルは、「ＩＮＴＥＲＮＥＴ」について中国語タイピングモデルよりも高い確率を返し、言語入力アーキテクチャは入力テキストのこの部分を「ＩＮＴＥＲＮＥＴ」に変換する。次に、中国語タイピングモデルは、「ｚａｚｈｉ」について英語タイピングモデルよりも高い確率を示し、言語入力アーキテクチャは入力テキストのその部分について変換する。

タイピングモデルはそれぞれ、ステップ８０４（１）〜８０４（Ｎ）によって表されるような入力テキストに基づいて有望なタイピング候補を生成する。ステップ８０６では、妥当な確率が設定された有望なタイピング候補が検索エンジン１３４に返される。ステップ８０８では、検索エンジン１３４がタイピング確率とともにタイピング候補を言語モデル１３６に送る。ステップ８１０では、言語モデルが有望なタイピング候補と以前の入力テキストとを組み合わせることによってセンテンスベースの文脈を提供し、図３に示したように、複数のタイピング候補を通じてセグメント経路を選択することによりタイピング候補に対応する言語テキストの１つまたは複数の変換候補を生成する。ステップ８１２では、検索エンジン１３４は統計分析を実行して、ユーザが意図する最高の確率を示す変換候補を選択する。