JP2006040263A - アジア言語用の手書き入力 - Google Patents

Abstract

【課題】漢字（アジア表意文字）の手書き認識入力は、漢字の複雑さと行書体を避けて書くため、手書き認識の入力スピードは低下する。その入力を迅速にしかも容易にできるシステムが必要である。
【解決手段】表意文字を入力し、インクストロークとして西洋言語手書き文字認識し、生ピンインラティスより有効な文字列を生成し、単語ラティスを得る。得られた単語ラティスを言語モデルデコーダに送り、最良の結果を漢字に変換する。
【選択図】図１３

Description

本発明の態様は、ハードウェアおよびソフトウェア製品に関する。より詳細には、本発明の態様は、アジア言語による情報入力のための改善されたプロセスをユーザに提供することに関する。

コンピューティングシステムには、様々な言語によるものが存在する。これらの言語は、キャラクタベース表現と記号ベース表現を含む。西洋式の１０４キーボードは、世界中で広く使用されているが、一方で、記号ベースの言語を使用するユーザは、入力機能が限られたキーボードを使用しつつ、記号の入力方法を必要としている。記号言語を入力する１つの方法は、１つの言語に対して個別のインプットメソッドエディタ（ＩＭＥ、Ｍｉｃｒｏｓｏｆｔ社製）を使用することである。

アジア言語のテキスト入力は、コンピューティングにおける今日の最も手強い問題のひとつである。これは、アジア言語のコンピューティングのボトルネックとなってきた。アジア言語のキャラクタセットは、ユニコード規格の改定毎に常に増加し続けている。例えば、ユニコード２．０ には２０，９０２キャラクタのＣＪＫキャラクタ（中国語、日本語、韓国語）が定義されている。ユニコード ３．０ は２７，４８４キャラクタを含み、エクステンションＢは、さらに４０，７７１キャラクタを追加している。

ＩＭＥの提供する変換エンジンは、英字をアジアキャラクタに変換する。一般的に、アジアキャラクタは、表音をベースに符号化される。これには、文字の組合せや、文字と数字の組合せも含まれる。時には、英語の句読点をアジア言語の句読点に変換する必要もある。さらに、英語のテキストをアジア言語のテキスト（および／または記号、表音文字／キャラクタおよびアジア表意文字（漢字）との混在）と組み合わせることもある。従って、符号化の方法相互間の迅速で容易な切換能力が求められる。

従来の方法は、数多くの問題を抱えている。
a. 手書き入力の方がキーボード入力に比べて自然であるが、アジア言語にとって、主要な入力機構はキーボード入力である。
b. 一般に、漢字に関しては、手書き入力は迅速に行なわれるが、ピンイン文字のキーボードによるタイピングは遅い。

従来の手書き認識入力の場合、ユーザは漢字（東アジア表意文字）を書く必要がある。漢字は、多くのストロークからなるため、漢字の書き方は複雑である。その上、現在の中国語による手書き認識入力方法では、高い認識率（精度）を達成するためには、ユーザはストロークを別々に（筆記体ではなく）書く必要がある。この漢字の複雑さと行書体を避けて書くこと、および低い精度（エラー訂正率を基準とした場合）とが相まって、手書き認識入力のスピードは低下する。ユーザがアジア言語によるテキストの入力を迅速にしかも容易にできる、改善されたシステムが必要とされている。

本発明の態様は、１または複数の上記の問題に取り組み、それによりアジア言語によるテキスト入力の解決法を提供する。本発明の態様は、スタイラスを使用した情報を入力する能力を含む。図面と関連する記述により、これらのおよび他の態様を取り上げる。

本発明の態様は、アジア言語によるテキスト入力能力を提供することに関する。以下、読者が理解しやすいように、様々なセクションに分けて説明する。これらの見出しには、インクの特性、用語、汎用コンピューティング環境、ハードウェア入力、ユーザインタフェース、および手書きユーザ入力インターフェイスが含まれる。

インクの特性
インクペンを使用する者には周知のように、物理インク（インクタンクのあるペンを使用して紙上に書き込んだ種類）は、ラインセグメントにより接続される一連の座標よりも多い情報を伝達する。例えば、物理インクは、ペン圧（インクの濃淡による）、ペン角度（ラインもしくはカーブセグメントの形状、並びに、目立たない点の周りにあるインクの挙動による）、並びにペン先速度（真直度、線幅、並びに、直線もしくは曲線の全体に亘る線幅変化による）を反映することができる。これらの追加的な特性により、点の間の均一な線幅と比べて、感情、個性、強調等を瞬時に伝達することができる。

電子インク（またはインク）は、ユーザがスタイラスベースの入力装置を使用した場合に取り込まれた電子情報の、取り込みと表示に関係する。電子インクは、一連のストロークを指し、各ストロークは一連の点から成る。このような点は、デカルト座標（Ｘ、Ｙ）、極座標（ｒ、Θ）その他の技術等を含む当分野の周知の各種技術を使用して表される。電子インクは、圧力、角度、速度、色、スタイラスサイズ、およびインク不透明度を含む実際のインク特性の表現を含んでも良い。電子インクは、他の情報の中でもとりわけ、インクをページ上に書く順序（ほとんどの西洋言語に関しては左から右、上から下の順のラスタパターン）、タイムスタンプ（インクが書かれた時点を示す）、インクの作者の表示、および発生装置（インクを描くマシーンの識別とインクを書くために使用したペンの識別の少なくとも1つ）を含む、さらに別の特性を含んでもよい。

用語
インク：特性（ｐｒｏｐｅｒｔｙ）を持つ一連のまたは１組のストローク。一連のストロークには、ストローク順序付けられた形式のものが含まれる。ストローク順は、取り込まれた時間により、またはストロークが現れるページ上の位置により、またはインクの作者による協調状況の中で決まる。別のストローク順も可能である。１組のストロークには、一連のストローク、または順不同のストローク、あるいは、それらの任意の組合せを含んでもよい。さらに、特性によっては各ストロークまたはストローク内の点に対し固有のものであってもよい（例えば、ペン圧、速度、角度等）。これらの特性は、インクのレベルではなく、ストロークまたは点のレベルで記憶される。

インクオブジェクト：インクを特性と共に、または特性なしで記憶されるデータ構造体。

ストローク：一連のまたは１組の取り込まれた点。例えば、描写するとき、一連の点は線で結合される。代わりに、ストロークは、点並びに次の点の方向を向くベクトルとして表現してもよい。要するに、ストロークは、点および／または点をつなぐものの基底表記に関係なく、インクに関する点またはセグメントのいかなる表記も含むことを意図している。

点：スペースにおける位置を定義する情報。例えば、点は、取り込みスペース（例えばデジタイザ上の点）、仮想インクスペース（取り込まれたインクの置かれるスペース内の座標）および／またはディスプレイスペース（ディスプレイデバイスの点またはピクセル）に対して定義される。

文書：視認可能な表記とコンテンツを持つ電子ファイル。文書は、ウェブページ、ワードプロセシング文書、ノートページまたはノートパッド、表計算、ビジュアルプレゼンテーション、データベースレコード、画像ファイル、およびそれらの組合せを含んでもよい。

汎用コンピューティング環境
図１および図２は、本発明を実施するのに適した動作環境１００および２０１を例示したものである。動作環境１００および２０１は、適切な動作環境のほんの数例に過ぎず、本発明の用途や機能性にいかなる限定をも示すものではない。本発明の使用に適する他の周知のコンピューティングシステム、環境および／または構成には、パーソナルコンピュータ（ＰＣ）、サーバコンピュータ、ハンドヘルドまたはラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサベースシステム、プログラム可能なコンシューマエレクトロニクス、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、上記の任意のシステムやデバイスを含む分散コンピューティング環境等が含まれるが、これらに限定されるものではない。

本発明の態様は、プログラムモジュール等、１つもしくは複数のコンピュータまたは他のデバイスにより実行されるコンピュータ実行可能命令の一般的環境として説明してもよい。一般的に、プログラムモジュールには、特定のタスクを実行するかまたは特定の抽象データ型を実施するルーチン、アルゴリズム、プログラム、オブジェクト、コンポーネント、データ構造等が含まれる。典型的に、プログラムモジュールの機能性は、各種実施例の中で必要に応じて、組み合わされ、または分散される。

コンピューティングデバイスシステム１００および２０１は、典型的に少なくとも何らかの形のコンピュータ読取り可能媒体を含む。コンピュータ読取り可能媒体は、サーバ１０３またはシステム２０１がアクセスできる利用可能な媒体であれば、何れでも良い。例として、コンピュータ読取り可能媒体には、コンピュータストレージ媒体と通信媒体が含まれるが、これらに限定されない。コンピュータストレージ媒体には、コンピュータ可読命令、データ構造、プログラムモジュールまたはその他のデータ等、情報を格納するための任意の方法または技術により実施される揮発性および不揮発性媒体、取外し可能および取外し不可能媒体の両者が含まれる。コンピュータストレージ媒体には、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリまたはその他のメモリ技術、ＣＤ-ＲＯＭ、デジタル汎用ディスク（ＤＶＤ）またはその他の光ストレージ、磁気カセット、磁気テープ、磁気ディスクまたはその他の磁気記憶装置、またはその他の媒体で、所望の情報の格納に使用可能で、サーバ１０３またはシステム２０１がアクセスすることのできるものが含まれるが、これらには限られない。通信媒体は典型的に、コンピュータ可読命令、データ構造、プログラムモジュールまたはその他のデータを、搬送波またはその他のトランスポート機構等の変調データ信号中に実現するもので、任意の情報配信媒体が含まれる。用語「変調データ信号」は、情報を信号の中に符号化する方法によってその信号の一つまたは複数の特性を設定または変更された信号を意味する。一例として、通信媒体には、有線ネットワークまたは直接有線接続などの有線媒体、および音響，ＲＦ、赤外線およびその他の無線媒体などの無線媒体が含まれるが、これらに限定はされない。上述のいかなる組合せも、コンピュータ読取り可能媒体の範囲に含まれる。

図２を参照すると、本発明の態様を実施するための例示したシステムは、デバイス２０１等のコンピューティングデバイスを含む。この最も基本的な構成においては、デバイス２０１は、典型的に処理ユニット２０４とメモリ２０３を含む。コンピューティングデバイスの厳密な構成や型によっては、メモリ２０３は、揮発性（ＲＡＭ等）、不揮発性（ＲＯＭ、フラッシュメモリ等）または、その２つの何らかの組合せであってもよい。さらに、デバイス２０１は、磁気ディスクまたは光ディスク、またはテープ２０５、２０６のようなマスストレージ（取外し可能および／または取外し不可能）を備えてもよい。同様に、デバイス２０１は、２０８（マウス、スタイラス、キーボード、トラックボール等を含む）のような入力デバイスおよび／またはディスプレイ等のような出力デバイス２０７を備えてもよい。デバイス２０１の他の態様として、有線または無線媒体２１０を使用して、他のデバイス、コンピュータ、ネットワーク、サーバ等に接続するネットワーク接続２０９を含んでもよい。これら全てのデバイスは当分野では周知のものであり、ここで詳述する必要はない。

ハードウェア入力
本発明の態様に関連したシステムに手書き情報を入力するには、様々な入力方法がある。図３に示すデジタイザ３０１は、手書きされた入力を受け入れ、その入力を入力レコグナイザ３０３に転送し、次に認識された入力をオペレーティングシステムおよび／またはアプリケーション３０４に転送する。このシステムは、入力レコグナイザ３０３に転送されるユーザ入力を受け入れるキーボード３０２を含んでもよい。ここでは、入力レコグナイザ３０３は、ＩＭＥだけでも、また追加機能を持つＩＭＥでもよい。例えば、入力レコグナイザ３０３は、手書きを認識する手書き認識エンジンを含んでもよい。認識するキャラクタ数が限られている場合、認識精度は向上する。例えば、ピンインを使用する場合、認識する必要があるのは、わずか４０８キャラクタ／組合せである。これらには、英語だけを使用しても、英語と漢字を用いる簡体字中国語を使用しても、または、漢字で簡体字中国語のみを使用してもよい。

図４は、図３の変形を示す。図４においては、様々な型のデジタイザ（アクティブデジタイザ３０１Ａおよびパッシブデジタイザ３０１Ｂを含む）を使用してもよい。また、本発明の態様は、任意の数のキー（Ｎ）のキーボード３０２Ａを使用してもよい。手書きされた入力は、手書き入力レコグナイザ４０１で認識される。次に、手書きレコグナイザの出力は、ＩＭＥレコグナイザ４０２によって認識される。キーボード３０２Ａからの出力は、ＩＭＥレコグナイザ４０２によって認識される。

このシステムは、ハードウェアのキーボードがあっても、なくても使用できる。例えば、ピンイン手書き入力は、キーボードと共に、またはキーボードなしで使用してもよい。例えば、手書きレコグナイザが認識できるキャラクタを描き、単語を書くためのスタイラスやその他のポインティングデバイスを使用してもよい。例えば、レコグナイザに対する入力として、様々なストロークを持つ電子インクを使用してもよい。手書きレコグナイザは、次に手書きレコグナイザからの入力を認識するＩＭＥレコグナイザに結合される。

手書きレコグナイザ４０１は、ＩＭＥレコグナイザ４０２のいくつかの態様から分離しても、それらに結合してもよい。例えば、手書きレコグナイザ４０１は、ストロークや、所定の認識情報に基づく他の入力を認識する。代わりに、手書きレコグナイザ４０１は、ＩＭＥレコグナイザ４０２のカーネル変換エンジンの一部を使用してもよい。

ユーザインタフェース
様々なユーザインタフェースが、特殊キーとＩＭＥの組合せと共に使用される。図５〜図９は、ピンインＩＭＥと共に使用される各種ユーザインタフェースを示す。これらのユーザインタフェースは、各種キーボードと共に使用してもよい。

図５は、ユーザがキャラキウタを構成するのに役立つ情報を表示する様々な領域を示す。コンポジションウィンドウが、領域１１０１として示してある。コンポジションウィンドウ１１０１には、すでに構成されたキャラクタ１１０２と、構成中のキャラクタ１１０３が含まれる。図５には、１１０３のキャラクタの音声に適合する候補を示す候補ウィンドウ１１０４も含む。次に、ユーザは適切な候補を選択し、１１０３を置き換えて構成キャラクタ１１０２に追加される。最後に、図５は、ステータスバー１１０５を示す。

図６は、確定文字列１２０１およびステータスバー１２０２を示す。図６は、再変換前のユーザインタフェースを示す。この時、１２０１のキャラクタは確定している。

図７は、コンポジションウィンドウ１３０１、候補リスト１３０２、およびステータスバー１３０３を示す。再変換後、ページからのテキスト列は、表示されているコンポジションウィンドウ１３０１および候補リスト１３０２に逆ロードされる。図６において、ユーザはテキストを入力し、システムに適切なキャラクタを選択させている。図７において、ユーザは、自分が意図するようにテキストを変更するさらなる機会をシステムに要求する。

図８は、エンドユーザ定義によるフレーズツールを示す。この場合、ユーザは表音入力に対する所望のキャラクタを入力する。これらはエンドユーザ定義によるフレーズと呼ばれる。例えば、技術文書を打ち込んでいる際に、１つのフレーズが他のフレーズよりも使用頻度が高い場合に、この表音テキストが対応すべきキャラクタを特定する機能が、ユーザに提供される。これにより、ユーザの入力はより速くなる。

手書入力ユーザインタフェース
前節では、変換する情報のキーボード入力について記述した。さらに、手書き入力および音声入力を含む入力方法を使用してもよい。以下、電子インクを使用してアジア言語を構成する表音入力について記述する。

東アジア言語においては、言語はＣＪＫキャラクタ（中国語、日本語、および韓国語）を使用して構成するが、この言語の発音は、様々な表音体系によって表わされる。この表音体系は、限られた表音文字からなる。例えば、中国語の場合、この表音体系はピンインと呼ばれる。上述のように、この表音文字は、英語に見られる文字と同じである。声調なしで使用できるピンインは、４０８の音節である。一方、ＣＪＫキャラクタは、ユニコード ２．０で２０，９０２キャラクタ、東アジア言語では、８０，０００以上のキャラクタが使用されている。

従来の方法では、手書き入力のストローク認識が使用されてきた。しかしながら、キャラクタの複雑さ、および行書体による筆記、特にシナリオを書記する際の満足できる認識精度という点から、こうした方法には限界がある。

中国語キーボードＩＭＥは、当分野では周知のように、統計的言語モデルを使用してピンインを漢字に変換する。ここに記述する手書き認識は、ＣＪＫ（キャラクタ）の手書きインクをテキストＣＪＫキャラクタに変換する（キャラクタ手書き認識とも呼ばれる）。本発明のいくつかの態様は、手書き認識と中国語キーボードＩＭＥを結合する。これらの態様は、手書き入力および手書き認識の本来の性質をキーボードベースのＩＭＥ変換エンジンの立証されている効率性を、結合させるものである。漢字を書く際の複雑さに比べて、ピンイン（英字または同等のキャラクタを使用する）の筆記は、より迅速に行える。それは、単語または音声を完成するのに必要なストローク数が少なくて済むからである。他の態様においては、次第に構成されている所望のキャラクタ（または、表音部）、および限られた使用できるピンインの語彙（４０８）に基づいて、より高い認識精度を提供する一方で、ピンイン入力における筆記方法は行書体でもよい。簡単に言うと、精度、使い易さ、および効率の問題から、直接キャラクタ手書き認識は、キーボードベースのＩＭＥほど一般的ではない。

当分野においては周知のように、東アジアキーボードＩＭＥは、表音（ここでは、中国語のピンイン）を良好な精度でＣＪＫキャラクタに変換する言語モデル並びにアルゴリズムと共に使用すると効果的である。ピンインの表音入力は、限定された入力を含む。すなわち、４０８の有効な組合せを持つ英字２６文字である。この限られた語彙をベースにして、手書き認識システムは、入力された表音を認識し、便利な結果をもたらすことができる。

ピンインの手書き入力、手書き入力の認識、それに続くピンインの漢字への変換を組み合わせることにより、下記の1または複数のことが実現できる。
・ユーザにとっては、より小さなユーザインタフェース（例えば、ハンドヘルドコンピューティングデバイスや携帯電話に搭載された）を使用してピンインの手書き入力が容易にできる。
・人は、複雑かつ完全な中国表意文字キャラクタをそのまま書く方法を忘れる。
・場合によっては、ピンイン（英字）を書くのは漢字を書くよりも容易である。
・その限られた語彙からすると、システムは複雑な漢字よりもピンイン文字列に対して高い認識率を示す。
・一般に、筆記体手書き認識技術はラテン文字に対しては効果的であり、一方、東アジアキャラクタ手書き技術においてはあまり効果的でない。
・ピンインから漢字への変換は、キーボードベースのＩＭＥにおいては効果的である。

ピンイン手書き認識エンジンは、１または複数の認識コンポーネントを含む。第１に、ピンイン手書き認識エンジンは、手書きの筆記体で入力した英語を認識する標準的な英語手書き認識エンジンを含む。この認識エンジンは、有効なピンイン（例えば４０８ピンイン）の語彙セットに限定されても、されなくてもどちらでもよく、英単語の豊富な語彙と比較するものである。第２に、ピンイン手書き認識エンジンは、中国語キーボードＩＭＥエンジン（例えば、ＭＳＰＹ ＩＭＥ、 Ｍｉｃｒｏｓｏｆｔ社製）のようなピンインから漢字への変換エンジンを含む。この代わりに、ピンインＩＭＥではなく、別の表音文字からキャラクタへの認識エンジン（例えば、日本語、韓国語、および他の入力方法による中国語のいずれかに変換するもの）を用いてもよい。

さらに、手書き認識入力（ストロークから構成される表意的な漢字を認識する能力）は、手書きキャラクタを構成するための従来の手書き手法に関する。ここで、ピンイン（表音文字）手書き入力は、素早くテキストを入力する（例えば、シナリオを書記する場合）ための入力技術を提供し、手書き認識技術および表音文字から漢字への変換技術を組み合わせる。

図９は、手書き入力で用いるユーザインタフェースを示す。領域１６０１は、ピンインから変換された漢字を示す。領域１６０２は、入力された手書きインクに基づいた新たな候補を示す。ここで、領域１６０２の候補とは、手書き認識エンジンの結果であり、その結果が、領域１６０４の漢字候補リストとともに領域１６０３に（英語での表音的なピンイン文字列、ここでは「ｈｕａ」、とともに）示されている。この領域１６０２は、領域１６０４の第１候補と共に配置されたものである。領域１６０５は、ユーザが新たな手書き情報を入力することのできる場所である。図９では、ユーザが英語の筆記体で「ｍａｏ」と入力したところであり、続いて、「ｍａｏ」の候補が、領域１６０４に各候補の中国語での同等な文字と供に領域１６０３に現れる。

本発明のシステムを用いて、ユーザがスタイラスを接触領域（ｃｏｎｔａｃｔ ｒｅｇｉｏｎ）から持ち上げたとき、別の領域へ操作したとき、送信ボタンを押したとき、フォーカスを変えたとき、もしくは、領域１６０５でのインクの入力後に何らかの遅延が発生した後で、領域１６０５内で入力の認識が開始される。他のイベントが、領域１６０５におけるインクの認識をトリガしてもよい。

領域１６０５での入力は、様々な形態で行われてよい。例えば、英字（単語「ｍａｏ」のインクで図１０に示したような）や、４つのストロークを有する図１１の漢字、「中」を含むこともできる（within、among、in、middle、center、while(doing sth) 、during、China、Chinese、 を意味する“zhongl”の意味）。

図１２は、表音の手書きを認識するための例示的な処理を示す。まず、ユーザがペンによって表音（ピンイン）を入力し始める。ステップ１８０１において、この入力を収集してインクストロークにする。スタイラス（または指か他のポインティング装置）が画面に接触する場所またはカーソルの位置かその近傍に現れるインクの軌跡をユーザに表示してもよい。

ステップ１８０２において、例えば西洋言語の手書き認識エンジンによって収集されたストロークを認識して、生ピンインラティス１８０３にする。いつ認識を始めるかは、上述のように定義することが可能である。

ステップ１８０４においては、生のピンインラティス１８０３をピンインパーサ１８０４に送信する。ピンインパーサ１８０４は、有効なピンインの文字列１８０５の生成を試みる。１または複数の音節を検出するか、有効なピンインの文字列長さ限界以上の結果になる場合は、ステップ１８０６に示したようなＩＭＥエンジンへ進む。有効な音節が見つからない場合は、ステップ１８０１へ戻る。

図１３は、言語モデルデコーダおよび他のステップを図１２の処理とともに用いる例を示す。ステップ１８０６に続き、有効なピンインの文字列を用いて、ステップ１９０１のレキシコンに基づいた単語ラティスを作成し、それが単語ラティス１９０２になる。この単語ラティス１９０２を言語モデルデコーダに送信する。そして、ステップ１９０３からの最良の結果を１９０４の漢字に変換する。

以下のステップは、候補の表示および選択に関する。本発明の実施に関し、以下のステップの全部もしくは一部を使用するか、まったく使用しないかは任意である。以下のステップは、破線の箱形で示され、その選択肢的な性質が強調されている。ステップ１９０５においては、ユーザにある漢字が表示される。この表示は、内容をユーザに表示するコンポジションウィンドウのサイズを変更することを含んでも、含まなくてもよい。ステップ１９０６においては、直前に変換した単語／キャラクタに関するピンインの代替案を示してもよい。また、ステップ１９０６は、直前に変換した単語／キャラクタに関する代替キャラクタの表示を含んでも、含まなくてもよい。ステップ１９０７においては、キャラクタを送信するよう命令されたときか、ユーザがナビゲートから離れたときなどに、選択に際して何らかの構成文字列をアプリケーションに送信する。

図１０、図１１に関し、本システムは、２つの入力種類を区別できる。図１０に示したような筆記体の入力を用いる場合は、ユーザは、次のストロークを描く前か、次の文字を書き込む前にペンを持ち上げる必要がない。これに対し図１１において、アジアの表意文字で書き込むユーザは、次のストロークを開始して認識させる前にペンを持ち上げる必要がある。

以下は、入力した手書き文字の漢字への自動変換を開始するための、上述した他の処理の中から、各種処理を説明する。
・タイマーとなるイベントが発生した場合、または、
・インクが入力状態にない場合
そのような場合、ピンインパーサが、生のピンインラティスを有効なピンインの文字列に変換する。

以下に、この処理がいつピンイン文字列を漢字に変換しようと試みるかを説明する。
・複数の有効な音節を検出した場合、または
・有効なピンインが取り得る最大の長さ以上の場合
そのような場合、変換した漢字を構成した文脈に挿入し、次いで、インラインのコンポジションウィンドウとインラインのインク入力ウィンドウの両方を調整して新たな文脈に適合させてもよい。

以下に、いつ、処理が漢字をアプリケーションに転送するかについて説明する。
・ユーザが、「送信（Send）」ボタン等の特定のコントロールボタン／キーの１つを押したとき
・コンポジションウィンドウがいっぱいで、ユーザが追加インクを入力できないとき
・「！」のような文章を終える記号（句読点）があったとき
文脈を変更した後に、様々なウィンドウ（コンポジションウィンドウ、インク入力ウィンドウ、および変換候補ウィンドウ）をリフレッシュしても、しなくてもよい。

認識処理の結果をモノクロで表示してもよい。または、色を使用して、様々なエラー訂正挙動を強調してもよい。色を使用するのであれば、現在選択している単語またはキャラクタのピンインの代替案をピンイン候補ウィンドウで示すこともできる（例えば、現在の単語またはキャラクタ１６０２を青で示し、残りの単語／キャラクタ１６０１を黒で示す）。ユーザは、領域１６０２のどの単語を訂正しているのか、あるいはどのキャラクタのために代替の選択肢が領域１６０３および１６０４で与えられているのかを理解できる。ユーザが候補を選択するか、示された候補を別の候補に訂正した時点で、確定したキャラクタ（次の段落を参照）を除く全文脈を再度変換してもよく、あるいは変換しなくてもよい。これは、様々な単語を文脈に基づいて訂正しようとする１つの試みである。

また、ユーザが、ある訂正の代替案を選択して、その時点で選択されている単語／キャラクタを置き換えてもよい。この選択されている単語／キャラクタを強調してもよく、あるいは強調しなくてもよい。少なくとも１つの態様では、ユーザによる代替案の選択を「確定した」としてマークするか、すでに選択済みあるいは特定済みであるとマークしてもよい。確定の単語または前に選択もしくは特定した単語は、後の変換で変わらないが、他の単語／キャラクタは一部変化して新たな文脈に適応する。

本発明の態様は、日本語、韓国語、および伝統的な中国語にも適用され得る。例えば、開発者は、ピンインＩＭＥの代わりに日本語や、韓国語、伝統的な中国語のＩＭＥを含めてもよく、上述のようにキーに機能を加えてもよい。

本発明の態様とともにマイクロソフト社製のＩＭＥを使用してもよいが、他のＩＭＥを使用してもよい。例えば、ＩＢＭ社（International Business Machines）製のユニコードＩＭＥ（the Unicode IME）およびＳｏｕｒｃｅｆｏｒｇｅ．ｎｅｔ製のVietIME（クロスプラットフォームのベトナム語インプットメソッドエディタ）を例として挙げられる。

本発明の態様は、発明の例示的な実施例として記述されている。当業者は、この開示を参照し、添付の特許請求の範囲および精神の範囲内において、多数の他の実施形態、変更形態、および変形形態を実施することができる。

本発明の１または複数の態様をサポートする汎用コンピューティング環境を示す図である。 本発明の１または複数の態様をサポートする汎用コンピューティング環境を示す図である。 本発明の態様と共に使用される様々なハードウェアのユーザインターフェイスデバイスを示す図である。 本発明の態様と共に使用される様々なハードウェアのユーザインターフェイスデバイスを示す図である。 本発明の態様にかかる様々なユーザインタフェースを示す図である。 本発明の態様にかかる様々なユーザインタフェースを示す図である。 本発明の態様にかかる様々なユーザインタフェースを示す図である。 本発明の態様にかかる様々なユーザインタフェースを示す図である。 本発明の実施例にかかる手書き情報記入のためのユーザインタフェースを示す図である。 手書き情報の例を示す図である。 手書き情報の例を示す図である。 本発明の態様にかかるフローチャートである。 本発明の態様にかかるフローチャートである。

符号の説明

２０１ コンピューティングシステム
２１０ 無線媒体

Claims (16)

1. ユーザからのインクを含む入力を受け取るステップと、
   前記インクを表音入力として認識するステップと、
   前記表音入力をキャラクタに変換するステップと、
   を備えたことを特徴とするキャラクタ入力方法。
2. 認識する前記ステップは、前記表音入力をピンインとして認識することを特徴とする請求項１に記載の方法。
3. 少なくとも１つの代替的な認識結果を前記ユーザに表示するステップをさらに備えたことを特徴とする請求項１に記載の方法。
4. 表示する前記ステップは、英字から形成された単語を表示することを特徴とする請求項３に記載の方法。
5. 表示する前記ステップは、東アジアのキャラクタを表示することを特徴とする請求項３に記載の方法。
6. 表示する前記ステップは、現時点の選択を未選択のキャラクタとは別の色で表示することを特徴とする請求項３に記載の方法。
7. 認識する前記ステップは、西洋言語の手書き認識エンジンの使用を含むことを特徴とする請求項１に記載の方法。
8. 認識する前記ステップは、認識したインクが少なくとも１つの有効な文字列を含むか否かについて判定するステップを含むことを特徴とする請求項１に記載の方法。
9. ユーザからのインクを含む入力を受け取る手段と、
   前記インクを表音入力として認識する手段と、
   前記表音入力をキャラクタに変換する手段と、
   を備えたことを特徴とするキャラクタ入力システム。
10. 前記認識する手段は、前記表音入力をピンインとして認識することを特徴とする請求項９に記載のシステム。
11. 少なくとも１つの代替的な認識結果を前記ユーザに表示する手段をさらに備えたことを特徴とする請求項９に記載のシステム。
12. 前記表示する手段は、英字から形成した単語を表示することを特徴とする請求項１１に記載のシステム。
13. 前記表示する手段は、東アジアのキャラクタを表示することを特徴とする請求項１１に記載のシステム。
14. 前記表示する手段は、現時点の選択を未選択のキャラクタとは別の色で表示することを特徴とする請求項１１に記載の方法。
15. 前記認識する手段は、西洋言語の手書き認識エンジンの使用を含むことを特徴とする請求項９に記載のシステム。
16. 前記認識する手段は、認識したインクが少なくとも１つの有効な文字列を含むか否かについて判定する手段を含むことを特徴とする請求項９に記載のシステム。