JP2009543204A - 手書き記号の認識方法及び装置 - Google Patents

Abstract

手書き記号を認識する方法及び装置。電子機器の共通入力領域において複数のストロークが受け取られる。ここで、複数のストロークは、結合して複数の記号を定義する。複数のストロークの連続的な組合せが、複数の記号認識エンジンによって解析されて、複数のストロークによって定義される複数の記号のうちの少なくとも１つのあり得る記号が確定され、複数の記号認識エンジンのうちの少なくとも１つは、特定数のストロークを含む記号を識別するように構成されている。
【選択図】図１Ａ

Description

本発明は、包括的にはデジタルシステムの技術分野に関する。特に、本発明は、手書き記号の認識方法及び装置に関する。

手書き認識に基づくテキスト入力により、ユーザは、筆記用具（たとえば、ペン、スタイラス又は指）及び電子入力デバイス（たとえば、タブレット、デジタイザ又はタッチパッド）を使用してオンラインで記号を入力することが可能になる。通常の手書き認識入力デバイスは、筆記用具の軌跡のＸ座標、Ｙ座標及び時間座標を取り込む。そして、手書きは自動的にデジタルテキストに変換されることができる。手書き認識ソフトウェアは、入力ストロークシーケンスを使用して筆記からテキストへの変換を実行する（たとえば、手書き認識ソフトウェアは、意図された記号シーケンスを識別する）。

通常、ユーザは、記号を、制限的に（たとえば枠付きモードで又はタイムアウトを使用して）、又は自然な順序で（たとえば、英語で書く場合は左から右に）書き込むことにより制約なしに（たとえば、連続的に活字体又は筆写体で）入力することができる。一般に、記号入力が制限されるほど、記号認識を解決することが容易になる。しかしながら、制限的な記号入力は、不自然であることが多く、ユーザが記号認識システムを学習する時間が長くなり、テキスト入力プロセスが低速化する。対照的に、制約なしの記号入力は、多くの場合、計算量が多くエラーが発生し易い。通常、制約なしの記号入力認識システムでは、手書きデータを、認識の前にこのような記録された手書きデータを適切に切り出し、グループ化し、再度順序付けすることによって前処理する必要がある。

技術的進歩の結果、携帯電話のような多くの小型電子機器は、手書き記号入力機能を含んでいる。しかしながら、これらの小型機器では、通常、入力デバイスの記号入力エリアが小さい。これらの入力デバイスには、ユーザが単一の記号を書き込むために十分な空間しかないことが多い。これらの入力デバイスでは、記号を、多くの言語に自然である自然な順序で（たとえば、並べて且つ左から右に）書き込むことができない。これらの入力デバイスでは、記号は互いに重ねて書き込まれることが必要である。

記号が互いに重ねて書き込まれるため、小型入力デバイスを使用して入力される記号の切出しにより、上述した記号入力システムがさらに複雑になる。小型入力デバイスでの手書き認識に対して、目下の解決法はある。しかしながら、複雑な記号切出し問題に対処するために、これらの目下の解決法では、ユーザに対し不自然な記号入力が提供されるか、又は精度が低下する。

たとえば、小型入力デバイスによっては、ユーザは、ユニストロークアルファベット等の特別なアルファベットを学習する必要があるものがある。ユニストロークアルファベットは、各記号が単一ストロークであるように設計されている。このため、記号切出しは容易に対処されるが、ユーザには、不自然な歪んだアルファベットを学習することが強要される。一方、タイムアウトメカニズム又は他の外部切出し信号を使用して、記号切出し問題に対処する他の入力デバイスもある。ユーザは、記号の入力後に一時的に待つ必要がある。タイムアウトが発生すると、記号認識が実行される。ユーザが、各記号が入力された後にタイムアウトを待つ必要があるため、この技法もまた不自然である。さらに、ユーザは十分高速にストロークを入力することができず、ユーザが記号の入力を終える前にタイムアウトが発生し、記号が間違って識別されることになるため、誤りが発生し易い。さらに、たとえば記号の終りを示すためにボタンを押下する、外部切出し信号の使用もまた、誤りが発生しやすく不便である。

本明細書で説明するさまざまな実施の形態は、少なくとも部分的に互いに重ねて書き込まれる手書き記号の統合された切出し及び認識の方法及び装置を提供する。一実施の形態では、電子機器の共通入力領域において複数のストロークが受け取られる。複数のストロークは、結合して複数の記号を定義する。一実施の形態では、複数の記号は、表意文字言語の発音表記を含む。

一実施の形態では、複数のストロークのうちの１つのストロークが非記号ジェスチャを表すか否かが確定され、その際、そのストロークは、非記号ジェスチャを表すものと確定された場合、複数の記号表現エンジンにおいて無視される。

複数の記号認識エンジンによって複数のストロークの連続した組合せが解析されて、複数のストロークによって定義される複数の記号のうちの少なくとも１つのあり得る記号が確定され、複数の記号認識エンジンのうちの少なくとも１つは、特定数のストロークを含む記号を識別するように構成される。一実施の形態では、複数の記号認識エンジンは、統計的分類器を備える。一実施の形態では、複数の記号認識エンジンのうちの少なくとも１つが、特定数のストロークを含む記号を識別するように構成される。一実施の形態では、複数の記号認識エンジンは、１ストローク記号認識エンジン、２ストローク記号認識エンジン、３ストローク記号認識エンジンを含む。一実施の形態では、複数の記号認識エンジンはまた、４ストローク記号認識エンジンも含む。

複数の記号認識エンジンは、別個のモジュールである必要はなく、重なっている記号からのストロークによって形成される非記号を含む仮説を拒否するように、ストロークの組合せを解析する同様の機能を実行する単一モジュールであってもよい、ということが理解されるべきである。

一実施の形態では、解析することは、あり得る記号を識別する外部メカニズムの使用を必要としない。一実施の形態では、必要でない外部メカニズムは、外部切出し信号及び外部ストローク辞書のうちの少なくとも一方を含む。

一実施の形態では、複数のストロークのあり得る組合せは、２値状態機械に従って確定される。一実施の形態では、あり得る組合せは、所定の制限に従って制限される。記号が、あり得る組合せから選択される。

別の実施の形態では、本発明は、手書き記号の認識装置を提供する。ストローク受取部（receiver：受信機）は、共通入力領域内に入力される複数のストロークを受け取るように動作可能であり、ここで、複数のストロークは結合して複数の記号を定義し、１つの記号の少なくとも１つのストロークが、別の記号の少なくとも１つのストロークの上に空間的に重ね合わされる。一実施の形態では、ストローク受取部は、ハンドヘルドコンピューティングデバイスのストローク入力デバイスである。一実施の形態では、複数のストロークの各ストロークは、複数の記号のうちの１つの記号のみに関連する。一実施の形態では、複数の記号は、表意文字言語の発音表記を含む。

一実施の形態では、ストローク解析部は、複数のストロークのうちの１つのストロークが非記号ジェスチャを表すか否かを確定し、そのストロークが非記号ジェスチャを表す場合、複数の記号認識エンジンにおいてそのストロークを無視するように構成される。

ストローク解析部は、複数のストロークを逐次解析して、それらの複数のストロークによって定義される少なくとも１つのあり得る記号を確定するように動作可能である。ストローク解析部は、複数のストロークの連続した組合せを解析する複数の記号認識エンジンを含み、複数の記号認識エンジンは、特定数のストロークを含む記号を識別するものである。一実施の形態では、複数の記号認識エンジンは、１つのストロークを含む記号を識別する１ストローク記号認識エンジンと、２つのストロークを含む記号を識別する２ストローク記号認識エンジンと、３つのストロークを含む記号を識別する３ストローク記号認識エンジンとを含む。一実施の形態では、複数の記号認識エンジンはまた、４つのストロークを含む記号を識別する４ストローク記号認識エンジンも含む。一実施の形態では、複数の記号認識エンジンのそれぞれは、複数の記号認識エンジンのそれぞれの記号認識エンジンによって解析されるストロークがあり得る有効な記号である確率を確定する。

一実施の形態では、ストローク解析部は、２値状態機械に従って複数のストロークのあり得る組合せを確定し、所定の制限に従ってあり得る組合せを制限するように構成される。一実施の形態では、複数の記号認識エンジンは、統計的分類器を含む。一実施の形態では、複数の記号認識エンジンのうちの少なくとも１つの記号認識エンジンは、少なくとも１つの共通ストロークによって接続される複数の記号のうちの少なくとも２つの記号を認識するように構成される。
概略的要約
概して、本明細書は、手書き記号の認識方法及び装置について論じている。電子機器の共通入力領域において複数のストロークが受け取られる。ここで、複数のストロークは、結合して複数の記号を定義する。複数のストロークの連続的な組合せが、複数の記号認識エンジンによって解析されて、複数のストロークによって定義される複数の記号のうちの少なくとも１つのあり得る記号が確定され、複数の記号認識エンジンのうちの少なくとも１つは、特定数のストロークを含む記号を識別するように構成されている。

本明細書に組み込まれると共にその一部を形成する添付図面は、本発明の実施形態を例示し、本明細書と共に本発明の原理を説明する役割を果たす。

本発明の一実施形態による例示的なスモールフォームファクタ機器のコンポーネントを示すブロック図（１Ａ）、及び、本発明の一実施形態による手書き入力デバイスを使用する単語の例示的な入力を示す図（１Ｂ）である。 本発明の一実施形態による手書き認識エンジンのコンポーネントを示すブロック図である。 本発明の一実施形態による単語「ｄｏ」に対する例示的な入力イメージを示す図（３Ａ）、及び、本発明の一実施形態による単語「ｄｏ」の３ストローク入力に対する２値状態機械を示す図（３Ｂ）である。 本発明の一実施形態による、手書き記号を認識するプロセスにおけるステップを示すフローチャート図である。 本発明の一実施形態による、ストロークを解析するプロセスにおけるステップを示すフローチャート図である。

ここで、本発明のさまざまな実施形態を詳細に参照し、その例を添付図面に示す。本発明を、さまざまな実施形態に関して説明するが、それらは本発明をこれらの実施形態に限定するようには意図されていないということが理解されよう。反対に、本発明は、代替形態、変更形態及び等価形態を包含するように意図されており、それらは、添付の特許請求の範囲によって定義されるような本発明の精神及び範囲内に含まれ得る。さらに、本発明の以下の詳細な説明では、本発明が完全に理解されるように、多数の特定の詳細を示す。しかしながら、当業者には、本発明をこれらの特定の詳細なしに実施してもよい、ということが明らかとなろう。他の場合、本発明の態様を不必要に不明瞭にしないように、既知の方法、手続き、構成要素及び回路については詳細に説明していない。

本出願の目的で、記号という用語は、意味を伝達するように意図される１つ又は複数の手書きストロークを指す。たとえば、記号は、限定されないが、さまざまなアルファベットの文字、表意文字言語の表意文字、表音記号、数字、数学記号、句読記号等を含むように意図されている。

本発明のさまざまな実施形態は、コンピュータデバイスへのテキスト入力を実行する手書き認識に基づく方法を提供し、ここで、テキスト入力に割り当てられるエリアは、書かれる記号のサイズに対して小さい。たとえば、テキスト入力に割り当てられるエリアは、１つ又は２つの記号を並べて受け取ることができるのみであってもよく、ここで、すべての追加の記号は重なっていなければならない。図１Ｂは、テキスト入力に割り当てられた小さいエリアにおける例示的な入力を示す。特に、記号は自然に入力されており、ユーザは特別なアルファベットを学習することも、タイムアウト、又は書かれた記号を分離することを意図されるいかなる他の外部メカニズムにも依存する必要はない。本発明の実施形態は、電子機器の共通入力領域において複数のストロークを受け取ることを含み、それらの複数のストロークは結合して複数の記号を定義する、手書き記号を認識する方法を提供する。複数のストロークの連続的な組合せが、複数の記号認識エンジンによって解析されることにより、複数のストロークによって定義される複数の記号のうちの少なくとも１つのあり得る記号が確定され、複数の記号認識エンジンのうちの少なくとも１つは、特定数のストロークを含む記号を識別するように構成される。

図１Ａは、本発明の一実施形態による、例示的なスモールフォームファクタの電子機器１００のコンポーネントを示すブロック図である。概して、電子機器１００は、情報を通信するバス１１０と、バス１１０に結合され情報及び命令を処理するプロセッサ１０１と、バス１１０に結合されプロセッサ１０１に対する静的情報及び命令を格納する読取専用（不揮発性）メモリ（ＲＯＭ）１０２と、バス１１０に結合されプロセッサ１０１に対する情報及び命令を格納するランダムアクセス（揮発性）メモリ（ＲＡＭ）１０３とを備える。電子機器１００はまた、バス１１０に結合されストローク入力を受け取る手書き入力デバイス１０４と、バス１１０に結合され受け取られたストローク入力に対し手書き認識を実行する手書き認識エンジン１０５と、バス１１０に結合され情報を表示する表示デバイス１０６とを備える。

一実施形態では、手書き入力デバイス１０４は、ユーザからペン、スタイラス又は指に基づく手書き入力を受け取るように動作可能である。たとえば、手書き入力デバイス１０４は、離散化タブレット、タッチパッド、電磁誘導ペンタブレット等であってもよい。手書き入力デバイス１０４は、ストロークデータの形式で入力のＸ座標情報及びＹ座標情報を取り込むように動作可能である。言い換えれば、手書き入力デバイス１０４は、記号及び／又は単語の自然なストローク順で書かれた記号ストロークをリアルタイムで検出する座標入力デバイスである。一実施形態では、個々の記号のストロークは、手書き入力デバイス１０４の表面に接触し、その上を移動し、且つそこから離れる物体の動きから導出される位置情報及び時間情報を含む。別の実施形態では、手書き入力デバイス１０４が、表示デバイス１０６の後方に配置される誘導デバイスである場合、個々の記号ストロークは、表示デバイス１０６の表面に接触し、その上を移動し、且つそこから離れる物体の動きから導出される位置情報及び時間情報を含む。一実施形態では、ストロークは、手書き認識エンジン１０５によってアクセスされるために、不揮発性メモリ１０２及び揮発性メモリ１０３のうちの一方に格納される。一実施形態では、ユーザによって入力される記号は、表意文字の発音表記である。一実施形態では、記号は非筆写体である。

一実施形態では、手書き入力デバイス１０４は非常に小さく、ユーザによって入力される記号を、並べて（たとえば左から右に又は上から下に）書くことはできないが、互いの上に重ねて書くことができる程度である。たとえば、一実施形態では、手書き入力デバイス１０４は、表面積が１平方インチ未満である。図１Ｂは、本発明の一実施形態による、手書き入力デバイス１０４を使用する単語の例示的な入力を示す図１５０である。図１５０は、スモールフォームファクタ手書き入力デバイスを使用する単語「ＢＥＬＬ」の入力を示す。特に、記号Ｂ、Ｅ、Ｌ及びＬは、互いに重ねて入力される。本発明の実施形態は、並べて書かれる記号、たとえば「ＡＮ」及び「ＴＯ」のような短い単語を入力するように動作可能であるということが理解されるべきである。一実施形態では、単語の終りは、特別なジェスチャ、ボタン押下、タイムアウト又は他の信号によって指示される。

図１Ａを参照すると、手書き認識エンジン１０５は、手書き入力デバイス１０４において入力されたストロークを受け取るように動作可能であり、ストロークに対し記号認識を実行する。手書き認識エンジン１０５を、電子機器１００内においてハードウェア、ソフトウェア及び／又はファームウェアとして実装してもよいということが理解されるべきである。さらに、手書き認識エンジン１０５は、点線で示すように、独立したコンポーネントであってもよく、又は電子機器１００の他のコンポーネントにわたって分散されてもよい、手書き認識機能を示すということが理解されるべきである。たとえば、手書き認識エンジン１０５の異なる機能を、プロセッサ１０１、不揮発性メモリ１０２及び揮発性メモリ１０３のような、電子機器１００のコンポーネントにわたって分散されてもよい、ということが理解されるべきである。手書き認識エンジン１０５の動作を、たとえば図２を参照して以下に説明する。手書き認識エンジン１０５は、認識された記号を出力するように動作可能である。

電子機器１００で利用される表示デバイス１０６は、液晶デバイス（ＬＣＤ）であっても、ユーザが認識可能なグラフィックイメージ及び英数字又は表意記号を生成するために適している他の表示デバイスであってもよい。表示デバイス１０６は、認識された記号を表示するように動作可能である。一実施形態では、認識された記号はテキストとして表示される。

図２は、本発明の一実施形態による、手書き認識を実行するシステム２００のコンポーネントを示すブロック図である。一実施形態では、本発明は、コンピュータデバイス（たとえば図１Ａの電子機器１００）へのテキスト入力に基づいて手書き認識を実行するシステム２００を提供し、ここで、テキスト入力に割り当てられるエリアは、筆記用具に比べて小さい。ユーザは、記号のストロークを自然なストローク順で入力することができる。

システム２００は、手書き入力デバイス１０４、手書き認識エンジン１０５及び表示デバイス１０６を備える。上述したように、手書き入力デバイス１０４においてストローク入力が受け取られる。図２において、ストローク入力をストローク２０２、２０４、２０６及び２０８として表す。特に、ストローク２０８は、ストローク２０６、２０４及び２０２に続いて入力された最後のストロークである。図示するように、４つのストロークは、手書き認識エンジン１０５によって処理される。しかしながら、いかなる数のストロークを処理することも可能であり、本発明の実施形態は本実施形態に限定されない、ということが理解されるべきである。たとえば、本実施形態を、最後に受け取られた４つのストロークを処理するものとして説明するが、他の実施形態は、最後に受け取られた他の数のストローク（たとえば、最後に受け取られた３つのストローク又は最後に受け取られた５つのストローク）を対象としてもよい。

一実施形態では、手書き入力デバイス１０４は、接触移動の跡を検知及び報告するように動作可能である。接触の跡は、ストロークと呼ばれるＸ座標及びＹ座標の点のセットにグループ分けされる。ストロークバッファ２０１が、入力されたストロークを一時的に保持することにより、ストロークシーケンスを切り出す種々の仮説を形成することが可能になる。

手書き認識エンジン１０５は、ユーザストローク入力に基づいて、記号の登録されたセット（たとえば、ａ〜ｚ、０〜９、Ａ〜Ｚ又は表意記号）を認識するように動作可能である。ストローク２０２、２０４、２０６及び２０８は、手書き認識エンジン１０５により手書き認識を実行するように処理される。一実施形態では、ストローク２０２、２０４、２０６及び２０８は、ストローク解析部２１０において処理される。ストローク解析部２１０は、複数のストロークを逐次解析することにより、複数のストロークによって定義される少なくとも１つのあり得る記号を確定するように動作可能である。図示するように、ストローク解析部２１０は、それぞれ最後に入力された４つ、３つ、２つ及び１つのストロークを含む記号に対し記号認識を実行する、４つの記号認識エンジン２２２、２２４、２２６及び２２８を含む。記号認識エンジン２２２、２２４、２２６及び２２８は、別個のモジュールである必要はなく、重なっている記号からのストロークによって形成される非記号を含む仮説を拒否するようにストロークの組合せを解析する、同様の機能を実行する単一モジュールであってもよい、ということが理解されるべきである。

一実施形態では、ストローク解析部２１０はまた、最後のストロークが記号の一部であるか又はジェスチャを示しているかを確定するジェスチャ認識部２２０も含む。手書きストロークは、記号（入力テキスト）の一部か又はコマンドを発行するジェスチャのいずれかであり得る。ジェスチャは事前定義されたストロークのセットを表すため、ジェスチャ認識部２１０は、記号認識の前にジェスチャストロークをフィルタリング除去することができる。

ストロークがジェスチャではないと確認されると、記号認識及び切出しが開始する。一時バッファ内に格納されているストローク２０２、２０４、２０６及び２０８は、仮記号認識に使用される。バッファ内の利用可能なストロークに基づき、複数の新たな仮記号を、最後に入力されたストロークに関して形成することができる。新たな仮記号の数は、特定の記号セットに対するストロークの最大数に関する事前の知識を使用することによって確定される。デフォルトで各仮記号は、最後のストロークのみを含む新たな記号、又は１つ若しくは複数の前のストロークと結合される最後のストロークを含む新たな記号のいずれかであると想定される。

一実施形態では、記号認識エンジンにストロークを送出する前に、ストロークは、プリプロセッサ２１２、２１４、２１６及び２１８において前処理される。プリプロセッサ２１２、２１４、２１６及び２１８は、さまざまな変換を実行して、生データ（たとえばＸ座標、Ｙ座標）を、認識プロセスを容易にする表現に変換するように動作可能である。一実施形態では、前処理には、スケーリング、正規化及び特徴生成のような動作、たとえば、入力表現を認識により適した表現に変換することが含まれる。

前処理技法は、既知の変動及び関連する特徴のような、当面のタスクに関する人間の知識を組み込む。たとえば、前処理は、キーポイント抽出、雑音ろ過及び特徴抽出を含んでもよい。一実施形態では、プリプロセッサ２１２、２１４、２１６及び２１８の出力は、多次元特徴空間において定義される特徴ベクトルの形式の入力を表すベクトルである。この超空間は、問題の個々のクラスを表す複数の部分空間に分割される。分類プロセスは、特定の入力がいずれの部分空間特徴ベクトルに属するかを確定する。

前処理後、ストロークはそれぞれの記号認識エンジン２２２、２２４、２２６及び２２８に渡され、それぞれ最後の４つのストローク、最後の３つのストローク、最後の２つのストローク及び最後のストロークの組合せに対して記号認識が実行される。一実施形態では、特徴ベクトルの形式の入力ストロークは、登録されたクラスの特徴に対して照合される。ジェスチャとして認識されるストロークは、記号認識エンジン２２２、２２４、２２６及び２２８に渡されないことが理解されるべきである。

一実施形態では、記号認識エンジン２２２、２２４、２２６及び２２８は、統計的認識器を備え、事前定義されたクラスのセットの間で分類を実行するように動作可能である。一実施形態では、記号認識エンジン２２２、２２４、２２６及び２２８はまた、ストロークの非適合組合せを拒否するようにもトレーニングされている。記号認識エンジン２２２、２２４、２２６及び２２８は、前処理された入力信号と出力クラスとの間の類似性を反映するスコアを出力する。高い出力スコアは、関連する仮記号の受入れを示唆し、すべてのクラスに対する低いスコアは、関連する仮説の拒否を示唆する。一実施形態では、出力スコアは、それぞれの記号認識エンジンによって解析されるストロークがあり得る記号である確率を示す。記号認識エンジン２２２、２２４及び２２６は、各ストロークを個々に解析するのではなく、それぞれの記号認識内のストロークの各組合せを全体として解析することが理解されるべきである。

一実施形態では、各記号認識エンジン２２２、２２４、２２６及び２２８は、規則的な分類タスクに対する優れた性能を達成するように動作可能であり、不明瞭な入力パターンを拒否する有効な「信頼度判断」を生成する時、ストロークが２つの意図された記号からのものである、不正確な仮説窓において観測される意味のない記号の問合せを拒否するように動作可能である。一実施形態では、各記号認識エンジンは、入力記号とテンプレートのグループとの間の照合をそれらの類似性を測定することにより網羅的に実行する、テンプレートマッチング手続きを採用する。比較の正しい結果は、類似性スコアが最高のテンプレートである。

一実施形態では、テンプレートマッチングは以下を含む。
・分類されたテンプレートマッチング
テンプレートは、ストロークの数により複数のグループに分類される。これらのグループは、認識タスクを相互に排他的なサブタスクに分割し、それにより認識性能を向上させる。
・類似性測定
変換された入力とすべてのテンプレートとの間の類似性を測定し、最高スコアの比較を意図されたクラスとして報告する機能。
・サブセットクラス認識のためのペナルティ係数
サブセットクラスは、より複雑なクラスの一部も表す単純なクラスである（たとえば、Ｉ及びＣは手書きにおいてＫのサブセットクラスである）。サブセットクラスが高いスコアを得ないように、類似性測度にペナルティ定数が考慮される。たとえば、入力「Ｉ」が、テンプレート「Ｋ」に対して照合される場合である。
・異書体に基づく認識
同じ記号に対する手書きスタイルの変形により、異書体と呼ばれる別個のサブセットがもたらされる場合がある。たとえば、小文字「ｚ」が「３」のようにも書かれる可能性があり、この第２の異書体は、通常の「ｚ」とは別個である特徴を含む。認識タスクは、異書体を別個のクラスとして扱う。

ニューラルネットワーク等のような、他のタイプの統計的分類器を記号認識エンジン２２２、２２４、２２６及び２２８で使用してもよく、本発明はテンプレートマッチングの使用に限定されない、ということが理解されるべきである。

一実施形態では、記号認識エンジンの照合結果に対し、ポストプロセッサ２３２、２３４、２３６及び２３８において後処理が施される。後処理は、クラス間で既存の混乱を低減するように動作可能である。認識結果は、信頼度レベル、たとえば認識スコアと共にクラスラベルである。

ストローク解析部２１０は、受け取ったストロークに対して記号認識を実行するように動作可能である。時間的切出し部２４０は、記号認識結果を受け取ると共に、記号認識エンジンの記号認識結果に基づいて最良適合記号を選択するように動作可能である。

時間的切出し部２４０は、すべてのあり得る仮説、たとえば入力ストロークのシーケンスを結合する方法を評価する。ストロークシーケンスの特定部分における最高スコアの仮説が勝ち残り、勝ち残った仮説に関連する累積された記号シーケンスが出力される。すべてのあり得る解を生成するために、一実施形態では、時間的切出し部２４０は、新たなストロークがシステムに追加されると指数関数的に拡張する２値状態機械を利用する。状態機械は、各状態が親状態に基づく２つの新たなあり得る仮説を表す最大数の２つの子状態を有することから２値であり、新たに追加されるストロークは、単一のストローク記号、又は親状態において累積されたストロークに追加された最後のストロークのいずれかである。

図３Ａは、本発明の一実施形態による、単語「ｄｏ」に対する例示的な入力イメージ３００を示す。単語「ｄｏ」は、図示するように、３つのストローク３１２、３１４及び３１６を含む。入力イメージ３００は、ストロークの重ね合わされた入力を示し、グラフ３１０は、ストロークシーケンス領域内に入力されたストロークを示す。

図３Ｂは、本発明の一実施形態による、単語「ｄｏ」の３ストローク入力に対する２値状態機械３２０を示す。２値状態機械は、ストロークの各組合せに対して有効な仮説を追跡する。仮説３３０は、入力ストローク３１２に対する唯一の仮説である。仮説３４０ａ及び３４０ｂは、共に、入力ストローク３１２及び３１４の組合せに対する有効な仮説である。仮説３５０ａ、３５０ｂ及び３５０ｃは、入力ストローク３１２、３１４及び３１６に対する有効な仮説である。仮説３５０ｄは、クラス「ｄ」が３つ未満のストロークから成ることがわかるため無効であり、そのため、３ストローク「ｄ」に対する仮説を除外することができる。所望の出力「ｄｏ」は仮説３５０ｃにおいて示されている。

２値状態機械は指数関数的に成長する。２値状態機械の成長を制限するためには、処理速度及びシステムオーバヘッドを向上させるために、時間的切出し部２４０にさまざまな制約が配置され得る。

一実施形態では、適合記号に対するストロークの数に対して任意の制限が課される。たとえば、ストロークの最大数は、大文字、小文字及び数字それぞれに対して４未満、３未満及び２未満のストロークに制限される。これらの制限を超える数のストロークを有する記号を想定する仮説の可能性はゼロであり、そのため、状態機械に維持されない。

一実施形態では、２値状態機械の深さが制約される。この制約は、累積されたストロークの発火（firing）を強制し、機械における最も信頼される仮説（状態）を送り出す。この制約により、ストロークバッファから未完成記号のストロークがアンロードされる可能性があり、このため、切出しエラーが生じ易い。切出しタスクの１つの目標は、この制約の達成を回避することである。

時間的切出し部２４０は、記号認識結果を受け取ると共に、イベントのシーケンスを相互に排他的な結合イベントのセットに分割するように動作可能である。これは、観測値のシーケンスから隠れ状態をモデル化する、隠れマルコフモデル（ＨＭＭ）の一般的なフレームワークに適合する。定義されたＨＭＭにおいて最高尤度の経路を特定することにより、切出しに対し最も確度の高い回答が与えられる。ＨＭＭの複雑性は、連続した状態の間の依存性の程度（order）によって指示される。この問題領域において、依存性の程度は、登録された記号のセットに対する記号毎のストロークの最大数（たとえば４）に等しい。このため、４つを上回るストロークを含むいかなる仮説も、ＨＭＭから即時排除することができる。

時間的切出し部２４０によって確定される状態の信頼度は、２つの主な信頼源から来る。すなわち、新たな仮説記号における信頼度と、それに先行するストリングの信頼度とである。先行するストリングは、親状態又は祖先状態から来る可能性がある。たとえば、状態３５０ａは、その親状態３４０ａに新たな記号「ｏ」を追加するという仮説を反映し、状態３５０ｂは、３４０ａの局部的な（「Ｉ」のように見える記号の）仮定を否定し、状態３３０に新たな記号「ｄ」を追加する。一実施形態では、２つの信頼度は等しく重み付けされる。

本発明はまた、早期発火決定を提供することにより２値状態機械の拡張された管理も提供する。早期発火決定とは、状態機械がその限界に達する前に、累積されたストロークをアンロードすると共に最良の推測をユーザに送り出す信号を指す。このような信号は、勝ち残った仮説が最後に認識された記号に非常に高い信頼度を有する時に送り出すことができる。その間の最後の観測値に対する結論は、シーケンスの他の排他的部分における信頼度を向上させるのに役立つ。

制御モジュール２５０は、時間的切出し部２４０から記号及び単語を受け取り、ジェスチャ認識部２２０から認識されたジェスチャを受け取る。制御モジュール２５０は、例示的なスモールフォームファクタの電子機器２６０の表示デバイス１０６に記号及び単語を表示するように動作可能である。制御モジュール２５０はまた、ジェスチャの受け取りに応じて適切な動作を行う、たとえば新たな単語を開始するか又は空間を挿入するように動作可能である。

図４は、本発明の一実施形態による、手書き記号を認識するプロセス４００のステップを示すフローチャート図である。一実施形態では、プロセス４００は、プロセッサ及び電気コンポーネントによりコンピュータ可読且つコンピュータ実行可能命令の制御下で実行される。コンピュータ可読且つコンピュータ実行可能命令は、たとえば、コンピュータ使用可能揮発性メモリ及び不揮発性メモリのようなデータ記憶機構に存在する。しかしながら、コンピュータ可読且つコンピュータ実行可能命令は、いかなるタイプのコンピュータ可読媒体に存在してもよい。プロセス４００に特定のステップを開示するが、このようなステップは例示的なものである。すなわち、本発明の実施形態は、図４に列挙するステップのさまざまな他のステップ又は変形を実行するのによく適している。一実施形態では、プロセス４００は、図２の手書き認識エンジン１０５によって実行される。

図４のステップ４０５において、電子機器の共通入力領域が複数のストロークの受取りを開始する。ここで、複数のストロークは結合して複数の記号を定義する。一実施形態では、複数の記号のうちの第１の記号の少なくとも１つのストロークが、複数の記号のうちの第２の記号の少なくとも１つのストロークの上にy空間的に重ね合わさり、複数のストロークの各ストロークは複数の記号のうちの１つの記号のみに関連する。一実施形態では、複数の記号は、表意文字言語の発音表記を含む。一実施形態では、複数の記号のうちの１つの記号は、４つ以下のストロークを含む。

ステップ４１０において、ストロークを処理する。ステップ４１５において、そのストロークが単語終了ジェスチャであるか否かを確定する。ストロークが単語終了ジェスチャである場合、プロセス４００はステップ４４０に進む。一方、ストロークが単語終了ジェスチャでない場合、プロセス４００はステップ４２０に進む。ステップ４２０において、ストロークを含む仮説記号を生成する。一実施形態では、仮説記号は、そのストロークと既に処理されたストロークとの連続した組合せを含む。

ステップ４２５において、仮説記号を解析する。一実施形態では、仮説記号を、図５のプロセス５００に従って解析する。
図５は、本発明の一実施形態による、プロセス５００における複数のストロークを解析するステップを示すフローチャート図である。一実施形態では、プロセス５００は、プロセッサ及び電気コンポーネントによりコンピュータ可読且つコンピュータ実行可能命令の制御下で実行される。コンピュータ可読且つコンピュータ実行可能命令は、たとえば、コンピュータ使用可能揮発性メモリ及び不揮発性メモリのようなデータ記憶機構内に存在する。しかしながら、コンピュータ可読且つコンピュータ実行可能命令は、いかなるタイプのコンピュータ可読媒体内に存在してもよい。プロセス５００に特定のステップを開示するが、このようなステップは例示的なものである。すなわち、本発明の実施形態は、図５に列挙するステップのさまざまな他のステップ又は変形を実行するのによく適している。一実施形態では、プロセス５００は、図２の手書き認識エンジン１０５によって実行される。

ステップ５２０において、複数の記号認識エンジンにより、複数のストロークの連続した組合せが解析されて、複数のストロークによって定義される複数の記号のうちの少なくとも１つのあり得る記号が確定される。一実施形態では、複数の記号認識エンジンは、統計的分類器を含む。一実施形態では、複数の記号認識エンジンのうちの少なくとも１つは、特定数のストロークを含む記号を識別するように構成される。

合字、二重母音等の記号組合せは、一般に１つ又は複数のストロークで書かれる可能性がある。一実施形態では、少なくとも１つの共通ストロークによって接続される複数の記号のうちの少なくとも２つの記号は、記号認識エンジン、ジェスチャ認識部又はこのタスクに対して最適化された追加の認識部のうちの１つ又は複数によって認識される。

一実施形態では、解析は、あり得る記号を識別するために外部メカニズムの使用を必要としない。一実施形態では、必要でない外部メカニズムは、外部切出し信号と、記号二重字間のストロークの相対位置を記述する情報を含むストローク辞書のようなストローク辞書とのうちの少なくとも１つを含む。

一実施形態では、複数の記号認識エンジンは、１ストローク記号認識エンジン、２ストローク記号認識エンジン、３ストローク記号認識エンジンを含む。一実施形態では、複数の記号認識エンジンはまた、４ストローク記号認識エンジンも含む。

ステップ５２５において、複数のストロークのあり得る組合せを、２値状態機械に従って確定する。ステップ５３０において、あり得る組合せは、所定の制限に従って制限される。一実施形態では、プロセス５００はその後図４のステップ４３０に進む。

図４を参照すると、ステップ４３０において、早期発火基準（early firing criteria）が満たされているか否かを判断する。一実施形態では、早期発火基準は、勝ち残った仮説における最後の仮説記号が非常に高い信頼度を有し且つ他の任意の記号のサブセットでないことがわかっている場合に満たされる。早期発火基準が満たされていない場合、プロセス４００はステップ４３５に進み、ここで、次のストロークに対し処理するためにアクセスし、プロセス４００はステップ４１０に進む。一方、早期発火基準が満たされている場合、あり得る組合せから部分的に完成した記号のストリングを選択する。一実施形態では、ステップ４４０に示すように、勝ち残った仮説ストリングを表示デバイス、たとえば図１の表示デバイス１０６に出力し、プロセス４００を次のストロークシーケンスに対してリセットする。

このように、本発明、すなわち手書き記号の認識方法及び装置のさまざまな実施形態について説明した。本発明を特定の実施形態で説明したが、本発明は、このような実施形態によって限定されるようには解釈されるべきではなく、以下の特許請求の範囲に従って解釈されるべきである、ということが理解されるべきである。

Claims (29)

1. 手書き記号を認識する方法であって、
   電子機器の共通入力領域において複数のストロークを受け取ることであって、該複数のストローク(strokes)は結合して複数の記号(symbols)を定義する、受け取ること、及び
   複数の記号認識(recognition)エンジンによって前記複数のストロークの連続した(sequential)組合せ(combinations)を解析することであって、前記複数のストロークによって定義される前記複数の記号のうちの少なくとも１つのあり得る(possible)記号が確定(determine)され、前記複数の記号認識エンジンのうちの少なくとも１つは、特定数(particular number)のストロークを含む記号を識別するように構成される、解析すること、
   を含む、手書き記号を認識する方法。
2. 前記解析することは、前記あり得る記号を識別する外部メカニズムの使用を必要としない、請求項１に記載の方法。
3. 前記外部メカニズムは、外部切出し(segmenting)信号及び外部ストローク辞書のうちの少なくとも一方を含む、請求項２に記載の方法。
4. 前記複数の記号のうちの第１の記号の少なくとも１つのストロークは、前記複数の記号のうちの第２の記号の少なくとも１つのストロークの上に空間的に重ね合わされ(superimposed)、前記複数のストロークの各ストロークは、前記複数の記号のうちの１つの記号のみに関連する、請求項１に記載の方法。
5. 前記複数のストロークの連続した組合せを解析することは、
   前記複数のストロークのうちの１つのストロークが非記号ジェスチャを表すか否かを確定すること、及び
   前記ストロークが非記号ジェスチャを表す場合、前記複数の記号認識エンジンにおいて該ストロークを無視すること、
   を含む、請求項１に記載の方法。
6. 前記複数のストロークの連続した組合せを解析することは、少なくとも１つの共通ストロークによって接続される前記複数の記号のうちの少なくとも２つの記号を認識することを含む、請求項１に記載の方法。
7. 外部切出しメカニズムを使用せずに手書き記号を認識し切り出す方法であって、
   電子機器の共通入力領域において複数のストロークを受け取ることであって、前記複数のストロークは結合して複数の記号を定義し、第１の記号の少なくとも１つのストロークは、第２の記号の少なくとも１つのストロークの上に空間的に重ね合わされ、前記複数のストロークの各ストロークは、前記複数の記号のうちの１つの記号のみに関連する、受け取ること、及び
   前記複数のストロークを逐次解析することであって、前記複数のストロークによって定義される少なくともの１つのあり得る記号が確定され、該逐次解析することは、前記あり得る記号を識別するために外部切出し信号及び外部ストローク辞書のうちの少なくとも１つの使用を必要とせず、オンラインで実行される、逐次解析すること、
   を含む、手書き記号を認識し切り出す方法。
8. 前記外部切出し信号はタイムアウト信号を含む、請求項７に記載の方法。
9. 前記外部ストローク辞書は、記号二重字間のストロークの相対位置を記述する情報を含む、請求項７に記載の方法。
10. 前記複数のストロークを逐次解析することは、複数の記号認識エンジンを利用することであって、前記複数のストロークの連続した組合せを解析することであって、前記複数のストロークによって定義される前記複数の記号のうちの少なくとも１つのあり得る記号が確定され、前記複数の記号認識エンジンのうちの少なくとも１つは、特定数のストロークを含む記号を識別するように構成される、利用することを含む、請求項７に記載の方法。
11. 前記複数の記号認識エンジンは、１ストローク記号認識エンジン、２ストローク記号認識エンジン及び３ストローク記号認識エンジンを含む、請求項１又は１０に記載の方法。
12. 前記複数の記号認識エンジンは、４ストローク記号認識エンジンをさらに含む、請求項１１に記載の方法。
13. 前記複数の記号のうちの１つの記号は、４つ以下のストロークを含む、請求項１又は７に記載の方法。
14. 前記複数のストロークの連続した組合せを解析すること又は前記複数のストロークを逐次解析することは、
    ２値状態機械に従って前記複数のストロークのあり得る組合せを確定すること、及び
    所定の制限に従って前記あり得る組合せを制限すること、
    を含む、請求項１又は７に記載の方法。
15. 前記複数の記号は、表意文字言語の発音表記を含む、請求項１又は７に記載の方法。
16. 前記複数のストロークを逐次解析することは、
    前記複数のストロークのうちの１つのストロークが非記号ジェスチャを表すか否かを確定すること、及び
    前記ストロークが非記号ジェスチャを表す場合、該ストロークを無視すること、
    を含む、請求項７に記載の方法。
17. 前記複数の記号認識エンジンは、統計的分類器を含む、請求項１又は１０に記載の方法。
18. 手書き記号を認識する装置であって、
    共通入力領域内に入力される複数のストロークを受け取るストローク受取部であって、前記複数のストロークは結合して複数の記号を定義し、第１の記号の少なくとも１つのストロークは、第２の記号の少なくとも１つのストロークの上に空間的に重ね合わせられる、ストローク受取部と、
    前記複数のストロークを逐次解析して、該複数のストロークによって定義される少なくとも１つのあり得る記号を確定するストローク解析部であって、
    前記複数のストロークの連続した組合せを解析する複数の記号認識エンジンであって、特定数のストロークを含む記号を識別するものである、複数の記号認識エンジン
    を備える、ストローク解析部と、
    を具備する、手書き記号を認識する装置。
19. 前記複数の記号認識エンジンは、
    １つのストロークを含む記号を識別する１ストローク記号認識エンジンと、
    ２つのストロークを含む記号を識別する２ストローク記号認識エンジンと、
    ３つのストロークを含む記号を識別する３ストローク記号認識エンジンと、
    を含む、請求項１８に記載の装置。
20. 前記複数の記号認識エンジンは、４つのストロークを含む記号を識別する４ストローク記号認識エンジンをさらに含む、請求項１９に記載の装置。
21. 前記複数の記号認識エンジンのそれぞれは、前記複数の記号認識エンジンのそれぞれの記号認識エンジンによって解析されるストロークが前記あり得る記号である確率値を確定する、請求項１８に記載の装置。
22. 前記ストローク受取部は、ハンドヘルドコンピューティングデバイスのストローク入力デバイスである、請求項１８に記載の装置。
23. 前記複数の記号のうちの１つの記号は、４つ以下のストロークを含む、請求項１８に記載の装置。
24. 前記複数のストロークの各ストロークは、前記複数の記号のうちの１つの記号のみに関連する、請求項１８に記載の装置。
25. 前記ストローク解析部は、２値状態機械に従って前記複数のストロークのあり得る組合せを確定し、所定の制限に従って前記あり得る組合せを制限するように構成される、請求項１８に記載の装置。
26. 前記複数の記号は、表意文字言語の発音表記を含む、請求項１８に記載の装置。
27. 前記ストローク解析部は、前記複数のストロークのうちの１つのストロークが非記号ジェスチャを表すか否かを確定し、前記ストロークが非記号ジェスチャを表す場合、前記複数の記号認識エンジンにおいて該ストロークを無視するように構成される、請求項１８に記載の装置。
28. 前記複数の記号認識エンジンは統計的分類器を含む、請求項１８に記載の装置。
29. 前記複数の記号認識エンジンのうちの少なくとも１つの記号認識エンジンは、少なくとも１つの共通ストロークによって接続される前記複数の記号のうちの少なくとも２つの記号を認識するように構成される、請求項１８に記載の装置。

Images