JP2004534312A - Recognition display of handwritten patterns - Google Patents

Abstract

An improved user interface for an apparatus for recognizing handwritten patterns is provided.
A method for displaying a recognized handwritten pattern includes a step of detecting a handwritten pattern input to an input area of a screen by a user, and a step of recognizing the detected handwritten pattern. The recognition step returns a best interpretation of the handwritten pattern and an interpretation of at least one alternative of the handwritten pattern. The display method further includes a step of displaying the best interpretation in a display area of the screen overlapping the input area, and a step of displaying the interpretation of the at least one option in the display area. The apparatus for recognizing a handwritten pattern includes a screen for a user interface, the screen including an input area having sensitivity to handwriting and a display area overlapping the input area.

Description

このような言語の例としては中国語や日本語が挙げられる。現代の日本語は文字を混合して使用しており、その文字には日本語漢字（中国を起源とする象徴文字）、平仮名、片仮名（表音文字）、ラテン文字、およびアラビア数字が含まれる。
【００１２】
手書き認識（ＨＷＲ）と併せて、好ましくはユーザの書いている文字に関する情報が提供される。これは例えばユーザＩＤまたはパスワードを書いている時や、データベースに問い合わせを行う時に特に重要である。
【００１３】
異なる文字タイプの違いを強調する一つの方法として、例えば、Ｔｏｓｈｉｂａ Ｐｏｃｋｅｔ Ｇｅｎｉｏ （ＴＭ） ｅ５５０ｘ日本語用にて入手可能な、インプット・メソッド・エディタ（ＩＭＥ）と関連する方法が提供されている。平仮名と片仮名の違いは候補の他に文書で提示され、使用される手書き認識ソフトウェアによって識別される。例えば、例示のため、図１を参照されたい。
【００１４】
この方法にはいくつかの問題が伴う。第一に、様々な文字タイプの候補を提示するために、利用可能な画面スペースのうち広い範囲が必要な点である。従って、占められる画面スペースを小さく保つ場合、一度に表示できる候補はほんの少数に限られてしまう。さらに、ユーザはまず正しく表示された候補を探す必要があり、候補のそばの筆跡を確認してその候補が正しい文字タイプに属するのか調整しなくてはならないので、正しい候補を一覧から探すのは容易ではない。
【００１５】
画面に表示される文字タイプの提示方法、すなわち画面領域を無駄にすることなく、表示される文字タイプを確定できる、改善された文字タイプ表示方法が必要である。
【００１６】
中国語文字認識装置において、文字入力ボックスも一般的である。文字入力ボックスは通常、入力領域全体を覆っており、ユーザは文字入力ボックスの内側に文字を書く必要がある。このため、ユーザはボックス内に文字全体が確実に入力できるように小さな文字を書いてしまうことにつながることがある。この結果として非常に正確に手書きすることが求められる。このことは、例えば車で移動中、または早く手書きする時のように振動する環境でユーザが装置を使う場合、特に問題である。このような環境では、ユーザが書く文字が小さすぎて装置の正確さ限度に達してしまうと、認識を失敗することがある。
【発明の開示】
【発明が解決しようとする課題】
【００１７】
本発明の目的は、手書きパターンの認識装置のための改善されたユーザインターフェースを提供することである。本発明の別の目的は、手書き文字入力を簡素化するユーザインターフェースを提供することである。
【課題を解決するための手段】
【００１８】
本発明の目的は、請求項１に記載の方法および請求項２８に記載の装置によって達成できる。本発明の好ましい実施形態は従属請求項２から２７および２９から３４により定義される。
【００１９】
このように、本発明は認識された手書きパターンの表示方法を提供する。この方法はユーザによって画面上の入力領域に入力された手書きパターンを検出するステップ、および検出された手書きパターンを認識するステップを備える。この認識ステップでは手書きパターンの最善の解釈、および少なくとも一つの上記手書きパターンの選択肢の解釈を返す。この方法はさらに、入力領域と重なり合う画面の表示領域に最善の解釈を表示するステップ、およびこの表示領域に少なくとも一つの選択肢の解釈を表示するステップを備える。
【００２０】
本発明はまた手書きパターンを認識するための装置を提供し、この装置はユーザインターフェースのための画面を備える。この画面は入力領域および表示領域を含み、上記入力領域は手書きに対する感度を有し、上記表示領域は上記入力領域と重なり合い、上記入力領域に入力されたパターンの最善の解釈および上記入力されたパターンの少なくとも一つの選択肢の解釈を表示するように配置される。
【００２１】
本発明により、手書きパターンの最善の解釈が最初にユーザに表示される。ユーザがこの解釈を拒絶しない場合、この解釈は正しい認識としてみなされる。従って最善の解釈が正しい場合、ユーザは新しいパターンをすぐに続けて入力することができる。このように、パターンの入力に必要なステップは文字を書くステップのみである。結果として、パターン入力をスピードアップさせることができる。さらに本発明により、最善の解釈が正しくない場合、選択肢の解釈を選ぶことが可能である。
【００２２】
さらに、ユーザは手書きパターンを入力する時は入力領域に集中し、次に表示領域を見てパターンの解釈を確認する。表示領域は入力領域と重なり合っているので、ユーザは入力領域と表示領域の間で常に視点を振り分ける必要はない。この解釈は、ユーザが既に視点を合せている画面上の場所に表示される。従って、入力の間ユーザの目線が迷うことがないので、さらに入力のスピードアップを図ることができ、入力するのに都合が良くなる。
【００２３】
この適用の状況において、単語パターンはこの装置によって解釈可能などのパターンにも確定される。そのパターンとはすなわち、ラテン文字、中国語文字やその他のあらゆる種類の文字、符号、図、またはその他のあらゆる記号などである。また、パターンはスペース、削除、またはリターンとして解釈される記号またはジェスチャでもよい。この記号はまた、よく入力される長いフレーズや単語の短縮でもよい。例えば、ある人物のフルネームの頭文字を組み合わせた二文字の記号で、その人物の名前全体を表示することも可能である。
【００２４】
本発明の実施の一形態によると、少なくとも一つの選択肢の解釈は、最善の解釈と同時に表示される。次に、もし最善の解釈が正しくない場合は、正しいと思われる選択肢の解釈が、認識の間ユーザに向けて直ちに表示される。その結果、ユーザは選択肢の解釈を容易に選択して、入力されたパターンの解釈を調整することができる。従って最善の解釈を容易に修正することができる。さらに選択肢の解釈は、入力領域と重なり合う表示領域にも表示されるので、ユーザは同じ領域に視点を合せたままでよい。
【００２５】
好ましくは、最善の解釈は少なくとも一つの選択肢の解釈よりも大きいサイズで表示される。このことは、最善の解釈がユーザにはっきりと示されるので、ユーザが修正しない場合にどちらの解釈が装置に採用されるのか、ユーザは知ることができることを意味する。
【００２６】
認識ステップにおいて、最善の解釈および少なくとも一つの選択肢の解釈の区別が困難な場合のみ、少なくとも一つの選択肢の解釈が、最善の解釈と同時に表示される。同時に複数の解釈が表示されると、ユーザはどの解釈が最善のものなのか明確に知ることができないことがある。従って、ユーザが修正しない場合に、どの解釈が装置に選択されるのかユーザは知ることができないことがある。それ故、認識ステップにおいてほぼ等しく正しい解釈と思われる二つ以上の解釈が与えられる場合は、選択肢の解釈を示すことのみが適切である。
【００２７】
「０」（アラビア数字のゼロ）や「Ｏ」（ラテン大文字のＯ（オー））のように、二つのパターンが極めて相似している場合、これらの手書きパターンを区別し正しく認識することは非常に困難である。このような場合、これらパターンのうちの一つが最善の解釈として与えられ、その他のパターンは最善の解釈が表示されると同時に、選択肢の解釈として自動的に表示される。その結果、誤ったパターンが最善の解釈として表示されても、ユーザは正しい解釈に直ぐに切り替えることができる。
【００２８】
別の実施形態によると、少なくとも一つの選択肢表示ステップは、ユーザの要求に応じて実施される。装置は、好ましくは、入力されたパターンの少なくとも一つの選択肢の解釈の表示を要求する手段をさらに含む。よってユーザは選択肢の解釈の表示を要求し、表示された選択肢から正しい解釈を選択することができる。従って、文字の再入力を回避することができる。さらに、最善の解釈のみ最初にユーザに表示するため、手書きパターンが認識され複数の選択肢が表示されても、ユーザは混同することがない。認識により正しい解釈がたいてい与えられる場合、ユーザに解釈を表示するにはこの方法は極めて効率がよい。
【００２９】
この方法のより好ましい実施形態によると、選択肢の解釈の表示ステップにおいて、表示された最善の解釈が取り替えられる。表示領域は好ましくは、要求手段を介したユーザの要求に応じて選択肢の解釈を表示するように配置される。ユーザが選択肢の解釈の表示を要求するのは、最善の解釈が誤っており、それ以上表示する必要がない場合である。選択肢の解釈が最善の解釈に取り替えられるので、ユーザが必要とする情報のみが表示される。さらに、ユーザは画面上の同じ場所に視点を合せ続けることが可能である。結果として、すべてのユーザとのやりとりは同じ場所で行なわれ、これにより入力が効率よくなり、装置の操作が容易になる。
【００３０】
好ましくは、解釈の表示ステップによって入力された手書きパターンが取り替えられる。またこの結果、ユーザに必要な情報のみが表示される。ユーザはパターンを入力したら、入力されたパターンが如何に解釈されるかをただ確認するだけで良い。従って、相応しい情報のみがユーザに表示され、また全ての情報は画面上の同じ場所に表示される。それ故、入力過程は単純である。
【００３１】
この方法は、認識された手書きパターンに後続または先行するパターンの提案を少なくとも一つ表示するステップを備えることができる。すなわち、ユーザはその次のパターンを手書き入力する必要がない。その代わりユーザは、解釈された手書きパターンに続くと思われるパターンとして、この装置が表示する提案を承認することができる。さらに、誤って承認された前のパターンを再入力する必要がない。この方法では、この装置は最後に解釈された手書きパターンの前に来ると予想されるパターンを表示することが出来る。バイグラム統計により複数の提案が決定され、これにより提案が与えられ、選択肢の解釈として表示される。バイグラム統計は、特定のパターンまたは文字の後に別の特定パターンが続くという確率に関する統計学である。バイグラム統計は、例えば使用言語によって異なる。ユーザは、入力しようとしているテキストに適したバイグラム統計の分野を選択することができる。画面上のボタンを作動する、または特定のジェスチャを描く、などのユーザからの要求に応じて、これらの提案を表示することができる。
【００３２】
本発明の好ましい実施形態によると、認識ステップによって複数の選択肢の解釈が返され、選択肢の解釈を表示するステップによって、返された全ての選択肢の解釈が表示される。結果として、複数の選択肢がユーザに示される。次に正しい認識をユーザに表示することができる。次いでユーザは正しい認識を直ちに認知することができ、パターンの再入力を要求されることはない。実施形態によると、複数の選択肢の解釈はユーザの要求がある時のみ表示される。従って、一つの適当な選択肢の解釈が最善の解釈と同時に表示されるので、複数の解釈はユーザが特別に要求しない限り表示されない。これによって、ユーザが複数の選択肢の表示を要求する必要はほとんどない。
【００３３】
本発明による別の好ましい実施形態によると、この方法はさらに、入力領域に誘導ラインを表示してユーザをパターンの入力場所に誘導するためのステップを含む。この誘導ラインは主要入力領域を画定する。この主要入力領域は入力領域のほんの一部しか覆わず、ユーザは誘導ラインによって画定される領域の外にパターンの部分をはみ出して入力することができる。従って、画面はさらに誘導ラインを含み、その誘導ラインは入力領域に表示され、ユーザをパターンの入力場所に導く。誘導ラインは文字入力できる領域を限定しないので、ユーザは文字を主要入力領域内に合わせる必要がなく、従って、文字を大きく書くことができる。ユーザは誘導ラインによって画定される領域の外に書きやすくなるので、文字を入力する際、入力領域全体を使うことができる。従って、文字が大きく入力され、文字認識が改善される。
【００３４】
その上、ある特定の文字を入力する際、特定のやり方で主要入力領域の外に通常はみ出るように、異なる文字を入力する場合も異なるやり方で主要入力領域の外にはみ出る。従って、手書きパターンが誘導ラインの外へはみ出る態様に関する情報を使って、より優れた認識を得ることができる。
【００３５】
誘導ラインが主要入力領域を画定するという表現は、必ずしも誘導ラインがその領域を包囲することを意味しているわけではない。それは二つの向き合った線、およびこれらの線を結んで領域を限定する仮想線によって限定される領域でもよい。
【００３６】
好ましくは、誘導ラインの表示ステップは原稿用紙の外観を模倣する。その結果、ユーザは入力領域の外観を見慣れているので、文字入力を自然に行うことができる。
【００３７】
中国語文字に関して、本発明は主要入力領域の外への入力を許容するという利点を有する。これは、中国語文字を通常紙に書く時、紙の桝目の外に文字を多少はみ出させることが一般的である、という事実があるためである。そこで誘導ラインによって文字入力のための桝目を形成し、ユーザは紙に書くときと同じやり方でその桝目に文字を入力することができる。よって、より優れた文字認識が得られる。
【００３８】
本発明の一側面によると、パターンタイプの情報を提供しながらパターンを表示する方法が提供される。
【００３９】
本発明の一側面によると、画面の表示領域にパターンを表示する方法が提供され、上記パターンはパターン背景上に表示され、このパターン背景は上記画面の上記表示領域の一部において可視であり、上記パターン背景が上記パターンと関連付けられる上記方法であって、上記パターンと上記関連付けられたパターン背景との組み合わせは、マスキング形式で表示され、上記組み合わせのマスキングは表示されるパターンタイプによって選択されることを特徴とする。
【００４０】
この方法の適用において表示パターンのうち、いくつかのみに対しては、組み合わせのマスキング処理または変更が可能である。
【００４１】
異なるマスキングタイプが異なるパターンタイプに適合する限り、マスキングによって上記組み合わせの外観を変更することも、また変更しないことも、表示されるパターンタイプによって、可能である。このために、異なる種類のマスキングを適用することにより、相似した異なるパターンの視覚的な違いを強調することが可能になる。異なるパターン同士の違いを区別するには、相似するパターンの対の一つを変更すればよい。
【００４２】
マスキングタイプとパターンタイプの間の対応は予め決めることができ、また変更も可能である。
【００４３】
上述したように、手書き認識はしばしば、意図するパターンを正しく決定または解釈する点において、不確実性を伴う。従って、ユーザはパターンが正しく認知されたかどうか確認するために、フィードバックを必要とする。パターンおよび関連付けられたパターン背景の組み合わせのマスキングが、表示されるパターンタイプによって選択されることを特徴とする、本発明による方法は、異なるパターンタイプをフィードバックとしてユーザに強調するのに有用である。
【００４４】
多くの場合、異なるパターンは同じまたはほぼ同じやり方で書かれる。従って、特定のパターンからの情報のみを使うだけでは、ユーザの意図する正しいパターンを認知することは困難または不可能ですらある。そこで、正しいパターンの候補一覧をユーザに与えることにより、ユーザは候補の中から選ぶことができるので、大変有用である。
【００４５】
本発明の別の側面によると、パターンはそれぞれパターン背景と関連付けられ、上記パターン、および上記関連付けられたパターン背景それぞれの組み合わせは、上記パターンのそれぞれのタイプによってマスキング処理される。
【００４６】
多数のパターンが表示される場合、認識と解釈を迅速かつ簡素に行うために、表示されるパターンタイプに関する情報をユーザに提供することが望ましい。この側面は特に、誤入力を検出する必要がある時に有用である。
【００４７】
本発明の別の側面によると、表示されたパターンは横線または縦線に沿って表示される。パターンの横配列および／または縦配列により、ユーザはパターンに組み込まれた語義的または象徴的意味を解釈することができる。
【００４８】
本発明の別の側面によると、関連付けられた背景の領域のサイズは均等または異なる。この方法は、パターンの間隔が比例的に空いた場合のみならず不比例的に空いた場合にも適応できる。この方法は、相似した幅のパターンおよび／または相似した高さのパターン、および／または異なった幅のパターンおよび／または異なった高さのパターンの場合に使うことができる。従って本発明は、例えば全角文字と半角文字の違いを強調するために用いることができる。任意には、パターンの幅および／または高さをマスキングのために調整することができる。
【００４９】
本発明の別の側面によると、この方法は次のステップを含む。すなわち、
ａ）表示されるパターンタイプを認知するステップ
ｂ）パターンタイプに応じてマスキングタイプを選択するステップ
ｃ）上記パターン、および上記画面上の上記関連付けられたパターン背景との組み合わせを表示する一方、上記組み合わせに適したマスキングを適用するステップ、である。
【００５０】
このようなマスキング手順によって、本発明による方法を実施することができ、平均的な当業者にも実施可能である。
【００５１】
本発明の別の側面によると、表示されたパターンのビューアは、上記パターンタイプに関連付けられたマスキングタイプを選択することができる。この側面により、ビューアまたはユーザはパターンタイプそれぞれに関連付けられたマスキングタイプを選択することができ、よって、パターンの識別可能性を改善させ、または個人的嗜好を満足させ、または使用する画面にこの方法を適合させることができる。
【００５２】
本発明のさらに別の側面によると、上記マスキングは上記組み合わせの外観の変更を含む。画面上の表示のために、視覚的に組み合わせを変更することは容易に適用できる。しかしながら、例えば音声を使って、あるパターンタイプが表示されていることをユーザに知らせることもできる。
本発明の別の側面によると、上記マスキングはパターンおよび関連付けられたパターン背景の間のコントラストの強調または低下を含む。これにより、容易に認知可能なマスキングが提供される。コントラストの強調は、パターンの色および関連付けられたパターン背景の色の反転と組み合わせることができる。
【００５３】
本発明の別の側面によると、上記マスキングは上記関連付けられたパターン背景の変更を含み、この変更は色の変更および濃淡および網掛けから成る群の中から選択される。これにより、容易に適用可能な、かつ認識可能なマスキングが表示されるが、パターン自体が変更するわけではない。
【００５４】
本発明の別の側面によると、上記マスキングは上記パターンの変更を含み、この変更は色の変更および濃淡および網掛けから成る群の中から選択される。よってこの変更に影響されずにパターンの形状を残すことができる。パターンの変更および関連付けられたパターン背景の変更の組み合わせは、例えばパターンの色、および関連付けられたパターン背景の色両方を反転することにより、マスキング処理に用いることができる。
【００５５】
別の側面によると、それぞれのパターンと関連付けられたタイプは、ユーザが確定することができる。この側面のおかげで、ユーザがどのパターンを区別すべきかこの方法により決定することができる。
【００５６】
本発明のさらに別の側面によると、上記手書きパターン、そして表示される解釈は文字を含む。この方法は混同し易い文字の違いを強調するのに特に適している。従って、パターンは文字を含むことが可能、または文字から成ることが可能である。
【００５７】
一つの側面によると、この文字は、中国語文字、日本語漢字、平仮名、片仮名、ラテン文字、ギリシャ文字、アラビア数字、および句読点から成る群の中から選択される。これらの文字は幅広く使用される文字の中の例であり、ある場合には相似した外観のため混同される。
【００５８】
一つの側面によると、上記マスキングは上記文字タイプによって選択され、上記文字タイプは中国語文字、日本語漢字、平仮名、片仮名、ラテン文字、ギリシャ文字、アラビア数字、および句読点から成る群の中から選択される。文字タイプを認識する情報を表示することにより、文字の誤った選択、誤入力、または誤った認知の確率を低下することができる。
【００５９】
下記の表に例示するように、前述の文字タイプの中には混同し易い文字がいくつか存在する。
【表１】

【００６０】
一つの側面によると、選択されたマスキングは文字のコード化形式タイプによって決定される。例えばある特定の言語におけるデータベースを使用する場合、適用された、または適用可能なコード化形式を確定できると、多くの場合有益である。コード化形式の例としては、日本語のためのＥＵＣ−ＪＰ、シフトＪＩＳ、繁体字中国語のためのＢｉｇ５、ＥＵＣ−ＴＷ、簡体字中国語のためのＥＵＣ−ＣＮ、ＧＢＫ、韓国語のためのＥＵＣ−ＫＲ、統合型ハングルコード、Ｊｏｈａｂ、多国語のためのＵＴＦ−８、４バイトＥＡＣＣが挙げられる。しかしながら、異なる言語の文字とアルファベットを含むコード化形式であるユニコードを使用する場合、適用することができない。
【００６１】
一側面によると、上記マスキングは、上記文字のフォントまたはフォントスタイルの変更を含む。フォントの例としてはＣｏｕｒｉｅｒ Ｎｅｗ、Ｔｉｍｅｓ Ｎｅｗ Ｒｏｍａｎ、ＭＳゴシック、ＭＳ明朝が挙げられる。フォントスタイルの例は、斜体、および太字、および下線である。
【００６２】
画面は例えば、コンピュータ画面、ディスプレイ、または携帯用データハンドリング装置の画面領域である。マスキングは特に、このような画面または、パターンタイプまたは文字タイプの混同が起り得るどのような低解像度の画面にも適している。
【００６３】
さらに別の側面によると、本発明は、画面の表示領域で本発明の任意の方法によって、パターンを表示するための装置に関する。その方法は、当業者が容易に提供できる適当なソフトウェアまたはハードウェアを用いて、適切に実施することができる。
【００６４】
本発明による装置の一側面によると、上記画面はパターン背景上にパターンの表示を許し、上記パターン背景は上記パターンに関連付けられ、この画面は上記パターンおよび上記関連付けられたパターン背景の組み合わせをマスキング形式で表示するよう用いられ、このマスキングは表示されるパターンタイプによって選択できる。
【００６５】
本装置はさらにハードウェア、および任意にソフトウェアを含むことができ、よって本適用で説明される方法のいずれかの実施が可能である。
【００６６】
本発明による別の特徴および利点は、添付の図面を参照した、以下の好ましい本実施形態の詳細な説明で明らかとなる。
【発明を実施するための最良の形態】
【００６７】
図１は従来技術による画面図である。ボックス９８は平仮名の「こ」および片仮名の「コ」の中のいくつかの入力すべき候補を表している。
【００６８】
図２に関して、手書きパターンの認識を表示するための本発明による方法が示されている。ステップ２で、最初に、ユーザが手書きパターンを入力する。ユーザは手書きパターンを感圧性画面の入力領域に入力する。ユーザはペンを用いて画面に圧力を加えパターンを書く。ユーザがペンを画面中で動かすと、画面の圧力を受けている部分が強調表示され、従ってユーザは自分の書いたものを見ることができる。
【００６９】
次に、ステップ４で、手書きパターンが検出される。検出ステップでは入力された手書きパターンがデジタル化される。ステップ６で、続いて、検出された手書きパターンが認識される。認識は従来の方法によって実施され、検出されたパターンは参照パターンのデータベースと比較されて、マッチするパターンが見つけ出される。この認識により手書きパターンの最善の解釈および複数の選択肢の解釈が与えられる。最善の解釈は、認識が手書きパターンに最も相似していると認めた参照パターンである。選択肢の解釈は、手書きパターンにそれほど相似していない参照パターンである。
【００７０】
次に、ステップ８で、最善の解釈が画面上に表示される。最善の解釈は、入力領域と重なり合う表示領域に表示される。従って、手書きパターンの表示は最善の解釈の表示に取り替えられる。同時に選択肢の解釈の表示を要求するための要求ボタンが表示される。
【００７１】
ステップ１０で、ユーザが要求ボタンを作動すると、選択肢の解釈が表示される。次に選択肢の解釈が最善の解釈と入れ替わる。選択肢の解釈が表示されると、取り消しボタンもまた表示される。取り消しボタンが押されると、パターンは削除されユーザはパターンを再入力する必要がある。画面において均一にスペースを占めるように、選択肢の解釈は最善の解釈よりも小さい形式で表示される。選択肢の解釈が選択される場合、それが手書きパターンの正しい認識として承認される。そこでこの正しい認識は、ステップ８で最善の解釈が表示された時と同じサイズで表示される。また、要求ボタンが再度現れ、ユーザがパターンの解釈を変更できるようにする。
【００７２】
ユーザが手書きパターンの認識を承認した場合、ユーザは新たな手書きパターンを入力領域に続けて入力することが可能であり、この方法はステップ２に戻る。しかしながら、複数のパターンを入力領域に入力することがでるので、ユーザはパターンの解釈を修正する前にいくつかのパターンを入力することが可能である。
【００７３】
パターンが認識されると、入力されたテキスト全体が第二表示領域にも表示される。この第二表示領域では認識されたパターンは小さいサイズで表示される。従って、第二表示領域は入力されたパターンの多くの量を表示することができる。この表示領域をスクロールして以前に入力されたパターンを示すことができる。
【００７４】
この方法の異なるステップにおける、本発明による手書きパターン認識装置を図３から図５に示す。装置２０を中国語文字認識に関連して説明する。装置２０は感圧性画面２２を備える。この画面２２は装置２０のユーザに対し、ユーザインターフェースを表示する。装置２０はさらに、参照パターンのデータベース、および手書きパターンを参照パターンと比較して手書きパターンを認識するための手段を備える。従って、装置２０は中央処理装置を備え、手書きパターン認識およびユーザインターフェースを介した出入力の処理を行う。
【００７５】
ユーザインターフェースは、ユーザが手書きパターンを入力することができる入力領域２４、および手書きパターンの解釈が表示される表示領域２６を含む。表示領域２６および入力領域２４は互いに重なり合う。従ってユーザは、パターンを入力しパターンの解釈を検討している時にも、画面２２の同じ場所に目線を向け続けることができる。ユーザインターフェースはまた、入力したテキストおよび多くのパターンを同時に表示することができる、第二表示領域２８も含む。
【００７６】
入力領域２４は、手書きパターンの入力場所へユーザを誘導するように表示される誘導ライン３０を含む。誘導ライン３０は桝目３２の形状に主要入力領域を形成し、桝目３２それぞれに一文字ずつ入力するようにする。しかしながら、ユーザは桝目３２の外に文字の一部をはみ出して入力してもよい。これは、ユーザが通常中国語文字を書く方法に対応する。誘導ライン３０は標準の中国の原稿用紙の外観に似せて緑色である。
【００７７】
この方法のステップ２およびステップ４における装置を、図３を参照して示す。ユーザは手書きパターン３４を入力領域２４の桝目３２に入力する。ユーザが入力するパターン３４が見えるように、入力されたパターン３４は画面２２に強調表示される。
【００７８】
入力されたパターン３４は次に装置２０によって認識される。この方法のステップ８における装置２０を、図４を参照して示す。パターンの最善の解釈３６は、パターンが入力された桝目３２に表示され、桝目３２の右下角に小さなチップ３８が現れる。これは、最善の解釈３６が正しくない場合に、選択肢の解釈を表示できるということを表している。
【００７９】
ユーザがチップ３８をクリックすると、いくつかの選択肢の解釈４０が、ステップ１０に相当する図５に示すように表示される。選択肢の解釈４０は、パターンが入力された桝目３２の中に表示される。次にユーザは選択肢の解釈４０のいずれかをクリックし、これによりクリックされた選択肢の解釈が正しいパターンの認識として選択される。取り消しボタン４２もまた選択肢の解釈４０と共に表示され、取り消しボタン４２が作動されると、装置２０は正しい解釈が表示されなかったと判断する。そこで入力用桝目３２は空白になり、ユーザはパターンを再入力することができる。
【００８０】
選択肢の解釈４０は最善の解釈３６と同時に表示することができる。例えば、最善の解釈３６が表示領域２６の中央に表示されるのに対し、選択肢の解釈４０は表示領域２６の縁に沿って最善の解釈よりも小さいサイズで表示される。一つ以上の選択肢の解釈４０は、最善の解釈３６と同時に表示することができる。選択肢４０をさらに表示させるためには、さらに選択肢４０を要求すれば可能である。
【００８１】
図６に本発明による画面の図を示す。図において異なる文字タイプは異なる濃淡１００によって示される。
【００８２】
好ましい実施形態において本発明による方法は、カラー画面を有する手の平サイズのＰＤＡ装置において実施される。この装置は画面にパターン表示ができるよう用いられる。このパターンは日本語書記体系で標準的に使用される文字、すなわちアラビア数字、ラテン文字、平仮名、片仮名、日本語漢字、およびその他の記号を含む。
【００８３】
マスキングは次のように提供される。ラテン文字およびその他の記号は白の背景上に黒で、数字はグレーの背景上に黒で、平仮名は緑の背景上に黒で、片仮名は青の背景上に黒で、そして日本語漢字は黄色の背景上に黒で、それぞれ表示される。従ってこの装置のユーザは、特定の文字タイプを即座に認知することが可能である。表示された文字は、同じような文字間隔で横線に沿って書かれ、全てのパターン背景は同面積の長方形である。
【００８４】
マスキングを使用することにより、ユーザは候補の中から選択することができ、異なるタイプで相似した文字の中で容易に区別することができる。正しい候補を選択した後でも、適用したマスキングにより既に示された文字タイプを表示することが可能である。ユーザが希望すれば、様々な文字タイプに適用されたマスキングタイプを変更することができる。
【００８５】
ここに説明した好ましい実施形態は限定的なものではなく、添付の特許請求の範囲により定義された保護範囲以内において、多くの代替的な実施形態が可能である点は強調されるべきである。例えば、要求ボタンまたはチップはいくつかの別の方法で表示することもできる。代わりの方法としては、入力領域に特定のジェスチャを描くことによって、選択肢の解釈の表示を要求することもできる。
【００８６】
さらに、次に入力するパターンを提案するよう要求することも可能である。この方法では、ユーザはパターンを手書きで入力する必要が全くない。代わりに、以前に入力して認識されたパターンに基づき、装置がパターンを提案する。この提案はバイグラム統計、すなわち、特定のパターンの後に、別の特定のパターンが続くという確率の統計に基づく。この方法においてこの装置は、単語全体または単語の末尾を提案として与える。この方法は、最後に入力したパターンの前のパターンの解釈を変更することにも使用できる。この方法により、ユーザは正しい解釈として誤って承認されてしまったパターンを再入力する必要がない。
【００８７】
手書きパターンは、フォーマット機能または編集機能を表す記号でもよい。従って、このパターンはスペース、削除、リターン、大文字ロックなどを表すことができる。選択肢がどれも正しくない場合、取り消しボタンによって手書きパターンの解釈を取り消すことができるが、削除記号を使って解釈が既に承認されている文字を削除することもできる。
【図面の簡単な説明】
【００８８】
【図１】従来技術による、解釈の候補の表示方法を示す画面図である。
【図２】本発明による方法のフローチャートを示す図である。
【図３】装置の入力領域に手書きパターンが入力されている、本発明による装置の概略図である。
【図４】装置の表示領域に最善の解釈が表示されている、図２の装置の概略図である。
【図５】装置の表示領域に選択肢の解釈が表示されている、図２の装置の概略図である。
【図６】本発明によるパターン表示のマスキング方法を示す画面図である。【Technical field】
[0001]
The present invention relates to a method for displaying a recognized handwritten pattern. The invention also relates to an apparatus for recognizing a handwritten pattern, the apparatus comprising a screen for a user interface, the screen comprising an input area having sensitivity to handwriting.
[0002]
The invention also relates to a method and apparatus for displaying a pattern, and more particularly to a method and apparatus for displaying a pattern on a background.
[Background Art]
[0003]
Today, portable data handling devices have become increasingly popular. These data handling devices include, for example, PDAs (Personal Digital Assistants), mobile phones, and portable computers. To insert data into these portable devices, a text insertion unit is required.
[0004]
Previously, text insertion units used a keyboard. However, this limits the minimum size of the portable device, so different methods for inserting text into the device are needed to enable smaller devices.
[0005]
In such devices, the keyboard is currently being replaced by something like a device for recognizing handwritten text. A common solution is to place a pressure sensitive area on the screen where the user can write characters. This device interprets and processes the characters on the screen. Of course, replacing the keyboard of a regular fixed computer is also of interest.
[0006]
The screen displays a user interface for entering text. This screen has an input area and a display area. The user can input handwritten characters in the input area, and the recognition result of the handwritten characters is displayed to the user in the display area.
[0007]
A user interface is disclosed in U.S. Patent No. 5,732,152. The input area includes a character input box, which defines an input area for handwritten characters. The handwritten character is input into the box, and the recognition result then replaces the handwritten character in the box. The recognition result is also displayed in the second display area.
[0008]
According to U.S. Pat. No. 5,732,152, if recognition of a handwritten character fails, a character indicating non-recognition is displayed. Thus, the user must re-enter the character to be correctly recognized. As a result, the user needs to input characters several times until the device is recognized, which is troublesome and troublesome for the user. Furthermore, there is no guarantee that the characters recognized by the device are correct, and the device may incorrectly recognize it. In these cases, the user must re-enter the characters.
[0009]
As shown in FIG. 1, in Chinese character recognition, it is common to display recognition candidates in a display area. Next, the user needs to select the correct candidate and have the character recognized correctly. As a result, two steps are required in the character input process. First, the user enters the characters, and second, selects the correct character recognition. This takes time and is even slower than writing on paper.
[0010]
Further, it is known to distinguish characters using special characters with specially assigned meanings in computer displays, but this is liable to be confused due to other similar appearances.
[0011]

Examples of such languages include Chinese and Japanese. Modern Japanese uses a mixture of characters, including Japanese Kanji (symbols of Chinese origin), Hiragana, Katakana (phonetic), Latin, and Arabic numerals .
[0012]
In conjunction with handwriting recognition (HWR), information is preferably provided about the characters that the user is writing. This is particularly important, for example, when writing a user ID or password or when querying a database.
[0013]
One way to emphasize the differences between different character types is to provide, for example, a method associated with the Input Method Editor (IME) available for Toshiba Pocket Genio (TM) e550x Japanese. The difference between Hiragana and Katakana is presented in a document in addition to the candidate and identified by the handwriting recognition software used. For example, see FIG. 1 for illustration.
[0014]
This method has several problems. First, a wide range of available screen space is needed to present various character type candidates. Therefore, if the occupied screen space is kept small, only a small number of candidates can be displayed at one time. In addition, the user must first search for a correctly displayed candidate, check the handwriting near the candidate, and adjust whether the candidate belongs to the correct character type. It's not easy.
[0015]
There is a need for a method for presenting character types displayed on a screen, that is, an improved character type display method that can determine the displayed character types without wasting screen area.
[0016]
In a Chinese character recognition device, a character input box is also common. The character input box usually covers the entire input area, and the user needs to write characters inside the character input box. For this reason, the user may write small characters in the box so that the entire characters can be reliably input. This requires very accurate handwriting. This is a particular problem when the user uses the device in a vibrating environment, such as when moving in a car or when handwriting early. In such an environment, recognition may fail if the user writes too small characters to reach the accuracy limit of the device.
DISCLOSURE OF THE INVENTION
[Problems to be solved by the invention]
[0017]
It is an object of the present invention to provide an improved user interface for a handwritten pattern recognition device. Another object of the present invention is to provide a user interface that simplifies handwritten character input.
[Means for Solving the Problems]
[0018]
The object of the invention can be achieved by a method according to claim 1 and an apparatus according to claim 28. Preferred embodiments of the invention are defined by dependent claims 2 to 27 and 29 to 34.
[0019]
Thus, the present invention provides a method for displaying a recognized handwritten pattern. The method includes the steps of detecting a handwritten pattern input to an input area on a screen by a user, and recognizing the detected handwritten pattern. This recognition step returns the best interpretation of the handwritten pattern and the interpretation of at least one of the handwritten pattern options. The method further includes displaying the best interpretation in a display area of the screen that overlaps the input area, and displaying the interpretation of at least one option in the display area.
[0020]
The present invention also provides an apparatus for recognizing a handwritten pattern, the apparatus comprising a screen for a user interface. The screen includes an input area and a display area, the input area having sensitivity to handwriting, the display area overlapping the input area, and the best interpretation of the pattern input to the input area and the input pattern. Arranged to display the interpretation of at least one of the options.
[0021]
According to the invention, the best interpretation of the handwritten pattern is first displayed to the user. If the user does not reject this interpretation, this interpretation is considered as correct recognition. Thus, if the best interpretation is correct, the user can immediately enter a new pattern. Thus, the only steps required for inputting a pattern are steps for writing characters. As a result, pattern input can be speeded up. Further, the present invention allows for the interpretation of options if the best interpretation is incorrect.
[0022]
Further, the user concentrates on the input area when inputting the handwritten pattern, and then checks the interpretation of the pattern by looking at the display area. Since the display area overlaps with the input area, the user does not need to always assign a viewpoint between the input area and the display area. This interpretation is displayed at a location on the screen where the user has already focused his or her point of view. Therefore, since the user's eyes do not get lost during the input, the speed of the input can be further increased, and the input becomes more convenient.
[0023]
In the context of this application, the word pattern is determined to be any pattern that can be interpreted by the device. The pattern may be, for example, Latin, Chinese or any other type of character, code, figure, or any other symbol. Also, the pattern may be symbols or gestures that are interpreted as spaces, deletions, or returns. The symbol may also be a shortened form of a commonly entered long phrase or word. For example, it is also possible to display the entire name of a person with a two-letter symbol combining the initials of the full name of the person.
[0024]
According to one embodiment of the present invention, the interpretation of at least one option is displayed simultaneously with the best interpretation. Then, if the best interpretation is incorrect, the interpretation of the option that appears to be correct is immediately displayed to the user during recognition. As a result, the user can easily select the interpretation of the option and adjust the interpretation of the input pattern. Therefore, the best interpretation can be easily modified. Further, the interpretation of the options is also displayed in the display area overlapping the input area, so that the user can keep the viewpoint in the same area.
[0025]
Preferably, the best interpretation is displayed in a larger size than the at least one alternative interpretation. This means that the best interpretation is clearly shown to the user, so that the user can know which interpretation will be adopted by the device if the user does not modify it.
[0026]
Only in the recognition step, if it is difficult to distinguish between the best interpretation and the interpretation of the at least one option, the interpretation of the at least one option is displayed simultaneously with the best interpretation. When multiple interpretations are displayed at the same time, the user may not know exactly which interpretation is the best. Thus, if the user does not make corrections, the user may not know which interpretation is selected for the device. Therefore, where more than one interpretation is given in the recognition step that appears to be approximately equally correct, it is only appropriate to indicate the interpretation of the options.
[0027]
When two patterns are very similar, such as "0" (Arabic numeral zero) or "O" (Latin capital letter O), it is very difficult to distinguish and correctly recognize these handwritten patterns. Difficult. In such a case, one of these patterns is given as the best interpretation and the other patterns are automatically displayed as alternative interpretations at the same time as the best interpretation is displayed. As a result, even if the wrong pattern is displayed as the best interpretation, the user can immediately switch to the correct interpretation.
[0028]
According to another embodiment, at least one option display step is performed in response to a user request. The device preferably further comprises means for requesting the display of the interpretation of at least one option of the input pattern. Therefore, the user can request the display of the interpretation of the option and select the correct interpretation from the displayed options. Therefore, re-input of characters can be avoided. Furthermore, since only the best interpretation is displayed to the user first, the user is not confused even if the handwritten pattern is recognized and a plurality of options are displayed. This method is very efficient in displaying the interpretation to the user, given that recognition usually gives the correct interpretation.
[0029]
According to a more preferred embodiment of the method, in the step of displaying the interpretation of the options, the displayed best interpretation is replaced. The display area is preferably arranged to display the interpretation of the option in response to a user request via the requesting means. The user requests the display of the interpretation of the option if the best interpretation is incorrect and does not need to be displayed anymore. Since the interpretation of the options is replaced by the best interpretation, only the information needed by the user is displayed. In addition, the user can continue to focus on the same location on the screen. As a result, all user interaction takes place in the same place, which results in more efficient input and easier operation of the device.
[0030]
Preferably, the input handwritten pattern is replaced by the interpretation display step. As a result, only the information necessary for the user is displayed. Once the user has entered the pattern, he simply needs to see how the entered pattern is interpreted. Thus, only relevant information is displayed to the user, and all information is displayed at the same location on the screen. Therefore, the input process is simple.
[0031]
The method may comprise displaying at least one pattern proposal following or preceding the recognized handwritten pattern. That is, the user does not need to input the next pattern by handwriting. Instead, the user can approve the suggestions displayed by the device as patterns that would follow the interpreted handwritten pattern. Furthermore, there is no need to re-enter a previous pattern that was incorrectly approved. In this way, the device can display patterns that are expected to come before the last interpreted handwritten pattern. A plurality of suggestions are determined by the bigram statistics, which provide the suggestions and are displayed as interpretations of the options. Bigram statistics are statistics about the probability that a particular pattern or character will be followed by another particular pattern. Bigram statistics differ, for example, depending on the language used. The user can select a field of bigram statistics that is appropriate for the text being entered. These suggestions can be displayed on demand from the user, such as activating a button on the screen or drawing a particular gesture.
[0032]
According to a preferred embodiment of the invention, the recognition step returns the interpretations of the plurality of options, and the step of displaying the interpretations of the options displays the interpretations of all returned options. As a result, multiple options are presented to the user. The correct recognition can then be displayed to the user. The user can then immediately recognize the correct recognition and will not be required to re-enter the pattern. According to an embodiment, the interpretation of the plurality of options is displayed only when requested by the user. Thus, multiple interpretations are not displayed unless specifically requested by the user, since the interpretation of one suitable option is displayed at the same time as the best interpretation. Thereby, the user rarely needs to request the display of a plurality of options.
[0033]
According to another preferred embodiment according to the invention, the method further comprises the step of displaying a guide line in the input area to guide the user to the input location of the pattern. This guide line defines the primary input area. This main input area covers only a small part of the input area, and the user can input the pattern part outside the area defined by the guide line. Therefore, the screen further includes a guide line, which is displayed in the input area and guides the user to the input location of the pattern. Since the guidance line does not limit the area in which characters can be input, the user does not need to fit the characters in the main input area, and thus can write large characters. The user can easily write outside the area defined by the guide line, so that the entire input area can be used when inputting characters. Therefore, large characters are input, and character recognition is improved.
[0034]
Moreover, just as a particular character usually enters the main input area in a particular manner, a different character may also enter the main input area in a different manner. Therefore, better recognition can be obtained using the information on the manner in which the handwritten pattern protrudes out of the guide line.
[0035]
The expression that a guide line defines a primary input area does not necessarily mean that the guide line surrounds that area. It may be an area defined by two opposed lines and an imaginary line connecting these lines to define an area.
[0036]
Preferably, the step of displaying the guide line mimics the appearance of the manuscript paper. As a result, since the user is accustomed to the appearance of the input area, the character input can be performed naturally.
[0037]
For Chinese characters, the present invention has the advantage of allowing input outside the main input area. This is due to the fact that when writing Chinese characters on regular paper, it is common to make the characters slightly protrude outside the grid of the paper. Therefore, a grid for character input is formed by the guide line, and the user can input characters in the grid in the same manner as when writing on paper. Therefore, better character recognition can be obtained.
[0038]
According to one aspect of the present invention, there is provided a method of displaying a pattern while providing pattern type information.
[0039]
According to one aspect of the present invention, there is provided a method of displaying a pattern in a display area of a screen, wherein the pattern is displayed on a pattern background, wherein the pattern background is visible in a part of the display area of the screen, The method wherein the pattern background is associated with the pattern, wherein the combination of the pattern and the associated pattern background is displayed in a masking format, and the masking of the combination is selected by a displayed pattern type. It is characterized by.
[0040]
In the application of this method, a masking process or a combination of only some of the display patterns can be performed.
[0041]
As long as the different masking types match the different pattern types, the appearance of the combination may or may not be changed by masking, depending on the displayed pattern type. To this end, applying different types of masking makes it possible to emphasize the visual differences between similar different patterns. To distinguish the differences between different patterns, one of the pairs of similar patterns may be changed.
[0042]
The correspondence between the masking type and the pattern type can be determined in advance and can be changed.
[0043]
As mentioned above, handwriting recognition often involves uncertainties in correctly determining or interpreting the intended pattern. Therefore, the user needs feedback to confirm that the pattern has been correctly recognized. The method according to the invention, characterized in that the masking of the combination of the pattern and the associated pattern background is selected by the displayed pattern type, is useful for highlighting different pattern types as feedback to the user.
[0044]
Often, different patterns are written in the same or nearly the same way. Thus, it is difficult or even impossible to recognize the correct pattern intended by the user using only information from a particular pattern. Thus, by giving the user a list of correct pattern candidates, the user can select from the candidates, which is very useful.
[0045]
According to another aspect of the invention, each pattern is associated with a pattern background, and the pattern and each combination of the associated pattern backgrounds are masked by a respective type of the pattern.
[0046]
When a large number of patterns are displayed, it is desirable to provide the user with information about the type of pattern to be displayed in order to quickly and simply recognize and interpret. This aspect is particularly useful when erroneous input needs to be detected.
[0047]
According to another aspect of the invention, the displayed pattern is displayed along horizontal or vertical lines. The horizontal and / or vertical arrangement of the pattern allows the user to interpret the semantic or symbolic meaning embedded in the pattern.
[0048]
According to another aspect of the invention, the size of the associated background area is equal or different. This method can be applied to not only a case where patterns are spaced proportionally but also a case where patterns are irregularly spaced. This method can be used for similar width patterns and / or similar height patterns, and / or different width patterns and / or different height patterns. Therefore, the present invention can be used, for example, to emphasize the difference between full-width and half-width characters. Optionally, the width and / or height of the pattern can be adjusted for masking.
[0049]
According to another aspect of the present invention, the method includes the following steps. That is,
a) Recognizing the displayed pattern type
b) Step of selecting a masking type according to the pattern type
c) displaying a combination of the pattern and the associated pattern background on the screen while applying a masking suitable for the combination.
[0050]
With such a masking procedure, the method according to the invention can be carried out and can be carried out by the average person skilled in the art.
[0051]
According to another aspect of the invention, the viewer of the displayed pattern can select a masking type associated with the pattern type. This aspect allows the viewer or user to select a masking type associated with each of the pattern types, thus improving the discriminability of the pattern, or satisfying personal preferences, or using this method on a screen for use. Can be adapted.
[0052]
According to yet another aspect of the invention, said masking comprises altering the appearance of said combination. Changing the combination visually for on-screen display is easily applicable. However, it is also possible to notify the user that a certain pattern type is being displayed, for example, using voice.
According to another aspect of the invention, the masking includes enhancing or reducing the contrast between the pattern and the associated pattern background. This provides an easily recognizable masking. Contrast enhancement can be combined with inversion of the color of the pattern and the color of the associated pattern background.
[0053]
According to another aspect of the invention, said masking comprises a change of said associated pattern background, said change being selected from the group consisting of color change and shading and shading. This displays an easily applicable and recognizable masking, but does not change the pattern itself.
[0054]
According to another aspect of the invention, said masking comprises altering said pattern, said alteration being selected from the group consisting of color alteration and shading and shading. Therefore, the shape of the pattern can be left without being affected by this change. The combination of the change of the pattern and the change of the associated pattern background can be used for the masking process, for example, by inverting both the color of the pattern and the color of the associated pattern background.
[0055]
According to another aspect, the type associated with each pattern can be determined by the user. Thanks to this aspect, the user can determine in this way which patterns to distinguish.
[0056]
According to yet another aspect of the invention, the handwritten pattern, and the displayed interpretation, includes characters. This method is particularly suitable for emphasizing differences in easily confused characters. Thus, the pattern may include or consist of characters.
[0057]
According to one aspect, the character is selected from the group consisting of Chinese characters, Japanese Kanji, Hiragana, Katakana, Latin, Greek, Arabic numerals, and punctuation. These characters are examples of widely used characters and are sometimes confused for similar appearances.
[0058]
According to one aspect, the masking is selected by the character type, wherein the character type is selected from a group consisting of Chinese characters, Japanese kanji, Hiragana, Katakana, Latin characters, Greek characters, Arabic numerals, and punctuation marks. Is done. By displaying the information recognizing the character type, the probability of incorrect selection, incorrect input, or incorrect recognition of characters can be reduced.
[0059]
As exemplified in the table below, there are some characters that are easily confused among the aforementioned character types.
[Table 1]

[0060]
According to one aspect, the selected masking is determined by the character encoding type type. For example, when using a database in a particular language, it is often beneficial to be able to determine the applied or applicable coding format. Examples of encoding formats include EUC-JP for Japanese, Shift JIS, Big5 for Traditional Chinese, EUC-TW, EUC-CN for Simplified Chinese, GBK, and Korean for Korean. EUC-KR, integrated Hangul code, Johab, UTF-8 for multilingual, 4-byte EACC. However, it is not applicable when using Unicode, which is a coded form containing letters and alphabets of different languages.
[0061]
According to one aspect, the masking includes changing a font or font style of the character. Examples of fonts include Courier New, Times New Roman, MS Gothic, and MS Mincho. Examples of font styles are italic, bold, and underlined.
[0062]
The screen is, for example, a computer screen, a display, or a screen area of a portable data handling device. Masking is particularly suitable for such screens or any low resolution screens where pattern type or character type confusion can occur.
[0063]
According to yet another aspect, the invention relates to an apparatus for displaying a pattern in a display area of a screen by any of the methods of the invention. The method can be appropriately implemented using appropriate software or hardware that can be easily provided by those skilled in the art.
[0064]
According to one aspect of the device according to the present invention, said screen allows display of a pattern on a pattern background, said pattern background being associated with said pattern, and said screen displaying a combination of said pattern and said associated pattern background in a masking format. The masking can be selected according to the type of pattern to be displayed.
[0065]
The apparatus can further include hardware and, optionally, software, and thus can perform any of the methods described in this application.
[0066]
Other features and advantages of the present invention will become apparent from the following detailed description of the preferred embodiments, taken in conjunction with the accompanying drawings.
BEST MODE FOR CARRYING OUT THE INVENTION
[0067]
FIG. 1 is a screen view according to the prior art. Box 98 represents some candidates to be entered in Hiragana "ko" and Katakana "ko".
[0068]
With reference to FIG. 2, a method according to the invention for displaying recognition of a handwritten pattern is shown. In step 2, a user first inputs a handwritten pattern. The user inputs the handwritten pattern into the input area of the pressure-sensitive screen. The user writes a pattern by applying pressure to the screen using a pen. As the user moves the pen across the screen, the portion of the screen that is under pressure is highlighted so that the user can see what he has written.
[0069]
Next, in step 4, a handwritten pattern is detected. In the detection step, the input handwritten pattern is digitized. In step 6, subsequently, the detected handwritten pattern is recognized. Recognition is performed by conventional methods, and the detected patterns are compared with a database of reference patterns to find a matching pattern. This recognition gives the best interpretation of handwritten patterns and the interpretation of multiple options. The best interpretation is the reference pattern, which recognizes that the recognition is most similar to the handwritten pattern. The interpretation of the choice is a reference pattern that is not very similar to the handwritten pattern.
[0070]
Next, in step 8, the best interpretation is displayed on the screen. The best interpretation is displayed in a display area that overlaps the input area. Therefore, the display of the handwritten pattern is replaced with the display of the best interpretation. At the same time, a request button for requesting the display of the interpretation of the options is displayed.
[0071]
In step 10, when the user activates the request button, the interpretation of the option is displayed. Then the interpretation of the options is replaced by the best interpretation. When the interpretation of an option is displayed, a cancel button is also displayed. When the cancel button is pressed, the pattern is deleted and the user has to re-enter the pattern. The interpretation of the choices is displayed in a smaller form than the best interpretation, so as to occupy even space on the screen. If an option interpretation is selected, it is accepted as correct recognition of the handwritten pattern. This correct recognition is then displayed in the same size as when the best interpretation was displayed in step 8. Also, the request button reappears, allowing the user to change the interpretation of the pattern.
[0072]
If the user approves the recognition of the handwritten pattern, the user can subsequently input a new handwritten pattern into the input area, and the method returns to step 2. However, since a plurality of patterns can be input in the input area, the user can input some patterns before correcting the interpretation of the patterns.
[0073]
When the pattern is recognized, the entire input text is also displayed in the second display area. In the second display area, the recognized pattern is displayed in a small size. Therefore, the second display area can display a large amount of the input pattern. This display area can be scrolled to show previously entered patterns.
[0074]
The handwritten pattern recognition device according to the invention at different steps of the method is shown in FIGS. Device 20 will be described in connection with Chinese character recognition. The device 20 has a pressure-sensitive screen 22. This screen 22 displays a user interface for the user of the device 20. The apparatus 20 further comprises a database of reference patterns and means for comparing the handwritten patterns with the reference patterns to recognize the handwritten patterns. Accordingly, the device 20 includes a central processing unit, and performs handwriting pattern recognition and input / output processing via a user interface.
[0075]
The user interface includes an input area 24 where the user can input a handwritten pattern, and a display area 26 where the interpretation of the handwritten pattern is displayed. The display area 26 and the input area 24 overlap each other. Therefore, even when the user is inputting a pattern and studying the interpretation of the pattern, the user can continue to look at the same place on the screen 22. The user interface also includes a second display area 28 that can simultaneously display the entered text and many patterns.
[0076]
The input area 24 includes a guide line 30 displayed to guide the user to the input location of the handwritten pattern. The guide line 30 forms a main input area in the shape of the grid 32, and one character is input to each grid 32. However, the user may enter a part of the character outside the grid 32 by protruding it. This corresponds to the way the user usually writes Chinese characters. The guide line 30 is green to resemble the appearance of standard Chinese manuscript paper.
[0077]
The apparatus in steps 2 and 4 of the method is shown with reference to FIG. The user inputs the handwritten pattern 34 into the cell 32 of the input area 24. The input pattern 34 is highlighted on the screen 22 so that the pattern 34 input by the user can be seen.
[0078]
The input pattern 34 is then recognized by the device 20. The device 20 in step 8 of the method is shown with reference to FIG. The best interpretation 36 of the pattern is displayed in the cell 32 where the pattern is input, and a small chip 38 appears in the lower right corner of the cell 32. This means that if the best interpretation 36 is incorrect, the interpretation of the option can be displayed.
[0079]
When the user clicks on the chip 38, several alternative interpretations 40 are displayed as shown in FIG. The interpretation 40 of the option is displayed in the cell 32 in which the pattern is input. The user then clicks on one of the option interpretations 40, whereby the interpretation of the clicked option is selected as the correct pattern recognition. A cancel button 42 is also displayed with the option interpretation 40, and when the cancel button 42 is actuated, the device 20 determines that the correct interpretation was not displayed. Therefore, the input cell 32 becomes blank, and the user can re-input the pattern.
[0080]
The option interpretation 40 can be displayed simultaneously with the best interpretation 36. For example, the best interpretation 36 is displayed in the center of the display area 26, while the alternative interpretation 40 is displayed along the edge of the display area 26 at a smaller size than the best interpretation. Interpretation 40 of one or more options can be displayed simultaneously with best interpretation 36. In order to further display the option 40, it is possible to request the option 40 further.
[0081]
FIG. 6 shows a diagram of a screen according to the present invention. In the figure, different character types are indicated by different shades 100.
[0082]
In a preferred embodiment, the method according to the invention is implemented in a palm-sized PDA device with a color screen. This device is used so that a pattern can be displayed on a screen. This pattern includes characters that are standard in Japanese writing systems: Arabic numerals, Latin characters, Hiragana, Katakana, Japanese Kanji, and other symbols.
[0083]
Masking is provided as follows. Latin letters and other symbols are black on a white background, numbers are black on a gray background, hiragana is black on a green background, katakana is black on a blue background, and Japanese kanji are Each is displayed in black on a yellow background. Thus, the user of the device can immediately recognize a specific character type. The displayed characters are written along the horizontal line at similar character intervals, and all pattern backgrounds are rectangles of the same area.
[0084]
By using masking, the user can select from among the candidates and can easily distinguish among similar characters of different types. Even after selecting the correct candidate, it is possible to display the character type already indicated by the applied masking. If desired, the masking type applied to various character types can be changed.
[0085]
It should be emphasized that the preferred embodiments described herein are not limiting and that many alternative embodiments are possible, within the scope of protection defined by the appended claims. For example, a request button or chip may be displayed in some other way. Alternatively, a specific gesture may be drawn in the input area to request display of the interpretation of the choice.
[0086]
Further, it is possible to request to propose a pattern to be input next. In this way, the user does not need to input the pattern by hand at all. Instead, the device proposes a pattern based on a previously entered and recognized pattern. The proposal is based on bigram statistics, a statistic of the probability that a particular pattern is followed by another particular pattern. In this way, the device gives the whole word or the end of the word as a suggestion. This method can also be used to change the interpretation of the pattern before the last entered pattern. In this way, the user does not need to re-enter a pattern that has been incorrectly accepted as a correct interpretation.
[0087]
The handwritten pattern may be a symbol representing a formatting function or an editing function. Thus, this pattern can represent spaces, deletes, returns, uppercase locks, etc. If none of the choices are correct, the cancel button can cancel the interpretation of the handwritten pattern, or the delete symbol can be used to delete a character whose interpretation has already been approved.
[Brief description of the drawings]
[0088]
FIG. 1 is a screen view showing a method of displaying interpretation candidates according to the related art.
FIG. 2 shows a flowchart of the method according to the invention.
FIG. 3 is a schematic view of the device according to the present invention, in which a handwritten pattern has been input into the input area of the device.
FIG. 4 is a schematic diagram of the device of FIG. 2 with the best interpretation displayed in the display area of the device.
FIG. 5 is a schematic diagram of the device of FIG. 2 with the interpretation of options displayed in the display area of the device.
FIG. 6 is a screen diagram showing a masking method for pattern display according to the present invention.

Claims (34)

A method for displaying a recognized handwritten pattern,
Detecting a handwritten pattern input to the input area of the screen by the user;
Recognizing the detected handwritten pattern and returning a best interpretation of the handwritten pattern and an interpretation of at least one option of the handwritten pattern;
Displaying the best interpretation in a display area of the screen that overlaps the input area;
Displaying the interpretation of the at least one option in the display area;
A method comprising: The method of claim 1, wherein the interpretation of the at least one option is displayed simultaneously with the best interpretation. 3. The method of claim 2, wherein the best interpretation is displayed at a larger size than the at least one alternative interpretation. 4. The method according to claim 2 or 3, wherein the interpretation of the at least one option is displayed simultaneously with the best interpretation only when it is difficult to distinguish between the best interpretation and the interpretation of the at least one option. The method of claim 1, wherein displaying the interpretation of the at least one option is performed in response to a user request. The method of claim 5, wherein displaying the interpretation of the at least one option replaces the displayed best interpretation. The method according to any of the preceding claims, wherein the step of displaying the interpretation replaces the input handwritten pattern. The method according to any of the preceding claims, comprising displaying at least one proposal for a pattern following or preceding the recognized handwritten pattern. 9. The method of claim 8, wherein a plurality of suggestions are determined via bigram statistics, and the suggestions are returned as an interpretation of an option. The method according to any of the preceding claims, wherein the recognizing step returns the interpretations of the plurality of options, and the step of displaying the interpretations of the options displays the interpretations of all options returned. Displaying, in the input area, a guide line that guides a user to a place to input a pattern, wherein the guide line defines a main input area that covers only a part of the input area; The method according to any of the preceding claims, wherein the method allows a user to input a portion of the pattern outside an area defined by a guide line. The method of claim 11, wherein displaying the guide line mimics the appearance of a document sheet. The displaying includes displaying a pattern on a pattern background visible in a portion of the display area of the screen, wherein the pattern background is related to the pattern and the pattern background associated with the interpretation pattern. 13. The method according to any of the preceding claims, wherein the combination with is displayed in a masked form, and the masking of the combination is selected depending on the type of pattern displayed. 14. The method of claim 13, wherein each displayed pattern is associated with a pattern background, and each combination of each of the patterns and the associated pattern background is masked according to a respective type of the pattern. The method according to claim 13 or 14, wherein the displayed pattern is displayed along a horizontal line or a vertical line. 16. The method according to any of claims 13 to 15, wherein the size of the associated background area is equal or different. a) recognizing the type of pattern to be displayed;
b) selecting a masking type according to the pattern type;
c) displaying a combination of the pattern and the associated pattern background on the screen while applying a masking suitable for the combination;
17. The method according to any of claims 13 to 16, comprising: 19. The method according to any of claims 13 to 18, wherein a viewer of the displayed pattern is able to select a masking type associated with the pattern type. 19. The method according to any of claims 13 to 18, wherein said masking comprises changing the appearance of said combination. 20. The method according to any of claims 13 to 19, wherein the masking comprises increasing or decreasing contrast between the pattern and the associated pattern background. 21. A method according to any of claims 13 to 20, wherein said masking comprises changing said associated pattern background, said change being selected between groups consisting of color, shading and shading changes. . 22. The method of any of claims 13 to 21, wherein the masking comprises changing the pattern, the change being selected between groups consisting of color, shading and shading changes. 23. The method according to any of claims 13 to 22, wherein the type associated with each pattern can be determined by the user. 24. The method according to any of claims 13 to 23, wherein the handwritten pattern and the displayed pattern comprise characters. 25. The method of claim 24, wherein the characters are selected from the group consisting of Chinese characters, Japanese Kanji, Hiragana, Katakana, Latin, Greek, Arabic numerals, and punctuation. The masking is selected according to the character type, and the character type is selected from the group consisting of Chinese characters, Japanese kanji, Hiragana, Katakana, Latin characters, Greek characters, Arabic numerals, and punctuation. 26. The method according to 24 or 25. 27. The method of any of claims 24-26, wherein the masking comprises changing a font or font style of the character. An apparatus for displaying a pattern in a display area of a screen by the method according to any one of claims 1 to 27. An apparatus for recognizing a handwritten pattern,
It has a screen for user interface,
The screen is
An input area having sensitivity to handwriting;
A display area arranged to display a best interpretation of the pattern input to the input area, and arranged to display an interpretation of at least one option of the input pattern,
The display area overlaps with the input area;
apparatus. 30. The apparatus of claim 29, further comprising means for requesting display of an interpretation of the at least one option of the input pattern. 31. The apparatus of claim 30, wherein the display area is arranged to display an interpretation of the option upon a user request via the request means. The screen further includes a guide line that is displayed in the input area and guides the user to a place to input a pattern,
32. The apparatus of any of claims 29 to 31, wherein the guidance line defines a primary input area, thereby allowing a user to enter a portion of the pattern outside the area defined by the guidance line. . 33. The apparatus according to claim 32, wherein the guide line mimics the appearance of a document sheet. The screen can display a pattern on a pattern background, wherein the pattern background is associated with the pattern, and the screen is adapted to display a combination of the pattern and the associated pattern background in a masked format. 34. Apparatus according to any of claims 29 to 33, wherein the masking is selected according to the type of pattern to be displayed.

Images