JP2008544385A - 電子デバイスにおける手書き文字認識 - Google Patents

電子デバイスにおける手書き文字認識 Download PDF

Info

Publication number
JP2008544385A
JP2008544385A JP2008517614A JP2008517614A JP2008544385A JP 2008544385 A JP2008544385 A JP 2008544385A JP 2008517614 A JP2008517614 A JP 2008517614A JP 2008517614 A JP2008517614 A JP 2008517614A JP 2008544385 A JP2008544385 A JP 2008544385A
Authority
JP
Japan
Prior art keywords
recognition mode
character
mode
inactive
character candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008517614A
Other languages
English (en)
Other versions
JP4749468B2 (ja
Inventor
シジュン ヤン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of JP2008544385A publication Critical patent/JP2008544385A/ja
Application granted granted Critical
Publication of JP4749468B2 publication Critical patent/JP4749468B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/987Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns with the intervention of an operator
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/17Image acquisition using hand-held instruments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/142Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/24Character recognition characterised by the processing or recognition method
    • G06V30/242Division of the character sequences into groups prior to recognition; Selection of dictionaries
    • G06V30/244Division of the character sequences into groups prior to recognition; Selection of dictionaries using graphical properties, e.g. alphabet type or font

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Character Discrimination (AREA)
  • Character Input (AREA)

Abstract

本発明は、ハンドヘルドデバイスに文字を入力する方法であって、手書き文字情報を読み取るステップと、1つのアクティブな認識モードおよび少なくとも1つの非アクティブな認識モードで前記手書き文字情報を認識するステップと、前記アクティブな認識モードで得られた少なくとも1つの文字候補と、前記少なくとも1つの非アクティブな認識モードで得られた少なくとも1つの文字候補とを表示するステップと、表示されている前記文字候補の中でユーザーが選択した所望の文字候補を、前記ハンドヘルドデバイスに入力するステップと、を含む方法を提供する。また、本発明は、文字をハンドヘルドデバイスに入力するための対応する装置、および関連するハンドヘルドデバイスも提供する。ユーザーは手書き文字認識モードを指定する必要が無くなり、認識精度が大幅に改善される。
【選択図】図1

Description

本発明は、電子デバイスにおける手書き文字認識(handwriting recognition: HWR)の利用に関し、特に、文字をハンドヘルドデバイスに入力するための方法および装置、当該の装置を備えたハンドヘルドデバイス、および当該の方法を実行するために、機械可読のコンピュータプログラムコードによって符号化される記憶媒体に関する。
今日では、ますます多くの電子デバイスが開発され、人々の日常生活で使用されている。これらの電子デバイスには、例えば、パーソナルコンピュータ(PC)、携帯情報端末(personal digital assistants: PDA)、携帯電話、電子辞書、受信プリンタなどが挙げられる。携帯性および他の要件に基づいて、電子デバイスは、ハンドヘルドデバイスおよび非ハンドヘルドデバイスに分類することが可能である。一部の電子デバイス、特にハンドヘルドデバイスの場合、テキスト情報の受信および処理能力が重要である。
テキスト情報または文字を電子デバイスに入力するために、種々の機構が発明されている。手書き文字認識は、ユーザーの手書き文字から、表意文字、数字、ラテンアルファベット、特殊文字、または他のテキストを認識することが可能な、完成された技術である。
以前は、表意文字、数字、ラテンアルファベット、および特殊文字のような異なる種類の文字は、同じ認識モードで認識しなければならなかった。異なる種類の文字の特性を考慮しなければ、これらの初期の手書き文字認識技術では、文字を正確に認識することができない。それ以後、技術者らは、手書き文字認識技術の精度を向上するように努めてきた。
現在では、手書き文字認識システムは、異なる種類の文字を認識するために、異なる認識モードで動作する。例えば、これらの認識モードには、(簡体中国語文字モード、繁体中国語文字モード、日本語文字モードなどのような)表意文字モード、数字モード、ラテンアルファベットモード、特殊文字モードなどを挙げることが可能である。しかし、全ての従来の手書きシステムでは、ユーザーがグラフィックライティングパッド上に文字を書き込めるようになる前に、該ユーザーは最初にアクティブな認識モードを指定しなければならない。アクティブな認識モードにおいてのみ、手書き文字認識システムは、グラフィックライティングパッドに何が書き込まれているのかを認識することができる。換言すれば、ユーザーがグラフィックライティングパッド上にどのような文字を書き込んでも、手書き文字認識システムは、常に、その手書き文字を特にアクティブな認識モードに対応する文字として認識する。例えば、アクティブな認識モードが中国語文字モードである場合、手書き文字認識システムは、グラフィックライティングパッド上に書き込まれたものは、どのような文字でも中国語文字として認識する。異なる種類の文字を認識するために異なる認識モードで動作する手書き文字認識システムは、以下、モードベースの手書き文字認識システムと称する。
モードベースの手書き文字認識システムには、複数の欠点がある。実際に書き込む前に、対応する認識モードを最初に指定するという要件は、紙に書き込む自然なプロセスとは非常に異なる。異なる種類の文字を含むコンテンツを書き込む場合、ユーザーは、通常、主にコンテンツに集中しすぎてしまい、異なる種類の文字に対する手書き認識モードの切り替えを忘れてしまう。書き込みを中断して、適切な認識モードを見つけて、そのモードに切り替えてから、再びコンテンツを書き込まなければならず、思考および書き込みの自然なプロセスを妨げる。
さらには、ユーザーは、一部の文字に対して、どの認識モードが適切なのか明確ではないことがしばしばある。例えば、発明者は、ユーザビリティテストのユーザーにおいて、ユーザーが、コンマおよび終止符のような句読点が、中国語文字モード、特殊文字モードのどちらで利用可能なのかしばしば混乱していることに気が付いた。適切な認識モードを判定することも、モードベースの手書き文字認識システムを使用しているユーザーには負担である。
手書き文字認識モードを判断および切り替えるというユーザーの負担を減らすために、いくつかの手書き認識エンジンを混合モードで動作させる場合があるが、このモードでは、手書き文字認識エンジンは、ユーザーが手動でモードを切り替えなくて済むように、他の全てのモードにおけるユーザーの書き込み最も適合するものを見つけようとする。しかし、このようなエンジンの知能は非常に制限されているので、手書き文字認識の精度はむしろ低くなる。また、候補リストが乱雑であり、ユーザーが所望の文字を選択し難くなる。これは、異なるモードによる文字が表示中に互いに混合されること、および所与の書き込みに対する一部の候補文字が非常に似ている、という事実に起因するものである。例えば、中国語文字の"一"と長音記号(水平な直線)は類似している。また、英語の文字"l"と数字の"1"も類似している。
本発明の目的は、電子デバイスに、特にハンドヘルドデバイスに用いられる手書き文字認識のソリューションを改善することにある。
上述の目的を達成するために、本発明は、ハンドヘルドデバイスに文字を入力する方法であって、手書き文字情報を読み取るステップと、1つのアクティブな認識モードおよび少なくとも1つの非アクティブな認識モードで前記手書き文字情報を認識するステップと、前記アクティブな認識モードで得られた少なくとも1つの文字候補と、前記少なくとも1つの非アクティブな認識モードで得られた少なくとも1つの文字候補とを表示するステップと、表示されている前記文字候補の中でユーザーが選択した所望の文字候補を、前記ハンドヘルドデバイスに入力するステップと、を含む方法を提供する。
本発明はまた、ハンドヘルドデバイスに文字を入力するための装置であって、手書き文字情報を読み取るためのグラフィックライティングパッドと、1つのアクティブな認識モードおよび少なくとも1つの非アクティブな認識モードで前記手書き文字情報を認識するための手書き文字認識エンジンと、前記アクティブな認識モードで得られた少なくとも1つの文字候補と、前記少なくとも1つの非アクティブな認識モードで得られた少なくとも1つの文字候補とを表示するためのディスプレイと、表示されている前記文字候補の中でユーザーが選択した所望の文字候補を、前記ハンドヘルドデバイスに入力するための手段と、を備える装置も提供する。
本発明はさらに、ハンドヘルドデバイスであって、手書き文字情報を読み取るためのグラフィックライティングパッドと、1つのアクティブな認識モードおよび少なくとも1つの非アクティブな認識モードで前記手書き文字情報を認識するための手書き文字認識エンジンと、前記アクティブな認識モードで得られた少なくとも1つの文字候補と、前記少なくとも1つの非アクティブな認識モードで得られた少なくとも1つの文字候補とを表示するためのディスプレイと、表示されている文字候補の中でユーザーが選択した所望の文字候補を入力するための手段と、を備えるハンドヘルドデバイスを提供する。
本発明はさらに、文字をハンドヘルドデバイスに入力するために機械可読のこのピュータプログラムによって符号化される記憶媒体であって、本発明による方法をプロセッサに実行させるための命令を含む、記憶媒体を提供する。
本発明によれば、モードベースの手書き文字認識システムと比較して、ユーザーは、実際に書き込む前に手書き文字認識モードを指定する必要が無くなる。文字が書き込まれた後で、文字候補がユーザーにプロンプトされる。前記プロンプトされた文字候補は、前記アクティブな認識モードで得られた文字候補だけでなく、全ての非アクティブな認識モードで得られた文字コードも含む。前記ユーザーは、異なる種類の文字に対して異なる手書き文字認識モードを気にする必要が無くなる。
本発明によれば、混合モードの手書き文字認識システムと比較して、手書き文字認識技術の精度が大幅に改善される。
以下の表は、モードベースの手書き文字認識システムおよび混合モードの手書き文字認識システムと比較した、本発明のいくつかの利点を示す。
Figure 2008544385
本発明のその他の特徴および効果は、本発明の原理を一例として示す添付図面とともに、以下の好適な実施形態の説明からより明らかになろう。
好適な実施形態の詳細な説明
以下、本発明の実施形態を詳述する。
図1は、本発明の一実施形態による、文字をハンドヘルドデバイスに入力する方法のフローチャートである。
図1に示されるように、プロセスは、ステップS101から開始する。次いで、ステップS102で、初期化が実行される。初期化では、手書き文字認識プロシージャの環境を設定する。これは、バッファのクリア、変数に対する初期値の設定などを含む。
次に、ステップS103で、手書き文字情報がユーザーによって読み取られる。一実施例では、ユーザーは、通常通りに紙の上に書き込むように、グラフィックライティングパッド上に文字を書き込む。グラフィックライティングパッドに誘導される電気信号は、手書き文字情報に変換され、手書き文字情報は、ステップS103で、手書き文字認識システムに読み取られる。グラフィックライティングパッドから手書き文字情報を読み取る方法に関しては、既知の技術である。なお、あらゆる好適な手法をステップS103に用いることが可能であり、本発明を制限するものではない。
ステップS104で、ハンドヘルドデバイスへの文字の入力が終了したかどうかを判定する。例えば、ユーザーは、物理的なキーまたは仮想的なキーを押して、ハンドヘルドデバイスに入力プロセスが終了したことを通知することが可能である。別様には、ユーザーは、グラフィックライティングパッド上に特定の文字または記号を書き込んで、当該の通知を行うことが可能である。図1では、ステップS104をステップS103の後に示しているが、実際には、ステップS103は、ステップS101の後のあらゆる位置に配置することが可能である。
ステップS104の結果がYesである場合、プロセスはステップS105に進み、それ以外ならば、プロセスはステップS106に進む。
ステップS105で、プロセスは終了する。
ステップS106で、手書き文字情報は、少なくとも2つの認識モードで認識される。すなわち、手書き文字情報は、それぞれ異なる認識モードで文字候補に変換される。なお、前記異なる認識モードは、(簡体中国語文字モード、繁体中国語文字モード、日本語文字モード、などのような)表意文字モード、数字モード、ラテンアルファベットモード、特殊文字モードなどを含む、あらゆる既存の、または今後の手書き文字認識モードを含む。これらの異なる手書き文字認識モードの中で、1つの手書き文字認識モードをアクティブな認識モードとしてデザインすることが可能であるが、他の全ての手書き文字認識モードは、非アクティブな認識モードとみなされる。例えば、中国語文字モードがアクティブな認識モードであり、ユーザーがグラフィックライティングパッド上に水平な直線を描いたときには、ステップS106で、手書き文字情報を、中国語文字の"一"および長音記号に変換することが可能である。次に、ステップS107で、ステップS106で得られた全ての文字候補が表示される。異なる認識モードで得られた文字候補は、ユーザーが、異なる認識モードから文字候補を容易に区別することが可能なように、例えば、異なる位置に、異なる色、スタイル、またはサイズで、別々に表示させることが可能である。アクティブな認識モードからの複数の文字候補を表示して、より大きなディスプレイ領域占有が可能であり、各非アクティブな認識モードからの少数(例、1つ)の文字候補を表示して、より少ない表示領域の占有が可能であることが好ましい。表示順序も、アクティブな認識モードで得られた文字候補が、最も目立つ位置に、例えば、表示ウィンドウの左側(すなわち、先頭位置)に表示されるように規定することが可能である。
次いで、ステップS108で、プロセスはユーザーからの入力を待つ。下述のように、当該の入力は、表示されている所望の文字候補上をクリックするか、または新しいアクティブな認識モードへの切り替えを示すことが可能である。
ステップS111で、ステップS108の入力が、新しいアクティブな認識モードへの切り替えを示しているかどうかが判定される。ステップS111の結果がYesである場合、プロセスはステップS110乃至進み、それ以外ならば、プロセスはステップS112に進む。
ステップS110で、アクティブな認識モードが切り替えられる。すなわち、ステップS110で、ユーザーによって示される非アクティブな認識モードが、新しいアクティブな認識モードに設定される。その場合、元のアクティブな認識モードは、非アクティブな認識モードになる。
次いで、ステップS109で、示された文字候補を更新することが可能である。例えば、元のアクティブな認識モードで取得して表示された文字候補の数を減らすことが可能であり、新しいアクティブな認識モードで取得して表示された文字候補の数を増やすことが可能である。表示順序も、新しいアクティブな認識モードで得られた文字候補が、最も目立つ位置に、例えば、表示ウィンドウの左側(すなわち、先頭位置)に表示されるように変更することが可能である。
ステップS112で、新しい手書き文字が入力されたかどうかが判定される。ステップS112の結果がYesである場合、プロセスはステップS103へ進み、それ以外ならば、プロセスはステップS113に進む。ステップS112の目的は、ユーザーが、(終了していなければ)同じ文字の書き込みを継続できるようにするか、または(最初の文字候補が自動的に入力され、プロセスが新しい文字を待っているか、または、全ての文字候補が、選択が行われる前に単純に無視された場合に)別の文字を書き込むことができるようにすることである。
ステップS113で、ユーザーによって選択された文字候補がハンドヘルドデバイスに入力される。ユーザーは、選択のために示された所望の文字候補上を単純にクリックすることが可能である。所望の文字が表示されない場合、ユーザーは、より多くの文字候補を見るために表示ウィンドウをスクロールさせることが可能である。
次いで、ステップS114で、選択された文字が、アクティブな認識モードから得られた文字候補のうちの1つであるかどうかが判定される。ステップS114の結果がYesである場合、プロセスはステップS116に進み、それ以外ならば、プロセスはステップS115に進む。
ステップS115で、アクティブな認識モードが切り替えられる。すなわち、ステップS115で、選択された文字が取得された非アクティブな認識モードが、新しいアクティブな認識モードに設定され、元のアクティブな認識モードは、非アクティブな認識モードに設定される。次いで、プロセスは、ステップS116に進む。
ステップS116で、示された文字候補は、言語連想によって更新される。ステップS116は、ステップS109に類似する。言語連想技術は、ステップS116に採用することが可能である。例えば、以前に入力された文字によってそれぞれがフレーズを構成する文字候補をプロンプトさせることが可能である。例えば、中国語文字の"wo"が入力された場合、中国語文字の"men"をプロンプトさせることが可能であり、以前に入力された中国語文字"wo"および現在プロンプトされている中国語文字"men"が、英語では"we"を意味する"wo men"という正しいフレーズを構成するので、中国語文字"men"を含むように候補リストが更新される。言語連想は、アクティブな認識モードが変更された後では、文字をプロンプトさせることが困難な場合があるので、ステップS115の場合に対して、ステップS116ではオプションである。
ステップS116の後に、プロセスはステップS107へ進む。
図2および図3は、図1に例示した方法の2つのステップに関連する2つの画面表示を示す図である。
図2では、参照番号201は中国語文字モードで得られた文字候補(6つの候補を示す)を示し、202は英語モードで得られた第一の文字候補を示し、203は数字モードで得られた第一の候補を示し、204は特殊文字モードで得られた第一の文字候補を示す。参照番号205は、全ての認識モードで得られた文字候補が表示される表示ウィンドウを示す。ユーザーは、表示ウィンドウ205に表示される文字候補をスクロールさせることが可能である。参照番号206乃至209は、異なる認識モード、すなわち、中国語文字モードボタン206、英語モードボタン207、数字モードボタン208、および特殊文字モードボタン209を起動させるための異なるボタンを示す。図2に示される状態では、中国語文字モードがアクティブな認識モードであるので、中国語文字モードボタン206がハイライトされている。図2では、ユーザーは、表示ウィンドウ205内の所望の文字候補をクリックするか、またはボタン207乃至209を押して、アクティブな認識モードを対応する手書き文字認識モードに切り替えることが可能である。異なる認識モードで得られた文字候補は、所望の文字をユーザーがより選択しやすい一貫した様態で、表示ウィンドウ205内に表示される。その際、アクティブな認識モードで得られた文字候補は、常に表示ウィンドウ205の左側(すなわち、先頭位置)に表示することが可能である。図2では、例えば、中国語文字モードがアクティブな認識モードであるので、中国語文字の候補201が表示ウィンドウ205の左側(すなわち、先頭位置)に表示され、その後ろに、3つの非アクティブな認識モードのそれぞれで得られた文字候補の1つだけが表示される。しかし、次に説明する図3では、数字モードがアクティブな認識モードであるので、数字モードで得られた文字候補301が、表示ウィンドウの左側(すなわち、先頭位置)に表示される。別様には、アクティブな認識モードで得られた文字候補、および非アクティブな認識モードで得られた文字候補の表示順序は、図2のボタン206乃至209のような、認識モードをアクティブ化させるためのボタンの表示順序と同じにすることが可能である。加えて、異なる認識モードで得られた文字候補の表示には、異なる背景色を使用することが可能である。これは、ユーザーの文字候補の区別をさらに視覚的に補助する。なお、図2に示されるものは、表示ウィンドウおよびグラフィックライティングパッドの一例に過ぎず、また本発明を制限するものではない。
図3は、図2において、数字"2"が選択された後の画面表示の一例を示す図である。
図3では、参照番号301は数字モードで得られた文字候補を示し、302は中国語文字モードで得られた第一の文字候補を示し、303は英語モードで得られた第一の文字候補であり、304は特殊文字モードで得られた第一の文字候補を示す。参照番号305は、数字モードボタンを示す。数字"2"が入力されており、またアクティブな認識モードが数字モードに切り替えられているので、数字モードボタン305がハイライトされている。
図4は、本発明の実施形態によるハンドヘルドデバイスの構造を概略的に示す図である。図4に示されるハンドヘルドデバイスは、本発明を適用する電子デバイスの単なる一例である。本発明では、電子デバイスには、パーソナルコンピュータ(PC)、携帯情報端末(PDA)、携帯電話、電子辞書、受信プリンタなどが挙げられる。
図4では、参照番号401はディスプレイを示し、402はグラフィックライティングパッドを示し、403は手書き文字認識エンジンを示し、404は入力デバイスを示し、405はアプリケーションを示す。
ディスプレイ401、グラフィックライティングパッド402、手書き認識エンジン403、および入力デバイス404は、本実施形態のハンドヘルドデバイスに文字を入力するための装置の主要構成要素であるか、または本実施形態のハンドヘルドデバイスの主要構成要素である。
ハンドヘルドデバイスは、通常、ハンドヘルドデバイスの内部メモリに常駐する1つ以上のアプリケーション405を含む。例えば、アプリケーション405には、ノートブック、カレンダ、電子辞書などが挙げられる。
ある場合では、ディスプレイ401およびグラフィックライティングパッド402を、単一の構成要素として実装することが可能である。
グラフィックライティングパッド402は、ユーザーの手書き文字の検出、検出した電子信号の手書き文字情報への変換、および手書き文字情報の手書き文字認識エンジン403への送信に使用される。
手書き文字認識エンジン403は、1つのアクティブな認識モードおよび少なくとも1つの非アクティブな認識モードでの手書き文字情報の認識に使用される。アクティブなまたは非アクティブな認識モードに関する詳細な説明は、図1乃至3の説明を参照されたい。
ディスプレイ401は、アクティブな認識モードで得られた文字候補、および少なくとも1つの非アクティブな認識モードで得られた文字候補の表示に使用される。表示すべき文字候補は、手書き文字認識エンジン403から入力される。
入力デバイス404は、表示されている前記文字候補の中で、ユーザーが選択した文字候補のハンドヘルドデバイスへの、すなわち文字を必要とするアプリケーション405への入力に使用される。
ディスプレイ401は、タッチフィルムとして実装することが可能であるが、必ずしも必要なわけではない。ディスプレイ402に表示される1つの文字候補上をクリックすると、ディスプレイ401は、選択情報を入力デバイス404に送信し、次いで、選択情報に基づいて、手書き文字認識エンジン403から対応する文字候補を受信する。別様には、ディスプレイ401は、選択された文字候補を入力デバイス404に直接送信することができる。ユーザーは、文字候補に関連付けられた物理的なキーを押すことによって、所望の文字を選択することも可能である。
ユーザーが、非アクティブな認識モードで得られた文字候補を選択した場合、手書き文字認識エンジン403は、この非アクティブな認識モードに切り替える、すなわち、この非アクティブな認識モードを新しいアクティブな認識モードに設定することが可能である。
当然、ユーザーが、例えば物理的なキーまたは仮想的なキーを押すことによって、非アクティブな認識モードへの認識モードの変更を起動した場合、手書き文字認識エンジン403は、この非アクティブな認識モードに直接切り替える、すなわち、この非アクティブな認識モードを新しいアクティブな認識モードに設定する。
新しいアクティブな認識モードへ切り替えた後に、手書き文字認識エンジン403は、表示すべき文字候補を更新することができる。
アクティブな認識モードおよび非アクティブな認識モードの両方で、手書き文字認識エンジン401によってプロンプトされた全ての文字候補は、ディスプレイ401上に表示することが可能である。ディスプレイ401の表示ウィンドウの大きさが、全ての文字候補の表示には十分でない場合は、別のページに表示することができる。ユーザーは、より多くの文字候補を参照するために、表示ウィンドウをスクロールさせることが可能である。異なる認識モードで得られた文字候補は、ユーザーが、異なる認識モードから文字候補を容易に区別することが可能なように、例えば、異なる位置に、異なる色、スタイル、またはサイズで、別々に表示させることが可能である。好ましくは、アクティブな認識モードから複数の文字候補を表示して、従って比較的大きなディスプレイ領域を占有し、各々の非アクティブな認識モードからは少数(例えば1つ)の文字候補のみを表示して、すなわち小さな表示領域のみを占有するとすることができる。表示順序も、アクティブな認識モードで得られた文字候補が、最も目立つ位置に、例えば、表示ウィンドウの左側(すなわち、先頭位置)に表示されるように規定することが可能である。
手書き文字認識エンジン403は、ユーザーによって選択された文字候補が、入力デバイス404によってハンドヘルドデバイス、たとえばアプリケーション405に入力された後に、言語連想によって、プロンプトされた文字候補を更新することが可能である。
本発明は、文字をハンドヘルドデバイスに入力するために機械可読のこのピュータプログラムによって符号化される記憶媒体も提供する。前記記憶媒体は、本発明による方法をプロセッサに実行させるための命令を含む。記憶媒体は、フレキシブルディスク、CD-ROM、ハードディスクドライブ、またはネットワーク媒体のような、あらゆる有形の媒体とすることが可能である。
上述のものは、本発明の特定の実施形態を参照したものであるが、当業者には、これらの実施形態は単に例示したものに過ぎず、また、これらの実施形態は、本発明の原理を逸脱しない範囲で変更することができ、本発明の範囲は添付の特許請求の範囲によって定義されるものと理解されよう。
本発明の一実施形態による、文字をハンドヘルドデバイスに入力する方法のフローチャートである。 図1に例示した方法の2つのステップに関連する2つの画面表示を示す図である。 図1に例示した方法の2つのステップに関連する2つの画面表示を示す図である。 本発明の実施形態によるハンドヘルドデバイスの構造を概略的に示す図である。

Claims (28)

  1. ハンドヘルドデバイスに文字を入力する方法であって、
    ・ 手書き文字情報を読み取るステップと、
    ・ 1つのアクティブな認識モードおよび少なくとも1つの非アクティブな認識モードで前記手書き文字情報を認識するステップと、
    ・ 前記アクティブな認識モードで得られた少なくとも1つの文字候補と、前記少なくとも1つの非アクティブな認識モードで得られた少なくとも1つの文字候補とを表示するステップと、
    ・ 表示されている文字候補の中でユーザーが選択した所望の文字候補を前記ハンドヘルドデバイスに入力するステップと、を含む方法。
  2. 非アクティブな認識モードで得られた文字候補が前記ユーザーによって選択された場合に、前記非アクティブな認識モードを新しいアクティブな認識モードに設定するステップをさらに含む、請求項1に記載の方法。
  3. 前記ユーザーによる選択時に、非アクティブな認識モードを新しいアクティブな認識モードに設定するステップをさらに含む、請求項1に記載の方法。
  4. 前記非アクティブな認識モードを新しいアクティブな認識モードに設定するステップの後に、前記文字候補を更新するステップをさらに含む、請求項2または3に記載の方法。
  5. 前記アクティブな認識モードで得られた複数の文字候補が表示され、より少ない数の前記少なくとも1つの非アクティブな認識モードのそれぞれで得られた文字候補が表示される、請求項1に記載の方法。
  6. 前記アクティブな認識モードで得られた前記少なくとも1つの文字候補、および前記少なくとも1つの非アクティブな認識モードで得られた前記少なくとも1つの文字候補は、前記所望の文字候補を前記ユーザーがより選択しやすい一貫した様態で表示される、請求項1に記載の方法。
  7. 前記アクティブな認識モードで得られた前記少なくとも1つの文字候補は、表示ウィンドウの先頭位置に表示される、請求項6に記載の方法。
  8. 前記アクティブな認識モードで得られた前記少なくとも1つの文字候補、および前記少なくとも1つの非アクティブな認識モードで得られた前記少なくとも1つの文字候補の表示順序は、前記認識モードをアクティブ化させるためのボタンの表示順序と同じである、請求項6に記載の方法。
  9. 前記アクティブな認識モードおよび前記少なくとも1つの非アクティブな認識モードは、表意文字モード、数字モード、ラテンアルファベットモードおよび特殊文字モードからなるグループから選択される、請求項1に記載の方法。
  10. デバイスに文字を入力するための装置であって、
    ・ 手書き文字情報を読み取るためのグラフィックライティングパッドと、
    ・ 1つのアクティブな認識モードおよび少なくとも1つの非アクティブな認識モードで前記手書き文字情報を認識するための手書き文字認識エンジンと、
    ・ 前記アクティブな認識モードで得られた少なくとも1つの文字候補と、前記少なくとも1つの非アクティブな認識モードで得られた少なくとも1つの文字候補とを表示するためのディスプレイと、
    ・ 表示されている文字候補の中でユーザーが選択した所望の文字候補を前記デバイスに入力するための手段と、を備える装置。
  11. 前記手書き文字認識エンジンは、非アクティブな認識モードで得られた文字候補が前記ユーザーによって選択された場合に、前記非アクティブな認識モードを新しいアクティブな認識モードに設定する、請求項10に記載の装置。
  12. 前記手書き文字認識エンジンは、前記ユーザーによる選択時に、非アクティブな認識モードを新しいアクティブな認識モードに設定する、請求項10に記載の装置。
  13. 前記手書き文字認識エンジンは、前記新しいアクティブな認識モードが設定された後に、前記文字候補を更新する、請求項11または12に記載の装置。
  14. 前記ディスプレイは、前記アクティブな認識モードで得られた複数の文字候補を表示し、より少ない数の前記少なくとも1つの非アクティブな認識モードのそれぞれで得られた文字候補を表示する、請求項10に記載の装置。
  15. 前記ディスプレイは、前記アクティブな認識モードで得られた前記少なくとも1つの文字候補、および前記少なくとも1つの非アクティブな認識モードで得られた前記少なくとも1つの文字候補を、前記所望の文字候補を前記ユーザーがより選択しやすい一貫した様態で表示する、請求項10に記載の装置。
  16. 前記ディスプレイは、前記アクティブな認識モードで得られた前記少なくとも1つの文字候補を表示ウィンドウの先頭位置に表示する、請求項15に記載の装置。
  17. 前記アクティブな認識モードで得られた前記少なくとも1つの文字候補、および前記少なくとも1つの非アクティブな認識モードで得られた前記少なくとも1つの文字候補の表示順序は、前記認識モードをアクティブ化させるためのボタンの表示順序と同じである、請求項15に記載の装置。
  18. 前記アクティブな認識モードおよび前記少なくとも1つの非アクティブな認識モードは、表意文字モード、数字モード、ラテンアルファベットモードおよび特殊文字モードからなるグループから選択される、請求項10に記載の装置。
  19. 手書き文字情報を読み取るためのグラフィックライティングパッドと、
    ・ 1つのアクティブな認識モードおよび少なくとも1つの非アクティブな認識モードで前記手書き文字情報を認識するための手書き文字認識エンジンと、
    ・ 前記アクティブな認識モードで得られた少なくとも1つの文字候補と、前記少なくとも1つの非アクティブな認識モードで得られた少なくとも1つの文字候補とを表示するためのディスプレイと、
    ・ 表示されている文字候補の中でユーザーが選択した所望の文字候補を入力するための手段と、を備えるハンドヘルドデバイス。
  20. 前記手書き文字認識エンジンは、非アクティブな認識モードで得られた文字候補が前記ユーザーによって選択された場合に、前記非アクティブな認識モードを新しいアクティブな認識モードに設定する、請求項19に記載のハンドヘルドデバイス。
  21. 前記手書き文字認識エンジンは、前記ユーザーによる選択時に、非アクティブな認識モードを新しいアクティブな認識モードに設定する、請求項19に記載のハンドヘルドデバイス。
  22. 前記手書き文字認識エンジンは、前記新しいアクティブな認識モードが設定された後に、前記文字候補を更新する、請求項20または21に記載のハンドヘルドデバイス。
  23. 前記ディスプレイは、前記アクティブな認識モードで得られた複数の文字候補を表示し、より少ない数の前記少なくとも1つの非アクティブな認識モードのそれぞれで得られた文字候補を表示する、請求項19に記載のハンドヘルドデバイス。
  24. 前記ディスプレイは、前記アクティブな認識モードで得られた前記少なくとも1つの文字候補、および前記少なくとも1つの非アクティブな認識モードで得られた前記少なくとも1つの文字候補を、前記所望の文字候補を前記ユーザーがより選択しやすい一貫した様態で表示する、請求項19に記載のハンドヘルドデバイス。
  25. 前記ディスプレイは、前記アクティブな認識モードで得られた前記少なくとも1つの文字候補を表示ウィンドウの先頭位置に表示する、請求項24に記載のハンドヘルドデバイス。
  26. 前記アクティブな認識モードで得られた前記少なくとも1つの文字候補、および前記少なくとも1つの非アクティブな認識モードで得られた前記少なくとも1つの文字候補の表示順序は、前記認識モードをアクティブ化させるためのボタンの表示順序と同じである、請求項24に記載のハンドヘルドデバイス。
  27. 前記アクティブな認識モードおよび前記少なくとも1つの非アクティブな認識モードは、表意文字モード、数字モード、ラテンアルファベットモードおよび特殊文字モードからなるグループから選択される、請求項19に記載のハンドヘルドデバイス。
  28. 文字をハンドヘルドデバイスに入力するために機械可読のこのピュータプログラムによって符号化される記憶媒体であって、請求項1乃至9のうちのいずれか1つに記載の方法をプロセッサに実行させるための命令を含む、記憶媒体。
JP2008517614A 2005-06-24 2005-06-24 電子デバイスにおける手書き文字認識 Expired - Fee Related JP4749468B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2005/002312 WO2006136877A1 (en) 2005-06-24 2005-06-24 Handwriting recognition in electronic devices

Publications (2)

Publication Number Publication Date
JP2008544385A true JP2008544385A (ja) 2008-12-04
JP4749468B2 JP4749468B2 (ja) 2011-08-17

Family

ID=35502389

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008517614A Expired - Fee Related JP4749468B2 (ja) 2005-06-24 2005-06-24 電子デバイスにおける手書き文字認識

Country Status (7)

Country Link
US (1) US8760389B2 (ja)
EP (1) EP1904958A1 (ja)
JP (1) JP4749468B2 (ja)
KR (1) KR101006749B1 (ja)
CN (1) CN101208711B (ja)
HK (1) HK1114680A1 (ja)
WO (1) WO2006136877A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100930802B1 (ko) 2007-06-29 2009-12-09 엔에이치엔(주) 이미지를 이용한 브라우저 제어 방법 및 시스템
CN101369209B (zh) * 2007-08-15 2013-08-21 北京三星通信技术研究有限公司 用于全混合输入的手写输入装置及其方法
US8094940B2 (en) * 2007-10-18 2012-01-10 International Business Machines Corporation Input method transform
JP2010003181A (ja) * 2008-06-20 2010-01-07 Sharp Corp 電子機器、情報検索方法、制御プログラム、および、記録媒体
US20100171754A1 (en) * 2009-01-07 2010-07-08 Microsoft Corporation Converting digital ink to shapes and text
US10254952B2 (en) * 2012-09-26 2019-04-09 Google Llc Progress display of handwriting input
US9147275B1 (en) 2012-11-19 2015-09-29 A9.Com, Inc. Approaches to text editing
US9043349B1 (en) 2012-11-29 2015-05-26 A9.Com, Inc. Image-based character recognition
US9069462B2 (en) * 2013-03-14 2015-06-30 Nuance Communications, Inc. Recognizing handwriting input using rotatable support lines
JP5803959B2 (ja) * 2013-03-18 2015-11-04 コニカミノルタ株式会社 表示装置及び表示装置の制御プログラム
CN104077062B (zh) * 2013-03-25 2018-01-23 联想(北京)有限公司 输入控制方法和装置
US9063636B2 (en) 2013-06-10 2015-06-23 International Business Machines Corporation Management of input methods
KR102221223B1 (ko) * 2013-08-26 2021-03-03 삼성전자주식회사 필기 컨텐츠를 작성하는 사용자 기기 및 방법
US10684771B2 (en) 2013-08-26 2020-06-16 Samsung Electronics Co., Ltd. User device and method for creating handwriting content
US20150135066A1 (en) * 2013-11-11 2015-05-14 Lenovo (Singapore) Pte. Ltd. Dual text and drawing input
US10095403B2 (en) 2015-05-05 2018-10-09 International Business Machines Corporation Text input on devices with touch screen displays
KR102568097B1 (ko) * 2015-06-22 2023-08-18 삼성전자 주식회사 파싱 데이터의 관련 정보를 표시하는 방법 및 전자 장치
US10671272B2 (en) 2015-11-06 2020-06-02 International Business Machines Corporation Touchscreen oriented input integrated with enhanced four-corner indexing
US10228775B2 (en) * 2016-01-22 2019-03-12 Microsoft Technology Licensing, Llc Cross application digital ink repository
KR102257719B1 (ko) * 2018-11-21 2021-05-28 오세호 작성프로그램 및 이를 탑재한 문자 입력 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61175785A (ja) * 1985-01-31 1986-08-07 Toshiba Corp 文字読取装置
JPH03176786A (ja) * 1989-12-05 1991-07-31 Sony Corp 手書き文字の認識装置
JPH0512483A (ja) * 1991-06-28 1993-01-22 Ricoh Co Ltd 文字認識結果修正方式
JPH11282966A (ja) * 1998-03-27 1999-10-15 Brother Ind Ltd 文字認識装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5022081A (en) 1987-10-01 1991-06-04 Sharp Kabushiki Kaisha Information recognition system
US5049862A (en) * 1989-10-06 1991-09-17 Communication Intelligence Corporation ("Cic") Keyless flat panel portable computer--computer aided notebook
US6697524B1 (en) * 1992-09-04 2004-02-24 Canon Kabushiki Kaisha Information processing method and apparatus
DE69332555D1 (de) * 1992-09-04 2003-01-23 Canon Kk Verfahren und Vorrichtung zur Anzeige von Zeichen
CN1029534C (zh) * 1993-02-25 1995-08-16 清华大学 自由书写联机手写汉字识别方法及其系统
JP3416268B2 (ja) * 1994-06-30 2003-06-16 キヤノン株式会社 画像認識装置及びその方法
US5889888A (en) * 1996-12-05 1999-03-30 3Com Corporation Method and apparatus for immediate response handwriting recognition system that handles multiple character sets
KR100401197B1 (ko) * 1998-11-20 2003-11-15 삼성전자주식회사 문자인식 처리 속도가 향상된 문자인식 장치 및 그 방법
JP2000200143A (ja) 1998-12-28 2000-07-18 Casio Comput Co Ltd 手書き文字入力装置およびそのプログラム記録媒体
CA2375113A1 (en) * 1999-05-27 2000-12-07 Alexei Vladimirovich Afanasiev A method of inputting information into a computer device, a sticker keyboard and a computer device using this method
KR20010001460A (ko) * 1999-06-04 2001-01-05 윤종용 필기체 인식장치 및 그 방법
US6788815B2 (en) * 2000-11-10 2004-09-07 Microsoft Corporation System and method for accepting disparate types of user input
KR20020066470A (ko) * 2001-02-12 2002-08-19 김진환 온라인 문자인식시스템을 위한 효율적인 펜 사용자인터페이스
JP2003308480A (ja) * 2002-04-16 2003-10-31 Fujitsu Ltd オンライン手書き文字パターン認識編集装置及び方法並びに当該方法を実現するコンピュータ実行可能なプログラム
US7580029B2 (en) * 2004-04-02 2009-08-25 Nokia Corporation Apparatus and method for handwriting recognition
WO2005096217A1 (en) * 2004-04-02 2005-10-13 Nokia Corporation Apparatus and method for handwriting recognition

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61175785A (ja) * 1985-01-31 1986-08-07 Toshiba Corp 文字読取装置
JPH03176786A (ja) * 1989-12-05 1991-07-31 Sony Corp 手書き文字の認識装置
JPH0512483A (ja) * 1991-06-28 1993-01-22 Ricoh Co Ltd 文字認識結果修正方式
JPH11282966A (ja) * 1998-03-27 1999-10-15 Brother Ind Ltd 文字認識装置

Also Published As

Publication number Publication date
CN101208711B (zh) 2012-03-14
HK1114680A1 (en) 2008-11-07
US20100245230A1 (en) 2010-09-30
WO2006136877A1 (en) 2006-12-28
EP1904958A1 (en) 2008-04-02
KR20080019721A (ko) 2008-03-04
KR101006749B1 (ko) 2011-01-10
JP4749468B2 (ja) 2011-08-17
CN101208711A (zh) 2008-06-25
US8760389B2 (en) 2014-06-24

Similar Documents

Publication Publication Date Title
JP4749468B2 (ja) 電子デバイスにおける手書き文字認識
US20210103386A1 (en) Identification of candidate characters for text input
US8605039B2 (en) Text input
US8564541B2 (en) Zhuyin input interface on a device
US7250938B2 (en) System and method for improved user input on personal computing devices
JP4084582B2 (ja) タッチ式キー入力装置
US8583440B2 (en) Apparatus and method for providing visual indication of character ambiguity during text entry
KR100478020B1 (ko) 화면표시식키이입력장치
JP4316687B2 (ja) 画面タッチ式入力装置
US20100241984A1 (en) Method and apparatus for displaying the non alphanumeric character based on a user input
WO2007121673A1 (fr) Procédé et dispositif d'amélioration de la vitesse de saisie de caractères chinois
WO2009074278A1 (en) Device and method for inputting combined characters
CA3036940A1 (en) Device with character input user interface
CN101813981A (zh) 中文输入装置
KR100506231B1 (ko) 터치 스크린을 구비한 단말기에서 문자 입력 장치 및 방법
JP2007213615A (ja) タッチ式キー入力装置、タッチ式キー入力方法およびプログラム
JP2013214187A (ja) 文字入力装置、文字入力装置の制御方法、制御プログラム、および記録媒体
JP2020057214A (ja) 電子機器、電子機器の制御方法及びプログラム
JP2000504869A (ja) 画面表示式キー入力装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100811

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101207

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110302

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110309

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110407

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110411

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110427

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110517

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140527

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees