JP2004046359A

JP2004046359A - Handwriting input device and method, handwriting input program, and program recording medium

Info

Publication number: JP2004046359A
Application number: JP2002200336A
Authority: JP
Inventors: Satoru Suzuki; 鈴木　哲; Tadashi Hirose; 広瀬　斉志; Yasushi Ishizuka; 石塚　康司
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2002-07-09
Filing date: 2002-07-09
Publication date: 2004-02-12
Anticipated expiration: 2022-07-09
Also published as: JP4312429B2

Abstract

<P>PROBLEM TO BE SOLVED: To precisely present a complementary character string candidate intended by an operator. <P>SOLUTION: A partly abbreviated character string, and a gesture indicating a character string to be complemented, a complement position and a complement region are input by handwriting into an input part 1. A gesture determination part 3 determines whether input strokes are a gesture or not, and locates a character string stroke group to be complemented by the gesture. A character string recognition part 4 recognizes the character string according to the strokes. A candidate generation part 5 computes a character string to be complemented, a complement position and a complement character count, generates a complementary character string candidate meeting the conditions, and displays it on a display part 6. Even if the character string to be complemented is in the middle or at the end of the complementary character string candidate, an intended complementary character string candidate can be generated precisely. A plurality of character strings to be complemented can be put in the complementary character string candidate to reduce the number of complementary character string candidates. A complementary character string candidate intended by an operator can be thus presented precisely. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
この発明は、手書きによって文字列やジェスチャ等のストロークを入力する手書き入力装置および方法、手書き入力プログラム、並びに、プログラム記録媒体に関する。
【０００２】
【従来の技術】
手書きで文字を入力する際に文字列の一部を省略可能な手書き文字入力装置として、以下のようなものがある。
【０００３】
特開平７‐１９１９８６号公報に開示された文章入力装置では、入力したい文字列の途中あるいは続きに省略記号を入力することによって、単語辞書および用例辞書等を検索して省略部を補完した文字列候補を提示するようにしている。また、特開平９‐１２８４８６号公報に開示された手書き文字入力装置では、１文字毎の記入枠に入力された文字を認識する際に、上記記入枠内に漢字を丸で囲んで筆記することによって、上記丸で囲まれた漢字を先頭に持つ熟語が辞書から検索されて候補が提示されるようにしている。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来の手書き文字入力装置においては以下のような問題がある。
【０００５】
すなわち、上記特開平７‐１９１９８６号公報に開示された文章入力装置においては、補完対象となる文字列内の補完位置は指定できるが、入力中の文字列全てが補完対象となり、補完対象となる文字列を自由に指定できないという問題がある。例えば、文章「簡単に文字列入力」のうち文字列「簡単」は既に入力済みで、残りの文字列「に文字列入力」を入力したい場合に、省略記号「＊」を用いて「に文＊」と省略して入力すると、「に文」を先頭に持つ文字列を単語辞書および用例辞書等から検索することになり、本来意図していた「文」を先頭に持つ文字列候補を提示できないことになる。
【０００６】
また、特開平９‐１２８４８６号公報に開示された手書き文字入力装置においては、丸で囲むことによって補完の対象となる文字を指定できるため、上述の例においては「文」を丸で囲んで筆記すれば「文」で始まる文字列を候補表示することは可能である。ところが、この方法では、丸で囲んだ指定文字を先頭に持つ文字列候補しか表示できないという問題と、先頭１文字しか指定できないため、先頭複数文字を指定した場合に比して補完文字列候補の絞り込みができず、候補数が多くなってしまうという問題がある。
【０００７】
そこで、この発明の目的は、操作者の意図する補完文字列候補を精度よく提示して入力効率を向上できる手書き入力装置および方法、手書き入力プログラム、並びに、プログラム記録媒体を提供することにある。
【０００８】
【課題を解決するための手段】
上記目的を達成するため、この発明の手書き入力装置は、ストローク入力手段から入力された各ストロークが入力文字列の補完を指示するためのジェスチャであるか否かがジェスチャ判定手段によって判定され、ジェスチャである場合には当該ジェスチャに基づいて補完対象文字列ストローク群が特定される。そして、候補生成手段によって、上記補完対象文字列ストローク群に関する文字列認識手段による認識結果に基づいて補完対象文字列でなる補完情報が決定され、この補完情報を満たす補完文字列候補が生成されるようになっている。
【０００９】
さらに、上記ジェスチャによって複数の文字を補完対象文字列として指示することによって、生成される補完文字列候補の数が大幅に絞り込まれる。
【００１０】
こうして、操作者の意図する補完文字列候補を精度よく提示することが可能になり、操作者の作業効率が大幅に向上される。
【００１１】
また、この発明の手書き入力装置は、表示されている文書中の文字列の補完を指示するジェスチャがジェスチャ入力手段から入力される。そうすると、候補生成手段によって、当該ジェスチャによって特定される上記文書中の文字列情報に基づいて補完対象文字列でなる補完情報が決定され、この補完情報を満たす補完文字列候補が生成されるようになっている。
【００１２】
したがって、上記文書中の文字列を書き換える場合に、書き換え用の文の入力を省略することが可能になる。さらに、上記ジェスチャによって複数の文字を補完対象文字列として指示することによって、生成される補完文字列候補の数が大幅に絞り込まれる。
【００１３】
こうして、操作者の意図する補完文字列候補を精度よく提示することが可能になり、操作者の作業効率が大幅に向上される。
【００１４】
また、１実施例の手書き入力装置では、上記ジェスチャに複数の種類を設け、上記候補生成手段を、上記ジェスチャの種類毎に異なる生成方法によって上記補完文字列候補を生成するようにしている。したがって、上記ジェスチャの各種類に、上記補完文字列候補を生成する際に検索する辞書の種類を割り当てたり、上記補完文字列候補の品詞の種類を割り当てたり、補完位置や補完文字数等を割り当てたりすることが可能になり、操作者の意図する補完文字列候補がより精度よく生成される。
【００１５】
また、１実施例の手書き入力装置では、上記候補生成手段を、上記補完対象文字列に加えて１つ以上の補完位置を決定し、上記補完対象文字列および補完位置でなる補完情報を満たす補完文字列候補を生成するようにしている。したがって、上記ジェスチャによって指示される補完対象文字列が、意図する補完文字列候補中における先頭に限らず中間や最後尾に存在しても、操作者の意図する補完文字列候補が精度よく生成される。
【００１６】
また、１実施例の手書き入力装置では、上記候補生成手段を、上記補完対象文字列に加えて補完文字数を決定し、上記補完対象文字列および補完文字数でなる補完情報を満たす補完文字列候補を生成するようにしている。したがって、生成される補完文字列候補の数がより絞り込まれるので、操作者の意図する補完文字列候補がより精度よく生成される。
【００１７】
また、１実施例の手書き入力装置では、上記候補生成手段を、上記補完対象文字列に加えて１つ以上の補完位置および各補完位置での補完文字数を決定し、上記補完対象文字列，補完位置および補完文字数でなる補完情報を満たす補完文字列候補を生成するようにしている。したがって、上記ジェスチャによって指示される補完対象文字列が、意図する補完文字列候補中における先頭に限らず中間や最後尾に存在しても補完文字列候補が生成可能であり、さらに生成される補完文字列候補の数がより絞り込まれるので、操作者の意図する補完文字列候補がより精度よく生成される。
【００１８】
また、１実施例の手書き入力装置では、上記ジェスチャを、文字列を囲むストロークとしている。したがって、上記ジェスチャで囲まれている文字列で上記補完対象文字列が指示され、上記ストロークにおける上記文字列の前後の空間の長さで上記補完位置および補完文字数が指示される。
【００１９】
また、１実施例の手書き入力装置では、上記ジェスチャを、文字列に沿った線状のストロークとしている。したがって、上記ジェスチャに沿った文字列で上記補完対象文字列が指示され、上記ストロークにおける上記文字列の前後の長さで上記補完位置および補完文字数が指示される。
【００２０】
また、１実施例の手書き入力装置では、上記ジェスチャを、文字列を囲むストロークと線状のストロークとの組み合わせとしている。したがって、上記ストロークで囲まれている文字列で上記補完対象文字列が指示され、上記線状のストロークにおける上記文字列の前後の長さで上記補完位置および補完文字数が指示される。
【００２１】
また、１実施例の手書き入力装置では、上記ジェスチャを、文字列に沿った折れ線状のストロークとしている。したがって、例えば、開始点から最初の屈曲点までのストロークに沿っている文字列で上記補完対象文字列が指示され、全体のストロークにおける上記文字列の前後の長さで上記補完位置および補完文字数が指示される。
【００２２】
また、この発明の手書き入力装置は、ストローク入力手段から入力された各ストロークが文字列認識手段によって文字列として認識される。そして、認識結果の第１候補文字列が表示手段によって表示され、文字列指定手段によって上記第１候補文字列の全文字列または部分文字列が指定される。さらに、候補生成手段によって、上記指定文字列および指定文字列に関する認識結果の他候補文字列のうち少なくとも一つの候補文字列を補完対象文字列として補完文字列候補が生成されるようになっている。
【００２３】
すなわち、上記表示されている上記認識結果の第１候補文字列を構成する全文字列または部分文字列を上記文字列指定手段によって指定するだけで、この指定文字列を補完するための補完文字列候補が生成される。さらに、上記文字列指定手段によって複数の文字を補完対象文字列として指示することによって、生成される補完文字列候補の数が大幅に絞り込まれる。こうして、操作者の意図する補完文字列候補を精度よく提示することが可能になり、操作者の作業効率が大幅に向上される。
【００２４】
また、１実施例の手書き入力装置では、上記文字列指定手段により指定された文字列および指定文字列に関する認識結果の他候補文字列が第２の表示手段によって表示され、上記第２の表示手段によって表示されている候補文字列のうち候補文字列指定手段によって指定された候補文字列に係る補完文字列候補が、第３の表示手段によって表示される。したがって、操作者が意図する補完文字列候補により近い補完文字列候補のみが的確に表示される。
【００２５】
また、１実施例の手書き入力装置では、上記候補生成手段を、上記候補文字列を仮名漢字変換または漢字仮名変換して得られる文字列も補完対象文字列として補完文字列候補を生成するようにしている。したがって、補完対象文字列が漢字仮名混じりである場合でも補完文字列候補の生成が可能となり、操作者の利便性が向上する。
【００２６】
また、１実施例の手書き入力装置では、上記候補生成手段を、以前に入力された文字列の履歴に含まれる文字列を上記補完文字列候補として生成するようにしている。したがって、操作者が意図する補完文字列候補がより精度よく生成される。
【００２７】
また、１実施例の手書き入力装置では、上記候補生成手段を、上記表示されている文書内に含まれる文字列を上記補完文字列候補として生成するようにしている。したがって、操作者が意図する補完文字列候補がより精度よく生成される。
【００２８】
また、この発明の手書き入力方法は、入力された各ストロークが入力文字列の補完を指示するためのジェスチャであるか否かが判定され、ジェスチャである場合には当該ジェスチャに基づいて補完対象文字列ストローク群が特定される。そして、上記補完対象文字列ストローク群に関する文字列認識結果と、上記ジェスチャのストロークと補完対象文字列ストローク群との位置関係とに基づいて、補完対象文字列，補完位置および補完文字数でなる補完情報が決定され、この補完情報を満たすような補完文字列候補が生成されるようになっている。
【００２９】
さらに、上記ジェスチャによって複数の文字を補完対象文字列として指示することによって、生成される補完文字列候補の数が大幅に絞り込まれる。
【００３０】
こうして、操作者の意図する補完文字列候補を精度よく提示することが可能になり、操作者の作業効率が大幅に向上される。
【００３１】
また、この発明の手書き入力方法は、表示されている文書中の文字列の補完を指示するジェスチャが入力される。そうすると、当該ジェスチャによって特定される上記文書中の文字列情報と、上記ジェスチャのストロークと上記特定された文字列との位置関係とに基づいて、補完対象文字列，補完位置および補完文字数でなる補完情報が決定され、この補完情報を満たす補完文字列候補が生成されるようになっている。
【００３２】
したがって、上記文書中の文字列を書き換える場合に、書き換え用の文の入力を省略することが可能になる。さらに、上記ジェスチャによって複数の文字を補完対象文字列として指示することによって、生成される補完文字列候補の数が大幅に絞り込まれる。
【００３３】
こうして、操作者の意図する補完文字列候補を精度よく提示することが可能になり、操作者の作業効率が大幅に向上される。
【００３４】
また、この発明の手書き入力方法は、入力された各ストロークに基づいて文字列が認識される。そして、認識結果の第１候補文字列が表示され、上記第１候補文字列の全文字列または部分文字列が指定される。さらに、上記指定文字列および指定文字列に関する認識結果の他候補文字列のうち少なくとも一つの候補文字列を補完対象文字列として補完文字列候補が生成されるようになっている。
【００３５】
したがって、表示されている上記文字列認識結果の第１候補文字列を構成する全文字列または部分文字列を指定するだけで、この指定文字列を含む省略文字列を補完するための補完文字列候補が生成される。さらに、上記文字列指定手段によって複数の文字を補完対象文字列として指示することによって、生成される補完文字列候補の数が大幅に絞り込まれる。こうして、操作者の意図する補完文字列候補を精度よく提示することが可能になり、操作者の作業効率が大幅に向上される。
【００３６】
また、この発明の手書き入力プログラムは、コンピュータを、上記手書き入力装置のストローク入力手段，ストローク記憶手段，ジェスチャ判定手段，文字列認識手段および候補生成手段として機能させる。したがって、ジェスチャによって指示される補完対象文字列が、意図する補完文字列候補中における先頭に限らず中間や最後尾に存在しても、操作者の意図する補完文字列候補が精度よく生成され、操作者が文字列を入力する際の作業効率が大幅に向上される。
【００３７】
また、この発明の手書き入力プログラムは、コンピュータを、上記手書き入力装置の文書記憶手段，表示手段，ジェスチャ入力手段，ジェスチャ記憶手段および候補生成手段として機能させる。したがって、ジェスチャによって指示される補完対象文字列が、意図する補完文字列候補中における先頭に限らず中間や最後尾に存在しても、操作者の意図する補完文字列候補が精度よく生成され、操作者が上記文書を編集する際の作業効率が大幅に向上される。
【００３８】
また、この発明の手書き入力プログラムは、コンピュータを、上記手書き入力装置のストローク入力手段，ストローク記憶手段，文字列認識手段，　表示手段，文字列指定手段，候補生成手段として機能させる。したがって、表示されている文字列認識結果の第１候補文字列を構成する全文字列または部分文字列を指定するだけで、この指定文字列および指定された文字列に関する認識結果の他候補文字列のうち少なくとも一つの候補文字列を補完対象文字列として補完文字列候補が生成される。その結果、操作者の作業効率大幅に向上される。
【００３９】
また、この発明のプログラム記録媒体は、上記手書き入力プログラムが記録されている。したがって、コンピュータによって上記手書き入力プログラムを読み出して実行することによって、操作者の意図する補完文字列候補を精度よく提示することが可能になり、操作者の作業効率が大幅に向上される。
【００４０】
【発明の実施の形態】
以下、この発明を図示の実施の形態により詳細に説明する。
【００４１】
＜第１実施の形態＞
図１は、本実施の形態の手書き入力装置における機能的構成を示す機能ブロック図である。この手書き入力装置は簡単なコンピュータ上に構成され、入力部１，記憶部２，ジェスチャ判定部３，文字列認識部４，候補生成部５および表示部６を含んで構成されている。
【００４２】
上記入力部１はタブレット等を含んで構成され、文字列やジェスチャが手書き入力される。そして、入力部１から手書き入力された文字列のストローク情報やジェスチャのストローク情報が記憶部２に記憶される。ジェスチャ判定部３は、記憶部２に記憶されているストローク情報に基づいて、各ストロークがジェスチャであるか否かを判定する。そして、上記ジェスチャ判定部３で判定されたジェスチャの情報は、記憶部２に送出されて記憶される。文字列認識部４は、記憶部２に記憶されているジェスチャ以外のストローク情報に基づいて、当該ストロークを文字列として認識する。候補生成部５は、文字列認識部４による認識結果を参照して、ジェスチャ判定部３で判定されたジェスチャによって指定される文字列の補完文字列候補を生成する。表示部６は、入力部１から入力されたストローク，記憶部２に記憶されたストローク，文字列認識部４による認識結果および候補生成部５で生成された補完文字列候補を表示する。
【００４３】
ここで、上記ストロークとは、入力部１を介して入力された座標情報または点列データまたはベクトル列情報を指し、さらに時間情報，筆記速度情報，筆圧情報等も含んでいても差し支えない。また、上記ジェスチャとは、予め定められた１つ以上のストロークからなる編集用の記号を指す。
【００４４】
尚、上記入力部１および表示部６は、個別に設けても良いし、表示装置上に透明のタブレットを積層配置して成る表示一体型タブレットとして設けても差し支えない。
【００４５】
図１に示す手書き入力装置のハードウェア構成を図２に示す。この手書き入力装置は、後述する各種処理を実行するプログラムを含む各種プログラムを記憶するプログラムメモリ１１、記憶部２を構成して上記ストローク情報を含む各種情報を記憶するデータメモリ１２、入力部１を構成する入力装置１３、表示部６を構成する表示装置１４、外部のインターネット等の通信ネットワーク１５と本手書き入力装置とを接続する通信Ｉ／Ｆ１６、ＣＤ‐ＲＯＭ（コンパクトディスク・リード・オンリ・メモリ）等の外部記録媒体１７がセットされてこの外部記録媒体１７をアクセスする外部記憶媒体ドライバ１８、プログラムメモリ１１，データメモリ１２，入力装置１３，表示装置１４，通信Ｉ／Ｆ１６および外部記憶媒体ドライバ１８を制御して、手書き入力処理動作等を実行するＣＰＵ（中央演算処理装置）１９を含んで構成されている。
【００４６】
図３は、上記ＣＰＵ１９による制御の下に実行される手書き入力処理動作のフローチャートである。以下、図３に従って、上記手書き入力処理動作について詳細に説明する。
【００４７】
ステップＳ１で、操作者によって上記入力部１が操作されて、手書き文字列のストロークおよびジェスチャのストロークが筆記入力される。ステップＳ２で、表示部６によって、上記入力された手書き文字列のストロークあるいはジェスチャのストロークがリアルタイムに表示される。さらに、記憶部２によって、上記入力された手書き文字列のストローク情報あるいはジェスチャのストローク情報が記憶される。ステップＳ３で、入力部１からの情報に基づいて、手書き入力が終了したか否かが判別される。その結果、終了した場合にはステップＳ４に進む一方、終了でなければ上記ステップＳ１に戻って次の入力スロトークの処理に移行する。
【００４８】
尚、上記記憶部２に記憶されるストローク情報とは、上述したような座標情報または点列データまたはベクトル列情報等を主に指すが、これらのデータや情報から得られる外接矩形情報や位置・サイズ情報や形状情報等を逐次算出して記憶しておいてもよい。また、上記手書き入力の終了判定方法は、特に限定はしないが、手書き入力後に所定時間が経過しても次の手書き入力が無い場合に入力終了と判定する方法が考えられる。更に、入力部１あるいは別途設けられた入力終了指示部（図示せず）への操作者による指示に基づいて判定する方法や、これらを組み合わせた方法も考えられる。
【００４９】
ステップＳ４で、上記ジェスチャ判定部３によって、記憶部２に記憶されている各ストロークに対するジェスチャ判定が行われる。そして、ジェスチャであると判定された場合には当該ジェスチャによる補完の対象となる補完対象文字列ストローク群が特定され、その特定情報が記憶部２に記憶される。尚、上記ステップＳ４におけるジェスチャ判定部３によるジェスチャ判定処理の詳細については後述する。
【００５０】
ステップＳ５で、上記文字列認識部４によって、上記記憶部２の記憶内容に基づいて、記憶部２にジェスチャが存在するか否かが判別される。その結果、ジェスチャが存在しない場合はステップＳ６に進み、ジェスチャが存在する場合にはステップＳ８に進む。ステップＳ６で、文字列認識部４によって、記憶部２に記憶されているストロークに基づいて文字列認識が行われる。そして、認識結果の文字列が表示部６に送出される。ステップＳ７で、表示部６によって、上記文字列認識の結果得られた文字列が表示される。そうした後、手書き入力処理動作が終了される。
【００５１】
ステップＳ８で、上記文字列認識部４によって、記憶部２に記憶されているストロークのうちの上記ジェスチャであると判定されたストローク以外のストロークに基づいて文字列認識が行われる。尚、文字列認識部４によって実行される文字列認識方法に関しては、様々な方法が知られているが本実施の形態においては特に限定はしない。例えば、特公平４‐１０６７１号公報に開示されている方法等を用いればよい。
【００５２】
ステップＳ９で、上記候補生成部５によって、記憶部２に記憶されている一つのジェスチャに関して、各ストローク情報および補完の対象となる補完対象文字列ストローク群の文字列認識結果が参照されて、補完の対象となる文字列（補完対象文字列）と、この文字列内における補完を行う位置と、各補完位置において補完する文字数条件が決定される。尚、本ステップにおいては、補完の対象となる文字列のみが決定されるようにしてもよい。または、補完の対象となる文字列と、この文字列内の補完を行う位置とが決定されるようにしてもよい。または、補完の対象となる文字列と、補完する文字数条件とが決定されるようにしてもよい。ステップＳ１０で、候補生成部５によって、上記ステップＳ９において決定された情報に基づいて補完文字列候補が生成される。尚、上記補完対象文字列，補完位置および補完文字数条件の決定処理と補完文字列候補の生成処理との詳細については後述する。
【００５３】
ステップＳ１１で、上記表示部６によって、上記ステップＳ８における文字列認識結果および上記ステップＳ１０において生成された補完文字列候補が、表示される。ステップＳ１２で、操作者によって入力部１が操作されて、候補選択が行われる。ステップＳ１３で、表示部６によって、上記ステップＳ１２における候補選択の結果に応じて、補完対象文字列が選択補完文字列候補に置き換えられて表示される。ステップＳ１４で、候補生成部５によって、記憶部２に記憶されている全てのジェスチャに対する処理が終了したか否かが判別される。その結果、終了していなければ上記ステップＳ９に戻って、次のジェスチャに対する処理に移行する。また、終了していれば、手書き入力処理動作を終了する。
【００５４】
次に、図３に示す手書き入力処理動作の上記ステップＳ４においてジェスチャ判定部３によって実行されるジェスチャ判定について詳細に説明する。
【００５５】
先ず、上記ジェスチャとしては図４〜図７に示すようなものがある。尚、図４〜図７においては、識別し易いようにジェスチャのストロークを太く表現している。図４は楕円状のジェスチャであり、図５は直線状のストロークからなるジェスチャであり、図６は楕円と直線とを繋いだ１つのストロークからなるジェスチャであり、図７は楕円と直線とを組み合わせた複数のストロークからなるジェスチャである。その他、図４，図６，図７における楕円状の部分を矩形やその他の閉図形状に変更したものも考えられる。
【００５６】
上記ジェスチャにおいて、図４（ａ）および図５（ａ）は、補完対象文字列「シャ」のみを指定するジェスチャである。また、図４（ｂ），図５（ｂ），図６（ａ）および図７（ａ）は、指定文字列「シャ」の後を補完するためのジェスチャである。また、図４（ｃ），図５（ｃ），図６（ｂ）および図７（ｂ）は、指定文字列「会社」の前を補完するためのジェスチャである。また、図４（ｄ），図５（ｄ），図６（ｃ）及び図７（ｃ）は、指定文字列「株」の前後を補完するためのジェスチャである。また、図４（ｅ），図５（ｅ），図６（ｄ）及び図７（ｄ）は、指定文字列「シャ」と「会社」との間を補完するためのジェスチャである。また、図４（ｆ），図５（ｆ），図６（ｅ）及び図７（ｅ）は、指定文字列「プ」と「会」との前後および間を補完するためのジェスチャである。
【００５７】
そして、図４（ｂ）〜図４（ｆ）に示す楕円状のジェスチャにおいては、楕円内の空白部の大きさによって補完すべき位置および補完すべき文字数を判定することができる。また、図５（ｂ）〜図５（ｆ），図６及び図７に示すジェスチャにおいては、直線部の位置によって補完すべき位置を、上記直線部の長さによって補完すべき文字数を判定することができる。
【００５８】
尚、図４〜図７においては、文字列が横に配列されている場合（つまり、横書きである場合）を前提としているが、図８に示すように、文字列が縦配列や斜め配列である場合のジェスチャも同様に設定することができる。
【００５９】
以下、図４および図８（ａ）に示す楕円状のジェスチャを用いた場合におけるジェスチャ判定部３によるジェスチャ判定について説明する。図９は、図３に示す手書き入力処理動作における上記ステップＳ４において実行されるジェスチャ判定処理動作のフローチャートである。上記手書き入力処理動作における上記ステップＳ３において手書き入力が終了したと判別されるとジェスチャ判定処理動作がスタートする。
【００６０】
ステップＳ２１で、上記記憶部２に記憶されているストローク情報のうち１つのストローク情報が読み出される。ステップＳ２２で、読み出されたストローク情報に基づいて、当該ストロークが上記ジェスチャの形状をしているか否かが判別される。その結果、ジェスチャ形状を有する場合にはステップＳ２３に進み、そうでない場合にはステップＳ２６に進む。ここで、ジェスチャ形状の判定方法については特に限定しないが、既知の技術を使用することが可能である。例えば、辞書パターンとの照合を行うような文字認識技術を利用してもよいし、ストロークの座標情報やストローク内線分のベクトル情報等を利用して判断してもよい。
【００６１】
その際に、楕円状のジェスチャを用いて、例えば図１０に示すような入力があった場合に、これが、「▲１▼」のごとく記号「丸付き１」の入力を意図したのか、「１」にジェスチャの丸を重ねて補完の指示を意図したのかが判別できないという問題がある。その解決法として、丸の筆記方法により判別する方法が考えられる。一般に、数字の「０」やアルファベットの「Ｏ」や丸付き数字「▲１▼」等の丸を筆記する際には、図１１（ａ）に示すような丸の上部を基点とした反時計回り、図１１（ｂ）に示すような丸の下部を基点とした時計回りで筆記されることが多い。そこで、図１１（ａ），図１１（ｂ）に示すような筆順で丸が筆記された場合には、文字または文字の一部であると判定する。一方、図１１（ｃ）に示すような丸の上部を基点とした時計回り、図１１（ｄ）に示すような丸の下部を基点とした反時計回りで筆記された場合には、ジェスチャであると判定する。こうすることによって、操作者が文字または文字の一部とジェスチャとを書き分けることができる。
【００６２】
ステップＳ２３で、上記ステップＳ２２で判定された当該ジェスチャによる補完の対象となる補完対象文字列ストロークが抽出される。その場合における補完対象文字列ストロークの抽出方法については特に限定しないが図１２にその一例を示す。先ず、図１２（ａ）に示すように楕円状ジェスチャの筆記開始点と筆記終了点とが繋がっていない場合には、図１２（ｂ）に示すように筆記開始点と筆記終了点とを繋いで閉図形とする。または、図１２（ｃ）に示すようにストロークが交差している場合には、図１２（ｄ）に示すように開始点から交差点までの部分および交差点から終了点までの部分を削除して閉図形とする。次に、閉図形内部に存在する閉図形のストロークとは異なる他のストロークを上記補完対象文字列ストロークとして抽出するのである。尚、あるストロークが閉図形内部に在るか否かを判定する方法としては、（１）ストロークの全座標が閉図形内に在るかを判定する。（２）ストロークの開始点，終了点，中間点等の特定の座標が閉図形内に在るかを判定する。（３）閉図形内にあるストローク座標の比率で判定する。（４）閉図形内のストローク部分の長さとストローク全体の長さの比率で判定する。等の方法が挙げられる。
【００６３】
ステップＳ２４で、上記ステップＳ２３における補完対象文字列ストローク抽出の結果に基づいて、当該ジェスチャに係る補完対象文字列ストロークが存在するか否かが判別される。その結果、存在する場合にはステップＳ２５に進み、存在しない場合にはステップＳ２６に進む。ステップＳ２５で、ジェスチャのストローク情報と上記ステップＳ２３において抽出された補完対象文字列ストロークのストローク情報とが当該ジェスチャのジェスチャ情報として記憶部２に記憶される。ステップＳ２６で、全ストロークの処理が終了したか否かが判別される。その結果、終了していなければ上記ステップＳ２１に戻って次のストロークの処理に移行する。一方、終了していればジェスチャ判定処理動作を終了して、図３に示す手書き入力処理動作における上記ステップＳ５に進む。
【００６４】
次に、他の例として、図５および図８（ｂ）に示す直線状のジェスチャを用いた場合におけるジェスチャ判定部３によるジェスチャ判定について説明する。尚、その場合、図３に示す手書き入力処理動作における上記ステップＳ４において実行されるジェスチャ判定処理動作は、図９に示すフローチャートと同様である。したがって、以下、図９に示すジェスチャ判定処理動作のフローチャートにおける上記ステップＳ２２におけるジェスチャ形状の判定方法と、上記ステップＳ２３におけるジェスチャの補完対象文字列ストロークの抽出方法について説明する。
【００６５】
上記直線状のジェスチャにおけるジェスチャ形状の判定方法については、楕円状のジェスチャの場合と同様に既知の技術を使用することが可能である。但し、例えば、図１３（ａ）に示すような入力があった場合には、これが、文字「旦」の入力を意図したのか、「日」にジェスチャの横棒を重ねての補完を意図したのかが判別できないという問題がある。その解決法として、横棒の筆記方法により判別する方法が考えられる。一般的に文字内の横棒は図１３（ｂ）に示すように左から右に筆記される。そこで、左から右に筆記された横棒は文字または文字の一部であると判定する一方、図１３（ｃ）に示すように右から左に筆記した場合にはジェスチャであると判定する。こうすることによって、操作者が文字または文字の一部とジェスチャとを書き分けることができる。
【００６６】
同様に、図１４（ａ）に示すような入力があった場合に、これが、文字「旧」の入力を意図したのか、「日」にジェスチャの縦棒を重ねての補完を意図したのかが判別できないという問題がある。この場合には、文字内の縦棒は図１４（ｂ）に示すように上から下に筆記されるのが一般的であるため、上から下に筆記された縦棒は文字または文字の一部であり、図１４（ｃ）に示すように下から上に筆記された縦棒はジェスチャであると判別するのである。こうすることによって、操作者が文字または文字の一部とジェスチャとを書き分けることができる。
【００６７】
さらに、図１４（ａ）に示すような入力があった場合には、ストロークの時系列情報を用いて、ジェスチャストローク以降に入力されたストロークは当該ジェスチャによる指定の対象とはしないようにすれば、図１５（ａ）に示すように、「｜」，「日」の順に入力された場合には文字「旧」であると判別し、図１５（ｂ）に示すように、「日」，「｜」の順に入力された場合には「日」の補完であると判別することができる。こうすることによって、操作者が文字または文字の一部とジェスチャとを書き分けることが可能になるのである。
【００６８】
次に、上記直線状のジェスチャの場合における補完対象文字列ストロークの抽出方法について、図１６に従って説明する。図１６において、太線の部分がジェスチャストロークを示しており、Ａは筆記開始点、Ｂは筆記終了点である。
【００６９】
先ず、上記ジェスチャストロークの筆記開始点Ａと筆記終了点Ｂとを結ぶ線分を１辺とする長方形ＡＢＣＤを求める。その際に、線分ＡＤと線分ＢＣとの長さは、手書き入力される文字の標準的な幅および高さを表す標準文字サイズを用いる。その際における上記標準文字サイズの設定方法としては、予め定めた固定値とする方法や筆記された文字列ストロークに応じて動的に算出する方法がある。
【００７０】
こうして得られた長方形の頂点Ｂ，Ｃと頂点Ｃ，Ｄと頂点Ｄ，Ａとを結ぶ３つの直線と、頂点Ａ，Ｂを結ぶジェスチャストロークとで、閉図形を形成する。尚、上記閉図形として、上記長方形ＡＢＣＤをそのまま用いても差し支えない。そして、あるストロークが当該ジェスチャによる補完の対象であるか否かは、そのストロークが当該閉図形内（斜線部）に含まれるか否かによって判定するのである。その場合、閉図形内部にあるか否かを判定する方法としては、先程の楕円状ジェスチャの説明の際に述べた方法が適用できる。
【００７１】
以上の方法によれば、図１７に示すように複数行に亙って筆記した場合でも、文字「例」の後を補完する直線状のストロークを筆記することによって、補完対象文字列ストロークとして文字「例」の部分を抽出することが可能になるのである。
【００７２】
尚、図６，図７，図８（ｃ）および図８（ｄ）に示すような楕円状の部分と直線状の部分とを含むジェスチャを用いた場合におけるジェスチャ判定部３によるジェスチャ判定処理動作は、上記楕円状の部分に対して上述した楕円状のジェスチャを用いた場合の処理を適用すればよい。
【００７３】
次に、図３に示す手書き入力処理動作における上記ステップＳ９において候補生成部５によって実行される補完対象文字列，補完位置，補完文字数条件の決定、および、ステップＳ１０において候補生成部５によって実行される補完文字列候補生成について詳細に説明する。
【００７４】
以下、図１８に示すように、楕円状のジェスチャを用いた場合を例に挙げて説明する。図１８において、実際に筆記入力されたストロークは太線の部分であって、それ以外の部分は説明用に付加したものである。横方向をＸ軸、縦方向をＹ軸としている。尚、図１８は横方向に筆記された場合であるが、縦方向や斜め方向に筆記した場合であっても、文字列筆記方向をＸ軸とし、このＸ軸に垂直な方向をＹ軸とすれば同様に処理することができる。
【００７５】
ここで、上記手書き入力処理動作における上記ステップＳ４のジェスチャ判定処理によって、ストロークｓｔ６がジェスチャとして判定され、ストロークｓｔ１，ｓｔ２，ｓｔ３，ｓｔ４，ｓｔ５が補完対象文字列ストロークとして抽出されているものとする。
【００７６】
先ず、上記手書き入力処理動作のステップＳ９において実行される補完対象文字列，補完位置，補完文字数条件の決定処理動作について、図１９に示すフローチャートに従って説明する。上記手書き入力処理動作のステップＳ８において上記ジェスチャであると判定されたストローク以外のストロークに基づいて文字列が認識されると、補完対象文字列，補完位置，補完文字数条件の決定処理動作がスタートする。
【００７７】
ステップＳ３１で、上記文字列認識部４から上記補完対象文字列ストローク群の文字列認識結果が取得される。図１８に示す例の場合には、上記ストロークｓｔ１，ｓｔ２，ｓｔ３による認識結果として文字「シ」が得られ、上記ストロークｓｔ４，ｓｔ５による認識結果として文字「ャ」が得られる。
【００７８】
ステップＳ３２で、上記ジェスチャの外接矩形および各文字の外接矩形が求められる。以下、ジェスチャの外接矩形をＲ０および各文字の外接矩形をＲ１〜Ｒｎ（ｎは認識結果文字数）とする。すなわち、図１８に示す例の場合には、ジェスチャ外接矩形Ｒ０が得られ、文字「シ」および「ャ」の外接矩形Ｒ１，Ｒ２が得られる。
【００７９】
ステップＳ３３で、０≦ｉ≦ｎ−１を満たす全ての整数ｉに対して、上記外接矩形Ｒｉと外接矩形Ｒ（ｉ＋１）とのＸ軸方向間隔ｄｉを求め、更に外接矩形Ｒｎと外接矩形Ｒ０とのＸ軸方向間隔ｄｎを求める。Ｘ軸方向間隔ｄがない場合は０とする。図１８に示す例の場合には、ｄ０，ｄ１，ｄ２が得られる。
【００８０】
ステップＳ３４で、上記ステップＳ３３において得られた各ｄｉ（０≦ｉ≦ｎ）に関して、Ｃｉ＝ｄｉ／Ｈが算出され、算出された値Ｃｉに応じて、ｄｉの位置における補完文字数条件が決定される。そうした後、補完対象文字列，補完位置，補完文字数条件の決定処理動作を終了する。ここで、上記Ｈは標準文字サイズであり、上述したように手書き入力される文字の標準的な幅あるいは高さである。
【００８１】
上記補完文字数条件としては、１つの値のみを決定する方法と、文字数の上限値および下限値を決定する方法とがある。１つの値のみを決定する場合には、値Ｃｉの切上げ値，切捨て値，四捨五入値の何れか一つをそのまま使用するか、その値に予め定められた値を加算あるいは減算して得られた値を使用するようにすればよい。但し、減算して負の値になる場合は０とする。また、上限値と下限値とを決定する場合には、Ｃｉの切上げ値，切捨て値，四捨五入値の何れか一つの値から、予め定めておいた値を加減算して上限値および下限値を決定すればよい。但し、下限値は０以上とする。その場合、上限値および下限値毎に加減算する大きさを変えてもよい。また、値Ｃｉが予め定めた所定値以下である場合には強制的に上限値および下限値共に０になるようにしたり、文字列の前後におけるＸ軸方向間隔（ｄ０，ｄｎ）では上記所定値を大きめに設定することによって文字列前後を補完し難くして、ジェスチャ入力の操作性を上げることも可能である。
【００８２】
更に、例えば、１文字補完の確率は７０％，２文字補完の確率は９０％，３文字補完の確率は６０％と言うように、補完文字数に確からしさを示す確率を付加しても差し支えない。
【００８３】
以上のような補完対象文字列，補完位置，補完文字数条件の決定処理によって、図１８に示す例の場合には、例えば図２０に示すような補完情報が生成されるのである。
【００８４】
尚、以上の説明は、図１８に示すような楕円状のジェスチャを用いた場合を例に挙げて行っている。しかしながら、図５および図８（ｂ）に示すような直線状のジェスチャを用いた場合にも、同様の処理によって補完対象文字列，補完位置，補完文字数条件等の補完情報を生成することができる。図２１は、直線状のジェスチャを用いた場合の筆記例（図２１（ａ））と、この筆記例から生成される補完情報例（図２１（ｂ））を示す。
【００８５】
次に、上記手書き入力処理動作のステップＳ１０において実行される補完文字列候補生成について詳細に説明する。
【００８６】
上述した補完対象文字列，補完位置，補完文字数条件の生成処理によって生成された図２０および図２１に示すような補完情報に基づいて、この条件を満たすような補完文字列候補を生成する。図２２は、図２０に示す補完情報に基づいて生成された補完文字列候補の例を示す。この補完文字列候補の生成は既知の技術によって実現可能である。本実施の形態においては特に限定しないが、（１）一般単語辞書あるいはユーザ辞書を用いて探索を行う方法、（２）単語辞書と単語間の遷移情報辞書とを用いて探索を行う方法、（３）（１），（２）において出現頻度情報をも用いる方法、（４）以前の入力文字列履歴に基づく方法等がよく知られている。尚、（２）の方法を用いれば、長い文字列や文章等を省略して入力しても補完することが可能になる。また、（３）および（４）の方法のように、頻度情報や履歴情報を用いることによって、操作者の意図する補完文字列をより精度よく提示することが可能になる。
【００８７】
また、ワープロ等において用いられる仮名漢字変換または漢字仮名変換を用いて、補完対象文字列を仮名漢字変換または漢字仮名変換して得られる文字列も補完対象文字列として補完候補を生成する方法もある。この方法によれば、漢字と仮名が混じった補完対象文字列から漢字文字列の補完や仮名文字列の補完が可能になる。すなわち、複雑な漢字文字列の補完入力をしたい場合でも、読みの平仮名の入力によって補完が可能となり、入力時の労力および時間を軽減することができる。例えば図２３に示すように「か」の入力のみで、読みの先頭が「か」である「株式会社」等をも候補表示することも可能になるのである。
【００８８】
以上のごとく、本実施の形態においては、手書きによって一部を省略した文字列を入力部１に入力し、省略部分を補完した文字列候補を表示部６に表示させるに際して、一部を省略した文字列に補完対象文字列と補完位置と補完文字数とを指定するジェスチャを表すストロークを入力する。そして、ジェスチャ判定部３によって、入力ストロークがジェスチャであるか否かを判定し、ジェスチャである場合には当該ジェスチャによる補完の対象となる補完対象文字列ストローク群を特定する。そして、文字列認識部４によって、ジェスチャであるストローク以外のストロークに基づいて文字列認識を行い、候補生成部５によって、ジェスチャ判定部３で得られたジェスチャストロークおよび補完対象文字列ストロークの位置関係と、文字列認識部４による認識文字列とに基づいて、補完の対象となる補完対象文字列と、この補完対象文字列に関する補完の位置と補完文字数条件とで成る補完情報を生成する。さらに、この補完情報に基づいて辞書等を用いて、上記補完情報の条件を満たすような補完文字列候補を生成して表示部６に表示するようにしている。
【００８９】
したがって、本実施の形態によれば、上述した従来の手書き文字入力装置のごとく、補完対象文字列が補完文字列候補の先頭である場合は勿論のこと、補完文字列候補の中間や最後に存在する場合であっても、操作者が意図する補完文字列候補を精度よく生成することができる。さらに、複数の文字をジェスチャで指示することによって、補完文字列候補の数を大幅に絞り込むことができる。その結果、操作者が意図する補完文字列候補を精度よく提示することができ、手書き入力効率を向上することができるのである。
【００９０】
また、上記ジェスチャとして、上記補完対象文字列を囲む楕円状のストロークや補完対象文字列に沿って引かれた直線状のストロークや両者を併用したストロークを用いている。したがって、楕円内や直線上における空白部の位置や長さによって、的確に補完位置や補完文字数を指定することができるのである。
【００９１】
尚、上述の説明においては、１種類のジェスチャを使用する場合を例に挙げているが、図４〜図７に示すような複数種類のジェスチャを入力可能とし、ジェスチャの種類毎に異なる補完文字列生成方法を適用するようにしてもよい。
【００９２】
具体的には、
（ａ）一般単語辞書やユーザ辞書等の辞書毎にジェスチャを割り当てる
（ｂ）探索する単語の品詞毎にジェスチャを割り当てる
（ｃ）補完位置や補完文字数等の補完条件毎にジェスチャを割り当てる
等が考えられる。その場合、（ａ），（ｂ）の方法では、操作者が補完したい文字列の情報をジェスチャによってＣＰＵ１９に伝えることができ、操作者の意図する補完文字列候補をより精度よく提示することが可能になる。また、（ｃ）の方法では、操作者はジェスチャと文字列との位置関係ではなく、ジェスチャの形状によって補完位置と補完文字数条件とを指定できるようになる。
【００９３】
図２４は、ジェスチャの種類毎に異なる補完文字列生成方法を適用する一例である。図２４（ａ）および図２４（ｂ）は補完文字列を生成する際に用いる辞書をジェスチャの種類で指定する例であり、図２４（ａ）に示すジェスチャの場合には一般単語辞書から補完文字列を探索し、図２４（ｂ）に示すジェスチャの場合にはユーザ辞書から補完文字列を探索する。また、図２４（ｃ）および図２４（ｄ）は補完位置をジェスチャの種類で指定する例であり、図２４（ｃ）に示すように一重丸のジェスチャの場合には補完対象文字列「文」の後側を補完し、図２４（ｄ）に示すように二重丸のジェスチャの場合には補完対象文字列「文」の前側を補完する。また、図２４（ｅ）および図２４（ｆ）は補完文字数をジェスチャの種類で指定する例であり、図２４（ｅ）に示すように１本の下線のジェスチャの場合には１文字補完を行い、図２４（ｆ）に示すように３本の下線のジェスチャの場合には３文字補完を行うのである。
【００９４】
さらに、上述の説明においては、上記文字列認識部４による第１候補の認識結果文字列のみを考慮して補完文字列候補を生成する場合を例に挙げている。しかしながら、一般に文字列認識においては複数の認識候補が生成される。そこで、候補生成部５は、それらの複数の認識候補および各々の確信度情報をも用いて補完文字列候補を生成するようにしても差し支えない。
【００９５】
さらに、上述の説明においては、操作者が筆記入力を終了した後に直ぐ補完文字列候補が表示され、操作者はその表示候補から目的とする候補を選択するようにしている。しかしながら、この発明はこれに限定されるものではなく、候補選択を行っている時間がない場合に、筆記入力だけを行って、そのストローク情報を記憶部２に記憶しておく。そして、時間がある場合に補完文字列候補選択を行うようにしてもよい。その場合には、記憶部２を、手書き入力装置の電源がオフされても記憶内容が保持できる構成にする。そして、図３に示す手書き入力処理動作のフローチャートにおいて、筆記入力時にはステップＳ３の入力終了までを行うようにし、操作者が時間のあるときにステップＳ４のジェスチャ判定以降の処理を再開できるようにするための処理再開指示手段を別途設ければよい。
【００９６】
また、上記筆記入力時にはステップＳ４のジェスチャ判定までの処理を行っておき、処理再開時にはステップＳ５のジェスチャの存在判別以降の処理を行うようにしてもよい。また、上記筆記入力時にはステップＳ８の文字列認識までの処理を行っておき、処理再開時にはステップＳ９の補完情報の決定からステップＳ１３の候補選択結果の表示までの処理を全ジェスチャに対して行うようにしてもよい。また、筆記入力時にはステップＳ９の補完情報の決定までの処理を全ジェスチャに対して行っておき、処理再開時にはステップＳ１０の補完文字列候補生成からステップＳ１３の候補選択結果の表示までの処理を全ジェスチャに対して行うようにしてもよい。また、筆記入力時にはステップＳ１０の補完文字列候補生成までの処理を全ジェスチャに対して行っておき、処理再開時にはステップＳ１１の補完文字列候補の表示からステップＳ１３の候補選択結果の表示までの処理を全ジェスチャに対して行うようにしてもよい。
【００９７】
これらの手書き入力処理動作を二回に分けて実行する方法によれば、操作者が後で全ストロークデータを表示させた際に、補完を意図した文字列部分の識別が容易であり、ジェスチャの形状やサイズ等によってどのような文字列の補完を意図したのかも判別し易いという効果も得られる。
【００９８】
＜第２実施の形態＞
本実施の形態は、表示されている文書中に、補完対象文字列とこの補完対象文字列中における補完位置および補完文字数条件を指定するジェスチャのストロークを手書きによって入力することによって、上記文書中の補完対象文字列を他の文字列に書き換え編集を行うものに関する。
【００９９】
図２５は、本実施の形態の手書き入力装置における機能的構成を示す機能ブロック図である。この手書き入力装置は簡単なコンピュータ上に構成され、入力部２１，記憶部２２，ジェスチャ判定部２３，候補生成部２４および表示部２５を含んで構成されている。
【０１００】
上記入力部２１はタブレット等を含んで構成され、手書きによるジェスチャが入力される。そして、入力部２１から手書き入力されたジェスチャのストローク情報が記憶部２２に記憶される。また、記憶部２２には、予め文書情報が記憶されている。ジェスチャ判定部２３は、記憶部２２に記憶されているジェスチャの正誤を判定する。候補生成部２４は、ジェスチャ判定部２３で判定されたジェスチャによって指定された文字列の補完文字列候補を生成する。表示部２５は、入力部２１から入力されたジェスチャ，記憶部２２に記憶された文書やジェスチャおよび候補生成部２４で生成された補完文字列候補を表示する。
【０１０１】
尚、上記入力部２１および表示部２５は、個別に設けても良いし、表示装置上に透明のタブレットを積層配置して成る表示一体型タブレットとして設けても差し支えない。また、本実施の形態においては、ジェスチャによる既存文書への編集に特化しているが、上記第１実施の形態において示したような手書きによる文字列入力手段や、キーボードなどの文字列入力手段をさらに設けた構成も考えられる。
【０１０２】
また、図２５に示す手書き入力装置のハードウェア構成は、上記第１実施の形態において図２に示すハードウェア構成と同様である。
【０１０３】
図２６は、上記ＣＰＵによる制御の下に記憶部２２から読み出されて表示部２５に表示された文書に対してジェスチャで文字列補完を行う文字列補完処理動作のフローチャートである。以下、図２６に従って、上記文字列補完処理動作について詳細に説明する。
【０１０４】
ステップＳ４１で、操作者によって上記入力部２１が操作されて、表示されている文書中における補完対象文字列の個所にジェスチャのストロークが手書き入力される。ステップＳ４２で、表示部２５によって、上記入力されたストロークがリアルタイムに表示される。さらに、記憶部２２によって、上記入力されたストローク情報が記憶される。ステップＳ４３で、入力部２１からの情報に基づいて、手書き入力が終了したか否かが判別される。その結果、終了した場合にはステップＳ４４に進む一方、終了でなければ上記ステップＳ４１に戻って次の入力スロトークの処理に移行する。
【０１０５】
上記手書き入力の終了判定方法は、上記第１実施の形態における図３のステップＳ３で用いた方法と同様の方法を用いる。
【０１０６】
ステップＳ４４で、上記ジェスチャ判定部２３によって、記憶部２２に記憶されている各ストロークが正しいジェスチャのストロークであるかを判定するジェスチャ判定が行われる。そして、ジェスチャであると判定された場合には文書内における当該ジェスチャによる補完の対象となる文字列（補完対象文字列）が特定され、その特定情報が記憶部２２に記憶される。尚、上記ステップＳ４４におけるジェスチャ判定部２３によるジェスチャ判定処理の詳細については後述する。
【０１０７】
ステップＳ４５で、上記候補生成部２４によって、上記記憶部２２の記憶内容に基づいて、記憶部２２にジェスチャが存在するか否かが判別される。その結果、ジェスチャが存在しない場合は文字列補完処理動作を終了する。一方、ジェスチャが存在する場合にはステップＳ４６に進む。
【０１０８】
ステップＳ４６で、上記候補生成部２４によって、記憶部２２に記憶されている一つのジェスチャに関して、各ストローク情報および上記特定された補完対象文字列の情報が参照されて、上記補完対象文字列内における補完を行う位置と、各補完位置において補完する文字数条件とが決定される。尚、本ステップにおいては、本ステップの処理を行わないようにしてもよい。または、補完対象文字列内の補完を行う位置のみが決定されるようにしてもよい。または、補完する文字数条件のみが決定されるようにしてもよい。ステップＳ４７で、候補生成部２４によって、上記ステップＳ４４で特定された補完対象文字列とステップＳ４６において決定された補完位置および補完文字数条件とで成る補完情報に基づいて、補完文字列候補が生成される。尚、上記補完位置および補完文字数条件の決定処理と補完文字列候補の生成処理との詳細については後述する。
【０１０９】
ステップＳ４８で、上記表示部２５によって、上記ステップＳ４７において生成された補完文字列候補が表示される。ステップＳ４９で、操作者によって入力部２１が操作されて、候補選択が行われる。ステップＳ５０で、表示部２５によって、上記ステップＳ４９における候補選択の結果に応じて、補完対象文字列が選択補完文字列候補に置き換えられて表示される。ステップＳ５１で、候補生成部２４によって、記憶部２２に記憶されている全てのジェスチャに対する処理が終了したか否かが判別される。その結果、終了していなければ上記ステップＳ４６に戻って、次のジェスチャに対する処理に移行する。また、終了していれば、文字列補完処理動作を終了する。
【０１１０】
次に、図２６に示す文字列補完処理動作の上記ステップＳ４４において上記ジェスチャ判定部２３によって実行されるジェスチャ判定について詳細に説明する。
【０１１１】
先ず、上記ジェスチャとしては図２７〜図３０に示すようなものがある。尚、図２７〜図３０においては、識別し易いようにジェスチャのストロークを太く表現している。図２７は楕円状のジェスチャであり、図２８（ａ）は直線状の１ストロークからなるジェスチャであり、図２８（ｂ）は直線状の複数ストロークからなるジェスチャであり、図２９は折れ線状のジェスチャであり、図３０（ａ）は楕円と直線とを繋いた１ストロークからなるジェスチャであり、図３０（ｂ）は楕円と直線とを組み合わせた複数ストロークからなるジェスチャである。その他、図２７，図３０における楕円状の部分を矩形やその他の閉図形状に変更したものも考えられる。
【０１１２】
上記ジェスチャにおいて、図２７及び図２８（ａ）は、上記補完対象文字列である指定文字列「シャープ」を補完するためのジェスチャである。また、図２８（ｂ１），図２９（ａ），図３０（ａ１）及び図３０（ｂ１）は、指定文字列「シャープ」の後を補完するためのジェスチャである。また、図２８（ｂ２），図２９（ｂ），図３０（ａ２）および図３０（ｂ２）は、指定文字列「推進会議」の前を補完するためのジェスチャである。また、図２８（ｂ３），図２９（ｃ），図３０（ａ３）および図３０（ｂ３）は、指定文字列「大阪」の前後を補完するためのジェスチャである。
【０１１３】
また、図２８（ｂ）に示す直線状ジェスチャにおいては、短い方の直線によって補完対象文字列を判定し、長い方の直線によって補完位置および補完文字数条件を判定することができる。また、図２９に示す折れ線状ジェスチャにおいては、第１屈曲点までの直線部で補完対象文字列を判定し、それ以降の直線部で補完位置および補完文字数条件を判定することができる。また、図３０に示す楕円と直線とでなるジェスチャにおいては、直線部の位置によって補完すべき位置を判定し、直線部の長さによって補完すべき文字数を判定することができる。
【０１１４】
尚、図２７〜図３０においては、文字列が横に配列されている場合（つまり、横書きである場合）を前提としているが、文字列が縦配列や斜め配列である場合のジェスチャも同様に設定することができる。
【０１１５】
以下、上記ジェスチャ判定部２３による図２６に示す文字列補完処理動作における上記ステップＳ４４において実行されるジェスチャ判定について説明する。ジェスチャ形状の判定方法については上記第１実施の形態で示した方法と同様である。
【０１１６】
上記ジェスチャによって指定される補完の対象となる文字列である補完対象文字列の特定方法について、図３１（ａ１）または図３１（ｂ１）に示すように筆記された場合を例に説明する。先ず、文書内の各文字毎に図３１（ａ２）あるいは図３１（ｂ２）に示すような外接矩形を考える。そして、ジェスチャに基づいて生成された閉図形（図の斜線部）内に含まれる外接矩形の閉図形に対する面積率が予め定められた閾値以上であれば、閉図形内に含まれる外接矩形内の文字列を補完対象文字列として抽出する。この方法以外に、各文字の文字画素を取得し、ジェスチャに基づいて生成された平図形内に含まれる画素の率が予め定められた閾値以上であれば補完対象文字列として抽出する方法も使用できる。尚、図３１（ｂ１）に示す直線状ジェスチャから閉図形を生成する方法は、第１実施の形態における図１６に示す方法と同様の方法を用いることができる。
【０１１７】
続いて、上記候補生成部２４によって、図２６に示す文字列補完処理動作の上記ステップＳ４６において実行される補完位置および補完文字数条件で成る補完情報の決定について、図３２（ａ）に太線で示すように筆記された場合を例に詳細に説明する。図３２（ｂ）は、図３２（ａ）に対して説明のために記号等を付加したものである。図３２（ｂ）において、ジェスチャの開始点をＡとし、終了点をＢとし、横方向にＸ軸を取り、縦方向にＹ軸を取る。尚、図３２は横方向に文字が並んでいる場合について示しているが、文字が縦方向や斜め方向に並んでいる場合も、文字列方向をＸ軸としこのＸ軸に垂直な方向をＹ軸とすれば同様に処理できる。
【０１１８】
先ず、ジェスチャストロークの開始点Ａからジェスチャストロークの線分を順に辿り、最初の屈曲点を探して点Ｃとする。屈曲点の判定方法としては、線分のベクトルの向きを用いた判定方法等の既知の技術を適用することができる。先に説明したジェスチャ判定処理において、ジェスチャストロークの点Ａから点Ｃまでの部分に基づいて補完対象文字列である「シャープ」を得ることができる。
【０１１９】
次に、上記ジェスチャストロークにおけるＸ軸方向の最小値ｘ１および最大値ｘ２を求める。さらに、補完対象文字列「シャープ」のＸ軸方向の最小値ｘ３および最大値ｘ４を求める。そして、ｄｐ＝ｘ３−ｘ１とｄｎ＝ｘ２−ｘ４とを算出する。但し、ｄｐおよびｄｎが負になる場合には０とする。すなわち、図３２に示す例の場合には、「ｄｐ」は０となる。続いて、得られたｄｐ，ｄｎの値を用いてＣｐ＝ｄｐ／ＨおよびＣｎ＝ｄｎ／Ｈを算出する。ここで、Ｈは文字サイズである。こうして得られたＣｐによって、補完対象文字列の前に補完する補完文字数条件が決定される。また、Ｃｎによって、補完対象文字列の後に補完する補完文字数条件が決定される。
【０１２０】
上記補完文字数条件としては、上記第１実施の形態の場合と同様に、１つの値のみを決定する方法と、文字数の上限値および下限値を決定する方法とがある。１つの値のみを決定する場合には、値ＣｐおよびＣｎの切上げ値，切捨て値，四捨五入値の何れか一つをそのまま使用するか、その値に予め定められた値を加算または減算して得られた値を使用するようにすればよい。但し、減算して負の値になる場合は「０」とする。また、上限値と下限値とを決定する場合には、ＣｐおよびＣｎの切上げ値，切捨て値，四捨五入値の何れか一つの値から、予め定めておいた値を加減算して上限値および下限値を決定すればよい。但し、下限値は０以上とする。その場合、上限値および下限値毎に加減算する大きさを変えてもよい。また、値ＣｐおよびＣｎが予め定めた所定値以下である場合には強制的に上限値および下限値共に０になるようにすることも可能である。
【０１２１】
更に、例えば、１文字補完の確率は７０％，２文字補完の確率は９０％，３文字補完の確率は６０％と言うように、補完文字数に確からしさを示す確率を付加しても差し支えない。
【０１２２】
以上のような補完位置及び補完文字数条件の決定処理によって、図３２に示す例の場合には、例えば図３３（ａ）に示すような補完情報が生成されるのである。
【０１２３】
尚、以上の説明は、図３２に示すような折れ線状のジェスチャを用いた場合を例に挙げて行った。しかしながら、その他のジェスチャを用いた場合にも、同様の処理によって補完位置および補完文字数条件等の補完情報を生成することができる。図３３（ｂ）は、図３０（ａ３）に示すように筆記された場合における補完情報例を示す。
【０１２４】
次に、上記文字列補完処理動作のステップＳ４７において実行される補完文字列候補生成について説明する。補完文字列候補生成処理は上記第１実施の形態の場合と同様であり、既知の技術によって実現可能である。本実施の形態においては特に限定しないが、（１）一般単語辞書あるいはユーザ辞書を用いて探索を行う方法、（２）単語辞書と単語間の遷移情報辞書とを用いて探索を行う方法、（３）（１），（２）において出現頻度情報をも用いる方法、（４）以前の入力文字列履歴に基づく方法等がよく知られている。尚、（２）の方法を用いれば、長い文字列や文章等を省略して入力した場合でも補完することが可能になる。また、（３）及び（４）の方法のように、頻度情報や履歴情報を用いることによって、操作者の意図する補完文字列をより精度よく提示することが可能になる。また、本実施の形態においては、上記表示されている文書内に存在する文字列から探索を行う方法も有効である。
【０１２５】
また、ワープロ等において用いられる仮名漢字変換または漢字仮名変換を用いて、補完対象文字列を仮名漢字変換または漢字仮名変換して得られる文字列も補完対象文字列として補完候補を生成する方法もある。この方法によれば、漢字と仮名が混じった補完対象文字列から漢字文字列の補完や仮名文字列の補完が可能になる。
【０１２６】
以上のごとく、本実施の形態においては、表示部２５に表示されている文書の一部を書き換え編集するに際して、表示された文字列に補完位置と補完文字数を指定するジェスチャを表すストロークを入力する。そして、ジェスチャ判定部２３によって、入力ストロークが正しいジェスチャであるか否かを判定し、ジェスチャである場合にはジェスチャによって指定される補完の対象となる文字列（補完対象文字列）を特定する。そして、候補生成部２４によって、ジェスチャ判定部２３で得られたジェスチャストロークに基づいて、上記特定された補完対象文字列に関する補完の位置と補完文字数条件との補完情報を生成する。さらに、辞書等を用いて上記補完情報の条件を満たすような補完文字列候補を生成して表示部２５に表示するようにしている。
【０１２７】
したがって、本実施の形態によれば、文書の一部を書き換える場合に書き換え用の文の入力を省略することができ、編集の労力を大幅に軽減することができるのである。
【０１２８】
その場合に、書き換えの対象文字列を指定するための補完対象文字列が補完文字列候補の先頭に在る場合は勿論のこと、補完文字列候補の中間や最後に存在する場合であっても、操作者が意図する補完文字列候補を精度よく生成することができる。さらに、複数の文字をジェスチャで指示することによって、補完文字列候補の数を大幅に絞り込むことができる。その結果、操作者が意図する補完文字列候補を精度よく提示させることができ、入力効率を向上することができるのである。
【０１２９】
尚、上述の説明においては、１種類のジェスチャを使用する場合を例に挙げているが、上記第１実施の形態において図２４に示したように、ジェスチャの種類毎に異なる補完文字列生成方法を適用するようにしてもよい。
【０１３０】
具体的には、
（ａ）一般単語辞書やユーザ辞書等の辞書毎にジェスチャを割り当てる
（ｂ）探索する単語の品詞毎にジェスチャを割り当てる
（ｃ）補完位置や補完文字数等の補完条件毎にジェスチャを割り当てる
等が考えられる。その場合、（ａ），（ｂ）の方法では、操作者が補完したい文字列の情報をジェスチャによってＣＰＵに伝えることができ、操作者の意図する補完文字列候補をより精度よく提示することが可能になる。また、（ｃ）の方法では、操作者はジェスチャと文字列との位置関係ではなく、ジェスチャの形状によって補完位置と補完文字数条件とを指定できるようになる。
【０１３１】
さらに、上述の説明においては、操作者が筆記入力を終了した後に直ぐ補完文字列候補が表示され、操作者はその表示候補から目的とする候補を選択するようにしている。しかしながら、この発明はこれに限定されるものではなく、候補選択を行っている時間がない場合に、筆記入力だけを行って、そのストローク情報を記憶部２２に記憶しておく。そして、時間がある場合に補完文字列候補選択を行うようにしてもよい。その場合には、記憶部２２を、手書き入力装置の電源がオフされても記憶内容が保持できる構成にする。そして、図２６に示す文字列補完処理動作のフローチャートにおいて、筆記入力時にはステップＳ４３の入力終了までを行い、操作者が時間のあるときにステップＳ４４のジェスチャ判定以降の処理を再開できるようにするための処理再開指示手段を別途設ければよい。
【０１３２】
また、上記筆記入力時にはステップＳ４４のジェスチャ判定までの処理を行っておき、処理再開時にはステップＳ４５のジェスチャの存在判別以降の処理を行うようにしてもよい。また、上記筆記入力時にはステップＳ４６の補完情報の決定までの処理を全ジェスチャに対して行っておき、処理再開時にはステップＳ４７の補完文字列候補生成からステップＳ５０の候補選択結果の表示までの処理を全ジェスチャに対して行うようにしてもよい。また、筆記入力時にはステップＳ４７の補完文字列候補生成までの処理を全ジェスチャに対して行っておき、処理再開時にはステップＳ４８の補完文字列候補の表示からステップＳ５０の候補選択結果の表示までの処理を全ジェスチャに対して行うようにしてもよい。
【０１３３】
これらの手書き入力処理動作を二回に分けて実行する方法によれば、操作者が後で全ストロークデータを表示させた際に、補完を意図した文字列部分の識別が容易であり、ジェスチャの形状やサイズ等によってどのような文字列の補完を意図したのかも判別し易いという効果も得られる。
【０１３４】
＜第３実施の形態＞
本実施の形態は、手書きによって一部を省略した文字列を入力し、省略部分を補完した文字列候補を、ジェスチャを用いずに表示させるものに関する。
【０１３５】
図３４は、本実施の形態の手書き入力装置における機能的構成を示す機能ブロック図である。この手書き入力装置は簡単なコンピュータ上に構成され、入力部３１，記憶部３２，文字列認識部３３，候補生成部３４および表示部３５を含んで構成されている。
【０１３６】
上記入力部３１はタブレット等を含んで構成され、文字列が手書きで入力される。そして、入力部３１から手書き入力された文字列のストローク情報が記憶部３２に記憶される。文字列認識部３３は、記憶部３２に記憶されたストローク情報に基づいて、当該ストロークを文字列として認識する。候補生成部３４は、文字列認識部３３で認識された文字によって指定された文字列の補完文字列候補を生成する。表示部３５は、入力部３１から入力されたストローク，記憶部３２に記憶されたストローク，文字列認識部３３による認識結果および候補生成部３５で生成された補完文字列候補を表示する。
【０１３７】
ここで、上記ストロークとは、入力部３１を介して入力された座標情報あるいは点列データを指す。尚、入力部３１および表示部３５は、個別に設けても良いし、表示装置上に透明のタブレットを積層配置して成る表示一体型タブレットとして設けても差し支えない。
【０１３８】
また、図３４に示す手書き入力装置のハードウェア構成は、上記第１実施の形態において図２に示すハードウェア構成と同様である。
【０１３９】
以下、上記手書き入力装置における動作について説明する。図３５は、本実施の形態における入力例（図３５（ａ））および表示例（図３５（ｂ））である。操作者は、「私はシャープの」の入力を意図して、図３５（ａ）に示すように「私はシの」と「シャープ」の部分を省略して「シ」のみを筆記している。この手書き入力文字列が文字列認識された結果、第１候補として図３５（ｂ）に示すように文字列「私はシの」が得られたとする。その場合に、操作者は、入力部３１より文字「シ」の候補表示指示を行うことによって、図３５（ｃ）に示すように文字「シ」の認識候補と共に、各候補を先頭文字とする補完文字列候補が表示部３５に表示される。そこで、入力部３１より文字「シ」の補完文字列候補「シャープ」を選択することによって、文字「シ」が補完文字列候補「シャープ」に置き換わって表示部３５に表示されるのである。ここで、文字列認識の結果、第１候補として文字列「私は三の」が得られた場合でも、文字「三」の候補表示指示を行うことによって、意図していた補完文字列候補「シャープ」を選択することが可能になるのである。
【０１４０】
図３６は、上記ＣＰＵによる制御の下に実行される第１候補文字列を表示するまでの手書き入力処理動作のフローチャートである。以下、図３６に従って、上記手書き入力処理動作について詳細に説明する。
【０１４１】
ステップＳ６１で、操作者によって上記入力部３１が操作されて、手書き文字列のストロークが筆記入力される。ステップＳ６２で、表示部３５によって、上記入力された手書き文字列のストロークがリアルタイムに表示される。さらに、記憶部３２によって、上記入力された手書き文字列のストローク情報が記憶される。ステップＳ６３で、入力部３１からの情報に基づいて、手書き入力が終了したか否かが判別される。その結果、終了した場合にはステップＳ６４に進む一方、終了でなければ上記ステップＳ６１に戻って次の入力スロトークの処理に移行する。尚、手書き入力終了の判定方法は上記第１実施の形態の場合と同様である。
【０１４２】
ステップＳ６４で、上記文字列認識部３３によって、記憶部３２に記憶されているストローク情報に基づいて文字列認識が行われる。ステップＳ６５で、表示部３５によって、上記文字列認識の結果得られた第１候補文字列が表示される。そうした後、手書き入力処理動作を終了する。
【０１４３】
尚、上記手書き入力処理動作における上記ステップＳ６４において実行される文字列認識処理を高速化するために、手書き入力中にも文字列認識処理を逐次行っておき、上記ステップＳ６４においては最終的な文字列認識結果のみを生成するようにしても差し支えない。
【０１４４】
次に、上述したように、上記手書き入力処理動作によって表示部３５に表示されている第１候補文字列の全体または部分文字列の認識候補の補完文字列候補を生成して表示する補完文字列候補生成処理動作について図３７のフローチャートに従って説明する。上記表示されている第１候補文字列の全文字列または部分文字列が入力部３１によって指示されると、補完文字列候補生成処理動作がスタートする。
【０１４５】
ステップＳ７１で、上記候補生成部３４によって、上記文字列認識部３３による認識結果の他候補リストが取得される。ステップＳ７２で、候補生成部３４によって、上記取得されたリスト内の夫々の文字列を補完対象文字列として補完文字列候補が生成される。ステップＳ７３で、表示部３５によって、図３５（ｃ）に例示するように、認識候補と各認識候補の補完文字列候補とが表示される。そうした後に、補完文字列候補生成処理動作を終了する。
【０１４６】
その際に、上記補完文字列候補生成処理動作のステップＳ７２において実行される補完文字列候補の生成には、上記第１，第２実施の形態の場合と同様の方法を適用することができる。
【０１４７】
以上のごとく、本実施の形態においては、手書きによって一部を省略した文字列を入力部３１から入力し、省略部を補完した文字列候補を表示部３５に表示させるに際して、入力された各ストロークを文字列認識部３３によって文字列として認識し、認識結果の第１候補文字列が表示部３５に表示される。そして、入力部３１によって上記第１候補文字列の全体または部分文字列が指定されると、候補生成部３４によって、上記指定された文字列に関する認識候補が取得され、各認識候補を含む補完文字列候補を生成するようにしている。
【０１４８】
すなわち、本実施の形態によれば、文字列認識部３３による認識結果の第１候補文字列が間違っている場合でも、認識間違いの修正と合わせて補完文字列の選択が可能となり、入力の効率向上を図ることができるのである。
【０１４９】
尚、図３５（ｃ）においては、全認識候補の補完文字列候補を一括表示しているが、図３８（ａ）に示すように、入力部３１を構成するペン４１の先端が存在する何れか１つの認識候補が仮選択され、その仮選択された認識候補の補完文字列候補のみを表示するようにしてもよい。この場合、予め全認識候補の補完文字列候補を生成していてもよいし、何れか１つの認識候補が仮選択された時点で対応する補完文字列候補を生成するようにしてもよい。
【０１５０】
さらに、図３８（ｂ）に示すように、各認識候補の表示領域４２内に補完文字列候補の表示を指示するための領域４３を設けて、操作者がペン（図示せず）でその領域４３を指示した場合に補完文字列候補の表示を行うようにしてもよい。この場合も、予め全認識候補の補完文字列候補を生成していてもよいし、補完文字列候補表示が指示された時点で対応する補完文字列候補を生成するようにしてもよい。
【０１５１】
尚、本実施の形態においても、上記補完文字列候補の生成の際に、以前の入力文字列履歴に基づいて生成することによって、操作者の意図する補完文字列をより精度よく提示することが可能になる。
【０１５２】
また、ワープロ等において用いられる仮名漢字変換または漢字仮名変換を用いて、補完対象文字列を仮名漢字変換または漢字仮名変換して得られる文字列も補完対象文字列として補完候補を生成する方法もある。この方法によれば、漢字と仮名が混じった補完対象文字列から漢字文字列の補完や仮名文字列の補完が可能になる。
【０１５３】
＜第４実施の形態＞
本実施の形態は、上記第１〜第３実施の形態において述べた各機能を実現するための手書き入力プログラムあるいは文字列補完プログラムが記録された記録媒体に関するものである。上記プログラムはコンピュータで読み取り可能な記録媒体に格納される。
【０１５４】
この記録媒体は、図２に示す手書き入力装置によって処理を行うために必要なメモリ、例えばプログラムメモリ１１のような自体がプログラムメディアであってもよいし、外部記憶媒体ドライバ１８としてのプログラム読み取り装置に装着されて読み取りが行われるプログラムメディア（磁気テープやＣＤ−ＲＯＭ等）であってもよい。何れの場合においても、上記プログラムメディアに格納されているプログラムは、ＣＰＵ１９によって直接アクセスされて実行される構成であってもよいし、一旦読み出されて図２における所定のプログラム記憶エリア（例えば、プログラムメモリ１１のプログラム記憶エリア）にロードされた後にＣＰＵ１９によって読み出して実行される構成であってもよい。尚、上記ロード用のプログラムは、予め当該装置に格納されているものとする。
【０１５５】
すなわち、上記プログラムメディアとは、装置本体と分離可能に構成され、磁気テープやカセットテープ等のテープ系、フレキシブルディスク，ハードディスク等の磁気ディスクやＣＤ‐ＲＯＭ，ＭＯ（光磁気）ディスク，ＭＤ（ミニディスク），ＤＶＤ（ディジタル多用途ディスク）等の光ディスクのディスク系、ＩＣ（集積回路）カード（メモリカードを含む）や光カード等のカード系、マスクＲＯＭ，ＥＰＲＯＭ（紫外線消去型ＲＯＭ），ＥＥＰＲＯＭ（電気的消去型ＲＯＭ），フラッシュＲＯＭ等の半導体メモリ系を含めた、固定的にプログラムを坦持する媒体であればよい。
【０１５６】
また、上記各実施の形態における手書き入力装置は、インターネットを含む通信ネットワーク１５と通信Ｉ／Ｆ１６を介して接続可能な構成を有している。したがって、上記プログラムメディアは、通信ネットワーク１５からのダウンロード等によって流動的にプログラムを坦持する媒体であっても差し支えない。尚、その場合における上記通信ネットワーク１５からダウンロードするためのダウンロード用プログラムは、予め当該装置に格納されているものとする。あるいは、別の外部記録媒体から予め当該装置本体にインストールされるものとする。
【０１５７】
尚、上記記録媒体に記録されるものはプログラムのみに限定されるものではなく、データも記録することが可能である。
【０１５８】
また、上述した各実施の形態は全ての点において例示であって制限的なものではない。この発明の範囲は特許請求の範囲によって示され、特許請求の範囲と均等な意味および範囲内での全ての変更が含まれることが意図される。
【０１５９】
【発明の効果】
以上より明らかなように、この発明は、入力された各ストロークが入力文字列の補完を指示するためのジェスチャであるか否かを判定し、ジェスチャである場合には当該ジェスチャに基づいて補完対象文字列ストローク群を特定し、上記ジェスチャ以外のストロークに基づいて文字列を認識し、上記補完対象文字列ストローク群に関する文字列認識結果と上記ジェスチャのストローク／補完対象文字列ストローク群の位置関係とに基づいて補完対象文字列，補完位置および補完文字数でなる補完情報を決定し、この補完情報を満たす補完文字列候補を生成するので、上記ジェスチャによって指示される補完対象文字列が、意図する補完文字列候補中における先頭に限らず中間や最後尾に存在する場合でも、操作者の意図する補完文字列候補を精度よく生成することができる。したがって、文や単語の途中であっても上記補完対象文字列を指定することが可能になる。さらに、上記ジェスチャによって複数の文字を指示することによって、生成される補完文字列候補の数を大幅に絞り込むことができる。
【０１６０】
すなわち、この発明によれば、操作者の意図する補完文字列候補を精度よく提示することが可能になり、手書き入力効率を大幅に向上することができる。
【０１６１】
また、この発明は、表示されている文書中の文字列の補完を指示するジェスチャが入力されると、当該ジェスチャによって特定される上記文書中の文字列情報と上記ジェスチャのストローク／上記特定文字列の位置関係とに基づいて補完対象文字列，補完位置および補完文字数でなる補完情報を決定し、この補完情報を満たす補完文字列候補を生成するので、上記文書中の文字列を書き換える場合には、書き換え用の文の入力を省略することが可能になる。したがって、上記文書の編集に要する労力を大幅に削減することができるのである。また、その際に、上記ジェスチャによって指示される補完対象文字列が、意図する補完文字列候補中における先頭に限らず中間や最後尾に存在しても、操作者の意図する補完文字列候補を精度よく生成することができる。さらに、上記ジェスチャによって複数の補完対象文字列を指示することによって、生成される補完文字列候補の数を大幅に絞り込むことができる。
【０１６２】
すなわち、この発明によれば、操作者の意図する補完文字列候補を精度よく提示することが可能になり、手書き入力効率を大幅に向上することができる。
【０１６３】
また、この発明は、入力された各ストロークに基づいて文字列を認識して認識結果の第１候補文字列を表示し、上記第１候補文字列の全文字列または部分文字列を指定するとこの指定された文字列に関する認識候補文字列を取得し、そのうちの少なくとも一つの候補文字列を含む補完文字列候補を生成するので、表示されている上記第１候補文字列の文字列を指定するだけで、指定文字列を含む省略文字列を補完するための補完文字列候補を生成することができる。したがって、手書き入力の労力を大幅に削減することができる。
【０１６４】
さらに、上記文字列認識による認識結果が間違っている場合でも、間違っている文字列を指定すれば、全認識候補と各認識候補の文字列を含む補完文字列候補とを提示できる。したがって、手書き入力の効率向上を図ることができるのである。
【図面の簡単な説明】
【図１】この発明の手書き入力装置における機能ブロック図である。
【図２】図１に示す手書き入力装置のハードウェア構成を示す図である。
【図３】図２におけるＣＰＵによる制御の下に実行される手書き入力処理動作のフローチャートである。
【図４】楕円状のジェスチャを示す図である。
【図５】直線状のストロークからなるジェスチャを示す図である。
【図６】楕円と直線とを繋いだ１ストロークからなるジェスチャを示す図である。
【図７】楕円と直線とを組み合わせた複数ストロークからなるジェスチャを示す図である。
【図８】文字列が縦配列や斜め配列である場合のジェスチャを示す図である。
【図９】図３に示す手書き入力処理動作において実行されるジェスチャ判定処理動作のフローチャートである。
【図１０】楕円状のジェスチャを用いた入力例を示す図である。
【図１１】文字または文字の一部である丸とジェスチャである丸との書き分けを説明するための図である。
【図１２】楕円状ジェスチャから閉図形を抽出するための説明図である。
【図１３】文字または文字の一部である直線とジェスチャである直線との書き分けを説明するための図である。
【図１４】文字または文字の一部である直線とジェスチャである直線との図１３とは異なる書き分けを説明するための図である。
【図１５】文字または文字の一部である直線とジェスチャである直線との図１３および図１４とは異なる書き分けを説明するための図である。
【図１６】直線状ジェスチャから閉図形を抽出するための説明図である。
【図１７】複数行に亙って文字列が入力された場合における直線状ストロークの筆記例を示す図である。
【図１８】楕円状のジェスチャを用いた場合における補完文字列候補生成の説明図である。
【図１９】図３に示す手書き入力処理動作において実行される補完対象文字列，補完位置，補完文字数条件の決定処理動作のフローチャートである。
【図２０】補完情報の一例を示す図である。
【図２１】直線状のジェスチャを用いた場合の筆記例と生成される補完情報例とを示す図である。
【図２２】図２０に示す補完情報に基づいて生成された補完文字列候補の一例を示す図である。
【図２３】仮名漢字変換または漢字仮名変換を用いて生成された補完文字列候補の一例を示す図である。
【図２４】ジェスチャの種類毎に異なる補完文字列生成方法を適用する場合の一例を示す図である。
【図２５】図１とは異なる手書き入力装置の機能ブロック図である。
【図２６】図２５に示す手書き入力装置による文字列補完処理動作のフローチャートである。
【図２７】楕円状のジェスチャを示す図である。
【図２８】直線状のストロークからなるジェスチャを示す図である。
【図２９】折れ線状のジェスチャを示す図である。
【図３０】楕円と直線とでなるジェスチャを示す図である。
【図３１】補完対象文字列の特定方法の説明図である。
【図３２】折れ線状のジェスチャを用いた場合における補完位置，補完文字数条件の決定の説明図である。
【図３３】補完情報の一例を示す図である。
【図３４】図１および図２５とは異なる手書き入力装置の機能ブロック図である。
【図３５】図３４に示す手書き入力装置への入力例および表示例を示す図である。
【図３６】図３４に示す手書き入力装置による第１候補文字列を得るまでの手書き入力処理動作のフローチャートである。
【図３７】図３４における候補生成部によって実行される補完文字列候補生成処理動作のフローチャートである。
【図３８】認識候補とその補完文字列候補との表示例を示す図である。
【符号の説明】
１，２１，３１…入力部、
２，２２，３２…記憶部、
３，２３…ジェスチャ判定部、
４，３３…文字列認識部、
５，２４，３４…候補生成部、
６，２５，３５…表示部、
１１…プログラムメモリ、
１２…データメモリ、
１３…入力装置、
１４…表示装置、
１５…通信ネットワーク、
１６…通信Ｉ／Ｆ、
１７…外部記録媒体、
１８…外部記憶媒体ドライバ、
１９…ＣＰＵ。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a handwriting input device and method for inputting a stroke such as a character string or a gesture by handwriting, a handwriting input program, and a program recording medium.
[0002]
[Prior art]
As a handwritten character input device capable of omitting a part of a character string when inputting characters by handwriting, there are the following devices.
[0003]
In the text input device disclosed in Japanese Patent Application Laid-Open No. 7-1986, a character string obtained by inputting an ellipsis in the middle or continuation of a character string to be input, searching a word dictionary, an example dictionary, etc., and supplementing the omitted part. Candidates are presented. Also, in the handwritten character input device disclosed in Japanese Patent Application Laid-Open No. 9-128486, when recognizing a character input in an entry box for each character, a kanji is written in a circle in the entry box. Thus, the idiom having the kanji enclosed by the circle at the top is searched from the dictionary and candidates are presented.
[0004]
[Problems to be solved by the invention]
However, the conventional handwritten character input device has the following problems.
[0005]
That is, in the text input device disclosed in the above-mentioned Japanese Patent Application Laid-Open No. 7-191986, a complement position in a character string to be complemented can be specified, but all the character strings being input are complemented and complemented. There is a problem that character strings cannot be freely specified. For example, if the character string "Easy" has already been input in the sentence "Easy character string input" and you want to enter the remaining character string "Input character string", use the abbreviation "*" If "*" is abbreviated and entered, a character string starting with "Ni sentence" will be searched from the word dictionary and example dictionary, and a character string candidate starting with "Sentence" originally intended is presented. You can't.
[0006]
Further, in the handwritten character input device disclosed in Japanese Patent Application Laid-Open No. 9-128486, a character to be complemented can be designated by enclosing it with a circle. Then, it is possible to display a character string starting with "sentence" as a candidate. However, in this method, only a character string candidate having a specified character surrounded by a circle can be displayed, and only the first character can be specified. There is a problem that the number of candidates cannot be narrowed down and the number of candidates increases.
[0007]
Therefore, an object of the present invention is to provide a handwriting input device and method, a handwriting input program, and a program recording medium capable of accurately presenting a complementary character string candidate intended by an operator and improving input efficiency.
[0008]
[Means for Solving the Problems]
In order to achieve the above object, a handwriting input device according to the present invention is characterized in that a gesture determining unit determines whether or not each stroke input from the stroke input unit is a gesture for instructing complementation of an input character string. In the case of, the complement target character string stroke group is specified based on the gesture. Then, based on the result of recognition by the character string recognizing means regarding the above-described complement target character string stroke group, the candidate generating means determines complementary information as the complement target character string, and generates a complementary character string candidate satisfying the complementary information. It has become.
[0009]
Furthermore, by designating a plurality of characters as a complement target character string by the above gesture, the number of complement character string candidates to be generated is greatly reduced.
[0010]
In this way, it is possible to accurately present the complementary character string candidates intended by the operator, and the work efficiency of the operator is greatly improved.
[0011]
In the handwriting input device of the present invention, a gesture for instructing complementation of a character string in a displayed document is input from the gesture input unit. Then, based on the character string information in the document specified by the gesture, the candidate generating means determines the complementary information as the complement target character string, and generates a complementary character string candidate satisfying the complementary information. Has become.
[0012]
Therefore, when rewriting a character string in the document, it is possible to omit input of a rewriting sentence. Furthermore, by designating a plurality of characters as a complement target character string by the above gesture, the number of complement character string candidates to be generated is greatly reduced.
[0013]
In this way, it is possible to accurately present the complementary character string candidates intended by the operator, and the work efficiency of the operator is greatly improved.
[0014]
Further, in the handwriting input device of one embodiment, a plurality of types of the gestures are provided, and the candidate generating unit generates the complementary character string candidates by a different generation method for each type of the gesture. Therefore, for each type of the gesture, a type of dictionary to be searched when the complementary character string candidate is generated, a type of part of speech of the complementary character string candidate, a complementary position, the number of complementary characters, and the like are allocated. Can be performed, and a complementary character string candidate intended by the operator is generated with higher accuracy.
[0015]
In the handwriting input device according to the embodiment, the candidate generation unit may determine one or more complementing positions in addition to the complementing character string, and satisfy the complementing information that is the complementing character string and the complementing position. Character string candidates are generated. Therefore, even if the complement target character string indicated by the gesture exists not only at the beginning but also at the middle or at the end of the intended complement character string candidate, the complement character string candidate intended by the operator is accurately generated. You.
[0016]
Further, in the handwriting input device of one embodiment, the candidate generating means determines the number of complement characters in addition to the complement target character string, and determines a complement character string candidate satisfying complement information including the complement target character string and the complement character number. It is generated. Therefore, since the number of generated complementary character string candidates is further narrowed down, the complementary character string candidates intended by the operator are generated with higher accuracy.
[0017]
In the handwriting input device according to the embodiment, the candidate generation unit may determine one or more complement positions and the number of complement characters at each complement position in addition to the complement target character string, and A complementary character string candidate that satisfies the complementary information including the position and the number of complementary characters is generated. Therefore, even if the complement target character string indicated by the gesture exists not only at the beginning but also at the middle or at the end of the intended complement character string candidate, the complement character string candidate can be generated. Since the number of character string candidates is narrowed down, complementary character string candidates intended by the operator are generated with higher accuracy.
[0018]
In the handwriting input device according to the embodiment, the gesture is a stroke surrounding a character string. Therefore, the complement target character string is indicated by the character string surrounded by the gesture, and the complement position and the complement character number are indicated by the length of the space before and after the character string in the stroke.
[0019]
In the handwriting input device according to the embodiment, the gesture is a linear stroke along a character string. Therefore, the complement target character string is indicated by a character string following the gesture, and the complement position and the complement character number are indicated by the length before and after the character string in the stroke.
[0020]
In the handwriting input device according to the embodiment, the gesture is a combination of a stroke surrounding a character string and a linear stroke. Therefore, the complement target character string is indicated by the character string surrounded by the stroke, and the complement position and the number of supplement characters are indicated by the length before and after the character string in the linear stroke.
[0021]
In the handwriting input device according to the embodiment, the gesture is a polygonal stroke along the character string. Therefore, for example, the complement target character string is indicated by a character string along the stroke from the start point to the first inflection point, and the complement position and the number of supplement characters are determined by the length before and after the character string in the entire stroke. Be instructed.
[0022]
Further, in the handwriting input device according to the present invention, each stroke input from the stroke input unit is recognized as a character string by the character string recognition unit. Then, the first candidate character string of the recognition result is displayed by the display means, and the entire character string or the partial character string of the first candidate character string is specified by the character string specifying means. Further, the candidate character generation unit generates a complementary character string candidate by using at least one candidate character string among the candidate character strings and the other candidate character strings recognized as a result of the recognition regarding the specified character string. .
[0023]
That is, by simply designating the entire character string or the partial character string constituting the displayed first candidate character string of the recognition result by the character string designating means, a complementary character string for complementing the designated character string Candidates are generated. Further, by designating a plurality of characters as a complement target character string by the character string designating means, the number of complement character string candidates to be generated is greatly reduced. In this way, it is possible to accurately present the complementary character string candidates intended by the operator, and the work efficiency of the operator is greatly improved.
[0024]
In the handwriting input device according to one embodiment, the character string designated by the character string designation means and another candidate character string of the recognition result regarding the designated character string are displayed by the second display means. Of the candidate character strings specified by the candidate character string designating means among the candidate character strings displayed by the third character string are displayed by the third display means. Therefore, only the complementary character string candidates closer to the complementary character string candidates intended by the operator are accurately displayed.
[0025]
In the handwriting input device according to one embodiment, the candidate generating means may generate a complementary character string candidate as a character string to be complemented by converting the candidate character string into a kana-kanji conversion or a kanji-kana conversion. ing. Therefore, even when the complement target character string is a mixture of kanji and kana, a complementary character string candidate can be generated, and the convenience for the operator is improved.
[0026]
Further, in the handwriting input device according to the embodiment, the candidate generating unit generates a character string included in a history of a previously input character string as the complementary character string candidate. Therefore, a complementary character string candidate intended by the operator is generated with higher accuracy.
[0027]
In the handwriting input device according to one embodiment, the candidate generation unit generates a character string included in the displayed document as the complementary character string candidate. Therefore, a complementary character string candidate intended by the operator is generated with higher accuracy.
[0028]
Further, in the handwriting input method according to the present invention, it is determined whether or not each input stroke is a gesture for instructing completion of an input character string. If the stroke is a gesture, a complement target character is determined based on the gesture. A row stroke group is specified. Then, based on the character string recognition result regarding the complement target character string stroke group and the positional relationship between the stroke of the gesture and the complement target character string stroke group, complement information including a complement target character string, a complement position, and a complement character number Is determined, and a complementary character string candidate that satisfies the complementary information is generated.
[0029]
Furthermore, by designating a plurality of characters as a complement target character string by the above gesture, the number of complement character string candidates to be generated is greatly reduced.
[0030]
In this way, it is possible to accurately present the complementary character string candidates intended by the operator, and the work efficiency of the operator is greatly improved.
[0031]
In the handwriting input method according to the present invention, a gesture for instructing complementation of a character string in a displayed document is input. Then, based on the character string information in the document specified by the gesture and the positional relationship between the stroke of the gesture and the specified character string, a complement including a complement target character string, a complement position, and a complement character is provided. The information is determined, and a complementary character string candidate satisfying the complementary information is generated.
[0032]
Therefore, when rewriting a character string in the document, it is possible to omit input of a rewriting sentence. Furthermore, by designating a plurality of characters as a complement target character string by the above gesture, the number of complement character string candidates to be generated is greatly reduced.
[0033]
In this way, it is possible to accurately present the complementary character string candidates intended by the operator, and the work efficiency of the operator is greatly improved.
[0034]
In the handwriting input method according to the present invention, a character string is recognized based on each input stroke. Then, the first candidate character string of the recognition result is displayed, and the entire character string or the partial character string of the first candidate character string is designated. Further, a complement character string candidate is generated by using at least one candidate character string among the above-mentioned designated character string and other candidate character strings recognized as a result of recognition of the designated character string as a complement target character string.
[0035]
Therefore, a complement character string for complementing an abbreviated character string including this designated character string only by designating all character strings or partial character strings constituting the first candidate character string of the displayed character string recognition result is displayed. Candidates are generated. Further, by designating a plurality of characters as a complement target character string by the character string designating means, the number of complement character string candidates to be generated is greatly reduced. In this way, it is possible to accurately present the complementary character string candidates intended by the operator, and the work efficiency of the operator is greatly improved.
[0036]
Further, a handwriting input program of the present invention causes a computer to function as a stroke input unit, a stroke storage unit, a gesture determination unit, a character string recognition unit, and a candidate generation unit of the handwriting input device. Therefore, even if the complement target character string specified by the gesture exists not only at the beginning but also at the middle or at the end of the intended complement character string candidate, the complement character string candidate intended by the operator is accurately generated, The work efficiency when the operator inputs a character string is greatly improved.
[0037]
Further, the handwriting input program of the present invention causes a computer to function as a document storage unit, a display unit, a gesture input unit, a gesture storage unit, and a candidate generation unit of the handwriting input device. Therefore, even if the complement target character string specified by the gesture exists not only at the beginning but also at the middle or at the end of the intended complement character string candidate, the complement character string candidate intended by the operator is accurately generated, Work efficiency when the operator edits the document is greatly improved.
[0038]
Further, the handwriting input program of the present invention causes a computer to function as stroke input means, stroke storage means, character string recognition means, display means, character string designation means, and candidate generation means of the handwriting input device. Therefore, by simply designating all the character strings or partial character strings constituting the first candidate character string of the displayed character string recognition result, other candidate character strings of the recognition result relating to the specified character string and the specified character string are obtained. Of at least one candidate character string is set as a complement target character string, and a complementary character string candidate is generated. As a result, the work efficiency of the operator is greatly improved.
[0039]
Further, the program recording medium of the present invention stores the above handwriting input program. Therefore, by reading and executing the above-described handwriting input program by a computer, it is possible to accurately present a candidate for a supplementary character string intended by the operator, thereby greatly improving the work efficiency of the operator.
[0040]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, the present invention will be described in detail with reference to the illustrated embodiments.
[0041]
<First embodiment>
FIG. 1 is a functional block diagram illustrating a functional configuration of the handwriting input device according to the present embodiment. This handwriting input device is configured on a simple computer, and includes an input unit 1, a storage unit 2, a gesture determination unit 3, a character string recognition unit 4, a candidate generation unit 5, and a display unit 6.
[0042]
The input unit 1 is configured to include a tablet or the like, and a character string or a gesture is input by handwriting. Then, the stroke information of the character string and the stroke information of the gesture input by handwriting from the input unit 1 are stored in the storage unit 2. The gesture determination unit 3 determines whether each stroke is a gesture based on the stroke information stored in the storage unit 2. The information on the gesture determined by the gesture determination unit 3 is sent to the storage unit 2 and stored. The character string recognition unit 4 recognizes the stroke as a character string based on stroke information other than the gesture stored in the storage unit 2. The candidate generating unit 5 refers to the recognition result by the character string recognizing unit 4 and generates a complementary character string candidate of the character string specified by the gesture determined by the gesture determining unit 3. The display unit 6 displays the stroke input from the input unit 1, the stroke stored in the storage unit 2, the recognition result by the character string recognition unit 4, and the complementary character string candidate generated by the candidate generation unit 5.
[0043]
Here, the stroke refers to coordinate information, point sequence data, or vector sequence information input via the input unit 1, and may include time information, writing speed information, writing pressure information, and the like. In addition, the gesture refers to an editing symbol including one or more predetermined strokes.
[0044]
The input unit 1 and the display unit 6 may be provided separately, or may be provided as a display-integrated tablet formed by stacking transparent tablets on a display device.
[0045]
FIG. 2 shows a hardware configuration of the handwriting input device shown in FIG. The handwriting input device includes a program memory 11 for storing various programs including a program for executing various processes to be described later, a data memory 12 for forming various types of information including the stroke information by configuring the storage unit 2, and an input unit 1. The input device 13 constituting the display unit 6, the display device 14 constituting the display unit 6, the communication I / F 16 for connecting the communication network 15 such as the external Internet and the present handwriting input device, and the CD-ROM (compact disk read only memory) ) And the like, an external storage medium driver 18 for accessing the external storage medium 17, a program memory 11, a data memory 12, an input device 13, a display device 14, a communication I / F 16, and an external storage medium driver CPU (Central Processing Unit) that controls It is configured to include a device) 19.
[0046]
FIG. 3 is a flowchart of the handwriting input processing operation executed under the control of the CPU 19. Hereinafter, the handwriting input processing operation will be described in detail with reference to FIG.
[0047]
In step S1, the input unit 1 is operated by the operator, and a stroke of a handwritten character string and a stroke of a gesture are written and input. In step S2, the display unit 6 displays the stroke of the input handwritten character string or the stroke of the gesture in real time. Further, the storage unit 2 stores the stroke information of the input handwritten character string or the stroke information of the gesture. In step S3, based on the information from the input unit 1, it is determined whether the handwriting input has been completed. As a result, when the process is completed, the process proceeds to step S4, and when not completed, the process returns to step S1 to shift to the next input slot talk process.
[0048]
The stroke information stored in the storage unit 2 mainly refers to the coordinate information, the point sequence data, the vector sequence information, and the like as described above. However, circumscribed rectangle information, position, and position information obtained from these data and information are used. Size information, shape information, and the like may be sequentially calculated and stored. The method of determining the end of the handwriting input is not particularly limited, but a method of determining the end of the input when there is no next handwriting input even if a predetermined time has elapsed after the handwriting input is considered. Further, a method of making a determination based on an instruction from the operator to the input unit 1 or an input end instruction unit (not shown) provided separately, or a method of combining these is also conceivable.
[0049]
In step S <b> 4, the gesture determination unit 3 performs a gesture determination for each stroke stored in the storage unit 2. If it is determined that the gesture is a gesture, a complement target character string stroke group to be complemented by the gesture is identified, and the identification information is stored in the storage unit 2. The details of the gesture determination process performed by the gesture determination unit 3 in step S4 will be described later.
[0050]
In step S5, the character string recognizing unit 4 determines whether a gesture exists in the storage unit 2 based on the storage content of the storage unit 2. As a result, when there is no gesture, the process proceeds to step S6, and when there is a gesture, the process proceeds to step S8. In step S6, the character string recognition unit 4 performs character string recognition based on the strokes stored in the storage unit 2. Then, the character string of the recognition result is sent to the display unit 6. In step S7, the display unit 6 displays the character string obtained as a result of the character string recognition. After that, the handwriting input processing operation ends.
[0051]
In step S8, the character string recognition section 4 performs character string recognition based on strokes stored in the storage section 2 other than the strokes determined to be the gesture. Note that various methods are known for the character string recognition method executed by the character string recognition unit 4, but are not particularly limited in the present embodiment. For example, a method disclosed in Japanese Patent Publication No. 4-10671 may be used.
[0052]
In step S9, the candidate generation unit 5 refers to each stroke information and the character string recognition result of the complement target character string stroke group to be complemented for one gesture stored in the storage unit 2 and performs complementation. , A character string to be complemented, a position in the character string to be complemented, and a condition for the number of characters to be complemented at each complement position are determined. In this step, only the character string to be complemented may be determined. Alternatively, a character string to be complemented and a position in the character string at which complement is performed may be determined. Alternatively, the character string to be complemented and the condition for the number of characters to be complemented may be determined. In step S10, the candidate character generation unit 5 generates a complementary character string candidate based on the information determined in step S9. The details of the process of determining the complement target character string, the complement position, and the condition of the number of supplement characters, and the process of generating a supplement character string candidate will be described later.
[0053]
In step S11, the display unit 6 displays the character string recognition result in step S8 and the complementary character string candidate generated in step S10. In step S12, the input unit 1 is operated by the operator to select a candidate. In step S13, according to the result of the candidate selection in step S12, the display unit 6 replaces the complement target character string with a selected complement character string candidate and displays the replacement target character string. In step S14, the candidate generation unit 5 determines whether or not the processing for all the gestures stored in the storage unit 2 has been completed. As a result, if the processing has not been completed, the process returns to step S9 and shifts to processing for the next gesture. If the processing has been completed, the handwriting input processing operation ends.
[0054]
Next, the gesture determination performed by the gesture determination unit 3 in step S4 of the handwriting input processing operation shown in FIG. 3 will be described in detail.
[0055]
First, there are gestures as shown in FIGS. 4 to 7. In FIGS. 4 to 7, the stroke of the gesture is expressed thickly so as to be easily identified. 4 shows a gesture made up of an elliptical gesture, FIG. 5 shows a gesture made up of a linear stroke, FIG. 6 shows a gesture made up of one stroke connecting an ellipse and a straight line, and FIG. This is a gesture composed of a plurality of combined strokes. In addition, what changed the elliptical part in FIG. 4, FIG. 6, FIG. 7 into a rectangle and other closed figure shapes is also considered.
[0056]
In the above gesture, FIGS. 4A and 5A are gestures for designating only the complement target character string “sha”. 4 (b), 5 (b), 6 (a) and 7 (a) show gestures for complementing after the designated character string "sha". 4 (c), 5 (c), 6 (b), and 7 (b) show gestures for complementing before the designated character string "company". FIGS. 4D, 5D, 6C, and 7C show gestures for complementing before and after the designated character string "stock". FIGS. 4 (e), 5 (e), 6 (d) and 7 (d) show gestures for complementing between the designated character strings "sha" and "company". 4 (f), 5 (f), 6 (e) and 7 (e) show gestures for complementing before, after, and between the designated character strings "p" and "kai". .
[0057]
In the elliptical gestures shown in FIGS. 4B to 4F, the position to be complemented and the number of characters to be complemented can be determined based on the size of the blank portion in the ellipse. In the gestures shown in FIGS. 5B to 5F, 6 and 7, the position to be complemented is determined by the position of the linear portion, and the number of characters to be complemented is determined by the length of the linear portion. be able to.
[0058]
4 to 7, it is assumed that the character strings are arranged horizontally (that is, in the case of horizontal writing). However, as shown in FIG. 8, the character strings are arranged vertically or diagonally. Gestures in certain cases can be set similarly.
[0059]
Hereinafter, the gesture determination performed by the gesture determination unit 3 when the elliptical gestures illustrated in FIGS. 4 and 8A are used will be described. FIG. 9 is a flowchart of the gesture determination processing operation executed in step S4 in the handwriting input processing operation shown in FIG. When it is determined in step S3 in the handwriting input processing operation that the handwriting input has been completed, the gesture determination processing operation starts.
[0060]
In step S21, one piece of stroke information among the stroke information stored in the storage unit 2 is read. In step S22, based on the read stroke information, it is determined whether or not the stroke has the shape of the gesture. As a result, if it has a gesture shape, the process proceeds to step S23; otherwise, the process proceeds to step S26. Here, the method of determining the gesture shape is not particularly limited, but a known technique can be used. For example, a character recognition technology that performs matching with a dictionary pattern may be used, or the determination may be made using stroke coordinate information, stroke inner line vector information, or the like.
[0061]
At this time, if there is an input as shown in FIG. 10 using an elliptical gesture, for example, whether the input is intended to input the symbol “circled 1” like “1” or “1” Has a problem in that it is not possible to determine whether the user has intended a complement instruction by overlapping a circle with a gesture. As a solution to this, a method of discriminating by a circle writing method can be considered. Generally, when writing a circle such as the numeral "0", the alphabet "O", or the number with a circle "1", a counterclockwise movement based on the upper part of the circle as shown in FIG. In many cases, the handwriting is written clockwise starting from the lower part of the circle as shown in FIG. Therefore, when a circle is written in the stroke order as shown in FIGS. On the other hand, when the handwriting is written clockwise starting from the upper part of the circle as shown in FIG. 11C and counterclockwise starting from the lower part of the circle as shown in FIG. It is determined that there is. By doing so, the operator can separately write the character or part of the character and the gesture.
[0062]
In step S23, a complement target character string stroke to be complemented by the gesture determined in step S22 is extracted. The method of extracting the complement target character string stroke in this case is not particularly limited, but FIG. 12 shows an example. First, when the writing start point and the writing end point of the elliptical gesture are not connected as shown in FIG. 12A, the writing start point and the writing end point are connected as shown in FIG. 12B. To make a closed figure. Alternatively, when the strokes intersect as shown in FIG. 12C, the part from the start point to the intersection and the part from the intersection to the end point are deleted and closed as shown in FIG. It is a figure. Next, another stroke different from the stroke of the closed graphic existing inside the closed graphic is extracted as the complement target character string stroke. As a method for determining whether or not a certain stroke is inside the closed graphic, (1) it is determined whether or not all the coordinates of the stroke are within the closed graphic. (2) It is determined whether or not specific coordinates such as a start point, an end point, and an intermediate point of a stroke exist in a closed figure. (3) Judgment is made based on the ratio of the stroke coordinates in the closed figure. (4) Judgment is made based on the ratio between the length of the stroke portion in the closed figure and the length of the entire stroke. And the like.
[0063]
In step S24, it is determined whether or not there is a complement target character string stroke related to the gesture based on the result of the complement target character string stroke extraction in step S23. As a result, if it exists, the process proceeds to step S25, and if it does not exist, the process proceeds to step S26. In step S25, the stroke information of the gesture and the stroke information of the complement target character string stroke extracted in step S23 are stored in the storage unit 2 as the gesture information of the gesture. In step S26, it is determined whether the processing for all strokes has been completed. As a result, if the processing has not been completed, the process returns to step S21 and shifts to the processing of the next stroke. On the other hand, if the processing has been completed, the gesture determination processing operation ends, and the process proceeds to step S5 in the handwriting input processing operation shown in FIG.
[0064]
Next, as another example, the gesture determination performed by the gesture determination unit 3 when the linear gestures illustrated in FIGS. 5 and 8B are used will be described. In this case, the gesture determination processing operation executed in step S4 in the handwriting input processing operation shown in FIG. 3 is the same as the flowchart shown in FIG. Therefore, the method of determining the gesture shape in step S22 in the flowchart of the gesture determination processing operation illustrated in FIG. 9 and the method of extracting the character string stroke to be complemented in gesture in step S23 will be described below.
[0065]
As for the method of determining the gesture shape in the linear gesture, a known technique can be used as in the case of the elliptical gesture. However, for example, when there is an input as shown in FIG. 13 (a), it is intended to input the character "dan" or to complement the horizontal bar of the gesture on "day". There is a problem that cannot be determined. As a solution to this, a method of making a determination using a horizontal bar writing method is conceivable. Generally, a horizontal bar in a character is written from left to right as shown in FIG. Therefore, while the horizontal bar written from left to right is determined to be a character or a part of the character, it is determined to be a gesture when written from right to left as shown in FIG. By doing so, the operator can separately write the character or part of the character and the gesture.
[0066]
Similarly, when there is an input as shown in FIG. 14 (a), it is determined whether this is intended to input the character “old” or to complement the vertical bar of the gesture over “day”. There is a problem that it cannot be determined. In this case, since the vertical bar in the character is generally written from top to bottom as shown in FIG. 14B, the vertical bar written from top to bottom is a character or a character. The vertical bar written from the bottom to the top as shown in FIG. 14C is determined to be a gesture. By doing so, the operator can separately write the character or part of the character and the gesture.
[0067]
Further, when an input as shown in FIG. 14A is made, strokes input after the gesture stroke are not used as designation targets by the gesture using time-series information of the stroke. As shown in FIG. 15A, when "|" and "day" are input in this order, it is determined that the character is "old", and as shown in FIG. When input in the order of “|”, it can be determined that the input is a complement of “day”. By doing so, it becomes possible for the operator to write the character or part of the character and the gesture separately.
[0068]
Next, a method of extracting a complement target character string stroke in the case of the linear gesture will be described with reference to FIG. In FIG. 16, a thick line indicates a gesture stroke, where A is a writing start point and B is a writing end point.
[0069]
First, a rectangle ABCD having one side as a line segment connecting the writing start point A and the writing end point B of the gesture stroke is obtained. At this time, the lengths of the line segment AD and the line segment BC use a standard character size representing a standard width and height of a character input by handwriting. As a method of setting the standard character size at this time, there is a method of setting a predetermined fixed value or a method of dynamically calculating the value in accordance with a written character string stroke.
[0070]
A closed figure is formed by three straight lines connecting the vertices B and C, vertices C and D, and vertices D and A of the rectangle thus obtained, and a gesture stroke connecting the vertices A and B. Note that the rectangular ABCD may be used as it is as the closed figure. Whether or not a certain stroke is to be complemented by the gesture is determined based on whether or not the stroke is included in the closed figure (shaded portion). In that case, as a method of determining whether or not the object is within the closed graphic, the method described in the description of the elliptical gesture can be applied.
[0071]
According to the above-described method, even when writing is performed over a plurality of lines as shown in FIG. It is possible to extract the "example" part.
[0072]
The gesture determination processing operation of the gesture determination unit 3 when using a gesture including an elliptical portion and a linear portion as shown in FIGS. 6, 7, 8C, and 8D. In this case, the processing when the above-described elliptical gesture is used for the elliptical portion may be applied.
[0073]
Next, in the handwriting input processing operation shown in FIG. 3, the candidate character string, the complementing position, and the condition of the number of supplementary characters to be executed by the candidate generating unit 5 in step S9 are determined. The generation of a complementary character string candidate will be described in detail.
[0074]
Hereinafter, a case where an elliptical gesture is used as shown in FIG. 18 will be described as an example. In FIG. 18, the strokes actually input by handwriting are indicated by thick lines, and the other portions are added for explanation. The horizontal direction is the X axis, and the vertical direction is the Y axis. Although FIG. 18 shows the case where writing is performed in the horizontal direction, even when writing is performed in the vertical direction or the oblique direction, the character string writing direction is set to the X axis, and the direction perpendicular to the X axis is set to the Y axis. Then, the same processing can be performed.
[0075]
Here, it is assumed that the stroke st6 is determined as a gesture by the gesture determination processing in step S4 in the handwriting input processing operation, and the strokes st1, st2, st3, st4, and st5 are extracted as complement target character string strokes. .
[0076]
First, the operation of determining the character string to be complemented, the complemented position, and the condition of the number of complemented characters executed in step S9 of the handwriting input processing operation will be described with reference to the flowchart shown in FIG. When a character string is recognized based on a stroke other than the stroke determined to be the gesture in step S8 of the handwriting input processing operation, a processing operation for determining a complement target character string, a complement position, and a complement character number condition starts. .
[0077]
In step S31, a character string recognition result of the complement target character string stroke group is acquired from the character string recognition unit 4. In the case of the example shown in FIG. 18, the character "" is obtained as a recognition result by the strokes st1, st2, and st3, and the character "" is obtained as a recognition result by the strokes st4 and st5.
[0078]
In step S32, a circumscribed rectangle of the gesture and a circumscribed rectangle of each character are obtained. Hereinafter, the circumscribed rectangle of the gesture is R0, and the circumscribed rectangles of each character are R1 to Rn (n is the number of recognition result characters). That is, in the case of the example shown in FIG. 18, the circumscribed rectangle R0 of the gesture is obtained, and the circumscribed rectangles R1 and R2 of the characters "shi" and "ya" are obtained.
[0079]
In step S33, the distance di in the X-axis direction between the circumscribed rectangle Ri and the circumscribed rectangle R (i + 1) is obtained for all the integers i satisfying 0 ≦ i ≦ n−1, and further, the circumscribed rectangle Rn and the circumscribed rectangle R0 are obtained. Is determined in the X-axis direction. When there is no X-axis direction interval d, it is set to 0. In the case of the example shown in FIG. 18, d0, d1, and d2 are obtained.
[0080]
In step S34, Ci = di / H is calculated for each di (0 ≦ i ≦ n) obtained in step S33, and the condition for the number of complementary characters at the position of di is determined according to the calculated value Ci. You. After that, the determination processing operation of the complement target character string, the complement position, and the complement character number condition is ended. Here, H is the standard character size, which is the standard width or height of a character input by handwriting as described above.
[0081]
The above-described complementary character number condition includes a method of determining only one value and a method of determining the upper limit and the lower limit of the number of characters. When only one value is determined, one of the rounded value, the rounded value, and the rounded value of the value Ci is used as it is, or a predetermined value is added to or subtracted from the value. You just have to use the value. However, when a negative value is obtained by subtraction, it is set to 0. When determining the upper limit value and the lower limit value, the upper limit value and the lower limit value are determined by adding or subtracting a predetermined value from any one of the round-up value, the round-down value, and the round-off value of Ci. do it. However, the lower limit is set to 0 or more. In that case, the magnitude of addition / subtraction may be changed for each of the upper limit and the lower limit. When the value Ci is equal to or less than a predetermined value, the upper limit and the lower limit are forcibly set to 0, and the X-axis interval (d0, dn) before and after the character string is set to the predetermined value. It is also possible to increase the operability of gesture input by making it difficult to complement before and after the character string by setting.
[0082]
Further, for example, the probability of completion is 70%, the probability of completion of two characters is 90%, and the probability of completion of three characters is 60%. .
[0083]
In the case of the example shown in FIG. 18, for example, the complement information as shown in FIG. 20 is generated by the above-described determination processing of the complement target character string, the complement position, and the complement character number condition.
[0084]
The above description has been made by taking an example in which an elliptical gesture as shown in FIG. 18 is used. However, even when a linear gesture as shown in FIGS. 5 and 8B is used, complementary information such as a complement target character string, a complement position, a complement character number condition, and the like can be generated by similar processing. . FIG. 21 shows an example of writing (FIG. 21 (a)) when a linear gesture is used, and an example of complementary information generated from the example of writing (FIG. 21 (b)).
[0085]
Next, generation of a complementary character string candidate executed in step S10 of the handwriting input processing operation will be described in detail.
[0086]
Based on the complement information shown in FIGS. 20 and 21 generated by the above-described process of generating the complement target character string, the complement position, and the complement character number condition, a complement character string candidate that satisfies these conditions is generated. FIG. 22 shows an example of a complementary character string candidate generated based on the complementary information shown in FIG. The generation of the complementary character string candidate can be realized by a known technique. Although not particularly limited in the present embodiment, (1) a method of performing a search using a general word dictionary or a user dictionary, (2) a method of performing a search using a word dictionary and a transition information dictionary between words, 3) A method using appearance frequency information in (1) and (2), a method based on an input character string history before (4), and the like are well known. In addition, if the method (2) is used, it is possible to complement even if a long character string or a sentence is omitted and input. Further, by using the frequency information and the history information as in the methods (3) and (4), it is possible to more accurately present the complementary character string intended by the operator.
[0087]
In addition, there is also a method of using a kana-kanji conversion or a kanji-kana conversion used in a word processor or the like to generate a complement candidate as a character string obtained by converting a complement target character string into a kana-kanji conversion or a kanji kana conversion. . According to this method, it is possible to complete a kanji character string or a kana character string from a complement target character string in which kanji and kana are mixed. In other words, even when a complex kanji character string is to be complemented, it is possible to complete the input by inputting the reading hiragana, thereby reducing the labor and time required for the input. For example, as shown in FIG. 23, only by inputting “KA”, it becomes possible to candidately display “KK” whose reading starts with “KA”.
[0088]
As described above, in the present embodiment, when a character string partially omitted by handwriting is input to the input unit 1 and a character string candidate in which the omitted part is complemented is displayed on the display unit 6, a part of the character string is omitted. A stroke representing a gesture for designating a complement target character string, a complement position, and the number of complement characters is input to the character string. Then, the gesture determination unit 3 determines whether or not the input stroke is a gesture, and when the input stroke is a gesture, specifies a complement target character string stroke group to be complemented by the gesture. Then, the character string recognition unit 4 performs character string recognition based on strokes other than the gesture stroke, and the candidate generation unit 5 determines the positional relationship between the gesture stroke obtained by the gesture determination unit 3 and the complement target character string stroke. Then, based on the character string recognized by the character string recognizing unit 4, complementary information including a complement target character string to be complemented, a complement position and a complement character number condition for the complement target character string is generated. Further, based on the complementary information, a complementary character string candidate that satisfies the condition of the complementary information is generated using a dictionary or the like, and is displayed on the display unit 6.
[0089]
Therefore, according to the present embodiment, as in the case of the conventional handwritten character input device described above, it is obvious that the complement target character string is not only at the beginning of the complement character string candidate, but also in the middle or at the end of the complement character string candidate. Even if it does, the complementary character string candidate intended by the operator can be generated with high accuracy. Further, by instructing a plurality of characters by gesture, the number of complementary character string candidates can be significantly reduced. As a result, a complementary character string candidate intended by the operator can be presented with high accuracy, and handwriting input efficiency can be improved.
[0090]
As the gesture, an elliptical stroke surrounding the complement target character string, a linear stroke drawn along the complement target character string, or a stroke using both of them is used. Therefore, the complementary position and the number of complementary characters can be accurately specified by the position and length of the blank portion in the ellipse and on the straight line.
[0091]
In the above description, a case where one type of gesture is used is taken as an example. However, a plurality of types of gestures as shown in FIGS. 4 to 7 can be input, and a different complementary character is used for each type of gesture. A column generation method may be applied.
[0092]
In particular,
(A) Allocate gestures for each dictionary such as general word dictionary and user dictionary
(B) Allocate a gesture for each part of speech of a word to be searched
(C) Allocate a gesture for each complement condition such as a complement position and the number of complement characters
And so on. In this case, in the methods (a) and (b), the information of the character string that the operator wants to complement can be transmitted to the CPU 19 by a gesture, and the complement character string candidate intended by the operator can be presented more accurately. Will be possible. Further, in the method (c), the operator can specify the complementary position and the complementary character number condition based on the shape of the gesture, not the positional relationship between the gesture and the character string.
[0093]
FIG. 24 is an example of applying a different complementary character string generation method for each type of gesture. FIGS. 24A and 24B are examples in which a dictionary used to generate a complementary character string is specified by a gesture type. In the case of the gesture shown in FIG. A character string is searched, and in the case of the gesture shown in FIG. 24B, a complementary character string is searched from the user dictionary. FIGS. 24C and 24D show examples in which the complementing position is specified by the type of gesture. In the case of a single circle gesture as shown in FIG. 24. In the case of a double circle gesture as shown in FIG. 24D, the front side of the complement target character string "sentence" is complemented. FIGS. 24E and 24F are examples in which the number of complementary characters is specified by the type of gesture. In the case of a single underlined gesture as shown in FIG. Then, as shown in FIG. 24F, in the case of three underlined gestures, three-character complement is performed.
[0094]
Further, in the above description, a case where a complementary character string candidate is generated in consideration of only the character string of the first candidate recognized by the character string recognizing unit 4 is taken as an example. However, generally, a plurality of recognition candidates are generated in character string recognition. Therefore, the candidate generation unit 5 may generate a supplementary character string candidate using the plurality of recognition candidates and the certainty factor information.
[0095]
Further, in the above description, the complement character string candidate is displayed immediately after the operator finishes the handwriting input, and the operator selects a target candidate from the display candidates. However, the present invention is not limited to this, and when there is no time for candidate selection, only the handwriting input is performed and the stroke information is stored in the storage unit 2. Then, when there is time, a complementary character string candidate may be selected. In that case, the storage unit 2 is configured to be able to retain the stored contents even when the power of the handwriting input device is turned off. Then, in the flow chart of the handwriting input processing operation shown in FIG. 3, at the time of handwriting input, processing is performed until the input end of step S3, and when there is time, the processing after the gesture determination of step S4 can be restarted. May be provided separately.
[0096]
Further, the processing up to the gesture determination in step S4 may be performed at the time of the handwriting input, and the processing subsequent to the gesture presence determination at step S5 may be performed at the time of restarting the processing. In addition, at the time of the above handwriting input, processing up to the character string recognition at step S8 is performed, and at the time of restarting the processing, processing from determination of complementary information at step S9 to display of candidate selection results at step S13 is performed on all gestures. It may be. Further, at the time of handwriting input, the processing up to the determination of the complementary information in step S9 is performed for all gestures, and when the processing is resumed, the processing from the generation of the complementary character string candidate in step S10 to the display of the candidate selection result in step S13 is completely performed. It may be performed for a gesture. Further, at the time of handwriting input, the processing up to the generation of the complementary character string candidate in step S10 is performed for all gestures, and when the processing is resumed, the processing from the display of the complementary character string candidate at step S11 to the display of the candidate selection result at step S13 May be performed for all gestures.
[0097]
According to the method of performing these handwriting input processing operations in two steps, when the operator later displays all stroke data, it is easy to identify a character string portion intended for complementation, and An effect is also obtained that it is easy to determine what character string is intended to be complemented depending on the shape and size.
[0098]
<Second embodiment>
In the present embodiment, a stroke of a gesture for designating a complement target character string and a complement position and a complement character number condition in the complement target character string is input by handwriting in the displayed document, thereby enabling The present invention relates to a method of rewriting a complement target character string to another character string for editing.
[0099]
FIG. 25 is a functional block diagram illustrating a functional configuration of the handwriting input device according to the present embodiment. This handwriting input device is configured on a simple computer, and includes an input unit 21, a storage unit 22, a gesture determination unit 23, a candidate generation unit 24, and a display unit 25.
[0100]
The input unit 21 includes a tablet or the like, and receives a handwritten gesture. Then, the stroke information of the gesture input by handwriting from the input unit 21 is stored in the storage unit 22. The storage unit 22 stores document information in advance. The gesture determination unit 23 determines whether the gesture stored in the storage unit 22 is correct. The candidate generation unit 24 generates a complementary character string candidate of the character string specified by the gesture determined by the gesture determination unit 23. The display unit 25 displays a gesture input from the input unit 21, a document or gesture stored in the storage unit 22, and a complementary character string candidate generated by the candidate generation unit 24.
[0101]
The input unit 21 and the display unit 25 may be provided individually, or may be provided as a display-integrated tablet formed by stacking transparent tablets on a display device. Further, in the present embodiment, the editing of an existing document by a gesture is specialized, but a character string input unit by handwriting as described in the first embodiment or a character string input unit such as a keyboard is used. A further configuration is also conceivable.
[0102]
The hardware configuration of the handwriting input device shown in FIG. 25 is the same as the hardware configuration shown in FIG. 2 in the first embodiment.
[0103]
FIG. 26 is a flowchart of a character string complementing operation for performing a character string complement by a gesture on a document read from the storage unit 22 and displayed on the display unit 25 under the control of the CPU. Hereinafter, the character string complement processing operation will be described in detail with reference to FIG.
[0104]
In step S41, the input unit 21 is operated by the operator, and a stroke of a gesture is input by hand at a location of the complement target character string in the displayed document. In step S42, the input stroke is displayed on the display unit 25 in real time. Further, the storage unit 22 stores the input stroke information. In step S43, it is determined whether or not the handwriting input has been completed based on the information from the input unit 21. As a result, when the processing is completed, the process proceeds to step S44, and when not completed, the process returns to step S41 and shifts to the processing of the next input slot talk.
[0105]
The method for determining the end of the handwriting input uses the same method as the method used in step S3 of FIG. 3 in the first embodiment.
[0106]
In step S44, the gesture determination unit 23 performs a gesture determination to determine whether each stroke stored in the storage unit 22 is a correct gesture stroke. When it is determined that the gesture is a gesture, a character string to be complemented by the gesture in the document (a complement target character string) is specified, and the specific information is stored in the storage unit 22. The details of the gesture determination process performed by the gesture determination unit 23 in step S44 will be described later.
[0107]
In step S45, the candidate generation unit 24 determines whether a gesture exists in the storage unit 22 based on the storage content of the storage unit 22. As a result, if there is no gesture, the character string complement processing operation ends. On the other hand, if there is a gesture, the process proceeds to step S46.
[0108]
In step S46, regarding the one gesture stored in the storage unit 22, the candidate generation unit 24 refers to each stroke information and the information of the specified complement target character string, and The position where the complement is performed and the condition of the number of characters to be complemented at each complement position are determined. In this step, the processing of this step may not be performed. Alternatively, only the position where the complement is performed in the complement target character string may be determined. Alternatively, only the character number condition to be complemented may be determined. In step S47, the candidate character generation unit 24 generates a complementary character string candidate based on the complementary information including the complement target character string specified in step S44 and the complementary position and the number of complementary characters determined in step S46. You. The details of the above-described determination processing of the complementary position and the number of complementary characters and the processing of generating a complementary character string candidate will be described later.
[0109]
In step S48, the display unit 25 displays the complementary character string candidate generated in step S47. In step S49, the operator operates the input unit 21 to select a candidate. In step S50, the display unit 25 replaces the complement target character string with a selected complement character string candidate and displays the complement target character string candidate in accordance with the result of the candidate selection in step S49. In step S51, the candidate generation unit 24 determines whether or not the processing for all the gestures stored in the storage unit 22 has been completed. As a result, if not finished, the process returns to the step S46 and shifts to the process for the next gesture. If the processing has been completed, the character string complement processing operation ends.
[0110]
Next, the gesture determination performed by the gesture determination unit 23 in step S44 of the character string complement processing operation illustrated in FIG. 26 will be described in detail.
[0111]
First, there are gestures as shown in FIGS. In FIGS. 27 to 30, the stroke of the gesture is expressed thick for easy identification. FIG. 27 shows an elliptical gesture, FIG. 28 (a) shows a gesture made up of one linear stroke, FIG. 28 (b) shows a gesture made up of a plurality of linear strokes, and FIG. 29 shows a polygonal gesture. FIG. 30 (a) shows a gesture made up of one stroke connecting an ellipse and a straight line, and FIG. 30 (b) shows a gesture made up of a plurality of strokes combining an ellipse and a straight line. In addition, the elliptical portion in FIGS. 27 and 30 may be changed to a rectangular shape or another closed shape.
[0112]
In the above gesture, FIGS. 27 and 28A show a gesture for complementing the designated character string “sharp” that is the complement target character string. FIGS. 28 (b1), 29 (a), 30 (a1), and 30 (b1) show gestures for complementing after the designated character string "sharp". Further, FIGS. 28 (b2), 29 (b), 30 (a2) and 30 (b2) show gestures for complementing before the designated character string “promotion meeting”. FIGS. 28 (b3), 29 (c), 30 (a3), and 30 (b3) show gestures for complementing before and after the designated character string "Osaka".
[0113]
In the linear gesture shown in FIG. 28B, the complement target character string can be determined by the shorter straight line, and the complement position and the complement character number condition can be determined by the longer straight line. In the polygonal gesture shown in FIG. 29, the complement target character string can be determined by the straight line portion up to the first bending point, and the complement position and the complement character number condition can be determined by the subsequent straight line portions. Further, in the gesture composed of an ellipse and a straight line shown in FIG. 30, the position to be complemented can be determined based on the position of the linear part, and the number of characters to be complemented can be determined based on the length of the linear part.
[0114]
27 to 30, it is assumed that the character strings are arranged horizontally (that is, in the case of horizontal writing), but the gestures in the case where the character strings are arranged vertically or diagonally are also the same. Can be set.
[0115]
Hereinafter, the gesture determination performed by the gesture determination unit 23 in the above-described step S44 in the character string complement processing operation illustrated in FIG. 26 will be described. The gesture shape determination method is the same as the method described in the first embodiment.
[0116]
A method of specifying a complement target character string, which is a complement target character string specified by the gesture, will be described with reference to a case where the character string is written as shown in FIG. 31 (a1) or FIG. 31 (b1). First, consider a circumscribed rectangle as shown in FIG. 31 (a2) or FIG. 31 (b2) for each character in the document. If the area ratio of the circumscribed rectangle included in the closed figure (the hatched portion in the figure) generated based on the gesture to the closed figure is equal to or greater than a predetermined threshold, the circumscribed rectangle included in the closed figure is not included. Extract a character string as a complement target character string. In addition to this method, a method of acquiring a character pixel of each character and extracting it as a complement target character string when a rate of pixels included in a flat figure generated based on a gesture is equal to or more than a predetermined threshold value is also used. it can. Note that a method similar to the method shown in FIG. 16 in the first embodiment can be used to generate a closed figure from the linear gesture shown in FIG. 31 (b1).
[0117]
Subsequently, the candidate generation unit 24 determines the supplementary information consisting of the supplementary position and the number of supplementary characters executed in step S46 of the character string complementing processing operation shown in FIG. An example in which the handwriting is written as described above will be described in detail. FIG. 32B is obtained by adding symbols and the like to FIG. 32A for explanation. In FIG. 32B, the start point of the gesture is A, the end point is B, the X axis is taken in the horizontal direction, and the Y axis is taken in the vertical direction. FIG. 32 shows a case where characters are arranged in the horizontal direction. However, when characters are arranged in the vertical direction or the oblique direction, the character string direction is set as the X axis and the direction perpendicular to the X axis is set as Y. The same processing can be performed if the axis is used.
[0118]
First, the line segment of the gesture stroke is sequentially traced from the start point A of the gesture stroke, and the first inflection point is searched for and set as a point C. As a method of determining the inflection point, a known technique such as a determination method using the direction of the vector of the line segment can be applied. In the gesture determination processing described above, “sharp”, which is a character string to be complemented, can be obtained based on the portion from point A to point C of the gesture stroke.
[0119]
Next, the minimum value x1 and the maximum value x2 of the gesture stroke in the X-axis direction are obtained. Further, a minimum value x3 and a maximum value x4 of the complement target character string "sharp" in the X-axis direction are obtained. Then, dp = x3-x1 and dn = x2-x4 are calculated. However, when dp and dn become negative, it is set to 0. That is, in the case of the example shown in FIG. 32, “dp” is 0. Subsequently, Cp = dp / H and Cn = dn / H are calculated using the obtained values of dp and dn. Here, H is the character size. The condition of the number of complemented characters to be complemented before the character string to be complemented is determined by Cp thus obtained. Further, the condition of the number of complemented characters to be complemented after the complement target character string is determined by Cn.
[0120]
As in the case of the first embodiment, the complementary character number condition includes a method of determining only one value and a method of determining the upper limit value and the lower limit value of the number of characters. When only one value is determined, one of the rounded value, the rounded value, and the rounded value of the values Cp and Cn may be used as it is, or a predetermined value may be added to or subtracted from the value. What is necessary is just to use the value given. However, when a negative value is obtained by subtraction, it is set to “0”. When determining the upper limit value and the lower limit value, a predetermined value is added to or subtracted from any one of the round-up value, round-down value, and round-up value of Cp and Cn. Should be determined. However, the lower limit is set to 0 or more. In that case, the magnitude of addition / subtraction may be changed for each of the upper limit and the lower limit. When the values Cp and Cn are equal to or less than a predetermined value, both the upper limit and the lower limit may be forcibly set to zero.
[0121]
Further, for example, the probability of completion is 70%, the probability of completion of two characters is 90%, and the probability of completion of three characters is 60%. .
[0122]
In the case of the example shown in FIG. 32, the complementary information as shown in FIG. 33A is generated by the above-described determination processing of the complementary position and the number of complementary characters condition.
[0123]
Note that the above description has been made with reference to an example in which a polygonal gesture as shown in FIG. 32 is used. However, even when other gestures are used, complementary information such as a complementary position and a complementary character number condition can be generated by similar processing. FIG. 33B shows an example of supplementary information in the case where writing is performed as shown in FIG. 30A3.
[0124]
Next, generation of a complementary character string candidate executed in step S47 of the character string complementary processing operation will be described. The complementary character string candidate generation processing is the same as that in the first embodiment, and can be realized by a known technique. Although not particularly limited in the present embodiment, (1) a method of performing a search using a general word dictionary or a user dictionary, (2) a method of performing a search using a word dictionary and a transition information dictionary between words, 3) A method using appearance frequency information in (1) and (2), a method based on an input character string history before (4), and the like are well known. In addition, if the method (2) is used, it is possible to complement even when a long character string or a sentence is omitted and input. Further, by using the frequency information and the history information as in the methods (3) and (4), it is possible to more accurately present the complementary character string intended by the operator. Further, in the present embodiment, a method of searching from a character string existing in the displayed document is also effective.
[0125]
In addition, there is also a method of using a kana-kanji conversion or a kanji-kana conversion used in a word processor or the like to generate a complement candidate as a character string obtained by converting a complement target character string into a kana-kanji conversion or a kanji kana conversion. . According to this method, it is possible to complete a kanji character string or a kana character string from a complement target character string in which kanji and kana are mixed.
[0126]
As described above, in the present embodiment, when rewriting and editing a part of the document displayed on the display unit 25, a stroke representing a gesture for designating a complement position and the number of complement characters is input to the displayed character string. . Then, the gesture determination unit 23 determines whether or not the input stroke is a correct gesture. If the input stroke is a gesture, a character string to be complemented (character string to be complemented) specified by the gesture is specified. Then, based on the gesture stroke obtained by the gesture determining unit 23, the candidate generating unit 24 generates complementary information on the specified complementary position and the number of complementary characters for the specified character string to be complemented. Furthermore, a complementary character string candidate that satisfies the condition of the complementary information is generated using a dictionary or the like, and is displayed on the display unit 25.
[0127]
Therefore, according to the present embodiment, when a part of a document is rewritten, the input of a rewriting sentence can be omitted, and the labor for editing can be greatly reduced.
[0128]
In this case, the complement target character string for designating the target character string to be rewritten is not only at the beginning of the complement character string candidate, but also in the middle or at the end of the complement character string candidate. In addition, a complementary character string candidate intended by the operator can be generated with high accuracy. Further, by instructing a plurality of characters by gesture, the number of complementary character string candidates can be significantly reduced. As a result, a complementary character string candidate intended by the operator can be presented with high accuracy, and input efficiency can be improved.
[0129]
In the above description, a case in which one type of gesture is used is taken as an example. However, as shown in FIG. 24 in the first embodiment, a different complementary character string generation method differs for each type of gesture. May be applied.
[0130]
In particular,
(A) Allocate gestures for each dictionary such as general word dictionary and user dictionary
(B) Allocate a gesture for each part of speech of a word to be searched
(C) Allocate a gesture for each complement condition such as a complement position and the number of complement characters
And so on. In this case, in the methods (a) and (b), the information of the character string that the operator wants to complement can be transmitted to the CPU by a gesture, and the complement character string candidate intended by the operator can be presented more accurately. Will be possible. Further, in the method (c), the operator can specify the complementary position and the complementary character number condition based on the shape of the gesture, not the positional relationship between the gesture and the character string.
[0131]
Further, in the above description, the complement character string candidate is displayed immediately after the operator finishes the handwriting input, and the operator selects a target candidate from the display candidates. However, the present invention is not limited to this, and when there is no time for candidate selection, only writing input is performed, and the stroke information is stored in the storage unit 22. Then, when there is time, a complementary character string candidate may be selected. In that case, the storage unit 22 is configured to be able to retain the stored contents even when the power of the handwriting input device is turned off. Then, in the flowchart of the character string complementing processing operation shown in FIG. 26, in order to perform writing until the input is completed in step S43, and to allow the operator to resume the processing after the gesture determination in step S44 when there is time. May be provided separately.
[0132]
Further, the processing up to the gesture determination in step S44 may be performed at the time of the handwriting input, and the processing subsequent to the gesture presence determination at step S45 may be performed at the time of restarting the processing. In addition, at the time of the handwriting input, the processing up to the determination of the complementary information in step S46 is performed on all the gestures. When the processing is resumed, the processing from the generation of the complementary character string candidate in step S47 to the display of the candidate selection result in step S50 is performed. It may be performed for all gestures. In addition, at the time of handwriting input, the processing up to the generation of the complementary character string candidate in step S47 is performed on all gestures, and when the processing is resumed, the processing from the display of the complementary character string candidate in step S48 to the display of the candidate selection result in step S50 May be performed for all gestures.
[0133]
According to the method of performing these handwriting input processing operations in two steps, when the operator later displays all stroke data, it is easy to identify a character string portion intended for complementation, and An effect is also obtained that it is easy to determine what character string is intended to be complemented depending on the shape and size.
[0134]
<Third embodiment>
The present embodiment relates to a method of inputting a partially omitted character string by handwriting and displaying a character string candidate in which the omitted part is complemented without using a gesture.
[0135]
FIG. 34 is a functional block diagram illustrating a functional configuration of the handwriting input device according to the present embodiment. This handwriting input device is configured on a simple computer, and includes an input unit 31, a storage unit 32, a character string recognition unit 33, a candidate generation unit 34, and a display unit 35.
[0136]
The input unit 31 includes a tablet or the like, and a character string is input by handwriting. Then, the stroke information of the character string input by handwriting from the input unit 31 is stored in the storage unit 32. The character string recognition unit 33 recognizes the stroke as a character string based on the stroke information stored in the storage unit 32. The candidate generation unit 34 generates a complementary character string candidate of the character string specified by the character recognized by the character string recognition unit 33. The display unit 35 displays the stroke input from the input unit 31, the stroke stored in the storage unit 32, the result of recognition by the character string recognition unit 33, and the complementary character string candidate generated by the candidate generation unit 35.
[0137]
Here, the stroke refers to coordinate information or point sequence data input via the input unit 31. The input unit 31 and the display unit 35 may be provided separately, or may be provided as a display-integrated tablet in which transparent tablets are stacked on a display device.
[0138]
The hardware configuration of the handwriting input device shown in FIG. 34 is the same as the hardware configuration shown in FIG. 2 in the first embodiment.
[0139]
Hereinafter, the operation of the handwriting input device will be described. FIG. 35 shows an input example (FIG. 35 (a)) and a display example (FIG. 35 (b)) in the present embodiment. The operator intends to input “I am sharp”, and omits “I am sharp” and “sharp” as shown in FIG. I have. It is assumed that, as a result of the recognition of the handwritten input character string as a character string, a character string "I am a god" is obtained as a first candidate as shown in FIG. In this case, the operator gives a candidate display instruction of the character “shi” from the input unit 31 to make each candidate the first character together with the recognition candidate of the character “shi” as shown in FIG. The complementary character string candidate is displayed on the display unit 35. Therefore, by selecting the complementary character string candidate "sharp" for the character "shi" from the input unit 31, the character "shi" is displayed on the display unit 35 in place of the complementary character string candidate "sharp". Here, even when the character string “I am three” is obtained as the first candidate as a result of the character string recognition, the intended complementary character string candidate “ It is possible to select "sharp".
[0140]
FIG. 36 is a flowchart of a handwriting input processing operation until a first candidate character string executed under the control of the CPU is displayed. Hereinafter, the handwriting input processing operation will be described in detail with reference to FIG.
[0141]
In step S61, the input unit 31 is operated by the operator, and the stroke of the handwritten character string is input by handwriting. In step S62, the stroke of the input handwritten character string is displayed on the display unit 35 in real time. Further, the storage unit 32 stores the stroke information of the input handwritten character string. In step S63, it is determined whether or not the handwriting input has been completed based on the information from the input unit 31. As a result, if the processing has been completed, the process proceeds to step S64. If not, the process returns to step S61 to shift to the next input slot talk process. The method for determining the end of handwriting input is the same as that in the first embodiment.
[0142]
In step S64, the character string recognition unit 33 performs character string recognition based on the stroke information stored in the storage unit 32. In step S65, the display unit 35 displays the first candidate character string obtained as a result of the character string recognition. After that, the handwriting input processing operation ends.
[0143]
In order to speed up the character string recognition processing executed in step S64 in the handwriting input processing operation, the character string recognition processing is sequentially performed even during handwriting input, and the final character Only the column recognition result may be generated.
[0144]
Next, as described above, a complementary character string for generating and displaying a complementary character string candidate for the recognition candidate for the entire or partial character string of the first candidate character string displayed on the display unit 35 by the handwriting input processing operation The candidate generation processing operation will be described with reference to the flowchart in FIG. When the entire character string or the partial character string of the displayed first candidate character string is designated by the input unit 31, the complementary character string candidate generation processing operation starts.
[0145]
In step S71, the candidate generation unit 34 acquires another candidate list of the recognition result by the character string recognition unit 33. In step S72, the candidate character generation unit 34 generates a complementary character string candidate using each character string in the acquired list as a character string to be complemented. In step S73, the display unit 35 displays the recognition candidates and the complementary character string candidates of each recognition candidate, as illustrated in FIG. 35C. After that, the complementary character string candidate generation processing operation ends.
[0146]
At this time, the same method as in the first and second embodiments can be applied to the generation of the complementary character string candidate executed in step S72 of the above-described complementary character string candidate generation processing operation.
[0147]
As described above, in the present embodiment, when a character string partially omitted by handwriting is input from the input unit 31 and a character string candidate supplementing the omitted part is displayed on the display unit 35, each input stroke is input. Is recognized as a character string by the character string recognizing unit 33, and the first candidate character string of the recognition result is displayed on the display unit 35. Then, when the entirety or the partial character string of the first candidate character string is specified by the input unit 31, the candidate generating unit 34 obtains a recognition candidate relating to the specified character string, and obtains a complementary character including each recognition candidate. Column candidates are generated.
[0148]
That is, according to the present embodiment, even when the first candidate character string of the recognition result by the character string recognizing unit 33 is incorrect, the complement character string can be selected together with the correction of the recognition error, and the input efficiency is improved. It can be improved.
[0149]
In FIG. 35 (c), the complementary character string candidates of all the recognition candidates are displayed collectively. However, as shown in FIG. 38 (a), the tip of the pen 41 forming the input unit 31 exists. The one recognition candidate may be provisionally selected, and only the complementary character string candidate of the provisionally selected recognition candidate may be displayed. In this case, the complementary character string candidates of all the recognition candidates may be generated in advance, or the corresponding complementary character string candidates may be generated when any one of the recognition candidates is provisionally selected.
[0150]
Further, as shown in FIG. 38B, an area 43 for instructing the display of the complementary character string candidate is provided in the display area 42 of each recognition candidate, and the operator uses a pen (not shown) to display the area 43. When 43 is specified, a complementary character string candidate may be displayed. Also in this case, the complementary character string candidates of all the recognition candidates may be generated in advance, or the corresponding complementary character string candidates may be generated when the display of the complementary character string candidates is instructed.
[0151]
Also in the present embodiment, when the above-mentioned complementary character string candidate is generated, by generating based on the previous input character string history, the complementary character string intended by the operator can be more accurately presented. Will be possible.
[0152]
In addition, there is also a method of using a kana-kanji conversion or a kanji-kana conversion used in a word processor or the like to generate a complement candidate as a character string obtained by converting a complement target character string into a kana-kanji conversion or a kanji kana conversion. . According to this method, it is possible to complete a kanji character string or a kana character string from a complement target character string in which kanji and kana are mixed.
[0153]
<Fourth embodiment>
This embodiment relates to a recording medium on which a handwriting input program or a character string complementing program for realizing each function described in the first to third embodiments is recorded. The program is stored on a computer-readable recording medium.
[0154]
The storage medium may be a memory required for performing processing by the handwriting input device shown in FIG. 2, for example, the program memory 11 itself may be a program medium, or a program reading device as an external storage medium driver 18 It may be a program medium (magnetic tape, CD-ROM, etc.) that is mounted on and read from. In any case, the program stored in the program medium may be directly accessed and executed by the CPU 19, or may be read once and read out from a predetermined program storage area in FIG. After being loaded into the program storage area of the memory 11), the configuration may be such that the data is read out and executed by the CPU 19. It is assumed that the loading program is stored in the device in advance.
[0155]
That is, the above-mentioned program medium is configured to be separable from the apparatus main body, and is a tape system such as a magnetic tape or a cassette tape; a magnetic disk such as a flexible disk or a hard disk; a CD-ROM; Discs, optical discs such as DVDs (digital versatile discs), card systems such as IC (integrated circuit) cards (including memory cards) and optical cards, mask ROMs, EPROMs (ultraviolet erasable ROMs), EEPROMs ( Any medium may be used as long as it can fixedly carry a program, including a semiconductor memory system such as an electrically erasable ROM) and a flash ROM.
[0156]
Further, the handwriting input device in each of the above embodiments has a configuration connectable to a communication network 15 including the Internet via a communication I / F 16. Therefore, the program medium may be a medium that carries the program fluidly by downloading from the communication network 15 or the like. In this case, a download program for downloading from the communication network 15 is assumed to be stored in the device in advance. Alternatively, it is assumed that it is installed in the apparatus main body in advance from another external recording medium.
[0157]
It should be noted that what is recorded on the recording medium is not limited to only a program, and data can also be recorded.
[0158]
In addition, each of the embodiments described above is an example in all respects, and is not restrictive. The scope of the present invention is defined by the terms of the claims, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.
[0159]
【The invention's effect】
As is apparent from the above description, the present invention determines whether each input stroke is a gesture for instructing completion of an input character string, and if the stroke is a gesture, determines whether the stroke is to be complemented based on the gesture. A character string stroke group is identified, a character string is recognized based on a stroke other than the gesture, a character string recognition result relating to the complement target character string stroke group, and a positional relationship between the gesture stroke / the complement target character string stroke group. The complement information including the complement target character string, the complement position, and the number of complement characters is determined based on the complement, and a supplement character string candidate that satisfies the complement information is generated. Even if it exists not only at the beginning but also at the middle or at the end of the character string candidates, the complement character string candidate It is possible to generate good time. Therefore, it is possible to specify the complement target character string even in the middle of a sentence or word. Further, by designating a plurality of characters by the gesture, the number of complementary character string candidates to be generated can be significantly reduced.
[0160]
That is, according to the present invention, a complementary character string candidate intended by the operator can be presented with high accuracy, and the handwriting input efficiency can be greatly improved.
[0161]
Further, according to the present invention, when a gesture for instructing complementation of a character string in a displayed document is input, character string information in the document specified by the gesture and a stroke of the gesture / the specific character string The complement information consisting of the complement target character string, the complement position, and the number of complement characters is determined based on the positional relationship of, and a supplement character string candidate that satisfies the complement information is generated. This makes it possible to omit the input of a rewriting sentence. Therefore, the labor required for editing the document can be significantly reduced. Also, at this time, even if the complement target character string indicated by the gesture exists not only at the beginning but also at the middle or at the end of the intended complement character string candidate, the complement character string candidate intended by the operator is displayed. It can be generated with high accuracy. Further, by designating a plurality of complement target character strings by the gesture, the number of complement character string candidates to be generated can be significantly reduced.
[0162]
That is, according to the present invention, a complementary character string candidate intended by the operator can be presented with high accuracy, and the handwriting input efficiency can be greatly improved.
[0163]
Also, the present invention recognizes a character string based on each input stroke, displays a first candidate character string as a recognition result, and specifies all or a partial character string of the first candidate character string. Recognition candidate character strings related to the specified character string are obtained, and a complementary character string candidate including at least one of the candidate character strings is generated. Therefore, only the character string of the displayed first candidate character string is specified. Thus, a complementary character string candidate for complementing an abbreviated character string including the specified character string can be generated. Therefore, the labor for handwriting input can be significantly reduced.
[0164]
Furthermore, even if the recognition result by the character string recognition is wrong, if the wrong character string is specified, all the recognition candidates and the complementary character string candidates including the character strings of the respective recognition candidates can be presented. Therefore, the efficiency of handwriting input can be improved.
[Brief description of the drawings]
FIG. 1 is a functional block diagram of a handwriting input device according to the present invention.
FIG. 2 is a diagram illustrating a hardware configuration of the handwriting input device illustrated in FIG. 1;
FIG. 3 is a flowchart of a handwriting input processing operation executed under control by a CPU in FIG. 2;
FIG. 4 is a diagram showing an elliptical gesture.
FIG. 5 is a diagram showing a gesture composed of a linear stroke.
FIG. 6 is a diagram showing a gesture made up of one stroke connecting an ellipse and a straight line.
FIG. 7 is a diagram showing a gesture composed of a plurality of strokes obtained by combining an ellipse and a straight line.
FIG. 8 is a diagram illustrating a gesture when a character string is in a vertical arrangement or an oblique arrangement.
FIG. 9 is a flowchart of a gesture determination processing operation executed in the handwriting input processing operation shown in FIG. 3;
FIG. 10 is a diagram illustrating an input example using an elliptical gesture.
FIG. 11 is a diagram for describing writing of a circle as a character or a part of a character and a circle as a gesture.
FIG. 12 is an explanatory diagram for extracting a closed figure from an elliptical gesture.
FIG. 13 is a diagram for explaining the writing of a straight line that is a character or a part of a character and a straight line that is a gesture.
FIG. 14 is a diagram for explaining different writing of a straight line that is a character or a part of a character and a straight line that is a gesture, which is different from FIG. 13;
FIG. 15 is a diagram for describing different writing of a straight line that is a character or a part of a character and a straight line that is a gesture, which is different from FIGS. 13 and 14;
FIG. 16 is an explanatory diagram for extracting a closed figure from a linear gesture.
FIG. 17 is a diagram illustrating a writing example of a linear stroke when a character string is input over a plurality of lines.
FIG. 18 is an explanatory diagram of complementary character string candidate generation when an elliptical gesture is used.
FIG. 19 is a flowchart of a process of determining a complement target character string, a complement position, and a condition of the number of supplement characters to be executed in the handwriting input process operation shown in FIG. 3;
FIG. 20 is a diagram illustrating an example of supplementary information.
FIG. 21 is a diagram illustrating an example of writing and an example of generated complementary information when a linear gesture is used.
FIG. 22 is a diagram illustrating an example of a complementary character string candidate generated based on the complementary information illustrated in FIG. 20;
FIG. 23 is a diagram illustrating an example of a complementary character string candidate generated using kana-kanji conversion or kanji-kana conversion.
FIG. 24 is a diagram illustrating an example of a case where a different complementary character string generation method is applied for each type of gesture.
FIG. 25 is a functional block diagram of a handwriting input device different from FIG. 1;
26 is a flowchart of a character string complement processing operation by the handwriting input device shown in FIG. 25.
FIG. 27 is a diagram showing an elliptical gesture.
FIG. 28 is a diagram showing a gesture composed of a linear stroke.
FIG. 29 is a diagram illustrating a polygonal gesture.
FIG. 30 is a diagram illustrating a gesture composed of an ellipse and a straight line.
FIG. 31 is an explanatory diagram of a method of specifying a complement target character string.
FIG. 32 is an explanatory diagram of determining a complement position and a complement character number condition when a polygonal gesture is used.
FIG. 33 is a diagram illustrating an example of supplementary information.
FIG. 34 is a functional block diagram of a handwriting input device different from FIGS. 1 and 25;
FIG. 35 is a diagram illustrating an example of input and an example of display to the handwriting input device illustrated in FIG. 34;
FIG. 36 is a flowchart of a handwriting input processing operation until a first candidate character string is obtained by the handwriting input device shown in FIG. 34;
FIG. 37 is a flowchart of a complementary character string candidate generation processing operation executed by the candidate generation unit in FIG. 34;
FIG. 38 is a diagram illustrating a display example of recognition candidates and their complementary character string candidates.
[Explanation of symbols]
1, 21, 31 ... input unit,
2, 22, 32 ... storage unit,
3, 23 ... gesture determination unit,
4, 33 ... character string recognition unit,
5, 24, 34 ... candidate generation unit,
6, 25, 35 ... display unit,
11 Program memory,
12 Data memory,
13 input devices,
14 display device,
15 Communication network,
16 Communication I / F,
17 external recording medium,
18 ... External storage medium driver,
19 ... CPU.

Claims

Stroke input means for inputting a stroke of a character string and a stroke of a gesture for instructing complementation of the character string by handwriting,
Stroke storage means for storing information on the stroke input from the stroke input means,
Gesture determination for determining whether each of the strokes stored in the stroke storage means is the above-described gesture, and if it is a gesture, specifying a complement target character string stroke group to be complemented based on the gesture Means,
Character string recognition means for recognizing a stroke other than the gesture stored in the stroke storage means as a character string,
For each of the gestures determined by the gesture determination unit, based on the result of recognition by the character string recognition unit regarding the complement target character string strokes, complement information that is a complement target character string is determined, and a supplement character that satisfies this complement information A handwriting input device comprising candidate generating means for generating a column candidate.

Document storage means for storing a document;
Display means for displaying a document stored in the document storage means;
Gesture input means for inputting by handwriting a stroke of a gesture instructing complementation of the character string with respect to the character string in the document displayed on the display means;
A gesture storage unit that stores stroke information of the gesture input from the gesture input unit;
For each gesture stored in the gesture storage means, based on the information on the character string in the document specified by the gesture, determine the complementary information that is a character string to be complemented, and a complementary character string that satisfies this complementary information A handwriting input device comprising candidate generating means for generating candidates.

The handwriting input device according to claim 1 or 2,
The gesture has a plurality of types,
The handwriting input device, wherein the candidate generating means generates the complementary character string candidate by a different generating method for each type of the gesture.

The handwriting input device according to claim 1 or 2,
The candidate generating means determines a complementing position based on a positional relationship between the stroke of the gesture and the complementing character string, in addition to the complementing character string, and outputs complementing information including the complementing character string and the complementing position. A handwriting input device characterized by generating a complementary character string candidate to be satisfied.

The handwriting input device according to claim 1 or 2,
The candidate generation means determines the number of complement characters based on the positional relationship between the stroke of the gesture and the complement target character string, in addition to the complement target character string, and outputs complement information including the complement target character string and the complement character number. A handwriting input device characterized by generating a complementary character string candidate to be satisfied.

The handwriting input device according to claim 1 or 2,
The candidate generation means determines a complement position and the number of complement characters based on a positional relationship between the stroke of the gesture and the complement target character string, in addition to the complement target character string, and A handwriting input device configured to generate a complementary character string candidate that satisfies complementary information consisting of the number of characters.

The handwriting input device according to any one of claims 1 to 6,
A handwriting input device, wherein the gesture is a stroke surrounding a character string.

The handwriting input device according to any one of claims 1 to 6,
A handwriting input device, wherein the gesture is a linear stroke along a character string.

The handwriting input device according to any one of claims 1 to 6,
The handwriting input device, wherein the gesture is a combination of a stroke surrounding a character string and a linear stroke.

The handwriting input device according to any one of claims 1 to 6,
The handwriting input device is characterized in that the gesture is a polygonal stroke along a character string.

Stroke input means for inputting a stroke of a character string by handwriting,
Stroke storage means for storing information on the stroke input from the stroke input means,
Character string recognition means for recognizing each stroke stored in the stroke storage means as a character string;
Display means for displaying a first candidate character string of the recognition result obtained by the character string recognition means;
Character string designating means for designating all character strings or partial character strings in the displayed first candidate character string;
A candidate generation unit configured to generate a complementary character string candidate by using at least one candidate character string among the candidate character strings of the specified character string and other candidate character strings recognized as a result of the recognition regarding the specified character string. Handwriting input device.

The handwriting input device according to claim 11,
Second display means for displaying a character string designated by the character string designation means and other candidate character strings recognized as a result of recognition of the designated character string;
Candidate character string designating means for designating a candidate character string for generating the complementary character string candidate among the candidate character strings displayed by the second display means;
A handwriting input device comprising a third display unit for displaying a complementary character string candidate relating to the candidate character string designated by the candidate character string designation unit.

The handwriting input device according to any one of claims 1 to 12,
The handwriting input is characterized in that the candidate generating means generates a complementary character string candidate also as a character string to be complemented, the character string obtained by performing the kana-kanji conversion or the kanji-kana conversion of the complement target character string. apparatus.

The handwriting input device according to any one of claims 1 to 12,
The handwriting input device, wherein the candidate generating means generates a character string included in a history of a previously input character string as the complementary character string candidate.

The handwriting input device according to claim 2,
The handwriting input device, wherein the candidate generating means generates a character string included in the document as the complementary character string candidate.

Inputting a stroke of a character string and a stroke of a gesture for instructing complementation of the character string by handwriting;
Storing the input stroke information in storage means;
Determining whether each of the stored strokes is the gesture or not, and if so, identifying a complement target character string stroke group to be complemented based on the gesture;
Recognizing a stroke other than the stored gesture as a character string;
For each gesture determined to be the gesture, a complement target character string based on the character string recognition result for the complement target character string stroke group and the positional relationship between the gesture stroke and the complement target character string stroke group A supplementary information comprising a supplementary position and the number of supplementary characters, and generating a supplementary character string candidate satisfying the supplementary information.

Storing the document;
Displaying the stored document on display means;
Inputting, by handwriting, a stroke of a gesture instructing completion of the character string with respect to the character string in the displayed document;
Storing stroke information of the gesture in storage means;
For each of the stored gestures, a character string to be complemented, a complement character string, A handwriting input method characterized by comprising a step of determining complementary information consisting of a position and the number of complementary characters, and generating a complementary character string candidate satisfying the complementary information.

Inputting a stroke of a character string by handwriting;
Storing the input stroke information in storage means;
Recognizing each of the stored strokes as a character string;
Displaying a first candidate character string as a recognition result by the character string recognition;
Specifying all or a partial character string in the displayed first candidate character string;
Generating a complementary character string candidate using at least one candidate character string of the specified character string and the other candidate character strings recognized as a result of the recognition related to the specified character string as a complement target character string. Handwriting input method.

Computer
2. A handwriting input program which functions as the stroke input unit, the stroke storage unit, the gesture determination unit, the character string recognition unit, and the candidate generation unit according to claim 1.

Computer
3. A handwriting input program, which functions as the document storage unit, the display unit, the gesture input unit, the gesture storage unit, and the candidate generation unit according to claim 2.

Computer
12. A handwriting input program characterized by functioning as a stroke input unit, a stroke storage unit, a character string recognition unit, a display unit, a character string designation unit and a candidate generation unit according to claim 11.

A computer-readable program recording medium on which the handwriting input program according to any one of claims 19 to 21 is recorded.