JP2004139281A - Online handwritten information recognition device and method - Google Patents

Online handwritten information recognition device and method Download PDF

Info

Publication number
JP2004139281A
JP2004139281A JP2002302270A JP2002302270A JP2004139281A JP 2004139281 A JP2004139281 A JP 2004139281A JP 2002302270 A JP2002302270 A JP 2002302270A JP 2002302270 A JP2002302270 A JP 2002302270A JP 2004139281 A JP2004139281 A JP 2004139281A
Authority
JP
Japan
Prior art keywords
stroke data
recognition
unit
handwritten information
handwriting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002302270A
Other languages
Japanese (ja)
Other versions
JP4145622B2 (en
Inventor
Hiroshi Tanaka
田中 宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2002302270A priority Critical patent/JP4145622B2/en
Publication of JP2004139281A publication Critical patent/JP2004139281A/en
Application granted granted Critical
Publication of JP4145622B2 publication Critical patent/JP4145622B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Character Input (AREA)
  • Character Discrimination (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an online handwritten information recognition device and method capable of easily selecting only targeted handwriting even when handwriting to be selected and any handwriting other than the handwriting to be selected closely exist. <P>SOLUTION: In this online handwritten information recognition method, handwritten coordinate data are inputted, and character recognition or graphic recognition is carried out to the group of stroke data formed of the inputted handwritten coordinate data, and the sub-set of the stroke data being the target of handwriting recognition is selected from the group of the stroke data, and the character recognition or graphic recognition is carried out to the selected sub-set of the stroke data, and the recognition result is outputted. Then, a recognition target category being the target of recognition is set, and whether or not the respective stroke data belong to the currently set recognition target category is decided, and the stroke data to be selected are limited only to the stroke data whose belonging to the recognition target category is decided. <P>COPYRIGHT: (C)2004,JPO

Description

【0001】
【発明の属する技術分野】
本発明は、手書きストロークに関する情報を認識しながら文字認識あるいは図形認識を行うオンライン手書き情報認識装置及び方法に関する。
【0002】
【従来の技術】
昨今の急速なコンピュータ技術の進歩により、CPUの演算処理速度も向上し、従来は演算処理時間や認識精度等の問題から実用化が困難と考えられていた手書き文字の認識技術を用いた各種の携帯型情報端末等についても、ビジネス用途に限らず、一般家庭用も含めて急速に普及しているのが現状である。最近では、文字枠等に制約されずに自由に書かれた手書き文字あるいは手書き図形について認識可能な技術も多々開発されている。
【0003】
文字枠や罫線等に制約されることなく自由に筆記される場合には、図形や文字列等、様々な内容が自由に書かれることになる。このように自由に筆記された内容の一部を認識して文字列や図形のカテゴリを判定するためには、多くのストロークデータの中から認識対象となる部分を選択する操作が必要となる。
【0004】
例えば、図1に示すように、文字列と線画が混在して書かれているメモの内容から「田中」という文字列を選択し、そのストロークデータを取得することによって文字認識を行うことで認識結果文字列を得るというのが、手書き文字認識処理の基本的な処理の流れである。かかる処理を実行するためには、ストロークデータ(筆跡)の選択、ストロークデータ(筆跡)の取得、及び文字列の認識といった処理が必要となる。ここで、ストロークデータとは、ペンが接地してから離れるまでの軌跡データを意味している。
【0005】
従来のオンライン手書き情報認識装置の代表的な構成を図2に示す。図2において、座標入力部21から得られたストローク(筆跡)座標情報は、まずストロークデータの集合としてストロークデータ保存部22に保存される。そして、保存されているストロークデータの集合の中から、ストロークデータ選択部23によってストロークデータの一部が選択され、ストロークデータの部分集合が得られる。最後に当該ストロークデータの部分集合を手書き情報認識部24に送ることによって、目的とする認識結果を得ることができる。
【0006】
具体的には、座標入力部21はタブレットやスタイラスペン等の作図や文字の筆記を行うことができる入力媒体を用いることになる。また、ストロークデータ保存部22としては、コンピュータの記憶装置上やネットワーク上の記憶装置等が考えられる。
【0007】
さらに、ストロークデータ選択部23としては、例えば(特許文献1)又は(非特許文献1)において開示されているような、ペンの筆記による囲みジェスチャによって選択する方法を用いることが考えられる。手書き情報認識部24についても、例えば(特許文献2)や(非特許文献2)、(非特許文献5)に開示されているような通常のオンライン手書き文字認識手段や、(非特許文献3)及び(非特許文献4)に開示されているような図形認識手段を用いることが考えられる。
【0008】
【特許文献1】
特開平6−131111号公報
【特許文献2】
特開平10−40337号公報
【0009】
【非特許文献1】
佐藤俊、外2名、「手書きインタフェースのためのペンの囲みによる対象判定アルゴリズムの実現と評価」、信学技報、1991年12月(PRU92−88)
【0010】
【非特許文献2】
田中宏、外2名、「階層遅延セグメンテーションを用いた実時間枠なしオンライン手書き文字列認識」、信学技報、2002年3月(PRMU2001−264)
【0011】
【非特許文献3】
正嶋博、外3名、「画数,筆順,回転,区切りに依存しないオンライン手書き図形認識方式」、情報処理学会論文誌、1986年5月、第27巻、第5号
【0012】
【非特許文献4】
児島治彦、戸井田徹、「隣接線分構造解析法によるオンライン手書き図形認識」、情報処理学会論文誌、1987年8月、第28巻、第8号
【0013】
【非特許文献5】
岡本正義、外3名、「知識ベースに基づいた手書き情報認識」、情報処理学会第43回(平成3年度後期)全国大会、2D−1、p.2−19−2−20
【0014】
【発明が解決しようとする課題】
しかしながら、実際に筆記されている状態が、例えば図3に示すように、選択対象である文字列「田中」の近くに、選択対象外の筆跡である二重下線が存在するような場合には、誤って選択対象外の筆跡まで選択してしまうおそれがあり、この場合、選択対象外である二重下線も認識の対象とすることによって、正確に文字認識を行うことが困難となってしまうという問題点があった。
【0015】
同様に、実際に筆記されている状態が、例えば図4に示すように、選択対象である文字列「田中」の近くに、選択対象外である別の文字列「山」が存在する場合にも、誤って選択対象外の文字列「山」の一部分のストロークデータまで選択対象としてしまうおそれがあり、この場合も、文字認識を正確に行うことは困難となるという問題点があった。
【0016】
本発明は、上記問題点を解決するために、選択対象となる筆跡と選択対象外の筆跡とが近くに存在する場合であっても、容易に目的とする筆跡のみを選択することができるオンライン手書き情報認識装置及び方法を提供することを目的とする。
【0017】
【課題を解決するための手段】
上記目的を達成するために本発明にかかるオンライン手書き情報認識装置は、筆跡座標データを入力するための座標入力部と、入力された筆跡座標データで形成されたストロークデータの集合に対して、文字認識又は図形認識を行う手書き情報認識部と、ストロークデータの集合から手書き認識の対象となるストロークデータの部分集合を選択するストロークデータ選択部とを有し、選択されたストロークデータの部分集合に対して、手書き情報認識部において文字認識又は図形認識を行い、認識結果を出力するオンライン手書き情報認識装置であって、手書き情報認識部において認識対象とする認識対象カテゴリを設定する認識対象設定部と、現在設定されている認識対象カテゴリに、各ストロークデータが属するか否かを判定するストロークデータ判定部と、ストロークデータ選択部において選択対象となるストロークデータを、認識対象カテゴリに属すると判定されたストロークデータのみに限定するストロークデータ選択対象限定部とを有することを特徴とする。
【0018】
かかる構成により、認識対象カテゴリをストロークデータの選択処理開始前に設定しておくことによって、認識対象カテゴリの相違するストロークデータを認識対象から排除することができ、選択対象となる筆跡と選択対象外の筆跡とが近くに存在する場合であっても、容易に目的とする筆跡のみを選択することが可能となる。
【0019】
また、本発明にかかるオンライン手書き情報認識装置は、複数のストロークデータをグループごとに分類するグループ編成部を有し、ストロークデータ判定部において、グループ単位にストロークデータの属する認識対象カテゴリを判定することが好ましい。さらに、本発明にかかるオンライン手書き情報認識装置は、複数のストロークデータをグループごとに分類するグループ編成部を有し、ストロークデータ選択部において、グループ単位にストロークデータの選択を行うことが好ましい。
【0020】
認識対象カテゴリをストロークデータの選択処理開始前に設定するとともに、ストロークデータを事前にグループ化しておくことによって、認識対象カテゴリの相違するグループに含まれているストロークデータを認識対象から排除することができ、選択対象となる筆跡と選択対象外の筆跡とが近くに存在し、かつ両者の認識対象カテゴリが一致する場合であっても、容易に目的とする筆跡のみを選択することができるからである。
【0021】
また、本発明にかかるオンライン手書き情報認識装置は、グループ編成部において、ストロークデータが筆記された順序に基づいてストロークデータをグループごとに分類することが好ましい。あるいは、グループ編成部において、少なくともストロークデータが筆記された時間間隔を含む時間情報に基づいてストロークデータをグループごとに分類することが好ましい。オフストロークの長さに応じて、一連の文字あるいは図形であるか否かを判断することができるからである。
【0022】
また、本発明にかかるオンライン手書き情報認識装置は、グループ編成部において、ストロークデータを文字認識した結果に基づいてストロークデータをグループごとに分類することが好ましい。認識結果として出力される評価値に基づいて分類されたカテゴリごとに、ストロークデータをグループ化することができるからである。
【0023】
また、本発明は、上記のようなオンライン手書き情報認識装置の機能をコンピュータの処理ステップとして実行するソフトウェアを特徴とするものであり、具体的には、筆跡座標データを入力するための工程と、入力された筆跡座標データで形成されたストロークデータの集合に対して、文字認識又は図形認識を行う工程と、ストロークデータの集合から手書き認識の対象となるストロークデータの部分集合を選択する工程とを有し、選択されたストロークデータの部分集合に対して文字認識又は図形認識を行い、認識結果を出力するオンライン手書き情報認識方法であって、認識対象とする認識対象カテゴリを設定する工程と、現在設定されている認識対象カテゴリに、各ストロークデータが属するか否かを判定する工程と、選択対象となるストロークデータを、認識対象カテゴリに属すると判定されたストロークデータのみに限定する工程とを有するオンライン手書き情報認識方法並びにそのような工程を具現化するコンピュータ実行可能なプログラムであることを特徴とする。
【0024】
かかる構成により、コンピュータ上へ当該プログラムをロードさせ実行することで、認識対象カテゴリをストロークデータの選択処理開始前に設定しておくことによって、認識対象カテゴリの相違するストロークデータを認識対象から排除することができ、選択対象となる筆跡と選択対象外の筆跡とが近くに存在する場合であっても、容易に目的とする筆跡のみを選択することができる認識精度の高いオンライン手書き情報認識装置を実現することが可能となる。
【0025】
【発明の実施の形態】
(実施の形態1)
以下、本発明の実施の形態1にかかるオンライン手書き情報認識装置について、図面を参照しながら説明する。図5は本発明の実施の形態1にかかるオンライン手書き情報認識装置の構成図である。
【0026】
図5において、51は座標入力部を、52はストロークデータ保存部を、56はストロークデータ選択部を、57は手書き情報認識部を、それぞれ示しており、従来の構成を示す図1における座標入力部21、ストロークデータ保存部22、ストロークデータ選択部23、手書き情報認識部24にそれぞれ対応している。
【0027】
座標入力部51には、通常、タブレットとスタイラスペンを組み合わせた筆跡情報取得デバイスを用いることが多い。一般に、タブレットは、毎秒50〜200回程度の周期でペンの位置座標を感知し、スタイラスペンが筆記中(オン状態)であるか否か(オフ状態)の情報も含めて座標点データを取得する。そして、取得された座標情報は、スタイラスペンがオン状態である連続した座標点列を一つのストロークデータとして、複数のストロークデータを1つのストロークデータの集合としてストロークデータ保存部52に格納される。なお、ストロークデータ保存部52に格納されるストロークデータ集合のデータ形式としては、例えばC言語で表す場合には図6に示すような形式が考えられる。もちろん、かかるデータ形式に限定されるものではない。
【0028】
次に、53は認識対象設定部を示しており、手書き情報認識部57における認識対象カテゴリを設定するものである。ここで設定される認識対象カテゴリとしては、例えば文字列や図形といった粗いカテゴリ分けに止まらず、数字列、漢字列、多角形等の細かなカテゴリ分け等も含まれる。
【0029】
すなわち、ストロークデータ選択部56が選択対象とするのは、手書き情報認識部57が認識対象とする筆跡のみである。例えば文字列を認識しようとしている場合には、図形に対応する筆跡は選択する必要が無く、数字を認識しようとしている場合には、漢字に対応する筆跡は選択する必要が無いからである。
【0030】
そのために、例えば図7に示すように、文字列を選択して認識しようとしている場合には、認識対象設定部53において、認識対象カテゴリを「文字列」と設定しておき、実線で表している選択可能な筆跡である文字列のみが、ストロークデータ選択部56における選択の対象となる。また、破線で表している選択不可能な筆跡である二重下線や略語「Tel」については、ストロークデータ選択部56における選択の対象から排除される。
【0031】
認識対象設定部53において設定された認識対象カテゴリは、ストロークデータ判定部54に渡され、ストロークデータ保存部52に格納されているストロークデータの集合の中から、どのストロークデータと認識対象カテゴリが一致するのか否かを判定するのに用いられる。
【0032】
すなわち、ストロークデータ判定部54においては、ストロークデータ保存部52に格納されているストロークデータの集合のうち、認識対象カテゴリに合致するストロークデータのみを選択可能にするため、個々のストロークデータが認識対象カテゴリに合致するか否かを判定する。
【0033】
本実施の形態1においては、ストロークデータ判定部54は個々のストロークデータが文字列を構成するストロークデータであるか、あるいは図形を構成するストロークデータであるのか、いずれのカテゴリに属するか否かを判定するものとする。例えば(非特許文献5)においては、ストロークデータの集合を文字、図形、表、編集記号の4種類に分類する方法が開示されており、このような方法を用いることで、図形、表、編集記号の3者を一括して図形とみなすことによって、文字列と図形の判定を行うことが可能となる。なお、両者の判定方法はこれに限定されるものではない。
【0034】
そして、55はストロークデータ選択対象限定部を示しており、ストロークデータ判定部54において認識対象カテゴリに属すると、すなわち認識対象として選択される対象であると判定されたストロークデータの中から、認識対象とするべきストロークデータを選択するものである。
【0035】
例えばストロークデータ選択部56では、図8に示すようにスタイラスペン等で筆記したジェスチャ81(点線矢印)で囲まれたストロークデータを選択するように制御される。すなわち、個々のストロークデータが、画面上に記載されたジェスチャ81で囲まれている領域内にあるか否かによって、認識対象とするか否かを決定するものである。
【0036】
具体的には、図9に示すように、ストロークデータ判定部54において認識対象に合致すると判定されたストロークデータ(太線)と、合致しないと判定されたストロークデータ(細線)とを区別しておき、ストロークデータ選択部56において、囲みジェスチャが書かれた場合、たとえ囲みジェスチャ内に含まれているストロークデータであっても、細線で示されているストロークデータ、すなわちストロークデータ判定部54において認識対象に合致しないと判定されたストロークデータについては選択対象から外される。そして、太線で示されているストロークデータ、すなわちストロークデータ判定部54において認識対象に合致すると判定されたストロークデータについてのみ選択されることになる。
【0037】
なお、ストロークデータ選択対象限定部55では、ストロークデータの選択対象を限定すれば良いので、ユーザに対して選択対象とできるストロークデータを表示する必要は無い。しかし、画面上のどのストロークデータが現在選択対象となっているかをユーザに示すことによって、ストロークデータ選択部56における使い勝手はより向上するものと考えられる。
【0038】
ユーザに対して、選択対象となっているストロークデータがどれであるのかを示す方法としては、選択対象以外のストロークデータの表示色を薄く表示する方法や、線の太さを変える方法、あるいは選択時に一時的に画面から消去するという方法も考えられる。もちろん、これらの方法に限定されるものではない。
【0039】
そして、ストロークデータ選択部56において選択されたストロークデータは、ストロークデータの部分集合として手書き情報認識部57に渡され、文字認識あるいは図形認識が行われることになる。
【0040】
次に、本発明の実施の形態1にかかるオンライン手書き情報認識装置を実現するプログラムの処理の流れについて説明する。図10に本発明の実施の形態にかかるオンライン手書き情報認識装置を実現するプログラムの処理の流れ図を示す。
【0041】
図10において、まずペンの位置座標を取得し、スタイラスペンが筆記中(オン状態)であるか否か(オフ状態)の情報も含めて座標点データを取得する(ステップS1001)。そして、取得された座標情報に基づいて、ストロークデータを抽出して、ストロークデータの集合として保存する(ステップS1002)。
【0042】
次に、認識対象カテゴリを設定し(ステップS1003)、保存されているストロークデータの集合のうち、個々のストロークデータが認識対象カテゴリに合致するか否かを判定する(ステップS1004)。
【0043】
ストロークデータが認識対象カテゴリに合致する場合には(ステップS1004:Yes)、当該ストロークデータが選択対象であると認定し(ステップS1005)、ストロークデータが認識対象カテゴリに合致しない場合には(ステップS1004:No)、当該ストロークデータが選択対象でないと認定する(ステップS1006)。そして、ステップS1004以下の処理を全てのストロークデータについて判定が完了するまで繰り返す(ステップS1007:No)。
【0044】
全てのストロークデータについて判定が完了した場合には(ステップS1007:Yes)、選択対象であると認定されたストロークデータの中から、認識対象とするべきストロークデータを選択する(ステップS1008)。最後に、選択されたストロークデータについて、文字認識あるいは図形認識が行われる(ステップS1009)。
【0045】
以上のように本実施の形態1によれば、認識対象カテゴリをストロークデータの選択処理開始前に設定しておくことによって、認識対象カテゴリの相違するストロークデータを認識対象から排除することができ、選択対象となる筆跡と選択対象外の筆跡とが近くに存在する場合であっても、容易に目的とする筆跡のみを選択することが可能となる。
【0046】
(実施の形態2)
以下、本発明の実施の形態2にかかるオンライン手書き情報認識装置について、図面を参照しながら説明する。図11は、本発明の実施の形態2にかかるオンライン手書き情報認識装置の構成図である。図11に示すように、基本的な構成は実施の形態1と同様であることから、共通の機能を有する部分については、図5と同一の符号を付すことによって、詳細な説明を省略する。
【0047】
本実施の形態2が実施の形態1と相違しているのは、ストロークデータ保存部52に保存されているストロークデータの集合に対して、グループ化を行うグループ編成部111を有する点である。
【0048】
すなわち、文字列や図形といったストロークデータに関する認識対象カテゴリを区別することで、文字と図形の両方が近傍に記載されているような手書き情報に対する認識精度の向上は図ることができるが、図4の例に示したような、複数の文字列あるいは図形といった、同一の認識対象カテゴリに属する手書き情報が近傍に記載されている場合には、その一部が混在して選択されてしまうという問題を十分には解決できない。
【0049】
そこで、本実施の形態2においては、同じ認識対象カテゴリに属するストロークデータを、続けて書かれた一連の文字列あるいは一連の図形として一つのグループとしてまとめ、ストロークデータの認識対象カテゴリの判定や、ストロークデータの選択処理を、当該グループ単位で行うことによって、異なったグループに属するストロークデータを同時に選択することができないようにしている。
【0050】
例えば図12に示すように、「田中さんへTel」、「山本様」、「012−345−6789」といった文字列について、それぞれグループ化することによって、例えば「田中」を選択しようとした時に、「山本」に属するストロークデータが同時に選択されるとしまうことを未然に回避することができる。また、図13に示すように、グループ化を一連の文字列としてではなく、文字単位に分割するようにグループ化することにより、異なった文字列の中にある各々の文字を同時に選択することも可能になる。
【0051】
したがって、ストロークデータ判定部54においては、ストロークデータのグループ単位で認識対象カテゴリの判定を行うことになる。グループ単位で認識対象カテゴリの判定を行うには、例えば個々の判定結果の多数決により決定することが考えられる。判定結果が同数の場合(例えば4画のグループで図形と文字に判定されたストロークが2つずつであった場合等)は、いずれの認識対象カテゴリも可能性があるものと判定すれば良い。ただし、これらの方法に限定されるものではない。
【0052】
また、ストロークデータ選択部56においても、ストロークデータのグループ単位で認識対象となるグループを選択することになる。そのためには、ストロークを選択する際に、各グループの外接枠の中心点を求め、中心点が囲みジェスチャにより囲まれているか否かによってストロークをグループ単位で選択すれば良い。もちろん、これらの方法に限定されるものではない。
【0053】
ストロークデータをグループ化する方法についても、様々な方法が考えられる。例えば図14に示すように、ストロークデータの集合を行ごとに分割する方法が考えられる。
【0054】
まず、図14(a)に示すように、ストロークデータの集合を筆記時間を用いておおまかに分割することが考えられる。具体的には、ストロークデータの集合を筆記された時間の順序に並べ、隣り合ったストロークデータ間の時間間隔(前のストロークデータの終点から次のストロークデータの始点までの時間間隔)が1秒以上空いている位置を分割点とするものである。以下、時間間隔によって分割されたストロークデータの部分集合を「時間グループ」と呼ぶ。
【0055】
次に、それぞれの時間グループの中におけるストロークデータの位置関係に着目する。ストロークデータ間でペンが移動する軌跡をオフストロークと呼んでいるが、オフストロークの長さが以下のいずれかの条件に合致する場合、そこを行の区切りだと判定することが可能となる。なお、ストロークデータサイズとは、ストロークデータに外接する枠における長辺の長さを意味する。
【0056】
(条件1)時間グループの中におけるストロークデータサイズの平均値をsとした場合、オフストロークの長さがsの3倍よりも長い場合
(条件2)筆記方向を横方向とし、時間グループの中におけるストロークデータサイズの平均値をsとした場合、オフストロークデータの横方向の長さがsよりも大きい場合
例えば、図14(b)においては、オフストロークを細破線で示しており、行の区切りとなるオフストロークを太破線で示している。図14(b)のように、上の行を書いてから下の行に移るときには、オフストロークの長さが長くなってしまうことから、ここで行の区切りが生じたものと推定することが可能となる。
【0057】
図15には、時間グループを用いる場合のグループ編成部111の構成図を示す。図15に示すように、グループ編成部111は、ストロークデータ時間情報抽出部151と、ストロークデータグループ判定部152とで構成されている。
【0058】
ストロークデータ時間情報抽出部151では、隣り合ったストロークデータ間の時間間隔(前のストロークデータの終点から次のストロークデータの始点までの時間間隔)が1秒以上空いている位置を抽出し、ストロークデータグループ判定部152では、オフストロークに基づいてグループ単位で分割する際の区切れ部分を特定することになる。
【0059】
なお、長いオフストロークがある位置においては、通常は時間間隔も長い。したがって、図15のように処理を2段階にせず、ストロークの時間間隔のみで分割した場合であっても実用的に十分であると考えられる。
【0060】
また、ストロークデータをグループ化する他の方法として、文字認識機能を用いてグループ分けする方法も考えられる。すなわち、文字枠を用いずに画面上に書かれた文字列を認識する枠なし文字認識を行い、かかる認識結果に基づいてグループ化を行う方法である。
【0061】
図16には、枠なし文字認識の結果を用いる場合のグループ編成部111の構成図を示す。図16に示すように、グループ編成部111は、文字認識部161と、ストロークデータグループ判定部162とで構成されている。
【0062】
具体的には、図17に示すように、文字認識部161において、文字枠を用いずに画面上に書かれた文字列を認識する枠なし文字認識を行い、文字を分割してそれぞれの文字認識結果が得られる。そして、文字認識部161の出力として、それぞれの文字認識結果に評価値が付加される。
【0063】
文字認識部161が出力する評価値としては様々なものが考えられる。例えば評価値を1000点満点とし、評価値が750点を越えれば文字認識結果として十分に確からしいと判断することになる。図17では、それぞれの文字認識評価値を求め、それが750点以上であれば文字であると認識され、700点以下であれば図形として認識される。また、700点から750点の間であれば、文字認識時にも図形認識時にも選択可能である、というように判断することができる。
【0064】
そして、ストロークデータグループ判定部162では、評価値に基づいて文字であるか否かの判断結果を参照して、認識対象カテゴリが文字であるもの、図形であるもの、等のように、ストロークデータをグループ化することになる。
【0065】
次に、本発明の実施の形態2にかかるオンライン手書き情報認識装置を実現するプログラムの処理の流れについて説明する。図18に本発明の実施の形態にかかるオンライン手書き情報認識装置を実現するプログラムの処理の流れ図を示す。
【0066】
図18において、まずペンの位置座標を取得し、スタイラスペンが筆記中(オン状態)であるか否か(オフ状態)の情報も含めて座標点データを取得する(ステップS1801)。そして、取得された座標情報に基づいて、ストロークデータを抽出して、ストロークデータの集合として保存する(ステップS1802)。また、ストロークデータの時間情報に基づいて、ストロークデータのグループ化を行う(ステップS1803)。
【0067】
次に、認識対象カテゴリを設定し(ステップS1804)、保存されているストロークデータ集合のグループが認識対象カテゴリに合致するか否かを判定する(ステップS1805)。
【0068】
ストロークデータのグループが認識対象カテゴリに合致する場合には(ステップS1805:Yes)、当該グループに含まれているストロークデータのみが選択対象であると認定し(ステップS1806)、ストロークデータのグループが認識対象カテゴリに合致しない場合には(ステップS1805:No)、当該グループに含まれているストロークデータは選択対象でないと認定する(ステップS1807)。そして、ステップS1805以下の処理を全てのストロークデータについて判定が完了するまで繰り返す(ステップS1808:No)。
【0069】
全てのストロークデータについて判定が完了した場合には(ステップS1808:Yes)、選択対象であると認定されたグループの中から、認識対象とするべきグループを選択する(ステップS1809)。最後に、選択されたグループに含まれているストロークデータについて、文字認識あるいは図形認識が行われる(ステップS1810)。
【0070】
以上のように本実施の形態2によれば、認識対象カテゴリをストロークデータの選択処理開始前に設定するとともに、ストロークデータを事前にグループ化しておくことによって、認識対象カテゴリの相違するグループに含まれているストロークデータを認識対象から排除することができ、選択対象となる筆跡と選択対象外の筆跡とが近くに存在し、かつ両者の認識対象カテゴリが一致する場合であっても、容易に目的とする筆跡のみを選択することが可能となる。
【0071】
なお、本発明の実施の形態にかかるオンライン手書き情報認識装置を実現するプログラムは、図19に示すように、CD−ROM192−1やフレキシブルディスク192−2等の可搬型記録媒体192だけでなく、通信回線の先に備えられた他の記憶装置191や、コンピュータ193のハードディスクやRAM等の記録媒体194のいずれに記憶されるものであっても良く、プログラム実行時には、プログラムはローディングされ、主メモリ上で実行される。
【0072】
また、本発明の実施の形態にかかるオンライン手書き情報認識装置により用いられるグループ化されたストロークデータ等についても、図19に示すように、CD−ROM192−1やフレキシブルディスク192−2等の可搬型記録媒体192だけでなく、通信回線の先に備えられた他の記憶装置191や、コンピュータ193のハードディスクやRAM等の記録媒体194のいずれに記憶されるものであっても良く、例えば本発明にかかるオンライン手書き情報認識装置を利用する際にコンピュータ193により読み取られる。
【0073】
【発明の効果】
以上のように本発明にかかるオンライン手書き情報認識装置によれば、文字列や図形など様々な筆跡が混在して書かれた手書き筆跡情報から認識したい部分のみを選択して認識する際に、認識対象となる部分と認識対象外の部分とを容易に分離し、認識対象となる部分のみを選択することができる。これにより筆跡選択の操作性が向上し、また選択誤りも低減することから、手書き認識装置の使い勝手が向上する。
【図面の簡単な説明】
【図1】従来のオンライン手書き情報認識における処理の説明図
【図2】従来のオンライン手書き情報認識装置の構成図
【図3】従来のオンライン手書き情報認識装置における問題点の説明図
【図4】従来のオンライン手書き情報認識装置における問題点の説明図
【図5】本発明の実施の形態1にかかるオンライン手書き情報認識装置の構成図
【図6】本発明の実施の形態1にかかるオンライン手書き情報認識装置におけるストロークデータ保存部のデータ構成例示図
【図7】本発明の実施の形態1にかかるオンライン手書き情報認識装置におけるストロークデータの選択可否の説明図
【図8】本発明の実施の形態1にかかるオンライン手書き情報認識装置におけるジェスチャによるストロークデータ選択の説明図
【図9】本発明の実施の形態1にかかるオンライン手書き情報認識装置におけるジェスチャによるストロークデータ選択の説明図
【図10】本発明の実施の形態1にかかるオンライン手書き情報認識装置における処理の流れ図
【図11】本発明の実施の形態2にかかるオンライン手書き情報認識装置の構成図
【図12】本発明の実施の形態2にかかるオンライン手書き情報認識装置におけるグループ化の例示図
【図13】本発明の実施の形態2にかかるオンライン手書き情報認識装置におけるグループ化の例示図
【図14】本発明の実施の形態2にかかるオンライン手書き情報認識装置におけるグループ化方法の説明図
【図15】本発明の実施の形態2にかかるオンライン手書き情報認識装置におけるグループ編成部の構成図
【図16】本発明の実施の形態2にかかるオンライン手書き情報認識装置におけるグループ編成部の構成図
【図17】本発明の実施の形態2にかかるオンライン手書き情報認識装置における文字認識を利用したグループ化方法の説明図
【図18】本発明の実施の形態2にかかるオンライン手書き情報認識装置における処理の流れ図
【図19】コンピュータ環境の例示図
【符号の説明】
21、51 座標入力部
22、52 ストロークデータ保存部
23、56 ストロークデータ選択部
24、57 手書き情報認識部
53 認識対象設定部
54 ストロークデータ判定部
55 ストロークデータ選択対象限定部
111 グループ編成部
151 ストロークデータ時間情報抽出部
152、162 ストロークデータグループ判定部
161 文字認識部
191 回線先の記憶装置
192 CD−ROMやフレキシブルディスク等の可搬型記録媒体
192−1 CD−ROM
192−2 フレキシブルディスク
193 コンピュータ
194 コンピュータ上のRAM/ハードディスク等の記録媒体
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an online handwritten information recognition apparatus and method for performing character recognition or figure recognition while recognizing information on handwritten strokes.
[0002]
[Prior art]
With the recent rapid advances in computer technology, the processing speed of CPUs has also been improved, and various types of handwritten character recognition technologies that have conventionally been considered difficult to put into practical use due to problems such as the processing time and recognition accuracy have been considered. At present, portable information terminals are rapidly spreading not only for business use but also for general home use. Recently, many technologies have been developed that can recognize handwritten characters or handwritten figures freely written without being restricted by a character frame or the like.
[0003]
When writing freely without being restricted by a character frame or a ruled line, various contents such as a figure and a character string are freely written. In order to determine the category of a character string or a figure by freely recognizing a part of the handwritten content, an operation of selecting a part to be recognized from many pieces of stroke data is required.
[0004]
For example, as shown in FIG. 1, a character string "Tanaka" is selected from the contents of a memo in which a character string and a line drawing are mixed, and character recognition is performed by acquiring stroke data thereof. Obtaining the result character string is the basic flow of the handwritten character recognition processing. In order to execute such processing, processing such as selection of stroke data (handwriting), acquisition of stroke data (handwriting), and recognition of a character string are required. Here, the stroke data means trajectory data from when the pen touches down to when it comes off.
[0005]
FIG. 2 shows a typical configuration of a conventional online handwritten information recognition apparatus. In FIG. 2, stroke (handwriting) coordinate information obtained from the coordinate input unit 21 is first stored in the stroke data storage unit 22 as a set of stroke data. Then, a part of the stroke data is selected by the stroke data selection unit 23 from the stored set of stroke data, and a subset of the stroke data is obtained. Finally, by sending a subset of the stroke data to the handwritten information recognition unit 24, a desired recognition result can be obtained.
[0006]
Specifically, the coordinate input unit 21 uses an input medium, such as a tablet or a stylus pen, capable of drawing and writing characters. The stroke data storage unit 22 may be a storage device of a computer or a storage device on a network.
[0007]
Furthermore, as the stroke data selection unit 23, it is conceivable to use a method of selecting by an encircling gesture by writing with a pen, for example, as disclosed in (Patent Document 1) or (Non-Patent Document 1). The handwritten information recognizing unit 24 also includes a normal online handwritten character recognizing means as disclosed in, for example, (Patent Document 2), (Non-Patent Document 2), and (Non-Patent Document 5), It is conceivable to use a figure recognizing unit as disclosed in US Pat.
[0008]
[Patent Document 1]
JP-A-6-131111
[Patent Document 2]
JP-A-10-40337
[0009]
[Non-patent document 1]
Satoshi Sato and two others, "Implementation and Evaluation of Object Judgment Algorithm by Pen Enclosure for Handwriting Interface", IEICE Technical Report, December 1991 (PRU92-88)
[0010]
[Non-patent document 2]
Hiroshi Tanaka, et al., "Online Handwritten Character String Recognition without Real-Time Frame Using Hierarchical Delay Segmentation", IEICE Technical Report, March 2002 (PRMU 2001-264)
[0011]
[Non-Patent Document 3]
Masashima Hiroshi, 3 others, "Online Handwritten Figure Recognition Method Independent of Number of Strokes, Stroke Order, Rotation, and Separation", Transactions of Information Processing Society of Japan, May 1986, Vol. 27, No. 5,
[0012]
[Non-patent document 4]
Haruhiko Kojima, Toru Toida, "Online Handwritten Figure Recognition by Neighboring Line Structure Analysis", Transactions of Information Processing Society of Japan, August 1987, Vol. 28, No. 8,
[0013]
[Non-Patent Document 5]
Masayoshi Okamoto, 3 others, "Handwritten Information Recognition Based on Knowledge Base", Information Processing Society of Japan 43rd (late 1991) National Convention, 2D-1, p. 2-19-2-20
[0014]
[Problems to be solved by the invention]
However, in the case where the actually written state is, for example, as shown in FIG. 3, there is a double underline which is a handwriting that is not selected, near the character string “Tanaka” to be selected. However, there is a possibility that a handwriting that is not selected is erroneously selected. In this case, it is difficult to accurately perform character recognition by also using a double underline that is not selected as a recognition target. There was a problem.
[0015]
Similarly, when the actually written state is, for example, as shown in FIG. 4, when another character string “mountain” not to be selected exists near the character string “Tanaka” to be selected. However, there is a possibility that even the stroke data of a part of the character string “mountain” that is not selected is erroneously selected, and also in this case, it is difficult to accurately perform the character recognition.
[0016]
The present invention has been made to solve the above-described problem, and even when handwriting to be selected and handwriting not to be selected exist close to each other, an on-line system capable of easily selecting only a desired handwriting can be selected. An object of the present invention is to provide a handwritten information recognition apparatus and method.
[0017]
[Means for Solving the Problems]
In order to achieve the above object, an online handwritten information recognition apparatus according to the present invention includes a coordinate input unit for inputting handwriting coordinate data, and a set of stroke data formed by the input handwriting coordinate data. A handwriting information recognition unit that performs recognition or graphic recognition, and a stroke data selection unit that selects a subset of stroke data to be subjected to handwriting recognition from a set of stroke data. An online handwritten information recognition device that performs character recognition or figure recognition in a handwritten information recognition unit and outputs a recognition result, and a recognition target setting unit that sets a recognition target category to be recognized in the handwritten information recognition unit; A strobe for determining whether each stroke data belongs to the currently set recognition target category. And Kudeta determination unit, the stroke data to be selected in the stroke data selecting unit, and having a stroke data selection targeting unit to limit the stroke data which are determined to belong to the recognition object category.
[0018]
With this configuration, by setting the recognition target category before the start of the stroke data selection process, stroke data having a different recognition target category can be excluded from the recognition target, and the handwriting to be selected and the handwriting to be selected can be excluded. It is possible to easily select only the target handwriting even when the handwriting exists nearby.
[0019]
Also, the online handwritten information recognition device according to the present invention has a group formation unit that classifies a plurality of stroke data into groups, and the stroke data determination unit determines a recognition target category to which the stroke data belongs in group units. Is preferred. Further, it is preferable that the online handwritten information recognition apparatus according to the present invention has a group formation unit for classifying a plurality of stroke data into groups, and the stroke data selection unit preferably selects stroke data for each group.
[0020]
By setting the recognition target category before the start of the stroke data selection process and by grouping the stroke data in advance, stroke data included in a group having a different recognition target category can be excluded from the recognition target. Even if handwriting to be selected and handwriting not to be selected are close to each other, and the recognition target categories of both match, it is possible to easily select only the desired handwriting. is there.
[0021]
Further, in the online handwritten information recognition apparatus according to the present invention, it is preferable that the grouping unit classifies the stroke data into groups based on the order in which the stroke data is written. Alternatively, it is preferable that the grouping unit classifies the stroke data into groups based on time information including at least a time interval at which the stroke data is written. This is because it is possible to determine whether or not a series of characters or graphics according to the length of the off-stroke.
[0022]
Further, in the online handwritten information recognition apparatus according to the present invention, it is preferable that the grouping unit classifies the stroke data into groups based on a result of character recognition of the stroke data. This is because the stroke data can be grouped for each category classified based on the evaluation value output as the recognition result.
[0023]
Further, the present invention is characterized by software that executes the functions of the online handwritten information recognition device as described above as processing steps of a computer, and specifically, a process for inputting handwriting coordinate data, A step of performing character recognition or figure recognition on a set of stroke data formed by the input handwriting coordinate data; and a step of selecting a subset of stroke data to be subjected to handwriting recognition from the set of stroke data. An online handwritten information recognition method for performing character recognition or graphic recognition on a subset of selected stroke data and outputting a recognition result, comprising: setting a recognition target category to be recognized; A step of determining whether or not each stroke data belongs to the set recognition target category; The stroke data, characterized in that it is a line handwritten information recognition method, and computer-executable program for implementing such a process and a step to limit the stroke data which are determined to belong to the recognition object category.
[0024]
With this configuration, by loading the program on a computer and executing the program, the recognition target category is set before the start of the stroke data selection process, thereby excluding stroke data having a different recognition target category from the recognition target. Even if handwriting to be selected and handwriting not to be selected exist close to each other, an online handwriting information recognition device with high recognition accuracy capable of easily selecting only the desired handwriting is provided. It can be realized.
[0025]
BEST MODE FOR CARRYING OUT THE INVENTION
(Embodiment 1)
Hereinafter, an online handwritten information recognition apparatus according to a first embodiment of the present invention will be described with reference to the drawings. FIG. 5 is a configuration diagram of the online handwritten information recognition device according to the first embodiment of the present invention.
[0026]
5, reference numeral 51 denotes a coordinate input unit, 52 denotes a stroke data storage unit, 56 denotes a stroke data selection unit, and 57 denotes a handwritten information recognition unit. It corresponds to the section 21, the stroke data storage section 22, the stroke data selection section 23, and the handwritten information recognition section 24, respectively.
[0027]
Usually, a handwriting information acquisition device combining a tablet and a stylus pen is often used for the coordinate input unit 51. Generally, the tablet senses the position coordinates of the pen at a cycle of about 50 to 200 times per second, and acquires coordinate point data including information on whether the stylus pen is being written (on state) or not (off state). I do. Then, the acquired coordinate information is stored in the stroke data storage unit 52 as a set of a plurality of stroke data as a set of one stroke data, with a continuous coordinate point sequence in which the stylus pen is on as one stroke data. In addition, as a data format of the stroke data set stored in the stroke data storage unit 52, for example, a format as shown in FIG. Of course, it is not limited to such a data format.
[0028]
Next, reference numeral 53 denotes a recognition target setting unit for setting a recognition target category in the handwritten information recognition unit 57. The recognition target categories set here include not only coarse categorization such as character strings and figures, but also fine categorization such as numeric strings, kanji strings, and polygons.
[0029]
That is, the stroke data selection unit 56 selects only the handwriting to be recognized by the handwritten information recognition unit 57. For example, if a character string is to be recognized, there is no need to select a handwriting corresponding to a figure, and if a number is to be recognized, there is no need to select a handwriting corresponding to a kanji.
[0030]
For this purpose, for example, as shown in FIG. 7, when a character string is to be selected and recognized, the recognition target category is set to “character string” in the recognition target setting unit 53, and is represented by a solid line. Only the character string that is a selectable handwriting is selected by the stroke data selection unit 56. Further, double underlines and abbreviations “Tel”, which are unselectable handwritings represented by broken lines, are excluded from selection targets in the stroke data selection unit 56.
[0031]
The recognition target category set in the recognition target setting unit 53 is passed to the stroke data determination unit 54, and from the set of stroke data stored in the stroke data storage unit 52, which stroke data matches the recognition target category It is used to determine whether or not to do.
[0032]
That is, in the stroke data determination unit 54, from among the set of stroke data stored in the stroke data storage unit 52, only the stroke data that matches the recognition target category can be selected. Determine whether the category matches.
[0033]
In the first embodiment, the stroke data determination unit 54 determines whether each of the stroke data is the stroke data forming the character string or the stroke data forming the graphic, and to which category the stroke data belongs. It shall be determined. For example, in (Non-Patent Document 5), a method of classifying a set of stroke data into four types of characters, figures, tables, and edit symbols is disclosed. By regarding the three symbols collectively as a graphic, it is possible to determine a character string and a graphic. In addition, the determination method of both is not limited to this.
[0034]
Reference numeral 55 denotes a stroke data selection target limiting unit. The stroke data determination unit 54 determines, from the stroke data determined to belong to the recognition target category, that is, from among the stroke data determined to be selected as the recognition target, Is selected.
[0035]
For example, the stroke data selection unit 56 is controlled to select stroke data surrounded by a gesture 81 (dotted arrow) written with a stylus pen or the like as shown in FIG. That is, whether or not each piece of stroke data is to be recognized is determined based on whether or not each stroke data is within an area surrounded by the gesture 81 described on the screen.
[0036]
Specifically, as shown in FIG. 9, stroke data (thick line) determined to match the recognition target by the stroke data determination unit 54 and stroke data (thin line) determined not to match are recognized in advance. In the stroke data selection unit 56, when an encircling gesture is written, even if it is stroke data included in the encircling gesture, the stroke data indicated by a thin line, that is, the stroke data Stroke data determined to not match is excluded from selection targets. Then, only stroke data indicated by a thick line, that is, stroke data determined to match the recognition target by the stroke data determination unit 54 is selected.
[0037]
Note that the stroke data selection target limiting unit 55 only needs to limit the selection target of the stroke data, so that it is not necessary to display stroke data that can be selected to the user. However, by indicating to the user which stroke data on the screen is currently selected, the usability of the stroke data selection unit 56 is considered to be further improved.
[0038]
As a method for indicating to the user which stroke data is to be selected, a method of displaying the display color of the stroke data other than the selection lighter, a method of changing the line thickness, or a method of selecting Sometimes it is possible to temporarily erase the screen. Of course, it is not limited to these methods.
[0039]
Then, the stroke data selected by the stroke data selection unit 56 is passed to the handwritten information recognition unit 57 as a subset of the stroke data, and character recognition or figure recognition is performed.
[0040]
Next, the flow of processing of a program for realizing the online handwritten information recognition apparatus according to the first embodiment of the present invention will be described. FIG. 10 is a flowchart of a program for realizing the online handwritten information recognition apparatus according to the embodiment of the present invention.
[0041]
In FIG. 10, first, the position coordinates of the pen are acquired, and coordinate point data is acquired including information on whether or not the stylus pen is being written (on state) (off state) (step S1001). Then, based on the acquired coordinate information, stroke data is extracted and stored as a set of stroke data (step S1002).
[0042]
Next, a recognition target category is set (step S1003), and it is determined whether or not individual stroke data in the stored set of stroke data matches the recognition target category (step S1004).
[0043]
If the stroke data matches the recognition target category (step S1004: Yes), it is determined that the stroke data is a selection target (step S1005), and if the stroke data does not match the recognition target category (step S1004). : No), it is determined that the stroke data is not a selection target (step S1006). Then, the processing from step S1004 is repeated until the determination is completed for all the stroke data (step S1007: No).
[0044]
If the determination has been completed for all the stroke data (step S1007: Yes), stroke data to be recognized is selected from among the stroke data that has been determined to be selected (step S1008). Finally, character recognition or figure recognition is performed on the selected stroke data (step S1009).
[0045]
As described above, according to the first embodiment, by setting the recognition target category before the start of the stroke data selection process, stroke data having a different recognition target category can be excluded from the recognition target. Even when handwriting to be selected and handwriting not to be selected exist close to each other, it is possible to easily select only the desired handwriting.
[0046]
(Embodiment 2)
Hereinafter, an online handwritten information recognition apparatus according to a second embodiment of the present invention will be described with reference to the drawings. FIG. 11 is a configuration diagram of the online handwritten information recognition device according to the second embodiment of the present invention. As shown in FIG. 11, since the basic configuration is the same as that of the first embodiment, the portions having the common functions are denoted by the same reference numerals as those in FIG. 5, and the detailed description is omitted.
[0047]
The second embodiment is different from the first embodiment in that it has a group formation unit 111 for grouping a set of stroke data stored in the stroke data storage unit 52.
[0048]
In other words, by recognizing categories to be recognized regarding stroke data such as character strings and figures, it is possible to improve recognition accuracy for handwritten information in which both characters and figures are described in the vicinity. As shown in the example, when handwritten information belonging to the same recognition target category such as a plurality of character strings or figures is described in the vicinity, it is sufficient to solve the problem that some of them are mixed and selected. Can not be solved.
[0049]
Therefore, in the second embodiment, stroke data belonging to the same recognition target category are grouped as one series as a series of character strings or a series of graphics written continuously, and the recognition target category of the stroke data is determined. By performing the stroke data selection processing on a group basis, it is possible to prevent stroke data belonging to different groups from being simultaneously selected.
[0050]
For example, as shown in FIG. 12, when character strings such as “Tel to Mr. Tanaka”, “Sama Yamamoto”, and “012-345-6789” are grouped, for example, when trying to select “Tanaka”, It is possible to prevent the stroke data belonging to “Yamamoto” from being selected at the same time. In addition, as shown in FIG. 13, grouping is performed not in a series of character strings but in units of characters, so that characters in different character strings can be simultaneously selected. Will be possible.
[0051]
Therefore, the stroke data determination unit 54 determines the recognition target category for each group of the stroke data. In order to determine the recognition target category on a group basis, for example, it is conceivable that the determination is made by majority decision of the individual determination results. When the determination results are the same (for example, when two strokes were determined to be a figure and a character in a group of four strokes, etc.), it is only necessary to determine that any of the recognition target categories is possible. However, it is not limited to these methods.
[0052]
Also, the stroke data selection unit 56 selects a group to be recognized in units of stroke data groups. For that purpose, when selecting a stroke, the center point of the circumscribed frame of each group may be obtained, and the stroke may be selected in group units depending on whether the center point is surrounded by the surrounding gesture. Of course, it is not limited to these methods.
[0053]
Various methods are also conceivable for grouping the stroke data. For example, as shown in FIG. 14, a method of dividing a set of stroke data for each line can be considered.
[0054]
First, as shown in FIG. 14A, it is conceivable to roughly divide a set of stroke data using the writing time. Specifically, a set of stroke data is arranged in the order of written time, and the time interval between adjacent stroke data (the time interval from the end point of the previous stroke data to the start point of the next stroke data) is 1 second. The vacant positions are set as division points. Hereinafter, a subset of the stroke data divided by the time interval is referred to as a “time group”.
[0055]
Next, attention is paid to the positional relationship of the stroke data in each time group. The locus of movement of the pen between stroke data is called an off-stroke. If the length of the off-stroke meets any of the following conditions, it can be determined that the off-stroke is a line break. The stroke data size means the length of the long side of the frame circumscribing the stroke data.
[0056]
(Condition 1) When the average value of the stroke data size in the time group is s, and the length of the off-stroke is longer than three times s
(Condition 2) When the writing direction is the horizontal direction and the average value of the stroke data size in the time group is s, the horizontal length of the off-stroke data is larger than s
For example, in FIG. 14B, the off-stroke is indicated by a thin broken line, and the off-stroke serving as a line break is indicated by a thick broken line. As shown in FIG. 14B, when writing the upper line and moving to the lower line, the length of the off-stroke becomes long, so it is presumed that a line break has occurred here. It becomes possible.
[0057]
FIG. 15 shows a configuration diagram of the group formation unit 111 in the case of using a time group. As shown in FIG. 15, the grouping unit 111 includes a stroke data time information extracting unit 151 and a stroke data group determining unit 152.
[0058]
The stroke data time information extraction unit 151 extracts a position where the time interval between adjacent stroke data (the time interval from the end point of the previous stroke data to the start point of the next stroke data) is 1 second or more, and extracts the stroke. The data group determination unit 152 specifies a delimiting portion when dividing in groups based on the off-stroke.
[0059]
At a position where a long off-stroke exists, the time interval is usually long. Therefore, even if the processing is not divided into two steps as shown in FIG. 15 and divided only by the time interval of the stroke, it is considered that it is practically sufficient.
[0060]
As another method of grouping stroke data, a method of grouping using a character recognition function can be considered. That is, this is a method of performing frameless character recognition for recognizing a character string written on a screen without using a character frame, and performing grouping based on the recognition result.
[0061]
FIG. 16 shows a configuration diagram of the grouping unit 111 in the case of using the result of frameless character recognition. As shown in FIG. 16, the group formation unit 111 includes a character recognition unit 161 and a stroke data group determination unit 162.
[0062]
More specifically, as shown in FIG. 17, the character recognition unit 161 performs frameless character recognition for recognizing a character string written on the screen without using a character frame, and divides the character into individual characters. A recognition result is obtained. Then, an evaluation value is added to each character recognition result as an output of the character recognition unit 161.
[0063]
Various evaluation values can be considered as the evaluation value output by the character recognition unit 161. For example, if the evaluation value is a perfect score of 1000 and the evaluation value exceeds 750, it is determined that the character recognition result is sufficiently reliable. In FIG. 17, each character recognition evaluation value is obtained, and if it is 750 or more, it is recognized as a character, and if it is 700 or less, it is recognized as a figure. If the score is between 700 points and 750 points, it can be determined that selection is possible at the time of character recognition and at the time of graphic recognition.
[0064]
The stroke data group determination unit 162 refers to the determination result as to whether or not the character is a character based on the evaluation value, and determines whether the recognition target category is a character, a graphic, or the like. Will be grouped.
[0065]
Next, a processing flow of a program for realizing the online handwritten information recognition apparatus according to the second embodiment of the present invention will be described. FIG. 18 shows a flowchart of processing of a program for realizing the online handwritten information recognition apparatus according to the embodiment of the present invention.
[0066]
In FIG. 18, first, the position coordinates of the pen are acquired, and coordinate point data is acquired including information on whether or not the stylus pen is being written (on state) (off state) (step S1801). Then, stroke data is extracted based on the acquired coordinate information, and stored as a set of stroke data (step S1802). Further, grouping of the stroke data is performed based on the time information of the stroke data (step S1803).
[0067]
Next, a recognition target category is set (step S1804), and it is determined whether or not the stored stroke data set group matches the recognition target category (step S1805).
[0068]
If the stroke data group matches the recognition target category (step S1805: YES), it is determined that only the stroke data included in the group is to be selected (step S1806), and the stroke data group is recognized. If it does not match the target category (Step S1805: No), it is determined that the stroke data included in the group is not a selection target (Step S1807). Then, the processing from step S1805 onward is repeated until the determination is completed for all the stroke data (step S1808: No).
[0069]
If the determination has been completed for all the stroke data (step S1808: YES), a group to be recognized is selected from the groups determined to be selected (step S1809). Finally, character recognition or graphic recognition is performed on the stroke data included in the selected group (step S1810).
[0070]
As described above, according to the second embodiment, the recognition target category is set before the start of the stroke data selection process, and the stroke data is grouped in advance, so that the recognition target category is included in a group having a different recognition target category. Stroke data that has been selected can be excluded from the recognition target, and even if the handwriting to be selected and the handwriting not to be selected exist close to each other, and the recognition target categories of both are the same, it can be easily performed. Only the desired handwriting can be selected.
[0071]
As shown in FIG. 19, the program for realizing the online handwritten information recognition device according to the embodiment of the present invention includes not only a portable recording medium 192 such as a CD-ROM 192-1 or a flexible disk 192-2, but also a program. The program may be stored in any of another storage device 191 provided at the end of the communication line, or a recording medium 194 such as a hard disk or a RAM of the computer 193. When the program is executed, the program is loaded and the main memory is stored. Run on
[0072]
Further, as shown in FIG. 19, the grouped stroke data and the like used by the online handwritten information recognition apparatus according to the embodiment of the present invention are also portable, such as a CD-ROM 192-1 and a flexible disk 192-2. Not only the recording medium 192, but also any other storage device 191 provided at the end of the communication line, or a recording medium 194 such as a hard disk or a RAM of the computer 193 may be used. It is read by the computer 193 when using such an online handwritten information recognition device.
[0073]
【The invention's effect】
As described above, according to the online handwritten information recognition device according to the present invention, when selecting and recognizing only a portion to be recognized from handwritten handwritten information in which various handwritings such as a character string and a figure are mixedly written, The target portion and the non-recognition target portion can be easily separated, and only the recognition target portion can be selected. As a result, the operability of handwriting selection is improved and selection errors are reduced, so that the usability of the handwriting recognition device is improved.
[Brief description of the drawings]
FIG. 1 is an explanatory diagram of processing in conventional online handwritten information recognition.
FIG. 2 is a configuration diagram of a conventional online handwritten information recognition device.
FIG. 3 is an explanatory diagram of a problem in a conventional online handwritten information recognition device.
FIG. 4 is an explanatory diagram of a problem in a conventional online handwritten information recognition device.
FIG. 5 is a configuration diagram of an online handwritten information recognition device according to the first embodiment of the present invention;
FIG. 6 is an exemplary data configuration of a stroke data storage unit in the online handwritten information recognition device according to the first embodiment of the present invention;
FIG. 7 is an explanatory diagram showing whether or not stroke data can be selected in the online handwritten information recognition apparatus according to the first embodiment of the present invention;
FIG. 8 is an explanatory diagram of stroke data selection by a gesture in the online handwritten information recognition apparatus according to the first embodiment of the present invention;
FIG. 9 is an explanatory diagram of stroke data selection by a gesture in the online handwritten information recognition apparatus according to the first embodiment of the present invention.
FIG. 10 is a flowchart of processing in the online handwritten information recognition device according to the first embodiment of the present invention;
FIG. 11 is a configuration diagram of an online handwritten information recognition apparatus according to a second embodiment of the present invention;
FIG. 12 is an exemplary diagram of grouping in the online handwritten information recognition apparatus according to the second embodiment of the present invention;
FIG. 13 is an exemplary diagram of grouping in the online handwritten information recognition apparatus according to the second embodiment of the present invention;
FIG. 14 is an explanatory diagram of a grouping method in the online handwritten information recognition apparatus according to the second embodiment of the present invention;
FIG. 15 is a configuration diagram of a group formation unit in the online handwritten information recognition apparatus according to the second embodiment of the present invention;
FIG. 16 is a configuration diagram of a group formation unit in the online handwritten information recognition device according to the second embodiment of the present invention;
FIG. 17 is an explanatory diagram of a grouping method using character recognition in the online handwritten information recognition apparatus according to the second embodiment of the present invention;
FIG. 18 is a flowchart of a process in the online handwritten information recognition apparatus according to the second embodiment of the present invention;
FIG. 19 is an exemplary diagram of a computer environment.
[Explanation of symbols]
21, 51 coordinate input unit
22, 52 Stroke data storage
23, 56 Stroke data selector
24, 57 Handwritten information recognition unit
53 Recognition target setting section
54 Stroke data judgment unit
55 Stroke data selection target limited section
111 Group Composition Department
151 Stroke data time information extraction unit
152, 162 stroke data group determination unit
161 character recognition unit
191 Line storage device
192 Portable recording media such as CD-ROM and flexible disk
192-1 CD-ROM
192-2 Flexible disk
193 Computer
194 Recording media such as RAM / hard disk on computer

Claims (8)

筆跡座標データを入力するための座標入力部と、
入力された前記筆跡座標データで形成されたストロークデータの集合に対して、文字認識又は図形認識を行う手書き情報認識部と、
前記ストロークデータの集合から手書き認識の対象となるストロークデータの部分集合を選択するストロークデータ選択部とを有し、
選択された前記ストロークデータの部分集合に対して、前記手書き情報認識部において文字認識又は図形認識を行い、認識結果を出力するオンライン手書き情報認識装置であって、
前記手書き情報認識部において認識対象とする認識対象カテゴリを設定する認識対象設定部と、
現在設定されている前記認識対象カテゴリに、前記各ストロークデータが属するか否かを判定するストロークデータ判定部と、
前記ストロークデータ選択部において選択対象となる前記ストロークデータを、前記認識対象カテゴリに属すると判定された前記ストロークデータのみに限定するストロークデータ選択対象限定部とを有することを特徴とするオンライン手書き情報認識装置。
A coordinate input unit for inputting handwriting coordinate data,
For a set of stroke data formed by the input handwriting coordinate data, a handwriting information recognition unit that performs character recognition or figure recognition,
A stroke data selection unit that selects a subset of stroke data to be subjected to handwriting recognition from the set of stroke data,
An online handwritten information recognition device that performs character recognition or figure recognition in the handwritten information recognition unit on a subset of the selected stroke data, and outputs a recognition result,
A recognition target setting unit that sets a recognition target category to be recognized in the handwritten information recognition unit;
A stroke data determination unit that determines whether the stroke data belongs to the currently set recognition target category,
A stroke data selection target limiting unit that limits the stroke data to be selected by the stroke data selection unit to only the stroke data determined to belong to the recognition target category. apparatus.
複数のストロークデータをグループごとに分類するグループ編成部を有し、
前記ストロークデータ判定部において、前記グループ単位に前記ストロークデータの属する前記認識対象カテゴリを判定する請求項1に記載のオンライン手書き情報認識装置。
A group formation unit that classifies a plurality of stroke data for each group,
2. The online handwritten information recognition apparatus according to claim 1, wherein the stroke data determination unit determines the recognition target category to which the stroke data belongs in the group unit.
複数のストロークデータをグループごとに分類するグループ編成部を有し、
前記ストロークデータ選択部において、前記グループ単位に前記ストロークデータの選択を行う請求項1に記載のオンライン手書き情報認識装置。
A group formation unit that classifies a plurality of stroke data for each group,
The online handwritten information recognition apparatus according to claim 1, wherein the stroke data selection unit selects the stroke data for each group.
前記グループ編成部において、前記ストロークデータが筆記された順序に基づいて前記ストロークデータを前記グループごとに分類する請求項2又は3に記載のオンライン手書き情報認識装置。4. The online handwritten information recognition apparatus according to claim 2, wherein the group forming unit classifies the stroke data into the groups based on an order in which the stroke data is written. 5. 前記グループ編成部において、少なくとも前記ストロークデータが筆記された時間間隔を含む時間情報に基づいて前記ストロークデータを前記グループごとに分類する請求項2又は3に記載のオンライン手書き情報認識装置。4. The online handwritten information recognition apparatus according to claim 2, wherein the group forming unit classifies the stroke data into groups based on time information including at least a time interval at which the stroke data is written. 5. 前記グループ編成部において、前記ストロークデータを文字認識した結果に基づいて前記ストロークデータを前記グループごとに分類する請求項1から3のいずれか一項に記載のオンライン手書き情報認識装置。The online handwritten information recognition apparatus according to any one of claims 1 to 3, wherein the group forming unit classifies the stroke data into the groups based on a result of character recognition of the stroke data. 筆跡座標データを入力するための工程と、
入力された前記筆跡座標データで形成されたストロークデータの集合に対して、文字認識又は図形認識を行う工程と、
前記ストロークデータの集合から手書き認識の対象となるストロークデータの部分集合を選択する工程とを有し、
選択された前記ストロークデータの部分集合に対して文字認識又は図形認識を行い、認識結果を出力するオンライン手書き情報認識方法であって、
認識対象とする認識対象カテゴリを設定する工程と、
現在設定されている前記認識対象カテゴリに、前記各ストロークデータが属するか否かを判定する工程と、
選択対象となる前記ストロークデータを、前記認識対象カテゴリに属すると判定された前記ストロークデータのみに限定する工程とを有することを特徴とするオンライン手書き情報認識方法。
A process for inputting handwriting coordinate data;
A step of performing character recognition or figure recognition on a set of stroke data formed by the input handwriting coordinate data,
Selecting a subset of stroke data to be subjected to handwriting recognition from the set of stroke data,
An online handwritten information recognition method for performing character recognition or graphic recognition on a subset of the selected stroke data and outputting a recognition result,
Setting a recognition target category to be recognized;
A step of determining whether the stroke data belongs to the currently set recognition target category,
Limiting the stroke data to be selected to only the stroke data determined to belong to the recognition target category.
筆跡座標データを入力するためのステップと、
入力された前記筆跡座標データで形成されたストロークデータの集合に対して、文字認識又は図形認識を行うステップと、
前記ストロークデータの集合から手書き認識の対象となるストロークデータの部分集合を選択するステップとを有し、
選択された前記ストロークデータの部分集合に対して文字認識又は図形認識を行い、認識結果を出力するオンライン手書き情報認識方法を具現化するコンピュータ実行可能なプログラムであって、
認識対象とする認識対象カテゴリを設定するステップと、
現在設定されている前記認識対象カテゴリに、前記各ストロークデータが属するか否かを判定するステップと、
選択対象となる前記ストロークデータを、前記認識対象カテゴリに属すると判定された前記ストロークデータのみに限定するステップとを有することを特徴とするコンピュータ実行可能なプログラム。
Steps for inputting handwriting coordinate data;
Performing a character recognition or a figure recognition on a set of stroke data formed by the input handwriting coordinate data;
Selecting a subset of stroke data to be subjected to handwriting recognition from the set of stroke data,
A computer-executable program embodying an online handwritten information recognition method for performing character recognition or graphic recognition on a selected subset of the stroke data and outputting a recognition result,
Setting a recognition target category to be recognized;
Determining whether the stroke data belongs to the currently set recognition target category,
Limiting the stroke data to be selected to only the stroke data determined to belong to the recognition target category.
JP2002302270A 2002-10-16 2002-10-16 Online handwritten information recognition apparatus and method Expired - Fee Related JP4145622B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002302270A JP4145622B2 (en) 2002-10-16 2002-10-16 Online handwritten information recognition apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002302270A JP4145622B2 (en) 2002-10-16 2002-10-16 Online handwritten information recognition apparatus and method

Publications (2)

Publication Number Publication Date
JP2004139281A true JP2004139281A (en) 2004-05-13
JP4145622B2 JP4145622B2 (en) 2008-09-03

Family

ID=32450395

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002302270A Expired - Fee Related JP4145622B2 (en) 2002-10-16 2002-10-16 Online handwritten information recognition apparatus and method

Country Status (1)

Country Link
JP (1) JP4145622B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008017184A (en) * 2006-07-06 2008-01-24 Hitachi Software Eng Co Ltd Electronic blackboard system, and concealing process method of drawing object thereof
JP2008052372A (en) * 2006-08-22 2008-03-06 Ricoh Co Ltd Image processor, handwritten information recognition method and handwritten information recognition program
JP2013238917A (en) * 2012-05-11 2013-11-28 Toshiba Corp Electronic device and handwritten document processing method
WO2014147719A1 (en) * 2013-03-18 2014-09-25 株式会社 東芝 Electronic device, and method for processing handwritten document

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008017184A (en) * 2006-07-06 2008-01-24 Hitachi Software Eng Co Ltd Electronic blackboard system, and concealing process method of drawing object thereof
JP4683560B2 (en) * 2006-07-06 2011-05-18 株式会社日立ソリューションズ Method for concealing drawing object in electronic blackboard system and electronic blackboard system
JP2008052372A (en) * 2006-08-22 2008-03-06 Ricoh Co Ltd Image processor, handwritten information recognition method and handwritten information recognition program
JP2013238917A (en) * 2012-05-11 2013-11-28 Toshiba Corp Electronic device and handwritten document processing method
WO2014147719A1 (en) * 2013-03-18 2014-09-25 株式会社 東芝 Electronic device, and method for processing handwritten document
JP5869179B2 (en) * 2013-03-18 2016-02-24 株式会社東芝 Electronic device and handwritten document processing method

Also Published As

Publication number Publication date
JP4145622B2 (en) 2008-09-03

Similar Documents

Publication Publication Date Title
US8913832B2 (en) Method and device for interacting with a map
JP4308785B2 (en) Digital ink question retrieval apparatus and method
EP3084580B1 (en) User interface for overlapping handwritten text input
EP1376390B1 (en) Writing guide for a free-form document editor
CN102890615B (en) A kind of phonetics input method based on touch-screen and device
EP1703364B1 (en) Word or character boudary-based scratch-out gesture recognition
JP5774558B2 (en) Handwritten document processing apparatus, method and program
KR20000057730A (en) Handwriting information processing system with character segmentation user interface
CN107273032A (en) Information typesetting method, device and equipment and computer storage medium
JP2003308480A (en) On-line handwritten character pattern recognizing editing device and method, and computer-aided program to realize method
JPH10154033A (en) Sentence input device and method therefor
US6421461B1 (en) Pattern recognition apparatus which compares input pattern feature and size data to registered feature and size pattern data, an apparatus for registering feature and size data, and corresponding methods and memory media therefor
JP4145622B2 (en) Online handwritten information recognition apparatus and method
JP2005025566A (en) Handwriting input device, method and program, and program recording medium
CN105653145A (en) Method and device for processing display object
JP2018067298A (en) Handwritten content editing device and handwritten content editing method
JP2000099223A (en) Data processor with handwritten character input interface and storage medium
CN101833411B (en) For the method and apparatus of person&#39;s handwriting input
JPS6136868A (en) Information retriever
JP4128325B2 (en) Character recognition device and character recognition method
US20100123719A1 (en) Method and tool for creating irregular-shaped tables
JP2009020689A (en) Data retrieval method and data retrieval device
JP2005108032A (en) Handwriting processing device
JPH0247788B2 (en)
CN107145244A (en) A kind of special-shaped characters input method, device and electronic equipment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080603

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080618

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110627

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120627

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120627

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130627

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130627

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees