JP2004362483A - Method for recognizing character, symbol and graphic, program for this method, computer readable recording medium with this program recorded thereon and character/symbol/graphic recognition system - Google Patents
Method for recognizing character, symbol and graphic, program for this method, computer readable recording medium with this program recorded thereon and character/symbol/graphic recognition system Download PDFInfo
- Publication number
- JP2004362483A JP2004362483A JP2003163078A JP2003163078A JP2004362483A JP 2004362483 A JP2004362483 A JP 2004362483A JP 2003163078 A JP2003163078 A JP 2003163078A JP 2003163078 A JP2003163078 A JP 2003163078A JP 2004362483 A JP2004362483 A JP 2004362483A
- Authority
- JP
- Japan
- Prior art keywords
- data
- character
- handwritten
- image
- symbol
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
【０００１】
【発明の属する技術分野】
本発明は、描かれた文字や記号あるいは図形を認識しその文字や記号あるいは図形の手本と照合して評価する文字、記号及び図形認識方法とそのプログラムとそのプログラムを記録した記録媒体と文字、記号及び図形認識システムに関する。
【０００２】
【従来の技術】
従来、文字や記号あるいは図形などをタブレットなどに描き、その内容について読み取り、その内容に基づいて採点などの評価を行う装置について数多く発明されている。
例えば、特許文献１には「自動採点システム」として「外部から入力される記述解答文である画像データを文字認識し、類似する文字数に応じた複数の解答文候補を出力する文字認識手段と、この文字認識手段からの各解答文候補をそれぞれ言語解析して解答モデルを作成する言語解析手段と、この解答文候補のモデルと予め格納されている問題の模範解答とを比較し正解の有無を判定する解答判定手段と、この解答判定手段により正解と判定された解答に対し、予め定める配点に従って採点処理する採点処理手段と」を備える技術が開示されている。
このような技術によれば、単なる択一問題のみならず言語解析によって解答として記載された文章の内容が明確化され、模範解答と照らして正解であるか否かの判断を下すことが可能となる。
【０００３】また、特許文献２には、「自動採点方法及びそのシステム」として「撮像手段により用紙の記入欄中に記載された文字情報を撮像し、該文字撮像データに基づいて各記入欄に記載された文字情報を文字認識した後、各記入欄の認識文字データと各記入欄に対応して予め記憶された基準データとを照合して正誤を判別し、正しいと判断された記入欄に対応して予め記憶された該記入欄の得点を加算処理して総得点を算出可能にする技術が開示されている。
このような技術によれば、所定の用紙の記入欄に記載された文字情報を文字認識して基準データと比較するため、マークシート方式や多枝択一問題方式の解答のみならず、文章による解答においても採点が可能となる。
【０００４】さらに特許文献３には、「筆記データ入力装置およびそのプログラム記録媒体」が開示されている。この技術では記入シートに手書き記入欄が形成されており、この手書き記入欄をタブレット上の入力域として定義し、この手書き記入欄に筆記された情報を筆記データとして取り込んで文字認識する。従って、この手書き記入欄に採点結果などの記入作業を行うことで新たにキー入力によって結果の集計を行う必要がなくなる。
【０００５】
【特許文献１】
特開２００１−５６６３４号公報
【特許文献２】
特開２００１−１５４５７３号公報
【特許文献３】
特開平１１−３１０４６号公報
【０００６】
【発明が解決しようとする課題】
上述のこれらの文字認識技術においては、特許文献１及び特許文献２に開示された技術では、文字全体の羅列の認識をベースとして、その文章の内容を解析するものであり、正答とされるものも複数の文字を含むものである。従って、文字や記号など１つ１つの良否はそれほど問題ではなく、解析の対象となる手書きの文字の大きさと模範解答や基準データに含まれる文字の大きさに整合性がなくとも正解であるか不正解であるかについては解析が可能である。
【０００７】しかしながら、個々の文字や記号、あるいは図形についてその正誤を判断する場合には、それらを構成する画毎あるいは部分毎に比較する必要があり、そのためにはまず手書きの文字等と模範とされる文字等の大きさを統一する必要がある。このような点を鑑みた技術については記載されておらず、手書きの文字等自体が誤記であるか否か、正しい文字等の場合であれば書き順や形状を認識してその良否を判断することができないという課題があった。
【０００８】また、特許文献３に開示された技術では、採点エリアから文字を切り出して文字認識し数値化して得点を計算するが、その文字の内容は、数字であったり○や×といった記号であったりする。この特許文献３に開示された技術では、得点を計算して別途キー入力を省略できる装置を提供するものであるため、特許文献１や２に開示された技術と同様に文字等の認識は、その大きさやあるいは形状の良否まで深く行う必要がなく、単に誤認を行うことがないように実行されることが望まれるのみである。従って、本特許文献に開示された技術においても、手書きの文字等自体の書き順や成立性、あるいは形状について認識してその良否について判断することができないという課題があった。
【０００９】本発明はかかる従来の事情に対処してなされたものであり、手書きの文字、記号あるいは図形をデジタル化し、手本と画毎に比較照合してその正誤又は正答度を判断する文字、記号及び図形認識方法とそのプログラムとそのプログラムを記録したコンピュータ読み取り可能な記録媒体と文字、記号及び図形認識システムを提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するため、請求項１記載の発明である文字、記号及び図形認識方法は、手書きの文字、記号又は図形を読み取りデジタル化した手書きデータを生成する工程と、手本の文字、記号又は図形をデジタル化した標準データと手書きデータを画毎に比較照合して前記手書きの文字、記号又は図形の正誤又は正答度を判断する工程と、手書きの文字、記号又は図形の正誤及び正答度を出力する工程とを有するものである。
上記構成の文字、記号及び図形認識方法においては、手書きデータと標準データを画毎に比較照合することによって、文字や記号、図形を構成要素に分解した上で、それらの正誤や正答度が判断されるという作用を有する。
【００１１】また、請求項２に記載の発明である文字、記号及び図形認識方法は、手書きの文字、記号又は図形を読み取りデジタル化した手書きデータを生成する工程と、手本の文字、記号又は図形をデジタル化した標準データと前記手書きデータを比較して手書きの文字、記号又は図形の大きさを手本の文字、記号又は図形の大きさに合致させる倍率を求める工程と、倍率を用いて手書きデータを変換して変換データを生成する工程と、この変換データと標準データとを画毎に照合して手書きの文字、記号又は図形の正誤又は正答度を判断する工程と、手書きの文字、記号又は図形の正誤及び正答度を出力する工程を有するものである。
上記構成の文字、記号及び図形認識方法においては、倍率が、手書きデータを変換して標準データと比較照合可能な変換データに生成されるように作用する。
【００１２】請求項３に記載の発明である文字、記号及び図形認識プログラムは、コンピュータに、手書きの文字、記号又は図形を読み取りデジタル化した手書きデータを生成する工程と、手書きデータを第１の記録媒体に格納する工程と、予め第２の記録媒体に格納された手本の文字、記号又は図形をデジタル化した標準データを読み出して、第１の記録媒体から読み出した手書きデータを画毎に比較照合し手書きの文字、記号又は図形の正誤又は正答度を判断する工程と、手書きの文字、記号又は図形の正誤及び正答度を出力する工程とを実行させるものである。
上記構成の文字、記号及び図形認識プログラムにおいては、請求項１に記載の発明を、コンピュータを作動させるプログラムとして表現したものであり、その作用は同様である。
【００１３】また、請求項４に記載の発明である文字、記号及び図形認識プログラムは、コンピュータに、手書きの文字、記号又は図形を読み取りデジタル化した手書きデータを生成する工程と、手書きデータを第１の記録媒体に格納する工程と、予め第２の記録媒体に格納された手本の文字、記号又は図形をデジタル化した標準データを読み出して、第１の記録媒体から読み出した手書きデータを比較して手書きの文字、記号又は図形の大きさを手本の文字、記号又は図形の大きさに合致させる倍率を求める工程と、倍率を用いて前記手書きデータを変換して変換データを生成する工程と、変換データを第３の記録媒体に格納する工程と、変換データと標準データを第３の記録媒体と第２の記録媒体からそれぞれ読み出して画毎に比較照合し手書きの文字、記号又は図形の正誤又は正答度を判断する工程と、手書きの文字、記号又は図形の正誤及び正答度を出力する工程とを実行させるものである。
上記構成の文字、記号及び図形認識プログラムにおいては、請求項２に記載の発明をコンピュータを作動させるプログラムとして表現したものであり、その作用は同様である。
【００１４】また、請求項５に記載の発明である文字、記号及び図形認識プログラムは、請求項４に記載の発明の倍率を用いて手書きデータを変換して変換データを生成する工程において、変換データの座標点データ数が標準データの座標点データ数と略同一となるものである。従って、請求項４に記載の発明の作用以上に、座標点データを略逐一対照させるという作用を有する。
【００１５】請求項６記載の発明である文字、記号及び図形認識プログラムは、請求項３乃至５のいずれか１に記載の発明において、標準データが文字の画毎にデジタル化された座標点データを有し、読み取られる手書きの文字の手書きデータも画毎に座標点データとしてデジタル化されるものである。
上記構成の文字、記号及び図形認識プログラムにおいては、請求項３乃至４のいずれか１に記載の発明の作用に加えて、標準データと手書きデータの座標点データ同士を比較照合することが可能であるという作用を有する。
【００１６】さらに、請求項７に記載の発明である文字、記号及び図形認識プログラムは、請求項３乃至６のいずれか１に記載の発明において、標準データが手本の文字の画数データと、画毎にデジタル化された座標点データと、手本の文字に関して跳ね、流れ、丸、丸止めのうち少なくとも１の有無を示す特徴情報データと、手本の文字に関して自画又は他画との交差点の有無を示す交差情報データとを有するものである。
本発明においては、標準データに備えられた画数データ、特徴情報データと交差情報データが、より詳細に手書きデータを認識でき、より正確に正誤や正答度を判断可能に作用する。
【００１７】請求項８に記載の発明である文字、記号及び図形認識プログラムは、請求項７に記載の発明において、第１の記録媒体から読み出した手書きデータ又は第３の記録媒体から読み出した変換データと第２の記録媒体から読み出した標準データとを画毎に比較照合し手書きの文字、記号又は図形の正誤及び正答度を判断する工程が、標準データの特徴情報データに跳ねの存在が示されている場合にその跳ねが存在する画の終了点近傍の座標点データから跳ね角度を算出する工程と、跳ねが存在する画の手書きの文字の変換データの終了点近傍の座標点データから跳ね角度を算出する工程と、標準データの跳ね角度と変換データの跳ね角度を比較して文字の正誤又は正答度を判断する工程を有するものである。
本発明においては、手書きの文字の跳ねを標準データの座標点データと変換データの座標点データから跳ね角度を算出し、比較して手書き文字に含まれる跳ねを評価する作用を有する。
【００１８】請求項９に記載の発明である文字、記号及び図形認識プログラムは、第１の記録媒体から読み出した手書きデータ又は第３の記録媒体から読み出した変換データと第２の記録媒体から読み出した標準データとを画毎に比較照合し手書きの文字、記号又は図形の正誤及び正答度を判断する工程が、標準データの特徴情報データに丸の存在が示されている場合に手書きの文字の各画の変換データの開始点と終了点の座標点データからその間の距離を算出する工程と、この距離によって文字の正誤又は正答度を判断する工程を有するものである。
例えば、ひらがなの「ぴ」の文字には丸が含まれるが、本発明はこのような文字を手書きした場合についてその正誤や正答度を判断するためのものである。このような文字を描いた場合、手書きの文字に含まれる丸はその始点と終点が一致すべきであることから、特徴情報データは、その文字の正誤や正答度を判断するために文字の各画の変換データの開始点と終了点の間の距離の算出に用いられるという作用を有する。
【００１９】請求項１０に記載の発明である文字、記号及び図形認識プログラムは、請求項７に記載の発明において、第１の記録媒体から読み出した手書きデータ又は第３の記録媒体から読み出した変換データと第２の記録媒体から読み出した標準データとを画毎に比較照合し手書きの文字、記号又は図形の正誤及び正答度を判断する工程が、標準データの特徴情報データに丸止めの存在が示されている場合に手書きの文字の各画の変換データの終了点とこの終了点から逆に予め設定した複数の点までの距離をそれぞれ算出する工程と、この距離によって文字の正誤又は正答度を判断する工程を有するものである。
本発明は、例えばひらがなの「る」の文字の最後は丸を含むように止められるが、本発明はこのような文字を手書きした場合についてその正誤や正答度を判断するためのものである。このような文字を描いた場合、手書きの文字に含まれる丸止めは画の終点が自画のいずれかの部分と一致すべきであることから、特徴情報データは、その文字の正誤や正答度を判断するために文字の各画の変換データの終了点と終了点から逆戻りして得られる複数の点までの距離の算出に用いられるという作用を有する。
【００２０】請求項１１に記載の発明である文字、記号及び図形認識プログラムは、請求項７に記載の発明において、第１の記録媒体から読み出した手書きデータ又は第３の記録媒体から読み出した変換データと第２の記録媒体から読み出した標準データとを画毎に比較照合し手書きの文字、記号又は図形の正誤及び正答度を判断する工程が、標準データの交差情報データに交差点の存在が示されている場合に手書きの文字の各画の変換データの座標点データから交差点を検出してその交差点の座標点データに交差符号を付す工程と、この交差点の各画前後の座標点データに周辺番号をその画の書き順に対して順方向又は逆方向に付す工程と、交差点の各画の周辺番号によって文字の正誤又は正答度を判断する工程を有するものである。
本発明は、例えばひらがなの「あ」の文字には画同士が交差する箇所があるが、本発明はこのような文字を手書きした場合についてその正誤や正答度を判断するためのものである。このような文字を描いた場合、手書きの文字に含まれる交差点は文字によって一定の画と画がほぼ決まった場所で発生すべきであることから、交差情報データは、その文字の正誤や正答度を判断するために文字の各画の変換データから交差点の検出及び交差した方向までの検出に用いられるという作用を有する。
【００２１】請求項１２に記載の発明は、請求項３乃至１１のいずれか１に記載された文字、記号及び図形認識プログラムを記録したコンピュータ読み取り可能な記録媒体である。本発明は、プログラムを記録した記録媒体について権利化を図るものであり、その作用は請求項３乃至請求項１１にそれぞれ記載された発明と同様である。
【００２２】請求項１３に記載の発明である文字、記号及び図形認識システムは、手書きの文字、記号又は図形を入力する入力部と、この入力部に接続され手書きの文字、記号又は図形を読み取りデジタル化して手書きデータを生成する読取部と、この読取部から手書きデータに含まれる文字、記号又は図形の特徴を画毎に読み出して、手本の文字、記号又は図形をデジタル化した標準データと画毎に比較照合して手書きの文字、記号又は図形の正誤又は正答度を判断する評価部と、手書きの文字、記号又は図形の正誤及び正答度を出力する出力部とを有するものである。
上記のように構成された文字、記号及び図形認識システムは、請求項１に記載の文字、記号及び図形認識方法あるいは請求項３に記載した文字、記号及び図形認識プログラムをシステムとして捉えた発明であり、読取部で生成される手書きデータが、評価部において標準データを用いて画毎に比較照合され、その正誤や正答度が判断されるという作用を有する。
【００２３】請求項１４に記載の発明である文字、記号及び図形認識システムは、手書きの文字、記号又は図形を入力する入力部と、この入力部に接続され手書きの文字、記号又は図形を読み取りデジタル化して手書きデータを生成する読取部と、手書きデータを格納する第１の記録媒体と、手本の文字、記号又は図形をデジタル化した標準データを格納する第２の記録媒体と、第１の記録媒体から読み出した手書きデータと第２の記録媒体から読み出した標準データを比較して手書きの文字、記号又は図形の大きさを手本の文字、記号又は図形の大きさに合致させる倍率を求める倍率解析部と、倍率を用いて手書きデータを変換して変換データを生成する変換部と、変換データを格納する第３の記録媒体と、変換データと標準データを第３の記録媒体と第２の記録媒体からそれぞれ読み出して画毎に比較照合し手書きの文字、記号又は図形の正誤又は正答度を判断する評価部と、手書きの文字、記号又は図形の正誤及び正答度を出力する出力部とを有するものである。
上記のように構成された文字、記号及び図形認識システムは、請求項２に記載の文字、記号及び図形認識方法又は請求項４に記載の文字、記号及び図形認識プログラムをシステムとして捉えた発明であり、倍率解析部が、手書きデータを変換して標準データと比較照合可能な変換データとすべき倍率を解析する作用を有する。その後、その倍率を用いて変換部によって変換データが生成され、評価部では標準データと変換データを照合して手書きの文字、記号又は図形の正誤や正答度が判断される。
【００２４】
【発明の実施の形態】
以下に、本発明に係る文字、記号及び図形認識方法とそのプログラムとそのプログラムを記録したコンピュータ読み取り可能な記録媒体の実施の形態を図１乃至図３４に基づき説明する。（請求項１乃至請求項１２に対応）
本実施の形態は、手書き文字や記号又は図形を認識して、その正誤や正しい場合に文字や記号あるいは図形としての美しさや出来ばえを判断するために供される方法あるいはプログラムである。具体的には、例えば小学生がタブレットコンピュータなどペン入力可能な装置を用いて、ひらがなや漢字を学習するようなケースに使用されるものである。
【００２５】図１は本発明の実施の形態に係る文字、記号及び図形認識方法及び文字、記号及び図形認識プログラムのフロー図である。本実施の形態の説明では、まず手書き文字を認識して、採点処理する方法について説明する。
図１において、まず、ステップＳ１は手書きデータ入力工程を示す。この手書きデータ入力工程では、タブレットコンピュータのような軌跡を追うことができる装置などに文字を手書きで入力して、その軌跡を一定の間隔の点の集合として読み取り、その点を座標データとして認識することでデジタル化する。デジタル化した手書き文字データ３は、手書き文字データベース４に格納される。
【００２６】ステップＳ２は、予め標準文字データベース２に格納され、デジタル化された標準文字データ１と手書き文字データ３の画数を比較する工程を示す。本実施の形態における最大の特徴は、画毎に手本と手書き文字を比較することにあり、まず、この画数で一致することを確認した後、手書き文字の評価を行うものである。
標準文字データ１は手書き文字データ３と同様に、手本となる文字を点の集合として捉え、集合を形成する点の座標、跳ねや丸あるいは丸止めなど文字としての特徴を示す情報、あるいは自画や他画との交差に関する情報を含むものである。
【００２７】画数が等しい場合には、ステップＳ３において、手書き文字データ３と標準文字データ１の大きさを比較して手書き文字データ３の倍率を演算する。この倍率の演算は、標準文字データ１と比較する手書き文字データ３の大きさが異なると、文字の各画の長さや跳ね、あるいは交差などの特徴が正しく認識できず、その大きさを統一するために行うものである。但し、予め文字を手書きで入力する装置の大きさを調整することによって、手書き文字データ３が、標準文字データ１とほぼ同一の大きさを構成することが予測できるような場合では、倍率を考慮する必要はない。しかしながら、前述のとおり、本実施の形態における最大の特徴である画毎の比較を行う際には、その画毎の標準文字データ１と手書き文字データ３が対応することが重要であるため、このステップＳ３が設けられている。
【００２８】倍率の演算が終了した後、その倍率に従って拡大あるいは縮小を行い、標準文字データ１と略同一の大きさにするデータ変換を行う。これが、ステップＳ４である。変換された手書き文字データ３は、変換文字データ５として変換文字データベース６に格納される。このステップＳ４によって手書き文字データ３は、標準文字データ１の座標点の数と略同一となり、画毎の文字形状の比較が容易となり、従って次のステップＳ５における採点が容易となる。
【００２９】ステップＳ５は採点処理の工程を示す。このステップＳ５では、全角における基本的な評価から各画の基本的な評価をはじめとして、画の長さや跳ね、丸、丸止めなどの文字の特徴情報に基づく評価や交差点に関する評価などを実施する。採点された結果は採点結果データ７ａとして採点結果データベース８に格納される。詳細には図１５を参照しながら後述する。
【００３０】ステップＳ６は、ステップＳ２において画数が異なった場合、あるいはステップＳ５において文字の成立として必要な条件を満足しなかった場合などに、誤字と判断する工程を示している。誤字判断の結果は、誤字判断結果データ９として誤字判断結果データベース１０に格納される。
【００３１】ステップＳ７は、ステップＳ５における採点処理を受けて、総合的な採点を行う工程である。ステップＳ７では、ステップＳ６の誤字判断処理とは異なり、文字として成立していることを前提に、文字の辺とつくりのバランスや跳ねや交差点の位置など美的外観上の良否を判断して総合的に採点を施すものである。総合的な採点結果は、採点結果データベース８に総合採点データ７ｂとして格納される。
【００３２】このステップＳ７とステップＳ６の採点と判断を受けてステップＳ８では、その結果を出力する工程である。出力方法は、コンピュータの画面上に表示するものであったり、音声を伴うものであったり、プリンターに印字するものであったりどのような方法でもよく限定するものではない。また、特定の箇所に例えば赤色で着色したり、ハッチングを施したり、文字の濃度を変更したり学習者が留意すべき点を強調するようなものであると好適である。
【００３３】次に、図２に示す具体例を参照しながら、本実施の形態に係る文字、記号及び図形認識方法と文字、記号及び図形認識プログラムについて説明する。
図２は、標準文字１１のひらがなの「あ」に関する標準文字データ１の内容を編集するための画面であるが、標準文字データ１の内容を示す模式図でもある。図２においては、データ点１２とそれを肉付けした文字の外形を同時に示しており、「あ」として見える部分は文字として「あ」であるが、標準文字データ１としては、第１画１３については、そのほぼ中央に示されるようなデータ点１２の羅列として形成されるものである。第２画１４、第３画１５も同様である。これらのデータ点１２は、図２に示されるｘ軸とｙ軸の座標上に存在する点として表現される。
【００３４】「あ」の文字としての特徴について述べると、第１画１３と第２画１４には、第１画１３のほぼ中央に交差点１６が存在する。これは第１画１３及び第２画１４からすればそれぞれ他画との交差点となる。一方、第３画１５においては、自画との交差点１９が存在し、さらに他画との交差点１７，１８も存在している。また、第１画１３及び第２画１４の画の終点が止めであるのに対して、第３画１５の終点は、流れ箇所２０となっていることも特徴の一つである。
このような標準文字１１について、標準文字データ１としては図３に示されるようなデータが格納されている。図３は、標準文字データ１を編集するための画面であり、データ構造を模式的に示すものでもある。標準文字１１が右側に示されている。また、画数欄３１に１とあるように本図は標準文字１１を構成する各画のうち、第１画１３について示すものである。なお、総画数３２は３と表示されている。
【００３５】図３において、文字表示欄２１にはひらがなの「あ」が表記されており、点位置欄２２には０から第１画１３を構成する点の数まで記入されている。この第１画１３を構成する点の数であるが、点数欄３０に記載されているとおり、４２の点から構成されている。すなわち、本図は第１画１３に関するデータシートの第１頁を示すものであり、さらに４２まで点位置欄２２に記載されている後続のデータシートの頁が存在することになる。
また、ｘ軸座標欄２３及びｙ軸座標欄２４には、それぞれの点の座標が表示されている。
但し、点位置欄２２には、０から４２の数値が格納されており、「０」の欄が余分に設けてある。これは、「０」の欄に対応させて、ｘ軸座標欄２３では点数欄３０に示された第１画１３のデータ点数を格納するためである。
【００３６】さらに、跳ね表示欄２６には第１画１３に跳ねが存在する場合には「１」がフラッグとして入力されるが、存在しないため「０」が示されている。同様に流れ表示欄２７は第１画１３の流れの有無を示し、丸表示欄２８は丸の有無、丸止表示欄２９は丸止めの有無を示している。第１画１３には、流れも丸も丸止めも存在しないため、「０」が示されている。
【００３７】図４は、図３の次のデータシートの頁を示すものであり、点位置欄２２に示された数値が、６から１５と図３に示された数値よりも大きなものとなっている。本図において、図３と同一の部分については同一符号を付し、その構成の説明については省略する。このように、複数の画から構成されるひらがなにおいて、その画毎に複数のデータシートを備える構造となっている。
【００３８】次に図５は、標準文字１１のひらがなの「あ」に関して標準文字データ１のうち、特に交差点など位置的な情報について編集するための画面であり、まとめたデータ模式図である。図５においても図３と同一部分については同一符号を付し、その構成の説明は省略する。
画数欄３１ａには標準文字１１を構成する各画のうち、どの画のデータであるかを示す１が表記されている。跳ね表示欄２６ａ、流れ表示欄２７ａ、丸表示欄２８ａ、丸止表示欄２９ａにはそれぞれ「０」が示されており、この第１画１３ではそれらの特徴がないことを示している。また、点数欄３０ａには前述のとおり「４２」が表記されている。
交差点に関する情報は、まず交差位置表示欄３５に「２，１，４５」が示されているが、この３つの数字のうち、最初の「２」は、この第１画１３が第２画１４と交わることを示している。次の「１」は順方向に交わることを示し、最後の「４５」は、第１画１３の始点から４５％の位置で交わることを示している。
【００３９】ここで、順方向とは、自画の場合にのみ取り扱われるものであるが、自画の相手の書き順の方向が、交差しようとしている自画の左側から進んでいる場合に順方向といい、自画の右側から進んでいる場合には逆方向という。今回のように他画と交差点を共有する場合には、順方向であるか逆方向であるかは問題とされず、いずれの場合でも「１」が格納される。従って、厳密には、他画との交差点においては、順方向であるか逆方向であるかは認識されていない。
【００４０】また、開始接続相手表示欄３６は、この第１画１３の開始点が接続したりあるいは近接したりという関係がある相手の画の番号を格納する欄であり、同様に終了接続相手表示欄３８は終了点に対する相手の画の番号を格納する欄である。開始接続内容表示欄３７及び終了接続内容表示欄３９は、それぞれ第１画１３の開始点と終了点がその相手の画とどのような関係となっているかを具体的に示す符号である。本図の例で説明すれば、第１画１３の開始点は第２画１４に対して接続に関連して特記すべき関係はないことになる。また、終了点については、どの画とも接続に関して特に関係がないことを示している。この接続内容については、図中に示されるとおり、「０」がなし、「１」が接続している、「２」が少近接している、「３」が相手画の開始位置に接続している、「４」が相手画の終了位置に接続しているということを意味している。
【００４１】点情報表示欄４１は、第１画１３のデータ点１２の座標及び太さに関するデータを表示している。
以上、「あ」の第１画１３に関するデータについて説明したが、このデータをまとめてデータ構造として示すと、表１のようになる。
【００４２】
【表１】
交差相手、交差地点及び交差方向は、第１画の場合は１箇所しかないため、このように１組のみ格納されるが、例えば第３画の場合であれば自画との交差地点も併せて３箇所あるので、３組のデータが格納されることになる。
【００４４】次に図６は、「あ」の第２画１４に関して図５と同様に示す図である。図６において、第２画１４が第１画１３に比較して長いため点数欄３０ａに示される数字は７１と増えている。また、第２画１４は第１画１３と交差する他、第３画１５とも２点で交差しているため、交差位置表示欄３５には３点の交差点に関する情報が格納されている。
最初の「１，１，２８」とは、先に説明したとおり、第１画１３と、第２画１４の２８％の位置で交差することを意味している。同様に、第２画１４は、第３画１５と、第２画１４の５９％と８７％の位置で交差することがわかる。
その他、図５と同一部分については同一符号を付して説明を省略する。また、以後図６乃至図１０においても図２乃至図５と同一部分については同一符号を付して構成の説明を省略する。
【００４５】図７は、「あ」の第３画１５に関して図５と同様に示す図である。第３画１５であることが画数欄３１ａに表示されており、また、第３画１５は３つの画のうち、最も長いため点数欄３０ａには最も多い１７６個のデータ点から構成されていることが示されている。また、第３画１５の終了点は「流れ」であるため、流れ表示欄２７ａにその座標の表示がある。この座標は、図２に示されるものであり、左上側に原点が存在し、ｘ軸は左側が正方向、ｙ軸は下側が正方向となる。
交差位置表示欄３５には、４つの交差点の表示があるが、このうち、最初と最後の表示は自画の同じ交差点を示すものである。最初の「３，１，２」とは、自画に対して、順方向に２％の位置で交差することを示しており、最後の「３，１，６３」は、同じく６３％の位置で交差することを示している。すなわち、それぞれの画において書き順に沿ったデータ点の位置毎に情報が格納されているのである。従って、自画で交差する場合には、１点が２点分のデータとして格納されることになる。
２番目の「２，１，１６」は、第２画１４と、第３画１５の１６％で交差することを示し、３番目は同様に５１％で交差することを示している。
【００４６】さらに、今度はひらがなの「い」に関するデータを用いた図８を参照しながらデータ構造について説明する。
図８は、標準文字５０のひらがなの「い」に関して、図３と同様に示す概念図である。「い」の第１画５１には、その終了点において跳ねがあるため、跳ね表示欄２６にその座標表示があり、データが格納されていることがわかる。また、跳ねた後には流れとなるため、流れ表示欄２７にもその座標表示がある。しかし、丸や丸止めはなく、「０」が表示されている。点数欄３０には「あ」の場合と同様にデータの点数が表示されている。
【００４７】図９は、標準文字５３のひらがなの「ぴ」に関して、図２と同様に示す概念図である。図９では、「ぴ」の２画目を示すものであるが、２画目とは、丸５４の部分である。従って、丸表示欄２８において「１」の表示があり、データが格納されている。もちろん、跳ねも流れも丸止めもないので、その他の部分には、座標として「０，０」が、また、無いことを示す「０」が表示されている。点数欄３０の「３７」は、丸５４を描いているデータ点数が「３７」であることを示している。
【００４８】最後に図１０は、標準文字５６のひらがなの「る」に関して、図２と同様に示す概念図である。図１０の「る」は、一画であるので点数も多く点数欄３０には「２２８」との表示がある。この文字の特徴は、画が丸止めとなっていることであり、丸止表示欄２９にフラッグとして「１」が表示されている。
以上説明したとおり、標準文字データ１はデータ点１２それぞれについて座標を備えて格納され、その各画において跳ねや流れ、丸や丸止め、さらには自画や他画との交差点や接続状況などの情報から構成される。
【００４９】一方、この標準文字データ１と比較、照合しながら採点される手書き文字のデータに関して図１１を参照しながら説明する。
図１１は、手書き文字５８のひらがなの「あ」を示す概念図である。この「あ」は、先に説明したように、その軌跡を追うことができるような装置を用いて、文字を手書きすることで得られるデータの集合として示している。すなわち、「あ」を構成するそれぞれの画が一定間隔のデータ点５９の集合として捉えられるものである。この間隔は描くスペースによって適宜調整するとよい。また、図１を用いて説明したように、標準文字データ１との大きさによって倍率を求めて変換文字データ５に変換されるため、手書き文字データ３におけるデータ点５９は、最終的には標準文字データ１のデータ点数に近い点数に変換される。
【００５０】手書き文字データ３のデータ構造として表現したものを表２に示す。
【００５１】
【表２】
【００５３】図１２は、本実施の形態に係る文字、記号及び図形認識方法とそのプログラムにおいて手書き文字データ３と標準文字データ１の画数を比較するステップＳ２を示すフロー図である。
図１２において、手書きによって入力された文字は、デジタル化されて手書き文字データ３として手書き文字データベース４に格納されている。ステップＳ２においては、この手書き文字データ３を手書き文字データベース４から読み出し、これと予め標準文字データベース２に格納されている標準文字データ１を読み出して、それぞれの画数を比較する。ここで、等しい場合には、このステップは修了し次のステップに進み、異なる場合には、手書きの文字が手本と異なることになるため、その情報は誤字判断結果データ９として誤字判断結果データベース１０に格納される。なお、本図以降、図に示される一点鎖線は各ステップにおいてデータの読み出しと格納を示すものである。
【００５４】図１３は、図１に示すフロー図のうち、ステップＳ３の詳細を示すフロー図である。ステップＳ２で標準文字データ１と等しい画数を備えると判明した手書き文字データ３は、画毎の詳細な判定、採点を行うために標準文字データ１と同等のデータ数を有してそれぞれの比較照合に対応可能なようにデータの大きさを合わせるための倍率を求める工程へと進む。この倍率とは拡大と縮小の双方を含む概念である。
まず、ステップＳ３１では、標準文字データベース２から標準文字データ１、手書き文字データベース４から手書き文字データ３を読み出して倍率変換の要否の確認表示を行い、利用者による確認を行う。
【００５５】その後、倍率変換を行う場合にはステップＳ３２で倍率の演算を行う。この演算は、具体的には標準文字データ１と手書き文字データ３の画毎に全画のデータを使用してｘ軸、ｙ軸の高さと幅の倍率を求めることによって行う。
ステップＳ３３では、それぞれのｘ軸とｙ軸の高さから倍率比を検出して予め設定した規定範囲と比較する。この規定範囲は、この後の採点処理が可能であると判断される限度の倍率比をいい、これ以上であればｘ軸とｙ軸の倍率比のうち倍率比が１に近い方を使用する。
規定範囲内であればステップＳ３４でそれぞれの軸の倍率比を選択して使用することとする。
なお、ステップＳ３１で倍率変換の実施を行わないとした場合には、倍率を用いた変換を行わないため、そのまま手書き文字データ３を複製して変換文字データ５としてステップＳ５の採点処理を行う。
【００５６】図１４は、図１に示すフロー図のうち、ステップＳ４の詳細を示すフロー図である。ステップＳ４は、倍率変換を実施したために手書き文字データ３の字としてのバランスを失う場合を考慮して重心の調整を行い、変換文字データを生成する工程である。
ステップＳ４１では、手書き文字データ３と標準文字データ１を用いてそれぞれの手書き文字と手本文字の重心位置を演算する。ステップＳ４２では、ｎ＝１、すなわち第１画と指定し、ステップＳ４３で手書き文字データ３を用いて演算された手書き文字の第１画の重心を標準文字データ１を用いて演算された手本文字の第１画の重心へ合わせることで重心の位置を調整する。
【００５７】ステップＳ４４で全角について終了したか否かを確認し、そうでない場合には、画数をインクリメントしてさらにステップＳ４３に戻り第２画、第３画と重心の位置を調整する。最終画まで重心調整が終了した場合には変換文字データ５が生成され、変換文字データ５を変換文字データベース６に格納してこのステップＳ４を終了する。
【００５８】図１５は、図１に示すフロー図のうち、ステップＳ５の詳細を示すフロー図である。ステップＳ５は採点処理を行う工程であり、この工程は詳細には図１５に示すとおり、ステップＳ５０からステップＳ５９までの１０工程を含むものである。
ステップＳ５０では、全角での高さ、幅、重心位置、上端部、下端部の評価を行う。倍率変換を行った場合には、画毎に重心位置を調整しているものの、全体的な重心位置は調整しておらず、必ずしも標準文字データ１の全角における重心位置と変換文字データ５の全角の重心位置が一致するものではない。これらの評価とは具体的には、図１６に示されるとおり、全画描かれた状態において高さ、幅、重心位置、上端部と下端部について、予め設定された違いの幅、あるいは誤差範囲に応じて減点するものである。
【００５９】この減点の仕方の例として高さを例に取ると、標準文字データ１と変換文字データ５における高さの差の絶対値を計算し、その差の絶対値から２を引いて減算値を求め、この減算値が０より小さい場合、すなわち差の絶対値が２よりも小さい場合には０とし、減算値が０より大きい場合にはその減算値をそのまま減点するなどの方法がある。もちろん、差の絶対値を２とのみ比較する必要はなく、１やその他の数字を適宜選択してもよい。
このステップＳ５０で得られた評価のデータは採点結果データ７ａとして採点結果データベース８に格納される。
【００６０】ステップＳ５１では、画毎の高さ、幅、重心位置、画毎の開始位置、終了位置の評価を行う。これらの評価は、図１７に示されるとおり、具体的にはステップＳ５０で行ったものと同様のことをそれぞれ画毎に実施するものである。予め設定された違いの幅、あるいは誤差範囲に応じて減点し（ステップＳ５１１）、第１画から始めてインクリメントしながら全角終了か否かを確認して（ステップＳ５１２）、画毎に実施する。全角終了した段階で終了となるが、このステップＳ５１で得られた評価データも採点結果データ７ａとして採点結果データベース８に格納する。
【００６１】図１５のステップＳ５２では、画の長さを評価する。この長さの評価とは、一定の誤差範囲を予め設定しておき、変換文字データ５に含まれるデータがこの誤差の範囲内に入れば正しい文字の画と判断するものである。図１８に示すとおり、まずステップＳ５２１で変換文字データ５の画毎の全点間のストローク長を標準文字データ１におけるストローク長と比較する。予め設定された違いの幅、あるいは誤差範囲に応じて減点し（ステップＳ５２１）、第１画から始めてインクリメントしながら全角終了か否かを確認して（ステップＳ５２２）、画毎に実施する。この画の長さの評価のデータは、誤字判断結果データ９として誤字判断結果データベース１０に格納される。この誤差範囲としては、例えば３倍以上あるいは３分の１以下などが考えられるが、それ以外の数値であってもよく文字や記号などによって適宜設定するとよい。
図１５のステップＳ５３では、開始点と終了点の２点間におけるベクトル方向を評価するものである。このベクトル方向が予め設定された範囲内に入る場合には正しい文字の画と判断する。
【００６２】図１９に示すとおり、まず、ステップＳ５３１で各画の開始点と終了点の間のベクトル方向を標準文字データ１と変換文字データ５について比較する。そして、予め設定された範囲内、例えば、２つのベクトルの角度が一定の角度以上である場合には異常と判断するものである。第１画から始めてインクリメントして全角か否かを判断して（ステップＳ５３２）、画毎に実施する。この評価データも誤字判断結果データ９として誤字判断結果データベース１０に格納される。
図１５のステップＳ５４は、跳ね方向の評価を行うものである。跳ね方向が一定の方向であることが確認された場合には、正しい文字の画と判断されるのである。
【００６３】図２０に示すとおり、まず、ステップＳ５４１において標準文字データ１の第１画において跳ねがあるか否かについて確認する。跳ねは、すべての画において存在するものではなく、文字の手本に関する特徴情報のひとつであるため、その有無をまず確認するものである。この有無は先に説明した図８において、跳ね表示欄２６に座標が記載されるか否かで判断される。跳ねがない場合には、ステップＳ５４３に移行し全角か否かの判断を行う。
跳ねが存在する場合には、ステップＳ５４２に移行し、標準文字データ１の跳ねの角度と変換文字データ５の跳ねの角度を比較する。比較の際には、予め設定された範囲内、例えば各画の開始点と終了点の間のベクトル角と同様に２つの跳ね角度が一定の角度以上である場合には異常と判断する。
【００６４】その後、ステップＳ５４３で全角終了であるか否かを確認してまだ画が残っている場合にはインクリメントして次の画について跳ねの有無を確認して（ステップＳ５４１）、再び跳ね角度の比較を行う（ステップＳ５４２）。各跳ねについて判断した結果は誤字判断結果データ９として誤字判断結果データベース１０に格納される。
【００６５】なお、図１５には流れの評価が記載されていないが、流れの評価も跳ねの評価と同様に実行される。流れの有無を標準文字データ１において画毎に確認し、存在する場合には変換文字データ５の流れの角度と標準文字データ１の流れの角度からその良否が判断される。
誤字と判断された場合には、その結果のデータは誤字判断結果データ９として誤字判断結果データベース１０に格納される。
【００６６】図１５のステップＳ５５は、丸評価を行うものである。詳細には図２１に示すとおり、ステップＳ５５１にて標準文字データ１の第１画が丸であるか否かについて確認する。丸もすべての画において存在するものではなく、文字の手本に関する特徴情報のひとつであり、それに該当するか否かをまず確認するものである。丸であるか否かの確認は、先に説明した図９の丸表示欄２８に表示されるフラッグの１を確認することによって行われる。
丸である場合にはステップＳ５６２に進み、変換文字データ５において、丸の画の始点と終点の間の距離を演算して予め設定した規定値の範囲以内か否かによって採点を行う。また、丸であるべき画が規定値よりも大きく外れている場合には、誤字と判断される場合もある。このように丸の場合には、その距離の程度によって採点が行われたり、誤字と判断されたりするため、その評価データは採点結果データ７ａとして採点結果データベース８に格納される場合と、誤字判断結果データ９として誤字判断結果データベース１０に格納される場合がある。
【００６７】演算と採点評価が終了するとステップＳ５５３で全角について終了したか否かの判断を行い、まだ画が残っている場合にはインクリメントして次の画についてステップＳ５５１から実行される。すべての画について終了すると次のステップＳ５６の丸止め評価が実行される。
【００６８】図１５のステップＳ５６の丸止め評価は、字画の終点における丸止めができているか否かについて評価するものである。詳細には図２２に示すとおり、ステップＳ５６１にて標準文字データ１の終点が丸止めであるか否かについて確認する。丸止めも丸などと同様にすべての画において存在するものではなく、文字の手本に関する特徴情報のひとつであり、それに該当するか否かをまず確認するのである。但し、この丸止めは図１０に示すひらがなの「る」のみに存在するものであるため、第１画、第２画と全角について評価するのではなく、「る」の第１画のみで判断される。
【００６９】丸止めの評価はステップＳ５６２に示されるとおり、変換文字データ５に含まれる終了点を基準として１０点まで戻った点から全体の点数の３分の２に相当する地点まで遡り、終了点との間の距離を演算する。図１０によれば、全体の点数は点数欄３０に記載された２２８点であるため３分の２に相当する地点は、開始点から１５２番目の点に相当する。
したがって、終了点から１０点戻るため２１８番目の点から遡って１５３番目の点まで終了点からの距離を演算することになる。そして、この演算された距離が最も近接している点とその距離を求めて評価を行うが、ほぼ０に近い距離を予め定めた規定値としておき、この規定値よりも近接している箇所がない場合、あるいは終了点前で交差している場合も誤字であると判断する。また、近接は本来ほぼ０の距離となるはずであるが、その近接距離の程度によって採点を行う。
【００７０】なお、終了点から１０点戻るのは終了点近傍では終了点と近接するのが当たり前で丸止めとなっているかの判断を誤る可能性があるためである。但し、この１０点は特にこの数に限定するものではなく、適宜定めるとよいし、さらに戻る点も３分の２に限定するものではなく、適宜４分の３などとしてもよいことは言うまでもない。
誤字と判断された結果のデータは誤字判断結果データ９として誤字判断結果データベース１０に格納され、予め設定された規定値以内に近接していることによって採点された結果のデータは採点結果データ７ａとして採点結果データベース８に格納される。
【００７１】次に図１５のステップＳ５７は交差点評価を行うものである。跳ねや流れ、丸や丸止めなどの特徴情報データの評価に加えて、文字に存在する交差点の評価を行いより正確に手書き文字の評価を行うものである。この交差点評価については、図２３及び図２４を参照しながら説明する。
【００７２】まず、図２３に示すとおりステップＳ５７ａ１にて標準文字の全画の交差点情報データを標準文字データ１から読み出し、標準交差順データ６１として交差順データベース６４に格納する。
次にステップＳ５７ａ２において、調査の基準となる画をｎとし、相手となる画をｍとしていずれも初期値を１とする。ステップＳ５７ａ３では、仮交差点の検出を行う。この検出の方法について図２４（ａ）及び（ｂ）を用いて説明する。
【００７３】図２４（ａ）において、方眼の升目は横がｘ軸の座標を示し、縦がｙ軸の座標を示すものであり、小文字のａはｎ画線６５、すなわち調査の基準となる画の線のデータを示し、小文字のｂはｍ画線６６、すなわち調査の相手となる画の線のデータを示している。このような状態において、それぞれの画の線のデータが交わる箇所を仮の交差点６７交差点として小文字のｃを当てる。
また、図２４（ａ）中に符号Ｂで示した範囲を図２４（ｂ）に示すが、このように斜めに抜けている場合においても仮の交差点６７として認識することとする。
【００７４】次に、図２３に戻りステップＳ５７ａ４では、仮交差点近傍に番号を付与する。この交差点近傍へ番号を付与する方法について図２４（ｃ）及び（ｄ）を用いて説明する。
【００７５】図２４（ｃ）に示すとおり、ｎ画線６５とｍ画線６６上において、仮の交差点６７との隣接点６８のデータに小文字のｄを代入する。また、（ｄ）ではその符号ｄの外側すなわち仮の交差点６７とは反対側に、ｎ画線６５では、仮の交差点６７と隣接点６８を挟んで周辺点６９ａ，６９ｂに１と２という数値を代入し、ｍ画線６６では、同様に仮の交差点６７と隣接点６８を挟んで周辺点７０ａ，７０ｂに１００１と１００２という数値を代入している。
これらの１，２，１００１，１００２という数値は、書き順の上流側から小さな数値を付すものである。したがって、数値の小さなデータが交差点６７への入口、大きなデータが出口となる。このように数値を代入したデータを生成した後に、図２３のステップＳ５７ａ５に移行する。
【００７６】ステップＳ５７ａ５では、交差の有無を評価するものである。図２４（ｄ）に示されるケースは、ｎ画線６５の周辺点６９ａから時計回りに周辺点をチェックすると、周辺点６９ａの次の周辺点はｍ画線６６の周辺点７０ａが存在し、次にｎ画線６５の周辺点６９ｂ、そして最後にｍ画線６６の周辺点７０ｂが存在している。このようにｎ画線６５とｍ画線６６の周辺点が交互に存在する場合には、仮の交差点６７はそのまま交差点として判断される。
【００７７】一方、もし、周辺点６９ａの次の周辺点が同じｎ画線６５の周辺点６９ｂとなり、そしてｍ画線６６の周辺点７０ａ、さらに周辺点７０ｂと続いた場合には交差しているのではなく、接して離れるといった文字の形状であると判断できる。したがって、周辺点をチェックし、なおかつ書き順に従った数値を付して、それらの配置の順序を検知して真の交差点であるか否かを判断するのである。
【００７８】ここでｎ画線６５とｍ画線６６の周辺点が交互に存在すると判断され、交差点があると判断された場合には、図２３のステップＳ５７ａ６に進む。
このステップＳ５７ａ６では、交差方向を解析するが、これは周辺点に付す番号が上流側から奇数、偶数と付番されるため、この交差点へそれぞれの画がどちらの方向から進入してくるかについて解析するものである。
【００７９】なお、図２４（ａ）〜（ｄ）においては他画との交差を例に取ったが、自画における交差においても同様に交差点の解析やその方向の解析は可能である。例えば、図２４（ｄ）においてｍ画線６６として小文字のｂが配置されている部分はすべて小文字のａとなり、周辺点に１００１と１００２が代入されているものは、それぞれ例えば３と４を代入することができる。交差点か否かの判断はその周辺点の並び方で、１，３，２，４と並んでいた場合には交差点であり、１，２，３，４と並んでいた場合には自画で接触していることが判断可能である。
交差方向の解析まで終了すると、その交差点に関する評価のデータは交差順番記憶データ６２として交差順データベース６４に格納される。
【００８０】図２３のステップＳ５７ａ７では、調査の相手となるｍ画が最終画であるか否かを判断し、最終画でなければ同一の調査の基準となる画に対して、相手画をインクリメントして再度仮の交差点の検出から実行する。最終画の場合には、ステップＳ５７ａ８に進み、調査の基準となるｎ画が最終画であるか否かの確認を行い、最終画でない場合には、基準となるｎ画をインクリメントして再度仮の交差点の検出から実行する。基準となるｎ画が最終画まで終了すると、交差点の有無及び交差方向に関するデータの取得の工程が終了する。
【００８１】次に、図２５に示すとおり、変換文字データ５を用いて解析して得られ交差順データベース６４に格納した交差順番記憶データ６２の順序を並べ替える。
図２５において、ステップＳ５７ｂでは、交差順データベース６４から交差順番記憶データ６２を読み出して、各画の開始点から交差する順番に並び替える処理を行う。
【００８２】画毎に交差点の周辺点に数値を代入していることから、その交差する順番に並び替えることは可能である。このようにまず順序だてて交差点を整理してから標準交差順データ６１との比較を行う。並び替えを行った交差順番記憶データ６２は、手書き交差順データ６３として交差順データベース６４に格納される。
【００８３】図２６は、整理された交差点について採点評価する工程（ステップＳ５７ｃ）を示すものである。図２６において、ステップＳ５７ｃ１では交差点の調査の基準した画として第１画を選択すべくｎを１とする。交差順データベース６４に格納した標準交差順データ６１及び手書き交差順データ６３を読み出し、ステップＳ５７ｃ２において交差順序と方向を比較する。その後ステップＳ５７ｃ３においてすべて一致すると判断された場合には、ステップＳ５７ｃ９において全画について終了か否かの判断を行うが、すべてで一致するわけではない場合には、ステップＳ５７ｃ４において規定以内で交差しているものを無視して比較する。これは手書き交差順データ６３に含まれるデータが、標準交差順データ６１と比較して画の開始点から一定の範囲内において交差しているような場合には除外して評価するものであるが、漢字などで第１画と第２画の特に開始点が一致するような場合が多い。そのような場合、手書きでは偶然に交差してしまうことも多く、それを交差点として認識してしまうようなケースがあるため、これを除外して交差点を評価するものである。
もちろん、文字によっては開始点のみならずその他の箇所で手書きを行う者の意識の外で交差点を生じてしまうような場合もあると考えられるので、適宜、字体によって規定を設けるとよい。
【００８４】ステップＳ５７ｃ５では、不要と考えられる交差点を除外した後に比較した交差順序と方向がすべて一致した場合には、ステップＳ５７ｃ９に進むが、それでもまだ一致しないものが存在する場合には、ステップＳ５７ｃ６に進む。
【００８５】ステップＳ５７ｃ６では、標準交差順データ６１において交差位置が近いと判断される場合には、手書き交差順データ６３において格納されている交差データの順序を入れ替え、その後に標準交差順データ６１と比較する。このようにして比較してステップＳ５７ｃ７ですべて一致すると判断されると、ステップＳ５７ｃ９へ進むが、それでも一致しないものが存在する場合には、ステップＳ５７ｃ８において合致しない場合には、合致しない基準となった画とその交差の相手画の情報を抽出する。そしてステップＳ５７ｃ９で全画終了か否かの確認を行い、残っている画が存在する場合には、基準となる画をさらに１つ進めるインクリメントを行い再度ステップＳ５７ｃ２から実行する。すべての画において評価が終了した場合には、比較した結果のデータを採点結果データ７ａとして採点結果データベース８に格納し、また、すべての画ですべての交差順序と方向が一致しない場合には誤字と判断されその結果のデータは誤字判断結果データ９として誤字判断結果データベース１０に格納される。
【００８６】次に、図１５のステップＳ５８について図２７を用いて説明する。ステップＳ５８は、画毎の相対的な位置関係を評価するものである。図２７において、まずステップＳ５８１においては標準文字データベース２に格納された標準文字データ１を読み出し、画毎に標準文字データ１に含まれる接続や遠近に関するデータを読み出す。具体的には、図５を用いて説明したとおり、ある画の開始点あるいは終了点に対して、他の画とどのような位置関係にあるかを示す開始接続相手表示欄３６、終了接続相手表示欄３８、開始接続内容表示欄３７、終了接続内容表示欄３９などに示される相対的な位置関係に関するデータを読み出す。
【００８７】ステップＳ５８２においては読み出した標準文字データ１の相対的な位置関係に関するデータを参照しながら、変換文字データベース６に格納された変換文字データ５を読み出して比較する。比較の方法としては、例えば第１画の開始点と第２画の開始点が接続しているような場合では、第１画の開始点と第２画の開始点の間の距離を座標点をベースに演算し、予め定めた規定の距離と比較してその規定の距離以内であれば接続していると判断するなどである。この規定の距離は、文字の太さなどによっては離れたように見えたり、接続しているように見えたりする程度の距離であって、実際にタブレットコンピュータなどに描いた文字が通念上接続していると認識できるような距離を適宜定めて、データとして格納しておく。なお、開始点や終了点のデータとしては、変換文字データ５に含まれる真の開始点及び終了点のデータではなく、開始点であれば数点後の座標データを、終了点であれば数点前の座標データを用いることによって、手書きによる開始点と終了点の位置が他の画との関係で交差しているような場合に対応可能とするとよい。
【００８８】比較の箇所としては開始点自身をはじめとして、終了点や画の途中など適宜比較するようにする。漢字などでは画間の接続は、開始点、終了点、そして略中間点などの場合があるためである。
【００８９】比較する内容としては、接続や遠近、方向や長短など、開始点を基準として考えた場合の位置関係や接続状況、距離の長短などを比較し、これらの評価によって誤字となるか否かを判断するものである。評価した結果のデータはステップＳ５８５において誤字判断結果データ９として誤字判断結果データベース１０に格納される。なお、方向とは開始点を基準として数点先、さらには比較対象の画すべての点との方向ベクトルを意味し、標準文字データ１における方向ベクトルと比較してその角度の差が予め定めた範囲以内であるか否かによって判断するものである。
【００９０】同様にステップＳ５８３では、標準文字データ１の終了点を基準として変換文字データ５と比較する。その場合にも終了点自身をはじめとして開始点や画の途中までの箇所について、接続状態や遠近、方向などを比較する。方向は、終了点を基準として数点前あるいは比較対象の画すべての点との方向ベクトルとなる。この結果のデータも誤字判断結果データ９として誤字判断結果データベース１０に格納される。
【００９１】ステップＳ５８４では、画の途中を基準にしてステップＳ５８２やステップＳ５８３と同様に比較する。これらの比較が終了したらステップＳ５８６において全画終了したか否かを判断し、終了していない場合には、画をインクリメントしてステップＳ５８１から再度実行する。全画終了した場合には、画毎の相対関係の評価を終了して次のステップＳ５９のパターン認識評価へ移行する。
【００９２】図１５に示されるステップＳ５９の内容を詳細に図２８に示して説明する。図２８において、パターン認識評価は、画毎に変換文字データ５をパターン認識し、標準文字データ１の手本をベースに模範と考えられる文字形状を予め同心円的に定めた範囲に含まれるか否かを判断し、その結果美的な外観として文字を評価するものである。
ステップＳ５９ａでは、第１画からスタートし、まずステップＳ５９ａ１において標準文字データベース２及び変換文字データベース６からそれぞれ標準文字データ１と変換文字データ５を読み出し、これらのデータの高さと幅を合わせる。
【００９３】次に、基準となる採点値であるｍを１００点とし、ステップＳ５９ａ２では標準文字データ１の第１画のデータを２次元配列に書き込む。この書き込まれたデータはｍ＝１００のデータとなる。基準となる採点値を１０ほど下げて、先にステップＳ５９ａ２で書き込まれたデータの周囲の空白の位置に一定の距離を隔てて同心円的に回りを囲むように範囲を設定してｍ（９０点）の値を書き込む。すなわち、手本の標準文字データ１そのままは１００点であるものの、そこから少しはずれた範囲内であれば１０点減点した９０点となる。
【００９４】次に、ステップＳ５９ａ４では、ｍが５０以下となっていない場合にはさらに１０ほど減点して再度同心円的な範囲を設定するようにするものである。５０まで範囲を設定して点数を書き込んだ後に、ステップＳ５９ａ５へ移行する。ステップＳ５９ａ５では、各採点値毎の範囲に含まれる２次元配列の点とその点に対応する各採点値を採点値範囲データ４５としてパターン認識データベース４７に格納する。
【００９５】続いて、ステップＳ５９ａ６では変換文字データ５における第１画のデータを先のステップＳ５９ａ２において標準文字データ１を書き込んだ同じ２次元配列に書き込み、変換文字書込みデータ４６を生成し、これをパターン認識データベース４７に格納する。
【００９６】ステップＳ５９ａ７においては、採点値１００の範囲に含まれる変換文字書込みデータ４６の文字を構成する点数を採点値１００の点として計数し、同様に採点値９０から５０まで行う。
【００９７】ステップＳ５９ａ８では、手書きデータの移動の点を計算する。移動の点とは、文字の画を構成する点を意味し、この文字を構成する点に沿って移動させて和算することで、文字の画毎の合計点が求まるのである。
【００９８】ステップＳ５９ａ９では、標準文字データ１に含まれる画を構成する点の総数と変換文字データ５に含まれる画を構成する点の総数の相違による補正を行い、文字の大小によって採点に不公平のないようにする。補正を行った最終的な画毎の採点は採点結果データ７ａとして採点結果データベース８に格納される。なお、補正の方法は数の比によって補正してもよいし、その平方根や２乗値などを利用してもよく、適宜ケースによって工夫するとよい。
【００９９】ステップＳ５９ａ１０では、全画について終了している場合には次のステップＳ５９ｂで滑らかさの評価を実施するが、全画について採点がなされていない場合には、画数をインクリメントして第２画、第３画の評価を行う。
【０１００】図２９は、滑らかさによる評価を行うためのフロー図である。滑らかさとは、標準文字データ１を構成するポイントのうち連続するポイント間の距離と、変換文字データ５を構成するポイントのうち連続するポイント間の距離をそれぞれ演算し、さらにその差をそれぞれのポイント毎に演算して和を求めて偏差とし、この偏差を全体のデータ数で割ることで標準文字データ１と変換文字データ５が外観上どの程度合致しているかを計る指標である。
この滑らかさによる評価は、まずステップＳ５９ｂ１において標準文字データ１と変換文字データ５を読み出し、両者の高さ及び幅を合わせる。これは大きさをある程度一致させて比較を可能とするためである。また、それぞれのデータのポイント間の距離を演算するため画毎のデータ数、すなわちポイント数をステップＳ５９ｂ２で合わせる。さらに、ステップＳ５９ｂ３では標準文字データ１を構成するデータのうち、連続するデータｓ（ｍ）とｓ（ｍ＋１）の間の距離を求め、さらに変換文字データ５のうち、連続するデータｔ（ｍ）とｔ（ｍ＋１）の間の距離を求め、これらの距離の差を求める。この差をすべての連続するデータにおいて演算し、その和を偏差とする。
【０１０１】さらに、全データの数で除して平均値を出し、その平均値の大きさによって予め定めた採点を施してその結果を採点結果データ７ａとして採点結果データベース８に格納する（ステップＳ５９ｂ４）。ステップＳ５９ｂ５では、全画について終了している場合には次のステップＳ６で誤字判断処理を実施するが、全画について採点がなされていない場合には、画数をインクリメントして第２画、第３画の評価を行う。
以上、ステップＳ５の採点処理の全体について説明した。
【０１０２】次に、図１におけるステップＳ６の誤字判断処理の工程について図３０を参照しながら詳細に説明する。図３０は、ステップＳ６のうち、画毎の特徴情報についてまとめる工程と交差点情報についてまとめる工程を示すステップＳ６１のフロー図である。図３０に示されるとおり、ステップＳ５の採点処理の工程において格納された誤字判断結果データ９を誤字判断結果データベース１０から抽出し、ステップＳ６１１では画長さ、開始・終了点、ベクトル方向、跳ね、丸、丸止めを画毎にまとめる。図１５において流れに関する評価の工程を省略したため、本図においても記載されていないが、もちろん流れの評価を行った場合には、このステップＳ６１１においてまとめる。まとめた評価データは総合採点データ７ｂとして採点結果データベース８に格納される。
【０１０３】さらに、ステップＳ６１２では、交差点数や交差方向、交差順番に関する評価データを誤字判断結果データ９から抽出し、画毎にまとめる。このまとめられた評価情報は同様に総合採点データ７ｂとして採点結果データベース８に格納される。
【０１０４】図３１はステップＳ６のうち、画の位置関係を確認するステップＳ６２を示す図であり、書き始め相対位置の確認を行う工程と書き始めの絶対位置の確認を行う工程を示すフロー図である。書き始め相対位置とは、先に図２７を用いて説明したように開始点を基準として、他の画の開始点や中間点などとの位置関係をいう。ステップＳ６２１では、この開始点と他の画の開始点や中間点などとの接続や遠近などが適切となっているか、すなわち規定の距離以内に収まっているか否かを、誤字判断結果データベース１０に格納された誤字判断結果データ９を読み出して正常か否かを判断するものである。正常か否かの評価結果のデータは総合採点データ７ｂとして採点結果データベース８に格納される。
【０１０５】また、ステップＳ６２２では、標準文字データ１に含まれる手本の開始点の座標と変換文字データ５における同一画の開始点の座標を比較して絶対的な位置の確認を行う。この絶対的な位置の確認の結果、当該画の絶対的な位置が標準文字データ１における位置と予め定めた一定距離以内であれば正常、一定距離より離れていた場合には異常と判断してその評価結果を総合採点データ７ｂとして採点結果データベース８に格納する。
図３１では、書き始めの相対位置と絶対位置の確認を行う工程を示したが、書き始めの他、書き終わりや画の途中の相対位置や絶対位置に対しても同様に評価を実施してその結果のデータは総合採点データ７ｂとして採点結果データベース８に格納される。
【０１０６】図３２は、図１のフロー図に示した総合採点処理工程（ステップＳ７）のうち、一画毎の採点の乗算工程であるステップＳ７１を示すフロー図である。図３２において、ステップＳ７１１では、図１５に示したそれぞれの採点のうち、採点結果データ７ａとして採点結果データベース８に格納された採点（１）、（２）、（６）、（７）、（１０）、（１１）を読み出して乗算する。和算でもよいが、乗算であれば、採点結果のうち１つでもの０が存在する場合には、０点となり、現実的な採点となる。
【０１０７】ステップＳ７１２では、その乗算値をその画の採点として獲得し、総合採点データ７ｂとして採点結果データベース８に格納する。
ステップＳ７１３では全画について終了であれば、ステップＳ７１を終了するが、まだ残りの画があれば画の数をインクリメントして１つ増やし、再度ステップＳ７１１から実行する。
【０１０８】図３３は、ステップＳ７のうちの後半部である総合採点を算出する工程（ステップＳ７２）について説明するためのフロー図である。
図３３において、まずステップＳ７２１では、誤字判断結果データベース１０に格納した誤字判断結果データ９を読み出し、誤字であると判断されたり、あるいは筆順が異なる場合には、その総合採点は０点である旨、総合採点データ７ｂとして採点結果データベース８に格納する。なお、筆順が異なる場合は、図１５に示されるステップＳ５２の画長さ評価やステップＳ５３の開始・終了点評価によって判明し、誤字判断結果データ９として誤字判断結果データベース１０に格納されるため、このステップＳ７２１において誤字と判断が可能となる。
【０１０９】また、誤字などでない場合には、ステップＳ７２２に進み、先のステップＳ７１で画毎に総合的に採点した画毎の総合採点データ７ｂを採点結果データベース８から読み出し、画毎の採点結果のうち、最低の採点と最低から２番目の採点を取得する。ここで、ステップＳ７２３で２画以上の場合には、ステップＳ７２４に進みこの２つの採点データを総合採点データ７ｂとして採点結果データベース８に格納する。一方、ステップＳ７２３で１画と判断される場合には、採点データは１しかなく、本来最低の採点という概念にはそぐわないが、その採点データをそのまま総合採点データ７ｂとして採点結果データベース８に格納する。
【０１１０】このように最低の採点を取得することで安全側の採点とすることができるが、特に低い側の採点データを採用することに限定するものではなく、上位の採点を採用したり、あるいは平均値を採用したり、最高と最低の採点を外したデータから採用したりと様々な採点の方法があるので、その目的によって適宜採用するとよい。
【０１１１】図３４は、図１にステップＳ８として示される出力処理工程の内容を詳細に示すフロー図である。ステップＳ８１では、誤字や筆順の間違いがない場合、ステップＳ８６に移行して採点結果データベース８に格納された総合採点データ７ｂや誤字判断結果データベース１０に格納された誤字判断結果データ９を出力する。ステップＳ８１で誤字や筆順の間違いがあった場合には、ステップＳ８２に進み、間違いの画数が５以上である場合には、ステップＳ８５で全画の色を替えて出力する。なお、画数が少ない場合には半数の画以上間違いである場合として全画の色を替えて出力してもよい。
【０１１２】間違いの画数が４以下の場合には、ステップＳ８３において間違えた画の色を替える処理を行う。また、ステップＳ８４で間違い画数が連続であるか否かを判断し、連続の場合には筆順が異なるという情報を併せて出力するが、連続でない場合には、その間違いの画のみをそのまま出力する。
ステップＳ８６における出力は画面上に視覚で捉えられるように表示する他、音声によって筆順が異なることや間違えた画の数や何画めかという情報を発生させてもよい。
【０１１３】以上のような本実施の形態によれば、文字、記号あるいは図形などを手書きで描き、その内容を画毎に評価して記載内容について誤りであるか、あるいは正しいか、さらに正しい場合であっても審美的な形態であるか否かの評価を高い精度で行うことが可能である。すなわち、文字や記号などを全体的に認識して判断するのではなく、いわばパーツに分解してそれぞれを個別に評価してそれを総合的に判断することができるため、より精度が高く詳細な評価を実施することが可能である。
【０１１４】なお、以上のような本実施の形態に係る文字、記号及び図形認識方法及び文字、記号及び図形認識プログラムの他、この文字、記号及び図形認識プログラムをコンピュータによって読み取り可能な記録媒体に格納してもよく、このような記録媒体を用いてコンピュータを作動させることによって、以上のようなプログラムを実行可能であり、同様の作用や効果を奏することができる。
【０１１５】次に、本発明の実施の形態に係る文字、記号及び図形認識システムについて図３５及び３６を参照しながら説明する。（請求項１３及び１４に対応）
【０１１６】図３５は本実施の形態に係る文字、記号及び図形認識システムの概略の構成図である。文字認識システム７１は、システム本体７２とそれに接続されるデータベース群から構成されるものであり、システム本体７２は、さらに入力部７３、文字読取部７４、文字倍率解析部７５、文字変換部７６、文字位置調整部７７、文字評価部７８及び出力部７９から構成される。
【０１１７】このシステム本体７２に接続されるデータベース群には、既に説明したのでここではその構成や内容の説明を省略するが、標準文字データ１を格納する標準文字データベース２、手書き文字データ３を格納する手書き文字データベース４、変換文字データ５を格納する変換文字データベース６、採点結果データ７ａ及び総合採点データ７ｂを格納する採点結果データベース８、誤字判断結果データ９を格納する誤字判断結果データベース１０、採点値範囲データ４５と変換文字書込みデータ４６を格納するパターン認識データベース４７と最後に標準交差順データ６１、交差順番記憶データ６２、手書き交差順データ６３を格納する交差順データベース６４がある。
【０１１８】入力部７３は、タブレットコンピュータなどのような手書き入力が可能な装置を意味しており、この入力部７３で描かれた文字や記号あるいは図形は、文字読取部７４においてその形状を示す軌跡を一定の間隔の点の集合として読み取り、その点を座標データとして認識することでデジタル化する。デジタル化した手書き文字データ３は、手書き文字データベース４に格納される。
【０１１９】文字倍率解析部７５では、先に文字、記号及び図形認識方法とプログラムの実施の形態において説明したステップＳ３の倍率演算の処理を行うものである。標準文字データ１と手書き文字データ３の大きさを比較して倍率を求め、その倍率に従って文字変換部７６において手書き文字データ３の大きさを拡大あるいは縮小する調整を行って標準文字データ１とデータの大きさを調整する。この処理は先のステップＳ４として説明した内容と同様である。前述のとおり、画毎に手書きの文字などと比較するため、データの大きさをある程度修正して手本の標準文字データ１と合わせる必要があるのである。
【０１２０】変換された手書き文字データ３は変換文字データ５として変換文字データベース６に格納される。また、大きさで手本の文字などと同じ程度になった変換文字のデータ座標中の位置を文字位置調整部７７において調整する。
【０１２１】さらに文字評価部７８では、先の文字、記号及び図形認識方法と文字、記号及び図形認識プログラムの実施の形態として説明したステップＳ５、６、７の採点処理あるいは誤字判断処理の内容を実行するものである。この文字評価部７８の詳細な構成は図３６に示して後述する。
出力部７９は、同様に先に説明したステップＳ８の内容を実行する手段である。
【０１２２】図３６は、文字評価部７８の構成を詳細に示す構成図である。
図３６において、文字評価部７８は、全角位置的評価部８０、画毎位置的評価部８１、画長評価部８２、ベクトル方向評価部８３、跳ね方向評価部８４、丸評価部８５、丸止め評価部８６、交差点評価部８７、画毎相対関係評価部８８及びパターン認識評価部８９から構成される。
【０１２３】全角位置的評価部８０は、先に説明した図１５のステップＳ５０を処理する手段であり、同様に画毎位置的評価部８１はステップＳ５１、画長評価部８２はステップＳ５２、ベクトル方向評価部８３はステップＳ５３、跳ね方向評価部８４はステップＳ５４、丸評価部８５はステップＳ５５、丸止め評価部８６はステップＳ５６、交差点評価部８７はステップＳ５７、画毎相対関係評価部８８はステップＳ５８、パターン認識評価部８９はステップＳ５９を処理する手段である。本実施の形態では、既にそれぞれのステップの処理内容を説明しているので省略する。
なお、流れについての評価部が本実施の形態においても示されていないが、先に説明したとおり、流れ評価部を設けて評価するとなおよいことは言うまでもない。
【０１２４】以上のように構成される本実施の形態に係る文字、記号及び図形認識システムにおいても、先の実施の形態と同様に文字、記号あるいは図形などを手書きで描き、その内容を画毎にパーツに分解して評価することで、文字などの正誤や審美性に関する評価を詳細に、しかも高い精度で総合的に行うことが可能である。
【０１２５】
【発明の効果】
以上説明したように、本発明の文字、記号及び図形認識方法、そのプログラムとそのプログラムを記録したコンピュータ読み取り可能な記録媒体、さらにそのシステムにおいては、手書きの文字、記号あるいは図形をそれらを構成する画毎に分解してデジタルデータとして認識し、予め手本の文字などを同様にデジタルデータとしてデータベースに格納していた標準文字データと、画毎に特徴を比較して画毎に評価を実施し、それらを総合して正誤を評価するため、精度が高く、詳細に文字、記号や図形を学習することが可能である。
【０１２６】さらに、正誤のみならず正答度を判断するため、全体の中でどの部分が間違っていたのかや、全体的なバランスを崩すのはどの部分であったのかなど審美性についても評価することが可能であり、部分的な間違いを訂正することで美しい文字を書く練習などを行うことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る文字、記号及び図形認識方法及び文字、記号及び図形認識プログラムのフロー図である。
【図２】本実施の形態における標準文字データの内容を示す模式図である。
【図３】本実施の形態における標準文字データの構造の模式図である。
【図４】本実施の形態における標準文字データの構造の模式図である。
【図５】本実施の形態における標準文字データの構造の模式図である。
【図６】本実施の形態における標準文字データの構造の模式図である。
【図７】本実施の形態における標準文字データの構造の模式図である。
【図８】本実施の形態における標準文字データの構造の模式図である。
【図９】本実施の形態における標準文字データの構造の模式図である。
【図１０】本実施の形態における標準文字データの構造の模式図である。
【図１１】手書き文字のひらがなの「あ」を示す概念図である。
【図１２】本実施の形態に係る文字、記号及び図形認識方法とそのプログラムにおいて手書き文字データと標準文字データの画数を比較するステップＳ２を示すフロー図である。
【図１３】本実施の形態に係るステップＳ３の詳細を示すフロー図である。
【図１４】本実施の形態に係るステップＳ４の詳細を示すフロー図である。
【図１５】本実施の形態に係るステップＳ５の詳細を示すフロー図である。
【図１６】本実施の形態に係るステップＳ５０の詳細を示すフロー図である。
【図１７】本実施の形態に係るステップＳ５１の詳細を示すフロー図である。
【図１８】本実施の形態に係るステップＳ５２の詳細を示すフロー図である。
【図１９】本実施の形態に係るステップＳ５３の詳細を示すフロー図である。
【図２０】本実施の形態に係るステップＳ５４の詳細を示すフロー図である。
【図２１】本実施の形態に係るステップＳ５５の詳細を示すフロー図である。
【図２２】本実施の形態に係るステップＳ５６の詳細を示すフロー図である。
【図２３】本実施の形態に係るステップＳ５７ａの詳細を示すフロー図である。
【図２４】（ａ）乃至（ｄ）は、それぞれ本実施の形態に係る文字、記号及び図形認識方法と文字、記号及び図形認識プログラムにおける仮交差点の検出方法を説明するための概念図である。
【図２５】本実施の形態に係るステップＳ５７ｂの詳細を示すフロー図である。
【図２６】本実施の形態に係るステップＳ５７ｃの詳細を示すフロー図である。
【図２７】本実施の形態に係るステップＳ５８の詳細を示すフロー図である。
【図２８】本実施の形態に係るステップＳ５９ａの詳細を示すフロー図である。
【図２９】本実施の形態に係るステップＳ５９ｂの詳細を示すフロー図である。
【図３０】本実施の形態に係るステップＳ６１の詳細を示すフロー図である。
【図３１】本実施の形態に係るステップＳ６２の詳細を示すフロー図である。
【図３２】本実施の形態に係るステップＳ７１の詳細を示すフロー図である。
【図３３】本実施の形態に係るステップＳ７２の詳細を示すフロー図である。
【図３４】本実施の形態に係るステップＳ８の詳細を示すフロー図である。
【図３５】本実施の形態に係る文字、記号及び図形認識システムの概略の構成図である。
【図３６】本実施の形態に係る文字評価部の構成を詳細に示す構成図である。
【符号の説明】
１…標準文字データ ２…標準文字データベース ３…手書き文字データ ４…手書き文字データベース ５…変換文字データ ６…変換文字データベース ７ａ…採点結果データ ７ｂ…総合採点データ ８…採点結果データベース ９…誤字判断結果データ １０…誤字判断結果データベース １１…標準文字 １２…データ点 １３…第１画 １４…第２画 １５…第３画 １６…交差点 １７…交差点 １８…交差点 １９…交差点 ２０…流れ箇所 ２１…文字表示欄２２…点位置欄 ２３…ｘ軸座標欄 ２４…ｙ軸座標欄 ２６，２６ａ…跳ね表示欄 ２７，２７ａ…流れ表示欄 ２８，２８ａ…丸表示欄 ２９，２９ａ…丸止表示欄 ３０，３０ａ…点数欄 ３１，３１ａ…画数欄 ３２…総画数 ３５…交差位置表示欄 ３６…開始接続相手表示欄 ３７…開始接続内容表示欄 ３８…終了接続相手表示欄 ３９…終了接続内容表示欄 ４１…点情報表示欄 ４５…採点値範囲データ ４６…変換文字書込みデータ ４７…パターン認識データベース ５０…標準文字 ５１…第１画 ５３…標準文字 ５４…丸 ５６…標準文字 ５８…手書き文字 ５９…データ点 ６１…標準交差順データ ６２…交差順番記憶データ ６３…手書き交差順データ ６４…交差順データベース ６５…ｎ画線 ６６…ｍ画線 ６７…交差点 ６８…隣接点 ６９ａ，６９ｂ…周辺点 ７０ａ，７０ｂ…周辺点 ７１…文字認識システム ７２…システム本体 ７３…入力部 ７４…文字読取部 ７５…文字倍率解析部 ７６…文字変換部 ７７…文字位置調整部 ７８…文字評価部 ７９…出力部 ８０…全角位置的評価部 ８１…画毎位置的評価部 ８２…画長評価部 ８３…ベクトル方向評価部 ８４…跳ね方向評価部 ８５…丸評価部 ８６…丸止め評価部 ８７…交差点評価部 ８８…画毎相対関係評価部 ８９…パターン認識評価部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a character, symbol, and graphic recognition method for recognizing a drawn character, symbol, or figure, and comparing and evaluating the drawn character, symbol, or figure with an example of the character, symbol, or figure, a program, a recording medium storing the program, and a character. , Symbol and figure recognition systems.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, many devices have been invented for drawing characters, symbols, figures, and the like on a tablet or the like, reading the contents thereof, and evaluating the score based on the contents.
For example,
According to such a technique, it is possible to clarify the content of the sentence described as an answer by linguistic analysis as well as a simple choice problem, and to determine whether or not the answer is correct in light of the model answer Become.
[0003] Further,
According to such a technique, character information described in an entry section of a predetermined sheet is recognized and compared with reference data, so that not only a mark sheet method and a multiple-choice answer method but also a text answer Can also be scored.
Further,
[0005]
[Patent Document 1]
JP-A-2001-56634
[Patent Document 2]
JP 2001-154573 A
[Patent Document 3]
JP-A-11-31046
[0006]
[Problems to be solved by the invention]
In these character recognition techniques described above, the techniques disclosed in
However, when judging the correctness of each character, symbol, or figure, it is necessary to compare each of the pictures or parts thereof, and for that purpose, first, a handwritten character and the like must be compared with the model. It is necessary to unify the size of characters and the like to be displayed. There is no description of a technique in consideration of such points, and it is determined whether handwritten characters and the like are erroneous, and if the characters are correct, the stroke order and shape are recognized to determine the quality. There was a problem that it was not possible.
In the technique disclosed in
The present invention has been made in view of such conventional circumstances, and digitizes handwritten characters, symbols, or figures, and compares and compares the characters with a model for each image to determine whether the character is correct or incorrect. It is an object of the present invention to provide a method for recognizing symbols and graphics, a program thereof, a computer-readable recording medium storing the program, and a system for recognizing characters, symbols and graphics.
[0010]
[Means for Solving the Problems]
In order to achieve the above object, a method for recognizing a character, a symbol and a figure according to the first aspect of the present invention includes a step of reading a handwritten character, a symbol or a figure and generating digitized handwritten data; Or comparing the digitized standard data and the handwritten data for each image to determine whether the handwritten character, symbol or figure is correct or not, and the degree of correctness and correctness of the handwritten character, symbol or figure. Is output.
In the character, symbol, and graphic recognition method having the above configuration, the character, symbol, and graphic are decomposed into constituent elements by comparing and collating the handwritten data and the standard data for each image, and their correctness and correctness are determined. It has the effect of being done.
According to a second aspect of the present invention, there is provided a method for recognizing a character, a symbol, or a figure, comprising the steps of reading a handwritten character, a symbol, or a figure and generating digitized handwritten data; A step of comparing the standard data obtained by digitizing the figure and the handwritten data to obtain a magnification for matching the size of the handwritten character, symbol or figure to the size of the model character, symbol or figure, and using the magnification A step of converting the handwritten data to generate converted data; a step of comparing the converted data with the standard data for each image to determine whether a handwritten character, a symbol or a figure is correct or not, or a degree of correct answer; It has a step of outputting the correctness and correctness of a symbol or a graphic.
In the character, symbol, and graphic recognition method having the above-described configuration, the magnification acts to convert the handwritten data into converted data that can be compared with the standard data.
According to a third aspect of the present invention, there is provided a program for recognizing a character, a symbol, or a figure, comprising: reading a handwritten character, a symbol, or a figure into a computer to generate digitized handwritten data; A step of storing in a recording medium, reading standard data obtained by digitizing a model character, symbol or figure stored in advance in a second recording medium, and converting the handwritten data read from the first recording medium for each image. The steps of comparing and collating to determine the correctness, correctness, or correctness of the handwritten character, symbol, or graphic, and outputting the correctness, correctness, and correctness of the handwritten character, symbol, or graphic are executed.
In the character, symbol and graphic recognition program having the above configuration, the invention described in
According to a fourth aspect of the present invention, there is provided a program for recognizing a character, a symbol, or a figure, comprising: reading a handwritten character, a symbol, or a figure and generating digitized handwritten data; Comparing the step of storing in the first recording medium with the standard data of digitized example characters, symbols or figures stored in advance in the second recording medium, and comparing the handwritten data read from the first recording medium Obtaining a magnification that matches the size of the handwritten character, symbol or graphic with the size of the model character, symbol or graphic, and converting the handwritten data using the magnification to generate converted data Storing the converted data on a third recording medium, reading the converted data and the standard data from the third and second recording media, and comparing and comparing each image. Handwriting, comprising the steps of determining the correctness or correct degree of symbols or figures, is intended to execute a process of outputting the correctness and correctness of the handwritten characters, symbols or graphics.
In the character, symbol and graphic recognition program having the above configuration, the invention described in
According to a fifth aspect of the present invention, there is provided a program for recognizing characters, symbols, and graphics, wherein the conversion of the handwritten data using the magnification of the fourth aspect of the invention to generate the converted data is performed. The number of coordinate point data of the data is substantially the same as the number of coordinate point data of the standard data. Therefore, there is an effect that the coordinate point data is compared approximately one by one, in addition to the effect of the invention described in claim 4.
According to a sixth aspect of the present invention, there is provided a character, symbol and graphic recognition program according to any one of the third to fifth aspects, wherein the standard data is digitized for each character image. The handwritten data of handwritten characters to be read is also digitized as coordinate point data for each image.
In the character, symbol and graphic recognition program having the above configuration, in addition to the effect of the invention according to any one of
Furthermore, the character, symbol and graphic recognition program according to the invention according to
In the present invention, the stroke count data, the feature information data, and the intersection information data provided in the standard data can recognize handwritten data in more detail, and act so that correctness / incorrectness and correctness can be more accurately determined.
The character, symbol and graphic recognition program according to the invention according to
The present invention has an effect of calculating the bounce angle of the hand-drawn character from the coordinate point data of the standard data and the coordinate point data of the conversion data, and comparing the calculated bounce angle to evaluate the bounce included in the hand-written character.
According to a ninth aspect of the present invention, there is provided a character, symbol and graphic recognition program according to the present invention, wherein the handwritten data read from the first recording medium or the converted data read from the third recording medium and the converted data read from the second recording medium are read. The process of comparing and collating the standard data with each other for each image to determine the correctness / incorrectness and correctness of handwritten characters, symbols or figures is performed when the presence of a circle is indicated in the characteristic information data of the standard data. The method includes a step of calculating a distance between the coordinate point data of the start point and the end point of the conversion data of each image, and a step of determining whether the character is correct or incorrect based on the distance.
For example, the character “ぴ” of Hiragana includes a circle, and the present invention is for judging whether such a character is handwritten or not and the degree of correct answer. When such a character is drawn, the circle included in the handwritten character should have the starting point and the ending point coincident. Therefore, the characteristic information data is used to determine the correctness of the character and the degree of correctness of the character. This has the effect of being used to calculate the distance between the start point and the end point of the image conversion data.
According to a tenth aspect of the present invention, there is provided the character, symbol and graphic recognition program according to the seventh aspect of the present invention, wherein the handwritten data read from the first recording medium or the conversion data read from the third recording medium. The step of comparing and collating the data with the standard data read from the second recording medium for each image and judging the correctness of the handwritten character, symbol or figure and the degree of correct answer is based on the presence of the rounding in the characteristic information data of the standard data. Calculating the end point of the converted data of each image of the handwritten character and the distance from the end point to a plurality of preset points, respectively, and the degree of correctness or correctness of the character based on the distance. Is determined.
In the present invention, for example, the end of the character "R" of Hiragana is stopped so as to include a circle. However, the present invention is for judging whether such a character is handwritten or not and the degree of correctness. When such a character is drawn, the end point of the image should match any part of the self-drawn image in the circle stop included in the handwritten character. This has the effect of being used for calculating the end point of the converted data of each image of the character and the distance to a plurality of points obtained by reversing from the end point.
According to the eleventh aspect of the present invention, there is provided the character, symbol and graphic recognition program according to the seventh aspect, wherein the handwritten data read from the first recording medium or the conversion data read from the third recording medium are used. The step of comparing and collating the data with the standard data read from the second recording medium for each image and judging the correctness of the handwritten character, symbol or figure and the degree of correct answer indicates the presence of the intersection in the intersection information data of the standard data. Detecting the intersection from the coordinate point data of the converted data of each image of the handwritten character and assigning an intersection code to the coordinate point data of the intersection; The method includes a step of assigning a number in a forward direction or a reverse direction with respect to the writing order of the picture, and a step of judging whether the character is correct or not based on the peripheral number of each picture at the intersection.
In the present invention, for example, there is a portion where the images intersect in the character of "a" in hiragana, and the present invention is for judging the correctness and correctness of such a handwritten character. When such characters are drawn, the intersection included in the handwritten characters should occur at a place where a fixed image and an image are almost determined by the character. Is used to determine the intersection from the converted data of each image of the character and to detect the direction of intersection.
According to a twelfth aspect of the present invention, there is provided a computer-readable recording medium storing the character, symbol and graphic recognition program according to any one of the third to eleventh aspects. According to the present invention, a recording medium on which a program is recorded is licensed, and its operation is the same as that of each of the third to eleventh aspects.
According to a thirteenth aspect of the present invention, there is provided a character, symbol and graphic recognition system for inputting a handwritten character, symbol or graphic, and reading a handwritten character, symbol or graphic connected to the input unit. A reading unit that digitizes and generates handwritten data, and reads out the features of characters, symbols, or figures included in the handwritten data from the reading unit for each image, and digitizes the model characters, symbols, or figures with standard data. It has an evaluator for comparing and collating each image to determine the degree of correctness or correctness of a handwritten character, symbol or figure, and an output section for outputting correctness, correctness and correctness of a handwritten character, symbol or figure.
The character, symbol, and graphic recognition system configured as described above is an invention in which the character, symbol, and graphic recognition method described in
According to a fourteenth aspect of the present invention, there is provided a character, symbol and graphic recognition system for inputting a handwritten character, symbol or graphic, and reading a handwritten character, symbol or graphic connected to the input part. A reading unit for digitizing and generating handwritten data, a first recording medium for storing handwritten data, a second recording medium for storing standard data obtained by digitizing model characters, symbols, or graphics; By comparing the handwritten data read from the second recording medium with the standard data read from the second recording medium, the magnification at which the size of the handwritten character, symbol or figure matches the size of the model character, symbol or figure is determined. A magnification analysis unit to be sought, a conversion unit that converts the handwritten data using the magnification to generate conversion data, a third recording medium that stores the conversion data, and a third storage medium that stores the conversion data and the standard data. An evaluation unit that reads each of the recording medium and the second recording medium and compares and matches each image to determine whether the handwritten character, symbol, or figure is correct or incorrect or correct; and determines the degree of correctness, correctness, and correctness of the handwritten character, symbol, or figure. And an output unit for outputting.
The character, symbol, and graphic recognition system configured as described above is an invention in which the character, symbol, and graphic recognition method described in
[0024]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, an embodiment of a character, symbol, and graphic recognition method, a program thereof, and a computer-readable recording medium storing the program according to the present invention will be described with reference to FIGS. (Corresponding to
The present embodiment is a method or a program provided for recognizing handwritten characters, symbols, or graphics, and judging the beauty or workability of the characters, symbols, or graphics when correct or incorrect. Specifically, for example, it is used in a case where an elementary school student learns hiragana and kanji using a pen input device such as a tablet computer.
FIG. 1 is a flowchart of a character, symbol and graphic recognition method and a character, symbol and graphic recognition program according to an embodiment of the present invention. In the description of the present embodiment, first, a method of recognizing handwritten characters and performing a scoring process will be described.
In FIG. 1, first, step S1 shows a handwritten data input step. In this handwritten data input step, characters are input by hand into a device such as a tablet computer that can follow a trajectory, the trajectory is read as a set of points at a fixed interval, and the points are recognized as coordinate data. Digitize by doing. The digitized
Step S2 shows a step of comparing the number of strokes of the
Like the
If the number of strokes is equal, the magnification of the
After the calculation of the magnification is completed, enlargement or reduction is performed according to the magnification, and data conversion is performed to make the size substantially the same as the
Step S5 shows a scoring process. In step S5, the evaluation based on character information such as the length of the image, bouncing, circles, and round stops, the evaluation regarding intersections, and the like, from the basic evaluation in full-width to the basic evaluation of each image, are performed. . The scored result is stored in the scoring
Step S6 shows a process of determining an erroneous character when the number of strokes is different in step S2, or when a necessary condition for establishing a character is not satisfied in step S5. The result of the typographical error determination is stored in the typographical
Step S7 is a step of receiving the scoring process in step S5 and performing comprehensive scoring. In step S7, unlike the typographical error determination process in step S6, based on the assumption that the character is established, the quality of the aesthetic appearance such as the balance between the sides of the character and the structure, the position of the bounce, and the intersection is determined. Is to be scored. The comprehensive scoring result is stored in the scoring
In response to the scoring and judgment of steps S7 and S6, step S8 is a step of outputting the result. The output method is not limited to any method, such as a method of displaying on a computer screen, a method involving sound, and a method of printing on a printer. In addition, it is preferable that a specific portion is colored in, for example, red, hatched, the density of characters is changed, or a point that a learner should pay attention to is emphasized.
Next, a character, symbol and graphic recognition method and a character, symbol and graphic recognition program according to the present embodiment will be described with reference to a specific example shown in FIG.
FIG. 2 is a screen for editing the contents of the
The characteristics of the character "A" will be described. In the
For such
In FIG. 3, hiragana "a" is written in a
In the x-axis coordinate
However, the
Further, when a bounce exists in the
FIG. 4 shows a page of the data sheet next to FIG. 3, in which the numerical value shown in the
FIG. 5 shows a screen for editing positional information, such as intersections, in the
In the
As for the information on the intersection, “2, 1, 45” is first shown in the intersection
Here, the forward direction is handled only in the case of the self-portrait, but is called the forward direction when the direction of the writing order of the partner of the self-portrait proceeds from the left side of the self-portrait that is about to intersect. If it is proceeding from the right side of the self-portrait, it is called the opposite direction. When the intersection is shared with another image as in this case, it does not matter whether the direction is the forward direction or the reverse direction, and "1" is stored in any case. Therefore, strictly speaking, at the intersection with another image, it is not recognized whether the direction is the forward direction or the reverse direction.
The start connection
The point
The data related to the
[0042]
[Table 1]
Since there is only one crossing partner, crossing point, and crossing direction in the case of the first image, only one set is stored as described above. For example, in the case of the third image, the intersection with the own image is also included. Since there are three locations, three sets of data are stored.
Next, FIG. 6 is a diagram showing the
The first “1, 1, 28” means that the
In addition, the same parts as those in FIG. 6 to 10, the same parts as those in FIGS. 2 to 5 are denoted by the same reference numerals, and the description of the configuration will be omitted.
FIG. 7 is a view showing the
There are four intersections displayed in the intersection
The second “2, 1, 16” indicates that the
Next, the data structure will be described with reference to FIG. 8 which uses data on hiragana "i".
FIG. 8 is a conceptual diagram showing the hiragana character "i" of the
FIG. 9 is a conceptual diagram showing the hiragana “@” of the
Finally, FIG. 10 is a conceptual diagram showing the hiragana character “ru” of the
As described above, the
On the other hand, with reference to FIG. 11, description will be given of handwritten character data scored while comparing and collating with the
FIG. 11 is a conceptual diagram illustrating the hiragana character “A” of the
Table 2 shows the data structure of the
[0051]
[Table 2]
FIG. 12 is a flowchart showing the step S2 for comparing the number of strokes of the
In FIG. 12, a character input by handwriting is digitized and stored as
FIG. 13 is a flowchart showing details of step S3 in the flowchart shown in FIG. The
First, in step S31, the
Thereafter, when performing the magnification conversion, the magnification is calculated in step S32. Specifically, this calculation is performed by obtaining the magnification of the height and width of the x-axis and y-axis using the data of all the images for each image of the
In step S33, the magnification ratio is detected from the height of each of the x-axis and the y-axis, and is compared with a predetermined range. This defined range refers to the limit magnification ratio at which the subsequent scoring process is determined to be possible. If it is higher than this, the ratio of the x-axis and y-axis whose magnification ratio is closer to 1 is used. .
If it is within the specified range, the magnification ratio of each axis is selected and used in step S34.
If the magnification conversion is not performed in step S31, the conversion using the magnification is not performed. Therefore, the
FIG. 14 is a flowchart showing details of step S4 in the flowchart shown in FIG. Step S4 is a process of adjusting the center of gravity in consideration of a case where the
In step S41, the center of gravity of each of the handwritten character and the model character is calculated using the
In step S44, it is confirmed whether or not the process has been completed for full-width characters. If not, the number of strokes is incremented, and the process returns to step S43 to adjust the positions of the second and third strokes and the center of gravity. When the center of gravity adjustment is completed up to the final image, the converted
FIG. 15 is a flowchart showing details of step S5 in the flowchart shown in FIG. Step S5 is a step of performing a scoring process, and this step includes ten steps from step S50 to step S59, as shown in detail in FIG.
In step S50, the height, width, center of gravity position, upper end, and lower end in full-width are evaluated. When the magnification conversion is performed, although the position of the center of gravity is adjusted for each image, the position of the center of gravity is not adjusted, and the position of the center of gravity of the
Taking height as an example of how to deduct the points, the absolute value of the height difference between the
The evaluation data obtained in step S50 is stored in the scoring
In step S51, the height, width, center of gravity position, start position, and end position of each image are evaluated for each image. As shown in FIG. 17, these evaluations specifically execute the same thing as that performed in step S50 for each image. Points are deducted according to a preset difference width or error range (step S511), and starting from the first image and incrementing, it is checked whether full-width is completed (step S512), and the process is performed for each image. Although the process ends when the full-width mode is completed, the evaluation data obtained in step S51 is also stored in the scoring
In step S52 of FIG. 15, the length of the image is evaluated. The evaluation of the length means that a predetermined error range is set in advance, and if the data included in the converted
In step S53 of FIG. 15, the vector direction between two points, the start point and the end point, is evaluated. If the vector direction falls within a preset range, it is determined that the image is a correct character image.
As shown in FIG. 19, first, in step S531, the vector direction between the start point and the end point of each image is compared between the
Step S54 in FIG. 15 evaluates the direction of the bouncing motion. If it is confirmed that the bouncing direction is a certain direction, it is determined that the character image is correct.
As shown in FIG. 20, first, in step S541, it is confirmed whether or not there is a bounce in the first stroke of the
If there is a bounce, the process moves to step S542 to compare the bounce angle of the
Then, in step S543, it is confirmed whether or not the full-width mode has been completed. If an image still remains, the image is incremented to determine whether or not the next image has bounced (step S541). Are compared (step S542). The result determined for each bounce is stored in the erroneous character
Although the evaluation of the flow is not described in FIG. 15, the evaluation of the flow is executed similarly to the evaluation of the bounce. The presence / absence of a flow is checked for each image in the
If it is determined that the character is erroneous, the resulting data is stored in the erroneous character
Step S55 in FIG. 15 is to perform circle evaluation. More specifically, as shown in FIG. 21, it is checked in step S551 whether the first stroke of the
If it is a circle, the process advances to step S562 to calculate the distance between the start point and the end point of the circle image in the converted
When the calculation and the scoring evaluation are completed, it is determined in step S553 whether or not the full width has been completed. If there is still an image left, the image is incremented and the next image is executed from step S551. When the processing is completed for all the images, the rounding evaluation in the next step S56 is executed.
The rounding evaluation in step S56 in FIG. 15 is for evaluating whether or not the rounding is completed at the end point of the stroke. In detail, as shown in FIG. 22, it is checked in step S561 whether or not the end point of the
As shown in step S562, the evaluation of the rounding is performed by going back from a point returning to 10 points with respect to the end point included in the converted
Therefore, in order to return 10 points from the end point, the distance from the end point to the 153rd point from the 218th point is calculated. Then, the point at which the calculated distance is closest and the distance are obtained and the evaluation is performed. A distance close to 0 is set as a predetermined specified value, and a point closer than this specified value is determined. If it does not exist, or if it crosses before the end point, it is also determined that the character is erroneous. In addition, the proximity should originally be a distance of almost 0, but scoring is performed according to the degree of the proximity distance.
It should be noted that the reason why the point returns from the end point by 10 points is that there is a possibility that it may be erroneous to determine whether or not it is close to the end point near the end point and that it is rounded. However, it is needless to say that these 10 points are not particularly limited to this number, and may be appropriately determined. Further, it is needless to say that the return point is not limited to two-thirds, and may be three-fourths as appropriate. .
The data of the result determined as the typographical error is stored in the typographical
Next, step S57 in FIG. 15 performs intersection evaluation. In addition to the evaluation of characteristic information data such as bouncing, flowing, circles and round stops, the evaluation of intersections existing in characters is performed to more accurately evaluate handwritten characters. This intersection evaluation will be described with reference to FIGS.
First, as shown in FIG. 23, at step S57a1, the intersection information data of all the standard characters is read from the
Next, in step S57a2, an image serving as a reference for investigation is set to n, and an image serving as a partner is set to m, and the initial value is set to 1 in each case. In step S57a3, a temporary intersection is detected. This detection method will be described with reference to FIGS.
In FIG. 24 (a), the squares of the grid indicate the coordinates of the x-axis and the vertical indicate the coordinates of the y-axis, and a lowercase letter a indicates the
FIG. 24B shows the range indicated by the reference symbol B in FIG. 24A. Even if the area is obliquely lost, it is recognized as a
Next, returning to FIG. 23, in step S57a4, a number is assigned near the temporary intersection. A method for assigning a number near the intersection will be described with reference to FIGS.
As shown in FIG. 24C, a lowercase d is substituted for the data of the
These
In step S57a5, the presence or absence of intersection is evaluated. In the case shown in FIG. 24D, when a peripheral point is checked clockwise from a
On the other hand, if the peripheral point next to the
Here, when it is determined that the peripheral points of the n-
In step S57a6, the intersection direction is analyzed. Since the numbers assigned to the peripheral points are numbered from the upstream side as odd numbers and even numbers, it is determined from which direction each image enters this intersection. It is to be analyzed.
Although the intersection with another image is taken as an example in FIGS. 24A to 24D, the analysis of the intersection and the direction of the intersection can be similarly performed at the intersection of the own image. For example, in FIG. 24 (d), all parts where a lowercase b is arranged as the
When the analysis of the intersection direction is completed, the evaluation data related to the intersection is stored in the
In step S57a7 of FIG. 23, it is determined whether or not the m picture to be investigated is the last picture. If not, the other picture is incremented with respect to the same examination reference picture. Then, the process is executed again from the detection of the temporary intersection. In the case of the last image, the process proceeds to step S57a8, where it is determined whether or not the n image serving as the reference for the investigation is the last image. From the detection of the intersection. When the reference n image is completed up to the final image, the process of acquiring data on the presence or absence of an intersection and the intersection direction is completed.
Next, as shown in FIG. 25, the order of the intersection
In FIG. 25, in step S57b, a process of reading the intersection
Since numerical values are assigned to the peripheral points of the intersection for each image, it is possible to rearrange them in the order of intersection. In this way, first, the intersections are arranged in order and then compared with the standard
FIG. 26 shows a step of scoring and evaluating the arranged intersection (step S57c). In FIG. 26, in step S57c1, n is set to 1 in order to select the first image as the image used as a reference for the intersection investigation. The standard
Of course, depending on the character, it is considered that an intersection may occur outside of the consciousness of the person who performs handwriting at other places as well as at the starting point.
In step S57c5, if all intersections and directions compared after excluding unnecessary intersections match, the flow proceeds to step S57c9, but if there is still an unmatched intersection, step S57c6. Proceed to.
In step S57c6, if it is determined that the intersection position is close in the standard
Next, step S58 in FIG. 15 will be described with reference to FIG. Step S58 is to evaluate the relative positional relationship of each image. In FIG. 27, first, in step S581, the
In step S582, the converted
As a comparison point, the start point itself, the end point, the middle of the picture, and the like are appropriately compared. This is because the connection between strokes in a kanji or the like may be a start point, an end point, or a substantially middle point.
The contents to be compared include the positional relationship, connection status, distance, and the like based on the starting point, such as connection, perspective, direction, length, and the like. Is to judge. The data of the evaluation result is stored in the erroneous character
Similarly, in step S583, comparison is made with
In step S584, comparison is made in the same manner as in steps S582 and S583 with reference to the middle of the image. When these comparisons are completed, it is determined in step S586 whether all images have been completed. If not, the image is incremented and the process is executed again from step S581. When all the images have been completed, the evaluation of the relative relationship for each image is completed, and the process proceeds to the next pattern recognition evaluation in step S59.
The contents of step S59 shown in FIG. 15 will be described in detail with reference to FIG. In FIG. 28, the pattern recognition evaluation is performed in such a manner that the converted
In step S59a, the process starts from the first image. In step S59a1, the
Next, the reference score value m is set to 100, and in step S59a2, the data of the first stroke of the
Next, in step S59a4, if m is not less than 50, the concentric range is set again by decrementing the point by about 10 points. After setting the range up to 50 and writing the score, the flow shifts to step S59a5. In step S59a5, the points in the two-dimensional array included in the range for each score value and each score value corresponding to that point are stored in the
Subsequently, in step S59a6, the data of the first image in the converted
In step S59a7, the points constituting the character of the converted
In step S59a8, the movement point of the handwritten data is calculated. The moving point means a point constituting a character stroke, and by moving along the points constituting the character and adding them together, a total point for each character stroke is obtained.
In step S59a9, correction is made based on the difference between the total number of points constituting the image included in the
In step S59a10, if the processing has been completed for all the pictures, the smoothness is evaluated in the next step S59b, but if all the pictures have not been scored, the number of pictures is incremented and the second The image and the third image are evaluated.
FIG. 29 is a flowchart for performing evaluation based on smoothness. Smoothness means that the distance between consecutive points among the points constituting the
In the evaluation based on the smoothness, first, in step S59b1, the
Further, an average value is obtained by dividing by the number of all data, a predetermined scoring is performed according to the magnitude of the average value, and the result is stored in the scoring
As above, the entire scoring process in step S5 has been described.
Next, the process of the erroneous character determination process in step S6 in FIG. 1 will be described in detail with reference to FIG. FIG. 30 is a flowchart of step S61 showing a step of collecting feature information for each image and a step of collecting intersection information in step S6. As shown in FIG. 30, the erroneous character
Further, in step S612, evaluation data relating to the number of intersections, the direction of intersection, and the order of intersection are extracted from the erroneous character
FIG. 31 is a flowchart showing step S62 of step S6 for confirming the positional relationship of the image, showing a process for confirming the relative position at the start of writing and a process for confirming the absolute position at the start of writing. It is. The writing start relative position refers to a positional relationship with the start point or the intermediate point of another image with reference to the start point as described above with reference to FIG. In step S621, the erroneous-character
In step S622, the absolute position is confirmed by comparing the coordinates of the start point of the model included in the
FIG. 31 shows the process of confirming the relative position and the absolute position at the start of writing. However, in addition to the start of writing, the relative position and the absolute position at the end of writing and in the middle of the image are similarly evaluated. The resulting data is stored in the scoring
FIG. 32 is a flowchart showing a step S71 which is a multiplication process of the scoring for each stroke in the total scoring process (step S7) shown in the flowchart of FIG. 32, in step S711, of the scores shown in FIG. 15, the scores (1), (2), (6), (7), (7) stored in the
In step S712, the multiplied value is obtained as the score of the image, and stored in the scoring
If it is determined in step S713 that the process has been completed for all the images, the process in step S71 ends. However, if there are still remaining images, the number of images is incremented by one, and the process is executed again from step S711.
FIG. 33 is a flowchart for explaining the step (step S72) of calculating the total score, which is the latter half of step S7.
In FIG. 33, first, in step S721, the erroneous character
If there is no erroneous character, the process proceeds to step S722, where the
By obtaining the lowest score in this way, the score on the safe side can be obtained. However, the present invention is not particularly limited to the use of the lower score data. Alternatively, there are various scoring methods such as adopting an average value, or adopting data from data excluding the highest and lowest scores.
FIG. 34 is a flowchart showing in detail the contents of the output processing step shown as step S8 in FIG. In step S81, if there is no typographical error or erroneous stroke order, the process shifts to step S86 to output the
If the number of erroneous images is four or less, a process of changing the color of the erroneous image is performed in step S83. In step S84, it is determined whether or not the number of erroneous strokes is continuous. If continuous, information indicating that the stroke order is different is also output. If not, only the erroneous stroke is output as it is. .
The output in step S86 may be displayed on the screen so as to be visually perceived, and may also generate information indicating that the stroke order differs depending on the voice, the number of wrong images, and the number of images.
According to the present embodiment as described above, a character, a symbol, a figure, or the like is drawn by hand, and the content is evaluated for each image to determine whether the description is incorrect, correct, or even correct. Even in this case, it is possible to evaluate with high accuracy whether or not it is an aesthetic form. In other words, instead of recognizing and judging characters and symbols as a whole, it is possible to disassemble them into parts and evaluate them individually and judge them comprehensively. An evaluation can be performed.
In addition to the above-described character, symbol, and graphic recognition method and character, symbol, and graphic recognition program according to the present embodiment, the character, symbol, and graphic recognition program is stored on a computer-readable recording medium. The program may be stored, and by operating a computer using such a recording medium, the above-described program can be executed, and the same operation and effect can be obtained.
Next, a character, symbol and graphic recognition system according to an embodiment of the present invention will be described with reference to FIGS. (Corresponding to
FIG. 35 is a schematic configuration diagram of a character, symbol and graphic recognition system according to the present embodiment. The
The database group connected to the system
The
The character
The converted
Further, the
The
FIG. 36 is a configuration diagram showing the configuration of the
In FIG. 36, a
The full-width
Although the flow evaluation unit is not shown in the present embodiment, it is needless to say that the flow evaluation unit should be provided and evaluated as described above.
In the character, symbol, and graphic recognition system according to the present embodiment configured as described above, characters, symbols, figures, and the like are drawn by hand in the same manner as in the previous embodiment, and the contents are drawn for each image. By disassembling and evaluating the parts, it is possible to evaluate the correctness of characters and the like and aesthetics in detail and with high accuracy and comprehensively.
[0125]
【The invention's effect】
As described above, the character, symbol, and graphic recognition method of the present invention, the program thereof, and a computer-readable recording medium storing the program, and further, in the system, the handwritten characters, symbols, or graphics are configured. It is decomposed for each image and recognized as digital data, and the characteristics of each image are compared with the standard character data that previously stored the model characters and the like as digital data in the database, and the evaluation is performed for each image. In order to evaluate correctness by integrating them, it is possible to learn characters, symbols and figures with high accuracy and in detail.
Further, in order to judge not only correctness but also correctness, esthetics such as which part of the whole is wrong and which part breaks the overall balance are also evaluated. It is possible to practice writing beautiful characters by correcting partial mistakes.
[Brief description of the drawings]
FIG. 1 is a flowchart of a character, symbol, and graphic recognition method and a character, symbol, and graphic recognition program according to an embodiment of the present invention.
FIG. 2 is a schematic diagram showing contents of standard character data in the present embodiment.
FIG. 3 is a schematic diagram of a structure of standard character data according to the present embodiment.
FIG. 4 is a schematic diagram of a structure of standard character data according to the present embodiment.
FIG. 5 is a schematic diagram of a structure of standard character data according to the present embodiment.
FIG. 6 is a schematic diagram of a structure of standard character data according to the present embodiment.
FIG. 7 is a schematic diagram of a structure of standard character data according to the present embodiment.
FIG. 8 is a schematic diagram of a structure of standard character data according to the present embodiment.
FIG. 9 is a schematic diagram of a structure of standard character data according to the present embodiment.
FIG. 10 is a schematic diagram of a structure of standard character data according to the present embodiment.
FIG. 11 is a conceptual diagram showing a handwritten character Hiragana “A”.
FIG. 12 is a flowchart showing step S2 of comparing the number of strokes of handwritten character data and standard character data in the character, symbol, and graphic recognition method and the program according to the present embodiment.
FIG. 13 is a flowchart showing details of step S3 according to the present embodiment.
FIG. 14 is a flowchart showing details of step S4 according to the present embodiment.
FIG. 15 is a flowchart showing details of step S5 according to the present embodiment.
FIG. 16 is a flowchart showing details of step S50 according to the present embodiment.
FIG. 17 is a flowchart showing details of step S51 according to the present embodiment.
FIG. 18 is a flowchart showing details of step S52 according to the present embodiment.
FIG. 19 is a flowchart showing details of step S53 according to the present embodiment.
FIG. 20 is a flowchart showing details of step S54 according to the present embodiment.
FIG. 21 is a flowchart showing details of step S55 according to the present embodiment.
FIG. 22 is a flowchart showing details of step S56 according to the present embodiment.
FIG. 23 is a flowchart showing details of step S57a according to the present embodiment.
FIGS. 24A to 24D are conceptual diagrams for explaining a character, symbol, and graphic recognition method and a method of detecting a temporary intersection in a character, symbol, and graphic recognition program according to the present embodiment; .
FIG. 25 is a flowchart showing details of step S57b according to the present embodiment.
FIG. 26 is a flowchart showing details of step S57c according to the present embodiment.
FIG. 27 is a flowchart showing details of step S58 according to the present embodiment.
FIG. 28 is a flowchart showing details of step S59a according to the present embodiment.
FIG. 29 is a flowchart showing details of step S59b according to the present embodiment.
FIG. 30 is a flowchart showing details of step S61 according to the present embodiment.
FIG. 31 is a flowchart showing details of step S62 according to the present embodiment.
FIG. 32 is a flowchart showing details of step S71 according to the present embodiment.
FIG. 33 is a flowchart showing details of step S72 according to the present embodiment.
FIG. 34 is a flowchart showing details of step S8 according to the present embodiment.
FIG. 35 is a schematic configuration diagram of a character, symbol, and graphic recognition system according to the present embodiment.
FIG. 36 is a configuration diagram showing in detail the configuration of a character evaluation unit according to the present embodiment.
[Explanation of symbols]
DESCRIPTION OF
Claims (14)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003163078A JP3913712B2 (en) | 2003-06-09 | 2003-06-09 | Character, symbol and figure recognition method, program thereof, computer-readable recording medium storing the program, character, symbol and figure recognition system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003163078A JP3913712B2 (en) | 2003-06-09 | 2003-06-09 | Character, symbol and figure recognition method, program thereof, computer-readable recording medium storing the program, character, symbol and figure recognition system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004362483A true JP2004362483A (en) | 2004-12-24 |
| JP3913712B2 JP3913712B2 (en) | 2007-05-09 |
Family
ID=34054991
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003163078A Expired - Fee Related JP3913712B2 (en) | 2003-06-09 | 2003-06-09 | Character, symbol and figure recognition method, program thereof, computer-readable recording medium storing the program, character, symbol and figure recognition system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3913712B2 (en) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008250154A (en) * | 2007-03-30 | 2008-10-16 | Nintendo Co Ltd | Graphic evaluating program and graphic evaluating apparatus |
| WO2010105327A1 (en) * | 2009-03-18 | 2010-09-23 | Tata Consultancy Services Limited | Method, system and computer program for generating financial transaction instructions |
| JP2010230988A (en) * | 2009-03-27 | 2010-10-14 | Nippon Tokei Jimu Center:Kk | Scoring device and program |
| JP2011516924A (en) * | 2008-04-03 | 2011-05-26 | ライブスクライブ インコーポレイテッド | Multi-mode learning system |
| JP2012070960A (en) * | 2010-09-29 | 2012-04-12 | Nintendo Co Ltd | Game apparatus, game program, game system and game controlling method |
| JP2013167815A (en) * | 2012-02-16 | 2013-08-29 | Bunkeido Co Ltd | System and program for determining hand writing chinese character |
| WO2014002673A1 (en) * | 2012-06-26 | 2014-01-03 | Ido Nobuhiko | Question scoring device in which answering is performed using handwritten character input |
| JP2018120109A (en) * | 2017-01-26 | 2018-08-02 | 株式会社ジャストシステム | Learning support program, learning support method, and learning support device |
| CN110188600A (en) * | 2019-04-15 | 2019-08-30 | 广东智媒云图科技股份有限公司 | A kind of drawing evaluation method, system and storage medium |
| CN110753904A (en) * | 2017-09-19 | 2020-02-04 | 深圳市柔宇科技有限公司 | Writing interaction method and device, electronic device and computer readable storage medium |
-
2003
- 2003-06-09 JP JP2003163078A patent/JP3913712B2/en not_active Expired - Fee Related
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008250154A (en) * | 2007-03-30 | 2008-10-16 | Nintendo Co Ltd | Graphic evaluating program and graphic evaluating apparatus |
| JP2011516924A (en) * | 2008-04-03 | 2011-05-26 | ライブスクライブ インコーポレイテッド | Multi-mode learning system |
| US8944824B2 (en) | 2008-04-03 | 2015-02-03 | Livescribe, Inc. | Multi-modal learning system |
| WO2010105327A1 (en) * | 2009-03-18 | 2010-09-23 | Tata Consultancy Services Limited | Method, system and computer program for generating financial transaction instructions |
| JP2010230988A (en) * | 2009-03-27 | 2010-10-14 | Nippon Tokei Jimu Center:Kk | Scoring device and program |
| JP2012070960A (en) * | 2010-09-29 | 2012-04-12 | Nintendo Co Ltd | Game apparatus, game program, game system and game controlling method |
| JP2013167815A (en) * | 2012-02-16 | 2013-08-29 | Bunkeido Co Ltd | System and program for determining hand writing chinese character |
| WO2014002673A1 (en) * | 2012-06-26 | 2014-01-03 | Ido Nobuhiko | Question scoring device in which answering is performed using handwritten character input |
| JP2018120109A (en) * | 2017-01-26 | 2018-08-02 | 株式会社ジャストシステム | Learning support program, learning support method, and learning support device |
| CN110753904A (en) * | 2017-09-19 | 2020-02-04 | 深圳市柔宇科技有限公司 | Writing interaction method and device, electronic device and computer readable storage medium |
| CN110188600A (en) * | 2019-04-15 | 2019-08-30 | 广东智媒云图科技股份有限公司 | A kind of drawing evaluation method, system and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3913712B2 (en) | 2007-05-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6215901B1 (en) | Pen based computer handwriting instruction | |
| Plamondon et al. | Personal digital bodyguards for e-security, e-learning and e-health: A prospective survey | |
| Simonnet et al. | Evaluation of children cursive handwritten words for e-education | |
| JP6963302B2 (en) | Kanji learning device | |
| CN101326518A (en) | Script recognition for ink notes | |
| JP3913712B2 (en) | Character, symbol and figure recognition method, program thereof, computer-readable recording medium storing the program, character, symbol and figure recognition system | |
| Taele et al. | Lamps: A sketch recognition-based teaching tool for mandarin phonetic symbols i | |
| JPH08161429A (en) | Method and apparatus for recognition of character | |
| Jiang et al. | Intelligent understanding of handwritten geometry theorem proving | |
| KR20120075587A (en) | Studying system and method using a recognition of handwriting mathematical expression | |
| TWI303783B (en) | Method and device for recognition of a handwritten pattern, and computer program product | |
| Tan | An algorithm for online strokes verification of Chinese characters using discrete features | |
| CN102646201A (en) | Character recognition apparatus and character recognition method | |
| JP4678671B2 (en) | Handwritten character arrangement shaping method and electronic board system | |
| Yao et al. | Modeling of ancient-style Chinese character and its application to CCC robot | |
| JP2017037125A (en) | Automatic scoring system for performing verification and determination by applying conversion to standard pattern and input pattern for handwriting input character with different configuration of stroke | |
| Bezine et al. | Development of an Arabic handwriting learning educational system | |
| TW200811765A (en) | Method of learning to write Chinese characters | |
| CN114241486A (en) | Method for improving accuracy rate of identifying student information of test paper | |
| JP2550323B2 (en) | Character tracing learning device | |
| JP5667334B2 (en) | Graphic evaluation program and graphic evaluation apparatus | |
| Taele | Freehand sketch recognition for computer-assisted language learning of written east asian languages | |
| Abdou et al. | Artificial tutor for arabic handwriting training | |
| Al-Barhamtoshy et al. | A Toolkit for Teaching Arabic Handwriting | |
| Shin et al. | Character learning system using inter-stroke information |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060516 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20060620 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20060627 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060714 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060912 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061017 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061216 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070123 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070131 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100209 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130209 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |