JP2005284716A - 文字認識システム、文字認識方法およびそのプログラム - Google Patents

Abstract

【課題】 手書きで入力された文字を、電子ペンを用いて電子データとして取得し、文字認識を実行する際に、外字の検索、作成、登録を容易に行い、かつ一連の作業として支援する手段を提供すること。
【解決手段】 記入位置を特定可能に作成された用紙に記入された情報を筆記情報として取得する電子ペン１を用いた文字認識システムであって、文字コードに変換できない文字、つまり認識できない文字がある場合に、この認識できない文字のドットパターンを作成し、このドットパターンをドット単位で修正または予め格納された文字を構成する部品を用いて修正して新規の外字として登録する文字認識システムを課題の解決手段とする。
【選択図】 図１

Description

本発明は、電子ペンを用いて取得した筆記イメージを文字コードに変換する文字認識技術に関し、殊に筆記イメージに外字が含まれる場合に外字の検索および新規外字の作成を支援できる文字認識システム、文字認識方法およびそのプログラムに関する。

近年、自治体の窓口などにおいて申請業務の電子化が進み、申請書をはじめとする帳票への記載事項を、電子データとして効率的に取得する方法が求められている。例えば、記載事項が記入された帳票を、イメージデータとして取得し、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）技術を用いて記載事項を文字コードに変換する方法が広く用いられており、電子ペンなどにより、帳票フォーマットと筆記イメージデータとを直接対応付けて記載事項を電子データとして取得することも可能となっている。

ところで、このように電子ペンを用いて取得したイメージデータを、文字認識技術を用いて文字コードに変換する際には、文字のイメージデータと文字コードを対応付けて格納した辞書を参照するが、帳票の記入項目には人名や住所が含まれることが多く、これらにはＪＩＳ（Ｊａｐａｎ Ｉｎｄｕｓｔｒｉａｌ Ｓｔａｎｄａｒｄ）などの規格によりコンピュータシステムで用いる文字として定められた標準文字以外の「外字」と呼ばれる通常の辞書に無い文字が含まれることがある。このような「外字」を、電子データに変換しようとした場合、従来は、外字管理担当者が外字一覧表を用いた目視による同定作業、もしくは外字と部首検索等により検索した文字群の文字との同定作業を行う必要があった。さらに、変換対象の外字に、予め登録されていない外字が含まれていた場合、人手による外字フォント作成作業を行う必要があった。

この外字フォント作成作業は、外字管理担当者がドットパターンマップにキーボードまたはマウスなどの入力手段を用いてドットパターンを作成することが多く、手間がかかるだけでなく、ディスプレイなどに表示した際に、見易さにおいて予め格納された文字フォントと品質の差が出ることが多かった。このように、公共機関や行政機関などでは外字同定・作成作業に多くの時間を要しており、業務上の大きな負担となっていた。

この問題を解決するために、特許文献１、特許文献２および特許文献３に開示された発明が提案されている。
特許文献１には、文字を構成する部品コードと位置情報の組からなる文字情報を対話的に入力し、辞書に登録されている字形を検索する方法が提案されている。
また、特許文献２には、ＯＣＲ技術の機能を利用し、入力文字パターンと用意された候補文字パターンとを合成したパターンを外字パターンとして登録する方法が提案されている。
さらに、特許文献３には、入力された外字の字形のストロークを特定し、特定されたストローク間の相対位置を解析し、解析結果と各文字のストロークおよび相対位置を有する辞書にある文字とを比較し、入力された外字を検索する方法が提案されている。
特開平７−３６８７２号公報（段落０００８、図１） 特開平８−２４８９４１号公報（段落００１８〜００２９、図４） 特開２００１−３３７９４６号公報（段落００１７〜００１９、図１）

特許文献１、特許文献２および特許文献３に開示されているように、外字同定・作成作業を支援する方法として、部分的に種々の方法が提案されている。しかしながら、検索・同定と外字作成作業を一貫して行う処理を支援する方法として有用なものは、これまで提案されていなかった。

部分的な技術としても、前記特許文献１に記載の外字登録・検索方法では、部品コードや位置情報といった検索時に利用する属性情報を人間が判断しながら、入力しなければならず、外字を検索し、登録する作業が煩雑になるという欠点があった。

また、特許文献２に記載の文字処理システムでは、ＯＣＲの技術を利用しているため、イメージスキャナなどの入力装置での読み込みとなり手間がかかり、合成したパターンに修正が発生する場合は、ドット単位での修正となるため、修正作業が煩雑となるという問題があった。

さらに、特許文献３に記載の外字登録システムでは、公共機関や行政機関などの申請業務における申請書類に外字が含まれている場合、含まれている外字は、手書きの文字の形態が、そのままであるため、形状特徴データベースとの照合において一致せず文字の検索・登録が行えないことがあり、手書きの形状特徴データベースを登録しても別の人間が書いた同じ外字を認識できるとは限らないという問題があった。

したがって、本発明の目的は、前記した問題点を解決し、手書きで入力される文字を、電子ペンを用いて電子データとして取得し、文字認識を実行する際に、外字の検索、作成、登録を容易に行い、かつ一連の作業として支援する手段を提供することにある。

前記した課題を解決するためになされた本発明に係る文字認識システムは、記入位置を特定可能に作成された用紙に記入された情報を筆記情報として取得する電子ペンを用いた文字認識システムにおいて、文字コードに変換できない文字つまり認識できない文字がある場合に、この認識できない文字のドットパターンを作成し、このドットパターンをドット単位で修正または予め格納された文字を構成する部品を用いて修正して新規の外字として登録することを特徴としている。
このように構成された本発明によると、字体の整った外字を迅速に作成することが可能となる。

また、前記した文字認識システムは、文字コードに変換する文字、つまり認識対象の文字の画数およびレイアウトパターンを算出して、はじめに、この画数およびレイアウトパターンを用いて参照する文字群を検索して絞り込み、この文字群を参照して認識対象の文字を文字コードに変換することを特徴としている。
このように構成された本発明によると、文字認識の精度が向上するとともに、文字認識の速度が向上する。

本発明に係る文字識別システム、文字識別方法およびそのプログラムによると、文字認識の精度および速度を向上しつつ筆記情報の取得から新規外字の作成までを一連の処理として効率良く行うことが可能となる。

本発明によると、電子ペンを用いて用紙に記入された筆記情報を取得することで、新規に外字を作成する際に、筆記情報から作成したイメージデータに基づいてドットパターンを作成し、文字を構成する部品を用意して、このドットパターンに修正を加えることで、迅速に字体の整った外字を作成することが可能となる。

本発明の実施の形態を、添付した図面を用いて詳細に説明する。本実施の形態は、公共機関における申請業務において、申請用紙である帳票に記入された情報を電子化して格納する帳票入力システムに、本発明に係る文字認識システムを適用した例である。
なお、以下の本実施の形態の説明において、「文字認識」とは、帳票に記入された文字を文字コードに変換することと同義で用いる。

はじめに、図１は、本発明が適用される帳票入力システムの構成図の例である。図１に示すように、本実施の形態の帳票入力システムは、記入する位置を特定可能なように特殊なドットパターンが印刷された帳票２に記入するストロークデータを取得してペンサーバ３に送信する電子ペン１と、電子ペン１から送信されるストロークデータを、帳票２の帳票項目と対応付けて文字コードに変換して格納するペンサーバ３とから主に構成される。

次に、図１に示した帳票入力システムの各構成要素について詳しく説明する。
（電子ペン）
本実施の形態で用いる電子ペン１は、使用者が帳票２に記入した情報（筆跡）を電子データであるストロークデータに変換して、ペンサーバ３に送信する。
詳しく説明すると、図２は、本実施の形態で用いる電子ペン１の構成を例示した図である。図２に示すように、電子ペン１は、特殊なドットパターンが印刷された帳票２に必要事項を記入するための筆記手段であるペン１０、帳票２に印刷されたドットパターンを読取るカメラ１１、記入時にペン１０に作用する筆圧を検出する圧電素子１２、カメラ１１および圧電素子１２からのデータを処理して、記入により移動するペン先の位置を帳票２のドットパターンと関連付けた情報であるストロークデータを作成する処理装置１３、作成されたストロークデータの蓄積などを行うメモリ１４およびストロークデータを他の装置などに送信する伝送装置１６を含んで構成されている。
さらに、電子ペン１は、入力状況や入力エラーを表示する表示画面１５や、入力エラーを利用者に振動で伝える振動モータ１７なども有している。

この伝送装置１６の例としては、短距離無線伝送技術の一種であるブルートゥース（登録商標）の通信プロトコルに従い、所定の周波数帯域の電波を利用してデータを送受信する装置があげられるが、その他の無線技術や、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、あるいは、有線通信技術の通信プロトコルに従ってデータを送受信する装置であってもよい。また、処理装置１３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などから構成されており、電子ペン１を統括的に制御する。具体的には、カメラ１１において取得した画像情報に含まれる帳票２のドットパターンからストロークデータを作成することや、このストロークデータをペンサーバ３に送信することや、表示画面１５および振動モータ１７を制御することなどがあげられる。

（帳票）
電子ペン１により記入される帳票２は、特殊なドットパターンが印刷されることで、電子処理用ペーパとして機能する。
このドットパターンは、紙面を所定サイズの格子に区切った場合に、その位置を特定できるようにドットが配置されており、このドットパターンを用いることで、帳票２に記入した筆跡を、電子ペン１により特定することができる。さらに帳票２の上面には、帳票２の紙面情報が印刷されており、帳票２の記入者は、この紙面情報を目視して、記入内容や記入位置などを特定して帳票２に記入することができる。
なお、この帳票２は、請求項の用紙に相当している。また、本実施の形態で用いる帳票２を、図３に例示するが、この説明については後記する。

（ペンサーバ）
次に、請求項の文字処理装置に相当するペンサーバ３の構成について説明する。
図１に示すように、ペンサーバ３は、様々な処理を実行するＣＰＵ３０、ペンサーバ３が実行可能なプログラムが展開されるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３１、電子ペン１の伝送装置１６（図２参照）から送信されるストロークデータなどを受信するペンレシーバ３２、図示しないディスプレイなどへのインタフェイスである出力手段３３および様々なデータやプログラムなどが格納されたストレージ３４から主に構成され、例えばサーバ用コンピュータにより実現される。

ペンサーバ３のストレージ３４は、文字解析手段３５、文字検索手段３６、表示作成手段３７、ドットパターン化手段３８、外字検索・作成手段３９、外字登録手段４０およびデータ登録手段４１として機能するプログラムが格納され、帳票定義ファイル４２、本字辞書ファイル４３、外字辞書ファイル４４および文字部品ファイル４５とが格納され、帳票データ格納部４６として区画されたデータ保存領域を含んで構成される。

なお、文字解析手段３５、文字検索手段３６、表示作成手段３７、ドットパターン化手段３８、外字検索・作成手段３９、外字登録手段４０およびデータ登録手段４１として機能するプログラムは、ペンサーバ３のＲＡＭ３１に展開されてＣＰＵ３０が実行することで、各手段として機能する。

次に、ペンサーバ３のストレージ３４に格納され、ＣＰＵ３０が実行することで各手段を実現するプログラムについて詳しく説明する。
文字解析手段３５は、電子ペン１から受信した帳票２に記入されたストロークデータをイメージデータ（以下、記入イメージデータと呼ぶ）に変換し、帳票定義ファイル４２に格納された後記する項目属性情報を参照して、記入イメージデータを１文字ごとに分解して、文字検索手段３６に受け渡す。
さらに、文字解析手段３５は、この１文字ごとの記入イメージデータから、文字レイアウトパターンを算出し、ストロークデータを用いて、この文字の画数を算出する文字解析処理を実行して、この文字解析処理の結果を文字検索手段３６に受け渡す。
なお、文字レイアウトパターンとは、その文字の「部首の区分け」を示す情報であり、文字解析手段３５は、各文字がどのような「部首の区分け」を有しているかを判別して文字レイアウトパターンを算出する。
例えば、図４は、「部首の区分け」による分類の例を示した図であり、符号５０は「偏」を有する文字、符号５１は「冠」を有する文字、符号５２は「にょう」を有する文字、符号５３は「垂れ」を有する文字そして符号５４は「構え」を有する文字を示しており、本実施の形態では、各文字はどの「部首の区分け」を有しているかに応じて５つに分類され、この分類結果の情報が文字レイアウトパターンとなる。

文字検索手段３６は、本字辞書ファイル４３および外字辞書ファイル４４を参照して、記入イメージデータを文字コードに変換する文字認識処理を実行する。この文字検索手段３６では、はじめに、文字解析手段３５から送られる認識対象の文字の文字レイアウトパターンおよび画数を用いて、本字辞書ファイル４３および外字辞書ファイル４４に格納された文字のうち文字レイアウトパターンおよび画数が同じ文字を、変換候補の文字群として検索して絞り込む。
次に、文字解析手段３５から送られた認識対象の文字の記入イメージデータを、絞り込まれた文字群の文字イメージデータを参照して文字コードに変換する文字認識処理を実行する。
この文字認識処理において、文字コードへの変換に成功した場合は、この記入イメージデータと文字コードとを表示作成手段３７に受け渡す。
また、この文字認識処理において文字コードへの変換に失敗した場合は、この記入イメージデータをドットパターン化手段３８および外字検索・作成手段３９に受け渡し、絞り込まれた文字群の情報を、外字検索・作成手段３９に受け渡す。

なお、文字認識処理において、本字辞書ファイル４３および外字辞書ファイル４４に格納された文字の中から、文字コードへの変換確定する方法は、従来技術である文字認識技術の手法を用いることができる。例えば、認識対象の文字と絞り込まれた文字群の中の文字との類似度を算出し、所定の閾値以上であれば、その文字であると判定する方法を用いることができる。

表示作成手段３７は、帳票定義ファイル４２に格納された情報と、文字解析手段３５から送られた認識対象の文字の記入イメージデータと、文字検索手段３６および外字登録手段４０から送られた認識対象の文字の認識結果とを対応づけて、後記する帳票確認画面８１（図８参照）を作成し、出力手段３３に出力する。

ドットパターン化手段３８は、文字検索手段３６の文字認識処理において文字コードへの変換に失敗した場合、認識対象の文字のドットパターンの作成処理を実行する。ドットパターン化手段３８では、文字検索手段３６から受け取った認識対象の文字の記入イメージデータを、ドットパターンマップ上にプロットしたドットパターンとして作成し、このドットパターンと記入イメージデータを外字検索・作成手段３９に受け渡す。

請求項の外字作成手段に相当する外字検索・作成手段３９は、文字部品ファイル４５から文字を構成する部品群のドットパターンを取得し、文字検索手段３６から送られた、絞り込まれた文字群の情報と、ドットパターン化手段３８から送られた認識対象の文字のドットパターンおよび記入イメージデータとを用いて後記する外字検索・作成画面７１（図７参照）を作成し、出力手段３３から出力する。また、この外字検索・作成画面７１には、文字検索手段３６から受け取った変換候補の文字群の情報も、認識対象の文字の認識候補として選択可能に表示する。
この外字検索・作成画面７１により、利用者はドットパターン化された文字に対して、ドット単位の修正を行ったり、文字を構成する部品群のドットパターンより部品を選択して、ドットパターン化された文字の部品と置換したり、適当な部品を追加することなどで、認識できなかった文字の変換または新規の外字の作成・登録をすることなどができる。

外字登録手段４０は、外字検索・作成手段３９が出力手段３３から出力する外字検索・作成画面７１（図７参照）において、帳票入力システムの利用者が認識対象の文字を新規の外字としてドットパターンを確定した場合には、新規に文字コードを発生させ、この文字の文字レイアウトパターン、画数およびこの確定したドットパターンを、発生させた文字コードと対応付けて外字辞書ファイル４４に登録し、認識対象の文字の記入イメージデータと、新規に発生した文字コードとを表示作成手段３７に受け渡す。
また、外字検索・作成手段３９が出力手段３３から出力する外字検索・作成画面７１（図７参照）において、帳票入力システムの利用者が認識対象の文字を変換候補の文字群から選択した場合には、認識対象の文字の記入イメージデータと、選択された文字の文字コードとを表示作成手段３７に受け渡す。

データ登録手段４１は、表示作成手段３７が作成した後記する帳票確認画面８１（図８参照）において帳票２に入力される情報が確定すると、各文字の記入イメージデータと文字コードとを、帳票２の帳票項目に対応付けて帳票データ格納部４６に格納する処理を実行する。

次に、ストレージ３４に格納された各ファイルを説明する。
帳票定義ファイル４２は、帳票２のドットパターンと帳票２の上面に印刷された紙面情報を対応付けた情報を含み、この情報は、文字解析手段３５において電子ペン１から送信されるストロークデータを記入イメージデータに変換する際に利用され、さらに、前記した各手段において電子ペン１から送信されるストロークデータと帳票２の帳票項目との対応付けを行う際などに利用される。

ここで、例えば、図３は、自治体などの窓口において公文書の開示を請求する際に記入する帳票２である公文書公開請求書を例として、帳票定義ファイル４２の構造を説明する図である。図３を参照して、帳票２には、図示しない特殊なドットパターンが印刷されており、さらにその上には氏名や住所などの帳票項目を目視にて確認できる紙面情報が印刷されている。また、帳票２の帳票項目には、記入領域を示す破線の枠が設定されており、この破線の枠内に記入されたストロークデータは、この帳票項目と対応付けて記入イメージデータに変換されて最終的にデータ登録手段４１により帳票データ格納部４５に格納される。
なお、実際の帳票２には、この破線は印刷されていない。また、帳票２の下部には、この帳票２への記入終了時に記入するチェックボックス２１が設けられており、記入者は、このチェックボックス２１にチェックを記入することで、帳票２への記入終了をペンサーバ３に送信することができる。

さらに、帳票２の破線で囲まれた領域には、それぞれ、その領域に記入される情報を定義した項目属性情報２２が設定されている。図３に示した項目属性情報２２の例では、氏名の「名」を記入する領域について、上から順に、この項目属性情報２２が収納されたファイル名を示す「帳票定義ファイル名」、この帳票項目を特定できるＩＤである「帳票項目ＩＤ」、この帳票項目の名前の情報である「帳票項目名」、この帳票項目への記入が必須であるか否かを示す情報である「記入必須」、この帳票項目に記入される情報の種類を示す情報である「属性」、この帳票項目に入力される最大の文字数を示す情報である「最大文字数」およびこの帳票項目に記入可能な行数を示す情報である「記入可能行数」を含んで構成されていることがわかる。

なお、項目属性情報２２に含まれる情報のうち、「属性」の欄には、その帳票項目に記入される情報の種類を示しており、図３に示した例では、「名」の帳票項目に記入される情報が「文字」であることを示している。例えば、この「属性」の欄を「画像」と設定することで、記入イメージデータを文字コードに変換せず、そのまま格納する設定にすることも可能である。

本字辞書ファイル４３には、記入イメージデータの文字コードへの変換の際に、文字検索手段３６が参照する標準の文字（例えば、ＪＩＳ第１水準およびＪＩＳ第２水準の文字）のイメージデータ、文字レイアウトパターンおよび画数が、文字コードと対応付けられて格納されている。

また、外字辞書ファイル４４には、本字辞書ファイル４３に格納されていない文字のイメージデータ、文字レイアウトおよび画数が、文字コードと対応付けられて格納されている。なお、外字登録手段４０にて登録される新規の外字のドットパターン（イメージデータ）、文字レイアウトパターンおよび画数も、新たに作成された文字コードに対応付けられて、この外字辞書ファイル４４に格納される。

なお、本実施の形態では本字辞書ファイル４３および外字辞書ファイル４４を備える構成としたが、１つの辞書ファイルに本字および外字のデータを格納した構成であってもよい。

文字部品ファイル４５には、外字検索・作成手段３９において使用される、新規に作成する外字を構成する部品群のドットパターンが格納されている。この外字を構成する部品群としては、様々な部首のドットパターンやさらに細かに区分された漢字を構成する部品のドットパターンなどが格納されている。

さらに、ストレージ３４の中に区画された領域である帳票データ格納部４６には、データ登録手段４１により、電子ペン１から送信されたストロークデータを変換した記入イメージデータおよびこの記入イメージデータを変換した文字コードが、帳票２の帳票項目と対応付けて格納される。

（帳票データ登録過程）
次に、前記した本実施の形態の帳票入力システムを使用して、公文書の公開を請求する請求者の、図３に示した帳票２である公文書公開請求書（以下、帳票２とする）に電子ペン１を用いて記入した情報を、ペンサーバ３において文字コードに変換して格納する手順を、図５に示したフローチャートを参照して説明する（適宜、図１、図３参照）。

はじめに、自治体などの窓口で、公文書の公開請求をする請求者は、図３に示した帳票２に、電子ペン１を用いて必要事項を記入する。この帳票２に電子ペン１を用いて入力された情報は、逐次、電子ペン１によりストロークデータとしてペンサーバ３に送信され、ペンサーバ３は、ペンレシーバ３２から、この帳票２に電子ペン１を用いて入力されたストロークデータを受信する（ステップＳ１０１）。

そして、ペンサーバ３は、この受信したストロークデータの中で、帳票２の筆記終了を示すチェックボックス２１にチェックが記入されたか否かを判定し（ステップＳ１０２）、チェックボックス２１に記入されたストロークデータが検出されない場合は（ステップＳ１０２でＮｏの場合）、チェックボックス２１にチェックが入力されるまで、ステップＳ１０１のストロークデータの受信を続ける。

そして、帳票２の筆記終了を示すチェックボックス２１に、記入されたストロークデータを検出すると（ステップＳ１０２でＹｅｓの場合）、文字解析手段３５は、それまでに受信したストロークデータを、帳票定義ファイル４２に格納されたこの帳票２の帳票定義情報を参照して１文字単位の記入イメージデータに変換する（ステップＳ１０３）。

そして、文字解析手段３５は、この１文字単位の記入イメージデータから、その文字の文字レイアウトパターンを算出し、その文字のストロークデータから画数を算出する文字解析処理を実行して、その結果をその文字の記入イメージデータと合わせて文字検索手段３６に受け渡す（ステップＳ１０４）。
なお、このステップＳ１０３およびステップＳ１０４の処理は、ステップＳ１０２の判定に関係なく、逐次実行する構成とすることもできる。

次に、ペンサーバ３の文字検索手段３６は、１文字ごとに、文字解析手段３５から送られる認識対象の文字の文字レイアウトパターンおよび画数を用いて、本字辞書ファイル４３および外字辞書ファイル４４から、変換候補となる同じ文字レイアウトパターンおよび画数を有する文字群を検索して絞り込む（ステップＳ１０５）。

次に、文字検索手段３６は、認識対象の文字の記入イメージデータから、ステップＳ１０５で絞り込まれた文字群を参照して、認識対象の文字を文字コードに変換する文字認識処理を実行する（ステップＳ１０６）。
そして、ステップＳ１０６の文字認識処理において、絞り込まれた文字群から文字認識が成功したか否かを判定する（ステップＳ１０７）。この判定は、例えば、認識対象の文字と絞り込まれた文字群の文字との類似度を算出して、所定の閾値よりも類似度が高い文字があるか否かにより行われる。

ステップＳ１０７の判定において、文字の認識に成功した場合は（ステップＳ１０７においてＹｅｓの場合）、認識された文字の文字コードとその記入イメージデータとを表示作成手段３７に受け渡し（ステップＳ１１０）、全ての認識対象の文字の認識が終了したかを判定するステップＳ１１２に進む。
また、文字の認識に失敗した場合は（ステップＳ１０７においてＮｏの場合）、ステップＳ１０５で絞り込まれた文字群だけでなく、本字辞書ファイル４３および外字辞書ファイル４４に含まれる全ての文字を参照して文字認識処理を実行する（ステップＳ１０８）。

そして、ステップＳ１０８の文字認識処理を実行して、本字辞書ファイル４３および外字辞書ファイル４４に含まれる全ての文字を参照した文字認識に成功したか否かを判定する（ステップＳ１０９）。この判定において、文字の認識に成功した場合は（ステップＳ１０９においてＹｅｓの場合）、認識された文字の文字コードとその記入イメージデータを表示作成手段３７に受け渡し（ステップＳ１１０）、全ての認識対象の文字の認識が終了したかを判定するステップＳ１１２に進む。
また、文字の認識に失敗した場合は（ステップＳ１０９においてＮｏの場合）、ドットパターン化手段３８および外字検索・作成手段３９を用いて外字の検索・作成処理を実行する（ステップＳ１１１）。

ここで、図６は、ステップＳ１１１の外字の検索・作成処理の手順を詳しく説明するフローチャートである。図６を参照して、ステップＳ１１１の外字の検索・作成処理を詳しく説明する。

ここでは、電子ペン１を用いて、帳票２に例えば、「かん」（字体は、門構えに“月”）という文字を記入して、この「かん」という文字が本字辞書ファイル４３および外字辞書ファイル４４に登録されていない場合を想定する。
ステップＳ１０９において、「かん」という文字の文字認識に失敗したペンサーバ３は、ステップＳ１１１の外字検索・作成処理を実行する。
はじめに、ペンサーバ３のドットパターン化手段３８は、文字検索手段３６から認識できない「かん」という文字の記入イメージデータを受け取る（ステップＳ２０１）。

そして、ドットパターン化手段３８は、この「かん」という文字の記入イメージデータを、例えば「３２×３２」ドットのグリッド上にドットパターンとして変換し、外字検索・作成手段３９に受け渡す（ステップＳ２０２）。

次に、外字検索・作成手段３９は、文字検索手段３６から受け取った、ステップＳ１０５において実行された「かん」という文字の変換対象となる文字の絞り込みの結果と、ドットパターン化手段３８から受け取った、「かん」という文字のドットパターンと、文字部品ファイル４５に格納された漢字の部品のイメージデータとを用いて外字検索・作成画面７１（図７参照）を作成し、出力手段３３に出力する（ステップ２０３）。

ここで、図７は、外字検索・作成手段３９が作成する文字検索・作成画面７１の例である。図７を参照すると、文字検索・作成画面７１は、電子ペン１を用いて入力された「かん」という文字の記入イメージデータが表示される記入イメージデータ表示領域７２と、デフォルトでドットパターン化手段３８から受け取ったドットパターンが表示されるドットパターン表示領域７３と、文字部品ファイル４５に格納された漢字の部品が表示される部品選択領域７４と、文字検索手段３６から受け取った変換対象となる文字群が表示される変換候補表示領域７５と、ドットパターン表示領域７３に表示された外字の入力を確定する登録ボタン７６とから主に構成される。

操作者は、この文字検索・作成画面７１を見て、「かん」という文字が変換候補表示領域７５に表示されているかを確認できる。
なお、もしも、この変換候補表示領域７５に変換される文字が表示されている場合には、その文字を図示しないマウスなどのポインティングデバイスを用いて選択することにより、認識対象の文字の記入イメージデータと選択された文字とを応付けることができる。
また、変換候補表示領域７５に表示される変換候補の文字群は、操作者の検索の効率をさらに向上させるために、ドットパターン表示領域７３に表示されたドットパターンと類似度が高いものから順に表示させることが望ましい。

この例では、変換候補表示領域７５に、「かん」という文字が表示されていないため、新たに外字として登録することになる。この場合、ドットパターン表示領域７３に表示された「かん」という文字のドットパターンをドット単位で修正することや、部品表示領域７４に表示された部品をドットパターン表示領域７３にドラッグして、正確な「かん」という文字の部品に置換することにより、ドットパターン表示領域に表示される「かん」という文字のドットパターンを所望の字体に修正して、「かん」という文字の記入イメージデータと修正されたドットパターンとが対応付けられる。
なお、このドットパターンの修正の過程において、修正の度に、ドットパターン表示領域７３に表示されたドットパターンと類似度の高い文字の候補を本字辞書ファイル４３および外字辞書ファイル４４から算出して、変換候補表示領域７５に表示させることもでき、これにより外字の重複登録を防止することができる。

次に、ドットパターンの修正を終えた操作者が、文字検索・作成画面７１の登録ボタン７６をクリックすると、外字検索・作成手段３９は、文字検索・作成画面７１によって対応付けられた「かん」という文字の記入イメージデータとそれに対応する確定したドットパターンを、外字登録手段４０に受け渡す（ステップＳ２０４）。
そして、外字登録手段４０は、文字検索・作成画面７１において「かん」という文字の記入イメージデータに対応付けられたドットパターンが、変換候補表示領域７５から選択されたドットパターンか否か、つまり本字辞書ファイル４３または外字辞書ファイル４４に格納された文字か否かを判定する（ステップＳ２０５）。

この例では、文字の記入イメージデータに対応付けられたドットパターンが、変換候補表示領域７５から選択されたドットパターンではないため（ステップＳ２０５においてＮｏ）、外字登録手段４０は、外字検索・作成画面７１において作成されたドットパターンと「かん」という文字の文字レイアウトデータおよびその画数とを新規に発生させた文字コードに対応させて外字辞書ファイル４４に登録する（ステップＳ２０６）。

そして、外字登録手段４０は、この「かん」という文字の記入イメージデータとステップＳ２０６で対応付けた新規に発生させた文字コードとを表示作成手段３７に受け渡す（ステップＳ２０７）。

なお、ステップＳ２０４において受け渡されたドットパターンが、変換候補表示領域７５から選択されたものである場合は（ステップＳ２０５においてＹｅｓの場合）、ステップＳ２０７に進み、記入イメージデータと選択された文字の文字コードが表示作成手段３７に受け渡される。

以上の過程により、図５に示したフローチャートのステップＳ１０９までに文字認識されなかった文字は、新規の外字として外字辞書ファイル４４に格納される。もしくは、本字辞書ファイル４３または外字辞書ファイル４４に格納された文字と対応付けられる、

図５のフローチャートに戻って、ステップＳ１１０の認識された文字の記入イメージデータおよびそれに対応する文字コードを表示作成手段に受け渡す処理が終了するか、ステップＳ１１１の外字検索・作成処理が終了すると、文字解析手段３５は、電子ペン１を用いて入力された全ての文字が文字コードに変換されたか否かを判定する（ステップＳ１１２）。
ここで、全ての文字の文字コードへの変換が終了していない場合は（ステップＳ１１２においてＮｏの場合）、ステップＳ１０４に戻って、さらに次の文字の文字認識を実行する。
また、全ての文字の文字コードへの変換が終了した場合（ステップＳ１１２においてＹｅｓの場合）、表示作成手段３７は、ステップＳ１１２までの変換結果から、変換結果を確認する帳票確認画面８１を作成し、出力手段３３に出力する（ステップＳ１１３）。

ここで、図８は、表示作成手段３７によって作成される帳票確認画面８１の例を示している。図８に示した帳票確認画面８１において、画面左側の符号８２で示した表示領域には、帳票２の紙面情報に、記入イメージデータを合成して表示されている。また、画面右側の符号８３で示した表示領域には、帳票２の帳票項目ごとに、記入イメージデータおよびそれを変換した文字コードに対応する本字イメージデータまたは外字イメージデータが表示されている。さらに、記入イメージデータの変換結果を帳票データ格納部４６に登録する際にクリックする確認ボタン８５が設けられている。

この帳票確認画面８１において、符号８４で示した「氏名２」の帳票項目は、図６に示したフローチャートのステップＳ２０７において受け渡された「かん」という文字の記入イメージデータとこれに対応する文字コードに基づいて、上段に記入イメージデータが、下段に外字辞書ファイル４４に格納されたこの文字コードに対応する文字の外字イメージデータがそれぞれ表示されている。
ペンサーバ３の操作者は、符号８３で示した表示領域に表示された、記入イメージデータと本字イメージデータまたは外字イメージデータとを目視して、変換に誤りがある場合は、その項目を修正することができる。

この帳票確認画面８１により、記入イメージデータが正しく文字コードに変換されたかを確認することができ、ペンサーバ３の操作者は、記入イメージデータの文字コードへの変換を確認すると、確認ボタン８５をクリックする。これにより、ペンサーバ３のデータ登録手段４１の機能により、各帳票項目の記入イメージデータからの変換結果である文字コードは、帳票入力データとして帳票データ格納部４６に格納される（ステップＳ１１４）。

前記した過程を経て、帳票２に電子ペン１を用いて入力されたストロークデータは、ペンサーバ３において、帳票２の帳票項目と対応付けて記入イメージデータに変換され、本字辞書ファイル４３および外字辞書ファイル４４を参照して最終的に文字コードに変換されて帳票データ格納部４６に格納される。

以上、説明した本実施の形態の帳票入力システムによると、帳票２に記入された情報を電子データとして迅速に取得することができる。また、その過程で、記入イメージデータを文字コードに変換する際に、記入イメージデータから算出した文字レイアウトパターンおよびストロークデータから算出した文字の画数を用いて、変換候補となる文字群を絞り込んで文字認識を実行することで、変換の精度が上昇するとともに変換の速度が向上する。
さらに、文字コードに変換できない記入イメージデータがあった場合でも、変換候補となる文字群を表示することで、操作者が容易に本字辞書ファイル４３および外字辞書ファイル４４に格納された文字の中から変換される文字を検索することができる。また、記入イメージデータが、本字辞書ファイル４３および外字辞書ファイル４４に格納されていない新規の外字であった場合にも、ドットパターンの修正と文字を構成する部品を用いることで、迅速に字体の整った外字イメージデータを作成することができる。

以上、本発明に係る文字認識システムを適用した好適な実施の形態を通して本発明を説明したが、本発明に係る文字認識システムは、本発明の属する技術分野の通常の知識を有する者であれば、電子ペンまたはＯＣＲなどを用いた様々な文字の入力システムに適用可能であり、前記した実施の形態は、その一実施形態にすぎない。したがって、本発明は特許請求の範囲に記載された技術的思想により定められる。

本発明に係る文字認識システムが適用された帳票入力システムの構成図である。 本実施の形態の電子ペンの構成図である。 文字レイアウトパターンの分類例を説明する図である。 帳票とその帳票項目に対応付けられた項目属性情報を説明する図である。 本実施の形態の帳票入力システムの動作を説明するフローチャートである。 新規の外字を検索・作成する手順を説明するフローチャートである。 新規の外字を検索・作成する外字作成画面を表す図である。 帳票に入力された情報を確定する帳票確認画面を表す図である。

符号の説明

１ 電子ペン
２ 帳票
３ ペンサーバ
３５ 文字解析手段
３６ 文字検索手段
３７ 表示作成手段
３８ ドットパターン化手段
３９ 外字検索・作成手段
４０ 外字登録手段
４１ データ登録手段
４２ 帳票定義ファイル
４３ 本字辞書ファイル
４４ 外字辞書ファイル
４５ 文字部品ファイル
４６ 帳票データ格納部
７１ 外字検索・作成画面
８１ 帳票確認画面

Claims (5)

1. 記入位置を特定可能に作成された用紙に手書きで記入する情報を筆記情報として取得する電子ペンと、
   前記電子ペンから受信した前記筆記情報から、変換対象の文字の記入イメージデータを作成する文字解析手段、文字イメージデータを文字コードに対応付けて格納した文字記憶手段、および前記文字記憶手段を参照して前記記入イメージデータを文字コードに変換する文字変換手段を有する文字処理装置とを含んで構成される文字認識システムであって、
   前記文字処理装置は、
   文字を構成する部品群のドットパターンを格納した文字部品記憶手段と、
   前記文字変換手段が変換対象の文字を文字コードに変換できない場合に、前記記入イメージデータからドットパターンを作成するドットパターン化手段と、
   前記ドットパターン化手段が作成したドットパターンを、ドット単位の修正または前記文字部品記憶手段に格納された部品群のドットパターンを用いた修正が可能に構成された表示画面を作成する外字作成手段と、
   前記表示画面で変換対象の文字のドットパターンが確定すると、このドットパターンを新たに発生させた文字コードと対応付けて前記文字記憶手段に格納する外字登録手段とを含んで構成されること、
   を特徴とする文字認識システム。
2. 前記文字記憶手段は、さらに文字のレイアウトパターンおよび文字の画数を前記文字コードに対応付けて格納し、
   前記文字解析手段は、前記筆記情報から変換対象の文字の画数および前記記入イメージデータから変換対象の文字のレイアウトパターンをさらに算出し、
   前記文字変換手段は、前記文字解析手段が算出した変換対象の文字の画数およびレイアウトパターンを用いて、前記文字記憶手段から同じ画数およびレイアウトパターンを有する文字群を変換候補として検索し、その検索した文字群を参照して前記記入イメージデータを文字コードに変換し、
   前記外字登録手段は、前記文字変換手段が変換対象の文字を文字コードに変換できない場合には、前記表示画面で変換対象の文字のドットパターンが確定すると、このドットパターンと合わせて変換対象の文字の画数およびレイアウトパターンを、前記新たに発生させた文字コードと対応付けて前記文字記憶手段に格納すること、
   を特徴とする請求項１に記載の文字認識システム。
3. 前記外字作成手段は、前記文字変換手段が検索した前記文字群を、前記表示画面に変換対象の文字の変換候補として選択可能に表示し、
   前記外字登録手段は、前記表示画面において前記文字群の文字が選択されると、選択された文字の文字コードを、変換対象の文字の文字コードとして出力すること、
   を特徴とする請求項２に記載の文字認識システム。
4. 記入位置を特定可能に作成された用紙に手書きで記入する情報を筆記情報として取得する電子ペンから受信した筆記情報を文字コードに変換する文字変換手段と、文字のイメージデータ、画数およびレイアウトパターンを文字コードに対応付けて格納した文字記憶手段と、文字を構成する部品群のドットパターンを格納した文字部品記憶手段とを有する文字認識装置における文字認識方法であって、
   前記電子ペンから前記筆記情報を取得するステップと、
   前記筆記情報から変換対象の文字の記入イメージデータを作成し、この記入イメージデータから変換対象の文字のレイアウトパターンと前記筆記情報から変換対象の文字の画数を算出するステップと、
   算出された変換対象の文字の画数およびレイアウトパターンを用いて、前記文字記憶手段から、同じ画数およびレイアウトパターンを有する文字群を変換候補として検索するステップと、
   検索された文字群を参照して前記記入イメージデータを文字コードに変換するステップと、
   文字コードへの変換ができない場合に、前記記入イメージデータから変換対象の文字のドットパターンを作成するステップと、
   作成された変換対象の文字のドットパターンを、ドット単位で修正または前記文字部品記憶手段に格納された部品群のドットパターンを用いて修正が可能に表示し、検索された前記文字群を、変換対象の文字の変換候補として選択可能に表示するように構成された表示画面を作成するステップと、
   前記表示画面において変換対象の文字のドットパターンが確定すると、この確定したドットパターンと変換対象の文字の画数およびレイアウトパターンとを、新たに発生させた文字コードに対応付けて前記文字記憶手段に格納するステップと、
   前記表示画面において前記文字群の文字が選択されると、選択された文字の文字コードを、変換対象の文字の文字コードとして出力するステップとを含むこと、
   を特徴とする文字認識方法。
5. 文字イメージデータ、文字の画数および文字のレイアウトパターンを文字コードに対応付けて格納した文字記憶手段と、文字を構成する部品群のドットパターンを格納した文字部品記憶手段とを有し、位置を特定可能に作成された用紙に手書きで記入する情報を筆記情報として取得する電子ペンから受信した筆記情報を文字コードに変換する装置に用いられるコンピュータを、
   前記筆記情報から変換対象の文字の記入イメージデータを作成し、前記筆記情報から変換対象の文字の画数および前記記入イメージデータから変換対象の文字のレイアウトパターンを算出する文字解析手段、
   前記文字解析手段が算出した画数およびレイアウトパターンを用いて、前記文字記憶手段から同じ画数およびレイアウトパターンを有する文字群を変換候補として検索し、そして、この検索された文字群を参照して前記記入イメージデータを文字コードに変換する文字変換手段、
   前記文字変換手段が変換できない文字の前記記入イメージデータからドットパターンを作成するドットパターン化手段、
   前記ドットパターン化手段が作成したドットパターンを、ドット単位の修正または前記文字部品記憶手段に格納された部品群のドットパターンを用いた修正が可能に表示し、前記文字変換手段が検索した前記文字群を、変換対象の文字の変換候補として選択可能に表示するように構成された表示画面を作成する外字作成手段、
   前記表示画面において変換対象の文字のドットパターンが確定すると、この確定したドットパターンと前記文字解析手段が算出した変換対象の文字の画数およびレイアウトパターンとを、新たに発生させた文字コードに対応付けて前記文字記憶手段に格納し、前記表示画面において前記文字群の文字が選択されると、選択された文字の文字コードを、変換対象の文字の文字コードとして出力する外字登録手段、
   として機能させることを特徴とする-文字認識プログラム。

Images