JP2013045436A - 文字認識装置、文字認識結果処理システム及びプログラム - Google Patents

Abstract

【課題】文字認識結果の候補を定義した情報を用いた文字認識で文字認識結果が得られなかった場合でも文字認識結果を得ることができ、誤認識の可能性があることを知らせることを可能にする。
【解決手段】端末装置１０において、制御部１１は、単語照合による文字認識を行うよう単語照合部１３を制御し、単語照合部１３から文字認識結果が返された場合には、その尤度が閾値以上であれば、文字認識結果を正しい結果として出力するよう認識情報出力部１５を制御し、その尤度が閾値以下であれば、文字認識結果を誤認識の可能性がある結果として出力するよう認識情報出力部１５を制御し、単語照合部１３から文字認識結果が返されなかった場合には、文脈処理による文字認識を行うよう文脈処理部１４を制御し、その尤度に関わらず、文字認識結果を誤認識の可能性がある結果として出力するよう認識情報出力部１５を制御する。
【選択図】図６

Description

本発明は、文字認識装置、文字認識結果処理システム、プログラムに関する。

文字切出しと文字認識の誤りを自動的に修正する文字列読取り方法は知られている（例えば、特許文献１参照）。この特許文献１では、文字行画像から文字として可能性のある切出しパターンと尤度、切出しパターンを文字認識した際の認識候補文字と尤度などを得、これら尤度を使って読取り結果を求める。そして読取り結果の文字切出し結果や文字認識結果が適切かどうかを、これら尤度を用いて判定し、読取り結果が適切でない場合に適切でないと推測される範囲を推測する。そして判定結果などに従って単語抽出などの処理パラメータなどを切り替え、読取り処理を再実行する。そして読取り結果の判定結果により、上記処理を繰返し行なう。最後に、繰返し求めた読取り結果の判定結果から適切な読取り結果を選択する。

特開２００７−２１９８６７号公報

本発明の目的は、文字認識結果の候補を定義した情報を用いた文字認識で文字認識結果が得られなかった場合でも文字認識結果を得ることができ、誤認識の可能性があることを知らせることを可能にすることにある。

請求項１に記載の発明は、文字認識対象のデータを取得する取得手段と、文字認識結果の候補を定義した情報を用いてデータを文字認識する第１の文字認識手段と、学習用の文章を統計的に分析して得られた情報を用いてデータを文字認識する第２の文字認識手段と、前記取得手段により取得されたデータが前記第１の文字認識手段によって文字認識されるように制御した後、前記第１の文字認識手段による文字認識結果が得られた場合には、当該文字認識結果が出力されるように制御し、前記第１の文字認識手段による文字認識結果が得られなかった場合には、前記取得手段により取得されたデータが前記第２の文字認識手段によって文字認識され、かつ、前記第２の文字認識手段による文字認識結果が誤認識の可能性がある結果として出力されるように制御する制御手段とを備えたことを特徴とする文字認識装置である。
請求項２に記載の発明は、前記制御手段は、前記第１の文字認識手段による文字認識結果が得られた場合には、当該文字認識結果の尤度が予め定めた制御用閾値以上であれば、当該文字認識結果が正しい結果として出力されるように制御し、当該文字認識結果の尤度が当該制御用閾値以下であれば、当該文字認識結果が誤認識の可能性がある結果として出力されるように制御することを特徴とする請求項１に記載の文字認識装置である。
請求項３に記載の発明は、文字認識結果と当該文字認識結果の尤度とが渡されると、当該尤度が予め定めた出力用閾値以上であれば、当該文字認識結果を正しい結果として出力し、当該尤度が当該出力用閾値以下であれば、当該文字認識結果を誤認識の可能性がある結果として出力する出力手段を更に備え、前記制御手段は、前記第２の文字認識手段による文字認識結果の尤度が前記出力用閾値以上であれば、当該文字認識結果と、当該出力用閾値以下の尤度とを前記出力手段に出力し、前記第２の文字認識手段による文字認識結果の尤度が当該出力用閾値以下であれば、当該文字認識結果と当該尤度とを前記出力手段に出力することにより、前記第２の文字認識手段による文字認識結果が誤認識の可能性がある結果として出力されるように制御することを特徴とする請求項１又は請求項２に記載の文字認識装置である。
請求項４に記載の発明は、文字認識対象のデータを文字認識する文字認識装置と、前記文字認識装置による文字認識結果を管理する管理装置と、前記管理装置により管理される前記文字認識結果を、修正者の操作に応じて修正する修正装置とを備え、前記文字認識装置は、前記文字認識対象のデータを取得する取得手段と、文字認識結果の候補を定義した情報を用いてデータを文字認識する第１の文字認識手段と、学習用の文章を統計的に分析して得られた情報を用いてデータを文字認識する第２の文字認識手段と、前記取得手段により取得されたデータが前記第１の文字認識手段によって文字認識されるように制御した後、前記第１の文字認識手段による文字認識結果が得られた場合には、当該文字認識結果と当該文字認識結果が正しい結果であること又は誤認識の可能性がある結果であることを示す結果情報とが前記管理装置に出力されるように制御し、前記第１の文字認識手段による文字認識結果が得られなかった場合には、前記取得手段により取得されたデータが前記第２の文字認識手段によって文字認識され、かつ、前記第２の文字認識手段による文字認識結果と当該文字認識結果が誤認識の可能性があることを示す結果情報とが前記管理装置に出力されるように制御する制御手段とを備え、前記管理装置は、前記文字認識装置により出力された前記文字認識結果と前記結果情報とを対応付けて記憶する記憶手段を備え、前記修正装置は、前記記憶手段に記憶された前記文字認識結果のうち、少なくとも誤認識の可能性があることを示す前記結果情報に対応付けて記憶された前記文字認識結果を、修正が必要な情報として表示する表示手段を備えたことを特徴とする文字認識結果処理システムである。
請求項５に記載の発明は、前記制御手段は、前記第１の文字認識手段による文字認識結果が得られた場合には、当該文字認識結果の尤度が予め定めた制御用閾値以上であれば、当該文字認識結果と当該文字認識結果が正しい結果であることを示す前記結果情報とが前記管理装置に出力されるように制御し、当該文字認識結果の尤度が当該制御用閾値以下であれば、当該文字認識結果と当該文字認識結果が誤認識の可能性がある結果であることを示す前記結果情報とが前記管理装置に出力されるように制御することを特徴とする請求項４に記載の文字認識結果処理システムである。
請求項６に記載の発明は、コンピュータに、文字認識対象のデータを取得する取得機能と、文字認識結果の候補を定義した情報を用いてデータを文字認識する第１の文字認識機能と、学習用の文章を統計的に分析して得られた情報を用いてデータを文字認識する第２の文字認識機能と、前記取得機能で取得されたデータが前記第１の文字認識機能で文字認識されるように制御した後、前記第１の文字認識機能での文字認識結果が得られた場合には、当該文字認識結果が出力されるように制御し、前記第１の文字認識機能での文字認識結果が得られなかった場合には、前記取得機能で取得されたデータが前記第２の文字認識機能で文字認識され、かつ、前記第２の文字認識機能での文字認識結果が誤認識の可能性がある結果として出力されるように制御する制御機能とを実現させるためのプログラムである。

請求項１の発明によれば、文字認識結果の候補を定義した情報を用いた文字認識で文字認識結果が得られなかった場合でも文字認識結果を得ることができ、誤認識の可能性があることを知らせることができる。
請求項２の発明によれば、文字認識結果の候補を定義した情報を用いた文字認識で文字認識結果が得られた場合にも、誤認識の可能性があることを知らせることができる。
請求項３の発明によれば、文字認識結果の尤度が閾値以下の場合に文字認識結果を誤認識の可能性があるものとして出力する手段が既に備わっている場合に、その手段を改変することなく、学習用の文章を統計的に分析して得られた情報を用いた文字認識による文字認識結果を尤度に関わらず誤認識の可能性があるものとして出力することができる。
請求項４の発明によれば、文字認識結果の候補を定義した情報を用いた文字認識で文字認識結果が得られなかった場合でも文字認識結果を得ることができ、誤認識の可能性があることを知らせることができる。
請求項５の発明によれば、文字認識結果の候補を定義した情報を用いた文字認識で文字認識結果が得られた場合にも、誤認識の可能性があることを知らせることができる。
請求項６の発明によれば、文字認識結果の候補を定義した情報を用いた文字認識で文字認識結果が得られなかった場合でも文字認識結果を得ることができ、誤認識の可能性があることを知らせることができる。

本発明の実施の形態におけるコンピュータシステムの構成例を示した図である。 本発明の実施の形態で用いる媒体に印刷された符号画像の例を示した図である。 本発明の実施の形態におけるデジタルペンの構成例を示した図である。 本発明の実施の形態における端末装置のハードウェア構成例を示した図である。 本発明の実施の形態で用いる単語照合による文字認識及び文脈処理による文字認識の概略動作について説明するための図である。 本発明の実施の形態における文字認識を行う端末装置の機能構成例を示したブロック図である。 本発明の実施の形態における文字認識を行う端末装置の動作例を示したフローチャートである。 本発明の実施の形態における情報管理装置の機能構成例を示したブロック図である。 本発明の実施の形態における文字認識結果の修正を行う端末装置の機能構成例を示したブロック図である。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
まず、本実施の形態におけるコンピュータシステムの全体構成について説明する。
図１は、本実施の形態のコンピュータシステムの構成例を示したものである。
図示するように、このコンピュータシステムは、端末装置１０，２０と、情報管理装置３０とがネットワーク８０に接続されることにより構成されている。また、端末装置１０には、デジタルペン４０が通信装置５０を介して接続されている。

端末装置１０は、紙等の媒体（例えば、手書き帳票）に対する筆記を電子化した筆記情報を文字認識し、筆記情報、文字認識結果等を情報管理装置３０に送信するコンピュータ装置である。ここで、端末装置１０としては、例えば、ＰＣ（Personal Computer）を用いるとよい。本実施の形態では、文字認識装置の一例として、端末装置１０を設けている。
端末装置２０は、情報管理装置３０に送信された筆記情報、文字認識結果等を表示し、ユーザの修正操作に応じて、文字認識結果を修正するコンピュータ装置である。ここで、端末装置２０としても、例えば、ＰＣを用いるとよい。本実施の形態では、修正装置の一例として、端末装置２０を設けている。
情報管理装置３０は、端末装置１０から筆記情報、文字認識結果等を受信して管理するコンピュータ装置である。但し、文字認識結果には誤りがあるのが普通なので、筆記情報、文字認識結果等を端末装置２０に送信し、端末装置２０で文字認識結果を修正させる。ここで、情報管理装置３０としては、例えば、ＰＣを用いるとよい。本実施の形態では、管理装置の一例として、情報管理装置３０を設けている。

デジタルペン４０は、媒体上に文字又は図形を筆記するために用いられるペンデバイスである。また、媒体に印刷された符号画像を読み取る撮像素子を備える。そして、撮像素子で読み取った符号画像から位置情報を検出し、筆記した文字又は図形をイメージデータ化した筆記情報をこの位置情報に基づいて生成し記憶する。
通信装置５０は、デジタルペン４０から筆記情報を取得して端末装置１０に送信する装置である。例えば、デジタルペン４０を差し込む差込口を設け、この差込口にデジタルペン４０が差し込まれると、デジタルペン４０に記憶された筆記情報を端末装置１０に送信するようにするとよい。ここで、端末装置１０との間の通信の方式としては、ＵＳＢ（Universal Serial Bus）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信機能等、種々の方式が考えられる。また、図では、通信装置５０をデジタルペン４０と別体のものとして示しているが、必ずしも別体である必要はなく、一体に構成してもよい。
ネットワーク８０は、各種情報の交換に用いる通信手段である。このネットワーク８０としては、インターネットやＬＡＮ（Local Area Network）が例示される。

ここで、このようなコンピュータシステムで用いられる媒体について説明する。尚、本明細書において、「媒体」は、画像を印刷可能な媒体であれば、その材質は問わない。代表例は紙であるが、ＯＨＰシートや金属板等であっても構わない。

図２は、媒体に印刷される符号画像について説明するための図である。
まず、符号画像を構成する単位パターンについて説明する。
図２（ａ）は、単位パターンの一例を示したものである。
単位パターンとは、情報埋め込みの最小単位である。図では、黒塗りの領域と斜線の領域をドット配置可能な領域とし、その間にある白色の領域をドット配置不可能な領域としている。そして、ドット配置可能な領域のうち、黒塗りの領域にドットが配置され、斜線の領域にはドットが配置されていないことを示している。即ち、図は、ドットを配置可能な９箇所の中から選択した２箇所にドットを配置することで単位パターンを構成した例を示したものである。ここで、９箇所の中から２箇所を選択する組み合わせは３６（＝_９Ｃ_２）通りなので、単位パターンは、３６種類存在する。このうち、４種類の単位パターンは、同期パターンとして使用される。同期パターンとは、画像の回転を検出したり、識別符号及び位置符号の相対的な位置を特定したりするためのパターンである。特に、画像の回転を検出する必要があることから、４種類の同期パターンとしては、そのうちの１つの同期パターンを９０度回転するとそのうちの別の同期パターンになるようなものが選ばれる。また、この４種類の単位パターンを除く３２種類の単位パターンは、識別符号及び位置符号を表現する情報パターンとして使用され、５ビットの情報が表現される。

次に、このような単位パターンから構成される符号ブロックについて説明する。
図２（ｂ）に、符号ブロックのレイアウトの一例を示す。尚、ここでは、画像ではなく、パターン画像によって置き換えられる直前の符号配列で示している。即ち、図２（ｂ）の最小の四角（単位ブロック）に、図２（ａ）のような単位パターン（３６通りの単位パターンのいずれか）が配置され、その画像が媒体に形成されることになる。
図２（ｂ）のレイアウトでは、符号ブロックの左上の１つの単位ブロックに、同期符号が配置されている。また、同期符号が配置された単位ブロックの右側の４つの単位ブロックに、媒体上のＸ方向の位置を示すＸ位置情報を符号化したＸ位置符号が配置され、同期符号が配置された単位ブロックの下側の４つの単位ブロックに、媒体上のＹ方向の位置を示すＹ位置情報を符号化したＹ位置符号が配置されている。更に、これらの位置符号が配置された単位ブロックに囲まれた１６（＝４×４）個の単位ブロックに、媒体を特定する識別情報を符号化した識別符号が配置されている。

また、図１のコンピュータシステムにおけるデジタルペン４０の構成について説明する。
図３は、デジタルペン４０の構成例を示した図である。
図示するように、デジタルペン４０は、ペン全体の動作を制御する制御回路４１を備える。また、制御回路４１は、読み取った符号画像を処理する画像処理部４１ａと、そこでの処理結果から識別情報及び位置情報を抽出するデータ処理部４１ｂとを含む。
また、制御回路４１には、デジタルペン４０による筆記動作をペンチップ４９に加わる圧力によって検出する圧力センサ４２が接続されている。更に、媒体上に赤外光を照射する赤外ＬＥＤ４３と、反射光を検知することによって符号画像を読み取る赤外ＣＭＯＳ４４も接続されている。更にまた、識別情報及び位置情報を記憶するための情報メモリ４５と、外部装置と通信するための通信回路４６と、ペンを駆動するためのバッテリ４７と、ペンの識別情報（ペンＩＤ）を記憶するペンＩＤメモリ４８も接続されている。

更に、図１のコンピュータシステムにおける端末装置１０のハードウェア構成について説明する。
図４は、端末装置１０のハードウェア構成を示した図である。
図示するように、端末装置１０は、演算手段であるＣＰＵ（Central Processing Unit）１ａと、記憶手段であるメインメモリ１ｂ及び磁気ディスク装置（ＨＤＤ：Hard Disk Drive）１ｃとを備える。ここで、ＣＰＵ１ａは、ＯＳ（Operating System）やアプリケーション等の各種ソフトウェアを実行し、後述する各処理部を実現する。また、メインメモリ１ｂは、各種ソフトウェアやその実行に用いるデータ等を記憶し、磁気ディスク装置１ｃは、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶し、これらの一方又は両方が各処理部にて使用される各記憶部を実現する。
更に、端末装置１０は、外部との通信を行うための通信Ｉ／Ｆ１ｄと、ビデオメモリやディスプレイ等からなる表示機構１ｅと、キーボードやマウス等の入力デバイス１ｆとを備える。

尚、図１のコンピュータシステムにおける端末装置２０及び情報管理装置３０も、図４に示したハードウェア構成を有している。但し、ＣＰＵ１ａ、メインメモリ１ｂ、磁気ディスク装置１ｃ、通信Ｉ／Ｆ１ｄ、表示機構１ｅ、入力デバイス１ｆを、端末装置２０では、ＣＰＵ２ａ、メインメモリ２ｂ、磁気ディスク装置２ｃ、通信Ｉ／Ｆ２ｄ、表示機構２ｅ、入力デバイス２ｆと表記し、情報管理装置３０では、ＣＰＵ３ａ、メインメモリ３ｂ、磁気ディスク装置３ｃ、通信Ｉ／Ｆ３ｄ、表示機構３ｅ、入力デバイス３ｆと表記する。

ところで、図１のようなコンピュータシステムにおいて、端末装置１０が文字認識を行う場合、文字認識の結果がある程度限定されていれば、単語照合による文字認識が行われることが多い。
ここで、単語照合による文字認識とは、文字認識対象の単語を構成する文字ごとの認識結果の候補を組み合わせて得られる複数の単語を、文字認識結果となり得る単語が予め登録された単語リストと照合し、その複数の単語のうち単語リスト内の単語とマッチする単語を文字認識結果として返すというものである。

図５（ａ）に、単語照合による文字認識について模式的に示す。
この図においては、両方向矢印の左側には、認識対象文字列４０１と、認識対象文字列４０１を文字ごとに認識した認識結果候補文字群４０２ａ，４０２ｂ，４０２ｃとが示してある。ここで、認識結果候補文字群４０２ａは、「小」に対する認識結果候補文字群であり、認識結果候補文字群４０２ｂは、「松」に対する認識結果候補文字群であり、認識結果候補文字群４０２ｃは、「原」に対する認識結果候補文字群である。
また、両方向矢印の右側には、認識結果文字列となり得る単語が登録された単語リスト４０３が示してある。

単語照合による文字認識では、認識結果候補文字群４０２ａ，４０２ｂ，４０２ｃのそれぞれから選ばれた文字を組み合わせてなる複数の文字列のうち、単語リスト４０３に登録されている文字列を、認識結果文字列とする。図の例では、認識結果候補文字群４０２ｃの中に「原」がなく、認識結果候補文字群４０２ａ，４０２ｂ，４０２ｃからどの文字を選んで組み合わせても「小松原」が得られないので、単語リストに登録された「小松原」（大文字で示す）は認識結果文字列とならない。

このように、単語照合による文字認識では、単語リスト４０３に登録された文字列から認識結果文字列を探すので、文字認識結果の候補が絞られており、認識精度が高いという利点を有する。
しかしながら、文字認識結果が得られない可能性が高いという欠点もある。ここで、文字認識結果が得られない場合としては、例えば、筆記者は単語リストにある単語を書いたつもりだが、文字認識の結果、どの単語にもマッチしなかった場合や、筆記者が何らかの理由で単語リストにない単語を書いた場合がある。

何れの場合も、正常な処理として文字認識結果を情報管理装置３０に登録する処理等を行うべきではなく、文字認識結果を目視で確認して入力し直す処理等を行うことが望ましい。
ところが、単語照合による文字認識を行った場合、文字認識結果が得られなかった部分の文字を手作業で入力し直す場合に、全ての文字を打ち込む必要がある。

そこで、本実施の形態では、単語照合による文字認識で文字認識結果が得られなかった場合に、文脈処理による文字認識を行ってその結果を誤認識の可能性のあるリジェクト結果（誤認識の可能性があり修正が必要な文字認識結果）として返すことで、誤認識が発生した文字のみを修正すればよいようにする。
ここで、文脈処理による文字認識とは、学習用の文章（大量のテキストデータ）を統計的に分析して得られた情報を用いて、最も確からしい文字列を文字認識結果として返す手法である。例えば、文字の繋がりに関する確率に基づいて文字認識結果を返すｎ−ｇｒａｍがある。

図５（ｂ）に、文脈処理による文字認識について模式的に示す。
この図においても、両方向矢印の左側には、認識対象文字列４０１と、認識対象文字列４０１を文字ごとに認識した認識結果候補文字群４０２ａ，４０２ｂ，４０２ｃとが示してある。ここで、図５（ａ）について既に述べたように、認識結果候補文字群４０２ａは、「小」に対する認識結果候補文字群であり、認識結果候補文字群４０２ｂは、「松」に対する認識結果候補文字群であり、認識結果候補文字群４０２ｃは、「原」に対する認識結果候補文字群である。
また、両方向矢印の右側には、隣り合う文字の繋がりの確率を定義したｎ−ｇｒａｍ情報４０４が示してある。

文脈処理による文字認識では、認識結果候補文字群４０２ａ，４０２ｂ，４０２ｃのそれぞれから選ばれた文字を組み合わせてなる複数の文字列のうち、１つ目と２つ目の文字の繋がりの確率と２つ目と３つ目の文字の繋がりの確率とをｎ−ｇｒａｍ情報４０４を参照して総合的に評価して得られた確率が最も高い文字列を、認識結果文字列とする。図の例では、ｎ−ｇｒａｍ情報４０４において、「小松」、及び、「松」と「原」の異体字（がんだれに泉）からなる文字列が、文字の繋がりの確率が高いものとしているので（大文字で示す）、「小」と「松」と「原」の異体字からなる文字列が認識結果文字列となっている（文字間の太線で示す）。

尚、文脈処理による文字認識には、文字認識結果の候補が多いため、単語照合による文字認識ほど認識精度が高くないという欠点はあるが、基本的にどのような文字列でも認識できるという利点がある。

次に、図１のようなコンピュータシステムで上記動作を実現するときの各装置の構成及び動作について、詳細に説明する。
まず、符号画像が印刷された媒体にユーザがデジタルペン４０で筆記すると、デジタルペン４０は、符号画像から識別情報及び位置情報を検出する。そして、識別情報と、位置情報に基づいて生成した筆記情報とを、通信装置５０を介して端末装置１０に送信する。尚、以下では、符号画像が印刷された媒体は手書き帳票であるものとする。

このようにデジタルペン４０から識別情報及び筆記情報が送信されると、次に、端末装置１０がこれらの情報を処理する。
図６は、端末装置１０の機能構成例を示したブロック図である。
図示するように、端末装置１０は、制御部１１と、筆記情報取得部１２と、単語照合部１３と、文脈処理部１４と、認識情報出力部１５とを備える。

制御部１１は、筆記情報取得部１２、単語照合部１３、文脈処理部１４、認識情報出力部１５の各機能部を制御する。本実施の形態では、制御手段の一例として、制御部１１を設けている。

筆記情報取得部１２は、通信Ｉ／Ｆ１ｄがデジタルペン４０から受信した識別情報及び筆記情報を取得し、筆記情報を制御部１１に受け渡す。また、筆記情報取得部１２は、筆記がなされた帳票の帳票ＩＤを識別情報に基づいて取得すると共に、筆記がなされた帳票上の項目の項目ＩＤを筆記情報に基づいて取得し、これらの情報も制御部１１に受け渡す。本実施の形態では、文字認識対象のデータの一例として、筆記情報を用いており、文字認識対象のデータを取得する取得手段の一例として、筆記情報取得部１２を設けている。

単語照合部１３は、制御部１１によって筆記情報が与えられると、その筆記情報に対し、上述したように単語リストを用いて単語照合による文字認識を行い、文字認識結果を制御部１１に返す。また、単語照合部１３は、文字認識結果と共に、その文字認識結果の尤度（文字認識結果の確信度）も制御部１１に返す。本実施の形態では、文字認識結果の候補を定義した情報の一例として、単語リストを用いており、文字認識結果の候補を定義した情報を用いてデータを文字認識する第１の文字認識手段の一例として、単語照合部１３を設けている。

文脈処理部１４は、制御部１１によって筆記情報が与えられると、その筆記情報に対し、上述したようにｎ−ｇｒａｍ情報を用いて文脈処理による文字認識を行い、文字認識結果を制御部１１に返す。また、文脈処理部１４は、文字認識結果と共に、その文字認識結果の尤度も制御部１１に返す。尚、この尤度は、予め定めた閾値以上である場合には、制御部１１によってその閾値以下の尤度に変更されて認識情報出力部１５に渡される。本実施の形態では、学習用の文章を統計的に分析して得られた情報の一例として、ｎ−ｇｒａｍ情報を用いており、学習用の文章を統計的に分析して得られた情報を用いてデータを文字認識する第２の文字認識手段の一例として、文脈処理部１４を設けている。

認識情報出力部１５は、制御部１１から帳票ＩＤ、項目ＩＤ、筆記情報、文字認識結果、尤度が渡されると、尤度が上記閾値以上であれば、文字認識結果が正しいことを示す「ＯＮ」を結果フラグにセットし、尤度が上記閾値以下であれば、文字認識結果が誤認識の可能性があることを示す「ＯＦＦ」を結果フラグにセットする。そして、帳票ＩＤ、項目ＩＤ、筆記情報、文字認識結果、結果フラグを通信Ｉ／Ｆ１ｄに出力することにより、これらの情報を認識情報として情報管理装置３０に送信する。本実施の形態では、結果情報の一例として、結果フラグを用いている。また、文字認識結果を出力する出力手段の一例として、認識情報出力部１５を設けている。

図７は、このような構成を有する端末装置１０の文字認識時の動作を示したフローチャートである。
端末装置１０では、まず、筆記情報取得部１２が、通信Ｉ／Ｆ１ｄがデジタルペン４０から受信した筆記情報を取得すると共に、筆記情報と一緒に受信した識別情報に基づいて帳票ＩＤを取得し、筆記情報に基づいて項目ＩＤを取得する（ステップ１０１）。そして、帳票ＩＤ、項目ＩＤ、筆記情報は、制御部１１に渡される。

すると、制御部１１は、単語照合部１３に筆記情報を渡して単語照合による文字認識を行うように指示し、これに応じて、単語照合部１３が、筆記情報に対して、単語照合による文字認識を行う（ステップ１０２）。そして、単語照合部１３から制御部１１へ処理結果が返される。
これにより、制御部１１は、処理結果として文字認識結果及びその尤度が返されたかどうかを判定する（ステップ１０３）。

その結果、文字認識結果及び尤度が返されたと判定されれば、制御部１１は、帳票ＩＤ、項目ＩＤ、筆記情報、文字認識結果、尤度を認識情報出力部１５に渡し、認識情報出力部１５は、尤度が閾値以上であるかどうかを判定する（ステップ１０４）。
そして、尤度が閾値以上であれば、認識情報出力部１５は、帳票ＩＤ、項目ＩＤ、筆記情報、文字認識結果に加え、文字認識結果が正しいことを示す「ＯＮ」をセットした結果フラグを通信Ｉ／Ｆ１ｄに出力する（ステップ１０５）。すると、これらの情報は、認識情報として情報管理装置３０に送信される。
また、尤度が閾値以下であれば、認識情報出力部１５は、帳票ＩＤ、項目ＩＤ、筆記情報、文字認識結果に加え、文字認識結果が誤認識の可能性があることを示す「ＯＦＦ」をセットした結果フラグを通信Ｉ／Ｆ１ｄに出力する（ステップ１０６）。すると、これらの情報は、認識情報として情報管理装置３０に送信される。

一方、ステップ１０３で文字認識結果及び尤度が返されなかったと判定されれば、制御部１１は、文脈処理部１４に筆記情報を渡して文脈処理による文字認識を行うように指示し、これに応じて、文脈処理部１４が、筆記情報に対して、文脈処理による文字認識を行う（ステップ１０７）。そして、文脈処理部１４から制御部１１へ処理結果が返される。
これにより、制御部１１は、帳票ＩＤ、項目ＩＤ、筆記情報、文字認識結果、閾値以下の尤度を認識情報出力部１５に渡し、認識情報出力部１５は、尤度が閾値以下であるので、帳票ＩＤ、項目ＩＤ、筆記情報、文字認識結果に加え、文字認識結果が誤認識の可能性があることを示す「ＯＦＦ」をセットした結果フラグを通信Ｉ／Ｆ１ｄに出力する（ステップ１０６）。すると、これらの情報は、認識情報として情報管理装置３０に送信される。尚、このとき、制御部１１が認識情報出力部１５に渡す閾値以下の尤度は、処理結果として返された文字認識結果の尤度に関係なく閾値以下の値を設定した尤度であってよい。或いは、処理結果として返された文字認識結果の尤度が閾値以上かどうかを判定し、閾値以上であれば閾値以下の値に変更した尤度を採用し、閾値以下であればその尤度をそのまま採用することとしてもよい。また、ここでは、文字認識結果及び尤度が返されなかった場合について述べているが、これは、文字認識結果及び尤度が返されたが、尤度が極めて低く、文字認識結果及び尤度が返されなかった場合と同一視できるような場合を除外する趣旨ではない。

このように端末装置１０から認識情報が送信されると、次いで、情報管理装置３０がこの情報を処理する。
図８は、情報管理装置３０の機能構成例を示したブロック図である。
図示するように、情報管理装置３０は、認識情報記憶部３１と、認識情報取得部３２と、修正情報出力部３３とを備える。

認識情報記憶部３１は、帳票ＩＤ、項目ＩＤ、筆記情報、文字認識結果、結果フラグからなる認識情報を記憶する。尚、文字認識結果としては、端末装置１０で単語照合による文字認識又は文脈処理による文字認識を行うことにより得られた文字コードを記憶するとよい。本実施の形態では、文字認識結果と結果情報とを対応付けて記憶する記憶手段の一例として、認識情報記憶部３１を設けている。

認識情報取得部３２は、通信Ｉ／Ｆ３ｄが端末装置１０から受信した認識情報を取得し、認識情報記憶部３１に記憶する。

修正情報出力部３３は、端末装置２０から帳票ＩＤを指定して文字認識結果の表示要求があると、認識情報記憶部３１においてその帳票ＩＤに対応付けて記憶された項目ＩＤ、筆記情報、文字認識結果、結果フラグを通信Ｉ／Ｆ３ｄに出力することにより、これらの情報を修正情報として端末装置２０に送信する。

ここで、情報管理装置３０の動作について簡単に説明すると、次のようになる。
即ち、情報管理装置３０では、まず、認識情報取得部３２が、通信Ｉ／Ｆ３ｄが端末装置１０から受信した帳票ＩＤ、項目ＩＤ、筆記情報、文字認識結果、結果フラグを取得し、これらの情報を認識情報として認識情報記憶部３１に記憶する。
次に、修正情報出力部３３が、端末装置２０から帳票ＩＤを指定して文字認識結果の表示要求があると、認識情報記憶部３１に記憶された認識情報の中から、その帳票ＩＤに対応する項目ＩＤ、筆記情報、文字認識結果、結果フラグを取り出す。そして、これらの情報を通信Ｉ／Ｆ３ｄに出力することにより、修正情報として端末装置２０に送信する。

このように情報管理装置３０から修正情報が送信されると、次いで、端末装置２０がこの情報を処理する。
図９は、端末装置２０の機能構成例を示したブロック図である。
図示するように、端末装置２０は、修正情報取得部２１と、表示情報生成部２２と、表示情報出力部２３とを備える。

修正情報取得部２１は、通信Ｉ／Ｆ２ｄが情報管理装置３０から受信した修正情報を取得する。

表示情報生成部２２は、修正情報取得部２１が取得した修正情報を表示機構２ｅに表示するための表示情報を生成する。具体的には、修正情報中の項目ＩＤごとにその項目ＩＤに対応する筆記情報と文字認識結果とを対比させた形式で表示するための表示情報を生成する。また、この表示情報においては、修正情報中の結果フラグが「ＯＮ」の項目に対して文字認識結果の修正が不要であることが分かるようにし、修正情報中の結果フラグ「ＯＦＦ」の項目に対して文字認識結果の修正が必要であることが分かるようにする。

表示情報出力部２３は、表示情報生成部２２が生成した表示情報を表示機構２ｅに出力する。本実施の形態では、文字認識結果を表示する表示手段の一例として、表示情報出力部２３を設けている。

ここで、端末装置２０の動作について簡単に説明すると、次のようになる。
即ち、端末装置２０では、まず、修正情報取得部２１が、通信Ｉ／Ｆ２ｄが情報管理装置３０から受信した修正情報、つまり、項目ＩＤ、筆記情報、文字認識結果、結果フラグを取得する。
次に、表示情報生成部２２が、修正情報取得部２１が取得した修正情報に基づいて、上述した表示情報を生成し、表示情報出力部２３がこの表示情報を表示機構２ｅに出力する。

尚、本実施の形態では、制御部１１から渡された尤度が閾値以上であれば、結果フラグ「ＯＮ」を出力し、制御部１１から渡された尤度が閾値以下であれば、結果フラグ「ＯＦＦ」を出力する認識情報出力部１５の存在を前提とし、文脈処理による文字認識を行った場合には、制御部１１が閾値以下の尤度を設定して認識情報出力部１５に渡し、認識情報出力部１５は結果フラグ「ＯＦＦ」を出力する、という構成を採用した。しかしながら、制御部１１が、単語照合による文字認識を行った場合には、その尤度が閾値以上であれば結果フラグ「ＯＮ」を、その尤度が閾値以下であれば結果フラグ「ＯＦＦ」を、文脈処理による文字認識を行った場合には、その尤度に関係なく結果フラグ「ＯＦＦ」を、それぞれ認識情報出力部１５に渡し、認識情報出力部１５は、渡された結果フラグをそのまま情報管理装置３０に送信する、という構成を採用してもよい。尚、前者の構成において、閾値は、出力手段の一例としての認識情報出力部１５で用いる閾値であるので、出力用閾値の一例ということができ、後者の構成において、閾値は、制御手段の一例としての制御部１１で用いる閾値であるので、制御用閾値の一例ということができる。

また、本実施の形態では、単語照合による文字認識を行った場合に、その尤度が閾値以下であれば文字認識結果と結果フラグ「ＯＦＦ」とを出力するようにした。しかしながら、このような場合に、文脈処理による文字認識を行い、その尤度に関係なく文字認識結果と結果フラグ「ＯＦＦ」とを出力するようにしてもよい。即ち、図７のステップ１０４での判定による処理の振り分けを行わない構成としてもよい。

更に、本実施の形態では、符号画像が印刷された媒体にデジタルペン４０で筆記を行うことで得られた筆記情報の文字認識に発明を適用した場合について説明したが、この限りではない。例えば、符号画像が印刷されていない媒体に鉛筆等で記入した手書き文字を画像読み取り装置で読み取って得られた画像データの文字認識に発明を適用してもよい。

更にまた、本実施の形態では、端末装置１０が文字認識を行い、情報管理装置３０が文字認識結果を管理し、端末装置２０が文字認識結果を修正する構成としたが、このような構成には限られない。例えば、端末装置１０は文字認識を行って得られた文字認識結果を自装置内の磁気ディスク装置１ｃに記憶し、端末装置１０自身が磁気ディスク装置１ｃから文字認識結果を読み出して修正する構成としてもよい。

尚、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。

１０，２０…端末装置、１１…制御部、１２…筆記情報取得部、１３…単語照合部、１４…文脈処理部、１５…認識情報出力部、２１…修正情報取得部、２２…表示情報生成部、２３…表示情報出力部、３０…情報管理装置、３１…認識情報記憶部、３２…認識情報取得部、３３…修正情報出力部、４０…デジタルペン、５０…通信装置、８０…ネットワーク

Claims (6)

1. 文字認識対象のデータを取得する取得手段と、
   文字認識結果の候補を定義した情報を用いてデータを文字認識する第１の文字認識手段と、
   学習用の文章を統計的に分析して得られた情報を用いてデータを文字認識する第２の文字認識手段と、
   前記取得手段により取得されたデータが前記第１の文字認識手段によって文字認識されるように制御した後、前記第１の文字認識手段による文字認識結果が得られた場合には、当該文字認識結果が出力されるように制御し、前記第１の文字認識手段による文字認識結果が得られなかった場合には、前記取得手段により取得されたデータが前記第２の文字認識手段によって文字認識され、かつ、前記第２の文字認識手段による文字認識結果が誤認識の可能性がある結果として出力されるように制御する制御手段と
   を備えたことを特徴とする文字認識装置。
2. 前記制御手段は、前記第１の文字認識手段による文字認識結果が得られた場合には、当該文字認識結果の尤度が予め定めた制御用閾値以上であれば、当該文字認識結果が正しい結果として出力されるように制御し、当該文字認識結果の尤度が当該制御用閾値以下であれば、当該文字認識結果が誤認識の可能性がある結果として出力されるように制御することを特徴とする請求項１に記載の文字認識装置。
3. 文字認識結果と当該文字認識結果の尤度とが渡されると、当該尤度が予め定めた出力用閾値以上であれば、当該文字認識結果を正しい結果として出力し、当該尤度が当該出力用閾値以下であれば、当該文字認識結果を誤認識の可能性がある結果として出力する出力手段を更に備え、
   前記制御手段は、前記第２の文字認識手段による文字認識結果の尤度が前記出力用閾値以上であれば、当該文字認識結果と、当該出力用閾値以下の尤度とを前記出力手段に出力し、前記第２の文字認識手段による文字認識結果の尤度が当該出力用閾値以下であれば、当該文字認識結果と当該尤度とを前記出力手段に出力することにより、前記第２の文字認識手段による文字認識結果が誤認識の可能性がある結果として出力されるように制御することを特徴とする請求項１又は請求項２に記載の文字認識装置。
4. 文字認識対象のデータを文字認識する文字認識装置と、
   前記文字認識装置による文字認識結果を管理する管理装置と、
   前記管理装置により管理される前記文字認識結果を、修正者の操作に応じて修正する修正装置と
   を備え、
   前記文字認識装置は、
   前記文字認識対象のデータを取得する取得手段と、
   文字認識結果の候補を定義した情報を用いてデータを文字認識する第１の文字認識手段と、
   学習用の文章を統計的に分析して得られた情報を用いてデータを文字認識する第２の文字認識手段と、
   前記取得手段により取得されたデータが前記第１の文字認識手段によって文字認識されるように制御した後、前記第１の文字認識手段による文字認識結果が得られた場合には、当該文字認識結果と当該文字認識結果が正しい結果であること又は誤認識の可能性がある結果であることを示す結果情報とが前記管理装置に出力されるように制御し、前記第１の文字認識手段による文字認識結果が得られなかった場合には、前記取得手段により取得されたデータが前記第２の文字認識手段によって文字認識され、かつ、前記第２の文字認識手段による文字認識結果と当該文字認識結果が誤認識の可能性があることを示す結果情報とが前記管理装置に出力されるように制御する制御手段と
   を備え、
   前記管理装置は、
   前記文字認識装置により出力された前記文字認識結果と前記結果情報とを対応付けて記憶する記憶手段
   を備え、
   前記修正装置は、
   前記記憶手段に記憶された前記文字認識結果のうち、少なくとも誤認識の可能性があることを示す前記結果情報に対応付けて記憶された前記文字認識結果を、修正が必要な情報として表示する表示手段
   を備えたことを特徴とする文字認識結果処理システム。
5. 前記制御手段は、前記第１の文字認識手段による文字認識結果が得られた場合には、当該文字認識結果の尤度が予め定めた制御用閾値以上であれば、当該文字認識結果と当該文字認識結果が正しい結果であることを示す前記結果情報とが前記管理装置に出力されるように制御し、当該文字認識結果の尤度が当該制御用閾値以下であれば、当該文字認識結果と当該文字認識結果が誤認識の可能性がある結果であることを示す前記結果情報とが前記管理装置に出力されるように制御することを特徴とする請求項４に記載の文字認識結果処理システム。
6. コンピュータに、
   文字認識対象のデータを取得する取得機能と、
   文字認識結果の候補を定義した情報を用いてデータを文字認識する第１の文字認識機能と、
   学習用の文章を統計的に分析して得られた情報を用いてデータを文字認識する第２の文字認識機能と、
   前記取得機能で取得されたデータが前記第１の文字認識機能で文字認識されるように制御した後、前記第１の文字認識機能での文字認識結果が得られた場合には、当該文字認識結果が出力されるように制御し、前記第１の文字認識機能での文字認識結果が得られなかった場合には、前記取得機能で取得されたデータが前記第２の文字認識機能で文字認識され、かつ、前記第２の文字認識機能での文字認識結果が誤認識の可能性がある結果として出力されるように制御する制御機能と
   を実現させるためのプログラム。

Images