JP2007133850A - 文字認識装置、その文字認識方法及び文字認識プログラムならびに集積回路 - Google Patents

Abstract

【課題】文書や帳票の読み取りにおいて、手書き文字でも正確に認識するとともに、認識結果の誤認識や判読困難な文字を精度よく棄却する文字認識装置を提供する。
【解決手段】文字画像抽出部１０６は、文書画像入力受付部１０４で受け付けられた文書画像から文字画像を切り出す。特徴量抽出部１０６は文字画像から特徴量を抽出する。候補文字選択部１０７は分類辞書１０１の基準特徴量と抽出された特徴量との類似度を算出し候補文字を選択する。候補文字判定部１０９は選択された候補文字同士が類似候補文字識別辞書１０２に記載されているとき、いずれの文字が適切か判定する。個別文字検証部１１０は、候補文字を個別検証辞書１０３の肯定条件又は否定条件に示されるルールに従い「有効」又は「棄却」とする。認識検証部１１２は、同一文字行に複数の同一候補文字があるとき、文字画像同士の類似度ｒを用いて、候補文字の変更処理を行う。
【選択図】図１

Description

本発明は、文字認識技術に関し、特に、様々な書体の文書や手書き帳票等、字形の変動の甚だしい文字を認識する文字認識装置及びその方法に関する。

従来の文字認識装置には、多数の学習用文字画像から抽出した特徴量をクラスタリングし、クラスタごとの平均特徴量を基準特徴量として格納した分類用辞書と、読み込んだ画像より切り出した文字画像から幾つかの特徴を抽出する分類特徴抽出手段と、抽出した特徴量と分類用辞書中の基準特徴量とを照合し、候補クラスタを選出する分類手段と、分類手段で得られた候補クラスタの内の誤認識しやすい特定の組について、分類で使用した特徴量から、両クラスタ間で差異の出やすい特徴量のみを選択的に用いて、いずれのクラスタであるかを識別する詳細識別手段と、詳細識別手段で第１位に選ばれたクラスタに特徴的な特徴量の値域を用いて、認識結果の正当性を検証する検証手段とを有するものがある（特許文献１参照）。
特開平８−３０５８０４号公報

しかしながら、前記従来の構成では、分類処理、詳細識別処理、検証処理ともに同じ特徴量を用いているため、特に字形の変動の甚だしい手書き文字の場合、切り出した文字画像から抽出した特徴量が、分類用辞書内の基準特徴量のいずれに対しても類似度が低い場合には、分類処理、詳細識別処理、検証処理の各処理ともが良好には機能せず、誤認識や認識結果の棄却が増えるという課題を有している。

本発明は、前記従来の課題を解決するもので、文書や帳票の読み取りにおいて、字形の変動の甚だしい手書き文字でも正確に認識するとともに、認識結果が誤っている場合あるいは判読困難な文字を認識した結果を精度よく棄却する文字認識装置を提供することを目的とする。

上記課題を解決するため、本発明は、文書画像の入力を受け、文書画像に含まれる各文字を認識する文字認識装置であって、各文字の基準特徴量を登録した分類辞書と、文書画像から文字画像を抽出する文字画像抽出手段と、抽出された文字画像からその特徴量を抽出する特徴量抽出手段と、抽出された特徴量と前記基準特徴量との類似度を計算し、類似度の高い文字を候補文字として選択する候補文字選択手段と、前記特徴量抽出手段で抽出された特徴量を用いて、同一文書内の文字画像同士の類似度を計算する類似度計算手段と、候補文字としての類似度と、前記文字画像同士の類似度とに基づいて、候補文字として認識の確かさを検証する認識検証手段とを備えることとしている。

上述の構成によって、字形の変動の甚だしい手書き文字の場合でも、同一文書内の文字画像同士の類似度を反映させて認識結果が正しいか否かについて検証するので、文書画像を正確に認識することができる。
また、前記認識検証手段は、前記類似度計算手段で計算された検証対象文字との類似度ｒと、前記候補文字選択手段で計算された類似度Ｒとの積を計算する計算部と、前記候補文字選択手段で選択された同一候補文字についての積よりも大きな積を有する他の候補文字があるとき、前記検証対象文字の認識結果を前記他の候補文字に変更する認識結果変更部とを有することとしている。

このような構成によって、同一文書内の文字画像同士は、似通った特徴を有することを利用して、選択された候補文字を同一文書内の他の候補文字に変更することが可能となる。
また、文字ごとに候補文字として備えるべき形態特徴量を示した肯定条件と、候補文字として備えるべきでない形態特徴量を示した否定条件とをルールとして記載した個別検証辞書と、前記文字画像から形態特徴量を抽出し、選択された候補文字が肯定条件又は否定条件の何れに適合するかを判定し、否定条件に適合すると判定されたとき、その候補文字の選択を棄却する個別文字検証手段とを更に備えることとしている。

このような構成によって、選択された候補文字を個別にルールと照合して、あり得ない候補文字を棄却するので、誤った文字認識を防止することができる。
また、類似度の高い２文字の形態特徴量と、２文字を識別するためのルールとを記載した類似候補文字識別辞書と、一の文字画像から選択された候補文字同士が類似候補文字識別辞書に登録されているとき、文字画像から形態特徴量を抽出し、前記ルールと照合し、２文字のうちいずれの文字を候補文字とするかを判定する候補文字判定手段とを更に備えることとしている。

このような構成によって、類似度の高い２文字のいずれに判定するのが候補文字としてより相応しいかが検証されるので文字認識の精度が向上する。
また、前記形態特徴量には、ループ位置又は数、所定範囲の平均線密度、凸端点位置又は数、凹端点位置又は数の少なくとも１つを含むこととしている。
このような構成によって、固有の特徴的な形態特徴量を用いて選択された候補文字を検証することによって、文字認識の精度を向上するとともに、少なくとも誤認識した候補文字を棄却することができる。

また、各文字の基準特徴量を登録した分類辞書を有し、文書画像の入力を受け、文書画像に含まれる各文字を認識する文字認識装置の文字認識方法であって、文書画像から文字画像を抽出する文字画像抽出ステップと、抽出された文字画像からその特徴量を抽出する特徴量抽出ステップと、抽出された特徴量と前記基準特徴量との類似度を計算し、類似度の高い文字を候補文字として選択する候補文字選択ステップと、前記特徴量抽出ステップで抽出された特徴量を用いて、同一文書内の文字画像同士の類似度を計算する類似度計算ステップと、 候補文字としての類似度と、前記文字画像同士の類似度とに基づいて、候補文字として認識の確かさを検証する認識検証ステップとを有することとしている。

このような方法によって、字形の変動の甚だしい手書き文字の場合でも、同一文書内の文字画像同士の類似度を反映させて認識結果が正しいか否かについて検証するので文書画像を正確に認識することができる。
また、各文字の基準特徴量を登録した分類辞書を有し、文書画像の入力を受け、文書画像に含まれる各文字を認識する文字認識装置に、文書画像から文字画像を抽出する文字画像抽出ステップと、抽出された文字画像からその特徴量を抽出する特徴量抽出ステップと、抽出された特徴量と前記基準特徴量との類似度を計算し、類似度の高い文字を候補文字として選択する候補文字選択ステップと、前記特徴量抽出ステップで抽出された特徴量を用いて、同一文書内の文字画像同士の類似度を計算する類似度計算ステップと、候補文字としての類似度と、前記文字画像同士の類似度とに基づいて、候補文字として認識の確かさを検証する認識検証ステップとを実行させるための文字認識プログラムとしている。

このような文字認識プログラムを文字認識装置に適用することによって、字形の変動の甚だしい手書き文字の場合でも、同一文書内の文字画像同士の類似度を反映させて認識結果が正しいか否かについて検証するので文書画像を正確に認識することができる。
また、文書画像の入力を受け、文書画像に含まれる各文字を認識する文字認識装置の集積回路であって、各文字の基準特徴量を登録した分類辞書と、文書画像から文字画像を抽出する文字画像抽出手段と、抽出された文字画像からその特徴量を抽出する特徴量抽出手段と、 抽出された特徴量と前記基準特徴量との類似度を計算し、類似度の高い文字を候補文字として選択する候補文字選択手段と、前記特徴量抽出手段で抽出された特徴量を用いて、同一文書内の文字画像同士の類似度を計算する類似度計算手段と、候補文字としての類似度と、前記文字画像同士の類似度とに基づいて、候補文字として認識の確かさを検証する認識検証手段とを備えることとしている。

このような集積回路を文字認識装置に用いることによって、字形の変動の甚だしい手書き文字の場合でも、同一文書内の文字画像同士の類似度を反映させて認識結果が正しいか否かについて検証するので文書画像を正確に認識することができる。

以下、本発明に係る文字認識装置の実施の形態について、図面を用いて説明する。
（一実施の形態）
図１は、本発明に係る文字認識装置の一実施の形態の構成図である。
この文字認識装置は、分類辞書１０１と、類似候補文字識別辞書１０２と、個別検証辞書１０３と、文書画像入力受付部１０４と、文字画像抽出部１０５と、特徴量抽出部１０６と、候補文字選択部１０７と、形態特徴量抽出部１０８と、候補文字判定部１０９と、個別文字検証部１１０と、類似度計算部１１１と、認識検証部１１２と、認識結果出力部１１３とを備えている。

分類辞書１０１は、磁気ディスク等からなり、図２に示すようなデータ構造を有する。図３にその一例を示すように、クラスタ番号３０１と識別子３０２と文字コード３０３と属性フラグ３０４と平均特徴３０５とからなる辞書データ３０６を多数登録している。図３は、その識別子３０２に示すように文字「中」を表すものである。なお、分類辞書１０１は、通常、１文字に対し字形の異なる複数の基準特徴量が含まれているマルチテンプレート辞書である。マルチテンプレート辞書の場合、候補文字にクラスタの異なる同一文字が複数個含まれる場合がある。

類似候補文字識別辞書１０２は、磁気ディスク等からなる。図４は、この類似候補文字識別辞書の一例を示すものである。類似候補文字識別辞書１０２には、類似文字組み合わせ４０２と特徴量４０３とルール４０４とが記載されている。類似文字組み合わせ４０２には、類似度の高い２文字が記載されている。
特徴量４０３には、この２文字を識別するための形態特徴量が記載されている。この形態特徴量には、ループ位置、ループ数、所定範囲の平均線密度、凸端点位置、凸端点数、凹端点位置、凹端点数等がある。

ルール４０４には、この形態特徴量を用いて、この２文字のいずれの文字に判定するかの判定基準が記載されている。
図５は、この類似候補文字識別辞書１０２に記載された類似文字組み合わせの「０‐６」、「４（閉型）‐９」、「８(斜型)‐９」の形態特徴量を説明するための図である。
図５（ａ）は、手書き文字「０」５０１と「６」５０２との形態特徴量と判定基準との関係を示している。手書き文字「０」５０１と「６」５０２との上部に引いた横線５１１、５１２が横切る線の数すなわち線密度は、それぞれ「２」と「１」であり、これを形態特徴量として、判定基準として「１．５」以上の場合に「０」に加点し、未満の場合に「６」に加点する。手書き文字「０」５０１と「６」５０２とは共にループが形成されている。このループの中央位置（図中×印で示す）について、文字の外接矩形の底辺からの高さ５１３、５１４を形態特徴量として、下寄りの場合には「６」に加点し、ほぼ中央の場合には「０」に加点する。なお、「０‐６」で形態特徴量として記載はされていないが、手書き文字「６」５０２には凹点５１５が形成されている。

図５（ｂ）は、手書き文字「４」５０３と「９」５０４との形態特徴量と判定基準との関係を示している。手書き文字「４」５０３の右側中央部には右向きの凸端点５２１が形成されている。形態特徴量として凸端点５２１が存在すれば「４」に加点する判定基準が設けられている。
図５（ｃ）は、手書き文字「８」５０５と「９」５０６との形態特徴量と判定基準との関係を示している。形態特徴量として下部平均線幅５３１、５３２が文字全体の線幅以下の場合「９」に加点し、それ以外の場合「８」に加点する判定基準が設けられている。また、形態特徴量として中央部左開き凹点５３３が存在すれば、「９」に加点する判定基準が設けられている。

以上の図５（ａ）〜（ｃ）を用いて説明したような特徴量４０３とルール４０４とが多数の類似文字組み合わせ４０２について類似候補文字識別辞書１０２に記載されている。
個別検証辞書１０３は、磁気ディスク等からなる。図６は、この個別検証辞書１０３の一例を示す。個別検証辞書１０３は、文字６０２毎に肯定条件６０３、６０５、…、否定条件６０４、６０６、…とそれらのルール６０７とが記載されている。

図７は、個別検証辞書１０３の内容を説明するための図である。図７（ａ）には、手書き文字「０」７０１、７０２が示されている。手書き文字「０」７０１のループ中央位置は、文字外接矩形の中央部にある。また、ループ数は「１」であり、凸端点数は「０」であり、凹端点数は「０」である。また、中央領域７１１の平均線密度は「２」である。
手書き文字「０」７０２の中央領域７１２の平均線密度は「３」であり、凸端点数は「２」であり、凸端点位置が右上部７１３と左下部７１４とにある。

個別検証辞書１０３には、このような形態特徴量を肯定条件６０３の判定条件であるルール６０７に（１）、（２）として記載されている。また、個別検証辞書１０３の否定条件６０４には、手書き文字「０」７０１、７０２にはあり得ない形態特徴量が記載されている。例えば、否定条件６０４には、ループ数が「３」以上、中央領域の平均線密度が「４」以上等である。

図７（ｂ）には、手書き文字「４」７０３、７０４が示されている。手書き文字「４」７０３には、ループ７２０が１つある。また、凸端点位置は右上部７２２、左中央部７２３、右中央部７２４、下部７２５に４凸端点ある。また、上部領域７２１の平均線密度は「２」である。下部領域７３１の平均線密度は「１」である。
個別検証辞書１０３の文字「４」の肯定条件６０５のルール６０７（１）には、ループ数が１であり、凸端点は、４凸端点中の３又は４凸端点が確認されれば判定条件を満たすこととされ、上部領域の平均線密度は１．５より大で、下部領域の平均線密度は１．５より小であると記載されている。

手書き文字「４」７０４には、ループは存在しない。凸端点位置は左上部７２６、右上部７２９、左中央部７２７、右中央部７２８、下部７３０に5凸端点ある。また、上部領域７２１の平均線密度は「２」である。下部領域７３１の平均線密度は「１」である。
個別検証辞書１０３の文字「４」の肯定条件６０５のルール６０７（２）には、ループ数が０であり、凸端点は、５凸端点中の４又は５凸端点が確認されれば判定条件を満たすこととされ、上部領域の平均線密度は１．５より大で、下部領域の平均線密度は１．５より小であると記載されている。

個別検証辞書１０３の否定条件６０６のルール６０７には、手書き文字「４」７０３、７０４にはあり得ない形態特徴量が記載されている。凸端点数が６以上、上部領域の平均線密度は３以上で、下部領域の平均線密度は２以上であると記載されている。
文書画像入力受付部１０４は、スキャナ等の光学読み取り装置からなり、ユーザから文書画像の入力を受付け、２値画像データに変換し、文書画像から文字行を切り出し、文字画像抽出部１０５に出力する。

文字画像抽出部１０５は、文書画像入力受付部１０４から入力された文字行から文字画像を抽出し、特徴量抽出部１０６、形態特徴量抽出部１０８および認証検証部１１２に出力する。
図８は、文字画像抽出部１０５によって、文書画像入力受付部１０４で受け付けられた文書画像８０１における１行目の文字列８０２の文字画像８０３〜８０６が抽出された状態を示している。

特徴量抽出部１０６は、各文字画像８０３〜８０６からそれぞれ特徴量を抽出し、候補文字選択部１０７および類似度計算部１１１に通知する。
候補文字選択部１０７は、通知された特徴量と分類辞書１０１の基準特徴量との類似度を計算し、類似度の高い順にN個の候補文字を選択する。ここで、類似度の計算には、例えば市街化距離やユークリッド距離が使われる。なお、この候補文字の選択については、上記した特許文献１に詳細に記載されている。

図９は、候補文字選択部１０７で選択された候補文字の一例を示す図である。ここでは、Nを１０としている。ここで、クラスタ番号９０１は、上述したように、マルチテンプレート辞書を用いているので、同一文字に対して複数のクラスタが存在する。また、類似度９０２は、小数点以下第２位までの整数で示している。文字行８０２の文字画像８０３〜８０６は、それぞれ第１候補文字「中」、「内」、「里」、「穂」としての選択されている。

候補文字選択部１０７は、選択した候補文字を候補文字判定部１０９および認識検証部１１２に通知する。
形態特徴量抽出部１０８は、文字画像抽出部１０５から入力された文字画像を記憶領域に記憶しており、候補文字判定部１０９の指示に従い、文字画像から形態特徴量を抽出して、候補文字判定部１０９に通知する。同様に、個別文字検証部１１０から文字の肯定条件と否定条件とのルールの通知を受けると、対応する文字画像からルールに対応する形態特徴量を抽出して個別文字検証部１１０に通知する。

候補文字判定部１０９は、候補文字選択部１０７から通知された第１位から第N位の候補文字を組み合わせる。各候補文字の組み合わせが同一文字か否か（クラスタが異なるが同一文字であるか否か）を判定する。同一文字でなければ、類似候補文字識別辞書１０２の類似文字組み合わせ４０２に記載されているか否かを判定する。類似文字組み合わせ４０２に記載されているときには、その辞書データを読み出す。併せて、類似候補文字識別辞書１０２の特徴量４０３を形態特徴量抽出部１０８に通知し、候補文字の文字画像から形態特徴量を抽出するよう指示する。形態特徴量抽出部１０８から通知された形態特徴量と類似候補文字識別辞書１０２のルール４０４とを比較し、類似文字の何れが優位かを判定する。

例えば、図５（ａ）手書き文字「０」５０１の第１位候補文字が「６」であり、第２位候補文字が「０」である場合、ルール４０４に従えば、上部平均線密度が「２」であり、最大ループの中央位置がほぼ中央であるので、判定基準に従えば「０」に加点があり、優位となる。これによって、候補文字判定部１０９部は第１候補文字を「０」に、第２候補文字を「６」に変更する。候補文字判定部１０９は、この判定結果を個別文字検証部１１０に通知する。

個別文字検証部１１０は、候補文字判定部１０９から判定された候補文字の通知を受けると、個別検証辞書１０３の対応する文字６０２ごとに記載された肯定条件と否定条件とのルール６０７を読み出し、形態特徴量抽出部１０８に通知する。個別文字検証部１１０は、形態特徴量抽出部１０８から形態特徴量の通知を受けると、肯定条件と否定条件とのルールと形態特徴量とを比較し、肯定条件、否定条件がそれぞれ成立するか否かを判定する。個別文字検証部１１０は、第１位候補文字で否定条件が成立すると、第１位候補文字を「棄却」し、第１位候補文字で否定条件が不成立で、かつ肯定条件が成立すると第１位候補文字を「有効」として処理を終了する。第１位候補文字について、否定条件も肯定条件も成立しないときは、第２位候補文字について、個別検証辞書１０３の対応する文字の肯定条件と否定条件とのルール６０７を読み出し、形態特徴量抽出部１０８に通知する。形態特徴量抽出部１０８から形態特徴量の通知を受けると、肯定条件と否定条件とのルールと形態特徴量とを比較し、肯定条件、否定条件がそれぞれ成立するか否かを判定する。否定条件が成立せずに、肯定条件が成立したときには、第１位候補文字を「棄却」する。否定条件が成立し、または否定条件も肯定条件も成立しないときは、第３位以下の候補文字について同様の処理を行う。全ての候補文字について、否定条件も肯定条件も成立しないときには、第１位候補文字を有効と検証する。

なお、誤認識を極力防止する観点からは、全ての候補文字について、否定条件も肯定条件も成立しないときには、第１位候補文字を「棄却」としてもよい。
具体例を用いて説明すると、図７（ｂ）の文字画像７０４の第１位候補文字が「４」である場合、個別文字検証部１１０は、個別検証辞書１０３の文字「４」の肯定条件と否定条件とのルールを読み出し、形態特徴量抽出部１０８に通知する。形態特徴量抽出部１０８では、記憶領域に記憶している文字画像７０４からループ数「０」と、凸端点数「５」と、上部領域の平均線密度「２」と、下部領域の平均線密度「１」とを抽出し、個別文字検証部１１０に通知する。個別文字検証部１１０は、ルール６０７の（２）のループ数０、凸端点数５、上部領域の平均線密度１．５以上、下部領域の平均線密度１．５以下に合致するので、肯定条件が成立すると判定し、凸端点数６以上、上部領域の平均線密度３以上、下部領域の平均線密度２以上との否定条件が成立しないと判定して、第１位候補文字「４」を「有効」と検証する。

なお、ルール６０７の（２）において、凸端点数を４又は５としたのは、形態特徴量抽出部１０８において全ての凸端点を抽出できない場合を考慮したものである。同様に、文字「４」の肯定条件の（１）においても凸端点を全て抽出できない場合を考慮して凸端点数を３又は４としている。
個別文字検証部１１０は、検証結果を認識検証部１１２に通知する。

類似度計算部１１１は、特徴量抽出部１０６から通知された文字画像の特徴量を記憶領域に記憶している。認識検証部１１２から検証対象とする候補文字の指定を受けると、対応する特徴量と同一行の候補文字の特徴量との類似度を計算する。計算した類似度を認識検証部１１２に通知する。なお、類似度の計算は、市街化距離等により計算され、０〜１の範囲に正規化される。この際、数値の大きな方が類似度が高いとされる。

認識検証部１１２は、文書画像の全体または同一行或いは帳票の同一フィールド等の一連の文字画像について、個別文字検証部１１０で検証された第１位候補文字を認識結果として採用すべきか否かを判定するため、各文字の位置、形状ならびに各文字相互の類似性に基づく文字間検証を行う。
認識検証部１１２は、文字画像抽出部１０５から入力された各文字画像を記憶領域に記憶しており、各文字画像の文字幅および文字高さを求め、平均文字幅および平均文字高さを計算し、それらの平均値から予め定めた閾値を超えた第１位候補文字およびそれらの平均値から予め定めた閾値以下の第１位候補文字を棄却する。

図１０は、１行に記載された文字列画像１００１を示している。ここで各文字画像C１０１１〜C１０１８について、平均文字幅１００３より閾値を超えた文字幅を有する文字画像または平均文字高さ１００４より閾値を超えた文字高さを有する文字画像があるか否かをみる。文字画像C１０１１は、平均文字幅１００３より閾値を超えた文字幅を有し、平均文字高さ１００４より閾値を超えた文字高さを有するので棄却する。また、文字画像C１０１７は、平均文字幅１００３より閾値以下の文字幅を有し、平均文字高さ１００４より閾値以下の文字高さを有するので棄却する。

また、認識検証部１１２は、平均文字位置１００２（横書きの場合には垂直方向位置、縦書きの場合には水平方向位置）を求めておき、平均文字位置からずれの大きな文字画像を棄却する。例えば、文字画像C１０１８は、文字位置のずれが大きいので棄却する。
なお、平均文字幅１００３より閾値以下の文字幅を有し、または平均文字高さ１００４より閾値以下の文字高さを有する文字画像であっても、第１位候補文字が「。」、「‐」、「・」等の記号である場合には、その文字画像を棄却しないようにする。

また、「．」と「・」、「＿」と「―」等文字位置により、同一字形文字を識別し、必要に応じて第１位候補文字の修正を行う位置処理を行う。
次に、認識検証部１１２は、各文字相互の類似性に基づく文字間検証を行う。
認識検証部１１２は、個別文字検証部１１０から第１位候補文字と「有効」で有るとの認識結果の通知を受けると、類似度計算部１１１に検証対象の候補文字を通知し、特徴量抽出部１０６から通知された１行の文字列の他の候補文字との類似度を計算するよう指示する。

特徴量抽出部１０６から類似度の計算結果を得ると、候補文字選択部１０７から通知された類似度との積を求める。
図１１と図１２とにその具体例を示して説明する。
図１１は、１行に記載された文字列１１０１の文字画像C１１１１〜C１１１４を示している。これらの文字画像C１１１１〜C１１１４の候補文字選択部１０７および候補文字判定部１０９ならびに個別文字検証部１１０の選択、検証結果は、図１２に示すように、第１位候補文字としてそれぞれ「４」、「６」、「５」、「６」である。これらの第１位候補文字として候補文字選択部１０７で選択されたときの分類辞書１０１の基準特徴量との類似度Rは、それぞれ「０．７」、「０．５」、「０．６」、「０．８」である。なお、個別文字検証部１１０での検証結果では、全て「有効」と検証されている。

今、文字画像C１１１２を検証対象の文字（C）とする。ここで文字画像C１１１２を検証対象の文字（C）としたのは、同一文字列１１０１の文字画像C１１１４が文字（C）と同一の候補文字「６」として選択されているからである。
類似度計算部１１１は、文字画像C１１１２と他の文字画像C１１１１、C１１１３、C１１１４との類似度ｒを計算する。この結果、他の文字画像C１１１１、C１１１３、C１１１４の類似度ｒはそれぞれ「０．１」、「０．７５」、「０．３」となっている。

認証検証部１１２は、この類似度ｒが最大となっている文字画像C１１１３を文字（C１）とする。文字（C）と同一の候補文字として選択されている文字画像C１１１４を文字（C2）とをする。文字（C１）と文字（C２）との候補文字が同一であれば、検証対象の文字（C）の候補文字は有効とする。しかし、文字（C１）は、「５」であり、文字（C２）は、「６」である。

これらの文字（C１）、（C２）のｒ・Rの値は、それぞれ「０．４５」、「０．２４」と認証検証部１１２によって計算される。認証検証部１１２は、このｒ・Rの積がC１＞Ｃ２であれば、検証対象の文字（Ｃ）の認識結果を文字（Ｃ１）の候補文字に変更する。また、Ｃ１＜＝Ｃ２であるときは、検証対象の文字（Ｃ）を棄却する。
今の場合、Ｃ１＞Ｃ２であるので、文字画像Ｃ１１１２の候補文字「６」を文字（Ｃ１）の候補文字「５」に変更する。そして、検証結果を「有効」とする。

認識検証部１１２は、「有効」と判定された第１位候補文字を認識検証結果として、認識結果出力部１１３に通知する。なお、「棄却」と判定された第１位候補文字については、エラー通知をする。
認識結果出力部１１３は、認識検証部１１２から通知された第１位候補文字を認識結果として、例えば、ディスプレイに表示させ、または、外部装置に文字コードとして出力する。この際、エラー通知がなされた文字については、判読困難であったことを表示させる。

次に、上記の実施の形態の動作についてフローチャートを用いて説明する。
図１３は、候補文字の選択までの動作を説明するフローチャートである。
先ず、文書画像入力受付部１０４は、ユーザからの文書画像の入力を受け付け、２値画像データに変換し（S１３０２）、文書画像から文字行を検出し、文字画像抽出部１０５に出力する（S１３０４）。文字画像抽出部１０５は、入力された文字行から文字画像を検出し（S１３０６）、形態特徴量抽出部１０８および認識検証部１１２の記憶領域に記憶させるとともに特徴量抽出部１０６に通知する（S１３０８）。

特徴量抽出部１０６は、文字画像から特徴量を抽出し、類似度計算部１１１に記憶させるとともに、候補文字選択部１０７に通知する（S１３１２）。
候補文字選択部１０７は、通知された特徴量と分類辞書１０１に登録されている基準特徴量との類似度を計算し、計算した類似度とその候補文字とを認識検証部１１２に記憶させるとともに（S１３１６）、類似度の高い順にN個の候補文字を選択する（S１３１８）。選択結果を候補文字判定部１０９２通知し（S１３２０）、１行中の全文字の処理が終了か否かを判定し（S１３２２）、終了でなければ、Ｓ１３０６に戻り、終了していれば、文書画像の全行について処理が終了したが否かを判定する（Ｓ１３２４）。終了していなければ、Ｓ１３０４に戻り、終了していれば、処理を終了する。

図１４は、候補文字判定部１０９の動作を説明するフローチャートである。
候補文字判定部１０９は、候補文字選択部１０７から一の文字画像について第１位から第Ｎ位候補文字の通知を受けると、各候補文字の組み合わせが同一文字か否かを判定する（Ｓ１４０２）。同一文字であれば、Ｓ１４１４に移り、同一文字でなければ、類似候補文字識別辞書１０２の類似文字組み合わせにあるか否かを判定する（Ｓ１４０４）。なければＳ１４１４に移り、有るときは、その辞書データを読み出す（Ｓ１４０６）。

当該文字画像の形態特徴量を形態特徴量抽出部１０８に抽出させ（Ｓ１４０８）、抽出された形態特徴量と辞書データのルールとを照合し（Ｓ１４１０）、いずれの候補文字が優位かを判定する（Ｓ１４１２）。いずれが優位であるかを判定できないとき、Ｓ１４１４に移り、いずれかが優位であると判定したとき、優位と判定した候補文字を第１位候補文字として（Ｓ１４１６）、処理を終了する。

Ｓ１４１４において、別の候補文字の組み合わせがまだあるか否かを判定し、あれば、Ｓ１４０２に戻り、なければ処理を終了する。
以上の処理によって、候補文字選択部１０７で選択された一の文字画像に対するＮ個の候補文字について、類似度の高い２個の候補文字が類似候補文字識別辞書１０２に記載されているとき、その形態特徴量によって、いずれの候補文字がより文字画像に合致するかを判定するものである。

図１５は、個別文字検証部の動作について説明するフローチャートである。
個別文字検証部１１０は、候補文字判定部１０９から一の文字画像についての第１位から第Ｎ位候補文字の通知を受けると、カウンタＮを「１」に初期化する（Ｓ１５０２）。
次に、個別検証辞書１０３からの第Ｎ位候補文字のルールを読み出す（Ｓ１５０４）。形態特徴量抽出部１０８に文字画像からルールに記載された形態特徴量を抽出させる（Ｓ１５０６）。抽出された形態特徴量と個別検証辞書１０３の肯定・否定条件のルールと比較検証する（Ｓ１５０８）。カウンタＮが１であるか否かを判定し（Ｓ１５１０）、１であれば、否定条件が成立するか否かを判定する（Ｓ１５１２）。成立すれば、第１位候補文字を「棄却」し（Ｓ１５１４）、処理を終了する。

否定条件が成立しないとき、肯定条件が成立するか否かを判定する（Ｓ１５１６）。成立するときは、第１位候補文字を「有効」とし（Ｓ１５１８）、処理を終了する。
肯定条件が成立しないとき、Ｓ１５２０に移る。Ｓ１５２０において、カウンタＮに１を加える（Ｓ１５２０）。第Ｎ位候補文字があるか否かを判定し（Ｓ１５２２）、有るときはＳ１５０４に戻る。

Ｓ１５１０において、カウンタＮが１でないとき、否定条件が成立するか否かを判定する（Ｓ１５２４）。成立するときはＳ１５２０に移り、成立しないときは、肯定条件が成立するか否かを判定する（Ｓ１５２６）。成立するときは、Ｓ１５１４に移る。成立しないときは、Ｓ１５２０に移る。
Ｓ１５２２において、Ｎ位候補文字がないときは、第１位候補文字を「有効」として（Ｓ１５２８）、処理を終了する。

なお、この実施の形態では、第１位候補文字が否定条件も肯定条件も成立しないとき、第２位以下の候補文字についても否定条件も肯定条件も成立しないときに、第１位候補文字を「有効」としたけれども「棄却」としてもよい。
次に、認識検証部１１２の動作を図１６〜図１８のフローチャートを用いて説明する。
先ず、認識検証部１１２は、文字画像抽出部１０５から入力されている文字画像について、平均文字幅・平均文字高さの算出を行い（Ｓ１６０２）、注目文字の文字幅・文字高さを算出して（Ｓ１６０４）、平均との差異を評価する（Ｓ１６０６）。文字サイズが所定の閾値を超えて大きいか否かを判定し（Ｓ１６０８）、大きいときには注目文字を棄却し（Ｓ１６１０）、Ｓ１６１６に移る。

文字サイズが所定の閾値を超えない場合には、さらに所定の閾値以下か否かを判定する（S１６１２）。以下の場合には、認識結果が「。」、「・」等の記号であるか否かを判定する（S１６１４）。否定のときにはS１６１０に移る。肯定のときにはS１６１６に移る。
S１６１６において全文字についての処理が終了したか否かを判定して、終了していれば処理をS１７０２に移り、終了していなければS１６０４に戻る。

S１７０２において、認識検証部１１２は、１行の文字列について平均文字位置を算出する。次に、文字サイズが小さいか否かを判定し（S１７０４）、小さくければ注目文字の平均文字位置からの変位を算出し（S１７０６）、その変位を評価する（S１７０８）。変位が大きいか否かを判定し（S１７１０）、大きければ注目文字を棄却して（S１７１２）、S１７１４に移る。変位が小さいときもS１７１４に移る。

文字サイズが小さいと判定したとき、位置処理を行い（S１７１８）、全文字の処理を終了したか否かを判定する（S１７１４）。終了していないときは、S１７０４に戻り、終了しているときはS１８０２に移る。
Ｓ１８０２において、認証検証部１１２は、同一文字列に第１位候補文字として同一文字として認識された文字画像があるときに、その文字画像を注目文字（Ｃ）としてその注目文字（Ｃ）の文字画像と他の文字画像との特徴量から類似度ｒを類似度計算部１１１に算出させる。このうち最も類似度の高い文字画像の候補文字を検出し、文字（Ｃ１）とする（Ｓ１８０４）。

注目文字（Ｃ）と同一の候補文字として選択された候補文字で類似度の最も高い候補文字を文字（Ｃ２）とする（Ｓ１８０６）。文字（Ｃ１）と文字（Ｃ２）とが同一か否かを判定する（Ｓ１８０８）。同一であるとき、文字（Ｃ１）が「棄却」されていたか否かを判定し（Ｓ１８１０）、否であれば文字（Ｃ）を「有効」とし（Ｓ１８１２）、Ｓ１８２０に移る。

Ｓ１８０８において、同一でないとき、文字（Ｃ１）は「有効」かつ、文字（Ｃ１）のｒ・Ｒ＞文字（Ｃ２）のｒ・Ｒであるか否かを判定する（Ｓ１８１４）。肯定のときには、文字（Ｃ１）の認識結果（候補文字）を注目文字（Ｃ）の第１位候補文字に変更し（Ｓ１８１６）、Ｓ１８２０に移る。Ｓ１８１４において、否のとき、注目文字（Ｃ）の第１位候補文字を「棄却」し（Ｓ１８１８）、全文字についての処理が終了したか否かを判定する（Ｓ１８２０）。終了していれば処理を終了し、残っていればＳ１８０２に戻る。

なお、本実施の形態では、同一行の文字列の文字画像同士の類似度ｒを用いて第１位候補文字の認識の確かさを検証したけれども、同一の文書画像全体の文字画像同士の類似度ｒを用いて第１位候補文字の認識の確かさを検証してもよい。
また、本実施の形態では、同一行の文字画像中に同一候補文字として選択された候補文字が複数あるとき、そのうちの一の候補文字の文字画像を注目文字としたけれども、注目文字は、同一の文書画像全体の最初の文字から最後の文字まで順に注目文字とすることもできる。

さらに、候補文字の認識結果に印刷文字と手書き文字とが混在している場合または、候補文字の認識結果に英数字と漢字、ひらがな、カタカナとが混在している場合には、認識結果の属性によって、検証を行うことができる。
また、本実施の形態において、分類辞書１０１をマルチテンプレート辞書として説明したけれども、文字ごとに１つの基準特徴量を登録した単テンプレート辞書であってもよい。

また、本実施の形態において、候補文字選択部１０７においてN個の候補文字を選択するようにしたけれども、所定の類似度を設定し、所定の類似度よりも高い類似度を有する候補文字を選択するようにしてもよい。なお、この場合にも、少なくとも１の候補文字を選択するようにする。
また、本実施の形態において、認識検証部１１２は、個別文字検証部１１０で「有効」と判定された候補文字について認識検証したけれども、候補文字選択部１０７で選択された第１位候補文字について、直接文字画像同士の類似度ｒを用いて、他の第１位候補文字に変更処理をしてもよい。

また、本実施の形態において、個別文字検証部１１０は、候補文字判定部１０９の類似文字の判定結果を受けて、個別文字を検証したけれども、候補文字選択部１０７で選択された候補文字について、直接「有効」または「棄却」を検証してもよい。
（その他変形例）
なお、本発明は、上記実施の形態に限定されないのは勿論であり、以下のような変形例を実施することができる。
（１）上記文字認識装置を図１に示す構成図で示したけれども、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレーユニット、キーボード、マウス、光学読み取り装置等から構成されるコンピュータシステムである。前記RAMまたはハードディスクユニットには、コンピュータプログラムが記録されている。このコンピュータプログラムは、上記構成図の各部の機能をコンピュータに発揮させるプログラムである。前記マイクロプロセッサが前記コンピュータプログラムに従って動作することにより各部の機能を達成する。ここで、コンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
（２）上記文字認識装置を構成する構成要素の一部又は全部は、１個のシステムLSI（Large Scale Integration：大規模集積回路）から構成されているとしてもよい。システムLSIは、複数の構成部を１個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。前記RAMには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムLSIは、その機能を達成する。
（３）上記文字認識装置を構成する構成要素の一部又は全部は、装置に着脱可能なICカード又は単体のモジュールから構成されているとしてもよい。前記ICカードまたは前記モジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。前記ICカード又は前記モジュールは、上記超多機能LSIを含むとしてもよい。マイクロプロセッサには、コンピュータプログラムに従って動作することにより、前記ICカード又は前記モジュールは、その機能を達成する。このICカード又はこのモジュールは、耐タンパ性を有するとしてもよい。
（４）本発明は、その動作を説明したように、文字認識装置の文字認識方法であるとしてもよい。またこの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD‐ROM、MO、DVD、DVD‐ROM、DVD‐RAM、BD（Blu‐ray Disc）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムに従って動作するとしてもよい。

また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
（５）上記実施の形態および上記変形例をそれぞれ組み合わせるとしてもよい。

本発明に係る文字認識装置は、画像読み取り装置を備えるパーソナルコンピュータの文字入力装置として利用され、多様な書体の文書や特に字形の変動の大きい手書き文字の入力装置として、例えば、帳票類からの文字入力装置として事務分野で活用される。

本発明に係る文字認識装置の一実施の形態の構成図である。 上記実施の形態の分類辞書のデータ構造を示す図である。 上記実施の形態の分類辞書の一例を示す図である。 上記実施の形態の類似候補文字識別辞書の一例を示す図である。 上記実施の形態の類似候補文字識別辞書の内容を説明するための図である。 上記実施の形態の個別検証辞書の一例を示す図である。 上記実施の形態の個別検証辞書の内容を説明するための図である。 上記実施の形態の文書画像入力受付部で受け付けられた文書画像の一例を示す図である。 上記実施の形態の候補文字選択部で選択された複数の候補文字の一例を示す図である。 上記実施の形態の認識検証部における棄却処理を説明するための図である。 上記実施の形態の認識検証部に通知された文字画像一例を示す図である。 上記実施の形態の認識検証部における処理内容を説明するための図である。 上記実施の形態の文書画像入力受付部、文字画像抽出部、特徴量抽出部および候補文字選択部の動作を説明するフローチャートである。 上記実施の形態の候補文字判定部の動作を説明するフローチャートである。 上記実施の形態の個別文字検証部の動作を説明するフローチャートである。 上記実施の形態の認識検証部の動作を説明するフローチャート（その１）である。 上記実施の形態の認識検証部の動作を説明するフローチャート（その２）である。 上記実施の形態の認識検証部の動作を説明するフローチャート（その３）である。

符号の説明

１０１ 分類辞書
１０２ 類似候補文字識別辞書
１０３ 個別検証辞書
１０４ 文書画像入力受付部
１０５ 文字画像抽出部
１０６ 特徴量抽出部
１０７ 候補文字選択部
１０８ 形態特徴量抽出部
１０９ 候補文字判定部
１１０ 個別文字検証部
１１１ 類似度計算部
１１２ 認識検証部
１１３ 認識結果出力部

Claims (8)

1. 文書画像の入力を受け、文書画像に含まれる各文字を認識する文字認識装置であって、
   各文字の基準特徴量を登録した分類辞書と、
   文書画像から文字画像を抽出する文字画像抽出手段と、
   抽出された文字画像からその特徴量を抽出する特徴量抽出手段と、
   抽出された特徴量と前記基準特徴量との類似度を計算し、類似度の高い文字を候補文字として選択する候補文字選択手段と、
   前記特徴量抽出手段で抽出された特徴量を用いて、同一文書内の文字画像同士の類似度を計算する類似度計算手段と、
   候補文字としての類似度と、前記文字画像同士の類似度とに基づいて、候補文字として認識の確かさを検証する認識検証手段とを備えることを特徴とする文字認識装置。
2. 前記認識検証手段は、
   前記類似度計算手段で計算された検証対象文字との類似度ｒと、前記候補文字選択手段で計算された類似度Ｒとの積を計算する計算部と、
   前記候補文字選択手段で選択された同一候補文字についての積よりも大きな積を有する他の候補文字があるとき、前記検証対象文字の認識結果を前記他の候補文字に変更する認識結果変更部とを有することを特徴とする請求項１記載の文字認識装置。
3. 文字ごとに候補文字として備えるべき形態特徴量を示した肯定条件と、候補文字として備えるべきでない形態特徴量を示した否定条件とをルールとして記載した個別検証辞書と、
   前記文字画像から形態特徴量を抽出し、選択された候補文字が肯定条件又は否定条件の何れに適合するかを判定し、否定条件に適合すると判定されたとき、その候補文字の選択を棄却する個別文字検証手段とを更に備えることを特徴とする請求項１記載の文字認識装置。
4. 類似度の高い２文字の形態特徴量と、２文字を識別するためのルールとを記載した類似候補文字識別辞書と、
   一の文字画像から選択された候補文字同士が類似候補文字識別辞書に登録されているとき、文字画像から形態特徴量を抽出し、前記ルールと照合し、２文字のうちいずれの文字を候補文字とするかを判定する候補文字判定手段とを更に備えること特徴とする請求項１記載の文字認識装置。
5. 前記形態特徴量には、ループ位置又は数、所定範囲の平均線密度、凸端点位置又は数、凹端点位置又は数の少なくとも１つを含むことを特徴とする請求項３又は４記載の文字認識装置。
6. 各文字の基準特徴量を登録した分類辞書を有し、文書画像の入力を受け、文書画像に含まれる各文字を認識する文字認識装置の文字認識方法であって、
   文書画像から文字画像を抽出する文字画像抽出ステップと、
   抽出された文字画像からその特徴量を抽出する特徴量抽出ステップと、
   抽出された特徴量と前記基準特徴量との類似度を計算し、類似度の高い文字を候補文字として選択する候補文字選択ステップと、
   前記特徴量抽出ステップで抽出された特徴量を用いて、同一文書内の文字画像同士の類似度を計算する類似度計算ステップと、
   候補文字としての類似度と、前記文字画像同士の類似度とに基づいて、候補文字として認識の確かさを検証する認識検証ステップとを有することを特徴とする文字認識方法。
7. 各文字の基準特徴量を登録した分類辞書を有し、文書画像の入力を受け、文書画像に含まれる各文字を認識する文字認識装置に、
   文書画像から文字画像を抽出する文字画像抽出ステップと、
   抽出された文字画像からその特徴量を抽出する特徴量抽出ステップと、
   抽出された特徴量と前記基準特徴量との類似度を計算し、類似度の高い文字を候補文字として選択する候補文字選択ステップと、
   前記特徴量抽出ステップで抽出された特徴量を用いて、同一文書内の文字画像同士の類似度を計算する類似度計算ステップと、
   候補文字としての類似度と、前記文字画像同士の類似度とに基づいて、候補文字として認識の確かさを検証する認識検証ステップとを実行させるための文字認識プログラム。
8. 文書画像の入力を受け、文書画像に含まれる各文字を認識する文字認識装置の集積回路であって、
   各文字の基準特徴量を登録した分類辞書と、
   文書画像から文字画像を抽出する文字画像抽出手段と、
   抽出された文字画像からその特徴量を抽出する特徴量抽出手段と、
   抽出された特徴量と前記基準特徴量との類似度を計算し、類似度の高い文字を候補文字として選択する候補文字選択手段と、
   前記特徴量抽出手段で抽出された特徴量を用いて、同一文書内の文字画像同士の類似度を計算する類似度計算手段と、
   候補文字としての類似度と、前記文字画像同士の類似度とに基づいて、候補文字として認識の確かさを検証する認識検証手段とを備えることを特徴とする集積回路。
   
   

Images