JP2004334913A - 帳票認識装置及び帳票認識方法 - Google Patents

Abstract

【課題】帳票認識装置において、帳票の傾きや破線の罫線が存在しても、信頼性の高い認識装置を提供することを目的とする。
【解決手段】枠罫線を含む帳票文書を読み取り２値画像を出力する画像入力手段１と、前記２値画像から罫線のコーナーを検出するコーナー検出手段４と、前記コーナーの組み合わせから罫線の構成要素を検出する手段８００と、罫線の端点を検出した場合は端点と他の端点を含む他の構成要素との組合せから構成要素を再構成する構成要素検出手段８０１と、前記構成要素を相互に連結し、枠構造情報を出力する矩形検出手段６と、予め複数の帳票文書の基準となる枠構造情報であるフォーマット情報を記憶するフォーマット情報記憶手段９と、前記枠構造情報と前記フォーマット情報とを順次照合し、検出対象の枠構造情報を判定する枠構造照合手段１０とを具備するものである。
【選択図】図２６

Description

本発明は、帳票のような枠罫線と文字を含む文書画像において枠罫線の構造を認識し、帳票内の特定の文字領域を切り出し、文字を認識するための帳票認識装置に関する。

近年、文書情報の電子化に伴い、ＯＣＲ（Optical Character Reader）を初めとする文字認識技術や文書画像処理に対する要望が高まっており、帳票など表形式文書の表構造認識技術もそのひとつである。

従来、帳票の枠罫線認識として、枠線のラン長で線分を検出する方法が良く知られており例えば特許文献１があり、その罫線認識装置のブロック結線図を図３１に示し説明する。

図３１において、１００１は画像入力部、１００２は画像メモリ、１００３は縦方向ランを抽出する縦方向ラン抽出部、１００４は縦方向線分を抽出する縦方向線分抽出部、１００５は横方向ランを抽出する横方向ラン抽出部、１００６は横方向線分を抽出する横方向線分抽出部、１００７は抽出された縦方向線分と横方向線分を用いて文字領域を抽出する文字領域抽出部であり、その動作を以下に説明する。

画像入力部１００１は、認識対象罫線を含む画像を走査し２値信号で画像メモリ１００２に格納する。縦方向ラン抽出部１００３は、画像メモリ１００２に格納されている画像を縦方向に走査して縦方向ランを抽出する。縦方向線分抽出部１００４は、抽出された縦方向のランの連結性を調べ、縦方向線分を抽出する。同様の処理により、横方向ラン抽出部１００５で横方向ランを抽出し、横方向線分抽出部１００６で横方向線分を抽出する。

文字領域抽出部１００７は、縦方向線分抽出部１００４で抽出された縦方向線分と横方向線分抽出部１００６で抽出された横方向線分を用いて文字領域および文字記入領域を抽出するものである。

また、切り出された文字の認識方法については、各種方式が提案されており、例えば非特許文献１があり、認識率も実用的なところまできているが、今回は帳票認識装置ということで帳票の指定枠の認識処理を中心としているので文字認識に関しては上記非特許文献１を提示し説明は省略するものとする。
特開平０１−２１７５８３号公報 森吉弘、ニューラルネットを用いた文字認識法（"ＰＤＰモデルによる手書き漢字認識"、電子情報通信学会論文誌、Vol.J73-D-II, No.8 pp.1268-1274 1990）

しかしながら上記の従来の構成では、第１の課題として、帳票が画像として傾いて読み取られた場合はラン長で枠罫線を認識することが難しく、また枠罫線が破線の場合は文字枠として検出する事ができないという問題があった。

さらに、第２の課題として、枠罫線が汚れ等により断線したりあるいはコーナーが直角ではなく丸みを持ったコーナーの場合、ラン長による枠罫線の認識ができないという問題があった。

本発明は、前記従来技術の課題を解決するもので、帳票画像が傾いて入力された場合や、帳票に丸みを持ったコーナーが存在しても、文字枠を正確に検出することのできる信頼性の高い帳票認識装置を提供することを目的とする。

この第１の課題を解決するために本発明は、枠罫線を含む帳票文書を読み取り２値画像を出力する画像入力手段と、前記２値画像から罫線のコーナーを検出するコーナー検出手段と、前記コーナー検出手段からのコーナーの組み合わせから罫線の構成要素を検出し、罫線の端点を検出した場合は端点と他の端点を含む他の構成要素との組合せから構成要素を再構成する構成要素検出手段と、前記構成要素検出手段からの構成要素を相互に連結し、枠構造情報を出力する矩形検出手段と、予め複数の帳票文書の基準となる枠構造情報であるフォーマット情報を記憶するフォーマット情報記憶手段と、前記枠構造情報と前記フォーマット情報とを順次照合し、検出対象の枠構造情報を判定する枠構造照合手段とを設けたものである。

また、第２の課題を解決するために本発明は、構成要素検出手段として、前記コーナー検出手段からのコーナーの組み合わせから罫線の構成要素として、Ｌ字要素、Ｔ字要素、十字要素及びＩ字要素を検出し、該当のＩ字要素と他のＩ字要素を含む構成要素とのグルーピングを行い、新たな構成要素として再構成するようにしたものである。

これにより、帳票が画像として傾いて入力されたり、帳票内に丸みを持ったコーナーが存在しても、文字枠を正確に検出でき、信頼性の高い帳票認識装置が実現できる。

以上のように本発明の効果は、第１に、罫線のコーナー形状の組み合わせから構成要素を検出し、構成要素同士を連結し矩形を検出し、複数の帳票のフォーマット情報と照合することにより、帳票が画像として傾いて入力されたり、帳票内に破線の罫線が存在しても、文字枠を正確に検出し文字認識を行うことができ、信頼性の高い帳票認識装置が実現できる。

第２に、枠罫線の抽出処理によって途中で切れてしまった罫線部分をＩ字要素として検出し、さらにＩ字要素同士またはＩ字要素と他の要素とをグルーピングして構成要素を検出することによって、枠の断線部分や角部分が緩やかな曲率を持つ場合でも、枠の交点を正確に認識できる信頼性の高い帳票認識装置が実現できる。

本発明は、枠罫線を含む帳票文書を読み取り２値画像を出力する画像入力手段と、前記２値画像から罫線のコーナーを検出するコーナー検出手段と、前記コーナー検出手段からのコーナーの組み合わせから罫線の構成要素を検出し、罫線の端点を検出した場合は端点と他の端点を含む他の構成要素との組合せから構成要素を再構成する構成要素検出手段と、前記構成要素検出手段からの構成要素を相互に連結し、枠構造情報を出力する矩形検出手段と、予め複数の帳票文書の基準となる枠構造情報であるフォーマット情報を記憶するフォーマット情報記憶手段と、前記枠構造情報と前記フォーマット情報とを順次照合し、検出対象の枠構造情報を判定する枠構造照合手段とを具備する帳票認識装置としたものであり、帳票の２値画像から実線及び破線の罫線を抽出し、その罫線からなるパターンのコーナー点を抽出し、コーナー点から枠罫線交点である構成要素を抽出し、相互に連結された構成要素から矩形構造を検出し、フォーマット情報と比較照合することにより、帳票が傾いて読み取られた場合や、帳票に破線の罫線が存在していても、読み取り対象の文字枠を正確に検出できるという作用を有する。

さらに、構成要素検出手段として、前記コーナー検出手段からのコーナーの組み合わせから罫線の構成要素として、Ｌ字要素、Ｔ字要素、十字要素及びＩ字要素を検出し、該当のＩ字要素と他のＩ字要素を含む構成要素とのグルーピングを行い、新たな構成要素として再構成することを特徴とし、枠罫線の断線や帳票枠の角部分が緩やかな曲率を持っている場合にも、構成要素を正確に検出できるという作用を有する。

以下、本発明の実施の形態について、図１から図３０を用いて説明する。

（実施の形態１）
図１は、本発明の実施の形態１の帳票認識装置のブロック構成図を示し、１は帳票文書を読み取り２値画像を得る画像入力手段、２は前記２値画像を記憶する画像メモリ、３は２値画像の水平、垂直方向の実線の罫線を抽出する第１の罫線抽出手段、４は実線の罫線のコーナーを検出する第１のコーナー検出手段、５は前記コーナーの組み合わせから罫線の屈曲や交差によるＬ字要素、Ｔ字要素、及び十字要素を検出する構成要素検出手段、６は構成要素同士を連結し枠構造情報として出力する矩形検出手段と、７は前記２値画像において水平、垂直方向の実線及び破線の罫線を抽出する第２の罫線抽出手段、８は前記実線及び破線の枠罫線のコーナーを検出する第２のコーナー検出手段、９は予め読み取り対象となる複数の帳票のフォーマット情報を記憶するフォーマット情報記憶手段、１０は前記枠構造情報と前記フォーマット情報とを順次照合し実線枠を検出すると共に、照合結果から帳票の種別を判別し、前記第２のコーナー検出手段からのコーナーと前記フォーマット情報とから実線枠で指定された対象枠と破線との交点である破線交点を検出し、対象枠の座標を出力する枠構造照合手段、１１は文字読み取り対象枠の文字領域を切り出す文字切り出し手段、１２は切り出された文字を認識する文字認識手段である。

以上のように構成された帳票認識装置について、その動作の概要を説明する。

画像入力手段１により帳票を読み取り、文字部及び枠罫線部が値１、背景が値０をもつ２値画像に変換し画像メモリ２に記憶する。第１の罫線抽出手段３は、画像メモリ２からの２値画像を水平及び垂直方向に走査し所定長以上の値”１”が連続する線を抽出し、第１のコーナー検出手段４により水平及び垂直の罫線からのコーナーを検出する。構成要素検出手段５は、第１のコーナー検出手段４からのコーナーの組み合わせから罫線の屈曲部や交差部のＬ字要素、Ｔ字要素、及び十字要素の構成要素を検出する。矩形検出手段６は、構成要素検出手段５からの構成要素同士を相互に連結し枠構造情報を得る。

第２の罫線抽出手段７は、前記２値画像の水平、垂直方向の実線及び破線の罫線を抽出し、第２のコーナー検出手段８により実線及び破線の枠罫線からコーナーを検出する。

フォーマット情報記憶手段９は、予め読み取り対象となる複数の帳票のフォーマット情報を記憶する。枠構造照合手段１０は、構成要素検出手段５からの枠構造情報と前記フォーマット情報を照合し帳票の種別を判別し、枠構造情報から実線枠を検出すると共に、第２のコーナー検出手段８からのコーナーと前記実線枠および前記フォーマット情報から実線と破線との交点を検出し、実線枠とその実線枠と破線との交点から帳票内の対象枠を検出する。文字切り出し手段１１は、読み取り対象枠の４頂点の座標に基づき文字領域を切り出し、文字認識手段１２により切り出された領域から文字を認識するものである。

次に図１に基づいて、各構成要素の動作を詳細に説明する。

画像入力手段１は、帳票を読み取り２値画像を出力するもので、本発明の実施の形態１では読み取り線密度を約４００ｄｐｉ程度とし、原稿である帳票にＬＥＤ（発光ダイオード）等で照明しその反射光を一次元のＣＣＤカメラで読み取り、任意の閾値で２値化して文字部を値１、背景を値０とした２値画像を出力する。

また、照明は、原稿である帳票の枠線や記入された文字の色によって異なるが、例えば青・黒および赤等の枠線に対して、黒や青等で数字や記号および文字が記入された場合、緑あるいは黄緑の波長（５５０〜５７０ｎｍ付近）のＬＥＤを用いることが多い。２値化処理においては、固定閾値法や浮動閾値法（”認識問題としての二値化と各種方法の検討”、情報処理学会、イメージプロセッシング15-1, Nov. 1977）が良く知られており、本発明の実施の形態１では２値化処理法については特に言及するものではないので、原稿に合わせて任意の２値化処理法を選択すればよい。このように２値化された画像データは画像メモリ２に格納され、各処理で必要に応じて読み出される。

次に第１の罫線抽出手段３について図２を用いて説明する。図２は、第１の罫線抽出手段３における画像処理のブロック構成図を示し、２０は画像メモリ２からの２値画像、２１は水平方向にパターンを縮める水平方向収縮手段、２２は水平方向にパターンを延長する水平方向延長手段、２３は垂直方向にパターンを縮める垂直方向収縮手段、２４は垂直方向にパターンを延長する垂直方向延長手段、２５は水平方向延長手段２２と垂直方向延長手段２４の出力のＮＯＲ演算を行うＮＯＲ回路である。

水平方向収縮手段２１は、画像メモリ２からの２値画像２０に対し、水平方向にｈ画素縮めることにより、水平方向にｈ画素以下の幅の線や文字を消滅させるものである。続く水平方向延長手段２２は、水平方向にｈ画素延長することによりｈ画素より長い水平線分のみを抽出する。

同様に、垂直方向収縮手段２３は、垂直方向にｖ画素縮めることにより、垂直方向にｖ画素以下の幅の線や文字が消滅させるものである。続く垂直方向延長手段２４は、垂直方向にｖ画素延長することによりｖ画素より長い垂直線分を抽出する。ＮＯＲ回路２５は、水平方向延長手段２２と垂直方向延長手段２４からの出力をＮＯＲ演算を行い、文字部が消去され枠罫線のみが残り、枠罫線及び背景がそれぞれ”０”及び”１”の値をもつ２値画像が得られる。

次に、水平及び垂直方向の収縮及び延長処理について図３及び図４を用いてさらに詳細に説明する。

図３は、水平及び垂直方向収縮手段２１及び２３の処理手順を示すフロー図で、２値画像を水平方向または垂直方向に１ラインずつ順次走査し終了ラインまで処理を行い、各ライン毎にｎ画素の収縮処理を行うとき、ランレングスのカウント値をＣとし、ステップ毎に説明する。

ステップ３１は、各ラインの走査開始時にカウント値Ｃに０を設定する。ステップ３２は、１画素データを読み込む。ステップ３３は、画素の値が０（白）か１（黒）かを判定し、０のときステップ３４へ、１のときステップ３６に進む。ステップ３６は、カウント値Ｃに０を設定する。ステップ３５は、黒ランではないので値０を出力する。ステップ３６は、カウント値Ｃがｎ以上かどうかの判定を行い、ｎ未満のときステップ３７へ、ｎ以上のときステップ３８に進む。ステップ３７は、カウント値Ｃをインクリメントしステップ３５に進む。ステップ３８は、ｎ画素以上のランレングスをもつ黒ランが存在するので値１を出力する。

以上の処理を１ラインの終了まで行うことにより、そのライン上の黒ランがｎ画素縮められる。次のラインを処理するときは再びステップ３１から同様の処理を繰り返す。このようにして全画面の走査が終了すると、水平または垂直方向にｎ画素以上のランレングスを有する線分が抽出される。

同様に図４は、水平及び垂直方向延長手段２２及び２４の処理手順を示すフロー図で、２値画像を水平方向または垂直方向に１ラインずつ順次走査し終了ラインまで処理し、各ライン毎にｎ画素の延長処理をおこなうとき、ランレングスのカウント値をＣとし、各ステップ毎に説明する。

ステップ４１は、各ラインの走査開始時にカウント値Ｃに０を設定する。ステップ４２は、１画素データを読み込む。ステップ４３は、画素の値が０（白）か１（黒）かを判定し、１のときステップ４４へ、０のときはステップ４６に進む。ステップ４４は、カウント値Ｃにｎを設定する。ステップ４５は、黒ラン上にあるので値１を出力する。

ステップ４６は、カウント値Ｃが０以下かどうかの判定を行い、０より大きい場合ステップ４７へ、０以下のときステップ４８へ進む。ステップ４７は、カウント値Ｃをデクリメントし、さらにステップ４５へ進む。ステップ４８は、その走査位置は黒ランからｎ画素より大きく離れているので値０を出力する。

以上の処理を１ラインの終了まで行うことにより、そのライン上の黒ランがｎ画素延長される。次のラインを処理するときは再びステップ４１から同様の処理を繰り返す。このようにして全画面の走査が終了すると、水平または垂直方向にランレングスがｎ画素分だけ延長される。

次に第１のコーナー検出手段４、構成要素検出手段５、及び矩形検出手段６における一連の処理について説明するが、これらの内容は同一出願人により特願平７−０１６８６２号に記載されており詳細な説明は省略し、その動作を簡単に説明する。

まず第１のコーナー検出手段４について図５から図７を用いて説明する。図５は、コーナーを検出するための前処理として、第１の罫線抽出手段で抽出された２値画像の実線の罫線の輪郭に方向コードを付与した方向コード化画像に変換した結果を示す。図６は、方向コード１〜８と実際の方向の対応関係を示す図であり、図７は検出するコーナーの具体例を示す図である。

図５において、５１は枠罫線の画素、５２は背景の画素、数字は輪郭点に付与された方向コードをそれぞれ示しており、この場合背景パターンを右回りの方向に輪郭を追跡しながら図６に示す方向コード１〜８を割り当てている。

なお、背景画素に方向コードを付与したが枠罫線の輪郭画素に付与しても良く、また背景パターンを右回りの方向に輪郭を追跡しているが、左回りに追跡しても良い。

コーナーの検出は、このように方向コード化画像から方向コードの変化点、すなわちコーナーを検出する。このために３×３近傍において、注目位置（中央画素）コードが指示する方向に、中央画素と同一の方向コードでない方向コードを持つ画素を検出する。図５において、丸で囲まれた位置は方向コードの変化点を示している。例えば５３の位置では、図７（ａ）に示す画素配置となっており、注目画素の指示する方向”３”の示す位置にある画素の方向コードは”１”となっており、輪郭の方向が”３”から”１”へ変化することを意味するので方向コードの変化点であるコーナーとして検出する。

また、方向コードの変化点は、”３１”というコード（以下方向変化コードと呼ぶ）で表記し、ｘ座標、ｙ座標と方向変化コードを１組の特徴情報として検出する。同様に画素位置５４、５５、５６は図７の（ｂ）、（ｃ）、（ｄ）に対応しており、それぞれ”１７”、”７５”、”５３”という方向変化コードが与えられ、これらのコーナー点の持つｘ座標、ｙ座標、方向変化コードを１組の特徴情報として構成要素検出手段５へ通知する。

次に構成要素検出手段５について図８と図９を用いて説明する。図８は、コーナー点の組み合わせから構成要素を検出するための判定条件を示す図で、図９は構成要素の記述形式を示す図である。図８において、（ａ）（ｂ）（ｃ）（ｄ）はＬ字要素の検出例、（ｅ）（ｆ）（ｇ）（ｈ）はＴ字要素の検出例、（ｉ）は十字要素の検出例を示している。

構成要素検出手段５は、コーナー検出手段４からのコーナーの特徴情報を用いて、ｘ座標、ｙ座標が所定の距離以内にある複数のコーナー点を一つのグループにまとめる処理（以下グループ化と呼ぶ）を行い、グループのメンバーであるコーナー点の方向変化コードの組み合わせから、構成要素の種類が対応付けられる。

このようにして検出された構成要素は、図９に示すように４ビットのコード（以下形状コードとよぶ）で記述され、各ビットは上位からＳ、Ｗ、Ｎ、Ｅのいずれの方向に腕が存在するかを示している。例えば図８（ａ）に示すＬ字要素はＳ方向とＥ方向に腕を有しているので、”１００１”のビットパターンで記述される。構成要素のｘ座標及びｙ座標には、グループのメンバーであるコーナー点のｘ座標及びｙ座標の平均値を与えるものとし、構成要素検出手段５は前記構成要素のｘ座標、ｙ座標、及び形状コードを特徴情報として、矩形検出手段６に通知する。

次に矩形検出手段６について図１０及び図１１を用いて説明する。図１０は、構成要素同士の連結関係を示す図であり、図１１は前記の連結関係から生成された最小矩形の認識を示す図である。矩形検出手段６は、矩形情報としてこれら構成要素の連結関係を記述した連結テーブル（図１０（ｂ））、および構成要素の連結関係から構成される最小矩形の位置情報を記述した矩形情報テーブル（図１１（ｂ））を生成出力するものである。

図１０（ａ）は、構成要素検出手段５において検出されたＬ字要素、Ｔ字要素、十字要素とその位置関係の一例を示すものである。まず、各構成要素に対し識別ラベルe1からe20を付与し、次に構成要素検出手段５からの特徴情報（ｘ座標、ｙ座標、形状コード）に基づき、形状コードの示す腕の各方向についてｘ方向とｙ方向とをそれぞれ探索し、連結可能な腕をもつ構成要素のうち最短距離にあるものを検出し、連結テーブル（図１０(ｂ)）を生成する。図１０（ｂ）は、構成要素の連結関係を示す連結テーブルを示すもので、各構成要素がどの要素と連結するかをＮ、Ｓ、Ｅ、Ｗの各方向について記述している。例えば、Ｌ字要素e1の場合は、腕Ｓ及びＥに対応する構成要素としてe14及びe2が存在し、Ｔ字要素e2の場合は腕Ｓ、Ｗ、及びＥに対応する構成要素としてe8、e1、及びe3が存在することになる。

さらに生成した連結テーブル（図１０(ｂ)）を用いて、最小矩形を認識して矩形情報テーブルを生成する。図１１（ａ）は、最小矩形の認識の概念図を示すもので、ある構成要素を始点としてＥ方向、Ｓ方向、Ｗ方向、Ｎ方向の順に連結をたどっていき、始点に戻ることができれば、その４点で構成される矩形を最小矩形と呼び、図１１（ｂ）に示す最小矩形の位置、サイズ等を記述した矩形情報テーブルに登録する。例えば、要素e1を始点とし時計方向回りに探索した場合は、Ｅ方向に連結する要素として要素e2が存在する。次に要素e2が持つＳ方向に連結をたどって要素e8を参照し、次に要素e8からＷ方向に連結をたどろうとするが、要素e8はＷ方向の腕を持っていないので、さらにＳ方向に連結をたどると、Ｗ方向の腕を持った要素e15が存在する。次に要素e15からＷ方向に要素e14をたどり、要素e14からＮ方向にたどると始点の要素e1に戻り最小矩形として認識することができる。そして、Ｅ，Ｓ，Ｗ，Ｎと方向を変えながら連結している４つの要素e1、e2、e15、e14を最小矩形の角の４点として、図１１（ｂ）の矩形情報テーブルの矩形識別ラベルｒ１の項目に登録し、すべての最小矩形を認識し矩形情報テーブルを生成する。

なお、要素ｅ１を始点として設定したが、限定するものではなくどの位置を始点にしても良く、また右回りに連結したが左回りに連結しても良い。

このようにして生成された連結テーブル及び矩形情報テーブルを枠構造照合手段１０に通知する。

次に、第２の罫線抽出手段７について図１２を用いて説明する。図１２は、第２の罫線抽出手段７における画像処理のブロック構成図を示し、２０は画像メモリ２からの２値画像、２０１は水平方向にパターンを延長する第１の水平方向延長手段、２０２は水平方向にパターンを縮める水平方向収縮手段、２０３は水平方向にパターンを延長する第２の水平方向延長手段、２０４は垂直方向にパターンを延長する第１の垂直方向延長手段、２０５は垂直方向にパターンを縮める垂直方向収縮手段、２０６は垂直方向にパターンを延長する第２の垂直方向延長手段、２０７は第２の水平方向延長手段２０３と第２の垂直方向延長手段２０６の出力のＮＯＲ演算を行うＮＯＲ回路である。

第１の水平方向延長手段２０１は、画像メモリ２からの２値画像２０に対し、水平方向にｈｄ画素延長することによりｈｄ画素より間隔の短い破線部分を連結する。水平方向収縮手段２０２は、水平方向に（ｈ＋ｈｄ）画素縮めることにより、水平方向に（ｈ＋ｈｄ）画素以下の幅の線や文字を消滅させ、続く第２の水平方向延長手段２０３において水平方向にｈ画素延長することにより、ｈｄ画素以下の間隔で、かつｈ画素より長い水平線分を抽出する。

同様に第１の垂直方向延長手段２０４は、画像メモリ２からの２値画像２０に対し、垂直方向にｖｄ画素延長することによりｖｄ画素より間隔の短い破線部分を連結する。垂直方向収縮手段２０５は、垂直方向に（ｖ＋ｖｄ）画素縮めることにより、垂直方向に（ｖ＋ｖｄ）画素以下の幅の線や文字を消滅させ、続く第２の垂直方向延長手段２０６において垂直方向にｖ画素延長することにより、ｖｄ画素以下の間隔でかつｖ画素より長い垂直線分を抽出する。

ＮＯＲ回路２０７は、第２の水平方向延長手段２０３と第２の垂直方向延長手段２０６の出力のＮＯＲ演算を行い、文字が消去され破線部分が実線になった枠罫線のみが残り、枠罫線及び背景がそれぞれ”０”及び”１”の値をもつ２値画像２０８が得られる。

また、第１及び第２の水平及び垂直方向延長手段２０１、２０３、２０４、２０６は、第１の罫線抽出手段３の水平及び垂直方向延長手段２２及び２４と同じ処理をするものであり、水平及び垂直方向収縮手段２０２及び２０５は、第１の罫線抽出手段３の水平及び垂直方向収縮手段２１及び２３と同じ処理をするものであり詳細な説明は省略する。

第２のコーナー検出手段８の処理は、第１のコーナー検出手段４と同じであり、前記第２の罫線抽出手段からの実線と破線部分のコーナー点情報を出力するもので、説明は省略する。

次にフォーマット情報記憶手段９について図１３及び図１４を用いて説明する。図１３（ａ）は入力された帳票５００の画像、図１３（ｂ）は第１の罫線抽出手段３の出力画像、図１３（ｃ）は第２の罫線抽出手段７の出力画像を各々示している。フォーマット情報記憶手段９には図１３（ｂ）に示す実線の枠構造情報、及び破線で区切られた枠構造情報が格納されており、例えば図１３に示す帳票に対しては図１４に示すフォーマットが対応する。

図１４において、ＩＤ番号１は枠５０１、ＩＤ番号２は枠５０２というように各実線枠と１対１に対応しており、各実線枠内に破線枠が存在するときは、破線フラグが”１”になっており、当該実線枠の桁数が設定されている。また、対象枠フラグが”１”の場合には、該実線枠および破線枠を対象枠として文字切り出し手段に通知する対象枠である。図１３（ｂ）の帳票５００においては、枠５０２に５桁、枠５０４に３桁、枠５０５に３桁破線枠が存在し、対応する図１４にはＩＤ番号２、４、及び５の位置に桁数として５、３、及び３が設定されている。図１４において、ｘ、ｙ座標は、各実線枠の左上、右上、右下、左下の順に登録されており、さらに各実線枠の幅と高さが登録されている。また図１４における許容値は、枠構造を照合する際の枠の幅と高さの誤差許容範囲を示すものである。

また、フォーマット情報記憶手段９には、複数の帳票の枠構造情報が登録されており、それぞれ帳票はレコード番号で識別される。

次に枠構造照合手段１０について図１５を用いて説明する。枠構造照合手段１０は、まず図１４に示したフォーマット情報を参照して入力された帳票の実線枠構造を認識し、対象フラグが”１”の場合に、前記実線枠と図１３（ｃ）の○印で示す位置のコーナー点情報とを基に、破線の交点位置を確定して、実線枠および破線枠の４角の点の座標を文字切り出し手段１１に通知するものである。

図１５は、枠構造照合手段１０における処理手順を示すフロー図であり、各ステップ毎に説明する。

まずステップ５１１は、矩形検出手段６から枠構造情報である連結テーブル及び矩形情報テーブルを読み込む。ステップ５１２は、読み込んだ連結テーブルから連結している構成要素の傾きの平均値を画像の傾き値ｇｒａｄとして（数１）によって算出する。

ここでは、水平方向に連結している構成要素の傾きの平均値を画像の傾き値として用いたが、画像の傾きがわかるのであれば、他の手法でもかまわない。

次に５１３〜５１８のステップは、フォーマット情報記憶手段９に登録されている複数の帳票の中から、矩形検出手段６からの枠構造情報と最も類似している帳票を判別する処理である。まず、ステップ５１３でフォーマット情報記憶手段９からレコード番号（ｉ）の枠構造情報を取り出す。

次に、ステップ５１４で枠構造情報（ｉ）と連結テーブル及び矩形情報テーブルとの実線枠照合及び“累積枠相違度”の算出を行う。ここで、“累積枠相違度”とは、枠毎に求めた“枠相違度”を累積加算し帳票全体の相違度を表したものである。“枠相違度”とは、枠構造情報の枠と読み取られた帳票の枠同士を対応づけた時の枠形状の“違い”を表すもので、互いの枠の形状の差が大きいほど“枠相違度”が大きくなるように定義する。すなわち、枠構造情報と読み取られた帳票のフォーマットの差が大きいほど“累積枠相違度”も大きくなる。

なお、ここで、枠構造の照合に枠形状の“違い”を表す枠相違度および累積枠相違度を用いたが、枠形状の“一致”を表す枠一致度および累積枠一致度を用いても良い。

ステップ５１５は、ステップ５１４で算出された累積枠相違度を、今までに算出されている累積枠相違度の中で最小の値（以下、最小累積枠相違度と呼ぶ）と比較し、小さい場合はステップ５１６に進み、大きい場合は、ステップ５１３に戻る。ステップ５１６で、現在の累積枠相違度を最小累積枠相違度とし、基準フォーマットのレコード番号（ｉ）、認識枠テーブルを記録更新する。ステップ５１７は、レコード番号ｉとフォーマット情報に登録されている帳票の数ｎとを比較し、ｉ≧ｎならステップ５１８に、ｉ＜ｎならｉ＝ｉ＋１しステップ５１３に戻る。

ステップ５１８は、最小累積枠相違度が予め設定したしきい値よりも小さければ認識枠テーブルをそのまま出力し、大きければ基準フォーマットの中に対応する帳票がなかったとして出力する。ステップ５１９は、認識した実線枠の中で対応するフォーマット情報のテーブル対象枠フラグが”１”となっている実線枠の４点の座標を基に、フォーマット情報から推定した破線の交点の位置の近傍領域から第２のコーナー検出手段からの実在のコーナー点を探索し破線交点を検出する。

次に、ステップ５２０は、帳票内の対象枠の検出処理で、実線枠の４角の座標と破線交点の位置から、実線と破線で構成されている枠の４角の座標を算出し対象枠として文字切り出し手段１１に通知する。例えば、図２３（ｂ）の実線枠７２０は４本の破線によって５つの枠７２１〜枠７２５で構成されている。実線枠７２０の座標をそれぞれ左上点、右上点、右下点、左下点の順に（ｘ１、ｙ１）、（ｘ２、ｙ２）、（ｘ３、ｙ３）、（ｘ４、ｙ４）として、破線交点の上側の座標を左から順に（ＸＵ０、ＹＵ０）〜（ＸＵ３、ＹＵ３）、下側の座標を（ＸＬ０、ＸＬ０）〜（ＸＬ３、ＹＬ３）とすると、通知する５つの対象枠の４角の座標は、枠７２１が、左上点、右上点、右下点、左下点の順に（ｘ１、ｙ１）、（ＸＵ０、ＹＵ０）、（ＸＬ０、ＹＬ０）、（ｘ４、ｙ４）となり、枠７２２が（ＸＵ０、ＹＵ０）、（ＸＵ１、ＹＵ１）、（ＸＬ１、ＹＬ１）、（ＸＬ０、ＹＬ０）となり、その他の枠も図２３（ｃ）の表のごとく通知される。

次に、ステップ５１４の実線枠照合及び“累積枠相違度”の算出及びステップ５１９の破線交点の検出について詳細に説明する。

ステップ５１４の実線枠照合及び“累積枠相違度”の算出について、図１６から図１９を用いて詳細に説明する。図１６は、フォーマット情報記憶手段９に登録されている枠構造情報と矩形検出手段６からの連結テーブル及び矩形情報テーブルとを照合し、“累積枠相違度”を算出する手順を示すフロー図である。図１７（ａ）は、基準になる帳票の実画像（以下、基準帳票と呼ぶ）を示し、図１７（ｂ）は、その枠構造情報を示す。図１８（ａ）は、読み取られた帳票の実画像（以下、検査帳票と呼ぶ）を示し、図１８（ｂ）は、検査帳票の連結テーブル、図１８（ｃ）は、矩形情報テーブルを示す。図１９は探索範囲を示す。また、図２０は実際の処理の結果を示す。

図１６に示す実線枠の照合および累積枠相違度を求める処理フローに従って、ステップ毎に説明する。

まず、ステップ５２１は、フォーマット情報の枠座標を（数２）により、傾き値ｇｒａｄだけ回転させ傾きを補正する。

ステップ５２２は、フォーマット情報から位置あわせの始点とする“始点枠”を取り出し、取り出す始点枠がない場合は終了する。”始点枠”として、例えば原点に近い枠から順次選択する。

ステップ５２３は、フォーマット情報に記述された許容値の範囲内で高さと幅が“始点枠”と同じ枠を“始点候補枠”として矩形情報テーブルから探索する。ステップ５２４では、“始点候補枠”が存在するかどうかの判断を行い、存在しなければステップ５２５に進み、存在すればその矩形の４点座標を始点候補枠として記憶し、ステップ５２６に進む。ステップ５２５は、連結テーブルから、図１９（ａ）のように始点枠の４角の点を中心に所定の探索範囲を設定し、検査帳票の連結テーブルの全構成要素について探索し、４つの探索範囲すべてに構成要素が存在する場合に、その４点を始点候補枠として記憶する。

ステップ５２６は、“始点候補枠”が全くなければ、ステップ５２１に戻りフォーマット情報の次の枠を“始点枠”として選択してやり直す。

例えば、図１７と図１８の帳票の場合には、まず図１７（ｂ）をフォーマット情報としてＩＤ番号ｂ１の枠を始点枠として選択する。次に、ｂ１の枠と同じサイズの矩形を図１８（ｃ）の矩形情報テーブルから探索すると、ｒ１、ｒ２の矩形がそれぞれ始点候補枠として選ばれ、図２０（ａ）に示すように記憶される。仮にｒ１、ｒ２の矩形が存在しない場合には、ｅ１，ｅ２，ｅ３，ｅ４の構成要素の組み合わせと、ｅ５，ｅ６，ｅ１０，ｅ９の組み合わせが“始点候補枠”として選択されて記憶される。

次に、“始点候補枠”が存在すれば、次の５２７〜５３９のステップで、そのすべての“始点枠”と“始点候補枠”とが重なるように位置あわせを行い、フォーマット情報と矩形情報テーブルの各枠毎に照合し枠相違度を求め、累積加算したものを累積枠相違度として算出するもので、最終的には“累積枠相違度”が最小になる組み合わせを選ぶことになる。フォーマット情報と矩形情報テーブルとの照合について図１９（ｂ）を用いて説明する。

まず、ステップ５２７で、“始点枠”ｂ１の枠原点５５１と“始点候補枠”ｒ１の枠原点５５０の相対距離（ｒｘ，ｒｙ）を（数３）で算出する。

次に、ステップ５２８は、次の対象枠の探索範囲を設定する処理で、例えば”基準枠”ｂ２の枠原点（枠の左上の点）５５７からの相対距離（ｒｘ，ｒｙ）移動した点５５６を中心に探索範囲５５２を設定する。

ステップ５２９は、矩形情報テーブルから次の対象枠を例えば対象枠ｒ２として、高さと幅が許容値内であり、探索範囲の中に枠原点５６２があるかどうか探索する。ステップ５３０は、矩形が存在するかどうかを確認するもので、存在すればその矩形を枠テーブルに登録しステップ５３２に進み、存在しなければステップ５３１に進む。ステップ５３１は、図１９（ｃ）に示すように基準枠５７２の４点座標をそれぞれ相対距離（ｒｘ，ｒｙ）分移動した枠の４点（５７４、５７５、５７６、５７７）を中心に、それぞれ所定の探索範囲５７３を設定して連結テーブルの４点を探索する。

ステップ５３２は、探索した構成要素の点を枠テーブルに登録するが、もし構成要素の点が存在しない場合には、基準枠の点の座標をそのまま登録する。

ステップ５３３で“枠相違度”ｄ frameを（数４）で算出する。ここで、“枠相違度”とは、基準枠と探索した枠との相違度を示す数であり、この値が大きいほど基準枠と探索した枠とが異なっていることを示す。

なお、本発明では枠相違度を、探索範囲に存在しない構成要素の数としているが、他の評価式、例えば、基準枠の点と探索した枠の点との距離の差（あるいは差の絶対値）の総和を枠相違度としても構わない。

ステップ５３４は、“枠相違度”を“累積枠相違度”に累積加算する。

ステップ５３５は、フォーマット情報のテーブルに次の枠があるかを判定し、あればステップ５３６に進み、なければ５３７に進む。

ステップ５３６は、フォーマット情報から次の基準枠を読み込み、ステップ５２８に戻る。次に、ステップ５３７で“累積枠相違度”が今までに算出されている“累積枠相違度”より小さいかどうかの判定をし、大きければステップ５３９に進み、小さければステップ５３８に進む。ステップ５３８は、枠テーブルを認識枠テーブルに登録更新する。ステップ５３９は、ほかの“始点候補枠”があるかどうか判定し、“始点候補枠”がなくなるまでステップ５２８からステップ５３９を繰り返す。

以上の処理をすべての“始点候補枠”について行えば、最終的に最も違いの少ない認識枠データおよび累積枠相違度が得られる。

実線枠の照合および累積枠相違度の処理結果を図２０に示す。始点枠ｂ１の始点候補枠が、図２０（ａ）に示すｒ１、ｒ２となっている。そこで、図２０（ｂ）に示すように、ｒ１を始点候補とした場合には、ｂ２の枠とｒ２の枠、ｂ３の枠とｅ７，ｅ８，ｅ１１の構成要素、ｂ４の枠とｒ３の枠がそれぞれ対応し、ｂ３の場合だけ枠相違度が１となるので、累積枠相違度は１となる。一方、ｒ２を始点候補とした場合には、対応する枠がほとんどなく、累積枠相違度は１０となり、累積枠相違度が最小になるｒ１を始点候補とした認識枠データが図２０（ｃ）の認識枠テーブルに登録される。

次に、ステップ５１９の破線交点の検出について、図２１及び図２２を用いて詳細に説明する。図２１、２２は、第２のコーナー検出手段からのコーナー点情報を基に破線交点を検出する手順を示すフロー図である。図２１において、Ｎは読み取り対象とする対象枠に存在する破線の総数である。

破線交点を検出する手順を、図２１、２２に示すフロー図に基づき、ステップ毎に説明する。

まず、６０１から６０４のステップは、実線交点間を桁数で等分し破線交点の候補位置を算出する。ステップ６０１は、制御変数ｊをリセットする。ステップ６０２は、実線枠の頂点間を等分し破線交点候補の座標を求める。ステップ６０３は、ｊをインクリメントし、ステップ６０４においてｊがＮ以上かどうかの判定をし、Ｎ以上であればステップ６０５へ進み、そうでなければステップ６０２に戻る。

ステップ６０２における演算内容を、図２３（ａ）を用いてさらに詳しく説明する。図２３（ａ）は、破線交点の候補の位置関係を示すもので、例えば枠７０１の頂点間を５等分することにより、上側の破線交点候補ＣU(0)からＣU(3)、及び下側の破線交点候補ＣL(0)からＣL(3)の座標が求まる。すなわち実線枠の上側の２頂点を（ｘ1，ｙ1）、（ｘ2，ｙ2）、破線で区切られた桁数をｐとすると、上側の破線交点の候補座標（ｘU(j)，ｙU(j)）は（数５）に示す内分演算で求められる。下側の破線交点の候補座標も実線枠の下側の２頂点（ｘ3，ｙ3）、（ｘ4，ｙ4）を用いて同様の計算で求められる。

以上の手続きを枠７０２及び枠７０３に関しても行い、帳票内の全ての破線の候補交点の座標を決める。

次の６０５から６１１のステップでは、第２のコーナー検出手段８からのコーナー情報を１点ずつ読み込み、破線交点の候補座標の近傍に存在するかどうかを判定し、近傍に存在するコーナー点を各破線交点毎に一つのグループにまとめる。

まず、ステップ６０５は、コーナー情報をｘ座標、ｙ座標、方向変化コードの形式で１点ずつ読み込む。次にステップ６０６は、制御変数ｊをリセットする。ステップ６０７は、破線交点の候補座標を中心として±ｄを近傍領域として設定し、コーナー点が近傍領域内に存在するかどうかを判定し、近傍領域内に存在する場合はステップ６０８に進み、存在しない場合はステップ６０９に進む。

ステップ６０８は、該当する候補交点のグループに帰属させ、再び６０５に戻る。このとき枠の上側の破線交点の候補座標の近傍に存在する場合はグループＧU(j)に所属させ、また枠の下側の破線交点の候補座標の近傍に存在する場合はグループＧL(j)に所属させることにより上側のグループと下側のグループを区別する。これは、後述するペアコーナー点の成立条件において、ペアとなるコーナー点の方向変化コードが上側の交点と下側の交点で異なるからである。ステップ６０９は、制御変数ｊをインクリメントする。ステップ６１０は、ｊ≧Ｎを判定しＮの場合は６０７に、Ｙの場合は６１１に進む。６１１は、コーナー点の終了かどうかを判断し、次のステップへ進むかどうかの判定を行う。

次に、図２２における６２１から６２７のステップは、各候補交点のコーナー点のグループ毎に、Ｔ字要素を構成し得るコーナー点のペアを生成する。

まず、ステップ６２１は、制御変数ｊをリセットする。次にステップ６２２は、各破線交点毎のコーナー点のグループＧU(j)またはＧL(j)に対しコーナー点のペアを生成する。ステップ６２３は、ペアが存在するかどうかを判定し、ペアが存在する場合はステップ６２４へ進み、ペアが存在しない場合はステップ６２５へ進む。ステップ６２４は、破線交点の座標としてペアコーナー点の平均座標から算出する。ステップ６２５は、破線交点の座標としてステップ６０２で求めた実線枠の頂点間を等分し破線交点候補の座標をで求めた座標を採用する。次にステップ６２６においてｊをインクリメントし、ステップ６２７において次のステップへ進むかどうかｊ≧Ｎで判定を行う。

以上、図２１及び図２２に示した手順により、帳票の破線交点の位置が確定する。具体的には、図２４に示すように破線交点の候補位置７０７、７０８を中心として±ｄの近傍領域７０５、７０６を設定する。枠の上側のグループＧU(j)は、方向変化コード”１７”のコーナー点の右側に方向変化コード”３１”のコーナー点が存在することからペアとして認められ、その平均座標を破線交点の座標とする。一方、枠の下側のグループＧL(j)は、方向変化コード”７５”のコーナー点の右側に方向変化コード”５３”のコーナー点が存在することからペアと認められ、その平均座標を破線交点の座標とする。

次に、文字切り出し手段１１について説明する。文字切り出し手段１１は、画像メモリ２から実際の文字の２値イメージを切り出して文字認識手段１２に送るもので、その処理について図２５を用いて詳細に説明する。

図２５は、ある帳票の枠の中に文字が描かれている２値イメージの一部を示す。ここで、７１１〜７１４は、枠構造照合手段１０から通知された枠の４角の点、７１５は枠の４角の点７１１〜７１４で構成される領域ａ、７１６は領域ａ（７１５）よりも枠線の幅の分だけ小さくした領域ｂ、７１７は枠内に描かれている文字、７１８は文字枠である。

文字切り出しの処理の時には、領域ａ（７１５）で２値画像を切り出した場合、文字枠７１８の一部分まで切り出してしまい、余分な画像を含んでいるために文字認識率が低下する事がある。そこで、領域ａ（７１５）よりも枠線の幅の分小さくした領域ｂ（７１６）で画像メモリ２から切り出すことによって、文字枠７１８を除いた文字領域を文字認識手段１２に切り出し、文字７１７を認識させるために、文字認識率の低下を防ぐことができる。

文字認識手段１２は、例えば、ニューラルネットを用いた文字認識法（”ＰＤＰモデルによる手書き漢字認識”、電子情報通信学会論文誌、Vol.J73-D-II, No.8 pp.1268-1274 1990）により実現することができる。詳細な処理に関しては既存の技術であるので上記文献を提示し省略するものとする。

このようにして、帳票を識別してその指定された対象枠内の文字を認識することができる。

（実施の形態２）
以下、本発明の実施の形態２について、図２６から図３０を参照しながら説明する。

図２６は、本発明の実施の形態２の帳票認識装置のブロック構成図を示し、１は帳票文書を読み取り２値画像を得る画像入力手段、２は前記２値画像を記憶する画像メモリ、３は２値画像の水平、垂直方向の実線の罫線を抽出する第１の罫線抽出手段、４は実線の罫線からなるパターンのコーナーを検出する第１のコーナー検出手段、８００は前記コーナー点の組み合わせから罫線の屈曲や交差によるＬ字要素、Ｔ字要素、十字要素及びＩ字要素の構成要素を検出する第１の構成要素検出手段、８０１は構成要素同士をグルーピングさせて新しい構成要素を生成する第２の構成要素検出手段、６は構成要素同士を連結し連結形態を枠構造情報として出力する矩形検出手段と、９は予め読み取り対象となる複数の帳票のフォーマット情報を記憶するフォーマット情報記憶手段、１０は前記枠構造情報をもとに帳票内の矩形構造と前記フォーマット情報を照合し帳票の種別を判別し、帳票内の文字読み取り対象枠を検出する枠構造照合手段、１１は文字読み取り対象枠の文字領域を切り出す文字切り出し手段、１２は切り出された文字を認識する文字認識手段である。

以上のように構成された帳票認識装置において、その動作を説明するが、本発明の実施の形態１の帳票認識装置のブロック構成図と異なる第１の構成要素検出手段８００と第２の構成要素検出手段８０１について詳細に説明する。

まず、第１の構成要素検出手段８０１について説明するが、第１の構成要素検出手段８０１は、実施の形態１の構成要素検出手段５と基本的には同じものであり、図２７（ａ）〜（ｄ）に示す罫線の断線を意味するＩ字要素を検出するための判定条件を付加したものである。よって、Ｌ字要素、Ｔ字要素、十字要素に加えてＩ字要素を検出して、８０２の第２の構成要素検出手段に通知する。

次に第２の構成要素検出手段８０２について図２８から図３０を用いて説明する。図２８は、構成要素同士のグルーピングの判定条件を示し、図２９は第１の構成要素検出手段からの構成要素をグルーピングする手順を示すフロー図を示している。また、図３０は、本発明の実施の形態２の処理結果を示す。

図２８において、図２８（ａ）〜（ｃ）はＩ字要素同士をグルーピングしてそれぞれＬ字要素、Ｔ字要素、十字要素を検出する例を示している。また、図２８（ｄ）は、Ｉ字要素とＬ字要素をグルーピングしてＴ字要素を検出し、図２８（ｅ）はＩ字要素とＴ字要素をグルーピングして十字要素を検出する例を示している。

次に、第２の構成要素検出手段８０２の処理手順について、図２９を用いて各ステップ毎に説明する。まず、ステップ８２０は、対象の構成要素がＩ字要素であるかどうかを判断し、Ｉ字要素であればステップ８２１に進み、Ｉ字要素でない場合にはステップ８２８に進む。ステップ８２１は、予め設定した探索範囲内で他の構成要素を探索する。

ステップ８２２は、他の構成要素がＩ字要素でない場合にはステップ８２４に進み、Ｉ字要素の場合にはステップ８２３に進み、図２８（ａ）〜（ｃ）の配置になる構成要素を選択して、それぞれグルーピングし、グルーピングした構成要素の座標の平均値および形状コードの論理和をそれぞれグルーピング構成要素の座標および形状コードとして更新登録する。

ステップ８２４は、他の構成要素がＬ字要素であるかの判定をして、Ｌ字要素でなければステップ８２６に進み、Ｌ字要素であれば、ステップ８２５で図２８（ｄ）のグルーピングを行う。前記と同じように、グルーピングした構成要素の座標の平均値および形状コードの論理和をとり、それぞれグルーピング構成要素の座標および形状コードとして更新登録する。

ステップ８２６は、他の構成要素がＴ字要素の判定を行い、Ｔ字要素でなければステップ８２８に進み、Ｔ字要素であれば、ステップ８２７で図２８（ｅ）のグルーピングを行い、前記と同じように座標値と形状コードの更新登録を行う。ステップ８２８は、次の構成要素が存在すれば、８２０に戻り処理を繰り返し、構成要素が存在しなければ処理を終了する。

また、図２８（ａ）〜（ｅ）のグルーピングの条件を満たさずに単独で存在するＩ字要素は登録を行わない。ただし、単独で存在するＬ字要素、Ｔ字要素および十字要素は、そのまま登録する。

本発明の実施の形態２の構成要素検出手段の処理結果について、図３０を用いて説明する。図３０（ａ）は、枠の角部分が緩やかな曲率を持つ帳票の原画像である。図３０（ｂ）は、第１の罫線抽出手段により所定の長さ以上の線分を抽出し、コーナー点を検出した結果であり、枠線の角部分が途切れている。図３０（ｂ）の８３１、８３２、８３３は、第１の構成要素検出手段によって、枠の断線した部分のコーナー点から検出されたＩ字要素である。図３０（ｂ）の８３４と８３５は、同じく第１の構成要素検出手段によって検出されたＬ字要素である。図３０（ｃ）は、第２の構成要素検出手段によってグルーピングされた構成要素を示し、Ｌ字要素８３６は（ｂ）のＩ字要素８３１と８３２がグルーピングしたものである。ただし、図３０において左側のみ説明および図示したが右側も同様である。また、Ｔ字要素８３７は、Ｉ字要素８３３とＬ字要素８３４がグルーピングしたものである。Ｌ字要素８３８は、グルーピングする構成要素がなかったのでそのまま通知されている。

以上説明したように、枠の角部分が緩やかな曲率を持つ場合でも、枠の交点を正確に認識することができる。

本発明にかかる帳票認識装置は、帳票が画像として傾いて入力されたり、帳票内に破線の罫線が存在しても、文字枠を正確に検出し文字認識を行うことができるという特徴を有し、帳票など表形式文書の表構造認識を含めた文字認識装置等に有用である。

本発明の実施の形態１における帳票認識装置のブロック結線図 同実施の形態１の帳票認識装置における第１の罫線抽出手段でのブロック結線図 同実施の形態１の帳票認識装置における線分収縮手段の処理手順を示すフロー図 同実施の形態１の帳票認識装置における線分延長手段の処理手順を示すフロー図 同実施の形態１の帳票認識装置における第１のコーナー検出手段の方向コード化と方向コード変化点検出について説明する図 同実施の形態１の帳票認識装置における第１のコーナー検出手段の方向コードと実際の方向との対応関係を示す図 同実施の形態１の帳票認識装置における第１のコーナー検出手段の方向変化コードの具体例を示す図 同実施の形態１の帳票認識装置における構成要素検出手段のコーナー点の組み合わせによる構成要素の具体例を示す図 同実施の形態１の帳票認識装置における構成要素抽出手段での構成要素の形態の記述についての説明図 同実施の形態１の帳票認識装置における矩形検出手段の構成要素同士の連結関係を示す概念図 同実施の形態１の帳票認識装置における矩形検出手段の矩形検出の具体例を示す図 同実施の形態１の帳票認識装置における第２の罫線抽出手段のブロック結線図 同実施の形態１の帳票認識装置におけるフォーマット情報記憶手段の枠構造情報を説明するための帳票画像を示す図 同実施の形態１の帳票認識装置におけるフォーマット情報記憶手段の枠構造情報に登録されるフォーマットの具体例を示す図 同実施の形態１の帳票認識装置における枠構造照合手段の処理手順を示すフロー図 同実施の形態１の帳票認識装置における枠構造照合手段の実線枠照合と累積枠相違度の算出の処理手順を示すフロー図 同実施の形態１の帳票認識装置における枠構造照合手段の実線枠照合処理を説明するための基準の帳票とその枠構造情報を示す図 同実施の形態１の帳票認識装置における枠構造照合手段の実線枠照合処理を説明するための入力された帳票と要素連結情報と矩形情報を示す図 同実施の形態の帳票認識装置における枠構造照合手段の実線枠照合の探索範囲を示す図 同実施の形態１の帳票認識装置における枠構造照合手段の実線枠照合の処理結果の具体例を示す図 同実施の形態１の帳票認識装置における枠構造照合手段の破線交点を検出する手順を示すフロー図 同実施の形態１の帳票認識装置における枠構造照合手段の破線交点を検出する手順を示すフロー図 同実施の形態１の帳票認識装置における枠構造照合手段の破線による候補交点の位置関係を示す図 同実施の形態１の帳票認識装置における枠構造照合手段の破線の検出処理のペアになるコーナー点の具体例を示す図 同実施の形態１の帳票認識装置における文字きり出し手段の処理を説明する図 本発明の実施の形態２における帳票認識装置のブロック結線図 本発明の実施の形態２における第１の構成要素検出手段のコーナー点の組み合わせによるＩ字構成要素の具体例を示す図 本発明の実施の形態２における第２の構成要素検出手段のグルーピングできる構成要素の組み合わせを示す図 本発明の実施の形態２における第２の構成要素検出手段の処理手順を示すフロー図 本発明の実施の形態２における構成要素検出手段の処理結果を示す図 従来例の罫線認識装置のブロック結線図

符号の説明

１ 画像入力手段
２ 画像メモリ
３ 第１の罫線抽出手段
４ 第１のコーナー検出手段
５ 構成要素検出手段
６ 矩形検出手段
７ 第２の罫線抽出手段
８ 第２のコーナー検出手段
９ フォーマット情報記憶手段
１０ 枠構造照合手段
１１ 文字切り出し手段
１２ 文字認識手段
２０ ２値画像
２１ 水平方向収縮手段
２２ 水平方向延長手段
２３ 垂直方向収縮手段
２４ 垂直方向延長手段
２５ ＮＯＲ回路
２０１ 第１の水平方向延長手段
２０２ 水平方向収縮手段
２０３ 第２の水平方向延長手段
２０４ 第１の垂直方向延長手段
２０５ 垂直方向収縮手段
２０６ 第２の垂直方向延長手段
２０７ ＮＯＲ回路
８０１ 第１の構成要素検出手段
８０２ 第２の構成要素検出手段

Claims (9)

1. 枠罫線を含む帳票文書を読み取り２値画像を出力する画像入力手段と、前記２値画像から罫線のコーナーを検出するコーナー検出手段と、前記コーナー検出手段からのコーナーの組み合わせから罫線の構成要素を検出し、罫線の端点を検出した場合は端点と他の端点を含む他の構成要素との組合せから構成要素を再構成する構成要素検出手段と、前記構成要素検出手段からの構成要素を相互に連結し、枠構造情報を出力する矩形検出手段と、予め複数の帳票文書の基準となる枠構造情報であるフォーマット情報を記憶するフォーマット情報記憶手段と、前記枠構造情報と前記フォーマット情報とを順次照合し、検出対象の枠構造情報を判定する枠構造照合手段とを具備する帳票認識装置。
2. 枠構造照合手段は、前記枠構造情報と前記フォーマット情報とを順次照合し、検出対象の枠構造情報を判定すると共に、照合結果から帳票文書の種別を判別することを特徴とする請求項１記載の帳票認識装置。
3. 構成要素検出手段は、前記コーナー検出手段からのコーナーの組み合わせから罫線の構成要素として、Ｌ字要素、Ｔ字要素、十字要素及びＩ字要素を検出し、該当のＩ字要素と他のＩ字要素を含む構成要素とのグルーピングを行い、新たな構成要素として再構成することを特徴とする請求項１または２記載の帳票認識装置。
4. 更に、前記２値画像を記憶する画像メモリと、前記対象枠の座標に基づき前記画像メモリから文字領域を切り出す文字切り出し手段と、切り出された文字領域から文字を認識する文字認識手段とを具備することを特徴とする請求項１乃至３のいずれかに記載の帳票認識装置。
5. 更に、入力された２値画像から水平、垂直方向の実線の罫線を抽出する罫線抽出手段を有し、実線のみからコーナー検出を行うことを特徴とする請求項１乃至４のいずれかに記載の帳票認識装置。
6. 枠罫線を含む帳票文書の２値画像から罫線のコーナーを検出し、検出された前記コーナーの組み合わせから罫線の構成要素を抽出し、抽出された構成要素で罫線の端点を検出した場合は端点と他の端点を含む他の構成要素との組合せから構成要素を再構成し、抽出された構成要素を相互に連結し、枠構造情報を求め、前記枠構造情報と予め記憶された読み取り対象となる複数の帳票のフォーマット情報とを順次照合し、検出対象の枠構造情報を判定する帳票認識方法。
7. 枠構造情報の照合は、前記枠構造情報と前記フォーマット情報とを順次照合し、検出対象の枠構造情報を判定すると共に、照合結果から帳票文書の種別を判別することを特徴とする請求項６記載の帳票認識方法。
8. 構成要素の検出は、前記検出されたコーナーの組み合わせから罫線の屈曲や交差形状の構成要素として、Ｌ字要素、Ｔ字要素、十字要素及びＩ字要素を検出し、該当のＩ字要素と他のＩ字要素を含む構成要素とのグルーピングを行い新たな構成要素を抽出することを特徴とする請求項６記載の帳票認識方法。
9. 前記２値画像を記憶する画像メモリと、前記対象枠の座標に基づき前記画像メモリから文字領域を切り出し、切り出された文字領域から文字を認識することを特徴とする請求項６乃至８のいずれかに記載の帳票認識方法。

Images