JP2002042143A

JP2002042143A - 枠認識装置及び記録媒体

Info

Publication number: JP2002042143A
Application number: JP2000228083A
Authority: JP
Inventors: Toshifumi Yamaai; 敏文山合
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2000-07-28
Filing date: 2000-07-28
Publication date: 2002-02-08
Anticipated expiration: 2020-07-28
Also published as: US20020025072A1; JP3995185B2; US7003159B2

Abstract

(57)【要約】【課題】１文字記入枠やチェツクボックスのような、
文字サイズ程度以下の小さい枠を高精度に認識する。【解決手段】黒画素矩形抽出部１０３で抽出した黒画
素矩形に対し、一次判定部１０４で大きさや黒画素密度
に関する条件判定を行って黒画素矩形を枠候補と非枠候
補に弁別する。白画素矩形抽出部１０５で、枠候補とさ
れた黒画素矩形の内部の白画素矩形を抽出する。二次判
定部１０６で、枠候補の黒画素矩形と、それより抽出さ
れた白画素矩形との位置関係に関する条件判定を行い、
枠候補の黒画素矩形を枠と非枠に弁別する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、帳票類のような文
書画像中の罫線で囲まれた枠を認識するための技術に関
する。

【０００２】

【従来の技術】罫線で囲まれた枠を含む帳票など文書を
扱う文字認識装置（ＯＣＲ）においては、文字認識の前
処理段階で文書画像データより枠を認識する必要があ
る。同様に、マーク認識装置（ＰＭＲ）においても、文
書画像データよりマーク記入枠の位置を予め定義する必
要がある。

【０００３】このような枠認識に関しては様々な従来技
術が知られているが、その多くの基本原理は、水平、垂
直方向の黒ランの閾値処理により水平、垂直方向の罫線
を抽出し、四方を罫線で囲まれた領域を枠として認識す
るというものである（特開平１１−６６２２５号、特開
平９−１３８８３７号など）。

【０００４】

【発明が解決しようとする課題】文字認識装置で処理さ
れる帳票類に使用されている枠の大半は、複数の枠が二
次元的に連続して配置された図１３に示すような表形式
の枠、複数の枠が一次元的に連続して配置された図１４
に示すような梯子形式の枠、あるいは、１つ１つが分離
した図１５に示すような枠のいずれかに分類することが
できる。ここでは便宜上、図１３及び図１４に示すよう
な枠を複雑枠と呼び、図１５に示すような枠を単純枠と
呼ぶこととする。

【０００５】複雑枠については、個々の枠のサイズが小
さい場合でも、枠を構成する罫線の長さは文字サイズよ
り十分に大きいため、前記従来技術により認識可能であ
る。他方、チェックボックスや１文字記入枠のように、
文字サイズと同等か、それより小さいサイズの単純枠に
ついては、前記従来技術によって認識することは難し
い。前記従来技術では、罫線を抽出するための黒ラン長
の閾値を文字サイズと同等以下にすると、文字の部分で
も多くの罫線候補が抽出されてしまい、本来の罫線を精
度よく抽出することが困難であるためである。

【０００６】また、帳票類に用いられる枠は、枠線の細
いものが多いため、スキャナで読み取ると、枠線にかす
れが生じやすい。殊に、ドロップアウトを目的にした薄
い色で枠が印刷された帳票などは、それを白黒スキャナ
で読み取ると、枠線のかすれが特に生じやすい。そのか
すれを生じない程度の濃度で読み取ろうとすると、記入
された文字などが潰れやすくなるため、読み取り濃度を
あまり高くすることも困難である。

【０００７】よって、本発明の目的は、前記従来技術で
は認識が困難な、１文字記入枠やチェックボックスのよ
うな、文字サイズ程度もしくはそれより小さな単純枠な
ども高精度に認識できる枠認識装置を提供すること、及
び、枠線のかすれが多い場合にも高精度の枠認識が可能
な枠認識装置を提供することにある。

【０００８】

【課題を解決するための手段】本発明の枠認識装置の主
要な特徴は、文書画像データより黒画素の連結成分の外
接矩形（黒画素矩形）を抽出し、抽出した黒画素矩形に
関し条件判定（一次判定）を行うことにより黒画素矩形
を枠候補と非枠候補に弁別し、枠候補とされた黒画素矩
形の内部において文書画像データより白画素の連結成分
の外接矩形（白画素矩形）を抽出し、抽出された白画素
矩形に関し条件判定（二次判定）を行うことにより、白
画素矩形が抽出された黒画素矩形を枠又は非枠に弁別す
ることである。本発明の枠認識装置のもう１つの主要な
特徴は、二次判定により枠とされた黒画素矩形が連続し
た仮想連続枠領域を生成し、仮想連続枠領域に含まれ
る、一次判定で枠候補とされた黒画素矩形であって二次
判定で枠とされなかった黒画素矩形を統合し、統合され
た黒画素矩形に対し枠認識処理を行うことである。本発
明のもう１つの主要な特徴は、統合された黒画素矩形に
対する枠認識処理を、前記の一次判定、白画素矩形抽出
及び二次判定のための手段を利用して行うことである。

【０００９】以上に述べた本発明の主要な特徴及びその
他の特徴について、以下に述べる実施の形態に関連して
具体的に説明する。

【００１０】

【発明の実施の形態】以下、添付図面を参照し、本発明
の実施の形態について説明する。図１は本発明の１つの
実施の形態を説明するためのブロック図である。ここに
示す枠認識装置は、画像入力部１００、画像圧縮部１０
１、画像記憶部１０２、黒画素矩形抽出部１０３、一次
判定部１０４、白画素矩形抽出部１０５、二次判定部１
０６、作業用記憶部１０７、出力部１０８、以上各部の
動作及び装置全体の動作を制御するための制御部１０９
から構成される。画像圧縮部１０１は、必要に応じて設
けられるもので、省くことも可能である。

【００１１】一次判定部１０４、白画素矩形抽出部１０
５及び二次判定部１０６は、１文字記入枠やチェツクボ
ックスなどの、文字サイズと同程度もしくはそれより小
さなサイズの枠の認識処理を行う枠認識モジュール１１
０を構成する。ただし、これ以外の条件の枠を例えば前
記従来技術などにより認識するための処理部分を追加
し、この処理部分により認識された枠と、枠認識モジュ
ール１１０で認識された枠を処理結果として出力するよ
うに変更してもよい。すなわち、本発明は前記従来技術
などと組み合わせて実施することも容易である。そのよ
うな組み合わせを採用する場合、以下に詳述するような
矩形抽出などは従来技術による枠認識処理と共通するた
め、そのため手段を共通化し得る。

【００１２】なお、本実施の形態の枠認識装置は、単独
の装置として実現し得るが、これに限定されるものでは
なく、例えば、文字認識装置（ＯＣＲ）において前処理
部として組み込まれ、あるいは、マーク認識装置（ＯＭ
Ｒ）において予めマーク記入枠を定義しておくための帳
票定義部として組み込まれる場合もある。

【００１３】図２は、本実施の形態の枠認識装置の全体
的な動作を示すフローチャートである。以下、図１のブ
ロック図及び図２のフローチャートを参照し、本実施の
形態の枠認識装置の構成と動作について説明する。

【００１４】画像入力部１００によって文書画像データ
（通常、２値データ）が入力され、画像記憶部１０２に
格納される（ステップ２００）。より具体的には、文書
画像データは、文書読み取り用のイメージスキャナや、
文書画像データが予め格納されているパソコンなどの記
憶装置より直接的に、又はネットワーク経由にて入力さ
れ、あるいは、磁気ディスクなどの各種記録媒体より入
力される。なお、必要に応じて、入力された文書画像デ
ータに対し画像圧縮部１０１でＯＲ圧縮（縮小）処理が
施される。このようなＯＲ圧縮処理を施すと、画像記憶
部１０１の記憶容量の削減や黒画素矩形抽出などの処理
時間の短縮、枠線のかすれの影響の軽減に効果的であ
る。

【００１５】次に、黒画素矩形抽出部１０３において、
画像記憶部１０１内の文書画像データ（入力された文書
画像データ又はそのＯＲ圧縮後の画像データ）より、黒
画素の連結成分の外接矩形（黒画素矩形）が抽出される
（ステップ２０１）。この黒画素矩形抽出は、文書画像
の全体又は予め指定された処理領域に対して行われる。
抽出された各黒画素矩形の領域情報として、例えば、左
上コーナーと右下コーナーの座標が作業用記憶部１０７
に記憶される。

【００１６】黒画素矩形抽出の処理が終わると、枠認識
モジュール１１０による枠認識処理が開始する。

【００１７】まず、作業用記憶部１０７より１つの黒画
素矩形の領域情報が取り出され（ステップ２０２）、そ
の領域情報を用いて一次判定部１０４で枠候補と非枠候
補の弁別のための条件判定が行われる（ステップ２０
３）。この弁別には、黒画素矩形の高さ、幅、面積、黒
画素数、黒ランの数などの情報を利用できるが、ここで
は、１文字記入枠やチェックボックスのような文字サイ
ズ程度かそれより小さな枠である可能性の高い黒画素矩
形を弁別することを目的としているため、複雑な条件判
定を行う必要はない。したがって、この条件判定では、
例えば次のような比較的単純な条件(1-1）乃至条件(1-
4）に関する判定が行われる。・条件（1-1）：大きさ（高さ及び幅）がある閾値を越
える。・条件（1-2）：大きさ（高さ及び幅）がある閾値より
小さい。・条件（1-3）：縦横比（高さ／幅比又は幅／高さ比）
がある閾値を越える。・条件（1-4）：黒画素密度（内部の黒画素数を面積で
割った値）がある閾値を越える。

【００１８】条件（1-1）は１文字記入枠の大きさを越
える黒画素矩形、例えば文書画像上で２ｃｍを越える高
さ又は幅の黒画素矩形を枠候補から排除するための条件
である。条件（1-2）は、ノイズのような小さな黒画素
矩形、例えば文書画像上で３ｍｍ以下の黒画素矩形を枠
候補から排除するための条件である。条件（1-3）は、
縦横比が枠としては明らかに大きすぎる罫線のような黒
画素矩形を排除するための条件である。条件（1-4）
は、内部が黒でほぼ埋め尽くされているような黒画素矩
形を排除するための条件であり、１文字記入枠やチェツ
クボックスは塗りつぶされていない限り、この条件は成
立しない。なお、黒画素密度の計算のための黒画素数
は、一次判定部１０５において画像記憶部１０２内の文
書画像データを参照して計数してもよいし、黒画素矩形
抽出部１０３において黒画素矩形を抽出する際に計数し
て領域情報と関連付けて作業用記憶部１０７に書き込む
ようにしてもよい。後者の構成のほうが処理効率の面で
一般に有利であろう。

【００１９】一次判定部１０４による条件判定で、上記
４条件のいずれか１つでも成立した場合には（判定結果
＝ＮＧ）、その黒画素矩形は枠候補とされず、ステップ
２０２に戻り、別の黒画素矩形の領域情報が作業用記憶
部１０７より読み出され、その黒画素矩形について一次
判定部１０４で条件判定が行われる。

【００２０】一次判定部１０４の条件判定で、前記４条
件のいずれも成立しない場合には（判定結果＝ＯＫ）、
その黒画素矩形は枠候補とされる（ステップ２０４）。

【００２１】１つの黒画素矩形が枠候補とされると、白
画素矩形抽出部１０５において、その黒画素矩形（親矩
形と呼ぶ）の領域情報に基づき、画像記憶部１０２内の
文書画像データの、親矩形の領域内部を参照し、白画素
の連結成分の外接矩形（白画素矩形）を抽出し、その領
域情報として例えば左上コーナーと右下コーナーの座標
を作業用記憶部１０７に格納する（ステップ２０５）。

【００２２】次に、作業用記憶部１０７より１つの白画
素矩形の領域情報が取り出され（ステップ２０６）、二
次判定部１０６で、この白画素矩形に関し、その領域情
報を用いて、親領域（枠候補とされた黒画素矩形）を枠
又は非枠に弁別するための条件判定（二次判定）が行わ
れる（ステップ２０７）。この条件判定で条件が成立し
た場合（判定結果＝ＯＫ）には、その親矩形は枠である
と認識される（ステップ２０８）。枠と認識された親矩
形については、例えば、その領域情報に枠であることを
示すフラグ情報が付加され、あるいは、作業用記憶部１
０７内に用意された枠情報記憶域に、その領域情報が格
納される。条件が不成立の場合には（判定結果＝Ｎ
Ｇ）、判定すべき白画素矩形が残っているならば（ステ
ップ２０９，Ｎｏ）、ステップ２０６に戻り、別の１つ
の白画素矩形の領域情報が取り出され、その白画素矩形
に関する条件判定が二次判定部１０６で行われる。親矩
形より抽出された白画素矩形の全てについて条件判定を
行っても親矩形が枠と認識されないか（ステップ２０
９，Ｙｅｓ）、親矩形が枠と認識されると、ステップ２
０２に戻り、次の黒画素矩形について同様の枠認識処理
が繰り返される。抽出された全ての黒画素矩形が処理済
みとなると（ステップ２１０，Ｙｅｓ）、作業用記憶部
１０７より枠として認識された黒画素矩形の領域情報が
出力部１０８により外部（例えば文字認識装置の認識部
など）へ出力され（ステップ２１１）、１つの文書画像
データに対する動作を完了する。

【００２３】さて、ステップ２０７の条件判定（二次判
定）は、基本的には、親矩形とその内部より抽出された
白画素矩形との位置関係に関する判定である。以下、そ
の具体例を説明する。

【００２４】図３は、二次判定の第１の例を示すフロー
チャートである。まず、親矩形と白画素矩形の重心が計
算され（ステップ３００）、算出された重心のＸ，Ｙ方
向のずれ（絶対値）が算出される（ステップ３０１）。
Ｘ，Ｙ方向の重心のずれが閾値ｔｈ１（例えば４）と比
較され、Ｘ，Ｙ両方向の重心のずれが閾値ｔｈ１以下な
らば、条件が成立したとされ（ステップ３０３）、そう
でなければ条件は不成立とされる（ステップ３０４）。

【００２５】例えば、親矩形の左上コーナーの座標（Ｘ
so，Ｙso）と右下コーナーの座標（Ｘeo，Ｙeo）がＸｓｏ＝３６５，Ｙｓｏ＝８４０Ｘｅｏ＝４００，Ｙｅｏ＝９０５であり、抽出された白画素矩形の左上コーナーの座標
（Ｘsw，Ｙsw）、右下コーナーの座標（Ｘew，Ｙew）がＸｓｗ＝３７２，Ｙｓｗ＝８５０，Ｘｅｗ＝３９２，Ｙｅｗ＝８９８であるとする。この場合、親矩形の重心の座標は（３８
３、８７３）、この白画素矩形の重心の座標は（３８
２、８７４）であるから、重心のずれはＸ，Ｙ方向とも
１であり、これは閾値ｈｔ１（ここでは４）以下である
ので条件は成立し、したがって親矩形は枠と認識され
る。

【００２６】図４は、二次判定の第２の例を示すフロー
チャートである。まず、親矩形と白画素矩形の座標Ｘｓ
（ＸsoとＸsw）のずれ，Ｙｓ（ＹsoとＹsw）のずれ、Ｘ
ｅ（ＸeoとＸew）のずれ、Ｙｅ（ＹeoとＹew）のずれが
計算され（ステップ４００）、その最大のずれと最小の
ずれの差が求められる（ステップ４０１）。この差が閾
値ｔｈ２（例えば５）と比較され（ステップ４０２）、
差が閾値ｔｈ２以下ならば条件成立とされ（ステップ４
０３）、そうでなければ条件不成立とされる（ステップ
４０４）。

【００２７】二次判定の第１例の説明中で挙げた親矩形
と白画素矩形の場合、Ｘｓのずれ＝７、Ｙｓのずれ＝１０、Ｘｅのずれ＝８、
Ｙｅのずれ＝７であり、その最大値１０と最小値７の差は７で、これは
閾値ｔｈ２（ここでは５）以下であるので、条件は成立
し、したがって親矩形は枠として認識される。

【００２８】図５は、二次判定の第３の例を示すフロー
チャートである。まず、親矩形と白画素矩形の座標Ｘｓ
（ＸsoとＸsw）のずれ，Ｙｓ（ＹsoとＹsw）のずれ、Ｘ
ｅ（ＸeoとＸew）のずれ、Ｙｅ（ＹeoとＹew）のずれが
計算され（ステップ５００）、求められた各々のずれ
と、予め定められた枠を囲む罫線の太さ（例えば９）と
の差が計算される（ステップ５０１）。算出された各々
の差と閾値ｔｈ３（例えば４）が比較され（ステップ５
０２）、いずれの差も閾値ｔｈ３以下ならば条件成立と
され（ステップ５０３）、いずれか１つの差でも閾値ｔ
ｈ３を越えるならば条件不成立とされる（ステップ５０
４）。

【００２９】二次判定の第１例の説明中で挙げた親矩形
と白画素矩形の場合、Ｘｓのずれ＝７、Ｙｓのずれ＝１
０、Ｘｅのずれ＝８、Ｙｅのずれ＝７と罫線太さ（ここ
では９）との差は最大で２となるため、条件は成立し、
したがって親矩形は枠として認識されることになる。

【００３０】図６は、二次判定の第４の例を示すフロー
チャートである。まず、親矩形の内部において水平又は
垂直方向の黒ラン抽出が行われ、抽出された黒ランの長
さのヒストグラムが作成される（ステップ６００）。親
矩形は、内部が塗り潰されていない枠であるから（内部
が塗り潰された枠は一次判定で枠候補から排除されてい
る）、このヒストグラムの最頻値を、枠を構成する罫線
の太さとみなすことができる。この仮定に立って、ヒス
トグラムの最頻値の黒ラン長が罫線の太さと推定される
（ステップ６０１）。次に、親矩形と白画素矩形の座標
Ｘｓ（ＸsoとＸsw）のずれ，Ｙｓ（ＹsoとＹsw）のず
れ、Ｘｅ（ＸeoとＸew）のずれ、Ｙｅ（ＹeoとＹew）の
ずれが計算され（ステップ６０２）、求められた各々の
ずれと、ステップ６０１で推定された罫線の太さとの差
が計算される（ステップ６０３）。算出された各々の差
と閾値ｔｈ３（例えば４）が比較され（ステップ６０
４）、いずれの差も閾値ｔｈ３以下ならば条件成立とさ
れ（ステップ６０５）、いずれか１つの差でも閾値ｔｈ
３を越えると条件不成立とされる（ステップ６０６）。
以上の第１例乃至第４例の二次判定によれば、１文字記
入枠やチェツクボックスのような、従来技術では認識が
困難な文字サイズ程度以下の枠を精度よく弁別できる
が、本第４例の二次判定によれば、枠線（罫線）の太さ
の違いに適応し、様々な太さの枠線からなる枠を精度よ
く認識できる。

【００３１】さて、親矩形が枠である場合でも、枠線
（罫線）のある辺が、かすれにより切れた場合、その辺
については、親矩形と白画素矩形とが重なってしまう。
例えば、前述の二次判定の第１例で挙げた親矩形の左辺
の罫線がかすれで切れたとすると、抽出される白画素矩
形の座標はＸｓｗ＝３６５，Ｙｓｗ＝８５０，Ｘｅｗ＝
３９２，Ｙｅｗ＝８９８となり、Ｙsw＝Ｙsoであるた
め、判定結果は不成立となってしまう。

【００３２】このような、かすれによる枠線の切れに対
処するための二次判定の第５の例を図７のフローチャー
トにより説明する。まず、図５又は図６に示した判定処
理が行われ（ステップ７００）、その判定結果が調べら
れる（ステップ７０１）。それが「成立」ならば、最小
的な判定結果は「成立」とされる（ステップ７０５）。
しかし、ステップ７００の判定結果が「不成立」なら
ば、親矩形と白画素矩形の座標Ｘｓ，Ｙｓ，Ｘｅ，Ｙｅ
の中で一致するものがあるか調べられ（ステップ７０
２）、一致する座標がなければ最終的な判定結果は「不
成立」とされる（ステップ７０４）。

【００３３】一致する座標があるならば、その座標位置
の枠線を構成する罫線の有無の判定が行われる（ステッ
プ７０３）。例えば、Ｘｓの座標が一致しているなら
ば、かすれにより左辺の枠線がかすれで切れている場合
が考えられるので、左辺の位置について罫線有無判定が
行われる。この判定の方法としては、例えば、対象とす
る辺の位置にある黒画素をカウントし、カウント値が閾
値を越えたときに「罫線有り」、閾値を下回るときに
「罫線無し」、とするような単純な方法で構わない。罫
線があると判定した場合には、二次判定の最終結果は
「成立」とされ（ステップ７０５）、罫線がない場合に
は二次判定の最終結果は「不成立」とされる（ステップ
７０４）。

【００３４】本例によれば、例えば、もともと１辺又は
２辺に罫線がない「コ」や「し」といった文字の黒画素
矩形を枠と誤認識することなく、かすれにより枠線が切
れた枠の認識率を向上させることができる。

【００３５】図８は、二次判定の第６の例を示すフロー
チャートである。本例も、前記第５例と同様に枠線のか
すれによる切れを救済することができる。

【００３６】まず、親矩形の罫線の太さが推定される
（ステップ８００）。その推定方法は、図６のステップ
６００，６０１に関連して説明したように、親矩形の内
部について水平又は垂直方向の黒ランの長さを調べてヒ
ストグラムを作成し、その最頻値の黒ランの長さを罫線
の太さとする方法でよい。

【００３７】親矩形と白画素矩形の座標Ｘｓのずれが計
算され、同ずれが基準値Ｔｈに設定される（ステップ８
０１）。そして、この基準値Ｔｈが、推定した罫線の太
さの２倍以上であるか判定され（ステップ８０２）、そ
うであるならば判定結果は「不成立」とされる（ステッ
プ８０７）。

【００３８】基準値Ｔｈが罫線太さの２倍より小さいと
きには、親矩形と白画素矩形のＸｅ，Ｙｓ，Ｙｅのずれ
が計算され、いずれの座標のずれも（Ｔｈ＋５）以上で
あるか否かの判定が行われ（ステップ８０３）、そうで
あるならば「不成立」とされる（ステップ８０７）。い
ずれかの座標のずれが（Ｔｈ＋５）未満であるならば、
親矩形と白画素矩形の座標の一致があるか判定される
（ステップ８０４）。座標の一致がなければ判定結果は
「成立」とされる（ステップ８０６）。座標の一致があ
る場合には、その一致した座標位置について罫線の有無
が判定される（ステップ８０５）。この罫線の有無判定
は、図７のステップ７０３と同様の方法で行えばよい。
そして、罫線があると判定されたときには、かすれによ
り枠線が切れている場合と考えられるため、最終的な判
定結果は「成立」とされる（ステップ８０６）。しか
し、罫線がないと判定されたときには、最終的な判定結
果は「不成立」とされる（ステップ８０７）。

【００３９】以上説明した本実施の形態の枠認識装置、
あるいは、その処理内容を一般的なコンピュータの資源
を利用して、ソフトウェアにより実現することも可能で
あり、そのような枠認識装置も本発明に包含される。コ
ンピュータ上で、枠認識装置もしくはその処理内容を実
現するためのプログラムは、それが記録された磁気ディ
スク、光ディスク、光磁気ディスク、半導体記憶素子な
どの各種記録媒体よりコンピュータに読み込まれ、ある
いは、ネットワークを介してコンピュータに取り込まれ
て実行されることになる。そのようなプログラムが記録
された各種記録媒体も本発明に包含される。また、本実
施の形態の枠認識装置による枠認識処理の方法も本発明
に包含される。

【００４０】図９は、本発明の他の実施の形態を示すブ
ロック図である。図９において、図１と同一部分又は対
応部分には同一の符号が付されている。

【００４１】本実施の形態の枠認識装置は、前記実施の
形態の枠認識装置と同様な画像入力部１００、画像圧縮
部１０１、画像記憶部１０２、黒画素矩形抽出部１０
３、一次判定部１０４、白画素矩形抽出部１０５、二次
判定部１０６、作業用記憶部１０７、出力部１０８、制
御部１０９のほかに、仮想連続枠領域生成部１２０と黒
画素矩形統合部１２１を含む構成である。本実施の形態
の枠認識装置は、概念的には、黒画素矩形統合部１２１
により統合された黒画素矩形に関する枠認識処理部１２
３を含む。しかし、枠認識モジュール１１０が枠認識処
理部１２３として兼用されるため、実際的には枠認識ジ
ュール１１０と別個に枠認識処理部１２３が設けられる
わけではない。このように枠認識モジュール１１０を枠
認識処理部１２３として利用する構成によれば、枠認識
装置のコスト削減が可能であり、また、枠認識装置をコ
ンピュータを利用してソフトウェアで実現する場合に
は、そのためのプログラムがコンパクトになり、必要メ
モリ容量も削減されるという利点がある。

【００４２】ただし、枠認識モジュール１１０とは別に
枠認識処理部１２３を設ける構成も可能であり、このよ
うな構成によれば、枠認識処理部１２３で枠認識モジュ
ール１１０とは異なる処理アルゴリズムを利用すること
ができるため、処理の自由度は増大する。

【００４３】また、本実施の形態の枠認識装置において
も、前記従来技術などにより枠を認識するための処理部
分を追加し、この処理部分により認識された枠も処理結
果として出力させることが可能である。すなわち、本実
施の形態も前記従来技術などとの組み合わせが可能であ
る。

【００４４】図１０、本実施の形態の枠認識装置の全体
的な動作を示すフローチャートである。以下、図９のブ
ロック図及び図１０のフローチャートを参照し、本実施
の形態の枠認識装置の構成と動作について説明する。

【００４５】画像入力部１００によって文書画像データ
（２値データ）が入力され、画像記憶部１０２に格納さ
れる（ステップ９００）。必要に応じて、入力された文
書画像データに対し画像圧縮部１０１でＯＲ圧縮（縮
小）処理が施される。

【００４６】次に、黒画素矩形抽出部１０３において、
画像記憶部１０１内の文書画像データ（入力された文書
画像データ又はそのＯＲ圧縮データ）より、黒画素の連
結成分の外接矩形（黒画素矩形）が抽出される（ステッ
プ９０１）。この黒画素矩形抽出は、文書画像の全体又
は予め指定された処理領域について行われる。抽出され
た各黒画素矩形の領域情報として、例えば、左上コーナ
ーと右下コーナーの座標が作業用記憶部１０７に記憶さ
れる。

【００４７】黒画素矩形抽出の処理が終わると、枠認識
モジュール１１０による枠認識処理が実行される（ステ
ップ９０２）。このステップの処理内容は、図２のフロ
ーチャートにおけるステップ２０２〜２１０の処理ルー
プと同様であるので、その説明は繰り返さない。

【００４８】本実施の形態の枠認識装置は、ステップ９
０３以降で、ステップ９０２の枠認識処理により認識さ
れた枠に関する情報を利用することにより、罫線のかす
れなどが原因で認識に失敗した枠の認識を再度試みるこ
とに特徴がある。一般に、枠の配置には連続性があるた
め、すでに枠として認識されている黒画素矩形の位置な
どから、枠である可能性の高い黒画素矩形を容易に推定
可能である。

【００４９】そこで、枠の連続性に着目し、仮想連続枠
領域生成部１２０において、既に枠として認識された黒
画素矩形の連続した領域（仮想連続枠領域）を生成する
（ステップ９０３）。枠は１つだけ単独に存在すること
もあり得るが、口座番号、電話番号、氏名、住所などを
記入するための枠のように、複数個の枠が一列に並んで
配置されていることが多い。また、連続した枠の大きさ
は均等であることが多い。特に、マークシート帳票など
では、行単位に整合をとるため、枠が正確にマトリクス
配置されていることが多い。そして、多くの帳票は横書
きであるため、枠は行方向すなわち水平方向（Ｘ方向）
に配列されている場合が圧倒的に多い。そこで、例え
ば、枠として認識された黒画素矩形の中で、垂直方向
（Ｙ方向）に重なりのあるものを水平方向に統合し、統
合領域を文書画像の横幅一杯に（あるいは、指定された
処理対象領域の横幅一杯に）拡張することにより仮想連
続枠領域を生成する。

【００５０】図１１において、９５１，９５２，９５３
は仮想連続枠領域の例である。これら仮想連続枠領域９
５１〜９５３の内部に示された図形Ｓは枠として認識さ
れた黒画素矩形（又は枠画像）であり、図形Ｆは枠線が
かすれにより切れたために認識に失敗した枠画像であ
る。仮想連続枠領域を文書画像（又は指定された処理対
象領域）の横幅一杯に拡張した理由は、仮想連続枠領域
９５３に見られるように、認識に成功した枠より外側
に、認識に失敗した枠が存在し得るからである。

【００５１】なお、縦書き帳票のように、枠が垂直方向
に配列されている場合には、垂直方向に枠を統合するこ
とによって仮想連続枠領域を生成するとよい。また、仮
想連続枠領域生成部１２０において、認識された枠の連
続方向を自動判定し、判定した方向の仮想連続枠領域を
生成するようにしてもよい。さらに、枠として認識され
た黒画素矩形を大きさによって分類し、同一カテゴリの
黒画素矩形のみを仮想連続枠領域の生成に利用するよう
にしてもよい。

【００５２】このような仮想連続枠領域の生成処理が終
了すると、１つの仮想連続枠領域が選択される（ステッ
プ９０４）。黒画素矩形統合部１２１において、この仮
想連続枠矩形領域に含まれている、枠候補とされたが枠
としては認識されなかった黒画素矩形で、１つの枠を構
成している可能性の高い黒画素矩形を統合する処理を行
う（ステップ９０５）。具体的には、図１１に図形Ｆと
して示されている枠画像の黒画素矩形のような、水平方
向（Ｘ方向）に重なっている黒画素矩形を１つの黒画素
矩形に統合する。また、図１２に示すような水平方向に
重なりのない黒画素矩形であっても、水平方向の距離が
近く、かつ、高さの差が小さい黒画素矩形も統合する。
次に、このようにして統合された各黒画素矩形を対象と
して、枠認識モジュール１１０で枠認識処理を行う（ス
テップ９０６）。このような処理によって、前記第１の
実施の形態の枠認識装置では認識できない、かすれによ
り枠線の２辺が分断されたような枠も認識可能となる。

【００５３】１つの仮想連続枠領域の処理が終了する
と、ステップ９０４に戻り、別の仮想連続枠領域が選択
され、同様の処理が繰り返される。全ての仮想連続枠領
域に対する処理が終わると（ステップ９０７，Ｎｏ）、
認識された枠の領域情報が出力部１０８により出力され
（ステップ９０８）、一連の動作を終了する。

【００５４】なお、枠認識モジュール１１０とは別に枠
認識処理部１２３が設けられる場合には、ステップ９０
６は枠認識処理部１２３によって実行されることにな
る。この場合、例えば特開平１１−６６２２５号公報に
述べられているように、統合された黒画素矩形につい
て、罫線の分断を判定し、分断された罫線を接続したう
えで、罫線で四方を囲まれている場合には枠として認識
するような処理方法も利用できる。

【００５５】また、本実施の形態の枠認識装置あるいは
その処理内容をコンピュータ上でソフトウェアにより実
現することも可能であり、そのような枠認識装置も本発
明に包含される。また、そのためのプログラムが記録さ
れた各種記録媒体も本発明に包含される。本実施の形態
の枠認識装置による枠認識処理の方法も本発明に包含さ
れる。

【００５６】なお、図１１及び図１２に関連して単純枠
を例に挙げて説明したが、複雑枠であっても１文字が記
入されるような小さな枠を同様に精度よく認識できる。

【００５７】

【発明の効果】以上、詳細に説明したように、本発明に
よれば、（１）黒ランの閾値処理により罫線を抽出し、
罫線で囲まれた領域を枠として認識するような手法では
認識が困難な、１文字記入枠やチェックボックスのよう
な文字サイズ程度もしくはそれより小さな単純枠なども
高精度に認識できる。（２）かすれによる枠線の分断に
強い枠認識が可能である。（３）「コ」、「し」といっ
た文字の黒画素矩形の誤認識を回避しつつ、かすれによ
り枠線の一部が途切れた枠も高精度な認識が可能であ
る。（４）統合した黒画素矩形に対する枠認識処理のた
めの、統合前の黒画素矩形に対する枠認識処理のための
手段を利用することにより、装置のコスト削減、装置を
実現するためのプログラムのコンパクト化及び省メモリ
化を実現できる、等々の効果を得られる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態を示すブロック図で
ある。

【図２】第１の実施の形態による枠認識装置の全体的動
作を説明するためのフローチャートである。

【図３】二次判定の第１の例を説明するためのフローチ
ャートである。

【図４】二次判定の第２の例を説明するためのフローチ
ャートである。

【図５】二次判定の第３の例を説明するためのフローチ
ャートである。

【図６】二次判定の第４の例を説明するためのフローチ
ャートである。

【図７】二次判定の第５の例を説明するためのフローチ
ャートである。

【図８】二次判定の第６の例を説明するためのフローチ
ャートである。

【図９】本発明の第２の実施の形態を説明するためのブ
ロック図である。

【図１０】第２の実施の形態による枠認識装置の全体的
動作を説明するためのフローチャートである。

【図１１】仮想連続枠領域の説明図である。

【図１２】水平方向に重なりのない黒画素矩形の統合の
説明のための図である。

【図１３】表形式の枠の例を示す図である。

【図１４】梯子形式の枠の例を示す図である。

【図１５】独立形式の枠の例を示す図である。

【符号の説明】

１００画像入力部１０１画像圧縮部１０２画像記憶部１０３黒画素矩形抽出部１０４一次判定部１０５白画素矩形抽出部１０６二次判定部１０７作業記憶部１０８出力部１０９制御部１１０枠認識モジュール１２０仮想連続枠領域生成部１２１黒画素矩形統合部１２３枠認識処理部

Claims

【特許請求の範囲】

【請求項１】文書画像データより黒画素の連結成分の
外接矩形（以下、黒画素矩形と呼ぶ）を抽出する黒画素
矩形抽出手段と、前記黒画素矩形抽出手段によって抽出された黒画素矩形
に関し条件判定を行うことにより黒画素矩形を枠候補と
非枠候補に弁別する一次判定手段と、前記一次判定手段によって枠候補とされた黒画素矩形の
内部において前記文書画像データより白画素の連結成分
の外接矩形（以下、白画素矩形と呼ぶ）を抽出する白画
素矩形抽出手段と、前記白画素矩形抽出手段によって黒画素矩形の内部より
抽出された白画素矩形に関し条件判定を行うことによ
り、その黒画素矩形を枠又は非枠に弁別する二次判定手
段とを有すること特徴とする枠認識装置。
【請求項２】前記二次判定手段により枠とされた黒画
素矩形が連続した仮想連続枠領域を生成する仮想連続枠
領域生成手段と、前記仮想連続枠領域に含まれる、前記一次判定手段によ
り枠候補とされた黒画素矩形であって前記二次判定手段
により枠とされなかった黒画素矩形を統合する黒画素矩
形統合手段と、前記黒画素矩形統合手段により統合された黒画素矩形に
対する枠認識処理のための手段とをさらに有することを
特徴とする請求項１記載の枠認識装置。
【請求項３】前記二次判定手段により枠とされた黒画
素矩形が連続した仮想連続枠領域を生成する仮想連続枠
領域生成手段と、前記仮想連続枠領域に含まれる、前記一次判定手段によ
り枠候補とされた黒画素矩形であって前記二次判定手段
により枠とされなかった黒画素矩形を統合する黒画素矩
形統合手段とをさらに有し、前記黒画素矩形統合手段により統合された黒画素領域の
内部より前記白画素矩形抽出手段によって白画素矩形を
抽出し、抽出された白画素矩形に関し前記二次判定手段
により条件判定を行うことにより。その白画素矩形が抽
出された黒画素矩形を枠又は非枠に弁別することを特徴
とする請求項１記載の枠認識装置。
【請求項４】前記二次判定手段において、黒画素矩形
と、それより抽出された白画素矩形の重心の位置ずれに
関する判定を行うことを特徴とする請求項１、２又は３
記載の枠認識装置。
【請求項５】前記二次判定手段において、黒画素矩形
と、それより抽出された白画素矩形の、四辺の位置ずれ
の最大値と最小値の差に関する判定を行うことを特徴と
する請求項１、２又は３記載の枠認識装置。
【請求項６】前記二次判定手段において、判定のため
の閾値として罫線の太さを用いることを特徴とする請求
項５記載の枠認識装置。
【請求項７】前記罫線の太さが、黒画素矩形の内部の
黒ランの長さのヒストグラムより推定されることを特徴
とする請求項６記載の枠認識装置。
【請求項８】前記二次判定手段において、黒画素矩形
と、それより抽出された白画素矩形の少なくとも１つの
辺の位置が一致する場合には、その辺の位置における罫
線の有無を判定することを特徴とする請求項５、６又は
７記載の枠認識装置。
【請求項９】コンピュータが読み取り可能な記録媒体
であって、請求項１乃至８のいずれか１項記載の枠認識
装置をコンピュータで実現するためのプログラムが記録
されたことを特徴とする記録媒体。