JP2000082110A

JP2000082110A - 罫線消去装置および文字画像抽出装置および罫線消去方法および文字画像抽出方法および記録媒体

Info

Publication number: JP2000082110A
Application number: JP11063231A
Authority: JP
Inventors: Goro Bessho; 吾朗別所
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1998-07-02
Filing date: 1999-03-10
Publication date: 2000-03-21

Abstract

(57)【要約】【課題】新規な罫線消去装置および罫線消去方法およ
び記録媒体を提供し、また、文字が枠をはみ出して罫線
と交差するような状態の文字画像に対しても、正確な文
字認識などがなされるように、文字画像を抽出する。【解決手段】２値画像中の黒ランを抽出する黒ラン抽
出手段９と、黒ランの長さのヒストグラムを作成するヒ
ストグラム作成手段１１と、黒ランの長さのヒストグラ
ムから黒ランの長さのピークを検出するピーク検出手段
１３と、ピークを持つ黒ランに対応した黒画素を白画素
に変更することで罫線を消去する罫線消去手段１４とを
備えている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、罫線やアンダーラ
インを含む表，帳票などの文書の画像に対して罫線を消
去する罫線消去装置および罫線消去方法、および、上記
文書画像から文字画像を抽出する文字画像抽出装置およ
び文字画像抽出方法、および、記録媒体に関する。

【０００２】

【従来の技術】一般的に、表や帳票などの罫線を含む文
書の文字認識を行なう場合、罫線の情報を抽出してか
ら、罫線によって囲まれる枠の内部の文字を認識するこ
とが多い。

【０００３】例えば、従来、特開平３−１７２９８４号
には、枠を構成する主走査方向および副走査方向の罫線
の矩形を抽出し、罫線によって囲まれる枠を罫線の矩形
の外側の座標を用いて認識し、枠内の黒連結の外接矩形
を求め、枠に接している外接矩形を除去し、残った外接
矩形を用いて枠内の文字画像を切り出す技術が示されて
いる。この技術によれば、文書画像が傾いて入力された
場合においても、枠内の文字を正しく切り出し(文字欠
けを生じさせることなく)、認識させることが可能とな
る。

【０００４】また、特開平９−１７９９３６号には、第
１のメモリに格納された２値イメージ上の一定値以上の
長さを持つ黒ランを抽出する黒ラン抽出ステップと、該
黒ラン抽出ステップで抽出された黒ランの中の予め定め
られた距離内にある黒ランを統合し、統合した黒ランを
すべて包括する矩形を罫線矩形として抽出する罫線矩形
抽出ステップと、該罫線矩形抽出ステップで抽出された
罫線矩形に包括される黒ランに対応した、該第１メモリ
内の２値イメージ中の黒画素を白画素に変換する罫線消
去ステップとを有する罫線消去方法が示されている。こ
の罫線消去方法によれば、罫線を構成する黒ランの単位
で罫線消去を行なうため、イメージのスキューがあって
も、その影響を受けることなく正確な罫線消去が可能と
なる。

【０００５】

【発明が解決しようとする課題】しかしながら、上述し
た従来の技術では、文字が枠内に収まっている状態で罫
線に接触している場合には、文字認識等が可能となる
が、文字が枠をはみ出して罫線と交差している状態の場
合には、枠内のみの画素の画像だけしか抽出されないの
で、文字画像を正しく抽出することができず、従って、
文字認識などを正確に行なうことができないという問題
があった。

【０００６】本発明は、新規な罫線消去装置および罫線
消去方法および記録媒体を提供し、また、文字が枠をは
み出して罫線と交差するような状態の文字画像に対して
も、正確な文字認識などがなされるように、文字画像を
抽出することの可能な文字画像抽出装置および文字画像
抽出方法および記録媒体を提供することを目的としてい
る。

【０００７】

【課題を解決するための手段】上記目的を達成するため
に、請求項１記載の発明は、２値画像中の黒ランを抽出
する黒ラン抽出手段と、黒ランの長さのヒストグラムを
作成するヒストグラム作成手段と、黒ランの長さのヒス
トグラムから黒ランの長さのピークを検出するピーク検
出手段と、ピークを持つ黒ランに対応した黒画素を白画
素に変更することで罫線を消去する罫線消去手段とを備
えていることを特徴としている。

【０００８】また、請求項２記載の発明は、認識されあ
るいは指定された表領域において、主走査方向，副走査
方法の罫線の矩形を抽出する罫線認識手段と、罫線によ
って囲まれる枠の座標を罫線の矩形の外側の座標を用い
て認識する枠認識手段と、請求項１の罫線消去装置を用
いて罫線を消去する罫線消去手段と、罫線の消去された
画像から枠認識手段で認識された枠の座標に基づき枠内
の文字画像を抽出する文字画像抽出手段とを備えている
ことを特徴としている。

【０００９】また、請求項３記載の発明は、抽出対象領
域を指定する抽出対象領域指定手段と、指定された抽出
対象領域の４辺の近傍に対して、請求項１の罫線消去装
置を用いて罫線を消去する罫線消去手段と、指定された
抽出対象領域の座標値に基づいて、罫線が消去された画
像から文字画像を抽出する文字画像抽出手段とを備えて
いることを特徴としている。

【００１０】また、請求項４記載の発明は、２値画像中
の黒ランを抽出し、抽出した黒ランの長さのヒストグラ
ムを作成し、黒ランの長さのヒストグラムから黒ランの
長さのピークを検出し、ピークを持つ黒ランに対応した
黒画素を白画素に変更することで罫線を消去することを
特徴としている。

【００１１】また、請求項５記載の発明は、認識されあ
るいは指定された表領域において、主走査方向，副走査
方法の罫線の矩形を抽出し、罫線によって囲まれる枠の
座標を罫線の矩形の外側の座標を用いて認識し、請求項
４の罫線消去方法を用いて罫線を消去し、罫線の消去さ
れた画像から枠の座標に基づき枠内の文字画像を抽出す
ることを特徴としている。

【００１２】また、請求項６記載の発明は、抽出対象領
域を指定し、指定された抽出対象領域の４辺の近傍に対
して、請求項４の罫線消去方法を用いて罫線を消去し、
指定された抽出対象領域の座標値に基づいて、罫線が消
去された画像から文字画像を抽出することを特徴として
いる。

【００１３】また、請求項７記載の発明は、請求項４記
載の罫線消去方法をコンピュータに実行させるプログラ
ムを記録した前記コンピュータが読取可能な記録媒体で
ある。

【００１４】また、請求項８記載の発明は、請求項５ま
たは請求項６記載の文字画像抽出方法をコンピュータに
実行させるプログラムを記録した前記コンピュータが読
取可能な記録媒体である。

【００１５】また、請求項９記載の発明は、入力画像に
対して、認識対象領域の周辺の近傍について、連結する
黒画素をすべて包含する矩形を抽出し、得られた矩形と
予め定められた矩形の大きさを比較し、点線を構成する
と判断したものは点線要素として抽出し、抽出された点
線要素同士の間隔が予め定められた閾値以内であればそ
れを統合した矩形を点線罫線として抽出し、点線罫線が
抽出されたときに、抽出された点線罫線を構成する点線
要素を白画素に変えることで点線を消去することを特徴
としている。

【００１６】また、請求項１０記載の発明は、入力画像
に対して、認識対象領域指定部によって指定された認識
対象領域の周辺の近傍について、連結する黒画素をすべ
て包含する矩形を抽出し、抽出された矩形が実線である
と判断されたときに該矩形を実線罫線として抽出し、実
線罫線が抽出されたときに、抽出された実線罫線を消去
し、また、矩形が抽出されたときに、抽出された矩形と
予め定められた矩形の大きさを比較し、点線を構成する
と判断したものは点線要素として抽出し、抽出された点
線要素同士の間隔が予め定められた閾値以内であればそ
れを統合した矩形を点線罫線として抽出し、点線罫線が
抽出されたときに、抽出された点線罫線を構成する点線
要素を白画素に変えることで点線を消去するようになっ
ており、点線罫線を消去する前に、実線罫線を消去する
ことを特徴としている。

【００１７】また、請求項１１記載の発明は、入力画像
に対して、認識対象領域の周辺の近傍について、連結す
る黒画素をすべて包含する矩形を抽出し、得られた矩形
と予め定められた矩形の大きさを比較し、点線を構成す
ると判断したものは点線要素として抽出し、抽出された
点線要素同士の間隔が予め定められた閾値以内であれば
それを統合した矩形を点線罫線として抽出し、点線罫線
が抽出されたときに、抽出された点線罫線を構成する点
線要素を白画素に変えることで点線を消去し、点線罫線
が消去された画像から文字画像を抽出することを特徴と
している。

【００１８】また、請求項１２記載の発明は、入力画像
に対して、認識対象領域指定部によって指定された認識
対象領域の周辺の近傍について、連結する黒画素をすべ
て包含する矩形を抽出し、抽出された矩形が実線である
と判断されたときに該矩形を実線罫線として抽出し、実
線罫線が抽出されたときに、抽出された実線罫線を消去
し、また、矩形が抽出されたときに、抽出された矩形と
予め定められた矩形の大きさを比較し、点線を構成する
と判断したものは点線要素として抽出し、抽出された点
線要素同士の間隔が予め定められた閾値以内であればそ
れを統合した矩形を点線罫線として抽出し、点線罫線が
抽出されたときに、抽出された点線罫線を構成する点線
要素を白画素に変えることで点線を消去するようになっ
ており、実線罫線および点線罫線が消去された画像から
文字画像を抽出することを特徴としている。

【００１９】また、請求項１３記載の発明は、請求項
４，請求項９または請求項１０記載の罫線消去方法をコ
ンピュータに実行させるプログラムを記録した前記コン
ピュータが読取可能な記録媒体である。

【００２０】また、請求項１４記載の発明は、請求項
５，請求項６，請求項１１または請求項１２記載の文字
画像抽出方法をコンピュータに実行させるプログラムを
記録した前記コンピュータが読取可能な記録媒体であ
る。

【００２１】

【発明の実施の形態】以下、本発明の実施形態を図面に
基づいて説明する。図１は本発明に係る文字画像抽出装
置(罫線消去装置)の第１の構成例を示す図である。図１
の文字画像抽出装置(罫線消去装置)は、特に、不定型の
表が存在する場合の処理に用いることができ、２値画像
を入力する２値画像入力部１と、２値画像が蓄積される
２値イメージメモリ２と、２値画像から表領域を認識す
る表領域認識部３と、認識した表領域のデータを蓄積す
る表領域メモリ４と、一定値以上の黒ランを抽出し、そ
のランの連結成分を罫線として認識し抽出する罫線認識
部５と、認識(抽出)した罫線のデータを蓄積する罫線メ
モリ６と、主走査方向，副走査方向の罫線を組み合わせ
て枠を認識する枠認識部７と、認識した枠に関するデー
タ(枠領域データ)を蓄積する枠領域メモリ８と、２値画
像中の黒ランを抽出する黒ラン抽出部９と、抽出した黒
ランに関するデータを蓄積する黒ランメモリ１０と、黒
ランの長さのヒストグラムを作成するランヒストグラム
生成部１１と、黒ランの長さのヒストグラムを蓄積する
ランヒストグラムメモリ１２と、２値画像において、黒
ランの長さのヒストグラムから黒ランの長さのピークを
検出するピーク検出部１３と、ピークを持つ黒ランに対
応する黒画素を白画素に変更することで罫線を消去する
罫線消去部１４と、罫線の消去された画像から枠認識部
７で認識された枠座標に基づき枠内の文字画像を抽出す
る文字画像抽出部１５とを有している。

【００２２】次に、このような構成の文字画像抽出装置
(罫線消去装置)の処理動作(特に、不定型の表が存在す
る場合の処理動作)について図２のフローチャートを用
いて説明する。不定型の表が存在する場合の処理では、
まず、２値画像入力部１(スキャナ等)によって、表の含
まれる文書を読み取る(ステップＳ１)。次いで、表領域
認識部３では、文書画像の中から黒ランの長さがある一
定値以上のものをもつ領域を表領域として認識し抽出す
る(ステップＳ２)。次いで、罫線認識部５では、一定値
以上の黒ランを抽出し、そのランの連結成分を罫線とし
て認識し抽出する(ステップＳ３)。なお、この罫線抽出
処理では、走査を主走査方向，副走査方向の両方に対し
て行ない、それぞれの方向の罫線として抽出する。次い
で、枠認識部７では、主走査方向、副走査方向の罫線を
組み合わせて枠領域を認識する(ステップＳ４)。なお、
枠は各罫線により４辺が閉じられるものとする。次い
で、黒ラン抽出部９では、罫線認識部５で認識された罫
線領域に対して、走査方向と直交する成分の黒ランを抽
出する(ステップＳ５)。

【００２３】図３には、副走査方向(縦方向)の罫線に数
字「５」が交差している例が示されている。図３の例の
場合、罫線が副走査方向であるため、黒ラン抽出部９
は、点線で囲まれた範囲に対して、主走査方向の黒ラン
を抽出する。

【００２４】次いで、ランヒストグラム生成部１１は、
この黒ラン(主走査方向の黒ラン)に対し、長さのヒスト
グラムを生成する(ステップＳ６)。すると、罫線領域で
は、罫線の太さに相当するランがヒストグラムのピーク
となって現れる。それ以外のラン(ヒストグラムのピー
ク以外の部分)は、罫線部分の画像のゆらぎや、罫線以
外の文字などの混在である。従って、ピーク検出部１３
において上記ピークが検出されると、罫線消去部１４で
は、このピークをもつ長さのランのみを罫線画素として
２値画像から消去する(ステップＳ７)。具体的には、ラ
ンのデータを抽出時に保持しておき、ピークを持つ黒ラ
ンに対応する黒画素のみを白画素に置き換えることで消
去を行なう。これによって、図３の例では、数字「５」
の上の横棒の部分は一切消去されず、副走査方向(縦方
向)の罫線の画素のみが綺麗に消去されることになる。

【００２５】次いで、文字画像抽出部１５では、枠認識
部７で得られた枠領域に対し、罫線が消去された後の画
像を用いて、枠領域内の黒画素連結成分を取り文字画像
の抽出を行なう(ステップＳ８)。この際、罫線と交差す
る文字は隣接する枠にはみ出すので、文字画像の抽出で
は、上記枠領域よりも数画素広めの領域から文字画像を
探すのが良い。このようにして文字画像が抽出されると
き、抽出された文字画像に対して、文字認識などを行な
うことができる。

【００２６】なお、上述の例では、表領域の認識，抽出
処理を表領域認識部３で行なったが、これのかわりに、
例えば、ディスプレイに文書画像を表示させマウスなど
のポインティングデバイスを用いて領域の指定を行なっ
てもよい。

【００２７】図４は本発明に係る文字画像抽出装置(罫
線消去装置)の第２の構成例を示す図である。図４の文
字画像抽出装置(罫線消去装置)は、特に、定型の帳票に
対する処理に用いることができ、帳票のマスター画像
(データの記入されていない空の帳票画像)を入力するマ
スター画像入力部２１と、マスター画像が蓄積されるマ
スター画像メモリ２２と、抽出対象領域情報を入力する
抽出領域情報入力部２３と、抽出対象領域情報を蓄積す
る抽出領域情報ファイル２４と、マスター画像から罫線
を認識する罫線認識部２５と、罫線情報を蓄積する罫線
情報ファイル２６と、帳票のデータ画像を入力するデー
タ画像入力部２７と、データ画像を蓄積するデータ画像
メモリ２８と、データ画像とマスター画像との間で位置
合わせを行ない、その後、データ画像とマスター画像と
の間の位置ずれをアフィン変換を用いて計算する位置合
わせアフィン変換部２９と、アフィン変換を用いて位置
ずれを計算したときのアフィン変換の係数を蓄積するア
フィン変換係数メモリ３０と、データ画像上の罫線情報
をアフィン変換した領域内に対して、黒ランを抽出する
黒ラン抽出部３１と、抽出した黒ランに関するデータを
蓄積する黒ランメモリ３２と、黒ランの長さのヒストグ
ラムを作成するランヒストグラム生成部３３と、黒ラン
の長さのヒストグラムを蓄積するランヒストグラムメモ
リ３４と、２値画像において、黒ランの長さのヒストグ
ラムから黒ランの長さのピークを検出するピーク検出部
３５と、ピークを持つ黒ランに対応する黒画素を白画素
に変更することで罫線を消去する罫線消去部３６と、罫
線の消去された画像から枠認識手段で認識された枠座標
に基づき枠内の文字画像を抽出する文字画像抽出部３７
とを有している。

【００２８】次に、このような構成の文字画像抽出装置
(罫線消去装置)の処理動作(特に、定型の帳票に対する
処理動作)について図５のフローチャートを用いて説明
する。

【００２９】図６(ａ)には、定型の帳票のマスター画像
の一例が示されている。また、図６(ｂ)には、図６(ａ)
の定型の帳票にデータが記入された実際の帳票画像(デ
ータ画像)の一例が示されている。

【００３０】定型の帳票に対する処理では、まず、２値
画像入力部、すなわちマスター画像入力部２１(スキャ
ナ等)によって、図６(ａ)に示すような帳票のマスター
画像(データの記入されていない空の帳票画像)を読み取
る(ステップＳ１１)。次いで、抽出領域情報入力部２３
では、マスター画像をディスプレイなどに表示させなが
ら、文字画像抽出の対象となる枠の位置や文字画像抽出
対象の文字種などの抽出対象領域情報を入力する(ステ
ップＳ１２)。この情報は、抽出領域情報ファイル２４
に予め格納しておく。次いで、罫線認識部２５では、マ
スター画像の抽出対象領域の４辺の近傍に対して、罫線
抽出を行なう(ステップＳ１３)。この情報は、罫線情報
ファイル２６に格納しておく。ここで、罫線抽出は、前
述した不定型の表が存在する場合の処理の場合と同様
に、一定値以上の黒ランを抽出した後、ランの連結成分
を求めて行なうことができる。図７には、罫線抽出の一
例が示されている。

【００３１】次いで、２値画像入力部、すなわちデータ
画像入力部２７(スキャナ等)によって、図６(ｂ)のよう
な帳票のデータ画像(データが記入されている実際の帳
票画像)を読み取る(ステップＳ１４)。次いで、データ
画像上に、抽出対象領域情報とマスター画像で抽出され
た罫線情報のマッピングを行ない、マスター画像とデー
タ画像との間の位置ずれを計算する(ステップＳ１５)。
位置ずれの計算には、例えば、画像の特徴点(図６
(ａ)，(ｂ)の例では、マスター画像で印刷されている
「おなまえ」などのプレ印刷文字)から、アフィン変換
の係数を求める方法で行なう。

【００３２】次いで、データ画像上の罫線情報をアフィ
ン変換した領域内に対して、罫線の走査方向と直交する
成分の黒ランを抽出し(ステップＳ１６)、ランヒストグ
ラムを作成し(ステップＳ１７)、ヒストグラムのピーク
をもつ長さの黒ランに対応する黒画素をデータ画像から
消去する(ステップＳ１８)。このステップＳ１６の黒ラ
ン抽出処理，ステップＳ１７のヒストグラム作成処理，
ステップＳ１８の黒ラン消去処理は、前述した不定型の
表が存在する場合の処理のステップＳ５，ステップＳ
６，ステップＳ７と全く同様である。

【００３３】次いで、抽出領域情報も罫線情報と同様に
アフィン変換し、ヒストグラムのピークをもつ長さの黒
ランに対応する黒画素が消去された画像の領域内に対し
て黒画素の連結成分から文字画像の抽出を行なう(ステ
ップＳ１９)。この際、罫線と交差する文字を抽出する
ために、前述した不定型の表が存在する場合の処理のス
テップＳ８と同様にして、アフィン変換後の抽出領域よ
りも数画素広めの領域を探す。このようにして文字画像
が抽出されるとき、抽出された文字画像に対して、文字
認識などを行なうことができる。

【００３４】図８は本発明に係る文字画像抽出装置(罫
線消去装置)の第３の構成例を示す図である。図８の文
字画像抽出装置(罫線消去装置)は、特に、定型の帳票に
対する処理に用いることができ、画像(例えば、帳票の
２値画像)を入力する画像入力部６１と、画像入力部６
１から帳票のマスター画像(データの記入されていない
空の帳票画像)が入力されたとき、入力されたマスター
画像が蓄積されるマスター画像メモリ６２と、画像入力
部６１から帳票のデータ画像が入力されたときに、入力
されたデータ画像を蓄積するデータ画像メモリ６３と、
例えば文字認識の対象となる枠の位置，罫線の種類(実
線，点線など)や認識対象文字種などの認識領域情報の
入力を行なうための認識領域情報入力部６４と、認識領
域情報入力部６４によって入力された認識領域情報など
が格納される帳票辞書６５と、マスター画像メモリ６２
に蓄積されているマスター画像から実線罫線を抽出する
マスター画像実線罫線抽出部６６と、マスター画像メモ
リ６２に蓄積されているマスター画像から点線罫線を抽
出するマスター画像点線罫線抽出部６７と、データ画像
メモリ６３に蓄積されているデータ画像から実線罫線を
抽出するデータ画像実線罫線抽出部６８と、抽出された
実線罫線が蓄積される実線罫線メモリ６９と、データ画
像メモリ６３に蓄積されているデータ画像から実線罫線
メモリ６９に蓄積されている実線罫線を消去するデータ
画像実線罫線消去部７０と、データ画像メモリ６３に蓄
積されているデータ画像から点線罫線を抽出するデータ
画像点線罫線抽出部７１と、抽出された点線罫線が蓄積
される点線罫線メモリ７２と、データ画像メモリ６３に
蓄積されているデータ画像から点線罫線メモリ７２に蓄
積されている点線罫線を消去するデータ画像点線罫線消
去部７３と、罫線(実線罫線，点線罫線)の消去された画
像から文字画像を抽出する文字画像抽出部７４とを有し
ている。

【００３５】次に、このような構成の文字画像抽出装置
(罫線消去装置)の処理動作(特に、定型の帳票に対する
処理動作)について図９のフローチャートを用いて説明
する。

【００３６】図９を参照すると、スキャナ等の画像入力
部(例えば２値画像入力部)６１によって、帳票のマスタ
ー画像，例えば図１０に示すようなデータの書かれてい
ない空の帳票の画像を読み取る（ステップＳ２１）。

【００３７】次いで、認識領域情報入力部６４では、こ
のマスター画像をディスプレイなどに表示させながら、
文字認識の対象となる枠の位置，罫線の種類(実線・点
線など)や認識対象文字種などの認識領域情報を入力
し、その情報を帳票辞書６５に格納しておく（ステップ
Ｓ２２）。図１１では、ａｒｅａ１とａｒｅａ２の２つ
の領域が認識指定領域として指定されている様子を表わ
している。

【００３８】次いで、マスター画像実線罫線抽出部６６
では、上記で指定した認識領域の中で、実線と指定され
た罫線の存在する領域を認識対象枠の周辺の近傍とみな
し、その範囲で実線罫線の抽出を行なう（ステップＳ２
３）。なお、実線罫線の抽出には、一定値以上の長さを
もつ黒ランを統合するなどして求める。また、罫線抽出
の対象範囲を枠の周辺近傍に限定することで、不要な箇
所を罫線として誤抽出することが予防できる。抽出され
た罫線の情報は帳票辞書６５に格納する。

【００３９】図１２には、マスター画像上での罫線抽出
の例が示されており、図１２の例では、図１１のａｒｅ
ａ１の領域に対する実線罫線として、ｓｈ１１，ｓｖ１
１，ｓｖ１２が得られ、また、図１１のａｒｅａ２の領
域に対する実線罫線として、ｓｈ２１，ｓｖ２１，ｓｖ
２２が得られる様子が示されている。

【００４０】同様に、マスター画像点線罫線抽出部６７
では、点線と指定された罫線の存在する領域を認識対象
枠の周辺の近傍とし、その範囲で、連結する黒画素をす
べて包含する矩形を抽出する。得られた矩形と予め点線
を構成するにふさわしいと考えられている矩形(以下点
線要素と呼ぶ)の大きさを比較し、点線要素とみなせる
矩形以外は除去する。残った点線要素同士の間隔が予め
定められた閾値以内であれば、それを統合して点線罫線
として抽出する（ステップＳ２４）。

【００４１】図１１のａｒｅａ１とａｒｅａ２のように
隣接する領域で罫線が共有されているものは、図１２の
ようにａｒｅａ１からの点線ｄｈ１１とａｒｅａ２から
の点線ｄｈ２１とが別々の罫線として抽出されるが、こ
の罫線の包含関係をみて、共有領域がある一定値以上あ
る場合には、一つの罫線として統合する。これは点線だ
けでなく、実線の場合でも同様である。得られた点線罫
線の位置，それを構成する点線要素の平均の幅および高
さ，点線要素同士の間隔を、帳票辞書６５に格納してお
く。

【００４２】次に、画像入力部６１では、データ画像，
すなわち図１３に示すような文字認識の対象となるデー
タの記入されている帳票の画像も同様に２値画像として
読み取る（ステップＳ２５）。

【００４３】次いで、データ画像実線罫線抽出部６８で
は、上記で登録した帳票辞書６５を読み取り、データ画
像上に実線罫線の情報を投影し、該当する実線罫線の認
識を行ない、データ画像から実線罫線を抽出し（ステッ
プＳ２６）、データ画像実線罫線消去部７０では、図１
４に示すようにデータ画像から実線罫線画像を消去する
（ステップＳ２７）。この際、マスター画像とデータ画
像の位置のずれ量を計算し、その量だけ修正を行なって
おく。また、ここで、実線罫線のみを先に消去する理由
は、図１５(ａ)のように実線罫線と点線罫線が交差して
いる箇所では、そのままの画像では、点線要素の一部が
連結成分として分離できないためである。図１５(ｂ)の
ように実線を消去することで、点線を構成するすべての
点線要素を抽出することが可能となる。

【００４４】次いで、実線罫線の場合と同様に、データ
画像点線罫線抽出部７１では、登録したマスター画像上
の情報を投影し、該当する点線罫線を抽出する（ステッ
プＳ２８）。この時、点線要素の抽出には、登録時の幅
および高さ，点線要素同士の間隔の情報を用いること
で、より正確な抽出が可能となる。

【００４５】次いで、データ画像点線罫線消去部７３で
は、図１６に示すように、抽出された点線罫線を構成す
る点線要素を白画素にすることで、点線の消去を行なう
（ステップＳ２９）。

【００４６】次いで、文字画像抽出部７４では、図１７
に示すように、実線罫線および点線罫線が消去されたデ
ータ画像の認識対象領域内に対して、連結成分を抽出
し、データとして記入されている文字画像を抽出する
（ステップＳ３０）。

【００４７】抽出された文字画像は、例えば文字認識さ
れ、文字コードに変換される（ステップＳ３１）。

【００４８】このように、図８の構成では、指定領域の
周辺にある罫線が点線の場合でも、認識対象の文字を正
確に認識することができる。

【００４９】図１８は図１，図４あるいは図８の文字画
像抽出装置(罫線消去装置)のハードウェア構成例を示す
図である。図１８を参照すると、この文字画像抽出装置
(罫線消去装置)は、例えばパーソナルコンピュータ等で
実現され、全体を制御するＣＰＵ４１と、ＣＰＵ４１の
制御プログラム等が記憶されているＲＯＭ４２と、ＣＰ
Ｕ４１のワークエリア等として使用されるＲＡＭ４３
と、ハードディスク４４と、文書を文書画像として読込
んだり、所定の情報を入力する入力装置(スキャナや、
キーボード，マウスなど)４５と、文書画像に含まれて
いる文字画像の抽出結果、あるいは抽出された文字画像
に対し文字認識処理を行なった結果の情報を出力する出
力装置(例えば、ディスプレイやプリンタ)４６とを有し
ている。

【００５０】ここで、ＣＰＵ４１は、文字画像抽出機能
(罫線消去機能)を有している。すなわち、図１の表領域
認識部３，罫線認識部５，枠認識部７，黒ラン抽出部
９，ランヒストグラム生成部１１，ピーク検出部１３，
罫線消去部１４，文字画像抽出部１５の機能，あるい
は、図４の罫線認識部２５，位置合わせアフィン変換部
２９，黒ラン抽出部３１，ランヒストグラム生成部３
３，ピーク検出部３５，罫線消去部３６，文字画像抽出
部３７の機能、あるいは、図８のマスター画像実線罫線
抽出部６６，マスター画像点線罫線抽出部６７，データ
画像実線罫線抽出部６８，データ画像実線罫線消去部７
０，データ画像点線罫線抽出部７１，データ画像点線罫
線消去部７３，文字画像抽出部７４などの機能を有して
いる。

【００５１】なお、ＣＰＵ４１におけるこのような文字
画像抽出機能(罫線消去機能)は、例えばソフトウェアパ
ッケージ(具体的には、ＣＤ−ＲＯＭ等の情報記録媒体)
の形で提供することができ、このため、図８の例では、
情報記録媒体５０がセットさせるとき、これを駆動する
媒体駆動装置５１が設けられている。

【００５２】換言すれば、本発明の文字画像抽出装置
(罫線消去装置)は、イメージスキャナ，ディスプレイ等
を備えた汎用の計算機システムにＣＤ−ＲＯＭ等の情報
記録媒体に記録されたプログラムを読み込ませて、この
汎用計算機システムのマイクロプロセッサに文字画像抽
出機能(罫線消去機能)を実行させる装置構成においても
実施することが可能である。この場合、本発明の文字画
像抽出機能(罫線消去機能)を実行するためのプログラム
(すなわち、ハードウェアシステムで用いられるプログ
ラム)は、媒体に記録された状態で提供される。プログ
ラムなどが記録される情報記録媒体としては、ＣＤ−Ｒ
ＯＭに限られるものではなく、ＲＯＭ，ＲＡＭ，フレキ
シブルディスク，メモリカード等が用いられても良い。
媒体に記録されたプログラムは、ハードウェアシステム
に組み込まれている記憶装置、例えばハードディスク装
置にインストールされることにより、このプログラムを
実行して、文字画像抽出機能(罫線消去機能)を実現する
ことができる。

【００５３】

【発明の効果】以上に説明したように、請求項１乃至請
求項６，請求項１３，請求項１４記載の発明によれば、
罫線枠からはみ出した文字に対しても、文字画像の抽出
を正確に行なうことができる。すなわち、文字が枠をは
み出して罫線と交差するような状態の文字画像に対して
も、正確な文字認識などがなされるように、文字画像を
抽出することができる。

【００５４】また、請求項７乃至請求項１４記載の発明
によれば、定型文書を処理するにあたり、認識対象の領
域にある罫線が点線の場合でも、正確な文字認識などが
なされるように、文字画像を抽出することができる。

【図面の簡単な説明】

【図１】本発明に係る文字画像抽出装置(罫線消去装置)
の第１の構成例を示す図である。

【図２】図１の文字画像抽出装置(罫線消去装置)の処理
動作を説明するためのフローチャートである。

【図３】罫線消去処理を説明するための図である。

【図４】本発明に係る文字画像抽出装置(罫線消去装置)
の第２の構成例を示す図である。

【図５】図４の文字画像抽出装置(罫線消去装置)の処理
動作を説明するためのフローチャートである。

【図６】定型の帳票の一例を示す図である。

【図７】図６の定型の帳票における罫線抽出処理を説明
するための図である。

【図８】本発明に係る文字画像抽出装置(罫線消去装置)
の第３の構成例を示す図である。

【図９】図８の文字画像抽出装置(罫線消去装置)の処理
動作を説明するためのフローチャートである。

【図１０】帳票のマスター画像の一例を示す図である。

【図１１】図１０のマスター画像に対する罫線抽出を説
明するための図である。

【図１２】図１０のマスター画像に対する罫線抽出を説
明するための図である。

【図１３】帳票のデータ画像の一例を示す図である。

【図１４】図１３のデータ画像に対する実線罫線消去を
説明するための図である。

【図１５】実線罫線の消去を点線罫線の消去に先立って
行なう理由を説明するための図である。

【図１６】図１３のデータ画像に対する実線罫線，点線
罫線の消去を説明するための図である。

【図１７】文字抽出処理の一例を示す図である。

【図１８】図１，図４あるいは図８の文字画像抽出装置
(罫線消去装置)のハードウェア構成例を示す図である。

【符号の説明】

１２値画像入力部２２値イメージメモリ３表領域認識部４表領域メモリ５罫線認識部６罫線メモリ７枠認識部８枠領域メモリ９黒ラン抽出部１０黒ランメモリ１１ランヒストグラム生成部１２ランヒストグラムメモリ１３ピーク検出部１４罫線消去部１５文字画像抽出部２１マスター画像入力部２２マスター画像メモリ２３抽出領域情報入力部２４抽出領域情報ファイル２５罫線認識部２６罫線情報ファイル２７データ画像入力部２８データ画像メモリ２９位置合わせアフィン変換部３０アフィン変換係数メモリ３１黒ラン抽出部３２黒ランメモリ３３ランヒストグラム生成部３４ランヒストグラムメモリ３５ピーク検出部３６罫線消去部３７文字画像抽出部４１ＣＰＵ４２ＲＯＭ４３ＲＡＭ４４ハードディスク４５入力装置４６出力装置５０情報記憶媒体５１媒体駆動装置６１画像入力部６２マスター画像メモリ６３データ画像メモリ６４認識領域情報入力部６５帳票辞書６６マスター画像実線罫線抽出部６７マスター画像点線罫線抽出部６８データ画像実線罫線抽出部６９実線罫線メモリ７０データ画像実線罫線消去部７１データ画像点線罫線抽出部７２点線罫線メモリ７３データ画像点線罫線消去部７４文字画像抽出部

Claims

【特許請求の範囲】

【請求項１】２値画像中の黒ランを抽出する黒ラン抽
出手段と、黒ランの長さのヒストグラムを作成するヒス
トグラム作成手段と、黒ランの長さのヒストグラムから
黒ランの長さのピークを検出するピーク検出手段と、ピ
ークを持つ黒ランに対応した黒画素を白画素に変更する
ことで罫線を消去する罫線消去手段とを備えていること
を特徴とする罫線消去装置。
【請求項２】認識されあるいは指定された表領域にお
いて、主走査方向，副走査方法の罫線の矩形を抽出する
罫線認識手段と、罫線によって囲まれる枠の座標を罫線
の矩形の外側の座標を用いて認識する枠認識手段と、請
求項１の罫線消去装置を用いて罫線を消去する罫線消去
手段と、罫線の消去された画像から枠認識手段で認識さ
れた枠の座標に基づき枠内の文字画像を抽出する文字画
像抽出手段とを備えていることを特徴とする文字画像抽
出装置。
【請求項３】抽出対象領域を指定する抽出対象領域指
定手段と、指定された抽出対象領域の４辺の近傍に対し
て、請求項１の罫線消去装置を用いて罫線を消去する罫
線消去手段と、指定された抽出対象領域の座標値に基づ
いて、罫線が消去された画像から文字画像を抽出する文
字画像抽出手段とを備えていることを特徴とする文字画
像抽出装置。
【請求項４】２値画像中の黒ランを抽出し、抽出した
黒ランの長さのヒストグラムを作成し、黒ランの長さの
ヒストグラムから黒ランの長さのピークを検出し、ピー
クを持つ黒ランに対応した黒画素を白画素に変更するこ
とで罫線を消去することを特徴とする罫線消去方法。
【請求項５】認識されあるいは指定された表領域にお
いて、主走査方向，副走査方法の罫線の矩形を抽出し、
罫線によって囲まれる枠の座標を罫線の矩形の外側の座
標を用いて認識し、請求項４の罫線消去方法を用いて罫
線を消去し、罫線の消去された画像から枠の座標に基づ
き枠内の文字画像を抽出することを特徴とする文字画像
抽出方法。
【請求項６】抽出対象領域を指定し、指定された抽出
対象領域の４辺の近傍に対して、請求項４の罫線消去方
法を用いて罫線を消去し、指定された抽出対象領域の座
標値に基づいて、罫線が消去された画像から文字画像を
抽出することを特徴とする文字画像抽出方法。
【請求項７】画像を入力する画像入力部と、予め認識
対象領域を指定する認識対象領域指定部と、画像入力部
で入力された画像に対して、認識対象領域指定部によっ
て指定された認識対象領域の周辺の近傍について、連結
する黒画素をすべて包含する矩形を抽出する矩形抽出部
と、得られた矩形と予め定められた矩形の大きさを比較
し、点線を構成すると判断したものは点線要素として抽
出する点線要素抽出部と、抽出された点線要素同士の間
隔が予め定められた閾値以内であればそれを統合した矩
形を点線罫線として抽出する点線罫線抽出部と、点線罫
線が抽出されたときに、抽出された点線罫線を構成する
点線要素を白画素に変えることで点線を消去する点線罫
線消去部と、点線罫線が消去された画像から文字画像を
抽出する文字抽出部とを有していることを特徴とする文
字画像抽出装置。
【請求項８】画像を入力する画像入力部と、予め認識
対象領域を指定する認識対象領域指定部と、画像入力部
で入力された画像に対して、認識対象領域指定部によっ
て指定された認識対象領域の周辺の近傍について、連結
する黒画素をすべて包含する矩形を抽出する矩形抽出部
と、得られた矩形と予め定められた矩形の大きさを比較
し、点線を構成すると判断したものは点線要素として抽
出する点線要素抽出部と、抽出された点線要素同士の間
隔が予め定められた閾値以内であればそれを統合した矩
形を点線罫線として抽出する点線罫線抽出部と、点線罫
線が抽出されたときに、抽出された点線罫線を構成する
点線要素を白画素に変えることで点線を消去する点線罫
線消去部と、矩形抽出部で抽出された矩形が実線である
と判断されたときに該矩形を実線罫線として抽出する実
線罫線抽出部と、実線罫線が抽出されたときに、抽出さ
れた実線罫線を消去する実線罫線消去部と、実線罫線お
よび点線罫線が消去された画像から文字画像を抽出する
文字抽出部とを有していることを特徴とする文字画像抽
出装置。
【請求項９】入力画像に対して、認識対象領域の周辺
の近傍について、連結する黒画素をすべて包含する矩形
を抽出し、得られた矩形と予め定められた矩形の大きさ
を比較し、点線を構成すると判断したものは点線要素と
して抽出し、抽出された点線要素同士の間隔が予め定め
られた閾値以内であればそれを統合した矩形を点線罫線
として抽出し、点線罫線が抽出されたときに、抽出され
た点線罫線を構成する点線要素を白画素に変えることで
点線を消去することを特徴とする罫線消去方法。
【請求項１０】入力画像に対して、認識対象領域指定
部によって指定された認識対象領域の周辺の近傍につい
て、連結する黒画素をすべて包含する矩形を抽出し、抽
出された矩形が実線であると判断されたときに該矩形を
実線罫線として抽出し、実線罫線が抽出されたときに、
抽出された実線罫線を消去し、また、矩形が抽出された
ときに、抽出された矩形と予め定められた矩形の大きさ
を比較し、点線を構成すると判断したものは点線要素と
して抽出し、抽出された点線要素同士の間隔が予め定め
られた閾値以内であればそれを統合した矩形を点線罫線
として抽出し、点線罫線が抽出されたときに、抽出され
た点線罫線を構成する点線要素を白画素に変えることで
点線を消去するようになっており、点線罫線を消去する
前に、実線罫線を消去することを特徴とする罫線消去方
法。
【請求項１１】入力画像に対して、認識対象領域の周
辺の近傍について、連結する黒画素をすべて包含する矩
形を抽出し、得られた矩形と予め定められた矩形の大き
さを比較し、点線を構成すると判断したものは点線要素
として抽出し、抽出された点線要素同士の間隔が予め定
められた閾値以内であればそれを統合した矩形を点線罫
線として抽出し、点線罫線が抽出されたときに、抽出さ
れた点線罫線を構成する点線要素を白画素に変えること
で点線を消去し、点線罫線が消去された画像から文字画
像を抽出することを特徴とする文字画像消去方法。
【請求項１２】入力画像に対して、認識対象領域指定
部によって指定された認識対象領域の周辺の近傍につい
て、連結する黒画素をすべて包含する矩形を抽出し、抽
出された矩形が実線であると判断されたときに該矩形を
実線罫線として抽出し、実線罫線が抽出されたときに、
抽出された実線罫線を消去し、また、矩形が抽出された
ときに、抽出された矩形と予め定められた矩形の大きさ
を比較し、点線を構成すると判断したものは点線要素と
して抽出し、抽出された点線要素同士の間隔が予め定め
られた閾値以内であればそれを統合した矩形を点線罫線
として抽出し、点線罫線が抽出されたときに、抽出され
た点線罫線を構成する点線要素を白画素に変えることで
点線を消去するようになっており、実線罫線および点線
罫線が消去された画像から文字画像を抽出することを特
徴とする文字画像消去方法。
【請求項１３】請求項４，請求項９または請求項１０
記載の罫線消去方法をコンピュータに実行させるプログ
ラムを記録した前記コンピュータが読取可能な記録媒
体。
【請求項１４】請求項５，請求項６，請求項１１また
は請求項１２記載の文字画像抽出方法をコンピュータに
実行させるプログラムを記録した前記コンピュータが読
取可能な記録媒体。