JP2003281468A - 文字認識装置および文字認識方法 - Google Patents

Abstract

(57)【要約】 【課題】隣接する文字行に属する文字同士が接触した
り、文字行の近くにノイズが存在したりする場合にも、
正しく文字行を検出することを可能にし、結果的に文字
認識性能の向上が図れる文字認識装置および文字認識方
法を提供する。 【解決手段】スキャナにより帳票全体の画像を取込み、
この取込んだ画像全体から、あらかじめ定められた読取
領域を検出し、この検出した読取領域内において、あら
かじめ定められた方向の文字行を検出し、この検出した
各文字行から文字を１つずつ検出し、この検出した各文
字を認識する文字認識装置の行検出において、黒画素連
結成分の統合による行の検出と、検出した各行内で大き
すぎる黒画素連結成分の除去を繰り返し行なうことによ
り、文字接触があっても正しく行検出を行なう。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、たとえば、帳票上
の画像をスキャナで取込み、帳票上に記載された文字を
パターン認識技術を用いて読取る文字認識装置および文
字認識方法に関する。

【０００２】

【従来の技術】従来、文字認識装置で読取るべき帳票に
は、ひとつひとつの文字ごとに所定色の文字枠が印刷さ
れており、この文字枠を利用することで簡単に個々の文
字を抽出することができるように工夫されていた。しか
し、近年では、文字認識装置専用の帳票以外の一般の帳
票も文字認識装置で読取ることが行なわれるようになっ
てきた。そのため、文字枠や行枠のない自由に記載され
た文字列を認識する必要が生じてきた。

【０００３】このような自由記載帳票の読取りを行なう
文字認識装置は、スキャナにより帳票全体の画像を取込
み、この取込んだ画像全体から、あらかじめ定められた
読取領域を検出し、この検出した読取領域内において、
あらかじめ定められた方向の文字行を検出し、この検出
した各文字行から文字を１つずつ検出し、この検出した
各文字を認識するようになっている。このような従来の
文字認識装置における文字行の検出（切出し）は、検出
された読取領域内の画像を２値化し、この２値化した画
像から黒画素連結成分を抽出し、近接した黒画素連結成
分同士を統合することにより行を生成している。

【０００４】

【発明が解決しようとする課題】上記したように、従来
の文字認識装置においては、文字行を検出するにあたっ
て、黒画素連結成分を統合して文字行を構成する方法が
用いられていた。しかし、この方法では、隣接する文字
行に属する文字同士が接触して、１つの黒画素連結成分
となっているような場合には、誤った文字行の検出結果
が得られ、正しく文字認識を行なうことができなくなる
という問題がある。同様に、この方法では、大きなノイ
ズが文字行の近くにある場合には、誤った文字行の検出
結果が得られ、正しく文字認識を行なうことができなく
なるという問題がある。

【０００５】そこで、本発明は、隣接する文字行に属す
る文字同士が接触したり、文字行の近くにノイズが存在
したりする場合にも、正しく文字行を検出することを可
能にし、結果的に文字認識性能の向上が図れる文字認識
装置および文字認識方法を提供することを目的とする。

【０００６】

【課題を解決するための手段】本発明の文字認識装置
は、複数の文字行が記載された被読取物の画像を入力す
る画像入力手段と、この画像入力手段により入力された
画像から読取る領域を検出する領域検出手段と、この領
域検出手段により検出された読取領域から前記文字行を
検出する行検出手段と、この行検出手段により検出され
た文字行に対し１文字ごとに文字認識を行なう文字認識
手段とを有する文字認識装置であって、前記行検出手段
は、前記検出された読取領域内の画像を２値化する２値
化手段と、この２値化手段により２値化された画像から
黒画素連結成分を抽出する黒画素連結成分抽出手段と、
この黒画素連結成分抽出手段により抽出された黒画素連
結成分のうち近接する黒画素連結成分同士を統合するこ
とにより文字行を生成する行生成手段と、この行生成手
段により生成された各文字行に対し平均的な文字の大き
さを推定する文字大きさ推定手段と、この文字大きさ推
定手段の推定結果に基づき、前記行生成手段により生成
された各文字行の黒画素連結成分のうち平均的な文字の
大きさと比べて所定量よりも大きいものを接触文字とみ
なして無効にする無効化手段と、この無効化手段により
無効とされた黒画素連結成分が存在する場合、前記行生
成手段の文字行生成処理に戻り、順次、前記文字大きさ
推定手段の処理および前記無効化手段の処理を再度行な
わせる制御手段と、前記行生成手段により生成された各
文字行と前記無効化手段により無効とされた黒画素連結
成分の位置関係に基づき、前記行生成手段により生成さ
れた各文字行の位置を補正する行補正手段とを具備して
いる。

【０００７】また、本発明の文字認識方法は、複数の文
字行が記載された被読取物の画像を入力する画像入力ス
テップと、この画像入力ステップにより入力された画像
から読取る領域を検出する領域検出ステップと、この領
域検出ステップにより検出された読取領域から前記文字
行を検出する行検出ステップと、この行検出ステップに
より検出された文字行に対し１文字ごとに文字認識を行
なう文字認識ステップとを有する文字認識方法であっ
て、前記行検出ステップは、前記検出された読取領域内
の画像を２値化する２値化ステップと、この２値化ステ
ップにより２値化された画像から黒画素連結成分を抽出
する黒画素連結成分抽出ステップと、この黒画素連結成
分抽出ステップにより抽出された黒画素連結成分のうち
近接する黒画素連結成分同士を統合することにより文字
行を生成する行生成ステップと、この行生成ステップに
より生成された各文字行に対し平均的な文字の大きさを
推定する文字大きさ推定ステップと、この文字大きさ推
定ステップの推定結果に基づき、前記行生成ステップに
より生成された各文字行の黒画素連結成分のうち平均的
な文字の大きさと比べて所定量よりも大きいものを接触
文字とみなして無効にする無効化ステップと、この無効
化ステップにより無効とされた黒画素連結成分が存在す
る場合、前記行生成ステップの文字行生成処理に戻り、
順次、前記文字大きさ推定ステップの処理および前記無
効化ステップの処理を再度行なわせる制御ステップと、
前記行生成ステップにより生成された各文字行と前記無
効化ステップにより無効とされた黒画素連結成分の位置
関係に基づき、前記行生成ステップにより生成された各
文字行の位置を補正する行補正ステップとを具備してい
る。

【０００８】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して説明する。図１は、本実施の形態に係
る文字認識装置の構成を概略的に示すものである。図１
において、画像入力手段としてのスキャナ１１および画
像入力部１２は、被読取物としての帳票Ｐ上の全体の画
像を光学的な走査により取込み、デジタル画像データと
して入力する。なお、帳票Ｐ上には、複数の文字行が記
載されているものとする。

【０００９】領域検出手段としての領域検出部１３は、
画像入力部１２により入力された画像全体から、あらか
じめ定められた読取る領域を検出する。これは、たとえ
ば、読取領域の座標を当該帳票Ｐのフォーマットとして
あらかじめ登録しておき、入力画像から指定された座標
の部分を切出すことにより、容易に実現できる。

【００１０】行検出手段としての行検出部１４は、領域
検出部１３により検出された読取領域内において、あら
かじめ定められた方向の文字行を検出する。なお、本機
能の詳細は後で述べる。文字検出手段としての文字検出
部１５は、行検出部１４により検出された各文字行から
文字を１つずつ検出する（切出す）。文字の検出に関し
ては、画像の射影を求めて、射影の値が極小になる位置
で文字を切出すなどの手法を取ればよい。

【００１１】文字認識手段としての文字認識部１６は、
文字検出部１５により検出された各文字を認識する。文
字認識に関しては、たとえば、複合類似度法やニューラ
ルネットなどの周知の文字認識手法を使用すればよい。
出力部１７は、文字認識部１６により認識された結果を
出力する。この出力は、たとえば、ファイル（メモリ）
へ書き出すなどの方法で実現できる。以上の処理の流れ
をフローチャートにしたものが図２である。

【００１２】次に、行検出部１４における行検出処理の
流れについて、図３に示すフローチャートを参照して詳
細に説明する。まず、領域検出部１３により検出された
読取領域内の画像を２値化する（ステップＳ１、２値化
手段）。２値化の方法は、判別分析法やＰタイル法な
ど、様々な公知技術が存在するので、画像の性質に応じ
て適宜それらを使用すればよい。

【００１３】次に、２値化された画像から黒画素連結成
分を抽出する（ステップＳ２、黒画素連結成分抽出手
段）。ここで、黒画素連結成分とは、２値化の結果、黒
画素と判定された部分がひとつながりとなった領域であ
る。黒画素連結成分の抽出は、通常「ラベリング」と呼
ばれおり、公知の方法で実現できる。たとえば、入力さ
れた画像が図４（ａ）に示すものであったとすると、そ
の２値化画像からは図４（ｂ）に示すような黒画素連結
成分が得られる。この図では、黒画素連結成分は、それ
を囲む外接長方形で表現している。なお、以下の説明で
は、図４のように文字行の長手方向の座標をＸ軸、短手
方向の座標をＹ軸として述べる。

【００１４】次に、近接した黒画素連結成分同士を統合
することにより文字行を生成し、生成した文字行の数を
Ｎとする（ステップＳ３、行生成手段）。黒画素連結成
分を統合して文字行を生成する処理は、以下のようにし
て行なう。まず、黒画素連結成分のそれぞれについて
（着目する黒画素連結成分ａについて）、図５（ａ）に
示すような統合範囲ｂを設定する。ここで、Ｘ方向の統
合範囲サイズαとＹ方向の統合範囲サイズβは、あらか
じめ定められているものとする。

【００１５】次に、ある黒画素連結成分のＸ方向の統合
範囲について重なりを持ち、かつ、Ｙ方向の統合範囲に
完全に包含されている他の黒画素連結成分が存在したと
すると、その黒画素連結成分は統合可能と判断する。た
とえば、図５（ｂ）において、黒画素連結成分Ａ，Ｂは
上記条件を満たすため、着目する黒画素連結成分ａに統
合可能である。一方、黒画素連結成分Ｃは、Ｙ方向の統
合範囲に完全に包含されていないため、統合可能でな
い。

【００１６】以上の判断を全ての黒画素連結成分に対し
て行ない、統合可能な黒画素連結成分を全てまとめて、
行検出結果とする。これによって、たとえば、図４
（ｃ）に示すように、行検出結果が得られる。なお、後
述するように、無効と判定された黒画素連結成分は統合
の対象としない。

【００１７】次に、行番号Ｉを「０」に設定するととも
に、接触文字数Ｃを「０」に設定する（ステップＳ
４）。次に、行番号ＩがステップＳ３で生成された文字
行数Ｎよりも小さいか否かを判定し（ステップＳ５）、
小さければ、ステップＳ３で生成された各文字行につい
て、平均的な文字の大きさを推定する（ステップＳ６、
文字大きさ推定手段）。ここで、平均的な文字の大きさ
の推定は、たとえば、当該文字行に統合された黒画素連
結成分のＹ方向の大きさの平均値や中央値を用いればよ
い。

【００１８】次に、ステップＳ６で推定された文字の大
きさの推定結果に基づき、ステップＳ３で生成された各
文字行の黒画素連結成分のうち、平均的な文字の大きさ
と比べて大きすぎるものを接触文字とみなして検出する
（ステップＳ７）。この場合、大きさの判定基準として
は、たとえば、ステップＳ６で計算された平均的な文字
の大きさの１．５倍以上のＹ方向サイズを持つ黒画素連
結成分を、平均的な文字の大きさと比べて大きすぎるも
のとみなし、接触文字とする。次に、接触文字数Ｃを
「＋１」する（ステップＳ８）とともに、行番号Ｉを
「＋１」して（ステップＳ９）、ステップＳ５に戻り、
上記同様な動作を繰り返す。

【００１９】そして、全ての文字行について、ステップ
Ｓ５〜Ｓ９の処理が終了すると、すなわち、ステップＳ
５において「Ｉ＜Ｎ」の条件が成立しなくなると、接触
文字数Ｃが「０」よりも大きいか否かを判定し（ステッ
プＳ１０）、大きければ、各文字行について、その文字
行に含まれる黒画素連結成分のうちで大きすぎるもの
（接触文字）を無効にする（ステップＳ１１、無効化手
段）。すなわち、ステップＳ７で検出された平均的な文
字の大きさの１．５倍以上のＹ方向サイズを持つ黒画素
連結成分を、平均的な文字の大きさと比べて大きすぎる
接触文字とみなし、これを無効にすればよい。ステップ
Ｓ１１の処理が終了すると、ステップＳ３に戻り、上記
同様な動作を繰り返す。

【００２０】そして、サイズが大きすぎる黒画素連結成
分（接触文字）が検出されなくなると、すなわち、ステ
ップＳ１０において「Ｃ＞０」の条件が成立しなくなる
と、無効にされた黒画素連結成分の位置を調べ、行検出
結果を補正する（ステップＳ１２、行補正手段）。行補
正処理は、接触文字によって文字行が分断された場合に
修復する処理であり、この行補正処理については後で具
体例に基づき詳細に説明する。こうして行補正処理が終
了すると、現在の繰り返し処理で得られた行検出結果を
確定し、その行検出結果を文字検出処理へ渡す。

【００２１】以下、具体的な処理例をあげて更に詳細に
説明する。図６（ａ）は、隣接する文字行に属する文字
同士が接触（符号ｃの部分）した場合の画像の例であ
る。これを２値化して黒画素連結成分を抽出したものが
図６（ｂ）である。隣接する行に属する文字同士が接触
した場合には、接触した文字ｃが１つの黒画素連結成分
ｄとなる。最初は、全ての黒画素連結成分に付随する有
効フラグ（たとえば、行検出部１４内のメモリに設けら
れており、図示省略）をオンにしておく。

【００２２】次に、黒画素連結成分を統合して文字行を
生成する。統合する際には、黒画素連結成分に付随する
有効フラグがオンのもののみを統合の対象とする。今の
例の場合、接触した文字ｃがあって１つの黒画素連結成
分ｄとなるため、図７（ａ）に示すように、隣接する２
つの文字行（１行目と２行目）が誤って１行に統合され
てしまう。

【００２３】次に、検出された各文字行について、平均
的な文字の大きさを推定する。ここでは、各文字行に含
まれる黒画素連結成分の高さ（Ｙ軸方向寸法）の平均値
を求め、これを平均的な文字の大きさとする。次に、各
文字行について、平均的な文字の大きさの１．５倍を閾
値として、閾値以上の高さを持つ黒画素連結成分、たと
えば、図６（ｂ）の例の場合、黒画素連結成分ｄを接触
文字と判定して無効にする。具体的には、当該黒画素連
結成分に付随する有効フラグをオフにする。

【００２４】次に、無効とされた黒画素連結成分が存在
するので、黒画素連結成分を統合して文字行を生成する
処理を再度やり直す。今回の場合は、接触文字ｃに対応
する黒画素連結成分ｄが無効になったため、正しく文字
行を検出できる（図７（ｂ）参照）。次に、再度処理が
繰り返され、もう一度、検出された各文字行について平
均的な文字の大きさを推定する。同様に、再び、接触文
字を判定するが、今回は無効と判定される黒画素連結成
分ｄは存在しないので、繰り返し処理を終了する。

【００２５】最後に、以上で検出された文字行と無効と
判定された黒画素連結成分ｄの位置関係を調べて、行検
出結果を補正する。この行補正処理は、たとえば、図８
に示すように文字行の左端に接触文字ｅが存在する場合
や、図９に示すように接触文字の大きなかたまりｆが存
在する場合に、その部分で文字行が切断される可能性が
あるため、これを修正することを目的とする。

【００２６】以下、行補正処理の流れを図１０に示すフ
ローチャートを参照して説明する。まず、検出された文
字行の数Ｎを設定した後（ステップＳ２１）、行番号Ｉ
を「０」に設定する（ステップＳ２２）。次に、行番号
Ｉが文字行数Ｎよりも小さいか否かを判定し（ステップ
Ｓ２３）、小さければ、検出された各文字行に対して、
文字行の左右端近くを探索領域として設定し（ステップ
Ｓ２４）、この設定された探索領域内に無効と判定され
た黒画素連結成分が存在するかどうか確認する（ステッ
プＳ２５，Ｓ２６）。

【００２７】この確認の結果、無効な黒画素連結成分が
存在すれば、当該文字行の座標を所定値拡大し（ステッ
プＳ２７）、行番号Ｉを「＋１」して（ステップＳ２
８）、ステップＳ２３に戻り、上記同様な動作を繰り返
す。すなわち、たとえば、図１１（ａ）に示すように、
着目している文字行ｇのＸ方向に大きさα′の探索領域
（統合範囲）ｈｌ，ｈｒを設定し、この探索領域ｈｌ，
ｈｒ内に無効な黒画素連結成分ｄｌ，ｄｒが存在すれ
ば、図１１（ｂ）に示すように、その位置まで文字行ｇ
のＸ座標を延長する。この行座標拡大処理によって、図
８（ｂ）に示すように途切れた文字行（接触文字ｅによ
り文字行の左端部が切断されている）を、図８（ｃ）に
示すように正規の文字行として回復できる。

【００２８】こうして、全ての文字行について、ステッ
プＳ２３〜Ｓ２８の処理が終了すると、すなわち、ステ
ップＳ２３において「Ｉ＜Ｎ」の条件が成立しなくなる
と、オーバーラップする文字行が存在すれば、それらの
文字行を統合する（ステップＳ２９）。すなわち、図１
２（ａ）〜（ｃ）に示すように、図１１と同様な処理を
行なった結果、オーバーラップする文字行ｇ1，ｇ2が存
在する場合、図１２（ｃ）のようにオーバーラップした
文字行を統合して１つの文字行にする。このオーバーラ
ップ行統合処理によって、図９（ｂ）に示すように途切
れた文字行（接触文字ｆにより文字行の中途部が切断さ
れている）を、図９（ｃ）に示すように正規の文字行と
して回復できる。

【００２９】次に、接触文字ではなく、ノイズが存在す
る場合の例について説明する。図１３(a)〜(ｂ)および
図１４(a)〜(ｂ)は、接触文字ｃではなく、ノイズｎが
存在する場合の例を示しており、上述した図６(a)〜
(ｂ)および図７(a)〜(ｂ)と同様な処理によって正しく
文字行を検出すことができる。

【００３０】この場合、さらに、無効と判定された黒画
素連結成分が接触文字ｃかノイズｎかを判定する機能を
追加して、ノイズｎは行補正処理の対象としないように
すれば、ノイズｎを各文字行に統合することも防止でき
る。接触文字ｃかノイズｎかの判定は、たとえば、黒画
素連結成分のＸ軸方向の寸法があらかじめ定められた閾
値以下ならばノイズｎとするような方法が考えられる。

【００３１】

【発明の効果】以上詳述したように本発明によれば、隣
接する文字行に属する文字同士が接触したり、文字行の
近くにノイズが存在したりする場合にも、正しく文字行
を検出することを可能にし、結果的に文字認識性能の向
上が図れる文字認識装置および文字認識方法を提供でき
る。

【図面の簡単な説明】

【図１】本発明の実施の形態に係る文字認識装置の構成
を概略的に示すブロック図。

【図２】文字認識処理の流れを説明するフローチャー
ト。

【図３】行検出処理の流れを説明するフローチャート。

【図４】行検出処理を説明するための模式図。

【図５】黒画素連結成分を統合して行を生成する処理を
説明するための模式図。

【図６】接触文字が存在する場合の行検出処理を説明す
るための模式図。

【図７】接触文字が存在する場合の行検出処理を説明す
るための模式図。

【図８】文字行の端に接触文字がある場合の行補正処理
を説明するための模式図。

【図９】文字行の途中に接触文字のかたまりがある場合
の補正処理を説明するための模式図。

【図１０】行補正処理の流れを説明するフローチャー
ト。

【図１１】行補正処理の拡大処理を説明するための模式
図。

【図１２】行補正処理の統合処理を説明するための模式
図。

【図１３】文字行の端にノイズが存在する場合の行補正
処理を説明するための模式図。

【図１４】文字行の端にノイズが存在する場合の行補正
処理を説明するための模式図。

【符号の説明】

Ｐ…帳票（被読取物）、１１…スキャナ（画像入力手
段）、１２…画像入力部（画像入力手段）、１３…領域
検出部（領域検出手段）、１４…行検出部（行検出手
段）、１５…文字検出部（文字検出手段）、１６…文字
認識部（文字認識手段）、１７…出力部。

Claims (4)

【特許請求の範囲】
1. 【請求項１】 複数の文字行が記載された被読取物の画
   像を入力する画像入力手段と、 この画像入力手段により入力された画像から読取る領域
   を検出する領域検出手段と、 この領域検出手段により検出された読取領域から前記文
   字行を検出する行検出手段と、 この行検出手段により検出された文字行に対し１文字ご
   とに文字認識を行なう文字認識手段とを有する文字認識
   装置であって、 前記行検出手段は、 前記検出された読取領域内の画像を２値化する２値化手
   段と、 この２値化手段により２値化された画像から黒画素連結
   成分を抽出する黒画素連結成分抽出手段と、 この黒画素連結成分抽出手段により抽出された黒画素連
   結成分のうち近接する黒画素連結成分同士を統合するこ
   とにより文字行を生成する行生成手段と、 この行生成手段により生成された各文字行に対し平均的
   な文字の大きさを推定する文字大きさ推定手段と、 この文字大きさ推定手段の推定結果に基づき、前記行生
   成手段により生成された各文字行の黒画素連結成分のう
   ち平均的な文字の大きさと比べて所定量よりも大きいも
   のを接触文字とみなして無効にする無効化手段と、 この無効化手段により無効とされた黒画素連結成分が存
   在する場合、前記行生成手段の文字行生成処理に戻り、
   順次、前記文字大きさ推定手段の処理および前記無効化
   手段の処理を再度行なわせる制御手段と、 前記行生成手段により生成された各文字行と前記無効化
   手段により無効とされた黒画素連結成分の位置関係に基
   づき、前記行生成手段により生成された各文字行の位置
   を補正する行補正手段と、 を具備したことを特徴とする文字認識装置。
2. 【請求項２】 前記行補正手段は、前記行生成手段によ
   り生成された各文字行に対して、当該文字行の端部近傍
   に無効と判定された黒画素連結成分が存在するか否かを
   確認し、あらかじめ定められた統合範囲内に無効な黒画
   素連結成分が存在すれば、その位置まで当該文字行の端
   部を延長することで各文字行を補正することを特徴とす
   る請求項１記載の文字認識装置。
3. 【請求項３】 複数の文字行が記載された被読取物の画
   像を入力する画像入力ステップと、 この画像入力ステップにより入力された画像から読取る
   領域を検出する領域検出ステップと、 この領域検出ステップにより検出された読取領域から前
   記文字行を検出する行検出ステップと、 この行検出ステップにより検出された文字行に対し１文
   字ごとに文字認識を行なう文字認識ステップとを有する
   文字認識方法であって、 前記行検出ステップは、 前記検出された読取領域内の画像を２値化する２値化ス
   テップと、 この２値化ステップにより２値化された画像から黒画素
   連結成分を抽出する黒画素連結成分抽出ステップと、 この黒画素連結成分抽出ステップにより抽出された黒画
   素連結成分のうち近接する黒画素連結成分同士を統合す
   ることにより文字行を生成する行生成ステップと、 この行生成ステップにより生成された各文字行に対し平
   均的な文字の大きさを推定する文字大きさ推定ステップ
   と、 この文字大きさ推定ステップの推定結果に基づき、前記
   行生成ステップにより生成された各文字行の黒画素連結
   成分のうち平均的な文字の大きさと比べて所定量よりも
   大きいものを接触文字とみなして無効にする無効化ステ
   ップと、 この無効化ステップにより無効とされた黒画素連結成分
   が存在する場合、前記行生成ステップの文字行生成処理
   に戻り、順次、前記文字大きさ推定ステップの処理およ
   び前記無効化ステップの処理を再度行なわせる制御ステ
   ップと、 前記行生成ステップにより生成された各文字行と前記無
   効化ステップにより無効とされた黒画素連結成分の位置
   関係に基づき、前記行生成ステップにより生成された各
   文字行の位置を補正する行補正ステップと、 を具備したことを特徴とする文字認識方法。
4. 【請求項４】 前記行補正ステップは、前記行生成ステ
   ップにより生成された各文字行に対して、当該文字行の
   端部近傍に無効と判定された黒画素連結成分が存在する
   か否かを確認し、あらかじめ定められた統合範囲内に無
   効な黒画素連結成分が存在すれば、その位置まで当該文
   字行の端部を延長することで各文字行を補正することを
   特徴とする請求項１記載の文字認識方法。