JP2010002991A - 画像処理装置、画像処理方法、コンピュータプログラム - Google Patents

Abstract

【課題】 表領域を正確に抽出することが可能な画像処理装置を提供する。
【解決手段】 本発明によれば、まず、文書画像内の黒画素連結領域に基づいて領域分割を行い、分割された領域から、処理対象の領域を選択する。そして、選択された領域内にある内部領域のうち、所定の条件を満たす内部領域を結合して結合内部領域を生成する。その結合された結合内部領域に基づいて決定される領域が、表領域であるか判定し、表領域と判定された場合は、当該領域を表領域として抽出する。
【選択図】 図１１

Description

本発明は、文書画像から表領域を抽出する画像処理方法及び装置に関する。

従来、文書画像を解析して、文字、グラフィックス、線画、表などの属性別の領域に分割する領域分割技術がある（特許文献１）。特許文献１では、２値化された文書画像から黒画素の８方向輪郭追跡により黒画素連結要素を抽出し、更に、その黒画素連結要素の内部で白画素の４方向輪郭追跡により白画素連結要素（以下、内部領域と呼ぶ）を抽出する。そして、これらの抽出した結果に基づいて、文字、グラフィックス、表といった属性毎の領域に分割する。このような分割された領域の各属性は、光学式文字認識（ＯＣＲ）、データ圧縮、データルーチング、データ抽出など、各領域内の画像に対して行うその後の処理の種類を決定する際に使用することができる。たとえば、文字領域内の画像に対してはＯＣＲ処理を行うが、絵や図領域内の画像に対してはＯＣＲ処理を行わないようにする。このような仕組みを利用して複数の異なるタイプの文書画像を入力しても、オペレータの介入なしに自動処理するように構成することもができる。
特開平０６−０６８３０１号公報

特許文献１に記載した領域分割技術を、図３のような文書画像に対して適用した場合、図４のような領域分割結果が得られる。図３の文書画像内に含まれる、題名、水平線、文字、絵及び図、枠、及び表等の領域が、領域のタイプ（属性）に応じて分離およびグループ化されることで、図４のように各領域が抽出される。

一方、領域分割処理を行う場合、正確に領域が抽出できない場合がある。例えば、図５のように表と題名が近くにあるとき、スキャン時の状態や印刷の状態によっては、スキャン画像上で表の黒画素と題名の黒画素とが繋がってしまう場合がある。このような場合、点線５０１で描いた領域を１つの黒画素連結領域と見なしてしまい、題名部分については文字領域として識別されずに、表領域の罫線部分として識別してしまうおそれがある。

また、図８のように、表が他の要素（矢印の図形など）と連結している文書画像の場合、黒画素連結要素は、表部分と図形部分とが結合した領域８０１になってしまう。また、領域８０１の内部の白画素連結要素は、不規則に並ぶことになるので、領域８０１は表として識別されないことになる。すなわち、図５や図８のように表以外の黒画素が連結している場合、表領域の抽出に誤りが生じたり、領域を表として識別することに失敗したりする場合がある。

本発明では、表領域を適切に抽出することが可能な画像処理装置及び方法を提供する。

上述した課題を解決する為に、本発明の画像処理装置は、文書画像内の黒画素連結領域に基づいて領域分割を行う領域分割手段と、前記領域分割手段で分割された領域から、処理対象の領域を選択する選択手段と、前記選択手段で選択された領域内にある内部領域のうち、所定の条件を満たす内部領域を結合して結合内部領域を生成する内部領域結合手段と、前記内部領域結合手段で結合された結合内部領域に基づく領域が、表領域であるか判定する表領域判定手段と、前記表領域判定手段で表領域と判定された場合、当該領域を表領域として抽出する抽出手段と、を備えることを特徴とする。

本発明によれば、文書画像から、表領域をより正確に抽出することができるようになる。

以下、本発明を、図面を参照して詳細に説明する。

図１は、本発明の一実施形態を実現する画像処理装置の概略構成を示すブロック図である。ＣＰＵ１０１は、ＲＯＭ１０２に格納されているコンピュータプログラムを実行することにより、本装置全体の制御を行い、後述するフローチャートの各処理を実行することになる。すなわち、コンピュータ（ＣＰＵ）は、コンピュータプログラムを実行することにより、後述する処理の処理部（処理手段）として機能することになる。ＲＯＭ１０２は、後述するフローチャートに示す各処理等をコンピュータに実行させるための制御プログラムや各種パラメータデータなどを格納する。

ＲＡＭ１０３は、画像や各種データを記憶する。また、ＲＡＭ１０３は、データの作業領域や一時待避領域として機能する。外部記憶装置１０４は、画像を管理するデータベースなどの各種データを記憶する。外部記憶装置１０４は、例えば、ハードディスクやＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記憶媒体で構成され、上述したコンピュータプログラムを格納するようにしてもよい。ディスプレイ１０５は、ＬＣＤやＣＲＴなどの表示装置である。

入力装置１０６は、例えば、マウスやペンタブレット等で構成され、ユーザからの指示を入力することができる。スキャナ１０７は、カラー画像の入力が可能なスキャナであり、画像（例えば、文書）を光学的に読み取り、その画像データを取得する画像入力装置である。プリンタ１０８は、所定の画像処理を行った画像データ等の印刷を行う。

尚、本発明は汎用的なコンピュータでも実施可能であり、その場合、記憶媒体に記憶される制御プログラムを外部記憶装置１０４に記憶しておき、ＣＰＵ１０１で該プログラムを読み込んで実行するように構成されてもよい。

ネットワークインターフェース（Ｉ／Ｆ）１０９は、ネットワーク上に接続されている外部装置（例えば、サーバ、外部記憶装置等）と通信し、プログラムやデータを読み込んだり、書き込んだりする際に利用される。尚、ネットワークは、インターネットやＬＡＮやＷＡＮや電話回線、無線回線、ＡＴＭやフレームリレー回線、ケーブルテレビ回線などの通信ネットワークである。

また、スキャナ１０７やプリンタ１０８は、ネットワークインターフェース１０９を介して接続されて構成されていても良い。

このような画像処理装置は、例えば図２に示すシステムにおいて実現される。図２は、本実施形態において採用可能なコンピュータシステムの構成例を示す図であり、コンピュータ装置２０１、スキャナ２０２、プリンタ２０３で構成されている。同図において、コンピュータ装置２０１は所定の画像処理を実行する。スキャナ装置２０２は原稿を光学的に読み取り電子化し、画像データをコンピュータ装置２０１に送る。プリンタ装置２０３は所定の画像処理を施した画像データ等を印刷する。なお、本実施形態では、スキャナ装置２０２を用いて帳票を読み込んでいるが、デジタルカメラ等を用いて帳票を電子化して画像データを得てもよい。

以上の構成を備えた本実施形態の画像処理装置の動作について、以下、説明する。図１１は本実施形態における画像処理の概要手順を説明するフローチャートである。

ステップＳ１１０１にて、紙文書をスキャナで読み取ることによって得た文書画像を２値画像に変換する。ステップＳ１１０２にて、二値画像に対して領域分割処理を行う。領域分割により、文書画像上の各要素が領域として抽出される。ここで行われる領域分割処理には、例えば、特許文献１に記載の領域分割技術を利用する。詳細は後述する。

ステップＳ１１０３にて、処理対象の領域を選択する。本実施例ではステップＳ１１０２にて抽出された領域のうち、表領域、枠領域、及び、内部領域（白画素連結領域）を複数個持つ非文字領域を、処理対象の領域として選択する。

ステップＳ１１０４にて、ステップＳ１１０３にて選択された領域内の内部領域を抽出し、各内部領域同士について、内部領域の位置が所定の条件を満たす場合、内部領域同士を結合する。以降、再帰的に上記結合処理を繰り返し、結合が行われなくなった時点で本処理を終了する。例えば、図５の点線５０１の領域内の内部領域は、図６の６０１〜６０９である。これに対して、Ｓ１１０４の処理を実施すると、図５の点線５０１の領域内にある内部領域（図６の６０１〜６０９）は結合されて、図７の７０１〜７０３のような結合内部領域が生成される。また、図８の点線８０１が１つの非文字領域として判別された場合、その領域８０１内にある内部領域は図９の９０１〜９１６のように複数存在する。ここで、Ｓ１１０４の処理を行うことにより、近くにある内部領域同士が結合されて図１０の１００１〜１００２のような結合内部領域が生成される。詳細な説明は後述する。

結合が実施された後の各結合内部領域に基づいてＳ１１０５の判定処理の処理対象にする領域を決定する。例えば、結合内部領域の上下左右に数画素分（例えば１画素分）大きい領域（もしくは、結合内部領域の上下左右に罫線の線幅分大きい領域）を処理対象領域とする。この処理対象領域内の部分画像を処理対象として、ステップＳ１１０５において、Ｓ１１０２での表判定基準と同等の基準で表の判定を行う。すなわち、結合内部領域に基づいて決定した領域内の部分画像を対象として、黒画素連結領域の抽出と白画素連結領域の抽出とを行い、表の構造になっているか判定する。ステップＳ１１０６では、ステップＳ１１０５で表と判定された各領域内の部分画像を新たに表領域画像として抽出し、抽出前の領域情報は破棄する。

例えば、図５の画像に対して、ステップＳ１１０２〜ステップＳ１１０４を行うと、図７のような結合内部領域７０３が得られる。ステップＳ１１０５では、この結合内部領域７０３に基づいて表領域候補が図５の点線５０２の位置に決定され、当該領域５０２内の部分画像が表と判断される条件を満たすか判断され、表領域の画像として抽出されることになる。また、図８の画像の例では、結合内部領域１００１と１００２に対応する部分の画像（すなわち、図８の点線８０２と点線８０３で示される領域内の画像）が表領域画像として抽出される。

次に、上述したステップＳ１１０２において実行される領域分割処理について詳細に説明する。図１２は本実施形態による領域分割処理を説明するフローチャートである。

ステップＳ１２０１において、画像からすべての黒画素の８連結領域を抽出する。黒画素の８連結領域とは、図１３（ａ）に示されるように、縦横斜めの８方向のいずれかで接触した黒画素の集合であり、黒画素の輪郭追跡を行うことにより抽出できる。以降この領域を単に黒領域と呼び、画像内の文字や表などのオブジェクトを構成する最小要素とし、この黒領域を含む最小の矩形を黒領域矩形（図１３（ａ）では点線矩形で表している）と呼ぶことにする。

ステップＳ１２０２では、黒領域矩形の高さと幅を、想定される文字高さと文字幅に基づいて予め決めておいた閾値と比較し、その閾値内に収まる黒領域矩形を「文字」と判定する。ステップＳ１２０３では、黒領域矩形の高さと幅の比率が一定比率以上で縦長または横長のもの、あるいは一定太さの斜め線状をなす黒領域を「線」と判定する。ステップＳ１２０４では、黒領域矩形の形状が一定大きさ以上かどうかを調べる。条件を満たすならばステップＳ１２０５へ進む。満たさないときは、その黒領域を「非文字」と判定する。なお、「非文字」は、図、写真またはその一部などを含む集合と考えられる。

ステップＳ１２０５では、矩形をなす黒領域の内部に存在する白画素の４連結領域の集合を抽出する。白画素の４連結領域とは、図１３（ｂ）に示されるように、縦横の４方向のいずれかで接触した黒画素領域の集合である。なお、内部領域に４連結領域を適用するのは、黒画素と同様の８連結領域を白画素に適用すると、輪郭追跡したときに斜め線のところで黒画素の塊の中から外の白画素に飛び出してしまうからである。白画素の４連結領域とは、図１３（ｂ）に示されるように、縦横のいずれかで接触した白画素の集合のことである。図１３（ａ）の画像に対して、黒画素８連結領域を抽出した場合、黒画素部分は１つの領域として切り出される。一方、図１３（ｂ）の画像に対して、白画素４連結領域を抽出した場合、白画素部分は２つの領域として切り出される。この白画素領域を囲む最小の矩形を、内部領域矩形（図１３（ｂ）では点線矩形で表している）と呼ぶことにする。

ステップＳ１２０５の処理により黒領域矩形内から１つまたは複数の内部領域矩形が抽出されるが、ステップＳ１２０６では、当該抽出された内部領域矩形同士が互いに重なることなく当該黒領域内をほぼ埋めているかを判定する。この条件を満たすと判断した場合は、ステップＳ１２０７に進む。満たさないときは、その黒領域を「非文字」と判定する。例えば、図１４（ａ）及び図１４（ｂ）では内部領域矩形が重なることなく抽出されているが、図１４（ｃ）では内部領域矩形が重なって抽出されているので「非文字（図）」と判定される。

ステップＳ１２０７では、内部領域矩形の数が一定閾値以上あるか、ならびに、内部領域が水平方向と垂直方向の双方に延びる格子状構造を形成しているかを判定する。黒領域の内部領域が当該条件を満たす場合は、当該黒領域を「表」と判断し、一方、満たさないときは、「枠」と判定する。内部領域が格子状構造をしていれば、上下方向に並んだ内部領域は左端の座標位置と右の座標位置とがほぼ同じ位置になり、かつ、左右方向に並んだ内部領域は上端の座標位置と下端の座標位置とがほぼ同じ位置になることが多い。したがって、内部領域の座標位置に基づいて、格子状構造をしているかどうか判断できる。例えば、特許文献１のように、内部領域（白輪郭）同士の座標位置（境界線）が一致しなければ接続する場合、表をなす内部領域は接続されにくいので、当該黒領域内の内部領域の接続率が低く且つ接続処理後の内部領域の数が多ければ、表と判断できる。

ステップＳ１２０８では、枠及び表領域の内部領域矩形各々に対し、その矩形の範囲内の画像に対して再度、黒画素の８連結領域を抽出する。以降、抽出された黒領域の集合に対し、ステップＳ１２０２以降の処理を繰り返す。そして、この再帰的な探索が行われなくなった時点で本処理を終了する。

次に、上記ステップＳ１１０４において実行される内部領域結合処理について詳細に説明する。図１５は本実施形態による内部領域結合処理を説明するフローチャートである。

ステップＳ１５０１では、後述するステップＳ１５０４の距離判定で使用する閾値を算出する。図１６の点線矢印のように、ステップＳ１１０３で選択した領域の左端から右端に向かって水平方向に黒画素を探索していき、最初に検知した黒画素から連続する黒画素数（連結黒画素）を係数する。上記処理を全てのラインに対して行う。図１６の場合、例えば、２ライン目の最初に検知した黒画素からの黒連結画素数は８画素である。左端からの処理が終了すると、右端から左端に向かっても同様に算出する。また、上端から下端、下端から上端に向かう垂直方向にも、それぞれ同様に黒連結画素数を計数する。そして、計数した黒画素数の平均値を閾値とする。この閾値は、表罫線の線幅に近い値（罫線の平均的な線幅より数画素大きい値）になる。なお、本実施例では上述のように閾値を画像に応じて動的に算出するものとしたが、予め罫線の線幅が分かっているのであれば、線幅に基づいて予め決めておいた値を用いるようにしてもよい。

ステップＳ１５０２にて、内部領域のうちの２つを処理対象として選択する。例えば、左上にある内部領域から順に処理対象にしていく。好適には、まず内部領域の１つを選択し、更にその近傍にある他の内部領域の１つを選択する。

ステップＳ１５０３にて、内部領域の垂直方向の座標位置と水平方向の座標位置とを比較して、垂直方向および水平方向に重複しているかを判定する。本実施形態では、「垂直方向に重複」とは、図１７（ａ）のように、内部領域１の垂直方向の始点と終点の座標位置と、内部領域２の垂直方向の始点と終点の座標位置とを比較した結果、重複部分があることを示している。また、「水平方向に重複」とは、図１７（ｂ）のように、内部領域１の水平方向の始点と終点の座標位置と、内部領域２の水平方向の始点と終点の座標位置とを比較した結果、重複部分があることを示している。水平方向もしくは垂直方向のいずれかで重複していると判定されるとステップＳ１５０４へ進み、水平方向と垂直方向の両方で重複していると判定されるとステップＳ１５０６へ進み、非重複である（両方とも重複していない）と判定されるとＳ１５０７に進む。図１７（ｃ）は内部領域が水平方向と垂直方向の両方向で重複している例であり、図１７（ｄ）は非重複の例である。

ステップＳ１５０４において、処理対象の内部領域同士が隣接しているかを判定する。まず、内部領域の相対する辺と辺の間の距離（図１７（ａ）のように垂直方向に重複している場合は水平の距離Ｋ、図１７（ｂ）のように水平方向に重複している場合は垂直の距離Ｋ）を求める。そして、距離ＫがステップＳ１５０１で算出した閾値以下の場合、当該処理対象の内部領域同士は隣接していると判定する。隣接していると判定された場合は、ステップＳ１５０６へ進み、隣接していないと判定された場合はステップＳ１５０５へ進む。すなわち、罫線の線幅程度の距離しか離れていないと判断される場合は、隣接していると判定して結合対象にする。

ステップＳ１５０５において、内部領域間の重複領域内の画像の濃度判定を行う。まず、内部領域間の重複領域（図１７（ａ）のように垂直方向に重複している場合は重複領域ａ、図１７（ｂ）のように水平方向に重複している場合は重複領域ｂ）内の黒画素濃度を求める。そして、黒画素濃度が一定閾値以上の場合は、結合対象としてステップＳ１５０６へ進み、一方、閾値未満の場合は結合対象にせずにステップＳ１５０７へ進む。すなわち、平均的な罫線の線幅以上離れているが、その間に存在するのが太い罫線であると判定できる場合は結合対象とする。例えば、図９の９１４と９１５の間は、図８を参照すれば分かるように黒画素で埋められているので、結合対象となる。なお、ステップＳ１５０５において、黒画素濃度が高い場合であっても、内部領域間が離れすぎているような場合（太い罫線と見なせないぐらい離れている場合）は、結合対象にせずにステップＳ１５０７に進むようにするのがよい。

ステップＳ１５０６では、処理対象の内部領域同士を結合して結合内部領域を生成する。ステップＳ１５０７では、全ての内部領域を処理対象として判定し終わったか判定する。未判定の内部領域あると判断した場合は、ステップＳ１５０１に戻って、未処理の内部領域を対象として、上述した処理を再帰的に繰り返す。ステップＳ１５０１〜Ｓ１５０７の処理が終了すると、最終的な結合内部領域が生成されることになる。

例えば、図８のような画像から抽出される内部領域は図９のようになり、これに対して結合処理を行うと、図１０のような結合内部領域１００１，１００２が得られることになる。そして、この結合内部領域に基づいて決定される領域８０２、８０３内の部分画像は、表領域判定を行うと、表として判定されて表領域が抽出されることになる。すなわち、図８の場合、Ｓ１１０２の処理で抽出された領域８０１は表領域として判定されないが、Ｓ１１０４の処理で抽出された領域８０２，８０３はそれぞれ表領域として抽出されるようになる。

また、図５のような画像の場合、Ｓ１１０２の処理で抽出された領域５０１は、表題などの余分な文字列が付加された状態で抽出される場合があるが、Ｓ１１０４の処理で抽出される領域５０２により、表の部分をより正確に抽出できるようになる。

このようにして抽出された表領域は、帳票種別を決定するための帳票認識処理や、文字認識処理の対象領域を決定するためなど、様々な画像処理に利用することができる。

本実施例においては、上述したフローチャートの各ステップにおける処理は、コンピュータがプログラムを実行することにより実現するものとしたがこれに限るものではない。例えば、その一部または全部の処理を、電子回路等のハードウェアで構成するようにしてもよい。

本実施形態における画像処理装置の構成図 本実施形態における画像処理装置のシステム例 文書画像の例 図３の文書画像の領域分割結果を示した図 文字画像が連結した表画像の例 図５の表画像内にある内部領域を示した図 図６の内部領域を結合した結果を示した図 表画像と他のオブジェクトが連結している場合の例 図８の画像内にある内部領域を示した図 図９の内部領域を結合した結果を示した図 本実施形態の画像処理手順を示したフローチャート 本実施形態における領域分割処理（表判定処理）を示したフローチャート （ａ）は黒画素の８連結領域の例を示す図であり、（ｂ）は白画素の４連結領域の例を示す図 （ａ）、（ｂ）、（ｃ）は、内部白画素の４連結領域の集合の例を示す図 内部領域結合処理のフローチャート 枠線の太さ（罫線の線幅）を算出する様子を示す図 内部領域の重複例を示す図

Claims (8)

1. 文書画像内の黒画素連結領域に基づいて領域分割を行う領域分割手段と、
   前記領域分割手段で分割された領域から、処理対象の領域を選択する選択手段と、
   前記選択手段で選択された領域内にある内部領域のうち、所定の条件を満たす内部領域を結合して結合内部領域を生成する内部領域結合手段と、
   前記内部領域結合手段で結合された結合内部領域に基づく領域が、表領域であるか判定する表領域判定手段と、
   前記表領域判定手段で表領域と判定された場合、当該領域を表領域として抽出する抽出手段と、
   を備えることを特徴とする画像処理装置。
2. 前記内部領域結合手段は、内部領域同士が水平方向及び垂直方向のどちらかで重複しており、かつ内部領域間の距離が閾値以下の場合、当該内部領域同士を結合することを特徴とする請求項１に記載の画像処理装置。
3. 前記閾値は、前記選択手段で選択された領域内の黒連結画素数に基づいて算出することを特徴とする請求項２に記載の画像処理装置。
4. 前記内部領域結合手段は、内部領域同士が水平方向及び垂直方向の両方で重複している場合、当該内部領域同士を結合することを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
5. 前記内部領域結合手段は、前記内部領域が水平方向及び垂直方向のどちらかで重複しており、かつ内部領域間の濃度が一定閾値以上の場合、当該内部領域同士を結合することを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。
6. 領域分割手段が、文書画像内の黒画素連結領域に基づいて領域分割を行う領域分割ステップと、
   選択手段が、前記領域分割ステップで分割された領域から、処理対象の領域を選択する選択ステップと、
   内部領域結合手段が、前記選択ステップで選択された領域内にある内部領域のうち、所定の条件を満たす内部領域を結合して結合内部領域を生成する内部領域結合ステップと、
   表領域判定手段が、前記内部領域結合ステップで結合された結合内部領域に基づく領域が、表領域であるか判定する表領域判定ステップと、
   抽出手段が、前記表領域判定ステップで表領域と判定された場合、当該領域を表領域として抽出する抽出ステップと、
   を備えることを特徴とする画像処理方法。
7. コンピュータを、
   文書画像内の黒画素連結領域に基づいて領域分割を行う領域分割手段、
   前記領域分割手段で分割された領域から、処理対象の領域を選択する選択手段、
   前記選択手段で選択された領域内にある内部領域のうち、所定の条件を満たす内部領域を結合して結合内部領域を生成する内部領域結合手段、
   前記内部領域結合手段で結合された結合内部領域に基づく領域が、表領域であるか判定する表領域判定手段、
   前記表領域判定手段で表領域と判定された場合、当該領域を表領域として抽出する抽出手段、
   として機能させるための、コンピュータプログラム。
8. 請求項７に記載のコンピュータプログラムを格納した、コンピュータ読み取り可能な記憶媒体。

Images