JP2008009531A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】輝度階層別に二値化を行って領域分割処理をする際に、レイアウト比較にも耐えうる領域分割処理が可能な画像処理装置を提供することを目的とする。
【解決手段】本画像処理装置は、第一入力多値画像を二値化する二値化手段１０８と、二値化された二値画像を領域分割する領域分割手段１０９と、前記第一入力多値画像から前記領域分割手段によって抽出された領域を削除した第二入力多値画像を生成する画像生成手段と、前記画像生成手段によって生成された前記第二入力多値画像を前記第一入力多値画像の代わりに用いて、前記二値化手段と前記領域分割手段とによる処理を繰り返すことによって、輝度階層別に分割された領域を取得する繰り返し手段と、前記輝度階層別に分割された領域間の結合性を求める手段１１０と、前記領域間結合性が高い場合に複数領域を単一領域に結合する手段１１１とを備える。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関し、例えば、文書画像から絵柄領域抽出やテキスト領域を抽出する領域分割処理に関する。

近年、デジタル化が進み、文書を電子ファイルとしてデータベースに格納されるようになっている。データベース上の電子ファイルを印刷された文書のスキャン画像から手軽に検索する要望が高まっている。これを実現する方法として、文書画像に含まれるテキスト領域や絵柄領域の位置関係を示すレイアウトを解析し、レイアウト同士を比較する方法が提案されている。

文書画像からテキスト領域や絵柄領域を抽出する領域分割処理においては、従来は、所定の固定値もしくは入力画像の濃度に応じた値を閾値として単純二値化を行い、該二値画像に対して領域分割処理を行っていた。

また、領域分割処理において抽出された領域を削除した画像に対し、該画像の濃度に応じた値を閾値として単純二値化を行い、該二値画像に対して再度領域分割を行うことを繰り返していた（例えば、特許文献１参照）。この手法により、３つ以上の輝度レベル対象が存在した画像の領域分割処理を行う場合においても、領域の抽出漏れをすることがなく、領域分割することが可能となった。

特許第３７３３１５５号公報

しかしながら、二値画像を1回作成して領域分割を行う方法では、以下に示す問題点があった。例えば、原稿画像の下地が白であって、領域が黒色、又は灰色によって描かれている場合について考える。この場合、原稿画像内に３つ以上の輝度レベル対象が混在しており、このような画像に対して固定閾値による単純二値化を施すと、灰色の領域については「白」として二値化される領域と、「黒」として二値化される領域とが発生する。これら２領域は不規則に発生するため、灰色領域のつぶれやかすれ等が発生し、高精度の二値化結果が得られなかった。従って正確な領域分割処理を行うことができなかった。

また、原稿画像の濃度に応じた単純二値化を行う場合においても、例えば下地も純粋に「白」ではないため、下地を「白」、黒色領域と灰色領域を「黒」として二値化したり、又は、下地と灰色領域を「白」、黒色領域を「黒」として二値化してしまっていた。従って、やはり灰色領域を精度良く二値化することができないため正確な領域分割処理を行うことができなかった。

また、特許文献１により領域分割を行う方法では、領域の抽出漏れは減少したが、1つの領域が複数の領域に分かれて抽出されることがあり、スキャン文書画像とオリジナル文書画像とのレイアウト比較を行っても、同一のレイアウトと判定することができなかった。

本発明は上記の課題に鑑みてなされたものであり、領域分割処理を行うことによって領域を抽出し、抽出された領域間の結合性が高い場合にそれらの複数領域を単一領域に結合する。この結合によりレイアウト比較にも耐えうる領域分割処理が可能な画像処理装置及びその制御方法、プログラムを提供することを目的とする。

上記の目的を達成するために本発明の画像処理装置は、第一入力多値画像を二値化する二値化手段と、前記二値化手段によって二値化された二値画像を領域分割する領域分割手段と、前記領域分割手段によって抽出された領域を削除して第二入力多値画像を生成する画像生成手段と、前記画像生成手段によって生成された前記第二入力多値画像を前記第一入力多値画像の代わりに用いて、前記二値化手段と前記領域分割手段とによる処理を繰り返すことによって、輝度階層別に分割された領域を取得する繰り返し手段と、前記輝度階層別に分割された領域間の結合性を求める手段と、前記領域間の結合性が高い場合に複数領域を単一領域に結合する手段と、を備えることを特徴とする。

本発明によれば、輝度階層別に二値化を行って領域分割処理を行うことによって領域を抽出し、抽出された領域間の結合性が高い場合にそれらの複数領域を単一領域に結合することにより、レイアウト比較にも耐えうる領域分割処理が可能となる。

以下、添付の図面を参照して本発明の好適な一実施形態を説明する。図１は、本実施形態における画像処理装置を含んだシステム構成を示すブロック図である。図１に示す各構成における動作の詳細については、後述する。図１において、１０１は本実施形態における文書管理を行う画像処理装置であり、１０２は画像を入力するスキャナ等の画像入力装置、１０３は処理後の画像を表示する画像表示装置である。

画像処理装置１０１において、１０４は画像入力装置１０２とのインターフェースとなる入力部、１０５は処理中のデータを記憶するメモリ等の記憶部、１０６は入力画像の輝度頻度（ヒストグラム）を累計する輝度頻度累計部である。１０７は入力画像の輝度階層別の二値化閾値を算出する二値化閾値算出部であり、１０８は二値化閾値算出部１０７において算出された閾値を用いて輝度階層別の二値画像を作成する二値化部である。１０９は画像を属性毎の領域に分割する領域分割部である。１１０は領域分割により抽出された領域間の結合性を求める領域間結合性判断部であり、１１１は領域間の結合性が高い領域同士を統合する領域統合部である。１１２は元の画像と領域情報を合成する画像合成部であり、１１３は画像表示装置１０３とのインターフェースとなる出力部である。これら各構成は、不図示のＣＰＵにより統括的に制御されている。

以下、画像処理装置１０１における画像処理を図２のフローチャートに示し、説明する。まずステップＳ２０１で、画像入力装置１０２により原稿となる画像を入力部１０４を介して画像処理装置１０１に入力する。尚、この入力は８ビットの多値画像データとして行い、入力画像は不図示の作業用メモリに記憶される。次にステップＳ２０２に進み、輝度頻度累計部１０６，二値化閾値算出部１０７，及び二値化部１０８による輝度階層別の二値化処理と、領域分割部１０９による領域分割処理を行なう。ステップＳ２０２における輝度階層別領域分割処理の詳細については、後述する。

次にステップＳ２０３に進み、ステップＳ２０２における輝度階層別の領域分割結果に対し、領域間の結合性を求める。領域間の結合性は、隣り合う領域が異なる輝度階層に属していて、隣り合う領域間の距離が一定量以下であれば、結合性が高いと判断する。そして、ステップＳ２０４で結合性が高い領域を単一領域に統合する。そして、ステップＳ２０５に進み、元の画像上に領域情報を合成し、合成された画像をステップＳ２０６で出力部１１３を介して画像表示装置１０３に表示する。

（輝度階層別領域分割処理）
次に、図２のステップＳ２０２に示す輝度階層別領域分割処理について、詳細に説明する。本実施形態においては、白地に黒色文字と、薄い灰色を背景として濃い色の物体が写っている自然画写真とが描かれている画像を処理する場合を例として、以下説明する。

図３に、本実施形態において処理される元の画像の輝度頻度（ヒストグラム）の例を示す。図３に示すヒストグラムにおいて、横軸は左端が「０」、右端が「２５５」を表す輝度値であり、この値はデジタル値である。即ち、横軸の左端が「黒」、右端が「白」に相当する。また、縦軸は、それぞれのデジタル値の頻度を表している。従って図３において、処理対象となる画像の白地部分は高輝度であるため右側に相当し、黒色部分は低輝度であるため左側に相当し、また、灰色部分は中輝度であるため、中央に相当する。

以下、本実施形態における輝度階層別領域分割処理を図４のフローチャートに示し、説明する。まず、ステップＳ４０１で、入力画像を対象画像に設定する。ステップＳ４０２で対象画像のヒストグラムを作成し、ステップＳ４０３でヒストグラムを参照して二値化閾値（図３中の３０１）を決定する。二値化閾値の決定にあたっては、極小点を求めて二値化閾値とする、従来の手法を用いることができる。次にステップＳ４０４において単純二値化し、ステップＳ４０５で領域分割処理を行う。ステップＳ４０５における領域分割処理の詳細については、後述する。

次に、ステップＳ４０６において、階層別処理終了条件を判断する。階層別処理終了条件としては、階層数を固定数に決める方法、ステップＳ４０２のヒストグラムを参照して更なる階層の領域分割を行うか決める方法がある。階層別処理終了条件を満たしていれば、輝度階層別領域分割処理を終了する。満たしていない場合は、ステップＳ４０７に進み、分割済み領域を削除した画像を生成し、その画像を次の対象画像に設定する。そして、ステップＳ４０２に戻る。ステップＳ４０７を通った後のステップＳ４０２においては、例えば図５に示すようなヒストグラムが作成され、ステップＳ４０３では、このヒストグラムを参照して、二値化閾値（図５中の５０１）を決定する。このような処理を、ステップＳ４０２からステップＳ４０６にかけて繰り返す。

（領域分割処理）
次に、上述した図４のステップＳ４０５で示した領域分割処理について、図６のフローチャートを参照して詳細に説明する。まず、ステップＳ６０１において、入力部１０４を介して入力した二値画像を作業用メモリに入力する。そして、ステップＳ６０２ではｍ×ｎ画素が１画素となるように入力画像を間引き、領域分割用の画像を生成する。この時、ｍ×ｎ画素中に１つでも黒色画素が存在していれば、該ｍ×ｎ画素を黒の１画素とする。そしてステップＳ６０３では、領域分割用画像の全画素について、黒画素が上下、左右、斜めの方向に所定数連続している領域を一つの領域として、領域分割を行なう。その際、領域の検出順に番号を付すことにより、各領域に対するラベル付けを行なう。次にステップＳ６０４において、各領域の幅、高さ、面積、領域内の黒画素密度により領域を分類し、属性のラベル付けを行う。領域の属性としては、詳細は後述するが、「テーブル」，「外枠領域」，「テキスト」等がある。

そして、ステップＳ６０５では、「テキスト」とラベル付けされた全ての領域の幅と高さの平均を算出し、得られた平均幅が平均高さより大きい場合には処理画像は横書きの文書であるとみなす。逆に得られた平均幅が平均高さより小さい場合には縦書きの文書であるとみなすことにより、文字組みを判断する。同時に、横書きならば平均高さを、縦書きならば平均幅をもって、一文字の文字サイズとする。また、領域分割用画像上の縦方向（横書き時）または横方向（縦書き時）の「テキスト」領域全てのヒストグラムから、文章の段組、行間隔、が検出される。ステップＳ６０６では、「テキスト」領域において文字サイズが大きい領域については、「タイトル」とする。

そしてステップＳ６０７では、何の関連もなくばらばらに存在したままの「タイトル」領域、「テキスト」領域を、周りの領域との間隔に応じて併合し、一つのまとまった領域とする。次にステップＳ６０８において、領域毎に属性、原画像における座標や大きさ等の領域データを記憶部１０５に出力し、記憶する。
以上の処理を行うことにより、本実施形態では二値画像の領域分割処理を行い、各領域データが得られる。

図７に、上述した領域データの例を示す。図７に示す各領域データ項目について、以下説明する。
・「番号」：領域の検出順序を示す。
・「属性」：領域の属性情報を示し、以下に示す８通りが用意されている。
「ルート」 入力画像そのものであることを示す。
「テキスト」 文字領域であることを示す。
「タイトル」 見出し領域であることを示す。
「テーブル」 表領域であることを示す。
「ノイズ」 文字領域とも画像領域とも判断できなかった領域であることを示す。
「外枠」 罫線等の領域であることを示す。
「写真画像」 写真領域であることを示す。
「線画像」 線画像領域であることを示す。
・「始点座標」：原画像における領域開始のＸ，Ｙ座標を示す。
・「終点座標」：原画像における領域終了のＸ，Ｙ座標を示す。
・「画素数」：領域内の全画素数を示す。
・「文字組情報」：縦書き，横書き，不明の３通りの文字組情報を示す。
図７に示す領域データについて、「属性」が「テキスト」で示される領域のみ、図６に示すステップＳ６０７における併合前の、行に関する領域データ（行領域データ）を階層的に保持している。

以上説明したように、本実施形態では領域分割処理が行われる。尚、図７に示した領域データは本実施形態を適用した一例にすぎず、画像処理装置に応じて例えば他の情報を適宜追加しても良いし、または減らしても良い。

（その他の実施の形態）
上述した実施形態においては、輝度階層を３つとして説明を行ったが、本発明はこの例に限定されるものではなく、実際の画像に応じて輝度階層数を決定すれば良い。また、実施形態において入力される画像は８ビットの多値画像データとしたが、これに限定する必要はなく、例えばカラー画像等、即ち、二値化するために画像情報として複数ビットの情報があれば良い。また、ヒストグラムを算出する際の画像におけるサンプリングについて、全画素でも、数画素おきでもあってもよい。

前述した本発明の実施形態における画像処理装置を構成する各手段、並びに画像処理装置の制御方法の各ステップは、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

また、本発明は、例えば、イメージスキャナ、プリンタコントローラ、プリンタ等の複数の機器から構成されるシステムに適用しても、カラー複写機のような１つの機器から成る装置に適用しても良い。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムまたは装置に直接、または遠隔から供給する。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記録媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、その他の方法として、まず記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

本発明の実施形態に係る画像処理装置のシステム構成を示すブロック図である。 本発明の実施形態に係る画像処理を示すフローチャートである。 本発明の実施形態に係る文書画像のヒストグラムの例を示す図である。 本発明の実施形態に係る輝度階層別領域分割処理を示すフローチャートである。 本発明の実施形態に係る文書画像のヒストグラムの例を示す図である。 本発明の実施形態に係る領域分割処理を示すフローチャートである。 本発明の実施形態における領域分割処理により得られる領域データ例を示す図である。

符号の説明

１０１ 画像処理装置
１０２ 画像入力装置
１０３ 画像表示装置
１０４ 入力部
１０５ 記憶部
１０６ 輝度頻度累計部
１０７ 二値化閾値算出部
１０８ 二値化部
１０９ 領域分割部
１１０ 領域間結合性判断部
１１１ 領域統合部
１１２ 画像合成部
１１３ 出力部

Claims (3)

1. 第一入力多値画像を二値化する二値化手段と、
   前記二値化手段によって二値化された二値画像を領域分割する領域分割手段と、
   前記領域分割手段によって抽出された領域を削除して第二入力多値画像を生成する画像生成手段と、
   前記画像生成手段によって生成された前記第二入力多値画像を前記第一入力多値画像の代わりに用いて、前記二値化手段と前記領域分割手段とによる処理を繰り返すことによって、輝度階層別に分割された領域を取得する繰り返し手段と、
   前記輝度階層別に分割された領域間の結合性を求める手段と、
   前記領域間の結合性が高い場合に複数領域を単一領域に結合する手段と、
   を備えることを特徴とする画像処理装置。
2. 第一入力多値画像を二値化する二値化ステップと、
   前記二値化ステップによって二値化された二値画像を領域分割する領域分割ステップと、
   前記領域分割ステップによって抽出された領域を削除して第二入力多値画像を生成する画像生成ステップと、
   前記画像生成ステップによって生成された前記第二入力多値画像を前記第一入力多値画像の代わりに用いて、前記二値化ステップと前記領域分割ステップとによる処理を繰り返すことによって、輝度階層別に分割された領域を取得する繰り返しステップと、
   前記輝度階層別に分割された領域間の結合性を求めるステップと、
   前記領域間の結合性が高い場合に複数領域を単一領域に結合するステップと、
   を備えることを特徴とする画像処理方法。
3. 第一入力多値画像を二値化する二値化ステップと、
   前記二値化ステップによって二値化された二値画像を領域分割する領域分割ステップと、
   前記領域分割ステップによって抽出された領域を削除して第二入力多値画像を生成する画像生成ステップと、
   前記画像生成ステップによって生成された前記第二入力多値画像を前記第一入力多値画像の代わりに用いて、前記二値化ステップと前記領域分割ステップとによる処理を繰り返すことによって、輝度階層別に分割された領域を取得する繰り返しステップと、
   前記輝度階層別に分割された領域間の結合性を求めるステップと、
   前記領域間の結合性が高い場合に複数領域を単一領域に結合するステップと、
   をコンピュータに実行させるためのプログラム。

Images