JP2011139366A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】反転文字領域や、反転文字と非反転文字が混在する文字領域や、背景色或いは文字色が一様でない文字領域等を含む文書画像データを精度良く、処理効率よく識別を行う。
【解決手段】所定数の画素よりなるブロックを処理単位とし、該ブロックの属性として文字が含まれるか否かを判定する属性判定手段と、該ブロックにある画素のうち、同一の画素特性を有して連続して繋がる連結領域を抽出する連結領域抽出手段と、前景背景の判定方法を判定する前景背景判定手段とを有する。
【選択図】図８

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。より詳細には、反転文字と非反転文字が混在する文字領域、また、背景部分が一様ではない文字領域が含まれる文書の文字部分を識別する画像処理装置に関する。

近年、文書画像をスキャナ等により光学的に読み取って電子文書データに変換し、保存したり、印刷したり、文字認識をしたりする機会が増えている。このとき、印刷画質を向上するために、画像処理を切り替える、もしくは、文字認識率を向上するために、読み取った画像データから画素の属性情報及び文字部分の識別情報を生成する、といった処理を行う必要がある。

具体的には、文書画像に含まれる画素が背景画素か文字画素かを判定する。背景画素は更に網点画素か下地画素かを判定する。また、文字画素は更に周囲に網点画素に囲まれる文字画素か下地画素に囲まれる文字画素か等の属性情報を生成する。この画素の属性に応じて適応的に画像処理を切り替えることが画質改善に重要である。一方、文字を可能なかぎり認識して再利用するために、反転文字（いわゆる白抜き文字）も、背景或いは文字が一様ではない文字も、正確に文字部分として識別することが重要である。

また、反転文字は文書画像を描画する場合、特に強調したい部分を目立たせるための方法として使用されている。図１（ａ）はその一例である。この例では、領域１−１は反転文字見出し領域１で、領域１−２は反転文字と非反転文字が混在する見出し領域で、領域１−３は本文中に強調文字領域を示す。また、文字領域の背景部分、或いは、文字領域の文字部分は、同色の代わりに一様ではない色を使用することで文書画像の中身を強調する方法として用いられている。例えば、領域１−４は背景部分が一様ではない文字領域の例である（領域１−４の左側の背景色は白で、右側の背景色はグレーで、且つ、同じ色の文字が各背景色の中に記述されている）。

従来、反転文字を含めた文字領域を検出する方法がいくつか提案されている。その一つとして、文書画像を文字、写真、図形、表等の領域に分離し、文字と判定された領域に関して、文字毎に切り出して、２値化し、文字の外接矩形にある白画素数と黒画素数の分布により反転文字であるかを判定する方法がある（特許文献１を参照）。また、文書画像を２値化し、白の背景画素と黒の前景画素を分離し、前景画素の連結成分を抽出し、その連結領域の外接矩形を求める。そして、外接矩形の縦横比が大きい領域を反転文字領域の候補とし、その領域にある白の背景画素数と黒の前景画素数の割合により反転文字領域を判定する方法もあった（特許文献２を参照）。一方、画像をブロック単位に分け、ブロック毎に文字部分を判定する方法もあった。より詳細に、ブロック毎に２値化し、白画素の代表値と黒画素の代表値を求め、ブロック間の白画素と黒画素の代表値の差よりブロックの文字部分と背景を判定する（特許文献３を参照）。

特開平０９−２６９９７０号公報 特開２００２−２７９３４５号公報 特開平０７−２６４３９７号公報

しかし、上記従来技術は次のような課題がある。特許文献１では文書画像の領域分離後に、文字領域にある文字毎に切り出し、外接矩形を取り、普通の文字は文字部分の黒画素数が周囲背景の白画素数より少ないことを想定し、黒画素数が白画素数より多いものを反転文字と判定している。しかし、図１（ｂ）の左図に示された複雑な反転文字の切り出し例では、背景の黒画素数が文字の白画素数より少ないので、反転文字と判定されず文字部分の誤判定が生じる。

特許文献２では文書画像にある縦横比が大きい見出し、即ち、長方形の見出しを反転文字の候補とし、更に反転文字であるかを判定している。しかし、見出し領域は長方形のものに限らないので、図１（ａ）における領域１−１に示された正方形に近いものは、特許文献２の手法では反転文字と判定されない。また、反転文字領域の判定は特許文献１と同じように白黒の画素数に基づくものなので、複雑な反転文字領域も文字部分の誤判定が生じる。また、特許文献１及び特許文献２のように、文書画像を領域分離して、更に領域毎に反転文字であるかを判定するので、処理時間もかかるし、ワークメモリも多く必要となる。

特許文献３では文書画像をブロックに分けて、ブロック単位で文字識別処理を行っているので、処理コストの削減ができる。しかし、文字識別処理では、ブロック間における白黒画素の代表値の差を求め、差が小さい代表値の画素群を背景部分、差が大きい代表値の画素群を文字部分と判定している。そのため、図１（ａ）における領域１−４のような背景色の変化が激しいが文字部分の変化が少ない文字領域に関して、文字部分の誤判定が生じる。また、図１（ｂ）の右図のような非反転文字ブロックと反転文字ブロックが隣接する場合は、非反転文字ブロックの黒の文字部分が文字と判定されれば、右隣反転文字ブロックの黒の背景部分も文字と判定されてしまう。逆に文字ブロックの白の文字部分が文字と判定されれば、非反転文字ブロックの白の背景部分も文字と判定されてしまう。

文字部分と背景部分では、画像処理が大きく異なる。例えば、下地背景にある文字は、エッジ強調処理、黒文字部分は下地除去処理で黒単色になるような色処理をするが、網点背景は、平滑化処理をする。そのため、文字部分を背景と誤判定されたり、背景部分を文字と誤判定されたりすると、適切な画像処理ができなく、画質が低下してしまう。一方、一般にＯＣＲは２値画像の黒画素或いは白画素のどちらか一方を、文字を構成する要素と見なして認識するように作られているので、文字部分の判定が出来ないと文字認識の範囲が限られてしまう。

本発明は、高画質な画像処理の実現、また、可能な限りすべての文字に対して認識の実現のため、文書画像をブロックに分け、ブロックの属性を判定する。すなわち、ブロックの連結領域を取り、隣接ブロック間の属性変化によりブロックにある各連結領域が文字部分か背景か判定するための判定方法を選択し、選択した方法にて判定する画像処理方法及び画像処理装置を提供することを目的とする。

上記課題を解決するために本発明は以下の構成を有する。画像データにおいて所定数の画素よりなるブロックを処理単位とし、該ブロックの属性として文字が含まれるか否かを判定する属性判定手段と、該ブロックにある画素のうち、同一の画素特性を有し連続して繋がる連結領域を抽出する連結領域抽出手段と、該ブロックと第一の隣接ブロックの属性、及び前記連結領域間の関係に応じた前景背景の判定方法を選択し、選択した当該方法により該ブロックにおいて抽出された前記連結領域が前景か背景かを判定する前景背景判定手段とを有する。

本発明によれば、所定数の画素からなるブロックの属性を判定し、ブロックにある連結領域を抽出し、隣接ブロックの属性判定に応じて前景いわゆる文字と背景の判定方法を切り替えてブロックの連結領域は前景か背景を判定する。これにより、反転文字領域も、反転文字と非反転文字が混在する文字領域も、背景色或いは文字色が一様でない文字領域も、文字部分の識別が出来るようになる。また、前景背景の判定結果を元に、識別された文字部分と背景部分の属性を同定することにより画像処理は高精度に行える。また、周囲ブロックを参照して識別された文字部分を繋げて文字認識を行うことにより文字認識の処理対象を広げることも可能になる。さらには、ブロック単位で文字部分の判定をするので、処理効率の向上も可能になる。

本発明に係る課題を説明するため図。 第１実施形態に係る画像処理装置の機能構成を示すブロック図。 第１実施形態に係る前景背景判定処理のフローチャートの図。 第１実施形態に係るブロックの属性判定処理のフローチャートの図。 第１実施形態に係るブロックにある連結領域抽出の一例を示す図。 第１実施形態に係る前景背景判定方法を説明する図。 第１実施形態に係る前景背景判定方法の切り替えを説明する図。 第１実施形態に係る前景背景判定処理のフローチャートの図。 第２及び第４実施形態に係る背景２色領域を含む文字領域の一例を示す図。 第２実施形態に係る前景背景判定処理のフローチャートの図。 第３実施形態に係る画像処理装置の機能構成を示すブロック図。 第３実施形態に係る前景背景判定、前景背景属性同定、画像処理の切り替えの概略を説明するためのフローチャートの図。 第３実施形態に係るブロックの属性判定処理のフローチャートの図。 第４実施形態に係る画像処理装置の機能構成を示すブロック図。 第４実施形態に係る前景背景判定、前景統合、文字認識のフローチャートの図。

以下、図面を参照して、本発明に係る画像処理装置を用いた文字部分の判定処理について詳細に説明する。ただし、この実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。

＜第１実施形態＞
［装置構成］
図２は、本発明の実施形態に係る画像処理装置の構成を示すブロック図である。図２において、ブロック画像入力部１１は、例えば、スキャナ等の画像読み取り手段を介して紙情報から入力されたモノクロまたはカラー画像を、所定数の画素からなるブロックを処理単位とした画像データとして入力する。ブロック属性判定部１２は、当該ブロックが文字を含む文字領域か否かを判定し属性情報を付与する。属性情報保持部１３では、当該ブロックの属性及び隣接ブロックの属性を保持する。連結領域抽出部１４は、当該ブロックに含まれる画素の連結領域を抽出する。前景背景判定部１５は、当該ブロックの前景（いわゆる文字部分）と背景部分とを判定する。前景背景情報保持部１６は当該ブロックの前景と判定された連結領域、前景色、背景と判定された連結領域、背景色をそれぞれ保持し、前景背景判定部にフィードバックする。

［前景背景判定処理の概要］
図３は、第１実施形態におけるブロックの前景背景判定処理の概略を説明するためのフローチャートである。まず、ブロック画像入力部１１において、処理対象である画像を構成する所定数の画素からなるブロックの画像データを入力する（Ｓ１０１）。次に、ブロック属性判定部１２において、前工程（Ｓ１０１）で入力されたブロックが文字を含む文字領域か文字を含まない文字ではない領域かを判定する（Ｓ１０２）。この属性判定処理の詳細については後述する。次に、属性情報保持部１３において、前工程（Ｓ１０２）の判定結果に基づいて処理対象ブロックの属性、及び左隣ブロックの属性を保存する（Ｓ１０３）。また、連結領域抽出部１４において、前工程（Ｓ１０１）で入力されたブロックに対し減色処理を行い、代表色を求め、画素毎に一番色の近い代表色に量子化する（Ｓ１０４）。そして、同じ色で繋がる画素の塊を抽出する連結領域抽出処理を行う（Ｓ１０５）。Ｓ１０４にて実行する多値画像の色量子化は、２値化してもいいし、特開２００２−１４２１２８号公報に記載された方法等で多数の色に減色しても良い。また、Ｓ１０５における連結領域抽出処理は公知のラベリング処理を利用することが可能である。連結領域抽出処理の例については後述する。

次に、前景背景判定部１５において、前工程（Ｓ１０３、Ｓ１０５）で保持された処理対象ブロックの属性、及び左隣ブロックの属性と連結領域の情報とを参照し、処理対象ブロックにある各連結領域は前景か背景かを判定する（Ｓ１０６）。前景背景判定方法、前景背景判定方法の例、そして、前景背景判定処理の詳細については後述する。次に、前景背景情報保持部１６において、前工程（Ｓ１０６）の判定結果に基づいて前景連結領域、前景色、背景連結領域、背景色それぞれを保持する（Ｓ１０７）。ここで保持された情報は、必要に応じて前景背景判定処理（Ｓ１０６）にて参照される。

［属性判定処理（Ｓ１０２）］
ブロックの属性判定処理（Ｓ１０２）の詳細について、図４を参照して説明する。まず、Ｓ１０２０１では、入力されたブロックからエッジ抽出をする。エッジ抽出は、エッジ強度を示す微分データを生成する処理で、公知のＰｒｅｗｉｔｔｅフィルタ、或いは、Ｓｏｂｅｌフィルタを利用することが可能である。次に、Ｓ１０２０２では、抽出されたエッジからブロック属性判定に必要となる正規化閾値Ｔを計算する。ブロックにおける画素のエッジ強度の最小値、最大値をｍｉｎ、ｍａｘ、一般的なエッジ強度の正規化範囲は０〜２５５、２値化用閾値をＦとすると、それに対応する正規化閾値Ｔを求める計算式は下記になる。

式１
正規化閾値Ｔはブロックに強いエッジがあるか否かを表すもので、これを用いることによりブロックの属性を区別することが出来る。具体的には、文字を含むブロックには高いエッジ強度を有する文字部分があるので、高い正規化閾値が得られる。これに対し、文字を含まないブロックには高いエッジ強度の部分がないので、低い正規化閾値が得られる。Ｓ１０２０３からＳ１０２０５では、正規化閾値に基づきブロックの属性を判定する。Ｓ１０２０３では、ブロックの正規化閾値を予め定められた“所定値１”と比べ、所定値１より低ければ、Ｓ１０２０４で、ブロック属性を文字ではないと判定する。所定値１以上であれば、Ｓ１０２０５で、ブロック属性を文字と判定する。ここで、所定値１は正規化閾値が取り得る値のうち、低い値（例えば、２５０）を設定する。

［連結領域抽出処理（Ｓ１０５）例］
図５は、第１実施形態の画像処理においてブロックにある連結領域抽出処理の一例を示す図である。図５の右で示したようなブロックで分けられた１つのブロックは、図５の左のように、文字ブロックの色量子化の結果は白、黒の２色になる。連結領域１は白で繋がる画素の塊、連結領域２、３、４はそれぞれ黒で繋がる画素の塊である。すなわち、連結領域とは、同一の色情報など、同一の画素特性を有する連続した画素の集合を意味する。

［前景背景判定方法（Ｓ１０６）］
処理対象ブロックは文字ではない領域であれば、前景背景判定処理を行わず、ブロック毎に背景にし、ブロックの色を背景色とする。しかし、処理対象ブロックは文字領域であれば、左隣ブロックの属性を見て前景背景判定方法を切り替える。この処理は、文字領域が一般的な文字、或いは、反転文字部分と非反転文字部分の混在領域、或いは、背景色が一様ではない領域、或いは、前景色が一様ではない領域、を含む場合に対応する。すなわち、文字部分の連続性、及び背景部分と文字部分の包含関係に基づき、文字（いわゆる前景）の連結領域の接続関係Ａ、連結領域の包含関係Ｂ、背景色の類似度Ｃとの三つの判定基準を用いた判定方法を切り替える。これによって、前景背景の判定を行う。

下記に三つの前景背景判定方法について、図６（ａ）を参照して説明する。前景の連結領域の接続関係Ａでは、処理対象ブロックは左隣ブロックにある前景部分と接続する連結領域の色を前景色とし、その前景色を有する連結領域を前景部分と判定する。そして、前景色と違う色を背景色とし、背景色を有する連結領域を背景部分と判定する。図６（ａ）の左図の例では、処理対象であるブロック１の左隣ブロック０にある前景領域はちょうどブロック１とブロック０との間の境界にあるので、それに接続する丸に囲まれているブロック１の連結部分は前景と判定される。すなわち、あるブロックと隣接ブロックとにおける連結領域に接続関係が存在するか否かで、連結領域の判定を行うこととなる。

連結領域の包含関係Ｂでは、処理対象ブロックにある各連結領域の外接矩形を求める。そして、他の連結領域を含む（包含する）連結領域の色を背景色とし、背景色を有する連結領域を背景部分と判定する。これに対し、背景色と違う色を有する連結領域を前景部分と判定する。図６（ａ）右図の例では、文字ブロックにある４つの連結領域それぞれの外接矩形は四角枠で表しているが、連結領域１の外接矩形は連結領域２、３、４を包含するので、連結領域１の部分を背景と判定される。すなわち、ある連結領域の内部に他の連結領域が存在するか否かで、連結領域の判定を行うこととなる。

背景色との類似度Ｃでは、連結領域の包含関係が確立できない処理対象ブロックに対して、ブロックの色量子化の結果を利用する。つまり、これまでの処理において既に判定された背景色と一番近い色を新背景色として背景色を更新し、更新した背景色を有する連結領域を背景部分と判定する。そして、背景色と異なる色を有する連結領域を前景部分と判定する。

次に前景背景判定方法の選択について、図７を参照して説明する。左隣ブロックが文字ではない場合は、処理対象ブロックにある連結領域間の包含関係が確立できれば、連結領域の包含関係Ｂで前景背景を判定するが、包含関係が確立できなければ、既に判定された背景色との類似度Ｃで前景背景を判定する。左隣ブロックが文字である場合は、左隣ブロックに既に判定された前景部分はブロック間の境界にあれば（すなわち、左隣ブロックとの間に接続関係が確立できれば）、前景の連結領域間の接続関係Ａで前景背景を判定する。左隣ブロックに既に判定された前景部分はブロック間の境界にないので連結領域間の包含関係が確立できれば、連結領域間の包含関係Ｂで前景背景を判定するが、包含関係になければ、既に判定された背景色との類似度Ｃで前景背景を判定する。なお、左隣ブロックが文字でなく、当該ブロックが文字である場合、図７では境界における前景領域の判定（すなわち、接続関係の判定）については“―”で示している。これは、つまり、左隣ブロックの属性が文字ではない時点で、そもそも左隣ブロックには前景が無いこととなり、接続関係が成り立たないことが明らかであるためである。

［前景背景判定方法（Ｓ１０６）例］
図６（ｂ）は第１実施形態の画像処理において、前景背景判定方法の具体的な対応例を示す図である。図６（ｂ）の左図でブロック０を処理する場合は、その左隣ブロックは文字ではないで、ブロック０にある各連結領域の包含関係が確立できるので、ブロック０は連結領域の包含関係Ｂで前景背景を判定する。ブロック１を処理する場合は、その左隣ブロック０は文字で、ブロック０の前景部分はブロック１とブロック０間の境界にあるので、ブロック１は前景連結領域の接続関係Ａで前景背景を判定する。ブロック２を処理する場合は、その左隣ブロック１は文字で、ブロック１の前景部分はブロック２とブロック１間の境界にないが、ブロック２にある各連結領域の包含関係が確立できるので、ブロック２は連結領域の包含関係Ｂで前景背景を判定する。また、図６（ｂ）右図における隣の文字領域の例で、例えばブロック４を処理する場合は、図７にて定義した条件に当てはめると、ブロック４にある各連結領域の包含関係が確定できないので、ブロック４は背景色との類似度Ｃで判定する。

［前景背景判定処理（Ｓ１０６）］
前景背景判定処理について、図８を参照して説明する。まず、Ｓ１０６０１では、属性情報、色量子化情報、連結領域情報を入力する。そして、Ｓ１０６０２では、処理対象ブロックが文字領域であるか否かを判定する。処理対象ブロックが文字領域ではなければ、Ｓ１０６０３へ進み、処理対象ブロックを背景として、ブロックの色を背景色にする。処理対象ブロックが文字領域であれば、Ｓ１０６０４へ進み、左隣ブロックの属性を参照して前景背景判定方法を切り替える。Ｓ１０６０４では、左隣ブロックの属性が文字領域であるか否かを判定する。左隣ブロックの属性が文字でなければ、Ｓ１０６０５へ進む。Ｓ１０６０５では、処理対象ブロックにある各連結領域の包含関係が確定できるか否かを判定する。包含関係が確定できれば、Ｓ１０６０６へ進み、他の連結領域を含む（包含する）連結領域の色を背景色とし、背景色を有する連結領域を背景部分と判定する。これに対し、背景色と違う色の連結領域を前景部分と判定する。一方、包含関係が確定できなければ、Ｓ１０６０７へ進み、既に判定された背景色と一番近い色を背景色とし、背景色を有する連結領域を背景部分と判定する。そして、背景色と違う色の連結領域を前景部分と判定する。

Ｓ１０６０４で、左隣ブロックが文字であると判定された場合には、Ｓ１０６０８へ進む。Ｓ１０６０８では、左隣ブロックにおいて判定された前景部分のうち、処理対象ブロックとの間の境界にいずれかの前景部分があるかを判定する。もし境界に前景部分があれば、Ｓ１０６０９に進み、既に判定された前景部分と接続する連結領域の色を前景色とし、前景色を有する連結領域を前景部分と判定する。これに対し、前景色と異なる色を背景色とし、背景色を有する連結領域を背景部分と判定する。Ｓ１０６０８にて、境界に前景部分がないと判定された場合は、Ｓ１０６１０へ進み、処理対象ブロックにある各連結領域の包含関係が確定できるかを判定する。Ｓ１０６１０にて、包含関係が確立できた場合、Ｓ１０６１１に進み、他の連結領域を含む連結領域の色を背景色とし、背景色を有する連結領域を背景部分と判定する。そして、背景色と違う色の連結領域を前景部分と判定する。Ｓ１０６１０にて、包含関係が確立できない場合は、Ｓ１０６１２に進み、既に判定された背景色と一番近い色を背景色とし、背景色を有する連結領域を背景部分と判定し、背景色と違う色の連結領域を前景部分と判定する。

以上、第１実施形態では、処理対象ブロックの属性及び左隣ブロックの属性を参照して、前景背景判定処理を切り替えて行うものである。この実施形態によれば、一般的な文字領域も、反転文字部分と非反転文字部分の混在領域も、背景色或いは前景色が一様ではない文字領域も処理コストを少なく、精度良く前景背景の判定が出来るようになる。尚、本実施形態は、左隣のブロックの属性情報及び左右ブロック間の連結領域の接続情報を参照して判定する例を示したが、上隣のブロックにおける属性情報及び上下ブロック間の連結領域を参照してもよいし、複数のブロックの情報を参照してもよい。この形態においても同等の効果が得られる。また、ブロックの属性判定ではブロックにあるエッジ強度の最大値、最小値から計算された正規化閾値による判定例を説明したが、他の正規化閾値の求め方でも、或いは、他の属性判定方法を使っても良い。また、ブロックの属性判定では文字か文字ではないかを判定基準として判定したが、例えば、最初はより詳細な判定基準として、「ブロックは下地領域あるいは網点領域あるいは下地上文字領域あるいは網点上文字領域のいずれであるか」を判定してもよい。そして、文字領域と文字ではない領域に纏めても良い。

＜第２実施形態＞
先に説明した第１実施形態では、文字ではないと判定されたブロックは背景１色の画素のみから構成されたものとした。本実施形態では、図９（ａ）のような文字ではないブロックは背景２色である場合にも対応可能な前景背景判定するものである。以下、前景背景判定処理について、図１０を参照して説明する。なお、本処理は、図３のＳ１０６に対応するものであり、その他の処理については、第１実施形態と同様であるため、説明は省略する。

まず、Ｓ１０６０１にて、属性情報、色量子化情報、連結領域情報を入力する。そして、Ｓ１０６０２にて、処理対象ブロックが文字領域であるか否かを判定する。処理対象ブロックが文字領域であれば、Ｓ２０６０３へ進み、第１実施形態のＳ１０６０４からＳ１０６１２の前景背景判定処理を行う。Ｓ１０６０２にて処理対象ブロックは文字領域でないと判定された場合、Ｓ２０６０１に進む。Ｓ２０６０１において、処理対象ブロックは１色のみの色情報を有するか否かを判定する。１色だけの色情報を有する場合、Ｓ１０６０３へ進み、処理対象ブロックを背景領域と判定し、背景色を更新する。Ｓ２０６０１にて、処理対象ブロックが１色だけの色情報を有するのではない場合、Ｓ２０６０２へ進む。そして、ブロックにあるすべての連結領域、即ち、ブロックを背景領域と判定し、２番目に出現する色、或いは、右隣ブロック或いは下隣ブロックと接する色を背景色とする。なお、左隣ブロック或いは上隣ブロックを第一の隣接ブロックとすると、右隣ブロック或いは下隣ブロックを第二の隣接ブロックとする。

以上説明した実施形態によれば、ブロックに背景２色の領域であっても、正確に前景背景を判定することが可能になる。

＜第３実施形態＞
先に説明した第１実施形態、及び第２実施形態では前景背景判定処理について述べた。本実施形態では、前景背景判定処理に前景背景属性同定処理、及び画像処理を加えて応用するものである。図１１は、本実施形態に係る画像処理装置の構成を示すブロック図である。図２における文字領域か文字ではない領域かを判定するブロック属性判定部１２の代わりに、詳細な属性分類の属性判定部３２を入れ替えている。更に、前景背景属性同定部３７、画像処理部３８を追加したものである。

属性判定部３２は画像処理に必要となる属性情報、即ち、ブロックが下地領域、或いは網点領域、或いは下地上文字領域、或いは網点上文字領域のいずれであるかを判定する。この属性判定処理の詳細については後述する。前景背景属性同定部３７はブロック属性判定部１２により判定されたブロックの属性情報、及び前景背景判定部１５により判定された前景背景部分に基づいて、各前景背景部分の属性を同定する（Ｓ３０８）。この前景背景属性同定処理の詳細については後述する。画像処理部３８は画素の属性に基づいて適切に画像処理を切り替える。各連結領域は同じ属性の画素の塊なので、各画素の属する連結領域の属性、及び各画素の属する連結領域が前景か背景かに応じて画像処理を行う。この画像処理の一例として、下地背景にある文字部分に対するエッジ強調処理、黒文字部分に対する下地除去処理により黒単色とする色処理、網点背景に対する平滑化処理等が挙げられる。

図１２は、本実施形態における前景背景判定、前景背景属性同定、画像処理の切り替えの概略を説明するためのフローチャートである。図１２は、図３の文字領域か文字ではない領域かを判定する属性判定処理の代わりに、細かな属性分類の属性判定（Ｓ３０２）を入れ替え、また、前景背景属性同定（Ｓ３０８）と画像処理の切り替え（Ｓ３０９）を追加したものである。

［属性判定処理（Ｓ３０２）］
属性判定処理ではブロックを下地領域、或いは網点領域、或いは下地上文字領域、或いは網点上文字領域のいずれであるかを判定する。ブロックの属性判定処理（Ｓ３０２）の詳細について、図１３を参照して説明する。まず、Ｓ１０２０１では、処理対象ブロックからエッジ抽出する。次に、Ｓ１０２０２では、抽出されたエッジからブロックの正規化閾値、正規化閾値以上のエッジ強度を有する“画素数１”、及び予め設定した固定閾値以上のエッジ強度を有する“画素数２”を計算する。そして、Ｓ３０２０３からＳ３０２１０まで属性を判定する。Ｓ３０２０３において、ブロックの正規化閾値を所定値１と比較し、正規化閾値が所定値１より低ければ、下地か網点のいずれかであると判定しＳ３０２０４へ進む。これに対し、正規化位置値が所定値１以上であれば、下地上文字か網点上文字のいずれかであると判定し、Ｓ３０２０５へ進む。ここで、所定値１は正規化閾値が取り得る値のうち、低い値（例えば、２５０）を設定することが望ましい。

Ｓ３０２０４において、下地か網点のいずれかの候補をさらに正規化閾値によるエッジ強度の高い“画素数１”、および固定閾値以上のエッジ強度を有する“画素数２”を元に判定する。“画素数１は所定値２より小さい、或いは、画素数２は所定値３より小さい”の条件に合致する場合は、Ｓ３０２０７に進みブロックの属性を下地と判定する。また、上記条件に合致しない場合は、Ｓ３０２０８に進み、ブロックの属性を網点と判定する。ここで、所定値２と所定値３は、画素数が取り得る値（ブロックに含まれる画素数）のうち、低い値（例えば、３０、５０）と設定する。

Ｓ３０２０３において、正規化閾値が所定値１よりも小さいと判定されなかった場合、Ｓ３０２０５へ進む。そして、正規化閾値が所定値４より大きい場合は、Ｓ３０２０６へ進む。これに対し、正規化閾値が所定値４以下であれば、Ｓ３０２１０へ進み、ブロックの属性を網点上文字と判定する。Ｓ３０２０６では、画素数２が画素数１より数倍も多ければ、Ｓ３０２１０へ進み、ブロックの属性を網点上文字と判定する。これに対し、そうでなければ、Ｓ３０２０９へ進み、ブロックの属性を下地上文字と判定する。ここで、所定値４は正規化閾値が取り得る値のうち、高い値（例えば、５００）を設定することが望ましい。また、Ｓ３０２０６における画素数１と画素数２との比較の際の判定基準は、予め対応する値を定義しておくものとする。ここでの値は経験的に求めてもよいし、任意の算式に基づいて求めてもよい。

［前景背景属性同定処理（Ｓ３０８）］
本処理は、前景背景判定処理により判定された各前景部分、背景部分の属性をブロックの属性に基づいて同定する。処理対象ブロックが下地領域であれば、ブロックの連結領域を下地属性と同定する。また、網点領域であれば、ブロックの連結領域を網点属性と同定する。また、下地上文字領域であれば、前景と判定された文字部分である各連結領域を下地上文字と同定し、背景と判定された各連結領域を下地と判定する。そして、網点上文字領域であれば、前景と判定された文字部分である各連結領域を網点上文字と同定し、背景と判定された各連結領域を網点と判定する。

以上、本実施形態によれば、前景背景を判定し、前景背景の属性を同定することにより、適切な画像処理を切り替え、高画質な画像処理結果を得ることが可能になる。

＜第４実施形態＞
第１実施形態、及び第２実施形態では前景背景判定処理について述べた。本実施形態では、前景背景判定処理に周囲ブロックの前景部分の統合処理、及び文字認識ための処理を加えて応用するものである。図１４は、本実施形態に係る画像処理装置の構成を示すブロック図であり、図２に前景統合部４７、文字認識部４８を追加したものである。前景統合部４７は前景背景判定部１５により判定された前景部分を周囲ブロックの情報を参照して統合する。この前景統合処理の詳細については後述する。文字認識部４８は統合された前景部分を文字単位に切り出し、文字毎に認識する。この文字認識の手法としては、特開平０９−２６９９７０号公報の記載の方法等を用いることができる。図１５は、本実施形態における前景背景判定、前景統合、文字認識の概略を説明するためのフローチャートである。図１５は、図３に前景統合（Ｓ４０８）と文字認識（Ｓ４０９）を追加したものである。

［前景統合（Ｓ４０８）］
前景統合処理は、前景背景判定処理により判定された各ブロックの前景部分、及び周囲ブロックとの接続関係に基づいて実行される。処理対象ブロックに含まれる前景部分が、右隣ブロック、或いは、下隣ブロック（第二の隣接ブロック）における前景部分と接する場合に、これらのブロックの前景部分を統合し、それに伴い、前景部分が含まれるブロックも統合する。これにより新しく統合されたブロックを処理対象ブロックとし、更にその処理対象ブロックに隣接した処理対象ブロックの前景部分が接するブロックを統合していく。これにより、ブロックのグループ化を行う。

［前景統合（Ｓ４０８）の例］
図９（ｂ）は、前景統合処理の一例を示す図である。例にある文字領域はブロック単位で前景背景判定処理を実行するものであり、ブロック１は前景統合処理の最初のブロックとする。ブロック１の前景部分と接する右隣のブロック、及び下隣のブロック（第二の隣接ブロック）を統合していくことにより、「高度な」という文字部分（全８ブロック）はブロックの統合グループ１になる。同様に、「撮影機能」という文字部分はブロックの統合グループ２になる。統合後のブロック（統合グループ１、２）は、例えば、「高度な」は文字認識処理のおいて「高」、「度」、「な」との三文字に切り分け認識されることとなる。

以上に説明した実施形態によれば、精度良く前景背景を判定し、周囲ブロックとの前景部分の接続に基づき前景部分を統合することにより、文字認識に必要な情報を提供し、高精度な文字認識を行うが可能になる。

＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (15)

1. 画像データにおいて所定数の画素よりなるブロックを処理単位とし、該ブロックの属性として文字が含まれるか否かを判定する属性判定手段と、
   該ブロックにある画素のうち、同一の画素特性を有し連続して繋がる連結領域を抽出する連結領域抽出手段と、
   該ブロックと第一の隣接ブロックの属性、及び連結領域間の関係に応じた前景背景の判定方法を選択し、選択した当該方法により該ブロックにおいて抽出された前記連結領域が前景か背景かを判定する前景背景判定手段と
   を有することを特徴とする画像処理装置。
2. 前記前景背景判定手段は、
   該ブロックの属性として文字が含まれない場合は、該ブロックを背景と判定し、
   該ブロックの属性として文字が含まれる場合は、
   該ブロックと第一の隣接ブロックとの境界において、前記第一の隣接ブロックの前景である連結領域と該ブロックの連結領域との接続関係が成り立つならば、該接続関係を用いて前景背景の判定を行い、
   前記接続関係が成り立たず、かつ該ブロックに含まれる各連結領域の間の包含関係が成り立つならば、該包含関係を用いて前景背景の判定を行い、
   前記接続関係、及び前記包含関係のいずれも成り立たないならば、前記第一の隣接ブロックの背景である連結領域が有する色と該ブロックの連結領域の色との類似度を用いて前景背景の判定を行う
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記前景背景判定手段は、該ブロックと前記第一の隣接ブロックとの境界において前記第一の隣接ブロックの前景である連結領域と該ブロックの連結領域との接続関係を用いて前景背景を判定する場合、
   該ブロックにおける境界に接続する連結領域の色を前景色とし、前景色と同じ色の連結領域を前景と判定し、前景色と違う色を背景色とし、背景色と同じ色の連結領域を背景と判定することを特徴とする請求項２に記載の画像処理装置。
4. 前記前景背景判定手段は、該ブロックに含まれる連結領域のうち、他の連結領域を含む連結領域が存在する包含関係を用いて前景背景を判定する場合、
   当該他の連結領域を含む連結領域の色を背景色とし、背景色と違う色の連結領域を前景、背景色と同じ色の連結領域を背景と判定することを特徴とする請求項２または３に記載の画像処理装置。
5. 前記前景背景判定手段は、前記第一の隣接ブロックの背景である連結領域が有する色と該ブロックの連結領域の色との類似度を用いて前景背景を判定する場合、
   前記第一の隣接ブロックにおいて、背景と判定された連結領域が有する色と最も類似度の高い色を有する該ブロックの連結領域を背景とし、当該色と異なる色を有する連結領域を前景と判定することを特徴とする請求項２乃至４のいずれか一項に記載の画像処理装置。
6. 前記第一の隣接ブロックは、処理対象のブロックの左隣にあるブロック、或いは、上隣にあるブロックであることを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
7. 前記前景背景判定手段は、前記連結領域に関する判定結果の情報を保持する情報保持手段を更に有することを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
8. 前記情報保持手段は、
   文字が含まれないとの属性を有するブロックにおいて背景が１色の連結領域からなる場合は、当該１色を背景色として保持し、
   文字が含まれないとの属性を有するブロックにおいて背景が２色の連結領域からなる場合は、前記２色のうち、第二の隣接ブロックとの境界において接する色を背景色として保持する
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記第二の隣接ブロックは、処理対象のブロックの右隣にあるブロック、或いは、下隣にあるブロックであることを特徴とする請求項８に記載の画像処理装置。
10. 画像データにおいて所定数の画素よりなるブロックを処理単位とし、該ブロックの属性として文字が含まれるか否か判定する属性判定手段と、
    該ブロックにある画素のうち、同一の画素特性を有し連続して繋がる部分を抽出する連結領域抽出手段と、
    該ブロックと第一の隣接ブロックの属性、及び連結領域間の関係に応じた前景背景の判定方法を選択し、選択した当該方法により該ブロックの前景背景を判定する前景背景判定手段と、
    該ブロックの属性、及び前景背景の判定結果に基づき、該ブロックにおける抽出された各連結領域の属性を同定する属性同定手段と
    を有することを特徴とする画像処理装置。
11. 画像データにおいて所定数の画素よりなるブロックを処理単位とし、該ブロックは文字であるかを判定する属性判定手段と、
    該ブロックにある画素のうち、同一の画素特性を有し連続して繋がる部分を抽出する連結領域抽出手段と、
    該ブロックと第一の隣接ブロックの属性、及び連結領域間の関係に応じた前景背景の判定方法を選択し、選択した当該方法により該ブロックにおける連結領域の前景背景を判定する前景背景判定手段と、
    前記第一の隣接ブロックの前景背景の判定結果に基づき、該ブロックと前記第一の隣接ブロックとにおいて接続関係がある前景部分を統合する前景統合手段と
    を有することを特徴とする画像処理装置。
12. 画像処理装置の属性判定手段が、画像データにおいて所定数の画素よりなるブロックを処理単位とし、該ブロックの属性として文字が含まれるか否かを判定する属性判定工程と、
    前記画像処理装置の連結領域抽出手段が、該ブロックにある画素のうち、同一の画素特性を有し連続して繋がる連結領域を抽出する連結領域抽出工程と、
    前記画像処理装置の前景背景判定手段が、該ブロックと第一の隣接ブロックの属性、及び連結領域間の関係に応じた前景背景の判定方法を選択し、選択した当該方法により該ブロックにおいて抽出された前記連結領域が前景か背景かを判定する前景背景判定工程と
    を有することを特徴とする画像処理方法。
13. 画像処理装置の属性判定手段が、画像データにおいて所定数の画素よりなるブロックを処理単位とし、該ブロックの属性として文字が含まれるか否か判定する属性判定工程と、
    前記画像処理装置の連結領域抽出手段が、該ブロックにある画素のうち、同一の画素特性を有し連続して繋がる部分を抽出する連結領域抽出工程と、
    前記画像処理装置の前景背景判定手段が、該ブロックと第一の隣接ブロックの属性、及び連結領域間の関係に応じた前景背景の判定方法を選択し、選択した当該方法により該ブロックの前景背景を判定する前景背景判定工程と、
    前記画像処理装置の属性同定手段が、該ブロックの属性、及び前景背景の判定結果に基づき、該ブロックにおける抽出された各連結領域の属性を同定する属性同定工程と
    を有することを特徴とする画像処理方法。
14. 画像処理装置の属性判定手段が、画像データにおいて所定数の画素よりなるブロックを処理単位とし、該ブロックは文字であるかを判定する属性判定工程と、
    前記画像処理装置の連結領域抽出手段が、該ブロックにある画素のうち、同一の画素特性を有し連続して繋がる部分を抽出する連結領域抽出工程と、
    前記画像処理装置の前景背景判定手段が、該ブロックと第一の隣接ブロックの属性、及び連結領域間の関係に応じた前景背景の判定方法を選択し、選択した当該方法により該ブロックにおける連結領域の前景背景を判定する前景背景判定工程と、
    前記画像処理装置の前景統合手段が、前記第一の隣接ブロックの前景背景の判定結果に基づき、該ブロックと前記第一の隣接ブロックとにおいて接続関係がある前景部分を統合する前景統合工程と
    を有することを特徴とする画像処理方法。
15. コンピュータに、請求項１２乃至１４のいずれか一項に記載の画像処理方法を実行させるプログラム。

Images