JP2013175887A - 画像処理装置、画像処理方法およびコンピュータープログラム - Google Patents

Abstract

【課題】文字領域および非文字領域をそれぞれ検出する２種の領域判別処理を行なうことなく、個々の文字内での文字属性と非文字属性との混在のない領域判別情報を生成する。
【解決手段】画素ごとに文字属性と非文字属性とのいずれかが定められた画像に対して画像処理を行う画像処理装置は、画像における前記文字属性をもつ画素で構成される文字属性領域に対して、当該文字属性領域に外接する矩形を定め、矩形の周囲の複数の画素のそれぞれについて、画素色と文字属性領域の色との色差が設定値よりも小さい同色画素であるか否か、を判定する。判定された画素の個数に対する同色画素であると判定された画素の個数の比率が閾値以上である場合に、画像処理装置において文字属性領域内の画素の属性が文字属性から非文字属性に置換される。
【選択図】図１

Description

本発明は、入力画像の属性情報を生成する画像処理装置、画像処理方法およびコンピュータープログラムに関する。

複写機やプリンターによる画像の印刷では、画像内の文字に対して、エッジ強調や色の鮮やかさの強調といった文字品質を高めるための画像処理が加えられる。文字を有する画像は、下地に文字のみが記載された画像（いわゆるテキスト画像）に限らない。文字が並ぶテキスト部分と図や写真が配置された非文字部分とを有する画像があり、さらに微小ドットで構成される写真の中に文字列が存在するというように、文字要素であるドットとそうではないドットとが隣接する画像もある。このように文字と有色の非文字部分とが混在する画像の画質を最適化するには、画像内の文字を精度よく判別する必要がある。

画像の領域判別に関して、特許文献１において、８×８画素のブロックといった領域ごとに圧縮されたカラー画像の各領域を、２段階の判定によって文字画像領域と非文字画像領域とに分類することが提案されている。その第１段階の判定では、画像データの交流成分に基づいて、各領域が文字画像領域、非文字画像領域、および文字画像の可能性がある文字画像候補領域のいずれかに分類される。そして、第２段階の判定において、文字画像候補領域が、当該領域の色と近傍の文字画像領域の色とに基づいて、文字画像領域または非文字画像領域に分類される。

また、特許文献２では、複数の文字を内包する矩形領域とそれ以外の矩形領域とに区分する大まかな領域判別の手法が開示されている。同文献の手法は、一つの文字を内包する矩形領域どうしが隣接する場合にそれら領域を合併するという要領で文字領域を拡大していく。そして、文字領域と図や写真を内包する矩形の非文字領域とが重複した場合に、重複が部分的かどうか、非文字領域の大きさ、および文字領域の行数を示す状態情報に基づいて、文字領域の真偽を判定する。

特開平９−９３４２７号公報 特開平８−１１５３８０号公報

画像処理用のプロセッサーによる高速の領域判別は、画像の各画素に対して画素配列順に文字属性または非文字属性を定める。このようなミクロ視点の判別を行う場合、例えば極端に大きい文字や極端に太い文字において、一つの文字であるにもかかわらず、その一部分のみが文字領域と判別され、残りの部分が文字領域ではないと判別されてしまうことがある。ここでいう文字領域とは、個々の文字を構成する画素の集合であり、文字を内包する矩形領域（下地部分を含む）ではない。文字領域以外の領域は全て非文字領域である。

誤った領域判別結果に基づいて属性別に画質を最適化すると、真の文字のうちの正しく判別されて文字属性をもつ画素で構成される文字属性領域とそうではなく非文字属性をもつ画素で構成される非文字属性領域とに互いに異なる画像処理が施されることになる。そのため、画像処理の違いが画質のむらとして目立つという問題が起こる。特に、画像データを高圧縮ＰＤＦ(Portable Document Format)形式のファイルに変換する場合のように文字・図形・写真のうちの文字のみを２値化する場合では、一つの文字の中で２値化される部分とされない部分とが混在することになり、文字品質の低下が顕著に現われる。

誤判別を低減する方法として、文字を検出するアルゴリズムによる領域判別処理および図形や写真といった文字以外の画像要素を検出するアルゴリズムによる領域判別処理の両方を行ない、両者の判別結果の矛盾する領域について所定の再判別処理を行なうことが考えられる。再判別の結果に従って、文字属性領域を非文字属性領域に、または逆に非文字属性領域を文字属性領域に置換すればよい。

しかし、文字および文字以外の画像要素をそれぞれ判別する２種の領域判別の実施は、処理時間の増加および処理に必要なリソースの増加を招く。

本発明は、このような事情に鑑み、文字および文字以外の画像要素をそれぞれ検出する２種の領域判別処理を行なうことなく、個々の文字内での文字属性と非文字属性との混在のない領域判別情報を生成することを目的としている。

上記目的を達成する装置は、画素ごとに文字属性と非文字属性とのいずれかが定められた画像に対して画像処理を行う画像処理装置であって、前記画像における前記文字属性をもつ画素で構成される文字属性領域に対して、当該文字属性領域に外接する矩形を定める設定部と、前記画像における前記矩形の周囲の複数の画素のそれぞれについて、画素色と前記文字属性領域の色との色差が設定値よりも小さい同色画素であるか否か、を判定する判定部と、前記判定部による判定の対象である前記複数の画素の個数に対する前記同色画素であると判定された画素の個数の比率が閾値以上である場合に、前記文字属性領域内の画素の属性を前記文字属性から前記非文字属性に置換する置換部と、を備える。

本発明によれば、文字および文字以外の画像要素をそれぞれ検出する２種の領域判別処理を行なうことなく、個々の文字内での文字属性と非文字属性との混在のない領域判別情報を生成することができる。

本発明の第１実施形態に係る属性修正処理を模式的に示す図である。 属性修正処理の対象となる文字を有した画像の一例を示す図である。 文字内での文字属性と非文字属性との混在が生じる領域判別方法の例を示す図である。 文字属性と非文字属性とが混在する図形の例を示す図である。 属性修正処理の対象となる文字の近傍に他の文字が存在する場合を示す図である。 属性修正処理において注目する画素列の位置設定の変形例を示す図である。 第１実施形態に係る画像処理装置の構成を示す図である。 第１実施形態に係る属性修正処理のフローチャートである。 第２実施形態に係る属性修正処理を模式的に示す図である。 第２実施形態に係る画像処理装置の構成を示す図である。 第２実施形態に係る属性修正処理のフローチャートである。 画像処理装置を備える画像形成装置の構成の一例を示す図である。

画像の各画素の属性を定める処理をハードウェアによって行なう画像処理装置は、例えばＡＳＩＣ（Application Specific Integrated Circuit）からなる画像処理用のプロセッサーを備える。プロセッサーは、画像入力手段から入力される画像データをパイプライン形式で処理するリアルタイム動作によって高速の処理を実現する。画像入力手段は、イメージスキャナー、デジタルカメラ、パーソナルコンピューター、または画像データを出力する他の機器のいずれでもよい。また、スキャナーやカメラといった画像入力機器に画像処理装置を組み入れることもでき、その場合における画像入力手段は画像入力機器の一部である。

〔第１実施形態〕
図１の上部中央に描かれた画像４０は、図２に例示されるドキュメント４を電子化した画像の要部である。ドキュメント４には大きな文字５が記載されており、この文字５およびその近傍に対応する画像データが図１において画像４０として描かれている。例示の文字５はアルファベットの“Ｃ”であり、その文字サイズは一般的なテキストの文字サイズと比べて極端に大きい。図２では文字５が黒く描かれているが、文字５の色は周囲と視覚的に区別可能な色であればよい。画像４０の画素色はＲＧＢの各色成分の階調で表わされる。画像４０は、文字５に対応する文字領域５０を有している。

画像４０に対して文字を検出するアルゴリズムによる領域判別が行なわれる。図１において、領域判別によって定められた画像４０の各画素の属性（文字属性または非文字属性）を示す属性画像（属性プレーン）４２は、文字領域５０の一部分に対応する文字属性領域５１を有する。文字属性領域５１の各画素の属性は文字属性である。属性画像４２における文字属性領域５１以外の部分は、属性が非文字属性と定められた画素から構成される非文字属性領域である。属性画像４２における非文字属性領域には、文字領域５０のうちの文字属性領域５１に対応する部分以外の部分に対応する領域５２を含んでいる。つまり、属性画像４２では、領域判別の部分的な誤りがある。文字領域５０が正しく判別されない状況の生じる領域判別方法の例が図３に模式的に示されている。

図３において、（Ａ）、（Ｂ）、（Ｃ）のように画像の先頭ライン側（図の上側）から画素配列順に各画素の属性が定められていく。（Ａ）の段階で文字属性領域５１ａが定められ、（Ｂ）の段階で文字属性領域５１ｂが定められ、（Ｃ）の段階で文字属性領域５１が定められている。図３の例示における判別方法は、エッジに該当するかどうかを判別し、続いてエッジ間距離と閾値とを比較する方法である。注目した画素がエッジに該当し、かつエッジに該当しない画素を挟む他の最も近いエッジに該当する画素との距離（エッジ間距離）が閾値以下である場合に、注目した画素、他の最も近いエッジに該当する画素、およびこれらに挟まれる画素の属性を文字属性に定める。つまり、例示の判別方法は、エッジ間距離が閾値を超えるような太い線は文字の要素ではないとみなす。図３の例では、アルファベットの“Ｃ”の上下方向の中ほどまで判別が進んだとき、エッジ間距離が閾値を超える。「エッジ間距離が閾値以下という文字としての条件から一旦外れると、既に判別された文字属性領域とエッジを介さずに隣接する有色領域を非文字属性領域とする」というアルゴリズムに従い、アルファベットの“Ｃ”の下部の属性は非文字属性とされる。パイプライン処理による領域判別では、既に定めた属性は変更されない。このため、アルファベットの“Ｃ”の上部は文字属性領域５１のまま残存することになる。

ここで、文字と判別する条件から一旦外れたとしても、文字属性を次に注目する画素に受け継がせて（伝播させて）、文字属性領域５１を拡張させていく方法もある。しかし、次に注目した画素が真に文字の要素か否かを判定することはできない。そのため、例えば図４に例示される巨大な三角形６０が画像内に存在した場合、文字属性を伝播させることによって、巨大な三角形の全体を文字属性領域としてしまう誤判別を引き起こすおそれがある。このことから領域判別では文字属性を伝播させない。

エッジ間距離の閾値は、各種ドキュメントでの使用が想定される文字の最大サイズによって決まる。例えば、５０ポイントのボールド書体の文字を基準に閾値を設定することができる。その場合、９〜１２ポイントといった一般的なサイズまたはそれより小さいサイズの文字では、領域判別において文字全体が文字属性領域と判別される。５０ポイントを超える極端に大きい文字（実際には文字ではない何らかの図形であるかもしれない）が入力画像内に存在した場合に、当該文字の一部が文字属性領域として判別されない状況が起こり得る。

図１に戻って、属性画像４２におけるアルファベットの“Ｃ”のように、一つの文字が文字属性の部分と非文字属性の部分とに分かれるのは好ましくない。それは、属性画像４２が示す文字属性領域を鮮明にしたり２値化したりする画像処理を画像４０に加えたときに、処理後の画像が不自然に見えるからである。特に、高圧縮ＰＤＦへの変換やファクシミリ伝送などのために２値化を行うと、２値化されて単色情報のみをもつ文字属性領域と各画素が固有のＲＧＢ階調を有したままの非文字属性領域との画質の差異が目立ってしまう。

画像が不自然に見える問題に対して、[１]文字属性領域を非文字属性領域に置換して属性を統一するか、[２]非文字属性領域を文字属性領域に置換して属性を統一するかの２通りの解決策[１]、[２]が考えられる。第１実施形態では解決策[１]が適用される。すなわち、属性画像４２に対して必要に応じて文字属性領域を非文字属性領域に置換する属性修正処理が行なわれる。この処理を受けた後の属性画像４２ａが、後段の画像処理のための領域判別情報となる。図示のとおり、処理後の属性画像４２ａでは、処理前の属性画像４２における文字属性領域５１が非文字属性領域５１ａに置換されている。

ところで、文字属性領域５１を非文字属性領域５１ａに置換するのに先立って、真に置換すべきかどうか、すなわち、文字属性領域５１が文字領域５０の全体に対応するか一部分に対応するかを判定する必要がある。一部分に対応する場合が置換すべき場合である。属性修正処理では、文字属性領域５１の領域色と文字属性領域５１の周囲の複数の画素の色（画素色）とに基づいて、置換の要否が判定される。詳しくは以下のとおりである。

文字属性領域５１が文字領域５０の一部分に対応するのであれば、本来は文字属性領域５１が領域５２と連続している。言い換えれば、文字属性領域５１と領域５２とが連続しているかどうかを調べれば、文字属性領域５１が文字領域５０の一部分であるかどうかが分かる。隣接する二つの領域の色が同一であれば、これら領域は連続していると言える。しかし、属性画像４２において、非文字属性領域である領域５２と他の非文字属性領域とが区別されていないので、文字属性領域５１の輪郭は分かるが、領域５２の輪郭は分からない。つまり、領域５２を構成する画素の色を調べて領域５２の色（領域色）を特定することができない。したがって、属性修正処理では、領域５２の領域範囲を特定せずに、輪郭の分かる文字属性領域５１に着目して連続性を検出する。

連続性を検出するために文字属性領域５１の周囲の画素の色を調べる必要があるが、文字属性領域５１の輪郭のトレースには相応の処理時間を要する。注目する画素が文字属性領域５１のエッジから離れているかどうかを検出するフィルタリングを行なわなければならないからである。

そこで、文字属性領域５１に対して、これに外接する仮想の矩形７１が設定される。矩形７１の設定には既知の技術を使用すればよい。例えば、ある画素を開始地点として、その周囲の画素のうちの同じ属性をもつ画素にラベル付けをし、最終的に連続した同じ属性の画素が無くなった時点でラベル付けされている画素の最も外周の座標から、外接する矩形７１を求めることができる。解像度を落として処理することにより、連続性検出を高速化することができる。

矩形７１に内包される文字属性領域５１の領域色は、文字属性領域５１の全画素の色の平均値である。矩形７１の設定に際してラベル付けされた画素のＲＧＢの各成分の画素値を画像４０から抽出し、ＲＧＢの成分別に加算する。同時に画素数をカウントしておき、成分別の加算結果のそれぞれを画素数で除す。これにより、領域色を示すＲＧＢの各成分の平均値を求めることができる。

文字属性領域５１の領域色の算定に続いて、文字属性領域５１の周囲の色をサンプリングするために、矩形７１を囲む１画素幅の環状の画素列８１が注目される。そして、画素列８１を構成する複数の画素のそれぞれについて、画素色と文字属性領域５１の領域色との色差が設定値よりも小さい画素（これを同色画素と呼称する）であるか否かが判定される。色差は、色空間における２つの色の座標間の距離である。例えば、本例のようにＲＧＢの成分で色を表す場合、領域色の座標を（Ｒ１，Ｇ１，Ｂ１）とし、画素色を（Ｒ２，Ｇ２，Ｂ２）として、色差（色空間上の２点間距離）は次式で表される。
色差＝〔（Ｒ１−Ｒ２）²＋（Ｇ１−Ｇ２）²＋（Ｂ１−Ｂ２）²〕^1/2
画素列８１における文字属性領域５１の領域色と同一またはそれに近い色をもつ同色画素の割合の大小によって、文字属性領域５１とその周囲との連続性を判定することができる。図１の模式的な例では、画素列８１は画素８ａ，８ｂ，８ｃ，８ｄ，８ｅ，８ｆ，８ｇ，８ｈ，８ｉを含んでおり、これらのうちの画素８ｃ，８ｄ，８ｅ，８ｆ，８ｇ，８ｈが同色画素である。ただし、実際の画素数は画像の解像度に依存する。例示の画素列８１の画素の総数は「７０」で、文字領域に対応する可能性のある同色画素の個数は「６」であるので、同色画素か否かの判定で注目した画素の個数“Ｑ”に対する同色画素の個数“ｑ”の比率“Ｒ”（Ｒ＝ｑ／Ｑ）を百分率で表すと約８．５７％である。比率Ｒは矩形７１の周囲長に対する文字部分の長さの割合に相当する。予め適切な閾値“Ｒｔｈ”を決めておき、比率Ｒが閾値Ｒｔｈ以上であれば文字属性領域５１がその周囲と連続しているとみなすことができる。一般的なテキスト画像では、文字属性領域５１の周囲に文字属性領域５１とほぼ同じ色をもつ文字以外の画素が存在する場合はほとんど無いと考えられるので、閾値Ｒｔｈを低めに設定しても支障はない。例えば、閾値Ｒｔｈを５％程度にしてもよい。

基本的には比率Ｒの算出に際して画素列８１の各画素の属性を考慮する必要はないが、非文字属性の画素のみに注目することによって領域判別の信頼性をより高めることができる。上述したように文字属性領域５１の周囲に文字以外の同色画素が存在する場合はほとんど無い。しかし、図５のように、文字属性領域５１の近傍に、文字属性領域５１の対応する文字とは別の文字に対応する文字属性領域５５の存在する可能性がある。例えば、ロゴタイプでは通常の文字配列とは異なる文字の配置が見受けられる。文字属性領域５１とは別の文字属性領域５５の画素８ｐ，８ｑ，８ｒ，８ｓ，８ｔ，８ｕの個数を同色画素の個数ｑに含めると、比率Ｒが適正でなくなる。このため、画素列８１の画素数Ｑおよび同色画素の個数ｑのカウントにおいて画素８ｐ，８ｑ，８ｒ，８ｓ，８ｔ，８ｕがカウント対象から除外される。図５の模式的な例示において、画素列８１のうちのカウント対象外の画素８ｐ，８ｑ，８ｒ，８ｓ，８ｔ，８ｕの個数は「６」である。したがって、非文字属性の画素に限定した注目画素の個数Ｑは、画素列８１の全画素数の「７０」からカウント対象外の画素数の「６」を差し引いた「６４」となる。そして、比率Ｒは約９．３８％となる。閾値Ｒｔｈを５％とすると、非文字属性の画素のみに注目した場合も、「文字属性領域５５はその周囲と連続している」と判定される。

このように比率Ｒが閾値Ｒｔｈと等しいかまたは閾値Ｒｔｈを超える場合に、文字属性領域５１を非文字属性領域５１ａに変更する属性置換が必要と判定され、判定に従って属性置換が行なわれる。すなわち、図１の例において、属性画像４２が属性画像４２ａに修正される。比率Ｒが閾値Ｒｔｈ未満である場合には、文字属性領域５１に対する属性置換は行なわれない。

比率Ｒの算定に際して注目する画素列８１については、位置設定の変形例がある。図１および図５の例のように文字属性領域５１に外接する矩形７１に接する画素列８１には、本来は文字ではない箇所に文字属性領域５１の色成分（文字属性の階調）がある程度取り込まれている可能性がある。例えば、画像４０を生成するイメージスキャナーのＭＴＦ特性に起因する画像のボケや、解像度変換による画像のボケによって、文字のエッジの階調がエッジ近傍の背景画素の階調とのスムージングを受けたのと同様の状態になる場合がある。文字属性の階調を取り込んだ画素をサンプリングしてしまうと、実際に文字属性領域５１と同じ色をもつ画素が文字属性領域５１の周囲に存在していたかどうかの判定の確度が低下する。そこで、文字属性領域５１に外接する矩形７１からＮ画素（Ｎは１以上の整数）離れた画素に注目する変形例が考えられる。図６の例示では、矩形７１に沿いかつ矩形７１から１画素離れて文字属性領域５１を囲む環状の画素列８２が、文字属性領域５１の周囲の色のサンプリングのために注目される。図示において画素列８２は６個の同色画素８ｊ，８ｋ，８ｍ，８ｎ，８ｖ，８ｗを有している。

図７は第１実施形態に係る画像処理装置１００の構成を示している。画像処理装置１００は、入力される画像を文字属性領域と非文字属性領域とに区分する領域判別ブロック１１０と、上述の属性修正処理を受け持つ属性修正ブロック１２０とを備える。領域判別ブロック１１０は、入力される画像４０に対して文字領域を検出する領域判別を行い、画素値が属性を示す属性画像（属性プレーン）４２を生成する。属性修正ブロック１２０は、領域色取得部１２２、矩形設定部１２３、置換要否判定部１２５、および属性置換部１２６を有し、属性画像４２を必要に応じて修正した属性画像４２ａを生成する。

属性修正ブロック１２０において、領域色取得部１２２は、属性置換の対象領域である文字属性領域５１の領域色を、画像４０の色情報に基づく上述の平均値の計算によって取得し、領域色を示すデータＤＣ５１を置換要否判定部１２５に与える。矩形設定部１２３は、文字属性領域５１に外接する仮想の矩形７１を設定し、矩形７１の位置を示すデータＤ７１を置換要否判定部１２５に与える。

置換要否判定部１２５は、矩形７１を囲む環状の画素列８１（または画素列８２）における非文字属性の画素を注目画素として選び、注目画素がデータＤＣ５１の示す領域色と同一または近い画素色をもつ同色画素であるか否かを判定する。そして、置換要否判定部１２５は、注目画素の個数に対する同色画素の個数の比率Ｒを算出し、比率Ｒと閾値Ｒｔｈとを比較する。比率Ｒが閾値Ｒｔｈ以上である場合に、置換要否判定部１２５は文字属性領域５１の属性の置換が必要であると判定する。

属性置換部１２６は、置換要否判定部１２５による判定の結果を受けて、文字属性領域５１の属性を文字属性から非文字属性に置換する。属性画像４２に対する属性を置換する部分修正によって得られた修正後の属性画像４２ａが、画像４０の領域判別情報として図示しない後段の画像処理ブロックに送られる。

図８は属性修正ブロック１２０によって行なわれる属性修正処理の流れを示している。

矩形設定部１２３による矩形７１の設定（＃１１）と、領域色取得部１２２による文字属性領域５１の領域色の算出（＃１２）とに続いて、画素色判別ループの処理が行なわれる。画素色判別ループでは、矩形７１を囲む画素列８１（または画素列８２）を構成する全画素が１画素ずつ順に処理の対象とされる。画素色判別ループの最初のステップ＃１３において、置換要否判定部１２５が画素の属性を判別する。注目した画素の属性が文字属性であれば（＃１３でＹＥＳ）、置換要否判定部１２５は当該画素を以降の処理の対象から除外する。これによって、比率Ｒの算出に関わるべき非文字属性の注目画素が選定されたことになる。矩形７１を囲む非文字属性の画素である注目画素の画素色が置換要否判定部１２５によって画像４０から取得され（＃１４）、注目画素の色と文字属性領域５１の領域色との色差が算出される（＃１５）。色差が閾値以下であれば（＃１６でＹＥＳ）、注目画素は同色画素である。この場合、置換要否判定部１２５は同色画素の個数Ｑのカウントを一つインクリメントし（＃１７）、かつ注目画素の個数Ｑのカウントを一つインクリメントする（＃１８）。色差が閾値を超える場合は（＃１６でＮＯ）、置換要否判定部１２５は注目画素の個数Ｑのカウントを一つインクリメントする（＃１８）。こうして画素色判別ループにおいて、矩形７１を囲む注目画素の個数Ｑと注目画素のうちの同色画素の個数ｑとを数え終えると、置換要否判定部１２５は個数Ｑに対する個数ｑの比率Ｒを算出して閾値Ｒｔｈと比較する（＃１９）。比率Ｒと閾値Ｒｔｈとの大小関係によって置換要否の判定結果が決まる。比率Ｒが閾値Ｒｔｈ以上であれば（＃１９でＹＥＳ）、属性置換部１２６が属性画像４２における文字属性領域５１の属性を文字属性から非文字属性に置換する（＃２０）。比率Ｒが閾値Ｒｔｈ未満であれば（＃１９でＮＯ）、文字属性領域５１の属性は置換されない。

〔第２実施形態〕
上述のように属性画像４２において一つの文字が文字属性の部分と非文字属性の部分とに分かれると、文字属性領域に対する画像処理を加えた画像が不自然に見える問題が生じる。この問題に対して、第２実施形態では、非文字属性領域を文字属性領域に置換して属性を統一するという上述の解決策[２]が適用される。

図９は第２実施形態に係る属性修正処理を模式的に示している。図９の上部中央に描かれた画像４０は、上述の第１実施形態と同様に、図２に例示されるドキュメント４を電子化した画像の要部であり、属性修正処理に関わる文字領域５０を有する。画像４０に対して、第１実施形態と同様に文字を検出するアルゴリズムによる領域判別が行なわれ、それによって定められた各画素の属性を示す属性画像４２が生成される。

属性画像４２は、文字領域５０の一部分に対応する文字属性領域５１を有する。文字属性領域５１の各画素の属性は文字属性である。属性画像４２における文字属性領域５１以外の部分は非文字属性領域であり、属性が非文字属性と定められた画素のみから構成される。属性画像４２における非文字属性領域には、文字領域５０のうちの文字属性領域５１に対応する部分以外の部分に対応する領域５２を含んでいる。この領域５２が、第２実施形態における属性置換の対象である。以下では領域５２を“対象領域５２”という。

対象領域５２は属性画像４２ではその領域範囲（領域を構成する画素）が顕在化されていない。つまり、属性画像４２において対象領域５２を特定することができない。そこで、対象領域５２を特定するための画像処理が行なわれる。簡便な処理は、濃度が閾値よりも大きい画素または濃度が閾値よりも小さい画素を抽出する２値化である。

２値化は、画像４０から文字属性領域５１を除く部分を抽出した画像４１に対して行なわれる。文字属性領域５１を除くとは、２値化の閾値よりも濃度が大きい画素を抽出する場合には文字属性領域５１の濃度を閾値より小さい濃度とみなし、閾値よりも濃度が小さい画素を抽出する場合には文字属性領域５１の濃度を閾値より大きい濃度とみなすことを意味する。２値化される画像４１は、対象領域５２（厳密にはこれに対応する部分）とそれ以外の非文字属性領域４１Ａ（厳密にはこれに対応する部分）とを有する。一般に、ドキュメントにおける文字とその周囲との間には視覚的に区別可能な濃度差（色差を含む）があるので、２値化によって対象領域５２を顕在化させることができる。図９の例示の２値化では、濃度が閾値よりも大きい画素が抽出される。ただし、周囲よりも淡い文字の存在が想定する場合には、濃度が閾値よりも小さい画素を抽出する２値化を行なえばよい。

２値化によって対象領域５２の特定が可能になった後、基本的には第１実施形態と同様の手順によって、対象領域５２とその周囲との連続性が検出される。

まず、２値化画像４４において顕在化した対象領域５２の周囲の色をサンプリングするため、外接する仮想の矩形７２が設定され、矩形７２を囲む１画素幅の環状の画素列９１がサンプリング箇所として選定される。このとき、文字属性領域５１との連続性の有無を検出することができればよいので、画素列９１のうちの属性が文字属性である画素のみをサンプリングすべき注目画素に選定するのがよい。

次に、連続性の有無の判定に用いる比率Ｒを算出するため、対象領域５２の領域色が求められ、画素列９１における複数の注目画素のそれぞれについて、画素色と対象領域５２の領域色との色差が設定値よりも小さい画素（同色画素）であるか否かが判定される。
全ての注目画素についての判定が終わると、画素列９１における注目画素の個数Ｑに対する同色画素の個数ｑの比率Ｒが算出される。そして、比率Ｒと閾値“Ｒｔｈ２”とが比較される。比較の結果、比率Ｒが閾値Ｒｔｈ２以上であれば対象領域５２が文字属性領域５１と連続しているとみなされる。

図９の模式的な例では、画素列９１は画素９ａ，９ｂ，９ｃ，９ｄ，９ｅ，９ｆ，９ｇ，９ｓ，９ｗを含む８２個の画素で構成されており、８２個の画素のうちの６個の画素９ｂ，９ｃ，９ｄ，９ｅ，９ｆ，９ｇが注目画素でありかつ同色画素である。ただし、実際の画素数は画像の解像度に依存する。第２実施形態では注目画素が文字属性の画素に限られているので、第１実施形態の閾値Ｒｔｈと比べて大きい閾値Ｒｔｈ２を定めるのがよい。

対象領域５２と文字属性領域５１とが連続するということは、対象領域５２が文字の一部分に対応するということである。つまり、画像４０内の文字領域５０が文字属性の部分と非文字属性の部分とに区分されている。したがって、比率Ｒが閾値Ｒｔｈ２以上であれば、文字内の属性を統一する属性置換を行う必要である。上述のとおり、第２実施形態では、非文字属性領域が文字属性領域に置換される。図示された処理後の属性画像４２ｂでは、処理前の属性画像４２における非文字属性をもつ対象領域５２が文字属性領域５２ａに置換されている。

図１０は第２実施形態に係る画像処理装置１００ｂの構成を示している。図１０において図７の画像処理装置１００の要素と同一の要素には同一の符号が付されている。

画像処理装置１００ｂは、属性修正処理を受け持つ属性修正ブロック１３０を備える。属性修正ブロック１３０は、領域判別ブロック１１０によって生成された属性画像４２を必要に応じて修正した属性画像４２ｂを生成する。

図９および図１０を参照する。属性修正ブロック１３０において、対象領域特定部１３１は、属性画像４２の示す文字属性領域５１を除く部分を画像４０から抽出して２値化する。これによって属性画像４２における対象領域５２が顕在化される。領域色取得部１３２は、２値化画像４４によって特定される対象領域５２の領域色を、画像４０の色情報に基づく平均値計算によって取得し、領域色を示すデータＤＣ５２を置換要否判定部１３５に与える。矩形設定部１３３は、対象領域５２に外接する仮想の矩形７２を設定し、矩形７２の位置を示すデータＤ７２を置換要否判定部１３５に与える。

置換要否判定部１３５は、矩形７２を囲む画素列９１における文字属性の画素を注目画素として選び、注目画素がデータＤＣ５２の示す領域色と同一または近い画素色をもつ同色画素であるか否かを判定する。そして、置換要否判定部１３５は、注目画素の個数Ｑに対する同色画素の個数ｑの比率Ｒを算出し、比率Ｒと閾値Ｒｔｈ２とを比較する。比率Ｒが閾値Ｒｔｈ２以上である場合に、置換要否判定部１３５は対象領域５２の属性の置換が必要であると判定する。

属性置換部１３６は、置換要否判定部１３５による判定の結果を受けて、対象領域５２の属性を非文字属性から文字属性に置換する。属性画像４２に対する属性を置換する部分修正によって得られた修正後の属性画像４２ｂが、画像４０の領域判別情報として図示しない後段の画像処理ブロックに送られる。

図１１は属性修正ブロック１３０によって行なわれる属性修正処理の流れを示している。

対象領域特定部１３１による画像４１の２値化（＃１０）と、矩形設定部１３３による矩形７２の設定（＃１１ｂ）と、領域色取得部１３２による対象領域５２の領域色の算出（＃１２ｂ）とに続いて、画素色判別ループの処理が行なわれる。画素色判別ループでは、矩形７２を囲む画素列９１を構成する全ての画素が１画素ずつ順に処理の対象とされる。画素色判別ループの最初のステップ＃１３において、置換要否判定部１３５が画素の属性を判別する。注目した画素の属性が文字属性でなければ、すなわち非文字属性であれば（＃１３でＮＯ）、置換要否判定部１３５は当該画素を以降の処理の対象から除外する。これによって、比率Ｒの算出に関わるべき文字属性をもつ注目画素が選定されたことになる。

続いて、置換要否判定部１３５は注目画素の画素色を画像４０から抽出し（＃１４）、注目画素の画素色と対象領域５２の領域色との色差を算出する（＃１５ｂ）。色差が閾値以下であれば（＃１６でＹＥＳ）、注目画素は同色画素である。この場合、置換要否判定部１３５は同色画素の個数ｑのカウントを一つインクリメントし（＃１７）、かつ注目画素の個数Ｑのカウントを一つインクリメントする（＃１８）。色差が閾値を超える場合は（＃１６でＮＯ）、置換要否判定部１３５は注目画素の個数Ｑのカウントを一つインクリメントする（＃１８）。こうして画素色判別ループにおいて、矩形７２を囲む注目画素の個数Ｑと注目画素のうちの同色画素の個数ｑとを数え終えると、置換要否判定部１３５は個数Ｑに対する個数ｑの比率Ｒを算出して閾値Ｒｔｈ２と比較する（＃１９）。比率Ｒが閾値Ｒｔｈ２以上であれば（＃１９でＹＥＳ）、置換要否判定部１３５は矩形７２に内包される画素の総数を特定する矩形サイズとサイズ閾値とを比較する（＃１９Ｂ）。矩形サイズとサイズ閾値との比較は、例えば図４に示した三角形６０のような巨大な非文字属性部分を文字属性領域に置換してしまうのを防ぐための処理である。この処理のためのファームウェアを置換要否判定部１３５は用いる。矩形サイズとサイズ閾値との大小関係によって置換要否の判定結果が決まる。矩形サイズがサイズ閾値以下であれば（＃１９ＢでＹＥＳ）、属性置換部１３６が属性画像４２における対象領域５２の属性を非文字属性から文字属性に置換する（＃２０ｂ）。比率Ｒが閾値Ｒｔｈ２未満である場合（＃１９でＮＯ）、および矩形サイズがサイズ閾値を超える場合（＃１９ＢでＮＯ）、対象領域５２の属性は置換されない。

図１２は画像処理回路１６を備える画像形成装置１０の構成の一例を示している。上述の第１実施形態の画像処理装置１００および第２実施形態の画像処理装置１００ｂは、画像処理回路１６または画像処理回路１６の一部として画像形成装置１０に組入れることができる。

図１２において、画像形成装置１０は、コピーおよびファクシミリ通信を含む多数の機能を有するＭＦＰ（Multi-functional Peripheral）である。画像形成装置１０は操作パネル１４によるユーザーの指示および通信インタフェース１５を介して通信する外部機器からの要求に応じる。例えば、コピー動作において、ＡＤＦ（Auto Document Feeder）１２が原稿シートをイメージスキャナー１３の読取り位置へ搬送し、イメージスキャナー１３が原稿シートから画像を読み取る。イメージスキャナー１３によってデータ化された画像に対して画像処理回路１６が画質を最適化する画像処理を加え、処理後の画像をプリンターエンジン１７が例えば電子写真法によって用紙に印刷する。

画像処理回路１６は、ＡＳＩＣ技術によって作製された画像処理用のプロセッサーを備える。このプロセッサーは、入力された画像を文字属性領域と非文字属性領域とに区分する領域判別ブロック１１０の機能、および領域判別の結果を必要に応じて修正する属性修正ブロック１２０（または１３０）の機能を実現する。

画像形成装置１０の動作はコントローラー１１によって制御される。コントローラー１１は、制御用プログラムおよびアプリケーションプログラムを実行するコンピューターとしてのＣＰＵ（Central Processing Unit）を有している。プログラムはＲＯＭ(Read-Only Memory)に記憶されており、プログラムの実行に際してＲＡＭ(Random Access Memory)がワークエリアとして用いられる。

以上の第１実施形態および第２実施形態によれば、属性置換の要否判定の対象である領域（文字属性領域５１、対象領域５２）に外接する矩形７１，７２を設定するので、当該領域の周囲の色のサンプリングを簡便に行うことができる。領域の輪郭に沿ってサンプリングするのと違って、輪郭に沿うための複雑なフィルターが不要であり、矩形７１，７２の座標計算だけでサンプリングすべき画素を決定することができる。

第１実施形態によれば、属性画像４２によって領域範囲が既に特定されている文字属性領域５１を属性置換の対象領域とするので、対象領域を特定するための顕在化処理が不要となる分の処理時間の短縮およびリソースの負担軽減を図ることができる。

第２実施形態によれば、矩形７２のサイズが閾値以下である場合に限って非文字属性を文字属性に置換する（文字化する）ので、巨大な図形の一部が文字属性領域である誤判別された画像に対し、非文字属性領域であると正しく判別されていた残りの図形部分まで文字化してしまう、という副作用を防ぐことができる。

第１実施形態および第２実施形態において、装置の構成および処理の実行順序を本発明の趣旨に沿う範囲内で適宜変更することができる。例えば、上述の第２実施形態では、比率Ｒの算出に関わる注目画素を文字属性の画素に限定したが、そのような限定をせず、画素列９１の画素を全て注目画素としてもよい。ただし、その場合、非文字属性領域４１Ａにも対象領域５２の領域色に似た色をもつ画素の存在する可能性を否定できないので、連続性の検出の信頼性を高めるために、同色画素を文字属性の画素に限定するのがよい。また、第２実施形態において、矩形７２のサイズとサイズ閾値との比較を、比率Ｒを算出する以前、または比率Ｒと閾値Ｒｔｈ２を比較する以前に行ってもよい。対象領域５２を特定するための処理として、例えば文字色が限定されている場合には限定色に対応した設定範囲内の画素値をもつ画素を抽出してもよい。

画像処理装置１００，１００ｂの機能をソフトウェアによって、またはソフトウェアとハードウェアとの組合せによって実現してもよい。例えば、画像形成装置１０において実現する場合、画像処理用のプログラムを実行するコンピューターとして、コントローラー１１のＣＰＵを用いることができる。そのプログラムをコントローラー１１のＲＯＭに記憶させてもよいし、画像形成装置１０に組み付けられるハードディスクドライブのようなストレージに記憶させてもよい。

１００，１００ｂ 画像処理装置
５１ 文字属性領域
５２ 対象領域（非文字属性領域）
４１Ａ 非文字属性領域
４０ 画像
７１，７２ 矩形
１２３，１３３ 矩形設定部（設定部）
８ａ，８ｂ，８ｃ，８ｄ，８ｅ，８ｆ，８ｇ，８ｈ，８ｉ 画素
９ｂ，９ｃ，９ｄ，９ｅ，９ｆ，９ｇ 画素
１２５，１３５ 置換要否判定部（判定部）
１２６，１３６ 属性置換部（置換部）
８１，８２，９１ 画素列

Claims (12)

1. 画素ごとに文字属性と非文字属性とのいずれかが定められた画像に対して画像処理を行う画像処理装置であって、
   前記画像における前記文字属性をもつ画素で構成される文字属性領域に対して、当該文字属性領域に外接する矩形を設定する設定部と、
   前記画像における前記矩形の周囲の複数の画素のそれぞれについて、画素色と前記文字属性領域の色との色差が設定値よりも小さい同色画素であるか否か、を判定する判定部と、
   前記判定部による判定の対象である前記複数の画素の個数に対する前記同色画素であると判定された画素の個数の比率が閾値以上である場合に、前記文字属性領域内の画素の属性を前記文字属性から前記非文字属性に置換する置換部と、を備える
   ことを特徴とする画像処理装置。
2. 前記判定部による判定の対象である前記複数の画素は、前記画像における前記矩形を囲む１画素幅の環状の画素列に含まれる
   請求項１記載の画像処理装置。
3. 前記環状の画素列は、その全周にわたって前記矩形から少なくとも１画素離れている
   請求項２記載の画像処理装置。
4. 前記判定部による判定の対象である前記複数の画素は、前記非文字属性をもつ画素である
   請求項１ないし３のいずれかに記載の画像処理装置。
5. 画素ごとに文字属性と非文字属性とのいずれかが定められた画像に対して画像処理を行う画像処理装置であって、
   前記画像における前記非文字属性をもつ画素で構成される非文字属性領域のうちの設定範囲内の画素値をもつ部分である対象領域に対して、当該対象領域に外接する矩形を設定する設定部と、
   前記画像における前記矩形に接しかつ囲む環状の画素列に含まれる複数の画素のそれぞれについて、画素色と前記対象領域の色との色差が設定値よりも小さい同色画素であるか否か、を判定する判定部と、
   前記判定部による判定の対象である前記複数の画素の個数に対する前記同色画素であると判定された画素の個数の比率が閾値以上である場合に、前記対象領域内の画素の属性を前記非文字属性から前記文字属性に置換する置換部と、を備える
   ことを特徴とする画像処理装置。
6. 前記対象領域は、前記画像における前記非文字属性領域のうちの濃度が２値化閾値よりも大きいかまたは小さい部分である
   請求項５記載の画像処理装置。
7. 前記判定部による判定の対象である前記複数の画素は、前記文字属性をもつ画素である
   請求項５または６記載の画像処理装置。
8. 前記置換部は、前記矩形のサイズが設定サイズよりも小さく、かつ前記比率が前記閾値以上である場合に、前記対象領域内の画素の属性を前記非文字属性から前記文字属性に置換する
   請求項５ないし７のいずれかに記載の画像処理装置。
9. 画素ごとに文字属性と非文字属性とのいずれかが定められた画像のための画像処理方法であって、
   前記画像における前記文字属性をもつ画素で構成される文字属性領域に対して、当該文字属性領域に外接する矩形を定め、
   前記画像における前記矩形の周囲の複数の画素のそれぞれについて、画素色と前記文字属性領域の色との色差が設定値よりも小さい同色画素であるか否か、を判定し、
   判定の対象である前記複数の画素の個数に対する前記同色画素であると判定された画素の個数の比率が閾値以上である場合に、前記文字属性領域内の画素の属性を前記文字属性から前記非文字属性に置換する
   ことを特徴とする画像処理方法。
10. 画素ごとに文字属性と非文字属性とのいずれかが定められた画像のための画像処理方法であって、
    前記画像における前記非文字属性をもつ画素で構成される非文字属性領域のうちの設定範囲内の画素値をもつ部分である対象領域に対して、当該対象領域に外接する矩形を定め、
    前記画像における前記矩形に接しかつ囲む環状の画素列に含まれる複数の画素のそれぞれについて、画素色と前記対象領域の色との色差が設定値よりも小さい同色画素であるか否か、を判定し、
    前記判定部による判定の対象である前記複数の画素の個数に対する前記同色画素であると判定された画素の個数の比率が閾値以上である場合に、前記対象領域内の画素の属性を前記非文字属性から前記文字属性に置換する
    ことを特徴とする画像処理方法。
11. 画素ごとに文字属性と非文字属性とのいずれかが定められた画像に対して画像処理を行う画像処理装置において実行されるコンピュータープログラムであって、
    前記画像処理装置が有するコンピューターに、
    前記画像における前記文字属性をもつ画素で構成される文字属性領域に対して、当該文字属性領域に外接する矩形を設定する設定処理と、
    前記画像における前記矩形の周囲の複数の画素のそれぞれについて、画素色と前記文字属性領域の色との色差が設定値よりも小さい同色画素であるか否か、を判定する判定処理と、
    前記判定処理による判定の対象である前記複数の画素の個数に対する前記同色画素であると判定された画素の個数の比率が閾値以上である場合に、前記文字属性領域内の画素の属性を前記文字属性から前記非文字属性に置換する置換処理と、を実行させる
    ことを特徴とするコンピュータープログラム。
12. 画素ごとに文字属性と非文字属性とのいずれかが定められた画像に対して画像処理を行う画像処理装置において実行されるコンピュータープログラムであって、
    前記画像処理装置が有するコンピューターに、
    前記画像における前記非文字属性をもつ画素で構成される非文字属性領域のうちの設定範囲内の画素値をもつ部分である対象領域に対して、当該対象領域に外接する矩形を定める設定処理と、
    前記画像における前記矩形に接しかつ囲む環状の画素列に含まれる複数の画素のそれぞれについて、画素色と前記対象領域の色との色差が設定値よりも小さい同色画素であるか否か、を判定する判定処理と、
    前記判定部による判定の対象である前記複数の画素の個数に対する前記同色画素であると判定された画素の個数の比率が閾値以上である場合に、前記対象領域内の画素の属性を前記非文字属性から前記文字属性に置換する置換処理と、を実行させる
    ことを特徴とするコンピュータープログラム。

Images