JP2011013900A - 画像処理装置、画像処理方法、プログラム、及び記憶媒体 - Google Patents

Abstract

【課題】スキャンしたイラストの境界部に滲みが出る問題において、滲みに対応するラベル領域を同定し、隣接する他の領域に統合処理することにより、色領域を正確に分離しベクトル化する手法を可能にする。
【解決手段】画像入力手段と、入力した画像を色領域に分ける色領域分割手段と、個別のラベルを色領域に付与するラベリング手段と、ラベルが付与された色領域であるラベル領域の形状特徴を表わす情報を含むラベル形状情報を求めるラベル形状解析手段と、ラベル形状情報に基づいて、ラベルを付与されたラベル領域が微小領域かどうか判定する微小領域判定手段と、微小領域と判定された領域を隣接する領域に統合する微小領域統合手段を有し、入力の滲みに対応するラベル領域をラベル形状から判断し、隣接する領域に統合する。
【選択図】図１

Description

本発明は、画像処理技術に関するものである。より詳細には、本発明はスキャンした画像のイラストの境界部における滲みを解消させるための画像処理装置、画像処理方法、プログラム、および記憶媒体に関する。

近年、情報の電子化が進み、紙文書をそのまま保存するのではなく、スキャナ等により電子化して保存したり、その電子データを他装置に送信したりするシステムが普及してきている。送信コストを削減するため、電子化された文書に対して高い圧縮性が要求されている。一方、電子データの圧縮においては、電子化データを部分的に編集出来る再利用性と、拡大や縮小を行っても画質が落ちない高画質性とが要求されている。

ところが、文書データに文字領域や写真領域が混在する場合、文字領域に適した圧縮を行うと画質は良いが圧縮率が低くなり、写真領域に適した圧縮を行うと圧縮率は高いが文字が劣化してしまう問題がある。そこで、次のような手法が提案されている。まず、電子化された文書データ（文書画像）を文字領域や写真領域に分離し、再利用性と高画質性が重視される文字領域をベクトルデータに変換する。そして、それ以外の簡易にベクトル化できない写真領域等をJPEGで圧縮し、各領域の圧縮結果を合成して出力することにより、文書画像の高圧縮性、再利用性、高画質性を実現する手法が提案されている（特許文献１を参照）。

また文字領域だけでなく、数色の均等色で構成され、輪郭がはっきりしている特徴を持つ図形領域（イラストやクリップアート、線画と一般的に呼ばれる）をベクトル処理の対象とする手法も提案されている（特許文献２を参照）。ここで提案されている方式は、入力画像に対して色の類似度を使って入力画像の色数を減色し、次に各色領域の輪郭線を抽出した後に関数近似を行って色情報を加えてベクトルデータを出力するものである。

スキャン画像のベクトル化を行うには入力画像に含まれるスキャンノイズを低減し、原画像の輪郭を抽出する必要があるが、その前処理として減色処理が必要となる。クラスタリングを用いる場合、最初にクラスタリングで色数をある程度絞った後、後処理で類似色のクラスタ同士を統合することでより正確な色分離を行う手法が取られてきた。例えば特許文献３ではクラスタリングを行った結果に対し、所定の閾値よりも小さい画素数をもつクラスタを削除する手法が提示されている。

特開２００４−２６５３８４号公報 特開２００６−３４４０６９号公報 特開２００６−３４４０６９号公報

イラストには細い線画領域や強いエッジ成分を含むものもあるが、こういった画像を処理すると該領域の周辺に滲みが発生し、滲みによって発生した色が入力画像と異なる色になるため、以降の画像処理においても悪影響を与えてしまう。また、滲みが発生した領域に対して本来不要であったベクトルデータが生成されてしまうため、結果としてベクトルデータのサイズは大きくなり、データの再利用性も悪くなるという課題がある。

また、ベクトルフォーマットでは対応しているレンダラの性能限界により、レンダリング可能な線幅に下限があるものがある。細い線形状のノイズを含んだ画像をベクトル化し、レンダリング可能な線幅に下限があるベクトルフォーマットで出力すると、図４に示すように線形状のノイズが実際よりも太く表示され、線が滲んで見えるようになり、画質が劣化して見える問題もある。例えば、元の原稿画像では１本の線画像であった部分が、色の誤差により２本の平行な線状領域にクラスタリングされ、各線状領域をベクトル化すると２つの隣接する細い線を表すベクトルデータが生成されることになる。このベクトルデータの線幅がレンダリング可能な下限よりも細い場合、レンダリングしたときに太く再現されてしまうので、２本の線が存在する部分が滲んだように太く見えてしまう。例えば、図４の左側のように１００％で表示した時、ベクトルデータの線幅がレンダリング可能な線幅より細いため、線が滲んだように再現される。なお、その滲んだように見えている部分を４００％に拡大して見ると、図４の右側のように、ベクトルデータの線幅に基づいて正確に拡大再生されるので、２本のベクトルデータが元の１本の線のように見えることもある。

上記課題を解決するために、本発明に係る画像処理装置は読み取った画像を入力する画像入力手段と、前記入力した画像を色領域に分ける色領域分割手段と、個別のラベルを前記各色領域に付与するラベリング手段と、前記ラベルが付与された色領域であるラベル領域の形状特徴を表わす情報を含むラベル形状情報を求めるラベル形状解析手段と、前記ラベル形状解析手段で求めたラベル形状情報に基づいて、前記ラベルを付与されたラベル領域が微小領域かどうか判定する微小領域判定手段と、前記微小領域と判定された領域を隣接するラベルに統合する微小領域統合手段とを備えることを特徴とする。

また、本発明に係る画像処理方法は、読み取った画像を入力する画像入力工程と、前記入力した画像を色領域に分ける色領域分割工程と、個別のラベルを前記各色領域に付与するラベリング工程と、前記ラベルが付与された色領域であるラベル領域の形状特徴を表す情報を含むラベル形状情報を求めるラベル形状解析工程と、前記ラベル形状解析工程で求めたラベル形状情報に基づいて、前記ラベルを付与されたラベル領域が微小領域かどうか判定する微小領域判定工程と、前記微小領域と判定された領域を隣接するラベルに統合する微小領域統合工程とを備えることを特徴とする。

本発明は、色領域を分割してラベルを付与したラベル領域の形状特徴を表わすラベル形状情報に基づいて微小領域を判定する。そして、判定した微小領域を他の領域と統合するので、細い線画領域や強いエッジ成分近辺に色が滲み出る問題を解決し、精度が高い色成分の分離が出来る。このため、イラストをベクトル化した際のデータ量が削減でき、かつ部品としての再利用性を向上させることが可能になる。

本発明の実施形態１に係る画像処理装置の機能構成を示すブロック図である。 図１に示す画像処理装置を実現したディジタル複合機（ＭＦＰ）の主要部構成を例示するブロック図である。 実施形態１におけるイラスト領域のベクトル化処理の概略を説明するためのフローチャートである。 レンダリング可能な線幅に上限があるベクトルフォーマットで細い線状のノイズ領域を残したままベクトル化した表示結果を示す図である。 実施形態１の画像処理において圧縮、スキャン等による線画領域に発生する色の滲み出る一例を示す図である。 イラスト領域分割処理を説明するためのフローチャートである。 微小領域の再処理を説明するフローチャートである。 線形状判定を行う対象のラベルと抽出情報例である。 実施形態１の画像処理において微小領域の統合処理を実行した例である。 １画素ずつ統合処理を行う例を示した図である。

＜実施形態１＞
以下、図面を参照して本発明に係る画像処理装置を用いたイラスト画像の色分離処理について詳細に説明する。ただし、この実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術的範囲は特許請求の範囲によって確定されるのであって以下の個別の実施形態によって限定されるものではない。

図１は、本発明の実施形態に係る画像処理装置の構成を示すブロック図である。画像処理装置は、イラストのベクトル化処理における色分離処理を行う機能を有する。

図１において、画像入力部１０は、例えば、スキャナ等の画像読取手段を介して紙情報から入力されたモノクロまたはカラー画像データの入力を受け付ける。グラフィックス領域抽出部１１は入力画像から属性が文字でもない写真でもないグラフィックス領域を抽出する。属性が文字の場合には、ベクトル化の対象となり、属性が写真の場合には、ベクトル化の対象とはならず、例えばＪＰＥＧ等での圧縮処理が行なわれる。本実施形態では、属性が文字および写真を除いたグラフィックス領域を抽出し、このグラフィックス領域からベクトル変換の対象となるイラスト領域を抽出する。色領域分離部１２はイラスト領域を色成分に分ける。この色領域分離部１２を用いて本実施形態の特徴的な処理が行なわれることになる。詳細については後述する。イラスト領域ベクトル変換部１３はイラスト領域の色分離結果をベクトルデータに変換する。ベクトル出力部１４は、イラスト領域ベクトル変換部１３の処理結果得られるベクトルデータを出力する。

図２は、図１に示す画像処理装置を実現した一実施形態であるディジタル複合機（ＭＦＰ：Multifunction Peripheral）の主要部構成を示すブロック図である。尚、本実施形態では、画像処理装置として、スキャナ機能やプリンタ機能を有するディジタル複合機（ＭＦＰ）を用いているが、汎用のスキャナとパーソナルコンピュータとを接続したシステムを当該画像処理装置として用いてもよい。

図２に示すように、ＭＦＰは、画像処理装置の制御手段として機能するコントローラユニット２０００を備えている。コントローラユニット２０００は、画像入力デバイスであるスキャナ２０７０や画像出力デバイスであるプリンタ２０９５と、デバイスインタフェース（I/F）２０２０を介して接続する。そして、コントローラユニット２０００は、スキャナ２０７０で原稿画像から読み取られた画像データをプリンタ２０９５によって印刷出力するコピー機能を実現するための制御を行うことが可能である。また、コントローラユニット２０００は、ＬＡＮ１００６や公衆回線（ＷＡＮ）１００８を介して他装置との間でパターン画像やデバイス情報等の入出力を行うための制御を行うことが可能である。

コントローラユニット２０００は、図２に示すように、ＣＰＵ２００１を有している。ＣＰＵ２００１は、ＲＯＭ２００３に格納されているブートプログラムによりオペレーションシステム（ＯＳ）を立ち上げる。そして、このＯＳ上でＨＤＤ（ハードディスクドライブ）２００４に格納されているアプリケーションプログラムを実行することによって各種処理を実行する。ＣＰＵ２００１の作業領域として、ＲＡＭ２００２が用いられる。ＲＡＭ２００２はまた、ＣＰＵ２００１の作業領域だけでなく、画像データを一時記憶するための画像メモリ領域をも提供する。ＨＤＤ２００４は、上記アプリケーションプログラムとともに、画像データを格納する。

ＣＰＵ２００１には、システムバス２００７を介して、ＲＯＭ２００３やＲＡＭ２００２が接続している。ＣＰＵ２００１には、操作部Ｉ／Ｆ（インタフェース）２００６、ネットワークＩ／Ｆ（インタフェース）２０１０、モデム２０５０及びイメージバスＩ／Ｆ（インタフェース）２００５が接続されている。

操作部Ｉ／Ｆ２００６は、タッチパネルを有する操作部２０１２とのインタフェースであり、操作部２０１２に表示する画像データを操作部２０１２に対して出力する。また、操作部Ｉ／Ｆ２００６は、操作部２０１２においてユーザにより入力された情報をＣＰＵ２００１に送出する。

また、ネットワークＩ／Ｆ２０１０は、ＬＡＮ１００６に接続され、ＬＡＮ１００６を介してＬＡＮ１００６に接続された各装置との間で情報の入出力を行う。モデム２０５０は、公衆回線１００８に接続し、公衆回線１００８を介して他装置との間で情報の入出力を行う。

イメージバスＩ／Ｆ２００５は、システムバス２００７と画像データを高速で転送する画像バス２００８を接続し、データ構造を変換するためのバスブリッジである。画像バス２００８は、ＰＣＩバス又はＩＥＥＥ１３９４から構成される。画像バス２００８上には、ラスタイメージプロセッサ（ＲＩＰ）２０６０、デバイスＩ／Ｆ２０２０、スキャナ画像処理部２０８０、プリンタ画像処理部２０９０、画像回転部２０３０、及び画像圧縮部２０４０が設けられている。

ＲＩＰ２０６０は、ＰＤＬ（page description language）コードをビットマップイメージに展開するプロセッサである。デバイスＩ／Ｆ２０２０には、スキャナ２０７０及びプリンタ２０９５が接続され、画像データの同期系／非同期系の変換を行う。スキャナ画像処理部２０８０は、入力画像データに対して補正、加工、編集処理を行う。プリンタ画像処理部２０９０は、プリント出力画像データに対してプリンタの補正、解像度変換等を行う。画像回転部２０３０は、画像データの回転を行う。画像圧縮部２０４０は、多値画像データをＪＰＥＧデータに、ニ値画像データをＪＢＩＧ、ＭＭＲ、ＭＨ等のデータに圧縮するとともに、その伸長処理も行う。

図３は、実施形態１におけるイラストベクトル化処理の概略を説明するためのフローチャートである。

まず、画像入力部１０において、スキャナより画像情報を入力し、カラー文書画像データを得る（ステップＳ３１０）。次に、グラフィックス領域抽出部１１において、入力されたカラー文書画像を二値データに変換し、この二値画像データを文字、写真、表等の複数種類の領域に抽出して分離する。この領域分離処理を実現する一例として、米国特許第５６８０４７８号公報に記載の領域分離技術を用いることが出来る。尚、当該公報には、「Method and Apparatus for character recognition (Shin-Ywan Wang et al./Canon K.K.)」が記載されている。領域の属性が文字・写真・表のいずれでもないものを選択することでグラフィックス領域を抽出することができる（ステップＳ３１１）。この抽出されたグラフィックス領域に含まれる線画領域（図形領域）のことを本明細書ではイラスト領域と称する。

次にイラスト領域の色領域分離部１２において、各画素の色特徴及び各領域の連結等の情報に基づき各色領域に分ける（ステップＳ３１２）。このイラスト領域の色領域分割処理（色分離処理）の詳細については後述する。

次にイラスト領域ベクトル変換部１３において、分離された各色領域をベクトルデータに変換する（ステップＳ３１３）。このベクトル処理を実現する一例としては、例えば、特許第２８８５９９９号公報に記載の、二値画像の輪郭線の追跡を行い、その座標ベクトルを選択することによりベクトル化するものが挙げられる。

最後に、ベクトルデータ出力部１８（ステップＳ３１４）において、ベクトル化の結果を出力する。

イラスト領域色分離処理（ステップＳ３１２）の詳細を、図５を用いて説明する。まず、ステップＳ７０１では、処理対象となるイラスト画像を入力する。このイラスト画像は、先に説明したように、領域の属性が文字・写真・表のいずれでもない領域の画像のことである。そして、ステップ７０２では、入力したイラスト画像の各画素の色特徴量に基づいてクラスタリング処理を行う。この処理では画像の左上に位置する画素を用いて最初のクラスタを生成する。そして、ラスタスキャン順に画素を見ていき、以降の全画素に対して、全てのクラスタ間との色特徴量の類似度を求める。類似度が高いほど、着目画素とクラスタとの特徴が近いと考えられる。ここでは、類似度の計算にＲＧＢ値を用いるが、他のカラー空間の情報、或いは、カラー以外の情報を特徴量として用いてもよい。そして、一番高い類似度と、この類似度に対応したクラスタ番号とを一時記録し、この類似度を事前に設定された閾値（第７の閾値）と比較する。類似度が閾値より高ければ、着目画素を、当該最も類似度が高かったクラスタに属させる。類似度が閾値より低ければ、着目画素を基に新たなクラスタを生成する。この処理は全ての画素を処理し終えるまで繰り返し実行する。

次に、ステップＳ７０３では、先のステップＳ７０２のクラスタリング処理結果に基づき、クラスタ統合処理を行う。この処理では、画素数が小さいクラスタから順に取り出し、もっとも特徴情報が類似したクラスタを探索する。類似度の計算にＲＧＢ値を考えた場合、類似度は２つのクラスタ間の色距離を求めることで用いることができる。両クラスタが類似していると考えられる場合は両クラスタを統合し、すべてのクラスタに対してこの処理を行う。こうすることで所定の類似度内のクラスタを１つにまとめることが可能となる。

図６は、実施形態１の画像処理においてクラスタ統合処理後に見られる圧縮、スキャン等によるイラスト中の細線・エッジ近辺に発生する色の滲みを示す図である。原画は図６（ａ）に示すように緑線、赤線、青線からなる画像であるとする。この画像をスキャナで読み取り、クラスタリングを用いて減色処理を行うと、主要な色線として、図６（ｂ）に示すように緑線４０１、赤線４０２、青線４０３が得られる。一方で、図６（ｃ）に示すように主要な色線付近に断片的な短い滲み線として、緑線４０１の付近にうすい緑線４０１’、赤線４０２の付近に黄色線４０２’、青線４０３の付近にうすい青線４０３’が生じることがある。すなわち、スキャンしたときに、主要な線分の一部が線分４０１〜４０３と別の色と判定され、別の線分４０１’〜４０３’として分離されてしまう場合がある。これらの別の線分は、結果としてベクトルデータのサイズを大きくし、レンダリング時の滲みの原因となり、またデータの再利用性も低減させてしまう。そこで以降の処理でこの領域を主要な色線に統合し、精度のよい色別画像の生成を行う必要がある。

ステップＳ７０４では、先のステップＳ７０３のクラスタ統合処理の結果に基づき、ラベリング処理を行う。ラベリング処理とは、画素の集合に番号を付与することで画素を分類する処理のことである。このラベリング処理では、各クラスタ内に含まれるラベル領域の数を示す連結情報（ラベル数）、各ラベル領域の幅、及び各ラベル領域の外接矩形といった形状情報を含むラベル形状情報を求める。なお、ラベル領域の外接矩形とは、図８の点線に示すように、ラベル領域が外接する矩形のことであり、その内部にラベル領域を内包する矩形のことを示す。各ラベル領域は、それぞれ対応する外接矩形を有することになる。また、ラベル形状情報には、ラベルの画素数が含まれてもよい。

そして、ステップＳ７０５では、上記のラベリング処理により求められた各ラベルの連結情報、及び各ラベル領域の形状特徴を含むラベル形状情報に基づき、再処理の必要があるラベル領域を微小領域として処理する（ラベル形状解析処理）。この微小領域の判定処理と統合処理については後で詳細に説明する。ステップＳ７０６で各色領域の２値画像を出力し、処理は終了となる。なお、出力された２値画像は、上述したようにベクトル変換されて出力されることになる。

次に、Ｓ７０５に示した微小領域の判定処理および統合処理（再処理）について説明する。微小領域判定処理では、まず初めにラベルの形状を解析する。これは各ラベルの画素数やラベルの形状が線形状かどうかといった特徴を判断する処理である（線状微小領域判定処理）。これはベクトル化に不向きな領域を検出するために行う。画素数が非常に小さなラベルや線形状のラベルがこれに該当し、これらはデータ量の増加や、滲みの原因、編集性の低下などの問題を引き起こす。画素数が非常に小さなラベルや線形状のラベルはどちらもスキャンノイズが主に影響してクラスタリング結果に生じる。そのためこれらの領域はクラスタリング処理の結果として異なる色領域と判定されても、他のラベル領域と統合可能か判断し、ベクトル化処理に適した処理単位にする必要がある。

なお、ラベルの画素数は、ラベル番号と、番号に対応するラベルの画素数との集計表を用意しておくことで、画像全体に対する1回のラスタ走査で得ることができる。ラスタスキャン後に各ラベルの画素数を第５の閾値と比較することで着目するラベルが微小領域かどうかを判断することができる。第５の閾値はいくつに設定してもよいが、入力スキャン画像が300dpiとすると、5画素未満のラベルは目視で確認することが困難であり、他の領域に統合されても視覚的な劣化を生じることが少ない。そこで本実施形態では第５の閾値を5とし、5画素未満の画素数のラベルを微小サイズと判断する。この第５の閾値は入力解像度や入力画像サイズに応じて異なる値を用いてもよい。例えば入力解像度や入力画像サイズが大きい場合、視覚的な劣化が検知できない画素数の上限値はもっと大きくなるため、大きい値を用いたほうが良い。

またラベルが線形状の微小領域かどうか判定するための判定方式として、ここでは以下のような方式があると考えられる。図８に示したラベルを例として考える。このラベルの外接矩形の横幅が100ピクセル、縦幅が15ピクセル、ラベルの画素数が150ピクセルで、黒のラベルと白のラベルの境界に位置する画素数(境界線の長さ)が200ピクセルであるとする。

例えば、第１の判定方式では、一方向の辺の長さに対するもう一方向の辺の長さの比（例えば外接矩形の長いほうと短いほうの長さの比）を求め、第１の閾値よりも大きい値であれば外接矩形が長細い形状をしているとしてラベルが線形状であると判断する。第１の閾値を例えば5とすると、この場合、
外接矩形の長手方向の長さ ÷もう一方の外接矩形長 = 6.67
となり、閾値の5よりも大きな値となるためラベルを線形状と判定することができる。

第二の判定方式では外接矩形の面積とラベルの画素数との比を用いる。これは外接矩形の面積と実際のラベルの画素数の比を求め、第２の閾値以下であれば、外接矩形に占めるラベルの画素数が少ないと判断し、線形状のラベルと判断する。第２の閾値を例えば7とすると
外接矩形の面積 ÷ ラベルの画素数 = 10
となり、閾値の7よりも大きな値となるため、ラベルを線形状として判定することができる。

第三の判定方式ではラベル同士の境界に位置する画素数(境界線の長さ)とラベルの画素数の比を用いる。これは他のラベルに接している境界線の長さ（周囲長）とラベルの画素数の比を求める。比の大きさが第３の閾値以上であれば、着目したラベルが線形状であると判断する。第３の閾値を例えば1.0とすると
他のラベルとの境界線の数 ÷ ラベルの画素数 = 1.33
となり、閾値の1.0よりも大きな値となるため、ラベルを線形状として判定することができる。

以上のように微小領域を判定したのちに、微小領域の統合処理を行う。微小領域統合処理の流れを図７に示す。微小領域の統合手段では隣接した2つのラベル領域を統合するべきかどうか、先に判定した微小領域を表わす情報と両ラベルの類似度を用いて判断する。本実施例では類似度の指標としてRGB色空間での色距離とHSV色空間での色相を用いる。まずステップＳ４６０１で一方のラベルの画素数が第５の閾値以下の微小領域かどうかを判定する。微小サイズのラベルが一方に含まれると判定した場合、ステップＳ４６０６へ進み、当該２つの領域の色距離に関する閾値（第８の閾値）を設定する。このような微小なサイズとして残っているラベルはスキャンノイズが原因で発生した周囲を背景クラスタに囲まれた孤立点であると考えられる。よって第８の閾値を緩めに設定することでスキャンノイズをなくすことができる。すなわち、ステップＳ４６０１で一方のラベルの画素数が第５の閾値以下だった場合、色相の差を見ることなく、ステップＳ４６０７で2つのラベル間の色距離を第８の閾値と比較して、統合するかどうか判断する。

ステップＳ４６０１で両方のラベルの面積が第５の閾値よりも大きいと判断した場合、ステップＳ４６０２で少なくとも一方のラベルが線形状であるかどうかを確認する。一方のラベルが線形状の場合、ステップＳ４６０４に処理を移す。両方のラベルが線形状でなかった場合、ステップＳ４６０３に処理を移す。

ステップＳ４６０３では、少なくとも一方のラベルが第９の閾値以下かどうかを見る。これは画素数が大きいラベルが統合されるのを防ぐためである。2つのラベルの画素数がともに第９の閾値よりも大きい場合、ラベルの統合処理は行わないため判断処理を終了する。一方の画素数が第９の閾値以下の場合はステップＳ４６０５に処理を移す。

ステップＳ４６０４では、当該線形状と判断されたラベルの幅が出力フォーマットにより定まる第４の閾値以下かどうかを判断する。第４の閾値はレンダリング可能な線幅の下限値（最小値）に基づいて決定される。線幅がレンダリング可能な線幅の下限値より小さいラベルをベクトル化し、当該ベクトル化後のデータをレンダラで表示した場合、着目しているラベルが正確な線幅で表示されず、画質が劣化する要因になってしまう。そこで線形状のラベルの線幅が第４の閾値以下である場合は色相の差を確認するステップＳ４６０５を省略し、ステップＳ４６０６においてラベル同士を統合するための色距離の閾値（第８の閾値）として緩めの値を設定する。こうすることで着目している線形状のラベルが統合されやすくする。

なお、線幅が１または２のラベルの場合、当該ラベルが付与された領域の境界線（輪郭線）の長さ（１画素分の長さを１とする）が、ラベルの画素数以上になる。したがって、第４の閾値が２の場合は次のようにして判定すれば高速に判定できる。すなわち、ラベルの境界線長さとラベルの画素数との比（ラベルの境界線長さ／ラベルの画素数）が１より大きければ、当該ラベルの線幅は２以下であると判定する。また、第４の閾値が３以上の場合は、当該ラベルを構成する領域の輪郭の距離を求めることで各ラベルの線幅を求め、ステップＳ４６０４での判断に用いることができる。このように、出力ベクトルフォーマットに応じて第４の閾値を設定し、それ以下の幅を持つラベル領域をノイズ成分として他の領域に統合しやすくすることでベクトルデータをレンダリングした際の画質を向上することができる。

ステップＳ４６０５では着目した2つのラベルの色相の差を見る。色相は着目画素のラベルの色空間をHSVに変換し、Hの値を参照すれば差を求めることができる。この差が第１０の閾値以下のときは、ステップＳ４６０６に進む。このときHの値を参照し、両ラベルが黒に近い色をしている場合、この後の色距離の判断で用いる第８の閾値をステップＳ４６０６において緩く設定することができる。これは黒い画像は色距離が遠く出る傾向にあり、他の色と同じように統合するには閾値を緩くとる必要があるためである。両ラベルが黒に近いかどうかは両方のラベルのHの値が第９の閾値以下かどうかを見ることで判断することができる。なお、ステップＳ４６０５で色相の差が第１０の閾値よりも大きいと判断した場合は、ラベルの統合処理は行わず判断処理を終了する。

ステップＳ４６０７では着目した2つのラベルの色距離を見る。色距離はRGBのマンハッタン距離(シティブロック距離)やユークリッド距離を用いることができる。この色距離が第８の閾値以下の時はステップＳ４６０８で両ラベルを統合する。統合処理は画素数が大きいラベル番号で、画素数が小さいほうのラベル番号を書き換え、ラベルに関する形状情報を更新することで行なわれる。

図９は、実施形態１の画像処理において微小領域の統合処理を行った結果である。線状微小領域はそれぞれ位置的に近い赤線領域に入れられ、画像は緑線、青線、赤線と三つのまとまった色領域に分離できるようになった。

以上説明したように本実施形態によれば、圧縮、スキャン等による発生する滲みは綺麗にまとまった色領域に分離することが可能になる。それにより、ベクトル化結果が改善され、文書画像の圧縮性や再利用性を向上させることが可能になる。

＜実施形態２＞
上記の実施形態１では、ラベルの統合先を選択する場合、統合条件を満たすラベルが最初に見つかった時に統合する例を挙げたが、本発明でカバーされる範囲はこれに限らない。例えば隣接するラベル同士を統合できるか全ての組み合わせに対して確認し、最も色距離が近いラベル同士を優先して統合してもよい。この場合、実施形態１で述べたやり方と比較して長い処理時間を要するが、より正確な色別画像を生成することができる。

また着目しているラベルが線形状の場合、端点箇所に接続先としてふさわしいラベルが接していることも多い。そこで着目ラベルの端点箇所に接続しているラベルの中で、最も色距離が近いラベル同士を統合してもよい。

＜実施形態３＞
上記の実施形態1または2では条件を満たす隣接するラベル領域に統合した。実施形態３では統合を判定する条件として、統合先のラベル領域が主要色を構成するラベル領域（主要色領域）かどうかを考慮して決定する。ラベルが主要色を構成するかどうかは、図７のステップＳ４６０８において、統合先ラベル領域の画素数が第６の閾値よりも大きいかどうかを見ればよい。この条件を満たす場合、統合先ラベル領域を主要色と判断し、2つのラベルの統合処理を行う。

＜実施形態４＞
上記の実施形態1から3では線状微小領域の再処理は、各線状微小領域、即ち、ラベル単位で、隣接クラスタに統合するものとした。本実施形態では、線状微小領域の再処理は、その線状微小領域にある各画素を画素単位で主要色クラスタに再統合するものとする。画素単位で統合処理を行うことで入力画像の原画に近い形状を保ったまま色分離処理を行うことができる。

図１０では白のラベルとグレーのラベルと、第５の閾値未満の画素数の薄いグレーのラベルの３つがある。1画素ずつ統合処理を行う例では図の黒丸で示した箇所を順次着目し、周囲のラベルの状況を見て、もっとも割合が多いラベルに画素単位で統合する。Aが処理前の状態とすると、A〜Cでは黒丸で示した画素に隣接する領域を参照すると白いラベルの割合が最も多い。よって順次黒丸で示した画素を白いラベルで置き換えていく。Dではグレーのラベルの割合が多くなるため、白ではなくグレーのラベルで置き換える。こういった処理を行うことで最終的にEで示す画像を得ることが出来る。

＜他の実施形態＞
なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録したコンピュータ可読の記憶媒体を、システムあるいは装置に供給することによっても、達成されることは言うまでもない。また、システムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読出されたコンピュータ装置が実行可能なプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶したコンピュータ読み取り可能な記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、不揮発性のメモリカード、ＲＯＭなどを用いることが出来る。

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現される。また、プログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態が実現される場合も含まれることは言うまでもない。

Claims (32)

1. 読み取った画像を入力する画像入力手段と、
   前記入力した画像を色領域に分ける色領域分割手段と、
   個別のラベルを前記各色領域に付与するラベリング手段と、
   前記ラベルが付与された色領域であるラベル領域の形状特徴を表わす情報を含むラベル形状情報を求めるラベル形状解析手段と、
   前記ラベル形状解析手段で求めたラベル形状情報に基づいて、前記ラベルを付与されたラベル領域が微小領域かどうか判定する微小領域判定手段と、
   前記微小領域と判定された領域を隣接するラベルに統合する微小領域統合手段と
   を備えることを特徴とする画像処理装置。
2. 前記微小領域判定手段は、
   前記ラベル形状解析手段で求めたラベル形状情報を用いて、前記ラベル領域の中の着目ラベルの領域が線状微小領域かどうかを判定する線状微小領域判定手段であることを特徴とする請求項１に記載の画像処理装置。
3. 前記線状微小領域判定手段は、
   前記着目ラベルの領域に対応する外接矩形において、一方向の辺の長さに対するもう一方向の辺の長さの比が第１の閾値より大きいラベル領域を前記線状微小領域と判定することを特徴とする請求項２に記載の画像処理装置。
4. 前記線状微小領域判定手段は、
   前記着目ラベルの領域の画素数と前記着目ラベルの領域に対応する外接矩形の面積との比が第２の閾値より大きいラベル領域を前記線状微小領域と判定することを特徴とする請求項２に記載の画像処理装置。
5. 前記線状微小領域判定手段は、
   着目ラベルの領域の画素数と前記着目ラベルの周囲長との比が第３の閾値より大きいラベル領域を前記線状微小領域と判定することを特徴とする請求項２に記載の画像処理装置。
6. 前記線状微小領域判定手段は、
   出力フォーマットの種類、入力画像のサイズ、または入力画像の解像度の少なくとも１つの情報に応じて決定される最小のラベルの幅を第４の閾値として設定し、
   前記第４の閾値以下の幅のラベル領域を前記線状微小領域と判定することを特徴とする請求項２に記載の画像処理装置。
7. 前記ラベル形状解析手段は、ラベルの画素数を含むラベル形状情報を求め、
   前記微小領域判定手段は、
   前記ラベル形状解析手段で求めたラベルの画素数が予め定められた第５の閾値より少ない領域を微小領域と判定することを特徴とする請求項１に記載の画像処理装置。
8. 前記画像入力手段は、
   前記入力した画像からグラフィックス領域を抽出する領域抽出手段をさらに備え、
   前記色領域分割手段は、前記グラフィックス領域を前記色領域に分けることを特徴とする請求項１に記載の画像処理装置。
9. 前記色領域分割手段は、
   あるラベル領域の画素数が予め定められた第６の閾値より多い領域を主要色領域とし、
   前記微小領域統合手段は、
   統合先のラベル領域を前記主要色領域から選択することを特徴とする請求項１に記載の画像処理装置。
10. 前記微小領域統合手段の結果得られる画像データをベクトル化するベクトル化手段をさらに備えることを特徴とする請求項１に記載の画像処理装置。
11. 前記微小領域統合手段は、
    統合条件を満たす最初に見つかった領域に前記微小領域を統合することを特徴とする請求項１に記載の画像処理装置。
12. 前記微小領域統合手段は、
    統合条件を満たす領域の中で最も色距離が近い領域に前記微小領域を統合することを特徴とする請求項１に記載の画像処理装置。
13. 前記微小領域統合手段は、
    線状微小領域を処理する場合、統合条件を満たす領域の中で前記線状微小領域の端点に接続している領域を優先して統合することを特徴とする請求項１に記載の画像処理装置。
14. 前記微小領域統合手段は、
    画素ごとに統合先のラベル領域を切り替えることを特徴とする請求項１に記載の画像処理装置。
15. 前記ラベル形状解析手段は、
    画素数、幅、または外接矩形の情報のうち少なくとも1つの情報を求めることを特徴とする請求項１に記載の画像処理装置。
16. 読み取った画像を入力する画像入力工程と、
    前記入力した画像を色領域に分ける色領域分割工程と、
    個別のラベルを前記各色領域に付与するラベリング工程と、
    前記ラベルが付与された色領域であるラベル領域の形状特徴を表す情報を含むラベル形状情報を求めるラベル形状解析工程と、
    前記ラベル形状解析工程で求めたラベル形状情報に基づいて、前記ラベルを付与されたラベル領域が微小領域かどうか判定する微小領域判定工程と、
    前記微小領域と判定された領域を隣接するラベルに統合する微小領域統合工程と
    を備えることを特徴とする画像処理方法。
17. 前記微小領域判定工程は、
    前記ラベル形状解析工程で求めたラベル形状情報を用いて、前記ラベル領域の中の着目ラベルの領域が線状微小領域かどうかを判定する線状微小領域判定工程であることを特徴とする請求項１６に記載の画像処理方法。
18. 前記線状微小領域判定工程は、
    前記着目ラベルの領域に対応する外接矩形において、一方向の辺の長さに対するもう一方向の辺の長さの比が第１の閾値より大きいラベル領域を前記線状微小領域と判定することを特徴とする請求項１７に記載の画像処理方法。
19. 前記線状微小領域判定工程は、
    前記着目ラベルの領域の画素数と前記着目ラベルの領域に対応する外接矩形の面積との比が第２の閾値より大きいラベル領域を前記線状微小領域と判定することを特徴とする請求項１７に記載の画像処理方法。
20. 前記線状微小領域判定工程は、
    着目ラベルの領域の画素数と前記着目ラベルの周囲長との比が第３の閾値より大きいラベル領域を前記線状微小領域と判定することを特徴とする請求項１７に記載の画像処理方法。
21. 前記ラベル形状解析工程は、ラベルの画素数を含むラベル形状情報を求め、
    前記線状微小領域判定工程は、
    出力フォーマットの種類、入力画像のサイズ、または入力画像の解像度の少なくとも１つの情報に応じて決定される最小のラベルの幅を第４の閾値として設定し、
    前記第４の閾値以下の幅のラベル領域を前記線状微小領域と判定することを特徴とする請求項１７に記載の画像処理方法。
22. 前記微小領域判定工程は、
    前記ラベル形状解析工程で求めたラベルの画素数が予め定められた第５の閾値より少ない領域を微小領域と判定することを特徴とする請求項１６に記載の画像処理方法。
23. 前記画像入力工程は、
    前記入力した画像からグラフィックス領域を抽出する領域抽出工程をさらに備え、
    前記色領域分割工程は、前記グラフィックス領域を前記色領域に分けることを特徴とする請求項１６に記載の画像処理方法。
24. 前記色領域分割工程は、
    あるラベル領域の画素数が予め定められた第６の閾値より多い領域を主要色領域とし、
    前記微小領域統合工程は、
    統合先のラベル領域を前記主要色領域から選択することを特徴とする請求項１６に記載の画像処理方法。
25. 前記微小領域統合工程の結果得られる画像データをベクトル化するベクトル化工程をさらに備えることを特徴とする請求項１６に記載の画像処理方法。
26. 前記微小領域統合工程は、
    統合条件を満たす最初に見つかった領域に前記微小領域を統合することを特徴とする請求項１６に記載の画像処理方法。
27. 前記微小領域統合工程は、
    統合条件を満たす領域の中で最も色距離が近い領域に前記微小領域を統合することを特徴とする請求項１６に記載の画像処理方法。
28. 前記微小領域統合工程は、
    線状微小領域を処理する場合、統合条件を満たす領域の中で前記線状微小領域の端点に接続している領域を優先して統合することを特徴とする請求項１６に記載の画像処理方法。
29. 前記微小領域統合工程は、
    画素ごとに統合先のラベル領域を切り替えることを特徴とする請求項１６に記載の画像処理方法。
30. 前記ラベル形状解析工程は、
    画素数、幅、または外接矩形の情報のうち少なくとも1つの情報を求めることを特徴とする請求項１６に記載の画像処理方法。
31. コンピュータ装置が実行可能なプログラムであって、前記プログラムを実行するコンピュータ装置に、前記請求項１６〜３０に記載の画像処理方法を実行させるためのプログラム。
32. 前記請求項３１に記載のプログラムを記憶したコンピュータ読み取り可能な記憶媒体。

Images