JP2010010819A - 画像処理装置、画像形成装置、画像読取装置、画像処理方法、画像処理プログラムおよびコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

【課題】圧縮率を上げることができ、かつ、画質を向上させることができる、画像処理装置を提供する。
【解決手段】画像処理装置の圧縮処理部は、前記入力画像から文字領域を抽出して、少なくとも該文字領域を当該入力画像から除いて背景レイヤーを生成する背景レイヤー生成部２４と、前記背景レイヤーから、色の特性に応じたそれぞれの背景領域を抽出する背景領域抽出部３５と、背景領域抽出部により抽出された背景領域の色の特性に応じた形式で当該背景領域を保持するデータ保持部３４と、を備えている。
【選択図】図１

Description

本発明は、デジタル画像を圧縮処理する画像処理装置、方法に関するものである。

近年、デジタル画像システムが目覚しい発達を遂げ、デジタル画像処理技術の構築が進んでいる。例えば、電子写真方式やインクジェット方式を用いた複写機や複合機の分野においては、文書を電子データとして保存し、保存された文書ファイルを管理することが要求されている。更には、文書を圧縮しe-mailで送信することがなされている。

一般的にスキャナで読み取られた画像であるスキャン画像はファイルサイズが大きく、蓄積、伝送において画像の圧縮技術は必須不可欠となっている。高圧縮率を実現するための圧縮技術の１つにレイヤー分離に基づく画像圧縮技術がある。レイヤー分離に基づく画像圧縮技術は、画像を前景レイヤーと背景レイヤーとに分離し、それぞれに適した圧縮技術を用いて圧縮し、最終的に高圧縮画像を生成するものである。前景レイヤーは、文字・線画を表し、JBIG（Joint Bilevel Image Group）、MMR（Modified Modified Read Code）、LZW（Lempel Ziv Welch）といった可逆圧縮技術を用いて圧縮されるのが一般的である。

他方、背景レイヤーは、文字・線画以外の画像コンテントを表し、JPEG（Joint Photographic Experts Group）などの非可逆圧縮技術を用いて圧縮されるのが一般的である。非可逆圧縮技術は圧縮率の制御が簡易であるため、用途に応じてファイルサイズを優先したり、画質を優先したりすることができる。一方、可逆圧縮技術は圧縮率を制御することが難しい。

このような圧縮技術を用いた場合のデータ圧縮率を向上させるための手法として、特許文献１に記載の技術ある。この技術では、入力された画像において領域分離を行い、線画像データと中間調画像データとに分離し、線画像に関してはそのままあるいは可逆変換を施し、中間調画像データに関しては周波数変換を用いた非可逆圧縮を行ってメモリに格納することで、データの圧縮を図っている。
特許第２９８４３３２号（平成１１年１１月２９日発行） 特開２００２−９４８０５号公報（平成１４年３月２９日公開） 特開２００２−２３２７０８号公報（平成１４年８月１６日公開）

しかしながら、上記特許文献１の技術では線画以外の背景レイヤー中の中間調画像は全て一律に周波数変換を用いた圧縮がかけられ、その設定次第では、異なる色の中間調画像の境界部に好ましくない圧縮ノイズが発生する、あるいは、そもそも一様な中間調画像に圧縮のためのブロック状のノイズが載る、等の画質劣化が発生する場合がある。また、一様な色の中間調画像を、周波数変換を基にした圧縮を適用し保持することは、その効果として冗長である。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、圧縮率を上げることができ、かつ、画質を向上させることができる、画像処理装置、画像形成装置、画像処理方法、画像処理プログラムおよびコンピュータ読取可能な記録媒体を提供することにある。

本発明は、上記課題を解決するために、入力画像データを文字や線画を含む前景レイヤーと、文字や線画以外の領域よりなる背景レイヤーに分け、更に背景レイヤー中の部分画像の特性に応じて、異なるデータ保持方法を適用することにより、更なる圧縮率ならびに画質の向上を実現するものである。

本発明に係る画像処理装置は、上記課題を解決するために、入力画像に圧縮処理を施す画像処理装置において、前記入力画像から文字領域を抽出して、少なくとも該文字領域を当該入力画像から除いて背景レイヤーを生成する背景レイヤー生成手段と、前記背景レイヤーから、色の特性に応じたそれぞれの背景領域を抽出する背景領域抽出手段と、前記背景領域抽出手段により抽出された背景領域の色の特性に応じた形式で当該背景領域を保持するデータ保持手段と、を備えることを特徴としている。

上記構成によると、背景レイヤーに含まれる色の特性の異なる背景領域をそれぞれ抽出して、抽出された背景領域の特性に応じた形式で、背景領域を保持する。よって、背景領域の色の特性に応じてデータが保持されるので、それぞれの特性に応じた適切なデータ圧縮を行うことができる。よって、さらなるデータサイズを縮小した圧縮を行うことができ、また、圧縮ノイズの発生を抑制でき、画質の向上に寄与することができる。

本発明に係る画像処理装置は、上記記構成に加え、前記背景領域抽出手段は、前記色の特性により同じ色に属すると判断される一様な局所的背景色、または前記色の特性により同じ色に属すると判断される一様な全体的背景色を推定する背景色推定手段と、前記推定された背景色を有する背景領域を抽出する背景画像抽出手段と、を備え、前記背景画像抽出手段により抽出された背景領域の座標値を記録する座標記録手段を備え、前記データ保持手段は、前記背景色推定手段にて推定された背景色と、その背景色を有する背景領域の前記座標値とを含む情報で、上記背景レイヤーに含まれる局所的背景と全体的背景とを保持してもよい。

上記構成によると、背景レイヤーから、前記色の特性により同じ色に属すると判断される一様な局所的背景領域または前記色の特性により同じ色に属すると判断される一様な全体的背景領域を抜き出し、その色とその背景領域の座標値とを、含む情報で、上記背景レイヤーに含まれる局所的背景と全体的背景とを保持することができる。よって、局所的背景領域および全体的な背景領域に適切な圧縮を行える。

本発明に係る画像処理装置は、上記構成に加え、前記背景画像域抽出手段は、前記抽出された背景領域の形状を判定する背景形状判定手段を備え、前記座標記録手段は、前記背景画像抽出手段により抽出された背景領域を含む矩形領域を示す座標値を記録し、前記背景形状判定手段が矩形であると判定すると、前記データ保持手段は、前記背景色推定手段により推定された背景色と、前記座標記録手段に記録されている矩形領域を示す座標値とを含む情報で、上記背景レイヤーに含まれる局所的背景と全体的背景とを保持してもよい。

上記構成によると、ドキュメント（原稿）に多く存在する、単色矩形の背景領域のデータ量を大きく削減し、かつ、色の一様性を保持することが可能である。

本発明に係る画像処理装置は、上記構成に加え、前記矩形領域中の背景領域の形状を表すマスク画像を生成するマスク画像生成手段をさらに備え、前記背景形状判定手段が背景領域の形状が矩形でないと判定すると、前記データ保持手段は、前期背景色推定手段により推定された背景色の値と、前記座標記録手段に記録されている矩形領域を示す座標値と、前記マスク画像生成手段で生成されたマスク画像を可逆圧縮したデータと、を含む情報で、上記背景レイヤーに含まれる局所的背景と全体的背景とを保持してもよい。

上記構成によると、矩形領域以外の背景領域のデータ保持でも、データ量を抑えつつ、一様な色の再現が可能である。

本発明に係る画像処理装置は、上記構成に加え、前記背景画像抽出手段にて抽出されなかった背景領域について、それぞれの連続領域ごとの画像データを抽出する多色背景抽出手段をさらに備え、前記データ保持手段は、前記多色背景抽出手段により抽出された背景領域の画像データを非可逆圧縮したデータの情報で、上記背景レイヤーに含まれる多色背景領域を保持してもよい。

上記構成によると、単一色でない背景（写真領域やグラデーション）領域は個別に非可逆圧縮して保持することで、データの削減を行うことができる。

本発明に係る画像形成装置は、上記課題を解決するために、上記何れか１つの画像処理装置を備えることを特徴とする。本発明に係る画像形成装置は、本発明に係る画像処理装置を備えているため、更なる圧縮率ならびに画質を向上させて画像形成することができる。

本発明に係る画像読取装置は、上記課題を解決するために、上記何れか１つの画像処理装置を備えることを特徴とする。本発明に係る画像読取装置は、本発明に係る画像処理装置を備えているため、圧縮率を高めて、画像を読み取ることができる。

本発明に係る画像処理方法は、上記課題を解決するために、入力画像に圧縮処理を施す画像処理方法において、前記入力画像から文字領域を抽出して、少なくとも該文字領域を当該入力画像から除いて背景レイヤーを生成する背景レイヤー生成ステップと、前記背景レイヤーから、色の特性に応じたそれぞれの背景領域を抽出する背景領域抽出ステップと、前記背景領域抽出ステップにて抽出された背景領域の色の特性に応じた形式で当該背景領域を保持するデータ保持ステップと、を含むことを特徴としている。

上記方法によると、上記画像処理装置と同様の効果を奏し、更なる圧縮率ならびに画質を向上させることができる。

また、本発明に係る画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像処理装置における上記各手段として動作させることにより上記画像処理装置をコンピュータにて実現させる画像処理プログラム、及びその画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

これらの構成によれば、上記画像処理プログラムを、コンピュータに読み取り実行させることによって、上記画像処理装置と同一の作用効果を実現することができる。

本発明に係る画像処理装置は、以上のように、前記入力画像から文字領域を抽出して、少なくとも該文字領域を当該入力画像から除いて背景レイヤーを生成する背景レイヤー生成手段と、前記背景レイヤーから、色の特性に応じたそれぞれの背景領域を抽出する背景領域抽出手段と、前記背景領域抽出手段により抽出された背景領域の色の特性に応じた形式で当該背景領域を保持するデータ保持手段と、を備えている。

上記構成によると、背景レイヤーに含まれる色の特性の異なる背景領域をそれぞれ抽出して、抽出された背景領域の特性に応じた形式で、背景領域を保持する。よって、背景領域の色の特性に応じてデータが保持されるので、それぞれの特性に応じた適切なデータ圧縮を行うことができる。よって、さらなるデータサイズを縮小した圧縮を行うことができ、また、圧縮ノイズの発生を抑制でき、画質の向上に寄与することができる。

本発明は、レイヤーに分離した画像の背景レイヤーに対し、さらに画像特性を考慮して異なるデータ保持手法を用いることで、更なる圧縮率および画質の向上を図るための一手法に関するものである。

初めに、図３（ａ）〜（ｃ）は、MRC（Mixed Raster Content）に代表されるレイヤー分離に基づく画像圧縮技術を説明する図である。図３（ａ）に示す入力画像は、図３（ｂ）に示す文字・線画を表す前景レイヤー、および、図３（ｃ）に示す前景レイヤー以外を表す背景レイヤーに分離される。前景レイヤーの画素色はインデックス化され、最終的にJBIG（Joint Bilevel Image Group）、MMR（Modified Modified Read Code）、LZW（Lempel Ziv Welch）に代表される可逆圧縮技術を用いて圧縮される。他方、背景レイヤーは、JPEG（Joint Photographic Experts Group）に代表される非可逆圧縮技術を用いて圧縮される。

図４（ａ）〜（ｃ）は、前景レイヤーを更に、前景マスクおよび前景色情報（文字色情報）へ分解する技術を説明する図である。図４（ａ）に示す前景レイヤーを、図４（ｂ）に示す２値からなるマスク、および図４（ｃ）に示す１以上の文字色からなる前景色情報（前景画素色の情報）に分解する。そして、前景マスクには可逆圧縮技術を用いて、前景色情報には可逆圧縮あるいは非可逆圧縮技術を用いて圧縮することにより、インデックス化されたマルチビット前景レイヤーを直接圧縮するのに比べて、圧縮率を向上することができる。

（圧縮処理）
初めに、本発明に係る画像処理装置における特徴的構成である圧縮処理部について説明する。本発明に係る画像処理装置、これを備えた画像形成装置、画像読取装置の全体構成については後述する。図２は、本実施形態の画像処理装置が備える圧縮処理部１１の構成を示すブロック図である。圧縮処理部１１は、前景マスク生成部２１、前景色インデックス化部２２、２値画像生成部２３、背景レイヤー生成部（背景レイヤー生成手段）２４、および圧縮部２５を備えている。

前景マスク生成部２１は、入力画像から文字領域を前景レイヤーとして抽出し、前景マスクを生成する。この処理は、後述の領域分離処理において文字領域であると判定された画素を２値化し、文字画素を抽出するものである。入力画像から、文字画素を抽出すると、残りは背景レイヤーとして取り出される。

前景色インデックス化部２２は、前景画素色のうち、比較的まとまっている位置にある、似たような色を単色（代表色）化して、代表色ごとにインデックスを与えてインデックス化し、インデックス画像を表す前景レイヤー、各前景代表色（前景レイヤーの各文字色）、および各前景代表色の領域の最大・最小座標、各インデックスに属する画素数、を格納した前景インデックスカラーテーブルを生成する。この処理は、特許文献２に記載されている方法を用いることができる。この方法は、前景色のインデックス化処理に関するものであり、前景レイヤー作成時に全ての前景画素を限られた色数で表すものである。詳細には、前景画素について、前景インデックスカラーテーブルを更新していくことで、最終的に前景レイヤーのインデックス化を行う。各前景画素について、前景画素色が既に前景インデックスカラーテーブルに登録されていると判断された場合、前景インデックスカラーテーブル内で、最も近い色を有するインデックス値を割り当てる。前景画素色が前景インデックスカラーテーブルに登録されていないと判断された場合は、新規インデックス値を割り当て、前景インデックスカラーテーブルに登録する。上記処理を繰り返すことにより、前景レイヤーをインデックス化する。

ここで、インデックス画像とは、フルカラーで表されている画像（色文字や線画）に対して、類似した色を代表色に置き換え（減色処理）、各色を例えば、０から３１のインデックスで表した画像のことである。画像のカラー情報の取り扱いで、一般的にＲＧＢ各８ビット、計２４ビットのカラー情報を、例えば、５ビット（無効領域をインデックス０として、残り最大３１色）の代表色にて表現できれば、その代表色にて表される色をインデックスに置き換えることで、インデックス画像となる。大きさが同じであれば２４ビットから５ビット分のデータ削減効果がある。また同じ値が連続する確率が高くなることから、圧縮効率も上る。

ここで、具体的な減色処理の方法のうち最も簡易なものとして、ＲＧＢ各チャンネルが８ビット（画素値が０から２５５）で、その中で複数のある範囲をきめて、その範囲内の数値をすべて、チャンネルごとに、ある値に置き換える方法が挙げられる。例えば、
範囲１： ０から ９９ ⇒ ２０
範囲２：１００から１５５ ⇒ １２８
範囲３：１５６から２５５ ⇒ ２３５
という置き換えを各チャンネルごとに行えば、最大でも３×３×３＝２７色に減色することができ、上記説明のように５ビットに収まる。

より正確性を増すために、または、無駄なく代表色を割り当てるようにするためには、上記複数の範囲を細かくし、それぞれの範囲内の色の画素数のヒストグラムをとって、その画素数の上位の所望の領域の数だけを代表色と化し、下位の領域は最近傍の代表色に統合するようにする。例えば範囲をＲＧＢチャンネル毎に５つ設定すると、最大で１２５の領域に色空間を区分できる。このヒストグラムをとって、上位３１色を代表色として、残りは最近傍の代表色に統合すれば、５ビットへの減色処理となる。

ヒストグラムの画素数で下位となる領域の統合処理は、元の色情報ごとに行ってもよいし、属する領域の代表色で行ってもよい。元の色情報を用いた方が、正確な色の置き換えが可能だが、計算量は大きくなる。計算は単純なユークリッド距離計算で、各上位の代表色との距離を算出し、その中の最小値となる領域を特定する。

また、代表色としては、各領域の中間値や、そこに属する画素の平均値を用いる方法などが考えられる。

上記前景インデックスカラーテーブルは、図５に示すような構成である。ここでは、図５に示す前景インデックスカラーテーブルは、図４（ｃ）に対応するものである。アドレスとインデックスの番号を対応させるのであれば、図６に示すように、インデックスを省略した形でも表現できる。また、各座標値、各文字色、画素数をそれぞれ異なるテーブルとして表現してもよい。

２値画像生成部２３は、入力される前景レイヤーと、前景色インデックス化部２２にて生成された座標情報とを用いて、各インデックスの２値画像を生成する。図７に示す例では、入力されるインデックス画像に対して、インデックス４（図４（ｃ）のＩｎｄｅｘ４）の画素のみを１、その他の画素をすべて０として出力することにより、インデックス４の２値画像を生成する。ここでは例として、インデックス４だけ取り上げたが、インデックスは前景インデックスカラーテーブルに登録された数だけあって、それぞれ２値画像が生成される。

背景レイヤー生成部（背景レイヤー生成手段）２４は、入力画像から前景レイヤーを形成している画素を取り除いて背景レイヤーを生成する。ここで、背景レイヤー生成部２４では、背景レイヤーの圧縮率を向上させるために、背景レイヤーにおける前景画素に対応する部分（背景レイヤー前景画素部）を前景画素でない周辺背景レイヤー画素（背景画素）を用いて穴埋めすることが一般的に行われる。前景画素周辺の前景画素でない背景画素を参照し、その背景画素の平均値を用いて、背景レイヤー前景画素部を穴埋めする。また、近傍に前景画素でない背景画素が存在しない場合、例えば参照している範囲（例えば、５×５画素よりなるマスク）内に前景画素ではない背景画素が存在しない場合、既に穴埋め処理を行った結果を参照して処理を行う。例えば、穴埋めを行う画素に対して、左隣の画素の結果、あるいは、上隣の画素の結果を参照する、または、これらの平均値を用いてもよい。本発明に係る画像処理装置の圧縮処理部１１では、背景レイヤー生成部２４が行う処理に関して、上記のような一般的な手法を、次に説明するようにさらに改善させ、圧縮（伝送）効率および画質の改善を行う。

背景レイヤー生成部２４は、図１（ａ）に示すように、背景色推定部（背景色推定手段）３１および背景画像抽出部（背景画像抽出手段）３２を含む背景領域抽出部（背景領域抽出手段）、座標記録部（座標記録手段）３３、データ保持部（データ保持手段）３４を備えている。

背景レイヤー生成部２４での処理であり、背景レイヤーにおいて、色の特性により同じ色に属すると判断される一様な局所的背景または、色の特性により同じ色に属すると判断される全体的背景色の値を推定し、その領域を抽出して、一様な背景領域とその他の背景領域とでデータ保持方法を切り替える場合について、以下に説明する。

図８に示す入力画像に対する図９に示す背景レイヤーのデータは、まず、背景色推定部３１に入力され、色の特性により同じ色に属すると判断される一様な全体的背景色または、色の特性により同じ色に属すると判断される一様な局所的背景色の推定がなされる。次に、背景レイヤーのデータは、推定された背景色の情報とともに、背景画像抽出部３２に送られ、推定された背景色ごとにその領域が抽出される。図１０の札番１〜６が示す領域は一様な背景色であるため、抽出される。札番７、８は自然画像（写真画像）であるため、抽出されない。なお、図１０では、札番７，８の部分は、写真画像のため抽出されないという意味で、塗りつぶされている。つまり、この札番７，８の部分は圧縮部２５へそのまま出力される。全体的背景色または局所的背景色の推定と、その領域の特定については、例えば、次のような方法が用いられる。まず、入力画像を複数の区分に分割し、区分ごとに作成した区分ヒストグラムを用いて、複数のピークを検知し、複数の区分ヒストグラム中の複数のピークのうち、多くの区分で存在する値をページ全体の背景色として推定する。そして、連続するいくつかの、または一つの区分ヒストグラム中にある、ある閾値以上の画素数をもつピークを局所的背景色として推定する。これら背景色の推定値に近い値をもつ画素をそれぞれ抽出して、空間的なモフォロジー処理などを行って、余分なノイズを除去し、抽出する。以上の方法により、全体的背景色または局所的背景色の推定と、その領域を特定することができる。

出力される各背景色の背景マップ（背景色ごとに背景領域を抜き出したマップ）は、背景色ごとに１ビットのマップを用いて作成されてもよいし、１枚の画像データ中に領域ごとにインデキシングしてもよい。この場合、例えば、図１０の札番１〜６の数値をそのままインデクス値としてもよい。また図９の札番７および８が示す領域は抽出されないため０である。

１枚の画像データ中に、一様な色と判断される背景色の領域が複数ある場合、つまり図１０の札番１および５が示す背景のような場合には、それをそのまま複雑な形状の１つの領域と考えてもよいし、図１１に示すような、札番１および札番５を含む１ビットのマップにおいて、ラベリング処理を施し、分割してもよい。

生成された情報は、データ保持部３４において各々に適した形式で保持される。

インデックス画像の場合は、当該インデックスの描画色として背景色を指定すればよい。ここで、インデックス画像について例を用いて説明する。図１２に示す各札番がインデックスのような画像がインデックス画像である。札番２の領域において札番７の領域があった部分は札番２の背景情報で埋められている。埋めない場合は図１３に示す画像となる。この場合、以下で説明する背景形状判定部４１により、札番２の領域は矩形と判定されない。つまり、埋めた場合よりも保持するべき情報量が増えることになる。よって、図１２に示すようなインデックス画像が、より好ましい。

さらに、背景画像抽出部３２は、図１（ｂ）に示すように、抽出された背景領域の形状を判定する背景形状判定部（背景形状判定手段）４１、マスク画像生成部（マスク画像生成手段）４２、多色背景抽出部（多色背景抽出手段）４３を備えていてもよい。

ある背景色の背景レイヤーが１ビットマップの場合、背景形状判定部４１は、抽出領域の面積Ｓとそれを囲む矩形領域の面積Ａに着目し、面積Ｓが面積Ａのある閾値（例えば９９％）以上である場合、抽出領域を矩形領域として判定する。このとき、データ保持部３４は、上記１ビットマップの画像データの代わりに矩形領域の始点および終点の座標と背景色とを保持する。

つまり、本実施形態では背景の形状を判定する際、図１２に示すフローの処理が行われる。まず、インデックス１のデータが入力（ステップＳ１、以降Ｓ１と省略）されると、背景面積Ｓを算出し（Ｓ２）、概説矩形面積Ａを算出する（Ｓ３）。そして、面積Ｓが面積Ａの閾値（例えば９９％）以上であるかを判断し（Ｓ４）、ＳがＡの閾値以上である場合（Ｓ４でＹＥＳ）、矩形座標を出力し（Ｓ５）、背景色（代表色）を出力し（Ｓ６）データ保持部にて保持する（Ｓ７）。面積Ｓが面積Ａの閾値未満の場合（Ｓ４にてＮＯ）、背景画像を抽出し（Ｓ８）、Ｓ５に進む。ここで、面積Ｓが面積Ａのある閾値（例えば９９％）未満である場合には、マスク画像生成部４２が、抽出領域の形状を表す１ビットマップの画像データ（マスク画像）を生成し、データ保持部３４は、このマスク画像を当該背景領域の形状として保持し、その領域の描画色として背景色を保持してもよい。

そして、全てのインデックスについて面積Ｓの形状判定が終了したかを判断し（Ｓ９）、終了していなければ（Ｓ）においてＮＯ）、インデックス番号を１増やし（Ｓ１０）、Ｓ２から繰り返す。

多色背景抽出部４３は、図１０の札番７、８が示す部分のように、一様な色の背景領域として抽出されなかった領域を、それぞれ連続した領域として分割し抽出する。例えば、前出の図１１の札番１と５のときと同様に、１ビットマップ化してラベリング処理を行い、連続した領域ごとに区別し、その領域を囲む矩形情報とともに出力する。ここで矩形情報とは、矩形を示す座標値（矩形の左上・右下の座標値）の情報である。この際に、実際の多色画像領域以外は、ゼロあるいは透明色に置き換えてもよい。

圧縮部２５は、各レイヤーに適切な圧縮を適用する。前景レイヤーおよび単色背景レイヤーのインデクス保持データあるいは、１ビットマップデータは、JBIG（Joint Bilevel Image Group）、MMR（Modified Modified Read Code）、LZW（Lempel Ziv Welch）に代表される可逆圧縮技術を用いて圧縮する。一方、背景レイヤーの多色データはJPEG（Joint Photographic Experts Group）に代表される非可逆圧縮技術を用いて圧縮する。

圧縮部２５は、更に図４に示す通り、マルチビット前景レイヤーまたは背景インデクスデータ（背景領域のインデックス画像）を、２値からなるマスク、および１以上の代表色（文字色または背景色）からなる色情報に分解して圧縮し、圧縮率を向上することが可能である。

（領域分離処理）
領域分離処理は、例えば、特許文献３に記載の方法を用いることができる。なお、領域分離処理は、後述の本実施形態の画像処理装置が有する領域分離処理部１０が行う。特許文献２に記載の方法は、注目画素を含むｎ×ｍのブロック（例えば、１５×１５）における最小濃度値と最大濃度値との差分である最大濃度差および、隣接する画素の濃度差の絶対値の総和である総和濃度繁雑度を算出し、予め定められる複数の閾値と比較することにより、下地領域、印画紙写真領域（連続階調領域）、文字エッジ領域、網点領域に分離するものである。領域分離を行うにあたっては、下記の（１）〜（４）の特徴量を用いる。
（１）下地領域の濃度分布は、通常、濃度変化が少ないので最大濃度差及び総和濃度繁雑度ともに非常に小さくなる。
（２）印画紙写真領域の濃度分布は、滑らかな濃度変化をしており、最大濃度差及び総和濃度繁雑度はともに小さく、かつ、下地領域よりは多少大きくなる。
（３）網点領域の濃度分布は、最大濃度差は網点によりさまざまであるが、総和濃度繁雑度が網点の数だけ濃度変化が存在するので、最大濃度差に対する総和濃度繁雑度の割合が大きくなる。したがって、最大濃度差と文字・網点判定閾値（上記複数の閾値の１つ）との積よりも総和濃度繁雑度が大きい場合には、網点画素であると判別することが可能である。
（４）文字領域の濃度分布は、最大濃度差が大きく、それに伴い総和濃度繁雑度も大きくなるが、網点領域よりも濃度変化が少ないため、網点領域よりも総和濃度繁雑度は小さくなる。したがって、最大濃度差と文字・網点判定閾値との積よりも総和濃度繁雑度が小さい場合には、文字エッジ画素であると判別することが可能である。

次に領域分離処理の流れについて説明する。まず、算出された最大濃度差と最大濃度差閾値、及び、算出された総和濃度繁雑度と総和濃度繁雑度閾値の比較を行う。そして、最大濃度差が最大濃度差閾値よりも小さく、かつ、総和濃度繁雑度が総和濃度繁雑度閾値よりも小さいと判断されたときは、注目画素は下地・印画紙領域であると判定し、そうでない場合は、文字・網点領域であると判定する。

上記下地・印画紙領域であると判断された場合、算出された最大濃度差と下地・印画紙判定閾値との比較を行い、最大濃度差の方が小さければ下地領域であると判定し、最大濃度差の方が大きければ印画紙領域であると判定する。

上記文字・網点領域であると判断された場合、算出された総和濃度繁雑度と最大濃度差に文字・網点判定閾値を掛けた値との比較を行い、総和濃度繁雑度の方が小さければ文字エッジ領域であると判定し、総和濃度繁雑度の方が大きければ、網点領域であると判定する。なお、領域分離処理にて分離される文字領域には、文字画素と線画の画素とが含まれる。

本発明は下記の構成に適用可能である。以下でその適用例について説明する。

（画像形成装置）
図１５に、本発明の実施の一形態に係るカラー画像処理装置（画像処理装置）１を有するデジタルカラー複合機（画像形成装置）２の構成を表すブロック図を示す。図１５に示すように、カラー画像処理装置１に、カラー画像入力装置３、カラー画像出力装置４、送信装置５および操作パネル６が接続され、全体としてデジタルカラー複合機（画像形成装置）２を構成している。

操作パネル６は、デジタルカラー複合機２の動作等を制御するための設定ボタンやテンキー、液晶ディスプレイなどの表示部等から構成される。

カラー画像入力装置３は、例えばＣＣＤなどの光学情報を電気信号に変換するデバイスを備えたスキャナ部より構成され、原稿からの反射光像を、ＲＧＢのアナログ信号として出力する。

カラー画像入力装置３にて読み取られたアナログ信号は、カラー画像処理装置１内を、Ａ／Ｄ変換部７、シェーディング補正部８、入力階調補正部９、領域分離処理部１０、圧縮処理部１１、色補正部１２、黒生成下色除去部１３、空間フィルタ処理部１４、出力階調補正部１５、および階調再現処理部１６の順で送られ、ＣＭＹＫのデジタルカラー信号として、カラー画像出力装置４へ出力される。

Ａ／Ｄ変換部７は、ＲＧＢのアナログ信号をデジタル信号に変換する。シェーディング補正部８は、Ａ／Ｄ変換部７より送られてきたデジタルのＲＧＢ信号に対して、カラー画像入力装置３の照明系、結像系、撮像系で生じる各種の歪みを取り除く処理を施す。

入力階調補正部９は、シェーディング補正部８にて各種の歪みが取り除かれたＲＧＢ信号に対して、カラーバランスを整えると同時に、濃度信号などカラー画像処理装置１に採用されている画像処理システムの扱い易い信号に変換する処理を施すものである。

領域分離処理部１０は、ＲＧＢ信号より、入力画像中の各画素を、例えば文字領域、網点領域、写真領域を含む複数の領域に分離するものである。領域分離処理部１０は、分離結果に基づき、画素がどの領域に属しているかを示す領域識別信号を、圧縮処理部１１、黒生成下色除去部１３、空間フィルタ処理部１４、および階調再現処理部１６へと出力すると共に、入力階調補正部９より出力された入力信号をそのまま後段の色補正部に出力する。

圧縮処理部１１は、入力されるＲＧＢ信号、領域識別信号に対して上記の圧縮処理を行う。圧縮された画像データは、一旦ハードディスク等の不図示の記憶手段に格納され、例えば、操作パネル６において、scan to e-mailモードが選択されている場合、ネットワークカードやモデムなどの送信装置５より、メールに添付されて設定された送信先に送信される。あるいは、印字要求がある場合、対応する画像データが読み出され、復号処理がなされた後、後段の画像処理（色補正以降の処理）がなされる。また、圧縮画像データを格納するとともに、入力画像データについて引き続き後段の画像処理を行うようにしてもよい。

色補正部１２は、色再現の忠実化を図るために、不要吸収成分を含むＣＭＹ色材の分光特性に基づいた色濁りを取り除く処理を行う。

黒生成下色除去部１３は、色補正後のＣＭＹの３色信号から黒（Ｋ）信号を生成する処理、元のＣＭＹ信号から黒生成で得たＫ信号を差し引いて新たなＣＭＹ信号を生成する処理を行う。これらの処理によりＣＭＹの３色信号はＣＭＹＫの４色信号に変換される。

空間フィルタ処理部１４は、黒生成下色除去部より入力されるＣＭＹＫ信号の画像データに対して、領域識別信号を基にデジタルフィルタによる空間フィルタ処理を行い、空間周波数特性を補正する。これにより出力画像のぼやけや粒状性劣化を軽減することができる。階調再現処理部１６は、空間フィルタ処理部と同様に、ＣＭＹＫ信号の画像データに対して、領域識別信号に基づいて後述する所定の処理を施す。

例えば、領域分離処理部１０にて文字に分離された領域は、文字の再現性を高めるために、空間フィルタ処理部１４における空間フィルタに高周波成分の強調量が大きいフィルタが用いられる。同時に、階調再現処理部１６においては、高域周波成分の再現に適した高解像度のスクリーンによる二値化もしくは多値化処理が実施される。

また、領域分離処理部１０にて網点に分離された領域に関しては、空間フィルタ処理部１４において、入力網点成分を除去するためのローパス・フィルタ処理が施される。そして、出力階調補正部１５では、濃度信号などの信号をカラー画像出力装置４の特性値である網点面積率に変換する出力階調補正処理を行った後、階調再現処理部１６で、最終的に画像を画素に分離してそれぞれの階調を再現できるように処理する階調再現処理が施される。領域分離処理部１０にて写真に分離された領域に関しては、階調再現性を重視したスクリーンでの二値化または多値化処理が行われる。

上述した各処理が施された画像データは、いったん不図示の記憶手段に記憶され、所定のタイミングで読み出されてカラー画像出力装置４に入力される。

カラー画像出力装置４は、画像データを紙などの記録媒体上に出力するもので、例えば、電子写真方式やインクジェット方式を用いたカラー画像出力装置等をあげることができるが特に限定されるものでは無い。

なお、以上の処理は不図示のＣＰＵ（Central Processing Unit）により制御される。

また、ファクシミリの送信を行うときは、モデムにて、相手先との送信手続きを行い送信可能な状態が確保されると、所定の形式で圧縮された画像データ（スキャナで読み込まれた画像データ）をメモリから読み出し、圧縮形式の変更など必要な処理を施して、相手先に通信回線を介して順次送信する。ファクシミリを受信する場合、ＣＰＵは、通信手続きを行いながら相手先から送信されてくる画像データを受信してカラー画像処理装置１に入力し、カラー画像処理装置１では、受信した画像データを、不図示の圧縮／伸張処理部にて伸張処理を施す。伸張された画像データは、必要に応じて、回転処理や解像度変換処理が行なわれ、出力階調補正、階調再現処理が施され、カラー画像出力装置４より出力される。また、デジタルカラー複合機２は、ネットワークカードやモデムなどの送信装置５、ＬＡＮケーブルなどを介して、ネットワークに接続されたコンピュータや他のデジタル複合機とデータ通信を行う。

上記では、カラー複合機について説明したが、モノクロ複合機であっても構わない。

（画像読取装置）
図１６に、本発明の実施の一形態のカラー画像処理装置（画像処理装置）１０１を備える画像読取装置（フラットベッドスキャナ）２００の構成を表すブロック図を示す。図１６に示すように、Ａ／Ｄ変換部７、シェーディング補正部８、入力階調補正部９、領域分離処理部１０、圧縮処理部１１を有するカラー画像処理装置１０１に、カラー画像入力装置３が接続され、全体として画像読取装置２００を構成している。

カラー画像入力装置（画像読取手段）３は、例えばＣＣＤ（Charge Coupled Device ）を備えたスキャナ部より構成され、原稿からの反射光像を、ＲＧＢ（Ｒ：赤・Ｇ：緑・Ｂ：青）のアナログ信号としてＣＣＤにて読み取って、カラー画像処理装置１０１に入力するものである。カラー画像入力装置３にて読み取られたアナログ信号は、カラー画像処理装置１０１内を、Ａ／Ｄ変換部７、シェーディング補正部８、入力階調補正部９、領域分離処理部１０、圧縮処理部１１の順で送られる。

Ａ／Ｄ（アナログ／デジタル）変換部７は、ＲＧＢのアナログ信号をデジタル信号に変換するブロックであり、シェーディング補正部８は、Ａ／Ｄ変換部７より送られてきたデジタルのＲＧＢ信号に対して、カラー画像入力装置３の照明系、結像系、撮像系で生じる各種の歪みを取り除く処理を施すものである。

入力階調補正部９は、シェーディング補正部８にて各種の歪みが取り除かれたＲＧＢ信号（ＲＧＢの反射率信号）に対して、カラーバランスを整えると同時に、濃度信号などカラー画像処理装置１０１に採用されている画像処理システムの扱い易い信号に変換する処理を施すものである。

領域分離処理部１０は、ＲＧＢ信号より、入力画像中の各画素を例えば文字領域、網点領域、写真領域を含む複数の領域に分離するものである。

圧縮処理部１１は、入力されるＲＧＢ信号に対して上記圧縮処理を行う。この圧縮画像データは、ネットワークを介してコンピュータ、プリンタや複合機に送信され出力される。この場合、プリンタや複合機、コンピュータ側で圧縮画像データを復号できるようにしておく必要がある。なお、圧縮処理を施さずに、読み込まれた画像データと領域識別信号をコンピュータ、プリンタや複合機に送信する場合があってもよい。この場合も、プリンタや複合機、コンピュータ側で領域識別信号に基づいて画像データを処理できるようにしておく必要がある。

（記録媒体・プログラム）
本発明の実施の一形態として、コンピュータに実行させるためのプログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）を記録したコンピュータ読み取り可能な記録媒体に、上記圧縮処理を行う画像処理方法を記録したものが挙げられる。この結果、上記した圧縮処理を行う画像処理方法を行うプログラムコードを記録した記録媒体を持ち運び自在に提供することができる。

なお、本実施の形態では、この記録媒体としては、マイクロコンピュータで処理が行われるために図示していないメモリ、例えばROMのようなものそのものがプログラムメディアであってもよいし、また、図示していないが外部記憶装置としてプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであってもよい。

いずれの場合においても、格納されているプログラムコードはマイクロプロセッサがアクセスして実行させる構成であってもよいし、あるいは、いずれの場合もプログラムコードを読み出し、読み出されたプログラムコードは、マイクロコンピュータの図示されていないプログラム記憶エリアにダウンロードされて、そのプログラムコードが実行される方式であってもよい。このダウンロード用のプログラムは予め本体装置に格納されているものとする。

ここで、上記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フレキシブルディスクやハードディスク等の磁気ディスクやCD−ROM／MO／MD／DVD等の光ディスクのディスク系、ICカード（メモリカードを含む）／光カード等のカード系、あるいはマスクROM、EPROM（Erasable Programmable Read Only Memory）、EEPROM（Electrically Erasable Programmable Read Only Memory）、フラッシュROM等による半導体メモリを含めた固定的にプログラムコードを担持する媒体であってもよい。

また、本実施の形態においては、インターネットを含む通信ネットワークを接続可能なシステム構成であることから、通信ネットワークからプログラムコードをダウンロードするように流動的にプログラムコードを担持する媒体であってもよい。なお、このように通信ネットワークからプログラムコードをダウンロードする場合には、そのダウンロード用のプログラムは予め本体装置に格納しておくか、あるいは別な記録媒体からインストールされるものであってもよい。

上記記録媒体は、デジタルカラー画像形成装置やコンピュータシステムに備えられるプログラム読み取り装置により読み取られることで上述した画像処理方法が実行される。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

コンピュータシステムは、フラットベッドスキャナ・フィルムスキャナ・デジタルカメラなどの画像入力装置、所定のプログラムがロードされることにより上記画像処理方法など様々な処理が行われるコンピュータ、コンピュータの処理結果を表示するＣＲＴディスプレイ・液晶ディスプレイなどの画像表示装置およびコンピュータの処理結果を紙などに出力するプリンタより構成される。さらには、ネットワークを介してサーバーなどに接続するための通信手段としてのネットワークカードやモデムなどが備えられる。

本発明は、画像処理機能を有するカラー複写機，カラープリンタ，モノクロ複写機，モノクロプリンタ，ＭＦＰ（Multi Function printer），スキャナ，パーソナルコンピュータ等に適用できる。

（ａ）は、本実施形態の画像処理装置が備える圧縮処理部の背景レイヤー生成部の構成を示す図であり、（ｂ）は、背景レイヤー生成部の有する背景画像抽出部の構成を示す図である。 本実施形態の画像処理装置が備える圧縮処理部の構成を示すブロック図である。 （ａ）〜（ｃ）は、レイヤー分離に基づく画像圧縮技術を説明する図である。 （ａ）〜（ｃ）は、前景レイヤーを更に、前景マスクおよび前景色情報へ分解する技術を説明する図である。 インデックステーブルの例を示す図である。 インデックステーブルの別の例を示す図である。 インデックスの２値画像の例を示す図である。 文書画像の例を示す図である。 背景レイヤーを示す図である。 背景レイヤーのインデックス画像を示す図である。 １ビットの背景マップを示す図である。 背景領域のインデックス画像の例を示す図である。 背景領域のインデックス画像の別の例を示す図である。 矩形判定処理の流れを示すフローチャートを示す図である。 本発明の実施の一形態である画像処理装置を備えた画像形成装置の構成を示す図である。 本発明の実施の一形態である画像読取装置の構成を示す図である。

符号の説明

１，１０１ カラー画像処理装置（画像処理装置）
２ デジタルカラー複合機（画像形成装置）
１０ 領域分離処理部
１１ 圧縮処理部
２４ 背景レイヤー生成部（背景レイヤー生成手段）
３１ 背景色推定部（背景色推定手段）
３２ 背景画像抽出部（背景画像抽手段）
３３ 座標記録部（座標記録手段）
３４ データ保持部（データ保持手段）
３５ 背景領域抽出部（背景領域抽出手段）
４１ 背景形状判定部（（背景形状判定手段））
４２ マスク画像生成部（マスク画像生成手段）
４２ 多色背景抽出部（多色背景抽出手段）
２００ 画像読取装置

Claims (10)

1. 入力画像に圧縮処理を施す画像処理装置において、
   前記入力画像から文字領域を抽出して、少なくとも該文字領域を当該入力画像から除いて背景レイヤーを生成する背景レイヤー生成手段と、
   前記背景レイヤーから、色の特性に応じたそれぞれの背景領域を抽出する背景領域抽出手段と、
   前記背景領域抽出手段により抽出された背景領域の色の特性に応じた形式で当該背景領域を保持するデータ保持手段と、
   を備えることを特徴とする画像処理装置。
2. 前記背景領域抽出手段は、
   前記色の特性により同じ色に属すると判断される一様な局所的背景色、または前記色の特性により同じ色に属すると判断される一様な全体的背景色を推定する背景色推定手段と、
   前記推定された背景色を有する背景領域を抽出する背景画像抽出手段と、
   を備え、
   前記背景画像抽出手段により抽出された背景領域の座標値を記録する座標記録手段を備え、
   前記データ保持手段は、前記背景色推定手段にて推定された背景色と、その背景色を有する背景領域の前記座標値とを含む情報で、上記背景レイヤーに含まれる局所的背景と全体的背景とを保持することを特徴とする請求項１の画像処理装置。
3. 前記背景画像域抽出手段は、前記抽出された背景領域の形状を判定する背景形状判定手段を備え、
   前記座標記録手段は、前記背景画像抽出手段により抽出された背景領域を含む矩形領域を示す座標値を記録し、
   前記背景形状判定手段が矩形であると判定すると、
   前記データ保持手段は、前記背景色推定手段により推定された背景色と、前記座標記録手段に記録されている矩形領域を示す座標値とを含む情報で、上記背景レイヤーに含まれる局所的背景と全体的背景とを保持することを特徴とする請求項２に記載の画像処理装置。
4. 前記矩形領域中の背景領域の形状を表すマスク画像を生成するマスク画像生成手段をさらに備え、
   前記背景形状判定手段が背景領域の形状が矩形でないと判定すると、前記データ保持手段は、
   前期背景色推定手段により推定された背景色の値と、
   前記座標記録手段に記録されている矩形領域を示す座標値と、
   前記マスク画像生成手段で生成されたマスク画像を可逆圧縮したデータと、を含む情報で、上記背景レイヤーに含まれる局所的背景と全体的背景とを保持することを特徴とする請求項３に記載の画像処理装置。
5. 前記背景画像抽出手段にて抽出されなかった背景領域について、それぞれの連続領域ごとの画像データを抽出する多色背景抽出手段をさらに備え、
   前記データ保持手段は、前記多色背景抽出手段により抽出された背景領域の画像データを非可逆圧縮したデータの情報で、上記背景レイヤーに含まれる多色背景領域を保持することを特徴とする請求項２から４項の何れか１項に記載の画像処理装置。
6. 請求項１から５の何れか１項に記載の画像処理装置を備えることを特徴とする画像形成装置。
7. 請求項１から５の何れか１項に記載の画像処理装置を備えることを特徴とする画像読取装置。
8. 入力画像に圧縮処理を施す画像処理方法において、
   前記入力画像から文字領域を抽出して、少なくとも該文字領域を当該入力画像から除いて背景レイヤーを生成する背景レイヤー生成ステップと、
   前記背景レイヤーから、色の特性に応じたそれぞれの背景領域を抽出する背景領域抽出ステップと、
   前記背景領域抽出ステップにて抽出された背景領域の色の特性に応じた形式で当該背景領域を保持するデータ保持ステップと、を含むことを特徴とする画像処理方法。
9. 請求項１から５の何れか１項に記載の画像処理装置を動作させるプログラムであって、コンピュータを上記画像処理装置の各手段として機能させるための画像処理プログラム。
10. 請求項９に記載の画像処理プログラムが記録されたコンピュータ読み取り可能な記録媒体。

Images