JP2008048431A - デジタル画像内の主色を識別する装置 - Google Patents

Abstract

【課題】デジタル画像の圧縮効率を高める。
【解決手段】デジタル画像内の少なくとも１つの主色を識別する装置が提供され
る。画像内の第１のサンプリングの画素のそれぞれについて、該画素の色ベクト
ルがリストにある場合、対応するカウンタをインクリメントし、該色ベクトルが
リストにない場合に、該リストに該色ベクトルを追加し、対応するカウンタを初
期化する。画像内の少なくとも１つの追加のサンプリングのそれぞれにおいて、
画素の色ベクトルがリストにある場合、対応するカウンタをインクリメントする
。該追加のサンプリングのそれぞれの終わりにおいて、カウンタｑ＜しきい値Ｔ
ｎを有するすべてのエントリが、リストから除去される。リストが空か、または
すべてのエントリがカウンタｑ＞しきい値Ｕｎを有する場合、リストが完成し、
リスト内のすべての色ベクトルが、前記主色として識別される。
【選択図】図５

Description

本発明は、デジタル画像に関し、より具体的には、複合文書の圧縮に関する。

デジタル複写機などのハードコピー装置は、一般に、文書ページをデジタル画像に変換するための走査エンジン、デジタル画像を記憶するためのメモリ、および記憶された画像を印刷するための印刷エンジンを含む。メモリは、通常、少なくとも１つのデジタル画像全体を記憶するのに十分な大きさを持つ。デジタル複写機は、デジタル画像全体をメモリに記憶することによって、記憶した画像の複数のコピーを印刷することができる。

デジタル複写機のメモリおよび帯域幅の要件を低減するために、デジタル画像圧縮が行われる。メモリおよび帯域幅の要件を低減すると、デジタル複写機のコストが減る。

複合文書を圧縮するには、１つの圧縮アルゴリズムでは都合が悪い。複合文書は、テキスト、図および写真領域（重なっていることもある）、複雑な背景（例えば、文字の枠）、透かし、および階調を含むことがある。例えば雑誌、機関誌、教科書などは通常、これらの特徴のうちの２つ以上を含む。ＪＰＥＧなどの圧縮アルゴリズムは、複合カラー文書の写真領域の圧縮には適しているが、該複合カラー文書の白黒テキスト領域の圧縮には適していない。このような非可逆な（損失有りの）圧縮アルゴリズムは、線形変換（例えば、離散コサイン変換、離散ウェーブレット変換）に基づいており、エッジを効率的に圧縮することができない。このようなアルゴリズムは、あまりにも多くのビットを必要とし、テキストのまわりにきわめて好ましくないアーティファクトを生成することがある。

複合カラー文書の白黒テキスト領域の圧縮には、ＣＣＩＴＴ、Ｇ４、ＪＢＩＧなどの圧縮アルゴリズムが適している。しかしながら、これらのアルゴリズムは、複合カラー文書の写真領域の圧縮には適していない。

典型的な解決策は、含まれる情報の種類に従って領域を分けるよう、予め文書を処理することである。例えば、エッジを含む領域（例えば、テキスト、線画、図形を含む領域）と、自然の特徴を含む領域（例えば、写真、カラー背景、および階調を含む領域）が、様々なアルゴリズムに従って分けられ圧縮される。

デジタル画像内の主色（predominant color）を認識することにより、デジタル画像の圧縮効率を高めることができる。

本発明の１つの側面によれば、デジタル画像内でランダムに選択された画素に検出ルールを適用することによって、該デジタル画像内の少なくとも１つの主色を識別する。本発明の他の側面および利点は、本発明の原理を例として示す図面に関して行われる以下の詳しい説明から明らかになるであろう。

図１を参照すると、デジタル画像を処理する方法が示される。デジタル画像は複数の画素からなり、それぞれの画素は、ｎビットのワードによって表される。例えば、ＲＧＢカラー空間を表す典型的な２４ビット・ワードでは、８ビットが赤色成分を表し、８ビットが緑色成分を表し、８ビットが青色成分を表す。

デジタル画像は、１度に１つのストリップが処理される。それぞれのストリップは、連続したブロックの列を含む。それぞれのブロックは、デジタル画像内の画素数よりも相対的に少ない数の画素を含む。典型的なブロック・サイズは、例えば、１６×１６画素または３２×３２画素である。ブロックが小さいほど必要なメモリが少なく、その結果、より良好な解像度となる。実際には、ブロック・サイズは、ハードコピー装置のメモリの制約によって規定される。

次に、単一のストリップの処理について説明する。ストリップは、バッファに入れられ（１１２）、ブロックは、１回に１つアクセスされる（１１４）。それぞれのブロックについて、異なる色がいくつあるか（以下、異なる色の数、と呼ぶ）が求められ（１１６）、しきい値数Ｔと比較される（１１８）。異なる色の数が該しきい値数よりも少ないブロックは、テキストまたは他のコンピュータ生成された特徴を含む可能性が高い。異なる色の数が、しきい値数と同じかまたはそれよりも多いブロックは、色の階調を含む可能性が高い。

ブロックが、異なる色の数がしきい値数よりも少ない場合、そのカラーパターンが符号化される（１２０）。しきい値数が３で、ブロックが黒いテキストと白い背景の部分を含む例を検討する。ブロックは、２つの異なる色を有するので、そのカラーパターンが符号化される。白い画素に「０」の値を割り当て、黒い画素に「１」の値を割り当てることによって、ブロックを符号化することができる。こうして、１ビット・ワードを使用して、ブロックの各画素を符号化することができる。符号化により、０のストリングと１のストリングが得られる。処理の負担の大部分は、異なる色を見つけることに費やされるので、この単純な手法によって計算の負担が大幅に減少する。

０のストリングおよび１のストリングは、圧縮される（１２２）。ランレングス符号化または任意の適切なアルゴリズムを使用して、０のストリングおよび１のストリングの長さを短くすることができる。

３以外のしきい値数を使用することができる。しきい値の選択は、ある程度、画像の解像度に依存する。解像度が高いと、色はゆるやかに変化し、よってそれぞれのブロックは、２つまたは３つの色を含むだけであろう。しきい値数が４であり、ブロックが３つの異なる色を含む別の例を検討する。３つの色には、１、２、および３の値が割り当てられ、それにより、それぞれの色を符号化するのに２ビット・ワードが使用される。しかしながら、しきい値を２に制限することによって、それぞれの２４ビット・ワードまたは３２ビット・ワードを１ビットに減らすことができる。さらに、比較の数が減少し、分類の複雑さが低下する。

ブロックの異なる色の数がしきい値数よりも多い場合（１１８）、ブロックを分類するためにエッジの検出が行われる（１２４）。エッジが検出された場合、ブロックは、非可逆な（損失有りの）高品質圧縮アルゴリズムによって符号化されるクラスに入れられる（１２８）。エッジが検出されない場合、ブロックは、写真または自然の特徴を含む可能性が高く、したがって、非可逆な低品質圧縮アルゴリズムによって符号化されるクラスに入れられる（１３０）。

エッジ検出は、ブロック内のエッジの位置または向きを識別する必要はなく、ブロック内のエッジの存在を示すだけでよい。好ましいエッジ検出方法は、ブロック内のエッジの存在を検出するためにブロックにエントロピー関数を適用することを含む。好ましいエッジ検出方法は、参照により本明細書に組み込まれる、２００１年７月２４日に出願された米国特許出願番号０９／９１２，２７８号に開示されている。

非可逆圧縮（１２８および１３０）は、一般に、ブロックのカラー成分のそれぞれを、３つの別個のストリームに符号化する。

付加的な処理を行うことができる。例えば、ブロックを処理する前に、バッファに入れたストリップ内の主色を識別することができる（１３２）。バッファに入れられたストリップの主色は、該バッファに入れられたストリップ内の画素のランダム・サンプリングに対して統計的解析を実行することによって、識別されることができる。主色をヘッダ情報に追加し、該主色を、ストリップ内のすべてのブロックを復号化するためのデフォルト色としてデコーダが使用することができる。代替的に、複数のストリップのうちの１つのストリップの主色を、画像全体の主色と見なすこともできる。主色を認識することにより、デジタル画像の圧縮効率を高めることができる。

ヘッダ情報を各ブロックに追加してもよい。例えば、ブロック・ヘッダの第１のエントリが、色のしきい値数を示し、第２のエントリが、該しきい値を超えたかどうかを示し、第３のエントリが、ブロックがエッジを含むかどうかを示すことができる。

追加のブロック・ヘッダ情報は、ブロックを圧縮するのに使用される圧縮アルゴリズムと、画像におけるブロックの空間的位置を示すことができる。しかしながら、空間的位置のこのエントリは、ブロックが連続的に符号化される場合には取り除くことができる。圧縮の種類についてのヘッダ・エントリは、該圧縮の種類が慣例上合意されている場合には、取り除くことができる。

ヘッダ情報を、ブロックの各ストリップに追加してもよい。そのようなヘッダ情報は、主色を識別することができる。

圧縮されたブロックを、ほとんどオーバヘッドなしに（または全くのオーバーヘッドなしに）復号化することができる。ブロックは、それらが圧縮されたのと同じアルゴリズムで復元される。各ブロック内のヘッダ情報によって、圧縮アルゴリズムを識別することができ、復元したブロックを、文書内のその元の空間的位置に再構成することができる。例えば、第２のヘッダ・エントリ（色のしきい値数を超えたかどうか）が真で、第３のヘッダ・エントリ（ブロックがエッジを含むかどうか）も真の場合は、合意に基づく非可逆圧縮アルゴリズムを使用してブロックを再現することができる。第２のエントリが真で、第３のエントリが偽の場合は、別の合意に基づく非可逆圧縮アルゴリズムを使用して、ブロックを再現することができる。第２のエントリが偽の場合、ブロックは復号化され、第１のエントリからワード長が導き出される（例えば、しきい値“３”は、各色が１ビット・ワードによって符号化されていることを示す）。カラー情報（例えば、「０」＝黒、「１」＝白）は、ブロック・ヘッダおよびストリップ・ヘッダから導き出されることができる。

ブロック内の異なる色の数を求めるには様々な方法がある。以下に３つの例を示す。

図２に、第１の例を示す。ブロックの各ｎビット・ワードの値は、色出現リストで調べられる（２１０）。このリストは、１つまたは複数のエントリ［（Ｒ，Ｇ，Ｂ），ｑ］を含み、ここで（Ｒ，Ｇ，Ｂ）は色ベクトルであり、ｑは、色ベクトルが選択された回数である。色ベクトルが色出現リスト上にない場合（２１２）、その色ベクトルが該リストに追加される（２１４）。その色ベクトルが、既にリスト上にある場合（２１２）、色ベクトルのカウント（ｑ）がインクリメントされる（２１６）。ブロックのすべてのワードが識別された後（２１８）、リストが処理される（２２０）。異なる色の数がしきい値数よりも少ない場合、リスト上の色の数が符号化され、さらにリスト上の異なる色が符号化される。そうでない場合（例えば、ブロックが色階調を含む場合）、そのリストは廃棄される。

第２の例は、ｎビット・ワードが丸められること以外は第１の例と同様である。ｎビット・ワードが、例えば、その最下位ビットを無視することによって丸められる。この第２の例は、ノイズの多い画像に有効である。また、これにより、色出現リストのサイズが小さくなる。

第３の例として、色空間を様々な「カラービン（color bin）」に分け、ブロック内の色を識別し、該識別されたそれぞれの色をカラービンに割り当てることによって、異なる色の数を求める。色出現リストは、それぞれのビンについての出現すなわちヒット（hit）の数を示すよう維持される。異なる色の数は、「満たされた」カラービンの数に対応する（識別された色のうちの少なくとも１つが、そのカラービンの範囲内にある場合、該カラービンが満たされたと見なすことができる）。こうして、色空間が８つのカラービンに分けられる場合、第１のビンは、０〜３１の画素値を対象として含むことができ、第２のビンは、３２〜６３の画素値を対象として含むことができ、以下同様である。ブロックのｎビット・ワードのすべてがカラービンに割り当てられた後、色出現リストが処理される。識別された色をカラービンと比較することにより、異なる色の数を求めるのに必要な比較の数が減少すると共に、色出現リストのサイズが小さくなる。

次に図３を参照すると、デジタル画像の各ストリップ内の１つまたは複数の主色を識別する方法が示されている。画像のストリップは、バッファに入れられ（３１０）、ストリップ内でランダム・サンプリングされた画素に対して検出アルゴリズムが適用される（３１２）。検出アルゴリズムは、ストリップ内の１つまたは複数の主色を示す。

この検出アルゴリズムは、真の色の比率（ｒ_ｃ）、許容可能な比率（ｒ_ａ）、および所望の比率（ｒ_ｄ）の３つのパラメータに基づく。真の色の比率（ｒ_ｃ）は、ある特定の色を有する画素の数を、ストリップ内の画素の総数で割ったものである。ｒ_ｃ＜ｒ_ａの場合、主色を検出する確率が低く、ｒ_ｃ＞ｒ_ｄの場合、主色を検出する可能性が高い。許容可能な比率（ｒ_ａ）と望ましい比率（ｒ_ｄ）との差により、検出確率における滑らかな遷移が考慮される。

検出アルゴリズムは、ｒ_ｃ＜ｒ_ａを有する色を主色として識別する確率（誤りの肯定的結果（false-positive outcome））を最小にし、ｒ_ｃ＞ｒ_ｄを有する色を主色として識別しない確率（誤りの否定的結果（false-negative outcome））を最小にする。

図５を参照すると、以下の例示的な検出アルゴリズムを使用して、色出現リストを作成することができる。

１．色出現リストをリセットする（５１０）。リストを、空リストとして設定することができる。

２．第１のサンプリングＰ_１の画素を検査する（５１２）。検査中の画素の色ベクトル（Ｒ、Ｇ、Ｂ）が色出現リストにある場合は、対応するカウンタ（ｑ）を１だけインクリメントする。検査中の画素の色ベクトルが色出現リストにない場合、色ベクトルは、リストの新しいエントリとして該リストに追加され、そのカウンタｑが１にセットされる。

３．追加のサンプリングＰ_ｎの画素を検査する。ここで、ｎ＝２，３，４，．．．Ｎである（５１４）。それぞれのサンプリングについて、以下のステップが実行される。

（ａ）検査中の画素の色ベクトルが色出現リストにある場合、その対応するカウンタが、１だけインクリメントされる。検査中の画素の色ベクトルが色出現リストにない場合、該色ベクトルは該リストに追加されない。代わりに、その色ベクトルは廃棄される。

（ｂ）ｎ番目のサンプリングの終わりに、カウンタｑ＜Ｔ_ｎを有するすべてのエントリが、リスト（５１６）から除去される。

（ｃ）色出現リストが空か、またはすべてのエントリがカウンタｑ＞Ｕ_ｎを有する場合（５１８）、該リスト内のエントリが、主色として識別される。ｑ≦Ｕ_ｎの場合、制御はステップ（ａ）に戻り、別のサンプリングが行われる。

画素検査の数Ｐ_ｎ、対応するしきい値Ｔ_ｎおよびＵ_ｎは、いかなる主色もリストから除去されないように選択される。

パラメータＰ_ｎ、Ｔ_ｎおよびＵ_ｎの最適な組を、以下のように計算することができる。確率関数ｆ（ｌ，ｋ，ｐ）およびｖ（ｌ，ｋ，ｐ）が、次のように定義される。

ｎ番目のステップ（上記のステップ３（ｂ））でｒ_ｃ≧ｒ_ｄの色が廃棄される確率が、出現数と、前のステップで破棄されなかったどうかを検討することとによって決定される。色ベクトルが廃棄されない確率は、次の通りである。

この式を使用してＰ_ｎおよびＴ_ｎを計算した後、以下の式を使用して該確率を更新することができる。

ステップｎにおける誤りの肯定的決定（false-positive decision）の確率と、誤りの否定的決定（false-negative decision）の確率は、次の通りである。

誤りの肯定的決定の確率と誤りの否定的決定の確率の境界は、以下のように表される。

こうして、初期値から始めて所望の確率が生じるまでこれらの値を調整することにより、パラメータを決定することができる。

許容可能な比率（ｒ_ａ）が比較的大きい（例えば、０．３）ときは、色出現リストには、きわめて少ない数のエントリしかない。しかしながら、許容可能な比率（ｒ_ａ）が小さい場合は、色出現リストを、最も共通した色と画素を最初に比較するようソートされたリストとして効率良く実現し、または色の比較数を最少にするためにハッシュ・テーブルとして効率的に実現することができる。

次に図４を参照すると、前述の方法を使用するハードコピー装置４１０が示される。ハードコピー装置４１０は、プロセッサ４１２、読取り専用メモリ４１４、およびランダム・アクセス・メモリ４１６を含む。読取り専用メモリ４１４は、実行されたときに、図１の方法に従ってプロセッサ４１２にデジタル画像を処理させるプログラムを記憶している。ランダム・アクセス・メモリ４１６は、ストリップをバッファに入れたり、処理の中間結果（各圧縮ブロックからの結果など）を記憶したりするのに使用される。ハードコピー装置はまた、エンジン４１８を含む。デジタル複写機において、例えばエンジン４１８は、印刷エンジンおよび走査エンジンを含む。

この方法は、特定のハードコピー装置に限定されない。ハードコピー装置の例には、デジタル複写機、プリンタ、スキャナ、およびオール・イン・ワン装置（all-in-one machine）がある。この方法は、ハードコピー装置に限定されず、デジタル画像を記憶する任意の装置で実現されることができる。

本発明は、以上説明し示した特定の実施形態に限定されず、本発明は、特許請求の範囲に従って解釈される。

本発明は、以下の実施態様を含む。
（１）デジタル画像内の少なくとも１つの主色を識別する装置（４１０）であって、該画像（３１２）内のランダムに選択された画素に、検出ルールを適用するプロセッサ（４１２）を備える装置。
（２）前記プロセッサ（４１２）は、前記画像の各ストリップについて、少なくとも１つの主色を求める、上記（１）に記載の装置。
（３）前記検出ルールは、誤りの肯定的結果および誤りの否定的結果のうちの少なくとも一方の確率を最小にする、上記（１）に記載の装置。
（４）前記誤りの肯定的結果の確率は、ｒ_ｃ＜ｒ_ａである色を主色として識別する確率であり、ｒ_ｃは、ある特定の色を有するサンプル領域内の画素数を、該サンプル領域内の総画素数で割ったものであり、ｒ_ａは、許容可能な比率である、上記（３）に記載の装置。
（５）前記誤りの否定的結果の確率は、ｒ_ｃ＞ｒ_ｄである色を主色として識別しない確率であり、ｒ_ｃは、ある特有の色を有するサンプル領域内の画素の数を、該サンプル領域内の総画素数で割ったものであり、ｒ_ｄは、所望の比率である、上記（３）に記載の装置。
（６）前記検出ルールは、色出現リストを作成するのに使用される、上記（１）１に記載の装置。
（７）前記色出現リストは、前記画像（５１２）内の第１のサンプリングの画素を検査することによって作成され、該サンプリングにおける画素のそれぞれについて、
前記画素の色ベクトルが前記リストにある場合、対応するカウンタをインクリメントし、
前記色ベクトルが前記リストにない場合に、該リストに該色ベクトルを追加し、対応するカウンタを初期化する、上記（６）に記載の装置。
（８）前記画像（５１４）内の少なくとも１つの追加のサンプリングの画素を検査することを含み、各サンプリングの各画素について、
前記画素の色ベクトルが前記リストにある場合、前記対応するカウンタをインクリメントすることを含む、上記（７）に記載の装置。
（９）前記追加のサンプリングのそれぞれの終わりにおいて、カウンタｑ＜Ｔ_ｎを有するすべてのエントリが、前記リスト（５１６）から除去される、上記（８）に記載の装置。
（１０）前記リストが空か、またはすべてのエントリがカウンタｑ＞Ｕ_ｎ（５１８）を有する場合、追加のいかなるサンプリングも検査されず、該リストが完成され、それにより、該リスト内のすべての色ベクトルが、前記主色として識別される、上記（８）に記載の装置。

デジタル画像を処理する方法を示す図。 画像ブロック内の異なる色を識別する方法を示す図。 デジタル画像の主色を識別する一般的な方法を示す図。 図１の方法を実現するハードコピー装置を示す図。 デジタル画像内の主色を識別する例示的な方法を示す図。

符号の説明

４１０ ハードコピー装置
４１２ プロセッサ
４１８ エンジン

Claims (4)

1. デジタル画像内の少なくとも１つの主色を識別するための装置であって、該装置は、前記デジタル画像中のランダムに選択された画素に対して検出ルールを実行するよう構成されたプロセッサを備えており、該プロセッサにより実行される検出ルールは、
   前記デジタル画像に対して第１のサンプリングを行い、該第１のサンプリングで得られた画素のそれぞれについて、該画素の色ベクトルが色出現リストにないならば、該リストに該色ベクトルを追加して、該色ベクトル対応するカウンタを初期化し、該画素の色ベクトルが該色出現リストにあるならば、該色ベクトルに対応するカウンタをインクリメントするステップと、
   前記デジタル画像に対して少なくとも１つの追加のサンプリングを行い、それぞれの該追加のサンプリングにおいて、
   該追加のサンプリングで得られた画素のそれぞれについて、該画素の色ベクトルが前記色出現リストにあるならば、該色ベクトルに対応するカウンタをインクリメントし、
   前記色出現リストにおいて、しきい値Ｔｎより小さいカウンタの値ｑを持つすべての色ベクトルを、該リストから除去し、
   前記色出現リストが空か、または該リスト中のすべての色ベクトルのカウンタの値ｑがしきい値Ｕｎより大きい値を有するならば、追加のいかなるサンプリングも行うことなく、完成された該リスト内のすべての色ベクトルを、前記主色として識別する、ステップと、
   を含む、装置。
2. 前記プロセッサは、前記デジタル画像のストリップのそれぞれについて、少なくとも１つの前記主色を求める、
   請求項１に記載の装置。
3. 前記検出ルールは、誤りの肯定的結果および誤りの否定的結果のうちの少なくとも一方の確率を最小にするよう構成され、
   前記誤りの肯定的結果の確率は、ｒ_ｃ＜ｒ_ａである色を主色として識別する確率であり、ｒ_ｃは、所定のサンプル領域内において該色を有する画素数を、該サンプル領域内の総画素数で割ることにより得られる値であり、ｒ_ａは、所定の許容可能な比率であり、
   前記誤りの否定的結果の確率は、ｒ_ｃ＞ｒ_ｄである色を主色として識別しない確率であり、ｒ_ｃは、所定のサンプル領域内において該色を有する画素の数を、該サンプル領域内の総画素数で割ることにより得られる値であり、ｒ_ｄは、所望の比率である、
   請求項１または２に記載の装置。
4. 前記検出ルールは、前記色出現リストを作成するのに使用される、
   請求項１に記載の装置。

Images