JP2020205558A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】ノイズを含むカラー画像を圧縮する際の圧縮効率の低下又は画像情報の再現性の低下といった既存の手法の欠点を改善すること【解決手段】カラー画像を表現するカラー画像データに少なくとも減色処理を実行して、上記カラー画像に含まれる色よりも少ない数の色を含む減色画像データを生成する減色部と、上記減色画像データ内の孤立点であると判定される画素の色を当該孤立点の隣接画素の色に基づく他の色へ変換する変換処理、及び少なくとも１つの二値画像データを生成する生成処理を実行する変換部と、生成される上記二値画像データを圧縮符号化する符号化部と、を備える画像処理装置を提供する。対応する方法及びプログラムもまた提供される。【選択図】図３

Description

本開示は、画像処理装置、画像処理方法及びプログラムに関する。

近年、カラープリンタ及びカラースキャナが広く普及した結果、カラー文書が電子的に扱われる機会が増加している。例えば、カラー文書をスキャナで読み取ることにより生成されるカラー画像は、電子ファイルとして保存され、又はインターネットなどのネットワークを介して送受信される。しかし、フルカラー画像の多大なデータサイズは記憶装置の容量を圧迫し又はネットワークに負荷を掛けることから、多くの場合、データサイズを削減することが望まれる。

従来、カラー画像のデータサイズを圧縮する技術として、誤差拡散法を含むいわゆるディザリング、ＪＰＥＧ圧縮、並びに（例えば、８ビットのパレットカラーへの）減色を伴うＺＩＰ圧縮及びＬＺＷ圧縮が知られている。

特許文献１は、入力カラー画像を減色してインデックスカラー画像及び対応するカラー情報を生成し、類似するインデックスカラー同士を統合し、残されるインデックスカラーの二値画像を圧縮符号化する手法を開示している。こうした手法は、少数色圧縮とも呼ばれる。二値画像の圧縮符号化は、例えばＭＨ（Modified Huffman）、ＭＲ（Modified READ）又はＭＭＲ（Modified MR）といった符号化法に従って行われ得る。

特許第３８９０２５０号公報

文書をスキャナで読み取ると、画像内に読み取りムラに起因するノイズが生じることがある。また、画像処理の中途での一時的な圧縮又は量子化も、画像内にノイズを生じさせる原因となり得る。これらノイズは、特に近傍の画素の間の画素値の相関に依拠して画像データの情報量を削減しようとする符号化法に基づく圧縮符号化の圧縮効率を低下させ、又は画像情報の再現性を低下させる。

本開示に係る技術は、既存の手法の上述した欠点を少なくとも軽減することを目的とする。

ある観点によれば、カラー画像を表現するカラー画像データに少なくとも減色処理を実行して、上記カラー画像に含まれる色よりも少ない数の色を含む減色画像データを生成する減色部と、上記減色画像データ内の孤立点であると判定される画素の色を当該孤立点の隣接画素の色に基づく他の色へ変換する変換処理、及び少なくとも１つの二値画像データを生成する生成処理を実行する変換部と、生成される上記二値画像データを圧縮符号化する符号化部と、を備える画像処理装置が提供される。対応する方法及びプログラムもまた提供され得る。

本開示によれば、ノイズを含むカラー画像を圧縮する際に、より高い圧縮効率を達成し又は画像情報の再現性を改善することができる。

一実施形態に係る画像処理システムの構成の一例を示す概略図。 一実施形態に係るＭＦＰの具体的な構成の一例を示すブロック図。 一実施形態に係るＭＦＰのデータ処理部の詳細な構成の一例を示すブロック図。 減色画像における色の削減の様子の一例を示す説明図。 孤立点の例を示す説明図。 一実施形態に係る孤立点の色の修正について説明するための説明図。 一実施形態に係る孤立点の色の修正について説明するための説明図。 一実施形態に係る孤立点の色の修正について説明するための説明図。 一実施形態に係る孤立点の色の修正について説明するための説明図。 減色画像からの二値画像の生成について説明するための説明図。 一実施形態に係る圧縮データファイルのファイルフォーマットの一例を示す説明図。 一実施形態に係る少数色圧縮処理の概略的な流れの一例を示すフローチャート。 一実施形態に係る孤立点修正処理の詳細な流れの一例を示すフローチャート。 第１の実施例に係る色選択処理の詳細な流れの一例を示すフローチャート。 第２の実施例に係る色選択処理の詳細な流れの一例を示すフローチャート。 一変形例に係る孤立点の扱いについて説明するための説明図。 一変形例に係る孤立点修正処理の詳細な流れの一例を示すフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一の又は同様の構成に同一の参照番号を付し、重複した説明は省略される。

＜＜１．第１の実施形態＞＞
＜１−１．全体的な構成＞
本節では、本開示に係る技術がデジタル複合機（Multi-Function Peripheral（ＭＦＰ））に適用される例を説明する。以下では、デジタル複合機を単に複合機ともいう。しかしながら、本開示に係る技術は、複合機に限定されず、いかなる種類の画像処理装置に適用されてもよい。

図１は、第１の実施形態に係る画像処理システム１の構成の一例を示す概略図である。画像処理システム１は、ＭＦＰ１０１及びパーソナルコンピュータ（ＰＣ）１０２を含む。ＭＦＰ１０１及びＰＣ１０２は、ネットワーク１０３を介して互いに接続される。

図１に点線１０４で示したように、ＭＦＰ１０１は、ユーザによりセットされる原稿（例えば、紙文書）３の画像をスキャンすることにより原稿３の画像データを生成する。ユーザは、例えば、ＭＦＰ１０１の後述する操作ユニット２０３を介して、画像データの送信の宛て先（例えば、ＰＣ１０２）、並びにスキャン及び送信に関連する様々な設定を、ＭＦＰ１０１へ入力することができる。ここで入力される設定は、例えば、カラーモード（カラー／白黒）、解像度、画像データの圧縮率、及び圧縮方式（例えば、ＪＰＥＧ、ＴＩＦＦ、ＰＤＦ、少数色圧縮、ＯＣＲ結果を伴う少数色圧縮）のうちの１つ以上を含み得る。以下の説明では、圧縮方式として少数色圧縮が指定されるものとする。ＭＦＰ１０１は、さらに、点線１０５で示したように、上述したユーザ設定に従って、指定された宛て先へ、指定された圧縮方式で生成した原稿の画像データを送信する。ＰＣ１０２は、例えば、受信される画像データを伸長して画像を復元できるビューワを有し、復元される原稿３の画像をディスプレイ上に表示する。

＜１−２．ＭＦＰの構成＞
図２は、第１の実施形態に係るＭＦＰ１０１の具体的な構成の一例を示すブロック図である。図２を参照すると、ＭＦＰ１０１は、スキャナユニット２０１、プリンタユニット２０２、操作ユニット２０３及び制御ユニット２０４を備える。

スキャナユニット２０１は、原稿の画像をスキャンして当該原稿の画像を表現する画像データを生成する画像入力デバイスである。即ち、スキャナユニット２０１は、画像読み取り部としての役割を有する。スキャナユニット２０１は、例えば、ユーザにより設定されるカラーモードに応じて、原稿の画像をカラー画像又は白黒画像として読み取る。スキャナユニット２０１は、適用すべきカラーモードを自動的に判定してもよい。スキャナユニット２０１は、読み取った原稿の画像データを制御ユニット２０４へ送信する。プリンタユニット２０２は、画像データを制御ユニット２０４から受信し、受信した画像データに基づいて画像をシートへ印刷する画像出力デバイスである。操作ユニット２０３は、ユーザによるＭＦＰ１０１の操作及びＭＦＰ１０１への情報の入力を受け付けるユーザインタフェースである。また、操作ユニット２０３は、ＭＦＰ１０１の操作に関連する情報を出力（例えば、ディスプレイ上に表示）する。

制御ユニット２０４は、ＭＦＰ１０１の機能の全般を制御するためのコントローラである。図２を参照すると、制御ユニット２０４は、ＣＰＵ２０５、ＲＡＭ２０６、操作インタフェース（Ｉ／Ｆ）２０７、ネットワークＩ／Ｆ２０８、ＲＯＭ２１０及び記憶部２１１を含み、これらコンポーネントはシステムバス２１６を介して相互接続される。ＣＰＵ２０５は、ＭＦＰ１０１全体を制御するプロセッサである。ＲＡＭ２０６は、ＣＰＵ２０５の動作のためのプログラム及びデータを一時的に記憶するワークメモリである。ＲＡＭ２０６は、画像データを一時的に記憶する画像メモリでもある。操作Ｉ／Ｆ２０７は、制御ユニット２０４による操作ユニット２０３との通信を仲介するインタフェースである。例えば、操作Ｉ／Ｆ２０７は、操作ユニット２０３に表示させるためのユーザインタフェース画像を操作ユニット２０３へ送信する。また、操作Ｉ／Ｆ２０７は、ユーザにより入力される情報を操作ユニット２０３から受信する。ネットワークＩ／Ｆ２０８は、ＭＦＰ１０１をネットワーク１０３へ接続するためのインタフェースである。ネットワーク１０３は、例えばＬＡＮ（Local Area Network）であってよい。ＲＯＭ２１０は、ブートＲＯＭであり、ＭＦＰ１０１のブートプログラム及びその他のコンピュータプログラムを予め記憶する。記憶部２１１は、例えばＨＤＤ（Hard Disk Drive）といった二次記憶装置であってよく、システム制御用の多様なソフトウェア、設定データ及び画像データを記憶する。

さらに、制御ユニット２０４は、画像バスＩ／Ｆ２１２、ラスタイメージプロセッサ（ＲＩＰ）２１３、デバイスＩ／Ｆ２１４及びデータ処理部２１５を含み、これらコンポーネントは画像バス２１７を介して相互接続される。画像バスＩ／Ｆ２１２は、システムバス２１６に画像バス２１７を接続させるバスブリッジであり、これらバスの間で画像データのデータ構造を変換する。ＲＩＰ２１３は、描画されるべき画像の内容を記述したページ記述言語（ＰＤＬ）コードを解釈して、画像の内容を指定された解像度のビットマップ画像に展開する、いわゆるレンダリング処理を実行する。デバイスＩ／Ｆ２１４は、それぞれの信号線を介してスキャナユニット２０１及びプリンタユニット２０２へ接続される。デバイスＩ／Ｆ２１４は、例えば、画像データの同期系／非同期系の変換を行う。データ処理部２１５は、スキャナユニット２０１から受信される画像データについての画像処理、及びプリンタユニット２０２へ送信される印刷用の画像データについての画像処理を実行する。データ処理部２１５により実行される画像処理は、例えば、少数色圧縮を含み得る。例えば、スキャンされる文書について圧縮方式として少数色圧縮が設定されると、データ処理部２１５は、スキャナユニット２０１により原稿の画像を読み取ることにより生成された画像データを対象として、少数色圧縮を実行する。少数色圧縮の結果として生成される圧縮データは、例えば、ネットワークＩ／Ｆ２０８及びネットワーク１０３を介して、指定された宛て先（例えば、ＰＣ１０２）へ送信される。データ処理部２１５は、ネットワークＩ／Ｆ２０８を介して受信される圧縮データを伸長して、もとの画像データを復元することもできる。データ処理部２１５により復元される画像データは、例えば、デバイスＩ／Ｆ２１４を介して印刷のためにプリンタユニット２０２へ送信される。データ処理部２１５の詳細について、次節でさらに説明する。画像バス２１７は、画像データを高速で転送するための信号線である。画像バス２１７は、例えばＰＣＩバス又はＩＥＥＥ１３９４バスであってよい。

＜１−３．データ処理部の詳細＞
図２に示したデータ処理部２１５は、上述したように、原稿の画像をスキャンすることにより生成された画像データ及び受信された画像データについて、様々な画像処理を実行する。とりわけ、本実施形態において、データ処理部２１５は、入力画像がカラー画像である場合に、設定に応じて少数色圧縮を実行することにより、そのカラー画像の画像データを圧縮する。図３は、データ処理部２１５の詳細な構成の一例を示すブロック図である。図３を参照すると、データ処理部２１５は、減色部３１０、変換部３２０、符号化部３４０及びデータ結合部３５０を含む。なお、以下の説明では、説明を簡明にするために、画像を表現する画像データを単に「画像」と称することがある。

（１）減色部
減色部３１０は、入力カラー画像３０１について少なくとも減色処理を実行して、入力カラー画像３０１に含まれる色よりも少ない数の色を含む減色画像３１５を生成する。図３に示したように、減色部３１０は、減色処理部３１１、色統合部３１２及び中間色削減部３１３を含み得る。減色処理部３１１は、入力カラー画像３０１について減色処理を実行する。減色処理は、典型的には、いわゆるフルカラー表現又はトゥルーカラー表現からインデックスカラー表現へと画像表現を変換する処理であってよい。減色処理の結果として生成される画像（インデックスカラー画像ともいう）に含まれる色の数は、高々カラーパレットに格納し得るインデックスカラーの上限個数である。

色統合部３１２及び中間色削減部３１３は、特許第３８９０２５０号公報において開示された手法に従って色数を削減するコンポーネントである。図中で破線で示したように、色統合部３１２及び中間色削減部３１３の各々は、必ずしも減色部３１０に含まれなくてもよい。色統合部３１２は、例えば、インデックスカラーのうち略同一色であると判定される２つの色（例えば、Ｒ、Ｇ、Ｂそれぞれの成分値の差の絶対値が全て閾値を下回る色のペア）の一方を他方へ統合する。中間色削減部３１３は、インデックスカラーの各々について輝度成分及び２つの色差成分を導出し、色差平面において互いに近いカラー同士を統合する。例えば、白地に黒で書かれた文字のエッジ部分に白色と黒色との間の多段階の階調の灰色が存在する場合、中間色削減部３１３は、白色に近い灰色を白色へ、黒色に近い灰色を黒色へそれぞれ統合し得る。これら処理の結果として、減色画像３１５に含まれる異なる色の数は、典型的なカラーパレットの色数（例えば、２５６色）よりも少ない数へと削減され得る。一例として、印刷された黒色文字及び赤色文字、並びに青色インクで手書きされた内容を有する文書のスキャンに基づく減色画像は、色の濃淡に関わらず、黒色、赤色、青色及び白色という４つのインデックスカラーを含み得る。

図４は、減色画像における色の削減の様子の一例を示す説明図である。図４の左に示した文字４０１は、入力カラー画像３０１に含まれる黒色文字の一例である。入力カラー画像３０１について単純な減色処理を行うのみである場合、文字４０１のエッジ部分４０２において、図４の中央に示したような中間色の階調が現れる。具体的には、画素４０３は黒色を示すのに対し、画素４０４は黒色に近い灰色を、画素４０５は白色に近い灰色を示す。こうした状況において、減色部３１０が色の統合及び中間色の削減をする結果として、エッジ部分４０２に含まれるインデックスカラーは、図４の右に示したように白色及び黒色の２色のみとなる。

減色部３１０は、減色画像３１５に加えて、カラー情報３１６を生成する。カラー情報３１６は、減色画像３１５に含まれるインデックスカラーの各々についての画素数データ、色重心データ及び分布範囲データを含む。画素数データは、減色画像３１５内の個々のインデックスカラーを示す画素の数を表す。色重心データは、個々のインデックスカラーの色重心（例えば、Ｒ、Ｇ、Ｂ成分値）を表す。分布範囲データは、個々のインデックスカラーを示す画素の画像内の分布範囲を、それら画素を包含する最小の矩形の左上隅の位置座標及び右下隅の位置座標により表す。減色部３１０は、減色画像３１５及びカラー情報３１６を変換部３２０へ出力する。

（２）変換部
既存の手法では、上述した減色画像３１５からそれぞれのインデックスカラーに対応する二値画像が生成され、それら二値画像が圧縮符号化される。それにより、もとの入力カラー画像をそのまま圧縮符号化したケースと比較して、結果的に得られる圧縮データのデータサイズは格段に低減される。二値画像の圧縮符号化は、例えばＭＨ、ＭＲ又はＭＭＲといった符号化法に従って行われ得る。二値画像の圧縮のための既存の符号化法は、概して、近傍の画素の間の画素値の相関に依拠して、高い圧縮効率を達成する。これは、隣り合う画素の間の画素値の（例えば、真から偽、又は偽から真への）遷移が少ないほど圧縮データのデータサイズが小さくなることを意味する。しかしながら、文書をスキャナで読み取ると、画像内に読み取りムラに由来するノイズが生じることがある。また、スキャナなどの装置が行い得る一時的なデータの圧縮又は量子化も、画像内にノイズを生じさせ得る。これらノイズは、孤立点として二値画像に現れ、近傍の画素の間の本来の相関をかき乱し、二値画像の圧縮効率を低下させる。読み取られる文書の内容に依存するものの、発明者が調査したサンプルケースでは、４〜５文字に１画素程度という割合で孤立点が現れていた。

二値画像から孤立点を消去すれば、孤立点の近傍領域で画素値は平坦となることから、圧縮効率の低下は軽減され得る。しかし、画一的に孤立点を消去すると、文書内容の再現性が失われ、情報（例えば、文書内に書かれた文字その他の構造情報）の意図しない変化又は欠落が引き起こされ得る。そこで、本実施形態において、変換部３２０は、以下に詳しく説明するように、画像内の孤立点の色を変換することにより、圧縮効率の低下又は情報の再現性の低下を防ぐ。

本実施形態において、変換部３２０は、減色画像３１５内の孤立点であると判定される画素の色を、当該孤立点の隣接画素の色に基づく他の色へ変換する変換処理と、少なくとも１つの二値画像を生成する生成処理とを実行する。隣接画素とは、画像の境界に位置しない非境界画素については、左上、上、右上、左、右、左下、下及び右下の８個の画素をいう。境界画素について、隣接画素の数は、例えば５個又は３個であり得る。予め定義される条件に依存して、上記他の色は、非背景色であってよい。即ち、本実施形態において、変換部３２０は、画一的に孤立点を消去（孤立点の色を背景色へ変換）するわけではない。

典型的には、変換部３２０は、隣接画素の全てと異なる色を示す画素が孤立点であると判定してよい。図５は、孤立点の例を示す説明図である。図５に一例として示した減色画像３１５は、図中で斜線で網掛けされた矩形で示した赤色文字、塗りつぶされた矩形で示した黒色文字、及び破線で示した青色のインクによる手書き部分を含む。画像３１５の上部の１つの赤色文字の辺縁に黒色画素５０１がある。この黒色画素５０１の色を変換することなく、画像３１５から黒色二値画像を生成すると、その黒色二値画像内で黒色画素５０１は孤立点となる。画像３１５の中央の白色領域にある青色画素５０２もまた孤立点となり得る。同様に、画像３１５の下部の黒色文字の辺縁に位置する赤色画素５０３もまた孤立点となり得る。なお、ある画素が孤立点であると判定するための判定条件は、上述した例に限定されない。一変形例において、変換部３２０は、ある画素が隣接画素のいくつかと同一の色を示す場合であっても、その画素が孤立点であると判定し得る。そうした変形例について、後にさらに説明する。

再び図３を参照すると、変換部３２０は、背景選択部３２１、孤立点修正部３２２及び二値画像生成部３２３を含む。

（２−１）背景選択部
背景選択部３２１は、減色画像３１５に含まれる色（即ち、インデックスカラー）のうちの１つの色を背景色として選択する。背景色は、多くの場合、スキャンされる原稿の下地の色である。背景色は、例えば、減色画像において最も多くの画素により示される色、又は減色画像において最も広い範囲に分布する色として認識されてよい。背景選択部３２１は、カラー情報３１６の画素値データ及び分布範囲データの一方又は双方に基づいて、上記条件に当てはまる背景色を選択し得る。背景色については、後述する二値画像生成部３２３により二値画像は生成されなくてよい。その代わりに、背景選択部３２１は、選択した背景色に対応する情報を背景色情報３１６−Ｍとしてカラー情報３１６から抽出し、抽出した背景色情報３１６−Ｍをデータ結合部３５０へ出力する。

（２−２）孤立点修正部
孤立点修正部３２２は、減色画像３１５内の孤立点であると判定される画素の各々について、当該孤立点に隣接する隣接画素の色から変換後の色（以下、選択色という）を選択し、当該孤立点の色を選択色へ修正する。なお、以下の説明では、「修正」との語が「変換」と実質的に同等の意味で用いられる。第１の実施例において、孤立点修正部３２２は、各孤立点について隣接画素数を色ごとに集計し、集計した隣接画素数の最も多い色をその孤立点のための選択色として選択してもよい。

図６Ａ〜図６Ｄは、孤立点の色の修正について説明するための説明図である。なお、これら図を通じて、白色が背景色として選択されているものとする。また、図中の＊印が孤立点を表す。図６Ａの例において、修正前の孤立点６０１の色は赤色である。孤立点６０１の左上、上、右上、左及び右の隣接画素の色は白色であり、左下、下及び右下の隣接画素の色は黒色である。よって、隣接画素の色（選択の候補）は白色及び黒色を含み、白色の隣接画素数は５個、黒色の隣接画素数は３個である。したがって、選択色は白色であり、孤立点修正部３２２は、孤立点６０１の色を白色へ修正する。

図６Ｂの例において、修正前の孤立点６０２の色は赤色である。孤立点６０２の左上、上及び右上の隣接画素の色は白色であり、左、右、左下、下及び右下の隣接画素の色は黒色である。よって、隣接画素の色（選択の候補）は白色及び黒色を含み、白色の隣接画素数は３個、黒色の隣接画素数は５個である。したがって、選択色は黒色であり、孤立点修正部３２２は、孤立点６０２の色を黒色へ修正する。

第２の実施例において、孤立点修正部３２２は、隣接画素の色が非背景色を含む場合に、集計される隣接画素数の最も多い非背景色を選択色として選択してもよい。図６Ｃの左側には、修正前の孤立点６０１及びその隣接画素が再び示されている。孤立点６０１の隣接画素の色は、非背景色である黒色を含む。黒色よりも多くの隣接画素数を有する他の非背景色は存在しない。したがって、本実施例では、図６Ａの例とは異なり、孤立点修正部３２２は、孤立点６０１の色を黒色へ修正する。本実施例によれば、例えばノイズに起因して文字の辺縁の画素の色が本来の色とは異なる色として認識され孤立点となったとしても、その画素を背景に埋没させずに、文字に適切に属する隣接画素と同一の色へ、その画素の色を修正することができる。

第３の実施例において、孤立点修正部３２２は、隣接画素数が最も多い色が２色以上存在する場合に、当該２色以上の色のうちの最も暗い色へ孤立点の色を修正してもよい。図６Ｄの例において、修正前の孤立点６０３の色は赤色である。孤立点６０３の左上、上、右上及び右の隣接画素の色は白色であり、左、左下、下及び右下の隣接画素の色は黒色である。よって、隣接画素の色（選択の候補）は白色及び黒色を含み、白色の隣接画素数及び黒色の隣接画素数は共に４個である。したがって、孤立点修正部３２２は、孤立点６０３の修正のための選択色として、白色及び黒色のうちで最も暗い黒色を選択する。色の暗さの判定は、例えば明度又は輝度の値を比較することにより行われてよい。また、背景色が白色でない場合には、最も暗い色の代わりに、候補のうちで色空間において背景色から最も遠い色が選択されてもよい。本実施例によれば、孤立点の色が鮮明となるような修正の可能性を高めて、画像内の情報の欠落を防止することができる。

第３の実施例は、上述した第２の実施例と組み合わせられてもよい。その場合、隣接画素数の最も多い非背景色が２色以上存在する場合に、孤立点の色が、当該２色以上の非背景色のうちの最も暗い非背景色へ修正され得る。

本実施形態において、孤立点修正部３２２は、減色画像３１５に含まれる背景色以外のインデックスカラーを画素数の少ない順に処理対象に設定して、各インデックスカラーを示す孤立点の色の修正を実行してもよい。以下の説明において、各インデックスカラーをレイヤともいう。図５の画像３１５の例では、青色を示す画素数が最も少なく、赤色を示す画素数が次に少なく、黒色がそれに続く。白色は、背景色である。よって、孤立点修正部３２２は、まず、青色のレイヤに属する孤立点（青色を示す孤立点）の色を修正する。この修正によって、赤色画素、黒色画素及び白色画素が増加する可能性があり、その後に処理されるレイヤのいくつかの孤立点が非孤立点となり得る。次いで、孤立点修正部３２２は、赤色のレイヤに属する孤立点の色を修正する。この修正によって、青色画素、黒色画素及び白色画素が増加する可能性があり、次に処理されるレイヤの孤立点が非孤立点となり得る。次いで、孤立点修正部３２２は、黒色のレイヤに属する孤立点の色を修正する。こうした処理の順序によれば、微小なノイズに起因する優勢でない色（より画素数の少ない色）の孤立点をより優勢な色へ変えて、より優勢な色のレイヤの孤立点をできる限り解消した後、それでもなお残る孤立点について色の修正を適切に実行することができる。

孤立点修正部３２２は、孤立点の色を修正した場合、その修正に基づいてカラー情報３１６を更新する。

（２−３）二値画像生成部
二値画像生成部３２３は、孤立点修正部３２２により画素値の修正された減色画像３１５を分割することにより、非背景色の各々に対応する二値画像を生成する。図７は、減色画像からの二値画像の生成について説明するための説明図である。図５の例と対比すると、図７の例では、色の修正の結果として孤立点が解消されている。二値画像生成部３２３は、この減色画像３１５から赤色二値画像３３５−１、黒色二値画像３３５−２及び青色二値画像３３５−３を生成する。赤色二値画像３３５−１は、減色画像３１５内の赤色画素の分布範囲に相当するサイズを有し、赤色画素において画素値“１（真）”を、それ以外の画素において画素値“０（偽）”を示す。黒色二値画像３３５−２は、減色画像３１５内の黒色画素の分布範囲に相当するサイズを有し、黒色画素において画素値“１（真）”を、それ以外の画素において画素値“０（偽）”を示す。青色二値画像３３５−３は、減色画像３１５内の青色画素の分布範囲に相当するサイズを有し、青色画素において画素値“１（真）”を、それ以外の画素において画素値“０（偽）”を示す。どの二値画像も真を示さない画素の色は背景色であり、背景色は背景色情報３１６−Ｍの色重心データにより表される。図７の例では、背景色は白色である。なお、上述した例に限定されず、個々の二値画像のサイズは減色画像３１５と同一であってもよい。

二値画像生成部３２３は、このように生成される１つ以上の二値画像３３５−１，…，Ｎと、非背景色のカラー情報３１６−１，…，Ｎとを符号化部３４０へ出力する。

なお、ここでは、孤立点修正部３２２が減色画像内の孤立点の色を修正（あるいは変換）した後に、二値画像生成部３２３が各色について二値画像を生成する例を主に説明した。しかしながら、修正処理（変換処理）及び二値画像生成処理の順序は、上述した例に限定されない。例えば、変換部３２０は、減色画像から暫定二値画像を生成した後に、減色画像内の孤立点に対応する位置の暫定二値画像の画素値を切り替えることにより当該孤立点の色を変換して、変換二値画像を生成してもよい。より具体的には、変換部３２０は、変換前の色の二値画像の画素値を真から偽へ切り替え、及び変換後の色の二値画像の画素値を偽から真へ切り替えることにより、孤立点の色を変換し得る。この場合、孤立点は、例えば、二値画像において真を示す画素であって、隣接する画素の全て（又はほとんど）が偽を示す画素に対応し得る。

（３）符号化部
符号化部３４０は、変換部３２０から入力される二値画像３３５−１，…，Ｎの各々を圧縮符号化して、圧縮画像データを生成する。なお、各二値画像３３５−１，…，Ｎのサイズは、カラー情報３１６−１，…，Ｎの分布範囲データにより示される。ここでの圧縮符号化は、例えばＭＨ、ＭＲ又はＭＭＲといった既存のいかなる符号化法に基づいて行われてもよい。符号化部３４０は、非背景色の各々について、圧縮符号化により生成される圧縮画像データと対応するカラー情報とを含む圧縮データ３４５−１，…，Ｎを生成する。そして、符号化部３４０は、生成した圧縮データ３４５−１，…，Ｎをデータ結合部３５０へ出力する。

（４）データ結合部
データ結合部３５０は、符号化部３４０から入力される圧縮画像データにヘッダデータを結合することにより圧縮データファイル３５５を生成する。図８は、データ結合部３５０により生成され得る圧縮データファイルのファイルフォーマットの一例を示す説明図である。図８を参照すると、圧縮データファイル３５５は、ヘッダ領域８０１とＮ個のデータ領域８０２−１，…，Ｎとを含む。

ヘッダ領域８０１は、スキャンされた文書の属性データと、変換部３２０から入力される背景色情報とを含み得る。文書の属性データは、例えば、入力カラー画像３０１のサイズ（縦横の画素数）及びスキャン関連の設定値（例えば、解像度及び圧縮方式）を含み得る。背景色情報は、背景色を表す色重心データを含み得る。背景色は、上述したように、最も多くの画素数を有する色又は画像内で最も広い範囲を占める色であり得る。例えば、赤色の用紙に内容を印刷した文書がスキャンされた場合には、通常、赤色が背景色として選択され得る。但し、多くのケースでは白色の用紙が用いられることから、背景色が白色であると判定される場合には、データ結合部３５０は、背景色情報を圧縮データファイルに含めなくてもよい。白色判定のための手法の一例は、特許第３８９０２５０号公報により開示されている。

ｉ番目のデータ領域８０２−ｉ（ｉ＝１，…，Ｎ）は、ｉ番目の非背景色のカラー情報及び圧縮画像データを含む。減色画像３１５に残るインデックスカラーの個数をＭとすると、データ領域８０２の個数ＮはＭ−１に等しい。即ち、非背景色の個数Ｎだけデータ領域８０２が繰り返され得る。入力カラー画像３０１が単色の画像であった場合（例えば、白紙文書がスキャンされた場合）には、Ｎ＝０となり、圧縮データファイル３５５はデータ領域８０２を含まなくてよい。入力カラー画像３０１が白黒画像であった場合には、Ｎ＝１となり、圧縮データファイル３５５は単一のデータ領域８０２のみを含み得る。

＜＜２．処理の流れの例＞＞
＜２−１．概略的な流れ＞
図９は、本実施形態において制御ユニット２０４のデータ処理部２１５により実行される少数色圧縮処理の概略的な流れの一例を示すフローチャートである。なお、以下の説明では、処理ステップをＳ（ステップ）と略記する。

まず、Ｓ９１０で、減色部３１０は、入力カラー画像（カラー画像を表現するカラー画像データ）について減色処理を実行して、インデックスカラー画像及び対応するカラー情報を生成する。

次いで、Ｓ９２０で、減色部３１０は、色重心の値の比較に基づいて略同一色であると判定されるインデックスカラー同士を統合する。減色部３１０は、統合されるインデックスカラーについて、画素数、色重心及び分布範囲を再計算することにより、カラー情報を更新する。

次いで、Ｓ９３０で、減色部３１０は、それぞれのインデックスカラーに対応する輝度成分及び２つの色差成分の値を導出し、それら成分値の比較に基づいて中間色を削減する。減色部３１０は、中間色の削減に応じて、それぞれのインデックスカラーの画素数、色重心及び分布範囲を再計算することにより、カラー情報を更新する。Ｓ９１０〜Ｓ９３０の結果として、入力カラー画像から、入力カラー画像に含まれる色よりも少ない数の色を含む減色画像（減色画像データ）が生成される。

次いで、Ｓ９４０で、変換部３２０は、減色画像に含まれるインデックスカラーのうちで背景色を選択し、カラー情報から背景色情報を抽出する。

次いで、Ｓ９５０で、変換部３２０は、孤立点修正処理を実行することにより、減色画像内の孤立点の色を、当該孤立点の隣接画素の色に基づく他の色へ変換する。ここで実行される孤立点修正処理の詳細について、後にさらに説明する。

次いで、Ｓ９７０で、変換部３２０は、変換後の減色画像から、非背景色の色の各々に対応する二値画像（二値画像データ）を生成する。

次いで、Ｓ９８０で、符号化部３４０は、生成された二値画像の各々を圧縮符号化して、圧縮画像データを生成する。符号化部３４０は、さらに圧縮画像データとカラー情報とを含む圧縮データを生成し得る。

次いで、Ｓ９９０で、データ結合部３５０は、符号化部３４０により生成される圧縮データに、背景色情報を含むヘッダデータを結合することにより、圧縮データファイルを生成する。

このような少数色圧縮処理の結果として生成される圧縮データファイルは、例えば、ユーザにより指定された宛て先へネットワーク１０３を介して送信され得る。

圧縮データファイルを受信した受信装置は、例えば、ヘッダ領域内の背景色情報により示される色（又は、例えば白色である既定の背景色）で画像領域の全体を描画する。また、受信装置は、それぞれのデータ領域内の圧縮画像データを伸長することにより復元される二値画像に基づき、インデックスカラーの画像を画像領域に上書きする。その結果、受信装置において減色画像が復元され得る。減色画像は、記憶媒体により記憶されてもよく、ディスプレイにより表示されてもよく、又はプリンタにより印刷されてもよい。

＜２−２．孤立点修正処理＞
図１０は、図９のＳ９５０に示した孤立点修正処理の詳細な流れの一例を示すフローチャートである。孤立点修正処理は、上述したように、変換部３２０により実行され得る。

まず、Ｓ９５１で、変換部３２０は、カラー情報の画素数データに基づき、（背景色以外の）未処理のレイヤのうち画素数の最も少ない色のレイヤを注目レイヤに設定する。

次いで、Ｓ９５２で、変換部３２０は、注目レイヤの１つの画素（減色画像内で注目レイヤの色を示す画素）を注目画素に設定する。例えば、変換部３２０は、いわゆるラスタスキャン順に注目画素を設定してもよい。但し、注目画素の選択の順序は、かかる例に限定されない。

次いで、Ｓ９５３で、変換部３２０は、注目画素が孤立点であるかを、注目画素に隣接する隣接画素の画素値に基づいて判定する。典型的には、変換部３２０は、注目画素が隣接画素の全てと異なる色を示す場合に、当該注目画素が孤立点であると判定し得る。ここで、注目画素が孤立点であると判定される場合には、処理はＳ９５４へ進む。そうでない場合には、処理はＳ９６０へ進む。

Ｓ９５４では、変換部３２０は、色選択処理を実行することにより、孤立点である注目画素の隣接画素の色から、変換のための色を選択する。ここでの選択色は、予め定義される条件に依存して、非背景色であり得る。図１１Ａ及び図１１Ｂは、それぞれ上述した第１の実施例及び第２実施例に係る色選択処理の詳細な流れの例を示している。

第１の実施例では、図１１Ａに示したように、Ｓ９５５で、変換部３２０は、隣接画素の色のうちで対応する隣接画素数の最も多い色を、その色が背景色であるか否かに関わらず、選択色として選択する。

第２の実施例では、図１１Ｂに示したように、まず、Ｓ９５６で、変換部３２０は、隣接画素の色が全て背景色であるかを判定する。隣接画素の色が全て背景色である場合には、Ｓ９５７で、変換部３２０は、背景色を選択色として選択する。そうでない場合には、Ｓ９５８で、変換部３２０は、隣接画素の色のうちで対応する隣接画素数の最も多い非背景色を選択色として選択する。なお、いずれの実施例においても、対応する隣接画素数が最も多い色が２色以上存在する場合には、それら色のうちで最も暗い色が選択されてよい。

図１０に戻り、次いで、Ｓ９５９で、変換部３２０は、注目画素の色をＳ９５４で選択した選択色へ修正（即ち、変換）する。変換部３２０は、この修正に応じて、カラー情報を更新する。

Ｓ９６０では、変換部３２０は、注目レイヤ内に処理すべき画素が残っているかを判定する。処理すべき画素が残っていない場合には、処理はＳ９６１へ進む。一方、処理すべき画素が残っている場合には、処理はＳ９５２へ戻る。

Ｓ９６１では、変換部３２０は、処理すべきレイヤが残っているかを判定する。処理すべきレイヤが残っていない場合には、孤立点修正処理は終了する。処理すべきレイヤが残っている場合には、処理はＳ９５１へ戻る。

なお、ここでは画素数の少ない色の順にレイヤ（減色された色の各々）を選択して孤立点の色の変換を進める例を説明したが、本実施形態は、かかる例に限定されない。レイヤは、他の順（例えば、画素数の多い順又はインデックスのリストの順など）で選択されてもよい。また、孤立点の色の変換は、二値画像の生成の後に行われてもよい。

以上説明したように、本実施形態によれば、入力カラー画像について少なくとも減色処理が実行され、減色画像内の孤立点であると判定される画素の色が当該孤立点の隣接画素の色に基づく他の色へ変換される。そして、その変換に基づく少なくとも１つの二値画像が、ＭＭＲなどの二値画像に適した符号化法で圧縮符号化される。したがって、入力カラー画像内に読み取りムラ又は何らかの画像処理に由来するノイズが存在する場合にも、そのノイズに起因する画素値の相関の乱れを補正して、高い圧縮効率を達成することができる。結果的に、ＭＦＰ１０１などの画像処理装置により記憶され又は他の装置との間で通信される圧縮データファイルのファイルサイズは小さいサイズへ抑制される。また、適応的に選択される選択色へ孤立点の色が変換されるため、画像情報の再現性の低下も防止される。

また、本実施形態によれば、予め定義される条件に依存して、孤立点の色が隣接画素の色のうちの非背景色へ変換され得る。したがって、画一的に孤立点が消去される代わりに、非背景色の画素の孤立が解消され得るため、スキャンされた文書に含まれていた情報の意図しない変化又は欠落を効果的に回避することができる。

ある実施例によれば、孤立点の色は、色ごとに集計される隣接画素数が最も多い色へ変換され得る。この場合、非背景色が優勢な小領域においてノイズに起因して生じた孤立点の色を、背景に同化させることなく優勢な非背景色へ変換して、画像情報を残すことができる。他の実施例によれば、孤立点の色は、１つ以上の隣接画素の色が非背景色である場合に、隣接画素数が最も多い非背景色へ変換され得る。この場合、ある色領域の辺縁（例えば、文字のエッジ部分）に生じた孤立点の色を、その孤立点の周囲の過半が背景色であったとしても、当該色領域の色へ適切に復帰させることができる。

＜＜３．変形例＞＞
本発明は上記実施形態に限定されず、様々な変形が可能である。例えば、上記実施形態では、隣接画素の全てと異なる色を示す画素を孤立点として扱う例を主に説明した。しかしながら、色を修正すべきノイズは、必ずしも単一の画素のみに現れるのではなく、複数の画素をまたいで現れる可能性もある。そうした可能性に対処するために、一変形例として、変換部３２０は、互いに隣接する同一色の画素群であって群内の画素数が閾値を下回る当該画素群内の各画素が孤立点であると、さらに判定してもよい。ここでの閾値は、２以上の整数である。閾値は、固定的に定義されてもよく、又はユーザ設定若しくは文書の属性に依存して動的に設定されてもよい。以下に、閾値が３に等しく、よって互いに隣接する２個以下の同一色の画素群の各画素が孤立点として扱われる例を説明する。

図１２は、本変形例における孤立点の扱いについて説明するための説明図である。図１２の例において、赤色のレイヤが孤立点修正処理における注目レイヤであるものとする。修正前の注目画素１２０１は赤色である。注目画素１２０１の左上、上、右上、左、右、下及び右下の７個の隣接画素は赤色ではなく、左下の隣接画素１２０２は赤色である。ここでは、説明の便宜上、この隣接画素１２０２を注目画素１２０１の随伴画素という。随伴画素１２０２に注目すると、修正前の随伴画素１２０２の左上、上、左、右、左下、下及び右下の７個の隣接画素は赤色ではなく、右上の隣接画素１２０１は赤色である。よって、本変形例において、変換部３２０は、これら注目画素１２０１及び随伴画素１２０２の双方が孤立点であると判定する。なぜなら、注目画素１２０１及び随伴画素１２０２は、２個の同一色の画素群を形成しているからである。したがって、変換部３２０は、注目画素１２０１の８個の隣接画素の色から、例えば黒色を選択し、注目画素１２０１の色を黒色へ修正する。同様に、変換部３２０は、随伴画素１２０２の８個の隣接画素の色から、例えば白色を選択し、随伴画素１２０２の色を白色へ修正する。なお、ここでの選択色は、上述した第１、第２及び第３の実施例のいずれに従って選択されてもよい。

図１３は、本変形例に係る孤立点修正処理の詳細な流れの一例を示すフローチャートである。

まず、Ｓ１３０１で、変換部３２０は、カラー情報の画素数データに基づき、（背景色以外の）未処理のレイヤのうち画素数の最も少ない色のレイヤを注目レイヤに設定する。

次いで、Ｓ１３０２で、変換部３２０は、注目レイヤの１つの画素を注目画素に設定する。例えば、変換部３２０は、いわゆるラスタスキャン順に注目画素を設定してもよい。但し、注目画素の選択の順序は、かかる例に限定されない。

次いで、Ｓ１３０３で、変換部３２０は、注目画素に隣接する隣接画素のうちの注目画素と同一色である隣接画素の数が１つ以下であるかを判定する。ここで、注目画素と同一色である隣接画素の数が１つ以下である場合には、処理はＳ１３０４へ進む。そうではない場合には、注目画素は孤立点ではないため、処理はＳ１３１２へ進む。

Ｓ１３０４では、変換部３２０は、注目画素と同一色である隣接画素の数がゼロに等しいかを判定する。注目画素と同一色である隣接画素の数がゼロに等しい場合には、処理はＳ１３０５へ進む。そうではない場合には、処理はＳ１３０７へ進む。

Ｓ１３０５では、変換部３２０は、色選択処理を実行することにより、注目画素の隣接画素の色から、変換のための色を選択する。ここでの選択色は、予め定義される条件に依存して、非背景色であり得る。色選択処理の流れは、図１１Ａ及び図１１Ｂを用いて説明した流れと同様であってよい。次いで、Ｓ１３０６で、変換部３２０は、注目画素の色をＳ１３０５で選択した選択色へ修正（即ち、変換）する。

処理がＳ１３０７へ進んだ場合、注目画素と同一色の隣接画素、即ち随伴画素が１つ存在する。Ｓ１３０７で、変換部３２０は、随伴画素と同一色であって随伴画素に隣接する隣接画素の数が１つ以下であるかを判定する。そうした隣接画素の数が１つ以下である場合には、注目画素及び随伴画素は、２個の同一色の画素群を形成していることから、孤立点として扱われる。この場合、処理はＳ１３０８へ進む。そうではない場合には、注目画素及び随伴画素は３つ以上の同一色の画素群に含まれることから、それら画素は孤立点ではないと判定され、処理はＳ１３１２へ進む。

Ｓ１３０８では、変換部３２０は、色選択処理を実行することにより、注目画素の隣接画素の色から、変換のための色を選択する。ここでの選択色は、予め定義される条件に依存して、非背景色であり得る。次いで、Ｓ１３０９で、変換部３２０は、注目画素の色をＳ１３０８で選択した選択色へ修正（即ち、変換）する。

次いで、Ｓ１３１０では、変換部３２０は、色選択処理を実行することにより、随伴画素の隣接画素の色から、変換のための色を選択する。ここでの選択色は、予め定義される条件に依存して、非背景色であり得る。次いで、Ｓ１３１１で、変換部３２０は、随伴画素の色をＳ１３１０で選択した選択色へ修正（即ち、変換）する。

Ｓ１３１２では、変換部３２０は、注目レイヤ内に処理すべき画素が残っているかを判定する。処理すべき画素が残っていない場合には、処理はＳ１３１３へ進む。一方、処理すべき画素が残っている場合には、処理はＳ１３０２へ戻る。

Ｓ１３１３では、変換部３２０は、処理すべきレイヤが残っているかを判定する。処理すべきレイヤが残っていない場合には、孤立点修正処理は終了する。処理すべきレイヤが残っている場合には、処理はＳ１３０１へ戻る。

本変形例によれば、読み取りムラ又は何らかの画像処理に由来するノイズが複数の画素をまたいで生じた場合に、それら画素の色を隣接画素の色に基づいて修正することができる。それにより、そのノイズに起因する圧縮効率の低下を軽減しつつ、画像情報の再現性の低下を防止することができる。

なお、本明細書では、スキャナにより読み取られる文書の画像について孤立点の色を変換する例を主に説明した。しかしながら、上述した実施形態は、他の種類のカラー画像にも適用可能である。例えば、上述した実施形態は、写真の画像の圧縮符号化にも適用されてよい。また、本開示に係る技術は、画像にノイズを生じさせる可能性のある任意の画像処理を実行する画像処理装置により利用されてよい。

＜＜４．その他の実施形態＞＞
本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出して実行する処理の形式でも実現可能である。また、１つ以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本発明は上述した実施形態に制限されるものではなく、発明の精神及び範囲から逸脱することなく、様々な変更及び変形が可能である。したがって、発明の範囲を公にするために請求項を添付する。

１０１：複合機、２０１：スキャナユニット（画像読み取り部）、２０４：制御ユニット、３０１：入力カラー画像、３１０：減色部、３１５：減色画像、３２０：変換部、３３５−１，…，Ｎ：二値画像、３４０：符号化部

Claims (12)

1. カラー画像を表現するカラー画像データに少なくとも減色処理を実行して、前記カラー画像に含まれる色よりも少ない数の色を含む減色画像データを生成する減色部と、
   前記減色画像データ内の孤立点であると判定される画素の色を当該孤立点の隣接画素の色に基づく他の色へ変換する変換処理、及び少なくとも１つの二値画像データを生成する生成処理を実行する変換部と、
   生成される前記二値画像データを圧縮符号化する符号化部と、
   を備える画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記カラー画像データは、原稿の画像をスキャンすることにより生成された画像データであり、
   前記隣接画素の色に基づく前記他の色は、予め定義される条件に依存して、前記カラー画像データに基づく画像の背景色ではない非背景色である、
   画像処理装置。
3. 請求項２に記載の画像処理装置であって、前記隣接画素の色に基づく前記他の色は、前記孤立点の前記隣接画素の色のうちで数の最も多い色である、画像処理装置。
4. 請求項２に記載の画像処理装置であって、前記隣接画素の色が非背景色を含む場合に、前記隣接画素の色に基づく前記他の色は、前記隣接画素の色のうちで数の最も多い非背景色である、画像処理装置。
5. 請求項３又は請求項４に記載の画像処理装置であって、前記隣接画素の色のうちで数の最も多い色が２色以上存在する場合、前記隣接画素の色に基づく前記他の色は、当該２色以上の色のうちの最も暗い色である、画像処理装置。
6. 請求項２乃至５のいずれか１項に記載の画像処理装置であって、前記変換部は、前記減色画像データに含まれる非背景色ごとに前記二値画像データを生成する、画像処理装置。
7. 請求項２乃至６のいずれか１項に記載の画像処理装置であって、前記背景色は、前記減色画像データにおいて最も多くの画素により示される色、又は前記減色画像データにおいて最も広い範囲に分布する色である、画像処理装置。
8. 請求項１乃至７のいずれか１項に記載の画像処理装置であって、前記変換部は、隣接画素の全てと異なる色を示す画素を前記孤立点であると判定する、画像処理装置。
9. 請求項８に記載の画像処理装置であって、前記変換部は、互いに隣接する同一色の画素群であって群内の画素数が閾値を下回る当該画素群内の各画素を前記孤立点であるとさらに判定する、画像処理装置。
10. 請求項１乃至９のいずれか１項に記載の画像処理装置であって、原稿の画像をスキャンして前記カラー画像データを生成する画像読み取り部、をさらに備える、画像処理装置。
11. 画像処理装置により実行される画像処理方法であって、
    カラー画像を表現するカラー画像データに少なくとも減色処理を実行して、前記カラー画像に含まれる色よりも少ない数の色を含む減色画像データを生成することと、
    前記減色画像データ内の孤立点であると判定される画素の色を当該孤立点の隣接画素の色に基づく他の色へ変換する変換処理、及び少なくとも１つの二値画像データを生成する生成処理を実行することと、
    生成される前記二値画像データを圧縮符号化することと、
    を含む画像処理方法。
12. 画像処理装置のプロセッサを、
    カラー画像を表現するカラー画像データに少なくとも減色処理を実行して、前記カラー画像に含まれる色よりも少ない数の色を含む減色画像データを生成する減色部と、
    前記減色画像データ内の孤立点であると判定される画素の色を当該孤立点の隣接画素の色に基づく他の色へ変換する変換処理、及び少なくとも１つの二値画像データを生成する生成処理を実行する変換部と、
    生成される前記二値画像データを圧縮符号化する符号化部と、
    として機能させるためのプログラム。

Images