JP2011077580A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】色数の算出精度を高め、圧縮形式の決定精度を向上させ、高圧縮率、高画質での減色を実現すること。
【解決手段】画像データを複数の領域に分け、領域毎に色数を算出し、算出された色数又は入力された色数に基づいて領域の代表色値を選出し、代表色値が算出された領域の各色値を当該代表色値に置き換えたインデクス画像データを生成し、インデクス画像データが生成された領域の画像データと当該領域のインデクス画像データとの画質評価を行い、当該評価結果が予め設定された評価結果に該当する場合には算出されている色数を選出し、評価結果が予め設定された評価結果に該当しない場合には色数を増加させ、当該増加させた色数に基づいて、再度、代表色値を選出する、画像処理装置。
【選択図】図３

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

近年、文字や記号、線画、写真等を含む画像の画像データを圧縮する際、当該画像データの色数を算出し、当該色数に基づく圧縮形式で画像データの圧縮を行う技術がある。この色数は、圧縮を行う画像データのヒストグラムの頻度閾値、色集合のクラスタ最小サイズ等の条件を用いて算出されている。

例えば、画像データの少なくとも一部から個々の文字と判断される画素塊を含む基本領域を画定し、当該画定した基本領域に含まれる画素塊を構成する各画素について、当該画素の画素値を代表画素値候補のセットに含まれる代表画素値候補に限定色化し、限定色化後の画素塊における代表画素値候補の出現頻度（ヒストグラム）に基づいて、画素塊の色数を判定する技術が開示されている（特許文献１参照）。

画像データの少なくとも一部から文字と判断される画素塊を含む文字領域を画定し、各文字領域を順次注目文字領域として選択しながら、元画像データのうち注目文字領域内の有意画素に対する値のヒストグラム（発生頻度）を生成し、当該ヒストグラムにおいて所定の閾値を超える頻度で出現する画素値を特定し、当該特定した画素値の数（文字部分の画素値の数）をカウントして、文字色数を判定する技術が開示されている（特許文献２参照）。

画像データの特長を示すヒストグラム分布を解析して２値化処理を実行し、前景（文字）データと背景データとに分離する。そして、ヒストグラム分布状態の解析処理や色集合のクラスタリングなどにより、前景（文字）データの色数を判別する技術が開示されている（特許文献３参照）。

特開２００５−２６０４５２号公報 特開２００６−９２０５０号公報 特開２００６−３３３１７５号公報

しかしながら、引用文献１〜３のような技術では、画質とは直接関係のない基準を用いて色数を判別しているため、発生頻度が低い色が失われ、色数が誤判断されてしまうという問題がある。従って、色数に応じて圧縮形式を設定する際、適切でない圧縮形式が設定されたり、圧縮率の低下が生じたりして、圧縮処理後の画像データの画質が低下するという問題が発生する。また、人間の目で察知できる大きさの画像部位の色が発生頻度の低い色であった場合、この画像部位の色が代表色に帰属して別の色に置き換えられたり、文字画像の部分が背景画像に設定されてしまうおそれがある。

本発明の課題は、上記問題に鑑みて、色数の算出精度を高め、圧縮形式の決定精度を向上させ、高圧縮率、高画質での減色を実現することである。

請求項１に記載の発明は、画像データを複数の領域に分ける領域形成部と、前記領域毎に色数を算出する色数算出部と、前記色数算出部により算出された色数又は入力された色数に基づいて、前記領域の代表色値を選出する代表色値選出部と、前記代表色値が算出された領域の各色値を当該代表色値に置き換えたインデクス画像データを生成するインデクス画像生成部と、前記インデクス画像データが生成された領域の画像データと当該領域のインデクス画像データとの画質評価を行い、当該評価結果が予め設定された評価結果に該当する際に算出されている色数を選出する画質評価色数選出部と、前記画質評価色数選出部による評価結果が予め設定された評価結果に該当しない領域の色数を増加させ、当該増加させた色数を前記代表色値選出部に出力する色数増加部と、を備える画像処理装置である。
更に、コンピュータを上述した請求項１記載の発明に示した主要手段として機能させるためのプログラムを提供する（請求項１０記載の発明）。

請求項２に記載の発明は、請求項１に記載の画像処理装置において、前記画質評価色数選出部により選出された色数に基づいて、当該領域の圧縮方式を判定する圧縮方式判定部、を備える。

請求項３に記載の発明は、請求項２に記載の画像処理装置において、前記圧縮方式判定部は、前記領域の色数が予め設定された色数以上の場合には、互いに異なる複数の圧縮方式毎に当該領域の圧縮後のデータサイズを算出し、当該圧縮方式毎のデータサイズの比較結果に基づいて、当該領域の圧縮方式を判定する圧縮方式追加判定部を有する。

請求項４に記載の発明は、請求項１から３のいずれか一項に記載の画像処理装置において、前記画質評価色数選出部は、前記インデクス画像データが生成された領域の画像データと当該領域のインデクス画像データとの平均二乗誤差、画像信号とノイズとの比、構造的類似性のいずれかを算出し、当該算出値に基づいて画質評価する。

請求項５に記載の発明は、請求項１から３のいずれか一項に記載の画像処理装置において、前記画質評価色数選出部は、前記インデクス画像データが生成された領域の画像データと当該領域のインデクス画像データとの誤差画像を算出し、当該誤差画像と人間の視覚系特性とに基づいて画質評価する。

請求項６に記載の発明は、請求項１から３のいずれか一項に記載の画像処理装置において、前記画質評価色数選出部は、前記インデクス画像データが生成された領域の画像データと当該領域のインデクス画像データとのエッジの鮮鋭度に基づいて画質評価する。

請求項７に記載の発明は、画像データを複数の領域に分ける領域形成部と、前記領域毎に色数を算出する色数算出部と、前記領域の色数に基づいて当該領域に対する複数の色数候補を生成する色数候補生成部と、前記色数候補毎に、当該色数候補に基づいて前記領域の代表色値を選出する代表色値選出部と、前記色数候補毎に、前記領域の各色値を前記代表色値に置き換えたインデクス画像データを生成するインデクス画像生成部と、前記色数候補毎に、前記領域の画像データと当該領域のインデクス画像データとの画質評価を行なう画質評価部と、前記色数候補毎の画質評価部による評価結果に基づいて、複数の色数候補からいずれかを選出する色数決定部と、を備える画像処理装置である。
更に、コンピュータを上述した請求項７記載の発明に示した主要手段として機能させるためのプログラムを提供する（請求項１１記載の発明）。

請求項８に記載の発明は、画像データを複数の領域に分ける領域形成工程と、前記領域毎に色数を算出する色数算出工程と、前記色数算出工程により算出された色数又は入力された色数に基づいて、前記領域の代表色値を選出する代表色値選出工程と、前記代表色値が算出された領域の各色値を当該代表色値に置き換えたインデクス画像データを生成するインデクス画像生成工程と、前記インデクス画像データが生成された領域の画像データと当該領域のインデクス画像データとの画質評価を行い、当該評価結果が予め設定された評価結果に該当する際に算出されている色数を選出する画質評価色数選出工程と、前記画質評価色数選出工程による評価結果が予め設定された評価結果に該当しない領域の色数を増加させ、当該増加させた色数を前記代表色値選出工程に出力する色数増加工程と、を含む画像処理方法である。

請求項９に記載の発明は、画像データを複数の領域に分ける領域形成工程と、前記領域毎に色数を算出する色数算出工程と、前記領域の色数に基づいて当該領域に対する複数の色数候補を生成する色数候補生成工程と、前記色数候補毎に、当該色数候補に基づいて前記領域の代表色値を選出する代表色値選出工程と、前記色数候補毎に、前記領域の各色値を前記代表色値に置き換えたインデクス画像データを生成するインデクス画像生成工程と、前記色数候補毎に、前記領域の画像データと当該領域のインデクス画像データとの画質評価を行なう画質評価工程と、前記色数候補毎の画質評価工程による評価結果に基づいて、複数の色数候補からいずれかを選出する色数決定工程と、を含む画像処理方法である。

請求項１、７〜１１に記載の発明によれば、画質評価に基づいて色数を選出できるため、色数の過小判別や過多判別を防止でき、色数の算出精度を向上できる。従って、色数の算出精度の向上により、色数に応じた圧縮形式の決定精度の向上、高圧縮率、高画質での減色を実現することができる。

請求項２に記載の発明によれば、請求項１と同様の効果を得られるのは勿論のこと、画質評価の評価結果により選出された色数に基づいて圧縮方式を判定することができるため、圧縮形式の誤判断を防止できる。

請求項３に記載の発明によれば、請求項２と同様の効果を得られるのは勿論のこと、色数が予め設定された色数以上の場合には、複数の圧縮方式による圧縮後のデータサイズの比較結果に基づいて、圧縮方式を判定することができる。

請求項４に記載の発明によれば、請求項１から３のいずれか一項と同様の効果を得られるのは勿論のこと、平均二乗誤差（ＲＭＳＥ）、画像信号とノイズとの比（ＰＳＮＲ）、構造的類似性（ＳＳＩＭ）のいずれかの算出値に基づいて画質を客観的に評価することができる。

請求項５に記載の発明によれば、請求項１から３のいずれか一項と同様の効果を得られるのは勿論のこと、誤差画像と人間の視覚系（ＨＶＳ）特性とに基づいて画質を客観的に評価することができる。

請求項６に記載の発明によれば、請求項１から３のいずれか一項と同様の効果を得られるのは勿論のこと、インデクス画像データが生成された領域の画像データと当該領域のインデクス画像データとのエッジの鮮鋭度に基づいて画質を客観的に評価することができる。

画像形成装置の機能的構成図である。 画像圧縮処理のメインフローチャートである。 色数選出処理のフローチャートである。 圧縮方式決定処理のフローチャートである。 圧縮方式追加判定処理のフローチャートである。 他の色数選出処理のフローチャートである。

以下、図を参照して本発明の実施の形態を詳細に説明する。
まず、構成を説明する。

本実施の形態における画像形成装置は、原稿から画像を読み取り、読み取った画像を用紙に画像形成して出力するコピー機能や、外部装置等から画像データを含むページデータや各画像データの画像形成条件等を含むジョブを受信し、受信したジョブに基づいて画像を用紙上に形成して出力するプリント機能等を備えている。

図１に、画像形成装置１の機能的構成図を示す。
図１に示すように、画像形成装置１は、制御部１０と、不揮発メモリ１１と、ＲＡＭ（Random Access Memory）１２と、画像メモリ１３と、画像処理部１４と、画像読取部２０と、操作表示部３０と、プリント部４０と、通信部５０等を備え、各部は制御部１０によって制御されている。

制御部１０は、ＣＰＵ（Central Processing Unit）等から構成され、不揮発メモリ１１に格納されているシステムプログラム及び各種アプリケーションプログラムの中から指定されたプログラムを読み出してＲＡＭ１２に展開し、ＲＡＭ１２に展開されたプログラムとの協働で、各種処理を実行し、画像形成装置１の各部を集中制御する。
例えば、操作表示部３０から入力される指示信号に従って、コピーモード、プリンタモード、スキャナモードを切り替え、複写、プリント、画像データの読取等の制御を行う。

更に、制御部１０は、不揮発メモリ１１から本実施の形態に係る画像圧縮処理プログラム及び各種データを読み出してＲＡＭ１２に展開し、当該プログラム及びデータの協働により画像処理部１４による画像圧縮処理を実行させる。

画像圧縮処理では、画像読取部２０から入力された画像データが圧縮されて複合文書ファイルが生成され、当該圧縮した画像データ（複合文書ファイル）が画像メモリ１３に書き込まれて一時的に記憶される。

不揮発メモリ１１は、画像形成に係る各種処理プログラム及びデータの他、本実施の形態に係る画像圧縮処理プログラム、各種プログラムで処理されたデータ等を記憶する。

ＲＡＭ１２は、制御部１０により実行される各種プログラム及びこれらプログラムに係る各種データ等を一時的に記憶するワークエリアを形成すると共に、操作表示部３０により受け付けられた設定情報等を記憶する。

画像メモリ１３は、ＤＲＡＭ（Dynamic RAM）やＨＤＤ（Hard Disk Drive）等の不揮発性の読み書き可能な記憶媒体で構成されており、画像処理部１４において処理されたデータを記憶する。

画像処理部１４は、画像前処理部１４ａ、領域形成部１４ｂ、領域判別部１４ｃ、圧縮部１４ｄ、複合文書ファイル作成部１４ｅを有する。

画像処理部１４の画像前処理部１４ａ、領域形成部１４ｂ、領域判別部１４ｃ、圧縮部１４ｄ、複合文書ファイル作成部１４ｅは、本実施の形態では、制御部１０が画像圧縮処理プログラムを実行されることによって実現されるソフトウェアとして説明するが、これに限らない。各部をＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、ＬＳＩ（Large Scale Integration）等のハードウェアで構成して、画像処理部１４を画像処理装置として構成してもよい。また、画像処理部１４の一部をハードウェア構成とし他部を制御部１０が実行するソフトウェアとして実現するものであってもよい。

画像前処理部１４ａでは、画像読取部２０から入力された画像データに対して前処理が施される。前処理としては、例えば、解像度変換や下地除去処理等であり、後段の領域形成部１４ｂで実行される処理の精度を高めるものである。

領域形成部１４ｂでは、画像前処理部１４ａにより前処理が施された画像データが、複数の領域に分割されて抽出される。当該領域の抽出方法としては、例えば、所定の条件（例えば、黒画素である等）を満足する画素が連続する部分からなる複数の画素群を一つの領域として抽出する。

領域判別部１４ｃでは、画像データの各領域の色数が選出される色数選出処理と、当該色数に基づいて各領域の圧縮方式が設定される圧縮方式決定処理とが実行される。

圧縮部１４ｄでは、各領域が各領域に設定された圧縮方式で圧縮される。圧縮方式としては、可逆圧縮方式と、可逆圧縮方式よりも高圧縮率が得られる不可逆圧縮方式とがある。可逆圧縮方式としては、例えば、文字や記号等の文字画像の圧縮方式として用いられるＭＭＲ（Modified Modified READ）等や、図形等の線画の圧縮方式として用いられるＰＮＧ（Portable Network Graphics）等がある。不可逆圧縮方式としては、例えば、背景画像や写真画像等の圧縮方式として用いられるＪＰＥＧ（Joint Photographic Experts Group）等がある。

複合文書ファイル作成部１４ｅでは、圧縮部１４ｄにより各領域が圧縮された画像データが複合化され、複合文書ファイルが作成され、当該複合文書ファイルが画像メモリ１３に記憶される。複合文書ファイルのファイル形式としては、例えば、ＰＤＦ（Portable Document Format）、ＸＰＳ（XML Paper Specification）等である。

また、画像処理部１４は、制御部１０から画像データの読み出し指示があると、画像メモリ１３に記憶した圧縮画像データを伸長し、画像メモリ１３に一旦記憶させる。そして、制御部１０から画像形成指示があると、非圧縮の画像データをページ単位で読み出し、拡縮や方向転換等の画像処理を行い、当該画像処理を施した画像データをプリント部４０に出力する。

画像読取部２０は、原稿自動送り部と読取部とを備え、原稿から画像を読み取り、画像データを生成し、画像処理部１４に出力する。

操作表示部３０は、ＬＣＤ（Liquid Crystal Display）やＥＬ（Electro-Luminescence）ディスプレイ等から成る表示部、表示部を覆うように設けられたタッチパネル、テンキー等の各種操作キー群から構成される。操作表示部３０は、制御部１０から入力される表示信号に従って、各種設定条件を入力するための各種画面や各種処理結果等を表示部に表示させる。また、操作表示部３０は、各種スイッチやボタン、テンキー、操作キー群又はタッチパネルから入力される操作信号を制御部１０に出力する。

プリント部４０は、給紙部、給紙搬送部、画像形成部、定着部、搬出部等を備えて構成され、入力されたプリントデータに基づいて、電子写真方式の画像形成処理を行うものである。

通信部５０は、通信部５０は、ネットワークに接続されている外部装置（不図示）とのデータ通信の管理及び制御を行うものであり、例えば、外部装置からプリント対象のデータを受信し、当該データをジョブとして制御部１０へ送信したり、画像メモリ１３に記憶されている複合文書ファイルを外部装置に送信したりする。

次に、本実施の形態の動作を説明する。
図２に、本実施の形態における画像圧縮処理のメインフローチャートを示す。
本実施の形態における画像圧縮処理は、制御部１０が画像圧縮処理プログラムを実行することにより画像処理部１４の動作として実現されるものである。

制御部１０は、画像読取部２０により、原稿から画像データを生成させ、当該画像データを画像処理部１４に出力させる（ステップＳ１）。生成された画像データのファイル形式としては、例えば、ＴＩＦＦ（Tagged Image File Format）、ＪＰＥＧ、ＢＭＰ（Bit MaP）等である。

制御部１０は、画像読取部２０から入力された画像データに対して前処理を施すことで、画像前処理部１４ａを機能させる（ステップＳ２）。そして、制御部１０は、前処理済みの画像データを複数の領域に分割して抽出することで、領域形成部１４ｂを領域形成手段として機能させる（ステップＳ３）。なお、抽出された各領域には、識別情報が付加されている。

制御部１０は、各領域に対して後述する色数選出処理（ステップＳ４）を実行することで、領域判別部１４ｃを機能させる。色数算出処理では、各領域の色数が選出される。

制御部１０は、ステップＳ４後、後述する圧縮方式決定処理（ステップＳ５）を実行することで、領域判別部１４ｃを機能させる。圧縮方式決定処理では、色数選出処理により選出された色数に基づいて、各領域の圧縮方式が判定され、領域判別部１４ｃが圧縮方式判定手段として機能する。

ステップＳ４及びＳ５が実行されたことにより得られる各領域の処理結果情報には、色数、代表色値、圧縮方式、インデクス画像データ等が含まれる。

制御部１０は、領域判別部１４ｃにより得られた各領域の処理結果情報に基づいて、各領域を設定された圧縮方式で圧縮し、圧縮済みの各領域の画像データを複合文書ファイル作成部１４ｅに出力することで、圧縮部１４ｄを機能させる（ステップＳ６）。

制御部１０は、圧縮された各領域の画像データと、当該各領域の画像データの位置情報、色情報（色数、代表色値等）、透明情報等とを複合化し、複合文書ファイルを作成し（ステップＳ７）、当該作成した複合文書ファイルを画像メモリ１３に記憶させ（ステップＳ８）、複合文書ファイル作成部１４ｅを機能させる。

図３に、ステップＳ４において実行される色数選出処理のフローチャートを示す。
図３に示す処理は、領域毎に実行されるものである。

制御部１０は、色数選出処理の処理対象となった領域の画像データに基づいて色数を算出し、領域判別部１４ｃを色数算出手段として機能させる。そして、制御部１０は、算出した色数を当該処理対象となった領域の色数ｎとして設定する（ステップＳ１１）。
ステップＳ１１では、当該領域の画像データのヒストグラムを作成し、当該ヒストグラムの解析処理や色集合のクラスタリング等の既知の技術を用いて色数が算出される。

制御部１０は、設定されている色数ｎに基づいて処理対象となった領域の代表色値を選出し、領域判別部１４ｃを代表色値選出手段として機能させる（ステップＳ１２）。
ステップＳ１２では、例えば、下記に示す（参考文献１）、（参考文献２）に記載の代表色値算出アルゴリズムを用いて、代表色値が選出される。
なお、代表色値の選出は、上記に限らず、本実施の形態の主旨を逸脱しない範囲で様々に変更可能であり、採用可能な好適な代表色値算出アルゴリズムの概念としては、色の発生頻度に拘わらず人の視覚系（ＨＶＳ：Human Visual System）にとって重要な色であればその色を算出可能なアルゴリズムである。

（参考文献１）
P.Heckert,“Color Image quantization for frame buffer display”,Computer graphics,Vol.16,No.3,p297-304,1980
（参考文献２）
Xiaolin Wu“Color quantization by dynamic programming and principal analysis”ACM Transaction on Graphics Volume 11,Issue 4 (October 1992) Pages:348-372

制御部１０は、ステップＳ１２で代表色値が選出された領域（処理対象となっている領域）の各色値を、ステップＳ１２で選出した代表色値に置き換えたインデクス画像データを生成し、領域判別部１４ｃをインデクス画像生成手段として機能させる（ステップＳ１３）。

制御部１０は、ステップＳ１３においてインデクス画像データが生成された領域（処理対象の領域）の画像データと、当該領域のインデクス画像データとの画質評価を行い、当該評価結果が予め設定された評価結果に該当するか否かを判別し、領域判別部１４ｃを画質評価色数選出手段として機能させる（ステップＳ１４）。
予め設定された評価結果とは、画質の維持が可能であるか否かを判断するための基準となるものである。

ステップＳ１４で実行される画質評価では、例えば、インデクス画像データが生成された領域の画像データと当該領域のインデクス画像データとの平均二乗誤差（ＲＭＳＥ；Root Mean Square Error）、画像信号とノイズとの比（ＰＳＮＲ；Peak Signal to Noise Ratio）、構造的類似性（ＳＳＩＭ；Structural Similarity）のいずれかが算出され、当該算出値に基づいて画質評価が実行される。
本実施の形態においては、ＲＭＳＥ値を算出し、当該ＲＭＳＥ値が１０未満であることを予め設定された評価結果とする。

また、ステップＳ１４で実行される画質評価は、上記に限らず、処理速度や処理容量と、画質判定の精度とのバランスを考慮して他の技術を用いてもよい。
例えば、人間の視覚系（ＨＶＳ）は、空間周波数の高い歪を感知しにくく、空間周波数の低い歪を感知しやすいという特性と、画像上の顕著な部分の歪みに敏感であることが知られている。従って、インデクス画像データが生成された領域の画像データと当該領域のインデクス画像データとの誤差画像を算出し、当該誤差画像とＨＶＳの特性とに基づいて画質評価が実行されてもよい。

また、エッジは、文字画像、図形等の線画等の画像の種類の特徴を示す。従って、ステップＳ１４で実行される他の画質評価として、インデクス画像データが生成された領域の画像データと当該領域のインデクス画像データとのエッジを抽出し、エッジの鮮鋭度の比較やエッジにより形成される画像の輪郭形状の比較結果に基づいて画質評価が実行されてもよい。

ステップＳ１４において、評価結果が画質の維持が不可能である場合、即ち、予め設定された評価結果（ＲＭＳＥ値＜１０）に該当しない場合（ステップＳ１４；ＮＯ）、制御部１０は、設定されている色数ｎが予め設定された色数閾値よりも多いか否かを判別する（ステップＳ１５）。ステップＳ１５における判別基準となる色数閾値は、例えば、写真画像として判別される色数である。

設定されている色数ｎが予め設定された色数閾値以下の場合（ステップＳ１５；ＮＯ）、制御部１０は、設定されている色数ｎにΔｎを加算して、色数を増加させ（ステップＳ１６）、ステップＳ１２の処理に進み、ステップＳ１６で増加させた色数ｎに対する代表色値を再度選出し、ステップＳ１３以降の処理に進む。

制御部１０は、ステップＳ１４；ＮＯ、ステップＳ１５；ＮＯ、ステップＳ１６を実行することにより、領域判別部１４ｃを、評価結果が予め設定された評価結果に該当しない領域の色数を増加させる色数増加手段として機能させる。

設定されている色数ｎが予め設定された色数閾値よりも多い場合（ステップＳ１５；ＹＥＳ）、制御部１０は、処理対象となっている領域の圧縮方式を写真画像の圧縮方式（例えば、ＪＰＥＧ）に設定し（ステップＳ１７）、ステップＳ１７で設定した圧縮方式を処理対象となっている領域の識別情報に対応付けて不揮発メモリに記憶し、本処理を終了する。

ステップＳ１４において、評価結果が画質の維持が可能である場合、即ち、予め設定された評価結果（ＲＭＳＥ値＜１０）に該当する場合（ステップＳ１４；ＹＥＳ）、制御部１０は、当該評価結果が予め設定された評価結果に該当する際に設定されている色数ｎを選出し、当該色数ｎと、当該色数に基づいて選出された代表色値と、生成されたインデクス画像データとを、処理対象となっている領域の識別情報に対応付けて不揮発メモリに記憶し（ステップＳ１８）、本処理を終了する。

図４に、ステップＳ５において実行される圧縮方式決定処理のフローチャートを示す。
本処理は、圧縮方式が設定されていない領域毎に実行されるものである。

制御部１０は、複数の領域のうちいずれか一つを圧縮方式決定処理の処理対象の領域として選出し、当該選出した領域の色数を不揮発メモリから読み出し、当該色数の判断を行なう（ステップＳ２１）。

色数が２の場合（ステップＳ２１；色数＝２）、制御部１０は、処理対象となっている領域の画像データを前景画像データと背景画像データとに分離する（ステップＳ２２）。
前景画像データとは、文字や記号等の文字画像を形成する画像データであり、背景画像データとは、前景画像データの背景となる所定の濃度を有する画像データである。

制御部１０は、前景画像データに対しては可逆圧縮方式を設定し、背景画像データに対しては不可逆圧縮方式を設定し（ステップＳ２３）、当該設定を処理対象となっている領域の識別情報に対応付けて不揮発メモリに記憶し、本処理を終了する。

ステップＳ２３では、色数が２であることから、処理対象となっている領域の画像は、１色の文字画像（前景画像）と、１色の背景画像から構成されていると判別できる。従って、ステップＳ２３では、例えば、前景画像データを文字画像の圧縮方式として用いられるＭＭＲ、背景画像データを写真画像の圧縮方式として用いられるＪＰＥＧ、と設定することが好ましい。

色数が３以上８以下の場合（ステップＳ２１；３≦色数≦８）、制御部１０は、処理対象となっている領域の画像データを複数の前景画像データと背景画像データとに分離する（ステップＳ２４）。

制御部１０は、複数の前景画像データに対しては、それぞれ可逆圧縮方式を設定し、背景画像データに対しては不可逆圧縮方式を設定し（ステップＳ２５）、当該設定を処理対象となっている領域の識別情報に対応付けて不揮発メモリに記憶し、本処理を終了する。

ステップＳ２５では、色数が３以上８以下であることから、処理対象となっている領域の画像は、複数色の文字画像（前景画像）と、１色の背景画像から構成されていると判別できる。従って、ステップＳ２５では、例えば、各色の前景画像データを文字画像の圧縮方式として用いられるＭＭＲ、背景画像データを写真画像の圧縮方式として用いられるＪＰＥＧ、と設定することが好ましい。

色数が９以上１６以下の場合（ステップＳ２１；９≦色数≦１６）、制御部１０は、処理対象となっている領域の画像データに対して可逆圧縮方式を設定し（ステップＳ２６）、当該設定を処理対象となっている領域の識別情報に対応付けて不揮発メモリに記憶し、本処理を終了する。

ステップＳ２６では、色数が９以上１６以下であることから、処理対象となっている領域の画像は、図形等の線画であると判別できる。従って、ステップＳ２６では、例えば、当該領域の画像データを線画の圧縮方式として用いられるＰＮＧに設定することが好ましい。

色数が１７以上２５６以下の場合（ステップＳ２１；１７≦色数≦２５６）、制御部１０は、処理対象となっている領域の画像データに対して圧縮方式追加判定処理を実行し（ステップＳ２７）、当該処理結果を処理対象となっている領域の識別情報に対応付けて不揮発メモリに記憶し、本処理を終了する。

圧縮方式追加判定処理では、色数が予め設定された色数（本実施の形態では、１７）以上の場合、互いに異なる複数の圧縮方式毎に処理対象の領域の圧縮後のデータサイズが算出され、当該圧縮方式毎のデータサイズの比較結果に基づいて、当該領域の圧縮方式が判定され、領域判別部１４ｃが圧縮方式追加判定手段として機能する。

図５に、ステップＳ２７において実行される圧縮方式追加判定処理のフローチャートを示す。
制御部１０は、処理対象となっている領域の色数、代表色値、インデクス画像データを不揮発メモリから読み出し、当該色数、代表色値、インデクス画像データに基づいて、線画の圧縮方式（例えば、ＰＮＧ）で圧縮した際の当該領域の圧縮後のデータサイズ（線画圧縮サイズＰ）を算出する（ステップＳ３１）。

また、制御部１０は、処理対象となっている領域の元の画像データを不揮発メモリから読み出し、写真画像の圧縮方式（例えば、ＪＰＥＧ）で圧縮した際の当該領域の圧縮後のデータサイズ（写真圧縮サイズＪ）を算出する（ステップＳ３２）。

制御部１０は、ステップＳ３１で算出した線画圧縮サイズＰと写真圧縮サイズＪとを比較し、写真圧縮サイズＪが線画圧縮サイズＰよりも大きいか否かを判別する（ステップＳ３３）。

写真圧縮サイズＪが線画圧縮サイズＰよりも大きい場合（ステップＳ３３；ＹＥＳ）、制御部１０は、処理対象となっている領域の画像データに対して線画の圧縮方式を設定し（ステップＳ３４）、本処理を終了する。

写真圧縮サイズＪが線画圧縮サイズＰ以下の場合（ステップＳ３３；ＮＯ）、制御部１０は、処理対象となっている領域の画像データに対して写真画像の圧縮方式を設定し（ステップＳ３５）、本処理を終了する。

〔変形例〕
ステップＳ４において実行される色数選出処理は、図３に示す処理に替えて図６に示す処理を用いてもよい。図６に、ステップＳ４において実行される他の色数選出処理のフローチャートを示す。図６に示す処理は、領域毎に実行されるものである。

制御部１０は、色数選出処理の処理対象となった領域の画像データに基づいて色数を算出し、領域形成部１４ｂを色数算出手段として機能させる（ステップＳ４１）。
ステップＳ４１では、当該領域の画像データのヒストグラムを作成し、当該ヒストグラムの解析処理や色集合のクラスタリング等の既知の技術を用いて色数が算出される。

制御部１０は、ステップＳ４１において算出した色数に基づいて、当該領域に対する複数の色数候補（第１〜Ｎ色数候補）を生成し、領域判別部１４ｃを色数候補生成手段として機能させる（ステップＳ４２）。

ステップＳ４２では、ステップＳ４１において算出された色数を基準として、当該色数の前後の複数の色数、当該色数よりも少ない数の複数の色数、又は当該色数よりも多い数の複数の色数が生成され、当該生成された色数と基準とした色数とが色数候補として生成される。例えば、ステップＳ４１において算出された色数が１０の場合、当該１０を基準として前後の２つの色数（８、９、１１、１２）が生成され、８、９、１０、１１、１２が第１〜５色数候補として生成される。

制御部１０は、各色数候補に対して、ステップＳ４３〜Ｓ４５の処理を実行する。
第１色数候補に対する処理を、他の色数候補に対する処理の代表として説明する。
制御部１０は、第１色数候補として生成された色数に基づいて、処理対象となった領域の代表色値を選出し、領域判別部１４ｃを代表色値選出手段として機能させる（ステップＳ４３）。ステップＳ４３における代表色値の選出は、ステップＳ１２と同様であるため、説明は省略する。

制御部１０は、処理対象となっている領域の各色値を、ステップＳ４３で選出した代表色値に置き換えたインデクス画像データを生成し、領域判別部１４ｃをインデクス画像生成手段として機能させる（ステップＳ４４）。

制御部１０は、処理対象となっている領域の画像データと、当該領域のインデクス画像データとの画質評価を行い、領域判別部１４ｃを画質評価手段として機能させる（ステップＳ４５）。ステップＳ４５で実行される画質評価は、ステップＳ１４と同様であるため、説明は省略する。本実施の形態においては、ＲＭＳＥ値を算出する。

制御部１０は、各色数候補の画質評価の結果に基づいて、複数の色数候補からいずれか一つの色数候補を選出し、領域判別部１４ｃを色数決定手段として機能させる。例えば、予め設定された評価結果に該当する画質評価の結果が得られた色数候補が選出され、当該選出された色数候補のうち最も色数が少ない色数候補が選出される。そして、制御部１０は、この選出された色数候補を、処理対象となっている領域の色数として決定する。
そして、制御部１０は、決定した色数ｎと、当該色数に基づいて選出された代表色値と、生成されたインデクス画像データとを、処理対象となっている領域の識別情報に対応付けて不揮発メモリに記憶し（ステップＳ４６）、本処理を終了する。

なお、本実施の形態では図３〜６に示す各ステップの処理を、制御部１０が画像処理プログラムを実行することにより実現されるものとして説明したが、これに限らず、各ステップの処理を、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、ＬＳＩ（Large Scale Integration）等のハードウェアで構成したり、また、一部をハードウェア構成とし他部を制御部１０により実行されるプログラムにより実現されるものであってもよい。

以上のように、本実施の形態によれば、処理対象となっている領域の画像データとインデクス画像データとの客観的な画質評価を行い、当該評価結果が予め設定された評価結果に該当する場合には、算出されている色数を選出し、当該評価結果が予め設定された評価結果に該当しない場合には、色数を増加させ、再度、画質評価を行い、評価結果に応じて色数の選出を行なうことができる。又は、色数候補毎の画質評価部による評価結果に基づいて、複数の色数候補からいずれかを選出することができる。
そのため、画質評価に基づいて色数を選出でき、ヒストグラム等の頻度閾値を用いて色数を算出した際の色数の過小判別や過多判別を防止でき、色数の算出精度を向上できる。従って、色数の算出精度の向上により、色数に応じた圧縮形式の決定精度の向上、高圧縮率、高画質での減色を実現することができる。

また、画質評価の評価結果により選出された色数に基づいて、圧縮方式を判定することができるため、圧縮形式の誤判断を防止できる。即ち、文字画像や線画等を形成する色数の少ない領域の画像データに対しては、高画質を保つ圧縮方式で圧縮でき、写真画像等を形成する色数が多い領域の画像データに対しては、高圧縮率で圧縮することができる。
特に、色数が予め設定された色数（本実施の形態では、１７）以上の場合には、複数の圧縮方式（ＰＮＧ、ＪＰＥＧ）による圧縮後のデータサイズの比較結果に基づいて、圧縮方式を判定することができ、画像データの圧縮効率の向上を図ることができる。

また、平均二乗誤差（ＲＭＳＥ）、画像信号とノイズとの比（ＰＳＮＲ）、構造的類似性（ＳＳＩＭ）のいずれかの算出値に基づく画質評価法、誤差画像と人間の視覚系（ＨＶＳ）特性とに基づく画質評価法、インデクス画像データが生成された領域の画像データと当該領域のインデクス画像データとのエッジの鮮鋭度に基づく画質評価法により、画質を客観的に評価することができる。

以上の説明では、本発明に係るプログラムのコンピュータ読み取り可能な媒体として、不揮発メモリ１１を使用した例を開示したが、この例に限定されない。
その他のコンピュータ読み取り可能な媒体として、磁気テープ、ＦＤ（Floppy（登録商標） Disk）等の磁気ディスク、ＤＶＤ（Digital Versatile Disk）、ＣＤ−ＲＯＭ（Compact Disk Read Only Memo）、ＣＤ−Ｒ（Compact Disk Recordable）、ＭＯ（Magneto-Optical disk）等の光記録媒体、フラッシュメモリ等の可搬型記録媒体を適用することが可能である。
また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウエーブ(搬送波)も本発明に適用される。

また、本発明に係るプログラムは、上記に説明した処理をコンピュータに実行させるための全てのモジュールを含む必要はない。例えば、通信プログラムやＯＳ（Operating System）に含まれるプログラムなど、別途、コンピュータにインストールすることができる各種汎用的なプログラムを利用して、本発明の処理を実行させるようにしても良い。
従って、本発明に係るプログラムの全てのモジュールを必ずしも記録媒体に記録しておく必要はなく、また、全てのモジュールを必ずしも伝送する必要もない。更に、所定の処理を専用のハードウェアを利用して実行させるように構成してもよい。

また、本発明は、上記実施の形態の内容に限定されるものではなく、本発明の主旨を逸脱しない範囲で適宜変更可能である。

１ 画像形成装置
１０ 制御部
１１ 不揮発メモリ
１２ ＲＡＭ
１３ 画像メモリ
１４ 画像処理部
１４ａ 画像前処理部
１４ｂ 領域形成部
１４ｃ 領域判別部
１４ｄ 圧縮部
１４ｅ 複合文書ファイル作成部
２０ 画像読取部
３０ 操作表示部
４０ プリント部
５０ 通信部

Claims (11)

1. 画像データを複数の領域に分ける領域形成部と、
   前記領域毎に色数を算出する色数算出部と、
   前記色数算出部により算出された色数又は入力された色数に基づいて、前記領域の代表色値を選出する代表色値選出部と、
   前記代表色値が算出された領域の各色値を当該代表色値に置き換えたインデクス画像データを生成するインデクス画像生成部と、
   前記インデクス画像データが生成された領域の画像データと当該領域のインデクス画像データとの画質評価を行い、当該評価結果が予め設定された評価結果に該当する際に算出されている色数を選出する画質評価色数選出部と、
   前記画質評価色数選出部による評価結果が予め設定された評価結果に該当しない領域の色数を増加させ、当該増加させた色数を前記代表色値選出部に出力する色数増加部と、
   を備える画像処理装置。
2. 前記画質評価色数選出部により選出された色数に基づいて、当該領域の圧縮方式を判定する圧縮方式判定部、
   を備える請求項１に記載の画像処理装置。
3. 前記圧縮方式判定部は、
   前記領域の色数が予め設定された色数以上の場合には、互いに異なる複数の圧縮方式毎に当該領域の圧縮後のデータサイズを算出し、当該圧縮方式毎のデータサイズの比較結果に基づいて、当該領域の圧縮方式を判定する圧縮方式追加判定部を有する、
   請求項２に記載の画像処理装置。
4. 前記画質評価色数選出部は、
   前記インデクス画像データが生成された領域の画像データと当該領域のインデクス画像データとの平均二乗誤差、画像信号とノイズとの比、構造的類似性のいずれかを算出し、当該算出値に基づいて画質評価する、
   請求項１から３のいずれか一項に記載の画像処理装置。
5. 前記画質評価色数選出部は、
   前記インデクス画像データが生成された領域の画像データと当該領域のインデクス画像データとの誤差画像を算出し、当該誤差画像と人間の視覚系特性とに基づいて画質評価する、
   請求項１から３のいずれか一項に記載の画像処理装置。
6. 前記画質評価色数選出部は、
   前記インデクス画像データが生成された領域の画像データと当該領域のインデクス画像データとのエッジの鮮鋭度に基づいて画質評価する、
   請求項１から３のいずれか一項に記載の画像処理装置。
7. 画像データを複数の領域に分ける領域形成部と、
   前記領域毎に色数を算出する色数算出部と、
   前記領域の色数に基づいて当該領域に対する複数の色数候補を生成する色数候補生成部と、
   前記色数候補毎に、当該色数候補に基づいて前記領域の代表色値を選出する代表色値選出部と、
   前記色数候補毎に、前記領域の各色値を前記代表色値に置き換えたインデクス画像データを生成するインデクス画像生成部と、
   前記色数候補毎に、前記領域の画像データと当該領域のインデクス画像データとの画質評価を行なう画質評価部と、
   前記色数候補毎の画質評価部による評価結果に基づいて、複数の色数候補からいずれかを選出する色数決定部と、
   を備える画像処理装置。
8. 画像データを複数の領域に分ける領域形成工程と、
   前記領域毎に色数を算出する色数算出工程と、
   前記色数算出工程により算出された色数又は入力された色数に基づいて、前記領域の代表色値を選出する代表色値選出工程と、
   前記代表色値が算出された領域の各色値を当該代表色値に置き換えたインデクス画像データを生成するインデクス画像生成工程と、
   前記インデクス画像データが生成された領域の画像データと当該領域のインデクス画像データとの画質評価を行い、当該評価結果が予め設定された評価結果に該当する際に算出されている色数を選出する画質評価色数選出工程と、
   前記画質評価色数選出工程による評価結果が予め設定された評価結果に該当しない領域の色数を増加させ、当該増加させた色数を前記代表色値選出工程に出力する色数増加工程と、
   を含む画像処理方法。
9. 画像データを複数の領域に分ける領域形成工程と、
   前記領域毎に色数を算出する色数算出工程と、
   前記領域の色数に基づいて当該領域に対する複数の色数候補を生成する色数候補生成工程と、
   前記色数候補毎に、当該色数候補に基づいて前記領域の代表色値を選出する代表色値選出工程と、
   前記色数候補毎に、前記領域の各色値を前記代表色値に置き換えたインデクス画像データを生成するインデクス画像生成工程と、
   前記色数候補毎に、前記領域の画像データと当該領域のインデクス画像データとの画質評価を行なう画質評価工程と、
   前記色数候補毎の画質評価工程による評価結果に基づいて、複数の色数候補からいずれかを選出する色数決定工程と、
   を含む画像処理方法。
10. コンピュータを、
    画像データを複数の領域に分ける領域形成手段、
    前記領域毎に色数を算出する色数算出手段、
    前記色数算出手段により算出された色数又は入力された色数に基づいて、前記領域の代表色値を選出する代表色値選出手段、
    前記代表色値が算出された領域の各色値を当該代表色値に置き換えたインデクス画像データを生成するインデクス画像生成手段、
    前記インデクス画像データが生成された領域の画像データと当該領域のインデクス画像データとの画質評価を行い、当該評価結果が予め設定された評価結果に該当する際に算出されている色数を選出する画質評価色数選出手段、
    前記画質評価色数選出手段による評価結果が予め設定された評価結果に該当しない領域の色数を増加させ、当該増加させた色数を前記代表色値選出手段に出力する色数増加手段、
    として機能させるプログラム。
11. コンピュータを、
    画像データを複数の領域に分ける領域形成手段、
    前記領域毎に色数を算出する色数算出手段、
    前記領域の色数に基づいて当該領域に対する複数の色数候補を生成する色数候補生成手段、
    前記色数候補毎に、当該色数候補に基づいて前記領域の代表色値を選出する代表色値選出手段、
    前記色数候補毎に、前記領域の各色値を前記代表色値に置き換えたインデクス画像データを生成するインデクス画像生成手段、
    前記色数候補毎に、前記領域の画像データと当該領域のインデクス画像データとの画質評価を行なう画質評価手段、
    前記色数候補毎の画質評価手段による評価結果に基づいて、複数の色数候補からいずれかを選出する色数決定手段、
    として機能させるプログラム。

Images