JP2010199844A - 画像処理装置、画像処理方法、プログラムおよび記憶媒体 - Google Patents

Abstract

【課題】画像内の所定の色領域と、この所定の色領域に類似した色味を持つ別の色領域との両方の色味を適切に補正する。
【解決手段】入力画像から所定の記憶色が含まれる部分領域を抽出し、部分領域の第１の代表色を検出する。それと共に、部分画像以外の領域から、部分画像に対応する色範囲の所定色領域を抽出し、所定色領域の第２の代表色を抽出する。また、部分領域の色範囲に基づき入力画像のシーンを判定する。第１の補正量を所定に設定された目標色と第１の代表色とに基づき算出し、第２の補正量をシーン判定結果と第２の代表色とに基づき算出する。これら第１および第２の補正量を部分領域と所定色領域との面積比および色の差分に基づき修正して最終的な色補正量を求め、この色補正量を用いて部分領域および所定色領域の画素に対する色補正を行う。
【選択図】図２

Description

本発明は、画像データの色補正を行う画像処理装置、画像処理方法、プログラムおよび記憶媒体に関する。

近年では、パーソナルコンピュータやインターネット、家庭用プリンタなどの普及、並びに、ハードディスクや不揮発性半導体メモリなどの記憶容量の大容量化により、デジタルデータで写真画像を扱う機会が増えている。これに伴い、デジタル写真画像データ（以下、単に画像データと称する）の入力手段としてデジタルカメラが一般的に使用されるようになった。

デジタルカメラにより撮影された画像データから写真プリントを作成する際には、撮影画像が適正な色や濃度で再現されるように、画像データに対して色補正が施されるのが一般的である。また、オリジナルの色を画像データや写真プリントにおいて再現する色再現においては、人間が好ましいと感じる色再現を行うことが重要である。例えば、肌色や青空の色、草木の緑の色といった、特定の対象物と関連付けられて人間に記憶される記憶色などは、人間が好ましいと感じる色再現すなわち記憶色再現が要求される。

記憶色再現に着目した画像処理方法としては、例えば、画像データから、顔や青空といった人間によく知られている色の領域を抽出し、抽出領域の色度情報を算出して、予め定めた目標色度になるように色調を補正する方法がある。

例えば、特許文献１には、所望の色領域における色相及び彩度の補正を行う方法として、入力画像から抽出した所定の色領域毎に求めた重要度および代表色に基づき色補正条件を設定して色補正を行う方法が開示されている。すなわち、特許文献１では、入力画像から所定の色領域を抽出し、抽出した色領域毎に、色領域の画像内での画像の位置や色領域の面積などから重要度を判定すると共に、代表色を抽出する。そして、色領域毎に抽出した代表色と重要度とから補正対象とする１つの代表色を決定し、決定した代表色に基づいて色補正条件を設定し、色補正を行う。

また、特許文献２では、補正対象とする領域から抽出した代表色に基づいて色補正量を設定し、補正対象とする領域の近傍画素の色味の補正量を設定された色補正料に対して減少させることで、補正対象とする色領域以外での色味補正の効果が薄れるようにしている。

ここで、顔と夕焼け空といった、似た色相を持つ被写体が同一の画像内に存在する画像データに対して色補正を行う場合について考える。一例として、夕焼け空を背景に人物が撮影されたような画像データが考えられる。

この場合、上述した特許文献１によれば、例えば顔画像と夕焼け空の画像のように似た色相を持つ画像データの所定色領域をそれぞれ抽出した場合に、重要度に基づいて決定される１つの代表色は、夕焼け空の領域と顔領域の色味を重要度に基づいて重み付け演算して算出した値となる。そのため、夕焼け空の領域の色でも顔領域の色でもない中間的な値を、補正対象とする１つの代表色としてしまい、所望の色補正の効果が得られない場合があるという問題点があった。

また、特許文献１によれば、所定の色領域以外の領域では、似たような色味を持つ画素であっても、補正量の重みを所定の色領域の重心位置から距離が離れるに従い減少するようにして色味の補正量を少なくしていき、色味補正の効果が薄れるようにしている。この場合、例えば顔画像においては好ましい色味へ補正できるが、顔と同一の画像内に存在する夕焼け空の画像の色味を好ましく補正することが困難であるという問題点があった。

また、特許文献２によれば、例えば顔画像においては好ましい色味へ補正できるが、類似した色味を持つ夕焼け空の画像の色味を適切に補正することが困難であるという問題点があった。

本発明は、上記に鑑みてなされたものであって、画像内の所定の色領域と、この所定の色領域に類似した色味を持つ別の色領域との両方の色味を適切に補正できる画像処理装置、画像処理方法、プログラムおよび記憶媒体を提供することにある。

上述した課題を解決し、目的を達成するために、本発明は、入力画像から所定の記憶色が含まれる部分領域を抽出する部分領域抽出手段と、入力画像の部分領域以外の領域から、部分領域に対応する色範囲の領域を所定色領域として抽出する所定色領域抽出手段と、部分領域抽出手段で抽出された部分領域の第１の代表色を検出すると共に、所定色領域抽出手段で抽出された所定色領域の第２の代表色を検出する代表色検出手段と、入力画像に基づき入力画像のシーンを判定するシーン判定手段と、部分領域に対して予め設定された第１の目標色と、代表色検出手段で検出された第１の代表色とに基づき第１の補正量を算出すると共に、シーン判定手段により判定された入力画像のシーンと、代表色検出手段で検出された第２の代表色とに基づき第２の補正量を算出し、部分領域と所定色領域とを比較した結果に基づき第１および第２の補正量をそれぞれ修正して最終的な補正量を決定する補正量決定手段と、補正量決定手段で決定された最終的な補正量を用いて注目画素に対する色補正を行う色補正手段とを有することを特徴とする。

また、本発明は、入力画像から所定の記憶色が含まれる部分領域を抽出する部分領域抽出ステップと、入力画像の部分領域以外の領域から、部分領域に対応する色範囲の領域を所定色領域として抽出する所定色領域抽出ステップと、部分領域抽出ステップで抽出された部分領域の第１の代表色を検出し、所定色領域抽出ステップで抽出された所定色領域の第２の代表色を検出する代表色検出ステップと、入力画像に基づき入力画像のシーンを判定するシーン判定ステップと、部分領域に対して予め設定された第１の目標色と、代表色検出ステップで検出された第１の代表色とに基づき第１の補正量を算出し、シーン判定ステップにより判定された入力画像のシーンと、代表色検出ステップで検出された第２の代表色とに基づき第２の補正量を算出し、部分領域と所定色領域とを比較した結果に基づき第１および第２の補正量をそれぞれ修正して最終的な補正量を決定する補正量決定ステップと、補正量決定ステップで決定された最終的な補正量を用いて注目画素に対する色補正を行う色補正ステップとを有することを特徴とする。

本発明によれば、入力画像から所定の記憶色が含まれる部分領域を抽出すると共に、入力画像の部分領域以外の領域から、部分領域に対応する色範囲の領域を所定色領域として抽出する。そして、部分領域に対して予め設定された第１の目標色と部分領域から検出された第１の代表色とに基づき算出された第１の補正量と、入力画像に基づき判定された入力画像のシーンと所定色領域から検出された第２の代表色とに基づき算出された第２の補正量とを、部分領域と所定色領域とを比較した結果に基づき修正して決定した最終的な補正量を用いて注目画素に対する色補正を行うようにしている。そのため、画像内の所定の色領域と、この所定の色領域に類似した色味を持つ別の色領域との両方の色味を適切に補正できるという効果を奏する。

図１は、本発明の実施形態に適用可能な画像処理装置の一例の構成を示すブロック図である。 図２は、本実施形態による画像処理装置の一例の機能構成を示す機能ブロック図である。 図３は、部分領域の種類とシーンとを対応付けたシーン対応テーブルの一例の構成を示す略線図である。 図４は、本発明の実施形態による色補正処理を示す一例のフローチャートである。 図５は、抽出を行った部分領域の種類と色度範囲との一例の対応関係を示す略線図である。 図６は、本発明の実施形態による所定色領域の抽出処理を示す一例のフローチャートである。 図７は、本発明の実施形態による色補正量決定の一例の処理を示すフローチャートである。 図８は、本発明の実施形態の変形例による所定色領域の抽出処理の一例を示すフローチャートである。

以下に添付図面を参照して、この発明に係る画像処理装置の最良な実施の形態を詳細に説明する。図１は、本発明の実施形態に適用可能な画像処理装置１００の一例の構成を示すブロック図である。図１に例示されるように、画像処理装置１００は、一般的なコンピュータによって構成することができる。すなわち、画像処理装置１００において、内部バス１１０に対してＣＰＵ(Central Processing Unit)１０１、ＲＯＭ(Read Only Memory)１０２、表示部１０３、ＲＡＭ(Random Access Memory)１０４および２次記憶部１０５が接続される。さらに、内部バス１１０に対してキーボード１０７、マウスやタッチパッドといったポインティングデバイス１０６、インターフェイス１０８が接続される。内部バス１１０に接続される各部は、内部バス１１０を介して互いにデータのやりとりを行うことができるようになっている。

ＲＯＭ１０２は、ＣＰＵ１０１により実行されるプログラムやデータが予め記憶される。ＲＡＭ１０４は、ＣＰＵ１０１のプログラム実行時にワークメモリとして用いられる。２次記憶部１０５は、例えばハードディスクや不揮発性の半導体メモリからなり、ＯＳ(Operating System)や各種アプリケーションソフトウェアを実行するためのプログラムデータや、画像データを初めとする各種データが記憶される。ＣＰＵ１０１は、２次記憶部１０５からプログラムデータなどを読み出してＲＡＭ１０４上に展開して実行し、この画像処理装置１００の各部を制御する。

表示部１０３は、ＣＰＵ１０１によりプログラムに従い生成された表示制御信号に応じた表示を、ＬＣＤ(Liquid Crystal Display)といった表示デバイスに対して表示させる。表示デバイスは、この画像処理装置１００に内蔵されていてもよいし、画像処理装置１００に対して外部的に接続して用いるようなものでもよい。ポインティングデバイス１０６およびキーボード１０７は、ユーザ操作を受け付ける入力デバイスであって、ユーザ操作に応じた制御信号を出力する。

ポインティングデバイス１０６やキーボード１０７、表示部１０３により、ユーザインターフェイス（ＵＩ）が構成される。ＣＰＵ１０１は、ユーザ操作に応じてポインティングデバイス１０６やキーボード１０７から出力される制御信号に基づき、プログラムに従い画像処理装置１００の各部を制御することで、画像処理装置１００にユーザ操作に応じた動作を実行させることができる。

インターフェイス１０８は、この画像処理装置１００と外部の機器との間でのデータ通信を制御する。インターフェイス１０８は、例えばＵＳＢ(Universal Serial Bus)やＩＥＥＥ(Institute Electrical and Electronics Engineers)１３９４といったシリアルバスインターフェイスや、インターネットやＬＡＮといったネットワーク回線を適用することができる。画像処理装置１００は、このインターフェイス１０８を介してデジタルカメラやプリンタ装置と接続することができる。

図２は、本実施形態による画像処理装置１００の一例の機能構成を示す機能ブロック図である。図２に例示される各部は、例えば２次記憶部１０５に格納されるプログラムデータに従ったＣＰＵ１０１の動作により実現される。これに限らず、図２に例示される各部の一部または全部を、それぞれハードウェアで実現してもよい。

図２において、処理対象の画像データが入力端２００を介して部分領域抽出部２０１、色度算出部２０２および色補正部２０９にそれぞれ供給される。入力画像データは、例えばインターフェイス１０８を介してデジタルカメラといった外部機器からこの画像処理装置１００に供給され、入力端２００に入力される。これに限らず、２次記憶部１０５に記憶された画像データをＲＡＭ１０４に格納し、ＲＡＭ１０４から読み出した画像データを入力画像データとして入力端２００に入力することもできる。

ここで、入力端２００を介して入力される入力画像データは、画素毎にＲ（赤色）、Ｇ(緑色）およびＢ（青色）の各値を持つＲＧＢ値で表されているものとする。

部分領域抽出部２０１は、入力端２００を介して供給された入力画像データから、記憶色についての色補正を行う対象とする部分領域を抽出する。なお、記憶色とは、肌色や青空の色、草木の緑の色といった、特定の対象物と関連付けられて人間に記憶される色である。抽出された部分領域の情報は、入力画像データと共に、第１代表色算出部２０４および所定色領域抽出部２０３にそれぞれ供給される。部分領域の情報は、抽出された部分領域に含まれる画素の位置情報を含む。

部分領域抽出部２０１は、例えばポインティングデバイス１０６やキーボード１０７によるユーザ操作などで指示された種類の画像を入力画像データから検出し、検出された画像を含む矩形領域を部分領域として抽出する。抽出すべき部分領域の画像の種類としては、例えば顔、青空、緑の草木など、記憶色に対応する画像が考えられる。一例として、部分領域抽出部２０１は、入力画像データによる画像に含まれる顔の領域を検出し、検出された顔領域を部分領域として抽出する。

なお、部分領域抽出部２０１による部分領域の抽出は、顔領域の検出によるものに限られない。例えば、ポインティングデバイス１０６やキーボード１０７に対するユーザ操作により入力画像における所望の領域を指定し、指定された当該領域を部分領域として抽出してもよい。また、部分領域の形状は矩形領域に限られない。

第１代表色算出部２０４は、部分領域抽出部２０１から供給された部分領域の情報に基づき、入力画像データのうち部分領域の画素を抽出する。そして、抽出された部分領域の画素のＲＧＢ値による色度情報に基づき、当該部分領域における代表色（第１の代表色）を算出する。代表色は、例えば部分領域に含まれる画素のＲＧＢ値の平均値や中央値、最頻値などに基づき算出することができる。算出された第１の代表色の情報は、色補正値決定部２０８に供給される。

色度算出部２０２は、入力端２００を介して供給された入力画像データの各画素のＲＧＢ値に基づき、色相、彩度、輝度といった色度の算出を行う。画素毎の算出結果は、所定色領域検出部２０３に供給される。

所定色領域検出部２０３は、色度算出部２０２から供給された色度の情報に基づき、部分領域抽出部２０１から供給された入力画像データから、予め設定された、色相値、彩度値および輝度値のうち全て若しくは少なくとも１つの範囲内の色度を持つ画素を抽出する。なお、以下では、この、予め設定された、色相値、彩度値および輝度値のうち全て若しくは少なくとも１つの範囲内の色度による色を「所定色」と呼び、所定色を持つ画素からなる領域を所定色領域と呼ぶ。

所定色領域の抽出の際に、所定領域検出部２０３は、部分領域検出部２０１から供給された部分領域の情報に基づき、部分領域検出部２０１で検出された部分領域に含まれる画素を取り除いた、部分領域外の画素を抽出する。すなわち、所定色領域検出部２０３は、入力画像データの部分領域外の画素を対象として、所定色領域の抽出を行う。抽出された所定色領域の画素は、第２代表色算出部２０５およびシーン判定部２０６にそれぞれ供給される。

第２代表色算出部２０５は、所定色領域抽出部２０３から供給された、所定色領域の画素のＲＧＢ値による色度情報に基づき、当該部分領域外における代表色（第２の代表色）を、上述の第１代表色算出部２０４と同様にして算出する。算出された第２の代表色の情報は、色補正値決定部２０８に供給される。

シーン判定部２０６は、所定色領域抽出部２０３から供給された、部分領域外の画素に基づき、入力画像データによる画像におけるシーン判定を行う。本実施形態では、シーン判定は、入力画像データによる画像のシーンが、部分領域抽出部２０１で抽出された部分領域の画素による色相と類似したシーンであるか否かを判定することで行う。より具体的には、部分領域抽出部２０１で抽出した部分領域の種類とシーンとを対応付けたテーブルを用意し、このテーブルを参照して判定を行うべきシーンを決定する。このテーブルは、予め作成され、例えば２次記憶部１０５に格納される。

図３は、この部分領域の種類とシーンとを対応付けたテーブル（シーン対応テーブルと呼ぶ）の一例の構成を示す。図３に例示されるように、抽出した部分領域が「人物（顔）」であればシーンとして「夕焼け」が対応付けられ、部分領域が「青空」であればシーンとして「海、湖」が対応付けられる。このように、部分領域の種類に対して、当該部分領域の色相と類似した色相を持つシーンが対応付けられる。

例えば、シーン判定部２０６は、部分領域抽出部２０１で抽出を行った部分領域の種類に基づきこのシーン対応テーブルを参照し、判定すべきシーンを決定する。そして、部分領域外の画素の色度がそのシーンに対して予め設定された色度範囲（色相範囲など）内にあるか否かを判定する。

色補正値決定部２０８は、第１代表色算出部２０４および第２代表色算出部２０５からそれぞれ供給された第１および第２の代表色の情報と、シーン判定部２０６によるシーン判定結果とに基づき、後述する色補正部２０９で行う、入力画像データに対する色補正処理のための補正量を決定する。ここで、記憶色補正の目標色２０７は、部分領域抽出部２０１で抽出された部分領域に対する記憶色補正を行うための目標色度値である。この目標色度値は、色補正量決定部２０８において第１の代表色を色補正する際の目標値として用いられる。

色補正部２０９は、色補正値決定部２０８で決定された色補正量に基づき、入力画像データの色補正を行う。

色補正部２０９で入力画像データが色補正された画像データは、出力画像データとして出力端２１０から出力され、例えば２次記憶部１０５に格納される。また、出力画像データをインターフェイス１０８を介して外部機器に送信することもできる。

図４は、本実施形態による色補正処理を示す一例のフローチャートである。このフローチャートに示される各処理は、本発明の実施形態による画像処理プログラムに従いＣＰＵ１０１により実行される。ステップＳ１で画像データが取得されると、次のステップＳ２で、取得された画像データに対して、記憶色補正の対象となる部分領域の抽出が行われる。上述したように、記憶色補正の対象となる色領域とは、人間の顔や青空、草木の緑などの色領域である。

一例として、人間の顔の色領域（肌色）を記憶色補正の対象とする場合、部分領域抽出部２０１は、入力画像データに対して、人間の目、鼻、口などの形状および位置や、色（肌色）といった特徴に着目して顔検出処理を行う。顔が検出された場合は、検出された顔の領域を含む矩形領域を部分領域として、入力画像における位置を記憶しておく。これに限らず、検出された顔の領域を、画素毎の位置として記憶してもよい。顔領域の抽出は、顔検出結果に基づく方法に限らず、上述したように、ポインティングデバイス１０６やキーボード１０７に対するユーザ操作に応じて顔の矩形範囲を設定するようにして、位置情報を記憶するようにしても構わない。

さらに、部分領域抽出部２０１は、抽出した部分領域の位置情報に基づき、入力画像データにおける部分領域に含まれる画素のＲＧＢ値を、ＬＣＨ値に変換し、彩度値、色相値に関するヒストグラムを作成する。なお、ＬＣＨ値は、ＣＩＥ Ｌ^*ａ^*ｂ^*表色系におけるａ^*ｂ^*平面上の座標（ａ，ｂ）を極座標表示（Ｃ，Ｈ）に変換したものである。

なお、ステップＳ１で画像データが取得された際、あるいは、図４のフローチャートの実行に先立って、ユーザ操作などにより画像補正処理の種類（モード）を設定するようにできる。一例として、取得された画像データによる画像を表示部１０３により表示させ、この表示に基づきユーザが画像補正処理モードを指定できるようにＵＩを構成する。

例えば、図３を用いて説明したシーン対応テーブルにおける部分領域の各項目に対応した画像補正処理モードを設けることが考えられる。この場合、画像補正処理モードを指定することで、部分領域抽出部２０１で抽出すべき対象（顔、青空など）や、所定色領域抽出部２０３で抽出すべき所定色が決定される。それに伴い、図３で説明したシーン対応テーブルに従いシーン判定部２０６で判定すべきシーンも決定される。

次のステップＳ３で、入力画像データに部分領域が存在するか否か、すなわち、上述のステップＳ２において部分領域抽出部２０１により入力画像データから部分領域が抽出されたか否かが判定される。若し、抽出されなかったと判定された場合、処理はステップＳ１０に移行される。

一方、ステップＳ３で入力画像データに部分領域が存在すると判定されたら、処理はステップＳ４に移行される。ステップＳ４では、第１代表色算出部２０４により、抽出された部分領域における代表色（第１の代表色）が算出される。すなわち、第１代表色算出部２０４は、抽出された部分領域の位置情報に従い、当該部分領域に含まれる画素のＲＧＢ値によるヒストグラムを作成し、作成されたヒストグラムに基づき第１の代表色を算出する。

第１の代表色は、部分領域に含まれる画素のＲＧＢ値の平均値をＬＣＨ値に変換した彩度値、色相値とする。平均値に限らず、ヒストグラムの中央値、最頻値などをＬＣＨ値に変換した彩度値および色相値を、第１の代表色として用いてもよい。

ステップＳ４で第１の代表色が算出されると、処理はステップＳ５に移行される。ステップＳ５では、所定色領域抽出部２０３により、部分領域外の画素に基づき所定色領域の抽出が行われる。所定色領域抽出部２０３は、部分領域抽出部２０１で抽出を行った部分領域の種類に予め対応付けられた色度範囲の設定情報に基づき、所定色領域の抽出を行う。

図５は、抽出を行った部分領域の種類と色度範囲との一例の対応関係を示す。本実施形態では、部分領域の種類と対応付ける色度情報として色相情報を用い、部分領域の種類に対して、上限値Ｈ_maxおよび下限値Ｈ_minからなる色相範囲(Ｈ_max,Ｈ_min)を対応付けている。図５の例では、部分領域の種類「人物」に対して色相範囲(０,６０)が対応付けられている。また、部分領域の種類「青空」に対して色相範囲(２５０,３１０)が対応付けられている。この部分領域の種類と色度範囲との対応関係は、予め作成され、例えばテーブル（色度範囲対応テーブルと呼ぶ）として２次記憶部１０５に格納される。

図６は、所定色領域抽出部２０３による所定色領域の抽出処理を示す一例のフローチャートである。所定色領域抽出部２０３は、部分領域抽出部２０１から供給された入力画像データに対して画素単位で処理を行う。先ず、ステップＳ２１で、処理対象の画素（以下、注目画素と呼ぶ）の位置が部分領域の範囲内にあるか否かが判定される。若し、部分領域の範囲内であると判定されたら、処理は後述するステップＳ２６に移行される。

一方、ステップＳ２１で注目画素の位置が部分領域の範囲外であると判定されたら、処理はステップＳ２２に移行され、注目画素の画素値をＲＧＢ値からＬＣＨ値に変換し、色相値Ｈおよび彩度値Ｃとする。

次のステップＳ２３で、図５を用いて説明した色度範囲対応テーブルを参照して、部分領域抽出部２０１で抽出を行った部分領域の種類に対応する色度（色相）範囲を読み出す。そして、次のステップＳ２４で、注目画素の色相値Ｈが色度範囲対応テーブルから読み出された色相範囲(Ｈ_max,Ｈ_min)内にあるか否かが判定される。若し、色相範囲(Ｈ_max,Ｈ_min)内に無いと判定されたら、処理は後述するステップＳ２６に移行される。

一方、ステップＳ２４で、注目画素の色相Ｈが当該色相範囲(Ｈ_max,Ｈ_min)内にあると判定されたら、処理はステップＳ２５に移行される。ステップＳ２５では、注目画素の彩度値Ｃおよび色相値Ｈのヒストグラムがそれぞれ作成される。すなわち、注目画素の彩度値Ｃおよび色相値Ｈのそれぞれについて、予め設定された範囲に対して分類され画素毎に累積されて度数が求められる。そして、処理がステップＳ２６に移行される。

ステップＳ２６では、入力画像データの全ての画素について処理を行ったか否かが判定される。若し、行ったと判定されたら、所定色領域抽出部２０３によるステップＳ５における一連の処理が終了され、処理が図４のフローチャートのステップＳ６に移行される。一方、入力画像データの全ての画素について処理が行われていないと判定されたら、処理がステップＳ２１に戻され、次の注目画素に対する処理が開始される。

説明は図４のフローチャートに戻り、ステップＳ６では、ステップＳ５で抽出した所定色領域の色相範囲(Ｈ_max,Ｈ_min)内である画素に基づき、所定色領域の代表色（第２の代表色）を算出する。より具体的には、第２の代表色は、図６のフローチャートにおけるステップＳ２５で作成されたヒストグラムに基づく、彩度値Ｃおよび色相値Ｈの平均値とする。これはこの例に限られず、例えばヒストグラムの中央値や最頻値を第２の代表色として用いてもよい。

次のステップＳ７では、シーン判定部２０６により、入力画像データによる画像のシーンの判定が行われる。本実施形態では、シーン判定は、ステップＳ５で抽出した所定色領域の面積と、入力画像データによる画像全体の面積との比率Ratio_Iに基づき行う。面積を画素数で表し、所定色領域の画素数を値Num_I、画像全体の画素数を値Num_Allとしたとき、比率Ratio_Iは、下記の式（１）で求められる。
Ratio_I＝Num_I／Num_All …（１）

次に、求めた比率Ratio_Iと予め定められた閾値th_sceneとを比較する。比較の結果、比率Ratio_Iが閾値th_scene以上であれば、入力画像データの画像によるシーンが、部分領域抽出部２０１で抽出された部分領域に対応付けられたシーンであると判定する。なお、閾値th_sceneは、シーンの種類毎に定めることができる。

一例として、部分領域抽出部２０１で顔領域を部分領域として抽出し、入力画像データの画像によるシーンが顔の肌色の色相と類似した色相を持つ夕焼けのシーンであるか否かを判定する場合の例を、下記の式(２)および式(３)に示す。
Ratio_I＞th_scene：夕焼けシーン …（２）
Ratio_I≦th_scene：夕焼けシーン以外 …（３）

処理はステップＳ８に移行され、ステップＳ４で算出された第１の代表色、ステップＳ６で算出された第２の代表色、ならびに、ステップＳ７で求められたシーン判定結果に基づき、入力画像データに対する色補正量が決定される。そして、処理はステップＳ９に移行され、ステップＳ８で決定された色補正量に基づき入力画像データに対する色補正処理が行われる。これらステップＳ８およびステップＳ９の処理については、後述する。

なお、ステップＳ３で、入力画像データに部分領域が存在しないと判定された場合、上述したように、処理がステップＳ１０に移行される。ステップＳ１０では、入力画像データによる画像全体を対象として、所定色領域の抽出が行われる。ここで、所定色領域として抽出する画素の色度範囲は、ユーザ操作などにより予め指定されるものとする。例えば、上述した画像補正処理モードを指定することで、所定色領域として抽出する画素の色度範囲が指定される。

以下、上述したステップＳ６以降の処理と同様にして、ステップＳ１１で所定色領域の代表色が第２の代表色として抽出され、次のステップＳ１２でシーン判定がなされる。そして、ステップＳ１３で色補正量が決定され、決定された色補正量に基づき次のステップＳ１４で入力画像データに対する色補正処理が行われる。

図７は、図４のステップＳ８における色補正量決定の一例の処理を示すフローチャートである。この図７のフローチャートにおける各処理は、色補正量決定部２０８において行われる。先ず、ステップＳ４１で、図４のフローチャートにおけるステップＳ４で算出した、記憶色補正の対象である部分領域の代表色、すなわち第１の代表色に基づき、第１の色補正量を算出する。この第１の色補正量は、第１の代表色を、予め定めた目標色度へと補正するための補正量である。

なお、色補正量決定部２０８に対して入力される記憶色補正の目標色２０７が、予め定めた目標色度として用いられる。この目標色２０７は、本実施形態による画像処理プログラムに対して予め設定された値を用いてもよいし、ユーザ操作により入力するようにしてもよい。

第１の代表色の彩度値および色相値をそれぞれ値Ｃ₁および値Ｈ₁とし、予め定めた目標色度の彩度値および色相値をそれぞれ値Ｃ_Ref1およびＨ_Ref1とする。このとき、第１の色補正量の彩度値ΔＣ₁および色相値ΔＨ₁は、例えば下記の式(４)および式(５)のように算出される。
ΔＣ₁＝Ｃ_Ref1−Ｃ₁ …（４）
ΔＨ₁＝Ｈ_Ref1−Ｈ₁ …（５）

次のステップＳ４２で、図４のフローチャートにおけるステップＳ６で算出した、所定色領域の代表色、すなわち第２の代表色に基づき、第２の色補正量を設定する。第２の色補正量は、図４のフローチャートにおけるステップＳ７で判定されたシーンに応じて設定方法を変更する。

ステップＳ７で判定されたシーンが、部分領域抽出部２０１で抽出された部分領域の種類に対応するシーンである場合、第２の色補正量の彩度値ΔＣ₂および色相値ΔＨ₂は、例えば下記の式(６)および式(７)のように設定される。なお、第２の代表色の彩度値および色相値をそれぞれ値Ｃ₂および値Ｈ₂とし、予め定めた目標色度の彩度値および色相値をそれぞれ値Ｃ_Ref2およびＨ_Ref2とする。
ΔＣ₂＝Ｃ_Ref2−Ｃ₂ …（６）
ΔＨ₂＝Ｈ_Ref2−Ｈ₂ …（７）

ここで、彩度値Ｃ_Ref2および色相値Ｈ_Ref2は、部分領域抽出部２０１で抽出を行った部分領域に対応するシーンに対して予め定めた目標色度とする。例えば、図５を用いて説明した色度範囲対応テーブルを参照して、彩度値Ｃ_Ref2および色相値Ｈ_Ref2を求める。なお、図５に例示される色度範囲対応テーブルでは部分領域に対して色相範囲のみが対応付けられているが、勿論、さらに彩度範囲を対応付けてテーブルを構成しても構わない。

なお、上述では、目標色度を予め設定した値に固定的としているが、これはこの例に限られない。例えば、目標色度として、第２の代表色の彩度値Ｃ₂および色相値Ｈ₂から直接的に計算した値を用いてもよい。一例として、色相値Ｈ₂は変化させず、彩度値Ｃ₂の１.２倍とした値を目標色度として、下記の式(８)および式（９）に例示するように、目標色度を求める。
Ｃ_Ref2＝１.２×Ｃ₂ …（８）
Ｈ_Ref2＝Ｈ₂ …（９）

この場合、第２の色補正量の彩度値ΔＣ₂および色相値ΔＨ₂は、例えば下記の式(１０)および式(１１)のように設定される。
ΔＣ₂＝０.２×Ｃ₂ …（１０）
ΔＨ₂＝０ …（１１）

ステップＳ７で判定されたシーンが、部分領域抽出部２０１で抽出された部分領域の種類に対応するシーンではないと判定された場合、第２の色補正量は、例えば下記の式(１２)および式(１３)のように、それぞれ０に設定される。
ΔＣ₂＝０ …（１２）
ΔＨ₂＝０ …（１３）

ステップＳ４２で第２の色補正量が設定されると、処理はステップＳ４３に移行される。ステップＳ４３では、部分領域の面積と所定色領域の面積とに基づき、補正量に対する重み係数Ｗ₁を算出する。面積を画素数で表し、部分領域の画素数を値Ｎｕｍ₁、所定色領域の画素数を値Ｎｕｍ₂とした場合、重み係数Ｗ₁は、例えば下記の式(１４)により算出される。
Ｗ₁＝Ｋ₁×Ｎｕｍ₁／(Ｎｕｍ₁＋Ｎｕｍ₂) …（１４）

なお、式(１４）において、係数Ｋ₁は、実験的に求められる定数であり、０≦Ｋ₁≦１の範囲の値をとる。また、重み係数Ｗ₁のとる範囲は０≦Ｗ₁≦１とし、重み係数Ｗ₁の値が１を超える場合には重み係数Ｗ₁の値を強制的に１とする。

処理はステップＳ４４に移行され、部分領域の代表彩度Ｃ₁（すなわち第１の代表色の彩度値）と、所定色領域の代表彩度Ｃ₂（すなわち第２の代表色の彩度値）との差分の絶対値に基づき、補正量の重み係数Ｗ₂を算出する。補正量の重み係数Ｗ２は、例えば下記の式（１５）により算出される。
Ｗ₂＝|Ｃ₁−Ｃ₂|／Ｋ₂ …（１５）

なお、式(１５)において、係数Ｋ₂は、実験的に求められる定数であり、０≦Ｋ₂≦１００の範囲の値をとる。なお、周知のように、彩度は、一般的に０〜１００の数値で表される。また、重み係数Ｗ₂のとる範囲は０≦Ｗ₂≦１とし、重み係数Ｗ₂の値が１を超える場合には重み係数Ｗ₂の値を強制的に１とする。

処理はステップＳ４５に移行され、上述のステップＳ４３およびステップＳ４４で算出された、面積に基づく重み係数Ｗ₁と、彩度差に基づく重み係数Ｗ₂とを用いて、上述のステップＳ４１およびステップＳ４２で算出された、第１および第２の色補正量の修正を行う。

第１の補正量の彩度値ΔＣ₁および色相値ΔＨ₁は、例えば下記の式(１６)および式(１７)に示されるように、重み係数Ｗ₁およびＷ₂を乗じられることで修正され、修正された彩度値ΔＣ₁'および色相値ΔＨ₁'を得る。
ΔＣ₁'＝ΔＣ₁×Ｗ₁×Ｗ₂ …（１６）
ΔＨ₁'＝ΔＨ₁×Ｗ₁×Ｗ₂ …（１７）

第２の補正量の彩度値ΔＣ₂および色相値ΔＨ₂は、例えば下記の式(１８)および式(１９)に示されるように、重み係数Ｗ₁の１の補数およびＷ₂を乗じられることで修正され、修正された彩度値ΔＣ₂'および色相値ΔＨ₂'を得る。
ΔＣ₂'＝ΔＣ₂×(１−Ｗ₁)×Ｗ₂ …（１８）
ΔＨ₂'＝ΔＨ₂×(１−Ｗ₁)×Ｗ₂ …（１９）

上述のようにして算出した、修正された第１および第２のの補正量（彩度値ΔＣ₁'および色相値ΔＨ₁'、ならびに、彩度値ΔＣ₂'および色相値ΔＨ₂'）を、基本の色補正量として用いる。

ここで、上述の式(１５)によれば、部分領域の代表彩度Ｃ₁と所定色領域の代表彩度Ｃ₂との差分がある程度大きい場合は、彩度差に基づく重み係数Ｗ₂が１に近い値とされる。この場合には、個々の補正量（彩度値ΔＣ₁、色相値ΔＨ₁、彩度値ΔＣ₂、色相値ΔＨ₂）がそのまま、若しくはそれに近い値で用いられることになる。一方、代表彩度Ｃ₁およびＣ₂の差分が小さいときは、彩度差に基づく重み係数Ｗ₂がより小さい値とされる。この場合には、個々の補正量の値も小さくなる。

このように、本実施形態では、面積に基づく重み係数Ｗ₁（または重み係数Ｗ₁の１の補数）と彩度差に基づく重み係数Ｗ₂とを個々の補正量に乗じることで、色補正量を決定するようにしている。そのため、部分領域および所定色領域のうち面積の大きい方の重みを強くし、また、部分領域および所定色領域の彩度の差が大きいほど重みを強くするように、色補正量を決定することができる。

なお、第１および第２の色補正量の修正方法は、上述の方法に限られない。すなわち、本実施形態は、部分領域および所定色領域それぞれの面積と、それぞれの領域の代表色の彩度の差分に基づき色補正量の修正を行うのであれば、他の方法も適用できる。

例えば、彩度差に基づく重み係数Ｗ₂の値が小さい場合に、第１の色補正量を優先的に用いるようにすることも可能である。この場合の補正量の修正方法の例を、下記の式（２０）〜式（２３）にそれぞれ示す。
ΔＣ₁'＝ΔＣ₁×Ｗ₁×(１−Ｗ₂） …（２０）
ΔＨ₁'＝ΔＨ₁×Ｗ₁×(１−Ｗ₂） …（２１）
ΔＣ₂'＝ΔＣ₂×(１−Ｗ₁）×Ｗ₂ …（２２）
ΔＨ₂'＝ΔＨ₂×(１−Ｗ₁）×Ｗ₂ …（２３）

ステップＳ４５で第１および第２の色補正量が修正されると、処理はステップＳ４６に移行される。ステップＳ４６では、色補正対象とする色相を設定する。ここでは、色補正対象とする色相として、部分領域抽出部２０１が抽出した部分領域の種類に応じた色相範囲や、当該部分領域に対応するシーンの画像が取り得る色相範囲を設定する。本実施形態では、例えば、図４のフローチャートにおけるステップＳ５で用いた、当該部分領域と対応付けられた色相範囲(Ｈ_max,Ｈ_min)を色度範囲対応テーブルから読み出し、色補正対象とする色相として設定する。

なお、色補正対象とする色相は、上述のように予め用意した値を用いるのに限られない。例えば、ポインティングデバイス１０６やキーボード１０７を用いたユーザ操作により、色補正対象の色相範囲を設定してもよい。また例えば、部分領域および所定色領域からそれぞれ抽出した画素による色相のヒストグラムに基づき、各領域の色相値の最大値および最小値から選択した値を上限値Ｈ_maxおよび下限値Ｈ_minとして、色補正対象の色相範囲(Ｈ_max,Ｈ_min)を設定してもよい。

次のステップＳ４７で、ステップＳ４６で設定した色補正対象の色相範囲(Ｈ_max,Ｈ_min)に対して、注目画素の色度（彩度値Ｃ_p,色相値Ｈ_p）に基づいた色補正量の設定を行う。すなわち、部分領域および所定色領域に含まれる、当該色相範囲の色相値を持つ画素に対して、このステップＳ４７で設定された色補正量で以て色補正処理が行われる。

色相の補正量に対して、部分領域においては第１の代表色の色相値Ｈ₁で、所定色領域においては第２の代表色の色相値Ｈ₂でそれぞれ重みが１となり、設定した色相範囲外では重みが０となるように、重み係数Ｗｈを設定する。このように色相の補正量の重みを設定することで、色補正を行う領域の範囲の境界で色の連続性が失われることが防がれる。

第１の代表色の色相値Ｈ₁に基づく補正量の重み係数Ｗｈ₁は、注目画素の色相値Ｈ_pの値に応じて、注目画素の色相値Ｈ_pと第１の代表色の色相値Ｈ₁との差が大きくなるほど、小さくなるように設定される。例えば、重み係数Ｗｈ₁は、下記の式（２４）または式（２５）により算出される。
Ｈ_max＞Ｈ_p＞Ｈ₁の場合：Ｗｈ₁＝１−|(Ｈ_p−Ｈ₁)／(Ｈ_max−Ｈ₁)| …（２４）
Ｈ₁≧Ｈ_p＞Ｈ_minの場合：Ｗｈ₁＝１−|(Ｈ_p−Ｈ₁)／(Ｈ_min−Ｈ₁)| …（２５）

同様に、第２の代表色の色相値Ｈ₂に基づく補正量の重み係数Ｗｈ₂は、注目画素の色相値Ｈ_pの値に応じて、注目画素の色相値Ｈ_pと第２の代表色の色相値Ｈ₂との差が大きくなるほど、小さくなるように設定される。例えば、重み係数Ｗｈ₂は、下記の式（２６）または式（２７）により算出される。
Ｈ_max＞Ｈ_p＞Ｈ₂の場合：Ｗｈ₂＝１−|(Ｈ_p−Ｈ₂)／(Ｈ_max−Ｈ₂)| …（２６）
Ｈ₂≧Ｈ_p＞Ｈ_minの場合：Ｗｈ₂＝１−|(Ｈ_p−Ｈ₂)／(Ｈ_min−Ｈ₂)| …（２７）

次に、上述した重み係数Ｗｈ₁およびＷｈ₂を用いて、最終的な色相補正量ΔＨ_lastおよび彩度補正量ΔＣ_lastを求める。

先ず、最終的な色相補正量ΔＨ_lastの算出方法について説明する。色相補正量ΔＨ_lastは、第１の代表色の彩度値Ｃ₁と、第２の代表色の彩度値Ｃ₂と、注目画素の彩度値Ｃ_pとの関係に基づき上述した重み係数Ｗｈ₁およびＷｈ₂を統合することで求める。このとき、第１および第２の代表色のうち、彩度値が注目画素の彩度値Ｃ_ｐに近い方の代表色に対応する補正量がより大きくなるように、色相補正量ΔＨ_lastを決める。

一例として、下記に示す式（２８）〜式（３５）に従い色相補正量ΔＨ_lastを求める。なお、以下では、彩度値Ｃ₁およびＣ₂の大小関係に基づき、（ａ）Ｃ₁＜Ｃ₂、（ｂ）Ｃ₂＜Ｃ₁、（ｃ）Ｃ₁＝Ｃ₂の３通りに場合分けを行い、各式を示している。

（ａ）Ｃ₁＜Ｃ₂の場合
Ｃ_p＞Ｃ₂の場合：ΔＨ_last＝Ｗｈ₂×ΔＨ₂' …（２８）
Ｃ₂≧Ｃ_p＞Ｃ₁の場合：ΔＨ_last＝(|Ｃ_p−Ｃ₂|×Ｗｈ₁×ΔＨ₁'＋|Ｃ_p−Ｃ₁|×Ｗｈ₂×ΔＨ₂')／|Ｃ₁−Ｃ₂| …（２９）
Ｃ₁≧Ｃ_pの場合：ΔＨ_last＝Ｗｈ₁×ΔＨ₁' …（３０）

（ｂ）Ｃ₂＜Ｃ₁の場合
Ｃ_p＞Ｃ₁の場合：ΔＨ_last＝Ｗｈ₁×ΔＨ₁' …（３１）
Ｃ₁≧Ｃ_p＞Ｃ₂の場合：ΔＨ_last＝（|Ｃ_p−Ｃ₂|×Ｗｈ₁×ΔＨ₁'＋|Ｃ−Ｃ₁|×Ｗｈ₂×ΔＨ₂')／|Ｃ₁−Ｃ₂| …（３２）
Ｃ₂≧Ｃ_pの場合：ΔＨ_last＝Ｗｈ₂×ΔＨ₂' …（３３）

式（２８）〜式（３３）に示されるように、注目画素の彩度値Ｃ_ｐが第１および第２の代表色の彩度値Ｃ_１およびＣ_２による範囲外にある場合は、色相補正量ΔＨ_lastを、彩度値Ｃ_ｐが当該範囲を超えた側の代表色の色相値に基づき決める。一方、注目画素の彩度値Ｃ_ｐが当該範囲内にある場合は、彩度値Ｃ_１およびＣ_２と彩度値Ｃ_pとの関係に応じて、第１の代表色の色相値に基づく補正量と、第２の代表色の色相値に基づく補正量との間で値が連続的に変化するように、色相補正量ΔＨ_lastを決める。

（ｃ）Ｃ₁＝Ｃ₂の場合
この場合、部分領域および所定色領域の面積の比率に基づき、最終的な色相補正量ΔＨ_lastの算出方法を下記の式（３４）および式（３５）から選択する。より具体的には、ステップＳ４３で求めた面積に基づく重み係数Ｗ₁を、予め設定した閾値ｔｈ＿Ｗと比較して、比較結果に応じて算出方法を選択する。
Ｗ₁≧ｔｈ＿Ｗの場合：ΔＨ_last＝Ｗｈ₁×ΔＨ₁' …（３４）
Ｗ₁＜ｔｈ＿Ｗの場合：ΔＨ_last＝Ｗｈ₂×ΔＨ₂' …（３５）

なお、上述では、色相補正量ΔＨ_lastを色相補正量ΔＨ₁'およびΔＨ₂'の線形的な重み付け演算で求めているが、これはこの例に限らず、非線形な演算方法を用いて色相補正量ΔＨ_lastを求めてもよい。

次に、最終的な彩度補正量ΔＣ_lastの算出方法について説明する。彩度補正量ΔＣ_lastは、上述した色相補正量ΔＨ_lastと同様に、第１の代表色の彩度値Ｃ₁と、第２の代表色の彩度値Ｃ₂と、注目画素の彩度値Ｃ_pとの関係に基づき上述した重み係数Ｗｈ₁およびＷｈ₂を統合することで求める。このとき、第１および第２の代表色のうち、彩度値が注目画素の彩度値Ｃ_ｐに近い方の代表色に対応する補正量がより大きくなるように、彩度補正量ΔＣ_lastを決める。

彩度補正量ΔＣ_lastを求めるための式の例を、下記の式（３６）〜式（４３）に示す。なお、以下では、彩度値Ｃ₁およびＣ₂の大小関係に基づき、（ａ）Ｃ₁＜Ｃ₂、（ｂ）Ｃ₂＜Ｃ₁、（ｃ）Ｃ₁＝Ｃ₂の３通りに場合分けを行い、各式を示している。

（ａ）Ｃ₁＜Ｃ₂の場合
Ｃ_p＞Ｃ₂の場合：ΔＣ_last＝Ｗｈ₂×ΔＣ₂' …（３６）
Ｃ₂≧Ｃ_p＞Ｃ₁の場合：ΔＣ_last＝(|Ｃ_p−Ｃ₂|×Ｗｈ₁×ΔＣ₁'＋|Ｃ_p−Ｃ₁|×Ｗｈ₂×ΔＣ₂')／|Ｃ₁−Ｃ₂| …（３７）
Ｃ₁≧Ｃ_p＞０の場合：ΔＣ_last＝Ｗｈ₁×ΔＣ₁'×|Ｃ_p−Ｃ₁|／Ｃ₁ …（３８）

（ｂ）Ｃ₂＜Ｃ₁の場合
Ｃ_p＞Ｃ₁の場合：ΔＣ_last＝Ｗｈ₁×ΔＣ₁' …（３９）
Ｃ₁≧Ｃ_p＞Ｃ₂の場合：ΔＣ_last＝（|Ｃ_p−Ｃ₂|×Ｗｈ₁×ΔＣ₁'＋|Ｃ−Ｃ₁|×Ｗｈ₂×ΔＣ₂')／|Ｃ₁−Ｃ₂| …（４０）
Ｃ₂≧Ｃ_p＞０の場合：ΔＣ_last＝Ｗｈ₂×ΔＣ₂'×|Ｃ_p−Ｃ₂|／Ｃ₂ …（４１）

式（３６）〜式（４１）に示されるように、注目画素の彩度値Ｃ_ｐが第１および第２の代表色の彩度値Ｃ_１およびＣ_２による範囲外にある場合は、彩度補正量ΔＣ_lastを、彩度値Ｃ_ｐが当該範囲を超えた側の代表色の彩度値に基づき決める。一方、注目画素の彩度値Ｃ_ｐが当該範囲内にある場合は、彩度値Ｃ_１およびＣ_２と彩度値Ｃ_pとの関係に応じて、第１の代表色の彩度値に基づく補正量と、第２の代表色の彩度値に基づく補正量との間で値が連続的に変化するように、彩度補正量ΔＣ_lastを決める。

（ｃ）Ｃ₁＝Ｃ₂の場合
この場合、部分領域および所定色領域の面積の比率に基づき、最終的な色相補正量ΔＣ_lastの算出方法を下記の式（４２）および式（４３）から選択する。より具体的には、ステップＳ４３で求めた面積に基づく重み係数Ｗ₁を、予め設定した閾値ｔｈ＿Ｗと比較して、比較結果に応じて算出方法を選択する。
Ｗ₁≧ｔｈ＿Ｗの場合：ΔＣ_last＝Ｗｈ₁×ΔＣ₁' …（４２）
Ｗ₁＜ｔｈ＿Ｗの場合：ΔＣ_last＝Ｗｈ₂×ΔＣ₂' …（４３）

なお、上述では、彩度補正量ΔＣ_lastを彩度補正量ΔＣ₁'およびΔＣ₂'の線形的な重み付け演算で求めているが、これはこの例に限らず、非線形な演算方法を用いて彩度補正量ΔＣ_lastを求めてもよい。

このようにして最終的な色相補正量ΔＨ_lastおよび彩度補正量ΔＣ_lastを求めることで、第１および第２の代表色において予め定めた目標色度方向への色補正を実施しつつ、色補正対象とする色相範囲を持つ領域の境界へ近付くに従い色相補正量、彩度補正量を減少させることができる。これにより、色の連続性を保ちつつ、色補正を行うことが可能となる。

次に、図４のステップＳ９に色補正処理について説明する。ステップＳ９では、ステップＳ８で図７のフローチャートを用いて説明したようにして求めた、色補正対象とする色相範囲を持つ領域に対する色相補正と、彩度補正とを実施することで、色補正処理を行う。

入力画像データにおける注目画素の色相値Ｈ_p、彩度値Ｃ_pに対し、補正後の色相値および彩度値をそれぞれ値Ｈ_postおよび値Ｃ_postとすると、補正後の色相値Ｈ_postおよび彩度値Ｃ_postは、例えば下記の式（４４）および式（４５）に従い求められる。
Ｈ_post＝Ｈ_p＋ΔＨ_last …（４４）
Ｃ_post＝Ｃ_p＋ΔＣ_last …（４５）

上述の式（４４）および式（４５）による演算を、部分領域および所定色領域の各画素に対して実施することで、部分領域と、部分領域に類似した色相を持つ所定色領域とに対して、それぞれ適切に色補正を行うことが可能になる。

一例として、顔などの記憶色補正の対象となる領域と、顔の肌の色に近い色相を持つ夕焼け空の画像の領域に対して、それぞれ適切に色補正を行うことができる。勿論、色補正は顔画像に限らず、例えば青空といった記憶色補正の部分領域に対応する色相範囲として、青空と類似する色味である海や湖といった色相の画素を抽出して、それぞれ適切に色補正することも可能である。

＜実施形態の変形例＞
次に、上述した本発明の実施形態の変形例について説明する。上述では、所定色領域抽出部２０３での処理として、画素が予め定められた色相範囲内の色相値を持つか否かで、所定色領域としての画素の抽出を行った。これに対して、本変形例では、部分領域抽出部２０１で抽出された領域の画素が有する色相範囲に基づき、所定色領域としての画素抽出を行う。

本変形例によれば、所定色領域を抽出するために予め定めた色相範囲が、抽出した部分領域の色相範囲と離れているような場合でも、当該部分領域に基づいた色相範囲を設定することが可能である。これにより、色補正のための色相範囲を効果的に設定することができる。

なお、本変形例では、上述した実施形態で図２を用いて説明した機能構成をそのまま適用できるので、ここでの説明を省略する。

本変形例において、図４のフローチャートにおけるステップＳ５の所定色領域の抽出処理が上述の実施形態と異なる。図８は、本変形例による所定色領域の抽出処理の一例を示すフローチャートである。なお、図８のフローチャートにおいて、上述した図６のフローチャートと対応する処理には同一の符号を付し、詳細な説明を省略する。

変形例において、図４のフローチャートのステップＳ４で第１の代表色が算出されると、処理は図８のステップＳ２１に移行され、注目画素の位置が部分領域の範囲内にあるか否かが判定される。範囲内にあると判定されたら、処理はステップＳ２６に移行される。一方、範囲外にあると判定されたら、処理はステップＳ２２に移行され、注目画素の画素値がＲＧＢ値からＬＣＨ値に変換される。

次のステップＳ５０では、所定色領域抽出部２０３は、部分領域の色相情報に基づき所定色領域として抽出する色相範囲を決定する。本変形例では、この所定領域として抽出する色相範囲の決定を、図４のフローチャートにおけるステップＳ４で第１の代表色を求める際に用いたヒストグラムを参照して行う。この、部分領域の色相情報に基づき決定された色相範囲の上限値を値Ｈ'_max、下限値を値Ｈ'_minとし、色相範囲(Ｈ'_max,Ｈ'_min)として記す。

ステップＳ５０で色相範囲(Ｈ'_max,Ｈ'_min)が決定されると、処理はステップＳ５１に移行される。ステップＳ５１では、注目画素の色相値Ｈ_pＨがステップＳ５０で決定された色相範囲(Ｈ'_max,Ｈ'_min)内にあるか否かが判定される。若し、範囲内にないと判定されたら、処理はステップＳ２６に移行される。

一方、ステップＳ５１で、注目画素の色相Ｈが色相範囲(Ｈ'_max,Ｈ'_min)内にあると判定されたら、処理はステップＳ２５に移行され、注目画素の彩度値Ｃ_pおよび色相値Ｈ_pのヒストグラムがそれぞれ作成される。そして、処理はステップＳ２６に移行され、入力画像データの全ての画素について処理を行ったか否かが判定され、行ったと判定されたら、図８のフローチャートにおける一連の処理が終了され、処理が図４のステップＳ６に移行される。全ての画素について処理を行っていないと判定されたら、処理はステップＳ２１に移行され、次の注目画素に対する処理が開始される。

なお、上述では、ステップＳ５０において、所定色領域として抽出する色相範囲を、第１の代表色を求める際に用いたヒストグラムを参照して決定された色相範囲(Ｈ'_max,Ｈ'_min)をそのまま用いているが、これはこの例に限定されない。例えば、下記の式（４６）および式（４７）に示されるように、抽出する色相範囲を拡大して設定することもできる。なお、式（４６）および式（４７）において、拡大された色相範囲の上限値を値Ｈ"_max、下限値を値Ｈ"_minとし、係数Ｋｈは、実験的に求められる定数であり、０≦Ｋ₁≦１の範囲の値をとるものとする。
Ｈ"_max＝Ｈ'_max＋Ｋ_h×|Ｈ'_max−Ｈ'_min| …（４６）
Ｈ"_min＝Ｈ'_max−Ｋ_h×|Ｈ'_max−Ｈ'_min| …（４７）

このようにすることで、部分領域の色相に近い色相を持つ所定色領域を、万遍なく抽出することが可能となる。

以上説明したように、本発明によれば、入力画像から所定の記憶色が含まれる部分領域を抽出すると共に、入力画像の部分領域以外の領域から、部分領域に対応する色範囲の領域を所定色領域として抽出する。そして、部分領域に対して予め設定された第１の目標色と部分領域から検出された第１の代表色とに基づき算出された第１の補正量と、入力画像に基づき判定された入力画像のシーンと所定色領域から検出された第２の代表色とに基づき算出された第２の補正量とを、部分領域と所定色領域とを比較した結果に基づき修正して決定した最終的な補正量を用いて注目画素に対する色補正を行うようにしている。そのため、画像内の所定の色領域と、この所定の色領域に類似した色味を持つ別の色領域との両方の色味を適切に補正できる。

また、本発明の実施形態によれば、部分領域と所定色領域との面積比に基づき第１および第２の補正量をそれぞれ修正するようにしているため、部分領域および所定色領域のうち面積の広い方に対応する補正量に対してより強く重み付けを行うことができる。

また、本発明の実施形態によれば、第１の代表色と第２の代表色との差分に基づき第１および第２の補正量をそれぞれ修正するようにしているため、第１および第２の代表色の差分が大きいほど、第１および第２の補正量に対してより強く重み付けを行うことができる。

また、本発明の実施形態によれば、部分領域に対して当該部分領域の色に基づき予め関連付けられたシーンを判定するようにしているため、入力画像に対する色補正を適切に行うことができる。

また、本発明の実施形態によれば、部分領域に予め関連付けられた色範囲の領域を所定色領域として抽出するようにしているため、入力画像から色補正を行うべき領域を適切に抽出することができる。

また、本発明の実施形態によれば、部分領域の色に基づき決定した色範囲の領域を所定色領域として抽出するようにしているため、入力画像からの色補正を行うべき領域の抽出を柔軟に行うことができる。

また、本発明の実施形態によれば、入力画像に対してユーザ操作により設定された領域を部分領域として抽出するようにしているため、部分領域を柔軟に設定することができる。

＜他の実施形態＞
なお、上述では、本発明による画像処理装置１００が一般的なコンピュータにより構成されるように説明したが、これはこの例に限定されない。すなわち、本発明は、画像データの処理を行うようにされた装置であれば、他の種類の装置にも適用可能である。例えば、デジタルカメラやカメラ機能付き携帯電話端末、デジタルビデオカメラなどに対して、本発明による色補正機能を組み込むことが可能である。プリンタ装置に対して本発明による色補正機能を組み込んでもよい。また、本発明による色補正処理は、静止画像による画像データのみならず、動画像データに対しても適用可能である。

なお、本実施形態の画像処理装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ(Compact Disk)、フレキシブルディスク（ＦＤ）、ＤＶＤ(Digital Versatile Disk)などのコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、本実施形態の画像処理装置で実行されるプログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の画像処理装置で実行されるプログラムをインターネットなどのネットワーク経由で提供または配布するように構成しても良い。

また、本実施形態によるプログラムを、ＲＯＭなどに予め組み込んで提供するように構成してもよい。

本実施形態による画像処理装置で実行されるプログラムは、上述した各部（部分領域抽出部２０１、色度算出部２０２、所定力領域抽出部２０３、第１代表色算出部２０４、第２代表色算出部２０５、シーン判定部２０６、色補正量決定部２０８および色補正部２０９）を含むモジュール構成となっている。実際のハードウェアとしては、ＣＰＵ（プロセッサ）が上述の記憶媒体からプログラムを読み出して実行することにより上述の各部が主記憶装置（ＲＡＭ）上にロードされ、部分領域抽出部２０１、色度算出部２０２、所定力領域抽出部２０３、第１代表色算出部２０４、第２代表色算出部２０５、シーン判定部２０６、色補正量決定部２０８および色補正部２０９が主記憶装置上に生成されるようになっている。

１００ 画像処理装置
１０１ ＣＰＵ
１０５ ２次記憶部
１０６ ポインティングデバイス
１０７ キーボード
２０１ 部分領域抽出部
２０２ 色度算出部
２０３ 所定力領域抽出部
２０４ 第１代表色算出部
２０５ 第２代表色算出部
２０６ シーン判定部
２０７ 目標色度値
２０８ 色補正量決定部
２０９ 色補正部

特開２００６−０３３３８２号公報 特開２００６−２０３４３１号公報

Claims (10)

1. 入力画像から所定の記憶色が含まれる部分領域を抽出する部分領域抽出手段と、
   前記入力画像の前記部分領域以外の領域から、前記部分領域に対応する色範囲の領域を所定色領域として抽出する所定色領域抽出手段と、
   前記部分領域抽出手段で抽出された前記部分領域の第１の代表色を検出すると共に、前記所定色領域抽出手段で抽出された前記所定色領域の第２の代表色を検出する代表色検出手段と、
   前記入力画像に基づき該入力画像のシーンを判定するシーン判定手段と、
   前記部分領域に対して予め設定された第１の目標色と、前記代表色検出手段で検出された前記第１の代表色とに基づき第１の補正量を算出すると共に、
   前記シーン判定手段により判定された前記入力画像のシーンと、前記代表色検出手段で検出された前記第２の代表色とに基づき第２の補正量を算出し、
   前記部分領域と前記所定色領域とを比較した結果に基づき前記第１の補正量および前記第２の補正量をそれぞれ修正して最終的な補正量を決定する補正量決定手段と、
   前記補正量決定手段で決定された前記最終的な補正量を用いて注目画素に対する色補正を行う色補正手段と
   を有する
   ことを特徴とする画像処理装置。
2. 前記補正量決定手段は、
   前記部分領域と前記所定色領域との面積比に基づき前記第１の補正量および前記第２の補正量をそれぞれ修正する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記補正量決定手段は、
   前記第１の代表色と前記第２の代表色との差分に基づき前記第１の補正量および前記第２の補正量をそれぞれ修正する
   ことを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記シーン判定手段は、
   前記部分領域抽出手段により抽出された前記部分領域に対して該部分領域の色に基づき予め関連付けられたシーンを判定する
   ことを特徴とする請求項１乃至請求項３の何れか１項に記載の画像処理装置。
5. 前記所定色領域抽出手段は、
   前記部分領域に予め関連付けられた前記色範囲の領域を前記所定色領域として抽出する
   ことを特徴とする請求項１乃至請求項４の何れか１項に記載の画像処理装置。
6. 前記所定色領域抽出手段は、
   前記部分領域の色に基づき決定した前記色範囲の領域を前記所定色領域として抽出する
   ことを特徴とする請求項１乃至請求項４の何れか１項に記載の画像処理装置。
7. 前記入力画像に対して領域を設定するためのユーザ操作を受け付ける操作受付手段をさらに有し、
   前記部分領域抽出手段は、前記操作受付手段に受け付けられた前記ユーザ操作により設定された前記領域を前記部分領域として抽出する
   ことを特徴とする請求項１乃至請求項６の何れか１項に記載の画像処理装置。
8. 入力画像から所定の記憶色が含まれる部分領域を抽出する部分領域抽出ステップと、
   前記入力画像の前記部分領域以外の領域から、前記部分領域に対応する色範囲の領域を所定色領域として抽出する所定色領域抽出ステップと、
   前記部分領域抽出ステップで抽出された前記部分領域の第１の代表色を検出し、前記所定色領域抽出ステップで抽出された前記所定色領域の第２の代表色を検出する代表色検出ステップと、
   前記入力画像に基づき該入力画像のシーンを判定するシーン判定ステップと、
   前記部分領域に対して予め設定された第１の目標色と、前記代表色検出ステップで検出された前記第１の代表色とに基づき第１の補正量を算出し、
   前記シーン判定ステップにより判定された前記入力画像のシーンと、前記代表色検出ステップで検出された前記第２の代表色とに基づき第２の補正量を算出し、
   前記部分領域と前記所定色領域とを比較した結果に基づき前記第１の補正量および前記第２の補正量をそれぞれ修正して最終的な補正量を決定する補正量決定ステップと、
   前記補正量決定ステップで決定された前記最終的な補正量を用いて注目画素に対する色補正を行う色補正ステップと
   を有する
   ことを特徴とする画像処理方法。
9. 入力画像から所定の記憶色が含まれる部分領域を抽出する部分領域抽出ステップと、
   前記入力画像の前記部分領域以外の領域から、前記部分領域に対応する色範囲の領域を所定色領域として抽出する所定色領域抽出ステップと、
   前記部分領域抽出ステップで抽出された前記部分領域の第１の代表色を検出し、前記所定色領域抽出ステップで抽出された前記所定色領域の第２の代表色を検出する代表色検出ステップと、
   前記入力画像に基づき該入力画像のシーンを判定するシーン判定ステップと、
   前記部分領域に対して予め設定された第１の目標色と、前記代表色検出ステップで検出された前記第１の代表色とに基づき第１の補正量を算出し、
   前記シーン判定ステップにより判定された前記入力画像のシーンと、前記代表色検出ステップで検出された前記第２の代表色とに基づき第２の補正量を算出し、
   前記部分領域と前記所定色領域とを比較した結果に基づき前記第１の補正量および前記第２の補正量をそれぞれ修正して最終的な補正量を決定する補正量決定ステップと、
   前記補正量決定ステップで決定された前記最終的な補正量を用いて注目画素に対する色補正を行う色補正ステップと
   をコンピュータに実行させるためのプログラム。
10. 請求項９に記載のプログラムを記憶したコンピュータ読み取り可能な記憶媒体。

Images