JP2013164796A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】補正を依頼するユーザの特性に合わせた補正処理を簡便に行うことができる画像処理装置、画像処理方法およびプログラムを提供する。
【解決手段】補正対象画像と補正を依頼するユーザの特性を示すユーザ情報とを取得するＷＥＢサーバ１０１と、取得されたユーザ情報に基づいて、画像ＤＢからユーザの特性に適合する類似画像を抽出する類似画像抽出部１０４と、抽出された類似画像に基づいて補正対象画像に対する補正目標値となる目標色を設定する目標色設定部１０５と、設定された目標色に基づいて、補正対象画像の所定領域が目標色の色味に近づくように補正する画像補正部１０６と、を備える。
【選択図】図１

Description

本発明は、画像に対する補正処理を行う画像処理装置、画像処理方法およびプログラムに関する。

例えばデジタルカメラなどで撮影された画像は、撮影後に適切な補正処理を施すことで、ユーザにとって好ましい色味の画像に加工することができる。このような画像に対する補正処理をユーザが簡便に行えるようするための技術として、例えば、特許文献１に記載の画像処理システムが知られている。

特許文献１に記載の画像処理システムは、サンプル画像の特徴とその最適な処理手順とを蓄積したデータベースを参照し、補正対象画像に最も類似するサンプル画像を選択して、そのサンプル画像に対応する処理手順に従って補正対象画像を補正する。具体的には、データベースに蓄積されたサンプル画像の特徴を表す統計データと、補正対象画像から求めた統計データとを比較して、補正対象画像とサンプル画像との類似度を判定する。そして、補正対象画像に対する類似度が最も高いサンプル画像に対応する処理手順を表したスクリプトデータをデータベースから読み出して、このスクリプトデータの記述内容に従った補正処理を補正対象画像に対して実行する。

しかし、特許文献１に記載の従来技術では、画像としての類似度のみに基づいて選択されたサンプル画像の処理手順を補正対象画像に適用するため、補正対象画像に対して、補正を依頼するユーザの特性、例えば、国籍や年齢などに合わせた補正処理を簡便に行うことができないという問題があった。

例えば、人物の顔を写した画像を補正しようとする場合、ユーザは、顔の色が記憶色の肌色に近づくように補正されることを望む場合が多い。記憶色とは、特定の被写体に対して好ましい色として人が記憶している色味である。ここで、記憶色はすべての人に対して共通ではなく、人の特性（例えば、国籍や年齢など）に応じて異なる。例えば、肌色を例に挙げると、欧米人は赤みがかった肌色を嫌うのに対して、日本人は実際よりもピンクがかった肌色を好ましいと感じるといった傾向があることが知られている。

このように、ユーザが好ましいと感じる色味はユーザの特性に応じて異なったものとなるが、特許文献１に記載の従来技術では、ユーザの特性を考慮せずに補正処理が行われるため、補正後の色調が必ずしもユーザが好ましいと感じる色味にならない。

本発明は、上記に鑑みてなされたものであって、補正を依頼するユーザの特性に合わせた補正処理を簡便に行うことができる画像処理装置、画像処理方法およびプログラムを提供することを目的としている。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、補正対象画像と補正を依頼するユーザの特性を示すユーザ情報とを取得する取得手段と、前記取得手段が取得したユーザ情報に基づいて、画像を蓄積する画像蓄積手段から、補正を依頼するユーザの特性に適合する画像を抽出する抽出手段と、前記抽出手段が抽出した画像に基づいて、補正目標値を設定する設定手段と、前記補正目標値に基づいて、前記補正対象画像を補正する補正手段と、を備えることを特徴とする。

また、本発明に係る画像処理方法は、画像処理装置において実行される画像処理方法であって、前記画像処理装置の取得手段が、補正対象画像と補正を依頼するユーザの特性を示すユーザ情報とを取得するステップと、前記画像処理装置の抽出手段が、前記取得手段が取得したユーザ情報に基づいて、画像を蓄積する画像蓄積手段から、補正を依頼するユーザの特性に適合する画像を抽出するステップと、前記画像処理装置の設定手段が、前記抽出手段が抽出した画像に基づいて、補正目標値を設定するステップと、前記画像処理装置の補正手段が、前記補正目標値に基づいて、前記補正対象画像を補正するステップと、を含むことを特徴とする。

また、本発明に係るプログラムは、コンピュータに、補正対象画像と補正を依頼するユーザの特性を示すユーザ情報とを取得する機能と、取得したユーザ情報に基づいて、画像を蓄積する画像蓄積手段から、補正を依頼するユーザの特性に適合する画像を抽出する機能と、抽出した画像に基づいて、補正目標値を設定する機能と、前記補正目標値に基づいて、前記補正対象画像を補正する機能と、を実現させるためのプログラムである。

本発明によれば、補正を依頼するユーザの特性を示すユーザ情報を取得し、このユーザ情報に基づいて画像蓄積手段からユーザの特性に適合する画像を抽出し、抽出した画像に基づいて補正目標値を設定して補正対象画像を補正するので、補正を依頼するユーザの特性に合わせた補正処理を簡便に行うことができるという効果を奏する。

図１は、実施形態の画像処理システムの構成を示すブロック図である。 図２は、画像ＤＢのインデックス情報の一例を示すイメージ図である。 図３は、画像処理システムの動作の概要を示すフローチャートである。 図４は、ログイン画面の画面例を示す図である。 図５は、ユーザ情報登録画面の画面例を示す図である。 図６は、データベース検索画面の画面例を示す図である。 図７は、画像確認画面の画面例を示す図である。 図８は、目標色設定部の構成例を示すブロック図である。 図９は、目標色設定部の処理の流れを示すフローチャートである。 図１０は、画像補正部の構成例を示すブロック図である。 図１１は、画像補正部の処理の流れを示すフローチャートである。 図１２は、明るさ補正テーブルの一例を示す図である。 図１３は、画像処理システムの動作の概要を示すフローチャートである。 図１４は、履歴情報の一例を示す図である。 図１５は、履歴情報に含まれる目標色を更新する処理の流れを示すフローチャートである。 図１６は、顔領域の代表色と目標色との色相差と、設定される重み係数のとの関係を示すグラフ図である。

以下に添付図面を参照して、本発明に係る画像処理装置、画像処理方法およびプログラムの最良な実施形態を詳細に説明する。以下で説明する実施形態は、クラウド・コンピューティングを基盤とし、ユーザが指定した補正対象画像に対する補正処理をクラウドサービスのかたちで提供する画像処理システムへの適用例である。ただし、適用可能な形態はこれに限らず、補正対象画像に対して補正処理を行う様々な形態のシステムあるいは単一の装置として構成された画像処理装置に対して、本発明は有効に適用することができる。また、以下で説明する実施形態は、デジタルカメラなどで撮影された画像を補正対象画像として想定するが、補正対象画像はこれに限らない。また、本発明に係る画像処理装置は、例えば、プリンタや複写機、複合機などの画像形成装置の機能の一部として実施することもできる。

（第１の実施形態）
図１は、本実施形態の画像処理システムの構成を示すブロック図である。この画像処理システムは、ＷＥＢサーバ１０１と、ＷＥＢブラウザを搭載したパーソナルコンピュータ（以下、「ＰＣ」と略称する。）１０２と、画像データベース（以下、データベースを「ＤＢ」と略称する。）１０３と、類似画像抽出部１０４と、目標色設定部１０５と、画像補正部１０６と、を備える。ＷＥＢサーバ１０１とＰＣ１０２は、インターネット１０７などの広域ネットワークを介して接続されている。なお、ＷＥＢサーバ１０１、画像ＤＢ１０３、類似画像抽出部１０４、目標色設定部１０５、および画像補正部１０６は、サーバコンピュータなどの単一の装置における機能部として構成されてもよいし、一部または全部がそれぞれ独立した装置として構成されてもよい。

ＷＥＢサーバ１０１は、ＰＣ１０２との間で、インターネット１０７を介したＷＥＢベースでの情報のやり取りを行う。例えば、ＷＥＢサーバ１０１は、ユーザが指定した補正対象画像と、その補正対象画像の被写体種別や撮影条件を示すシーン情報、および、ユーザの特性を示すユーザ情報とを、ＰＣ１０２から取得する（取得手段）。また、ＷＥＢサーバ１０１は、類似画像抽出部１０２によって抽出された複数の類似画像をＰＣ１０２のモニタに表示されるＷＥＢ画面上でユーザに提示し、これら複数の類似画像の中からユーザが好ましいと感じる１つの画像（以下、「選択画像」という。）を選択するユーザの操作を受け付ける（第１画像提示手段）。また、ＷＥＢサーバ１０１は、補正対象画像に対して画像補正部１０６による補正処理が行われた補正後の画像をＰＣ１０２のモニタに表示されるＷＥＢ画面上でユーザに提示し、再度の補正の要否を指定するユーザの操作を受け付ける（第２画像提示手段）。

ＰＣ１０２は、ユーザが使用するクライアント端末である。ＰＣ１０２は、上述したようにＷＥＢブラウザを搭載し、ＷＥＢサーバ１０１との間で、インターネット１０７を介したＷＥＢベースでの情報のやり取りを行う。ユーザは、このＰＣ１０２のモニタに表示されるＷＥＢ画面を通じて、補正対象画像の指定や選択画像の選択などの各種の操作を行うことができる。また、ＰＣ１０２は、ユーザの特性を示すユーザ情報を、ＷＥＢサーバ１０１に関連付けられたセッション管理情報の一部として記憶するユーザ情報記憶メモリ１０８を備える。このユーザ情報記憶メモリ１０８としては、例えば、ＰＣ１０２の本体内部に備えられたＨＤＤ（ハードディスクドライブ）などの記憶装置を用いてもよいし、ＰＣ１０２の本体に対して外付けで装着されるメモリカードなどの記憶装置を用いてもよい。

ユーザ情報メモリ１０８に記憶されるユーザ情報は、上述したように、ユーザの特性を示す情報である。ここでの特性は、特に、色の好みに影響を与えることが想定される特性をいう。本実施形態では、一例として、ユーザの国籍および年齢をユーザ情報に用いる。なお、ユーザ情報はこの例に限らず、色の好みに影響を与えることが想定される特性を示す情報を広く利用することができる。例えば、ユーザの性別などをユーザ情報として利用してもよい。

画像ＤＢ１０３は、補正処理が行われた後の多数の画像を、それぞれの画像の被写体種別および撮影条件を示すシーン情報と、それぞれの画像に対して補正を依頼したユーザのユーザ情報とに関連付けて蓄積している（画像蓄積手段）。シーン情報で示される被写体種別とは、例えば、人物を被写体とした画像であるか、風景を被写体とした画像であるか、食材を被写体とした画像であるか、といった情報である。シーン情報で示される撮影条件とは、例えば、逆光で撮影された画像であるか、順光で撮影された画像か、夜景を撮影した画像であるか、といった情報である。

本実施形態の画像処理システムでは、画像補正部１０６により補正処理が行われた画像が画像ＤＢ１０３に逐次格納される。ただし、画像補正部１０６により補正処理が行われた画像を画像ＤＢ１０３に格納するだけでは、システム導入の初期段階では、画像ＤＢ１０３に蓄積される画像の数が不足して類似画像の抽出を適切に行えない虞がある。そこで、画像ＤＢ１０３には、予め何らかのかたちで補正された画像を、シーン情報およびユーザ情報と関連付けて格納しておく。この場合、シーン情報およびユーザ情報は、例えばシステムの管理者が手入力で入力する。また、シーン情報については、画像を格納する際に既知の画像認識処理によりシーン判定を行って、その結果がシーン情報として自動入力されるようにしてもよい。

図２は、画像ＤＢ１０３のインデックス情報の一例を示すイメージ図である。画像ＤＢ１０３に蓄積される画像は、図２に示すようなインデックス情報を用いて管理される。図２に示すインデックス情報では、画像のファイル名に対応させて、それぞれの画像のシーン情報と、それぞれの画像に対する補正を依頼したユーザのユーザ情報（国籍、年齢）とが記述されている。画像データそのものは、ファイル名で識別される画像ファイルとして画像ＤＢ１０３に格納されている。画像ＤＢ１０３が蓄積する各画像は、図２に示すインデックス情報を用いることで、シーン情報やユーザ情報をキーとして検索することができる。

類似画像抽出部１０４は、画像ＤＢ１０３から、補正対象画像の補正を依頼するユーザの特性に適合する類似画像を抽出する（抽出手段）。具体的には、類似画像抽出部１０４は、まず、ＷＥＢサーバ１０１がＰＣ１０２から取得した補正対象画像のシーン情報およびユーザ情報をキーとして画像ＤＢ１０３に対する検索を行い、画像ＤＢ１０３から、ＷＥＢサーバ１０１が取得したユーザ情報に類似するユーザ情報に関連付けられ、且つ、ＷＥＢサーバ１０１が取得したシーン情報と一致するシーン情報に関連付けられた画像を一次抽出する。ここで、ユーザ情報が類似するとは、ユーザ情報に含まれる国籍が同じでユーザ情報に含まれる年齢の誤差が所定範囲になることをいう。例えば、ＷＥＢサーバ１０１が取得したユーザ情報に含まれる年齢に対して±５歳の範囲を同一年齢層と定義し、画像ＤＢ１０３に蓄積されている画像に関連付けられたユーザ情報が、ＷＥＢサーバ１０１が取得したユーザ情報と同じ国籍を含み、同一年齢層の範囲内の年齢を含む場合に、これらのユーザ情報が類似すると判定する。

次に、類似画像抽出部１０４は、画像ＤＢ１０３から一次抽出した画像について、ＷＥＢサーバ１０１が取得した補正対象画像、すなわちユーザがＰＣ１０２を用いて指定した補正対象画像に対する画像としての類似度を算出する。そして、類似画像抽出部１０４は、一次抽出された画像のうち、補正対象画像に対する画像としての類似度が予め定めた所定の基準値以上の画像を複数選び、これら複数の画像を類似画像としてＷＥＢサーバ１０１に渡す。画像としての類似度を算出する具体的な手法については、既知の様々な方法を利用することができる。例えば、特許文献１に記載されているように、画像を複数のブロックに分割し、それぞれのブロックごとに色相や彩度の偏りを求めて統計データを作成し、２つの画像の統計データの類似度を、評価関数を用いて数値化することで、画像としての類似度を算出することができる。また、類似画像として選ぶ画像の数は、一般的なＰＣ１０２のモニタに表示する上で支障のない数を予め設定しておけばよい。

なお、画像ＤＢ１０３から一次抽出した画像の数が少ない場合、つまり、ユーザ情報やシーン情報による絞り込みによって、ＰＣ１０２のモニタに表示する上で適正な数の画像が一次抽出される場合には、一次抽出した画像をそのまま類似画像としてもよい。また、類似画像抽出部１０４の処理によって１つの類似画像を抽出することもできる。この場合は、ユーザによる選択画像の選択は行われず、類似画像抽出部１０４により抽出された類似画像がそのまま選択画像として目標色設定部１０５に渡される。

目標色設定部１０５は、ＷＥＢサーバ１０１がＰＣ１０２のモニタのＷＥＢ画面を通じてユーザに提示した複数の類似画像の中からユーザによって選択された画像である選択画像に基づいて、補正対象画像に対して補正処理を行う際の補正目標値である目標色を設定する（設定手段）。ここでいう目標色とは、顔の肌や草木の緑といった記憶色を再現するために目標とする色味を示している。なお、目標色設定部１０５による具体的な処理については、詳細を後述する。

画像補正部１０６は、目標色設定部１０５が設定した目標色に基づいて、ＷＥＢサーバ１０１が取得した補正対象画像を補正する（補正手段）。例えば、画像補正部１０６は、ＷＥＢサーバ１０１が取得した補正対象画像に含まれる所定領域の色が、目標色設定部１０５が設定した目標色に近づくように、補正対象画像に対する補正処理を行う。なお、画像補正部１０６による具体的な補正処理については、詳細を後述する。

次に、本実施形態の画像処理システムの動作例について、ユーザによる操作手順と併せて説明する。図３は、本実施形態の画像処理システムの動作の概要を示すフローチャートである。

まず、ＷＥＢサーバ１０１が、ＰＣ１０２からのアクセス有無を監視する（ステップＳ１０１）。ＷＥＢサーバ１０１は、ＰＣ１０２からのアクセスがなければ（ステップＳ１０１：Ｎｏ）監視を継続する。一方、ユーザがＰＣ１０２を用いてＷＥＢサーバ１０１にアクセスすると、ＷＥＢサーバ１０１が、このＰＣ１０２からのアクセスを検出して（ステップＳ１０１：Ｙｅｓ）、ＰＣ１０２に対して図４に示すようなログイン画面４０を供給し、ログイン画面４０をＰＣ１０２のモニタに表示させる（ステップＳ１０２）。ログイン画面４０には、例えば図４に示すように、ポインティングデバイスによるクリック操作などにより選択可能な「ユーザ情報登録」ボタン４１および「ログイン」ボタン４２が設けられている。

次に、ＷＥＢサーバ１０１は、ログイン画面４０を用いたユーザの操作の有無を監視する（ステップＳ１０３、ステップＳ１０４）。ここで、ユーザが「ログイン」ボタン４２を選択する操作を行った場合（ステップＳ１０３：Ｙｅｓ）、ＷＥＢサーバ１０１がこの操作を検出してステップＳ１０７に進む。また、ユーザが「ユーザ情報登録」ボタン４１を選択する操作を行った場合（ステップＳ１０４：Ｙｅｓ）、ＷＥＢサーバ１０１がこの操作を検出してステップＳ１０５に進む。また、ＷＥＢサーバ１０１は、ログイン画面４０を用いたユーザの操作がなければ（ステップＳ１０３：Ｎｏ、ステップＳ１０４：Ｎｏ）、ユーザの操作の監視を継続する。

ステップＳ１０５では、ＷＥＢサーバ１０１が、ＰＣ１０２に対して図５に示すようなユーザ情報登録画面５０を供給し、ユーザ情報登録画面５０をＰＣ１０２のモニタに表示させる。ユーザ情報登録画面５０には、例えば図５に示すように、ユーザの名前を記入する「名前」記入欄５１、ユーザの国籍を記入する「国」記入欄５２、およびユーザの年齢を記入する「年齢」記入欄５３が設けられている。また、ユーザ情報登録画面５０には、ポインティングデバイスによるクリック操作などにより選択可能な「登録」ボタン５４および「取消」ボタン５５が設けられている。ここで、ユーザが「名前」記入欄５１に名前を入力し、「国」記入欄５２に国籍を入力し、「年齢」記入欄５３に年齢を記入して、「登録」ボタン５４を選択する操作を行うと、ＷＥＢサーバ１０１からの指令に応じて、ＰＣ１０２が、これらユーザ情報登録画面５０から入力されたユーザ情報を、例えばｃｏｏｋｉｅのようなセッション管理情報の一部として、ＷＥＢサーバ１０１に関連付けて、ユーザ情報メモリ１０８に格納する（ステップＳ１０６）。なお、ユーザが「取消」ボタン５５を選択する操作を行った場合は、「名前」記入欄５１、「国」記入欄５２、および「年齢」記入欄５３の入力がクリアされる。

ステップＳ１０７では、ＷＥＢサーバ１０１が、ＰＣ１０２に対して、ＷＥＢサーバ１０１に関連付けてユーザ情報メモリ１０８に格納されたセッション管理情報、つまりユーザ情報を含むセッション管理情報の取得を要求し、ＰＣ１０２からセッション管理情報を取得する。次に、ＷＥＢサーバ１０１は、ＰＣ１０２に対して図６に示すようなデータベース検索画面６０を供給し、データベース検索画面６０をＰＣ１０２のモニタに表示させる（ステップＳ１０８）。

データベース検索画面６０には、例えば図６に示すように、ポインティングデバイスによるクリック操作などにより選択可能な「参照」ボタン６１や、補正対象画像のシーン情報である被写体種別を入力する「被写体」記入欄６２および撮影条件を入力する「条件」記入欄６３が設けられている。「参照」ボタン６１は、例えば、ＰＣ１０２の本体内部に備えられたＨＤＤやＰＣ１０２の本体に装着されたメモリカードなどに格納された画像の中から、ユーザが補正対象画像を指定するために操作するボタンである。また、データベース検索画面６０には、ユーザにより補正対象画像が指定されたときに、その指定された補正対象画像をサムネイル表示する補正対象画像表示エリア６４と、類似画像抽出部１０４によって複数の類似画像が抽出された際に、抽出されたそれら複数の類似画像をサムネイル表示する類似画像表示エリア６５が設けられている。また、データベース検索画面６０には、ポインティングデバイスによるクリック操作などにより選択可能な「ログアウト」ボタン６６が設けられている。

ここで、ユーザがＰＣ１０２のポインティングデバイスのクリック操作などにより「参照」ボタン６１を選択すると、例えば、ＰＣ１０２が管理する画像の格納先および画像のファイル名を示すリストが、ポップアップ画面の形式でデータベース検索画面６０上に重畳して表示される。そして、このリストの中からユーザにより選ばれた画像が、補正対象画像として指定される。ユーザにより指定された補正対象画像は、データベース検索画面６０の補正対象画像表示エリア６４にサムネイル表示される。また、指定された補正対象画像のシーン情報となる被写体種別や撮影条件は、データベース検索画面６０の「被写体」記入欄６２および「条件」記入欄６３から入力することができる。なお、本実施形態では、補正対象画像のシーン情報をユーザが入力するようにしているが、指定された補正対象画像に対してＰＣ１０２が既知の画像認識処理によりシーン判定を行う、あるいは、類似画像を抽出する際に類似画像抽出部１０４が既知の画像認識処理により補正対象画像に対するシーン判定を行うようにして、その結果を補正対象画像のシーン情報とするようにしてもよい。この場合は、データベース検索画面６０に「被写体」記入欄６２や「条件」記入欄６３を設ける必要はない。

ＷＥＢサーバ１０１は、データベース検索画面６０を用いたユーザの操作の有無を監視する（ステップＳ１０９、ステップＳ１１０）。ここで、ユーザが「ログアウト」ボタン６６を選択する操作を行った場合は（ステップＳ１０９：Ｙｅｓ）、図３に示す一連の処理が終了する。また、ユーザが、上述したように補正対象画像を指定して補正対象画像のシーン情報を入力する操作を行った場合は（ステップＳ１１０：Ｙｅｓ）、ステップＳ１１１に進む。また、ＷＥＢサーバ１０１は、データベース検索画面６０を用いたユーザの操作がなければ（ステップＳ１０９：Ｎｏ、ステップＳ１１０：Ｎｏ）、ユーザの操作の監視を継続する。

ステップＳ１１１では、Ｗｅｂサーバ１０１が、データベース検索画面６０上でユーザにより指定された補正対象画像とシーン情報とをＰＣ１０２から取得する。そして、ＷＥＢサーバ１０１は、ステップＳ１０７で取得したセッション管理情報に含まれるユーザ情報と、ステップＳ１１１で取得した補正対象画像およびシーン情報を類似画像抽出部１０４に渡して、類似画像抽出部１０４に類似画像の抽出を依頼する。

類似画像抽出部１０４は、Ｗｅｂサーバ１０１からの依頼を受けて、ユーザの特性に適合する複数の類似画像を画像ＤＢ１０３から抽出し、抽出した複数の類似画像をＷｅｂサーバ１０１に返す（ステップＳ１１２）。具体的には、類似画像抽出部１０４は、まず、補正対象画像のシーン情報およびユーザ情報をキーとして画像ＤＢ１０３に対する検索を行い、画像ＤＢ１０３から、ＷＥＢサーバ１０１が取得したユーザ情報に類似するユーザ情報に関連付けられ、且つ、ＷＥＢサーバ１０１が取得したシーン情報と一致するシーン情報に関連付けられた画像を一次抽出する。そして、類似画像抽出部１０４は、画像ＤＢ１０３から一次抽出した画像について、補正対象画像に対する画像としての類似度を算出し、類似度が予め定めた所定の基準値以上の画像の上位Ｎ件（Ｎは予め定められた所定数）を、類似画像としてＷＥＢサーバ１０１に返す。

Ｗｅｂサーバ１０１は、類似画像抽出部１０４からＮ件の類似画像を受け取ると、これらＮ件の類似画像を、ＰＣ１０２のモニタに表示されているデータベース検索画面６０の類似画像表示エリア６５にサムネイル表示させる（ステップＳ１１３）。次に、Ｗｅｂサーバ１０１は、データベース検索画面６０の類似画像表示エリア６５にサムネイル表示させたＮ件の類似画像のうち、いずれかを選択するユーザの操作の有無を監視する（ステップＳ１１４）。そして、Ｗｅｂサーバ１０１は、ユーザの操作が検出されない間は（ステップＳ１１４：Ｎｏ）監視を継続し、いずれかの類似画像を選択するユーザの操作を検出すると（ステップＳ１１４：Ｙｅｓ）、ユーザにより選択された類似画像である選択画像を目標色設定部１０５に渡し、目標色設定部１０５に目標色の設定を依頼する。なお、類似画像表示エリア６５では、ポインティングデバイスのクリック操作などにより、サムネイル表示された類似画像の選択が可能となっている。

目標色設定部１０５は、Ｗｅｂサーバ１０１からの依頼を受けて、Ｗｅｂサーバ１０１から渡された選択画像に基づき、補正対象画像に対して補正を行う際の補正目標値である目標色を設定する（ステップＳ１１５）。目標色設定部１０５により目標色が設定されると、Ｗｅｂサーバ１０１は、次に、ステップＳ１１１で取得した補正対象画像を画像補正部１０６に渡し、画像補正部１０６に補正対象画像の補正を依頼する。

画像補正部１０６は、Ｗｅｂサーバ１０１からの依頼を受けて、目標色設定部１０５により設定された目標色に基づき、補正対象画像に対する補正処理を行って、補正後の画像をＷｅｂサーバ１０１に返す（ステップＳ１１６）。

Ｗｅｂサーバ１０１は、画像補正部１０６から補正後の画像を受け取ると、ＰＣ１０２に対して図７に示すような画像確認画面７０を供給し、画像確認画面７０をＰＣ１０２のモニタに表示させる（ステップＳ１１７）。画像確認画面７０には、例えば図７に示すように、補正後の画像がサムネイル表示される補正後画像表示領域７１が設けられている。また、画像確認画面７０には、ポインティングデバイスによるクリック操作などにより選択可能な「ＯＫ」ボタン７２および「ＮＧ」ボタン７３が設けられている。ユーザは、この画像確認画面７０の補正後画像表示領域７１にサムネイル表示される補正後の画像を確認し、「ＯＫ」ボタン７２あるいは「ＮＧ」ボタン７３を選択することで、再度の補正の要否を指示することができる。

次に、ＷＥＢサーバ１０１は、画像確認画面７０を用いたユーザの操作を監視する（ステップＳ１１８、ステップＳ１１９）。ここで、ユーザが「ＮＧ」ボタン７３を選択する操作を行った場合は（ステップＳ１１８：Ｙｅｓ）、ステップＳ１１３に戻って類似画像表示エリア６５に類似画像がサムネイル表示された状態のデータベース検索画面６０をＰＣ１０２のモニタに表示させ、ユーザによる別の類似画像の選択を待つ。一方、ユーザが「ＯＫ」ボタン７２を選択する操作を行った場合は（ステップＳ１１９：Ｙｅｓ）ステップＳ１２０に進む。また、ＷＥＢサーバ１０１は、画像確認画面７０を用いたユーザの操作がなければ（ステップＳ１１８：Ｎｏ、ステップＳ１１９：Ｎｏ）、ユーザの操作の監視を継続する。

ステップＳ１２０では、ＷＥＢサーバ１０１が、画像補正部１０６から受け取った補正後の画像をＰＣ１０２に供給し、ＰＣ１０２の本体内部に備えられたＨＤＤやＰＣ１０２の本体に装着されたメモリカードなどに格納させる。このとき、ＷＥＢサーバ１０１は、画像補正部１０６が補正対象画像を補正する際に用いた目標色の情報もＰＣ１０２に供給し、この補正対象画像を補正する際に用いた目標色と補正対象画像のシーン情報とを併せて、ユーザ情報メモリ１０８に履歴情報としてユーザ情報に関連付けて記憶させる（登録手段）ようにしてもよい。

次に、ＷＥＢサーバ１０１は、画像補正部１０６から受け取った補正後の画像を、補正対象画像のシーン情報およびユーザ情報と関連付けて、画像ＤＢ１０３に格納する（ステップＳ１２１）。その後、ＷＥＢサーバ１０１は、ステップＳ１０８に戻って、初期状態のデータベース検索画面６０をＰＣ１０２のモニタに再度表示させる。そして、ユーザがデータベース検索画面６０を用いて別の補正対象画像を指定すると、以降の処理が繰り返される。一方、ユーザがデータベース検索画面６０の「ログアウト」ボタン６６を選択すると、図３に示す一連の処理が終了する。

次に、目標色設定部１０５および画像補正部１０６による処理の具体例について説明する。なお、以下では、補正対象画像および選択画像が人物を被写体とした画像であり、人物の顔の肌色を記憶色に近づけるように補正する場合を想定して説明する。ただし、画像に含まれる青空の青や、木々や草の緑などを記憶色に近づけるように補正する場合においても、画像から検出する記憶色再現の対象となる所定領域を変更するのみで、以下と同様の処理が適用できる。また、以下の説明では、画像の色情報は、基本的にＲＧＢデータにより構成されるものとし、各処理部では、必要に応じて適宜、ＲＧＢ値をＣＩＥ Ｌ＊ａ＊ｂ＊値やＬ＊Ｃ＊Ｈ＊値（ＣＩＥ Ｌ＊ａ＊ｂ＊表色系におけるａ＊ｂ＊平面上の座標（ａ＊，ｂ＊）を極座標表示（Ｃ＊，Ｈ＊）に変換したもの）に変換して処理を行うものとする。また、画像の色空間は、例えば、インターネット１０７で標準的に使用されるｓＲＧＢ色空間であるものとする。

図８は、目標色設定部１０５の構成例を示すブロック図である。目標色設定部１０５は、図８に示すように、領域検出部１１１と、代表色算出部１１２と、設定部１１３と、を備える。

領域検出部１１１は、複数の類似画像の中からユーザによって選択された選択画像をＷＥＢサーバ１０１から受け取り、この選択画像から記憶色再現の対象となる所定領域を検出する。ここでは、領域検出部１１１は、選択画像の中で人物の顔が写された領域である顔領域を検出する。画像から顔領域を検出する技術は種々提案されており、領域検出部１１１は、これら既知の技術を用いて選択画像から顔領域を検出すればよい。なお、記憶色再現の対象となる所定領域は顔領域に限らず、例えば、青空の青の領域、木々や草の緑の領域などであってもよい。これら所定領域は、例えばユーザの指定によって定めることができる。また、選択画像のシーン情報などに基づいて、所定領域を定めるようにしてもよい。

代表色算出部１１２は、領域検出部１１１が選択画像から検出した顔領域における代表色を算出する。代表色は、領域全体の色味を表す指標である。代表色算出部１１２は、例えば、領域検出部１１１が検出した顔領域に含まれる各画素のＲＧＢ値を平均したＲＧＢ平均値を代表色として算出することができる。

設定部１１３は、代表色算出部１１２が算出した顔領域における代表色に基づいて、補正対象画像の顔領域において記憶色を再現するための目標色を設定する。ここでは、設定部１１３は、代表色算出部１１２が算出した代表色をそのまま目標色として設定する。ただし、設定部１１３は、代表色算出部１１２が算出した代表色に対して、選択画像の撮影条件などに応じた補正を加えたものを、目標色として設定するようにしてもよい。

図９は、目標色設定部１０５による処理の流れを示すフローチャートである。目標色設定部１０５は、まずステップＳ２０１において、ＷＥＢサーバ１０１から選択画像を取得する。次に、ステップＳ２０２において、領域検出部１１１が、ステップＳ２０１で取得した選択画像から顔領域を検出する。次に、ステップＳ２０３において、代表色算出部１１２が、ステップＳ２０２で検出された顔領域のＲＧＢ平均値を、選択画像の顔領域の代表色として算出する。最後に、ステップＳ２０４において、設定部１１３が、ステップＳ２０３で算出された代表色を、補正対象画像における記憶色再現の目標となる目標色（Ｄｅｓｔ＿Ｒ，Ｄｅｓｔ＿Ｇ，Ｄｅｓｔ＿Ｂ）として設定する。

図１０は、画像補正部１０６の構成例を示すブロック図である。画像補正部１０６は、図１０に示すように、領域検出部１２１と、代表色算出部１２２と、明るさ補正部１２３と、色補正部１２４と、を備える。

領域検出部１２１は、ユーザにより指定された補正対象画像をＷＥＢサーバ１０１から受け取り、この補正対象画像から記憶色再現の対象となる所定領域（本実施形態では顔領域）を検出する。

代表色算出部１２２は、領域検出部１２１が補正対象画像から検出した顔領域における代表色を算出する。代表色は、例えば、領域検出部１２１が検出した顔領域に含まれる各画素のＲＧＢ値を平均したＲＧＢ平均値である。

明るさ補正部１２３は、代表色算出部１２２が算出した代表色と、目標色設定部１０５が設定した目標色とに基づいて、補正対象画像に対する明るさ補正を行う。

色補正部１２３は、代表色算出部１２２が算出した代表色と、目標色設定部１０５が設定した目標色とに基づいて、明るさ補正部１２３により明るさ補正された補正対象画像に対する色補正を行う。

図１１は、画像補正部１０６による処理の流れを示すフローチャートである。画像補正部１０６は、まずステップＳ３０１において、ＷＥＢサーバ１０１から補正対象画像を取得するとともに、目標色設定部１０５から目標色（Ｄｅｓｔ＿Ｒ，Ｄｅｓｔ＿Ｇ，Ｄｅｓｔ＿Ｂ）を取得する。次に、ステップＳ３０２において、領域検出部１２１が、ステップＳ３０１で取得した補正対象画像から顔領域を検出する。次に、ステップＳ３０３において、代表色算出部１２２が、ステップＳ３０２で検出された顔領域のＲＧＢ平均値を、補正対象画像の顔領域の代表色（Ｆａｃｅ＿Ｒ，Ｆａｃｅ＿Ｇ，Ｆａｃｅ＿Ｂ）として算出する。

次に、ステップＳ３０４において、明るさ補正部１２３が、ステップＳ３０３で算出された代表色（Ｆａｃｅ＿Ｒ，Ｆａｃｅ＿Ｇ，Ｆａｃｅ＿Ｂ）の明るさが目標色（Ｄｅｓｔ＿Ｒ，Ｄｅｓｔ＿Ｇ，Ｄｅｓｔ＿Ｂ）の明るさとなるように階調補正を行う。階調補正は、例えば、補正対象画像の顔領域の代表色（Ｆａｃｅ＿Ｒ，Ｆａｃｅ＿Ｇ，Ｆａｃｅ＿Ｂ）から求められる輝度（Ｆａｃｅ＿Ｙ）が目標色（Ｄｅｓｔ＿Ｒ，Ｄｅｓｔ＿Ｇ，Ｄｅｓｔ＿Ｂ）の輝度（Ｄｅｓｔ＿Ｙ）となるような明るさ補正テーブルを設定し、この明るさ補正テーブルに従って輝度値を変換することで明るさの補正を行う。

例えば、図１２に示すような明るさ補正テーブルが設定されたとすると、この明るさ補正テーブルによる変換後の輝度値をＹｏｕｔ、入力輝度値をＹｉｎとし、入力ＲＧＢ値（（Ｒｉｎ，Ｇｉｎ，Ｂｉｎ）とする）から下記式（１）に従って、出力ＲＧＢ値（（Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ）とする）への変換を行う。

上記式（１）のＹは、ＲＧＢ値から下記式（２）の変換式で求められる輝度値である。

以上のようにして、明るさ補正テーブルに基づく明るさ補正処理が実行される。なお、本実施形態では顔領域の明るさのみを対象とした補正例を示したが、顔以外のハイライト領域の階調とびが起きないように補正テーブルを修正するといった公知の明るさ補正方法の技術を併用してもよい。

次に、ステップＳ３０５において、色補正部１２４が、ステップＳ３０４で明るさ補正がされた顔領域の色味を目標色の色味へ変換する色補正処理を行う。例えば、色補正部１２４は、線形マスキングを使用して色補正処理を行う。この線形マスキングによる色補正処理では、顔領域を含む色相境界を指定して、指定した色相のみに色補正処理が行われるようにする。

この場合、色補正部１２４は、ステップＳ３０４で明るさ補正された補正対象画像の顔領域の代表色（Ｆａｃｅ＿Ｒ’，Ｆａｃｅ＿Ｇ’，Ｆａｃｅ＿Ｂ’）が、目標色（Ｄｅｓｔ＿Ｒ，Ｄｅｓｔ＿Ｇ，Ｄｅｓｔ＿Ｂ）の色味となるように色補正するための係数を設定する。具体的には、白色点を（ｗ＿Ｒ，ｗ＿Ｇ，ｗ＿Ｂ）、黒色点を（ｋ＿Ｒ，ｋ＿Ｇ，ｋ＿Ｂ）顔領域の色相境界を表す２点を（ｂｏｒｄｅｒ＿Ｒ１，ｂｏｒｄｅｒ＿Ｇ１，ｂｏｒｄｅｒ＿Ｂ１），（ｂｏｒｄｅｒ＿Ｒ２，ｂｏｒｄｅｒ＿Ｇ２，ｂｏｒｄｅｒ＿Ｂ２）としたときに、下記式（３）および下記式（４）のマトリックス演算を満たすようなマスキング係数Ｘ１１，Ｘ１２，Ｘ１３，Ｘ１４，Ｘ２１，Ｘ２２，Ｘ２３，Ｘ２４，Ｘ３１，Ｘ３２，Ｘ３３，Ｘ３４，Ｘ４１，Ｘ４２，Ｘ４３，Ｘ４４，Ｘ５１，Ｘ５２，Ｘ５３，Ｘ５４，Ｘ６１，Ｘ６２，Ｘ６３，Ｘ６４，Ｘ７１，Ｘ７２，Ｘ７３，Ｘ７４，Ｘ８１，Ｘ８２，Ｘ８３，Ｘ８４を、逆行列を演算するなどにより求める。

また、色補正部１２４は、明るさ補正後の補正対象画像のＲＧＢ値（ｄ＿Ｒ，ｄ＿Ｇ，ｄ＿Ｂ）の色相値に応じて、上記式（３）と上記式（４）のうち色補正処理に用いる式を選択する。すなわち、色相境界を表す２点（ｂｏｒｄｅｒ＿Ｒ１，ｂｏｒｄｅｒ＿Ｇ１，ｂｏｒｄｅｒ＿Ｂ１），（ｂｏｒｄｅｒ＿Ｒ２，ｂｏｒｄｅｒ＿Ｇ２，ｂｏｒｄｅｒ＿Ｂ２）をＬＣＨ変換したＬＣＨ変換値を（ｂｏｒｄｅｒ＿Ｌ１，ｂｏｒｄｅｒ＿Ｃ１，ｂｏｒｄｅｒ＿Ｈ１），（ｂｏｒｄｅｒ＿Ｌ２，ｂｏｒｄｅｒ＿Ｃ２，ｂｏｒｄｅｒ＿Ｈ２）とし、明るさ補正後の補正対象画像のＲＧＢ値（ｄ＿Ｒ，ｄ＿Ｇ，ｄ＿Ｂ）のＬＣＨ変換値を（ｄ＿Ｌ，ｄ＿Ｃ，ｄ＿Ｈ）とし、目標色（Ｄｅｓｔ＿Ｒ，Ｄｅｓｔ＿Ｇ，Ｄｅｓｔ＿Ｂ）のＬＣＨ変換値を（Ｄｅｓｔ＿Ｌ，Ｄｅｓｔ＿Ｃ，Ｄｅｓｔ＿Ｈ）とすると、下記条件（Ａ）を満たすときは上記式（３）により求められるマスキング係数を選択し、下記条件（Ｂ）を満たすときは上記式（４）により求められるマスキング係数を選択し、下記条件（Ｃ）を満たすときは色補正を実施しない。
条件（Ａ）：ｂｏｒｄｅｒ＿Ｈ１＜ｄ＿Ｈ≦Ｄｅｓｔ＿Ｈ
条件（Ｂ）：Ｄｅｓｔ＿Ｈ＜ｄ＿Ｈ＜ｂｏｒｄｅｒ＿Ｈ２
条件（Ｃ）：ｄ＿Ｈ≦ｂｏｒｄｅｒ＿Ｈ１、または、ｄ＿Ｈ≧ｂｏｒｄｅｒ＿Ｈ２

以上のようにして、色補正部１２４は、明るさ補正後の補正対象画像のＲＧＢ値（ｄ＿Ｒ，ｄ＿Ｇ，ｄ＿Ｂ）の色相に対応したマスキング係数を選択する。なお、顔領域の色相境界を表す２点は予め決定した定数であってもよいし、顔領域の検出結果に基づき、最大色相値と最小色相値を色相境界として設定するというように適応的に決定してもよい。

次に、色補正部１２４は、明るさ補正後の補正対象画像のＲＧＢ値（ｄ＿Ｒ，ｄ＿Ｇ，ｄ＿Ｂ）に対して、下記式（５）のマトリックス演算式に基づいて色補正を行って、出力画素値（ｄ＿Ｒ’，ｄ＿Ｇ’，ｄ＿Ｂ’）を求める。これにより、補正対象画像の顔領域の色味が目標色の色味に近づくように補正される。

なお、上記式（５）におけるＸ１〜Ｘ１６のマスキング係数は、上記式（３）におけるマスキング係数Ｘ１１〜Ｘ４４、または、上記式（４）におけるマスキング係数Ｘ５１〜Ｘ８４にそれぞれ対応する。

画像補正部１０６は、以上の色補正部１２４による色補正処理が終了すると、最後にステップＳ３０６において、補正後の画像をＷＥＢサーバ１０１に渡して処理を終了する。

以上具体的な例を挙げながら詳細に説明したように、本実施形態の画像処理システムは、ＷＥＢサーバ１０１が補正を依頼するユーザの特性（国籍や年齢など）を示すユーザ情報を取得し、このユーザ情報に基づいて、類似画像抽出部１０４が画像ＤＢ１０３からユーザの特性に適合する類似画像を抽出する。そして、抽出した類似画像のうちユーザによって選択された選択画像に基づいて、目標色設定部１０５が目標色を設定し、設定された目標色に基づいて、画像補正部１０６が補正対象画像を補正する。したがって、本実施形態の画像処理システムによれば、補正を依頼するユーザの特性に合わせた補正処理を簡便に行うことができる。

また、本実施形態の画像処理システムでは、類似画像抽出部１０４が、ユーザ情報だけでなく、画像の被写体種別および撮影条件を示すシーン情報も用いて、画像ＤＢ１０３から類似画像を抽出するようにしているので、ユーザの特性に適合し且つ補正対象画像に類似する類似画像を効率よく絞り込むことができる。

また、本実施形態の画像処理システムでは、類似画像抽出部１０４が、画像ＤＢ１０３から一次抽出した画像のうち、補正対象画像に対する画像としての類似度が基準値以上のものを類似画像として抽出するようにしているので、ユーザの特性に適合し且つ補正対象画像に類似する類似画像を的確に抽出することができる。

また、本実施形態の画像処理システムでは、ＷＥＢサーバ１０１が、類似画像抽出部１０４によって抽出された複数の類似画像をデータベース検索画面６０上でユーザに提示し、これら複数の類似画像のうち、ユーザによって選択された選択画像に基づいて、目標色設定部１０５が目標色を設定するようにしているので、ユーザの好みに応じた補正対象画像に対する補正処理をより効果的に行うことができる。

（第２の実施形態）
次に、第２の実施形態の画像処理システムについて説明する。本実施形態では、ＷＥＢサーバ１０１が、補正対象画像の補正処理に用いた目標色と補正対象画像のシーン情報とを併せて、ユーザ情報メモリ１０８に履歴情報としてユーザ情報に関連付けて記憶させる（登録手段）。また、ユーザによって補正対象画像が指定された際に、この補正対象画像のシーン情報と一致するシーン情報を含む履歴情報があれば、目標色設定部１０５が、まず、この履歴情報に含まれる目標色を、補正対象画像の補正に用いる目標色として設定する。以下、第１の実施形態と同一もしくは対応する構成要素に対して同一の符号を付し、第１の実施形態と重複する説明については適宜省略して、本実施形態の画像処理システムにおいて特徴的な処理を中心に説明する。

図１３は、本実施形態の画像処理システムの動作の概要を示すフローチャートである。図１３のステップＳ４０１〜ステップＳ４１１の処理は、第１の実施形態として示した図３のステップＳ１０１〜ステップＳ１１１の処理と同様である。ただし、本実施形態では、ステップＳ４０７でＷＥＢサーバ１０１がＰＣ１０２から取得するセッション管理情報には、ユーザ情報に加えて、履歴情報が含まれている。履歴情報は、ユーザが過去に依頼した補正処理に関する情報であり、図１４に示すように、過去の補正処理で適用された目標色を、そのときの補正対象画像のシーン情報とともに記録したものである。この履歴情報は、ユーザ情報と関連付けられて、セッション情報の一部としてユーザ情報メモリ１０８に格納されている。

本実施形態では、Ｗｅｂサーバ１０１が、ステップＳ４１１でＰＣ１０２からユーザにより指定された補正対象画像とシーン情報とを取得した後、Ｓ４０７で取得したセッション管理情報に、ステップＳ４１１で取得したシーン情報と同じシーン情報を含む履歴情報が存在するか否かを判定する（ステップＳ４１２）。ここで、ステップＳ４１１で取得したシーン情報と同じシーン情報を含む履歴情報がなければ（ステップＳ４１２：Ｎｏ）、ステップＳ４１８に進む。

一方、ステップＳ４１１で取得したシーン情報と同じシーン情報を含む履歴情報があれば（ステップＳ４１２：Ｙｅｓ）、ＷＥＢサーバ１０１は、その履歴情報に含まれる目標色を目標色設定部１０５に渡し、目標色設定部１０５に目標色の設定を依頼する。目標色設定部１０５は、Ｗｅｂサーバ１０１からの依頼を受けて、履歴情報に含まれる補正色を、補正対象画像に対して補正を行う際の目標色として設定する（ステップＳ４１３）。目標色設定部１０５により目標色が設定されると、Ｗｅｂサーバ１０１は、次に、ステップＳ４１１で取得した補正対象画像を画像補正部１０６に渡し、画像補正部１０６に補正対象画像の補正を依頼する。画像補正部１０６は、Ｗｅｂサーバ１０１からの依頼を受けて、目標色設定部１０５により設定された目標色に基づき、補正対象画像に対する補正処理を行って、補正後の画像をＷｅｂサーバ１０１に返す（ステップＳ４１４）。

Ｗｅｂサーバ１０１は、画像補正部１０６から補正後の画像を受け取ると、図７に示した画像確認画面７０をＰＣ１０２のモニタに表示させる（ステップＳ４１５）。この画像確認画面７０の補正後画像表示領域７１には、ステップＳ４１４で補正された画像、つまり、ユーザの履歴情報に含まれる目標色に基づいて補正した画像がサムネイル表示されている。ユーザは、この画像確認画面７０の補正後画像表示領域７１にサムネイル表示される補正後の画像を確認し、「ＯＫ」ボタン７２あるいは「ＮＧ」ボタン７３を選択することで、再度の補正の要否を指示することができる。

次に、ＷＥＢサーバ１０１は、画像確認画面７０を用いたユーザの操作を監視する（ステップＳ４１６、ステップＳ４１７）。ここで、ユーザが「ＮＧ」ボタン７３を選択する操作を行った場合は（ステップＳ４１６：Ｙｅｓ）、ステップＳ４１８に進む。一方、ユーザが「ＯＫ」ボタン７２を選択する操作を行った場合は（ステップＳ４１７：Ｙｅｓ）ステップＳ４２６に進む。また、ＷＥＢサーバ１０１は、画像確認画面７０を用いたユーザの操作がなければ（ステップＳ４１６：Ｎｏ、ステップＳ４１７：Ｎｏ）、ユーザの操作の監視を継続する。

図１３のステップＳ４１８〜ステップＳ４２７の処理は、第１の実施形態として示した図３のステップＳ１１２〜ステップＳ１２１の処理と同様である。つまり、本実施形態では、履歴情報に含まれる目標色に基づいて補正した補正後の画像を画像確認画面７０上で確認したユーザが、画像確認画面７０の「ＮＧ」ボタン７３を選択する操作を行った場合（ステップＳ４１６：Ｙｅｓ）、あるいは、処理対象画像のシーン情報と同じシーン情報を含む履歴情報が存在しない場合（ステップＳ４１２：Ｎｏ）に、第１の実施形態と同様に、画像ＤＢ１０３からユーザ情報に基づいて抽出した類似画像から目標色を設定し、補正対象画像の補正を行う。

ただし、本実施形態では、ステップＳ４２６でＷＥＢサーバ１０１が補正後の画像をＰＣ１０２に供給してＨＤＤやメモリカードなどに記憶させる際に、画像補正部１０６が補正対象画像を補正する際に用いた目標色の情報もＰＣ１０２に供給し、この補正対象画像を補正する際に用いた目標色と補正対象画像のシーン情報とを併せて、ユーザ情報メモリ１０８に履歴情報としてユーザ情報に関連付けて記憶させる。このとき、補正対象画像のシーン情報と同じシーン情報を含む履歴情報があり、その履歴情報に含まれる目標色が補正対象画像を補正する際に用いた目標色と異なる場合は、履歴情報に含まれる目標色を新たな目標色で更新する。

以上説明したように、本実施形態の画像処理システムは、補正対象画像のシーン情報と同じシーン情報を含む履歴情報があれば、その履歴情報に含まれる目標色を用いて補正対象画像の補正を行い、補正後の画像に対してユーザが再度の補正を指示した場合、あるいは、補正対象画像のシーン情報と同じシーン情報を含む履歴情報がない場合に、画像ＤＢ１０３からユーザ情報に基づいて抽出した類似画像から目標色を設定し、補正対象画像の補正を行う。したがって、本実施形態の画像処理システムによれば、補正対象画像に対する補正処理を効率よく行って、処理負荷およびユーザの操作の負担を軽減させることができる。

（第３の実施形態）
次に、第３の実施形態の画像処理システムについて説明する。本実施形態は、第２の実施形態の変形例であり、履歴情報に含まれる目標色を更新する処理が第２の実施形態と異なる。その他の処理および画像処理システムの構成は第２の実施形態と同様であるため、以下、本実施形態において特徴的な処理である履歴情報に含まれる目標色を更新する処理についてのみ説明する。

本実施形態の画像処理システムでは、第２の実施形態と同様に、補正対象画像に対する補正処理が終了した後、補正処理に用いた目標色を補正対象画像のシーン情報と併せて履歴情報としてユーザ情報メモリ１０８に格納する。このとき、補正対象画像のシーン情報と同じシーン情報を含む履歴情報があり、その履歴情報に含まれる目標色（以下、「記憶目標色」という。）が補正対象画像を補正する際に用いた目標色（以下、「使用目標色」という。）と異なる場合に、本実施形態では、記憶目標色と使用目標色の平均値を新たな記憶目標色として算出し、履歴情報に含まれる記憶目標色を、新たな記憶目標色で更新する。

図１５は、本実施形態の画像処理システムで実行される、履歴情報に含まれる目標色を更新する処理の流れを示すフローチャートである。本実施形態の画像処理システムでは、補正対象画像に対する補正が終了した後、ＷＥＢサーバ１０１が、図１５のフローチャートで示す処理を実行する。

ＷＥＢサーバ１０１は、まずステップＳ５０１において、補正対象画像のシーン情報と同じシーン情報を含む履歴情報が存在するか否かを判定する。そして、補正対象画像のシーン情報と同じシーン情報を含む履歴情報が存在しない場合は（ステップＳ５０１：Ｎｏ）、ステップＳ５０２において、補正対象画像の補正に用いた使用目標色を補正対象画像のシーン情報と併せて、新たな履歴情報としてＰＣ１０２のユーザ情報メモリ１０８に記憶させる。

一方、補正対象画像のシーン情報と同じシーン情報を含む履歴情報が存在する場合（ステップＳ５０１：Ｙｅｓ）、ＷＥＢサーバ１０１は、ステップＳ５０３において、その履歴情報に含まれる記憶目標色が使用目標色と異なるか否かを判定する。ここで、履歴情報に含まれる記憶目標色が使用目標色と同じであれば（ステップＳ５０３：Ｎｏ）、そのまま処理を終了する。

一方、履歴情報に含まれる記憶目標色が使用目標色と異なる場合には（ステップＳ５０３：Ｙｅｓ）、ＷＥＢサーバ１０１は、ステップＳ５０４において、記憶目標色と使用目標色の平均値を新たな記憶目標色として算出する。つまり、記憶目標色を（Ｄｅｓｔ＿Ｒ＿ｐ，Ｄｅｓｔ＿Ｇ＿ｐ，Ｄｅｓｔ＿Ｂ＿ｐ）、使用目標色を（Ｄｅｓｔ＿Ｒ＿ｃ，Ｄｅｓｔ＿Ｇ＿ｃ，Ｄｅｓｔ＿Ｂ＿ｃ）としたときに、下記式（６）により、新たな記憶目標色（Ｄｅｓｔ＿Ｒ＿ｎｅｗ，Ｄｅｓｔ＿Ｇ＿ｎｅｗ，Ｄｅｓｔ＿Ｂ＿ｎｅｗ）を算出する。

なお、上記の例では、記憶目標色と使用目標色とを単純平均して新たな記憶目標色を算出しているが、例えば、使用目標色の重みが記憶目標色よりも高くなるように重み付けした重み付け平均により、新たな記憶目標色を算出するようにしてもよい。

最後に、ＷＥＢサーバ１０１は、ステップＳ５０５において、補正対象画像のシーン情報と同じシーン情報を含む履歴情報の記憶目標色を、ステップＳ５０４で算出した新たな記憶目標色で更新して、図１５に示す一連の処理を終了する。

以上説明したように、本実施形態の画像処理システムでは、補正対象画像を補正する際に用いた使用目標色と履歴情報に含まれる記憶目標色との平均値を新たな記憶目標色として算出し、算出した新たな記憶目標色で、履歴情報に含まれる記憶目標色を更新するようにしている。したがって、一度の補正処理で用いた目標色をそのまま記憶目標色として記憶させる場合と比べて、過去の履歴をより反映させた記憶目標色を履歴情報として随時更新しながら保持することができ、後の補正処理において記憶目標色を用いる場合に、より適切な補正処理を行うことが可能になる。

（第４の実施形態）
次に、第４の実施形態の画像処理システムについて説明する。本実施形態では、画像補正部１０６が目標色に基づいて補正対象画像の補正を行う際に、補正対象画像の所定領域（例えば顔領域）の代表色と目標色との差分に応じて、補正対象画像の所定領域の色補正量を定めるようにしている。その他の処理および画像処理システムの構成は第１の実施形態と同様であるため、以下、本実施形態において特徴的な画像補正部１０６による処理についてのみ説明する。

画像補正部１０６は、第１の実施形態と同様に、領域検出部１２１、代表色算出部１２２、明るさ補正部１２３、および色補正部１２４を備える（図１０参照）。顔領域検出部１２１、代表色算出部１２２、および明るさ補正部１２３が実行する処理は、第１の実施形態と同じである。色補正部１２４は、第１の実施形態と同様に、例えば線形マスキングを使用して補正対象画像の顔領域に対する色補正処理を行う。ただし、本実施形態の色補正部１２４は、代表色算出部１２２により算出された顔領域の代表色を目標色に一致させるのではなく、代表色算出部１２２により算出された顔領域の代表色と目標色との差分に応じて、顔領域に対する色味の補正量を変化させる。

すなわち、本実施形態の色補正部１２４は、明るさ補正された補正対象画像の顔領域の代表色（Ｆａｃｅ＿Ｒ’，Ｆａｃｅ＿Ｇ’，Ｆａｃｅ＿Ｂ’）と、目標色（Ｄｅｓｔ＿Ｒ，Ｄｅｓｔ＿Ｇ，Ｄｅｓｔ＿Ｂ）との差分に応じて、代表色（Ｆａｃｅ＿Ｒ’，Ｆａｃｅ＿Ｇ’，Ｆａｃｅ＿Ｂ’）が目標色（Ｄｅｓｔ＿Ｒ，Ｄｅｓｔ＿Ｇ，Ｄｅｓｔ＿Ｂ）の色味に近づくように、色補正するための係数を設定する。

図１６は、顔領域の代表色（Ｆａｃｅ＿Ｒ’，Ｆａｃｅ＿Ｇ’，Ｆａｃｅ＿Ｂ’）と目標色（Ｄｅｓｔ＿Ｒ，Ｄｅｓｔ＿Ｇ，Ｄｅｓｔ＿Ｂ）との色相の差分値（色相差）と、設定される重み係数との関係を示すグラフ図である。明るさ補正後の顔領域の代表色（Ｆａｃｅ＿Ｒ’，Ｆａｃｅ＿Ｇ’，Ｆａｃｅ＿Ｂ’）のＬＣＨ変換値を（Ｆａｃｅ＿Ｌ’，Ｆａｃｅ＿Ｃ’，Ｆａｃｅ＿Ｈ’）、目標色のＲＧＢ値（Ｄｅｓｔ＿Ｒ，Ｄｅｓｔ＿Ｇ，Ｄｅｓｔ＿Ｂ）のＬＣＨ変換値を（Ｄｅｓｔ＿Ｌ，Ｄｅｓｔ＿Ｃ，Ｄｅｓｔ＿Ｈ）とすると、色相の差分値ｄｉｆは、下記式（７）により算出される。

本実施形態の色補正部１２４は、上記式（７）により求めた色相の差分値ｄｉｆと図１６のグラフ図とから、色相の差分値ｄｉｆに応じた重みｗｅｉｇｈｔを求める。図１６のグラフ図は、色相の差分ｄｉｆが大きいほど重みｗｅｉｇｈｔが小さくなる、つまり、顔領域の代表色を目標色の色味に近づける度合いが小さくなり、色相の差分ｄｉｆが小さいほど、顔領域の代表色を目標色の色味に近づける度合いが大きくなることを示している。

本実施形態の色補正部１２４は、以上のように重みｗｅｉｇｈｔを決定した後、顔領域の代表色のＬＣＨ変換値（Ｆａｃｅ＿Ｌ’，Ｆａｃｅ＿Ｃ’，Ｆａｃｅ＿Ｈ’）と、目標色のＬＣＨ変換値（Ｄｅｓｔ＿Ｌ，Ｄｅｓｔ＿Ｃ，Ｄｅｓｔ＿Ｈ）とを用いて、下記式（８）に従って、目標色の色相値Ｄｅｓｔ＿Ｈ’を決定する。

なお、本実施形態では、顔領域の代表色と目標色との差分に応じて、目標色の色相値Ｄｅｓｔ＿Ｈのみを変更しているが、さらに目標色の彩度Ｄｅｓｔ＿Ｃについても、顔領域の代表色と目標色との差分に応じて変更するようにしてもよい。

その後、本実施形態の色補正部１２４は、上記のような変更後の目標色のＬＣＨ変換値（Ｄｅｓｔ＿Ｌ’，Ｄｅｓｔ＿Ｃ’，Ｄｅｓｔ＿Ｈ’）を再びＲＧＢ変換して得られる（Ｄｅｓｔ＿Ｒ’，Ｄｅｓｔ＿Ｇ’，Ｄｅｓｔ＿Ｂ’）を目標色として、補正対象画像の顔領域の代表色（Ｆａｃｅ＿Ｒ’，Ｆａｃｅ＿Ｇ’，Ｆａｃｅ＿Ｂ’）が目標色（Ｄｅｓｔ＿Ｒ’，Ｄｅｓｔ＿Ｇ’，Ｄｅｓｔ＿Ｂ’）の色味となるように色補正の係数を設定する。その後の処理は、目標色が（Ｄｅｓｔ＿Ｒ，Ｄｅｓｔ＿Ｇ，Ｄｅｓｔ＿Ｂ）から（Ｄｅｓｔ＿Ｒ’，Ｄｅｓｔ＿Ｇ’，Ｄｅｓｔ＿Ｂ’）に置き換わるのみで、第１の実施形態と同様である。

以上説明したように、本実施形態の画像処理システムでは、補正対象画像の顔領域の代表色と目標色との差分に応じて、差分が大きいほど補正対象画像を目標色に近づける度合いを小さくし、差分が小さいほど補正対象画像をより目標色に近づけるようにしている。したがって、本実施形態の画像処理システムによれば、補正対象画像に対して極端な色味の補正が行われることを有効に抑制しながら、補正を依頼するユーザの特性に合わせた補正処理を簡便に行うことができる。

以上、本発明を適用した画像処理システムの具体的な実施形態について説明したが、上記の実施形態で説明したＷＥＢサーバ１０１、類似画像抽出部１０４、目標色設定部１０５、および画像補正部１０６の主な機能（取得手段、抽出手段、設定手段、および補正手段）は、一般的なハードウェア構成を有するコンピュータにより本発明に係るプログラムを実行することで実現することもできる。この場合、プログラムを実行するコンピュータは、例えば、ＣＰＵなどの制御装置と、ＲＯＭやＲＡＭなどの記憶装置と、ＨＤＤ、ＣＤドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置などを備える。

コンピュータで実行されるプログラムは、例えば、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disc）などのコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、コンピュータで実行されるプログラムを、インターネットなどのネットワークに接続された他のコンピュータ上に格納し、このコンピュータからネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、コンピュータで実行されるプログラムを、インターネットなどのネットワーク経由で提供または配布するように構成してもよい。さらに、コンピュータで実行されるプログラムを、ＲＯＭなどに予め組み込んで提供するように構成してもよい。

上述したプログラムは、上述した取得手段、抽出手段、設定手段、および補正手段の各機能を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体からプログラムを読み出して実行することにより上記の各機能が主記憶装置上にロードされ、取得手段、抽出手段、設定手段、および補正手段が主記憶装置上に生成されるようになっている。

なお、本発明は、上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で様々な変形や変更を加えて具体化することができる。つまり、上述した実施形態に係る画像処理システムの具体的な構成や動作はあくまで一例であり、用途や目的に応じて様々な変形が可能である。

１０１ ＷＥＢサーバ
１０２ ＰＣ
１０３ 画像ＤＢ
１０４ 類似画像抽出部
１０５ 目標色設定部
１０６ 画像補正部
１０７ インターネット
１０８ ユーザ情報メモリ

特許第４２３０７３０号公報

Claims (12)

1. 補正対象画像と補正を依頼するユーザの特性を示すユーザ情報とを取得する取得手段と、
   前記取得手段が取得したユーザ情報に基づいて、画像を蓄積する画像蓄積手段から、補正を依頼するユーザの特性に適合する画像を抽出する抽出手段と、
   前記抽出手段が抽出した画像に基づいて、補正目標値を設定する設定手段と、
   前記補正目標値に基づいて、前記補正対象画像を補正する補正手段と、を備えることを特徴とする画像処理装置。
2. 前記画像蓄積手段は、補正された画像と、該画像の補正を依頼したユーザの特性を示すユーザ情報とを関連付けて蓄積し、
   前記抽出手段は、前記画像蓄積手段から、前記取得手段が取得したユーザ情報と類似するユーザ情報に関連付けられた画像を抽出することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像蓄積手段に蓄積される画像には、さらに、該画像の被写体種別および撮影条件を示すシーン情報が関連付けられており、
   前記取得手段は、さらに、前記補正対象画像の被写体種別および撮影条件を示すシーン情報を取得し、
   前記抽出手段は、前記画像蓄積手段から、前記取得手段が取得したユーザ情報に類似するユーザ情報に関連付けられ、且つ、前記取得手段が取得したシーン情報と一致するシーン情報に関連付けられた画像を抽出することを特徴とする請求項２に記載の画像処理装置。
4. 前記抽出手段は、前記画像蓄積手段から、補正を依頼するユーザの特性に適合し、且つ、前記補正対象画像に対する類似度が予め定めた基準値以上の画像を抽出することを特徴とする請求項１に記載の画像処理装置。
5. 前記抽出手段は、前記画像蓄積手段から複数の画像を抽出し、
   前記抽出手段が抽出した複数の画像をユーザに提示して、提示した複数の画像から１つの画像を選択するユーザの操作を受け付ける第１画像提示手段をさらに備え、
   前記設定手段は、前記抽出手段が抽出した複数の画像のうち、ユーザにより選択された画像に基づいて、前記補正目標値を設定することを特徴とする請求項１に記載の画像処理装置。
6. 前記ユーザ情報は、ユーザの国籍と年齢の少なくともいずれかを含むことを特徴とする請求項１に記載の画像処理装置。
7. 前記補正対象画像のシーン情報と前記補正目標値とを含む履歴情報を、補正を依頼したユーザのユーザ情報に関連付けて記憶手段に登録する登録手段をさらに備え、
   前記設定手段は、前記取得手段が取得したユーザ情報に関連付けて登録された履歴情報の中に、前記取得手段が取得したシーン情報と一致するシーン情報を含む履歴情報が存在する場合は、該履歴情報に含まれる前記補正目標値を設定することを特徴とする請求項３に記載の画像処理装置。
8. 前記履歴情報に含まれる前記補正目標値に基づいて補正された前記補正対象画像をユーザに提示して、再度の補正の要否を指定するユーザの操作を受け付ける第２画像提示手段をさらに備え、
   前記設定手段は、前記第２画像提示手段が再度の補正が必要である旨の操作を受け付けた場合に、前記抽出手段が抽出した画像に基づいて新たな前記補正目標値を設定し、
   前記登録手段は、前記設定手段が新たな前記補正目標値を設定した場合に、新たな前記補正目標値に基づいて前記履歴情報に含まれる前記補正目標値を更新することを特徴とする請求項７に記載の画像処理装置。
9. 前記補正目標値は、目標とする色を示す目標色であり、
   前記補正手段は、前記補正対象画像に含まれる所定領域の色を前記目標色に近づけるように補正することを特徴とする請求項１に記載の画像処理装置。
10. 前記補正手段は、前記所定領域の色と前記目標色との差分が小さいほど、前記所定領域の色が前記目標値に近くなるように補正することを特徴とする請求項９に記載の画像処理装置。
11. 画像処理装置において実行される画像処理方法であって、
    前記画像処理装置の取得手段が、補正対象画像と補正を依頼するユーザの特性を示すユーザ情報とを取得するステップと、
    前記画像処理装置の抽出手段が、前記取得手段が取得したユーザ情報に基づいて、画像を蓄積する画像蓄積手段から、補正を依頼するユーザの特性に適合する画像を抽出するステップと、
    前記画像処理装置の設定手段が、前記抽出手段が抽出した画像に基づいて、補正目標値を設定するステップと、
    前記画像処理装置の補正手段が、前記補正目標値に基づいて、前記補正対象画像を補正するステップと、を含むことを特徴とする画像処理方法。
12. コンピュータに、
    補正対象画像と補正を依頼するユーザの特性を示すユーザ情報とを取得する機能と、
    取得したユーザ情報に基づいて、画像を蓄積する画像蓄積手段から、補正を依頼するユーザの特性に適合する画像を抽出する機能と、
    抽出した画像に基づいて、補正目標値を設定する機能と、
    前記補正目標値に基づいて、前記補正対象画像を補正する機能と、を実現させるためのプログラム。

Images