JP2009290822A - 画像処理装置、画像処理方法、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】撮影された画像中の複数の所定の色領域（例えば、顔）の色度が目標色度を挟んで分布しているか否かを評価し、その評価結果に応じて色補正条件を変更することで、所定の色領域の特徴に応じて適切に色補正を行う。
【解決手段】所定色領域抽出部１０１は、入力画像から補正対象となる所定の色領域を抽出し、代表色算出部１０２は所定の色領域の色情報から代表色を算出する。代表色決定部１０３は、複数の所定の色領域がある場合に、一つの代表色を決定する。代表色分布評価部１０４は所定の色領域ごとの代表色の色相値が目標色の色相値の両側に分布しているか否かを評価する。画像補正部１０６は片側に分布している場合に、所定の色領域に対して色補正する。
【選択図】図１

Description

本発明は、例えばスキャナやデジタルカメラ等から入力した画像をプリンタやディスプレイ等に出力する際に、色領域の特徴に応じた色補正を行う画像処理装置、画像処理方法に関する。

近年、パーソナルコンピュータやインターネット、家庭用プリンタなどの普及、及びハードディスクなどの記憶容量の大容量化により、デジタルデータで写真画像を扱う機会が増えている。これに伴い、デジタル写真画像データ（以下、画像データ）の入力手段としてデジタルカメラが一般に使用されるようになった。

デジタルカメラにより撮影された画像データから写真プリントを作成する際には、撮影画像が適正な色や濃度で再現されるように画像データに対して補正が施される。すなわち、色再現においては、人間が好ましいと感じる色再現が重要であり、肌色や青空、木々や草の緑などは人間が好ましいと感じる色再現が要求される。

人間の肌に着目した画像処理方法としては、例えば、画像データから人間の顔領域を自動的に抽出し、抽出した顔領域が目標濃度範囲または目標色度になるように補正する方法がある。このような補正の方法において、画像中に複数の顔が撮影されていた場合には、全ての顔の濃度の平均値をとって目標値に合わせることが考えられる。

例えば、特許文献１では、画像中の所定の色領域を抽出し、抽出した領域ごとに領域サイズや画像中における領域の位置などから重要度を自動判定し、抽出した色領域の代表色を、判定した重要度による重み付け平均をとって全体として一つの代表色を算出し、算出した代表色を目標色度へ色補正する方法が開示されている。

特開２００６−３３３８２号公報 Ｙａｎｇ，ｅｔ ａｌ．「Ｄｅｔｅｃｔｉｎｇ Ｆａｃｅｓ ｉｎ Ｉｍａｇｅｓ：Ａ Ｓｕｒｖｅｙ」 ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮ ＯＮ ＰＡＴＴＥＲＮ ＡＮＡＬＹＳＩＳ ＡＮＤ ＭＡＣＨＩＮＥ ＩＮＴＥＬＬＩＧＥＮＣＥ，Ｖｏｌ．２４，Ｎｏ．１，Ｊａｎｕａｒｙ ２００２

しかし、人間の顔の色や濃度には、ばらつきがあるため、例えば補正目標とする色度に対して各顔の色度が両側に分布しているときを考えた場合、複数の顔の代表色を重要度に基づいて重み付け平均して一つの代表色を決定して、その決定した代表色を目標色へ色補正を行うと、顔によっては、色補正前よりも目標色度から離れてしまうという問題が発生する。

本発明は上記問題を解決するためになされたもので、
本発明の目的は、撮影された画像中の複数の所定の色領域（例えば、顔）の色度が目標色度を挟んで分布しているか否かを評価し、その評価結果に応じて色補正条件を変更することで、所定の色領域の特徴に応じて適切に色補正を行う画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。

請求項１記載の発明では、所定の色領域ごとの代表色の色相値が目標色の色相値の両側に分布しているか否かを評価し、その評価結果に応じて色補正を行うことを目的とする。

請求項２記載の発明では、所定の色領域の重要度と代表色から補正対象の代表色を決定し、色領域ごとの代表色の分布に応じて色補正条件を変更することを目的とする。

請求項３記載の発明では、所定の色領域の代表色の分布の評価結果に基づいてグループに分類し、重要度の高いグループを選択して、選択したグループに属する所定の色領域を目標色へ補正するように色補正条件を設定することを目的とする。

請求項４記載の発明では、色領域ごとに抽出した代表色の分布の評価結果に応じて、表示手段に入力画像と抽出した色領域を表示し、ユーザが選択した所定の色領域の代表色を補正対象の代表色として決定し、決定した代表色に基づいて前記色補正条件を設定することで、色領域ごとの代表色が目標とする色度を挟んで分布している場合に、表示手段に入力画像と抽出した所定の色領域を表示して、ユーザに色領域を指定させ、指定された色領域に基づいて色補正条件を設定し、色補正を行うことを目的としている。

また、所定の色領域ごとの代表色が、目標とする色度を挟んで分布していない場合には、表示手段に入力画像と所定の色領域を表示せず、さらにユーザに所定の色領域の選択を指示させることなく色補正条件を設定することで、ユーザに負担をかけずに色補正を行うことを目的としている。

請求項５記載の発明では、色領域ごとの代表色の分布の度合いの評価は、予め設定した補正目標色との色相を基準とした差分に基づいて評価することで、目標色の色相値を境界として、所定領域ごとの代表色の色相が境界をはさんで両側に分布しているか否かを評価することを目的とする。

請求項６記載の発明では、色領域ごとの代表色の分布の度合いの評価は、予め設定した補正目標色との彩度を基準とした差分に基づいて評価することで、目標色の彩度値を境界として、所定領域ごとの代表色の彩度が境界をはさんで両側に分布しているか否かを評価することを目的とする。

請求項７記載の発明では、所定の色領域ごとの代表色の分布の度合いの評価は、予め設定した補正目標色との明るさ基準とした差分に基づいて評価することで、目標色の明るさ値を境界として、所定領域ごとの代表色の明るさが境界をはさんで両側に分布しているか否かを評価することを目的とする。

請求項８記載の発明では、抽出した所定の色領域ごとの重要度を、所定の色領域の大きさに基づいて求めることで、面積に応じた所定色領域の重要度の設定を行うことを目的とする。

請求項９記載の発明では、抽出した所定の色領域ごとの重要度を、所定の色領域の入力画像における位置に基づいて求めることで、所定色領域の入力画像における位置に応じた重要度の設定を行うことを目的とする。

請求項１０記載の発明では、所定の色領域は、人物の顔を含む肌領域であり、人物の顔を含む肌領域の特徴にしたがって色補正を行うことを目的とする。

本発明は、入力画像から所定の色領域を抽出する抽出手段と、前記抽出した所定の色領域ごとに代表色を算出する算出手段と、前記所定の色領域ごとの代表色の色相値が目標色の色相値の両側に分布しているか否かを評価する評価手段と、前記代表色の色相値が両側に分布していないとき、前記所定の色領域に対して色補正する色補正手段とを有することを最も主要な特徴とする。

請求項１：所定の色領域ごとの代表色の色相値が目標色の色相値の両側に分布していないとき、所定の色領域に対して色補正しているので、所定の色領域の特徴に応じて適切に色補正を行うことができる。

請求項２：抽出した所定の色領域の重要度に基づいて補正対象の代表色を決定し、所定の色領域の代表色の分布の度合いを評価しているので、色補正を行うことにより目標色から離れてしまうような所定の色領域が存在しない場合は、重要度の高い色領域に重みをおいて目標色へ色補正を行うことができ、色補正を行うことにより目標色から離れてしまうような所定の色領域が存在する場合には、色補正を行わないようにすることができる。

請求項３：さらに抽出した所定の色領域の代表色の分布評価結果に基づいて所定の色領域をグループに分類し、所定の色領域の重要度に基づいて一つのグループを選択して色補正条件を設定するので、色補正を行うことにより目標色から離れてしまうような所定の色領域が存在する場合においても、重要度の高いグループの所定の色領域が目標色へ近づくように色補正条件を設定することができる。

請求項４：所定の色領域の代表色の分布の評価結果に基づいて、ユーザに重要な所定の色領域を選択させるので、色補正を行うことにより目標色から離れてしまうような所定の色領域が存在する場合において、ユーザの選択した所定の色領域を補正目標色へ補正するように色補正条件を設定することができる。

請求項５：所定の色領域の代表色の分布の評価を目標色の色相値との差分に基づいて行うので、目標とする色相値を境界として代表色がどちらに分布しているかが判定でき、目標色へ色補正を行うことで目標色の色相値から補正前よりも離れてしまうような所定の色領域が存在するかどうかが判断できる。

請求項６：所定の色領域の代表色の分布の評価を目標色の彩度値との差分に基づいて行うので、目標とする彩度値を境界として代表色がどちらに分布しているかが判定でき、目標色へ色補正を行うことで目標色の彩度値から補正前より離れてしまうような所定の色領域が存在するかどうかが判断できる。

請求項７：所定の色領域の代表色の分布の評価を目標色の明るさとの差分に基づいて行うので、目標とする明るさ値を境界として代表色がどちらに分布しているかが判定でき、目標色へ色補正を行うことで目標色の明るさから補正前より離れてしまうような所定の色領域が存在するかどうかが判断できる。

請求項８：所定の色領域の重要度を所定色領域の大きさで求めるので、所定の色領域の面積に応じた所定の色領域の重要度の設定を行うことが出来る。

請求項９：所定の色領域の重要度を所定の色領域の入力画像中の位置で求めるので、所定の色領域の入力画像における位置に応じた重要度の設定を行うことが出来る。

請求項１０：所定の色領域は、人物の顔を含む肌領域であるので、人物の顔を含む肌領域の特徴にしたがって色補正を行うことができる。

以下、発明の実施の形態について図面により詳細に説明する。

実施例１
図１は、本発明の実施例１に係る画像処理装置の構成を示す。所定色領域抽出部１０１には、デジタルカメラなどから処理対象の画像データ（ＲＧＢ値）が入力される。以降の説明では、所定の色領域として、人物の顔の肌色を示す人肌領域を代表例として説明するが、青空、木々や草の緑などの色領域にも適用することが出来る。所定色領域抽出部１０１は、入力画像から補正対象となる所定の色領域を抽出する。抽出部における領域抽出方法としては、例えば、顔検出により検出された顔の情報を利用する方法や、予め設定した任意の色相や彩度を指定する方法などを用いる。

代表色算出部１０２は、所定色領域抽出部１０１において抽出された所定の色領域の色情報から代表色を算出する。入力された画像中に複数の人物が写っている場合などは、所定の色領域ごとに算出する。代表色は、所定の色領域内の画素の色相値や彩度値、明度値の平均値や中央値、あるいは最頻値などである。

代表色決定部１０３は、複数の所定の色領域がある場合に、所定の色領域ごとに抽出した代表色から、入力画像における一つの代表色を決定する。例えば、所定の色領域ごとに算出された代表色の平均値を一つの代表色として決定する。

代表色分布評価部１０４は、所定の色領域ごとに抽出した代表色が予め設定された所定の色領域の補正目標色に対してどのように分布しているかを評価する。所定の色領域ごとの代表色と、予め設定された補正目標色との差分を算出し、その差分の算出結果から分布評価結果を出力する。

補正係数設定部１０５は、代表色決定部１０３において決定した代表色、さらに代表色分布評価部１０４における分布評価結果、さらに予め設定された所定の色領域の補正目標色に基づいて、画像補正部１０６で用いる補正係数を設定する。画像補正部１０６は、補正係数設定部１０５で設定された補正係数を用いて色補正を行う。

図２は、実施例１の画像補正処理のフローチャートである。まず、所定色領域抽出部１０１は、入力画像を取得し（ステップＳ１）、所定の色領域の抽出を行い（ステップＳ２）、所定の色領域が存在するか否かの判定を行う（ステップＳ３）。所定の色領域が存在しない場合、ステップＳ８へ移る。

所定の色領域が存在する場合は、代表色算出部１０２は、代表色を算出する（ステップＳ４）。代表色の算出は、ステップＳ２で抽出された所定の色領域ごとに行われ、その後、代表色分布評価部１０４は、代表色の分布の評価値を算出する（ステップＳ５）。評価値については後述する。

代表色分布評価部１０４は、分布の評価値が「１」であるか否かを判定し（ステップＳ６）、ステップＳ６でＮＯの場合、ステップＳ８に移り、ステップＳ６でＹＥＳの場合、画像補正部１０６は、補正係数を用いて所定の色領域の色補正処理を行い（ステップＳ７）、最後に補正された画像または入力画像が出力される（ステップＳ８）。

所定の色領域の抽出方法は、例えば人間の肌領域であれば顔検出処理により検出した顔領域を利用する方法や、任意の色相や彩度を指定して抽出する方法などがある。

顔の検出処理としては、非特許文献１の手法を用いて顔矩形領域を検出すればよい。そして、検出した両目の位置情報を取得し、両目を結ぶ線分とその線分に垂直な線分を辺とする所定の矩形領域を定め、その矩形領域内の画素のＲＧＢ値の平均値及び共分散行列を求める。このＲＧＢ平均値及び共分散行列、並びに検出された顔矩形領域内の各画素のＲＧＢ値のマハラノビス距離を計算し、閾値以下の画素を肌色画素とし、その集合を人肌領域とする。

代表色算出は、抽出した所定の色領域ごとに、例えば、所定の色領域におけるＲＧＢ値の平均値を代表色として設定する。代表色の分布の評価は、予め設定された所定の色領域における目標色Ｄとの比較に基づいて行う。

所定の色領域の代表色はＲＧＢ値で表現されており、これをＬＣＨ空間（明度Ｌ、彩度Ｃ、色相Ｈ）に変換する。この変換後の色空間はＬＣＨ以外でも、ＹＣｂＣｒ、Ｌ＊ｕ＊ｖ＊、ＨＳＶ、ＨＳＬなど他の色空間でも良い。

目標色データも、ＬＣＨ空間で保存されているとすると、まず、代表色と目標色における色相Ｈでの差分値を求める。所定の色領域ごとにインデックスが割り当てられており、抽出された所定の色領域の数をＮとして、ｊ番目の所定の色領域の代表色の色相値をＨｊ（１≦ｊ≦Ｎ）、目標色Ｄの色相値をＨｄとすると、色相値の差分Ｄｊ（１≦ｊ≦Ｎ）は、
Ｄｊ＝Ｈｄ−Ｈｊ
である。
次に、Ｄｊの符号に対する評価を行う。Ｄｊの符号（＋、−）が全て同じかそうでないかの評価を行い、全て同じであれば、評価値Ｅを「１」とし、そうでない場合は「０」とする。この評価値は、目標色の色相値Ｈｄを基準とし、所定領域ごとの代表色の色相値Ｈｊが両側に分布しているかどうかを判定する。

所定の色領域の色補正には、所定領域ごとの代表色から決定した全体として一つの代表色Ｍを用いる。ここでは、所定の色領域の重要度は全て同一であるとして説明を行う。全体として一つの代表色Ｍの算出方法としては、例えば所定領域ごとの代表色の平均値とすればよい。さらに代表色Ｍ、目標色Ｄに基づいて補正係数を決定して所定の色領域における色補正を行う。

これにより、所定の色領域ごとの代表色が、目標色の色相に対し片側に分布している場合に、全体として一つの代表色を用いて目標とする方向へ補正することができる。また、目標色の色相に対して両側に分布している場合には、色補正を行わないことで、目標とする方向とは逆方向へ補正されるような所定の色領域の発生を防止することができる。本実施例では、目標色の色相を基準にして所定の色領域ごとの代表色の分布の評価を行ったが、他にも彩度基準や明度基準で分布の評価を行っても良い。

実施例２
実施例２は、所定の色領域ごとの代表色の目標色に対する分布の評価結果と、所定の色領域の重要度に基づいて画質補正を行う実施例である。

図３は、実施例２に係る画像処理装置の構成を示す。所定色領域抽出部２０１は実施例１と同様であり、入力画像から補正対象となる所定の色領域を抽出する。重要度算出部２０２は、所定色領域抽出部２０１において抽出された領域が複数ある場合に、それらの所定の色領域ごとに重要度を判定する。

代表色算出部２０３は実施例１と同様であり、所定色領域抽出部２０１において抽出された所定の色領域の色情報から代表色を算出する。

代表色決定部２０４は、代表色算出部２０４ａと代表色分布評価部２０４ｂからなる。代表色分布評価部２０４ｂは、所定の色領域ごとに抽出した代表色が予め設定された所定の色領域の補正目標色に対してどのように分布しているかを評価する。所定色領域ごとの代表色と、予め設定された補正目標色との差を算出し、その算出結果から分布評価結果を出力する。代表色算出部２０４ａでは、複数の所定の色領域がある場合に、前述の所定の色領域ごとの重要度と、所定の色領域ごとに抽出した代表色、さらに各代表色の分布評価結果から入力画像における一つの代表色を決定する。

補正係数設定部２０５は、代表色決定部２０４において決定した代表色と予め設定された補正目標色とに基づいて、画像補正部２０６が用いる補正係数を設定する。画像補正部２０６は、補正係数設定部２０５で設定された補正係数を用いて色補正を行う。

図４は、実施例２の画像補正処理のフローチャートである。ステップＳ１３までの処理は実施例１と同様である。所定色領域が存在する場合は、重要度算出部２０２は、重要度を算出する（ステップＳ１４）。重要度の算出は、ステップＳ１２で抽出された所定の色領域ごとに行われ、その後、ステップＳ１５において代表色算出部２０３は代表色の算出を行う。代表色の算出は、ステップＳ１２で抽出された所定の色領域ごとに行われ、その後、ステップＳ１６において、代表色決定部２０４は代表色の分布の評価を行う。ステップＳ１７において、代表色の分布の評価値が「１」であるか否かを判定し、ＮＯの場合はステップＳ１９に移り、ＹＥＳの場合はステップＳ１８において、画像補正部２０６は、所定の色領域の色補正処理を行い、最後に、ステップＳ１９において補正された画像または入力画像が出力される。

所定の色領域の抽出方法は実施例１と同様であるので省略する。重要度の算出は、ステップＳ１２で抽出した所定の色領域ごとに、例えば所定領域の大きさや画像中の位置に基づいて行われる。例えば、重要度を大きさに基づいて算出する場合、所定領域ごとにインデックスが割り当てられており、所定の色領域の抽出数をＮとして、ｊ番目の所定の色領域の面積（または画素数）をＳｊ（１≦ｊ≦Ｎ）とすると、重要度Ｉｓ（ｊ）（１≦ｊ≦Ｎ）は、
Ｉｓ（ｊ）＝Ｓ（ｊ）／Ｓｍａｘ
として求められる。ここで、Ｓｍａｘは、Ｓ（１）〜Ｓ（Ｎ）の最大値を表す。
また、重要度を画像中の位置に基づいて算出する場合、抽出された所定の色領域の重心の位置が入力画像中のどこに位置しているかを求める。

図５は、画像３０１の中心位置Ｃ３０２、所定の色領域３０３の重心Ｐｊ３０４、また中心位置Ｃから画像端部までの最大距離Ｐｍａｘ３０５を示す。

入力画像における中心位置をＣとし、ｊ番目の所定の色領域の重心位置をＰｊ（１≦ｊ≦Ｎ）として、ＰｊとＣとの距離（｜Ｐｊ−Ｃ｜）から、重要度Ｉｐ（ｊ）（１≦ｊ≦Ｎ）は、
Ｉｐ（ｊ）＝１−（｜Ｐｊ−Ｃ｜／Ｐｍａｘ）
として求められる。
ここで、Ｐｍａｘは入力画像における中心位置から画像端部までの最大距離である。

所定の色領域ごとの代表色の算出は、例えば抽出された所定の色領域におけるＲＧＢ値の平均値を代表色として設定すればよい。代表色の分布の評価は、予め設定した所定の色領域における目標色Ｄとの比較に基づいて行う。代表色は、ＲＧＢ色空間のＲＧＢ値で表現されており、これをＬＣＨ空間（明度Ｌ、彩度Ｃ、色相Ｈ）に変換する。この変換後の色空間はＬＣＨ以外でも、ＹＣｂＣｒ、Ｌ＊ｕ＊ｖ＊、ＨＳＶ、ＨＳＬなど他の色空間でも良い。目標色データも、ＬＣＨ空間で保存されているとすると、代表色と目標色における色相Ｈでの差分値を求める。

所定領域ごとにインデックスが割り当てられており、抽出された所定の色領域の数をＮとして、ｊ番目の所定の色領域の代表色の色相値をＨｊ（１≦ｊ≦Ｎ）、目標色Ｄの色相値をＨｄとすると、色相値の差分Ｄｊ（１≦ｊ≦Ｎ）は、
Ｄｊ＝Ｈｄ−Ｈｊ
である。
また同時に、所定領域ごとの代表色から、全体として一つの代表色Ｍの算出を行う。例えば所定領域ごとの代表色を所定領域ごとの重要度（Ｉｓ（ｊ）やＩｐ（ｊ））を用いて重み付け平均した値を用いる。

次に、Ｄｊの符号に対する評価を行う。Ｄｊの符号（＋、−）が全て同じかそうでないかの評価を行い、全て同じであれば、評価値Ｅを「１」とし、そうでない場合は「０」とする。この評価値は、目標色の色相値Ｈｄを基準とし所定領域ごとの代表色の色相値Ｈｊが両側に分布しているかどうかを判定する。

所定の色領域の色補正は、代表色Ｍ、目標色Ｄに基づいて補正係数を決定して補正を行う。評価値Ｅが「１」である場合に、代表色Ｍを目標色Ｄへ補正する補正係数が設定され、色補正される。これにより、所定の色領域ごとの代表色が、目標色の色相に対し片側に分布している場合に、重要度の高い色領域に重みをおいて決定した代表色を用いて目標色へ色補正することができる。また、目標色の色相に対して両側に分布している場合には、色補正を行わないことで、目標とする方向とは逆方向へ補正されてしまう所定の色領域が発生することを防ぐことができる。

上記の実施例では、評価値Ｅが「１」でない場合は、色補正を行わないようにしたが、別の方法として、評価値Ｅが「１」でない場合は、目標色の色相を基準として２つのグループに分け、各グループの重要度に応じて重要度の高いグループに対する色補正を行うようにしても良い。

この場合の補正処理のフローチャートを示したのが図６である。ステップＳ２１〜ステップＳ２６は、ステップＳ１１〜ステップＳ１６の処理と同様である。ステップＳ２７において、代表色の分布の評価値が「１」であるか否かを判定し、ＮＯの場合はステップＳ３１に移り、ＹＥＳの場合は、ステップＳ２８で所定の色領域ごとの代表色と、重要度から、画像全体として一つの代表色Ｍを決定する。この代表色Ｍの決定方法は、前述した方法と同様であるので省略する。

ステップＳ３１では、所定の色領域の目標色相を基準として、各代表色Ｄｊの値が＋のグループと−のグループに分類し、分類された各グループにおける重要度に基づいて一つのグループを選択する。

次にステップＳ３２において、選択したグループに属する所定の色領域の代表色を重要度に基づいて重み付け平均した値を、全体として一つの代表色Ｍとして決定する。ステップＳ２９では、決定した代表色Ｍを目標色Ｄへ補正する補正係数を設定して画像の補正を行い、ステップＳ３０において補正した画像または入力画像が出力される。

ステップＳ３１における、分類された２つのグループの中から重要度に基づいて１つのグループを選択する方法としては、例えば２つのグループの重要度の値の総和が大きい方を選択する方法を採る。これにより、評価値Ｅが「１」でない場合に、目標色の色相値を基準として分類した２つの代表色のグループから重要度の高いグループを選択して色補正を行うことができる。本実施例では、目標色の色相を基準にして所定の色領域ごとの代表色の分布の評価を行ったが、他にも彩度基準や明度基準で分布の評価を行っても良い。

実施例３
実施例３は、所定の色領域ごとの代表色の目標色に対する分布の評価結果に応じて、入力画像を表示し、重要度の高い所定の色領域をユーザに指定させて、指定された所定の色領域の代表色に基づいて画質補正を行う実施例である。

図７は、実施例３に係る画像処理装置の構成を示す。所定色領域抽出部４０１、代表色算出部４０２は実施例１、２と同様である。代表色決定部４０３は、代表色算出部と代表色分布評価部からなる。代表色分布評価部は、所定の色領域ごとに抽出した代表色が予め設定された所定の色領域の補正目標色に対してどのように分布しているかを評価する。所定の色領域ごとの代表色と、予め設定された補正目標色との差を算出し、その算出結果から分布評価結果を出力する。

代表色決定部４０３の代表色算出部では、後述する指示受付部４０５から通知された指示に従い、１つ以上の所定の色領域の代表色から全体として一つの代表色を決定する。

画像表示部４０４は、画像処理装置へ入力された画像データと共に、所定色領域抽出部４０１において抽出された所定の色領域を表示する。指示受付部４０５は、画像表示部４０４に表示された所定の色領域において、どの所定の色領域に対して色補正を行うかの選択指示をユーザから受け付け、代表色決定部４０３へ通知する。補正係数設定部４０６は、代表色決定部４０３において決定した代表色と予め設定された補正目標色とに基づいて、画像補正部４０７が用いる補正係数を設定する。

図８は、実施例３の画像補正処理のフローチャートである。
ステップＳ４１〜Ｓ４５の処理は実施例２と同様である。ステップＳ４６において、代表色分布評価部は評価値が「０」であるか否かを判定する。評価値が「０」でない場合は、ステップＳ４８において、代表色の決定を行い、ステップＳ５０において、決定した代表色に基づいて所定の色領域の色補正を行う。

評価値が「０」である場合は、ステップＳ４７に移り、入力画像と抽出した所定の色領域を画像表示部４０４に表示し、ユーザがどの所定色領域を用いて補正するかの選択指示を、指示受付部４０５により受け付けた後、ステップＳ４９において、代表色決定部４０３は指示された所定の色領域に基づいて代表色を決定する。ステップＳ５０では、画像補正部４０７は、ステップＳ４８またはステップＳ４９で決定された代表色に基づいて所定色領域の色補正を行い、ステップＳ５１で補正後の画像を出力する。

所定の色領域の抽出方法は実施例１と同様である。また、代表色の算出は、抽出された所定の色領域ごとに行われ、例えば、所定の色領域におけるＲＧＢ値の平均値を代表色として設定すればよい。

代表色の分布の評価は、予め設定した所定の色領域における目標色Ｄとの比較に基づいて行い、評価値Ｅとして「０」か「１」が算出される。代表色は、ＲＧＢ色空間のＲＧＢ値で表現されており、これをＬＣＨ空間（明度Ｌ、彩度Ｃ、色相Ｈ）に変換する。この変換後の色空間はＬＣＨ以外でも、ＹＣｂＣｒ、Ｌ＊ｕ＊ｖ＊、ＨＳＶ、ＨＳＬなど他の色空間でも良い。目標色データも、ＬＣＨ空間で保存されているとすると、代表色と目標色における色相Ｈでの差分値を求める。

所定領域ごとにインデックスが割り当てられており、抽出された所定の色領域の数をＮとして、ｊ番目の所定の色領域の代表色の色相値をＨｊ（１≦ｊ≦Ｎ）、目標色Ｄの色相値をＨｄとすると、色相値の差分Ｄｊ（１≦ｊ≦Ｎ）は、
Ｄｊ＝Ｈｄ−Ｈｊ
である。
次に、Ｄｊの符号に対する評価を行う。Ｄｊの符号（＋、−）が全て同じかそうでないかの評価を行い、全て同じであれば、評価値Ｅを「１」とし、そうでない場合は「０」とする。この評価値は、目標色の色相値Ｈｄを基準とし、所定領域ごとの代表色の色相値Ｈｊが両側に分布しているかどうかを判定する。

ステップＳ４８における代表色の決定は、抽出された所定の領域ごとの代表色から全体として一つの代表色Ｍの決定を行う。代表色Ｍは、例えば所定領域ごとの代表色を平均した値を代表色とする。

ステップＳ４９における所定の色領域の代表色の決定は、ユーザにより指定された所定色領域における代表色を用いて全体として一つの代表色Ｍの決定を行う。ユーザにより指定された所定の色領域が１つである場合は、代表色Ｍは選択された所定の色領域の代表色とする。ユーザにより指定された所定の色領域が２つ以上ある場合は、代表色Ｍは選択された複数の所定の色領域の代表色を平均した値とする。

所定の色領域の色補正は、代表色Ｍを目標色Ｄへ補正する補正係数を設定して色補正を行う。これにより、所定の色領域ごとの代表色が、目標色の色相に対し両側に分布している場合には、自動的に決定した代表色に基づいた補正では、目標色とは逆方向に補正されてしまう所定の色領域が発生する恐れがあるため、ユーザの重視する所定の色領域にもとづいて色補正を行い、これを解消することができる。また、目標色の色相に対し片側に分布している場合には、所定の色領域は目標色の方向へ補正されるので、ユーザによる所定の色領域の選択手順を省略することで、ユーザの負担を減らしつつ色補正を行うことが出来る。本実施例では、目標色の色相を基準にして所定の色領域ごとの代表色の分布の評価を行ったが、他にも彩度基準や明度基準で分布の評価を行っても良い。

図９は、本発明をソフトウェアで実現する場合の画像処理装置のハードウェア構成例を示す。図９において、ＰＣ５００は、ＰＣ５００全体の動作を制御するＣＰＵ５０１、ＣＰＵ５０１により実行されるプログラムやデータを記憶しているＲＯＭ５０２、２次記憶装置５０５からロードした、ＣＰＵ５０１により実行されるアプリケーションプログラムやＯＳなどを記憶すると共に、ＣＰＵ５０１による制御処理時に各種データを一時的に格納するワークエリアを提供するＲＡＭ５０３、ディスプレイなどの表示装置５０３、キーボード５０７、マウス５０６などのユーザインターフェース（ＵＩ）を備えている。ハードディスクなどの２次記憶装置５０５には、ＯＳや各種アプリケーションがインストールされており、これらＯＳやプログラムは実行時にＲＡＭ５０４にロードされて実行される。またインターフェイス５０８は、デジタルカメラやプリンタなどを接続するＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＩＥＥＥ１３９４などのシリアルバスインターフェイス、インターネットやＬＡＮなどのネットワーク回線を接続するネットワークインターフェイスを備える。

このような構成の場合、図１に示す各部の機能はＣＰＵ５０１に持たせることができる。なお、ＣＰＵ５０１で行われる画像処理機能は、例えばソフトウェアパッケージ、具体的には、ＣＤ−ＲＯＭや磁気ディスク等の情報記録媒体の形で提供することができる。

以上により、本発明における画像処理装置および画像処理方法は、ディスプレイ等を備えた汎用の計算機システムにＣＤ−ＲＯＭ等の情報記録媒体に記録されたプログラムを読み込ませて、この汎用計算機システムのＣＰＵに画像処理を実行させる装置構成においても実施することが可能である。この場合、本発明の画像処理を実行するためのプログラム、すなわちハードウェアシステムで用いられるプログラムは、記録媒体に記録された状態で提供される。プログラムなどが記録される情報記録媒体としては、ＣＤ−ＲＯＭに限定されるものではなく、例えばＲＯＭ、ＲＡＭ、フラッシュメモリ、光磁気ディスクなどを用いても良い。記録媒体に記録されたプログラムは、ハードウェアシステムに組み込まれている２次記憶装置にインストールされることにより、このプログラムを実行して、画像処理機能を実現することができる。

また、本発明の画像処理機能等を実現するためのプログラムは、記録媒体の形で提供されるのみならず、例えば、ネットワークを介した通信によってサーバから提供されるものでも良い。

本発明の実施例１に係る画像処理装置の構成を示す。 実施例１の画像補正処理のフローチャートである。 実施例２に係る画像処理装置の構成を示す。 実施例２の画像補正処理のフローチャートである。 重要度の算出を説明する図である。 実施例２の変形例を説明するフローチャートである。 実施例３に係る画像処理装置の構成を示す。 実施例３の画像補正処理のフローチャートである。 本発明をソフトウェアで実現する場合の画像処理装置のハードウェア構成例を示す。

符号の説明

１０１ 所定色領域抽出部
１０２ 代表色算出部
１０３ 代表色決定部
１０４ 代表色分布評価部
１０５ 補正係数設定部
１０６ 画像補正部

Claims (13)

1. 入力画像から所定の色領域を抽出する抽出手段と、前記抽出した所定の色領域ごとに代表色を算出する算出手段と、前記所定の色領域ごとの代表色の色相値が目標色の色相値の両側に分布しているか否かを評価する評価手段と、前記代表色の色相値が両側に分布していないとき、前記所定の色領域に対して色補正する色補正手段とを有することを特徴とする画像処理装置。
2. 入力画像から所定の色領域を抽出する所定色領域抽出手段と、前記抽出した所定の色領域ごとに代表色を算出する代表色算出手段と、前記抽出した所定の色領域ごとに重要度を判定する重要度判定手段と、前記所定の色領域ごとの代表色の分布の度合いを評価する分布評価手段と、前記算出した所定の色領域ごとの代表色と前記重要度とから補正対象の代表色を決定する代表色決定手段と、前記補正対象の代表色と、前記所定の色領域ごとに算出した代表色の分布の度合いに基づき色補正条件を設定する色補正条件設定手段と、前記色補正条件に基づき、前記入力画像を色補正する色補正手段とを有することを特徴とする画像処理装置。
3. 前記色補正条件設定手段は、前記分布の度合いの評価結果に基づいて前記抽出した所定の色領域をグループに分類し、前記分類したグループから前記重要度に基づいて一つのグループを選択し、前記選択した一つのグループに属する所定の色領域の代表色と前記重要度から決定した代表色を用いて色補正条件を設定することを特徴とする請求項２記載の画像処理装置。
4. 入力画像から所定の色領域を抽出する所定色領域抽出手段と、前記抽出した所定の色領域ごとに代表色を算出する代表色算出手段と、前記所定の色領域ごとの代表色の分布の度合いを評価する分布評価手段と、前記分布の度合いの評価に基づいて前記入力画像と前記抽出した所定の色領域を表示する表示手段と、前記表示された所定の色領域の中から１つ以上の所定の色領域をユーザが選択する選択指示手段と、前記ユーザが選択した所定の色領域に基づいて補正対象の代表色を決定する代表色決定手段と、前記補正対象の代表色に基づいて色補正条件を設定する色補正条件設定手段と、前記色補正条件に基づき、前記入力画像を色補正する色補正手段とを有することを特徴とする画像処理装置。
5. 前記所定の色領域ごとの代表色の分布の度合いの評価は、予め設定されている補正目標色との色相を基準とした差分に基づいて評価されることを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
6. 前記所定の色領域ごとの代表色の分布の度合いの評価は、予め設定した補正目標色との彩度を基準とした差分に基づいて評価されることを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
7. 前記所定の色領域ごとの代表色の分布の度合いの評価は、予め設定した補正目標色との明るさを基準とした差分に基づいて評価されることを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
8. 前記重要度は、前記所定の色領域の大きさに基づいて求められることを特徴とする請求項２または３記載の画像処理装置。
9. 前記重要度は、前記所定の色領域の入力画像における位置に基づいて求められることを特徴とする請求項２または３記載の画像処理装置。
10. 前記所定の色領域は、人物の顔を含む肌領域であることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 入力画像から所定の色領域を抽出する抽出工程と、前記抽出した所定の色領域ごとに代表色を算出する算出工程と、前記所定の色領域ごとの代表色の色相値が目標色の色相値の両側に分布しているか否かを評価する評価工程と、前記代表色の色相値が両側に分布していないとき、前記所定の色領域に対して色補正する色補正工程とを有することを特徴とする画像処理方法。
12. 請求項１１記載の画像処理方法をコンピュータに実現させるためのプログラム。
13. 請求項１１記載の画像処理方法をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images