JP2007087253A - 画像補正方法および装置 - Google Patents

Abstract

【課題】顔領域の濃度や色を適正に再生できるとともに、連続するシーンや類似したシーンでの仕上がりのばらつきを低減することができ、かつ、濃度フェリアやカラーフェリアを抑制することのできる画像補正方法および装置を提供する。
【解決手段】複数の撮影画像のそれぞれについて顔領域の情報を含む１以上の特徴を抽出し、抽出された特徴に応じて複数の撮影画像をグループ化し、同一のグループとされた撮影画像に対して、抽出した特徴およびそのグループの種別に応じて、顔領域を適切な色濃度にするための補正量を算出して、その補正量によって当該グループの撮影画像を補正することにより、上記課題を解決する。
【選択図】図２

Description

本発明は、画像処理の技術分野に属し、詳しくは、複数の撮影画像に画像補正処理を施す際に、連続したシーンや類似したシーンでのばらつきを低減するように補正する画像補正方法および装置に関する。

撮影によって写真フィルムに記録された画像を印画紙に焼付けて写真プリントを作成する方法において、写真フィルムに記録されている全画像、或いはカメラの露出精度、測距精度を識別して選択した画像に対し、各画像の測光値の平均値に基づいて各画像に共通の露光量を決定することや、その共通の露光量に対して更に補正を行って各画像の露光量を決定することが、従来から提案されている。

一方、特許文献１に記載の写真プリンタでは、同一露光量での露光が指示されていた場合などにおいて、測光値の平均値を用いる上記方法では濃度フェリアやカラーフェリアが発生することを課題とし、これを防止するために、同一露光量で露光すべき複数のネガ画像に対し、適性な個別露光量を演算できると推定される特定ネガ画像をその複数のネガ画像の中から選択し、選択した特定ネガ画像に対して個別露光量を演算し、その個別露光量の平均値によって、同一露光量で露光すべき複数のネガ画像を印画紙に露光するようにしている。

より具体的には、特許文献１は、写真フィルムに撮影された画像を感光材料（印画紙）に投影して露光するいわゆる直接露光による写真プリンタにおいて、ＡＰＳフィルムの磁気記録層に記録されたＦＴＰＭ信号、シリーズシーン信号、撮影情報等に基づいて、同一露光量で露光すべき画像を判断している。そして、同一露光量で露光すべきと判断された複数のネガ画像から、主要部抽出精度または露光補正量に基づく選択方法で特定ネガ画像を選択し、特定ネガ画像の個別露光量の平均値を共通露光量として演算している。また、さらに、撮影者ごとの履歴を用いて露光量を調整することも記載されている。
特開平１０−２０４１７号公報

特許文献１に記載の写真プリンタは、ＦＴＰＭ信号、シリーズシーン信号、撮影情報といった撮影条件に関する情報によって同一露光量で露光すべき画像を選択しているため、類似のシーンを撮影した画像等を同一露光量で露光して、濃度フェリアやカラーフェリアを低減させることはできる。
しかしながら、特許文献１の写真プリンタは、同一露光量で露光すべき複数のネガ画像から選択された特定ネガ画像に対する個別露光量の平均値を、その複数のネガ画像の露光量としているため、例えば、撮影条件は同じでも、人種が異なることにより肌色が大きく異なる人物の撮影画像が混在している場合などにおいて、被写体自体の濃度や色のバランスが異なることにより露光量が大きく異なる画像が特定ネガ画像として選択された場合には、適正な露光量とならず、濃度フェリアやカラーフェリアを生じてしまうことがある。
また、特許文献１の写真プリンタは、同一露光量で露光すべきであるかどうかの判断材料が、ＦＴＰＭ信号、シリーズシーン信号、撮影情報といった情報に限られているため、適用できるケースが限定される。

本発明の目的は、上記従来技術の問題点を解消し、被写体の特徴、特に人物の顔領域の濃度や色の特徴が異なる画像が混在する場合であっても、顔領域の濃度や色を適正に再生できるとともに、連続するシーンや類似したシーンでの仕上がりのばらつきを低減することができ、かつ、濃度フェリアやカラーフェリアを抑制することのできる画像補正方法および装置を提供することにある。

上記課題を解決するために、本発明は、複数の撮影画像のそれぞれについて顔領域の情報を含む１以上の特徴を抽出し、
抽出された前記特徴の少なくとも１つに応じて前記複数の撮影画像をグループ化し、
前記グループ化によって同一のグループとされた前記撮影画像に対して、抽出した前記特徴およびそのグループの種別に応じて、顔領域を適切な色濃度にするための補正量を算出し、
算出された前記補正量によって当該グループの前記撮影画像を補正する画像補正方法を提供する。

ここで、前記特徴として、前記撮影画像中のオブジェクトの種別を抽出するのが好ましい。
また、前記補正量は、抽出した前記オブジェクトの種別に応じて、前記顔領域の色が予め定められた目標色に一致するように決定されるのが好ましい。
また、前記同一のグループに前記オブジェクトの種別が２種以上あった場合に、前記オブジェクトの種別ごとに前記目標色を変更するのが好ましい。

また、さらに、抽出した前記顔領域の情報を基に顔認証を行い、前記顔認証の結果に応じて前記複数の撮影画像をグループ化するのが好ましい。
また、前記特徴として撮影時刻を抽出し、前記撮影画像の撮影間隔に応じて前記複数の撮影画像をグループ化するのが好ましい。
また、前記同一のグループの各撮影画像について、前記特徴に応じた個別補正量を算出し、前記個別補正量を基に、前記グループの種別に応じて、前記補正量を算出するのが好ましい。

また、本発明は、入力された複数の撮影画像のそれぞれについて顔領域の情報を含む１以上の特徴を抽出する抽出手段と、
前記抽出手段で抽出された前記特徴の少なくとも１つに応じて前記複数の撮影画像をグループ化するグループ化手段と、
前記グループ化手段によって同一のグループとされた前記撮影画像に対して、前記特徴およびそのグループの種別に応じた補正量を算出する補正量算出手段と、
前記補正量算出手段で算出された前記補正量によって、当該グループの前記撮影画像を補正する画像補正手段と、を有する画像補正装置を提供する。

本発明によれば、上記構成により、被写体の特徴、特に人物の顔領域の濃度や色の特徴が異なる画像が混在する場合であっても、顔領域の濃度や色を適正に再生できるとともに、連続するシーンや類似したシーンでの仕上がりのばらつきを低減することができ、かつ、濃度フェリアやカラーフェリアを抑制することができる。

本発明に係る画像補正方法および装置を添付の図面に示す好適実施例に基づいて以下に詳細に説明する。

図１は、本発明の画像補正方法を実施する本発明の画像補正装置の一実施形態を示すブロック図である。
図１に示す画像補正装置１０は、入力された複数の撮影画像を、画像の特徴に応じて自動的に分類してグループ化し、各画像の顔領域の情報を利用して算出した補正量を用いて同じグループ内での補正条件を決め、同じグループ内の画像には同じ補正量を適用して画像補正を行った後、補正後の画像を、デジタル露光を行う写真プリンタ等に出力するものである。
画像補正装置１０は、特徴抽出部１２と、グループ化処理部１４と、補正量算出部１６と、画像補正部１８とを有している。これらの画像補正装置１０の構成要素は、所定の演算処理を実行するハードウェアまたはソフトウェアにより構成することができる。

画像補正装置１０には、画像入力機やプリント注文受付機などの入力機が直接的または間接的に接続される。この入力機は、デジタルカメラ等での撮影によって取得された画像データが記録された各種メディアから画像データを読み出すためのメディアドライバ、インターネット等の通信回線を通じて画像データを取得するためのネットワーク接続装置、デジタルカメラやカメラ付き携帯電話等のデジタル撮像機器と直接接続するための端子、写真フィルムに撮影された画像を光電的に読み取って画像データを得るスキャナ等を備えるものであって、撮影画像（画像データ）やそれに関連する情報を取得する。

画像補正装置１０において実施される画像補正処理を、図２に示すフローチャートに沿って説明し、併せて画像補正装置１０の各部の作用を説明する。

まず、画像補正装置１０には、複数の撮影画像が入力される（ステップＳ１０１）。
画像補正装置１０に入力される撮影画像（画像データ）は、デジタルカメラ等での撮影によって取得された画像データや、写真フィルムに撮影された画像を光電的に読み取って得られた画像データである。
ここで、デジタルカメラ等からの画像データは、通常、そのまま再生するために必要な最小限の画像処理がそのデジタルカメラ等において施されているので、その画像データが直接画像補正装置１０に入力されてもよいが、写真フィルムから読み取って得られた画像データの場合等には、画像全体がほぼ適正に再生されるような通常の画像処理が行われた後、画像補正装置１０に入力される。
画像補正装置１０には、複数の撮影画像が、例えばプリント注文の単位で連続して入力される。

また、画像補正装置１０には、撮影画像に対応して記録された撮影に関する情報やプリント注文に関する情報等の関連情報が、撮影画像とともに入力される。このような情報としては、例えば、撮影時刻、撮影カメラ機種、撮影モード等の撮影時に取得された情報や、プリント注文に際して顧客から指定された画像処理に関する情報がある。

撮影時刻、撮影カメラ機種、撮影モード等の情報は、デジタルカメラによる撮影画像の場合には、Ｅｘｉｆファイルまたは撮影画像と関連付けられた付属ファイルとして記録され、ＡＰＳフィルムでの撮影画像の場合には、撮影時にフィルムの磁気記録層に記録されて読み出された情報が、撮影画像と関連付けられた付属ファイルとして記録されている。それ以外の撮影画像の場合には、画像入力機等において、ユーザやオペレータによって撮影に関する情報を入力し、付属ファイルを作成するようにしてもよい。

画像処理に関する情報は、仕上げの色濃度に関する情報や、画像処理の基準とすべきオブジェクトの指定などである。仕上げの色濃度に関する情報とは、具体的には、ユーザの好みの色濃度や、撮影条件（オーバー露光、アンダー露光等）に対応して補正すべき色濃度の情報を含む。
このような画像処理に関する情報は、カメラの入力機能によってユーザが入力することにより、Ｅｘｉｆファイルや撮影画像と関連付けられた付属ファイルに記録される。あるいは、プリント注文受付機や画像入力機等においてユーザ（顧客）やオペレータ（プリントサービス提供者）が情報入力することにより、入力された情報がＥｘｉｆファイルや付属ファイルに記録される。

画像処理に関する情報は、各画像に対して設定されてもよいし、注文単位などのひとまとまりの複数の画像に対して共通に設定されてもよい。
顧客である写真館やカメラマンの好みやくせに応じた所定の画像処理の情報が画像入力機等に設定されている場合には、その写真館やカメラマンの識別情報が入力されることで、該当する画像の全てに、対応する所定の画像処理情報を設定することもできる。

次に、画像補正装置１０は、特徴抽出部１２において、入力された撮影画像（以下、入力画像とする）のそれぞれについて、顔領域の情報を含む１以上の特徴を抽出する（ステップＳ１０２）。
顔領域の情報は、顔の輪郭の位置情報や、顔領域内部の形状の情報、顔領域の色濃度の情報等である。特徴抽出部１２では、まず、各画像中の顔領域の抽出を行う。顔領域の抽出の方法には特に制限はなく、肌色の範囲にある画素群の領域を顔領域として抽出する方法や、形状パターン検索による方法等、各種の公知技術を利用することができる。
次いで、抽出した顔領域の輪郭の情報を基に解析を行って、画像中の顔領域の位置、大きさ、顔領域内部の色濃度の情報を取得する。ここで検出した顔領域の位置や大きさのデータは、後の処理に利用するために保持する。

さらに、好ましくは、上記の顔領域の情報を基に、入力画像の特徴として、その画像中のオブジェクトの種別、すなわち撮影被写体の種別を抽出する。
オブジェクトの種別とは、例えば、人種（黄色人種、黒色人種、白色人種など）、性別、年齢、特別な場面の人物（花嫁、照明されている人物など）の分類である。

また、特徴抽出部１２は、顔領域の情報以外の特徴として、Ｅｘｉｆファイルの情報（以下、Ｅｘｉｆ情報とする）または付属ファイルの情報（以下、付属情報とする）から、タイムスタンプや、カメラ機種情報および撮影モード情報を抽出し、または入力画像全体のＳＮ比を抽出し、または画像処理に関する注文情報を抽出する。

特徴抽出部１２で抽出する入力画像の特徴のうち、顔領域の情報は、後述する補正量の算出に利用されるため必須である。一方、その他の特徴は、後述するグループ化処理に必要な情報であればよく、顔領域の情報以外には抽出しない形態としてもよいし、上記のうち１以上の特徴を抽出する形態としてもよい。

各入力画像の特徴を抽出し終えると、次に、グループ化処理部１４で、特徴抽出部１２で抽出された特徴の少なくとも１つに応じて複数の入力画像を分類し、グループ化する（ステップＳ１０３）。
グループ化処理部１４による具体的なグループ化の方法を以下に説明する。

ある短い時間に撮影された複数の画像は、同様の撮影条件で撮影された連続シーンであると捉えることができ、そのような複数の画像は同様の補正条件で補正するのが好ましい。したがって、画像の特徴としてＥｘｉｆ情報等から抽出されたタイムスタンプを用い、あらかじめ設定された閾値未満の間隔で撮影された画像を連続シーンとみなしてグループ化する。撮影時間により連続シーンを判別するので、同一補正量で補正すべき画像を自動選択することができる。

また、同じカメラによって撮影された複数の画像は、カメラの特性に対応する同様の性質や傾向を持っていると推定されるので、同様の補正条件を適用することが好ましい。さらに、同じ撮影モードで撮影されていれば、補正条件をさらに近いものとすることが好ましい。したがって、画像の特徴としてＥｘｉｆ情報等から抽出されたカメラ機種情報および撮影モード情報を用い、カメラ機種、撮影モードごとにグループ化する。

また、画像のノイズ、特に低輝度部のノイズは画質を低下させるため、ノイズが多い画像に対しては、画像全体をやや暗めに仕上げてノイズの影響を抑えるのが好ましい場合もある。したがって、画像の特徴として入力画像のＳＮ比を用い、好ましくは、特に低輝度部のノイズを検出し、ノイズが多い画像をグループ化する。

また、顧客から、各画像に対する画像処理に関する要望があった場合には、その要望に応じた処理を行う必要がある。あるいは、写真館やカメラマンによって、画像処理について好みやくせが異なるので、それぞれの写真館やカメラマンに応じた画像処理を行うのが好ましい。したがって、画像の特徴として画像処理に関する注文情報を用い、顧客の要望の内容ごとに、または写真館やカメラマンごとに、対象となる画像をグループ化する。

上記のうち、どの特徴を抽出し、どの方法によってグループ化を行うかは、画像補正処理の実行前に設定されればよい。また、上記の２以上の方法を組み合わせてグループ化を行ってもよい。

入力画像のグループ化が終わると、次に、補正量算出部１６で、同一のグループとされた画像に対して、特徴抽出部１２で抽出した特徴およびそのグループの種別に応じて、顔領域を適切な色濃度にするためのグループごとの補正量を算出する。
グループごとの補正量の算出は、まず、グループ内の各画像についての個別の補正量を算出し（ステップＳ１０４）、続いて、同一グループ内の複数の画像のそれぞれについて算出された個別補正量を基に、それらをマージ（合成）して、グループ内の全ての画像に適用する補正量（共通補正量）を算出することで行う（ステップＳ１０５）。

ステップＳ１０４における各画像の補正量の算出は、次のように行う。
各入力画像については、ステップＳ１０２において、特徴抽出部１２によってその特徴として顔領域の情報が抽出されて保持されているので、この特徴に応じて個別補正量を算出する。すなわち、各画像において、顔領域の色濃度が予め設定された目標値（目標色）に近付くようにする補正量を算出する。

ここで、同一グループに、オブジェクトの種別の異なる画像があった場合には、画像ごとに、オブジェクトの種別によって目標値を変更して、適切な目標値に対する補正量を算出するのが好ましい。
すなわち、例えば、同一グループに、黄色人種の人物画像と黒色人種の人物画像があった場合には、色濃度の目標値として黄色人種の目標値と黒色人種の目標値の両方を用い、顔領域の情報に応じて適切な目標値を用いるのが好ましい。
特に、人物を撮影した画像の場合には、人物の顔領域の肌色がきれいに再生されることが最も重要であり、また、再生するのに好ましいとされる肌色の目標値は、肌色の種類によって異なる。したがって、被写体の人物の肌色に対応する目標値を用いることにより、その画像の補正量として適切な値を得ることができる。

また、特徴として画像処理に関する注文情報が得られている場合には、上記に加えて、顧客の要望や、写真館またはカメラマンの好み・くせに応じた画像となるように補正量を算出するのが好ましい。

なお、１画像中に複数の顔（顔領域）がある場合には、各顔について補正量を算出し、その画像中の複数の顔についての補正量をマージ（合成）して、その画像についての補正量を算出する。また、１画像中に種別の異なるオブジェクトがあった場合には、上述したオブジェクトの種別の異なる複数画像に対する補正量の算出方法と同様に、オブジェクトの種別によって色濃度の目標値を変更するのが好ましい。

次に、ステップＳ１０５では、各画像についての個別補正量をグループの種別に応じた一定のルールに基づいてマージして、そのグループの共通補正量を算出する。

グループの種別は、ステップＳ１０３でのグループ化処理に用いた特徴に対応する。
例えば、Ｅｘｉｆ情報のタイムスタンプを用いて撮影時間によってグループ化されたグループに対しては、ステップＳ１０４で算出された個別補正量の平均値または中央値を共通補正量とする。

上述のように、個別補正量は、画像ごとに、顔領域の目標値を基準に求められているので、ステップＳ１０５では、各画像の個別補正量の平均値または中央値を、そのグループの共通の補正量とすることで、グループ内の全ての画像にとって適切な補正量を得ることができ、また同一の補正量で補正することで補正による仕上がりのばらつきを低減することができる。また、顔領域の検出結果を用いて、顔を適切な色濃度にするための補正量が求められているので、補正が背景に依存せず、濃度フェリアやカラーフェリアの発生を抑制することができる。

特に、同一グループにオブジェクトの種別の異なる画像があった場合に、オブジェクトの種別ごとに色濃度の目標値を変更する形態では、被写体の顔の色濃度が大きく異なる画像が混在する場合にも、各画像において適切な個別補正量が算出され、その個別補正量がマージされるので、濃度フェリアやカラーフェリアをより効果的に防ぐことができる。

また、Ｅｘｉｆ情報のカメラ機種情報等によってグループ化されたグループに対しては、個別補正量の平均値または中央値を共通補正量とし、さらに、カメラの特性や撮影モードの情報に応じて、個別補正量のマージのルールを調整する。

また、ＳＮ比によってグループ化したノイズの多い画像のグループについては、個別補正量のマージにおいて、各画像を全体的に暗めに仕上げるように調整して求めた共通補正量を採用する。

顧客の要望の内容ごと、または、写真館やカメラマンごとに分類されたグループの場合には、顧客の要望や、写真館またはカメラマンの好み・くせに応じてマージのルールを変更または調整する。
例えば、その画像グループの画像処理に関する注文情報として、画像処理の基準とすべきオブジェクトが指定されている場合には、共通補正量算出のための個別補正量のマージのルールを変更し、そのオブジェクトの画像に対する個別補正量を基準にして共通補正量を算出する。

また、画像処理に関する注文情報として、アンダー露光またはオーバー露光で撮影された画像であるという情報が入力されている場合や、フラッシュ撮影などにより画像中の位置によって顔濃度に差があり、そのうちの暗い顔を基準とするか明るい顔を基準とするかといった指示が入力されている場合には、個別補正量のマージのルールを変更し、アンダー露光またはオーバー露光を補正するような個別補正量に重みを付けて、あるいは、個別補正量の最大値または最小値を基準にして、グループの共通補正量を算出する。

このように、補正量のマージ方法（合成方法）が複数用意されており、注文情報やノイズレベルをもとに採用する方法を選択することができるので、平均値では適切に補正できないケース、例えば、白粉を塗った花嫁や照明された人物のように、画像中の最も明るい顔の人を適切に仕上げたい場合などにも対応できる。

なお、極端に補正量の異なる画像が含まれている場合は、その画像が撮影に失敗した画像であると推定して、グループの共通補正量の算出対象から除外してもよい。この場合には、例えば、個別補正量の分散を評価してばらつき除外してから、補正量算出処理を行えばよい。
逆に、グループ内の一部の画像を選択し、選択した画像の個別補正量のみをマージしてもよい。

上記のようにして、グループごとの補正量が算出されると、画像補正部１８において、各グループの画像がそのグループの補正量によって補正され（ステップＳ１０６）、補正済みの画像が出力される。
画像補正装置１０から出力された補正済み画像は、写真プリンタに送られてプリント作成に供される。また、表示装置やメディアドライバ等の記録装置に送られて画像表示や画像データの保管が行われてもよい。

なお、上記の画像補正方法において、ステップＳ１０６における画像補正処理結果をモニタに表示して確認し、補正が不適正だった場合にはステップＳ１０５に戻って、個別補正量のマージのルールを変更するか、ステップＳ１０４に戻って個別補正量の算出条件を変更するか、ステップＳ１０３に戻ってグループ化の条件を変更するなど、条件を変更して再計算を行うようにしてもよい。
この場合には、ステップＳ１０４において算出された、各画像についての、顔領域の色濃度を予め設定された目標値に近付くようにする補正量を、ステップＳ１０２で抽出された顔領域の位置および大きさ等の情報とともに保持しておき、補正量算出条件変更後の再計算に利用するのが好ましい。それにより、時間のかかる顔検出処理を再度行う必要が無くなるので、計算時間を短縮できる。

また、上記では、ステップＳ１０６において、ステップＳ１０５で算出した共通補正量を用いてグループ内の全画像について補正したが、グループ内の一部の画像に適用する形態としてもよい。例えば、個別補正量の分散評価からばらつきと判断された画像（撮影に失敗したと推定される画像）に対して、その画像以外の個別補正量から求めた共通補正量を用いて補正を行うことにより、撮影に失敗した画像等を救済することができる。この際、その他の画像に対してはそれぞれの個別補正量によって補正を行うようにしてもよい。

なお、画像補正装置１０は、ステップＳ１０４において算出した各画像の補正量に基づいて、補正量の大小（ばらつき）を判断して、メタデータとして補正済み画像に付加するのも好ましい。この場合には、後に、補正済み画像を整理するときや、補正済み画像からアルバムを作成するときに、ばらつきが大きいものは撮影に失敗した画像であるなどの判断材料とすることができる。

また、画像補正装置１０は、各画像について抽出した特徴に応じて自動的にグループ化を行うものであるが、これに加えて、プリント注文受付時等に入力画像をモニタに一覧表示して、同一条件で補正すべき画像を顧客の選択に応じて決定するモードを備えていてもよい。

次に、本発明の他の実施形態について説明する。
図３は、本発明の他の実施形態の画像補正装置２０の構成を示すブロック図であり、図４は、図３の画像補正装置２０において実施される画像補正処理のフローチャートである。

図３に示す画像補正装置２０が、図１の画像補正装置１０と異なる点は、特徴抽出部１２とグループ化処理部１４との間に顔認証部２２および胸部色／出現頻度検出部２４を有している点であり、その他の構成は、図１の画像補正装置１０と基本的に同様であるので、同一の構成要素には同一の符号を付してその詳細な説明を省略する。

図３の画像補正装置２０において、複数の撮影画像が入力され（ステップＳ２０１）、各画像について顔領域の情報を含む１以上の特徴が抽出されると（ステップＳ２０２）、
顔認証部２２は、特徴抽出部１２で抽出された顔領域の情報を用いて顔認証を行って、その結果を基に同一人物の画像を判定する（ステップＳ２０３）。顔認証の方法には特に制限はなく、パターンマッチングを用いた方法等、公知の技術を利用することができる。

胸部色／出現頻度検出部２４は、顔認証部２２で同一人物の画像であると判定された画像のうちから胸部付近の衣服の色を検出すること、および、同一人物が撮影された画像数をカウントして出現頻度の多い人物を特定し、その人物が撮影されている画像を特定することの少なくとも一方を実行する（ステップＳ２０４）。

グループ化処理部１４は、上述の例と同様のグループ化処理に加えて、顔認証部２２による顔認証結果、さらには胸部色／出現頻度検出部２４による胸部色検出結果または出現頻度検出結果を用いて、グループ化処理部１４においてグループ化を行うことができる（ステップ２０５）。

顔認証結果に応じて、同一人物の画像についてグループ化をする場合には、補正量算出部１６において、同一人物の顔色が一致するように補正量が決定される（ステップＳ２０６、Ｓ２０７）。そのため、顔色の再現が安定した画像を得ることができる。
また、顔検出結果に加えて胸部色検出結果を用いてグループ化をする場合には、補正量算出部１６において、顔色に加えて胸部の衣服の色が一致するように補正量が決定される（ステップＳ２０６、Ｓ２０７）。そのため、衣服の色が強く、その支配率が高い場合等に生じるカラーフェリアや濃度フェリアを防止し、安定した画像を得ることができる。
また、顔検出結果に加えて同一人物の出現頻度検出結果を用いてグループ化をする場合は、出現頻度の高い人物に重みをおいて、その人物画像が最も適切な色で再現されるような補正量を算出することができる（ステップＳ２０６、Ｓ２０７）。出現頻度が高い人物は、通常、重要な被写体であるので、顧客にとって好ましい画像とすることができる。

このように、本実施形態では、顔認証により同一人物を判定し、同一人物の顔再現を一致させることを条件として、同一露光量で露光すべき画像を自動選択してグループ化できるので、同一人物について、高い顔色再現性を得ることができる。

また、グループ化処理部１４は、上述の例と同様に、顔認証結果、胸部色検出結果または出現頻度検出結果と、上述の例で示した他の特徴とを組み合わせてグループ化処理および補正量算出を行ってもよい。
このようにグループ化が行われ、補正量が算出されると、画像補正部１８でグループごとに同一の補正量による画像補正が行われて（ステップＳ２０８）、補正済み画像が出力される。

なお、図２の画像補正装置２０では、顔認証部２２および胸部色／出現頻度検出部２４をグループ化処理部１４とは別に設ける構成としたが、顔認証部２２および胸部色／出現頻度検出部２４を、グループ化処理部１４と一体的に構成し、顔認証部２２および胸部色／出現頻度検出部２４における処理をグループ化処理部１４によって実行してもよい。

以上、本発明に係る画像補正方法および装置について詳細に説明したが、本発明は上記種々の実施例に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。

本発明の画像補正装置の一実施形態を示すブロック図である。 図１の画像補正装置において実施される画像補正処理のフローチャートである。 本発明の画像補正装置の他の実施形態を示すブロック図である。 図３の画像補正装置において実施される画像補正処理のフローチャートである。

符号の説明

１０、２０ 画像補正装置
１２ 特徴抽出部
１４ グループ化処理部
１６ 補正量算出部
１８ 画像補正部
２２ 顔認証部
２４ 胸部色／出現頻度検出部

Claims (8)

1. 複数の撮影画像のそれぞれについて顔領域の情報を含む１以上の特徴を抽出し、
   抽出された前記特徴の少なくとも１つに応じて前記複数の撮影画像をグループ化し、
   前記グループ化によって同一のグループとされた前記撮影画像に対して、抽出した前記特徴およびそのグループの種別に応じて、顔領域を適切な色濃度にするための補正量を算出し、
   算出された前記補正量によって当該グループの前記撮影画像を補正する画像補正方法。
2. 前記特徴として、前記撮影画像中のオブジェクトの種別を抽出する請求項１に記載の画像補正方法。
3. 前記補正量は、抽出した前記オブジェクトの種別に応じて、前記顔領域の色が予め定められた目標色に一致するように決定される請求項２に記載の画像補正方法。
4. 前記同一のグループに前記オブジェクトの種別が２種以上あった場合に、前記オブジェクトの種別ごとに前記目標色を変更する請求項３に記載の画像補正方法。
5. さらに、抽出した前記顔領域の情報を基に顔認証を行い、
   前記顔認証の結果に応じて前記複数の撮影画像をグループ化する請求項１〜４のいずれかに記載の画像補正方法。
6. 前記特徴として撮影時刻を抽出し、
   前記撮影画像の撮影間隔に応じて前記複数の撮影画像をグループ化する請求項１〜５のいずれかに記載の画像補正方法。
7. 前記同一のグループの各撮影画像について、前記特徴に応じた個別補正量を算出し、
   前記個別補正量を基に、前記グループの種別に応じて、前記補正量を算出する請求項１〜６のいずれかに記載の画像補正方法。
8. 入力された複数の撮影画像のそれぞれについて顔領域の情報を含む１以上の特徴を抽出する抽出手段と、
   前記抽出手段で抽出された前記特徴の少なくとも１つに応じて前記複数の撮影画像をグループ化するグループ化手段と、
   前記グループ化手段によって同一のグループとされた前記撮影画像に対して、前記特徴およびそのグループの種別に応じた補正量を算出する補正量算出手段と、
   前記補正量算出手段で算出された前記補正量によって、当該グループの前記撮影画像を補正する画像補正手段と、を有する画像補正装置。

Images