JP2007094787A - 人物画像補正装置、人物画像補正方法および人物画像補正プログラム - Google Patents

Abstract

【課題】人物が撮影された複数の画像に対し、それらが同一撮影条件下で撮影されている場合でも、異なる撮影条件下で撮影されている場合でも、顔色を適正な色濃度で再生することができるとともに、画像全体について好ましい補正を行うことができる人物画像補正装置および方法を提供する。
【解決手段】入力された複数の人物画像から顔の領域を抽出する顔領域抽出手段と、複数の人物画像が同一撮影条件下で撮影されているか否かを判定する同一撮影条件判定手段と、同一撮影条件判定手段の判定結果に基づいて人物画像の色および濃度の少なくとも一方を補正する画像補正手段とを備えることにより上記課題を解決する。
【選択図】図１

Description

本発明は、画像処理の技術分野に属し、詳しくは、人物が撮影された画像を補正する補正装置、人物画像補正方法および人物画像補正プログラムに関する。

デジタルカメラでの撮影によって取得されたデジタル画像データや、写真フィルムに撮影された画像を光電的に読み取って得られたデジタル画像データから写真プリントを作成する際には、撮影画像が適正な色や濃度で再生されるように、画像に対して補正が施される。特に、人物を撮影した画像の場合には、人物の肌色がきれいに再生されることが重要である。

人物の肌色に着目した画像処理方法としては、例えば、画像データから人物の顔を自動的に抽出し、その顔領域が目標濃度範囲になるように補正する技術（例えば、特許文献１参照）や、目標色度になるように補正する技術（例えば、特許文献２参照）が知られている。これらの技術では、肌色の目標濃度や目標色度値を予め設定しておき、画像データから抽出した顔領域の濃度や色が目標値に近付くように各画像を補正している。

しかし、人種によって肌色が異なるため、複数の人種の人物画像についてある目標の色濃度に補正すると、同一撮影条件で撮影された画像群（例えば、卒業写真）などでは背景がばらつき、また、肌の色味も必ずしも好ましくないという問題がある。このような複数の画像から成る画像群に対しては、同一の補正を行うことが望ましい。

これに対し、特許文献３には、複数のコマ画像に対して測光値の平均値に基づき焼付露光量を決定し、該焼付露光量を用いて複数コマを印画紙に焼付ける技術が記載されている。この方法によれば、同一の焼付露光量で複数コマについて焼付処理を行うので、同一撮影条件で撮影された画像群における背景のばらつきの問題を防ぐことができる。
しかし、このような方式では、逆に、撮影条件等が異なって画像中の肌色がばらついている場合には、好ましい肌色に仕上がらないコマが生じてしまうことがある。
特開２０００−１９６８９０号公報 特開２０００−１８２０４３号公報 特開平６−２０８１７８号公報

本発明の目的は、上記従来技術の問題点を解消し、人物が撮影された複数の画像に対し、それらが同一撮影条件下で撮影されている場合でも、異なる撮影条件下で撮影されている場合でも、顔色を適正な色濃度で再生することができるとともに、画像全体について好ましい補正を行うことができる人物画像補正装置、人物画像補正方法および人物画像補正プログラムを提供することにある。

上記課題を解決するために、本発明は、複数の人物画像を補正する人物画像補正装置であって、
入力された前記複数の人物画像から顔の領域を抽出する顔領域抽出手段と、
前記複数の人物画像が同一撮影条件下で撮影されているか否かを判定する同一撮影条件判定手段と、
前記同一撮影条件判定手段の判定結果に基づいて、前記顔領域抽出手段で抽出された前記顔の領域の情報を用いて前記人物画像の色および濃度の少なくとも一方を補正する画像補正手段と、を備えたことを特徴とする人物画像補正装置を提供する。

ここで、前記同一撮影条件判定手段は、
前記複数の人物画像に撮影された人物のうち同一人物を特定する同一人物特定手段と、
前記同一人物特定手段により特定された前記同一人物に対する特徴量の類似度を算出する特徴量類似度算出手段とを備え、
前記特徴量類似度算出手段によって算出された前記特徴量の類似度に基づいて、前記複数の人物画像が同一撮影条件下で撮影されているか否かを判定するのが好ましい。

また、前記画像補正手段は、
前記複数の人物画像が同一撮影条件下で撮影されていると判定されたときは、前記複数の人物画像の全部を同一の補正量で補正し、同一撮影条件下で撮影されていないと判定されたときは、前記複数の人物画像のそれぞれをその人物画像についての補正量で補正するのが好ましい。

また、上記課題を解決するために、本発明は、入力された前記複数の人物画像から顔の領域を抽出し、
前記複数の人物画像が同一撮影条件下で撮影されているか否かを判定し、
前記判定の結果に基づいて、抽出された前記顔の領域の情報を用いて前記人物画像の色および濃度の少なくとも一方を補正することを特徴とする人物画像補正方法を提供する。

ここで、前記同一撮影条件下で撮影されているか否かの判定は、
前記複数の人物画像に撮影された人物のうち同一人物を特定し、
特定された前記同一人物に対する特徴量の類似度を算出し、
算出された前記特徴量の類似度に基づいて行うのが好ましい。

また、前記複数の人物画像が同一撮影条件下で撮影されていると判定したときは、前記複数の人物画像の全部を同一の補正量で補正し、同一撮影条件下で撮影されていないと判定したときは、前記複数の人物画像のそれぞれをその人物画像についての補正量で補正するのが好ましい。

また、上記課題を解決するために、本発明は、コンピュータを、
入力された前記複数の人物画像から顔の領域を抽出する顔領域抽出手段、
前記複数の人物画像が同一撮影条件下で撮影されているか否かを判定する同一撮影条件判定手段、および、
前記同一撮影条件判定手段の判定結果に基づいて、前記顔領域抽出手段で抽出された前記顔の領域の情報を用いて前記人物画像の色および濃度の少なくとも一方を補正する画像補正手段、として機能させるための人物画像補正プログラムを提供する。

また、本発明は、上記いずれかの人物画像補正方法をコンピュータに実行させるための人物画像補正プログラムを提供する。

本発明によれば、人物が撮影された複数の画像に対し、それらが同一撮影条件下で撮影されている場合でも、異なる撮影条件下で撮影されている場合でも、顔色を適正な色濃度で再生することができるとともに、画像全体について好ましい補正を行うことができる。

本発明に係る人物画像補正装置、人物画像補正方法および人物画像補正プログラムを、添付の図面に示す好適実施例に基づいて以下に詳細に説明する。

図１は、本発明の人物画像補正方法を実施する本発明の人物画像補正装置の一実施形態を示すブロック図である。
図１に示す人物画像補正装置１０は、入力された複数の人物画像（画像データ）に対して、同一撮影条件下で撮影されているか否かの判定を行って、その判定の結果に基づいて人物画像の色および濃度の補正方式を変更して補正を行って、補正後の人物画像（補正済み画像データ）を出力するものである。
人物画像補正装置１０は、顔領域抽出手段１２と、同一撮影条件判定手段１４と、画像補正手段１６とを備えている。

人物画像補正装置１０は、コンピュータに本発明の人物画像補正プログラムを実行させることによって実現することができる。すなわち、本発明の人物画像補正プログラムは、コンピュータを、顔領域抽出手段１２、同一撮影条件判定手段１４および画像補正手段１６として機能させるものである。
また、人物画像補正装置１０の構成要素の一部または全部を、所定の演算処理を実行するハードウェアにより構成してもよい。

人物画像補正装置１０には、画像入力機やプリント注文受付機など（以下、まとめて画像入力機と呼ぶ）が直接的または間接的に接続される。この画像入力機は、デジタルカメラ等での撮影によって取得された画像データが記録された各種メディアから画像データを読み出すためのメディアドライバ、インターネット等の通信回線を通じて画像データを取得するためのネットワーク接続装置、デジタルカメラやカメラ付き携帯電話等のデジタル撮像機器と直接接続するための端子、写真フィルムに撮影された画像を光電的に読み取って画像データを得るスキャナ等を備えるものであって、例えばプリント注文単位などでまとまった複数の撮影画像（画像データ）を取得する。

顔領域抽出手段１２は、入力された複数の人物画像のそれぞれから顔領域を抽出する。
同一撮影条件判定手段１４は、入力された複数の人物画像が同一撮影条件下で撮影されているか否かを判定するもので、好ましい形態として、同一人物特定手段１８および特徴量類似度算出手段２０を有している。

この同一人物特定手段１８は、顔領域抽出手段１２によって抽出された顔領域の情報に基づいて、複数の人物画像に撮影された人物のうちの同一人物を特定する。
また、特徴量類似度算出手段２０は、同一人物特定手段１８により特定された同一人物に対して、顔領域の特徴量の類似度を算出する。
同一撮影条件判定手段１４は、特徴量類似度算出手段２０によって算出された、同一人物についての特徴量の類似度に基づいて、入力された複数の画像について、同一撮影条件下で撮影されているか否かを判定する。

画像補正手段１６は、同一撮影条件判定手段１４による判定結果に応じて人物画像の色および濃度の補正方式を変更し、顔領域抽出手段１２で抽出された顔領域の情報を用いて、顔領域が適正な色となるように、入力されている人物画像の色および濃度を補正する。
具体的には、画像補正手段１６は、同一撮影条件判定手段１４によって複数の画像が同一撮影条件下で撮影されていると判定されたときは、それらの複数の画像の全部を同一の補正量で補正し、同一撮影条件下で撮影されていないと判定されたときは、各画像をその画像についての補正量で補正して、補正後の人物画像を出力する。

人物画像補正装置１０において実施される人物画像補正処理を、図２に示すフローチャートに沿って説明し、併せて人物画像補正装置１０の各部の作用を説明する。
人物画像補正装置１０は、複数枚の人物画像が顔領域抽出手段１２に入力されると（ステップＳ１０１）、入力された複数枚の人物画像のそれぞれに対して、顔領域抽出手段１２で顔領域を抽出する（ステップＳ１０２）。
顔領域の抽出方法には、特に制限はなく、肌色の範囲にある画素群の領域を顔領域として抽出する方法や、形状パターン検索による方法等、各種の公知技術を利用することができる。例えば、特開平８−１２２９４４号公報に記載の、色相値のヒストグラムに基づいてカラー原画像を分割し、分割された領域からカメラ情報等に基づいて顔領域を選択する方法や、特開平５−１００３２８号公報に記載の、画像中の人物の頭部輪郭や顔輪郭等の形状パターンを検出して顔領域を判断する方法が利用できる。

次に、同一撮影条件判定手段１４の同一人物特定手段１８で、入力された複数枚の人物画像に対して、同一人物が写っているかを探索し、同一人物を特定する（ステップＳ１０３）。
同一人物を特定する方法としては、公知の顔認証技術を特に制限なく利用することができる。例えば、特開２００３−３４６１４９号公報に記載の、予め複数の顔画像を記憶しておき、取得した顔画像と記憶された顔画像とを照合することにより人物を特定する方法が利用できる。この方法では、個人を照合する為のデータを予め記憶しておく必要があるが、そのようなデータは、予め十分なデータを人物画像補正装置１０の図示しない記憶部に有しておき、常にそのデータベースを参照してもよいし、１件分の処理をする度に、その対象に適した照合用データを作成または入手して、人物画像補正装置１０（その記憶部）に設定してもよい。例えば、補正対象とする画像が、ある学校の生徒の写真であれば、画像の補正処理に先立って、その学校の生徒の顔画像データベースを用意して、人物画像補正装置１０に設定すればよい。

また、本実施形態において同一人物を特定する為には、複数の画像に撮影された同一人物の顔を同定できればよいので、特定の人物のテンプレート顔画像を保持することなく、撮影画像中の各顔画像のパターンを解析し、複数の画像にわたってパターンマッチングを行うことにより、複数の画像における同一人物の顔を認証してもよい。

次に、同じく同一人物特定手段１８で、上記同一人物特定の結果から、同一人物が存在するか否かを判定する（ステップＳ１０４）。
同一人物が存在しなかった場合（ステップＳ１０４でＮｏの判定）は、画像補正手段１６では、その複数画像について画像単位での補正（以下、画像単位補正という）を行う（ステップＳ１０７に進む）。

同一人物が存在した場合（ステップＳ１０４でＹｅｓの判定）は、特徴量類似度算出手段２０で複数画像における同一人物に対する特徴量の類似度を算出して（ステップＳ１０５）、それらの画像が同一撮影条件下で撮影された画像か否かを判定する（ステップＳ１０６）。

ステップＳ１０５において、特徴量類似度算出手段２０では、まず、同一人物に対する顔領域の特徴量を計算する。
例えば、３画像においてある人物Ａが特定された場合、３画像中の人物Ａに対するそれぞれの顔領域のＲＧＢデータ平均値（Ｒf1、Ｇf1、Ｂf1）、（Ｒf2、Ｇf2、Ｂf2）、（Ｒf3、Ｇf3、Ｂf3）を算出する。

次に、各画像における同一人物の顔領域の特徴量について、その類似度を算出する。上記の例では、人物Ａに対する３画像の特徴量（Ｒf1、Ｇf1、Ｂf1）、（Ｒf2、Ｇf2、Ｂf2）、（Ｒf3、Ｇf3、Ｂf3）を比較する。
同一撮影条件下で撮影された画像の場合は、各画像における同一人物に対する顔領域特徴量が近くなるはずである。したがって、同一撮影条件下で撮影されているか否かを判定するには、各画像における顔領域特徴量が近いか否かを判定すればよい。

このような判定を行うための特徴量類似度は、複数の画像における顔領域特徴量の類似度を表すことのできる指標であれば、どのようなものでもよい。例えば、下記式（１）で表される値が利用できる。顔領域特徴量Ｒ，Ｇ，Ｂ成分それぞれの分散をＲv，Ｇv，Ｂvとすると、
特徴量類似度 ＝ １／（Ｒv＋Ｇv＋Ｂv） ・・・（１）
式（１）で表される特徴量類似度が大きいほど、該複数画像における顔領域の特徴量は近く、したがって、同一撮影条件下で撮影されている可能性が高くなり、逆に、式（１）で表される特徴量類似度が小さいほど、該複数画像における顔領域の特徴量はばらばらで、同一撮影条件下で撮影されている可能性が低くなるといえる。

特徴量類似度を算出すると、ステップＳ１０６において、この特徴量類似度を予め設定されている閾値と比較して、同一撮影条件で撮影されているか否かを判定する。この閾値は、経験値的に求めておけばよい。

なお、ステップＳ１０３およびＳ１０４において、入力された複数枚の画像の中で、同一人物として複数人が特定された場合は、ステップＳ１０５において、それぞれの人物について、複数画像における特徴量類似度を算出し、そのうちの最小値や最大値、あるいは平均値を閾値と比較すればよい。
例えば、本当は異なる撮影条件下で撮影されているが、同一撮影条件下で撮影されていると誤判定するのを極力避けたい場合は、複数人物についての特徴量類似度のうち最小値を用いるのが好ましい。また、本当は同一撮影条件下で撮影されているが、異なる撮影条件下で撮影されていると誤判定するのを極力避けたい場合は、複数人物についての特徴量類似度のうち最大値を用いるのが好ましい。両者の誤判定をバランス良く避けたければ、複数人物についての特徴量類似度の平均値を用いるのが好ましい。

ステップＳ１０６において、特徴量類似度が閾値よりも小さく、同一撮影条件で撮影されていないと判定された場合（ステップＳ１０６でＮｏの判定）は、画像補正手段１６では画像単位補正を行う（ステップＳ１０７に進む）。
特徴量類似度が閾値よりも大きく、同一撮影条件で撮影されていると判定された場合（ステップＳ１０６でＹｅｓの判定）は、画像補正手段１６では、１件の複数画像の単位での補正（以下、件単位補正という）を行う（ステップＳ１０８に進む）。

ここで、画像補正手段１６で行う画像単位補正および件単位補正の２つの補正方式について説明する。
まず、画像補正手段１６で画像単位補正を行う場合（ステップＳ１０７）の動作を説明する。

画像補正手段１６は、まず、入力された複数枚（N枚）の全人物画像のそれぞれに対して、顔領域の特徴量を算出する。例えば、ｉ番目（ｉ＝1,2,3・・・,N）の人物画像に対して、顔領域のＲＧＢデータ値の平均値（Ｒfi、Ｇfi、Ｂfi）を計算する。
次に、予め設定されている顔領域の目標値（顔目標値とする）（Ｒft、Ｇft、Ｂft）を用いて、顔領域のＲＧＢデータ値の平均値（Ｒfi、Ｇfi、Ｂfi）を顔目標値（Ｒft、Ｇft、Ｂft）に合わせるように補正するための補正ゲイン値（gainＲi，gainＧi，gainＢi）を、以下のように算出する。

すなわち、まず、顔領域のＲＧＢデータ値の平均値（Ｒfi、Ｇfi、Ｂfi）を、下記式（２）または（３）によって、輝度リニアな信号（lrfi，lgfi，lbfi）に変換する。ここで、例えば、入力画像データが８ｂｉｔの場合は、顔領域のＲＧＢデータ値の平均値を２５５で割った値をＲfi、Ｇfi、Ｂfiとして、下記式（２）、（３）を適用すればよい。
式（２）および（３）は、Ｒfiからlrfiを得る式であるが、同様にして、Ｇfi，Ｂfiからlgfi，lbfiを得る。

また、顔目標値（Ｒft、Ｇft、Ｂft）についても同様に、上記式（２）または（３）によって、輝度リニアな信号（lrft，lgft，lbft）に変換する。

次に、顔領域のＲＧＢデータ値の平均値（Ｒfi、Ｇfi、Ｂfi）から得られた（lrfi，lgfi，lbfi）と、顔目標値（Ｒft、Ｇft、Ｂft）から得られた（lrft，lgft，lbft）とから、下記式（４）によって、補正ゲイン値（gainＲi，gainＧi，gainＢi）を算出する。

なお、補正ゲイン値の算出方法は、他の方式でもよい。

次に、上記の補正ゲインを使って画像を補正する。
画像補正手段１６は、まず、入力された人物画像のデータ値（画素値）を輝度リニアな信号に変換する。
例えば、入力データが８ｂｉｔの場合、入力データ値を２５５で割った値を（Ｒin，Ｇin，Ｂin）とすると、Ｒinについて、下記式（５）または（６）によって、lr0を算出する。

lg0，lb0も同様の式でＧin，Ｂinより算出する。

次に、上記で得られた（lr0，lg0，lb0）に対して真数の修正値（gainＲ，gainＧ，gainＢ）で補正（ゲイン補正）を行って、（lr1，lg1，lb1）を得る。

最後に、補正後の信号（lr1，lg1，lb1）を再びガンマを掛けた信号に変換して（Ｒout，Ｇout，Ｂout）を得る。lr1について、下記式（８）または（９）により、Ｒoutを算出する。

Ｇout，Ｂoutも同様の式でlg1，lb1より算出する。
そして、例えば、補正済み画像を８ｂｉｔにする場合は、Ｒout，Ｇout，Ｂoutに２５５を掛けた値を出力データ値とする。

上記において、入力データ値（それに対応するＲin，Ｇin，Ｂin）および出力データ値（それに対応するＲout，Ｇout，Ｂout）は、１画素の値であり、補正対象画像の全画素について同様の計算を行う。

このように、ｉ番目の画像に対して算出した補正ゲイン値（gainＲi，gainＧi，gainＢi）を使って、ｉ番目の画像を補正する。すなわち、画像単位補正を行う場合は、個々の画像ごとに補正値を算出して補正を行う。

なお、対象の画像中に複数人の人物が写っている場合は、個々の人物対してその顔領域について算出した補正ゲインを、平均化して用いればよい。

なお、本実施形態では、ｓＲＧＢの規格に則って画像データを扱っているが、他の信号規格（例えば、ＩＴＵ−Ｒ．ＢＴ７０９等）に対応するものとしてもよく、その場合は、入力データ値を輝度リニアな信号に変換する上記式（５）、（６）およびその逆の変換をする上記式（８）、（９）として、その信号規格に対応する式を用いればよい。

次に、画像補正手段１６で件単位補正を行う場合（ステップＳ１０８）の動作を説明する。
画像補正手段１６では、上述の画像単位補正を行う場合と同様にして、入力された複数枚（N枚）の全人物画像のそれぞれに対して、補正ゲイン値（gainＲi，gainＧi，gainＢi）（ｉ＝1,2,3・・・,N）を算出する。
次に、全人物画像のそれぞれに対する補正ゲイン値（gainＲi，gainＧi，gainＢi）の平均値（gainＲav，gainＧav，gainＢav）を算出し、全人物画像に対して、この同一の補正ゲイン（gainＲav，gainＧav，gainＢav）を使って画像を補正する。すなわち、件単位補正を行う場合は、全画像に対して同一の補正を行う。
補正ゲインを使って画像を補正する方法は、上述の画像単位補正の場合と同様である。

以上により、画像単位補正または件単位補正によって、複数枚の人物画像全てに対して補正が行われた画像を出力する（ステップＳ１０９）。
人物画像補正装置１０から出力された補正済み画像は、デジタルの写真プリンタに送られてプリント作成に供される。また、表示装置やメディアドライバ等の記録装置に送られて画像表示や画像データの保管が行われてもよい。

なお、上記の例では、同一撮影条件判定手段１４の特徴量類似度算出手段２０で同一人物の顔領域特徴量の類似度を算出するときと、画像補正手段１６で補正ゲイン値を算出するときとで、個々に顔領域の特徴量（顔領域のＲＧＢデータの平均値（Ｒfi、Ｇfi、Ｂfi））を算出している。これに対し、人物画像補正装置１０において、顔領域特徴量を算出する手段を別に設けて、その結果を特徴量類似度算出手段２０と画像補正手段１６とで利用する構成にしてもよい。そうすることで、演算時間を短縮することができる。

また、上記の例では、顔領域の特徴量として、その顔領域のＲＧＢデータの平均値を用いているが、本発明はこれには限定されず、特徴量として他の値を用いてもよい。補正処理の精度を確保するためには、代表値として、比較的安定した値の得られる平均値や中央値を用いることが好ましいが、これに加えて最大値などを組み合わせて精度をさらに向上させることもできる。

次に、本発明の他の実施形態について説明する。
上述の実施形態では、人物画像補正装置１０の同一撮影条件判定手段１４において、特徴量類似度算出手段２０で算出した特徴量類似度に基づき、閾値を用いて同一撮影条件で撮影されたか否かを判定し、画像補正手段１６では、その判定結果に従って、補正方式を画像単位補正と件単位補正とで切り替えていた。
これに対し、本実施形態は、両補正方式を複合して用いることもできるようにし、特徴量類似度に基づいて両補正方式の重みを変えて画像補正を行う構成とする。

例えば、図３に示すような、特徴量類似度と、件単位補正を適用する度合いを表す件単位補正適用度ｗとの関係を予め求めておく。ここで、件単位補正適用度ｗは、０から１の間を取り、特徴量類似度に対して単調増加の関係になっている。

同一撮影条件判定手段１４は、特徴量類似度算出手段２０において算出した特徴量類似度に応じて件単位補正適用度ｗを算出し、算出した件単位補正適用度ｗを画像補正手段１６へ送る。
特徴量類似度算出手段２０で複数画像中に同一人物を特定できず、同一撮影条件下で撮影されているか否かの判断の手がかりが無い場合は、件単位補正適用度ｗを0とするか、0.5とするなど、予め設定した固定の値を用いればよい。

画像補正手段１６では、件単位補正適用度ｗに応じて以下のように動作させる。
すなわち、ｉ番目の画像に対して算出した補正ゲイン値（gainＲi，gainＧi，gainＢi）と、全画像に対する上記補正ゲイン値（gainＲi，gainＧi，gainＢi）の平均値（gainＲav，gainＧav，gainＢav）と、件単位補正適用度ｗとを使って、最終的にｉ番目の画像の補正に適用する補正ゲイン（gainＲwi，gainＧwi，gainＢwi）を下記式（１０）により算出する。

上記式（１０）より、件単位適用度ｗ＝１の場合は、

となり、件単位補正を行うことになる。
一方、件単位適用度ｗ＝０の場合は、

となり、画像単位補正を行うことになる。

また、０＜ｗ＜１の場合は、件単位補正と画像単位補正の中間の補正になる。すなわち、件単位補正および画像単位補正の両方を、件単位補正適用度ｗにより定まる重みで適用した補正になる。

本実施形態によれば、同一人物特定手段１８によって同一人物が特定されなかった場合や、同一人物が特定された画像数が補正対象画像の全体数に比べて少なかった場合など、あるいは、同一人物が特定されても、特徴量類似度が上記実施形態における閾値に近い場合など、同一撮影条件であるか否かが明確に判定できない場合において、誤った判定により不適切な補正を行ってしまうことを防ぎ、何れの場合も許容できる画質となるような補正を行うことができる。

次に、本発明のさらに異なる実施形態について説明する。
上述の各実施形態では、人物画像補正装置１０の同一撮影条件判定手段１４は、同一人物に対する特徴量類似度を用いて同一撮影条件であるか否かを判定している。
しかし、特徴量の類似度のみで判定したのでは、判定精度が不十分の場合がある。また、同一人物が存在しない場合は判定できない。
そこで、本実施形態は、上記の各実施形態に加え、同一撮影条件判定手段１４による同一撮影条件か否かの判定または件単位補正適用度ｗの算出に、画像データの付帯情報も利用する構成とする。すなわち、本実施形態の同一撮影条件判定手段１４は、同一人物特定手段１８および特徴量類似度算出手段２０に加え、付帯情報を判断する手段を有する構成とする。

例えば、人物画像補正装置１０に画像データが入力される際に、その付帯情報も入力される。付帯情報としては、撮影に用いたカメラ機種名、撮影日時、シャッタースピード、絞り、撮影モード、ホワイトバランス等の、撮影時にカメラで取得された情報が例示される。
同一撮影条件判定手段１４（その付帯情報判断手段）では、このような各付帯情報から同一撮影条件らしさｐを設定し、特徴量類似度と併せて、同一撮影条件か否かの判定または件単位補正適用度ｗの算出を行う。

例えば、同一撮影条件らしさｐとして、下記表１に示す複数の同一撮影条件らしさｐ１〜ｐ６を設定し、これらの総合ポイントを同一撮影条件か否かの判定または件単位補正適用度ｗの算出に加味する。
すなわち、同一撮影条件らしさｐ１〜ｐ６のそれぞれは、０から１の間を取る値とし、付帯情報から得られたカメラ機種名が同一の場合には、同一撮影条件らしさｐ１＝１とする。また、撮影日時の範囲が小さいほど同一撮影条件らしさｐ２を大きく設定する。シャッタースピードが一定の場合は同一撮影条件らしさｐ３＝１とし、絞りが一定の場合は同一撮影条件らしさｐ４＝１とし、撮影モードが一定の場合は同一撮影条件らしさｐ５＝１とし、デジタルカメラの場合ではホワイトバランスが一定の場合は同一撮影条件らしさｐ６＝１とする。

上記の付帯情報は、任意の１以上を用いることができるが、同一撮影条件らしさの判断の確度を高めるためには、上記の付帯情報のうちなるべく多くの項目を用いるのが好ましい。上記以外の項目をさらに用いてもよい。また、上記の付帯情報のうち、特に、カメラ機種名、撮影日時、シャッタースピードおよびホワイトバランスは、同一撮影条件らしさを判断するのに有用であるので、少なくともこれらを用いるのが好ましい。

また、上記の各実施形態において、同一撮影条件判定手段１４は、特徴量類似度算出手段２０によって特徴量類似度を計算するときに、同一人物に対する顔領域の特徴量類似度に加えて、例えば、背景領域の特徴量類似度も算出し、同一撮影条件の判定に用いてもよい。
このような背景領域の特徴量を用いることで、同一人物が特定されない場合も、画像の特徴量から同一撮影条件か否かの判定を行うことができる。

なお、特徴量を算出する背景領域としては、人物の顔領域を除いた背景領域、人物像全体（顔および身体）を除いた背景領域、人物その他の被写体を除いたほぼ一定色の背景領域、人物を含めた画像全体の特徴量などを用いることができる。

次に、本発明のさらに異なる実施形態について説明する。
上述の各実施形態では、人物画像補正装置１０の同一撮影条件判定手段１４が同一人物特定手段１８および特徴量類似度算出手段２０を有し、画像中の人物に着目して同一撮影条件で撮影されたか否かを判定した。
しかし、本発明はこれには限定されず、人物の情報を用いずに、同一撮影条件で撮影されたか否かの判定を行ってもよい。

図４に示す人物画像補正装置２２において、同一撮影条件判定手段２４は、上述の画像データの付帯情報、および、背景領域の特徴量または画像全体の特徴量の類似度を単独または組み合わせて用いて、同一撮影条件で撮影されたか否かの判定を行う。
すなわち、同一撮影条件判定手段２４は、背景領域や画像全体の特徴量を算出し、各画像における特徴量の類似度を算出する特徴量類似度算出手段、および、付帯情報を判断して同一撮影条件らしさｐを得る付帯情報判断手段の少なくとも一方を有する構成とする。

人物画像補正装置２２の顔領域抽出手段１２および画像補正手段１６は、図１の人物画像補正装置１０におけるそれらと同様の構成であり、画像補正手段１６は、同一撮影条件判定手段２４による判定結果に応じて、顔領域抽出手段１２によって抽出された顔領域が適正な色濃度で再現されるように、画像単位補正または件単位補正の何れかを実行する。

件単位補正適用度ｗによって両補正方式を用いる場合にも、上述の例と同様にして、同一撮影条件判定手段２４で件単位補正適用度ｗを算出し、画像補正手段１６で件単位補正適用度ｗに応じた補正を実行する。

なお、上記の各実施形態では、色および濃度の両方を補正する形態としたが、本発明はこれには限定されず、色および濃度のいずれか一方を補正するものとしてもよい。

以上、本発明に係る人物画像補正装置、人物画像補正方法および人物画像補正プログラムについて詳細に説明したが、本発明は上記種々の実施例に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。

本発明の人物画像補正装置の一実施形態を示すブロック図である。 図１の人物画像補正装置において実施される人物画像補正処理のフローチャートである。 特徴量類似度と件単位補正適用度ｗとの関係を示す図である。 本発明の人物画像補正装置の他の実施形態を示すブロック図である。

符号の説明

１０、２２ 人物画像補正装置
１２ 顔領域抽出手段
１４、２４ 同一撮影条件判定手段
１６ 画像補正手段
１８ 同一人物特定手段
２０ 特徴量類似度算出手段

Claims (8)

1. 複数の人物画像を補正する人物画像補正装置であって、
   入力された前記複数の人物画像から顔の領域を抽出する顔領域抽出手段と、
   前記複数の人物画像が同一撮影条件下で撮影されているか否かを判定する同一撮影条件判定手段と、
   前記同一撮影条件判定手段の判定結果に基づいて、前記顔領域抽出手段で抽出された前記顔の領域の情報を用いて前記人物画像の色および濃度の少なくとも一方を補正する画像補正手段と、を備えたことを特徴とする人物画像補正装置。
2. 前記同一撮影条件判定手段は、
   前記複数の人物画像に撮影された人物のうち同一人物を特定する同一人物特定手段と、
   前記同一人物特定手段により特定された前記同一人物に対する特徴量の類似度を算出する特徴量類似度算出手段とを備え、
   前記特徴量類似度算出手段によって算出された前記特徴量の類似度に基づいて、前記複数の人物画像が同一撮影条件下で撮影されているか否かを判定することを特徴とする請求項１に記載の人物画像補正装置。
3. 前記画像補正手段は、
   前記複数の人物画像が同一撮影条件下で撮影されていると判定されたときは、前記複数の人物画像の全部を同一の補正量で補正し、同一撮影条件下で撮影されていないと判定されたときは、前記複数の人物画像のそれぞれをその人物画像についての補正量で補正することを特徴とする請求項１または２に記載の人物画像補正装置。
4. 入力された前記複数の人物画像から顔の領域を抽出し、
   前記複数の人物画像が同一撮影条件下で撮影されているか否かを判定し、
   前記判定の結果に基づいて、抽出された前記顔の領域の情報を用いて前記人物画像の色および濃度の少なくとも一方を補正することを特徴とする人物画像補正方法。
5. 前記同一撮影条件下で撮影されているか否かの判定は、
   前記複数の人物画像に撮影された人物のうち同一人物を特定し、
   特定された前記同一人物に対する特徴量の類似度を算出し、
   算出された前記特徴量の類似度に基づいて行うことを特徴とする請求項４に記載の人物画像補正方法。
6. 前記複数の人物画像が同一撮影条件下で撮影されていると判定したときは、前記複数の人物画像の全部を同一の補正量で補正し、同一撮影条件下で撮影されていないと判定したときは、前記複数の人物画像のそれぞれをその人物画像についての補正量で補正することを特徴とする請求項４または５に記載の人物画像補正方法。
7. コンピュータを、
   入力された前記複数の人物画像から顔の領域を抽出する顔領域抽出手段、
   前記複数の人物画像が同一撮影条件下で撮影されているか否かを判定する同一撮影条件判定手段、および、
   前記同一撮影条件判定手段の判定結果に基づいて、前記顔領域抽出手段で抽出された前記顔の領域の情報を用いて前記人物画像の色および濃度の少なくとも一方を補正する画像補正手段、として機能させるための人物画像補正プログラム。
8. 請求項４〜６のいずれかに記載の人物画像補正方法をコンピュータに実行させるための人物画像補正プログラム。

Images