JP2021086269A - 画像処理装置、その制御方法及びプログラム - Google Patents

Abstract

【課題】画像から検出した顔を補正する場合に、違和感のない画像をユーザに提供できるようにする。【解決手段】システム制御部５は、画像処理回路４を用いて、撮影画像から顔領域を検出する顔検出処理と、顔領域に含まれる目、鼻、口等の器官を検出する器官検出処理とを実行し、検出した顔領域のテカり補正量を算出する。システム制御部５は、撮影画像内に複数の顔が存在する場合、顔の優先度及び顔に関する情報の相対的な差に基づいて、各顔領域のテカり補正量を調整する。【選択図】図１

Description

本発明は、画像処理装置、その制御方法及びプログラムに関する。

従来、撮影画像中に含まれる被写体、特に人物の顔領域に対して明るさを適切に調整する機能を有する撮像装置が提案されている。例えば画像から顔領域を検出する画像処理によって、顔領域の平均的な明るさを求め、その明るさに基づいて絞りやシャッタースピード、感度等を調整する露出制御機能が存在する。一方で、露出制御機能においては、顔領域内に明暗差が存在する場合に顔領域全体の明るさを適切に維持することが困難である。特に顔に強い光が照射されている場合等は、光の反射によって顔の一部が高輝度になってしまう、テカりが発生し、画像の品位を損なう要因となっている。

このような課題を解決する技術として、画像から検出した顔領域内の高輝度領域を補正するテカり補正機能を有する画像処理装置が存在する。例えば特許文献１には、テカリを除去若しくは軽減するために、被写体の所定部位（例えば、顔や目や口など）を検出し、その検出結果（所定部位の位置や色など）に基づいて各画素の補正の程度が決定されることが開示されている。

特開２００５−３２７００９号公報

しかしながら、画像から検出した顔領域内の高輝度領域を補正するテカり補正では、顔領域を検出する処理や、目、鼻、口等の器官を検出する処理の精度に補正性能が依存する傾向にある。そして、画像内に複数の顔が存在する場合、顔毎に補正を行うと、顔間で補正段差が発生し、不自然な画像となってしまうおそれがある。
この課題に対して、各顔の補正量の最小値を求めて全顔に適用したり、顔毎の補正量を平均化して全顔に適用したりすること等が考えられる。しかしながら、前者では例えば画像内にユーザの撮影したい顔とは無関係の顔が存在するだけで、ユーザが撮影したい顔のテカり補正が抑えられて劣化してしまう懸念がある。また、後者では十分な精度で顔や器官の位置がわからない顔に対して補正を実施することで、過補正や誤補正のリスクが高まる懸念がある。

本発明は上記の様な課題を鑑みてなされたものであり、画像から検出した顔を補正する場合に、違和感のない画像をユーザに提供できるようにすることを目的とする。

本発明の画像処理装置は、画像から顔を検出する顔検出手段と、前記顔検出手段で検出した顔の補正領域に対する補正量を決定する決定手段とを備え、前記決定手段は、前記画像内で複数の顔が検出されたとき、顔の優先度及び顔に関する情報の相対的な差に基づいて、前記補正量を決定することを特徴とする。

本発明によれば、画像から検出した顔を補正する場合に、違和感のない画像をユーザに提供することができる。

実施形態に係る撮像装置の構成例を示すブロック図である。 実施形態に係る撮像装置が実行するテカり補正処理を示すフローチャートである。 テカり補正量の算出処理の詳細を示すフローチャートである。 高輝度領域、肌色領域、及び器官領域を説明するための図である。 補正ゲインの特性例を示す図である。 顔検出処理及び器官検出処理の信頼度に応じたゲインの特性例を示す図である。 顔サイズに応じてテカり補正量を調整する必要性を説明するための図である。 顔サイズに応じたゲインの特性例を示す図である。 顔領域内で位置によって肌の色味が異なる状態を説明するための図である。 顔領域内の色分布に応じたゲインの特性例を示す図である。 撮影画像内に複数の顔が存在する例を説明するための図である。 テカり補正量の調整処理の詳細を示すフローチャートである。 被写体間調整ゲインの特性例を示す図である。

以下、添付図面を参照して、本発明の好適な実施形態について説明する。
図１は、実施形態に係る撮像装置の構成例を示すブロック図である。本実施形態では、撮像装置が、本発明を適用した画像処理装置として機能する。
光学系１は、フォーカスレンズ（Focus Lens）及びズームレンズ（Zoom Lens）を含むレンズ群と、絞り機構とを備える。
撮像素子２は、ＣＣＤやＣＭＯＳ等のセンサにより構成され、アナログ信号をデジタル信号に変換するＡ／Ｄ変換器を含む。センサ表面は例えばベイヤー配列のようなＲＧＢカラーフィルタにより覆われ、カラー撮影が可能である。光学系１を通過した被写体像が撮像素子２上で結像されると、画像データが生成されて、メモリ３に記憶される。
メモリ３は、撮像素子２によって変換された画像データや画像処理装置全般の処理に必要なデータを保持する。

画像処理回路４は、メモリ３に保持された画像データに対して所定の画素補間処理や色変換処理、ノイズリダクション処理等の処理を行う。画像処理回路４は、画像から顔領域や、顔領域に含まれる目、鼻、口等の器官を検出し、その検出結果に基づいて顔領域の部分的な画素値や平均的な画素値、顔領域の代表色等を求めることができる。本実施形態において、後述するテカり補正機能も画像処理回路４で実施することが可能である。また、画像処理回路４は、撮影待機中に撮像した画像データを用いて所定の演算処理を行い、システム制御部５が撮影条件を決定するために必要な評価値の生成を行う。例えば近年では撮像素子２によって変換された画像データの位相差情報から被写体のデフォーカス量を求め、そのデフォーカス量からフォーカスレンズの移動量を決定する撮像面ＡＦの機能が実現されている。この撮像面ＡＦにおけるデフォーカス量の演算アルゴリズム等も画像処理回路４を用いて高速に処理することにより、システム制御部５はリアルタイムにフォーカスレンズの移動量を後述のフォーカスレンズ制御部７に指示することが可能である。

システム制御部５は、撮像装置全体を制御する。システム制御部５は、画像処理回路４で生成した評価値に基づいて撮影条件を決定するとともに、シャッター速度、絞り値、感度、フォーカスレンズ及びズームレンズの制御値等を、それぞれ露光量制御部６、フォーカスレンズ制御部７、焦点距離制御部８に出力する。また、システム制御部５は、記録媒体１０への画像記録、削除に関する制御も行う。
露光量制御部６は、光学系１の絞り機構、撮像素子２の露光時間、及び撮影感度を調整し、適切な露光量制御を行う。
フォーカスレンズ制御部７は、光学系１のフォーカスレンズを制御する。フォーカスレンズ制御部７は、システム制御部５の指示に従ってフォーカスレンズを駆動することにより、被写体への正確なピント合わせを実現する。
焦点距離制御部８は、光学系１のズームレンズを制御する。焦点距離制御部８は、システム制御部５の指示に従ってズームレンズを駆動することにより、焦点距離を変更する。

圧縮・伸長回路９は、静止画データをＪＰＥＧフォーマットに従って圧縮する機能、及び動画像データをＨ.２６４／ＡＶＣに代表される圧縮アルゴリズムに従って圧縮し、ＭＰＥＧやＭＯＶファイル等に変換する機能を有する。圧縮・伸長回路９で圧縮した静止画データや動画像データは記録媒体１０に記録される。また、圧縮・伸長回路９は、撮影された静止画や動画像を再生する場合、逆に記録媒体１０に記録された圧縮後の動画像データを伸長し、メモリ３に保持するとともに、表示部１１を介してユーザに画像を表示する。
記録媒体１０は、圧縮・伸長回路９で圧縮された静止画データや動画像データを記録することができる。

表示部１１は、撮像装置上のＬＣＤや外部モニタ等により構成される。
操作部材１２は、ユーザの入力を受け付ける操作部材であり、撮像装置が具備する各種ボタンからのキー入力や表示部１１に設けられたタッチパネル等からのユーザ操作を受け付ける。操作部材１２によって受け付けたユーザの入力に従って、システム制御部５は撮像装置の動作の決定や変更を行う。
通信部１３は、外部記録装置とのデータの送受信を行う。通信部１３は、画像データを記録媒体１０から読み出して外部記録装置に送信する機能を有する。

次に、図２を参照して、実施形態に係る撮像装置が実行するテカり補正処理について説明する。
図２は、実施形態に係る撮像装置が実行するテカり補正処理を示すフローチャートである。図２のフローチャートは、例えばシステム制御部５が所定のプログラムを実行することにより実現され、システム制御部５の制御下で画像処理回路４及びメモリ３を用いて各処理が実施される。

ステップＳ１０１で、システム制御部５は、画像処理回路４を用いて、撮影画像から顔領域を検出する顔検出処理を実行する。顔検出処理としては、画像のパターンマッチングやニューラルネットワーク等の学習アルゴリズムを使った手法が提案されており、その詳細については本発明の主旨とは異なるためここでは省略する。顔検出処理により、一般的に顔領域の中心座標、サイズ、顔の向き（上下左右）等を知ることが可能である。なお、撮影画像から顔領域が検出されない場合、以降の処理を実行する必要はなく、本処理を抜ける。

ステップＳ１０２で、システム制御部５は、画像処理回路４を用いて、ステップＳ１０１において検出した顔領域に対して、目、鼻、口等の器官を検出する器官検出処理を実行する。顔検出処理及び器官検出処理は共に、一般的に顔の明るさや顔の状態に精度が依存し、例えば顔の一部が装飾物や影等によって隠れていた場合は得られる情報の精度が劣化する。

ステップＳ１０３で、システム制御部５は、ステップＳ１０１において検出した顔領域のテカり補正量（以下、補正量と称する）を算出する。ステップＳ１０３の処理が、本発明でいう算出手段による処理の例である。
ここで、図３〜図５を参照して、補正量の求め方について説明する。
図３は、ステップＳ１０３の補正量の算出処理の詳細を示すフローチャートである。
ステップＳ２０１で、システム制御部５は、ステップＳ１０１の顔検出処理及びステップＳ１０２の器官検出処理の結果に基づいて、顔領域内の高輝度領域（テカり領域）の画素値と、高輝度領域を除いた肌色領域の画素値と、肌色領域のＲＧＢ比とを算出する。図４に示すように、高輝度領域及び肌色領域は、顔領域をｎ×ｍのブロックに分割し、ブロック積分を行うことにより算出される各ブロックの平均画素値を用いて判別する。ブロックの平均画素値が閾値ＴＨ１以上であるブロックを高輝度領域１００と判定する。また、ブロックの平均画素値が閾値ＴＨ１未満であるブロックを肌色領域１０２する。この場合に、正確な高輝度領域１００及び肌色領域１０２を求めるには、肌領域とは異なる目や口等の器官を除外する必要がある。そこで、高輝度領域１００及び肌色領域１０２は、図４に示すように、器官検出処理の結果に基づいて目や口等の器官を含む器官領域１０１を除外した領域から算出するものとする。以上の処理により、高輝度領域１００の平均画素値Ｙｈと、肌色領域１０２の平均画素値Ｙｌと、肌色領域１０２のＲＧＢ毎の平均画素値（Ｒｌ，Ｇｌ，Ｂｌ）とを得ることができる。

ステップＳ２０２で、システム制御部５は、顔領域で補正領域とする高輝度領域１００に対する補正量を決定する補正ゲインαを求める。高輝度領域１００の画素値をＲｈ、Ｇｈ、Ｂｈとしたとき、テカり補正後の画素値Ｒ'、Ｇ'、Ｂ'は、補正ゲインαを用いて、式（１）で示すことができる。補正ゲインαが１のとき、テカり補正後の画素値Ｒ'，Ｇ'，Ｂ'は肌色領域１０２の画素値と完全に一致し（補正量が大きい）、補正ゲインαが小さいほど補正量が小さくなる。
Ｒ'＝Ｒｈ−（Ｒｈ−Ｒｌ）×α
Ｇ'＝Ｇｈ−（Ｇｈ−Ｇｌ）×α
Ｂ'＝Ｂｈ−（Ｂｈ−Ｂｌ）×α （０≦α≦ｌ） ・・・式（１）

補正ゲインαは、例えば図５に示すような特性を有する。図５は、補正ゲインαが高輝度領域１００の平均画素値Ｙｈと肌色領域１０２の平均画素値Ｙｌとの差（Ｙｈ−Ｙｌ）から決定されることを示す。図５の例では、Ｙｈ−Ｙｌが閾値Ｄ１未満では補正ゲインαが０であり、Ｙｈ−Ｙｌが閾値Ｄ１以上になると補正ゲインαが大きくなってテカり補正が実施され、Ｙｈ−Ｙｌが閾値Ｄ２以上になると補正ゲインαがＬｉｍにクリップされる。補正ゲインαを１にすると高輝度領域１００の明るさが肌色領域１０２の明るさに完全に一致してしまうため、顔領域内の明暗差が消失してしまい、かえって不自然な画像になる可能性が高くなる。そこで、Ｌｉｍ＜１に設定して、補正限界を設定する。

以上のように補正量を算出することにより、テカり領域の明るさを補正して、テカりを低減することが可能であるが、補正性能は顔検出処理及び器官検出処理の検出精度に依存するところが大きい。そのため、顔検出処理及び器官検出処理の結果が正しくないと、背景や、目や口等の肌色領域以外の画素値を用いて補正量を算出することになり、誤補正の可能性が高くなる。

そこで、このような誤補正対策のために、ステップＳ２０３で、システム制御部５は、補正量を調整する調整ゲインβを求める。調整ゲインβは、顔検出処理及び器官検出処理の信頼度に応じたゲインｇ１と、顔サイズ（顔領域のサイズ）に応じたゲインｇ２と、顔領域内の色分布に応じたゲインｇ３とにより、式（２）のように算出される。
β＝ｇ１×ｇ２×ｇ３ （０≦ｇ１、ｇ２、ｇ３≦ｌ） ・・・式（２）

式（２）を用いて調整ゲインβを算出し、テカり補正後の画素値Ｒ'、Ｇ'、Ｂ'は、補正ゲインαと合わせて、式（３）のように表すことができる。
Ｒ'＝Ｒｈ−（Ｒｈ−Ｒｌ）×α×β
Ｇ'＝Ｇｈ−（Ｇｈ−Ｇｌ）×α×β
Ｂ'＝Ｂｈ−（Ｂｈ−Ｂｌ）×α×β （０≦α≦ｌ）（０≦β≦ｌ）・・・式（３）

ゲインｇ１は、顔検出処理及び器官検出処理の信頼度に応じたゲインである。テカり補正の補正性能は顔検出処理及び器官検出処理の検出精度に依存するため、顔領域の位置や各器官の位置が正確に求められる場合であれば補正性能が高いといえる。よって、顔領域及び器官（右目、左目、口等）の検出時の信頼度をそれぞれ（ｔ１，ｔ２，・・・，ｔｎ）としたときに、その最小値ｍｉｎ｛ｔ１，ｔ２，・・・，ｔｎ｝に基づいて、例えば図６に示すような特性に従ってゲインｇ１を求める。信頼度が閾値Ｔｈ１未満ではゲインｇ１が０であり、信頼度が閾値Ｔｈ１以上になるとゲインｇ１が大きくなり、信頼度が閾値Ｔｈ２以上になるとゲインｇ１が１にクリップされる。なお、最小値ｍｉｎ｛ｔ１，ｔ２，・・・，ｔｎ｝でなく、（ｔ１，ｔ２，・・・，ｔｎ）の平均値等に基づいてゲインｇ１を求めるようにしてもよい。
このような顔検出処理及び器官検出処理の信頼度に応じたゲインｇ１により、顔領域や器官の検出信頼度が低い場合はテカり補正の強度を低くして、誤補正を抑えることが可能である。

ゲインｇ２は、顔サイズに応じたゲインである。図７（ａ）に示すように顔領域が小さい場合、顔領域に相当するブロック分割の精度が粗くなるため、評価値Ｙｈ，Ｙｌ，Ｒｈ，Ｇｈ，Ｂｈ，Ｒｌ，Ｇｌ，Ｂｌの精度が劣化するおそれがある。これに対して、顔サイズに合わせてブロックサイズを小さくする等の方法も考えられるが、ブロックサイズを小さくすると１ブロックあたりに含まれる画素数が少なくなり、ノイズの影響を受けやすくなる等の問題がある。よって、顔サイズが小さい場合、補正量を抑える方が望ましい。一方で、図７（ｂ）に示すように画角に対して顔領域の占める割合が極端に大きい場合、ブロック積分の精度は十分である。しかしながら、撮像装置や被写体が動くと、図７（ｃ）に示すように顔領域の一部が画角外に外れてしまうため、テカり補正を正しく行うことができなくなる。この場合に、図７（ｂ）、（ｃ）それぞれのシーンの補正結果だけを見れば問題ないが、図７（ｂ）、（ｃ）を連続して撮影した場合、補正量に大きな差が生じるため、フレーム間の補正ムラとなってユーザに違和感を与える可能性が高い。よって、顔サイズに応じて、例えば図８に示すような特性に従ってゲインｇ２を求める。顔サイズが閾値Ｔｈ３未満ではゲインｇ２が０であり、顔サイズが閾値Ｔｈ３以上になるとゲインｇ２が大きくなり、顔サイズが閾値Ｔｈ４以上になるとゲインｇ２が１にクリップされる。そして、顔サイズが閾値Ｔｈ５以上になるとゲインｇ２が小さくなり、顔サイズが閾値Ｔｈ６以上になるとゲインｇ２が０になる。
このような顔サイズに応じたゲインｇ２により、誤補正やフレーム間の補正ムラを抑えることが可能である。

ゲインｇ３は、顔領域内の色分布に応じたゲインである。図９に示すように、顔領域内で位置によって肌の色味が異なる場合、高輝度領域１００を補正するときに、肌色領域１０２のうち領域２０１から算出した平均画素値（Ｒｌ，Ｇｌ，Ｂｌ）を使用すると、補正対象である高輝度領域１００と領域２０１との色比が異なり、補正後の肌色が周囲の領域２０２と合わなくなるおそれがある。よって、顔領域内の肌色領域１０２に含まれる各ブロックの色相のバラつきを表す分散を求め、例えば図１０に示すような特性に従ってゲインｇ３を求める。肌色領域の色相の分散σが閾値Ｔｈ７未満ではゲインｇ３が１にクリップされる。そして、分散σが閾値Ｔｈ７以上になるとゲインｇ３が小さくなり、分散σが閾値Ｔｈ８以上になるとゲインｇ３が０になる。
このような顔領域内の色分布に応じたゲインｇ３により、肌の色味が異なる誤補正を抑えることが可能である。

以上述べたように、図２のステップＳ１０３では、顔領域の補正量を算出することが可能である。ステップＳ１０３では、撮影画像内に複数の顔が存在する場合、顔領域毎に補正量が算出されることになる。

図２に説明を戻して、ステップＳ１０４で、システム制御部５は、撮影画像内に複数の顔領域が存在するか否かを判定する。システム制御部５が複数の顔領域が存在すると判定した場合、処理をステップＳ１０５に進め、システム制御部５が一つの顔領域だけが存在すると判定した場合、処理をステップＳ１０６に進める。

ステップＳ１０５で、システム制御部５は、ステップＳ１０３において算出した各顔領域の補正量を調整する。補正量は、顔領域毎に算出されるため、複数の顔領域が存在する場合、各顔領域の補正量にバラツキが発生し、ユーザに違和感を与えてしまうことが懸念される。そこで、複数の顔領域が存在する場合、顔の優先度及び顔に関する情報の相対的な差に基づいて、ステップＳ１０３において算出した各顔領域の補正量を調整する。ステップＳ１０５の処理が、本発明でいう調整手段による処理の例である。

ここで、撮影画像内に複数の顔が存在する場合に各顔領域の補正量を調整する処理について詳細に説明する。
図１１を参照して、撮影画像内に複数の顔が存在する場合に各顔領域の補正量を調整する目的について説明する。
ｉを顔のインデックスとして、各顔領域の補正量Ｐ（ｉ）を、ステップＳ１０３で示した式（３）における補正ゲインα及び調整ゲインβを用いて、式（４）のように定義する。図１１の例では、撮影画像に顔Ａ、Ｂ、Ｃが存在しており、それぞれの補正量をＰ１、Ｐ２、Ｐ３とする。
Ｐ（ｉ）＝α（ｉ）×β（ｉ） ・・・式（４）

図１１（ａ）は、撮影画像内において顔Ａ、Ｂ、Ｃが略同じサイズ（４０ｐｉｘｅｌ）である例を示す。図１１（ａ）の例では、顔Ａ、ＢのＰ１、Ｐ２に対して、顔ＣのＰ３が小さく、顔Ｃでテカり補正が抑えられるため、画像内の補正段差が目立ってしまう。これに対して、Ｐ１〜Ｐ３の最小値ｍｉｎ｛Ｐ１,Ｐ２,Ｐ３｝を求めて、Ｐ１〜Ｐ３を最小値で揃えるようにすれば、画像内の補正段差を抑えることが可能である。
一方、図１１（ｂ）は、撮影画像内において顔Ａ、Ｂが略同じサイズ（４０ｐｉｘｅｌ）であるが、顔Ｃが小さい（１０ｐｉｘｅｌ）例を示す。この場合、ユーザが撮影したいのは顔Ａ、Ｂであり、顔Ｃはユーザの意図しないところで写り込んだものであると想定される。そのため、図１１（ａ）と同様の最小値選択を採ると、ユーザの意図しない顔Ｃが写り込んだだけで、ユーザが撮影したい顔Ａ、Ｂのテカり補正が抑えられて劣化してしまう懸念がある。

このように画像内で補正段差が発生する場合において、各顔領域の補正量を適切に調整することが目的であり、以下、その具体的な手法について説明する。
図１２は、ステップＳ１０５の補正量の調整処理の詳細を示すフローチャートである。
ステップＳ３０１で、システム制御部５は、撮影画像内の顔の優先度（優先順位）を決定する。顔の優先度の決定の仕方には様々な方法があるが、ここでは顔サイズ、顔領域の位置（中心座標）、顔検出処理の信頼度のうち少なくとも一つ以上の指標の加重加算で求めるものとする。また、優先度を求めるに際して、他にも、顔の向き、ユーザ選択の有無、過去の撮影結果といった特徴量を利用してもよい。例えば電子ビューファインダーを使って被写体を追いながら撮影するような場合においては、過去に撮影画像内に写っている被写体の優先度を高くしたり、ユーザがタッチ操作によって選択した顔の優先度を高くしたりする等の方法も可能である。図１１の例では、顔Ａの優先度が最も高く、顔Ｃの優先度が最も低い。

ステップＳ３０２で、システム制御部５は、優先度の最も高い顔と、それ以外の顔の中で、優先度の最も高い顔の補正量Ｐとの差が最も大きい顔との顔サイズ比Ｓを算出する。例えば図１１（ａ）の例では、優先度の最も高い顔Ａと、顔Ａの補正量Ｐとの差が最も大きい顔Ｃとの顔サイズ比ＳはＳ＝４０／４０＝１．０となる。また、図１１（ｂ）の例では、優先度の最も高い顔Ａと、顔Ａの補正量Ｐとの差が最も大きい顔Ｃとの顔サイズ比ＳはＳ＝４０／１０＝４．０となる。

ステップＳ３０３で、システム制御部５は、式（５）を用いて、複数の顔の補正量Ｐの最大値と最小値との差分Ｄｉｆｆを算出する。図１１（ａ）、（ｂ）の例では、共にＤｉｆｆ＝１．０−０．２＝０．８となる。
Ｄｉｆｆ＝ｍａｘ｛Ｐ１，Ｐ２，Ｐ３｝−ｍｉｎ｛Ｐ１，Ｐ２，Ｐ３｝ ・・・式（５）

ステップＳ３０４で、システム制御部５は、ステップＳ３０２において算出した顔サイズ比Ｓを入力として、例えば図１３に示すような特性に従って被写体間調整ゲインγを求める。顔サイズ比Ｓが第１の閾値（図示例では１．０）未満では被写体間調整ゲインγが１にクリップされる。そして、顔サイズ比Ｓが第１の閾値以上になると被写体間調整ゲインγが小さくなり、顔サイズ比Ｓが第２の閾値（図示例では５．０）以上になると被写体間調整ゲインγが０になる。
図１１（ａ）の例では、顔サイズ比Ｓ＝１．０であり、被写体間調整ゲインγ＝１．０となる。また、図１１（ｂ）の例では、顔サイズ比Ｓ＝４．０であり、被写体間調整ゲインγ＝０．２５となる。

ステップＳ３０５で、システム制御部５は、ステップＳ３０３において算出した差分Ｄｉｆｆに、ステップＳ３０４において求めた被写体間調整ゲインγを乗算し、その結果を、ステップＳ１０３において算出した各顔領域の補正量Ｐから減算する。
図１１（ａ）の例では、各顔領域の補正量Ｐ１〜Ｐ３が次のようになる。
Ｐ１＝１．０−γ×Ｄｉｆｆ＝１．０−１．０×０．８＝０．２
Ｐ２＝１．０−γ×Ｄｉｆｆ＝１．０−１．０×０．８＝０．２
Ｐ３＝１．０−γ×Ｄｉｆｆ＝０．２−１．０×０．８＝−０．６
このとき、それぞれ計算結果がステップＳ３０３において求めた最小値ｍｉｎ｛Ｐ１，Ｐ２，Ｐ３｝を下回る場合、最小値でクリップする。
以上の調整の結果、Ｐ１＝０．２、Ｐ２＝０．２、Ｐ３＝０．２となり、被写体間の補正段差は解消される。

また、図１１（ｂ）の例では、各顔領域の補正量Ｐ１〜Ｐ３が次のようになる。
Ｐ１＝１．０−γ×Ｄｉｆｆ＝１．０−０．２５×０．８＝０．８
Ｐ２＝１．０−γ×Ｄｉｆｆ＝１．０−０．２５×０．８＝０．８
Ｐ３＝１．０−γ×Ｄｉｆｆ＝０．２−０．２５×０．８＝０
最小値ｍｉｎ｛Ｐ１，Ｐ２，Ｐ３｝を下回る場合は最小値でクリップすると、Ｐ１＝０．８、Ｐ２＝０．８、Ｐ３＝０．２となり、顔Ｃの影響で必要以上に顔Ａ、Ｂの補正量が失われることがない。

また、他の例として、図１１（ｃ）は、撮影画像内において優先度の最も高い顔Ａのサイズが小さく、優先度の最も低い顔Ｃのサイズが大きい例を述べる。図１１（ｃ）の例では、ステップＳ３０２において算出する顔サイズ比Ｓは、顔Ａと顔Ｂとのサイズ比Ｓ＝２０／３０＝０．６６７となる。そして、ステップＳ３０３において算出する差分Ｄｉｆｆ＝１．０−０．２＝０．８、ステップＳ３０４において求める被写体間調整ゲインはγ＝１．０となる。したがって、各顔領域の補正量Ｐ１〜Ｐ３が次のようになる。
Ｐ１＝１．０−γ×Ｄｉｆｆ＝１．０−１．０×０．８＝０．２
Ｐ２＝１．０−γ×Ｄｉｆｆ＝０．２−１．０×０．８＝−０．６
Ｐ３＝１．０−γ×Ｄｉｆｆ＝１．０−１．０×０．８＝０．２
最小値ｍｉｎ｛Ｐ１，Ｐ２，Ｐ３｝を下回る場合は最小値でクリップすると、Ｐ１＝０．２、Ｐ２＝０．２、Ｐ３＝０．２となり、優先度の高い顔の補正量を優先度の低い顔の補正量が上回ることなく、補正段差を解消することができる。

ステップＳ１０６で、システム制御部５は、テカり補正を実行する。すなわち、ステップＳ１０４において一つの顔領域だけが存在する場合、ステップＳ１０３において算出した補正量を用いて高輝度領域の画素値補正を実行する。一方、ステップＳ１０４において複数の顔が存在する場合、ステップＳ１０５において調整した補正量を用いて高輝度領域の画素値補正を実行する。

以上のように、撮影画像内に複数の顔が存在する場合に、優先度、顔サイズ比、補正量Ｐの最大値と最小値との差分とを用いて、各顔領域の補正量を調整することにより、補正段差をなくすことができる。これにより、違和感なく各顔のテカりを補正することが可能であり、撮影画像の品位を向上させ、違和感のない画像をユーザに提供することができる。
なお、本実施形態においては、図１２のステップＳ３０２〜Ｓ３０４において、顔のサイズ比を用いて被写体間調整ゲインγを求めたが、これに限られるものではない。例えば被写体の優先度の相対的な差や、顔検出処理及び器官検出処理の信頼度の差等を用いて同様のゲイン調整を行うことも可能である。

以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２：撮像素子、３：メモリ、４：画像処理回路、５：システム制御部

Claims (10)

1. 画像から顔を検出する顔検出手段と、
   前記顔検出手段で検出した顔の補正領域に対する補正量を決定する決定手段とを備え、
   前記決定手段は、前記画像内で複数の顔が検出されたとき、顔の優先度及び顔に関する情報の相対的な差に基づいて、前記補正量を決定することを特徴とする画像処理装置。
2. 前記顔検出手段で検出した顔に含まれる器官を検出する器官検出手段を備え、
   前記決定手段は、前記顔検出手段で検出した顔及び前記器官検出手段で検出した器官に基づいて、前記補正領域及び前記補正量を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記補正領域は、テカり領域となる高輝度領域であり、
   前記補正量は、テカりを低減する補正量であることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記優先度は、前記顔検出手段で検出した顔のサイズ、位置、及び向き、前記顔検出手段による顔検出処理の信頼度、ユーザ選択の有無、並びに過去の撮影結果のうちの少なくともいずれか一つ以上の特徴量に基づいて決定されることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記顔に関する情報の相対的な差として、顔サイズ比、前記優先度の差、及び前記顔検出手段による顔検出処理の信頼度の差のうちの少なくともいずれか一つを用いることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記顔に関する情報の相対的な差は、前記優先度の最も高い顔に対する差として決定されることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記決定手段は、
   前記顔検出手段で検出した顔の前記補正量を算出する算出手段と、
   前記画像内で複数の顔が検出されたとき、前記優先度及び前記顔に関する情報の相対的な差に基づいて、前記算出手段で算出した前記補正量を調整する調整手段とを備えたことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記調整手段は、前記算出手段で算出した複数の顔の前記補正量の最大値と最小値との差分を用いて、前記算出手段で算出した前記補正量を調整することを特徴とする請求項７に記載の画像処理装置。
9. 画像から顔を検出する顔検出ステップと、
   前記顔検出ステップで検出した顔の補正領域に対する補正量を決定する決定ステップとを有し、
   前記決定ステップでは、前記画像内で複数の顔が検出されたとき、顔の優先度及び顔に関する情報の相対的な差に基づいて、前記補正量を決定することを特徴とする画像処理装置の制御方法。
10. 画像から顔を検出する顔検出手段と、
    前記顔検出手段で検出した顔の補正領域に対する補正量を決定する決定手段としてコンピュータを機能させ、
    前記決定手段は、前記画像内で複数の顔が検出されたとき、顔の優先度及び顔に関する情報の相対的な差に基づいて、前記補正量を決定することを特徴とするプログラム。

Images