JP2009302700A - 撮像装置、画像処理装置およびプログラム - Google Patents

Abstract

【課題】ホワイトバランスのずれを調整して、撮影画像から人物の顔領域をより正確に抽出することが可能な技術を提供する。
【解決手段】撮像装置１は、撮影画像に対して異なるホワイトバランス処理を施して複数の調整画像ＰＡ１〜ＰＡ５を生成する生成手段と、複数の調整画像ＰＡ１〜ＰＡ５において肌色領域ＳＲを抽出する抽出手段とを備える。また、撮像装置１は、当該肌色領域ＳＲが人物の顔領域であるか否かを所定の基準に基づいて判定する判定手段と、複数の調整画像ＰＡ１〜ＰＡ５のうち、顔領域であると判定された肌色領域を含む調整画像（例えばＰＡ１）を適正調整画像として選択する選択手段とをさらに備える。
【選択図】図９

Description

本発明は、デジタルカメラなどの撮像装置およびそれに関連する技術に関する。

デジタルカメラなどの撮像装置において、撮影画像中から人物の顔領域を検出し当該顔領域が適正な明るさとなるように当該撮影画像の明るさを調整する技術が存在する。

より具体的には、撮影画像中における肌色領域を抽出して顔領域を特定し、当該顔領域の輝度を適正に補正する技術が存在する。例えば、特許文献１においては、人物の肌色領域を検出し、当該人物の肌色領域を適正露出とするように露出を調整することが示されている。

特開平４−１５０６９２号公報

ところで、撮影画像中における肌色領域を抽出して顔領域を特定し、当該顔領域の輝度を抽出する場合には、ホワイトバランスのずれに起因する問題が存在する。

具体的には、撮像装置により推定された照明光の色と人物領域を実際に照らす照明光の色とが異なるとき（すなわち、ホワイトバランスのずれが存在するとき）には、本来「肌色」として抽出されるべき顔領域の色が、「肌色」としては認識されないことがある。例えば、ホワイトバランスのずれに起因して、顔領域が本来の肌色よりも青味を帯びた色に変更されて認識されると、この顔領域は「肌色」領域としては抽出されない。このように、ホワイトバランスのずれに起因して、「肌色領域」が正確に抽出されないという問題が存在する。そして、このときには人物の顔領域も正確に抽出されない。

そこで、この発明の課題は、ホワイトバランスのずれを調整して、撮影画像から人物の顔領域をより正確に抽出することが可能な技術を提供することにある。

本発明の第１の側面は、撮影画像に対して異なるホワイトバランス処理を施して複数の調整画像を生成する生成手段と、前記複数の調整画像において肌色領域を抽出する抽出手段と、前記肌色領域が人物の顔領域であるか否かを所定の基準に基づいて判定する判定手段と、前記複数の調整画像のうち、前記所定の基準を充足し人物の顔領域であると判定された肌色領域が含まれる調整画像を適正調整画像として選択する選択手段とを備える撮像装置および画像処理装置である。

本発明の第２の側面は、コンピュータに、a)撮影画像に対して異なるホワイトバランス処理を施して複数の調整画像を生成する手順と、b)前記複数の調整画像において肌色領域を抽出する手順と、c)前記肌色領域が人物の顔領域であるか否かを所定の基準に基づいて判定する手順と、d)前記複数の調整画像のうち、前記所定の基準を充足し人物の顔領域であると判定された肌色領域が含まれる調整画像を適正調整画像として選択する手順とを実行させるためのプログラムである。

本発明によれば、ホワイトバランスのずれを調整して、撮影画像から人物の顔領域をより正確に抽出することが可能である。

以下、本発明の実施形態を図面に基づいて説明する。

＜１．第１実施形態＞
＜１−１．構成概要＞
図１および図２は、本発明の第１実施形態に係る撮像装置１の外観構成を示す図である。ここで、図１は、撮像装置１の正面外観図であり、図２は、撮像装置１の背面外観図である。この撮像装置１は、レンズ交換式一眼レフレックスタイプのデジタルカメラとして構成されている。なお、撮像装置１は、後述のような画像処理を実行する画像処理装置であるとも表現される。

図１に示すように、撮像装置１は、カメラ本体部（カメラボディ）２を備えている。このカメラ本体部２に対して、交換式の撮影レンズユニット（交換レンズ）３が着脱可能である。

撮影レンズユニット３は、主として、鏡胴３６、ならびに、鏡胴３６の内部に設けられるレンズ群３７（図３参照）及び絞り等によって構成される。レンズ群３７（撮影光学系）には、光軸方向に移動することによって焦点位置を変更するフォーカスレンズ等が含まれている。

カメラ本体部２は、撮影レンズユニット３が装着される円環状のマウント部Ｍｔを正面略中央に備え、撮影レンズユニット３を着脱するための着脱ボタン８９を円環状のマウント部Ｍｔ付近に備えている。

また、カメラ本体部２は、その正面右上部にモード設定ダイヤル８２を備えている。モード設定ダイヤル８２を操作することによれば、カメラの各種モード（各種撮影モード（人物撮影モード、風景撮影モード、およびフルオート撮影モード等）、撮影した画像を再生する再生モード、および外部機器との間でデータ交信を行う通信モード等を含む）の設定動作（切替動作）を行うことが可能である。

また、カメラ本体部２は、正面左端部に撮影者が把持するためのグリップ部１４を備えている。グリップ部１４の上面には露光開始を指示するためのレリーズボタン１１が設けられている。グリップ部１４の内部には電池収納室とカード収納室とが設けられている。電池収納室にはカメラの電源として、例えばリチウムイオン電池が収納されており、カード収納室には撮影画像の画像データを記録するためのメモリカード９０（図３参照）が着脱可能に収納される。

レリーズボタン１１は、半押し状態（Ｓ１状態）と全押し状態（Ｓ２状態）との２つの状態を検出可能な２段階検出ボタンである。レリーズボタン１１が半押しされＳ１状態になると、被写体に関する記録用静止画像（本撮影画像）を取得するための準備動作（例えば、ＡＦ制御動作およびＡＥ制御動作等）が行われる。また、レリーズボタン１１がさらに押し込まれてＳ２状態になると、当該本撮影画像の撮影動作（撮像素子５（後述）を用いて被写体像（被写体の光像）に関する露光動作を行い、その露光動作によって得られた画像信号に所定の画像処理を施す一連の動作）が行われる。

図２において、カメラ本体部２の背面略中央上部には、ファインダ窓（接眼窓）１０が設けられている。撮影者は、ファインダ窓１０を覗くことによって、撮影レンズユニット３から導かれた被写体の光像を視認して構図決定を行うことができる。すなわち、光学ファインダを用いて構図決めを行うことが可能である。

図２において、カメラ本体部２の背面の略中央には、背面モニタ１２が設けられている。背面モニタ１２は、例えばカラー液晶ディスプレイ（ＬＣＤ）として構成される。背面モニタ１２は、撮影条件等を設定するためのメニュー画面を表示すること、および再生モードにおいてメモリカード９０に記録された撮影画像を再生表示することなどが可能である。

背面モニタ１２の左上部にはメインスイッチ８１が設けられている。メインスイッチ８１は２点スライドスイッチからなり、接点を左方の「ＯＦＦ」位置に設定すると、電源がオフになり、接点の右方の「ＯＮ」位置に設定すると、電源がオンになる。

背面モニタ１２の右側には方向選択キー８４が設けられている。この方向選択キー８４は円形の操作ボタンを有し、この操作ボタンにおける上下左右の４方向の押圧操作と、右上、左上、右下及び左下の４方向の押圧操作とを、それぞれ検出できるように構成されている。なお、方向選択キー８４は、上記８方向の押圧操作とは別に、中央部のプッシュボタンの押圧操作も検出できる。

背面モニタ１２の左側には、メニュー画面の設定、画像の削除などを行うための複数のボタンからなる設定ボタン群８３が設けられている。

＜１−２．機能ブロック＞
つぎに、図３を参照しながら、撮像装置１の機能の概要について説明する。図３は、撮像装置１の機能構成を示すブロック図である。

図３に示すように、撮像装置１は、操作部８０、全体制御部１０１、フォーカス制御部１２１、ミラー制御部１２２、シャッタ制御部１２３、タイミング制御回路１２４、およびデジタル信号処理回路５０等を備える。

操作部８０は、レリーズボタン１１（図１参照）を含む各種ボタンおよびスイッチ等を備えて構成される。操作部８０に対するユーザーの入力操作に応答して、全体制御部１０１が各種動作を実現する。

全体制御部１０１は、マイクロコンピュータとして構成され、主にＣＰＵ、メモリ、及びＲＯＭ等を備える。全体制御部１０１は、ＲＯＭ（ＥＥＰＲＯＭ等）内に格納されるプログラムを読み出し、当該プログラムをＣＰＵで実行することによって、各種の機能を実現する。

全体制御部１０１は、画像生成制御部２１と肌色領域抽出部２２と顔領域判定部２３と選択部２４とシーン判定部２５と輝度調整部２６と評価値算出部２７とを含む各処理部を実現する。

画像生成制御部２１は、撮像素子５によって取得された撮影画像（露光画像）に対して、互いに異なるホワイトバランス処理（ＷＢ処理とも表記する）を施して複数の調整画像を生成する画像生成処理を制御する。当該ホワイトバランス処理は、画像生成制御部２１の制御下において、ＷＢ補正回路５４等を用いて実行される。

肌色領域抽出部２２は、複数の調整画像において肌色領域を抽出する。

顔領域判定部２３は、肌色領域抽出部２２によって抽出された肌色領域が人物の顔領域であるか否かを所定の基準に基づいて判定する。また、評価値算出部２７は、人物の顔領域らしさを表す評価値を、前記抽出された各肌色領域について算出する。なお、後述するように、顔領域判定部２３は、評価値算出部２７によって算出された評価値に基づいて、肌色領域が人物の顔領域であるか否かを判定するようにしてもよい。

選択部２４は、複数の調整画像のうち、「顔領域」であると判定された肌色領域を含む調整画像を「適正調整画像」（適正なＷＢ調整が施された画像）として選択する。

シーン判定部２５は、適正調整画像に基づいて、当該撮影画像に関する撮影シーンが逆光状態であるか順光状態であるかを判定する。

輝度調整部（階調補正部）２６は、適正調整画像に基づいて輝度補正（階調補正）を行う。詳細には、輝度調整部２６は、シーン判定部２５による逆光判定結果にも基づいて輝度補正を行う。

全体制御部１０１は、これらの処理部を用いて、撮影画像に対して適切なホワイトバランス調整処理を施して、人物の肌色領域（顔領域）を適切に抽出する。

また、全体制御部１０１は、ＡＦモジュール２０およびフォーカス制御部１２１等と協動して、フォーカスレンズの位置を制御する合焦制御動作を行う。全体制御部１０１は、ＡＦモジュール２０によって検出される被写体の合焦状態に応じて、フォーカス制御部１２１を用いてＡＦ動作を実現する。なお、ＡＦモジュール２０は、ミラー機構６を介して進入してきた光を用いて、位相差方式等の合焦状態検出手法により被写体の合焦状態を検出することが可能である。

フォーカス制御部１２１は、全体制御部１０１から入力される信号に基づいて制御信号を生成しモータＭ１を駆動することによって、撮影レンズユニット３のレンズ群３７に含まれるフォーカスレンズを移動する。また、フォーカスレンズの位置は、撮影レンズユニット３のレンズ位置検出部３９によって検出され、フォーカスレンズの位置を示すデータが全体制御部１０１に送られる。このように、フォーカス制御部１２１および全体制御部１０１等は、フォーカスレンズの光軸方向の動きを制御する。

ミラー制御部１２２は、ミラー機構６が光路から退避した状態（ミラーアップ状態）とミラー機構６が光路を遮断した状態（ミラーダウン状態）との状態切替を制御する。ミラー制御部１２２は、全体制御部１０１から入力される信号に基づいて制御信号を生成しモータＭ２を駆動することによって、ミラーアップ状態とミラーダウン状態とを切り替える。

シャッタ制御部１２３は、全体制御部１０１から入力される信号に基づいて制御信号を生成しモータＭ３を駆動することによって、シャッタ４の開閉を制御する。

タイミング制御回路１２４は、撮像素子５等に対するタイミング制御を行う。

撮像素子（ここではＣＣＤセンサ（単にＣＣＤとも称する））５は、光電変換作用により被写体の光像を電気的信号に変換して、本撮影画像に係る画像信号（記録用の画像信号）を生成する。撮像素子５は、記録画像取得用の撮像素子であるとも表現される。

撮像素子５は、タイミング制御回路１２４から入力される駆動制御信号（蓄積開始信号および蓄積終了信号）に応答して、受光面に結像された被写体像の露光（光電変換による電荷蓄積）を行い、当該被写体像に係る画像信号を生成する。また、撮像素子５は、タイミング制御回路１２４から入力される読出制御信号に応答して、当該画像信号を信号処理部５１へ出力する。また、タイミング制御回路１２４からのタイミング信号（同期信号）は、信号処理部５１及びＡ／Ｄ（アナログ／デジタル）変換回路５２にも入力される。

撮像素子５で取得された画像信号は、信号処理部５１において所定のアナログ信号処理が施され、当該アナログ信号処理後の画像信号はＡ／Ｄ変換回路５２によってデジタル画像データ（画像データ）に変換される。この画像データは、デジタル信号処理回路５０に入力される。

デジタル信号処理回路５０は、Ａ／Ｄ変換回路５２から入力される画像データに対してデジタル信号処理を行い、撮像画像に係る画像データを生成する。デジタル信号処理回路５０は、黒レベル補正回路５３、ホワイトバランス（ＷＢ）回路５４、γ補正回路５５及び画像メモリ５６を備える。

黒レベル補正回路５３は、Ａ／Ｄ変換回路５２が出力した画像データを構成する各画素データの黒レベルを基準の黒レベルに補正する。ＷＢ補正回路５４は、画像のホワイトバランス調整を行う。ホワイトバランス調整処理については後に詳述する。また、γ補正回路５５は、撮像画像の階調変換を行う。画像メモリ５６は、生成された画像データを一時的に記憶するための、高速アクセス可能な画像メモリであり、複数フレーム分の画像データを記憶可能な容量を有する。

本撮影時には、画像メモリ５６に一時記憶される画像データは、全体制御部１０１において適宜画像処理（圧縮処理等を含む）が施された後、カードＩ／Ｆ１３２を介してメモリカード９０に記憶される。

また、画像メモリ５６に一時記憶される画像データは、全体制御部１０１によって適宜ＶＲＡＭ１３１に転送され、背面モニタ１２に画像データに基づく画像が表示される。これによって、撮影画像を確認するための確認表示（アフタービュー）、および撮影済みの画像を再生する再生表示等が実現される。

＜１−３．撮影動作＞
図４を参照しながら、撮像装置１の動作について説明する。図４は、撮像装置１の撮影動作直後における動作を示すフローチャートである。

操作者によってレリーズボタン１１が全押し状態Ｓ２にまで押下されて撮影指令が付与されると、撮像装置１は、シャッタ４を所定の露光時間にわたって開放し、被写体に関する露光画像（画像データ）ＰＥを撮像素子５を用いて取得する。そして、撮像装置１は、当該画像データＰＥに対して次述するような肌色領域（顔領域）の抽出処理等を行う。また、撮像装置１は、当該抽出結果に基づいて、当該顔領域の輝度を適正化する輝度（明るさ）調整処理（γ補正）等をも施す。輝度調整動作等が施された画像データは、本撮影画像として生成され、メモリカード９０に記録される。以下では、撮像素子５により取得された露光画像（画像データ）ＰＥが画像メモリ５６に一時的に読み出された状態からメモリカード９０に記録されるまでの動作について、肌色領域（顔領域）の抽出動作（画像処理動作）に関連する動作を中心に説明する。

ここでは、図５に示されるような撮影シーンを想定する。この撮影シーンでは、淡い黄色の壁を背景として、画像内右側に人物が存在し、画像内左側にレンガが存在しているものとする。

このような画像においては、一般的に、画像の大部分を占める壁の「淡い黄色」が「白色」になるように、ホワイトバランス処理が施される。そして、このようなホワイトバランス処理が施されると、人物の顔領域（本来は肌色の領域）が青みを帯びた色に変更されることになる。そのため、通常の肌色抽出処理を行うと、上述のように、「肌色領域」が全く抽出されなくなるなどの問題が発生する。

この実施形態においては、以下のような動作を実行することによって、図５のような撮影シーンに関する人物の顔領域（肌色領域）を正確に抽出することが可能である。具体的には、互いに異なるホワイトバランス処理が施された複数（ここでは５つ）の調整画像ＰＡ１〜ＰＡ５が生成され、これらの調整画像ＰＡ１〜ＰＡ５に基づいて人物の顔領域等が適切に抽出される。

まず、ステップＳＰ１１では、ブロック画像が生成される。図６は、露光画像ＰＥ（ＰＥ１）における複数のブロックＢｊを示す図である。画像ＰＥは、横方向に４０個および縦方向に３０個に区分されている。この結果、画像ＰＥは、合計１２００個の小領域（ブロック）Ｂｊに区分されている。以下の処理においては、当該ブロックＢｊごとにその色を判定するものとする。具体的には、各ブロックＢｊにおける複数の色成分（Ｒ，Ｇ，Ｂ）の平均値をそれぞれ求め当該色成分毎の平均値に基づいて、当該ブロックＢｊの色を判定するものとする。これによれば、画素毎に「色」を判定する場合に比べて、処理の高速化を図ることができる。

次に、ステップＳＰ１２〜ＳＰ１５においては、元の露光画像ＰＥに基づく複数（Ｎ個）の調整画像ＰＡｉ（ｉ＝１，...，Ｎ）の生成処理が実行されるとともに、各調整画像ＰＡｉに基づく人物の顔領域（肌色領域）の抽出処理等が実行される。ここでは、ホワイトバランスゲインＧｒ，Ｇｇ，Ｇｂの異なる５組（Ｎ＝５）の組み合わせに基づいて５つの調整画像ＰＡ１〜ＰＡ５を生成する処理が実行されるとともに、当該５つの調整画像に基づいて肌色領域の抽出処理等が実行される。なお、ゲインＧｒは、Ｒ画素（赤色画素）に関するホワイトバランス調整用ゲインである。同様に、ゲインＧｇは、Ｇ画素（緑色画素）に関するホワイトバランス調整用ゲインであり、ゲインＧｂは、Ｂ画素（青色画素）に関するホワイトバランス調整用ゲインである。

ここでは、ホワイトバランスゲインの組み合わせ（Ｇｒ，Ｇｇ，Ｇｂ）＝（Ｇｒｉ，Ｇｇｉ，Ｇｂｉ）（ｉ＝１，...，５）として、図７に示すような５種類の組み合わせＣ１〜Ｃ５を例示する。

このうち、組み合わせＣ３は、元のホワイトバランスゲインの組み合わせ（Ｇｒ０，Ｇｇ０，Ｇｂ０）である。なお、元のホワイトバランスゲインは、例えば、撮像装置１が現在の撮影状況を推定することによって定めたホワイトバランスゲインである。あるいは、元のホワイトバランスゲインは、予め定められた固定値としてのホワイトバランスゲインであってもよい。

ホワイトバランスゲインの組み合わせＣ２は、組み合わせＣ３よりも若干赤みを増加させる組み合わせであり、ホワイトバランスゲインの組み合わせＣ１は、組み合わせＣ２よりも赤みをさらに増加させる組み合わせである。

一方、ホワイトバランスゲインの組み合わせＣ４は、組み合わせＣ３よりも若干青みを増加させる組み合わせであり、ホワイトバランスゲインの組み合わせＣ５は、組み合わせＣ４よりもさらに青みを増加させる組み合わせである。

これらのホワイトバランスゲインに関する複数の組み合わせＣ１〜Ｃ５においては、基準となるホワイトバランスゲインの組み合わせＣ３を中心として所定程度ずつ異なる複数のホワイトバランスゲインの組み合わせが規定されている。なお、これらの組み合わせＣ１〜Ｃ５は、所定のステップ幅でホワイトバランスを変更するものであるとも表現される。そして、これらの組み合わせＣ１〜Ｃ５は、それぞれ、互いに異なるホワイトバランス処理ＷＢ１１〜ＷＢ１５を実現する。

まず最初の組み合わせＣ１に関して、ステップＳＰ１２〜Ｓ１５の処理が実行される。

具体的には、ステップＳＰ１２では、ホワイトバランスゲインの組み合わせ（Ｇｒ，Ｇｇ，Ｇｂ）がｉ番目の組み合わせＣｉ（ここではＣ１）に設定される。そして、このホワイトバランスゲインの組み合わせＣｉを用いて画像ＰＥに対してホワイトバランス処理が施され、調整画像ＰＡｉが生成される。

また、ステップＳＰ１３では、調整画像ＰＡｉに対する肌色検出処理が実行される。

具体的には、調整画像ＰＡｉの各ブロックＢｊの色情報に基づいて肌色領域が抽出される。各ブロックＢｊが肌色ブロック（その色が肌色に分類されるブロック）であるか否かは次のようにして判定される。

具体的には、まず、当該ブロックＢｊ内の複数の画素についてのＲＧＢ成分ごとの平均画素値、すなわちブロックＢｊの平均画素値（Ｒave，Ｇave，Ｂave）が、輝度値Ｙと色成分Ｃｒ，Ｃｂとに変換される。

そして、図８に示されるように、当該ブロックＢｊに関する平均画素値の変換後の色成分（Ｃｒ，Ｃｂ）が、所定の範囲ＥＡ（肌色エリアないし肌色空間とも称する）内に存在する場合には、当該ブロックＢｊの色は「肌色」であると判定される。すなわち、当該ブロックＢｊは「肌色ブロック」であると判定される。なお、所定の範囲ＥＡは、Ｃｒ−Ｃｂ空間（色空間）において肌色を表す色空間である。また、抽出された肌色ブロックＢｊは、色空間内の肌色空間ＥＡにその色が属するブロックである、とも表現される。

また、肌色ブロックであると判定されたブロックＢｊが連続して存在する領域、すなわち、肌色ブロックの連続領域が「肌色領域」として抽出される。

その後、ステップＳＰ１４では、肌色領域の検出結果が保存される。具体的には、ステップＳＰ１３で抽出された肌色領域の位置（所属肌色ブロックの番号）等が記憶される。

さらに、ステップＳＰ１５では、Ｎ個（ここで５個）の全ての組み合わせについて、ステップＳＰ１２〜ステップＳＰ１４の処理が終了したか否かが判定される。全ての組み合わせについて既に終了している場合にはステップＳＰ１６に進み、未終了の組み合わせが残存している場合にはステップＳＰ１２に戻る。ここでは、未終了の組み合わせが残存しているため、ステップＳＰ１２に戻る。

つぎに、同様にして、次の組み合わせＣ２に関して、ステップＳＰ１２〜Ｓ１５の処理が実行される。

さらに、同様にして、組み合わせＣ３，Ｃ４，Ｃ５に関して、ステップＳＰ１２〜Ｓ１５の処理がそれぞれ実行される。

以上の処理によって、撮影画像ＰＥに対して異なるホワイトバランス処理ＷＢ１１〜ＷＢ１５が施され、複数の調整画像ＰＡ１〜ＰＡ５が生成されるとともに、当該調整画像ＰＡ１〜ＰＡ５のそれぞれに関する「肌色領域」が抽出される。

図９は、各調整画像ＰＡ１〜ＰＡ５においてそれぞれ抽出された肌色領域を示す図である。図９（ａ）は、ホワイトバランスゲインの組み合わせＣ１による調整画像ＰＡ１において抽出された肌色領域を示す図である。また、図９（ｂ）は、ホワイトバランスゲインの組み合わせＣ２による調整画像ＰＡ２において抽出された肌色領域を示す図である。同様に、図９（ｃ），（ｄ），（ｅ）は、それぞれ、ホワイトバランスゲインの組み合わせＣ３，Ｃ４，Ｃ５による調整画像ＰＡ３，ＰＡ４，ＰＡ５において抽出された肌色領域を示す図である。

ここでは、比較的赤色寄りのホワイトバランス処理ＷＢ１１が施された画像ＰＡ１（図９（ａ））において、顔領域に相当する領域が「肌色領域」として適切に抽出されている。また、画像ＰＡ２（図９（ｂ））において顔領域に相当する領域のうち「肌色領域」として抽出されている領域は、画像ＰＡ１において抽出された「肌色領域」よりも小さくなっている。さらに、画像ＰＡ３（図９（ｃ））においては、顔領域に相当する領域では「肌色領域」はほとんど検出されていない。また、画像ＰＡ４（図９（ｄ））および画像ＰＡ５（図９（ｅ））においては、顔領域に相当する領域では「肌色領域」は全く検出されていない。

一方、画像ＰＡ３〜ＰＡ５においては、画像の左下側の（赤色の）レンガ領域が「肌色領域」として誤検出されている。

ただし、以下に示すような処理を実行することによれば、このようにレンガ領域が肌色領域として誤検出される場合であっても、人物の肌色領域（顔領域）をより正確に検出することが可能である。なお、本発明は、次述するような判定処理を行う場合に限定されず、異なる判定処理を行うようにしてもよい。例えば、仮に、上記のような誤検出領域が存在しない場合等においては、次述するような判断基準とは異なる判断基準を用いて「適正調整画像」を選択するようにしてもよい。具体的には、最も大きな「肌色領域」を有する調整画像を、適正調整画像として選択するようにしてもよい。

さて、ステップＳＰ１６においては、抽出された肌色領域が人物の顔領域であるか否かが、次述するような基準に基づいて判定される。

より詳細には、当該基準は、３つのサブ基準ＣＴ１〜ＣＴ３、すなわち、
ＣＴ１）抽出された肌色領域ＳＲが撮影画像における所定の中央領域ＣＲ内に存在する旨の基準、
ＣＴ２）肌色領域に関する基準面積と抽出された肌色領域ＳＲの面積との相違が所定の範囲内である旨の基準、および
ＣＴ３）肌色領域の縦横比に関する基準値と抽出された肌色領域の縦横比との相違が所定の範囲内である旨の基準、
を含む。

図１０は、撮影画像における中央領域ＣＲを示す図である。図１０に示すように、人物の顔領域は撮影画像の中央に位置することが多い。そこで、ここでは「中央領域ＣＲ内に肌色領域ＳＲが存在すること」（基準ＣＴ１）を、当該肌色領域ＳＲが顔領域であると判定するための条件の１つとして採用する。この基準ＣＴ１は、肌色領域ＳＲの重心位置が中央領域ＣＲ内に存在することであるとも表現される。

また、基準ＣＴ２は、肌色領域ＳＲの大きさが人物の顔の大きさに相当するか否かを反映するものである。詳細には、抽出された肌色領域ＳＲの面積ＡＲ（図１１参照）が、肌色領域に関する基準面積ＡＳ（式（１）参照）と比較される。そして、その差（ＡＲ−ＡＳ）の絶対値が所定の範囲内（例えば基準面積ＡＳの１０％以内）であるか否かが判定される。なお、面積ＡＲは、撮像素子５の撮像面における面積である。

ここで、値Ｌｖは顔領域（実寸）の基準縦長さであり、値Ｌｈは顔領域（実寸）の基準横長さである。また、式（１）に示されるように、この基準面積ＡＳは、撮影時における撮影倍率βに応じて定められる。ここで、撮影倍率（被写体倍率とも称する）βは、焦点距離ｆと被写体までの距離（被写体距離）Ｌとを用いて、β＝ｆ／Ｌ、で表現される。

ただし、ここでは、式（２）に示されるように、肌色領域に関する基準面積ＡＳをさらに基準ブロック数ＮＳに変換した上で、上記の思想を実現するものとする。なお、値ＴＳは撮像素子の面積を表し、値ＴＢは画像全体のブロック数を表す。

具体的には、抽出された肌色領域に所属するブロックの数ＮＢと上記の基準ブロック数ＮＳとの差の絶対値（｜ＮＢ−ＮＳ｜）が所定範囲内（例えば基準ブロック数ＮＳの１０％以内）であるか否かが判定される。

また、基準ＣＴ３は、肌色領域ＳＲの形状（具体的には、縦横比）が人物の顔の形状（縦横比）に相当するか否かを反映するものである。詳細には、抽出された肌色領域ＳＲの縦横比ＲＲ（＝Ｌ２／Ｌ１）が、肌色領域の縦横比に関する基準値ＲＳ（＝Ｌｖ／Ｌｈ）（例えば、ＲＳ＝１．２）と比較される。そして、両者の差（ＲＲ−ＲＳ）の絶対値が所定の範囲内（例えば基準値ＲＳの１０％以内）であるか否かが判定される。なお、値Ｌ１は肌色領域ＳＲの水平方向の長さであり、値Ｌ２は肌色領域ＳＲの垂直方向の長さである（図１１参照）。なお、値Ｌ１，Ｌ２は、それぞれ、撮像素子５の撮像面における長さである。

ここでは、上記の３つの基準ＣＴ１，ＣＴ２，ＣＴ３の全てを満たす肌色領域ＳＲが、人物の顔領域であると判定されるものとする。

具体的には、画像ＰＡ１（図９（ａ））に関しては、その肌色領域ＳＲ１１が上記の３つの基準ＣＴ１，ＣＴ２，ＣＴ３の全てを満たすものとして判定される。一方、他の画像ＰＡ２〜ＰＡ５の肌色領域ＳＲに関しては、上記の３つの基準ＣＴ１，ＣＴ２，ＣＴ３のいずれかが満たされない。より詳細には、画像ＰＡ２の肌色領域ＳＲ１２および画像ＰＡ３の肌色領域ＳＲ１３は、人物の顔領域としては小さ過ぎるため、基準ＣＴ２が充足されない。また、逆に、画像ＰＡ５の肌色領域ＳＲ２５は、人物の顔領域としては大き過ぎるため、基準ＣＴ２が充足されない。さらに、画像ＰＡ３〜ＰＡ５の肌色領域ＳＲ２３，ＳＲ２４，ＳＲ２５は、各肌色領域ＳＲ２３，ＳＲ２４，ＳＲ２５がそれぞれ横長の領域として抽出されているため、基準ＣＴ３が充足されない。

この結果、図９に示す画像ＰＡ１〜ＰＡ５における肌色領域の中では、画像ＰＡ１の肌色領域ＳＲ１１のみが人物の肌色領域として抽出される。以上のようにして、各肌色領域ＳＲが人物の顔領域であるか否かが、３つの基準ＣＴ１，ＣＴ２，ＣＴ３を用いて判定される。

このような動作によれば、ホワイトバランスのずれが存在する場合においても、人物の顔領域（人物の肌色領域）をより正確に検出することができる。

なお、人物の顔領域であるか否かを判定する上記のような判定処理は、顔領域判定部２３等によって行われる。

その後、次のステップＳＰ１７においては、複数の調整画像のうち、人物の顔領域であると判定された肌色領域を含む調整画像が「適正調整画像」として選択される。

上述のように、図９の画像ＰＡ１〜ＰＡ５における肌色領域の中では、画像ＰＡ１の肌色領域ＳＲ１１のみが人物の顔領域として抽出される。この場合には、図９に示す画像ＰＡ１〜ＰＡ５の中では、画像ＰＡ１のみが適正調整画像であるとして選択される。

一方、複数の肌色領域が人物の顔領域として抽出される場合には、抽出された当該複数の肌色領域のうち適宜の肌色領域を含む調整画像を、適正調整画像として選択すればよい。

例えば、複数の肌色領域ＳＲ１１，ＳＲ１２の双方が人物の顔領域として抽出される場合には、当該肌色領域ＳＲ１１を含む調整画像ＰＡ１と肌色領域ＳＲ１２を含む調整画像ＰＡ２とのいずれかを適正調整画像として選択すればよい。

また、この場合には、２つの調整画像ＰＡ１，ＰＡ２のうち、対応する肌色領域ＳＲ１１，ＳＲ１２に関する所定の評価関数による評価値が高い方の画像を適正調整画像として選択することが好ましい。具体的には、人物の顔領域らしさを表現する評価関数を設定して各肌色領域に対する評価値を求め、複数の肌色領域のうち、その評価値が最も大きな肌色領域をさらに求める。そして、最終的に得られた肌色領域の所属先の調整画像を、適正調整画像として選択するようにすればよい。

このような評価関数としては、例えば、基準ＣＴ２に関連する評価関数を採用することができる。より詳細には、抽出された肌色領域ＳＲの面積ＡＲが肌色領域に関する基準面積ＡＳに近くなる程、その評価値が高くなる評価関数ＥＶ（例えば、式（３）のＥＶ１）を採用すればよい。そして、当該評価関数による評価値が高い方の肌色領域（例えばＳＲ１１）を含む調整画像ＰＡ１を適正調整画像として選択するようにすればよい。

あるいは、このような評価関数として、基準ＣＴ３に関連する評価関数を採用してもよい。より詳細には、抽出された肌色領域ＳＲの縦横比ＲＲが、肌色領域の縦横比に関する基準値ＲＳに近くなる程、その評価値が高くなる評価関数ＥＶ（例えば、ＥＶ２＝１／｜ＲＲ−ＲＳ｜）を採用してもよい。

さらには、このような評価関数として、別の基準に関する評価関数を採用してもよい。例えば、評価関数ＥＶ３＝１／｜ＰＴ−ＰＳ｜を採用するようにしてもよい。この評価関数ＥＶ３は、抽出された肌色領域ＳＲの（画像内での）重心位置ＰＴ（図１１参照）と複数のＡＦエリアＡＧ１〜ＡＧ４のうちの合焦対象エリア（例えばＡＦエリアＡＧ４）の重心位置ＰＳとの差が小さくなるほど、その評価値が高くなる評価関数である。これによれば、合焦位置付近の肌色領域を含む調整画像が適正調整画像として選択されやすくなる。

なお、１つの調整画像の中から複数の肌色領域が人物の顔領域として抽出される場合には、各調整画像において単一の肌色領域を予め選択しておくようにしてもよい。具体的には、上述のような評価関数（例えばＥＶ１〜ＥＶ３等）による評価値が比較的高い方の肌色領域を各調整画像の中から予め選択しておく。その後、上記と同様にして、選択された肌色領域を含む調整画像の中から、最適な調整画像を選択するようにしてもよい。

また、このような評価値の算出は、評価値算出部２７等によって行われる。なお、顔領域判定部２３は、このようにして評価値算出部２７によって算出された評価値に基づいて、各肌色領域がそれぞれ人物の顔領域であるか否かを判定するようにしてもよい。

次のステップＳＰ１８においては、シーン判定処理が実行される。このシーン判定処理は、撮影画像における撮影シーンが逆光状態であるか順光状態であるかを判定する処理である。このシーン判定処理は、「適正調整画像」に対して施される。

ここでは、逆光の度合いを示す次のような評価値ＥＲ（式（４）〜式（８）参照）を用いて、逆光状態であるか否かが判定される場合について例示する。

式（４）の（左辺の）評価値ＥＲは、式（５）〜式（８）に示すような４つの評価基準に関する評価値ＥＲ１〜ＥＲ４を総合的に評価する評価関数の値である。なお、値Ｋｋは、各評価値ＥＲｋに関する重み付け係数である。

まず、評価値ＥＲ１は、肌色領域ＳＲの平均輝度ＢＲ１aveの逆数である。当該平均輝度ＢＲ１aveが小さい程、逆光度合いが大きいものと判定される。

また、評価値ＥＲ２は、肌色領域ＳＲの周辺の所定領域ＲＡの平均輝度ＢＲ２aveである。当該平均輝度ＢＲ２aveが大きい程、逆光度合いが大きいものと判定される。

ここで、領域ＲＡは、肌色領域ＳＲの周辺の領域であり、図１２において斜線を付して示す領域である。肌色領域ＳＲをちょうど包含する矩形領域（肌色領域ＳＲに対する外接矩形内の領域）ＲＬ１をさらに外側に拡大した拡大領域ＲＬ２を想定するとき、領域ＲＡは、この拡大領域ＲＬ２から元の矩形領域ＲＬ１を除いた中空領域のうち、上半分の領域である。なお、拡大領域ＲＬ２は、例えば、矩形領域ＲＬ１が右方向および左方向にそれぞれ値Ｌ１に相当する長さにわたって拡げられるとともに、上方向および下方向にそれぞれ値（２／Ｌ２）に相当する長さにわたって拡げられた領域である。

また、評価値ＥＲ３は、画像内の複数のブロックＢｊの各輝度（平均輝度）のうちの最高輝度Ｙmaxと最低輝度Ｙminとの輝度差ＤＦ（＝｜Ｙmax−Ｙmin｜）である。当該輝度差ＤＦが大きい程、逆光度合いが大きいものと判定される。

さらに、評価値ＥＲ４は、画像内上部領域ＲＵ（図１３参照）の平均輝度ＢＲ４aveである。当該平均輝度ＢＲ４aveが大きい程、逆光度合いが大きいものと判定される。なお、画像内上部領域ＲＵは、画像を上下方向に３等分した領域のうち最も上部の領域である。

以上のような各評価値ＥＲ１〜ＥＲ４に基づいて、評価値ＥＲ（式（４）参照）が求められると、当該評価値ＥＲが所定の閾値ＴＨよりも大きいか否かに応じて、当該撮影画像に関する撮影シーンが逆光状態であるか否かが決定される。すなわち、評価値ＥＲが所定の閾値ＴＨよりも大きい場合には逆光状態であると判定され、評価値ＥＲが所定の閾値ＴＨよりも小さい場合には順光状態であると判定される。なお、評価値ＥＲが所定の閾値ＴＨと同一である場合（端的に言えば等号成立の場合）には、当該撮影シーンが順光状態であると判定されるようにしてもよく、あるいは、逆に、当該撮影シーンが逆光状態であると判定されるようにしてもよい。

その後、ステップＳＰ１９において、階調補正処理が実行される。

具体的には、ステップＳＰ１８で撮影シーンが逆光状態であると判定される場合には、肌色領域ＳＲの輝度ＹＳが適正輝度ＹＴになるように撮影画像ＰＥ全体の明るさが補正される。詳細には、肌色領域ＳＲの輝度ＹＳを目標値ＹＴに近づけるγ（ガンマ）補正曲線が採用され、当該γ補正曲線に基づくγ補正が施される。

図１４は、異なる補正量ＧＣを有する複数のγ補正曲線を示す図である。「＋３０」、「＋５０」、「＋７０」は画像全体の輝度（明るさ）を増加させる曲線であり、「−３０」、「−５０」、「−７０」は画像全体の輝度（明るさ）を減少させる曲線である。また、正負の符号の後の数値が大きくなるにつれて、その曲線による補正の程度が大きくなることを示している。

例えば、肌色領域ＳＲの輝度ＹＳ（値７０）を適正輝度ＹＴ（値１２０）にするためには、平均値を約５０増加させる（「＋５０」）γ補正曲線（ＧＣ＝＋５０）が採用され、当該γ補正曲線に基づくγ補正が施される。

これによれば、逆光状態において暗くなっていた人物の顔領域（肌色領域）の輝度が適正輝度になるように、明るさが補正される。

一方、撮影シーンが順光状態であると判定される場合には、（肌色領域ＳＲではなく）撮影画像ＰＥ全体の平均輝度ＹＳが適正輝度ＹＴになるように撮影画像ＰＥ全体の明るさが補正される。なお、これに限定されず、撮影シーンが順光状態であると判定される場合には、γ補正を全く行わないようにしてもよい。

このようにして、ステップＳＰ１９における階調補正処理が実行される。

上記のような動作によれば、撮影画像ＰＥに対して異なるホワイトバランス処理を施して複数の調整画像ＰＡ１〜ＰＡ５が生成される。また、当該複数の調整画像ＰＡ１〜ＰＡ５のそれぞれにおいて肌色領域が抽出され、各肌色領域が所定の基準（人物の顔領域であると判定するための基準）を充足するか否かが判定される。そして、これらの調整画像ＰＡ１〜ＰＡ５のうち、当該所定の基準を充足する肌色領域ＳＲ１１が抽出された調整画像ＰＡ１が、「適正調整画像」として選択される（図９（ａ）参照）。したがって、撮像装置側で想定している照明光の色と実際の照明光の色とが異なる場合にも、ホワイトバランスのずれを調整して、人物の顔領域としての「肌色領域」を撮影画像から正確に抽出することが可能である。

＜２．第２実施形態＞
第２実施形態は、第１実施形態の変形例である。以下では、第１実施形態との相違点を中心に説明する。

上記第１実施形態においては、複数のホワイトバランス処理ＷＢ１１〜ＷＢ１５（図７）がそれぞれ撮影画像ＰＥに施されて複数の調整画像ＰＡ１〜ＰＡ５が生成される場合を例示したが、本発明はこれに限定されない。

この第２実施形態においては、複数のホワイトバランス処理ＷＢ２１〜ＷＢ２５（図１５参照）がそれぞれ撮影画像ＰＥに対して施されて複数の調整画像ＰＡ１〜ＰＡ５が生成される場合を例示する。ここにおいて、複数のホワイトバランス処理ＷＢ２１〜ＷＢ２５は、複数種類の光源のそれぞれに対応して予め定められたホワイトバランスゲインの組み合わせによるホワイトバランス処理である。

図１５は、複数のホワイトバランス処理ＷＢ２１〜ＷＢ２５について説明する図である。

ホワイトバランス処理ＷＢ２１は、元の（撮影時の）ホワイトバランスゲインの組み合わせ（Ｇｒ０，Ｇｇ０，Ｇｂ０）で規定されるホワイトバランス処理である。

ホワイトバランス処理ＷＢ２２は、照明光が「太陽光（日向）」であるときに適切な色を実現するホワイトバランス処理である。ホワイトバランス処理ＷＢ２２においては、太陽光（日向）照明に対応して予め定められたホワイトバランスゲインの組み合わせ（ＧｒＤ，ＧｇＤ，ＧｂＤ）が利用される。

ホワイトバランス処理ＷＢ２３は、照明光が「太陽光（日陰）」であるときに適切な色を実現するホワイトバランス処理である。ホワイトバランス処理ＷＢ２３においては、太陽光（日陰）照明に対応して予め定められたホワイトバランスゲインの組み合わせ（ＧｒＳ，ＧｇＳ，ＧｂＳ）が利用される。

ホワイトバランス処理ＷＢ２４は、照明光が「蛍光灯」であるときに適切な色を実現するホワイトバランス処理である。ホワイトバランス処理ＷＢ２４においては、蛍光灯照明に対応して予め定められたホワイトバランスゲインの組み合わせ（ＧｒＦ，ＧｇＦ，ＧｂＦ）が利用される。

ホワイトバランス処理ＷＢ２５は、照明光が「タングステン光」であるときに適切な色を実現するホワイトバランス処理である。ホワイトバランス処理ＷＢ２５においては、タングステン光照明に対応して予め定められたホワイトバランスゲインの組み合わせ（ＧｒＴ，ＧｇＴ，ＧｂＴ）が利用される。

さて、ここでは、図１６に示すような撮影状況を例示する。具体的には、蛍光灯で照明された部屋の中に被写体人物が存在し、当該被写体人物の後ろ側には、太陽光が入射する窓が存在する状況を想定する。

このような撮影状況においては、太陽光が入射してくる窓が、画像内において大きな割合を占めているため、多くの場合、照明光が太陽光であることを前提とするホワイトバランス処理ＷＢ２１が実行される。

しかしながら、そのようなホワイトバランス処理ＷＢ２１が実行される場合には、蛍光灯で照明された人物の顔領域の色は、例えば「緑」がかった色になり、いわゆる「肌色」ではなくなる。そのため、肌色領域を抽出することによっては、顔領域を適切に検出することが困難である。

これに対して、この第２実施形態においては、第１実施形態と同様の動作（特に図３のステップＳＰ１１〜ＳＰ１５）において、複数の照明光源のそれぞれに対応した複数のホワイトバランス処理ＷＢ２１〜ＷＢ２５が実行される。この結果、例えば、撮影画像ＰＥ２（図１６）に対して、各ホワイトバランス処理ＷＢ２１〜ＷＢ２５が施された各調整画像ＰＡ２１〜ＰＡ２５（図１７（ａ）〜（ｅ）参照）がそれぞれ生成される。なお、調整画像ＰＡ２１はホワイトバランス処理ＷＢ２１が施された画像であり、調整画像ＰＡ２２はホワイトバランス処理ＷＢ２２が施された画像である。同様に、調整画像ＰＡ２３，ＰＡ２４，ＰＡ２５は、それぞれ、ホワイトバランス処理ＷＢ２３，ＷＢ２４，ＷＢ２５が施された画像である。

この場合、ステップＳＰ１６（図３）と同様の動作がさらに実行されると、図１７（ｄ）に示すように、蛍光灯照明に対応したホワイトバランス処理ＷＢ２４による調整画像ＰＡ２４において、被写体人物の顔に対応する領域が「肌色領域」として適切に抽出される。そして、ステップＳＰ１７（図３）と同様の動作がさらに実行されることによって、当該肌色領域を含む調整画像ＰＡ２４が適正調整画像として適切に選択される。さらに、ステップＳＰ１８，ＳＰ１９において、逆光シーン判定処理および輝度調整処理をそれぞれ適切に実行することが可能である。

また、図１８に示すような撮影状況においても、上記各実施形態の動作を適用することによって、適切な肌色領域の抽出処理および顔領域の抽出処理を適切に行うことが可能である。

図１８においては、日向（画像内右側領域ＱＲ）と日陰（画像内左側領域ＱＬ）とが混在する撮影シーンである。例えば、日向の照明光に合わせてホワイトバランスが調整された場合には、日陰に存在する人物は青みを帯びた状態で認識される。そのため、そのままの状態で肌色領域の抽出処理等を行うと、日陰の人物の顔領域は「肌色領域」として抽出されない。すなわち、上述したような問題が同様に生じる。

一方、このような撮影状況において、上記第２実施形態の動作を適用することによれば、日陰の照明光に合わせて予め調整されたホワイトバランス処理が施された調整画像ＰＡ２３からは、肌色領域が適切に抽出される。そのため、顔領域の抽出処理等をも適切に行うことが可能である。

また、同様に、このような撮影状況において、上記第１実施形態の動作を適用することによれば、複数の調整画像ＰＡ１〜ＰＡ５のいずれかから「肌色領域」が適切に抽出され得る。したがって、肌色領域の抽出処理および顔領域の抽出処理等を適切に行うことが可能である。

＜３．その他＞
以上、この発明の実施の形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。

たとえば、上記各実施形態においては、ブロックＢｊ内の複数の画素（全画素）の色成分ごとの平均値によって、ブロックＢｊの色を決定する場合（図３のステップＳＰ１１および図６参照）を例示しているが、本発明はこれに限定されない。例えば、ブロックＢｊ内の１つ又は複数の代表画素の色によって当該ブロックＢｊの色を決定するようにしてもよい。

また、上記各実施形態においては、上記の３つの基準ＣＴ１，ＣＴ２，ＣＴ３の全てを満たす肌色領域ＳＲが人物の顔領域であると判定される場合を例示したが、これに限定されない。例えば、上記の３つの基準のうちのいずれか１つあるいは２つのみを採用して、肌色領域ＳＲが人物の顔領域であるか否かが判定されるようにしてもよい。あるいは、これらの基準に加えて或いは代えて、他の基準を採用するようにしてもよい。

また、上記各実施形態においては、５種類のホワイトバランス処理を画像ＰＥに施す場合を例示したがこれに限定されない。例えば、より多数（あるいは逆に、より少数）のホワイトバランス処理を画像ＰＥに施して調整画像を作成するようにしてもよい。

また、上記の第１実施形態と第２実施形態とを組み合わせて実行するようにしてもよい。例えば、まず、第２実施形態における複数のホワイトバランス処理ＷＢ２１〜ＷＢ２５を画像ＰＥに施して複数の調整画像ＰＡ２１〜ＰＡ２５を生成し、当該複数の調整画像の中から最も適切な適正調整画像（例えばＰＡ２４）を肌色抽出結果等に基づいて決定する。次に、当該適正調整画像（例えばＰＡ２４）に対応するホワイトバランス処理（例えばＷＢ２４）を決定し、当該ホワイトバランス処理（ＷＢ２４）を図７における中央のホワイトバランスＷＢ１３（図７）に設定する。そして、当該当該ホワイトバランス処理（ＷＢ２４）を中心に少しずつホワイトバランスゲインを変更した複数のホワイトバランス処理ＷＢ１１〜ＷＢ１５を元の画像ＰＥに再び施して複数の調整画像をさらに生成する。その後、当該複数の調整画像に関する肌色抽出結果等に基づいて当該複数の調整画像の中から最も適切な適正調整画像（例えばＰＡ２）を決定する。このような動作を実行するようにしてもよい。

また、上記各実施形態等においては、記録用の静止画像（撮影画像）を得る際の画像処理技術に本発明の思想を適用する場合を例示したが、これに限定されない。例えば、ライブビュー画像などの動画像（撮影画像）を得る際の画像処理技術に本発明の思想を適用するようにしてもよい。

また、上記各実施形態等においては、撮像装置１において記録用の撮影画像（本撮影画像）を得る際の画像処理技術に対して本発明の思想を適用する場合を例示したが、これに限定されない。例えば、撮像装置１によって取得された撮影画像に対して、パーソナルコンピュータ等のコンピュータを用いて画像処理を行う場合に本発明の思想を適用するようにしてもよい。具体的には、パーソナルコンピュータにおいて上記の機能を実現するプログラムを実行し、撮像装置１によって取得された撮影画像に対して複数のホワイトバランス処理を施して、上述のような肌色領域の抽出処理（顔領域の抽出処理）等を行うようにしてもよい。さらに、抽出された肌色領域等に基づいて上記と同様の輝度調整動作等を行うようにしてもよい。

撮像装置の正面外観図である。 撮像装置の背面外観図である。 撮像装置の機能構成を示すブロック図である。 撮像装置の撮影動作直後における動作を示すフローチャートである。 撮影シーンの一例を示す図である。 露光画像における複数のブロックを示す図である。 複数のＷＢ処理におけるＷＢゲインの組み合わせを示す図である。 Ｃｒ−Ｃｂ空間における肌色エリアを示す図である。 各調整画像における肌色領域の抽出結果を示す図である。 撮影画像における中央領域を示す図である。 抽出された肌色領域を示す図である。 逆光判定に用いる周辺領域の範囲を示す図である。 逆光判定に用いる上部領域の範囲を示す図である。 複数のγ補正曲線を示す図である。 複数のホワイトバランス処理の別の例を示す図である。 別の撮影シーンを示す図である。 各調整画像における肌色領域の別の抽出結果を示す図である。 さらに異なる撮影シーンを示す図である。

符号の説明

１ 撮像装置
２１ 画像生成制御部
２２ 肌色領域抽出部
２３ 顔領域判定部
２４ 選択部
２５ シーン判定部
２６ 輝度調整部
２７ 評価値算出部
５４ ＷＢ補正回路
ＥＡ 肌色空間
Ｇｒ，Ｇｇ，Ｇｂ ホワイトバランスゲイン
ＰＡ１〜ＰＡ５，ＰＡ２１〜ＰＡ２５ 調整画像
ＰＥ 撮影画像（露光画像）
ＳＲ，ＳＲ１１，ＳＲ１２，ＳＲ２３，ＳＲ２４，ＳＲ２５ 肌色領域
ＷＢ１１〜ＷＢ１５，ＷＢ２１〜ＷＢ２５ ホワイトバランス処理

Claims (12)

1. 撮影画像に対して異なるホワイトバランス処理を施して複数の調整画像を生成する生成手段と、
   前記複数の調整画像において肌色領域を抽出する抽出手段と、
   前記肌色領域が人物の顔領域であるか否かを所定の基準に基づいて判定する判定手段と、
   前記複数の調整画像のうち、前記所定の基準を充足し人物の顔領域であると判定された肌色領域が含まれる調整画像を適正調整画像として選択する選択手段と、
   を備える撮像装置。
2. 請求項１に記載の撮像装置において、
   前記異なるホワイトバランス処理は、複数種類の光源のそれぞれに対応して予め定められたホワイトバランスゲインの組み合わせによる複数のホワイトバランス処理を含む、撮像装置。
3. 請求項１に記載の撮像装置において、
   前記異なるホワイトバランス処理は、基準となるホワイトバランスゲインの組み合わせに対して所定程度ずつ異なるホワイトバランスゲインの組み合わせが規定された複数のホワイトバランス処理を含む、撮像装置。
4. 請求項１に記載の撮像装置において、
   前記所定の基準は、前記肌色領域に関する基準面積と抽出された前記肌色領域の面積との相違が所定の範囲内である旨の基準を含む、撮像装置。
5. 請求項４に記載の撮像装置において、
   前記基準面積は、撮影時における撮影倍率に応じて定められる、撮像装置。
6. 請求項１に記載の撮像装置において、
   前記所定の基準は、前記肌色領域の縦横比に関する基準値と抽出された前記肌色領域の縦横比との相違が所定の範囲内である旨の基準を含む、撮像装置。
7. 請求項１に記載の撮像装置において、
   前記所定の基準は、前記肌色領域が前記撮影画像における所定の中央領域内に存在する旨の基準を含む、撮像装置。
8. 請求項１に記載の撮像装置において、
   人物の顔領域らしさを表す評価値を、抽出された前記肌色領域について算出する算出手段、
   をさらに備え、
   前記選択手段は、前記複数の調整画像のうち、その肌色領域に関する前記評価値が最も大きな調整画像を前記適正調整画像として選択する、撮像装置。
9. 請求項１に記載の撮像装置において、
   前記適正調整画像に基づいて逆光判定を行うシーン判定手段、
   をさらに備える撮像装置。
10. 請求項１に記載の撮像装置において、
    前記適正調整画像に基づいて階調補正を行う階調補正手段、
    をさらに備える撮像装置。
11. 撮影画像に対して異なるホワイトバランス処理を施して複数の調整画像を生成する生成手段と、
    前記複数の調整画像において肌色領域を抽出する抽出手段と、
    前記肌色領域が人物の顔領域であるか否かを所定の基準に基づいて判定する判定手段と、
    前記複数の調整画像のうち、前記所定の基準を充足し人物の顔領域であると判定された肌色領域が含まれる調整画像を適正調整画像として選択する選択手段と、
    を備える画像処理装置。
12. コンピュータに、
    a)撮影画像に対して異なるホワイトバランス処理を施して複数の調整画像を生成する手順と、
    b)前記複数の調整画像において肌色領域を抽出する手順と、
    c)前記肌色領域が人物の顔領域であるか否かを所定の基準に基づいて判定する手順と、
    d)前記複数の調整画像のうち、前記所定の基準を充足し人物の顔領域であると判定された肌色領域が含まれる調整画像を適正調整画像として選択する手順と、
    を実行させるためのプログラム。

Images