JP2004040462A - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP2004040462A JP2004040462A JP2002194610A JP2002194610A JP2004040462A JP 2004040462 A JP2004040462 A JP 2004040462A JP 2002194610 A JP2002194610 A JP 2002194610A JP 2002194610 A JP2002194610 A JP 2002194610A JP 2004040462 A JP2004040462 A JP 2004040462A
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- processing
- main subject
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Of Color Television Signals (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
【課題】画像から主被写体を精度良く抽出できる撮像装置を提供する。
【解決手段】撮像装置では、画像に含まれる肌色を検出して人物（主被写体）を抽出する。この人物検出では、色空間において人物検出の基準とする肌色検出領域を設定する。ここでは、適正なホワイトバランス（ＷＢ）ゲイン値の場合、デフォルトの領域ＲＨに肌色検出領域を設定する。一方、ＷＢゲイン値が過剰となってリミッタ制限が施された場合には、例えば領域ＲＨをシフトした領域ＲＨｓに肌色検出領域をシフトする。これにより、リミッタ制限によって赤みなどが残る画像に対しても、主被写体を精度良く抽出できる。
【選択図】 図９
【解決手段】撮像装置では、画像に含まれる肌色を検出して人物（主被写体）を抽出する。この人物検出では、色空間において人物検出の基準とする肌色検出領域を設定する。ここでは、適正なホワイトバランス（ＷＢ）ゲイン値の場合、デフォルトの領域ＲＨに肌色検出領域を設定する。一方、ＷＢゲイン値が過剰となってリミッタ制限が施された場合には、例えば領域ＲＨをシフトした領域ＲＨｓに肌色検出領域をシフトする。これにより、リミッタ制限によって赤みなどが残る画像に対しても、主被写体を精度良く抽出できる。
【選択図】 図９
Description
【０００１】
【発明の属する技術分野】
本発明は、固有色が表れる特定被写体を含む画像において固有色を検出することにより特定被写体を抽出する撮像装置に関する。
【０００２】
【従来の技術】
デジタルカメラ（撮像装置）においては、画像に含まれる肌色を検出して人物（主被写体）を抽出する技術が提案されている。かかる人物抽出技術では、高精度に人物像の検出を行うことを主眼としているため、対象となる画像がどのような状態の画像であっても、人物像を検出するために一定の処理が行われる。
【０００３】
【発明が解決しようとする課題】
しかしながら、上述したデジタルカメラでは、ＷＢ（ホワイトバランス）処理が適正に行われていない場合には、色かぶりなどの影響により実際の人物の肌色が画像に再現されないため、正確な人物抽出が困難である。また、夕景やタングステン光などの場合には、一般に赤みを残すＷＢ処理を行うため、正確な人物検知が行えない。
【０００４】
また、上述したデジタルカメラでは、露出制御が適正に行われていない場合には、露出オーバーやアンダーなどの影響により画像で色情報が失われるため、正確な人物抽出が困難である。
【０００５】
本発明は、上記課題に鑑みてなされたものであり、画像から主被写体を精度良く抽出できる撮像装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記の課題を解決するため、請求項１の発明は、撮像装置であって、（ａ）固有色が表れる特定被写体を含む画像において、前記固有色を検出することにより前記特定被写体を抽出する抽出手段と、（ｂ）前記画像に係るホワイトバランス情報を取得する取得手段とを備え、前記抽出手段は、（ａ−１）前記ホワイトバランス情報に応じて、前記固有色の検出方法を変更する変更手段を有する。
【０００７】
また、請求項２の発明は、撮像装置であって、（ａ）固有色が表れる特定被写体を含む画像において、前記固有色を検出することにより前記特定被写体を抽出する抽出手段と、（ｂ）前記画像に係るホワイトバランス情報を取得する取得手段とを備え、前記抽出手段は、（ａ−１）前記ホワイトバランス情報に応じて、前記固有色の検出を実行するか否かを決定する決定手段とを有する。
【０００８】
また、請求項３の発明は、撮像装置であって、（ａ）固有色が表れる特定被写体を含む画像において、前記固有色を検出することにより前記特定被写体を抽出する抽出手段と、（ｂ）ホワイトバランス処理に係る処理パラメータを設定する設定手段と、（ｃ）前記処理パラメータに基づき、前記画像に対して前記ホワイトバランス処理を行う処理手段とを備え、前記設定手段は、（ｂ−１）前記画像に基づき第１パラメータを求める手段と、（ｂ−２）前記第１パラメータが所定範囲内である場合には、前記第１パラメータを前記処理パラメータとして設定する手段と、（ｂ−３）前記第１パラメータが前記所定範囲から外れる場合には、前記第１パラメータと異なる第２パラメータを前記処理パラメータとして設定する手段と、を有するとともに、前記抽出手段は、（ａ−１）前記第２パラメータに基づき前記画像に前記ホワイトバランス処理が施される場合には、前記第１パラメータに基づき前記固有色の検出を行う手段を有する。
【０００９】
また、請求項４の発明は、撮像装置であって、（ａ）固有色が表れる特定被写体を含む画像において、前記固有色を検出することにより前記特定被写体を抽出する抽出手段と、（ｂ）前記画像に係る輝度情報を取得する取得手段とを備え、前記抽出手段は、（ａ−１）所定の色空間において前記固有色に対応する対応領域を設定する設定手段と、（ａ−２）前記対応領域に基づき前記画像から前記固有色の検出を行う手段とを有するとともに、前記設定手段は、前記輝度情報に応じて、前記所定の色空間で前記対応領域を変更する変更手段を有する。
【００１０】
また、請求項５の発明は、請求項４の発明に係る撮像装置において、（ｃ）前記画像に係るホワイトバランス情報を取得する手段をさらに備え、前記変更手段は、前記ホワイトバランス情報に応じて、前記所定の色空間で前記対応領域を変更する手段を有する。
【００１１】
【発明の実施の形態】
＜第１実施形態＞
＜デジタルカメラ１の要部構成＞
図１は、本発明の第１実施形態に係る撮影装置の一例としてのデジタルカメラ１Ａを示す斜視図である。図１に示すように、デジタルカメラ１Ａの前面側には、撮影レンズ１１とファインダ窓２とが設けられている。撮影レンズ１１の内側には撮影レンズ１１を介して入射する被写体像を光電変換して画像データ（画素ごとの画素データの配列からなるデータ）を生成するためのＣＣＤ撮像素子３０が設けられている。
【００１２】
撮影レンズ１１には、光軸方向に沿って移動可能なフォーカシングレンズが含まれており、フォーカシングレンズを駆動することにより、ＣＣＤ撮像素子３０に結像される画像の合焦状態を可変することができるように構成されている。
【００１３】
また、デジタルカメラ１Ａの上面側には、シャッタボタン８と、カメラ状態表示器１３と、設定キー１４とが配置されている。シャッタボタン８は被写体の撮影を行うときにユーザが押し込み操作するボタンであり、半押し状態と全押し状態との２段階を検知することができるように構成される。カメラ状態表示器１３は、例えばセグメント表示タイプの液晶表示器によって構成され、デジタルカメラ１Ａにおける現在の設定内容等をユーザに示すために設けられている。また、設定キー１４は、被写体に応じた撮影モードの選択設定等を行うためのキースイッチである。
【００１４】
また、デジタルカメラ１Ａの側面部には本撮影動作によって生成される画像データを記録するための記録メディア９を装着する装着部１５が形成されており、メモリカード等のような交換可能な記録メディア９を装着することができる。
【００１５】
なお、図１における図示は省略するが、デジタルカメラ１Ａの背面側には、ＣＣＤ撮像素子３０で撮影された画像等を表示するための液晶表示部が設けられる。
【００１６】
図２は、デジタルカメラ１Ａの内部構成を示すブロック図である。なお、図２において実線矢印は制御信号の流れを示しており、斜線地矢印は画像信号の流れを示している。
【００１７】
図２に示すように、デジタルカメラ１Ａは、被写体を撮影する際の撮影機能を実現する撮影機能部２０と、合焦制御時に主被写体（特定被写体）を検出してその主被写体が合焦状態となるような制御を行う主被写体合焦制御部４０と、撮影レンズ１１に含まれるフォーカシングレンズ１２を駆動してＣＣＤ撮像素子３０に結像される画像の合焦状態を変更するレンズ駆動部５０と、上述のシャッタボタン８及び設定キー１４を含む操作部１６と、操作部１６の操作内容に応じて撮影機能部２０及び主被写体合焦制御部４０を制御する全体制御部１８とを備えて構成される。
【００１８】
撮影機能部２０は、撮影レンズ１１、ＣＣＤ撮像素子３０、ＣＣＤ撮像素子３０からの画像データを一時的に格納するための画像メモリ３１、画像メモリ３１から得られる画像データに対して画像圧縮等の所定の画像処理を行う画像処理部３２、画像処理部３２において画像表示用の画像処理が施された表示用画像を表示する液晶表示部３３、及び、画像処理部３２において画像記録用の画像処理が施された撮影画像を記録する記録メディア９を備えて構成される。
【００１９】
撮影機能部２０は、全体制御部１８の制御によって、本撮影前にライブビュー画像を液晶表示部３３に表示させるためのライブビュー動作と、シャッタボタン８が全押しされたときに記録メディア９に記録するための画像撮影を行う本撮影動作とを行うように構成される。また、液晶表示部３３がオフ状態であったとしても、少なくとも合焦制御時にはＣＣＤ撮像素子３０による撮影動作が行われる。
【００２０】
また、主被写体合焦制御部４０は、画像全体における合焦状態を評価するための合焦評価領域を設定する合焦評価領域設定部４１、画像メモリ３１から画像データを取り込み、合焦評価領域設定部４１から指定される合焦評価領域の部分画像データから合焦状態を評価するための評価値を求める合焦評価部４２、合焦評価部４２で求められる評価値に基づいてレンズ駆動部５０に駆動信号を与え、合焦評価領域の被写体像を合焦状態に導く合焦制御部４３、ホワイトバランス（ＷＢ）ゲインに応じて色空間において肌色領域を設定する肌色領域設定部４４、及び、画像メモリ３１から画像データを取り込み、肌色領域設定部４４で設定される色空間の肌色検出領域に基づいて主被写体（人物）の抽出処理を行う被写体抽出部４５を備えて構成される。
【００２１】
全体制御部１８は、例えばシャッタボタン８が半押し状態にされたときに主被写体が適切な合焦状態となるように主被写体合焦制御部４０を機能させ、全押し状態にされたときに撮影機能部２０において本撮影動作を行うように制御する。また、全体制御部１８は本撮影前にはライブビュー動作として撮影機能部２０において逐次画像撮影を行わせ、逐次更新される画像を液晶表示部３３に表示させたり、主被写体合焦制御部４０に与えるように制御する。
【００２２】
レンズ駆動部５０は、合焦制御動作時に合焦制御部４３から与えられる駆動信号に基づいてフォーカシングレンズ１２を遠側から近側に向けて所定ピッチで移動させ、ＣＣＤ撮像素子３０に結像される画像の合焦状態を変化させる。そして、主被写体合焦制御部４０において主被写体が合焦状態となるレンズ位置（合焦位置）が特定され、合焦制御部４３よりそのレンズ位置が指定された場合には、レンズ駆動部５０は、その指定されたレンズ位置にフォーカシングレンズ１２を移動させて主被写体が合焦した状態の画像をＣＣＤ撮像素子３０に結像させる。
【００２３】
図３は、デジタルカメラ１Ａに予め設定される合焦評価領域の初期状態を示す図である。図３に示すように、合焦評価領域設定部４１には、合焦評価領域の初期状態として、画像メモリ３１から取得する画像Ｇ１のほぼ中央部分に合焦評価領域ＦＲ１が設定されており、主被写体合焦制御部４０が機能して最初の合焦評価を行う際には、合焦評価領域設定部４１は、図３に示す合焦評価領域ＦＲ１の位置及びサイズを合焦評価部４２に指示する。
【００２４】
合焦評価部４２は、画像メモリ３１から画像Ｇ１を取得し、そのうちから合焦評価領域ＦＲ１についての画像成分を抽出する。そして、合焦評価領域ＦＲ１の画像成分の合焦状態を評価するための評価値を求める。評価値の算出方法には、いくつかの方法がある。例えば、第１の方法として、合焦評価領域ＦＲ１に含まれる画像成分をバンドパスフィルタに通し、それによって抽出される画像信号の高周波成分の強度を評価値とする方法があり、また、第２の方法として、合焦評価領域ＦＲ１に含まれる画像成分の隣接画素間での輝度値の差分値を求め、その差分値を合焦評価領域ＦＲ１内で累積した値を評価値とする方法がある。また、第３の方法として、合焦評価領域ＦＲ１に含まれる画像成分に対して微分フィルタ等を用いたエッジ抽出処理を施し、その結果抽出されるエッジの幅（ぼけ幅）を評価値とする方法もある。
【００２５】
第１及び第２の方法は、被写体を撮影した場合、画像がぼけている状態では高周波成分のレベルは小さく、また隣接画素間の輝度差の累積値も小さなものとなるのに対し、焦点が合ってくる（合焦状態に近づく）にしたがって高周波成分のレベルは大きく、また隣接画素間の輝度差の累積値も大きなものとなることを検出する方法である。
【００２６】
このため、フォーカシングレンズ１２を遠側から近側に次第に移動させた場合、第１及び第２の方法で得られる評価値は、図４に示すように変化する。フォーカシングレンズ１２を移動させつつ、各レンズ位置で撮影された画像から評価値を求めると、図４に示すように評価値が変化し、レンズ位置ＰＸで評価値が最大値を示す。このため、フォーカシングレンズ１２をレンズ位置ＰＸに移動させれば、合焦評価領域ＦＲ１に含まれる画像成分が合焦状態になると判明し、合焦制御部４３がフォーカシングレンズ１２をレンズ位置ＰＸに移動させて合焦状態を実現する。
【００２７】
一方、第３の方法は、被写体を撮影した場合、画像がぼけている状態ではエッジ幅は大きくなるのに対し、焦点が合ってくるにしたがってエッジ幅が小さくなることを検出する方法である。このため、フォーカシングレンズ１２を遠側から近側に次第に移動させた場合、第３の方法で得られる評価値は、合焦位置で最小値を示すこととなり、合焦制御部４３がその最小値を示すレンズ位置にフォーカシングレンズ１２を移動させて合焦状態を実現する。
【００２８】
なお、合焦評価部４２において適用される評価値の算出方法は、上記第１ないし第３の方法のいずれを採用してもよく、またその他の算出方法を採用してもよい。
【００２９】
ところで、合焦評価領域ＦＲ１が画像Ｇ１に対して常に固定された領域に設定されると、上述したようにその合焦評価領域ＦＲ１中にユーザの意図する主被写体が含まれていない場合には、ユーザの意図とは異なった領域で焦点検出が行われることとなり、その結果ユーザが撮影したかった主被写体がぼけた画像で撮影される。
【００３０】
そのため、本実施形態のデジタルカメラ１Ａでは、被写体抽出部４５が画像メモリ３１から画像を取得してその画像のうちから主被写体を抽出する処理を行う。そして、合焦評価領域設定部４１が主被写体であると判断された画像部分に合焦評価領域を変更設定し、合焦評価部４２はその主被写体が含まれる合焦評価領域について評価値の算出を行う。すなわち、合焦評価領域が、初期状態の領域から主被写体として認識された画像領域に修正され、その主被写体の被写体像が合焦状態となるように合焦制御が行われる。
【００３１】
これにより、本撮影動作が行われると、主被写体が合焦状態となった適切な画像が撮影されることになる。
【００３２】
被写体抽出部４５においては、肌色領域設定部４４で設定された色空間の肌色領域に基づいて、画像の肌色成分を抽出してその肌色成分が分布する領域を主被写体領域として認識するような被写体抽出処理が行われる。
【００３３】
＜デジタルカメラ１Ａの処理＞
以下、デジタルカメラ１Ａの処理手順について説明する。図５ないし図７は、デジタルカメラ１Ａの処理手順を示すフローチャートであり、特に図５及び図６はシャッタボタン８が半押し状態とされてから本撮影動作が行われるまでの全体的な処理手順を示しており、また、図７は、被写体抽出処理の詳細な処理手順を示している。
【００３４】
まず、ユーザによってシャッタボタン８が半押し状態にされると（ステップＳ１０１）、全体制御部１８が主被写体合焦制御部４０と撮影機能部２０とを機能させる。このとき、全体制御部１８は主被写体合焦制御部４０によってフォーカシングレンズ１２を最も遠側に移動させるとともに、撮影機能部２０を制御してフォーカシングレンズ１２が最も遠側に移動した状態で画像撮影を行わせる。
【００３５】
そして、主被写体合焦制御部４０は画像メモリ３１に格納された画像を取り込み（ステップＳ１０２）、評価値の算出処理を行う（ステップＳ１０３）。このとき、合焦評価領域設定部４１は、画像Ｇ１の中央部分に予め設定された初期状態の合焦評価領域ＦＲ１を評価値算出対象の合焦評価領域とすべきことを合焦評価部４２に対して指示する。合焦評価部４２では、ほぼ画面中央に設定される合焦評価領域ＦＲ１（図３参照）に含まれる画像成分に基づいて評価値の算出が行われ、算出された評価値は合焦制御部４３に与えられる。
【００３６】
そして肌色領域設定部４４及び被写体抽出部４５が機能し、被写体抽出処理が行われる（ステップＳ１０４）。
【００３７】
図７のフローチャートを参照する。被写体抽出処理（ステップＳ１０４）に進むと、まず、肌色領域設定部４４は、全体制御部１８から、ホワイトバランス情報であるＷＢゲイン値を取得する（ステップＳ２０１）。
【００３８】
ＷＢゲイン値とは、白い物体が白色に再現されるように画像を調整するために設定される、Ｇ（緑）色成分の画像信号に対するＲ（赤）およびＢ（青）色成分の画像信号のレベル比である。また、本実施形態のデジタルカメラ１Ａを含めて一般には、特殊な光源色下で被写体（例えば、夕景やタングステン光下の赤味がかった被写体）で過度に色補正され色再現性が損なわれないよう、ＲおよびＢの色成分に関するＷＢゲイン値に一定の制限（以下では「リミッタ制限」という）が施される。このリミッタ制限では、画像から算出されたＷＢゲイン値が所定の閾値を超過した場合には、例えばこの所定の閾値と、画像から全体制御部１８で算出されたＷＢゲイン値（第１パラメータ：以下では「制限前ＷＢゲイン」という）との平均値にＷＢゲイン値（第２パラメータ：以下では「制限ＷＢゲイン」という）が設定される。なお、リミッタ制限では、算出されたＷＢゲイン値が所定の閾値を超過した場合には、所定の閾値にＷＢゲイン値を制限しても良い。
【００３９】
次に、ステップＳ２０１で取得したＷＢゲイン値が、撮影画像に基づき肌色検出可能なＷＢゲイン値であるかを判定する（ステップＳ２０２）。これは、人物（主被写体）に表れる固有色である肌色を利用した主被写体検出において、不適正なＷＢゲイン値によるＷＢ処理が行われた画像に基づいては、精度の良い肌色検出が困難であり、また不適切なＷＢ処理が施された画像から強引に主被写体検出を行うと人物でない画像領域を人物と誤認するため、これを除外するための処理となる。すなわち、ＷＢ情報に応じて肌色検出を実行するか否かが決定される。この具体的な判定方法について、以下で説明する。
【００４０】
ＷＢゲイン値について、画像に基づき算出されたＲゲインおよびＢゲインをＧＲおよびＧＢとし、リミッタ制限により制限された制限Ｒゲインおよび制限ＢゲインをＧＲ’およびＧＢ’とすると、以下の式（１）〜（６）の少なくとも一つを満足する場合、つまり各ゲイン値ＧＲ、ＧＲ’、ＧＢ、ＧＢ’の相対的関係が所定範囲内となる場合（換言すれば所定条件を満足する場合）には、肌色検出可能でないと判定し、肌色の検出を実行しないで処理を完了する。
【００４１】
【数１】
【００４２】
ここで、ＧＲＢ＿Ｈｉｇｈ、ＧＲＢ＿Ｌｏｗ、ＧＲ’Ｂ’＿Ｈｉｇｈ、ＧＲ’Ｂ’＿Ｌｏｗ、ＧＲ＿ＥＸＣＥＳＳ、ＧＢ＿ＥＸＣＥＳＳは所定の定数である。なお、これらの定数は、例えば太陽光時の標準的なＷＢゲイン値であるＧＲ＝１．６７、ＧＢ＝１．３０を考慮して求めるのが好ましい。
【００４３】
上記の式（１）および式（２）に示す条件判定の概念を図示すると、図８のようになる。図８の横軸は、ＧＲ−ＧＢを示している。ここで、平行斜線部が肌色検出可能で適正な範囲となるが、それ以外については、ＧＲが過剰であったりＧＢが過剰であるため、不適切な範囲として除外されることとなる。
【００４４】
そして、被写体抽出部４５で主被写体を検出するために基準とする肌色検出領域を設定する（ステップＳ２０３）。すなわち、画像から肌色が表れる主被写体を検出する場合において、色空間において肌色と見なす対応領域（以下では「肌色検出領域」という）を設定する。
【００４５】
肌色検出領域とは、画素データのＲＧＢ値から輝度の影響を受けない色度ｕ’，ｖ’で表現された「ＣＩＥ １９７６ ＵＣＳ色度図」の特定領域を指している。ここで、ある画素のＲＧＢ値から色度ｕ’，ｖ’を算出する際には、以下の式（７）及び式（８）で算出することができる。
【００４６】
【数２】
【００４７】
【数３】
【００４８】
図９は、「ＣＩＥ １９７６ ＵＣＳ色度図」の簡略図である。図９において領域ＲＨは予め設定されるデフォルトの肌色検出領域である。すなわち、上記式（７）及び式（８）によって求められる色度ｕ’、ｖ’を次の条件式にあてはめれば各画素が肌色画素であるか否かを判定することができる。
【００４９】
【数４】
【００５０】
【数５】
【００５１】
上記の式（７）によって算出される色度ｕ’が条件式（９）を満たし、かつ、式（８）によって算出される色度ｖ’が条件式（１０）を満たす場合には、当該画素は肌色画素であることが判明する。
【００５２】
しかし、デフォルトの肌色検出領域ＲＨを使用するだけでは、例えばリミッタ制限によって画像が赤気味である場合に、正確な肌色検出が困難である。このような場合には、以下で説明するように、肌色検出領域を赤色側にシフトさせ、肌色の検出方法を変更することとする。
【００５３】
図１０は、肌色検出領域のシフトを説明するための図である。図１０の横軸は、Ｒゲイン（ＧＲ）を示しており、縦軸は色度図のｕ’成分を示している。また、図中の折れ線Ｆｒは、上記のｕ’＿ｍｉｎの値を表している。
【００５４】
夕景やタングステン光などの赤みを残すリミッタ制御が行われると、算出された制限前ＷＢゲイン値（ＧＲ）に代わり制限ＷＢゲイン値（ＧＲ’）でＷＢ処理が行われる。
【００５５】
そこで、このように赤みを残すように制限ＷＢゲインが設定される場合、すなわちリミッタ制限が行われるＧＲ≧ｔｈｄの場合には、直線Ｆｒ２に示すようにＧＲの値に応じてｕ’＿ｍｉｎの値を増加させる。例えば、閾値ｔｈｄより大きいＧＲ１の場合にはｕ’＿ｍｉｎ＝０．２３となる。一方、リミッタ制限が行われていないＧＲ＜ｔｈｄの場合には、直線Ｆｒ１に示すように、デフォルトのｕ’＿ｍｉｎ＝０．２２を使用する。また、ｕ’＿ｍａｘについても同様に、例えば閾値ｔｈｄより大きいＧＲ１の場合にはｕ’＿ｍａｘ＝０．２８に変更する。
【００５６】
上記のＧＲ１の場合には、ｕ’＿ｍｉｎが０．２３に、ｕ’＿ｍａｘが０．２８にシフトすることとなるが、これにより変更された肌色検出領域ＲＨｓを図９に示す。このように、ホワイトバランス情報に応じて色空間で肌色検出領域を変更するため、精度の良い人物検出が可能となる。
【００５７】
次に、ステップＳ２０４に進み、被写体抽出部４５は肌色領域設定部４４で設定された肌色領域に基づき肌色画素を抽出する肌色画素抽出処理を行う。換言すれば、この肌色画素抽出処理は色判定処理を行うことである。
【００５８】
具体的には、画像の全画素に関して、図９に示すＵＣＳ色度図を利用して肌色画素を特定する。ここで、リミッタ制限がない場合には、領域ＲＨに基づき肌色画素が検出されるとともに、リミッタ制限がある場合には、デフォルトの領域ＲＨをシフトした領域ＲＨｓなどに基づき、肌色画素が検出される。
【００５９】
このようにＵＣＳ色度図を利用して肌色画素を特定することにより、輝度の影響を受けることがなく、正確に肌色画素の特定を行うことが可能になるとともに、ＲＧＢ値から色度ｕ’，ｖ’への変換が比較的簡単な演算であるため、効率的に演算処理を行うことも可能である。
【００６０】
なお、この肌色画素抽出では、肌色と判定された画素に対して、さらに輝度の判定条件を付加しても良い。具体的には、次の式（１１）で算出される輝度レベルｙが、式（１２）で示す条件を満足する画素のみ肌色画素と判定する。
【００６１】
【数６】
【００６２】
これにより、実際の被写体で肌色となっていない箇所が、高輝度や低輝度のために肌色と判定されるのを防止できる。
【００６３】
次に、ステップＳ２０５に進み、被写体抽出部４５は肌色ブロック抽出処理を行う。具体的には、図１１に示すように、撮影画像においてｎ×ｎ画素（ｎは自然数）の集合を１のブロックＢＬとし、このブロックＢＬを構成する画素群のうち肌色画素が所定割合以上含まれているブロックＢＬを、肌色ブロックとして特定する。これに対し、ブロックＢＬの中に含まれる肌色画素数が所定割合未満である場合には、そのブロックＢＬは肌色ブロックとしては抽出されず、主被写体を構成するものでないと判断される。
【００６４】
このように肌色ブロックを抽出し、以後の処理をブロック単位で実行していくことにより、画素単位で処理を進めていく場合に比べて処理速度の高速化を図ることができる。特にデジタルカメラ１Ａの場合にはシャッタボタン８が半押し状態とされると、シャッタチャンスを逃さないためにも迅速に主被写体を合焦状態に導くことが求められるため、上記のようなブロック単位ごとの処理とすることは重要な意義を有する。また同時に、所定割合の肌色画素が存在するブロックを肌色ブロックとするため、肌色ブロックの信頼性を高めると同時に、最終的には主被写体抽出の信頼性を高めることにもなる。
【００６５】
次に、ステップＳ２０６に進み、被写体抽出部４５は肌色ブロックとして特定されたブロックのグループ化処理を行う。グループ化とは、縦方向又は横方向に連続して分布する肌色ブロックを連結して肌色ブロックの集合体を形成させる処理である。このため、１個の肌色ブロックが他の肌色ブロックに接することなく孤立して存在する場合には、当該肌色ブロックはグループ化処理によって肌色ブロックの集合体形成から排除される。換言すれば、このグループ化処理により、主被写体としてありえないような小さな肌色ブロックは、主被写体を構成しないものとして取り扱われる。
【００６６】
また、ここでは、グループ化処理によって形成される肌色ブロックの集合体のグループ情報も生成される。グループ情報とは、肌色ブロックの集合体ごとに生成され、集合体を構成する縦方向及び横方向のブロック数とその集合体の重心位置とを含む情報である。このグループ情報は、後に行われる形状判定処理（ステップＳ２０７）及び顔の特定処理（ステップＳ２０８）において用いられる。
【００６７】
次に、ステップＳ２０７に進み、被写体抽出部４５はステップＳ２０６のグループ化処理によって形成された肌色ブロック集合体の形状判定処理を行う。一般に、画像から肌色グループ集合体を求めると、人物の肌部分だけが抽出される訳ではなく、事実上肌色を示す壁や樹木肌等の人物の肌以外の物体も肌色グループ集合体を形成し得る。また人物の手や足も肌色グループ集合体を形成し得る。そこで、本実施形態では、被写体抽出部４５においてさらに形状判定処理を行うことで、人物の顔形状に近い形状分布をしている肌色グループ集合体を主被写体として認識するように実現されている。
【００６８】
ここでの形状判定処理は、所定の縦横比の範囲内に肌色ブロックの集合体が含まれるか否かを判断することにより行われる。具体的には、ステップＳ２０６で生成されたグループ情報に含まれる縦方向及び横方向のブロック数を取得し、肌色ブロック集合体の縦方向及び横方向の縦横比（Ｋ：１）を求める。そして、例えばＫ≧２の関係が成立すれば、当該肌色ブロック集合体は人物の顔部分を撮影した画像成分であると判断する。
【００６９】
なお、肌色ブロック集合体の最大縦横比の交差位置や、肌色ブロック集合体の重心位置などの情報によって、人物の顔部分を判断しても良い。
【００７０】
図１２は、形状判定処理（ステップＳ２０７）において主被写体であると認識される領域を示す図である。なお、図１２では、主被写体であると認識される領域を黒塗りで示している。図１２に示すように、被写体抽出部４５が形状判定処理を行うことにより、人物の顔部分が含まれるブロックが主被写体の領域であるものとして特定されることになる。
【００７１】
次に、ステップＳ２０８に進み、被写体抽出部４５は形状判定処理によって複数の主被写体が特定された場合に、そのうちから一の主被写体を特定するために顔の特定処理、すなわち主被写体の特定処理を行う。被写体抽出部４５には予め画面に対する重み付け係数が設定されており、主被写体として特定された肌色ブロック集合体の重心位置に基づいて当該肌色ブロック集合体についての重み付け係数を特定する。
【００７２】
図１３は、画面に対する重み付け係数の一例を示す図である。図１３に示すように画面Ｇ５が複数の領域に分割されており、各領域にその領域の重み付け係数が定義されている。そして、肌色ブロック集合体の重心位置が画面Ｇ５のどの位置に位置するかを特定し、その特定結果に基づいて重み付け係数を特定する。例えば、図１３において、主被写体として特定された黒塗りの肌色ブロック集合体について考えると、その重心位置は図１３において位置Ｐ１にあるため、重み付け係数は「１０」と特定される。そして、被写体抽出部４５は、当該肌色ブロック集合体の面積（例えば、肌色ブロック集合体を構成するブロック数）と、特定された重み付け係数の積を算出し、肌色ブロック集合体の主被写体適合値（主被写体らしさを示す値）とする。そして、複数の肌色ブロック集合体のそれぞれについて主被写体適合値を算出すると、各主被写体適合値を比較し、最大値を示す肌色ブロック集合体を主被写体となる人物の顔部分であると認定する。
【００７３】
このように、複数の主被写体が特定された場合には、画面の中央寄りに主被写体がフレーミングされるであろうとの前提にたって、画面上の位置に対する重み付け係数を用いて主被写体適合値を求めることにより、一の主被写体を正確に特定することができる。また、小さく写っている物体よりも大きく写っている物体の方が主被写体である可能性が高いため、重み付け係数を用いた計算を行う際には、肌色ブロック集合体の面積を考慮に入れることにより、正確に主被写体を特定することが可能になる。
【００７４】
なお、最大値を示す主被写体適合値から所定範囲内の値を示す複数の主被写体適合値を採用してもよい。この場合、主被写体領域として複数の領域が特定されることになるので、いわゆるマルチエリアの合焦制御を適用することになる。
【００７５】
以上のようにして主被写体が特定されると、被写体抽出部４５は全体制御部１８に対して主被写体領域を指示することにより、全体制御部１８が液晶表示部３３の表示状態を更新し、主被写体領域が液晶表示部３３にも表示されることになる（ステップＳ２０９）。例えば、特定された主被写体領域を赤線枠で囲むような表示が行われる。これにより、ユーザは、画像のどの部分が主被写体と認識され、合焦制御がなされるかを容易に把握することができる。また、被写体抽出部４５は、上記のような処理を行うことによって特定した主被写体領域を合焦評価領域設定部４１に指示する。
【００７６】
図５のフローチャートに戻り、ステップＳ１０４の被写体抽出処理が終了すると、ステップＳ１０５に進む。そして合焦評価領域設定部４１は合焦評価部４２が評価値を算出するための合焦評価領域を被写体抽出部４５によって指示された被写体領域に設定変更する。この結果、合焦評価部４２において次回の評価値算出が行われる際には、主被写体の画像成分について評価値算出を行うことが可能になる。
【００７７】
次に合焦制御部４３によって所定ピッチでのフォーカシングレンズ１２のレンズ駆動が行われ（ステップＳ１０６）、そのレンズ位置での画像取り込みが行われて（ステップＳ１０７）、合焦評価部４２による評価値算出処理が行われる（ステップＳ１０８）。ステップＳ１０８において合焦評価部４２は、ステップＳ１０５の合焦評価領域の変更設定処理で設定された合焦評価領域の画像成分に基づいて評価値を算出する。
【００７８】
以後、評価値が最大値（又は最小値）を示すまでステップＳ１０６〜Ｓ１０８の処理を繰り返し、評価値が最大値（又は最小値）を示すレンズ位置を特定することができた場合、すなわちステップＳ１０９において合焦評価領域の合焦状態が実現された場合に、図６のフローチャートに進む。
【００７９】
そして、合焦評価領域の合焦状態が実現された段階で再度被写体抽出処理を実行する（ステップＳ１１０）。ここでの被写体抽出処理（ステップＳ１１０）も、図７を参照して説明した上記ステップＳ１０４の被写体抽出処理と同様である。
【００８０】
ただし、ステップＳ１０４の段階では、合焦評価領域の画像成分がぼけた状態で主被写体の抽出処理が行われるため、その精度は低い。そのため、合焦評価領域の画像成分がぼけた状態で主被写体の抽出処理が行われ、それによって特定された主被写体領域が合焦状態と判定されたとしても、その合焦評価領域には実際の主被写体が含まれていない可能性がある。
【００８１】
そのため、本実施形態ではステップＳ１１０において再度被写体抽出処理を行うこととしている。そしてステップＳ１１０の段階では、合焦評価領域の画像成分が合焦状態であると判断された状態であるため、主被写体領域を高精度に特定することが可能である。
【００８２】
そして被写体抽出処理（ステップＳ１１０）が行われて、信頼性の高い主被写体領域が特定されると、被写体抽出部４５は前回同様に合焦評価領域設定部４１に対して特定された主被写体領域を指示する。
【００８３】
これにより、合焦評価領域設定部４１は、ステップＳ１０８において採用されていた合焦評価領域と、ステップＳ１１０の被写体抽出処理において特定された被写体領域とが一致するか否かを判断する（ステップＳ１１１）。つまり、この処理は、ステップＳ１０６〜Ｓ１０８の繰り返し処理で評価対象とされていた合焦評価領域が正確な主被写体領域であったのかどうかを確認するための処理である。その結果、合焦評価領域と、特定された主被写体領域とが一致しない場合には、ステップＳ１０５（図５）に戻り、合焦評価領域設定部４１は合焦評価領域を、ステップＳ１１０の被写体抽出処理で特定された主被写体領域に設定変更する。よって、合焦評価部４２において次回の評価値算出が行われる際には、信頼性の高い主被写体領域の画像成分について評価値算出を行うことが可能になり、ステップＳ１０６以降の処理が行われる。その一方、合焦評価領域と、特定された主被写体領域とが一致する場合には、ステップＳ１１２（図６）に進む。
【００８４】
合焦評価領域設定部４１が、合焦評価領域と、特定された主被写体領域とが一致すると判断した場合には、全体制御部１８に対して本撮影動作の許可を行う（ステップＳ１１２）。
【００８５】
全体制御部１８は、本撮影動作の許可が与えられると、まず、ユーザによってシャッタボタン８が全押し状態とされたか否かを判断する。デジタルカメラ１Ａではシャッタボタン８の全押し状態が本撮影動作の条件となっているため、シャッタボタン８が全押し状態でない場合には、フレーミングが変更された場合に対処するために、ステップＳ１０２（図５）に戻ってシャッタボタン８が半押し状態とされた以降の処理を繰り返す。
【００８６】
また、シャッタボタン８が全押し状態とされた場合には、全体制御部１８が撮影機能部２０を制御して本撮影動作を行い（ステップＳ１１４）、画像処理部３２において所定の画像処理（ステップＳ１１５）を行った後、記録メディア９への記録処理（ステップＳ１１６）が行われる。
【００８７】
以上のデジタルカメラ１Ａの動作により、ＷＢゲイン値に応じて肌色検出を行わなかったり、色空間における肌色検出領域を変更するため、画像から主被写体を精度良く抽出できる。
【００８８】
なお、上記のステップＳ２０２における肌色検出可能か否かの判定については、以下で説明するように輝度情報を利用して判定しても良い。
【００８９】
ＷＢ処理は、一般に太陽光下で高性能を発揮できるが、室内光下では様々な光源が存在するため信頼性が低下する傾向にある。すなわち、太陽光下の可能性が大きい高輝度の場合には、ＷＢ処理の信頼性が高く、室内光下の可能性が大きい低輝度の場合には、ＷＢ処理の信頼性が低くなると考えられる。そこで、上記の式（１１）に基づき算出される輝度レベルＹが、以下の式（１３）〜（１８）を満足する場合には、肌色検出可能でないと判定し、肌色検出を実行しない。
【００９０】
【数７】
【００９１】
ここで、ＧＲＢ＿Ｈｉｇｈ、ＧＲＢ＿Ｌｏｗ、ＧＲ’Ｂ’＿Ｈｉｇｈ、ＧＲ’Ｂ’＿Ｌｏｗ、ＧＲ＿ＥＸＣＥＳＳ、ＧＢ＿ＥＸＣＥＳＳは、上記の式（１）〜（６）と同じ値であり、ｎは所定の定数である。
【００９２】
また、上記のステップＳ２０３における肌色検出領域の設定については、図１４のフローチャートに示す処理手順を行うようにしても良い。以下で本処理を説明する。
【００９３】
まず、ＧＢゲイン値が所定値αより大きいかを判定する（ステップＳ３０１）。ここで、ＧＢゲイン値が所定値αより大きい場合には、ステップＳ３０２に進み、大きくない場合には、ステップＳ３０３に進む。
【００９４】
ステップＳ３０２では、ＧＲゲインが所定値βより大きいかを判定する。ここで、ＧＲゲイン値が所定値βより大きい場合には、制限前ＷＢゲイン値（ＧＢ、ＧＲ）と制限ＷＢゲイン値（ＧＢ’、ＧＲ’）との差ΔＧＢ、ΔＧＲを算出する（ステップＳ３０４）。一方、ＧＲゲイン値が所定値β以下である場合には、制限前ＧＢゲイン値（ＧＢ）と制限ＧＢゲイン値（ＧＢ’）との差ΔＧＢを算出するとともに、ΔＧＲに０を代入する（ステップＳ３０５）。
【００９５】
ステップＳ３０３でも、ＧＲゲインが所定値βより大きいかを判定する。ここで、ＧＲゲイン値が所定値βより大きい場合には、制限前ＧＲゲイン値（ＧＲ）と制限ＧＲゲイン値（ＧＲ’）との差ΔＧＲを算出するとともにΔＧＢに０を代入する（ステップＳ３０６）。一方、ＧＲゲイン値が所定値β以下である場合には、ΔＧＢおよびΔＧＲに０を代入する（ステップＳ３０７）。
【００９６】
次に、ステップＳ３０４〜Ｓ３０７で設定されたΔＧＢをｎ倍した値をＧＢから減算してＧＢ’’を算出するとともに、ΔＧＲをｎ倍した値をＧＲから減算してＧＲ’’を算出する（ステップＳ３０８）。そして、ステップＳ３０８で算出されたＧＢ’’、ＧＲ’’に基づき、色空間での肌色検出領域を設定する。
【００９７】
以上の処理により、ステップＳ３０４を経てステップＳ３０８で算出されたＧＢ’’とＧＢおよびＧＢ’との関係は、例えば図１５に示すようになる。このように、制限前ＷＢゲイン値と制限ＷＢゲイン値との中間的な値ＧＢ’’、ＧＲ’’に基づき肌色検出領域を設定できるため、肌色検出領域を適切に設定できる。
【００９８】
＜第２実施形態＞
本発明の第２実施形態に係るデジタルカメラ１Ｂは、図１および図２に示す第１実施形態のデジタルカメラ１Ａと類似の構成となっているが、肌色領域設定部４４と被写体抽出部４５との構成が相違している。
【００９９】
すなわち、肌色領域設定部４４および被写体抽出部４５は、以下で説明する被写体抽出処理を行うための機能構成を具備している。
【０１００】
＜デジタルカメラ１Ｂの処理＞
デジタルカメラ１Ｂの処理については、図５および図６のフローチャートに示す処理と類似であるが、ステップＳ１０４およびステップＳ１１０の被写体抽出処理が異なっている。この被写体抽出処理を以下で説明する。
【０１０１】
図１６は、デジタルカメラ１Ｂの被写体抽出処理を示すフローチャートである。
【０１０２】
まず、肌色領域設定部４４は、全体制御部１８から輝度情報を取得する（ステップＳ４０１）。この輝度情報とは、上記の式（１１）に基づきＲＧＢの各画素値から算出される輝度の情報である。なお、ステップＳ４０１では、画像のＧ成分だけに基づく輝度情報を取得しても良い。
【０１０３】
次に、ステップＳ４０１で取得した輝度情報に基づき、肌色検出可能な輝度であるかを判定する（ステップＳ４０２）。ライブビュー撮影では、動画的態様で画像を取得するため、最大露光時間が決まっている。したがって、被写体の照度が低い場合には、露光時間に限度があるため取得された画像の輝度が低くなり、肌色検出が精度良く行えない。そこで、ステップＳ４０２では、所定の輝度レベルより低輝度の画像を、肌色検出不可能な画像として除外するための処理が行われる。したがって、この場合には肌色検出は行わない。
【０１０４】
そして、図７のステップＳ２０３と同様に、被写体抽出部４５で主被写体を検出するために基準とする肌色検出領域を設定する（ステップＳ４０３）。この肌色検出領域の設定では、ＷＢゲイン値を利用する第１実施形態と異なり輝度レベルを利用して行われる。すなわち、露出が適正の場合には、上記の式（９）および式（１０）に示すデフォルトの肌色検出領域を設定するが、露出がオーバー（高輝度）気味の場合には、肌色検出領域を白色側にシフトさせる。また、露出がアンダー（低輝度）気味の場合には、肌色検出領域を黒色側にシフトさせる。この処理について、以下で具体的に説明する。
【０１０５】
図１７は、肌色検出領域のシフトを説明するための図である。図１７の横軸は、輝度レベルを示しており、縦軸は色度図のｖ’成分を示している。また、図中の折れ線Ｆｑは、上記式（１０）に示すｖ’＿ｍｉｎの値を表している。
【０１０６】
高輝度、具体的には閾値ｔｈｄ１より輝度レベルが大きい場合には、線分Ｆｑ２に示すように輝度レベルに応じてｖ’＿ｍｉｎの値を増減させる。例えば、閾値ｔｈｄ１より大きい輝度レベルＹ１の場合にはｖ’＿ｍｉｎ＝０．４８に変更する。また、低輝度、具体的には閾値ｔｈｄ２より輝度レベルが小さい場合には、線分Ｆｑ３に示すように輝度レベルに応じてｖ’＿ｍｉｎの値を増減させる。例えば閾値ｔｈｄ２より小さい輝度レベルＹ２の場合にはｖ’＿ｍｉｎ＝０．４６に変更する。それ以外の場合には、デフォルトのｖ’＿ｍｉｎ＝０．４７を使用する。また、ｖ’＿ｍａｘについても同様に、輝度レベルＹ１の場合にはｖ’＿ｍａｘ＝０．５２に、輝度レベルＹ２の場合にはｖ’＿ｍａｘ＝０．５０に変更し、それ以外の場合には、デフォルトのｖ’＿ｍａｘ＝０．５１を使用する。
【０１０７】
上記のＹ１の場合には、ｖ’＿ｍｉｎが０．４８に、ｖ’＿ｍａｘが０．５２にシフトすることとなるが、これにより変更された肌色検出領域ＲＨａを図１８に示す。また、上記のＹ２の場合には、ｖ’＿ｍｉｎが０．４６に、ｖ’＿ｍａｘが０．５０にシフトすることとなるが、これにより変更された肌色検出領域ＲＨｂを図１８に示す。このように、輝度情報に応じて色空間で肌色検出領域を変更するため、精度の良い主被写体検出が可能となる。
【０１０８】
以降のステップＳ４０４〜Ｓ４０９については、図７のステップＳ２０４〜Ｓ２０９と同様の処理を行う。
【０１０９】
以上のデジタルカメラ１Ｂの動作により、輝度レベルに応じて肌色検出を行わなかったり、色空間における肌色検出領域を変更するため、画像から主被写体を精度良く抽出できる。
【０１１０】
なお、図１６のフローチャートに示す被写体抽出処理においては、図１９のフローチャートに示す肌色画素再抽出処理を追加しても良い。この再抽出処理は、図１６のステップＳ４０４とＳ４０５との間に挿入される。以下で、この処理を詳しく説明する。
【０１１１】
まず、輝度レベルが所定値γより大きいかを判定する（ステップＳ５０１）。ここで、輝度レベルが所定値γより大きい場合には、ステップＳ５０２に進み、大きくない場合には、ステップＳ５０３に進む。
【０１１２】
ステップＳ５０２では、ステップＳ４０４で抽出された肌色画素の周辺が白色になっているかを判定する。人物の顔の一部が白飛びしている場合には、肌色から徐々に白色に変化する傾向があり、この変化を検出することで誤判定防止を図る。ここで、白色になっている場合には、露光時間を短縮する（ステップＳ５０４）。これにより、輝度を低下させることができる。なお、露光時間を短縮する代わりに、絞りを絞っても良い。
【０１１３】
ステップＳ５０３では、輝度レベルが所定値δより小さいかを判定する（ステップＳ５０３）。ここで、輝度レベルが所定値δより小さい場合には、ステップＳ５０５に進む。そして、上述した白色と同様の理由により、ステップＳ４０４で抽出された肌色画素の周辺が黒色になっているかを判定する（ステップＳ５０５）。ここで、黒色になっている場合には、露光時間を延長する（ステップＳ５０６）。これにより、輝度を向上させることができる。なお、露光時間を延長する代わりに、絞りを開放しても良い。
【０１１４】
そして、ＣＣＤ撮像素子３０で取得された画像を再度取り込み（ステップＳ５０７）、ステップＳ４０４と同様の肌色画素抽出処理を再び行う（ステップＳ５０８）。これにより、適正輝度の画像を利用できるため、確実な肌色画素検出を行えることとなる。
【０１１５】
以上の肌色画素再抽出処理を行うことによって、より信頼性の高い肌色検出が行えることとなる。
【０１１６】
＜第３実施形態＞
次に、本発明の第３実施形態に係るデジタルカメラ１Ｃについて説明する。なお、デジタルカメラ１Ｃの装置構成については、第１実施形態のデジタルカメラ１Ａと同様である（図１、図２参照）。ただし、デジタルカメラ１Ｃの全体制御部１８は、後述する動作を制御するための機能構成となっている点で異なっている。
【０１１７】
上記のデジタルカメラ１Ａでは、合焦制御部４３が所定ピッチでフォーカシングレンズ１２を段階的に駆動させつつ、合焦評価部４２において各レンズ位置での評価値が算出されるが、被写体抽出処理が実行されるのは、フォーカシングレンズ１２を段階的に駆動させる前と合焦評価領域が合焦状態に達した後である。そのため、フォーカシングレンズ１２を段階的に駆動させる前に実行される被写体抽出処理（ステップＳ１０４）によって実際には主被写体と全く異なる被写体が主被写体であると特定されていた場合には、その被写体が含まれる合焦評価領域を合焦状態に導くための動作が無駄になる。
【０１１８】
このため、本実施形態では、フォーカシングレンズ１２を段階的に移動させる最中にも、被写体抽出処理を実行することにより、無駄な動作を省いてさらに効率的に主被写体を正確に合焦状態に導く形態について説明する。
【０１１９】
図２０及び図２１は、デジタルカメラ１Ｃの処理手順を示すフローチャートであり、特にシャッタボタン８が半押し状態とされてから本撮影動作が行われるまでの全体的な処理手順を示している。
【０１２０】
まず、ユーザによってシャッタボタン８が半押し状態にされると（ステップＳ６０１）、全体制御部１８が主被写体合焦制御部４０と撮影機能部２０とを機能させる。
【０１２１】
そして、合焦制御部４３がレンズ駆動部５０を制御してフォーカシングレンズ１２を最も遠側に移動させる（ステップＳ６０２）。なお、ステップＳ６０２の処理が次回以降実行される場合には、合焦制御部４３がフォーカシングレンズ１２を近側方向に所定ピッチ分移動させる制御動作を行うことになる。
【０１２２】
次に、合焦評価領域の設定処理が行われる（ステップＳ６０３）。合焦評価領域設定部４１は、被写体抽出部４５から主被写体領域が指定されている場合はその指定された主被写体領域を合焦評価領域に設定する。ただし、シャッタボタン８が半押し状態にされてから最初にステップＳ６０３の処理が行われる際には、未だ被写体抽出処理（ステップＳ６０８）は実行されていない。このため、未だ被写体抽出部４５から主被写体領域が指定されていない場合、合焦評価領域設定部４１は画像の中央部分に予め設定された初期状態の合焦評価領域ＦＲ１（図３参照）を評価値算出対象の合焦評価領域として設定する。これに対し、既に被写体抽出処理が何回か実行されている場合には、合焦評価領域設定部４１は前回指定された最新の主被写体領域を評価値算出対象の合焦評価領域として設定する。そして、合焦評価領域設定部４１は合焦評価領域を合焦評価部４２に対して指示する。
【０１２３】
そして、全体制御部１８はフォーカシングレンズ１２が現在のレンズ位置にあるときに撮影機能部２０における撮影動作を行わせる。そして、合焦評価部４２は画像メモリ３１に格納された画像を取り込み（ステップＳ６０４）、評価値の算出処理を行う（ステップＳ６０５）。このとき、合焦評価部４２は、ステップＳ６０３において合焦評価領域設定部４１から指定された合焦評価領域の画像成分に基づいて評価値の算出を行い、その結果算出された評価値は合焦制御部４３に与えられる。
【０１２４】
そして、肌色領域設定部４４は、被写体抽出処理を実行するか否かの判定を行う（ステップＳ６０６）。このデジタルカメラ１Ｃでは、フォーカシングレンズ１２を所定ピッチで段階的に移動させる際に、各レンズ位置で被写体抽出処理を実行することができるように構成されるが、所定ピッチでのレンズ駆動ごとに毎回被写体抽出処理を実行するように構成すると、主被写体を合焦状態に導くまでに長時間を要することになる。そのため、このデジタルカメラ１Ｃの主被写体合焦制御部４０は、被写体抽出処理の実行頻度を調整する機能をも備える。
【０１２５】
主被写体合焦制御部４０が被写体抽出処理の実行頻度を調整する方法には、いくつかの方法がある。まず、第１に、所定ピッチでのフォーカシングレンズ１２のレンズ駆動が所定回数行われるごとに被写体抽出処理を１回実行する方法がある。これにより、レンズ駆動が行われる度に毎回被写体抽出処理が行われることを回避することができるので、効率的な合焦動作を実現することができる。
【０１２６】
また、第２に、合焦評価部４２で求められる評価値を参酌して合焦評価領域の画像成分が合焦状態に近づくにつれて被写体抽出処理の実行頻度を増加させる方法がある。例えば、評価値が合焦位置で最大値を示す場合には、評価値が第１の閾値未満の場合はレンズ駆動が１０回行われるごとに１回被写体抽出処理を実行し、第１の閾値以上第２の閾値未満の場合はレンズ駆動が５回行われるごとに１回被写体抽出処理を実行し、第２の閾値以上の場合はレンズ駆動が２回行われるごとに１回被写体抽出処理を実行するというように、合焦評価部４２における評価結果に基づいて被写体抽出処理の実行頻度を調整するのである。このように構成することにより、合焦評価領域の画像成分が合焦状態に近づくにつれて、主被写体を抽出するための処理が増加する。合焦評価領域の画像成分が合焦状態に近い場合には比較的高精度に主被写体の特定が行われるので、この第２の方法は、主被写体を合焦状態に導くためには効果的な方法となる。
【０１２７】
ただし、主被写体合焦制御部４０が被写体抽出処理の実行頻度を調整する方法は、上記第１又は第２の方法に限定されるものではなく、他の方法を採用してもよい。また、主被写体合焦制御部４０における処理速度が十分に速い場合には、レンズ駆動後の毎回の画像取り込み時に被写体抽出処理を実行するようにしてもよい。
【０１２８】
そして、主被写体合焦制御部４０がレンズ駆動回数をカウントして被写体抽出処理を実行すると判定した場合には、ステップＳ６０８の被写体抽出処理に進む。これに対し、被写体抽出処理を実行しないと判断した場合には、被写体抽出処理（ステップＳ６０８）をスキップさせて合焦判定を行う処理、すなわちステップＳ６１０（図２１のフローチャート）に進むことになる。
【０１２９】
本実施形態においても、被写体抽出処理（ステップＳ６０８）の詳細は、図７に示すフローチャートと同様である。すなわち、ＷＢゲイン値に応じた肌色検出により被写体抽出が行われる。
【０１３０】
そして、被写体抽出処理（ステップＳ６０８）において主被写体の領域が特定されると、その主被写体領域が被写体抽出部４５から合焦評価領域設定部４１に伝えられる。
【０１３１】
ステップＳ６０９に進み、合焦評価領域設定部４１は、それまでの合焦評価領域と、被写体抽出処理によって特定された主被写体領域とを比較し、両者が一致するか否かを判断する。この処理は、それまで評価対象とされていた合焦評価領域が正確な主被写体領域であったのかどうかを確認するための処理である。そして、一致しない場合には、ステップＳ６０３に戻り、合焦評価領域設定部４１は以後の合焦評価領域を、ステップＳ６０８の被写体抽出処理で特定された主被写体領域に設定変更する。よって、合焦評価部４２において次回の評価値算出が行われる際には、前回よりも信頼性の高い主被写体領域の画像成分について評価値算出を行うことが可能になる。その一方、合焦評価領域と、特定された主被写体領域とが一致する場合には、ステップＳ６１０（図２１）に進む。
【０１３２】
そして、合焦制御部４３は、図４に示すような評価値が最大値（又は最小値）を示すレンズ位置ＰＸを特定することができたか否か、すなわち、合焦評価領域の合焦状態が実現されたか否かを判断する。ここで、未だ合焦評価領域の合焦状態が実現されていないと判断された場合には、ステップＳ６０２（図２０）に戻って所定ピッチでのレンズ駆動、評価値算出処理等を繰り返す。その結果、最終的に合焦評価領域の合焦状態が実現された場合には、ステップＳ６１１に進み、全体制御部１８に対して本撮影動作の許可を行う。
【０１３３】
全体制御部１８は、本撮影動作の許可が与えられると、まず、ユーザによってシャッタボタン８が全押し状態とされたか否かを判断する（ステップＳ６１２）。シャッタボタン８が全押し状態でない場合には、フレーミングが変更された場合に対処するために、ステップＳ６０２（図２０）に戻ってシャッタボタン８が半押し状態とされた以降の処理を繰り返す。なお、このとき、合焦制御部４３は合焦制御を最初から行うことが必要になるので、フォーカシングレンズ１２を最も遠側の位置に移動させることになる。
【０１３４】
これに対し、シャッタボタン８が全押し状態とされた場合には、全体制御部１８が撮影機能部２０を制御して本撮影動作を行い（ステップＳ６１３）、画像処理部３２において所定の画像処理（ステップＳ６１４）を行った後、記録メディア９への記録処理（ステップＳ６１５）が行われる。
【０１３５】
以上のデジタルカメラ１Ｃの動作により、シャッタボタン８が半押し状態とされてから本撮影動作が完了するまでの処理手順が終了することで、本撮影動作においては、主被写体が画像のどの部分に存在する場合であっても、その主被写体を合焦状態として撮影することが可能である。
【０１３６】
そして、デジタルカメラ１Ｃにおいても、主被写体合焦制御部４０が、ＷＢゲイン値に応じて主被写体の抽出処理を行う際の肌色検出領域を設定し、その肌色検出領域に基づいて画像から主被写体の抽出処理を行うように構成されているため、精度良く被写体抽出を行えることとなる。
【０１３７】
なお、図２０のステップＳ６０８に示す被写体抽出処理については、図７に示す第１実施形態の処理に限らず、図１６の第２実施形態に示す輝度に基づく処理を行っても良い。この場合にも、上記と同様の効果が期待できる。
【０１３８】
＜変形例＞
◎上記の各実施形態における肌色検出領域の変更については、ＷＢゲイン値と輝度レベルとを組合わせても良い。この場合、ＷＢゲイン値に応じてＵＣＳ色度図のｕ’（横）方向へのシフトが行われるとともに、輝度レベルに応じてＵＣＳ色度図のｖ’（縦）方向へのシフトが行われる。これにより、デフォルトの肌色検出領域ＲＨから例えば図２２に示す領域ＲＨｃのように、肌色検出領域が斜め方向にシフトすることとなる。
【０１３９】
◎上記の第１実施形態において、画像中で無色彩に近い色の画素を検出し、その画素が無色彩となるようにＷＢゲイン値を設定する場合には、検出される画素が所定数より少ないときに、人物検出を行わないようにしても良い。
【０１４０】
◎上記の各実施形態における肌色検出領域ＲＨ（図９参照）については、四角形の領域として設定されるのは必須でなく、ＵＣＳ色度図のｕ’ｖ’空間において例えば台形や楕円形の領域として設定しても良い。
【０１４１】
◎上記の第１実施形態については、ＷＢゲイン値を参照して肌色検出に適した肌色検出領域を設定するのは必須でなく、ＷＢゲイン値に応じて肌色検出に適したＷＢゲイン値を再設定しても良い。
【０１４２】
すなわち、ライブビュー画像とは別に被写体検出専用の画像処理を行い、夕景など赤みを残すリミッタ制御が実行される場合には、例えばリミッタ制限される前の制限前ＷＢゲイン値で再設定する。そして、制限前ＷＢゲイン値に基づくＷＢ処理で生成された画像から被写体検出を行う。これにより、精度の良い被写体検出が可能となる。
【０１４３】
また、制限ＷＢゲイン値と、制限前ＷＢゲイン値とに基づき肌色検出用のＷＢゲイン値（例えば平均値）を算出し、ＷＢゲイン値として再設定する。この再設定されたＷＢゲイン値に基づくＷＢ処理で生成された画像から被写体検出を行う。これにより、上記と同様に、精度の良い主被写体の抽出が可能となる。
【０１４４】
◎上記の各実施形態のデジタルカメラには、デジタルスチルカメラとデジタルビデオカメラの双方が含まれる。また、撮影装置の一例としてデジタルカメラ１を例示して述べたが、この発明はデジタルカメラ以外の撮影装置に対しても適用することが可能である。
【０１４５】
◎上記の各実施形態については、主被写体（すなわち特定被写体）が人物の顔部分である場合について述べた。これは、一般的に写真撮影を行う場合、人物を被写体として撮影することが多いことに鑑みたものであるが、主被写体は人物の顔部分であることに限定されるものではない。このため、主被写体を構成する色成分（例えば赤色の衣服）に関する情報をユーザが自由に設定入力することができるようにすれば、ユーザが意図する主被写体を適切に特定することが可能になる。
【０１４６】
◎上記の各実施形態については、抽出された主被写体をフォーカス制御に利用しているが、抽出された主被写体を露出制御に利用しても良い。
【０１４７】
◎上述した具体的実施形態には、以下の構成を有する発明が含まれている。
【０１４８】
（１）ホワイトバランス処理に係る処理パラメータを制限する制限手段と、前記処理パラメータが制限される場合には、所定の色空間で特定被写体の固有色に対応する対応領域を変更する手段とを備えることを特徴とする撮像装置。
【０１４９】
これにより、被写体抽出の信頼性が向上する。
【０１５０】
（２）ホワイトバランス処理に係る処理パラメータが所定範囲から外れる場合には、所定の色空間で特定被写体の固有色に対応する対応領域を変更する手段を備えることを特徴とする撮像装置。
【０１５１】
これにより、主被写体抽出の信頼性が向上する。
【０１５２】
（３）ホワイトバランス処理に係る処理パラメータを制限する制限手段と、前記処理パラメータが制限される場合には、固有色の検出処理を禁止する手段と、
を備えることを特徴とする撮像装置。
【０１５３】
これにより、主被写体抽出の信頼性が向上する。
【０１５４】
（４）ホワイトバランス処理に係る処理パラメータが所定範囲から外れる場合には、固有色の検出を禁止する手段を備えることを特徴とする撮像装置。
【０１５５】
これにより、主被写体抽出の信頼性が向上する。
【０１５６】
（５）請求項３の発明において、ホワイトバランス処理に係る処理パラメータを制限する制限手段と、前記処理パラメータが制限される場合で、第２パラメータにより画像にホワイトバランス処理が施される場合には、第１パラメータに基づき固有色の検出を行う手段とを備えることを特徴とする撮像装置。
【０１５７】
これにより、主被写体抽出の信頼性が向上する。
【０１５８】
（６）請求項３の発明において、ホワイトバランス処理に係る処理パラメータが所定範囲から外れる場合で、第２パラメータにより画像にホワイトバランス処理が施される場合には、第１パラメータに基づき固有色の検出を行う手段を備えることを特徴とする撮像装置。
【０１５９】
これにより、主被写体抽出の信頼性が向上する。
【０１６０】
（７）抽出手段により抽出された特定被写体についてフォーカス制御を行う手段を備えることを特徴とする撮像装置。
【０１６１】
これにより、適切なフォーカス制御を行える。
【０１６２】
（８）抽出手段により抽出された特定被写体について露出制御を行う手段を備えることを特徴とする撮像装置。
【０１６３】
これにより、適切な露出制御を行える。
【０１６４】
【発明の効果】
以上説明したように、請求項１の発明によれば、ホワイトバランス情報に応じて、特定被写体に表れる固有色の検出方法を変更するため、画像から主被写体を精度良く抽出できる。
【０１６５】
また、請求項２の発明によれば、ホワイトバランス情報に応じて、特定被写体に表れる固有色の検出を実行するか否かを決定するため、画像から主被写体を精度良く抽出できる。
【０１６６】
また、請求項３の発明によれば、ホワイトバランス処理に係る第２パラメータにより画像にホワイトバランス処理が施される場合には、第１パラメータに基づき固有色の検出を行うため、画像から主被写体を精度良く抽出できる。
【０１６７】
また、請求項４および請求項５の発明によれば、輝度情報に応じて所定の色空間で固有色に対応する対応領域を変更し、特定被写体を抽出するため、画像から主被写体を精度良く抽出できる。
【０１６８】
特に、請求項５の発明においては、ホワイトバランス情報に応じて所定の色空間で対応領域を変更するため、主被写体抽出の信頼性が向上する。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る撮影装置の一例としてのデジタルカメラ１Ａを示す斜視図である。
【図２】デジタルカメラ１Ａの内部構成を示すブロック図である。
【図３】デジタルカメラ１Ａに予め設定される合焦評価領域の初期状態を示す図である。
【図４】レンズ位置に対する評価値変化の一例を示す図である。
【図５】デジタルカメラ１Ａの処理手順を示すフローチャートである。
【図６】デジタルカメラ１Ａの処理手順を示すフローチャートである。
【図７】被写体抽出処理の詳細な処理手順を示すフローチャートである。
【図８】肌色検出可能なＷＢゲイン値の範囲を説明するための図である。
【図９】ＣＩＥ １９７６ ＵＣＳ色度図の簡略図である。
【図１０】肌色検出領域のシフトを説明するための図である。
【図１１】肌色ブロック抽出処理を説明するための図である。
【図１２】形状判定処理において主被写体であると認識される領域を示す図である。
【図１３】画面に対する重み付け係数の一例を示す図である。
【図１４】肌色検出領域の設定に関する処理手順を示すフローチャートである。
【図１５】算出されたＧＢ’’とＧＢおよびＧＢ’との関係の一例を示す図である。
【図１６】本発明の第２実施形態に係るデジタルカメラ１Ｂの被写体抽出処理を示すフローチャートである。
【図１７】肌色検出領域のシフトを説明するための図である。
【図１８】肌色検出領域のシフトを説明するための図である。
【図１９】被写体再抽出処理の処理手順を示すフローチャートである。
【図２０】本発明の第３実施形態に係るデジタルカメラ１Ｃの処理手順を示すフローチャートである。
【図２１】本発明の第３実施形態に係るデジタルカメラ１Ｃの処理手順を示すフローチャートである。
【図２２】本発明の変形例に係る肌色検出領域のシフトを説明するための図である。
【符号の説明】
１Ａ、１Ｂ、１Ｃ デジタルカメラ（撮像装置）
８ シャッタボタン
１１ 撮影レンズ
１２ フォーカシングレンズ
１８ 全体制御部
２０ 撮影機能部
３０ ＣＣＤ撮像素子
３１ 画像メモリ
４０ 主被写体合焦制御部
４１ 合焦評価領域設定部
４２ 合焦評価部
４３ 合焦制御部
４４ 肌色領域設定部
４５ 被写体抽出部
５０ レンズ駆動部
ＲＨ、ＲＨａ、ＲＨｂ、ＲＨｃ、ＲＨｓ 肌色検出領域
【発明の属する技術分野】
本発明は、固有色が表れる特定被写体を含む画像において固有色を検出することにより特定被写体を抽出する撮像装置に関する。
【０００２】
【従来の技術】
デジタルカメラ（撮像装置）においては、画像に含まれる肌色を検出して人物（主被写体）を抽出する技術が提案されている。かかる人物抽出技術では、高精度に人物像の検出を行うことを主眼としているため、対象となる画像がどのような状態の画像であっても、人物像を検出するために一定の処理が行われる。
【０００３】
【発明が解決しようとする課題】
しかしながら、上述したデジタルカメラでは、ＷＢ（ホワイトバランス）処理が適正に行われていない場合には、色かぶりなどの影響により実際の人物の肌色が画像に再現されないため、正確な人物抽出が困難である。また、夕景やタングステン光などの場合には、一般に赤みを残すＷＢ処理を行うため、正確な人物検知が行えない。
【０００４】
また、上述したデジタルカメラでは、露出制御が適正に行われていない場合には、露出オーバーやアンダーなどの影響により画像で色情報が失われるため、正確な人物抽出が困難である。
【０００５】
本発明は、上記課題に鑑みてなされたものであり、画像から主被写体を精度良く抽出できる撮像装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記の課題を解決するため、請求項１の発明は、撮像装置であって、（ａ）固有色が表れる特定被写体を含む画像において、前記固有色を検出することにより前記特定被写体を抽出する抽出手段と、（ｂ）前記画像に係るホワイトバランス情報を取得する取得手段とを備え、前記抽出手段は、（ａ−１）前記ホワイトバランス情報に応じて、前記固有色の検出方法を変更する変更手段を有する。
【０００７】
また、請求項２の発明は、撮像装置であって、（ａ）固有色が表れる特定被写体を含む画像において、前記固有色を検出することにより前記特定被写体を抽出する抽出手段と、（ｂ）前記画像に係るホワイトバランス情報を取得する取得手段とを備え、前記抽出手段は、（ａ−１）前記ホワイトバランス情報に応じて、前記固有色の検出を実行するか否かを決定する決定手段とを有する。
【０００８】
また、請求項３の発明は、撮像装置であって、（ａ）固有色が表れる特定被写体を含む画像において、前記固有色を検出することにより前記特定被写体を抽出する抽出手段と、（ｂ）ホワイトバランス処理に係る処理パラメータを設定する設定手段と、（ｃ）前記処理パラメータに基づき、前記画像に対して前記ホワイトバランス処理を行う処理手段とを備え、前記設定手段は、（ｂ−１）前記画像に基づき第１パラメータを求める手段と、（ｂ−２）前記第１パラメータが所定範囲内である場合には、前記第１パラメータを前記処理パラメータとして設定する手段と、（ｂ−３）前記第１パラメータが前記所定範囲から外れる場合には、前記第１パラメータと異なる第２パラメータを前記処理パラメータとして設定する手段と、を有するとともに、前記抽出手段は、（ａ−１）前記第２パラメータに基づき前記画像に前記ホワイトバランス処理が施される場合には、前記第１パラメータに基づき前記固有色の検出を行う手段を有する。
【０００９】
また、請求項４の発明は、撮像装置であって、（ａ）固有色が表れる特定被写体を含む画像において、前記固有色を検出することにより前記特定被写体を抽出する抽出手段と、（ｂ）前記画像に係る輝度情報を取得する取得手段とを備え、前記抽出手段は、（ａ−１）所定の色空間において前記固有色に対応する対応領域を設定する設定手段と、（ａ−２）前記対応領域に基づき前記画像から前記固有色の検出を行う手段とを有するとともに、前記設定手段は、前記輝度情報に応じて、前記所定の色空間で前記対応領域を変更する変更手段を有する。
【００１０】
また、請求項５の発明は、請求項４の発明に係る撮像装置において、（ｃ）前記画像に係るホワイトバランス情報を取得する手段をさらに備え、前記変更手段は、前記ホワイトバランス情報に応じて、前記所定の色空間で前記対応領域を変更する手段を有する。
【００１１】
【発明の実施の形態】
＜第１実施形態＞
＜デジタルカメラ１の要部構成＞
図１は、本発明の第１実施形態に係る撮影装置の一例としてのデジタルカメラ１Ａを示す斜視図である。図１に示すように、デジタルカメラ１Ａの前面側には、撮影レンズ１１とファインダ窓２とが設けられている。撮影レンズ１１の内側には撮影レンズ１１を介して入射する被写体像を光電変換して画像データ（画素ごとの画素データの配列からなるデータ）を生成するためのＣＣＤ撮像素子３０が設けられている。
【００１２】
撮影レンズ１１には、光軸方向に沿って移動可能なフォーカシングレンズが含まれており、フォーカシングレンズを駆動することにより、ＣＣＤ撮像素子３０に結像される画像の合焦状態を可変することができるように構成されている。
【００１３】
また、デジタルカメラ１Ａの上面側には、シャッタボタン８と、カメラ状態表示器１３と、設定キー１４とが配置されている。シャッタボタン８は被写体の撮影を行うときにユーザが押し込み操作するボタンであり、半押し状態と全押し状態との２段階を検知することができるように構成される。カメラ状態表示器１３は、例えばセグメント表示タイプの液晶表示器によって構成され、デジタルカメラ１Ａにおける現在の設定内容等をユーザに示すために設けられている。また、設定キー１４は、被写体に応じた撮影モードの選択設定等を行うためのキースイッチである。
【００１４】
また、デジタルカメラ１Ａの側面部には本撮影動作によって生成される画像データを記録するための記録メディア９を装着する装着部１５が形成されており、メモリカード等のような交換可能な記録メディア９を装着することができる。
【００１５】
なお、図１における図示は省略するが、デジタルカメラ１Ａの背面側には、ＣＣＤ撮像素子３０で撮影された画像等を表示するための液晶表示部が設けられる。
【００１６】
図２は、デジタルカメラ１Ａの内部構成を示すブロック図である。なお、図２において実線矢印は制御信号の流れを示しており、斜線地矢印は画像信号の流れを示している。
【００１７】
図２に示すように、デジタルカメラ１Ａは、被写体を撮影する際の撮影機能を実現する撮影機能部２０と、合焦制御時に主被写体（特定被写体）を検出してその主被写体が合焦状態となるような制御を行う主被写体合焦制御部４０と、撮影レンズ１１に含まれるフォーカシングレンズ１２を駆動してＣＣＤ撮像素子３０に結像される画像の合焦状態を変更するレンズ駆動部５０と、上述のシャッタボタン８及び設定キー１４を含む操作部１６と、操作部１６の操作内容に応じて撮影機能部２０及び主被写体合焦制御部４０を制御する全体制御部１８とを備えて構成される。
【００１８】
撮影機能部２０は、撮影レンズ１１、ＣＣＤ撮像素子３０、ＣＣＤ撮像素子３０からの画像データを一時的に格納するための画像メモリ３１、画像メモリ３１から得られる画像データに対して画像圧縮等の所定の画像処理を行う画像処理部３２、画像処理部３２において画像表示用の画像処理が施された表示用画像を表示する液晶表示部３３、及び、画像処理部３２において画像記録用の画像処理が施された撮影画像を記録する記録メディア９を備えて構成される。
【００１９】
撮影機能部２０は、全体制御部１８の制御によって、本撮影前にライブビュー画像を液晶表示部３３に表示させるためのライブビュー動作と、シャッタボタン８が全押しされたときに記録メディア９に記録するための画像撮影を行う本撮影動作とを行うように構成される。また、液晶表示部３３がオフ状態であったとしても、少なくとも合焦制御時にはＣＣＤ撮像素子３０による撮影動作が行われる。
【００２０】
また、主被写体合焦制御部４０は、画像全体における合焦状態を評価するための合焦評価領域を設定する合焦評価領域設定部４１、画像メモリ３１から画像データを取り込み、合焦評価領域設定部４１から指定される合焦評価領域の部分画像データから合焦状態を評価するための評価値を求める合焦評価部４２、合焦評価部４２で求められる評価値に基づいてレンズ駆動部５０に駆動信号を与え、合焦評価領域の被写体像を合焦状態に導く合焦制御部４３、ホワイトバランス（ＷＢ）ゲインに応じて色空間において肌色領域を設定する肌色領域設定部４４、及び、画像メモリ３１から画像データを取り込み、肌色領域設定部４４で設定される色空間の肌色検出領域に基づいて主被写体（人物）の抽出処理を行う被写体抽出部４５を備えて構成される。
【００２１】
全体制御部１８は、例えばシャッタボタン８が半押し状態にされたときに主被写体が適切な合焦状態となるように主被写体合焦制御部４０を機能させ、全押し状態にされたときに撮影機能部２０において本撮影動作を行うように制御する。また、全体制御部１８は本撮影前にはライブビュー動作として撮影機能部２０において逐次画像撮影を行わせ、逐次更新される画像を液晶表示部３３に表示させたり、主被写体合焦制御部４０に与えるように制御する。
【００２２】
レンズ駆動部５０は、合焦制御動作時に合焦制御部４３から与えられる駆動信号に基づいてフォーカシングレンズ１２を遠側から近側に向けて所定ピッチで移動させ、ＣＣＤ撮像素子３０に結像される画像の合焦状態を変化させる。そして、主被写体合焦制御部４０において主被写体が合焦状態となるレンズ位置（合焦位置）が特定され、合焦制御部４３よりそのレンズ位置が指定された場合には、レンズ駆動部５０は、その指定されたレンズ位置にフォーカシングレンズ１２を移動させて主被写体が合焦した状態の画像をＣＣＤ撮像素子３０に結像させる。
【００２３】
図３は、デジタルカメラ１Ａに予め設定される合焦評価領域の初期状態を示す図である。図３に示すように、合焦評価領域設定部４１には、合焦評価領域の初期状態として、画像メモリ３１から取得する画像Ｇ１のほぼ中央部分に合焦評価領域ＦＲ１が設定されており、主被写体合焦制御部４０が機能して最初の合焦評価を行う際には、合焦評価領域設定部４１は、図３に示す合焦評価領域ＦＲ１の位置及びサイズを合焦評価部４２に指示する。
【００２４】
合焦評価部４２は、画像メモリ３１から画像Ｇ１を取得し、そのうちから合焦評価領域ＦＲ１についての画像成分を抽出する。そして、合焦評価領域ＦＲ１の画像成分の合焦状態を評価するための評価値を求める。評価値の算出方法には、いくつかの方法がある。例えば、第１の方法として、合焦評価領域ＦＲ１に含まれる画像成分をバンドパスフィルタに通し、それによって抽出される画像信号の高周波成分の強度を評価値とする方法があり、また、第２の方法として、合焦評価領域ＦＲ１に含まれる画像成分の隣接画素間での輝度値の差分値を求め、その差分値を合焦評価領域ＦＲ１内で累積した値を評価値とする方法がある。また、第３の方法として、合焦評価領域ＦＲ１に含まれる画像成分に対して微分フィルタ等を用いたエッジ抽出処理を施し、その結果抽出されるエッジの幅（ぼけ幅）を評価値とする方法もある。
【００２５】
第１及び第２の方法は、被写体を撮影した場合、画像がぼけている状態では高周波成分のレベルは小さく、また隣接画素間の輝度差の累積値も小さなものとなるのに対し、焦点が合ってくる（合焦状態に近づく）にしたがって高周波成分のレベルは大きく、また隣接画素間の輝度差の累積値も大きなものとなることを検出する方法である。
【００２６】
このため、フォーカシングレンズ１２を遠側から近側に次第に移動させた場合、第１及び第２の方法で得られる評価値は、図４に示すように変化する。フォーカシングレンズ１２を移動させつつ、各レンズ位置で撮影された画像から評価値を求めると、図４に示すように評価値が変化し、レンズ位置ＰＸで評価値が最大値を示す。このため、フォーカシングレンズ１２をレンズ位置ＰＸに移動させれば、合焦評価領域ＦＲ１に含まれる画像成分が合焦状態になると判明し、合焦制御部４３がフォーカシングレンズ１２をレンズ位置ＰＸに移動させて合焦状態を実現する。
【００２７】
一方、第３の方法は、被写体を撮影した場合、画像がぼけている状態ではエッジ幅は大きくなるのに対し、焦点が合ってくるにしたがってエッジ幅が小さくなることを検出する方法である。このため、フォーカシングレンズ１２を遠側から近側に次第に移動させた場合、第３の方法で得られる評価値は、合焦位置で最小値を示すこととなり、合焦制御部４３がその最小値を示すレンズ位置にフォーカシングレンズ１２を移動させて合焦状態を実現する。
【００２８】
なお、合焦評価部４２において適用される評価値の算出方法は、上記第１ないし第３の方法のいずれを採用してもよく、またその他の算出方法を採用してもよい。
【００２９】
ところで、合焦評価領域ＦＲ１が画像Ｇ１に対して常に固定された領域に設定されると、上述したようにその合焦評価領域ＦＲ１中にユーザの意図する主被写体が含まれていない場合には、ユーザの意図とは異なった領域で焦点検出が行われることとなり、その結果ユーザが撮影したかった主被写体がぼけた画像で撮影される。
【００３０】
そのため、本実施形態のデジタルカメラ１Ａでは、被写体抽出部４５が画像メモリ３１から画像を取得してその画像のうちから主被写体を抽出する処理を行う。そして、合焦評価領域設定部４１が主被写体であると判断された画像部分に合焦評価領域を変更設定し、合焦評価部４２はその主被写体が含まれる合焦評価領域について評価値の算出を行う。すなわち、合焦評価領域が、初期状態の領域から主被写体として認識された画像領域に修正され、その主被写体の被写体像が合焦状態となるように合焦制御が行われる。
【００３１】
これにより、本撮影動作が行われると、主被写体が合焦状態となった適切な画像が撮影されることになる。
【００３２】
被写体抽出部４５においては、肌色領域設定部４４で設定された色空間の肌色領域に基づいて、画像の肌色成分を抽出してその肌色成分が分布する領域を主被写体領域として認識するような被写体抽出処理が行われる。
【００３３】
＜デジタルカメラ１Ａの処理＞
以下、デジタルカメラ１Ａの処理手順について説明する。図５ないし図７は、デジタルカメラ１Ａの処理手順を示すフローチャートであり、特に図５及び図６はシャッタボタン８が半押し状態とされてから本撮影動作が行われるまでの全体的な処理手順を示しており、また、図７は、被写体抽出処理の詳細な処理手順を示している。
【００３４】
まず、ユーザによってシャッタボタン８が半押し状態にされると（ステップＳ１０１）、全体制御部１８が主被写体合焦制御部４０と撮影機能部２０とを機能させる。このとき、全体制御部１８は主被写体合焦制御部４０によってフォーカシングレンズ１２を最も遠側に移動させるとともに、撮影機能部２０を制御してフォーカシングレンズ１２が最も遠側に移動した状態で画像撮影を行わせる。
【００３５】
そして、主被写体合焦制御部４０は画像メモリ３１に格納された画像を取り込み（ステップＳ１０２）、評価値の算出処理を行う（ステップＳ１０３）。このとき、合焦評価領域設定部４１は、画像Ｇ１の中央部分に予め設定された初期状態の合焦評価領域ＦＲ１を評価値算出対象の合焦評価領域とすべきことを合焦評価部４２に対して指示する。合焦評価部４２では、ほぼ画面中央に設定される合焦評価領域ＦＲ１（図３参照）に含まれる画像成分に基づいて評価値の算出が行われ、算出された評価値は合焦制御部４３に与えられる。
【００３６】
そして肌色領域設定部４４及び被写体抽出部４５が機能し、被写体抽出処理が行われる（ステップＳ１０４）。
【００３７】
図７のフローチャートを参照する。被写体抽出処理（ステップＳ１０４）に進むと、まず、肌色領域設定部４４は、全体制御部１８から、ホワイトバランス情報であるＷＢゲイン値を取得する（ステップＳ２０１）。
【００３８】
ＷＢゲイン値とは、白い物体が白色に再現されるように画像を調整するために設定される、Ｇ（緑）色成分の画像信号に対するＲ（赤）およびＢ（青）色成分の画像信号のレベル比である。また、本実施形態のデジタルカメラ１Ａを含めて一般には、特殊な光源色下で被写体（例えば、夕景やタングステン光下の赤味がかった被写体）で過度に色補正され色再現性が損なわれないよう、ＲおよびＢの色成分に関するＷＢゲイン値に一定の制限（以下では「リミッタ制限」という）が施される。このリミッタ制限では、画像から算出されたＷＢゲイン値が所定の閾値を超過した場合には、例えばこの所定の閾値と、画像から全体制御部１８で算出されたＷＢゲイン値（第１パラメータ：以下では「制限前ＷＢゲイン」という）との平均値にＷＢゲイン値（第２パラメータ：以下では「制限ＷＢゲイン」という）が設定される。なお、リミッタ制限では、算出されたＷＢゲイン値が所定の閾値を超過した場合には、所定の閾値にＷＢゲイン値を制限しても良い。
【００３９】
次に、ステップＳ２０１で取得したＷＢゲイン値が、撮影画像に基づき肌色検出可能なＷＢゲイン値であるかを判定する（ステップＳ２０２）。これは、人物（主被写体）に表れる固有色である肌色を利用した主被写体検出において、不適正なＷＢゲイン値によるＷＢ処理が行われた画像に基づいては、精度の良い肌色検出が困難であり、また不適切なＷＢ処理が施された画像から強引に主被写体検出を行うと人物でない画像領域を人物と誤認するため、これを除外するための処理となる。すなわち、ＷＢ情報に応じて肌色検出を実行するか否かが決定される。この具体的な判定方法について、以下で説明する。
【００４０】
ＷＢゲイン値について、画像に基づき算出されたＲゲインおよびＢゲインをＧＲおよびＧＢとし、リミッタ制限により制限された制限Ｒゲインおよび制限ＢゲインをＧＲ’およびＧＢ’とすると、以下の式（１）〜（６）の少なくとも一つを満足する場合、つまり各ゲイン値ＧＲ、ＧＲ’、ＧＢ、ＧＢ’の相対的関係が所定範囲内となる場合（換言すれば所定条件を満足する場合）には、肌色検出可能でないと判定し、肌色の検出を実行しないで処理を完了する。
【００４１】
【数１】
ここで、ＧＲＢ＿Ｈｉｇｈ、ＧＲＢ＿Ｌｏｗ、ＧＲ’Ｂ’＿Ｈｉｇｈ、ＧＲ’Ｂ’＿Ｌｏｗ、ＧＲ＿ＥＸＣＥＳＳ、ＧＢ＿ＥＸＣＥＳＳは所定の定数である。なお、これらの定数は、例えば太陽光時の標準的なＷＢゲイン値であるＧＲ＝１．６７、ＧＢ＝１．３０を考慮して求めるのが好ましい。
【００４３】
上記の式（１）および式（２）に示す条件判定の概念を図示すると、図８のようになる。図８の横軸は、ＧＲ−ＧＢを示している。ここで、平行斜線部が肌色検出可能で適正な範囲となるが、それ以外については、ＧＲが過剰であったりＧＢが過剰であるため、不適切な範囲として除外されることとなる。
【００４４】
そして、被写体抽出部４５で主被写体を検出するために基準とする肌色検出領域を設定する（ステップＳ２０３）。すなわち、画像から肌色が表れる主被写体を検出する場合において、色空間において肌色と見なす対応領域（以下では「肌色検出領域」という）を設定する。
【００４５】
肌色検出領域とは、画素データのＲＧＢ値から輝度の影響を受けない色度ｕ’，ｖ’で表現された「ＣＩＥ １９７６ ＵＣＳ色度図」の特定領域を指している。ここで、ある画素のＲＧＢ値から色度ｕ’，ｖ’を算出する際には、以下の式（７）及び式（８）で算出することができる。
【００４６】
【数２】
【数３】
図９は、「ＣＩＥ １９７６ ＵＣＳ色度図」の簡略図である。図９において領域ＲＨは予め設定されるデフォルトの肌色検出領域である。すなわち、上記式（７）及び式（８）によって求められる色度ｕ’、ｖ’を次の条件式にあてはめれば各画素が肌色画素であるか否かを判定することができる。
【００４９】
【数４】
【数５】
上記の式（７）によって算出される色度ｕ’が条件式（９）を満たし、かつ、式（８）によって算出される色度ｖ’が条件式（１０）を満たす場合には、当該画素は肌色画素であることが判明する。
【００５２】
しかし、デフォルトの肌色検出領域ＲＨを使用するだけでは、例えばリミッタ制限によって画像が赤気味である場合に、正確な肌色検出が困難である。このような場合には、以下で説明するように、肌色検出領域を赤色側にシフトさせ、肌色の検出方法を変更することとする。
【００５３】
図１０は、肌色検出領域のシフトを説明するための図である。図１０の横軸は、Ｒゲイン（ＧＲ）を示しており、縦軸は色度図のｕ’成分を示している。また、図中の折れ線Ｆｒは、上記のｕ’＿ｍｉｎの値を表している。
【００５４】
夕景やタングステン光などの赤みを残すリミッタ制御が行われると、算出された制限前ＷＢゲイン値（ＧＲ）に代わり制限ＷＢゲイン値（ＧＲ’）でＷＢ処理が行われる。
【００５５】
そこで、このように赤みを残すように制限ＷＢゲインが設定される場合、すなわちリミッタ制限が行われるＧＲ≧ｔｈｄの場合には、直線Ｆｒ２に示すようにＧＲの値に応じてｕ’＿ｍｉｎの値を増加させる。例えば、閾値ｔｈｄより大きいＧＲ１の場合にはｕ’＿ｍｉｎ＝０．２３となる。一方、リミッタ制限が行われていないＧＲ＜ｔｈｄの場合には、直線Ｆｒ１に示すように、デフォルトのｕ’＿ｍｉｎ＝０．２２を使用する。また、ｕ’＿ｍａｘについても同様に、例えば閾値ｔｈｄより大きいＧＲ１の場合にはｕ’＿ｍａｘ＝０．２８に変更する。
【００５６】
上記のＧＲ１の場合には、ｕ’＿ｍｉｎが０．２３に、ｕ’＿ｍａｘが０．２８にシフトすることとなるが、これにより変更された肌色検出領域ＲＨｓを図９に示す。このように、ホワイトバランス情報に応じて色空間で肌色検出領域を変更するため、精度の良い人物検出が可能となる。
【００５７】
次に、ステップＳ２０４に進み、被写体抽出部４５は肌色領域設定部４４で設定された肌色領域に基づき肌色画素を抽出する肌色画素抽出処理を行う。換言すれば、この肌色画素抽出処理は色判定処理を行うことである。
【００５８】
具体的には、画像の全画素に関して、図９に示すＵＣＳ色度図を利用して肌色画素を特定する。ここで、リミッタ制限がない場合には、領域ＲＨに基づき肌色画素が検出されるとともに、リミッタ制限がある場合には、デフォルトの領域ＲＨをシフトした領域ＲＨｓなどに基づき、肌色画素が検出される。
【００５９】
このようにＵＣＳ色度図を利用して肌色画素を特定することにより、輝度の影響を受けることがなく、正確に肌色画素の特定を行うことが可能になるとともに、ＲＧＢ値から色度ｕ’，ｖ’への変換が比較的簡単な演算であるため、効率的に演算処理を行うことも可能である。
【００６０】
なお、この肌色画素抽出では、肌色と判定された画素に対して、さらに輝度の判定条件を付加しても良い。具体的には、次の式（１１）で算出される輝度レベルｙが、式（１２）で示す条件を満足する画素のみ肌色画素と判定する。
【００６１】
【数６】
これにより、実際の被写体で肌色となっていない箇所が、高輝度や低輝度のために肌色と判定されるのを防止できる。
【００６３】
次に、ステップＳ２０５に進み、被写体抽出部４５は肌色ブロック抽出処理を行う。具体的には、図１１に示すように、撮影画像においてｎ×ｎ画素（ｎは自然数）の集合を１のブロックＢＬとし、このブロックＢＬを構成する画素群のうち肌色画素が所定割合以上含まれているブロックＢＬを、肌色ブロックとして特定する。これに対し、ブロックＢＬの中に含まれる肌色画素数が所定割合未満である場合には、そのブロックＢＬは肌色ブロックとしては抽出されず、主被写体を構成するものでないと判断される。
【００６４】
このように肌色ブロックを抽出し、以後の処理をブロック単位で実行していくことにより、画素単位で処理を進めていく場合に比べて処理速度の高速化を図ることができる。特にデジタルカメラ１Ａの場合にはシャッタボタン８が半押し状態とされると、シャッタチャンスを逃さないためにも迅速に主被写体を合焦状態に導くことが求められるため、上記のようなブロック単位ごとの処理とすることは重要な意義を有する。また同時に、所定割合の肌色画素が存在するブロックを肌色ブロックとするため、肌色ブロックの信頼性を高めると同時に、最終的には主被写体抽出の信頼性を高めることにもなる。
【００６５】
次に、ステップＳ２０６に進み、被写体抽出部４５は肌色ブロックとして特定されたブロックのグループ化処理を行う。グループ化とは、縦方向又は横方向に連続して分布する肌色ブロックを連結して肌色ブロックの集合体を形成させる処理である。このため、１個の肌色ブロックが他の肌色ブロックに接することなく孤立して存在する場合には、当該肌色ブロックはグループ化処理によって肌色ブロックの集合体形成から排除される。換言すれば、このグループ化処理により、主被写体としてありえないような小さな肌色ブロックは、主被写体を構成しないものとして取り扱われる。
【００６６】
また、ここでは、グループ化処理によって形成される肌色ブロックの集合体のグループ情報も生成される。グループ情報とは、肌色ブロックの集合体ごとに生成され、集合体を構成する縦方向及び横方向のブロック数とその集合体の重心位置とを含む情報である。このグループ情報は、後に行われる形状判定処理（ステップＳ２０７）及び顔の特定処理（ステップＳ２０８）において用いられる。
【００６７】
次に、ステップＳ２０７に進み、被写体抽出部４５はステップＳ２０６のグループ化処理によって形成された肌色ブロック集合体の形状判定処理を行う。一般に、画像から肌色グループ集合体を求めると、人物の肌部分だけが抽出される訳ではなく、事実上肌色を示す壁や樹木肌等の人物の肌以外の物体も肌色グループ集合体を形成し得る。また人物の手や足も肌色グループ集合体を形成し得る。そこで、本実施形態では、被写体抽出部４５においてさらに形状判定処理を行うことで、人物の顔形状に近い形状分布をしている肌色グループ集合体を主被写体として認識するように実現されている。
【００６８】
ここでの形状判定処理は、所定の縦横比の範囲内に肌色ブロックの集合体が含まれるか否かを判断することにより行われる。具体的には、ステップＳ２０６で生成されたグループ情報に含まれる縦方向及び横方向のブロック数を取得し、肌色ブロック集合体の縦方向及び横方向の縦横比（Ｋ：１）を求める。そして、例えばＫ≧２の関係が成立すれば、当該肌色ブロック集合体は人物の顔部分を撮影した画像成分であると判断する。
【００６９】
なお、肌色ブロック集合体の最大縦横比の交差位置や、肌色ブロック集合体の重心位置などの情報によって、人物の顔部分を判断しても良い。
【００７０】
図１２は、形状判定処理（ステップＳ２０７）において主被写体であると認識される領域を示す図である。なお、図１２では、主被写体であると認識される領域を黒塗りで示している。図１２に示すように、被写体抽出部４５が形状判定処理を行うことにより、人物の顔部分が含まれるブロックが主被写体の領域であるものとして特定されることになる。
【００７１】
次に、ステップＳ２０８に進み、被写体抽出部４５は形状判定処理によって複数の主被写体が特定された場合に、そのうちから一の主被写体を特定するために顔の特定処理、すなわち主被写体の特定処理を行う。被写体抽出部４５には予め画面に対する重み付け係数が設定されており、主被写体として特定された肌色ブロック集合体の重心位置に基づいて当該肌色ブロック集合体についての重み付け係数を特定する。
【００７２】
図１３は、画面に対する重み付け係数の一例を示す図である。図１３に示すように画面Ｇ５が複数の領域に分割されており、各領域にその領域の重み付け係数が定義されている。そして、肌色ブロック集合体の重心位置が画面Ｇ５のどの位置に位置するかを特定し、その特定結果に基づいて重み付け係数を特定する。例えば、図１３において、主被写体として特定された黒塗りの肌色ブロック集合体について考えると、その重心位置は図１３において位置Ｐ１にあるため、重み付け係数は「１０」と特定される。そして、被写体抽出部４５は、当該肌色ブロック集合体の面積（例えば、肌色ブロック集合体を構成するブロック数）と、特定された重み付け係数の積を算出し、肌色ブロック集合体の主被写体適合値（主被写体らしさを示す値）とする。そして、複数の肌色ブロック集合体のそれぞれについて主被写体適合値を算出すると、各主被写体適合値を比較し、最大値を示す肌色ブロック集合体を主被写体となる人物の顔部分であると認定する。
【００７３】
このように、複数の主被写体が特定された場合には、画面の中央寄りに主被写体がフレーミングされるであろうとの前提にたって、画面上の位置に対する重み付け係数を用いて主被写体適合値を求めることにより、一の主被写体を正確に特定することができる。また、小さく写っている物体よりも大きく写っている物体の方が主被写体である可能性が高いため、重み付け係数を用いた計算を行う際には、肌色ブロック集合体の面積を考慮に入れることにより、正確に主被写体を特定することが可能になる。
【００７４】
なお、最大値を示す主被写体適合値から所定範囲内の値を示す複数の主被写体適合値を採用してもよい。この場合、主被写体領域として複数の領域が特定されることになるので、いわゆるマルチエリアの合焦制御を適用することになる。
【００７５】
以上のようにして主被写体が特定されると、被写体抽出部４５は全体制御部１８に対して主被写体領域を指示することにより、全体制御部１８が液晶表示部３３の表示状態を更新し、主被写体領域が液晶表示部３３にも表示されることになる（ステップＳ２０９）。例えば、特定された主被写体領域を赤線枠で囲むような表示が行われる。これにより、ユーザは、画像のどの部分が主被写体と認識され、合焦制御がなされるかを容易に把握することができる。また、被写体抽出部４５は、上記のような処理を行うことによって特定した主被写体領域を合焦評価領域設定部４１に指示する。
【００７６】
図５のフローチャートに戻り、ステップＳ１０４の被写体抽出処理が終了すると、ステップＳ１０５に進む。そして合焦評価領域設定部４１は合焦評価部４２が評価値を算出するための合焦評価領域を被写体抽出部４５によって指示された被写体領域に設定変更する。この結果、合焦評価部４２において次回の評価値算出が行われる際には、主被写体の画像成分について評価値算出を行うことが可能になる。
【００７７】
次に合焦制御部４３によって所定ピッチでのフォーカシングレンズ１２のレンズ駆動が行われ（ステップＳ１０６）、そのレンズ位置での画像取り込みが行われて（ステップＳ１０７）、合焦評価部４２による評価値算出処理が行われる（ステップＳ１０８）。ステップＳ１０８において合焦評価部４２は、ステップＳ１０５の合焦評価領域の変更設定処理で設定された合焦評価領域の画像成分に基づいて評価値を算出する。
【００７８】
以後、評価値が最大値（又は最小値）を示すまでステップＳ１０６〜Ｓ１０８の処理を繰り返し、評価値が最大値（又は最小値）を示すレンズ位置を特定することができた場合、すなわちステップＳ１０９において合焦評価領域の合焦状態が実現された場合に、図６のフローチャートに進む。
【００７９】
そして、合焦評価領域の合焦状態が実現された段階で再度被写体抽出処理を実行する（ステップＳ１１０）。ここでの被写体抽出処理（ステップＳ１１０）も、図７を参照して説明した上記ステップＳ１０４の被写体抽出処理と同様である。
【００８０】
ただし、ステップＳ１０４の段階では、合焦評価領域の画像成分がぼけた状態で主被写体の抽出処理が行われるため、その精度は低い。そのため、合焦評価領域の画像成分がぼけた状態で主被写体の抽出処理が行われ、それによって特定された主被写体領域が合焦状態と判定されたとしても、その合焦評価領域には実際の主被写体が含まれていない可能性がある。
【００８１】
そのため、本実施形態ではステップＳ１１０において再度被写体抽出処理を行うこととしている。そしてステップＳ１１０の段階では、合焦評価領域の画像成分が合焦状態であると判断された状態であるため、主被写体領域を高精度に特定することが可能である。
【００８２】
そして被写体抽出処理（ステップＳ１１０）が行われて、信頼性の高い主被写体領域が特定されると、被写体抽出部４５は前回同様に合焦評価領域設定部４１に対して特定された主被写体領域を指示する。
【００８３】
これにより、合焦評価領域設定部４１は、ステップＳ１０８において採用されていた合焦評価領域と、ステップＳ１１０の被写体抽出処理において特定された被写体領域とが一致するか否かを判断する（ステップＳ１１１）。つまり、この処理は、ステップＳ１０６〜Ｓ１０８の繰り返し処理で評価対象とされていた合焦評価領域が正確な主被写体領域であったのかどうかを確認するための処理である。その結果、合焦評価領域と、特定された主被写体領域とが一致しない場合には、ステップＳ１０５（図５）に戻り、合焦評価領域設定部４１は合焦評価領域を、ステップＳ１１０の被写体抽出処理で特定された主被写体領域に設定変更する。よって、合焦評価部４２において次回の評価値算出が行われる際には、信頼性の高い主被写体領域の画像成分について評価値算出を行うことが可能になり、ステップＳ１０６以降の処理が行われる。その一方、合焦評価領域と、特定された主被写体領域とが一致する場合には、ステップＳ１１２（図６）に進む。
【００８４】
合焦評価領域設定部４１が、合焦評価領域と、特定された主被写体領域とが一致すると判断した場合には、全体制御部１８に対して本撮影動作の許可を行う（ステップＳ１１２）。
【００８５】
全体制御部１８は、本撮影動作の許可が与えられると、まず、ユーザによってシャッタボタン８が全押し状態とされたか否かを判断する。デジタルカメラ１Ａではシャッタボタン８の全押し状態が本撮影動作の条件となっているため、シャッタボタン８が全押し状態でない場合には、フレーミングが変更された場合に対処するために、ステップＳ１０２（図５）に戻ってシャッタボタン８が半押し状態とされた以降の処理を繰り返す。
【００８６】
また、シャッタボタン８が全押し状態とされた場合には、全体制御部１８が撮影機能部２０を制御して本撮影動作を行い（ステップＳ１１４）、画像処理部３２において所定の画像処理（ステップＳ１１５）を行った後、記録メディア９への記録処理（ステップＳ１１６）が行われる。
【００８７】
以上のデジタルカメラ１Ａの動作により、ＷＢゲイン値に応じて肌色検出を行わなかったり、色空間における肌色検出領域を変更するため、画像から主被写体を精度良く抽出できる。
【００８８】
なお、上記のステップＳ２０２における肌色検出可能か否かの判定については、以下で説明するように輝度情報を利用して判定しても良い。
【００８９】
ＷＢ処理は、一般に太陽光下で高性能を発揮できるが、室内光下では様々な光源が存在するため信頼性が低下する傾向にある。すなわち、太陽光下の可能性が大きい高輝度の場合には、ＷＢ処理の信頼性が高く、室内光下の可能性が大きい低輝度の場合には、ＷＢ処理の信頼性が低くなると考えられる。そこで、上記の式（１１）に基づき算出される輝度レベルＹが、以下の式（１３）〜（１８）を満足する場合には、肌色検出可能でないと判定し、肌色検出を実行しない。
【００９０】
【数７】
ここで、ＧＲＢ＿Ｈｉｇｈ、ＧＲＢ＿Ｌｏｗ、ＧＲ’Ｂ’＿Ｈｉｇｈ、ＧＲ’Ｂ’＿Ｌｏｗ、ＧＲ＿ＥＸＣＥＳＳ、ＧＢ＿ＥＸＣＥＳＳは、上記の式（１）〜（６）と同じ値であり、ｎは所定の定数である。
【００９２】
また、上記のステップＳ２０３における肌色検出領域の設定については、図１４のフローチャートに示す処理手順を行うようにしても良い。以下で本処理を説明する。
【００９３】
まず、ＧＢゲイン値が所定値αより大きいかを判定する（ステップＳ３０１）。ここで、ＧＢゲイン値が所定値αより大きい場合には、ステップＳ３０２に進み、大きくない場合には、ステップＳ３０３に進む。
【００９４】
ステップＳ３０２では、ＧＲゲインが所定値βより大きいかを判定する。ここで、ＧＲゲイン値が所定値βより大きい場合には、制限前ＷＢゲイン値（ＧＢ、ＧＲ）と制限ＷＢゲイン値（ＧＢ’、ＧＲ’）との差ΔＧＢ、ΔＧＲを算出する（ステップＳ３０４）。一方、ＧＲゲイン値が所定値β以下である場合には、制限前ＧＢゲイン値（ＧＢ）と制限ＧＢゲイン値（ＧＢ’）との差ΔＧＢを算出するとともに、ΔＧＲに０を代入する（ステップＳ３０５）。
【００９５】
ステップＳ３０３でも、ＧＲゲインが所定値βより大きいかを判定する。ここで、ＧＲゲイン値が所定値βより大きい場合には、制限前ＧＲゲイン値（ＧＲ）と制限ＧＲゲイン値（ＧＲ’）との差ΔＧＲを算出するとともにΔＧＢに０を代入する（ステップＳ３０６）。一方、ＧＲゲイン値が所定値β以下である場合には、ΔＧＢおよびΔＧＲに０を代入する（ステップＳ３０７）。
【００９６】
次に、ステップＳ３０４〜Ｓ３０７で設定されたΔＧＢをｎ倍した値をＧＢから減算してＧＢ’’を算出するとともに、ΔＧＲをｎ倍した値をＧＲから減算してＧＲ’’を算出する（ステップＳ３０８）。そして、ステップＳ３０８で算出されたＧＢ’’、ＧＲ’’に基づき、色空間での肌色検出領域を設定する。
【００９７】
以上の処理により、ステップＳ３０４を経てステップＳ３０８で算出されたＧＢ’’とＧＢおよびＧＢ’との関係は、例えば図１５に示すようになる。このように、制限前ＷＢゲイン値と制限ＷＢゲイン値との中間的な値ＧＢ’’、ＧＲ’’に基づき肌色検出領域を設定できるため、肌色検出領域を適切に設定できる。
【００９８】
＜第２実施形態＞
本発明の第２実施形態に係るデジタルカメラ１Ｂは、図１および図２に示す第１実施形態のデジタルカメラ１Ａと類似の構成となっているが、肌色領域設定部４４と被写体抽出部４５との構成が相違している。
【００９９】
すなわち、肌色領域設定部４４および被写体抽出部４５は、以下で説明する被写体抽出処理を行うための機能構成を具備している。
【０１００】
＜デジタルカメラ１Ｂの処理＞
デジタルカメラ１Ｂの処理については、図５および図６のフローチャートに示す処理と類似であるが、ステップＳ１０４およびステップＳ１１０の被写体抽出処理が異なっている。この被写体抽出処理を以下で説明する。
【０１０１】
図１６は、デジタルカメラ１Ｂの被写体抽出処理を示すフローチャートである。
【０１０２】
まず、肌色領域設定部４４は、全体制御部１８から輝度情報を取得する（ステップＳ４０１）。この輝度情報とは、上記の式（１１）に基づきＲＧＢの各画素値から算出される輝度の情報である。なお、ステップＳ４０１では、画像のＧ成分だけに基づく輝度情報を取得しても良い。
【０１０３】
次に、ステップＳ４０１で取得した輝度情報に基づき、肌色検出可能な輝度であるかを判定する（ステップＳ４０２）。ライブビュー撮影では、動画的態様で画像を取得するため、最大露光時間が決まっている。したがって、被写体の照度が低い場合には、露光時間に限度があるため取得された画像の輝度が低くなり、肌色検出が精度良く行えない。そこで、ステップＳ４０２では、所定の輝度レベルより低輝度の画像を、肌色検出不可能な画像として除外するための処理が行われる。したがって、この場合には肌色検出は行わない。
【０１０４】
そして、図７のステップＳ２０３と同様に、被写体抽出部４５で主被写体を検出するために基準とする肌色検出領域を設定する（ステップＳ４０３）。この肌色検出領域の設定では、ＷＢゲイン値を利用する第１実施形態と異なり輝度レベルを利用して行われる。すなわち、露出が適正の場合には、上記の式（９）および式（１０）に示すデフォルトの肌色検出領域を設定するが、露出がオーバー（高輝度）気味の場合には、肌色検出領域を白色側にシフトさせる。また、露出がアンダー（低輝度）気味の場合には、肌色検出領域を黒色側にシフトさせる。この処理について、以下で具体的に説明する。
【０１０５】
図１７は、肌色検出領域のシフトを説明するための図である。図１７の横軸は、輝度レベルを示しており、縦軸は色度図のｖ’成分を示している。また、図中の折れ線Ｆｑは、上記式（１０）に示すｖ’＿ｍｉｎの値を表している。
【０１０６】
高輝度、具体的には閾値ｔｈｄ１より輝度レベルが大きい場合には、線分Ｆｑ２に示すように輝度レベルに応じてｖ’＿ｍｉｎの値を増減させる。例えば、閾値ｔｈｄ１より大きい輝度レベルＹ１の場合にはｖ’＿ｍｉｎ＝０．４８に変更する。また、低輝度、具体的には閾値ｔｈｄ２より輝度レベルが小さい場合には、線分Ｆｑ３に示すように輝度レベルに応じてｖ’＿ｍｉｎの値を増減させる。例えば閾値ｔｈｄ２より小さい輝度レベルＹ２の場合にはｖ’＿ｍｉｎ＝０．４６に変更する。それ以外の場合には、デフォルトのｖ’＿ｍｉｎ＝０．４７を使用する。また、ｖ’＿ｍａｘについても同様に、輝度レベルＹ１の場合にはｖ’＿ｍａｘ＝０．５２に、輝度レベルＹ２の場合にはｖ’＿ｍａｘ＝０．５０に変更し、それ以外の場合には、デフォルトのｖ’＿ｍａｘ＝０．５１を使用する。
【０１０７】
上記のＹ１の場合には、ｖ’＿ｍｉｎが０．４８に、ｖ’＿ｍａｘが０．５２にシフトすることとなるが、これにより変更された肌色検出領域ＲＨａを図１８に示す。また、上記のＹ２の場合には、ｖ’＿ｍｉｎが０．４６に、ｖ’＿ｍａｘが０．５０にシフトすることとなるが、これにより変更された肌色検出領域ＲＨｂを図１８に示す。このように、輝度情報に応じて色空間で肌色検出領域を変更するため、精度の良い主被写体検出が可能となる。
【０１０８】
以降のステップＳ４０４〜Ｓ４０９については、図７のステップＳ２０４〜Ｓ２０９と同様の処理を行う。
【０１０９】
以上のデジタルカメラ１Ｂの動作により、輝度レベルに応じて肌色検出を行わなかったり、色空間における肌色検出領域を変更するため、画像から主被写体を精度良く抽出できる。
【０１１０】
なお、図１６のフローチャートに示す被写体抽出処理においては、図１９のフローチャートに示す肌色画素再抽出処理を追加しても良い。この再抽出処理は、図１６のステップＳ４０４とＳ４０５との間に挿入される。以下で、この処理を詳しく説明する。
【０１１１】
まず、輝度レベルが所定値γより大きいかを判定する（ステップＳ５０１）。ここで、輝度レベルが所定値γより大きい場合には、ステップＳ５０２に進み、大きくない場合には、ステップＳ５０３に進む。
【０１１２】
ステップＳ５０２では、ステップＳ４０４で抽出された肌色画素の周辺が白色になっているかを判定する。人物の顔の一部が白飛びしている場合には、肌色から徐々に白色に変化する傾向があり、この変化を検出することで誤判定防止を図る。ここで、白色になっている場合には、露光時間を短縮する（ステップＳ５０４）。これにより、輝度を低下させることができる。なお、露光時間を短縮する代わりに、絞りを絞っても良い。
【０１１３】
ステップＳ５０３では、輝度レベルが所定値δより小さいかを判定する（ステップＳ５０３）。ここで、輝度レベルが所定値δより小さい場合には、ステップＳ５０５に進む。そして、上述した白色と同様の理由により、ステップＳ４０４で抽出された肌色画素の周辺が黒色になっているかを判定する（ステップＳ５０５）。ここで、黒色になっている場合には、露光時間を延長する（ステップＳ５０６）。これにより、輝度を向上させることができる。なお、露光時間を延長する代わりに、絞りを開放しても良い。
【０１１４】
そして、ＣＣＤ撮像素子３０で取得された画像を再度取り込み（ステップＳ５０７）、ステップＳ４０４と同様の肌色画素抽出処理を再び行う（ステップＳ５０８）。これにより、適正輝度の画像を利用できるため、確実な肌色画素検出を行えることとなる。
【０１１５】
以上の肌色画素再抽出処理を行うことによって、より信頼性の高い肌色検出が行えることとなる。
【０１１６】
＜第３実施形態＞
次に、本発明の第３実施形態に係るデジタルカメラ１Ｃについて説明する。なお、デジタルカメラ１Ｃの装置構成については、第１実施形態のデジタルカメラ１Ａと同様である（図１、図２参照）。ただし、デジタルカメラ１Ｃの全体制御部１８は、後述する動作を制御するための機能構成となっている点で異なっている。
【０１１７】
上記のデジタルカメラ１Ａでは、合焦制御部４３が所定ピッチでフォーカシングレンズ１２を段階的に駆動させつつ、合焦評価部４２において各レンズ位置での評価値が算出されるが、被写体抽出処理が実行されるのは、フォーカシングレンズ１２を段階的に駆動させる前と合焦評価領域が合焦状態に達した後である。そのため、フォーカシングレンズ１２を段階的に駆動させる前に実行される被写体抽出処理（ステップＳ１０４）によって実際には主被写体と全く異なる被写体が主被写体であると特定されていた場合には、その被写体が含まれる合焦評価領域を合焦状態に導くための動作が無駄になる。
【０１１８】
このため、本実施形態では、フォーカシングレンズ１２を段階的に移動させる最中にも、被写体抽出処理を実行することにより、無駄な動作を省いてさらに効率的に主被写体を正確に合焦状態に導く形態について説明する。
【０１１９】
図２０及び図２１は、デジタルカメラ１Ｃの処理手順を示すフローチャートであり、特にシャッタボタン８が半押し状態とされてから本撮影動作が行われるまでの全体的な処理手順を示している。
【０１２０】
まず、ユーザによってシャッタボタン８が半押し状態にされると（ステップＳ６０１）、全体制御部１８が主被写体合焦制御部４０と撮影機能部２０とを機能させる。
【０１２１】
そして、合焦制御部４３がレンズ駆動部５０を制御してフォーカシングレンズ１２を最も遠側に移動させる（ステップＳ６０２）。なお、ステップＳ６０２の処理が次回以降実行される場合には、合焦制御部４３がフォーカシングレンズ１２を近側方向に所定ピッチ分移動させる制御動作を行うことになる。
【０１２２】
次に、合焦評価領域の設定処理が行われる（ステップＳ６０３）。合焦評価領域設定部４１は、被写体抽出部４５から主被写体領域が指定されている場合はその指定された主被写体領域を合焦評価領域に設定する。ただし、シャッタボタン８が半押し状態にされてから最初にステップＳ６０３の処理が行われる際には、未だ被写体抽出処理（ステップＳ６０８）は実行されていない。このため、未だ被写体抽出部４５から主被写体領域が指定されていない場合、合焦評価領域設定部４１は画像の中央部分に予め設定された初期状態の合焦評価領域ＦＲ１（図３参照）を評価値算出対象の合焦評価領域として設定する。これに対し、既に被写体抽出処理が何回か実行されている場合には、合焦評価領域設定部４１は前回指定された最新の主被写体領域を評価値算出対象の合焦評価領域として設定する。そして、合焦評価領域設定部４１は合焦評価領域を合焦評価部４２に対して指示する。
【０１２３】
そして、全体制御部１８はフォーカシングレンズ１２が現在のレンズ位置にあるときに撮影機能部２０における撮影動作を行わせる。そして、合焦評価部４２は画像メモリ３１に格納された画像を取り込み（ステップＳ６０４）、評価値の算出処理を行う（ステップＳ６０５）。このとき、合焦評価部４２は、ステップＳ６０３において合焦評価領域設定部４１から指定された合焦評価領域の画像成分に基づいて評価値の算出を行い、その結果算出された評価値は合焦制御部４３に与えられる。
【０１２４】
そして、肌色領域設定部４４は、被写体抽出処理を実行するか否かの判定を行う（ステップＳ６０６）。このデジタルカメラ１Ｃでは、フォーカシングレンズ１２を所定ピッチで段階的に移動させる際に、各レンズ位置で被写体抽出処理を実行することができるように構成されるが、所定ピッチでのレンズ駆動ごとに毎回被写体抽出処理を実行するように構成すると、主被写体を合焦状態に導くまでに長時間を要することになる。そのため、このデジタルカメラ１Ｃの主被写体合焦制御部４０は、被写体抽出処理の実行頻度を調整する機能をも備える。
【０１２５】
主被写体合焦制御部４０が被写体抽出処理の実行頻度を調整する方法には、いくつかの方法がある。まず、第１に、所定ピッチでのフォーカシングレンズ１２のレンズ駆動が所定回数行われるごとに被写体抽出処理を１回実行する方法がある。これにより、レンズ駆動が行われる度に毎回被写体抽出処理が行われることを回避することができるので、効率的な合焦動作を実現することができる。
【０１２６】
また、第２に、合焦評価部４２で求められる評価値を参酌して合焦評価領域の画像成分が合焦状態に近づくにつれて被写体抽出処理の実行頻度を増加させる方法がある。例えば、評価値が合焦位置で最大値を示す場合には、評価値が第１の閾値未満の場合はレンズ駆動が１０回行われるごとに１回被写体抽出処理を実行し、第１の閾値以上第２の閾値未満の場合はレンズ駆動が５回行われるごとに１回被写体抽出処理を実行し、第２の閾値以上の場合はレンズ駆動が２回行われるごとに１回被写体抽出処理を実行するというように、合焦評価部４２における評価結果に基づいて被写体抽出処理の実行頻度を調整するのである。このように構成することにより、合焦評価領域の画像成分が合焦状態に近づくにつれて、主被写体を抽出するための処理が増加する。合焦評価領域の画像成分が合焦状態に近い場合には比較的高精度に主被写体の特定が行われるので、この第２の方法は、主被写体を合焦状態に導くためには効果的な方法となる。
【０１２７】
ただし、主被写体合焦制御部４０が被写体抽出処理の実行頻度を調整する方法は、上記第１又は第２の方法に限定されるものではなく、他の方法を採用してもよい。また、主被写体合焦制御部４０における処理速度が十分に速い場合には、レンズ駆動後の毎回の画像取り込み時に被写体抽出処理を実行するようにしてもよい。
【０１２８】
そして、主被写体合焦制御部４０がレンズ駆動回数をカウントして被写体抽出処理を実行すると判定した場合には、ステップＳ６０８の被写体抽出処理に進む。これに対し、被写体抽出処理を実行しないと判断した場合には、被写体抽出処理（ステップＳ６０８）をスキップさせて合焦判定を行う処理、すなわちステップＳ６１０（図２１のフローチャート）に進むことになる。
【０１２９】
本実施形態においても、被写体抽出処理（ステップＳ６０８）の詳細は、図７に示すフローチャートと同様である。すなわち、ＷＢゲイン値に応じた肌色検出により被写体抽出が行われる。
【０１３０】
そして、被写体抽出処理（ステップＳ６０８）において主被写体の領域が特定されると、その主被写体領域が被写体抽出部４５から合焦評価領域設定部４１に伝えられる。
【０１３１】
ステップＳ６０９に進み、合焦評価領域設定部４１は、それまでの合焦評価領域と、被写体抽出処理によって特定された主被写体領域とを比較し、両者が一致するか否かを判断する。この処理は、それまで評価対象とされていた合焦評価領域が正確な主被写体領域であったのかどうかを確認するための処理である。そして、一致しない場合には、ステップＳ６０３に戻り、合焦評価領域設定部４１は以後の合焦評価領域を、ステップＳ６０８の被写体抽出処理で特定された主被写体領域に設定変更する。よって、合焦評価部４２において次回の評価値算出が行われる際には、前回よりも信頼性の高い主被写体領域の画像成分について評価値算出を行うことが可能になる。その一方、合焦評価領域と、特定された主被写体領域とが一致する場合には、ステップＳ６１０（図２１）に進む。
【０１３２】
そして、合焦制御部４３は、図４に示すような評価値が最大値（又は最小値）を示すレンズ位置ＰＸを特定することができたか否か、すなわち、合焦評価領域の合焦状態が実現されたか否かを判断する。ここで、未だ合焦評価領域の合焦状態が実現されていないと判断された場合には、ステップＳ６０２（図２０）に戻って所定ピッチでのレンズ駆動、評価値算出処理等を繰り返す。その結果、最終的に合焦評価領域の合焦状態が実現された場合には、ステップＳ６１１に進み、全体制御部１８に対して本撮影動作の許可を行う。
【０１３３】
全体制御部１８は、本撮影動作の許可が与えられると、まず、ユーザによってシャッタボタン８が全押し状態とされたか否かを判断する（ステップＳ６１２）。シャッタボタン８が全押し状態でない場合には、フレーミングが変更された場合に対処するために、ステップＳ６０２（図２０）に戻ってシャッタボタン８が半押し状態とされた以降の処理を繰り返す。なお、このとき、合焦制御部４３は合焦制御を最初から行うことが必要になるので、フォーカシングレンズ１２を最も遠側の位置に移動させることになる。
【０１３４】
これに対し、シャッタボタン８が全押し状態とされた場合には、全体制御部１８が撮影機能部２０を制御して本撮影動作を行い（ステップＳ６１３）、画像処理部３２において所定の画像処理（ステップＳ６１４）を行った後、記録メディア９への記録処理（ステップＳ６１５）が行われる。
【０１３５】
以上のデジタルカメラ１Ｃの動作により、シャッタボタン８が半押し状態とされてから本撮影動作が完了するまでの処理手順が終了することで、本撮影動作においては、主被写体が画像のどの部分に存在する場合であっても、その主被写体を合焦状態として撮影することが可能である。
【０１３６】
そして、デジタルカメラ１Ｃにおいても、主被写体合焦制御部４０が、ＷＢゲイン値に応じて主被写体の抽出処理を行う際の肌色検出領域を設定し、その肌色検出領域に基づいて画像から主被写体の抽出処理を行うように構成されているため、精度良く被写体抽出を行えることとなる。
【０１３７】
なお、図２０のステップＳ６０８に示す被写体抽出処理については、図７に示す第１実施形態の処理に限らず、図１６の第２実施形態に示す輝度に基づく処理を行っても良い。この場合にも、上記と同様の効果が期待できる。
【０１３８】
＜変形例＞
◎上記の各実施形態における肌色検出領域の変更については、ＷＢゲイン値と輝度レベルとを組合わせても良い。この場合、ＷＢゲイン値に応じてＵＣＳ色度図のｕ’（横）方向へのシフトが行われるとともに、輝度レベルに応じてＵＣＳ色度図のｖ’（縦）方向へのシフトが行われる。これにより、デフォルトの肌色検出領域ＲＨから例えば図２２に示す領域ＲＨｃのように、肌色検出領域が斜め方向にシフトすることとなる。
【０１３９】
◎上記の第１実施形態において、画像中で無色彩に近い色の画素を検出し、その画素が無色彩となるようにＷＢゲイン値を設定する場合には、検出される画素が所定数より少ないときに、人物検出を行わないようにしても良い。
【０１４０】
◎上記の各実施形態における肌色検出領域ＲＨ（図９参照）については、四角形の領域として設定されるのは必須でなく、ＵＣＳ色度図のｕ’ｖ’空間において例えば台形や楕円形の領域として設定しても良い。
【０１４１】
◎上記の第１実施形態については、ＷＢゲイン値を参照して肌色検出に適した肌色検出領域を設定するのは必須でなく、ＷＢゲイン値に応じて肌色検出に適したＷＢゲイン値を再設定しても良い。
【０１４２】
すなわち、ライブビュー画像とは別に被写体検出専用の画像処理を行い、夕景など赤みを残すリミッタ制御が実行される場合には、例えばリミッタ制限される前の制限前ＷＢゲイン値で再設定する。そして、制限前ＷＢゲイン値に基づくＷＢ処理で生成された画像から被写体検出を行う。これにより、精度の良い被写体検出が可能となる。
【０１４３】
また、制限ＷＢゲイン値と、制限前ＷＢゲイン値とに基づき肌色検出用のＷＢゲイン値（例えば平均値）を算出し、ＷＢゲイン値として再設定する。この再設定されたＷＢゲイン値に基づくＷＢ処理で生成された画像から被写体検出を行う。これにより、上記と同様に、精度の良い主被写体の抽出が可能となる。
【０１４４】
◎上記の各実施形態のデジタルカメラには、デジタルスチルカメラとデジタルビデオカメラの双方が含まれる。また、撮影装置の一例としてデジタルカメラ１を例示して述べたが、この発明はデジタルカメラ以外の撮影装置に対しても適用することが可能である。
【０１４５】
◎上記の各実施形態については、主被写体（すなわち特定被写体）が人物の顔部分である場合について述べた。これは、一般的に写真撮影を行う場合、人物を被写体として撮影することが多いことに鑑みたものであるが、主被写体は人物の顔部分であることに限定されるものではない。このため、主被写体を構成する色成分（例えば赤色の衣服）に関する情報をユーザが自由に設定入力することができるようにすれば、ユーザが意図する主被写体を適切に特定することが可能になる。
【０１４６】
◎上記の各実施形態については、抽出された主被写体をフォーカス制御に利用しているが、抽出された主被写体を露出制御に利用しても良い。
【０１４７】
◎上述した具体的実施形態には、以下の構成を有する発明が含まれている。
【０１４８】
（１）ホワイトバランス処理に係る処理パラメータを制限する制限手段と、前記処理パラメータが制限される場合には、所定の色空間で特定被写体の固有色に対応する対応領域を変更する手段とを備えることを特徴とする撮像装置。
【０１４９】
これにより、被写体抽出の信頼性が向上する。
【０１５０】
（２）ホワイトバランス処理に係る処理パラメータが所定範囲から外れる場合には、所定の色空間で特定被写体の固有色に対応する対応領域を変更する手段を備えることを特徴とする撮像装置。
【０１５１】
これにより、主被写体抽出の信頼性が向上する。
【０１５２】
（３）ホワイトバランス処理に係る処理パラメータを制限する制限手段と、前記処理パラメータが制限される場合には、固有色の検出処理を禁止する手段と、
を備えることを特徴とする撮像装置。
【０１５３】
これにより、主被写体抽出の信頼性が向上する。
【０１５４】
（４）ホワイトバランス処理に係る処理パラメータが所定範囲から外れる場合には、固有色の検出を禁止する手段を備えることを特徴とする撮像装置。
【０１５５】
これにより、主被写体抽出の信頼性が向上する。
【０１５６】
（５）請求項３の発明において、ホワイトバランス処理に係る処理パラメータを制限する制限手段と、前記処理パラメータが制限される場合で、第２パラメータにより画像にホワイトバランス処理が施される場合には、第１パラメータに基づき固有色の検出を行う手段とを備えることを特徴とする撮像装置。
【０１５７】
これにより、主被写体抽出の信頼性が向上する。
【０１５８】
（６）請求項３の発明において、ホワイトバランス処理に係る処理パラメータが所定範囲から外れる場合で、第２パラメータにより画像にホワイトバランス処理が施される場合には、第１パラメータに基づき固有色の検出を行う手段を備えることを特徴とする撮像装置。
【０１５９】
これにより、主被写体抽出の信頼性が向上する。
【０１６０】
（７）抽出手段により抽出された特定被写体についてフォーカス制御を行う手段を備えることを特徴とする撮像装置。
【０１６１】
これにより、適切なフォーカス制御を行える。
【０１６２】
（８）抽出手段により抽出された特定被写体について露出制御を行う手段を備えることを特徴とする撮像装置。
【０１６３】
これにより、適切な露出制御を行える。
【０１６４】
【発明の効果】
以上説明したように、請求項１の発明によれば、ホワイトバランス情報に応じて、特定被写体に表れる固有色の検出方法を変更するため、画像から主被写体を精度良く抽出できる。
【０１６５】
また、請求項２の発明によれば、ホワイトバランス情報に応じて、特定被写体に表れる固有色の検出を実行するか否かを決定するため、画像から主被写体を精度良く抽出できる。
【０１６６】
また、請求項３の発明によれば、ホワイトバランス処理に係る第２パラメータにより画像にホワイトバランス処理が施される場合には、第１パラメータに基づき固有色の検出を行うため、画像から主被写体を精度良く抽出できる。
【０１６７】
また、請求項４および請求項５の発明によれば、輝度情報に応じて所定の色空間で固有色に対応する対応領域を変更し、特定被写体を抽出するため、画像から主被写体を精度良く抽出できる。
【０１６８】
特に、請求項５の発明においては、ホワイトバランス情報に応じて所定の色空間で対応領域を変更するため、主被写体抽出の信頼性が向上する。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る撮影装置の一例としてのデジタルカメラ１Ａを示す斜視図である。
【図２】デジタルカメラ１Ａの内部構成を示すブロック図である。
【図３】デジタルカメラ１Ａに予め設定される合焦評価領域の初期状態を示す図である。
【図４】レンズ位置に対する評価値変化の一例を示す図である。
【図５】デジタルカメラ１Ａの処理手順を示すフローチャートである。
【図６】デジタルカメラ１Ａの処理手順を示すフローチャートである。
【図７】被写体抽出処理の詳細な処理手順を示すフローチャートである。
【図８】肌色検出可能なＷＢゲイン値の範囲を説明するための図である。
【図９】ＣＩＥ １９７６ ＵＣＳ色度図の簡略図である。
【図１０】肌色検出領域のシフトを説明するための図である。
【図１１】肌色ブロック抽出処理を説明するための図である。
【図１２】形状判定処理において主被写体であると認識される領域を示す図である。
【図１３】画面に対する重み付け係数の一例を示す図である。
【図１４】肌色検出領域の設定に関する処理手順を示すフローチャートである。
【図１５】算出されたＧＢ’’とＧＢおよびＧＢ’との関係の一例を示す図である。
【図１６】本発明の第２実施形態に係るデジタルカメラ１Ｂの被写体抽出処理を示すフローチャートである。
【図１７】肌色検出領域のシフトを説明するための図である。
【図１８】肌色検出領域のシフトを説明するための図である。
【図１９】被写体再抽出処理の処理手順を示すフローチャートである。
【図２０】本発明の第３実施形態に係るデジタルカメラ１Ｃの処理手順を示すフローチャートである。
【図２１】本発明の第３実施形態に係るデジタルカメラ１Ｃの処理手順を示すフローチャートである。
【図２２】本発明の変形例に係る肌色検出領域のシフトを説明するための図である。
【符号の説明】
１Ａ、１Ｂ、１Ｃ デジタルカメラ（撮像装置）
８ シャッタボタン
１１ 撮影レンズ
１２ フォーカシングレンズ
１８ 全体制御部
２０ 撮影機能部
３０ ＣＣＤ撮像素子
３１ 画像メモリ
４０ 主被写体合焦制御部
４１ 合焦評価領域設定部
４２ 合焦評価部
４３ 合焦制御部
４４ 肌色領域設定部
４５ 被写体抽出部
５０ レンズ駆動部
ＲＨ、ＲＨａ、ＲＨｂ、ＲＨｃ、ＲＨｓ 肌色検出領域
Claims (5)
- 撮像装置であって、
（ａ）固有色が表れる特定被写体を含む画像において、前記固有色を検出することにより前記特定被写体を抽出する抽出手段と、
（ｂ）前記画像に係るホワイトバランス情報を取得する取得手段と、
を備え、
前記抽出手段は、
（ａ−１）前記ホワイトバランス情報に応じて、前記固有色の検出方法を変更する変更手段、
を有することを特徴とする撮像装置。 - 撮像装置であって、
（ａ）固有色が表れる特定被写体を含む画像において、前記固有色を検出することにより前記特定被写体を抽出する抽出手段と、
（ｂ）前記画像に係るホワイトバランス情報を取得する取得手段と、
を備え、
前記抽出手段は、
（ａ−１）前記ホワイトバランス情報に応じて、前記固有色の検出を実行するか否かを決定する決定手段と、
を有することを特徴とする撮像装置。 - 撮像装置であって、
（ａ）固有色が表れる特定被写体を含む画像において、前記固有色を検出することにより前記特定被写体を抽出する抽出手段と、
（ｂ）ホワイトバランス処理に係る処理パラメータを設定する設定手段と、
（ｃ）前記処理パラメータに基づき、前記画像に対して前記ホワイトバランス処理を行う処理手段と、
を備え、
前記設定手段は、
（ｂ−１）前記画像に基づき第１パラメータを求める手段と、
（ｂ−２）前記第１パラメータが所定範囲内である場合には、前記第１パラメータを前記処理パラメータとして設定する手段と、
（ｂ−３）前記第１パラメータが前記所定範囲から外れる場合には、前記第１パラメータと異なる第２パラメータを前記処理パラメータとして設定する手段と、
を有するとともに、
前記抽出手段は、
（ａ−１）前記第２パラメータに基づき前記画像に前記ホワイトバランス処理が施される場合には、前記第１パラメータに基づき前記固有色の検出を行う手段、
を有することを特徴とする撮像装置。 - 撮像装置であって、
（ａ）固有色が表れる特定被写体を含む画像において、前記固有色を検出することにより前記特定被写体を抽出する抽出手段と、
（ｂ）前記画像に係る輝度情報を取得する取得手段と、
を備え、
前記抽出手段は、
（ａ−１）所定の色空間において前記固有色に対応する対応領域を設定する設定手段と、
（ａ−２）前記対応領域に基づき前記画像から前記固有色の検出を行う手段と、
を有するとともに、
前記設定手段は、
前記輝度情報に応じて、前記所定の色空間で前記対応領域を変更する変更手段、
を有することを特徴とする撮像装置。 - 請求項４に記載の撮像装置において、
（ｃ）前記画像に係るホワイトバランス情報を取得する手段、
をさらに備え、
前記変更手段は、
前記ホワイトバランス情報に応じて、前記所定の色空間で前記対応領域を変更する手段、
を有することを特徴とする撮像装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002194610A JP4039147B2 (ja) | 2002-07-03 | 2002-07-03 | 撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002194610A JP4039147B2 (ja) | 2002-07-03 | 2002-07-03 | 撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004040462A true JP2004040462A (ja) | 2004-02-05 |
| JP4039147B2 JP4039147B2 (ja) | 2008-01-30 |
Family
ID=31703266
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002194610A Expired - Fee Related JP4039147B2 (ja) | 2002-07-03 | 2002-07-03 | 撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4039147B2 (ja) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1599052A2 (en) * | 2004-05-20 | 2005-11-23 | Sony Corporation | Imaging device, image processing method, and color area setting program |
| JP2006072332A (ja) * | 2004-08-05 | 2006-03-16 | Matsushita Electric Ind Co Ltd | 撮像装置 |
| JP2007129310A (ja) * | 2005-11-01 | 2007-05-24 | Nikon Corp | 撮像装置 |
| JP2007272298A (ja) * | 2006-03-30 | 2007-10-18 | Fujifilm Corp | 顔検出方法およびこれを用いた撮影装置 |
| JP2008005083A (ja) * | 2006-06-21 | 2008-01-10 | Mitsubishi Electric Corp | 撮像装置 |
| JP2009535865A (ja) * | 2006-03-17 | 2009-10-01 | クゥアルコム・インコーポレイテッド | 露光を制御するためのシステム、方法、および装置 |
| JP2010510717A (ja) * | 2006-11-21 | 2010-04-02 | ソニー エリクソン モバイル コミュニケーションズ， エービー | 肌色検出に基づきカメラ測光を実行するシステム及び方法 |
| US8035721B2 (en) | 2004-08-05 | 2011-10-11 | Panasonic Corporation | Imaging apparatus |
| JP2012120241A (ja) * | 2012-02-13 | 2012-06-21 | Canon Inc | 画像処理装置 |
| JP2012165077A (ja) * | 2011-02-03 | 2012-08-30 | Canon Inc | ホワイトバランス制御装置及びそれを用いた撮像装置、並びにホワイトバランス制御方法 |
| JP2012178788A (ja) * | 2011-02-28 | 2012-09-13 | Sony Corp | 画像処理装置と画像処理方法およびプログラム |
| US8285135B2 (en) | 2009-09-01 | 2012-10-09 | Quanta Computer Inc. | Method and device for adjusting weighting values in light metering |
| CN102023456B (zh) * | 2009-09-22 | 2012-11-21 | 广达电脑股份有限公司 | 测光权重调整方法及其装置 |
| JP2013191966A (ja) * | 2012-03-13 | 2013-09-26 | Nikon Corp | 撮像装置 |
| JP2018037041A (ja) * | 2016-09-02 | 2018-03-08 | 富士通株式会社 | 生体画像処理装置、生体画像処理方法、および生体画像処理プログラム |
-
2002
- 2002-07-03 JP JP2002194610A patent/JP4039147B2/ja not_active Expired - Fee Related
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1599052A2 (en) * | 2004-05-20 | 2005-11-23 | Sony Corporation | Imaging device, image processing method, and color area setting program |
| JP2006072332A (ja) * | 2004-08-05 | 2006-03-16 | Matsushita Electric Ind Co Ltd | 撮像装置 |
| US8035721B2 (en) | 2004-08-05 | 2011-10-11 | Panasonic Corporation | Imaging apparatus |
| JP4645413B2 (ja) * | 2005-11-01 | 2011-03-09 | 株式会社ニコン | 撮像装置 |
| JP2007129310A (ja) * | 2005-11-01 | 2007-05-24 | Nikon Corp | 撮像装置 |
| US8107762B2 (en) | 2006-03-17 | 2012-01-31 | Qualcomm Incorporated | Systems, methods, and apparatus for exposure control |
| JP2009535865A (ja) * | 2006-03-17 | 2009-10-01 | クゥアルコム・インコーポレイテッド | 露光を制御するためのシステム、方法、および装置 |
| US8824827B2 (en) | 2006-03-17 | 2014-09-02 | Qualcomm Incorporated | Systems, methods, and apparatus for exposure control |
| JP2007272298A (ja) * | 2006-03-30 | 2007-10-18 | Fujifilm Corp | 顔検出方法およびこれを用いた撮影装置 |
| JP4629002B2 (ja) * | 2006-06-21 | 2011-02-09 | 三菱電機株式会社 | 撮像装置 |
| JP2008005083A (ja) * | 2006-06-21 | 2008-01-10 | Mitsubishi Electric Corp | 撮像装置 |
| JP2010510717A (ja) * | 2006-11-21 | 2010-04-02 | ソニー エリクソン モバイル コミュニケーションズ， エービー | 肌色検出に基づきカメラ測光を実行するシステム及び方法 |
| US8285135B2 (en) | 2009-09-01 | 2012-10-09 | Quanta Computer Inc. | Method and device for adjusting weighting values in light metering |
| CN102023456B (zh) * | 2009-09-22 | 2012-11-21 | 广达电脑股份有限公司 | 测光权重调整方法及其装置 |
| JP2012165077A (ja) * | 2011-02-03 | 2012-08-30 | Canon Inc | ホワイトバランス制御装置及びそれを用いた撮像装置、並びにホワイトバランス制御方法 |
| JP2012178788A (ja) * | 2011-02-28 | 2012-09-13 | Sony Corp | 画像処理装置と画像処理方法およびプログラム |
| US9077945B2 (en) | 2011-02-28 | 2015-07-07 | Sony Corporation | Image processing device, image processing method, and program which correctly and easily extracts a color region of a specific color |
| JP2012120241A (ja) * | 2012-02-13 | 2012-06-21 | Canon Inc | 画像処理装置 |
| JP2013191966A (ja) * | 2012-03-13 | 2013-09-26 | Nikon Corp | 撮像装置 |
| JP2018037041A (ja) * | 2016-09-02 | 2018-03-08 | 富士通株式会社 | 生体画像処理装置、生体画像処理方法、および生体画像処理プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4039147B2 (ja) | 2008-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6325885B2 (ja) | 撮像装置、撮像方法、及びプログラム | |
| JP3541820B2 (ja) | 撮像装置及び撮像方法 | |
| JP4639271B2 (ja) | カメラ | |
| US7916181B2 (en) | Method and device for creating high dynamic range pictures from multiple exposures | |
| JP5460173B2 (ja) | 画像処理方法、画像処理装置、画像処理プログラム、撮像装置 | |
| JP3468231B2 (ja) | 画像処理装置、画質制御方法、プログラム及び記録媒体 | |
| JP3760846B2 (ja) | 被写体抽出装置及び撮影装置 | |
| JP5169318B2 (ja) | 撮像装置、撮像方法 | |
| JP6521776B2 (ja) | 画像処理装置、画像処理方法 | |
| JP4039147B2 (ja) | 撮像装置 | |
| JP2003179810A (ja) | 写真撮影においてフィル・フラッシュをシミュレートするシステム及び方法 | |
| JP2006208558A (ja) | 撮像装置 | |
| JP4053764B2 (ja) | 被写体抽出装置及び撮影装置 | |
| JP2006254229A (ja) | 撮像装置、撮像方法及び撮像プログラム | |
| JP2008141740A (ja) | 撮影装置および方法並びにプログラム | |
| JP2013005091A (ja) | 撮像装置および距離情報取得方法 | |
| JP2018006912A (ja) | 撮像装置、画像処理装置及びそれらの制御方法、プログラム | |
| CN108024056A (zh) | 基于双摄像头的成像方法和装置 | |
| JP2006287586A (ja) | 撮像装置及びその制御方法 | |
| JP5048599B2 (ja) | 撮像装置 | |
| JP5720488B2 (ja) | 撮像装置および距離情報取得方法 | |
| JP2019029833A (ja) | 撮像装置 | |
| JP2010028606A (ja) | 撮像装置および撮像装置の制御方法 | |
| JP2009033386A (ja) | 撮影装置及び撮影方法 | |
| JP2006157342A (ja) | カメラモジュール |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040917 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20040917 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20041217 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061211 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070109 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070131 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20070827 |
|
| TRDD | Decision of grant or rejection written | ||
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20070914 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071016 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071029 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101116 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111116 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111116 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121116 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121116 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131116 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |