JP2007158941A - 被写体領域検出装置、撮像装置、被写体領域検出方法及びプログラム - Google Patents

Abstract

【課題】簡単な方法で正確に主被写体が存在する領域を検出することのできる被写体領域検出装置、撮像装置、被写体領域検出方法及びプログラムを提供する。
【解決手段】画像を複数のブロックに分割し、各ブロックの輝度と色に基づきブロックごとに色差を導出する。この色差を用いて各ブロックの色が予め設定された複数の色のどの色に当てはまるかと、各色の度数を導出する。背景部において前記各色の度数に応じて背景度合ウェイトを設定し、この背景度合ウェイトを用いて背景部の輝度及び色差の加重平均値を演算する。被写体部の各ブロックの輝度・色差と前記輝度・色差の加重平均値との差、及び被写体部の各ブロックの相対被写体度合を算出する。各ブロックの絶対被写体度合を算出し、この絶対被写体度合と前記相対被写体度合とを用いて総合被写体度合を算出し、この総合被写体度合に基づき被写体の位置と被写体領域とを導出する。
【選択図】図５

Description

本発明は、画像中の主被写体が存在する領域を検出する被写体領域検出装置、該被写体領域検出装置を搭載した撮像装置、被写体領域検出方法及びプログラムに関する。

近年、撮像装置の分野において、主被写体（以下、単に被写体という）をできるだけ正確に検出することを目的として様々な提案がなされている（例えば、下記特許文献１〜５）。

下記特許文献１には、映像信号から輝度信号、Ｂ−Ｙ色差信号及びＲ−Ｙ色差信号を生成し、これらの信号を用いて前記映像信号の中から肌色領域を検出し、この肌色領域を対象領域として焦点調節等を行う映像信号処理装置が開示されている。

下記特許文献２，３には、入力画像に含まれる被写体画像を該入力画像から精度よく切り出すことを目的として、予め用意した背景画像と入力画像との差分を算出し、この差分画像に基づいてマスク領域（特定処理領域）を初期設定するとともに、エッジ画像（被写体エッジ強度画像及び背景エッジ強度画像）と、背景画像と被写体画像との色成分（ＲＧＢ値又は色相）の差異に基づく色差情報とに応じて、マスク領域を変化させる技術が提案されている。

下記特許文献４には、撮影環境にかかわらず、簡単に映像信号の被写体部分を抽出することを目的として、撮像素子で生成された被写体像に相当する電気信号から輝度信号と色差信号とを生成するとともに、映像信号のうち所定の輝度範囲、色相範囲及び色飽和度範囲に同時に含まれる信号部分を被写体部分とみなしこの被写体部分で「Ｈ」となる２値信号を出力することにより一定範囲の色相、色飽和度及び輝度を持つ信号部分を抽出する２値化回路を複数備え、各２値化回路の抽出条件を異ならせて、各２値化回路により被写体部分とみなされる部分で「Ｈ」となる２値信号を合成する技術が開示されている。

下記特許文献５には、逆光・過順光時等であっても露出制御性能の劣化を防止することを目的として、撮影画像の色差信号及び輝度信号を生成するとともに、一定の抽出条件を満たす被写体測光領域（被写体を囲む矩形形状を有する領域）を抽出し、被写体の測光値、背景の測光値、及び前記被写体測光領域を細分化してなる各ブロックの色差及び輝度情報に基づき、前記被写体測光領域からさらに被写体の形状に合わせた被写体測光領域を抽出し、この被写体測光領域が存在するブロックに対する輝度信号のみを積分し、この積分値を被写体の面積で除算し、この除算値（被写体平均測光値）で背景平均測光値（単位面積当たりの背景の平均測光値）を除算した値を被写体と背景とのコントラストとして設定し、このコントラストの値によって逆光・過順光を判断して露光制御量を算出する技術が開示されている。
特開平６−１２１３３２号公報 特開平１０−２３４５２号公報 特開平１０−１９１０２０号公報 特開平６−２２５３２８号公報 特開平９−８３８６０号公報

しかしながら、前記特許文献１のように、映像信号から肌色領域を検出して被写体領域を抽出する方法では、例えば、砂地のグランドを背景にしたときの人物のように、人物の肌の色と背景の色とが同系色の場合や、同一人物であっても日焼けの状態に応じて肌の色が異なる場合、或いは人種等による肌の色味の相違が顕著な場合等には、正確な被写体領域を抽出することが困難となる。

また、画素ごとに色抽出を行う構成の場合、多大な演算が要求されるため、高い処理速度、延いては高速で大規模な画像処理システムが必要となり、装置の大型化やコストアップを招来することとなる。

本発明は、上記事情に鑑みてなされたもので、簡単な方法で正確に主被写体が存在する領域を検出することのできる被写体領域検出装置、撮像装置、被写体領域検出方法及びプログラムを提供することを目的とする。

請求項１に記載の発明は、被写体の光像を光電変換する撮像手段から画像情報を取得し、この画像情報に基づき主被写体が存在する領域を検出する被写体領域検出装置であって、画像を複数のブロックに分割し、各ブロックの画像に関連する所定のパラメータを含む測光情報を導出する測光情報導出手段と、前記画像を、該画像の中心を含む所定の領域を有する中央部とその周辺領域を有する背景部とに区分したとき、前記背景部に属する各ブロックについて前記測光情報導出手段により導出された測光情報の平均値を背景平均測光情報として導出する背景平均測光情報導出手段と、前記中央部に属するブロックの測光情報と、前記背景平均測光情報導出手段により導出された背景平均測光情報との差分を相対差分情報として導出する相対差分情報導出手段と、前記相対差分情報導出手段により導出された相対差分情報に基づき、前記画像における主被写体が存在する領域を検出する被写体領域検出手段とを備えることを特徴とするものである。

請求項２に記載の発明は、請求項１に記載の被写体領域検出装置において、前記背景平均測光情報導出手段は、前記背景部に属する各ブロックについて前記測光情報導出手段により導出された輝度情報を平均した背景平均輝度情報を導出し、前記相対差分情報導出手段は、前記中央部に属する各ブロックの輝度情報と、前記背景平均測光情報導出手段により導出された前記背景平均輝度情報との差分を相対差分情報として導出することを特徴とするものである。

請求項３に記載の発明は、請求項１または２に記載の被写体領域検出装置において、前記背景平均測光情報導出手段は、前記背景部に属する各ブロックについて前記測光情報導出手段により導出された色情報を平均した背景平均色情報を導出し、前記相対差分情報導出手段は、前記中央部に属する各ブロックの色情報と、前記背景平均測光情報導出手段により導出された前記背景平均色情報との差分を相対差分情報として導出することを特徴とするものである。

請求項４に記載の発明は、被写体の光像を光電変換する撮像手段から画像情報を取得し、この画像情報に基づき主被写体が存在する領域を検出する被写体領域検出装置であって、画像を複数のブロックに分割し、各ブロックの輝度情報及び色情報を含む測光情報を導出する測光情報導出手段と、前記画像を、該画像の中心を含む所定の領域を有する中央部とその周辺領域を有する背景部とに区分したとき、前記背景部に属するブロックについて前記測光情報導出手段により導出された輝度情報を平均した背景平均輝度情報を導出する背景平均輝度情報導出手段と、前記背景部に属するブロックについて前記測光情報導出手段により導出された色情報を平均した背景平均色情報を導出する背景平均色情報導出手段と、前記中央部に属する各ブロックの輝度情報と、前記背景平均輝度情報導出手段により導出された前記背景平均輝度情報との差分を相対輝度差分情報として導出する相対輝度差分情報導出手段と、前記中央部に属する各ブロックの色情報と、前記背景平均色情報導出手段により導出された前記背景平均色情報との差分を相対色差分情報として導出する相対色差分情報導出手段と、前記相対輝度差分情報導出手段により導出された相対輝度差分情報及び前記相対色差分情報導出手段により導出された相対色差分情報のうち少なくとも一方に基づき、前記画像における主被写体が存在する領域を検出する被写体領域検出手段と
を備えることを特徴とするものである。

請求項５に記載の発明は、請求項４に記載の被写体領域検出装置において、前記背景平均色情報導出手段は、前記背景部に属するブロックについて前記測光情報導出手段により導出された輝度情報及び色情報に基づいて求められるＣｒ，Ｃｂの色差情報を平均した背景平均色差情報を導出し、前記相対色差分情報導出手段は、前記背景平均色情報導出手段により導出された前記背景平均色差情報と、前記中央部に属する各ブロックの色差との差分を相対色差分情報として導出することを特徴とするものである。

請求項６に記載の発明は、請求項４または５に記載の被写体領域検出装置において、主被写体としての的確性を、所定のスケール値をもつ被写体度合で評価する場合において、前記被写体領域検出手段は、前記相対輝度差分情報導出手段により導出された相対輝度差分情報が示す差分、及び前記相対色差分情報導出手段により導出された相対色差分情報が示す差分の少なくとも一方が大きいほど、前記中央部に属する各ブロックの画像についてのスケール値を、主被写体としての的確性が高い値に設定することを特徴とするものである。

請求項７に記載の発明は、請求項６に記載の被写体領域検出装置において、前記被写体領域検出手段は、前記中央部に属する各ブロックの色情報が所定の色域内に含まれるときには、前記被写体度合を相対的に高い値に設定することを特徴とするものである。

請求項８に記載の発明は、請求項６または７に記載の被写体領域検出装置において、前記被写体領域検出手段は、前記被写体度合が所定値を超えるブロックの位置とその被写体度合とを用いて、該被写体度合についての重心位置を算出し、この重心位置を前記主被写体が存在する位置として設定することを特徴とするものである。

請求項９に記載の発明は、請求項８に記載の被写体領域検出装置において、前記被写体領域検出手段は、前記被写体度合が所定値を超えるブロックの位置情報を用いて、前記重心位置に対する各ブロックの相対距離についての標準偏差値を算出し、この標準偏差値を、前記主被写体が存在する領域を示す情報として出力することを特徴とするものである。

請求項１０に記載の発明は、請求項６ないし８のいずれかに記載の被写体領域検出装置において、前記被写体領域検出手段は、前記被写体度合が所定値を超えるブロックで構成される領域を、前記主被写体が存在する領域として判定することを特徴とするものである。

請求項１１に記載の発明は、請求項６ないし１０のいずれかに記載の被写体領域検出装置において、前記被写体領域検出手段は、前記各ブロックの被写体度合の最大値が所定値より小さい場合は、前記中央部を主被写体が存在する位置として設定することを特徴とするものである。

請求項１２に記載の発明は、被写体の光像を光電変換する撮像手段と、前記撮像手段の撮像面に被写体像を結像する撮像光学系とを備え、前記撮影光学系が、当該撮影光学系の焦点位置を前記撮像手段の撮像面上に合焦させるための焦点調節光学系を有する撮像装置であって、請求項１ないし１１のいずれかに記載の被写体領域検出装置と、前記被写体領域検出装置により検出された主被写体が存在する領域に基づいて、前記焦点調節光学系に合焦動作を行わせる焦点調節制御手段とを備えることを特徴とするものである。

請求項１３に記載の発明は、被写体の光像を光電変換する撮像手段と、前記撮像手段の撮像面に被写体像を結像する撮像光学系とを備えた撮像装置であって、請求項１ないし１１のいずれかに記載の被写体領域検出装置と、前記撮像手段の撮像面への露光量を可変させるための露光量可変機構と、前記被写体領域検出装置により検出された主被写体が存在する領域に基づき、前記露光量可変機構を用いて前記撮像手段の撮像面への露光量を制御する露出制御手段とを備えることを特徴とするものである。

請求項１４に記載の発明は、被写体の光像を光電変換する撮像手段から画像情報を取得し、この画像情報に基づき主被写体が存在する領域を検出するための被写体領域検出方法であって、測光情報導出手段が、画像を複数のブロックに分割し、各ブロックの輝度情報及び色情報を含む測光情報を導出する測光情報導出ステップと、背景平均輝度情報導出手段が、前記画像を、該画像の中心を含む所定の領域を有する中央部とその周辺領域を有する背景部とに区分したとき、前記背景部に属するブロックについて前記測光情報導出ステップで導出された輝度情報を平均した背景平均輝度情報を導出する背景平均輝度情報導出ステップと、背景平均色情報導出手段が、前記背景部に属するブロックについて前記測光情報導出ステップで導出された色情報を平均した背景平均色情報を導出する背景平均色情報導出ステップと、相対輝度差分情報導出手段が、前記中央部に属する各ブロックの輝度情報と、前記背景平均輝度情報導出ステップで導出された前記背景平均輝度情報との差分を相対輝度差分情報として導出する相対輝度差分情報導出ステップと、相対色差分情報導出手段が、前記中央部に属する各ブロックの色情報と、前記背景平均色情報導出ステップで導出された前記背景平均色情報との差分を相対色差分情報として導出する相対色差分情報導出ステップと、被写体領域検出手段が、前記相対輝度差分情報導出ステップで導出された相対輝度差分情報及び前記相対色差分情報導出ステップで導出された相対色差分情報のうち少なくとも一方に基づき、前記画像における主被写体が存在する領域を検出する被写体領域検出ステップとを備えることを特徴とするものである。

請求項１５に記載の発明は、画像情報に基づき主被写体が存在する領域をコンピュータに検出させるためのプログラムであって、前記コンピュータを、画像を複数のブロックに分割し、各ブロックの輝度情報及び色情報を含む測光情報を導出する測光情報導出手段と、前記画像を、該画像の中心を含む所定の領域を有する中央部とその周辺領域を有する背景部とに区分したとき、前記背景部に属するブロックについて前記測光情報導出手段により導出された輝度情報を平均した背景平均輝度情報を導出する背景平均輝度情報導出手段と、前記背景部に属するブロックについて前記測光情報導出手段により導出された色情報を平均した背景平均色情報を導出する背景平均色情報導出手段と、前記中央部に属する各ブロックの輝度情報と、前記背景平均輝度情報導出手段により導出された前記背景平均輝度情報との差分を相対輝度差分情報として導出する相対輝度差分情報導出手段と、前記中央部に属する各ブロックの色情報と、前記背景平均色情報導出手段により導出された前記背景平均色情報との差分を相対色差分情報として導出する相対色差分情報導出手段と、前記相対輝度差分情報導出手段により導出された相対輝度差分情報及び前記相対色差分情報導出手段により導出された相対色差分情報のうち少なくとも一方に基づき、前記画像における主被写体が存在する領域を検出する被写体領域検出手段として機能させるためのプログラムである。

請求項１に記載の発明によれば、画像を複数のブロックに分割し、前記画像を、該画像の中心を含む所定の領域を有する中央部とその周辺領域を有する背景部とに区分したとき前記中央部に属する各ブロックの測光情報と前記背景部の背景平均測光情報との差分を相対差分情報として導出し、この相対差分情報に基づき主被写体が存在する領域を検出するようにしたので、特に、従来のように肌色等の特定色に基づく被写体領域の検出が困難な画像（シーン）であっても正確に且つ簡単な方法で被写体領域を検出することができる。

請求項２に記載の発明によれば、前記中央部に属する各ブロックの輝度情報と、前記背景部に属する各ブロックの輝度情報を平均した背景平均輝度情報との差分を相対差分情報として導出し、この相対差分情報に基づいて主被写体が存在する領域を検出するようにしたので、背景部と中央部との輝度の相違を用いた簡単な方法で正確な被写体領域を検出することができる。

請求項３に記載の発明によれば、前記中央部に属する各ブロックの色情報と、前記背景部に属する各ブロックの色情報を平均した背景平均色情報との差分を相対差分情報として導出し、この相対差分情報に基づいて主被写体が存在する領域を検出するようにしたので、背景部と中央部との色の相違を用いた簡単な方法で正確な被写体領域を検出することができる。

請求項４，１４，１５に記載の発明によれば、画像を複数のブロックに分割し、前記画像を、該画像の中心を含む所定の領域を有する中央部とその周辺領域を有する背景部とに区分したとき前記中央部に属する各ブロックの輝度情報と前記背景部に属する各ブロックの輝度情報を平均した背景平均輝度情報との差分を相対輝度差分情報として導出するとともに、前記中央部に属する各ブロックの色情報と前記背景部に属する各ブロックの色情報を平均した背景平均色情報との差分を相対色差分情報として導出し、前記相対輝度差分情報及び相対色差分情報のうち少なくとも一方に基づき、主被写体が存在する領域を検出するようにしたので、背景部と中央部との輝度及び色の少なくとも一方の相違を用いた簡単な方法で正確な被写体領域を検出することができる。

請求項５に記載の発明によれば、前記背景部に属するブロックの輝度情報及び色情報に基づいて求められるＣｒ，Ｃｂの色差情報を平均した背景平均色差情報を導出し、この背景平均色差情報と、前記中央部に属する各ブロックの色差との差分を相対色差分情報として導出するようにしたので、前記相対色差分情報の演算が単純化され、より短い処理時間で正確な被写体領域を検出することができる。

請求項６に記載の発明によれば、主被写体としての的確性を、所定のスケール値をもつ被写体度合で評価する場合に、相対輝度差分情報が示す差分（背景部に対する中央部の各ブロックの相対輝度差）及び前記相対色差分情報が示す差分（背景部に対する中央部の各ブロックの相対色差差）の少なくとも一方が大きいほど、前記中央部に属する各ブロックの画像についてのスケール値を、主被写体としての的確性が高い値に設定するようにしたので、簡単な方法で正確な被写体領域を検出することができる。

請求項７に記載の発明によれば、前記中央部に属する各ブロックの色情報が所定の色域内（例えば人物の一般的な肌色のような特定の色域内）に含まれるときには、前記被写体度合を相対的に高い値に設定するようにしたので、対象領域が主被写体であるか否かをより正確に判定することができる。

請求項８に記載の発明によれば、前記被写体度合が所定値を超えるブロックの位置とその被写体度合とを用いて、該被写体度合についての重心位置を算出し、この重心位置を前記主被写体が存在する位置として設定するようにしたので、簡単な方法で正確な被写体の位置を検出することができる。

請求項９に記載の発明によれば、前記被写体度合が所定値を超えるブロックの位置情報を用いて、前記重心位置に対する各ブロックの相対距離についての標準偏差値を算出し、この標準偏差値を、前記主被写体が存在する領域を示す情報として出力するようにしたので、簡単な方法で正確な被写体領域を検出することができる。

請求項１０に記載の発明によれば、前記被写体度合が所定値を超えるブロックで構成される領域を、前記主被写体が存在する領域として判定するようにしたので、簡単な方法で正確な被写体領域を検出することができる。

請求項１１に記載の発明によれば、前記各ブロックの被写体度合の最大値が所定値より小さい場合は、前記中央部を主被写体が存在する位置として設定するようにしたので、例えば風景のような均一な被写体を撮影してなる画像における被写体の位置の誤検出を防止することができる。

請求項１２に記載の発明によれば、請求項１ないし１１のいずれかに記載の被写体領域検出装置により検出された主被写体が存在する領域に基づいて、前記焦点調節光学系に合焦動作を行わせるようにしたので、簡単な方法で撮像装置の焦点調節性能を向上することができる。

請求項１３に記載の発明によれば、請求項１ないし１１のいずれかに記載の被写体領域検出装置により検出された主被写体が存在する領域に基づき、前記露光量可変機構を用いて撮像手段の撮像面への露光量を制御するようにしたので、簡単な方法で撮像装置の自動露出性能を向上することができる。

本発明に係る撮像装置の実施形態について説明する。図１は、撮像装置の正面図、図２は、撮像装置１の背面図である。

図１、図２に示すように、撮像装置１は、電源ボタン２と、撮影光学系３と、ＬＣＤ（Liquid Crystal Display）４と、光学ファインダー５と、内蔵フラッシュ６と、モード設定スイッチ７と、４連スイッチ８と、シャッターボタン９とを備える。

電源ボタン２は、撮像装置１の主電源のオンオフを切り替えるものである。撮影光学系３は、絞り３ａ、ズームレンズ光学系３ｂ、メカニカルシャッター３ｃ（図３参照）を備えてなり、ＣＣＤ（Charge Coupled Device）等の撮像素子１１（図３参照）の撮像面に、被写体の光学像を結像するものである。

ＬＣＤ４は、ライブビュー画像及び後述する外部記憶部１８（図３参照）に記録する画像（記録画像）の表示や、外部記録部１８に記録された画像の再生表示等を行うものである。ライブビュー画像は、被写体の画像を記録するまでの期間、一定の周期（１／３０秒）でＬＣＤ４に切換表示される撮像素子１１で撮像された画像をいい、このライブビュー画像により、被写体の状態が略リアルタイムでＬＣＤ４に表示され、撮影者は被写体の状態をＬＣＤ４で確認することができる。

光学ファインダー５は、撮影範囲を光学的に観察できるようにするものである。内蔵フラッシュ６は、撮像素子１１への露光量が不足している場合等に、該被写体に照明光を照射するものである。

モード設定スイッチ７は、被写体像の撮影を行う「撮影モード」と、外部記憶部１８に記録された撮影画像をＬＣＤ４に再生表示する「再生モード」と、各種機能の設定を行うための「メニューモード」との間でモードの切換設定を行うためのスイッチである。モード設定スイッチ７は、上下にスライドする３接点のスライドスイッチからなり、下にセットすると撮像装置１は撮影モードに設定され、中央にセットすると再生モードに設定され、上にセットするとメニューモードに設定される。

４連スイッチ８は、詳細には説明しないが、ズームレンズ光学系の光軸方向への移動や、露出補正、あるいはＬＣＤ４に再生する記録画像のコマ送り等を行うためのスイッチである。

シャッターボタン９は、完全に押し切られる全押し操作と途中まで押される半押し操作との２段階で押圧操作されるボタンであり、露光制御のタイミングを指示するためのものである。前記各撮影モードにおいて、シャッターボタン９が操作されていない状態では、例えば１／３０（秒）毎に被写体の光学像が取り込まれ、ＬＣＤ４へのライブビュー画像の表示が行われる。また、撮像装置１は、前述の各撮影モードでは、シャッターボタン９の半押し操作が行われることで、ライブビュー画像の表示に加えてシャッタースピードや絞り値等の設定が行われる撮影待機状態に設定され、全押し操作が行われることで、外部記憶部１８に記録する被写体の画像を生成するための後述する撮像素子１１による露光動作（以下、本露光動作という）が開始される。

図３は、撮像装置１の電気的な構成を示すブロック構成図である。同図において、図１，図２に示した部材と同一部材には同一の番号を付している。

撮像装置１は、撮影光学系３と、ＬＣＤ４と、駆動部１０と、撮像素子１１と、タイミング制御回路１２と、信号処理部１３、Ａ／Ｄ変換部１４と、画像処理部１５と、画像メモリ１６と、ＶＲＡＭ（Video Random Access Memory）１７と、外部記憶部１８と、入力操作部１９と、制御部２０とを備えて構成されている。

撮影光学系３は、図１に示す撮影光学系３に相当するものであり、前述したように、絞り３ａ、ズームレンズ光学系３ｂ及びメカニカルシャッター３ｃを備える。ＬＣＤ４は、図２に示すＬＣＤ４に相当するものである。

駆動部１０は、絞り３ａを駆動する絞り駆動部１０ａと、ズームレンズ光学系３ｂを駆動するレンズ駆動部１０ｂと、メカニカルシャッター３ｃを駆動するシャッター駆動部１０ｃとを有し、各駆動部１０ａ〜１０ｃは、制御部２０によりその動作が制御される。

撮像素子１１は、例えばフォトダイオード等で構成される複数の光電変換素子がマトリックス状に２次元配列され、各光電変換素子の受光面に、それぞれ分光特性の異なる例えばＲ（赤），Ｇ（緑），Ｂ（青）のカラーフィルタが１：２：１の比率で配設されてなるベイヤー配列のＣＣＤカラーエリアセンサである。以下、光電変換素子にカラーフィルタが配設されたものを撮像素子１１の画素という。撮像素子１１は、撮影光学系３により結像された被写体の光像をＲ（赤），Ｇ（緑），Ｂ（青）各色成分のアナログの電気信号（画像信号）に変換し、Ｒ，Ｇ，Ｂ各色の画像信号として出力する。

撮像素子１１は、詳細には説明しないが、フォトダイオード等からなる受光部、垂直転送部、及び水平転送部等を備えてなるインターライン型の撮像素子であり、プログレッシブ転送方式により各画素の電荷が取り出される。すなわち、各受光部で蓄積された電荷は、垂直同期信号により垂直転送部に転送され、各垂直転送部に転送された電荷は、水平同期信号により水平転送路に近い画素から順に該水平転送路に転送されることにより画素信号として取り出される。このような撮像素子１１における各画素の出力信号の読出し（水平同期、垂直同期）等の撮像動作や、撮像素子１１による露光動作の開始及び終了のタイミングは、後述のタイミング制御回路１２等により制御される。

タイミング制御回路１２は、後述の制御部２０により制御される。タイミング制御回路１２は、基準クロックＣＬＫ０に基づいて、撮像素子１１の駆動制御信号、例えば露出開始／終了（積分開始／終了）のタイミング信号、各画素の受光信号の読出制御信号（水平同期信号，垂直同期信号，転送信号等）等のクロック信号ＣＬＫ１を生成し、このクロックＣＬＫ１を撮像素子１１に出力するとともに、基準クロックＣＬＫ０に基づいてＡ／Ｄ変換用のクロックＣＬＫ２を生成し、このクロックＣＬＫ２をＡ／Ｄ変換部１４に出力する。

信号処理部１３は、撮像素子１１から出力される画像信号（アナログ信号）に所定のアナログ信号処理を施すもので、撮像素子１１から出力される画像信号（アナログ信号）のノイズの低減を行うと共に、画像信号のレベル調整を行う。

Ａ／Ｄ変換部１４は、信号処理部１３から入力された画像データの各画素信号（アナログ信号）を、タイミング制御回路１２から出力されるクロックＣＬＫ２に基づいて、所定ビット、例えば１０ビットのデジタル信号に変換するものである。

画像処理部１５は、Ａ／Ｄ変換部１４によりＡ／Ｄ変換された画素信号（以下、画素データという。）の黒レベルを基準の黒レベルに補正する黒レベル補正、Ｒ（赤），Ｇ（緑），Ｂ（青）の各色成分の画素データのレベル変換を行うホワイトバランス補正及び画素データのγ特性を補正するγ補正等の処理を行うものである。

画像メモリ１６は、撮影モード時には、画像処理部１５から出力される画素データを一時的に記憶するとともに、この画素データに対し制御部２０により所定の処理を行うための作業領域として用いられるメモリである。また、再生モード時には、外部記憶部１８から読み出した画像データを一時的に記憶するメモリである。

ＶＲＡＭ１７は、ＬＣＤ４に再生表示させる画像データのバッファメモリであり、ＬＣＤ４の画素数に対応する画像データの記録容量を有する。

外部記憶部１８は、図略のメモリカードやハードディスクなどからなり、制御部２０で生成された画像を保存するものである。

撮像装置１は、撮影待機状態において、撮像素子１１により例えば１／３０（秒）毎に撮像された画像の各画素データに、Ａ／Ｄ変換部１４及び画像処理部１５により所定の信号処理が施された後、画像メモリ１６に記録されると共に、該画素データが、制御部２０を介してＶＲＡＭ１７に転送される。これにより、ライブビュー画像がＬＣＤ４に表示される（電子ビューファインダ機能）。

また、再生モードにおいては、外部記憶部１８から読み出した画像データが画像メモリ１６に一旦格納され、この画像メモリ１６に格納した画像データに対し制御部２０により所定の信号処理を施された後、ＶＲＡＭ１７に転送される。これにより、外部記憶部１８に記録された画像がＬＣＤ４に再生表示される。

入力操作部１９は、電源ボタン２、モード設定スイッチ７、４連スイッチ８、シャッターボタン９等の操作情報を制御部２０に入力するものである。

制御部２０は、マイクロコンピュータからなり、上述したカメラ本体部内の各部材の駆動を関連付けて制御して撮像装置１の撮影動作を統括制御するものである。制御部２０は、ＣＰＵのワーク用としてのＲＡＭや、撮像装置１に備えられる各種機能のプログラム等を記憶するＲＯＭ等を有してなる内部記憶部（図示せず）を備える。

ここで、制御部２０による撮影処理の概略を説明する。図４は、制御部２０による一連の撮影処理を示すフローチャートである。

図４に示すように、制御部２０は、電源ボタン２がオンされたことを検知すると（ステップ♯１でＹＥＳ）、撮像素子１１による撮像動作を開始させ、該撮像動作により得られた画像情報（撮影画像）を取得し（ステップ♯２）、ズームレンズ光学系３ｂの焦点距離等の情報や入力操作部１９に係る操作情報等の各種情報を図略の内部記憶部から読み出す（ステップ♯３）。

次に、制御部２０は、後述するように、前記撮影画像のうち主被写体（以下、単に被写体という）が存在する領域（以下、被写体領域という）を検出する処理を実行する（ステップ♯４）。そして、制御部２０は、この処理によって検出された被写体領域に基づき焦点調節処理を行い（ステップ♯５）、また、露出レベル（露出制御値）の演算処理を実行して（ステップ♯６）、撮影画像をＬＣＤ４に表示させる（ステップ♯７）。

次に、制御部２０は、記録用の撮影動作が必要となったか否か（シャッターボタン９の全押し操作が行われたか否か）を判断し（ステップ♯８）、必要となっていない場合には（ステップ♯８でＮＯ）、ステップ♯２の処理に戻る一方、必要となった場合には（ステップ♯８でＹＥＳ）、ステップ♯５の焦点調節動作が行われた状態で、ステップ♯６で算出された露出制御値に基づきメカニカルシャッター３ｃを開放して撮像素子１１に記録用の撮像動作を実行させ（ステップ♯９）、この撮像動作により得られた画像を外部記憶部１８に格納する（ステップ♯１０）。

そして、制御部２０は、電源ボタン２がオフされたか否かを判断し（ステップ♯１１）、オフされていない場合には（ステップ♯１１でＮＯ）、ステップ♯２の処理に戻る一方、オフされたことを検知すると（ステップ♯１１でＹＥＳ）、所定の終了処理を行った後、一連の撮影処理を終了する。

本実施形態では、図４に示すフローチャートのうちステップ♯４の被写体領域検出処理の処理内容と、該処理により検出された被写体領域に基づいて焦点調節処理及び露出レベル（露出制御値）の演算処理を行う点とに特徴を有しているものであり、前記被写体領域検出処理にあっては、肌色等の特定色領域を用いた画像情報の判別だけでなく、画像の周辺（背景）部分における輝度情報及び色情報と、撮影画像を複数のブロックにマトリックス状に分割したときに該画像の中央部に属するブロックの輝度情報及び色情報とを比較することで、被写体領域を検出・抽出するようにしている。そして、この抽出した被写体領域を用いて、焦点調節動作及び露出制御値の設定を行うようにしている。

制御部２０は、このような処理を実行するべく、図３に示すように、測光情報導出部２１と、背景部平均測光演算部２２と、相対差分情報出力部２３と、被写体領域抽出部２４と、焦点調節処理部２５と、露出制御値演算部２６とを機能的に備えている。

測光情報導出部２１は、撮影画像を複数のブロックにマトリックス状に分割し、各ブロックの輝度Ｙ、色Ｒ，Ｇ，Ｂ及び色差ＣｒＳ，ＣｂＳを算出し、画像の中央部に位置する所定領域を被写体部、該被写体部の周囲を背景部として区分したときに、被写体部及び背景部にそれぞれ属するブロックが、予め設定された複数の色のうちどれに当てはまるかを色差ＣｒＳ，ＣｂＳを用いて検知する処理を実行し、前記各色に対応するブロック数（以下、度数という）を導出するとともに、背景部において、各色に対して導出された度数の大小に応じて重み係数（以下、背景度合ウェイトという）を設定するものである。背景度合ウェイトは、背景の画像である的確性を示す値である。

背景部平均測光演算部２２は、背景部平均輝度情報演算部２７と背景部平均色差情報演算部２８とからなり、背景部平均輝度情報演算部２７は、背景部に属する各ブロックについて、当該ブロックの輝度と測光情報導出部２１により設定された背景度合ウェイトとを用いて、輝度Ｙについての背景部全体の平均値（加重平均値）を演算するものであり、また、背景部平均色差情報演算部２８は、当該ブロックの色差ＣｒＳ，ＣｂＳと測光情報導出部２１により設定された背景度合ウェイトとを用いて、色差ＣｒＳ，ＣｂＳについての背景部全体の平均値（加重平均値）を演算するものである。

相対差分情報出力部２３は、相対輝度差分情報出力部２９と相対色差分情報出力部３０とからなり、相対輝度差分情報出力部２９は、被写体部に属する各ブロックの輝度Ｙと、背景部平均測光演算部２２により算出された輝度Ｙについての前記平均値との差を算出するものであり、また、相対色差分情報出力部３０は、被写体部に属する各ブロックの色差ＣｒＳ，ＣｂＳと、背景部平均測光演算部２２により算出された色差ＣｒＳ，ＣｂＳについての前記平均値との差を算出するものである。また、相対差分情報出力部２３は、算出した各差を用いて各ブロックの後述する相対被写体度合を算出する。

被写体領域抽出部２４は、各色に応じて後述する絶対被写体度合を各ブロックについて設定するとともに、この絶対被写体度合と前記相対差分情報出力部２３により算出された相対被写体度合とを用いて、後述する総合被写体度合を算出し、この総合被写体度合に基づいて被写体の位置（後述する重心位置）や該被写体が存在する領域を検出・抽出するものである。

焦点調節処理部２５は、被写体領域抽出部２４により導出された位置を合焦対象位置とし、この位置における画像に焦点が合うように、例えば周知の山登り方式に基づく焦点調節動作（レンズ駆動部１０ｂの制御）を行うものである。

露出制御値演算部２６は、被写体領域抽出部２４により導出された被写体領域に基づき測光対象領域を選定し、この領域の測光処理を行って、該測光結果に基づき露出制御値（シャッタースピード及び絞り値）を設定するものである。

図５は、図４に示すフローチャートのステップ♯４の被写体領域検出処理のサブルーチンを示すフローチャートであり、焦点調節処理部２５及び露出制御値演算部２６を除く各部の処理の流れを示している。

図５に示すように、測光情報導出部２１は、取得した画像を図６（ａ）に示すように縦ｎ（個）×横ｍ（個）のブロックにマトリックス状に分割し（ステップ♯２１）、各ブロックの輝度Ｙ及び色Ｒ，Ｇ，Ｂのデータを算出する（ステップ♯２２）。ここで、図６（ａ）に示すように、マトリックス状に並ぶ各ブロックの集合体に対し、最上位置の水平列から最下位置の水平列に向かって０から（ｎ−１）まで順番に番号を付し、この０から（ｎ−１）までの数字を代表してｉで表すとともに、前記集合体に対し、最左位置の垂直列から最右位置の垂直列に向かって０から（ｍ−１）まで順番に番号を付し、この０から（ｍ−１）までの数字を代表してｊで表すものとする。

また、（ｉ，ｊ）＝（０，０）に位置するブロックから（ｉ，ｊ）＝（ｎ−１，ｍ−１）に位置するブロックに対して、最上位置の水平列から最下位置の水平列に向かう方向に、且つ最左位置の垂直列から最右位置の垂直列に向かう方向に０から（ｎ−１）×（ｍ−１）までの番号を昇順で付した場合に、任意のブロックに付せられる番号（ｉ×ｍ＋ｊ）をｋと表して、各ブロックの輝度及び色をＹ［ｋ］、Ｒ［ｋ］，Ｇ［ｋ］，Ｂ［ｋ］と表すものとする。

測光情報導出部２１は、算出した各ブロックの輝度Ｙ［ｋ］及び色Ｒ［ｋ］，Ｇ［ｋ］，Ｂ［ｋ］に基づき、各ブロックについて、色差ＣｒＳ［ｋ］，ＣｂＳ［ｋ］を下記式（１），（２）を用いて導出する（ステップ♯２３）。

ＣｒＳ［ｋ］＝（Ｒ［ｋ］−Ｙ［ｋ］）／１６ ・・・（１）
ＣｂＳ［ｋ］＝（Ｂ［ｋ］−Ｙ［ｋ］）／１６ ・・・（２）
次に、測光情報導出部２１は、図６（ｂ）に示すように、マトリックス状に並ぶ各ブロックの集合体のうち、中央部に位置する所定領域を被写体部、該被写体部の周囲を背景部として区分し、前記式（１），（２）で導出された色差ＣｒＳ［ｋ］，ＣｂＳ［ｋ］を用いて、被写体部及び背景部にそれぞれ属するブロックの色が、予め設定された複数の色のどの色に当てはまるかを検知する処理を実行する（ステップ♯２４）。本実施形態では、前記予め設定された複数の色として、撮影画像に含まれることが多いと考えられる肌色、赤色、緑色及び空色（青空の色）と、輝度が相対的に極めて高い異常高輝度及び輝度が相対的に極めて低い異常低輝度との計６色が設定されており、このステップ♯２４では、ブロックの色が検出されるとともに、各色に対応するブロック数（以下、度数という）も導出される。

なお、図１９に示すように、ＣｂＳ値をＸ軸、ＣｒＳ値をＹ軸、輝度値をＺ軸とする３次元座標系からなるＹＧｒＧｂ色空間を設定したとき、例えば人の肌の色は、矢印ａで示す領域に含まれ、植物の葉の緑色は、矢印ｂで示す領域に含まれ、青空の色は、矢印ｃで示す領域に含まれる。

次に、測光情報導出部２１は、背景部において、前記色ごとに導出された度数の大小に応じて重み係数（背景度合ウェイト）を設定する（ステップ♯２５）。

また、背景部平均輝度情報演算部２７及び背景部平均色差情報演算部２８は、背景部について、ステップ♯２５で設定した背景度合ウェイトを用いて、輝度及び色差の加重平均値を演算する（ステップ♯２６）。

次に、相対輝度差分情報出力部２９及び相対色差分情報出力部３０は、被写体部に属する各ブロックの輝度及び色差と、ステップ♯２６で算出された輝度及び色差の加重平均値との差ΔＹ［ｋ］，ΔＣｒＳ［ｋ］，ΔＣｂＳ［ｋ］を算出し（ステップ♯２７）、被写体部に属する各ブロックについて、相対被写体度合を算出する（ステップ♯２８）。相対被写体度合とは、図２０（ｂ）に示すように、０を最小値として背景部の輝度や色差が大きくなるほど大きくなるように設定された、主被写体領域であるか否かを判断するためのパラメータ（スケール値）の１つである。

そして、被写体領域抽出部２４は、被写体部及び背景部に属する各ブロックについて、後述する絶対被写体度合を算出し、この絶対被写体度合とステップ♯２８で算出した相対被写体度合とに基づく総合被写体度合を算出する（ステップ♯２９）。絶対被写体度合とは、図２０（ａ）に示すように、背景部の輝度や色差に関係なく、各色に対して設定された、主被写体領域であるか否かを判断するためのパラメータ（スケール値）の１つである。本実施形態では、例えば空色や前記６色以外の他の色に対しては絶対被写体度合「１」が設定され、人物の肌の色に対しては絶対被写体度合「８」が設定されている。なお、各色に対して設定する絶対被写体度合の値は、図２０（ａ）に示す値に限られるものではなく、他の値を適宜設定してもよい。

また、被写体領域抽出部２４は、ステップ♯２９で算出した総合被写体度合に基づき、被写体の位置に係る情報を算出し（ステップ♯３０）、また、被写体が存在する領域に係る情報を算出する（ステップ♯３１）。

次に、各部の詳細な処理を説明する。図７、図８は、測光情報導出部２１によるステップ♯２４の色検知処理を示すフローチャートである。

図７、図８に示すように、測光情報導出部２１は、度数をカウントするためのカウンタ（図示せず）を備えており、まず、このカウンタのカウント値をクリアにする等の初期化処理を行った後（ステップ♯４１）、被写体部及び背景部に属する各ブロックについて順番にステップ♯４２〜♯７０の処理を実行する。

ステップ♯４２では、測光情報導出部２１は、前記色差ＣｒＳ［ｋ］，ＣｂＳ［ｋ］について、下記式（３），（４）を同時に満たすか否かを判断する。

０＜ＣｒＳ［ｋ］≦２０ ・・・（３）
−１８≦ＣｂＳ［ｋ］＜０ ・・・（４）
その結果、測光情報導出部２１は、前記式（３），（４）を同時に満たすと判断した場合には（ステップ♯４２でＹＥＳ）、ステップ♯４４の処理に進む一方、前記式（３），（４）を同時に満たさないと判断した場合には（ステップ♯４２でＮＯ）、前記色差ＣｒＳ［ｋ］，ＣｂＳ［ｋ］について、下記式（５），（６）を同時に満たすか否かを判断する（ステップ♯４３）。

２０＜ＣｒＳ［ｋ］≦４５ ・・・（５）
−３５≦ＣｂＳ［ｋ］＜−８ ・・・（６）
その結果、測光情報導出部２１は、前記式（５），（６）を同時に満たすと判断した場合には（ステップ♯４３でＹＥＳ）、ステップ♯４４の処理に進む一方、前記式（５），（６）を同時に満たさないと判断した場合には（ステップ♯４２でＮＯ）、ステップ♯４８の処理に進む。

ステップ♯４４では、測光情報導出部２１は、下記式（７）を満たすか否かを判断する。

ＣｒＳ［ｋ］≦−２×ＣｂＳ［ｋ］ ・・・（７）
その結果、測光情報導出部２１は、前記式（７）を満たさないと判断すると（ステップ♯４４でＮＯ）、ステップ♯４８の処理に進む一方、前記式（７）を満たすと判断すると（ステップ♯４４でＹＥＳ）、当該ブロックが被写体部に属するブロックであるか否かを判断する（ステップ♯４５）。

その結果、測光情報導出部２１は、当該ブロックが被写体部に属するブロックである場合には（ステップ♯４５でＹＥＳ）、被写体部における肌色についての度数を１だけカウントアップする一方（ステップ♯４６）、当該ブロックが被写体部に属するブロックでない場合、すなわち背景部に属するブロックである場合には（ステップ♯４５でＮＯ）、背景部における肌色についての度数を１だけカウントアップして（ステップ♯４７）、ステップ♯４８に進む。

ステップ♯４８では、測光情報導出部２１は、前記色差ＣｒＳ［ｋ］，ＣｂＳ［ｋ］について、下記式（７），（８）を同時に満たすか否かを判断する。

３＜ＣｒＳ［ｋ］≦４０ ・・・（７）
−２０≦ＣｂＳ［ｋ］＜０ ・・・（８）
その結果、測光情報導出部２１は、前記式（７），（８）を同時に満たすと判断した場合には（ステップ♯４８でＹＥＳ）、ステップ♯５０の処理に進む一方、前記式（７），（８）を同時に満たさないと判断した場合には（ステップ♯４８でＮＯ）、前記色差ＣｒＳ［ｋ］，ＣｂＳ［ｋ］について、下記式（９），（１０）を同時に満たすか否かを判断する（ステップ♯４９）。

４０＜ＣｒＳ［ｋ］≦７０ ・・・（９）
−３５≦ＣｂＳ［ｋ］＜−１０ ・・・（１０）
その結果、測光情報導出部２１は、前記式（９），（１０）を同時に満たすと判断した場合には（ステップ♯４９でＹＥＳ）、ステップ♯５０の処理に進む一方、前記式（９），（１０）を同時に満たさないと判断した場合には（ステップ♯４９でＮＯ）、ステップ♯５４の処理に進む。

ステップ♯５０では、測光情報導出部２１は、下記式（１１）を満たすか否かを判断する。

ＣｒＳ［ｋ］≦−２×ＣｂＳ［ｋ］ ・・・（１１）
その結果、測光情報導出部２１は、前記式（１１）を満たさないと判断すると（ステップ♯５０でＮＯ）、ステップ♯５４の処理に進む一方、前記式（１１）を満たすと判断すると（ステップ♯５０でＹＥＳ）、当該ブロックが被写体部に属するブロックであるか否かを判断する（ステップ♯５１）。

その結果、測光情報導出部２１は、当該ブロックが被写体部に属するブロックである場合には（ステップ♯５１でＹＥＳ）、被写体における赤色についての度数を１だけカウントアップする一方（ステップ♯５２）、当該ブロックが被写体部に属するブロックでない場合、すなわち背景部に属するブロックである場合には（ステップ♯５１でＮＯ）、背景部における赤色についての度数を１だけカウントアップして（ステップ♯５３）、ステップ♯５４に進む。

ステップ♯５４では、測光情報導出部２１は、前記輝度Ｙ［ｋ］及び色差ＣｒＳ［ｋ］，ＣｂＳ［ｋ］について、下記式（１２）〜（１４）を同時に満たすか否かを判断する。

−２０＜ＣｒＳ［ｋ］≦０ ・・・（１２）
−３０≦ＣｂＳ［ｋ］＜０ ・・・（１３）
Ｙ［ｋ］＜４８０ ・・・（１４）
その結果、測光情報導出部２１は、前記式（１２）〜（１４）を同時に満たさないと判断した場合には（ステップ♯５４でＮＯ）、ステップ♯５８の処理に進む一方、前記式（１２）〜（１４）を同時に満たすと判断した場合には（ステップ♯５４でＹＥＳ）、当該ブロックが被写体部に属するブロックであるか否かを判断する（ステップ♯５５）。

その結果、測光情報導出部２１は、当該ブロックが被写体部に属するブロックである場合には（ステップ♯５５でＹＥＳ）、被写体部における緑色についての度数を１だけカウントアップする一方（ステップ♯５６）、当該ブロックが被写体部に属するブロックでない場合、すなわち背景部に属するブロックである場合には（ステップ♯５５でＮＯ）、背景部における緑色についての度数を１だけカウントアップして（ステップ♯５７）、ステップ♯５８に進む。

ステップ♯５８では、測光情報導出部２１は、前記輝度Ｙ［ｋ］及び色差ＣｒＳ［ｋ］，ＣｂＳ［ｋ］について、下記式（１５）〜（１７）を同時に満たすか否かを判断する。

−２０＜ＣｒＳ［ｋ］≦０ ・・・（１５）
０≦ＣｂＳ［ｋ］＜４０ ・・・（１６）
Ｙ［ｋ］＞８００ ・・・（１７）
その結果、測光情報導出部２１は、前記式（１５）〜（１７）を同時に満たすと判断した場合には（ステップ♯５８でＹＥＳ）、ステップ♯６０の処理に進む一方、前記式（１５）〜（１７）を同時に満たさないと判断した場合には（ステップ♯５８でＮＯ）、前記輝度Ｙ［ｋ］及び色差ＣｒＳ［ｋ］，ＣｂＳ［ｋ］について、下記式（１８）〜（２０）を同時に満たすか否かを判断する（ステップ♯５９）。

−４０＜ＣｒＳ［ｋ］≦−１５ ・・・（１８）
４０≦ＣｂＳ［ｋ］＜８０ ・・・（１９）
Ｙ［ｋ］＞６００ ・・・（２０）
その結果、測光情報導出部２１は、前記式（１８）〜（２０）を同時に満たすと判断した場合には（ステップ♯５９でＹＥＳ）、ステップ♯６０の処理に進む一方、前記式（１８）〜（２０）を同時に満たさないと判断した場合には（ステップ♯５９でＮＯ）、ステップ♯６３の処理に進む。

ステップ♯６０では、測光情報導出部２１は、当該ブロックが被写体部に属するブロックであるか否かを判断する。その結果、測光情報導出部２１は、当該ブロックが被写体部に属するブロックである場合には（ステップ♯６０でＹＥＳ）、被写体部における空色についての度数を１だけカウントアップする一方（ステップ♯６１）、当該ブロックが被写体部に属するブロックでない場合、すなわち背景部に属するブロックである場合には（ステップ♯６０でＮＯ）、背景部における空色についての度数を１だけカウントアップして（ステップ♯６２）、ステップ♯６３に進む。

ステップ♯６３では、測光情報導出部２１は、前記輝度Ｙ［ｋ］について、下記式（２１）を満たすか否かを判断する。

Ｙ［ｋ］＞２０００ ・・・（２１）
その結果、測光情報導出部２１は、前記式（２１）を満たさないと判断した場合には（ステップ♯６３でＮＯ）、ステップ♯６７の処理に進む一方、前記式（２１）を満たすと判断した場合には（ステップ♯６３でＹＥＳ）、当該ブロックが被写体部に属するブロックであるか否かを判断する（ステップ♯６４）。

その結果、測光情報導出部２１は、当該ブロックが被写体部に属するブロックである場合には（ステップ♯６４でＹＥＳ）、被写体部における異常高輝度についての度数を１だけカウントアップする一方（ステップ♯６５）、当該ブロックが被写体部に属するブロックでない場合、すなわち背景部に属するブロックである場合には（ステップ♯６４でＮＯ）、背景部における異常高輝度についての度数を１だけカウントアップして（ステップ♯６６）、ステップ♯６７に進む。

ステップ♯６７では、測光情報導出部２１は、前記輝度Ｙ［ｋ］について、下記式（２２）を満たすか否かを判断する。

Ｙ［ｋ］＜１００ ・・・（２２）
その結果、測光情報導出部２１は、前記式（２２）を満たさないと判断した場合には（ステップ♯６７でＮＯ）、ステップ♯７１の処理に進む一方、前記式（２２）を満たすと判断した場合には（ステップ♯６７でＹＥＳ）、当該ブロックが被写体部に属するブロックであるか否かを判断する（ステップ♯６８）。

その結果、測光情報導出部２１は、当該ブロックが被写体部に属するブロックである場合には（ステップ♯６８でＹＥＳ）、被写体部における異常低輝度についての度数を１だけカウントアップする一方（ステップ♯６９）、当該ブロックが被写体部に属するブロックでない場合、すなわち背景部に属するブロックである場合には（ステップ♯６８でＮＯ）、背景部における異常低輝度についての度数を１だけカウントアップして（ステップ♯７０）、ステップ♯７１に進む。

ステップ♯７１では、測光情報導出部２１は、全てのブロックについてステップ♯４２〜♯７０までの処理が終了したか否かを判断し、終了していない場合には（ステップ♯７１でＮＯ）、ステップ♯４２の処理に戻る一方、終了した場合には（ステップ♯７１でＹＥＳ）、図５に示すフローチャートのステップ♯２５に進む。

なお、本処理のうち、ステップ♯４３の判断を行わずに、ステップ♯４２，♯４４の処理に基づいて、肌色領域を設定する（被写体部又は背景部の肌色度数の１カウントアップする）ようにしてもよい。

図９、図１０は、測光情報導出部２１によるステップ♯２５の各色の背景度合ウェイト設定処理を示すフローチャートである。なお、ここでは、画像全体を、横２０（個）×縦１５（個）（＝３００（個））のブロックにマトリックス状に分割するものとするとともに、被写体部を、前記マトリックスのうち縦横それぞれ中央に位置する横１２（個）×縦９（個）（＝１０８（個））のブロックが属する領域とし、背景部を、その周囲に位置する１９２（個）のブロックが属する領域とする。

図９、図１０に示すように、測光情報導出部２１は、各色についての背景度合ウェイトの初期設定（クリア処理）を行った後（ステップ♯８１）、ステップ♯８２〜１０９で背景部における各色についての背景度合ウェイトを設定する。

まず、測光情報導出部２１は、図７、図８に示す処理で得られた背景部における異常高輝度についての度数が３０を超えているか否かを判断し（ステップ♯８２）、超えていない場合には（ステップ♯８２でＮＯ）、ステップ♯８６の処理に進む一方、超えている場合には（ステップ♯８２でＹＥＳ）、前記度数が６０を超えているか否かを判断する（ステップ♯８３）。

その結果、測光情報導出部２１は、超えていない場合には（ステップ♯８３でＮＯ）、異常高輝度についての背景度合ウェイトを「４」に設定する一方（ステップ♯８４）、超えている場合には（ステップ♯８３でＹＥＳ）、異常高輝度についての背景度合ウェイトを「８」に設定する（ステップ♯８５）。

ステップ♯８６では、測光情報導出部２１は、図７、図８に示す処理で得られた背景部における異常低輝度についての度数が３０を超えているか否かを判断し、超えていない場合には（ステップ♯８６でＮＯ）、ステップ♯９０の処理に進む一方、超えている場合には（ステップ♯８６でＹＥＳ）、前記度数が６０を超えているか否かを判断する（ステップ♯８７）。

その結果、測光情報導出部２１は、超えていない場合には（ステップ♯８７でＮＯ）、異常低輝度についての背景度合ウェイトを「４」に設定する一方（ステップ♯８８）、超えている場合には（ステップ♯８７でＹＥＳ）、異常低輝度についての背景度合ウェイトを「８」に設定する（ステップ♯８９）。

ステップ♯９０では、測光情報導出部２１は、図７、図８に示す処理で得られた背景部における肌色についての度数が３０を超えているか否かを判断し、超えていない場合には（ステップ♯９０でＮＯ）、ステップ♯９４の処理に進む一方、超えている場合には（ステップ♯９０でＹＥＳ）、前記度数が７０を超えているか否かを判断する（ステップ♯９１）。

その結果、測光情報導出部２１は、超えていない場合には（ステップ♯９１でＮＯ）、肌色についての背景度合ウェイトを「２」に設定する一方（ステップ♯９２）、超えている場合には（ステップ♯９１でＹＥＳ）、肌色についての背景度合ウェイトを「４」に設定する（ステップ♯９３）。

ステップ♯９４では、測光情報導出部２１は、図７、図８に示す処理で得られた背景部における赤色についての度数が３０を超えているか否かを判断し、超えていない場合には（ステップ♯９４でＮＯ）、ステップ♯９８の処理に進む一方、超えている場合には（ステップ♯９４でＹＥＳ）、前記度数が７０を超えているか否かを判断する（ステップ♯９５）。

その結果、測光情報導出部２１は、超えていない場合には（ステップ♯９５でＮＯ）、赤色についての背景度合ウェイトを「２」に設定する一方（ステップ♯９６）、超えている場合には（ステップ♯９５でＹＥＳ）、赤色についての背景度合ウェイトを「４」に設定する（ステップ♯９７）。

ステップ♯９８では、測光情報導出部２１は、図７、図８に示す処理で得られた背景部における空色についての度数が２０を超えているか否かを判断し、超えていない場合には（ステップ♯９８でＮＯ）、ステップ♯１０２の処理に進む一方、超えている場合には（ステップ♯９８でＹＥＳ）、前記度数が６０を超えているか否かを判断する（ステップ♯９９）。

その結果、測光情報導出部２１は、超えていない場合には（ステップ♯９９でＮＯ）、空色についての背景度合ウェイトを「２」に設定する一方（ステップ♯１００）、超えている場合には（ステップ♯９９でＹＥＳ）、空色についての背景度合ウェイトを「４」に設定する（ステップ♯１０１）。

ステップ♯１０２では、測光情報導出部２１は、図７、図８に示す処理で得られた背景部における緑色についての度数が３０を超えているか否かを判断し、超えていない場合には（ステップ♯１０２でＮＯ）、ステップ♯１０６の処理に進む一方、超えている場合には（ステップ♯１０２でＹＥＳ）、前記度数が８０を超えているか否かを判断する（ステップ♯１０３）。

その結果、測光情報導出部２１は、超えていない場合には（ステップ♯１０３でＮＯ）、緑色についての背景度合ウェイトを「２」に設定する一方（ステップ♯１０４）、超えている場合には（ステップ♯１０３でＹＥＳ）、緑色についての背景度合ウェイトを「４」に設定する（ステップ♯１０５）。

ステップ♯１０６では、測光情報導出部２１は、背景部における前記各色以外の色（以下、他色という）についての度数が３０を超えているか否かを判断し、超えていない場合には（ステップ♯１０６でＮＯ）、図５に示すステップ♯２６の処理に進む一方、超えている場合には（ステップ♯１０６でＹＥＳ）、前記度数が７０を超えているか否かを判断する（ステップ♯１０７）。

その結果、測光情報導出部２１は、超えていない場合には（ステップ♯１０７でＮＯ）、他色についての背景度合ウェイトを「２」に設定する一方（ステップ♯１０８）、超えている場合には（ステップ♯１０７でＹＥＳ）、他色についての背景度合ウェイトを「４」に設定する（ステップ♯１０９）。

このように、背景度合ウェイト処理では、例えば背景部に空色が多い場合には、空色のウェイトを高くするというように、背景部の各色の度数に応じて、背景色の重み付けを変えるようにしている。なお、各色の背景度合ウェイトの数値は、経験則に基づいて各色で異なるように設定してもよいし、同一の数値で統一してもよい。

図１１は、背景部平均測光演算部２２（背景部平均輝度情報演算部２７及び背景部平均色差情報演算部２８）によるステップ♯２６の背景部の平均輝度及び平均色差情報の算出処理を示すフローチャートである。

図１１に示すように、背景部平均測光演算部２２は、ステップ♯１１１以降で求める背景度合ウェイトの総和値、背景部についての加重輝度値の総和値、加重ＣｒＳ値の総和値及び加重ＣｂＳ値の総和値をクリアにする初期設定を行う（ステップ♯１１０）。

次に、背景部平均測光演算部２２は、図６に示すようにマトリックス状に分割された縦ｎ（個）×横ｍ（個）のブロック集合体に対して、最上位置の水平列から最下位置の水平列に向かう方向に、且つ各水平列において最左位置の垂直列から最右位置の垂直列に向かう方向に、順次注目ブロックを設定した上で、ステップ♯１１３〜♯１１５の処理を行う。

すなわち、背景部平均測光演算部２２は、まず、ｉ＝０に設定した上で（ステップ♯１１１）、ｊ＝０に設定し（ステップ♯１１２）、被写体部の領域を示す下記式（２３）を満たすか否かを判断する（ステップ♯１１３）。

３≦ｉ≦ｎ−４，４≦ｊ≦ｍ−５ ・・・（２３）
その結果、背景部平均測光演算部２２は、前記式（２３）を満たすものである、すなわち注目ブロックが被写体部に属するものであると判断した場合には（ステップ♯１１３でＹＥＳ）、ステップ♯１１６の処理に進む一方、前記式（２３）を満たさない、すなわち注目ブロックが背景部に属するものであると判断した場合には（ステップ♯１１３でＮＯ）、当該注目ブロックに割り当てられた背景度合ウェイトを累積的に加算する（ステップ♯１１４）。

また、背景部平均測光演算部２２は、ステップ♯１１５において以下の処理（１）〜（３）を行う。（１）当該注目ブロックの輝度値と当該注目ブロックの色に対応する背景度合ウェイトとの乗算値（以下、加重輝度値という）を累積的に加算し、背景部に属する各ブロックに対してそれぞれ求められる加重輝度値の総和を算出する。（２）当該注目ブロックのＣｒＳ値と当該注目ブロックの色に対応する背景度合ウェイトとの乗算値（以下、加重ＣｒＳ値という）を累積的に加算し、背景部に属する各ブロックに対してそれぞれ求められる加重ＣｒＳ値の総和を算出する。（３）当該注目ブロックのＣｂＳ値と当該注目ブロックの色に対応する背景度合ウェイトとの乗算値（以下、加重ＣｂＳ値という）を累積的に加算し、背景部に属する各ブロックに対してそれぞれ求められる加重ＣｒＳ値の総和を算出する。このように、背景部に属するブロックについてのみステップ♯１１４，♯１１５の処理が行われ、その後、ステップ♯１１６の処理に進む。

ステップ♯１１６において、背景部平均測光演算部２２は、注目すべきブロックの番号ｊを１だけインクリメントし（ステップ♯１１６）、そのｊの値がｊ＜ｍを満たすか否かを判断する（ステップ♯１１７）。ｊ＜ｍを満たす場合には（ステップ♯１１７でＹＥＳ）、ステップ♯１１３の処理に戻る一方、ｊ＜ｍを満たさない場合（ステップ♯１１７でＮＯ）、注目すべきブロックの番号ｉを１だけインクリメントし（ステップ♯１１８）、そのｉの値がｉ＜ｎを満たすか否かを判断する（ステップ♯１１９）。

その結果、ｉ＜ｎを満たす場合には（ステップ♯１１９でＹＥＳ）、背景部平均測光演算部２２は、ステップ♯１１２に戻って処理を行う一方、ｉ＜ｎを満たさない場合には（ステップ♯１１９でＮＯ）、ステップ♯１１５の処理で得られた加重輝度値の総和、加重ＣｒＳ値の総和及び加重ＣｂＳ値の総和を、それぞれステップ♯１１４の処理で得られた背景度合ウェイトの累積値で除算することにより、背景部における輝度値、ＣｒＳ値及びＣｂＳ値についての加重平均値をそれぞれ算出する（ステップ♯１２０）。

すなわち、加重輝度値の総和、加重ＣｒＳ値の総和及び加重ＣｂＳ値の総和をそれぞれＹＢsum，ＣｒＢsum，ＣｂＢsum、前記背景度合ウェイトの累積値をｗｔsumと表すものとすると、下記式（２４）〜（２６）を用いて、背景部における輝度値、ＣｒＳ値及びＣｂＳ値の加重平均値ＹＢ，ＣｒＢ，ＣｂＢを算出する。

ＹＢ＝ＹＢsum／ｗｔsum ・・・（２４）
ＣｒＢ＝ＣｒＢsum／ｗｔsum ・・・（２５）
ＣｂＢ＝ＣｂＢsum／ｗｔsum ・・・（２６）
ステップ♯１２０の処理後、図５に示すフローチャートのステップ♯２７の処理に進む。

図１２は、相対差分情報出力部２３（相対輝度差分情報出力部２９及び相対色差分情報出力部３０）によるステップ♯２７，♯２８の相対輝度差及び相対色差差の算出処理及び相対被写体度合の算出処理を示すフローチャートである。

図１２に示すように、相対差分情報出力部２３は、図６に示すようにマトリックス状に分割された縦ｎ（個）×横ｍ（個）のブロック集合体に対して、最上位置の水平列から最下位置の水平列に向かう方向に、且つ各水平列において最左位置の垂直列から最右位置の垂直列に向かう方向に、順次注目ブロックを設定した上で、ステップ♯１３３〜♯１３７の処理を行う。

すなわち、相対差分情報出力部２３は、まず、ｉ＝０に設定した上で（ステップ♯１３１）、ｊ＝０に設定し（ステップ♯１３２）、被写体部の領域を示す前記式（２３）を満たすか否かを判断する（ステップ♯１３３）。

その結果、相対差分情報出力部２３は、前記式（２３）を満たさない、すなわち注目ブロックが背景部に属するものであると判断した場合には（ステップ♯１３３でＮＯ）、当該注目ブロックの相対被写体度合を０に設定した上で（ステップ♯１３４）、ステップ♯１３８の処理に進む。

一方、相対差分情報出力部２３は、前記式（２３）を満たす、すなわち注目ブロックが被写体部に属するものであると判断した場合には（ステップ♯１３３でＹＥＳ）、ステップ♯１３５において以下の処理（１）〜（３）を行う。すなわち、相対差分情報出力部２３は、（１）当該注目ブロックの輝度値と、図１１に示すフローチャートのステップ♯１２０で算出した背景部の輝度値に係る加重平均値ＹＢとの差ΔＹ［ｋ］の算出、（２）当該注目ブロックのＣｒＳ値と、同じくステップ♯１２０で算出した背景部のＣｒＳ値に係る加重平均値ＣｒＢとの差ΔＣｒＳ［ｋ］の算出、当該注目ブロックのＣｂＳ値と、同じくステップ♯１２０で算出した背景部のＣｂＳ値に係る加重平均値との差ΔＣｂＳ［ｋ］の算出を行う。

次に、相対差分情報出力部２３は、例えば下記式（２７）を用いて、当該注目ブロックの相対輝度色差差d_ＹＣＣ^２［ｋ］を算出する（ステップ♯１３６）。

d_ＹＣＣ^２［ｋ］＝（ΔＹ［ｋ］）^２＋（ΔＣｒＳ［ｋ］）^２
＋（ΔＣｂＳ［ｋ］）^２ ・・・（２７）
さらに、相対差分情報出力部２３は、例えば下表１に示す、相対輝度色差差d_ＹＣＣ^２［ｋ］に応じてブロックの相対被写体度合rel_deg_Ｂ［ｋ］が設定されたテーブルを用いて、各ブロックの相対被写体度合rel_deg_Ｂ［ｋ］を算出した後（ステップ♯１３７）、ステップ♯１３８の処理に進む。

すなわち、相対輝度色差差d_ＹＣＣ^２［ｋ］が大きいほど、換言すれば、当該ブロックと背景部との輝度差や色差差が大きいほど、当該ブロックが被写体を構成するブロックである確度が高いことから、前記テーブルは、相対輝度色差差d_ＹＣＣ^２［ｋ］が大きいほど、各ブロックの相対被写体度合rel_deg_Ｂ［ｋ］を大きく設定している。

ステップ♯１３８では、相対差分情報出力部２３は、注目すべきブロックの番号ｊを１だけインクリメントし（ステップ♯１３８）、そのｊの値がｊ＜ｍを満たすか否かを判断する（ステップ♯１３９）。ｊ＜ｍを満たす場合には（ステップ♯１３９でＹＥＳ）、ステップ♯１３３の処理に戻る一方、ｊ＜ｍを満たさない場合（ステップ♯１３９でＮＯ）、注目すべきブロックの番号ｉを１だけインクリメントし（ステップ♯１４０）、そのｉの値がｉ＜ｎを満たすか否かを判断する（ステップ♯１４１）。

その結果、ｉ＜ｎを満たす場合には（ステップ♯１４１でＹＥＳ）、相対差分情報出力部２３は、ステップ♯１３２に戻る一方、ｉ＜ｎを満たさない場合には（ステップ♯１４１でＮＯ）、図５に示すフローチャートのステップ♯２９に進む。

図１３は、被写体領域抽出部２４によるステップ♯２９の総合被写体度合の算出処理を示すフローチャートである。

図１３に示すように、被写体領域抽出部２４は、ステップ♯１５２以降で求める絶対被写体度合をクリアにする初期設定を行う（ステップ♯１５１）。次に、被写体領域抽出部２４は、図６に示すようにマトリックス状に分割された縦ｎ（個）×横ｍ（個）のブロック集合体に対して、最上位置の水平列から最下位置の水平列に向かう方向に、且つ各水平列において最左位置の垂直列から最右位置の垂直列に向かう方向に、順次注目ブロックを設定した上で、ステップ♯１５４〜♯１６７の処理を行う。

すなわち、被写体領域抽出部２４は、まず、ｉ＝０に設定した上で（ステップ♯１５２）、ｊ＝０に設定する（ステップ♯１５３）。

そして、被写体領域抽出部２４は、ステップ♯１５４〜♯１６６において、図７に示す色検知処理により検知した各ブロックの画像の色に対し、予め設定した各色についての絶対被写体度合（図２０（ａ）参照）を用いて絶対被写体度合を設定する。

すなわち、被写体領域抽出部２４は、当該注目ブロックが肌色のブロックであるか否かを判断し（ステップ♯１５４）、肌色のブロックである場合には（ステップ♯１５４でＹＥＳ）、当該注目ブロックについての絶対被写体度合を８に設定する（ステップ♯１５５）。

一方、当該注目ブロックが肌色のブロックではない場合には（ステップ♯１５４でＮＯ）、被写体領域抽出部２４は、当該注目ブロックが赤色のブロックであるか否かを判断する（ステップ♯１５６）。その結果、被写体領域抽出部２４は、赤色のブロックである場合には（ステップ♯１５６でＹＥＳ）、当該注目ブロックについての絶対被写体度合を４に設定する（ステップ♯１５７）一方、当該注目ブロックが赤色のブロックではない場合には（ステップ♯１５６でＮＯ）、当該注目ブロックが緑色のブロックであるか否かを判断する（ステップ♯１５８）。

その結果、緑色のブロックである場合には（ステップ♯１５８でＹＥＳ）、被写体領域抽出部２４は、当該注目ブロックについての絶対被写体度合を２に設定する（ステップ♯１５９）一方、当該注目ブロックが緑色のブロックではない場合には（ステップ♯１５８でＮＯ）、当該注目ブロックが空色のブロックであるか否かを判断する（ステップ♯１６０）。

その結果、空色のブロックである場合には（ステップ♯１６０でＹＥＳ）、被写体領域抽出部２４は、当該注目ブロックについての絶対被写体度合を１に設定する（ステップ♯１６１）一方、当該注目ブロックが空色のブロックではない場合には（ステップ♯１６０でＮＯ）、当該注目ブロックが異常高輝度のブロックであるか否かを判断する（ステップ♯１６２）。

その結果、異常高輝度のブロックである場合には（ステップ♯１６２でＹＥＳ）、被写体領域抽出部２４は、当該注目ブロックについての絶対被写体度合を１に設定する（ステップ♯１６３）一方、当該注目ブロックが異常高輝度のブロックではない場合には（ステップ♯１６２でＮＯ）、当該注目ブロックが異常低輝度のブロックであるか否かを判断する（ステップ♯１６４）。

その結果、異常低輝度のブロックである場合には（ステップ♯１６４でＹＥＳ）、被写体領域抽出部２４は、当該注目ブロックについての絶対被写体度合を１に設定する（ステップ♯１６５）一方、当該注目ブロックが異常低輝度のブロックではない場合、すなわち前記他色のブロックである場合には（ステップ♯１６４でＮＯ）、当該注目ブロックについての絶対被写体度合を２に設定する（ステップ♯１６６）。

次に、被写体領域抽出部２４は、ステップ♯１５５，♯１５７，♯１５９，♯１６１，♯１６３，♯１６５，♯１６６のいずれかの処理で算出された、当該注目ブロックについての絶対被写体度合と、図１２に示すフローチャートのステップ♯１３７の処理で算出された、当該注目ブロックについての相対被写体度合との乗算値を総合被写体度合deg_S［ｋ］として算出し（ステップ♯１６７）、ステップ♯１６８の処理に進む。

ステップ♯１６８では、被写体領域抽出部２４は、注目すべきブロックの番号ｊを１だけインクリメントし（ステップ♯１６８）、そのｊの値がｊ＜ｍを満たすか否かを判断する（ステップ♯１６９）。ｊ＜ｍを満たす場合には（ステップ♯１６９でＹＥＳ）、ステップ♯１５４の処理に戻る一方、ｊ＜ｍを満たさない場合（ステップ♯１６９でＮＯ）、注目すべきブロックの番号ｉを１だけインクリメントし（ステップ♯１７０）、そのｉの値がｉ＜ｎを満たすか否かを判断する（ステップ♯１７１）。

その結果、ｉ＜ｎを満たす場合には（ステップ♯１７１でＹＥＳ）、被写体領域抽出部２４は、ステップ♯１５３に戻る一方、ｉ＜ｎを満たさない場合には（ステップ♯１７１でＮＯ）、図５に示すフローチャートのステップ♯３０に進む。

図１４は、被写体領域抽出部２４によるステップ♯３０の被写体位置情報算出処理を示すフローチャートであり、図１５は、被写体領域抽出部２４によるステップ♯３１の被写体領域情報算出処理を示すフローチャートである。

図１４に示すように、被写体領域抽出部２４は、図１３に示すフローチャートのステップ♯１６７で算出された総合被写体度合が２以上となるブロックを抽出する（ステップ♯１８１）。

そして、被写体領域抽出部２４は、ステップ♯１８１で抽出したブロックの総合被写体度合を用いて被写体度合の重心位置（被写体位置）を算出する（ステップ♯１８２）。図６に示すブロック集合体に対して水平方向をＸ軸、該水平方向に直交する方向をＹ軸とする２次元座標系を設定し、各ブロックがこの２次元座標系の格子点に配置されているものとすると、抽出した重心位置（x_cgS，Y_cgS）は、任意のブロック（ｉ，ｊ）における総合被写体度合deg_S［（ｉ，ｊ）］と表すとき、
x_cgS＝Σ（ｊ×deg_S［（ｉ，ｊ）］）／Σdeg_S［（ｉ，ｊ）］ ・・・（２８）
Y_cgS＝Σ（ｉ×deg_S［（ｉ，ｊ）］）／Σdeg_S［（ｉ，ｊ）］ ・・・（２９）
により算出される。すなわち、重心位置は、総合被写体度合が２以上となる各ブロックについて、当該ブロックについての総合被写体度合と当該ブロックのＸ座標又はＹ座標との乗算値を算出するとともに、各ブロックに対して算出された乗算値の総和を求め、この総和を、各ブロックの総合被写体度合の総和で除算することで算出される。

この後、被写体領域抽出部２４は、図１５に示すように、図１３に示すフローチャートのステップ♯１６７で算出された総合被写体度合が２以上となるブロックを抽出し（ステップ♯１９１）、この抽出したブロックの数num_Sを検出する（ステップ♯１９２）。

そして、被写体領域抽出部２４は、図１４のフローチャートで示すステップ♯１８２で算出した重心位置に対する各ブロックの標準偏差を算出する（ステップ♯１９３）。標準偏差は、下記式（３０），（３１）により算出される。

そして、被写体領域抽出部２４は、前記重心位置（x_cgS，Y_cgS）を基準として、Ｘ軸及びＹ軸の正負両方向にそれぞれ前記標準偏差分x_devS，y_devSだけ広がる領域を、Ｘ軸方向において被写体が存在する領域とする。

図１６（ａ），（ｂ）は、各ブロックに対して算出された総合被写体度合の分布の一例と、その総合被写体度合の分布に対して、前記式（２８），（２９）により算出された重心位置及び被写体領域を示す図である。

図１６（ａ）は、肌色の地面に、肌色でない被写体が画像の中央部に存在する場合の画像を示しており、この画像における各ブロックの総合被写体度合が図１６（ａ）に示すような態様となっている。この画像の場合、重心位置が点Ｇ１で示す位置となり、被写体領域は矢印Ａで示す領域に設定されている。

図１６（ｂ）は、全体的に肌色や赤色等の被写体の特徴を示す色や輝度がほとんど無く、図１６（ａ）に比して被写体が右側に配置された場合の画像を示しており、この画像における各ブロックの総合被写体度合が図１６（ｂ）に示すような態様となっている。この画像の場合、重心位置が点Ｇ２で示す位置となり、被写体領域は矢印Ｂで示す領域に設定されている。

図１７は、焦点調節処理部２５によるステップ♯５（図４参照）の焦点調節処理を示すフローチャートである。

図１７に示すように、焦点調節処理部２５は、被写体領域抽出部２４により導出された重心位置（x_cgS，Y_cgS）を合焦対象位置として設定し（ステップ♯２０１）、この重心位置における画像に合焦させるべく、周知の山登り方式に基づく焦点調節動作を行うようにレンズ駆動部１０ｂを制御する（ステップ♯２０２）。

図１８は、露出制御値演算部２６によるステップ♯６（図４参照）の露出レベル演算処理を示すフローチャートである。

露出制御値演算部２６は、被写体領域抽出部２４により導出された被写体領域に基づき、測光する領域を選定し（ステップ♯２１１）、この領域の測光処理を行い（ステップ♯２１２）、該測光結果に基づき、シャッタースピード及び絞り値を設定する（ステップ♯２１３）。

以上のように、画像を複数のブロックにマトリックス状に分割し、各ブロックの輝度Ｙ及び色Ｒ，Ｇ，Ｂを算出し、この算出した輝度Ｙ及び色Ｒ，Ｇ，Ｂに基づき色差ＣｒＳ［ｋ］，ＣｂＳ［ｋ］を算出し、色差ＣｒＳ［ｋ］，ＣｂＳ［ｋ］を用いて、被写体部及び背景部にそれぞれ属するブロックの色が、予め設定された複数の色のどの色に当てはまるかを検知するとともに各色に対応するブロック数（度数）を導出し、前記色ごとに導出された度数の大小に応じて重み係数（背景度合ウェイト）を設定し、前記背景部に属するブロックについて導出された輝度及び色差の平均値を算出し、前記中央部に属する各ブロックの輝度及び色差と、背景部の輝度及び色差の平均値との差分を算出し、この差分を用いて前記画像における主被写体領域を検出するようにしたので、特に、従来のように肌色等の特定色に基づく被写体領域の検出が困難な画像（シーン）であっても正確に且つ簡単な方法で被写体領域を検出することができる。

また、前記色ごとに導出された度数の大小に応じて、当該ブロックが背景の画像のブロックである的確性の大小を示す重み係数（背景度合ウェイト）を設定し、この背景度合ウェイトを用いて、背景部の輝度及び色差の平均値を演算するようにしたので、より簡単な方法で被写体領域を検出することができる。

また、ブロックの画像の色が肌色や赤色のときには、絶対被写体度合を高い値に設定するようにし、中央部に属する各ブロックの輝度及び色差と、背景部の平均輝度及び平均色差との差分に加えて、前記絶対被写体度合を被写体領域であるか否かの判断を行うためのパラメータとしたので、より正確に被写体領域を検出することができる。

また、総合被写体度合が所定値（本実施形態では「２」）を超える各ブロックの位置と前記総合被写体度合とを用いて、該総合被写体度合についての重心位置を算出し、この重心位置を主被写体が存在する位置として設定するようにしたので、簡単な方法で被写体の位置を検出することができる。

また、中央部に属する各ブロックの輝度及び色差と、背景部の輝度及び色差の平均値との差分に基づく相対被写体度合と前記絶対被写体度合とを要素とする総合被写体度合が、所定値（本実施形態では「２」）を超えるブロックで構成される領域を抽出し、抽出したブロックの位置と前記総合被写体度合を用いて、前記重心位置に対する各ブロックの相対距離についての標準偏差値を算出し、前記重心位置を基準として、Ｘ軸及びＹ軸の正負両方向にそれぞれ前記標準偏差分だけ広がる領域を被写体領域として設定するようにしたので、簡単な方法で被写体の位置を検出することができる。

そして、以上のように算出した重心位置を合焦対象位置として設定し、この重心位置における画像に合焦するよう焦点調節動作を行うようにしたので、正確な焦点調節動作を行うことができる。

また、前記のように算出した被写体領域に基づいて測光する領域を選定し、この領域の測光結果に基づき、シャッタースピード及び絞り値を設定するようにしたので、適切なシャッタースピード及び絞り値を設定することができる。

本件は、前記実施形態に加えて、あるいは前記実施形態に代えて次の形態［１］〜［３］に説明する変形形態も含むものである。

［１］前記実施形態では、中央部に属する各ブロックの輝度及び色差と、背景部の輝度及び色差の平均値との差分に基づく相対被写体度合と前記絶対被写体度合とを判断パラメータとする総合被写体度合が、所定値（本実施形態では「２」）を超えるブロックで構成される領域を抽出し、抽出したブロックの位置と前記総合被写体度合を用いて、前記重心位置に対する各ブロックの相対距離についての標準偏差値を算出し、前記重心位置を基準として、Ｘ軸及びＹ軸の正負両方向にそれぞれ前記標準偏差分だけ広がる領域を被写体領域として設定するようにしたが、これに限らず、単に、中央部に属する各ブロックの輝度及び色差と、背景部の平均輝度及び平均色差との差分に基づく相対被写体度合と前記絶対被写体度合とを判断パラメータとする総合被写体度合が、所定値（本実施形態では「２」）を超えるブロックで構成される領域を主被写体領域として設定するようにしてもよく、これによっても、簡単な方法で被写体領域を検出することができる。

［２］各ブロックの総合被写体度合のうちの最大値が所定値より小さい場合は、画像の中央部を主被写体が存在する位置として設定するようにすると、風景のように均一な被写体を撮影しているのに、主被写体が他の位置に存在すると誤検知されるのを防止することができる。

［３］前記第１の実施形態では、肌色、赤色、緑色及び空色（青空の色）と、輝度が相対的に極めて高い異常高輝度及び輝度が相対的に極めて低い異常低輝度との計６色を検知するために、肌色及び赤色のみを色検知の対象として被写体領域を検出・抽出する場合には、輝度Ｙを用いずに色差ＣｒＳ，ＣｂＳのみで度数、背景度合ウェイト、相対被写体度合、総合被写体度合を算出するようにしてもよく、また、異常高輝度及び異常低輝度のみを色検知の対象として被写体領域を検出・抽出する場合には、色差ＣｒＳ，ＣｂＳを用いずに輝度Ｙのみで度数、背景度合ウェイト、相対被写体度合、総合被写体度合を算出するようにしてもよい。

本発明に係る撮像装置の正面図である。 同じく撮像装置の背面図である。 撮像装置の電気的な構成を示すブロック構成図である。 制御部による一連の撮影処理を示すフローチャートである。 図４に示すフローチャートのステップ♯４の被写体領域検出処理のサブルーチンを示すフローチャートである。 （ａ）は、取得した画像を縦ｎ（個）×横ｍ（個）のブロックにマトリックス状に分割した状態を示す図であり、（ｂ）は、被写体部及び背景部を設定した状態を示す図である。 測光情報導出部によるステップ♯２４の色検知処理を示すフローチャートである。 同じく測光情報導出部によるステップ♯２４の色検知処理を示すフローチャートである。 測光情報導出部によるステップ♯２５の各色の背景度合ウェイト設定処理を示すフローチャートである。 測光情報導出部によるステップ♯２５の各色の背景度合ウェイト設定処理を示すフローチャートである。 背景部平均測光演算部によるステップ♯２６の背景部の平均輝度及び平均色差情報の算出処理を示すフローチャートである。 相対差分情報出力部によるステップ♯２７，♯２８の相対輝度差及び相対色差差の算出処理及び相対被写体度合の算出処理を示すフローチャートである。 図１３は、被写体領域抽出部２４によるステップ♯２９の総合被写体度合の算出処理を示すフローチャートである。 被写体領域抽出部によるステップ♯３０の被写体位置情報算出処理を示すフローチャートである。 被写体領域抽出部によるステップ♯３１の被写体領域情報算出処理を示すフローチャートである。 各ブロックに対して算出された総合被写体度合の分布の一例と、その総合被写体度合の分布に対して、前記式（２８），（２９）により算出された重心位置及び被写体領域を示す図である。 焦点調節処理部によるステップ♯５の焦点調節処理を示すフローチャートである。 露出制御値演算部によるステップ♯６の露出レベル演算処理を示すフローチャートである。 ＹＣｒＣｂ色空間における各色の領域を示す図である。 （ａ）は、絶対被写体度合の説明図であり、（ｂ）は、相対被写体度合の説明図である。

符号の説明

３ａ 絞り
３ｂ ズームレンズ光学系
３ｃ メカニカルシャッター
１０ 駆動部
１０ａ 絞り駆動部
１０ｂ レンズ駆動部
１０ｃ シャッター駆動部
１１ 撮像素子
２０ 制御部
２１ 測光情報導出部
２２ 背景部平均測光演算部
２３ 相対差分情報出力部
２４ 被写体領域抽出部
２５ 焦点調節処理部
２６ 露出制御値演算部
２７ 背景部平均輝度情報演算部
２８ 背景部平均色差情報演算部
２９ 相対輝度差分情報出力部
３０ 相対色差分情報出力部

Claims (15)

1. 被写体の光像を光電変換する撮像手段から画像情報を取得し、この画像情報に基づき主被写体が存在する領域を検出する被写体領域検出装置であって、
   画像を複数のブロックに分割し、各ブロックの画像に関連する所定のパラメータを含む測光情報を導出する測光情報導出手段と、
   前記画像を、該画像の中心を含む所定の領域を有する中央部とその周辺領域を有する背景部とに区分したとき、前記背景部に属する各ブロックについて前記測光情報導出手段により導出された測光情報の平均値を背景平均測光情報として導出する背景平均測光情報導出手段と、
   前記中央部に属するブロックの測光情報と、前記背景平均測光情報導出手段により導出された背景平均測光情報との差分を相対差分情報として導出する相対差分情報導出手段と、
   前記相対差分情報導出手段により導出された相対差分情報に基づき、前記画像における主被写体が存在する領域を検出する被写体領域検出手段と
   を備えることを特徴とする被写体領域検出装置。
2. 前記背景平均測光情報導出手段は、前記背景部に属する各ブロックについて前記測光情報導出手段により導出された輝度情報を平均した背景平均輝度情報を導出し、
   前記相対差分情報導出手段は、前記中央部に属する各ブロックの輝度情報と、前記背景平均測光情報導出手段により導出された前記背景平均輝度情報との差分を相対差分情報として導出することを特徴とする請求項１に記載の被写体領域検出装置。
3. 前記背景平均測光情報導出手段は、前記背景部に属する各ブロックについて前記測光情報導出手段により導出された色情報を平均した背景平均色情報を導出し、
   前記相対差分情報導出手段は、前記中央部に属する各ブロックの色情報と、前記背景平均測光情報導出手段により導出された前記背景平均色情報との差分を相対差分情報として導出することを特徴とする請求項１または２に記載の被写体領域検出装置。
4. 被写体の光像を光電変換する撮像手段から画像情報を取得し、この画像情報に基づき主被写体が存在する領域を検出する被写体領域検出装置であって、
   画像を複数のブロックに分割し、各ブロックの輝度情報及び色情報を含む測光情報を導出する測光情報導出手段と、
   前記画像を、該画像の中心を含む所定の領域を有する中央部とその周辺領域を有する背景部とに区分したとき、前記背景部に属するブロックについて前記測光情報導出手段により導出された輝度情報を平均した背景平均輝度情報を導出する背景平均輝度情報導出手段と、
   前記背景部に属するブロックについて前記測光情報導出手段により導出された色情報を平均した背景平均色情報を導出する背景平均色情報導出手段と、
   前記中央部に属する各ブロックの輝度情報と、前記背景平均輝度情報導出手段により導出された前記背景平均輝度情報との差分を相対輝度差分情報として導出する相対輝度差分情報導出手段と、
   前記中央部に属する各ブロックの色情報と、前記背景平均色情報導出手段により導出された前記背景平均色情報との差分を相対色差分情報として導出する相対色差分情報導出手段と、
   前記相対輝度差分情報導出手段により導出された相対輝度差分情報及び前記相対色差分情報導出手段により導出された相対色差分情報のうち少なくとも一方に基づき、前記画像における主被写体が存在する領域を検出する被写体領域検出手段と
   を備えることを特徴とする被写体領域検出装置。
5. 前記背景平均色情報導出手段は、前記背景部に属するブロックについて前記測光情報導出手段により導出された輝度情報及び色情報に基づいて求められるＣｒ，Ｃｂの色差情報を平均した背景平均色差情報を導出し、
   前記相対色差分情報導出手段は、前記背景平均色情報導出手段により導出された前記背景平均色差情報と、前記中央部に属する各ブロックの色差との相対色差分情報として導出することを特徴とする請求項４に記載の被写体領域検出装置。
6. 主被写体としての的確性を、所定のスケール値をもつ被写体度合で評価する場合において、前記被写体領域検出手段は、前記相対輝度差分情報導出手段により導出された相対輝度差分情報が示す差分、及び前記相対色差分情報導出手段により導出された相対色差分情報が示す差分の少なくとも一方が大きいほど、前記中央部に属する各ブロックの画像についてのスケール値を、主被写体としての的確性が高い値に設定することを特徴とする請求項４または５に記載の被写体領域検出装置。
7. 前記被写体領域検出手段は、前記中央部に属する各ブロックの色情報が所定の色域内に含まれるときには、前記被写体度合を相対的に高い値に設定することを特徴とする請求項６に記載の被写体領域検出装置。
8. 前記被写体領域検出手段は、前記被写体度合が所定値を超えるブロックの位置とその被写体度合とを用いて、該被写体度合についての重心位置を算出し、この重心位置を前記主被写体が存在する位置として設定することを特徴とする請求項６または７に記載の被写体領域検出装置。
9. 前記被写体領域検出手段は、前記被写体度合が所定値を超えるブロックの位置情報を用いて、前記重心位置に対する各ブロックの相対距離についての標準偏差値を算出し、この標準偏差値を、前記主被写体が存在する領域を示す情報として出力することを特徴とする請求項８に記載の被写体領域検出装置。
10. 前記被写体領域検出手段は、前記被写体度合が所定値を超えるブロックで構成される領域を、前記主被写体が存在する領域として判定することを特徴とする請求項６ないし８のいずれかに記載の被写体領域検出装置。
11. 前記被写体領域検出手段は、前記各ブロックの被写体度合の最大値が所定値より小さい場合は、前記中央部を主被写体が存在する位置として設定することを特徴とする請求項６ないし１０のいずれかに記載の被写体領域検出装置。
12. 被写体の光像を光電変換する撮像手段と、前記撮像手段の撮像面に被写体像を結像する撮像光学系とを備え、前記撮影光学系が、当該撮影光学系の焦点位置を前記撮像手段の撮像面上に合焦させるための焦点調節光学系を有する撮像装置であって、
    請求項１ないし１１のいずれかに記載の被写体領域検出装置と、
    前記被写体領域検出装置により検出された主被写体が存在する領域に基づいて、前記焦点調節光学系に合焦動作を行わせる焦点調節制御手段と
    を備えることを特徴とする撮像装置。
13. 被写体の光像を光電変換する撮像手段と、前記撮像手段の撮像面に被写体像を結像する撮像光学系とを備えた撮像装置であって、
    請求項１ないし１１のいずれかに記載の被写体領域検出装置と、
    前記撮像手段の撮像面への露光量を可変させるための露光量可変機構と、
    前記被写体領域検出装置により検出された主被写体が存在する領域に基づき、前記露光量可変機構を用いて前記撮像手段の撮像面への露光量を制御する露出制御手段と
    を備えることを特徴とする撮像装置。
14. 被写体の光像を光電変換する撮像手段から画像情報を取得し、この画像情報に基づき主被写体が存在する領域を検出するための被写体領域検出方法であって、
    測光情報導出手段が、画像を複数のブロックに分割し、各ブロックの輝度情報及び色情報を含む測光情報を導出する測光情報導出ステップと、
    背景平均輝度情報導出手段が、前記画像を、該画像の中心を含む所定の領域を有する中央部とその周辺領域を有する背景部とに区分したとき、前記背景部に属するブロックについて前記測光情報導出ステップで導出された輝度情報を平均した背景平均輝度情報を導出する背景平均輝度情報導出ステップと、
    背景平均色情報導出手段が、前記背景部に属するブロックについて前記測光情報導出ステップで導出された色情報を平均した背景平均色情報を導出する背景平均色情報導出ステップと、
    相対輝度差分情報導出手段が、前記中央部に属する各ブロックの輝度情報と、前記背景平均輝度情報導出ステップで導出された前記背景平均輝度情報との差分を相対輝度差分情報として導出する相対輝度差分情報導出ステップと、
    相対色差分情報導出手段が、前記中央部に属する各ブロックの色情報と、前記背景平均色情報導出ステップで導出された前記背景平均色情報との差分を相対色差分情報として導出する相対色差分情報導出ステップと、
    被写体領域検出手段が、前記相対輝度差分情報導出ステップで導出された相対輝度差分情報及び前記相対色差分情報導出ステップで導出された相対色差分情報のうち少なくとも一方に基づき、前記画像における主被写体が存在する領域を検出する被写体領域検出ステップと
    を備えることを特徴とする被写体領域検出方法。
15. 画像情報に基づき主被写体が存在する領域をコンピュータに検出させるためのプログラムであって、
    前記コンピュータを、
    画像を複数のブロックに分割し、各ブロックの輝度情報及び色情報を含む測光情報を導出する測光情報導出手段と、
    前記画像を、該画像の中心を含む所定の領域を有する中央部とその周辺領域を有する背景部とに区分したとき、前記背景部に属するブロックについて前記測光情報導出手段により導出された輝度情報を平均した背景平均輝度情報を導出する背景平均輝度情報導出手段と、
    前記背景部に属するブロックについて前記測光情報導出手段により導出された色情報を平均した背景平均色情報を導出する背景平均色情報導出手段と、
    前記中央部に属する各ブロックの輝度情報と、前記背景平均輝度情報導出手段により導出された前記背景平均輝度情報との差分を相対輝度差分情報として導出する相対輝度差分情報導出手段と、
    前記中央部に属する各ブロックの色情報と、前記背景平均色情報導出手段により導出された前記背景平均色情報との差分を相対色差分情報として導出する相対色差分情報導出手段と、
    前記相対輝度差分情報導出手段により導出された相対輝度差分情報及び前記相対色差分情報導出手段により導出された相対色差分情報のうち少なくとも一方に基づき、前記画像における主被写体が存在する領域を検出する被写体領域検出手段
    として機能させるためのプログラム。

Images