JP2005055744A - 撮像装置、およびプログラム - Google Patents

Abstract

【課題】 被写体の移動を精度良く検出する。
【解決手段】 ユーザによるシャッタボタン６１の押下操作に応答して、ＡＦ動作を開始し、ＣＣＤ１１により時間的に前後して第１と第２の画像をこの順序で取得しつつ、時間順次に複数の画像を取得する。第１の画像のうち合焦状態の評価に用いるよう決定されているＡＦエリアについて、所定の色空間中の領域に属する画素数をカウントするとともに、第２の画像に対して設定される複数の色評価エリア（ＡＦエリアに対応するエリアおよびその近傍の複数のエリア）について、所定の色空間中の領域に属する画素数をカウントする。そして、第１の画像についてカウントされた画素数と最も近似した画素数がカウントされた色評価エリアとＡＦエリアとのずれ量を被写体移動量として検出する。
【選択図】 図１

Description

本発明は、デジタルカメラ等の撮像装置に関する。

従来、デジタルカメラ等の撮像装置におけるオートフォーカス（自動合焦）技術として、画像のある領域に着目し、その領域からコントラスト等の評価値を求めることにより、被写体の合焦度合いを評価するものが知られている。この場合、撮影レンズを段階的に駆動して、評価値が最大になるレンズ位置を検出することにより、被写体像が合焦状態となるレンズ位置を特定してオートフォーカスを行うように構成される。このような技術では、被写体の合焦状態を正確に評価するために、撮影レンズの駆動に伴う変化度合いが比較的大きい評価値を用いることが望まれる。

また、オートフォーカスを行う場合、手ぶれや被写体ぶれ等によってオートフォーカスの動作中に被写体が画像平面内で移動する場合がある。このため従来は、時間的に連続する画像平面内を複数の領域に分割して、時間経過に伴う各領域の評価値の変化を検知することにより、被写体の移動を検出することも行われている（例えば、特許文献１）。このようなオートフォーカス用の評価値を用いた移動検出では、画像平面内における被写体の移動を正確に検出するために、被写体の移動を評価するための画像間に、被写体の移動以外の要因による画像変化は少ないことが望まれる。

このような技術に関する先行技術文献としては、以下のようなものがある。
特開２０００−１８８７１３号公報

しかし、上述した移動検出では、オートフォーカス用の評価値を用いて画像平面内における被写体の移動を検出するように構成されるため、被写体の移動を評価するための画像間に撮影レンズの駆動が行われることとなり、デフォーカス量の異なる画像で被写体の移動検出を行うことになる。このため、従来の移動検出では、被写体の移動以外の要因としてデフォーカス量の変化による大きな評価値変化が生ずることとなり、被写体の移動を誤検出する可能性が高いという問題がある。

そこで、本発明は上記課題に鑑みてなされたものであり、被写体の移動を精度良く検出することが可能な撮像装置を提供することを目的とする。

上記の課題を解決するために、請求項１の発明は、被写体に係る光学像に基づいて、時間的に前後して第１と第２の画像をこの順序で取得する撮像手段と、前記第１の画像に対して、第１の比較領域を設定する第１の領域設定手段と、前記第２の画像に対して、第２の比較領域を設定する第２の領域設定手段と、前記第１の比較領域における色情報と、前記複数の第２の比較領域における色情報とを比較することにより、被写体の移動を検出する第１の移動検出手段とを備えることを特徴とする。

なお、ここで、「被写体の移動の検出」とは、移動量と移動方向、あるいは移動後の位置など種々のパラメータによる検出の何れであっても良く、その形態にとらわれない。

また、請求項２の発明は、請求項１に記載の撮像装置であって、前記第１の移動検出手段によって検出された被写体の移動に基づいて、前記撮像手段によって取得される画像に対して合焦状態を評価するための合焦評価領域の位置を決定する合焦領域決定手段をさらに備えることを特徴とする。

また、請求項３の発明は、請求項２に記載の撮像装置であって、被写体の移動を検出する第２の移動検出手段と、前記第２の移動検出手段によって検出された被写体の移動に基づいて、前記撮像手段によって取得される画像に対して次に合焦評価領域として設定される候補領域を決定する候補領域決定手段と、前記第１の比較領域における色情報と、前記候補領域に対応する前記第２の画像上の領域における色情報との相違の度合いを算出する算出手段とをさらに備え、前記合焦領域決定手段が、前記相違の度合いが所定量以上の場合は、前記第１の移動検出手段によって検出された被写体の移動に基づいて、前記撮像手段によって取得される画像に対する合焦評価領域の位置を決定することを特徴とする。

また、請求項４の発明は、請求項１または請求項２に記載の撮像装置であって、被写体の移動を検出する第２の移動検出手段と、前記撮像手段によって取得される画像に係る色情報に基づいて、前記第１および第２の移動検出手段のうちいずれか一方によって被写体の移動を検出するように制御する制御手段とをさらに備えることを特徴とする。

また、請求項５の発明は、請求項１から請求項４のいずれかに記載の撮像装置であって、前記色情報が、肌の色に関する情報を含むことを特徴とする。

また、請求項６の発明は、請求項１から請求項５のいずれかに記載の撮像装置であって、各前記第２の比較領域が、前記第２の領域設定手段によって、前記第２の画像上の１つの領域を複数に分割した分割比較領域のうちの少なくとも２つ以上の分割比較領域を含み、かつ、前記複数の第２の比較領域のうちの少なくとも他の１つの第２の比較領域と部分的に重複するような領域として設定され、前記複数の分割比較領域における色情報に基づいて、各前記第２の比較領域における色情報を求めることを特徴とする。

また、請求項７の発明は、請求項１から請求項６のいずれかに記載の撮像装置であって、前記色情報が、二次元の色空間上における所定の色域に属する画素数、または、前記所定の色域に属する領域の大きさに関する情報であることを特徴とする。

また、請求項８の発明は、請求項１から請求項７のいずれかに記載の撮像装置であって、前記撮像手段によって取得される画像とともに前記被写体の位置を示す位置表示を表示する表示手段と、前記被写体の移動に基づいて、前記表示手段によって表示される画像上での前記位置表示の位置を変更する変更手段とをさらに備えることを特徴とする。

また、請求項９の発明は、請求項１から請求項８のいずれかに記載の撮像装置であって、前記色情報が、複数の色域に属する色に関する情報を含むことを特徴とする。

また、請求項１０の発明は、撮像装置に含まれるコンピュータによって実行されることにより、前記撮像装置を、請求項１から請求項９のいずれかに記載の撮像装置として機能させるプログラムである。

請求項１から請求項９に記載の発明によれば、時間的に前後して第１と第２の画像をこの順序で取得しつつ、第１の画像に設定される第１の比較領域における色情報と、第２の画像に対して設定される複数の第２の比較領域における色情報とを比較することにより、被写体の移動を検出するため、被写体の移動を精度良く検出することができる。

また、請求項２に記載の発明によれば、色情報の比較によって検出された被写体の移動に基づいて、画像に対して設定される合焦評価領域の位置を決定するため、被写体の移動に対応して合焦状態を保持することができる。

また、請求項３に記載の発明によれば、第２の移動検出手段によって検出された被写体の移動に基づいて、次に合焦評価領域として設定される候補領域を決定し、第１の画像に設定される第１の比較領域における色情報と、候補領域に対応する第２の画像上の領域における色情報との相違の度合いが、所定量以上の場合は、第１の移動量検出によって検出される被写体の移動に基づいて、合焦評価領域を決定するため、被写体の移動に応じた合焦制御の信頼性を向上させることができる。

また、請求項４に記載の発明によれば、被写体に係る画像の色情報に基づいて、２つの移動検出手段のうちのいずれか一方によって、被写体の移動を検出するように制御するため、被写体の状況に応じた被写体の移動の検出および合焦制御を実現することができる。

また、請求項５に記載の発明によれば、肌の色に関する情報に基づいて、被写体の移動を検出するため、肌の色の部分を多く有する人物が主な被写体の場合に、被写体の移動を精度良く検出することができる。

また、請求項６に記載の発明によれば、各第２の比較領域が、第２の画像上の１つの領域を複数に分割した分割比較領域のうちの少なくとも２つ以上の領域を含み、かつ、複数の第２の比較領域のうちの少なくとも他の１つの第２の比較領域と部分的に重複するように設定されるため、演算量を低減することができる。

また、請求項７に記載の発明によれば、二次元の色空間上の所定の色の領域に属する画素数、または、所定の色の領域に属する領域の大きさ係る情報に基づいて、被写体の移動を検出するため、煩雑な計算を抑制しつつ、検出される被写体移動量、および被写体の移動に応じた合焦制御の信頼性を向上させることができる。

また、請求項８に記載の発明によれば、検出される被写体の移動に基づいて、画像とともに表示される被写体の位置を示す表示の位置を変更するため、被写体に対する追尾の状況を操作者が把握することができる。

また、請求項９に記載の発明によれば、時間的に前後してこの順で取得される第１および第２の画像を用い、色空間上の複数の色の領域に係る色情報に基づいて、被写体の移動を検出するため、被写体の移動をより精度良く検出することができる。

また、請求項１０に記載の発明によれば、請求項１から請求項９に記載の発明と同様な効果を得ることができる。

以下、本発明の実施形態を図面に基づいて説明する。

＜１．第１実施形態＞
＜１−１．撮像装置の機能構成＞
図１は、本発明の第１実施形態に係る撮像装置（デジタルカメラ）１の主な機能構成を示すブロック図である。図１に示すように、撮像装置１は、主に、複数のレンズを備える撮影レンズ（以下、「レンズ群」とも称する）１０、撮影機能部２、操作部６０、およびカメラ制御部３０を備えて構成される。

図１において、操作部６０は、シャッタスタートボタン（以下、「シャッタボタン」と略する）６１とモード切替ボタン６２とを備えて構成される。シャッタボタン６１は、銀塩カメラで採用されているような半押し状態（以下、「状態Ｓ１」と称する）と押し込んだ状態（以下、「状態Ｓ２」と称する）とが検出可能な２段階スイッチになっている。また、モード切替ボタン６２は、人物を撮影するためのポートレートモードや動体を撮影するためのスポーツモードなどの各種撮影モードを切り替え設定するためのボタンである。

ＣＣＤ撮像素子（以下、「ＣＣＤ」と略する）１１は、２５６０×１９２０画素を有し、撮影レンズ１０により結像された被写体の光学像を、Ｒ（赤），Ｇ（緑），Ｂ（青）の色成分の画像信号（各画素で受光された画素信号の信号列からなる信号）に光電変換して出力する。ライブビュー撮影時などは、ＣＣＤ１１は、被写体に係る光学像に基づいて、時間的に前後して第１と第２の画像をこの順序で取得しつつ、複数の画像を時間順次に取得する手段として機能する。

タイミングジェネレータ（以下、「ＴＧ」と略する）５０は、ＣＣＤ１１の駆動を制御するための各種のタイミングパルスを生成するものである。

また、ＣＣＤ１１の駆動方式（読み出しモード）には、ドラフトモード、及び本撮影モードの２つのモードがある。

ドラフトモードは、記録用の画像を取得する撮影（以下、「本撮影」と称する）前に、プレビュー用となるライブビュー表示用の画像を生成するための読み出しモードであり、いわゆるライブビュー表示時に適用される。一般的にＣＣＤ１１からの信号読み出しは水平ライン毎に行われる。このため、ドラフトモードにおいては、水平方向２５６０画素、垂直方向１９２０画素を有するＣＣＤ１１から水平ライン毎の画素信号を読み出す際、８ライン中１ラインを読み出すようにＣＣＤ１１が駆動される。つまり、ドラフトモード時には、１９２０の水平ラインが１／８間引きされた状態で読み出されるのである。この結果、ドラフトモード時にＣＣＤ１１から出力される画像は、２５６０×２４０の画素で構成されることになる。

また、本撮影モードはフレーム全体、すなわち２５６０×１９２０の全画素を読み出し対象として画像信号を読み出すモードである。そしてＴＧ５０はこれらの読み出しモードのうち指定されるモードについてＣＣＤ１１の駆動タイミングを制御する。

ＣＣＤ１１における露出制御は、レンズ駆動ドライバ１１０による撮影レンズ１０の絞りと、ＣＣＤ１１の露光量、つまり、シャッタスピードに相当するＣＣＤ１１の電荷蓄積時間を調節して行われる。ここでは、被写体輝度が低輝度時に適切なシャッタスピードが設定できない場合は、ＣＣＤ１１から出力される画像信号（画像データ）のレベル調整を行うことにより露光不足による不適正露出が補正される。すなわち、低輝度時は、絞りとシャッタスピードとアナログフロントエンド（以下、「ＡＦＥ」と略する）１２のゲイン調整とを組み合わせて露出制御が行なわれることとなる。

ＴＧ５０は、カメラ制御部３０から送信される基準クロックに基づいてＣＣＤ１１の駆動制御信号を生成するものである。このＴＧ５０は、例えば、積分開始／終了（露出開始／終了）のタイミング信号、各画素の受光信号の読出制御信号（水平同期信号，垂直同期信号，転送信号等）等のクロック信号を生成し、ＣＣＤ１１に出力する。

ＡＦＥ１２は、ＣＣＤ１１から出力されるアナログ画像信号（アナログ画像データ）に対してアナログ信号処理を行うとともに、デジタル画像データに変換するものである。ＡＦＥ１２は、ＣＤＳ（相関二重サンプリング）回路、ＡＧＣ（オートゲインコントロール）回路、およびＡ／Ｄ変換器を備えて構成される。ＡＦＥ１２では、ＣＤＳ回路により画像信号のノイズ低減処理を行い、ＡＧＣ回路でゲインを調整することにより画像信号のレベル調整を行い、Ａ／Ｄ変換器で、アナログ画像信号の各画素信号を例えば１２ビットのデジタル信号に変換する。

ＷＢ（ホワイトバランス）回路１３は、Ｒ，Ｇ，Ｂの各色成分の画素データのレベル変換を行なうものである。このＷＢ回路１３は、カメラ制御部３０で記憶されるレベル変換テーブルを用いてＲ，Ｇ，Ｂの各色成分の画素データのレベルを変換する。なお、レベル変換テーブルの各色成分のパラメータ（特性の傾き）はカメラ制御部３０により、オートまたはマニュアルで、撮影画像毎に設定される。

画素補間部１６は、ＷＢ回路１３から送られる白黒(輝度のみで構成されるモノクロ情報)の画像データをＣＣＤ１１のカラーフィルター特性に基づいた補間処理を行ってカラー化するものである。

色変換・色補正回路（以下、「ＲＧＢ→ＹＣｂＣｒ変換回路」とも称する）１７は、画素補間部１６から入力されるＲＧＢ表色系の画像データを、ＹＣｂＣｒ表色系の画像データに変換するものである。なお、ＲＧＢ→ＹＣｂＣｒ変換回路１７では、画像データに対して、色再現性を向上させる色補正も適宜行われる。

ＶＲＡＭ１８は、ライブビュー撮影時に、ＣＣＤ１１で取得される画像データを、ＬＣＤ表示部（以下、「ＬＣＤ」と略する）２０に出力するために、一時的に記憶するためのものである。

ライブビュー撮影時には、ＶＲＡＭ１８からドライバ１９を介して、ＬＣＤ２０に画像データが送られることで、ライブビューがＬＣＤ２０に表示される。ここで、ドライバ１９は、ＬＣＤ２０に表示されるライブビュー画像上に、オートフォーカス（ＡＦ）制御の対象となる領域（以下、「ＡＦエリア」）が現在どの位置にあるのかを表示するポインタ（以下、「ＡＦエリアポインタ」と称する）を重畳させて表示させる。つまり、ＬＣＤ２０が、ＣＣＤ１１によって取得される画像とともに主な被写体（以下、「主被写体」と称する）の位置を示す位置表示（ＡＦエリアポインタ）を表示する手段として機能する。

よって、撮像装置１の撮影待機状態では、ＣＣＤ１１により１／３０（秒）毎に撮像された画像データ（画像）の各画素信号が、ＡＦＥ１２〜ＲＧＢ→ＹＣｂＣｒ変換回路１７により所定の信号処理を施された後、ＶＲＡＭ１８およびドライバ１９を介してＬＣＤ２０に表示される（ライブビュー表示）。これにより、ユーザはＣＣＤ１１で撮像される被写体像を視認することができる。

なお、図示を省略しているが、ライブビュー表示時には、例えば、ＶＲＡＭ１８の前後において、ＣＣＤ１１において垂直方向について１／８間引きされた２５６０×２４０個の画素を有する画像に対し、水平方向について１／８間引きを行い、３２０×２４０個の画素を有するライブビュー画像が生成され、ＬＣＤ２０の表示画素数（３２０×２４０個）に適合した画像サイズの画像データが生成される。

また、ＶＲＡＭ１８が、カメラ制御部３０に対してもＹＣｂＣｒ表色系の画像データを出力し、カメラ制御部３０において入力される画像データに基づき色情報が評価される。

オートフォーカス（ＡＦ）評価値算出部１４では、シャッタボタン６１が半押しされて状態Ｓ１になった場合に、コントラスト方式のＡＦを行うための評価値演算動作が行われる。

ＡＦ評価値算出部１４は、ＡＦＥ１２から入力される撮影画像データ（画像）に対してＡＦエリアを設定する。つまり、ＡＦ評価値算出部１４が、ＣＣＤ１１によって取得される画像（例えば、第２の画像）に対して、合焦状態を評価するためのＡＦエリア（合焦評価領域）を設定する手段として機能する。

そして、ＡＦ評価値算出部１４によって、設定されたＡＦエリアに相当するデータに関し、隣接する各画素に関する差分の絶対値の和である評価値（以下、「ＡＦ評価値」と称する）が演算される。そして、カメラ制御部３０による制御下で撮影レンズ１０を駆動し、このＡＦ評価値の最も高いレンズ位置が合焦位置とされる。これにより、ＡＦエリアに対して撮影レンズ１０を駆動し合焦を行うため、主被写体などを狙ってピントを合わせることができる。

撮像装置１では、状態Ｓ１となると、まずＡＦエリア内の主被写体に合焦する一般的なＡＦ動作（いわゆる「ワンショットＡＦ動作」）が行われ、シャッタボタン６１が全押しされて状態Ｓ２になるまで、主被写体に対する合焦状態を維持し続けるＡＦ動作（いわゆる「コンティニュアスＡＦ動作」）が行われる。

自動露光制御（ＡＥ）部１５では、ＡＦＥ１２から出力される画像データを例えば、３００ブロック（２０×１５）ブロックに分割し、各ブロックごとに測光データを算出する多分割測光を行うことができる。例えば、Ｇ色成分の画素値の平均値を被写体輝度として算出し、カメラ制御部３０に出力する。なお、カメラ制御部３０が、入力される被写体輝度値に基づいて、露出制御値（絞り値、シャッタスピード、ゲイン）を算出し、各部を制御することで、ＡＥを実現する。

ＤＲＡＭ３０ａは、ＣＣＤ１１で取得され、上記の画像処理が施された画像データ（静止画像）を一時的に記憶するためのメモリであり、ＤＲＡＭ３０ａは、少なくとも数フレーム分の記憶容量を有している。すなわち、ＤＲＡＭ３０ａは、ＣＣＤ１１の画素数に対応する２５６０×１９２０画素分の画素データ数フレーム分の記憶容量を少なくとも有し、各画素データが対応する画素位置に記憶されるようになっている。また、ＤＲＡＭ３０ａは、算出される各種数値を一時的に記憶することもできる。

カメラ制御部３０は、マイクロコンピュータ(ＣＰＵ)を備えて構成され、ＲＯＭ３０ｂに格納される各種プログラムなどを読み込むことにより、上述した撮像装置１の各部材の駆動を有機的に制御して、撮像装置１の動作を統括制御する。すなわち、ＲＯＭ３０ｂに格納される所定のプログラムをＣＰＵが読み込むことで、後述する被写体追尾ＡＦ動作などを実現することができる。

また、カメラ制御部３０は、レンズ駆動ドライバ１１０に制御信号を送信することで、撮影レンズ１０のレンズ位置や絞り径などを制御する機能を有する。そして、ライブビュー撮影時には、カメラ制御部３０によって、まず、ワンショットＡＦ動作を行うように制御され、その後、撮影レンズ１０を繰り出し側および繰り入れ側に移動させつつ、ＡＦエリア内の主被写体に対する合焦状態を維持し続けるようなコンティニュアスＡＦ動作を行うように制御される。ワンショットＡＦ動作、およびコンティニュアスＡＦ動作については、さらに後述する。

また、カメラ制御部３０は、コンティニュアスＡＦ動作時において、主被写体の移動に応じて、主被写体を追尾するように、時間順次に取得される画像データに対して設定されるＡＦエリアの位置を移動・変更させる動作（以下、「被写体追尾ＡＦ動作」と称する）を実現する各種機能（以下、「被写体追尾ＡＦ機能」と称する）を有する。

被写体追尾ＡＦ機能は、色域算出部３１、色域内画素数算出部３２、肌色画素数算出部３３、移動量検出部３４、およびＡＦエリア移動部３５などの機能を備えて構成される。

色域算出部３１は、ＡＦエリアに主に含まれる色の領域（所定の色域）を算出する。色域内画素数算出部３２は、ＡＦエリアおよびその近傍の所定エリア内について所定の色域に属するＣｂＣｒ値を示す画素数を算出する。肌色画素数算出部３３は、ＡＦエリアおよびその近傍の所定エリア内について肌色の領域に属するＣｂＣｒ値を示す画素数を算出する。移動量検出部３４は、時間順次に取得される画像における色の変化に基づいて被写体移動量を検出する。ＡＦエリア移動部３５は、移動量検出部３４によって検出された被写体移動量に基づいて、ＣＣＤ１１によって取得される画像データ（画像）に対するＡＦエリアの設定位置を移動・変更させる。

なお、ここでは、モード切り替えボタン６２によって、ポートレートモードに設定されている場合には、主被写体が人物であると考えられるため、肌色を追尾するような被写体追尾ＡＦ動作が行われる。一方、ポートレートモードに設定されていない場合には、主被写体の色が不明であるため、ＡＦエリアに主として含まれる色を認識して、その色を追尾するような被写体追尾ＡＦ動作が行われる。被写体追尾ＡＦ動作の詳細については、さらに後述する。

また、シャッタボタン６１が全押しされてＳ２状態となると、記録用の撮影画像を取得するための本撮影動作が行われる。つまり、ＣＣＤ１１により取得された画像の各画素信号が、ＡＦＥ１２〜ＲＧＢ→ＹＣｂＣｒ変換回路１７により所定の信号処理を施された後、カメラ制御部３０で、圧縮処理などが施されて、図示を省略するメモリカードに記録用の撮影画像が記憶される。

＜１−２．ワンショットＡＦ動作＞
図２は、ワンショットＡＦ動作において画像Ｇに対して設定されるＡＦエリアの位置を例示する図である。また、図２以降では、画像に対する水平方向と垂直方向の関係を明確にするために必要に応じてＸ、Ｙの２軸を付している。

図２に示すように、ワンショットＡＦ動作において、ＡＦ評価値算出部１４は、ＡＦＥ１２から１／３０秒毎に順次連続して入力される画像Ｇの中央付近に対して、ＡＦ評価値を算出するための対象となるエリア（ＡＦエリア）Ａｅを設定する。なお、図２および図２以降では、ＣＣＤ１１における全画素の位置との対応を分かり易くするために、ＣＣＤ１１において１／８間引きされた方向である垂直方向に画像を８倍拡大して示している。

ＡＦ評価値算出部１４は、ＡＦＥ１２から入力される２５６０×２４０個の画素を有する画像Ｇのうち、中央部付近のＡＦエリアＡｅに相当する画像データを取得する。そして、一般的なコントラスト方式のＡＦ動作において実施されるものと同様に、撮影レンズ１０を駆動させつつ、ＡＦエリアＡｅ内の画像データを複数取得する。そして、ＡＦ評価値算出部１４は、取得されたＡＦエリアＡｅ内の画像（画像データ）に基づいて撮影レンズ１０の合焦状態に関する評価値（ＡＦ評価値）を求める。なお、ワンショットＡＦ動作時におけるＡＦエリアＡｅの設定位置は、画像に対する中央部付近だけではなく、ユーザの設定によって、種々の位置に変更可能としても良い。

図３は、ワンショットＡＦ動作の動作フローを例示するフローチャートである。このワンショットＡＦ動作の動作フローはカメラ制御部３０によって制御される。まず、ライブビュー表示状態において、ユーザがシャッタボタン６１を半押しすることで状態Ｓ１となると、ワンショットＡＦ動作が開始して、ステップＳ１に進む。

ステップＳ１では、撮影レンズ１０を初期位置から微小駆動させて、駆動方向を決定し、ステップＳ２に進む。ここでは、撮影レンズ１０を初期位置から微小駆動させて、ＡＦエリアＡｅについて算出されるＡＦ評価値が増大する撮影レンズ１０の駆動方向をステップＳ２における駆動方向として決定する。

ステップＳ２では、ステップＳ１において決定した駆動方向について一般的な山登りＡＦ動作を行い、ステップＳ３に進む。ここでは、ステップＳ２において決定した駆動方向に所定のピッチで撮影レンズ１０を駆動させつつ、画像を取得して、ＡＦエリアＡｅ内の画像データに基づいてＡＦ評価値を算出し、ＡＦ評価値が減少し始めるまで撮影レンズ１０の駆動を続ける。つまり、ＡＦ評価値が減少し始めたら、撮影レンズ１０の駆動を停止する。

ステップＳ３では、撮影レンズ１０の合焦位置を算出して、ステップＳ４に進む。ここでは、ステップＳ２で算出されるＡＦ評価値の最大値Ｙｎとその前後のＡＦ評価値Ｙｎ−１，Ｙｎ＋１と、それらのＡＦ評価値Ｙｎ−１，Ｙｎ，Ｙｎ＋１に対応する撮影レンズ１０のレンズ位置とを用いて、２次補間近似計算（２次曲線近似による計算）によってＡＦ評価値が最大となる撮影レンズ１０のレンズ位置を合焦位置として算出する。

ステップＳ４では、ステップＳ３で算出された合焦位置まで撮影レンズ１０を駆動させ、そして、ワンショットＡＦ動作が終了する。

なお、本発明では、上記ワンショットＡＦ動作後も常時ＡＦ動作を継続するコンティニュアスＡＦ動作が引き続き行われる。

＜１−３．コンティニュアスＡＦ動作＞
図４は、コンティニュアスＡＦ動作の動作フローを例示するフローチャートである。なお、図４では、コンティニュアスＡＦ動作の動作フローのうち、撮影レンズ１０の駆動、撮像処理、及び次回の合焦位置の検出について示している。なお、ＣＣＤ１１からの画像信号の読出し、ＡＦ評価値の算出・取得等の処理は、各撮像処理の実施直後に順次行われる。また、このコンティニュアスＡＦ動作の動作フローはカメラ制御部３０によって制御される。

また、図５は、撮影レンズ１０の位置とＡＦ評価値との関係を示す曲線ＶＬを例示する図である。なお、図５では、前回検出された合焦位置をレンズ位置ＦＰで示し、次回検出される合焦位置をレンズ位置ＡＰで示す。

ここでは、Ｆは撮影レンズ１０のＦナンバー（絞り値）を示し、δはいわゆるＣＣＤ１１の許容錯乱円を示す。図５に示すように、コンティニュアスＡＦ動作では、前回検出された合焦位置ＦＰを中心として、４Ｆδピッチで前後に３点ずつ計７点の撮影レンズ位置（Ｐ１〜Ｐ７）において、画像を取得するとともに、ＡＦ評価値を算出して、７つのＡＦ評価値に基づいて次回のレンズ位置ＡＰを検出し、レンズ位置ＡＰに撮影レンズ１０を駆動する一連のＡＦ動作を繰り返し行う。

以下、図５を参照しつつ、図４に示すコンティニュアスＡＦ動作の動作フローについて説明する。なお、コンティニュアスＡＦ動作が行われる際には、上述したように、被写体の移動に追従してＡＦエリアＡｅの位置が移動・変更される。

ここでは、上記ワンショットＡＦ動作が終了すると、コンティニュアスＡＦ動作が開始して、ステップＳ１１に進む。

ステップＳ１１では、状態Ｓ２が割り込み可能に設定され、ステップＳ１２に進む。ここでは、コンティニュアスＡＦ動作の動作フロー中に、ユーザによってシャッタボタン６１が全押しされて、状態Ｓ２となった場合は、コンティニュアスＡＦ動作を中止して本撮影を行うように設定される。

ステップＳ１２では、図５に示すように、前回の合焦位置からレンズ繰り入れ側に１２Ｆδだけ離隔したレンズ位置Ｐ１に撮影レンズ１０を駆動させ、１個目の画像（第１フレーム）を取得すべく１回目の撮像処理を行い、ステップＳ１３に進む。

ステップＳ１３では、図５に示すように、４Ｆδピッチで撮影レンズ１０を繰り出し側に駆動させつつ、レンズ位置Ｐ２〜Ｐ７において、２個目〜７個目の画像（第２〜第７フレーム）を順次取得すべく２〜７回目の撮像処理を順次行い、ステップＳ１４に進む。

ステップＳ１４では、前回の合焦位置ＦＰ付近へ撮影レンズ１０を駆動させつつ、レンズ位置Ｐ８，Ｐ９において８、９個目の画像（第８、第９フレーム）を順次取得すべく８、９回目の撮像処理を順次行う。

ステップＳ１５では、第９フレーム取得時に次回の合焦位置ＡＰを検出し、ステップＳ１６に進む。ここでは、第１〜第７フレームについて算出されるＡＦ評価値について、２次補間近似計算を行い、ＡＦ評価値が最大となるレンズ位置ＡＰを次回の合焦位置として検出する。

ステップＳ１６では、ステップＳ１５で検出された次回の合焦位置ＡＰへ撮影レンズ１０を駆動させ、１０個目の画像（第１０フレーム）を取得すべく１０回目の撮像処理を行い、ステップＳ１２に戻る。

＜１−４．被写体追尾ＡＦ動作を含む撮影動作＞
カメラ制御部３０では、ワンショットＡＦ動作終了後、ＶＲＡＭ１８から時間的に連続して取得される画像についての色（ここでは、色差信号ＣｒＣｂのデータ）を評価することで、被写体移動量を検出する。

例えば、ここでは、ポートレートモードに設定されていない場合には、時間的に連続して画像を取得しつつ、ワンショットＡＦ動作を行ったときのＡＦエリア内の色情報に近似した色情報を有するエリアを検出して、その時点におけるＡＦエリアとのずれ量を検出することで、移動量検出部３４が被写体移動量を検出する。

また、ポートレートモードに設定されている場合には、人物が主被写体となると考えられるため、時間的に連続して画像を取得しつつ、先にＡＦエリアとすべき領域として設定された領域とその近傍のエリアとからなる複数の評価エリアのうち、前のフレームの画像上の上記設定エリアにおいて存在していた肌色の画素数（肌色画素数）と近似した肌色画素数を有する評価エリアを検出し、上記設定エリアとのずれ量を検出することで、移動量検出部３４が被写体移動量を検出する。

そして、移動量検出部３４によって検出された被写体移動量に基づいて、ＡＦエリア移動部３５により、画像に対して設けられるＡＦエリアの設定位置が移動・変更される。

＜１−４−１．評価エリアの設定＞
ここで、コンティニュアスＡＦ動作時において、時間的に連続して複数フレームの画像を取得する際に、その複数フレームのうちの時間的に連続する２つのフレームに着目して、被写体移動量を検出するための評価エリアの設定について説明する。

なお、ここでは、横方向への被写体移動量を検出するための評価エリアの設定方法と、縦方向への被写体移動量を検出するための評価エリアの設定方法とは同様となるため、以下では、横方向への被写体移動量を検出するための評価エリアの設定方法を例にとって説明する。

図６および図７は、横方向への被写体移動量を検出するために設定される色評価エリア（色情報を比較するための評価エリア）ＣＥ１〜ＣＥ７を例示する図である。

第１フレームの画像（第１の画像）Ｇ１と第２フレームの画像（第２の画像）Ｇ２とが時間的に連続して取得された場合、例えば、図２に示すように、第１の画像については、その時点においてＡＦエリアを設定すべき領域とされているエリア（以下、単に「ＡＦエリア」と呼ぶ）Ａｅを設定する。なお、ここで言う「ＡＦエリアを設定すべき領域」は、最初はワンショットＡＦ動作時のＡＦエリアＡｅであり、その後におけるＡＦエリアＡｅの決定方法については後述する。一方、第２の画像Ｇ２については、図６に示すように、例えば、第２の画像Ｇ２に対して７つの色評価エリア（第１〜第７の色評価エリア）ＣＥ１〜ＣＥ７が設定される。図６では、その時点において設定すべきＡＦエリアＡｅに対応する領域をＡＦエリアＡｅと示している。

ここで、色評価エリアＣＥ１〜ＣＥ７の設定位置について簡単に説明する。なお、色評価エリアＣＥ１〜ＣＥ７は、カメラ制御部３０によって、設定されるものとする。

例えば、図６に示すように、第２の画像Ｇ２に対して、同様の形状および面積を有する１０個の縦長の短冊状のエリア（以下、「縦長エリア」と称する）Ｖ１〜Ｖ１０を横方向に相互に隣接して並ぶように設定する。このとき、１０個の縦長エリアＶ１〜Ｖ１０のうちの中央の４つの縦長エリアＶ４〜Ｖ７からなるエリアがＡＦエリアＡｅと等しくなるように、設定される。

そして、図７（Ａ）〜（Ｇ）に示すように、第１の色評価エリアＣＥ１が縦長エリアＶ１〜Ｖ４からなるエリア、第２の色評価エリアＣＥ２が縦長エリアＶ２〜Ｖ５からなるエリア、第３の色評価エリアＣＥ３が縦長エリアＶ３〜Ｖ６からなるエリア、第４の色評価エリアＣＥ４が縦長エリアＶ４〜Ｖ７からなるエリア、第５の色評価エリアＣＥ５が縦長エリアＶ５〜Ｖ８からなるエリア、第６の色評価エリアＣＥ６が縦長エリアＶ６〜Ｖ９からなるエリア、第７の色評価エリアＣＥ７が縦長エリアＶ７〜Ｖ１０からなるエリアとなるように、７つの色評価エリアＣＥ１〜ＣＥ７が設定される。

つまり、第２の画像Ｇ２において、ＡＦエリアＡｅを第４の色評価エリアとし、ＡＦエリアＡｅと同等の形状および面積を有する第１〜第７の色評価エリアＣＥ１〜ＣＥ７が、各々縦長エリアを１つ分ずつずらしたような形で、配置される。

言い換えれば、第１〜第７の色評価エリアＣＥ１〜ＣＥ７は、ＡＦエリアＡｅを中心として、それぞれ−Ｘ方向に少しずつずれた位置に第１〜第３の色評価エリアＣＥ１〜ＣＥ３が配置され、それぞれ＋Ｘ方向に少しずつずれた位置に第５〜第７の色評価エリアＣＥ５〜ＣＥ７が配置される。

さらに、言い換えれば、ＡＦエリアＡｅと同等な第４の色評価エリアＣＥ４の近傍に、それぞれ最も近くの位置にずれて配置される色評価エリアと３つの縦長エリアを共有するように配置される７つの色評価エリアＣＥ１〜ＣＥ７が設定される。

よって、カメラ制御部３０が、第１の画像Ｇ１に対しては、第１の比較領域（ここでは、その時点において合焦状態の評価に用いるよう決定されている領域ＡＦエリアＡｅ）を設定し、第２の画像Ｇ２に対しては、複数の第２の比較領域（ここでは、決定されているＡＦエリアＡｅに対応するエリア及びその近傍の１以上の領域を含む複数の色評価エリア）を設定する手段として機能する。そして、例えば、カメラ制御部３０によって、各色評価エリアＣＥ１〜ＣＥ７が、第２の画像上の１つの領域を複数に分割した短冊状の縦長エリア（分割比較領域）Ｖ１〜Ｖ１０のうちの少なくとも２つ以上（ここでは、４つ）の縦長エリアを含み、かつ、複数の色評価エリアＣＥ１〜ＣＥ７のうちの少なくとも他の１つ（ここでは、他の３つ）の色評価エリアと部分的に重複するような領域として設定される。換言すれば、色評価エリアＣＥ１〜ＣＥ７は、部分的に重なりつつ空間的に順次にずれて設定された領域群となっている。

＜１−４−２．ポートレートモード以外における撮影動作フロー＞
図８は、ポートレートモードに設定されていない場合における被写体追尾ＡＦ動作フローを含む撮影動作フローを例示するフローチャートである。本動作フローは、カメラ制御部３０の制御下で実現される。なお、図８に示す動作フローでは、被写体追尾ＡＦ動作のうち、ＡＦエリアの移動について着目して示している。但し、実際には、ワンショットＡＦ終了後から状態Ｓ２となるまでの間、ＡＦエリアの移動のための動作フローと並行して、上述したコンティニュアスＡＦ動作が行われる。

ここでは、撮影待機状態において、ユーザによってシャッタボタン６１が半押しされることで、状態Ｓ１となると、撮影動作フローを開始し、ステップＳ２１に進む。

ステップＳ２１では、上述したワンショットＡＦ動作が行われ、ステップＳ２２に進む。なお、ワンショットＡＦ動作時には、例えば、上述したように、画像の中央付近に、ＡＦエリアＡｅが設定される。

ステップＳ２２では、ワンショットＡＦ動作時のＡＦエリアＡｅについて、全画素のＣｂ、Ｃｒ値の平均値Ｃｂ＿Ａｖｅ．，Ｃｒ＿Ａｖｅ．，および標準偏差Ｃｂ＿ｓｔｄ．，Ｃｒ＿ｓｔｄ．を算出し、ステップＳ２３に進む。

ステップＳ２３では、ステップＳ２２において算出されたＣｂ，Ｃｒの平均値および標準偏差に基づいて、ＡＦエリアＡｅに属するおおよその色、すなわちＡＦエリアＡｅ内の色を表す領域（以下、「色域」と称する）の閾値を下式（１）〜（４）にしたがって設定し、ステップＳ２４に進む。

ＴＨ１＝Ｃｂ＿Ａｖｅ．＋Ｃｂ＿ｓｔｄ．・・・（１）
ＴＨ２＝Ｃｂ＿Ａｖｅ．−Ｃｂ＿ｓｔｄ．・・・（２）
ＴＨ３＝Ｃｒ＿Ａｖｅ．＋Ｃｒ＿ｓｔｄ．・・・（３）
ＴＨ４＝Ｃｒ＿Ａｖｅ．−Ｃｒ＿ｓｔｄ．・・・（４）。

ここでは、ユーザがシャッタボタン６１を半押しして、ＡＦ動作が開始した時点において、ＡＦエリアＡｅ内にある主被写体のおおよその色を認識し、追尾する主被写体の色を表す領域（色域）の閾値を設定するのである。図９は、追尾する被写体の色域について説明する図である。図９は、横軸方向がＣｂ、縦軸方向がＣｒを示す２次元色空間を示しており、ハッチングを付した領域がＡＦエリアＡｅ内の色域を示す。

ステップＳ２４では、主被写体の色を追尾する被写体追尾ＡＦ動作（以下、「被写体色追尾ＡＦ動作」と称する）を開始し、ステップＳ２５に進む。

ステップＳ２５では、上述したように、その時点までにＡＦエリアとすべき領域とされているエリア（ＡＦエリア）Ａｅ（最初はワンショットＡＦ時のＡＦエリア）を中心として、縦および横方向に各々少しずつずらして、複数の色評価エリア（例えば、横方向については、色評価エリアＣＥ１〜ＣＥ７）を設定する。そして、それら設定される各色評価エリアについて、ＴＨ２＞Ｃｂ＞ＴＨ１，ＴＨ３＞Ｃｒ＞ＴＨ４の関係を満たす、すなわち図９にハッチングを付して示される所定の色域に属するＣｂＣｒ値を示す画素数ＥＣをカウントし、ステップＳ２６に進む。

ここでは、例えば、各色評価エリアＣＥ１〜ＣＥ７について、所定の色域に属するＣｂＣｒ値を示す画素数ＥＣをカウントする際に、まず、複数の縦長エリアＶ１〜Ｖ１０について、図９に示すような所定の色域に属するＣｂＣｒ値を示す画素数をカウントし、その後、各色評価エリアＣＥ１〜ＣＥ７に含まれる４つの縦長エリアに係る画素数を足し合わせることで、各色評価エリアＣＥ１〜ＣＥ７について、所定の色域に属するＣｂＣｒ値を示す画素数ＥＣをカウントする。

つまり、例えば、複数の縦長エリアＶ１〜Ｖ１０における色情報に基づいて、各色評価エリアにおける色情報を求める。このような構成とすることで、各色評価エリアにおける色情報を求める際に、相互に重なり合う部分について重複して画素数をカウントするような無駄を省くことができる。その結果、演算量を低減することができ、処理の高速化を図ることができる。

そして、ここでは、色情報が、Ｃｂ，Ｃｒで示される二次元の色空間上における所定の色域に属する画素数となっている。なお、この色情報は、Ｃｂ，Ｃｒで示される二次元の色空間上における所定の色域に属する画像の面積の割合、すなわちエリアの大きさに関する情報としても良い。このような構成とすることにより、二次元の色空間上の所定の色の領域に属する画素数、または、所定の色の領域に属するエリアの大きさ係る情報に基づいて、被写体移動量を検出することができる。そして、ＣｂＣｒの二次元色空間に係るデータを用いる方が、ＲＧＢの三次元色空間に係るデータを用いるよりも、色情報を算出するための演算量が少なくて済む。その結果、煩雑な計算を抑制しつつ、検出される被写体移動量、および被写体の移動に応じた合焦制御の信頼性を向上させることができる。

ステップＳ２６では、ステップＳ２５におけるカウント結果に基づいて、縦および横方向についてそれぞれ少しずつずらして設定された複数の色評価エリアのうち、各方向について画素数ＥＣが最大となるエリアを選択し、その選択されたエリアと、ＡＦエリアＡｅとのずれ量（シフト量）を各方向についての被写体移動量として検出し、ステップＳ２７に進む。

つまり、ここでは、色域内画素数算出部３２と移動量検出部３４とが協働して、第１の画像Ｇ１のＡＦエリアＡｅの位置における色情報（ここでは、主被写体の色を表す色域に係る情報）と、第２の画像Ｇ２上の複数の色評価エリア（例えば、色評価エリアＣＥ１〜ＣＥ７）における色情報とを比較することにより、被写体の移動（ここでは、被写体移動量）を検出する手段（「第１の移動検出手段」とも称する）として機能する。

ステップＳ２７では、所定のタイミングで、ステップＳ２６で検出される縦および横方向への被写体移動量に基づいて、画像に対するＡＦエリアの位置を移動・変更し、ステップＳ２８に進む。なお、ここで所定のタイミングとは、例えば、被写体移動量が検出された直後のタイミングなどであり、被写体移動量が検出された直後にＡＦ評価値算出部１４に読み込まれる画像データに対して、被写体移動量に基づいて移動させた位置にＡＦエリアＡｅが設定される。

よって、カメラ制御部３０が、第１の移動検出手段によって検出された被写体の移動に基づいて、ＣＣＤ１１によって取得される画像に対して合焦状態の評価をするためのＡＦエリアＡｅ（合焦評価領域）の位置を決定する手段として機能する。このようにして、ワンショットＡＦ動作後におけるＡＦエリアＡｅの決定が行われる。

ステップＳ２８では、ユーザによってシャッタボタン６１が全押しされて、状態Ｓ２となっているか否かを判別する。ここでは、状態Ｓ２となっていれば、ステップＳ２９に進み、状態Ｓ２となっていなければステップＳ２５に戻る。つまり、状態Ｓ２となるまで、順次、ライブビュー撮影によって画像を取得しつつ、ＡＦエリアを被写体の移動に応じて移動・変更させる被写体色追尾ＡＦ動作を行う。

ステップＳ２９では、記録用の画像を取得する本撮影動作を行い、撮影動作フローを終了する。

＜１−４−３．ポートレートモードにおける撮影動作フロー＞
ポートレートモードに設定されていない場合は、主被写体が人物に限られず、主被写体の色が特定されないため、被写体追尾ＡＦ動作を開始する時点において、ＡＦエリアＡｅに属する主被写体を示す色域を認識し、その色域に属するＣｂＣｒ値を示す主被写体の移動を追尾することによって、被写体追尾ＡＦ動作を実現した。

これに対して、ポートレートモードに設定されている場合には、主被写体が人物であると考えられるため、人物の顔などの肌色を追尾することで、被写体追尾ＡＦ動作を実現する。以下、ポートレートモードに設定されている場合における被写体追尾ＡＦ動作について説明する。

図１０は、追尾する肌色を示す色域の設定について説明する図である。図１０は、図９と同様に、横軸方向がＣｂ、縦軸方向がＣｒを示す２次元色空間を示しており、ハッチングを付した領域が肌色を示す色域（以下、「肌色域」と称する）を示す。図１０に示すように、肌色域は、おおよそ、ＴＨ５＞Ｃｂ＞ＴＨ７かつＴＨ１１＞Ｃｒ＞ＴＨ９の関係、またはＴＨ６＞Ｃｂ＞ＴＨ８かつＴＨ１２＞Ｃｒ＞ＴＨ１０の関係を満たす領域として近似することができる。

図１１および図１２は、ポートレートモードに設定されている場合における被写体追尾ＡＦ動作フローを含む撮影動作フローを例示するフローチャートである。本動作フローは、カメラ制御部３０の制御下で実現される。なお、図１１および図１２に示す動作フローでは、図８と同様に、被写体追尾ＡＦのうち、ＡＦエリアの移動について着目して示している。但し、ワンショットＡＦ終了後から状態Ｓ２となるまでの間、ＡＦエリアの移動のための動作フローと並行して、上述したコンティニュアスＡＦ動作が行われる。

ここでは、撮影待機状態において、ユーザによってシャッタボタン６１が半押しされることで、状態Ｓ１となると、撮影動作フローを開始し、ステップＳ３１に進む。

ステップＳ３１では、上述したワンショットＡＦ動作が行われ、ステップＳ３２に進む。なお、ワンショットＡＦ動作時には、上述したように、画像の中央付近に、ＡＦエリアＡｅが設定される。

ステップＳ３２では、ＡＦエリアＡｅ内の肌色を示す画素数（肌色画素数）Ｃ０をカウントし、ステップＳ３３に進む。ここでは、ＡＦエリアＡｅ内の画素のうち、図１０に示す肌色域に属するＣｂＣｒ値を示す画素数をカウントする。

ステップＳ３３では、ステップＳ３２でカウントされた肌色画素数Ｃ０が所定値以上であるか否か判別する。ここでは、例えば、ＡＦエリアＡｅ内の全画素のうちの２割にあたる画素数を所定値Ｈｃとした場合には、肌色画素数Ｃ０が所定値Ｈｃ以上である場合には、ステップＳ３４に進み、肌色画素数Ｃ０が所定値Ｈｃ未満である場合には、ステップＳ４０に進む。

ここで、肌色画素数Ｃ０が所定値以上であるか否かを判別するのは、ポートレートモードに設定されているため、主被写体は人物と考えられるが、例えば、人物が遠方に存在するために、ＡＦエリアＡｅのうち人物が占める面積が小さな場合には、人物を示す肌色を正確に追尾することができないこともあり得るため、肌色画素数Ｃ０の数によって、ＡＦ動作の内容を変更するためである。

まず、ステップＳ３３からステップＳ３４に進んだ場合について説明する。

ステップＳ３４では、肌色を追尾する被写体追尾ＡＦ動作（以下、「肌色追尾ＡＦ動作」と称する）を開始し、ステップＳ３５に進む。

ステップＳ３５では、肌色追尾ＡＦ動作の開始直後にカメラ制御部３０が取得する画像データについて、上述したように、ＡＦエリアＡｅを基準として、縦横方向に各々少しずつずらして、複数の色評価エリア（例えば、色評価エリアＣＥ１〜ＣＥ７）を設定する。そして、それら設定される各色評価エリアについて、ＴＨ５＞Ｃｂ＞ＴＨ７かつＴＨ１１＞Ｃｒ＞ＴＨ９の関係、またはＴＨ６＞Ｃｂ＞ＴＨ８かつＴＨ１２＞Ｃｒ＞ＴＨ１０の関係を満たす、すなわち図１０に示す色域に属するＣｂＣｒ値を示す肌色画素数をカウントし、ステップＳ３６に進む。

ステップＳ３６では、各色評価エリアの肌色画素数と、ステップＳ３２でカウントされた肌色画素数Ｃ０とを比較し、ステップＳ３７に進む。

ステップＳ３７では、縦および横方向についてそれぞれ、ステップＳ３２でカウントされた肌色画素数Ｃ０と最も近い肌色画素数を有する色評価エリアと、ＡＦエリアＡｅとのずれ量（シフト量）を各方向についての被写体移動量として検出し、ステップＳ３８に進む。

ステップＳ３８では、ステップＳ３７で検出された縦および横方向への被写体移動量に基づいて、次のＡＦエリアＡｅの位置を決定し、現フレームにおける次のＡＦエリアＡｅに対応するエリア内の肌色画素数Ｃｉをカウントし、ステップＳ３９に進む。

ステップＳ３９では、所定のタイミングで、ステップＳ３８で決定されたＡＦエリアＡｅの位置に、画像に対するＡＦエリアＡｅの位置を移動・変更し、図１２のステップＳ５１に進む。なお、ここで所定のタイミングとは、被写体移動量が検出された直後のタイミングなどであり、被写体移動量が検出された直後にＡＦ評価値算出部１４に読み込まれる画像データに対して、被写体移動量に基づいて移動させた位置にＡＦエリアＡｅが設定される。

ステップＳ５１では、ステップＳ３９、または、後述するステップＳ５５で移動・設定されたＡＦエリアＡｅを基準として、縦および横方向に各々少しずつずらして、画像に対して複数の色評価エリア（例えば、色評価エリアＣＥ１〜ＣＥ７）を設定する。そして、それら設定される各色評価エリアについて、ＴＨ５＞Ｃｂ＞ＴＨ７かつＴＨ１１＞Ｃｒ＞ＴＨ９の関係、またはＴＨ６＞Ｃｂ＞ＴＨ８かつＴＨ１２＞Ｃｒ＞ＴＨ１０の関係を満たす、すなわち図１０に示す色域に属するＣｂＣｒ値を示す肌色画素数をカウントし、ステップＳ５２に進む。

ステップＳ５２では、各色評価エリアの肌色画素数と、ステップＳ３８でカウントされた肌色画素数Ｃｉとを比較し、ステップＳ５３に進む。

ステップＳ５３では、縦および横方向についてそれぞれ、肌色画素数Ｃｉに最も近い肌色画素数を有する色評価エリアと、先に設定されているＡＦエリアＡｅとのずれ量（シフト量）を各方向についての被写体移動量として検出し、ステップＳ５４に進む。

ステップＳ５４では、ステップＳ５３で検出された縦および横方向への被写体移動量に基づいて、次のＡＦエリアＡｅの位置を決定し、現フレームにおける次のＡＦエリアＡｅに対応するエリア内の肌色画素数Ｃｉ＋１をカウントし、ステップＳ５５に進む。

ステップＳ５５では、所定のタイミングで、ステップＳ５４で決定された次のＡＦエリアＡｅの位置に、画像に対するＡＦエリアの位置を移動・変更し、ステップＳ５６に進む。なお、ここで所定のタイミングとは、ステップＳ３９と同様に、被写体移動量が検出された直後のタイミングなどであり、被写体移動量が検出された直後にＡＦ評価値算出部１４に読み込まれる画像データに対して、被写体移動量に基づいて移動させた位置にＡＦエリアＡｅが設定される。

ステップＳ５６では、ユーザによってシャッタボタン６１が全押しされて、状態Ｓ２となっているか否かを判別する。ここでは、状態Ｓ２となっていれば、ステップＳ５７に進み、状態Ｓ２となっていなければ、ステップＳ５８に進む。

ステップＳ５８では、次回のｉがｉ＋１となるように設定され、ステップＳ５１に戻る。ここで、次回のｉがｉ＋１となるようにすることで、例えば、１回目のステップＳ５１からステップＳ５６までの動作フローにおいては、Ｃｉ＝Ｃ１となり、２回目のステップＳ５１からステップＳ５６までの動作フローにおいては、Ｃｉ＝Ｃ２となる。そして、状態Ｓ２となるまで、順次、ライブビュー撮影によって画像を取得しつつ、ＡＦエリアを被写体の移動に応じて移動・変更させる被写体色追尾ＡＦ動作を行う。

ステップＳ５７では、記録用の撮影画像を取得する本撮影動作を行い、撮影動作フローを終了する。

次に、ステップＳ３３からステップＳ４０に進んだ場合について説明する。

ステップＳ４０では、肌色を追尾するＡＦ動作、すなわち、被写体追尾ＡＦ動作を禁止し（ＯＦＦ状態）、ステップＳ４１に進む。

ステップＳ４１では、ユーザによってシャッタボタン６１が全押しされて、状態Ｓ２となっているか否かを判別する。ここでは、状態Ｓ２となっていれば、ステップＳ４２に進み、状態Ｓ２となるまで、ステップＳ４１の判別を繰り返す。ここでは、被写体追尾ＡＦ動作が禁止されるため、ＡＦエリアを固定して、単なるコンティニュアスＡＦ動作が、状態Ｓ２となるまで行われる。

ステップＳ４２では、記録用の撮影画像を取得する本撮影動作を行い、撮影動作フローを終了する。

なお、上記説明において、ＡＦエリアＡｅ（ＡＦエリアとすべき領域とされているエリア）は、第１の画像において、実際に合焦状態の評価に用いられているエリア（実際のＡＦエリア）であることが理想であるが、上記コンティニュアスＡＦの処理におけるＡＦエリアの決定と画像の取得タイミングとにずれがあるため、実際上では、実際のＡＦエリアと多少位置が相違することがあるが、これを許容する。すなわち、ＡＦエリアとすべき（合焦評価に用いられるべき）であると決定されている位置の領域であれば良い。以下、ＡＦエリアＡｅと実際のＡＦエリアとの位置が相違する場合の一例について、図１３を参照しつつ、具体例を挙げて説明する。

図１３は、ＡＦエリアＡｅの位置と、実際のＡＦエリアＲ−Ａｅの位置との相違について説明するための図である。ここでは、順次複数の画像（フレーム１，フレーム２，・・・）を取得するものとしている。また、ここでは、ＡＦエリアＡｅは、次フレームとの色情報の比較を行うためのエリア、すなわち、最初はワンショットＡＦ動作時のＡＦエリアを示しており、その後は、前フレームとの色情報の比較により、主被写体の移動先と判定され合焦状態の評価に用いるように決定されている領域を示している。つまり、図１３では、各フレームに対する実際のＡＦエリアＲ−ＡｅとＡＦエリアＡｅとの位置関係、およびそれらのエリアの移動について示している。

なお、図１３では、説明を簡略化するために、右方向に主被写体が移動する例を示しており、各フレームにおける画像全体のエリアは示さず、各フレームに対応するＡＦエリアＡｅ、実際のＡＦエリアＲ−Ａｅ、および色評価エリアＣＥ１〜ＣＥ７の位置関係を示している。

例えば、まず、Ｓ１状態となり、ワンショットＡＦ動作が行われる時点においては、画像の中央に実際のＡＦエリアＲ−Ａｅが設けられ、この時点では、被写体追尾ＡＦ動作が開始されていないため、実際のＡＦエリアＲ−ＡｅとＡＦエリアＡｅの位置が一致する。そして、ここでは、ワンショットＡＦ動作終了時点において取得される画像をフレーム１としている。つまり、フレーム１の中央に実際のＡＦエリアＲ−Ａｅ、ＡＦエリアＡｅが設けられる。

被写体追尾ＡＦ動作を開始すると、フレーム２に対し、画像の中央に実際のＡＦエリアＲ−Ａｅが設けられ、その近傍に図６、図７で示したように色評価エリアＣＥ１〜ＣＥ７が設けられる。そして、フレーム１のＡＦエリアＡｅの色情報と、色評価エリアＣＥ１〜ＣＥ７の色情報とを比較することにより、色評価エリアＣＥ５の位置が次のＡＦエリアの位置（ＡＦエリアＡｅ）として決定される。

ここでは、ＡＦエリアの移動のための動作と並行して、上述したコンティニュアスＡＦ動作が行われるが、色情報の演算などに要する時間のため、次のＡＦエリアＡｅの位置を決定するタイミングにおいて、ＣＣＤ１１からの（例えば）フレーム３に係る画像データの読出し、フレーム３についての合焦評価値の算出が開始される。

そうすると、フレーム３に対しては、画像の中央に実際のＡＦエリアＲ−Ａｅが設けられたままとならざるを得ない。そして、フレーム２の色評価エリアＣＥ１〜ＣＥ７の色情報に基づいて決定される次のＡＦエリアＡｅの位置は、フレーム４についての合焦評価値の算出において反映される。

その一方で、ＡＦエリアＡｅは、順次、前フレームにおいて決定されたＡＦエリアＡｅと、次のフレームにおいてＡＦエリアＡｅを中心として設けられる色評価領域ＣＥ１〜ＣＥ７とにおける色情報を比較することにより、次のＡＦエリアＡｅの位置を決定していく。

その結果、このような場合には、図１３に示すように、フレーム１とフレーム２との色情報の比較の結果が、フレーム４において反映され、実際のＡＦエリアＲ−Ａｅが設定されるため、同一フレームに対する、ＡＦエリア（ＡＦエリアとすべき領域とされているエリア）Ａｅと、実際のＡＦエリアＲ−Ａｅとの位置が多少相違することとなる。

したがって、本実施形態で言う「合焦状態の評価に用いるよう決定されている領域」は、理想的には「実際にその時点で合焦状態の評価に用いられる領域」であり、さらに、ＡＦエリアＡｅを決定するタイミングと画像データの読出しのタイミングとの関係に応じて、「合焦状態の評価に用いられるべき領域として決定されている位置の領域」換言すれば「将来的に合焦状態の評価に用いられる領域」を含むものである。

＜１−４−４．ＡＦエリアおよびＡＦエリアポインタの移動・変更＞
ここで、ＡＦエリアＡｅおよびＬＣＤ２０に表示されるＡＦエリアポインタの移動・変更について、具体的に説明する。

図１４は、ＡＦエリアＡｅおよび主被写体の位置を示すＡＦエリアポインタＳＰの変更について例示する図である。図１４（ａ）では、例えば、ワンショットＡＦ動作直後の画像（第１フレーム）Ｆ１について示しており、図１４（ｂ）では、さらにＮフレーム後の画像ＦＮについて示している。なお、被写体位置を示すＡＦエリアポインタＳＰは、ＬＣＤ２０に表示されるライブビュー画像上における被写体の位置を示す表示であり、ＬＣＤ２０が、ライブビュー画像とともにＡＦエリアポインタＳＰを重畳表示する。また、図１４では、画像に対して設定されるＡＦエリアＡｅと、ＬＣＤ２０でのライブビュー画像上に表示されるＡＦエリアポインタＳＰとの位置関係を明確化するために、便宜上、ＡＦエリアＡｅとＡＦエリアポインタＳＰとを併せて示している。

上述したように、移動量検出部３４において検出された被写体移動量（縦及び横方向への被写体移動量）を示すデータが、ＡＦ評価値算出部１４に送信され、図１４に示すように、カメラ制御部３０の制御下で、ＡＦ評価値算出部１４が、移動量検出部３５で検出された被写体移動量に基づいて、ＡＦＥ１２から入力される画像に対して設定されるＡＦエリアの位置を移動させるとともに、ドライバ１９によって、ＬＣＤ２０上に表示されるＡＦエリアポインタＳＰの位置を移動・変更させる。

例えば、図１４（ａ）に示すように、ワンショットＡＦ動作直後に、ＡＦ評価値算出部１４に入力される画像Ｆ１に対してＡＦエリアＡｅが設定された後、検出された被写体移動量に応じて、ＡＦエリアＡｅの位置が変更され、図１４（ｂ）に示すように、被写体を追従するようにＡＦエリアＡｅが変更・移動される。その結果、被写体を追尾しながら、被写体に対して合焦させることができるため、被写体の移動に対応して撮影レンズ１０の合焦状態を保持することができる。

また、このとき、図１４（ａ）に示すように、ワンショットＡＦ動作直後に、ＬＣＤ２０に表示されるライブビュー画像に対してＡＦエリアポインタＳＰが重畳して表示された後、検出される被写体移動量に応じて、ＡＦエリアポインタＳＰの位置が変更され、図１４（ｂ）に示すように、被写体を追従するようにＡＦエリアポインタＳＰの位置が変更される。つまり、ドライバ１９が、検出される被写体移動量に基づいて、ＬＣＤ２０上に表示される画像上でのＡＦエリアポインタＳＰの位置を変更する手段として機能する。そして、その結果、操作者が、ライブビュー画像上のポインタＳＰを観察することによって、ＡＦエリアＡｅ等の被写体に対する追尾状況を把握することができる。

以上のように、第１実施形態に係る撮像装置１では、ユーザによるシャッタボタン６１の押下操作に応答して、ＡＦ動作を開始し、ライブビュー撮影をしつつ、時間的に前後して第１と第２の画像Ｇ１，Ｇ２をこの順序で取得しつつ、複数の画像を時間順次に取得する。そして、第１の画像Ｇ１のうちその時点においてＡＦエリアＡｅとして決定される領域における色情報と、第２の画像Ｇ２に対して設定される色評価エリア（ＡＦエリアに対応するエリアおよびその近傍のエリア）における色情報とを比較することにより、被写体の移動を検出する。そして、画像の色に係る情報は、コンティニュアスＡＦ動作における撮影レンズ１０の前後駆動に起因するデフォーカスによって、影響を受けにくい。その結果、被写体の移動を精度良く検出することができる。

ここで、コントラストが高い被写体を撮影する際には、時間順次に取得される複数の画像について、主被写体が存在する輝度パターンを追尾することによっても、被写体の移動を精度良く検出することができるが、例えば、一般的にコントラストが低い人物の顔などを主被写体とする場合には、輝度パターンの変化を検出することが難しく、被写体の移動を精度良く検出することが困難となり易いと考えられる。しかし、ここでは、主被写体の色を追尾することにより、被写体の移動を精度良く検出することができるため、輝度の高低に拘わらず、種々の撮影条件において、被写体の移動を精度良く検出することが可能となる。

そして、色情報の比較によって検出された被写体の移動に基づいて、画像に対して設定される合焦状態を評価するための対象領域（ＡＦエリア）の位置を決定し、移動させる。その結果、被写体の移動に対応して合焦状態を保持することができる。

＜第２実施形態＞
上述した第１実施形態に係る撮像装置１では、主被写体の色を追尾し、被写体移動量を検出することで、被写体追尾ＡＦ動作を実現したが、第２実施形態に係る撮像装置１Ａでは、主被写体の輝度パターンを追尾しつつ、併せて、主被写体の色の追尾も行うことで、被写体追尾ＡＦ動作の精度向上を図っている。

図１５は、第２実施形態に係る撮像装置１Ａの主な機能構成を示すブロック図である。図１５に示す撮像装置１Ａの主な機能構成は、図１に示す撮像装置１の主な機能構成と同様な部分が多いため、以下では、異なる部分について主に説明し、同様な部分については、同じ符合を付して説明を省略する。

図１５に示すように、カメラ制御部３０の機能には、被写体の輝度パターンを追尾することで被写体追尾ＡＦ動作を実現するための機能が付加されている。具体的には、カメラ制御部３０には、被写体の輝度を評価する輝度評価値を算出する輝度評価値算出部３６が機能の一つとして加えられ、移動量検出部３４Ａが、輝度評価値と肌色画素数とに基づいて、被写体移動量を検出する。

以下、第２実施形態に係る撮像装置１Ａにおける被写体追尾ＡＦ動作フローを含む撮影動作フローを説明する。

図１６は、第２実施形態に係る被写体追尾ＡＦ動作フローを含む撮影動作フローを例示するフローチャートである。本動作フローは、カメラ制御部３０の制御下で実現される。なお、図１６で示す動作フローでは、被写体追尾ＡＦ動作のうち、ＡＦエリアの移動について着目して示しており、ワンショットＡＦ終了後から状態Ｓ２となるまでの間、ＡＦエリアの移動のための動作フローと並行して、上述したコンティニュアスＡＦ動作が行われる。

ここでは、撮影待機状態において、ユーザによってシャッタボタン６１が半押しされることで、状態Ｓ１となると、撮影動作フローを開始し、ステップＳ６１に進む。

ステップＳ６１では、第１実施形態で説明したものと同様なワンショットＡＦ動作が行われ、ステップＳ６２に進む。なお、ワンショットＡＦ動作時には、上述したように、画像の中央付近に、ＡＦエリアＡｅが設定される。

ステップＳ６２では、ＡＦエリアＡｅ内の肌色を示す画素数（肌色画素数）Ｃ１をカウントし、ステップＳ６３に進む。ここでは、ＡＦエリアＡｅ内の画素のうち、図１０に示す肌色域に属するＣｂＣｒ値を示す画素数をカウントする。

ステップＳ６３では、被写体追尾ＡＦ動作を開始し、ステップＳ６４に進む。

ステップＳ６４では、輝度情報による被写体移動量の検出が行われ、ステップＳ６５に進む。ここでは、例えば、ＡＦエリアＡｅの位置を基準として、上述したように、各色評価エリア（例えば、色評価エリアＣＥ１〜ＣＥ７）を設ける。そして、輝度評価値算出部３６が、各色評価エリアについて、それぞれ輝度値の平均値などの輝度を評価するための輝度評価値を算出し、移動量検出部３４Ａが、前のフレームの画像（例えば、第１の画像）のＡＦエリアＡｅにおける輝度評価値と、最も近い輝度評価値（輝度パターン）を有する現フレームの画像（例えば、第２の画像）における色評価エリアを検出し、そのずれ量（シフト量）を被写体移動量として検出する。つまり、ここでは、輝度評価値算出部３６と移動量検出部３４Ａとが協働して、被写体の移動（ここでは、被写体移動量）を検出する手段（「第２の移動検出手段」とも称する）として機能する。

ステップＳ６５では、ステップＳ６４で検出される被写体移動量に基づいて、次のフレームに対して設定されるＡＦエリアの移動先、すなわち、ＡＦエリアの候補となるエリア（候補エリア）を決定し、現フレームについて、その候補エリアの位置に相当するエリア内の肌色画素数ＨＣｎ（ｎは自然数）をカウントし、ステップＳ６６に進む。つまり、カメラ制御部３０が、第２の移動検出手段によって検出された被写体移動量に基づいて、ＣＣＤ１１によって取得される画像に対して次にＡＦエリアとして設定される候補エリアを決定する手段として機能する。そして、ステップＳ６５では、ＴＨ５＞Ｃｂ＞ＴＨ７かつＴＨ１１＞Ｃｒ＞ＴＨ９の関係、またはＴＨ６＞Ｃｂ＞ＴＨ８かつＴＨ１２＞Ｃｒ＞ＴＨ１０の関係を満たす、すなわち図１０に示す肌色域に属する肌色画素数ＨＣｎをカウントする。

ステップＳ６６では、ステップＳ６２でカウントされた肌色画素数Ｃ１または後述するステップＳ６８でカウントされた肌色画素数Ｃｉ＋１（ｉは自然数）と、ステップＳ６５でカウントされた肌色画素数ＨＣｎとの比（すなわち、ＨＣｎ／Ｃｉ）が所定値（例えば、０．８）以下であるか否か判別する。ここでは、ＨＣｎ／Ｃｉ≦０．８の関係が成立する場合は、ステップＳ６７に進み、ＨＣｎ／Ｃｉ＞０．８の関係が成立する場合は、ステップＳ６８に進む。つまり、カメラ制御部３０が、第１の画像Ｇ１のＡＦエリアＡｅにおける色情報と、候補エリアに対応する第２の画像Ｇ２上のエリアにおける色情報との相違の度合いを算出する手段として機能する。

ステップＳ６７では、ステップＳ６２または後述するステップＳ６８で肌色画素数がカウントされたフレームの次のフレームについて、上述したように、ＡＦエリアＡｅを基準として、縦および横方向に各々少しずつずらして設定される各色評価エリア（例えば、色評価エリアＣＥ１〜ＣＥ７）で、ＴＨ５＞Ｃｂ＞ＴＨ７かつＴＨ１１＞Ｃｒ＞ＴＨ９の関係、またはＴＨ６＞Ｃｂ＞ＴＨ８かつＴＨ１２＞Ｃｒ＞ＴＨ１０の関係を満たす、すなわち図１０に示す色域に属する肌色画素数をカウントする。

そして、移動量検出部３４Ａが、縦および横方向について、ステップＳ６２でカウントされた肌色画素数Ｃ１、または、後述するステップＳ６８でカウントされた肌色画素数Ｃｉ＋１と最も近い肌色画素数を有する色評価エリアと、ＡＦエリアＡｅとのずれ量（シフト量）を、各方向への被写体移動量として検出し、ステップＳ６８に進む。

ステップＳ６８では、ステップＳ６４またはステップＳ６７で検出された縦および横方向への被写体移動量に基づいて、次のＡＦエリアＡｅの位置を決定し、現フレームにおける次のＡＦエリアＡｅに対応するエリア内の肌色画素数Ｃｉ＋１をカウントし、ステップＳ６９に進む。

ここでは、ステップＳ６６からステップＳ６８に進んできた場合には、輝度情報による被写体移動量の検出が、肌色を有する主被写体の移動を良く反映したものと考えられる。そのため、ステップＳ６８では、ステップＳ６４で輝度情報を用いて検出された被写体移動量に基づいて、次のＡＦエリアＡｅの位置を決定する。一方、ステップＳ６７からステップＳ６８に進んできた場合には、肌色を有する主被写体の移動を追尾するために、ステップＳ６７において肌色画素数を用いて検出される被写体移動量に基づいて、次のＡＦエリアＡｅの位置を決定する。

ステップＳ６９では、所定のタイミングで、ステップＳ６８で決定されたＡＦエリアＡｅの位置に、画像に対するＡＦエリアＡｅの位置を移動・変更し、ステップＳ７０に進む。なお、ここで所定のタイミングとは、被写体移動量が検出された直後のタイミングなどであり、被写体移動量が検出された直後にＡＦ評価値算出部１４に読み込まれる画像データに対して、被写体移動量に基づいて移動させた位置にＡＦエリアＡｅが設定される。

つまり、ＡＦエリア移動部３５が、第１の画像Ｇ１のうちその時点において合焦状態の評価に用いるよう決定されているＡＦエリアＡｅ（第１の比較領域）における色情報と、候補エリアに対応する第２の画像Ｇ２上のエリアにおける色情報との相違の度合いが所定量以上の場合は、色情報（ここでは、肌色画素数）に基づいて被写体移動量を検出する手段によって検出された被写体移動量に基づいて、ＣＣＤ１１によって取得される画像に対するＡＦエリアの位置を決定し、移動させる。

別の観点から言えば、カメラ制御部３０が、ＣＣＤ１１によって取得される画像に係る色情報（ここでは、肌色に係る情報、すなわち肌色画素数）に基づいて、色情報（ここでは、肌色画素数）によって被写体移動量を検出する手段（第１の移動検出手段）、および輝度情報によって被写体移動量を検出する手段（第２の移動検出手段）のうち、いずれか一方の手段によって、被写体移動量の検出を行うように制御する手段として機能する。

ステップＳ７０では、ユーザによってシャッタボタン６１が全押しされて、状態Ｓ２となっているか否かを判別する。ここでは、状態Ｓ２となっていれば、ステップＳ７１に進み、状態Ｓ２となっていなければ、ステップＳ７２に進む。

ステップＳ７２では、次回のｉがｉ＋１となり、次回のｎがｎ＋１となるように設定され、ステップＳ６４に戻る。ここでは、次回のｉ，ｎをそれぞれｉ＋１，ｎ＋１となるようにすることで、例えば、１回目のステップＳ６４からステップＳ７０までの動作フローにおいては、Ｃｉ＝Ｃ１，ＨＣｎ＝ＨＣ１となり、２回目のステップＳ６４からステップＳ７０までの動作フローにおいては、Ｃｉ＝Ｃ２，ＨＣｎ＝ＨＣ２となる。そして、状態Ｓ２となるまで、順次、ライブビュー撮影によって画像を取得しつつ、ＡＦエリアを被写体の移動に応じて移動・変更させる被写体色追尾ＡＦ動作を行う。

ステップＳ７１では、記録用の撮影画像を取得する本撮影動作を行い、撮影動作フローを終了する。

なお、この実施形態においても、第１の画像におけるＡＦエリアＡｅは、第１実施形態同様、ＡＦに実際に用いられるエリアとは多少位置が異なっていることがあり得るが、そのような構成をも含むものである。

以上のように、輝度情報に基づいて被写体移動量を検出する手段（第２の移動検出手段）によって検出された移動量に基づいて、次回のＡＦエリアとして設定される候補のエリア（候補領域）を決定する。そして、前のフレームの画像（第１の画像）のうちその時点において合焦状態の評価に用いるよう決定されているＡＦエリアＡｅにおける色情報と、候補領域に対応する第２の画像上の領域における色情報との相違の度合いが、所定量以上の場合には、肌色情報に基づいて被写体の移動を検出する手段（第１の移動検出手段）によって検出される被写体の移動に基づいて、ＡＦエリアＡｅを決定し、移動させる。その結果、検出される被写体の移動の信頼性、ひいては、被写体の移動に応じた合焦制御の信頼性を向上させることができる。

また、撮影画像中に肌色を有する人物が数多く存在する場合などには、肌色のみを追尾していたのでは、他の肌色の存在によって、主被写体の移動を正確に検出することが困難となる。そのような場合には、輝度情報に基づいて被写体の移動を検出することで、精度良く被写体の移動を検出することができる。その一方で、被写体の輝度が低い場合や被写体の輝度に変化（コントラスト）がない場合などには、輝度パターンを追尾していたのでは、主被写体の移動を正確に検出することが困難となる。よって、そのような場合には、肌色情報に基づいて被写体の移動を検出することで、精度良く被写体の移動を検出することができる。

つまり、輝度情報と肌色情報の両方で相互に長所と短所を補完しつつ、被写体の移動を検出することで、検出される被写体の移動の信頼性を向上させることができる。その結果、精度良く、信頼性の高い被写体追尾ＡＦ動作を実現することができる。言い換えれば、被写体に係る画像について肌色画素数などの色情報に基づいて、２つの移動検出手段のうちのいずれか一方によって、被写体の移動を検出するように制御するため、被写体の状況に応じた被写体の移動の検出および合焦制御を実現することができる。

さらに、ここでは、肌の色に関する情報に基づいて、被写体の移動を検出するため、肌色の部分を多く有する人物が主な被写体の場合に、被写体の移動を精度良く検出することができる。

＜変形例＞
以上、この発明の実施形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。

◎例えば、上述した実施形態では、例えば、人物が主被写体の場合など、肌色を多く有する主被写体を追尾する場合に、肌色を表す色域に属する画素数、すなわち肌色に係る情報に基づいて、被写体の移動を検出したが、これに限られるものではなく、例えば、顔などの肌色と、髪の毛の黒色などの、２以上の複数の色域に属する色に関する情報に基づいて、被写体の移動を検出したり、被写体の移動の検出手段を変更するようにしても良い。このような構成とすることで、１つの色を追尾するよりも、複数の色を追尾する方が被写体の移動をより正確かつ精度良く検出することができる。

◎また、上述した第２実施形態では、被写体の移動を検出する方式のうち、色情報を比較する方式以外のものとして、輝度の変化を検出する方式について説明したが、これに限られるものではなく、例えば、従来技術で示したコントラストの変化を検出する方式やパッシブ位相差方式などの公知の種々の方式などであっても良い。

◎また、上述した実施形態では、ＡＦエリアを移動させる毎に、前フレームのＡＦエリアに相当するエリアにおける肌色画素数と、現フレームの色評価エリアにおける肌色画素数とを比較することによって、被写体の移動を検出したが、これに限られるものではなく、例えば、ワンショットＡＦ動作直後に、ＡＦエリアについて検出される肌色画素数と、順次取得されるフレームの色評価エリアにおける肌色画素数とを比較することによって、被写体の移動を検出しても良い。

第１実施形態に係る撮像装置の主な機能構成を示すブロック図である。 ワンショットＡＦ動作におけるＡＦエリアを例示する図である。 ワンショットＡＦ動作の動作フローを例示するフローチャートである。 コンティニュアスＡＦ動作の動作フローを例示するフローチャートである。 撮影レンズの位置とＡＦ評価値との関係を例示する図である。 色情報を比較するための複数の色評価エリアを例示する図である。 色情報を比較するための複数の色評価エリアを例示する図である。 ポートレートモードに設定されていない場合における被写体追尾ＡＦ動作フローを含む撮影動作フローを例示するフローチャートである。 追尾する被写体の色領域の設定について説明する図である。 追尾する肌色領域の設定について説明する図である。 ポートレートモードに設定されている場合における被写体追尾ＡＦ動作フローを含む撮影動作フローを例示するフローチャートである。 ポートレートモードに設定されている場合における被写体追尾ＡＦ動作フローを含む撮影動作フローを例示するフローチャートである。 ＡＦエリアとすべきエリアと実際のＡＦエリアとの相違を説明する図である。 ＡＦエリア及びＡＦエリアポインタの変更例を示す図である。 第２実施形態に係る撮像装置の主な機能構成を示すブロック図である。 第２実施形態に係る被写体追尾ＡＦ動作フローを含む撮影動作フローを例示するフローチャートである。

符号の説明

１，１Ａ 撮像装置
１０ 撮影レンズ
１１ ＣＣＤ撮像素子
１９ ドライバ
２０ ＬＣＤ
３０ カメラ制御部
３１ 色域算出部
３２ 色域内画素数算出部
３３ 肌色画素数算出部
３４，３４Ａ 移動量検出部
３５ ＡＦエリア移動部
３６ 輝度評価値算出部
Ａｅ ＡＦエリア
ＣＥ１〜ＣＥ７ 色評価エリア
Ｖ１〜Ｖ１０ 縦長エリア

Claims (10)

1. 被写体に係る光学像に基づいて、時間的に前後して第１と第２の画像をこの順序で取得する撮像手段と、
   前記第１の画像に対して、第１の比較領域を設定する第１の領域設定手段と、
   前記第２の画像に対して、第２の比較領域を設定する第２の領域設定手段と、
   前記第１の比較領域における色情報と、前記複数の第２の比較領域における色情報とを比較することにより、被写体の移動を検出する第１の移動検出手段と、
   を備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記第１の移動検出手段によって検出された被写体の移動に基づいて、前記撮像手段によって取得される画像に対して合焦状態を評価するための合焦評価領域の位置を決定する合焦領域決定手段、
   をさらに備えることを特徴とする撮像装置。
3. 請求項２に記載の撮像装置であって、
   被写体の移動を検出する第２の移動検出手段と、
   前記第２の移動検出手段によって検出された被写体の移動に基づいて、前記撮像手段によって取得される画像に対して次に合焦評価領域として設定される候補領域を決定する候補領域決定手段と、
   前記第１の比較領域における色情報と、前記候補領域に対応する前記第２の画像上の領域における色情報との相違の度合いを算出する算出手段と、
   をさらに備え、
   前記合焦領域決定手段が、
   前記相違の度合いが所定量以上の場合は、前記第１の移動検出手段によって検出された被写体の移動に基づいて、前記撮像手段によって取得される画像に対する合焦評価領域の位置を決定することを特徴とする撮像装置。
4. 請求項１または請求項２に記載の撮像装置であって、
   被写体の移動を検出する第２の移動検出手段と、
   前記撮像手段によって取得される画像に係る色情報に基づいて、前記第１および第２の移動検出手段のうちいずれか一方によって被写体の移動を検出するように制御する制御手段と、
   をさらに備えることを特徴とする撮像装置。
5. 請求項１から請求項４のいずれかに記載の撮像装置であって、
   前記色情報が、
   肌の色に関する情報を含むことを特徴とする撮像装置。
6. 請求項１から請求項５のいずれかに記載の撮像装置であって、
   各前記第２の比較領域が、
   前記第２の領域設定手段によって、前記第２の画像上の１つの領域を複数に分割した分割比較領域のうちの少なくとも２つ以上の分割比較領域を含み、かつ、前記複数の第２の比較領域のうちの少なくとも他の１つの第２の比較領域と部分的に重複するような領域として設定され、
   前記複数の分割比較領域における色情報に基づいて、各前記第２の比較領域における色情報を求めることを特徴とする撮像装置。
7. 請求項１から請求項６のいずれかに記載の撮像装置であって、
   前記色情報が、
   二次元の色空間上における所定の色域に属する画素数、または、前記所定の色域に属する領域の大きさに関する情報であることを特徴とする撮像装置。
8. 請求項１から請求項７のいずれかに記載の撮像装置であって、
   前記撮像手段によって取得される画像とともに前記被写体の位置を示す位置表示を表示する表示手段と、
   前記被写体の移動に基づいて、前記表示手段によって表示される画像上での前記位置表示の位置を変更する変更手段と、
   をさらに備えることを特徴とする撮像装置。
9. 請求項１から請求項８のいずれかに記載の撮像装置であって、
   前記色情報が、
   複数の色域に属する色に関する情報を含むことを特徴とする撮像装置。
10. 撮像装置に含まれるコンピュータによって実行されることにより、前記撮像装置を、請求項１から請求項９のいずれかに記載の撮像装置として機能させるプログラム。
    

Images