JP2017120279A

JP2017120279A - 撮像装置およびその制御方法

Info

Publication number: JP2017120279A
Application number: JP2015255719A
Authority: JP
Inventors: 智成阿部; Tomonari Abe
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-12-28
Filing date: 2015-12-28
Publication date: 2017-07-06
Anticipated expiration: 2035-12-28
Also published as: JP6552408B2

Abstract

【課題】オートフォーカス制御にて焦点位置の決定にかかる時間を短縮しつつ、被写体追尾制御による高速な連続撮影を実現すること。【解決手段】撮像装置は撮像素子１０７の駆動回路１２４を備える。撮像素子駆動回路１２４は制御部１２１から撮影開始命令を受けて撮像素子１０７に蓄積した光を信号として読出す（静止画読出し２０２）。制御部１２１は読出された信号から被写体を検出し、オートフォーカス制御の評価値を取得するために撮像素子１０７の信号を読出す位置を決定する。撮像素子駆動回路１２４はＡＦ蓄積２０４およびＡＦ読出し２０５を行い、制御部１２１は読出された信号から評価値を取得してフォーカスレンズの駆動量を算出し、焦点調節の制御を行う。静止画読出し２０２の途中で被写体検出２０３が開始し、ＡＦ読出し２０５では、被写体検出結果から決定された読出し位置に基づいて撮像素子１０７から信号が読出される。【選択図】図２

Description

本発明は、連続合焦撮影の制御に関するものである。

撮像装置では、撮像素子からＡＦ（オートフォーカス）評価値の取得に必要な画像信号の読出しを行って焦点検出を行う。その際、静止画像信号等の通常の読出し速度よりも速く読出すことで高速な焦点検出を行う技術がある。

特許文献１では、有効画素領域のうち特定の領域の画素信号のみを撮像素子から読出し、ＡＦ評価値を取得する技術が開示されている。また特許文献２では、予め区分された静止画像の読出し領域のうち特定の区分領域を他の区分領域よりも先に読出し、ＡＦ評価値を取得する技術が開示されている。

特開２０１２−５８４６４号公報特開２０１１−１６６５１５号公報

特許文献１に開示の従来技術では、有効画素領域全体の信号を読出して被写体を検知し、ＡＦ評価値の取得のための読出し領域を決めている。有効画素領域全体から信号を読出す際には、被写体像に対応しない部分の信号も読出される。このため、無駄な読出し時間を費やしてしまい、ＡＦ評価値の取得までに時間がかかる可能性がある。また、特許文献２に開示の従来技術では、静止画像信号の読出しと並行して、ＡＦ評価値の取得のための信号が読出される。ＡＦ評価値を取得するための読出し領域は、予め区分された静止画像信号の読出し領域内の特定の一部領域である。この一部領域から信号を読出す場合、被写体に動きがあると、設定した領域に被写体が写らなくなる可能性が高まる。よって被写体の検出精度や追尾性能が低下する可能性がある。

本発明の目的は、オートフォーカス制御にて焦点位置の決定にかかる時間を短縮しつつ、被写体追尾制御による高速な連続撮影を実現することである。

本発明の一実施形態に係る装置は、連続撮影にてオートフォーカス制御および被写体の追尾制御を行う撮像装置であって、撮像された画像に係る第１の画像信号を撮像素子から読出す第１の読出し手段と、前記オートフォーカス制御の評価値の算出に用いる第２の画像信号を前記撮像素子から読出す第２の読出し手段と、前記第１の画像信号を用いて被写体を検出する被写体検出手段と、前記被写体検出手段により取得された被写体の検出情報から前記第２の画像信号を読出す位置を決定し、前記第２の読出し手段により読出された前記第２の画像信号から前記評価値を取得して焦点調節の制御を行う制御手段と、を備える。前記制御手段は、連続撮影の時間間隔から前記被写体検出手段による検出の開始時点を算出し、前記第１の読出し手段が前記撮像素子から前記第１の画像信号を読出している途中に、前記被写体検出手段は前記開始時点で被写体の検出を開始して、読出された前記第１の画像信号を用いて被写体検出を行い、前記第２の読出し手段は、前記制御手段により決定された前記位置から前記第２の画像信号を読出す。

本発明によれば、オートフォーカス制御にて焦点位置の決定にかかる時間を短縮しつつ、被写体追尾制御による高速な連続撮影を実現できる。

本発明の実施形態に係る撮像装置の全体構成を示す概略図である。第１実施形態による撮像処理の動作タイミングチャートである。第１実施形態による撮像処理の動作を示すフローチャートである。第２実施形態による撮像処理の動作タイミングチャートである。第２実施形態による撮像処理の動作を示すフローチャートである。第３実施形態による撮像処理の動作を示すフローチャートである。第３実施形態による撮像処理の動作タイミングチャートと読出しモードの説明図である。第４実施形態による撮像処理の動作を示すフローチャートである。第５実施形態による撮像処理の動作を示すフローチャートである。第６実施形態による撮像処理の動作を示すフローチャートである。第６および第７実施形態による顔検出開始時間の算出処理を示すフローチャートである。第６実施形態による撮像処理の主顔予測の説明図である。第６実施形態による撮像処理の顔検出の開始位置に関する説明図である。第６実施形態による撮像処理のセンサの読出し方向の説明図である。第６実施形態による撮像処理の顔検出方法の一例を示す説明図である。第７実施形態による撮像処理の動作を示すフローチャートである。第７実施形態によるＡＦ読出し領域の決定処理を示すフローチャートである。第７実施形態による撮像処理の主顔予測の説明図である。

以下、本発明の各実施形態について添付図面を参照して詳細に説明する。
［第１実施形態］
図１を参照して、本発明の第１実施形態に係る撮像装置の構成について説明する。図１は撮像装置１００の全体構成を示す図である。撮像装置１００として、デジタルカメラを例示し、被写体側を前側と定義して各部を説明する。

第１レンズ群１０１は、撮像光学系の先端部に配置されており、光軸方向に沿って進退可能に保持されている。絞り兼用シャッタ１０２は、その開口径を調節することで撮影時の光量調節を行うほか、静止画撮影時には露光秒時調節用シャッタとしても機能する。第２レンズ群１０３は、絞り兼用シャッタ１０２と一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動によって変倍動作（ズーム機能）が行われる。第３レンズ群１０５は光軸方向に進退して焦点調節を行うフォーカスレンズである。光学的ローパスフィルタ１０６は、撮影画像の偽色やモアレを軽減するための光学素子である。撮像素子１０７は、２次元ＣＭＯＳ（相補型金属酸化膜半導体）フォトセンサと周辺回路を有し、撮像光学系の結像面に配置される。

ズームアクチュエータ１１１は、図示しないカム筒が回動されることで、第１レンズ群１０１乃至第３レンズ群１０５を光軸方向に移動させて変倍動作を行う駆動部である。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節するとともに、静止画撮影時の露光時間制御を行う。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に移動させて焦点調節を行う駆動部である。

撮影時に用いられる照明部（被写体照明用電子フラッシュ）１１５は、キセノン管を用いた閃光照明装置、または連続発光するＬＥＤを備えた照明装置である。電子フラッシュ制御回路１２２は、撮影動作に同期して照明部１１５を点灯制御する。

オートフォーカス（以下、ＡＦと記す）補助光源部１１６は、所定の開口パターンを有するマスクの像を、投光レンズを介して被写体に投影する。これにより、暗い被写体や低コントラストの被写体に対する焦点検出能力を向上させることができる。補助光源駆動回路１２３は、焦点検出動作に同期してＡＦ補助光源部１１６を点灯制御する。

制御部１２１は、撮像装置１００における種々の制御を司る中枢部である。制御部１２１は、図示しないＣＰＵ（中央演算処理装置）、Ａ（アナログ）／Ｄ（デジタル）コンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有する。撮像素子駆動回路１２４は、撮像素子１０７の撮像動作を制御するとともに、撮像素子１０７から取得した画像信号をＡ／Ｄ変換して制御部１２１に出力する。画像処理回路１２５は、撮像素子１０７が取得した画像データを用いた被写体検出処理や、当該画像データに対するγ変換、カラー補間、ＪＰＥＧ（Joint Photographic Experts Group）圧縮等の処理を行う。

フォーカス駆動回路１２６は、制御部１２１による焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御する。フォーカスアクチュエータ１１４により第３レンズ群１０５が光軸方向に移動して焦点調節が行われる。絞りシャッタ駆動回路１２８は、制御部１２１の制御指令にしたがって絞りシャッタアクチュエータ１１２を駆動制御し、絞り兼用シャッタ１０２の開口を制御する。ズーム駆動回路１２９は、撮影者によるズーム操作に応じた制御部１２１の制御指令にしたがって、ズームアクチュエータ１１１を駆動する。

表示装置１３１は、例えばＬＣＤ（液晶表示装置）等の表示デバイスを備える。表示装置１３１は、撮像装置１００の撮影モードに関する情報、撮影前のプレビュー画像、撮影後の確認用画像、焦点検出時の合焦状態の表示画像等を表示する。操作部１３２は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等を含む。レリーズスイッチは、押し込み量に応じて第１スイッチ（ＳＷ１）および第２スイッチ（ＳＷ２）が順にオン状態となる２段階のスイッチである。レリーズスイッチを約半分押し込んだときにＳＷ１がオンし、レリーズスイッチを最後まで押し込んだときにＳＷ２がオンする。

記録媒体１３３は、カメラ本体部に着脱可能なフラッシュメモリ等であり、撮影により取得した画像ファイルを記録する。メモリ１３４はＲＡＭ（ランダム・アクセス・メモリ）、ＲＯＭ（リード・オンリ・メモリ）等であり、所定のプログラムを記憶し、画像処理中の画像データや画像処理に必要なパラメータデータ等を保持する。制御部１２１は、メモリ１３４を構成するＲＯＭに記憶された所定のプログラムに基づいて、撮像装置１００の各種回路を駆動し、ＡＦ制御、撮像処理、画像処理、記録処理等の一連の動作を実行する。

次に図２および図３を参照して、撮像装置１００にて行われる被写体追尾制御による高速な連続撮影について説明する。この連続撮影は、被写体に追従するＡＦ制御による連続撮影であり、以下、追従ＡＦ連続撮影という。図２は、本実施形態における追従ＡＦ連続撮影の動作のタイミングを示すタイミングチャートである。図３は、本実施形態における追従ＡＦ連続撮影の際の動作を説明するフローチャートである。操作部１３２に含まれる撮影モード選択スイッチのユーザ操作により、撮像装置１００の撮影モードが追従ＡＦ連続撮影モードとなっていることを前提とする。撮影モードのときに、操作部１３２に含まれるレリーズスイッチがオン操作されることで撮影動作が開始し、Ｓ３０１へ移行する。

Ｓ３０１では、静止画撮影のために撮像素子１０７への露光が開始し、電荷が蓄積される。露光時間は絞りシャッタアクチュエータ１１２の駆動制御により決定される。このとき、撮像素子駆動回路１２４は、撮像素子１０７の有効画素領域全体を含む領域の画像信号を読出す駆動モードで撮像素子１０７を制御する。処理のタイミングは図２の静止画蓄積２０１で示すように、撮影開始後である。

Ｓ３０２で撮像素子駆動回路１２４は、撮像素子１０７に蓄積された電荷から得られた画像信号をＡ／Ｄ変換して、制御部１２１に出力する処理を開始する。Ｓ３０１において設定した駆動モードに従って、有効画素領域全体を含む領域の画像信号が読出される。処理のタイミングは図２の静止画読出し２０２で示すように、静止画蓄積２０１の処理の完了後である。

Ｓ３０３では、撮像素子１０７に蓄積された電荷から得られた画像信号がＡ／Ｄ変換されて、１画素ごとに、または複数の画素単位で次々と制御部１２１に出力される。図２の静止画読出し２０２が行われて、ある時点から被写体検出処理が開始する。被写体検出処理の開始タイミングは、ＡＦ処理可能な領域までの読出しが完了するタイミングとなるように決定される。仮にＡＦ処理可能でない領域で被写体像を検出して、その周辺においてＡＦ評価値を演算しても、結局はＡＦ処理を行えない。つまり、ＡＦ処理可能な領域まで読出しが完了した時点で、読出した画像信号に基づいて被写体検出を行えば、必要なＡＦ評価値の演算が可能である。よって、ＡＦ処理可能な領域までの画像信号の読出しが完了する時点を、被写体検出処理の開始時点とする。ＡＦ処理可能な領域は撮影モードやレンズの種類により変わるため、制御部１２１は条件に応じて被写体検出処理の開始時点を変更する。または連続撮影の速度設定値に基づいて被写体検出処理の開始時点を決定してもよい。速度設定値が大きい場合、撮影と次の撮影との撮影間の処理時間をより短くする必要がある。そこで、被写体検出処理の開始時点を早める制御を行うことで、連続する撮影の間の処理時間を短縮できる。その場合、読出しが完了している画像信号の数は少なくなるため、被写体検出精度は低下するが、連続撮影の速度をより大きくすることが可能となる。

Ｓ３０４で被写体検出処理（図２：２０３参照）が開始する。被写体検出処理は、制御部１２１が取得した画像信号に基づいて画像処理回路１２５が実行する。後述するが、ＡＦ処理に必要な検出結果の情報は被写体の位置情報である。またＡＦ処理の開始時点には制約があり、ＡＦ処理の開始時点までに被写体検出処理が終了していることが必要である。例えば多数の被写体を撮影する場合を想定する。この場合にＡＦ処理が開始するまでに被写体検出処理が間に合わずに終了していないことが起こりうる。その場合には、連続撮影における前回の撮影で取得されている被写体検出処理結果の位置情報が代用される。または、予め設定されているデフォルト位置情報がＡＦ処理で使用される。被写体検出処理２０３の開始タイミングは、静止画読出し２０２の途中である。被写体検出処理の終了タイミングは、ＡＦ処理可能な領域まで画像信号の読出しが完了する時点、または設定中の追従ＡＦ連続撮影の速度を保証できる時点である。

Ｓ３０５では、残りの静止画の画像信号の読出し処理と被写体検出処理とが並行して実行される。ＡＦ処理の開始タイミングは、連続撮影の速度によって決まる次の撮影開始時点に対して、以下の処理が完了するように決定される。
・ＡＦ評価値の算出用の画像信号（以下、ＡＦ用画像信号という）を読出す領域の算出処理。
・ＡＦ用画像信号の読出しのための蓄積処理（図２：ＡＦ蓄積２０４）。
・ＡＦ用画像信号の読出し処理（図２：ＡＦ読出し２０５）。
・ＡＦ評価値の算出処理と焦点調節用レンズの駆動量の算出処理（図２：駆動量算出２０６）。
・焦点調節用レンズの駆動処理（図２：レンズ駆動２０７）。
本明細書中にてＡＦ用画像信号を読出す領域をＡＦ読出し領域という。

Ｓ３０６では、被写体検出の検出信号からＡＦ読出し領域が算出される。前提として、ＡＦ用画像信号の読出しは、撮像素子駆動回路１２４において静止画像信号の読出しとは別の駆動で制御し、撮像素子１０７の有効画素領域の画像信号を部分的に読出すことによって行われるものとする。このとき、被写体検出結果である被写体の位置情報を用いて、被写体位置を中心として、有効画素領域に対して画像信号を部分的に読出す位置を決定する処理が行われる。処理のタイミングとしては図２のＡＦ蓄積２０４に含めているが、前述の通りに定めたＡＦ処理の開始時点で実行される。

Ｓ３０７では、ＡＦ評価値の算出のために撮像素子１０７へ露光が開始し、電荷が蓄積される。露光時間は絞りシャッタアクチュエータ１１２の駆動制御により設定される。静止画の場合とは異なり、撮像素子駆動回路１２４は、撮像素子１０７の有効画素領域の一部の領域から画像信号を読出す駆動方式（以下、部分読出し方式という）で撮像素子１０７を制御する。処理のタイミングは、ＡＦ読出し領域の算出処理後である。

Ｓ３０８で撮像素子駆動回路１２４は、撮像素子１０７に蓄積された電荷から得られた画像信号をＡ／Ｄ変換して、制御部１２１に出力する処理を開始する。Ｓ３０７において設定した駆動方式に従って有効画素領域の一部の領域から画像信号が読出される。処理のタイミングは、図２のＡＦ読出し２０５で示すように、ＡＦ蓄積２０４の完了後である。

Ｓ３０９で制御部１２１は、取得した画像信号に基づいてＡＦ評価値の算出処理を実行して、次の撮影で被写体に焦点を合わせるためのレンズの駆動量を算出する。処理のタイミングは、図２の駆動量算出２０６で示すように、ＡＦ読出し２０５の完了後である。Ｓ３１０では、制御部１２１が算出したレンズの駆動量にしたがって、フォーカス駆動回路１２６、または絞りシャッタ駆動回路１２８、あるいは両者の駆動制御が行われる。フォーカスアクチュエータ１１４の駆動により、被写体に対応する合焦位置まで焦点調節用レンズが移動する。

Ｓ３１１で制御部１２１は、操作部１３２に含まれるレリーズスイッチ（第２スイッチＳＷ２）がオンかオフかを判断する。ＳＷ２がオンである場合、Ｓ３０１に戻り、Ｓ３１０での合焦位置で連続撮影を続行する。ＳＷ２がオフである場合、連続撮影を停止して撮影終了となる。図２に示すレンズ駆動２０７の後にＳ３１１でのＳＷ２のオン・オフの判断処理が行われる。ＳＷ２がオンである場合、次の撮影が開始される。静止画蓄積２０８、静止画読出し２０９の処理が実行されて撮像処理を続行する。

本実施形態では、静止画像信号の読出し途中で被写体検出処理が開始する。これにより被写体検出処理と静止画読出し処理との並行処理が実行されるので、連続する撮影間の処理時間をより短くすることができる。加えて、ＡＦ読出し領域は、被写体位置に基づいた撮像素子の有効画素領域の一部領域に設定され、部分読出し方式の駆動モードが設定される。これにより、被写体検出および追尾の精度を保ったままで、画像信号の読出しにかかる時間をより短縮できる。

本実施形態によれば、被写体検出や追尾の精度を保ちつつ、連続する撮影間の処理時間とオートフォーカス制御用の画像信号の読出し時間を短縮することができる。よって次の撮影の焦点位置の決定までにかかる時間を抑制しつつ、被写体に追従する連続撮影の速度（連写速度）をより大きくすることができる。

［第２実施形態］
図４と図５を参照して、本発明の第２実施形態に係る撮像装置によって行われる追従ＡＦ連続撮影について説明する。図４は、本実施形態における追従ＡＦ連続撮影の動作のタイミングを示すタイミングチャートである。各処理４０１、４０２は図２の処理２０１、２０２に相当し、各処理４０５から４１０は、図２の処理２０４から２０９にそれぞれ相当する。図５は、本実施形態における追従ＡＦ連続撮影の動作を示すフローチャートである。本実施形態は、被写体検出処理の内容が第１実施形態と相違する。第１実施形態の場合と同様の構成については既に使用した符号を用いることで、それらの詳細な説明を省略し、主に相違点を説明する。このような説明の省略については後述の実施形態でも同じである。

図４と図２との相違点は、被写体検出において、モノ検出処理４０３と顔検出処理４０４が行われる点である。モノ検出処理４０３は、被写体の内容（人物、物体等）や個数等を判別しないので、顔検出処理４０４よりも精度の低い第１の検出処理である。入力される画像信号に基づいて色情報からモノ検出処理が実行される。検出精度のパラメータを調節することで、ＡＦ処理の開始時点までに、主被写体の位置とサイズの情報を検出結果として出力可能である。つまり、第１の検出処理は検出速度を優先する検出処理である。

顔検出処理４０４は、被写体が人物である場合に被写体の顔を検出する精度の高い第２の検出処理である。例えば、検出結果として被写体の顔であるか否かを判断し、被写体の個数や、それぞれの位置とサイズ、重要度の順位等の情報を取得可能である。被写体の顔やその他の物体の個数が多い場合の撮影では、検出処理が高負荷となるので、検出結果を出力するまでの時間は、モノ検出処理４０３よりも長くかかる。図４に示す顔検出処理４０４ａ，４０４ｂは検出精度を優先する検出処理である。

図５において、Ｓ５０１とＳ５０２の処理は、図３のＳ３０１、Ｓ３０２と同じ処理であり、Ｓ５０９からＳ５１３の処理は、図３のＳ３０７からＳ３１１と同じ処理である。よって、相違点であるＳ５０３からＳ５０８の処理を説明する。

Ｓ５０３では、撮像素子１０７に蓄積された電荷から得られた画像信号がＡ／Ｄ変換されて制御部１２１に出力されており、Ｓ５０４においてＳ３０４と同様に、被写体検出が開始する。図４に示すように、モノ検出処理４０３と顔検出処理４０４ａ，４０４ｂが開始するタイミングは、静止画像信号の読出しを実施している途中である。モノ検出処理４０３と顔検出処理４０４は同時に開始される。

Ｓ５０５では、静止画像信号の読出し処理と、２種類の被写体検出処理とが並行して実行される。ＡＦ処理の開始時点はＳ３０５と同様に、連続撮影の速度によって決まる次の撮影開始時点に対して、前記した各処理が完了する時点に決定される。

Ｓ５０６で制御部１２１は、Ｓ５０４で開始された２種類の被写体検出処理の検出結果について判断する。判断時点は、モノ検出処理４０３および顔検出処理４０４ａ，４０４ｂの処理が開始してからＡＦ処理の開始時点に到達した時点である。このとき、顔検出処理４０４による検出結果が取得されているか否かについて判断処理が行われる。顔検出処理４０４は検出精度を優先する検出処理であり、モノ検出処理４０３に比べて検出に時間がかかるため、判断時点で以下の場合がある。
・モノ検出処理４０３はその検出結果を出力可能であるが、顔検出処理４０４ａはその検出結果が出力可能でない場合。
・モノ検出処理４０３および顔検出処理４０４ｂが検出結果を出力可能である場合。

制御部１２１はＡＦ処理の開始時点までに各被写体検出の検出結果が出力可能であるか否かを判断し、モノ検出処理および顔検出処理がいずれも検出結果を出力可能である場合、Ｓ５０７に処理を進める。またモノ検出処理だけが検出結果を出力可能である場合にはＳ５０８の処理に移行する。

Ｓ５０７では、顔検出処理の検出結果を用いて、ＡＦ読出し領域を算出する処理が実行される。例えば被写体の数が１つである場合、当該被写体の画像位置を中心として読出し領域が決定される。また複数の被写体が検出された場合には、画像内の最も順位が高い被写体の画像位置を中心として読出し領域が決定される。ＡＦ読出し領域の決定において顔情報を用いる場合、顔サイズによって、瞳位置を中心に読出し領域を決定するか、または顔自体の中心で読出し領域を決定するかを判別する処理が行われる。決定されたＡＦ読出し領域に対してＡＦ用画像信号の読出しが開始される。

Ｓ５０８では、モノ検出処理の検出結果を用いて、ＡＦ読出し領域を算出する処理が実行される。この場合の検出結果としては１つの被写体の検出情報であり、当該被写体の画像位置を中心としてＡＦ読出し領域が決定されて、ＡＦ用画像信号の読出しが開始される。

Ｓ５０７またはＳ５０８の処理のタイミングとしては図４のＡＦ蓄積４０５に含めているが、ＡＦ処理の開始のタイミングである。Ｓ５０７またはＳ５０８の処理後、Ｓ５０９に処理を進める。Ｓ５１０の読出しの際、撮像素子１０７は図３のＳ３０８と同様に部分読出し方式で駆動制御が行われる。

本実施形態では、２種類の被写体検出方法が同時に実施され、検出速度を優先する第１の検出処理により連続撮影の速度を保証しつつ、被写体の検出および追尾制御を行うことが可能である。またオートフォーカス制御における処理の開始時点にて、検出精度を優先する第２の検出処理の検出結果が取得可能である場合には、より精度の高い検出結果を用いてＡＦ処理を行うことができるので、被写体追尾性能が向上する。

［第３実施形態］
以下、図６および図７を参照して、本発明の第３実施形態を説明する。本実施形態に係る撮像装置は、被写体の状況に応じて適切なＡＦ用画像信号の読出しを行う。被写体の状況とは、例えば輝度、被写体像の大きさや動き量である。

図６は、本実施形態にて制御部１２１が行う追従ＡＦ連続撮影の処理を示すフローチャートである。Ｓ６０１からＳ６０８の処理と、Ｓ６１３からＳ６１７の処理は、第２実施形態において図５で説明したＳ５０１からＳ５０８の処理、Ｓ５０９からＳ５１３の処理と同様であるため、それらの説明を省略する。

Ｓ６０７、Ｓ６０８の処理後にＳ６０９に進む。Ｓ６０９で制御部１２１は、Ｓ６０１およびＳ６０２で撮像された静止画像において、Ｓ６０７またはＳ６０８にて決定したＡＦ読出し領域に相当する範囲内の輝度値を算出する。算出された輝度値は、予めメモリ１３４に記憶されている輝度閾値と比較される。算出された輝度値が輝度閾値より小さく、低輝度と判断された場合（Ｓ６０９においてＹＥＳ）、Ｓ６１０へ移行する。一方、算出された輝度値が輝度閾値以上であって、低輝度ではないと判断された場合（Ｓ６０９においてＮＯ）、Ｓ６１１へ移行する。

Ｓ６１０で制御部１２１は、Ｓ６０４での顔検出結果およびモノ検出結果から得られる被写体像の大きさと動き量を閾値とそれぞれ比較することにより判定する。閾値は被写体像の大きさを判定するための第１の閾値と被写体像の動き量を判定するための第２の閾値であり、メモリ１３４に予め記憶されている。制御部１２１は被写体像の大きさが第１の閾値より小さく、かつ被写体像の動き量が第２の閾値より小さいと判断した場合（Ｓ６１０においてＮＯ）、Ｓ６１２へ移行する。一方、被写体像の大きさが第１の閾値以上であるか、または被写体像の動き量が第２の閾値以上であると判断された場合（Ｓ６１０においてＹＥＳ）、Ｓ６１１へ移行する。Ｓ６０９およびＳ６１０で使用される輝度閾値、第１および第２の閾値は固定値または可変値である。可変値の場合、撮影前にユーザが操作部１３２により設定可能な構成であってもよい。

Ｓ６１１で制御部１２１は、画像信号の読出し量を低減するために間引き読出しモードに設定する。間引き読出しモードにおいて、撮像素子駆動回路１２４により、ＡＦ読出し処理が、Ｓ６０７またはＳ６０８で決定されたＡＦ読出し領域を含む第１の範囲で実行されるように設定される。

またＳ６１２で制御部１２１は、ＡＦ処理に使用する読出し領域を限定するクロップ読出しモードに設定する。クロップ読出しモードで設定される第２の範囲は、間引き読出しモードでの第１の範囲より狭い。クロップ読出しモードにおいて、ＡＦ用画像信号の読出し処理が、Ｓ６０７またはＳ６０８で決定されたＡＦ読出し領域を含む第２の範囲で実行されるように設定される。

Ｓ６０９とＳ６１０における判定処理とＡＦ読出しモードとの関係について、図７を参照して説明する。図７にて静止画像４１７は、ＡＦ読出し領域での輝度値が閾値以上であるか、または輝度値が閾値未満であって、かつ被写体像の大きさが第１の閾値以上であるかもしくは被写体像の動き量が第２の閾値以上である場合の画像を例示する。静止画像４１７に係る各処理を、静止画蓄積４０１からレンズ駆動４０８に示す。また、静止画像４１９は、ＡＦ読出し領域での輝度値が閾値未満であって、被写体像の大きさが第１の閾値より小さく、かつ被写体像の動き量が第２の閾値より小さい場合の画像を例示する。静止画像４１９に係る各処理を、静止画蓄積４０９からレンズ駆動４１６に示す。

静止画像４１７の場合、ＡＦ処理にて間引き読出し４１８が行われる。間引き読出しモードでは、全画面よりも狭く、被写体像の部分を含む範囲から撮像素子駆動回路１２４が画像信号を部分的に読出す設定となる。一方、静止画像４１９の場合、ＡＦ処理において被写体像の部分に限定して読出すクロップ読出し４２０が行われる。つまり、クロップ読出しモードでは、間引き読出しモードに比べて限定された範囲内のすべての画像信号を撮像素子駆動回路１２４が読出す設定となる。

図６のＳ６１１またはＳ６１２でのＡＦ読出しモードの設定処理後に、Ｓ６１３に処理を進め、ＡＦ処理が実行される。なお、本実施形態では、Ｓ６１０で被写体像の大きさと動き量を閾値と比較して判定することにより、ＡＦ読出しモードが決定される。Ｓ６０６で顔検出結果が取得された場合、顔を被写体とし、顔検出結果が取得されない場合にはモノを被写体として後続の処理が行われる。

本実施形態では、被写体像の大きさと動き量が小さい場合に狭い範囲のクロップ読出しモードが設定されるが、読出し領域内の情報量としてオートフォーカス制御に必要な量の情報を取得できる。このため追従ＡＦ連続撮影の性能を低下させることなく、被写体の輝度が低い場合でもオートフォーカス制御性能を向上させることが可能となる。

［第４実施形態］
次に図８を参照して、本発明の第４実施形態について説明する。図８は、本実施形態における追従ＡＦ連続撮影の処理を示すフローチャートである。図８に示すＳ７０１からＳ７０７の処理と、Ｓ７１２からＳ７１６の処理は、第２実施形態において説明した図５のＳ５０１からＳ５０７、Ｓ５０９からＳ５１３の各処理と同様であるため、説明を省略する。

Ｓ７０６からＳ７０８に移行した場合、制御部１２１は、画像処理回路１２５によるモノ検出結果からＡＦ読出し領域を決定し、Ｓ７１１へ移行する。またＳ７０７からＳ７０９に進み、制御部１２１は輝度判定処理を行う。Ｓ７０１およびＳ７０２で撮影した静止画像において、Ｓ７０７で決定されたＡＦ読出し領域に相当する範囲内の輝度を算出し、予めメモリ１３４に記憶してある輝度閾値と比較する処理が行われる。算出された輝度が輝度閾値未満であり、低輝度と判定された場合（Ｓ７０９においてＹＥＳ）、Ｓ７１０へ移行する。一方、算出された輝度が輝度閾値以上であり、低輝度ではないと判定された場合（Ｓ７０９においてＮＯ）、Ｓ７１１へ移行する。

Ｓ７１０で制御部１２１は撮像素子駆動回路１２４のモードをクロップ読出しモードに設定する。またＳ７１１で制御部１２１は、撮像素子駆動回路１２４のモードを間引き読出しモードに設定する。クロップ読出しモードで設定される読出し範囲は、間引き読出しモードで設定される読出し範囲より狭い。つまり、被写体検出にてモノ検出結果しか取得できていない場合、画像処理回路１２５における被写体追従性能は、顔検出結果が取得されている場合に比べて劣る。このためＳ７１１では、ＡＦ処理にて対象を見つけるために広い読出し範囲の情報を必要とする。

本実施形態によれば、第２の検出処理に比べて検出精度が低い第１の検出処理による検出結果しか取得できていない場合、第２の検出処理による検出結果が取得されている場合に比較して、より広い範囲の読出し処理が行われる。つまり、間引き読出しモードの設定により、ＡＦ対象を見失いにくくなるので、追従ＡＦ連続撮影におけるオートフォーカス制御の連続性を保つことができる。

［第５実施形態］
次に図７および図９を参照して、本発明の第５実施形態について説明する。図９は、本実施形態における追従ＡＦ連続撮影の処理を示すフローチャートである。図９に示すＳ８０１からＳ８１２の処理と、Ｓ８１４からＳ８１８の処理は、第３実施形態において説明した図６のＳ６０１からＳ６１２、Ｓ６１３からＳ６１７の各処理と同様であるため、それらの説明を省略する。Ｓ８１１またはＳ８１２の処理後にＳ８１３に進む。

Ｓ８１３で制御部１２１は、Ｓ８１４でのＡＦ蓄積時間と、Ｓ８１５でのＡＦ読出し時間を算出する。追従ＡＦ連続撮影のＡＦ精度を維持するためには、図７においてＡＦ蓄積４１３とＡＦ読出し４１４の処理を、次の撮影開始時点が到来するまでの所定時間内に終える必要がある。ＡＦ蓄積４１３の時間とＡＦ読出し４１４の時間との総処理時間は一定であるが、ＡＦ読出し領域と読出しモードに応じてＡＦ読出し時間が変化する。ＡＦ読出し領域は、Ｓ８１１またはＳ８１２のモードで設定される読出し領域であり、読出しモードは、間引き読出しモードまたはクロップ読出しモードである。被写体領域の輝度が輝度閾値より小さく低輝度である場合、制御部１２１はＡＦ読出し時間が所定の時間よりも短いときに総処理時間内のＡＦ蓄積時間を延長して調整する。所定の時間とは、撮像処理およびオートフォーカス処理の時間および連続撮影の時間間隔で決まる判定用時間である。また制御部１２１は、被写体領域が低輝度でない場合、ＡＦ蓄積時間を、静止画像信号の読出しの場合と同一の値、またはＡＦ処理に適した値に設定する。

本実施形態では、ＡＦ読出し領域と読出しモードに応じてＡＦ読出し時間を算出し、被写体領域が低輝度である場合にＡＦ蓄積時間を延ばすことでＡＦ用画像の輝度を上げる処理を行うので、より精度の高いオートフォーカス制御が可能となる。

［第６実施形態］
図１０から図１４を参照して、本発明の第６実施形態における追従ＡＦ連続撮影について説明する。本実施形態は、ユーザの所望する被写体（主顔）の位置を予測し、顔検出の開始タイミングを早める処理を行う。

図１２（Ａ）は、例えば撮像素子１０７の受光面上での主顔の画像について配置例を示す図である。２次元ＣＭＯＳフォトセンサ上には、撮影された主顔の画像の位置を矩形で表わしている。図１２（Ａ）の左右方向をｘ方向とし、上下方向をｙ方向と定義する。最初の撮影による１枚目の主顔位置１１０１と、次の撮影による２枚目の主顔位置１１０２と、さらにその次の撮影による３枚目の主顔位置１１０３を例示する。

図１２（Ｂ）は主顔の予測位置の説明図である。縦軸は、撮影された主顔画像のｙ方向の中心位置を示し、横軸は撮影枚数を示す。例えば、点１１０４は１枚目の主顔画像の中心位置を示し、点１１０５は２枚目の主顔画像の中心位置を示し、点１１０６は３枚目の主顔画像の中心位置を示す。ここで、点１１０７は４枚目の主顔画像の予測中心位置を示している。具体的には、３点１１０４、１１０５、１１０６の位置から回帰直線によって予測した位置を点１１０７で図示している。

図１３（Ａ）は、図１２（Ｂ）の点１１０７にて予測される主顔画像の中心位置に基づく主顔画像位置の予測範囲１２０１を示す。図１３（Ａ）の左右方向をｘ方向とし、上下方向をｙ方向と定義する。図１３（Ａ）に示す予測範囲１２０１は、例えば主顔画像の大きさや予測のばらつき等を加味して決定される。一例として予測範囲１２０１が、ｙ方向にて最大値のＭ（＝５０）％以内の範囲である場合を示している。

図１３（Ｂ）は、顔検出を開始する位置の説明図である。図１３（Ａ）に示すように、予測範囲１２０１が２次元ＣＭＯＳフォトセンサ上で５０％以内であった場合、５０％に相当する位置での静止画像信号の読出し処理が完了してから、顔検出が開始する。具体的には、図４に示す静止画読出し４０２が５０％完了した時点で、図４に示す顔検出処理４０４ａが開始することになる。換言すれば、顔画像の位置が含まれると予測される５０％の範囲の画像信号の読出しが完了しないうちは、顔検出処理は実行されない。

図１０と図１１のフローチャートを参照して、主顔画像の位置を予測して顔検出の開始を早めるための処理について説明する。
まず、図１０のＳ１００１で制御部１２１は、顔検出開始時間の算出処理を行い、顔検出開始時間および静止画読出し方向を決定する。処理の詳細については図１１を用いて後述する。次のＳ１００２の静止画蓄積処理は、第２実施形態で説明した図５のＳ５０１と同様であるため、説明を省略する。

Ｓ１００３では、Ｓ１００１で決定された読出し方向で静止画像信号の読出しが開始する。制御部１２１はＳ１００１の結果に基づいて撮像素子駆動回路１２４に対し、Ｓ１００２で蓄積された画素信号の読出し方向を設定する。読出し方向については図１４を用いて後述する。Ｓ１００４は、Ｓ１００１で決定された顔検出開始時間が経過するまでの待機処理である。Ｓ１００５からＳ１００９の処理については、第２実施形態で説明した図５のＳ５０４からＳ５０８の各処理と同様であるため、それらの説明を省略する。

Ｓ１００８の次にＳ１０１０に処理を進め、制御部１２１は顔検出結果を顔検出履歴情報としてメモリ１３４に保存する。これは、顔検出結果をＳ１００１で使用する目的でメモリ１３４に記憶する処理である。具体的には、検出された顔画像の中心座標、中心座標を基準とする顔画像のｘ方向のサイズおよびｙ方向のサイズ、顔の特徴量等が顔検出結果としてメモリ１３４に記憶される。顔検出履歴情報の保存後にＳ１０１１へ移行する。Ｓ１０１１からＳ１０１５の処理については、第２実施形態で説明した図５のＳ５０９からＳ５１３の各処理と同様であるため、それらの説明を省略する。

図１０のＳ１００１で実行される顔検出開始時間の算出処理について、図１１のフローチャートを参照して詳述する。

Ｓ１０１６で制御部１２１は顔検出履歴があるか否かを判定する。図１０のＳ１０１０にてメモリ１３４に保存されている顔検出履歴情報を取得し、過去の顔検出履歴があるか否かについて判定される。例えば顔検出履歴の顔検出結果において連続した顔検出結果が存在しない場合、制御部１２１は顔検出履歴がないと判断する。Ｎ枚目の静止画撮影において、過去に連続して撮影されたＮ−１枚目、Ｎ−２枚目、Ｎ−３枚目の画像の顔検出結果が存在しない場合、制御部１２１は顔検出履歴がないと判断する。Ｓ１０１６にて顔検出履歴があると判断された場合（Ｓ１０１６においてＹＥＳ）、Ｓ１０１７に移行する。また顔検出履歴がないと判断された場合（Ｓ１０１６においてＮＯ）、Ｓ１０２０に移行する。

Ｓ１０１７で制御部１２１は顔検出履歴を取得し、主顔位置の予測範囲を算出する。例えば、図１３（Ａ）の主顔位置の予測範囲１２０１が決定される。Ｓ１０１８で制御部１２１は、Ｓ１０１７で決定した主顔位置の予測範囲から静止画像信号の読出し方向を決定する。

図１４を参照して、読出し方向の決定処理を具体的に説明する。図１４にて左右方向をｘ方向とし、上下方向をｙ方向と定義する。ｘ軸とｙ軸との交点を原点として右方向をｘの正方向とし、下方向をｙの正方向とする。図１４（Ａ）は、主顔位置の予測範囲が２次元ＣＭＯＳフォトセンサの上位５０％（０％≦ｙ≦５０％）であった場合を例示する。また図１４（Ｂ）は、主顔位置の予測範囲が２次元ＣＭＯＳフォトセンサの下位５０％（５０％≦ｙ≦１００％）であった場合を例示する。

図１４（Ａ）の場合には、予測範囲（０％≦ｙ≦５０％）にて原点を起点としてｘおよびｙ方向のいずれも正方向へ画像信号の読出しが行われるように方向（第１の方向）が設定される。一方、図１４（Ｂ）の場合には、予測範囲（５０％≦ｙ≦１００％）にて右下隅を起点としてｘおよびｙ方向のいずれも負方向へ画像信号の読出しが行われるように方向（第２の方向）が設定される。第２の方向は、第１の方向とは反対の方向である。予測範囲に応じて２次元ＣＭＯＳフォトセンサ上での読出し方向を変更することで、顔検出の開始を早めることができる。

図１１のＳ１０１９で制御部１２１は顔検出開始時間を算出する。制御部１２１は、Ｓ１０１７で決定された主顔の位置の予測範囲における画像信号の読出しが完了するまでの時間を算出する。

Ｓ１０１６からＳ１０２０へ移行した場合には顔検出履歴がない。この場合、制御部１２１は静止画像信号の読出し方向をデフォルト方向（図１４（Ａ）の第１の方向：左上から右下の方向）とし、原点位置からの読出しが行われる。次のＳ１０２１で制御部１２１は、顔検出開始時間として、顔検出可能な読出し領域からの画像信号の読出しにかかる最大時間（ＭＡＸ時間）を設定する。Ｓ１０１９、Ｓ１０２１の処理後、リターン処理に移行する。

本実施形態によれば、ユーザの所望する被写体（主顔）の位置を予測し、処理時間のかかる顔検出の開始時点を早めることで、主顔に追従するオートフォーカス制御を行える。
なお、本実施形態では、回帰直線を用いた主顔位置の予測処理を一例として説明したが、これに限定されるものではなく、例えば移動平均法等による近似式を用いて主顔位置を予測してもよい。また、図１５に示すように主顔の画像の大きさが所定の大きさ（サイズ閾値）になった場合（３枚目の画像を参照）、顔検出にて目だけを検出することで顔検出の開始時点を早めてもよい。

［第７実施形態］
図１６から図１８を参照して、第７実施形態における追従ＡＦ連続撮影について説明する。本実施形態では、第６実施形態における予測範囲で顔検出結果が得られなった場合のＡＦ読出し領域の決定処理を説明する。図１８はＡＦ読出し領域の決定処理の説明図である。左右方向をｘ方向とし、上下方向をｙ方向と定義する。

図１８（Ａ）は、予測範囲（０％≦ｙ≦５０％）に主顔画像が検出されず、顔検出結果が取得されない場合を例示する。図１８（Ｂ）は、予測範囲で顔検出に成功したが、予測範囲内に主顔１５０１が存在しなかった場合を例示する。予測範囲は上位５０％の範囲（０％≦ｙ≦５０％）とし、この範囲に別の被写体の顔が検出された例を示している。図１８（Ａ）および（Ｂ）に示すように、予測範囲内で主顔が検出されない場合、予測範囲外に主顔が存在する可能性がある。

図１８（Ｃ）は、予測範囲で主顔が検出されない場合にＡＦ読出し領域１５０２として予測範囲外の領域を設定した例を示す。図１８（Ｄ）は、予測範囲で主顔が検出されない場合の主顔の予測位置１５０３を示す。主顔の予測位置１５０３に関して、例えば、主顔画像のｙ方向のサイズはＡＦ読出し領域の最大値とし、ｙ方向におけるＡＦ読出し領域の中心位置を、主顔画像のｙ方向の中心位置とする。また、顔画像のｘ方向の中心位置については、例えば、過去の連続するＮ−１枚目、Ｎ−２枚目、Ｎ−３枚目の画像における主顔画像のｘ方向における中心位置を回帰直線によって予測した位置とする。このように制御部１２１は最初の予測範囲以外の領域において主顔の予測位置を算出する。

図１６および図１７のフローチャートを参照して、ＡＦ読出し領域の決定処理について説明する。図１６にてＳ１４０１からＳ１４０６の処理は、第６実施形態において説明した図１０のＳ１００１からＳ１００６の各処理と同様である。更に、Ｓ１４０８からＳ１４１２の処理は、第６実施形態において説明したＳ１０１１からＳ１０１５の各処理と同様である。Ｓ１４０１の顔検出開始時間の算出処理は、図１１で説明したとおりである。よって、それらの説明を省略して、相違点であるＳ１４０７の処理を説明する。

図１７のフローチャートを参照して、図１６のＳ１４０７に示すＡＦ読出し領域の決定処理について詳述する。
Ｓ１４１９で制御部１２１は今回の顔検出にて、顔検出結果が取得されたか否かを判定する。顔検出結果が取得された場合（Ｓ１４１９においてＹＥＳ）、Ｓ１４２０に移行し、顔検出結果が取得されていない場合（Ｓ１４１９においてＮＯ）、Ｓ１４２４に移行する。Ｓ１４２０で制御部１２１は、前回の顔検出結果が取得されているか否かを判定する。具体的には、制御部１２１はメモリ１３４に保存されている顔検出履歴情報を取得し、顔検出履歴に１つ前の撮影における顔検出結果があるか否かを判定する。前回の顔検出結果が取得されている場合（Ｓ１４２０においてＹＥＳ）、Ｓ１４２１に移行する。また、前回の顔検出結果が取得されていない場合（Ｓ１４２０においてＮＯ）、制御部１２１は新しい主顔が検出されたと判断し、Ｓ１４２２に移行する。

Ｓ１４２１で制御部１２１は、検出された顔が主顔であるか否かを判定する。具体的には、制御部１２１は前回の顔検出結果である顔画像の特徴量と今回検出された顔検出結果である顔画像の特徴量を比較し、今回検出された顔検出結果が主顔であるか否かを判定する。検出された顔が主顔であると判定された場合（Ｓ１４２１においてＹＥＳ）、Ｓ１４２２に移行し、検出された顔が主顔でないと判定された場合（Ｓ１４２１においてＮＯ）、Ｓ１４２４に移行する。

Ｓ１４２２で制御部１２１は、顔検出結果からＡＦ読出し領域を決定する。Ｓ１４２３で制御部１２１は、顔検出結果を顔検出履歴としてメモリ１３４に保存する。Ｓ１４２４で制御部１２１は、顔検出履歴があるか否かを判定する。制御部１２１はメモリ１３４に保存されている顔検出履歴情報を取得し、過去の顔検出履歴があるか否かを判定する。例えば、制御部１２１は顔検出履歴の顔検出結果において連続した顔検出結果が存在しない場合、顔検出履歴がないと判断する。顔検出履歴がある場合（Ｓ１４２４においてＹＥＳ）、Ｓ１４２５に移行し、顔検出履歴がない場合（Ｓ１４２４においてＮＯ）、Ｓ１４２７に移行する。

Ｓ１４２５で制御部１２１は、予測範囲で顔検出結果が得られなかった場合のＡＦ読出し領域を決定する。例えば、図１８（Ｃ）で説明したＡＦ読出し領域１５０２が決定される。Ｓ１４２６で制御部１２１は、主顔の予測位置を決定する。例えば、図１８（Ｄ）で説明した主顔の予測位置１５０３が決定される。Ｓ１４２７で制御部１２１は、モノ検出結果からＡＦ読出し領域を決定する。Ｓ１４２３、Ｓ１４２６、Ｓ１４２７の処理後、リターン処理に移行する。

本実施形態によれば、予測範囲での顔検出にて主顔の検出結果が得られなかった場合、予測範囲とは異なる範囲にＡＦ読出し領域を設定することで、主顔に追従するオートフォーカス制御を行える。なお、本実施形態では、予測範囲以外の領域をＡＦ読出し領域として設定する例を説明した。これに限定されるものではなく、予測範囲と部分的に重なる領域をＡＦ読出し領域として設定してもよい。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００…撮像装置
１０５…第３レンズ群
１０７…撮像素子
１１４…フォーカスアクチュエータ
１２１…制御部
１２４…撮像素子駆動回路
１２６…フォーカス駆動回路

Claims

連続撮影にてオートフォーカス制御および被写体の追尾制御を行う撮像装置であって、
撮像された画像に係る第１の画像信号を撮像素子から読出す第１の読出し手段と、
前記オートフォーカス制御の評価値の算出に用いる第２の画像信号を前記撮像素子から読出す第２の読出し手段と、
前記第１の画像信号を用いて被写体を検出する被写体検出手段と、
前記被写体検出手段により取得された被写体の検出情報から前記第２の画像信号を読出す位置を決定し、前記第２の読出し手段により読出された前記第２の画像信号から前記評価値を取得して焦点調節の制御を行う制御手段と、を備え、
前記制御手段は、連続撮影の時間間隔から前記被写体検出手段による検出の開始時点を算出し、前記第１の読出し手段が前記撮像素子から前記第１の画像信号を読出している途中に、前記被写体検出手段は前記開始時点で被写体の検出を開始して、読出された前記第１の画像信号を用いて被写体検出を行い、前記第２の読出し手段は、前記制御手段により決定された前記位置から前記第２の画像信号を読出すことを特徴とする撮像装置。
前記被写体検出手段は、検出速度を優先して被写体検出を行う第１の検出処理と、検出精度を優先して被写体検出を行う第２の検出処理を、前記開始時点から実行し、
前記制御手段は、前記第１または第２の検出処理による検出情報から前記第２の画像信号を読出す位置を決定することを特徴とする請求項１に記載の撮像装置。
前記制御手段は、前記第１および第２の検出処理による検出情報が取得されている場合、前記第２の検出処理による検出情報から前記第２の画像信号を読出す位置を決定し、前記第２の検出処理による検出情報が取得されない場合、前記第１の検出処理による検出情報から前記第２の画像信号を読出す位置を決定することを特徴とする請求項２に記載の撮像装置。
前記制御手段は、前記被写体検出手段により検出される被写体像を含む領域の輝度、大きさ、または動き量を判定し、前記第２の読出し手段に対して第１または第２の読出しモードを設定し、
前記第１の読出しモードは、第１の読出し範囲から前記第２の画像信号を読出すモードであり、前記第２の読出しモードは、前記第１の読出し範囲よりも狭い第２の読出し範囲から前記第２の画像信号を読出すモードであることを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
前記制御手段は、前記被写体像を含む領域の輝度値が輝度閾値以上である場合、前記第１の読出しモードに設定し、前記被写体像を含む領域の輝度値が前記輝度閾値より小さい場合には、前記被写体像の大きさまたは動き量を閾値と比較して前記第１または第２の読出しモードに設定することを特徴とする請求項４に記載の撮像装置。
前記制御手段は、前記被写体像を含む領域の輝度値が前記輝度閾値より小さい場合、
前記被写体像の大きさが第１の閾値以上であるか、または前記被写体像の動き量が第２の閾値以上であるときに、前記第１の読出しモードに設定し、
前記被写体像の大きさが前記第１の閾値より小さく、かつ前記被写体像の動き量が前記第２の閾値より小さいときに、前記第２の読出しモードに設定することを特徴とする請求項５に記載の撮像装置。
前記制御手段は、前記第１の検出処理の検出情報が取得されており、前記第２の検出処理の検出情報が取得されない場合、前記第２の読出し手段に対して、読出し範囲から画像信号を間引いて読出すモードに設定することを特徴とする請求項３に記載の撮像装置。
前記制御手段は、前記評価値を取得するための撮像処理において前記撮像素子の蓄積時間および読出し時間を算出し、
前記被写体検出手段により検出される被写体像を含む領域の輝度が輝度閾値より小さく、かつ前記読出し時間が撮像処理およびオートフォーカス処理の時間および連続撮影の時間間隔で決定される時間よりも短い場合、前記蓄積時間を延ばすことを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
前記制御手段は、前記被写体検出手段の検出情報を履歴情報として記憶手段に記憶し、前記履歴情報を用いて次の撮像における被写体像の位置を予測して前記第１の読出し手段による前記第１の画像信号の読出し方向を決定するとともに、前記被写体検出手段による検出の開始時点を算出することを特徴とする請求項１から８のいずれか１項に記載の撮像装置。
前記制御手段は、第１の範囲に前記被写体像が検出されない場合、前記第２の読出し手段により、前記第１の範囲とは異なる第２の範囲から前記第２の画像信号を読出す制御を行うことを特徴とする請求項９に記載の撮像装置。
連続撮影にてオートフォーカス制御および被写体の追尾制御を行う撮像装置において実行される制御方法であって、
撮像された画像に係る第１の画像信号を撮像素子から読出す第１の読出し工程と、
前記オートフォーカス制御の評価値の算出に用いる第２の画像信号を前記撮像素子から読出す第２の読出し工程と、
前記第１の画像信号を用いて被写体を検出する被写体検出工程と、
前記被写体検出工程で取得された被写体の検出情報から前記第２の画像信号を読出す位置を決定し、前記第２の読出し工程で読出された前記第２の画像信号から前記評価値を取得して焦点調節の制御を行う制御工程と、を有し、
前記制御工程では、連続撮影の時間間隔から前記被写体検出工程の開始時点が算出され、前記第１の読出し工程で前記撮像素子から前記第１の画像信号を読出している途中に、前記被写体検出工程が前記開始時点で開始して、読出された前記第１の画像信号を用いて被写体検出が行われ、さらに前記第２の読出し工程では、決定された前記位置から前記第２の画像信号を読出す処理が行われることを特徴とする撮像装置の制御方法。