JP2010039164A - 撮像装置 - Google Patents

Abstract

【課題】被写体の検出結果に基づいて撮像状態を調節する撮像装置において、被写体の検出に失敗しても撮像状態を精度良くかつ効率的に調節する撮像装置を提供する。
【解決手段】画像信号から顔検出する被写体検出回路５と、被写体検出回路５の検出時間の履歴を保持するメモリ６と、被写体が検出対象領域からいなくなったかどうかを判断する制御部１３と、を有し、顔検出できなかった場合にメモリ６の履歴に応じてシステム制御部１３による判定基準を変更する撮像装置を提供する。
【選択図】図２

Description

本発明は、デジタルカメラなどの撮像装置に関する。

撮像装置において、人間の顔など特定の被写体の位置や大きさを画像認識アルゴリズムにより検出する技術は、例えば、自動焦点調節（オートフォーカス：ＡＦ）に利用されている。例えば、特許文献１は、被写体の位置や大きさに合わせた焦点検出枠を設定し、焦点検出枠内の被写体のコントラストを表すＡＦ評価値を生成し、ＡＦ評価値のピークを合焦位置とするＡＦ制御を行っている。特許文献２は、顔が正面や斜めを向いていても両目や鼻や口などの顔の器官の配置に基づいて顔検出を行うことを提案している。特許文献３は、顔検出に伴う演算時間を短縮するために、合焦位置と画角から推定される顔の大きさをテンプレート画像として使用して効率化を図っている。
特開２００３−１０７３３５号公報 特開２００２−２５１３８０号公報 特開２００６−０２５２３８号公報

従来の顔検出方法によれば、被写体の顔が突然横や下を向くと一時的に検出が失敗するおそれがあるが、再実行により顔検出が可能となる。このため、顔検出が失敗しても被写体が検出対象領域にいる限りは顔検出に基づく合焦動作を直ちに終了すべきではない。しかし、被写体が検出対象領域にいなくなったのであれば、顔検出を継続してその結果に基づいてＡＦ制御を継続しても所期の合焦結果が得られない。また、顔検出結果を自動露光（ＡＥ）適用した場合にも同様の問題が発生する。このように、従来は、被写体の検出結果に基づいて焦点や露出などの撮像状態を調節する場合に、所望の調節結果が得られないおそれがあった。

そこで、本発明は、被写体の検出結果に基づいて撮像状態を調節する撮像装置において、被写体の検出に失敗しても撮像状態を精度良くかつ効率的に調節する撮像装置を提供することを例示的な目的とする。

本発明の一側面としての撮像装置は、画像信号から被写体を検出する被写体検出部と、前記被写体検出部の検出結果を保持するメモリと、前記被写体検出部の検出結果に基づいて撮像状態検出領域を設定し、前記撮像状態検出領域に基づいて前記画像信号における撮像状態を表す評価値を生成する評価値生成部と、前記被写体検出部が今回の検出において前記被写体を検出しない場合で、かつ、前記メモリに保持された前回の検出において前記被写体検出部が前記被写体を検出した場合に、前記評価値生成部は、前記前回の検出において設定された撮像状態検出領域から前記評価値を生成し、前記被写体検出部が今回の検出において前記被写体を検出できずに終了した場合で、かつ、前記メモリに保持された前回の検出においても前記被写体検出部が前記被写体を検出できなかった場合に、前記評価値生成部は、前回の検出において設定された撮像状態検出領域とは異なる新たな撮像状態検出領域を設定し、当該新たな撮像状態検出領域に基づいて前記評価値を生成することを特徴とする。

本発明によれば、被写体の検出結果に基づいて撮像状態を調節する撮像装置において、被写体の検出に失敗しても撮像状態を精度良くかつ効率的に調節する撮像装置を提供する。

以下、添付図面を参照して、本発明の実施例を説明する。

図１は、実施例１のデジタルカメラ（撮像装置）のブロック図である。デジタルカメラは、特定の被写体（例えば、顔）の検出結果に基づいて撮像状態（例えば、焦点や露出）を調節する撮像装置である。

図１において、１はレンズ、絞りを含む光学系、２は撮像素子、３は相関二重サンプリング（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ：ＣＤＳ）回路及びＡ／Ｄ変換器を含むアナログフロントエンド部（ＡＦＥ）である。４は光学系１及び撮像素子２の駆動回路である。

５はＡＦＥ３が生成した画像データ（画像信号）から特定の被写体を検出する被写体検出回路（被写体検出部）であり、本実施例では被写体検出回路５は顔を検出する。６は被写体検出回路５の検出結果を保持するメモリである。検出結果は、検出が成功したか、失敗したか、検出が成功した場合には検出された特定の被写体の人数を含む。メモリ６は、被写体検出回路５による検出の難易度を表すパラメータの履歴を更に保持する。かかるパラメータは、本実施例では、被写体検出回路５が被写体の検出に要した検出時間であるが、被写体検出回路５が被写体を検出する際の検出精度であってもよい。

７は被写体検出回路５とメモリ６と信号処理回路８の出力からＡＦ制御（焦点調節）のためのＡＦ評価値を生成するＡＦ評価値生成回路（評価値生成部）である。ＡＦ評価値は、画像データにおけるコントラストを表す焦点評価値（焦点信号）である。ＡＦ評価値生成回路７は、焦点検出枠を設定し、それに基づいてＡＦ評価値を設定する。但し、上述したように、被写体の検出結果に基づいて調節する撮像状態は焦点に限定されないから、焦点検出枠は撮像状態を検出するための撮像領域検出領域であれば足り、評価値は、撮像状態を表す評価値であれば足りる。撮像状態が露出（露光量）であれば、撮像状態検出領域は露出制御のための評価値を生成するための露出検出領域となる。

８はＡＦＥ３が生成した画像データから輝度色差の画像データを生成する信号処理回路、１０はデジタルカメラの筐体から取り外し可能な記録媒体、９は画像データを記録媒体１０に記録する記録処理回路である。１２は信号処理された画像データを表示する画像表示装置、１１は画像表示装置１２に画像を表示する表示回路である。

１３はデジタルカメラ全体を制御するシステム制御部、１６はシステム制御部１３とデジタルカメラ内の各構成要素との通信を行うバスである。１４はシステム制御部１３で実行される制御方法を記載したプログラム、プログラムを実行する際に使用されるパラメータやテーブル等の制御データを記憶する不揮発性メモリ（ＲＯＭ）である。１５は不揮発性メモリ１４から転送されたプログラム及び制御データを記憶し、システム制御部１３がデジタルカメラを制御する際に使用する揮発性メモリ（ＲＡＭ）である。

以下、図１に示すデジタルカメラの動作について説明する。撮影動作に先立ち、システム制御部１３の動作開始時に、不揮発性メモリ１４から必要なプログラム、制御データ及び補正データを揮発性メモリ１５に転送して記憶する。これらのプログラムやデータは、システム制御部１３がデジタルカメラを制御する際に使用する。また、必要に応じて、追加のプログラムやデータを不揮発性メモリ１４から揮発性メモリ１５に転送したり、システム制御部１３が不揮発性メモリ１４内のデータを直接読み出して使用したりする。

まず、システム制御部１３からの制御信号により、駆動回路４が光学系１の絞りとレンズを駆動して、適切な明るさに設定された被写体像を撮像素子２上に結像させる。撮像素子２は、システム制御部１３により制御される駆動パルスで駆動回路４により駆動され、被写体像を光電変換により電気信号に変換してアナログ画像信号として出力する。このアナログ画像信号は、システム制御部１３が制御する動作パルスにより、ＡＦＥ３内のＣＤＳ回路でクロック同期性ノイズが除去され、ＡＦＥ３内のＡ／Ｄ変換器でデジタル画像信号（画像データ）ＲＡＷに変換される。システム制御部１３により制御される信号処理回路８は、ＡＦＥ３が生成したデジタル画像信号（画像データ）から輝度色差の画像データを生成し、それを記録処理回路９、表示回路１１へ出力すると共に、輝度の画像データをＡＦ評価値生成回路７へ出力する。

被写体検出回路５は、ＡＦＥ３が出力する画像データから被写体を検出（本実施例では顔検出）し、検出された被写体の人数、被写体の座標及びサイズと被写体の検出に要した時間をそれぞれＡＦ評価値生成回路７とメモリ６に出力する。メモリ６は被写体検出回路５からの出力である検出された被写体の人数と検出に要した時間を保持し、ＡＦ評価値生成回路７へ出力する。ＡＦ評価値生成回路７は、ＡＦ評価値を生成するための焦点検出枠（焦点検出領域）を信号処理回路８からの輝度の画像データ内に設定し、焦点検出枠からＡＦ評価値を生成する。ＡＦ評価値生成回路７は、焦点検出枠を、被写体検出回路５からの被写体の座標及びサイズとメモリ６からの被写体の検出に要した時間から設定する。被写体検出回路５は、特許文献３にあるような被写体の状況に応じて検出時間が変動する公知の構成を適用することができる。例えば、被写体検出回路５は、焦点検出枠内の画像の肌色部分の割合が閾値以上であるかどうかに基づいて顔検出を行ったり、目や口などの幾何学的な形状の特徴を利用して顔検出を行ったりする。

システム制御部１３は、バス１６を介して、駆動回路４、信号処理回路８、記録処理回路９、表示回路１１を制御する。各回路に必要な制御パラメータや、回路を制御するプログラム等の情報は、システム制御部１３に接続された不揮発性メモリ１４から読み出される。また、システム制御部１３は、設定時間を計時するタイマを内蔵している。

図２は、本実施例のＡＦ評価値生成方法のフローチャートである。図２において、「Ｓ」はステップを意味する。

まず、被写体検出回路５がＡＦＥ３の画像データを取得する（Ｓ１０１）。次に、システム制御部１３は、ＡＦ評価値生成回路７がＡＦ評価値を生成するための焦点検出枠を既に設定しているかどうかを判断する（Ｓ１０２）。撮像素子２が撮影を開始してから最初にＡＦ評価値を生成する場合は焦点検出枠が設定されていない。システム制御部１３は、ＡＦ評価値生成回路７が焦点検出枠を未だ設定していないと判断した場合は（Ｓ１０２）、被写体検出回路５が被写体検出処理を行う（Ｓ１０３）。次に、システム制御部１３は、内部タイマが所定時間を計時するまで待機し（Ｓ１０５）、被写体の検出結果が出たかどうかを判断する（Ｓ１０７）。顔を検出した場合は、システム制御部１３は表示回路１１を介して画像表示装置１２に検出結果を表示してその旨をユーザに知らせる。なお、Ｓ１０５における所定時間は、不揮発性メモリ１４に設定された予め設定されている時間である。

システム制御部１３は、被写体の検出結果が出たと判断した場合は（Ｓ１０７）、被写体がいるかどうかを判断し（Ｓ１０８）、いると判断した場合には（Ｓ１０８）、ＡＦ評価値生成回路７が被写体の位置（顔の中心位置）に焦点検出枠を設定する（Ｓ１０９）。一方、システム制御部１３は、被写体の検出結果が出ていないと判断した場合（Ｓ１０７）又は被写体がいないと判断した場合は（Ｓ１０８）、システム制御部１３は、ＡＦ評価値生成回路７に、既定の焦点検出枠を設定する（Ｓ１１０）。

システム制御部１３は、ＡＦ評価値生成回路７に既に設定された焦点検出枠があると判断した場合（Ｓ１０２）、被写体検出回路５が被写体検出処理を行う（Ｓ１０４）。次に、システム制御部１３は、内部タイマが所定時間を計時するまで待機し（Ｓ１０６）、被写体の検出結果が出たかどうかを判断する（Ｓ１１１）。なお、Ｓ１０６における所定時間は、後述するＳ１１６において設定される設定時間Ｓよりも長い時間である。

システム制御部１３は、被写体の検出結果が出ていないと判断すれば（Ｓ１１１）、ＡＦ評価値生成回路７は前回（直前）の焦点検出枠を設定する（Ｓ１１７）。一方、システム制御部１３は、被写体の検出結果が出たと判断した場合には（Ｓ１１１）、検出結果（被写体の人数）と検出に要した時間をメモリ６に保持し（Ｓ１１２）、被写体がいるかどうかを判断する（Ｓ１１３）。システム制御部１３は、被写体がいると判断した場合には（Ｓ１１３）、ＡＦ評価値生成回路７が被写体の位置（顔の中心位置）に焦点検出枠を設定する（Ｓ１１８）。

一方、システム制御部１３は、被写体がいないと判断した場合（被写体の検出に失敗した場合）には（Ｓ１１３）、前回（直前）の被写体の検出が成功したかどうかを判断する（Ｓ１１４）。システム制御部１３は、成功していないと判断すれば（Ｓ１１４）、設定時間Ｓが経過したかどうかを判断する（Ｓ１１５）。システム制御部１３は、設定時間Ｓが経過していると判断すれば（Ｓ１１５）、ＡＦ評価値生成回路７は既定の焦点検出枠を設定する（Ｓ１１９）。

一方、システム制御部１３は、前回（直前）の被写体の検出が成功していると判断すれば（Ｓ１１４）、図５を参照して後述するように、被写体が存在するとみなす設定時間Ｓを設定する（Ｓ１１６）。Ｓ１１６の後又は設定時間Ｓが経過していないと判断すれば（Ｓ１１５）、ＡＦ評価値生成回路７が前回（直前）の位置に焦点検出枠を設定する（Ｓ１２０）。

Ｓ１０９、Ｓ１１０、Ｓ１１７−Ｓ１２０の後で、ＡＦ評価値生成回路７は、設定した焦点検出枠から高周波成分をＡＦ評価値として抽出する（Ｓ１２１）。その後、システム制御部１３は、ＡＦ評価値のピークを合焦位置とするＡＦ制御を行う。具体的には、システム制御部１３は、駆動回路４を介して光学系１のフォーカスレンズを移動する。

このように、被写体検出回路５が今回の検出で顔検出せず（Ｓ１１３のＮの場合）、かつ、前回の検出において顔検出した場合（Ｓ１１４のＹ）、ＡＦ評価値生成回路７は、前回の焦点検出枠を設定する（Ｓ１２０）。そして、ＡＦ評価値生成回路７は、前回の焦点検出枠に基づいてＡＦ評価値を生成する（Ｓ１２１）。一方、被写体検出回路５が今回の検出で顔検出できずに終了し（Ｓ１１３のＮ）、かつ、前回の検出でも顔検出ができなかった場合（Ｓ１１５のＹ）は異なる焦点検出枠を設定する。即ち、この場合は、ＡＦ評価値生成回路７は、前回の焦点検出枠とは異なる新たな（又は既存の）焦点検出枠を設定し（Ｓ１１９）、当該新たな焦点検出枠に基づいてＡＦ評価値を生成する（Ｓ１２１）。これは、後者の場合には、被写体が検出対象領域にはいない可能性が高いのに対して、前者の場合には、被写体が検出対象領域にいる可能性が高いからである。そして、前者の場合、被写体が検出対象領域にいれば前回の焦点検出枠を維持した方がＡＦ制御は精度良くかつ効率的になる。一方、後者の場合に前回の焦点検出枠を維持することはＡＦ制御の精度を低下させる。このため、本実施例は、被写体の検出に失敗した場合、直前の被写体の検出が成功したかに応じて焦点検出枠の設定を異ならせ、そこから得られるＡＦ評価値に基づくＡＦ制御を異ならせ、ＡＦ制御を精度良くかつ効率的に行っている。

次に、図３乃至図５を参照して、Ｓ１１６における設定時間Ｓの設定方法について説明する。

図３（ａ）は被写体Ｓ１が正面を向き、短い演算時間で被写体Ｓ１の検出ができる画像データであり、図３（ｂ）は被写体Ｓ２が横を向き、複雑である程度時間かかる演算を要する画像データである。点線で示すＦ１、Ｆ２は図３（ａ）及び図３（ｂ）に示す画像データに基づいてＡＦ評価値生成回路７が設定可能な焦点検出枠の例である。なお、図３（ａ）及び図３（ｂ）はＡＦＥ３の出力である画像データであるため、実際には焦点検出枠Ｆ１、Ｆ２は設定されておらず、ＡＦ評価値生成回路７がその後に設定することになる。図３（ａ）及び図３（ｂ）に示す外枠は被写体検出回路５が被写体を検出するための検出対象領域である。被写体が検出対象領域ＯＦ内にいれば被写体検出回路５は被写体を検出可能である。

図４（ａ）は、図３（ａ）に示す画像データを取得し、被写体検出回路５が被写体検出処理を開始する画像データ取得タイミングと、被写体検出処理が完了したときの被写体検出タイミングを示すタイミングチャートである。図４（ｂ）は、図３（ｂ）に示す画像データを取得し、被写体検出回路５が被写体検出処理を開始する画像データ取得タイミングと、被写体検出処理が完了したときの被写体検出タイミングを示すタイミングチャートである。上述したように、図３（ａ）に示す画像データは、取得してから被写体を検出するまでの時間が短い。一方、図３（ｂ）に示す画像データは、取得してから被写体を検出するまでの時間が長い。

図４（ａ）及び図４（ｂ）において、画像データ取得タイミングは、１／６０秒ごとに更新され、順に、時刻ｔ０〜ｔ１０で示されている。即ち、時刻ｔ０と時刻ｔ１の間隔、時刻ｔ１と時刻ｔ２の間隔などは１／６０秒である。図４（ａ）において、時刻ｔ０で得られた画像データに対する被写体検出結果は時刻Ｔ１１に得られる。時刻ｔ１で得られた画像データに対する被写体検出結果は時刻Ｔ１２に得られる。図４（ｂ）においては、時刻ｔ０で得られた画像データに対する被写体検出結果は時刻Ｔ２１で得られる。時刻ｔ２で得られた画像データに対する被写体検出結果は時刻Ｔ２２で得られる。また、時刻Ｔ１４〜Ｔ１７と時刻Ｔ２２〜Ｔ２５の上に×印が付いているのは、被写体が検出できなかったことを意味する。

図４（ａ）に示す時刻ｔ３において被写体Ｓ１が検出されなかったとすると、図４（ａ）は被写体Ｓ１の検出処理時間が短い状況であるから、被写体Ｓ１が検出対象領域ＯＦからいなくなった可能性が高い。一方、図４（ｂ）に示す時刻ｔ２において被写体Ｓ２が検出されなかったとすると、図４（ｂ）は被写体Ｓ２の検出処理時間が長い状況であるから、被写体Ｓ２が検出限界を超えて横を向いてしまった可能性が高い。

図５は、Ｓ１１６における被写体が検出対象領域に存在するとみなす設定時間Ｓの設定方法を説明するためのフローチャートである。図５において、「Ｓ」はステップを意味する。Ｓ１１６は、上述したように、被写体検出回路５が今回の検出において被写体を検出しない場合で、かつ、メモリ６に保持された前回の検出において被写体検出回路５が被写体を検出した場合である。

まず、システム制御部１３は、メモリ６から前回（直前）までの検出に要した時間の検出時間履歴を読み出す（Ｓ５０１）。次に、システム制御部１３は、現在の状況が図４（ａ）に示すような検出時間が短い状況であるかどうかを判断する（Ｓ５０２）。システム制御部１３は、現在の状況が図４（ａ）に示すような検出時間が短い状況であると判断すると（Ｓ５０２）、設定時間Ｓを短く設定する、あるいは、短く設定された設定時間Ｓを維持する（Ｓ５０３）。一方、システム制御部１３は、現在の状況が図４（ｂ）に示すような検出時間が長い状況であると判断すると（Ｓ５０２）、設定時間Ｓを長く設定する、あるいは、長く設定された設定時間Ｓを維持する（Ｓ５０４）。

このように、システム制御部１３は、前回の検出の難易度が低ければ被写体が検出対象領域に存在するとみなす設定時間Ｓを短く設定し、前回の検出の難易度が高ければ設定時間Ｓを高く設定する。これは、設定時間Ｓを長く設定することによって、演算時間がかかる被写体を検出できる可能性が高くなるからである。

この場合、図２における次回の検出で、被写体検出回路５が被写体を検出しなくても（Ｓ１１３のＮ）、検出を開始してから設定時間Ｓが経過するまで（Ｓ１１５のＮ）は、ＡＦ評価値生成回路７は、前回の焦点検出枠を設定する（Ｓ１２０）。そして、ＡＦ評価値生成回路７は、前回の焦点検出枠に基づいてＡＦ評価値を生成する（Ｓ１２１）。これは、この期間は被写体が検出対象領域にいる可能性が高いからであり、ＡＦ制御の制度と効率を維持するためである。

なお、画像表示装置１２は、被写体検出回路５の検出結果を表示してもよい。この場合、被写体検出回路５が今回の検出において被写体を検出できずに終了した場合で、かつ、メモリ６に保持された前回の検出においても被写体を検出できなかった場合には、画像表示装置１２は被写体検出回路５の検出結果の表示を中止してもよい。これにより、被写体が検出対象領域からいなくなった場合に被写体検出回路５の検出結果の表示を中止することができる。

以上、本実施例によれば、被写体が検出対象領域にいると判断した場合には設定時間Ｓを長く設定して合焦動作を継続してＡＦ制御の効率化を図り、被写体が検出対象領域にいないと判断した場合には設定時間Ｓを短く設定して合焦動作を終了する。

以下、図６乃至図８を参照して、実施例２について説明する。図６は、実施例２のデジタルカメラ（撮像装置）のブロック図である。本実施例のデジタルカメラは、実施例１のデジタルカメラにマスク処理回路（マスク処理部）１７を更に有する点で相違し、その他は同様であるため、相違点のみを説明する。マスク処理回路１７は、複数の被写体が存在する場合に画像信号において複数の被写体の中で主要被写体以外の被写体を除去した状態で被写体検出回路５に供給する。

一般に、被写体検出技術は複数の被写体（顔）を検出可能である。その際、主要被写体が正面を向いていてもその他の被写体が横や下を向いていれば被写体検出の演算が複雑になって時間がかかるおそれがある。このため、マスク処理回路１７は、被写体検出回路５の検出結果とＡＦ評価値生成回路７の領域更新情報に応じて、主要被写体が検出されその他の被写体が検出されないようにＡＦＥ３からの画像データにマスクを施して被写体検出回路５に出力をする。この結果、主要被写体以外の被写体の状態の影響を受けなくなる。本実施例では、主要被写体を抽出するための領域（画像データから除去されない領域）をマスク領域と呼ぶ。

図７は、本実施例のＡＦ評価値生成方法のフローチャートである。図７において、「Ｓ」はステップを意味し、図２と同様の動作については同様の参照符号を付してその説明を省略する。Ｓ１０１の後でＳ１０２が行われ、Ｓ１０２においてＮＯの場合のフローは図２と同様である。システム制御部１３は、ＡＦ評価値生成回路７に既に設定された焦点検出枠があると判断した場合（Ｓ１０２）、マスク処理回路１７がマスク処理を施し、被写体検出回路５が被写体検出処理を行う（Ｓ１３０）。Ｓ１３０の後はＳ１１１に移行し、それ以降は図２に示すフローと同様である。

図８は、Ｓ１３０における処理の詳細を説明するためのフローチャートである。

まず、被写体検出回路５が検出対象領域を画像データの全領域として被写体検出を行う（Ｓ７０１）。次に、システム制御部１３は、内部タイマが所定時間を計時するまで待機する（Ｓ７０２）。次に、システム制御部１３は、被写体検出回路５が検出した被写体の人数が１人であるかどうかを判断し（Ｓ７０３）、人数が１人でないと判断すれば（Ｓ７０３）、０人であるかどうかを判断する（Ｓ７０４）。システム制御部１３は、人数が０人であると判断すると（Ｓ７０４）、再び検出対象領域を画像データの全領域として被写体検出処理を開始するためにＳ７０１へ帰還する。

一方、システム制御部１３は、人数が０人でないと判断すると（Ｓ７０４）、被写体は２人以上いることになるので、その中から主要被写体として１人を選択する（Ｓ７０５）。本実施例では、システム制御部１３は、検出された被写体の位置とサイズから、より画像データの中央に近くサイズが大きいものを主要被写体として選択するが、他の基準を用いてもよい。システム制御部１３は、被写体検出回路５が検出した被写体の人数が１人であると判断した場合（Ｓ７０３）又はＳ７０５の後で、マスク領域を設定する（Ｓ７０６）。

次に、システム制御部１３は、マスク処理回路１７に、設定されたマスク領域に合わせてマスク信号を発生させる（Ｓ７０７）。次に、被写体検出回路５は、検出対象領域をマスク領域として被写体検出処理を開始する（Ｓ７０８）。次に、システム制御部１３は、内部タイマが所定時間を計時するまで待機する（Ｓ７０９）。

次に、システム制御部１３は、被写体検出回路５が検出した被写体の人数が１人であるかどうかを判断し（Ｓ７１０）、人数が１人でないと判断すれば（Ｓ７１０）、０人であるかどうかを判断する（Ｓ７１１）。システム制御部１３は、人数が０人であると判断すると（Ｓ７１１）、被写体がいなくなってしまった可能性があるため、ＡＦ評価値生成回路７からの領域更新情報を更新すべきかどうかを判断する（Ｓ７１２）。システム制御部１３は、被写体が検出対象領域からいなくなり、領域更新情報を更新すべきと判断した場合には（Ｓ７１２）、Ｓ７０１に帰還する。一方、システム制御部１３は、いなくなったと判断せずに更新する必要がないと判断した場合には（Ｓ７１２）、再び同じ検出対象領域をマスク領域として被写体検出処理を開始するためにＳ７０８に帰還する。

一方、システム制御部１３は、人数が０人でないと判断すると（Ｓ７１１）、被写体は２人以上いることになるので、その中から主要被写体として１人を選択する（Ｓ７１３）。Ｓ７１３における主要被写体の選択基準はＳ７０５と同様である。システム制御部１３は、被写体検出回路５が検出した被写体の人数が１人であると判断した場合（Ｓ７１０）又はＳ７１３の後で、マスク領域を設定する（Ｓ７１４）。

図９は、Ｓ７０６とＳ７１４におけるマスク処理回路１７によるマスク領域の設定方法を説明するためのフローチャートである。まず、マスク処理回路１７は、被写体検出回路５から得られる被写体のサイズをｍ倍する（Ｓ８０１）。次に、マスク処理回路１７は、被写体検出回路５から得られた被写体の位置とＳ８０１でｍ倍されたサイズに応じたマスク信号の発生タイミングを生成する（Ｓ８０２）。次に、マスク処理回路１７は、Ｓ８０２で生成したマスク信号の発生タイミングを保持する（Ｓ８０３）。

なお、本実施例は、主要被写体を１人に設定したが、複数の主要被写体が存在する場合に、マスク領域も複数にし、メモリ６は被写体検出回路５の検出結果とパラメータ（検出時間や検出精度）の履歴を主要被写体毎に保持する。これにより、各主要被写体が検出対象領域からいなくなったという判断を適切に行うことができる。

また、精度良く主要被写体の検出時間を抽出するために、検出時間が短い状況ではマスク領域を狭めてもよい。また、ＡＦ評価値生成回路７が焦点検出枠を維持している時間（即ち、焦点検出枠に関する領域情報が更新されない時間）に応じて、マスク処理回路１７はマスク領域を徐々に広げ、被写体がマスク領域から外れてしまう可能性を減らすことができる。

以上、説明したように、マスク処理された画像データから被写体検出を行うことによって、主要被写体のみの検出処理時間が抽出できるようになり、主要被写体が検出対象領域からいなくなったという判断を適切に行うことができる。なお、上述のＡＦ評価値生成部７が焦点検出枠を設定し、ＡＦ評価値を生成しているが、撮像状態検出領域の設定と評価値の生成又は取得を別の部材が行ってもよい。

実施例１のデジタルカメラ（撮像装置）のブロック図である。 実施例１のＡＦ評価値生成方法を説明するためのフローチャートである。 図１に示すＡＦＥが生成する画像データの一例である。 図３に示す画像データを取得して被写体検出処理を開始するタイミングと、被写体検出処理が完了したときのタイミングを表す図である。 図２に示すＳ１１６の詳細を説明するためのフローチャートである。 実施例２のデジタルカメラ（撮像装置）のブロック図である。 実施例２のＡＦ評価値生成方法を説明するためのフローチャートである。 図７に示すＳ１３０の処理の詳細を説明するためのフローチャートである。 図８に示すＳ７０６とＳ７１４におけるマスク領域の設定方法を説明するためのフローチャートである。

符号の説明

２ 撮像素子
５ 被写体検出回路
６ メモリ
７ ＡＦ評価値生成回路
８ 信号処理回路
１３ システム制御部
１７ マスク処理回路

Claims (10)

1. 画像信号から被写体を検出する被写体検出部と、
   前記被写体検出部の検出結果を保持するメモリと、
   前記被写体検出部の検出結果に基づいて撮像状態検出領域を設定し、前記撮像状態検出領域に基づいて前記画像信号における撮像状態を表す評価値を生成する評価値生成部と、
   前記被写体検出部が今回の検出において前記被写体を検出しない場合で、かつ、前記メモリに保持された前回の検出において前記被写体検出部が前記被写体を検出した場合に、前記評価値生成部は、前記前回の検出において設定された撮像状態検出領域から前記評価値を生成し、
   前記被写体検出部が今回の検出において前記被写体を検出できずに終了した場合で、かつ、前記メモリに保持された前回の検出においても前記被写体検出部が前記被写体を検出できなかった場合に、前記評価値生成部は、前回の検出において設定された撮像状態検出領域とは異なる新たな撮像状態検出領域を設定し、当該新たな撮像状態検出領域に基づいて前記評価値を生成することを特徴とする撮像装置。
2. 前記撮像状態検出領域は、焦点調節のための評価値を生成するための焦点検出領域であり、
   前記撮像状態は、前記被写体のコントラストであることを特徴とする請求項１に記載の撮像装置。
3. 前記撮像状態検出領域は、露出制御のための評価値を生成するための露出検出領域であり、
   前記撮像状態は、露光量であることを特徴とする請求項１に記載の撮像装置。
4. 前記メモリは、前記被写体検出部による検出の難易度を表すパラメータの履歴を更に保持し、
   前記撮像装置は、
   前記被写体検出部が今回の検出において前記被写体を検出しない場合で、かつ、前記メモリに保持された前回の検出において前記被写体検出部が前記被写体を検出したと判断した場合に、前記前回の検出の難易度が低ければ前記被写体が検出対象領域に存在するとみなす設定時間を短く設定し、前記前回の検出の難易度が高ければ前記設定時間を高く設定する制御部を更に有し、
   前記評価値生成部は、次回の検出において、前記被写体検出部が前記被写体を検出しない場合でも前記被写体検出部が検出を開始してから前記制御部が設定した設定時間が経過するまでは前回の検出において設定された前記撮像状態検出領域に基づいて前記評価値を生成することを特徴とする請求項１に記載の撮像装置。
5. 前記パラメータは、前記被写体検出部が前記被写体の検出に要した検出時間であることを特徴とする請求項４に記載の撮像装置。
6. 前記パラメータは、前記被写体検出部が前記被写体を検出する際の検出精度であることを特徴とする請求項４に記載の撮像装置。
7. 複数の被写体が存在する場合に前記画像信号において当該複数の被写体の中で主要被写体以外の被写体を除去した状態で前記被写体検出部に供給するマスク処理部を更に有することを特徴とする請求項１〜７のうちいずれか一項に記載の撮像装置。
8. 複数の主要被写体が存在する場合に、前記メモリは前記被写体検出部の検出結果を前記主要被写体ごとに保持することを特徴とする請求項７に記載の撮像装置。
9. 前記マスク処理部は、前記被写体検出部による検出の難易度が低くなるにつれて前記主要被写体を抽出する領域を狭めることを特徴とする請求項７に記載の撮像装置。
10. 前記評価値生成部が撮像状態検出領域を維持している時間に応じて、前記マスク処理部は前記主要被写体を抽出する領域を徐々に広げることを特徴とする請求項７に記載の撮像装置。