JP2013213875A

JP2013213875A - 焦点調節装置、撮像装置、及び焦点調節プログラム

Info

Publication number: JP2013213875A
Application number: JP2012083243A
Authority: JP
Inventors: Itsuhito Hokoi; 逸人鉾井
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2012-03-30
Filing date: 2012-03-30
Publication date: 2013-10-17

Abstract

【課題】合焦の精度を高めることができる焦点調節装置、撮像装置、及び焦点調節プログラムを提供する。
【解決手段】焦点調節装置１９１は、画像に対して第１の領域を設定する第１の領域設定部１９２と、前記第１の領域設定部１９２により設定された前記第１の領域より大きい第２の領域を前記画像に対して設定する第２の領域設定部１９３と、前記第２の領域設定部１９３により設定された前記第２の領域を使用して求められるＡＦ評価値に基づいて焦点を調節する焦点調節部１９４と、を備える。
【選択図】図１

Description

本発明は、光学系の焦点を調節する焦点調節装置、撮像装置、及び焦点調節プログラムに関する。

画像における被写体形状の変化に合わせてＡＦ測距枠の形状を変える撮像装置が開示されている（特許文献１参照。）。

特開２００９−６９７４８号公報

しかしながら、特許文献１に開示された撮像装置は、例えば画像の輝度が低いときなどに、合焦の精度を高めることができなかった。

本発明は、前記の点に鑑み為されたものであり、合焦の精度を高めることができる焦点調節装置、撮像装置、及び焦点調節プログラムを提供することを目的とする。

本発明は、上記の課題を解決するためになされたものであり、画像に対して第１の領域を設定する第１の領域設定部と、前記第１の領域設定部により設定された前記第１の領域より大きい第２の領域を前記画像に対して設定する第２の領域設定部と、前記第２の領域設定部により設定された前記第２の領域を使用して求められるＡＦ評価値に基づいて焦点を調節する焦点調節部と、を備えることを特徴とする焦点調節装置である。

また、本発明は、画像に対して第１の領域を設定する第１の領域設定部と、前記第１の領域設定部により設定された前記第１の領域に基づいて複数の画像フレームに対して第２の領域を設定する第２の領域設定部と、前記第２の領域設定部により前記複数の画像フレームに対して設定された前記第２の領域を使用して求められるＡＦ評価値に基づいて焦点を調節する焦点調節部と、を備えることを特徴とする焦点調節装置である。

また、本発明は、光学系による像を撮像し、撮像した画像を出力する撮像部と、焦点調節装置と、を備えることを特徴とする撮像装置である。

また、本発明は、コンピュータに、画像に対して第１の領域を設定する手順と、前記設定された前記第１の領域より大きい第２の領域を前記画像に対して設定する手順と、前記設定された前記第２の領域を使用して求められるＡＦ評価値に基づいて焦点を調節する手順と、を実行させるための焦点調節プログラムである。

また、本発明は、コンピュータに、画像に対して第１の領域を設定する手順と、前記設定された前記第１の領域に基づいて複数の画像フレームに対して第２の領域を設定する手順と、前記複数の画像フレームに対して設定された前記第２の領域を使用して求められるＡＦ評価値に基づいて焦点を調節する手順と、を実行させるための焦点調節プログラムである。

本発明によれば、焦点調節装置、撮像装置、及び焦点調節プログラムは、合焦の精度を高めることができる。

本発明の実施形態に係るレンズ鏡筒１１１と、焦点調節装置１９１を備える撮像装置１００と、記憶媒体２００の構成を示す概略ブロック図である。マスクの拡大の一例を示す図である。マスクの拡大を行う場合における焦点調節装置１９１により行われる処理の手順の一例を表すフローチャートである。ＡＦ評価ウインドウの拡大の一例を示す図である。ＡＦ評価ウインドウの拡大を行う場合における焦点調節装置１９１により行われる処理の手順の一例を表すフローチャートである。マスクの結合の一例を示す図である。マスク領域の結合を行う場合における焦点調節装置１９１により行われる処理の手順の一例を表すフローチャートである。３つの異なるＡＦ評価ウインドウ１、２、３について、各ＡＦ評価ウインドウ１、２、３によるコントラストスキャン処理時のＡＦ評価値の例を示す図である。ＡＦ評価値を算出する対象とする複数の画像フレームの設定の一例を示す図である。複数（Ｎ枚）の画像フレームのそれぞれについて算出されたＡＦ評価値１〜Ｎを平均する例を示す図である。複数（Ｎ枚）の画像フレームについてのＡＦ評価値の平均値を使用する場合における焦点調節装置１９１により行われる処理の手順の一例を表すフローチャートである。複数（Ｎ枚）の画像フレームについてのＡＦ評価値の平均値を使用する場合における焦点調節装置１９１により行われる処理の手順の一例を表すフローチャートである。焦点調節時におけるフォーカスポジションの駆動の一例を示す図である。（ａ）は通常時のコントラストスキャン処理の場合におけるＡＦ評価値のサンプルの例を示す図であり、（ｂ）は低輝度時のコントラストスキャン処理の場合におけるＡＦ評価値のサンプルの例を示す図である。顔の結合の一例を示す図である。複数（Ｎ枚）の画像フレームのそれぞれについて算出されたＡＦ評価値１〜Ｎを平均する例を示す図である。顔の結合及び複数（Ｎ枚）の画像フレームについてのＡＦ評価値の平均値を使用する場合における焦点調節装置１９１により行われる処理の手順の一例を表すフローチャートである。顔の結合及び複数（Ｎ枚）の画像フレームについてのＡＦ評価値の平均値を使用する場合における焦点調節装置１９１により行われる処理の手順の一例を表すフローチャートである。

［第１実施形態］
本発明の第１実施形態について図面を参照して詳細に説明する。
図１には、レンズ鏡筒１１１と、焦点調節装置１９１を備える撮像装置１００と、記憶媒体２００との構成がブロック図で示されている。撮像装置１００は、レンズ鏡筒１１１から入射される光学像を撮像し、得られた画像を静止画又は動画の画像として、記憶媒体２００に記憶させる。

まず、レンズ鏡筒１１１の構成を説明する。
レンズ鏡筒１１１は、焦点調整レンズ（以下、「ＡＦ（ＡｕｔｏＦｏｃｕｓ）レンズ」という）１１２と、レンズ駆動部１１６と、ＡＦエンコーダ１１７と、鏡筒制御部１１８を備える。なお、レンズ鏡筒１１１は、撮像装置１００に着脱可能に接続されてもよいし、撮像装置１００と一体であってもよい。

ＡＦレンズ１１２は、レンズ駆動部１１６により駆動され、後述する撮像部１１０の撮像素子１１９の受光面（光電変換面）に、光学像を導く。

ＡＦエンコーダ１１７は、ＡＦレンズ１１２の移動を検出し、ＡＦレンズ１１２の移動量に応じた信号を、鏡筒制御部１１８に出力する。ここで、ＡＦレンズ１１２の移動量に応じた信号とは、例えば、ＡＦレンズ１１２の移動量に応じて位相が変化するサイン（ｓｉｎ）波信号であってもよい。

鏡筒制御部１１８は、撮像装置１００の焦点調節装置１９１から入力される駆動制御信号に応じて、レンズ駆動部１１６を制御する。ここで、駆動制御信号とは、ＡＦレンズ１１２を光軸方向に駆動させる制御信号である。鏡筒制御部１１８は、駆動制御信号に応じて、例えば、レンズ駆動部１１６に出力するパルス電圧のステップ数やパルスレートを変更する。

また、鏡筒制御部１１８は、ＡＦレンズ１１２の移動量に応じた信号に基づいて、レンズ鏡筒１１１におけるＡＦレンズ１１２の位置（フォーカスポジション）を、焦点調節装置１９１に出力する。ここで、鏡筒制御部１１８は、例えば、ＡＦレンズ１１２の移動量に応じた信号を、ＡＦレンズ１１２の移動方向に応じて積算することで、レンズ鏡筒１１１におけるＡＦレンズ１１２の移動量（位置）を算出してもよい。

レンズ駆動部１１６は、鏡筒制御部１１８の制御に応じてＡＦレンズ１１２を駆動し、ＡＦレンズ１１２をレンズ鏡筒１１１内で光軸方向に移動させる。

ここで、本実施形態では、レンズ駆動部１１６はステッピングモーター（ＳＴＭ）を用いて構成されている。また、鏡筒制御部１１８は、そのステッピングモーター（ＳＴＭ）を制御するコントローラ（ＳＴＭＣ）の機能を有している。そして、鏡筒制御部１１８は、レンズ駆動部１１６に出力するパルス電圧のステップ数を変更することで、レンズ駆動部１１６の移動距離（ＡＦレンズ１１２の移動距離）を変更することができ、また、レンズ駆動部１１６に出力するパルス電圧のパルスレートを変更することで、レンズ駆動部１１６の移動速度（ＡＦレンズ１１２の移動速度）を変更することができる。

次に、撮像装置１００の構成を説明する。
撮像装置１００は、撮像部１１０と、画像処理部１４０と、表示部１５０と、バッファメモリ部１３０と、操作部１８０と、記憶部１６０と、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１９０と、通信部１７０と、焦点調節装置１９１と、告知部２１３とを備える。告知部１２３は、音出力部２１１と、光出力部２１２とを備える。

撮像部１１０は、撮像素子１１９と、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部１２０とを備える。撮像部１１０は、設定された撮像条件（例えば絞り値、露出値等）に従って、ＣＰＵ１９０により制御される。

撮像素子１１９は、光電変換面を備え、レンズ鏡筒１１１（光学系）により光電変換面に結像された光学像を電気信号に変換して、Ａ／Ｄ変換部１２０に出力する。撮像素子１１９は、例えば、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）で構成されていてもよい。また、撮像素子１１９は、光電変換面の一部の領域について、光学像を電気信号に変換するようにしてもよい（画像切り出し）。

また、撮像素子１１９は、操作部１８０を介してユーザからの撮影指示を受け付けた際に得られる画像を、Ａ／Ｄ変換部１２０を介して記憶媒体２００に記憶させる。つまり、画像を撮像する。
一方、撮像素子１１９は、操作部１８０を介してユーザからの撮影指示を受け付けていない状態において、連続的に得られる画像をスルー画像として、焦点調節装置１９１及び表示部１５０に、Ａ／Ｄ変換部１２０を介して出力する。

Ａ／Ｄ変換部１２０は、撮像素子１１９によって変換された電気信号をデジタル化して、デジタル信号である画像をバッファメモリ部１３０に出力する。

操作部１８０は、例えば、電源スイッチ、シャッタボタン、マルチセレクタ（十字キー）、又はその他の操作キーを備え、ユーザによって操作されることでユーザの操作入力を受け付け、操作入力に応じた信号をＣＰＵ１９０や焦点調節装置１９１に出力する。

ここで、本実施形態では、シャッタボタンが押される状態として、半分程度押された状態（半押しの状態）と、全部押された状態（全押しの状態）がある。シャッタボタンが半押しの状態は、ユーザからの撮影指示を受け付けていない状態であり、そして、シャッタボタンが全押しの状態になったときに、ユーザからの撮影指示を受け付けたと判断する。
基本的には、シャッタボタンが半押しの状態になると、ＡＦの処理を行うことでＡＦレンズ１１２の焦点を合わせるように当該ＡＦレンズ１１２の位置を調整し、そして、シャッタボタンが全押しの状態になると、画像を撮像する。この場合、通常は、シャッタボタンが半押しの状態から全押しの状態になったときには、シャッタボタンが半押しの状態であるときに調整されたＡＦレンズ１１２の位置で画像を撮像するが、本実施形態では、シャッタボタンが全押しの状態になってから、ＡＦの処理を行う構成が用いられてもよい。

なお、本実施形態では、１つのシャッタボタンが半押しの状態と全押しの状態といった２つの状態にされる構成としたが、他の例として、これに関して２つのボタンを備えて、第１のボタンのみが押された状態で前記した半押しの状態における動作を行い、第２のボタンが押された状態（第１のボタンは押されていてもいなくてもよい）で前記した全押しの状態における動作を行う構成とすることも可能である。

また、本実施形態では、１つのシャッタボタンが押されていない状態から半押しの状態と全押しの状態といった２つの状態にされる構成を示すが、他の例として、シャッタボタンについてこのような２つの状態を設けずに、シャッタボタンが押された状態と押されていない状態のみを設けて、シャッタボタンが押された状態になると、ＡＦの処理を行うことでＡＦレンズ１１２の焦点を合わせるように当該ＡＦレンズ１１２の位置を調整し、続いて、画像を撮像するといった構成を用いることも可能である。

画像処理部１４０は、記憶部１６０に記憶されている画像処理条件に基づいて、バッファメモリ部１３０に一時的に記憶されている画像を画像処理する。そして、画像処理された画像は、通信部１７０を介して記憶媒体２００に記憶される。

表示部１５０は、例えば液晶ディスプレイであって、撮像部１１０によって得られた画像、及び操作画面等を表示する。

バッファメモリ部１３０は、撮像部１１０によって撮像された画像を、一時的に記憶する。

記憶部１６０は、シーン判定の際にＣＰＵ１９０によって参照される判定条件や、シーン判定によって判断されたシーン毎に対応付けられた撮像条件等を記憶する。

ＣＰＵ１９０は、設定された撮像条件（例えば絞り値、露出値等）に従って撮像部１１０を制御する。また、ＣＰＵ１９０は、操作部１８０から入力された「操作入力に応じた信号」に基づいて、静止画又は動画として、画像処理部１４０に画像を画像処理させる。

通信部１７０は、カードメモリ等の取り外しが可能な記憶媒体２００と接続され、この記憶媒体２００への情報（画像データなど）の書込み、読み出し、或いは消去を行う。

記憶媒体２００は、撮像装置１００に対して着脱可能に接続される記憶部であって、情報（画像データなど）を記憶する。なお、記憶媒体２００は、撮像装置１００と一体であってもよい。

音出力部２１１は、撮像装置１００の動作状態や設定に関する情報等を音により出力する。例えば、音出力部２１１は、スピーカーを備えており、撮像装置１００における、シャッター音、警告音等の通知音、又は操作音などを、当該スピーカーから出力する。なお、音出力部２１１は、スピーカーを備えている構成に限らず、ブザー音を出力するブザー等を備えている構成であってもよい。

光出力部２１２は、例えば、ＬＥＤ（ＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）から構成されており、光を出力する。また、光出力部２１２は、点滅光を出力することもできる。

次に、焦点調節装置１９１の詳細について説明する。
焦点調節装置１９１は、第１の領域設定部１９２と、第２の領域設定部１９３と、焦点調節部１９４と、告知制御部１９７とを備える。告知制御部１９７は、音出力制御部１９５と、光出力制御部１９６とを備える。なお、本実施形態では、告知制御部１９７（音出力制御部１９５、光出力制御部１９６）については備えられなくてもよく、これは他の実施形態で説明するものである。

第１の領域設定部１９２は、撮像素子１１９からＡ／Ｄ変換部１２０を介して入力されたスルー画像に対して、ＡＦ評価値を算出する対象とするマスク領域（以下で、第１マスク領域という）や、ＡＦ評価値を算出する範囲を特定する枠であるＡＦ評価ウインドウ（以下で、第１ＡＦ評価ウインドウという）を設定する。

ここで、第１の領域設定部１９２は、例えば、画像を構成する各画素の特徴量を算出し、同じ特徴量を有する画素が連続（或いは、近接）する領域を第１マスク領域として設定する。他の例として、第１の領域設定部１９２は、差異が所定の範囲内である特徴量を有する画素が連続（或いは、近接）する領域を第１マスク領域として設定してもよい。
このような第１マスク領域は、各画素にラベル（例えば、番号などの識別子）をグループ特性として付加するラベリング処理により抽出することができる。

具体例として、輝度成分Ｙ及び色差成分Ｃｂ、Ｃｒのうちの輝度成分Ｙの値を特徴量とし、同じ輝度成分Ｙの値（一例として、１２８）を有する連続領域を第１マスク領域として設定することや、或いは、輝度成分Ｙの値が所定の範囲内（一例として、１２８±３０の範囲内）にある連続領域を第１マスク領域として設定することができる。
なお、特徴量としては、輝度成分Ｙに限られず、色差成分Ｃｂ、色差成分Ｃｒ、赤成分Ｒ、緑成分Ｇ、青成分Ｂ、色相、彩度、明度などのように、様々なものの１種類以上が用いられてもよい。

また、第１の領域設定部１９２は、例えばラベリング処理により複数のマスク領域が抽出される場合には、各マスク領域に優先度を設定する。そして、第１の領域設定部１９２は、これら複数のマスク領域の中で、優先度が最も高いマスク領域をＡＦ評価値を算出する対象（第１マスク領域）として設定する。優先度が最も高いマスク領域は、主要な被写体であると想定される。

なお、優先度は、様々な手法で設定されてもよく、例えば、各マスク領域について、位置、形状、かたまり度（慣性モーメント）、大きさ、異質度、違和感などの評価結果に基づいて設定することができる。一例として、最も至近に位置すると判定されるマスク領域に最も高い優先度を設定することができる。また、例えば、同じ距離の位置に存在すると判定される２つ以上のマスク領域があって、２つ以上のマスク領域の優先度が同等になるような場合には、より大きいマスク領域の優先度を高くするなどの任意の手法で、優先度が異ならされてもよい。

また、第１の領域設定部１９２は、例えば、ラベリング処理により抽出されたマスク領域が有効なものであるか否かを判定して、有効なものであると判定されたマスク領域のみを使用することもできる。抽出されたマスク領域が有効なものであるか否かを判定する手法としては、様々なものが用いられてもよく、一例として、所定の数より多い数の画素から構成されるマスク領域のみを有効なものであると判定することができる。

また、第１の領域設定部１９２は、ＡＦ評価値を算出する対象として設定した第１マスク領域に対して、第１ＡＦ評価ウインドウを設定する。
ここで、第１ＡＦ評価ウインドウとしては、様々な手法で設定されてもよく、本実施形態では、ＡＦ評価値を算出する対象として設定した第１マスク領域の境界（外周）を含むように設定する。

第２の領域設定部１９３は、第１の領域設定部１９２によりＡＦ評価値を算出する対象として設定された第１マスク領域について、当該第１マスク領域に含まれる画素の輝度成分Ｙの値に基づいて、所定の判定条件により画像の輝度が低いか否かを判定する。

ここで、この所定の判定条件としては、様々なものが用いられてもよく、例えば、ＡＦ評価値を算出する対象として設定された第１マスク領域に含まれる画素の輝度成分Ｙの平均値又は最大値又は最小値が所定の閾値より小さい場合に、画像の輝度が低いと判定する判定条件を用いることができる。
この所定の閾値としては、例えば、輝度に関する値（前記の例では、第１マスク領域に含まれる画素の輝度成分Ｙの平均値又は最大値又は最小値）とＡＦ評価値のＳ／Ｎ比（ＳｉｇｎａｌｔｏＮｏｉｓｅＲａｔｉｏ）との対応関係に基づいて、光学系の焦点を合焦状態に調節するために最低限必要と想定される輝度に関する値が予め設定される。このような対応関係は、経験上或いは測定やシミュレーションにより知ることができる。

また、前記した所定の判定条件として、画像の輝度が低いか否かを判定するとともに、図１に示されるレンズ鏡筒１１１及び撮像装置１００の露光量（カメラの露光量）が所定の閾値以上であるか否かを判定する条件を用いることもできる。具体的には、レンズ鏡筒１１１及び撮像装置１００の露光量（カメラの露光量）が所定の閾値以上であるにもかかわらず、画像の輝度が低いと判定された場合に、所定の判定条件を満たすと判定することができる。この構成では、画像の輝度が低いと判定しても、レンズ鏡筒１１１及び撮像装置１００の露光量（カメラの露光量）が所定の閾値未満である場合（低い場合）には、所定の条件を満たさないと判定することができる。なお、この所定の閾値としては、任意の値が設定されてもよい。
また、前記した輝度に関する値の閾値と、前記した露光量の値との対応関係を予め設定しておいて、露光量の値に応じて前記した輝度に関する値の閾値を変更することも可能である。

そして、第２の領域設定部１９３は、第１の領域設定部１９２によりＡＦ評価値を算出する対象として設定された第１マスク領域について、所定の判定条件により画像の輝度が低いと判定した場合には、第１の領域設定部１９２により設定された第１マスク領域より大きいマスク領域（以下で、第２マスク領域という）を、ＡＦ評価値を算出する対象として、設定する。また、第２の領域設定部１９３は、設定した第２マスク領域に対して、ＡＦ評価ウインドウ（以下で、第２ＡＦ評価ウインドウという）を設定する。

ここで、第２の領域設定部１９３が第２マスク領域や第２ＡＦ評価ウインドウを設定する手法としては、第１の領域設定部１９２が第１マスク領域や第１ＡＦ評価ウインドウを設定する手法と同様なものを用いることができる。
この場合に、第２の領域設定部１９３は、例えば、第１の領域設定部１９２が同じ特徴量（一例として、Ｙ＝１２８）を有する画素が連続する領域を第１マスク領域として設定している場合には、当該特徴量に対して差異が所定の範囲内である特徴量（一例として、Ｙ＝１２８±１０）を有する画素が連続する領域を第２マスク領域として設定する。他の例として、第２の領域設定部１９３は、第１の領域設定部１９２が差異が所定の範囲内である特徴量（一例として、Ｙ＝１２８±３０）を有する画素が連続する領域を第１マスク領域として設定している場合には、この所定の範囲の幅を広げて、差異が所定の範囲（幅が広がった範囲：一例として、Ｙ＝１２８±５０）内である特徴量を有する画素が連続する領域を第２マスク領域として設定する。これらでは、例えば、ラベリング処理するときに画素を連結する特徴量の幅が広がることで、第２マスク領域の大きさが第１マスク領域の大きさ以上となる。

また、他の例として、第２の領域設定部１９３は、第１の領域設定部１９２が第１マスク領域を設定したときに使用した特徴量とは異なる種類の特徴量を使用して第２マスク領域を設定することで、第２マスク領域を第１マスク領域より大きくすることも可能である。具体例として、第１の領域設定部１９２が輝度成分Ｙを使用して第１マスク領域を設定した場合に、第２の領域設定部１９３が、第２マスク領域を第１マスク領域より大きくすることができる他の特徴量（例えば、色差成分Ｃｂ、色差成分Ｃｒ、赤成分Ｒ、緑成分Ｇ、青成分Ｂ、色相、彩度、明度など）を使用して、例えば、第１の領域設定部１９２とは使用する特徴量が異なるラベリング処理により、第２マスク領域を設定することができる。

また、他の例として、第２の領域設定部１９３は、第１の領域設定部１９２により設定された第１マスク領域に対して、当該第１マスク領域を予め設定された所定の倍率（比率）で大きくしたものを第２マスク領域として設定することができる。この所定の倍率としては、任意の値を用いることができる。また、第１マスク領域を所定の倍率で大きくするときの中心点としては、例えば、第１マスク領域に外接する枠の中心点などを用いることができる。また、他の例として、所定の倍率でマスク領域を拡大する処理の代わりに、予め設定された所定の量だけマスク領域を拡大する処理を用いることもできる。

なお、第１マスク領域より第２マスク領域の方が大きくなることで、通常、第１ＡＦ評価ウインドウより第２ＡＦ評価ウインドウの方が大きくなるように設定される。
また、例えば、第１マスク領域を予め設定された所定の倍率で或いは所定の量だけ大きくしたものを第２マスク領域として設定する場合には、ＡＦ評価ウインドウについても同様に、第１ＡＦ評価ウインドウを予め設定された所定の倍率で或いは所定の量だけ大きくしたものを第２ＡＦ評価ウインドウとして設定することもできる。

また、本実施形態では、ＡＦ評価値を算出する対象として設定された第１マスク領域について、所定の判定条件により画像の輝度が低いか否かを判定するが、他の例として、２つ以上のマスク領域について、所定の判定条件により画像の輝度が低いか否かを判定してもよい。また、他の例として、画像の全体や、或いは、ＡＦ評価値を算出する対象として設定された第１マスク領域を画像の全体から除いた部分（つまり、当該第１マスク領域の周囲の環境の領域：撮影環境の領域）について、所定の判定条件により画像の輝度が低いか否かを判定してもよい。また、他の例として、第１マスク領域の代わりに、第１ＡＦ評価ウインドウ或いは予め設定された他の所定の領域に含まれる画素の値に基づいて、所定の判定条件により画像の輝度が低いか否かを判定する構成が用いられてもよい。
また、本実施形態では、輝度成分Ｙの値を用いて画像の輝度が低いか否かを判定するが、他の例として、輝度成分Ｙの代わりに、明度（Ｌ値）や、照度などが用いられてもよい。

また、他の例として、画像の輝度が低いか否かをユーザにより判断する構成を用いることもできる。具体例として、ユーザが操作部１８０に対して所定の操作を行ったことを検出した場合には、画像の輝度が低いと判定する一方、このような操作が行われなかった場合には、画像の輝度が低くないと判定することができる。つまり、ユーザの操作により、画像の輝度が低いモードと、それ以外のモードとで切り替えることができる。

また、他の例として、本実施形態に係る撮像装置１００或いはレンズ鏡筒１１１に測光センサを設けて、当該測光センサにより検出した光の輝度が低いか否かを所定の判定条件により判定し、その判定結果に応じて、本実施形態と同様な動作を行うこともできる。この所定の判定条件としては、例えば、本実施形態と同様に、閾値を使用する判定条件を用いることができる。

焦点調節部１９４は、第２の領域設定部１９３によって、第１の領域設定部１９２によりＡＦ評価値を算出する対象として設定された第１マスク領域について、所定の判定条件により画像の輝度が低いと判定されなかった場合には、第１の領域設定部１９２により設定された第１ＡＦ評価ウインドウに基づいてＡＦ評価値を算出することとし、算出したＡＦ評価値に基づいて光学系の焦点を合焦状態になるように調節するコントラストスキャン処理を実行する。本実施形態では、このコントラストスキャン処理は、通常時（本実施形態において低輝度ではないと判定したとき）のコントラストスキャン処理となる。

一方、焦点調節部１９４は、第２の領域設定部１９３によって、第１の領域設定部１９２によりＡＦ評価値を算出する対象として設定された第１マスク領域について、所定の判定条件により画像の輝度が低いと判定された場合には、第２の領域設定部１９３により設定された第２ＡＦ評価ウインドウに基づいてＡＦ評価値を算出することとし、算出したＡＦ評価値に基づいて光学系の焦点を合焦状態になるように調節するコントラストスキャン処理を実行する。

ここで、コントラストスキャン処理では、焦点調節部１９４は、レンズ鏡筒１１１の鏡筒制御部１１８との間で通信して、ＡＦレンズ１１２の位置を移動させて、撮像素子１１９により得られる画像に基づいて、ＡＦレンズ１１２の各位置でＡＦ評価値を算出し、算出したＡＦ評価値が最大（ピーク）となるＡＦレンズ１１２の位置を合焦位置として調節する。
なお、焦点調節部１９４とレンズ鏡筒１１１の鏡筒制御部１１８との間の通信としては、焦点調節部１９４から鏡筒制御部１１８へ駆動制御信号を送信することや、鏡筒制御部１１８から焦点調節部１９４へレンズ鏡筒１１１におけるＡＦレンズ１１２の位置（フォーカスポジション）を送信することが行われる。

また、ＡＦ評価値としては、使用するＡＦ評価ウインドウ内（本実施形態では、第１ＡＦ評価ウインドウ内、又は、第２ＡＦ評価ウインドウ内）のコントラストの強弱を示す値が用いられる。具体例として、使用するＡＦ評価ウインドウ内の画素領域における画素の値について、予め決められたウインドウ（本実施形態では、使用するＡＦ評価ウインドウ）で予め決められた係数による空間フィルタを行ったときの結果値を当該ウインドウ内で積算した値を、ＡＦ評価値として用いることができる。なお、画素の値としては、例えば、輝度成分Ｙ、色差成分Ｃｂ、色差成分Ｃｒ、赤成分Ｒ、緑成分Ｇ、青成分Ｂ、色相、彩度、明度などのように、様々なものの１種類以上が用いられてもよい。

図２には、マスク領域の拡大の一例が示されている。
マスク領域の拡大前には、画像フレーム１１において、第１の領域設定部１９２により第１マスク領域１２及び第１ＡＦ評価ウインドウ１３が設定されている。そして、画像の輝度が低くて、マスク領域の拡大が必要な場合には、第２の領域設定部１９３により、画像フレーム１１に、拡大された第２マスク領域１４が設定され、これに応じて、拡大された第２ＡＦ評価ウインドウ１５が設定される。

例えば、第１マスク領域が９画素から構成されていたのに対して、第２マスク領域が３６画素から構成されるというように、マスク領域を構成する画素の数が増加して、ＡＦ評価ウインドウ内の画素の数が増加すると、全体の電子数（サンプル数）が増加することで、ＡＦ評価値はより強いコントラストを示す値となり、ＡＦ評価値のＳ／Ｎ比が向上する。これにより、光学系の焦点を調節する際における合焦の精度を高めることができ、ＡＦの性能を向上させることができる。

図３には、マスクの拡大を行う場合における焦点調節装置１９１により行われる処理の手順の一例を表すフローチャートが示されている。本実施形態では、このフローチャートの処理は、シャッタボタンが半押しの状態で行われる。
本実施形態では、スルー画モードにおける処理の手順を示す。
まず、第１の領域設定部１９２は、前回のフレーム画像により、特徴量にてマスク領域を探索する処理を行う（ステップＳ１）。この処理は、ラベリング処理により実現される。
なお、この場合に、必要があれば、補助光が点灯されてもよい。補助光を用いることにより、例えば、撮影の環境が暗くて画像の輝度が低いような場合においても、ラベリング処理を効果的に実現することができる。

次に、第１の領域設定部１９２は、探索されたマスク領域の中で、有効なマスク領域があるか否かを判定する（ステップＳ２）。この判定の結果、第１の領域設定部１９２は、有効なマスク領域が無いと判定した場合には、ステップＳ１の処理へ戻る。一方、この判定の結果、第１の領域設定部１９２は、有効なマスク領域があると判定した場合には、有効なマスク領域が複数あるか否かを判定し、有効なマスク領域が複数ある場合には、有効な各マスク領域に優先度を付ける（ステップＳ３）。なお、有効なマスク領域が１つである場合には、そのマスク領域の優先度が最も高いとする。本実施形態では、優先度が最も高いマスク領域が第１マスク領域とされる。
また、第１の領域設定部１９２は、第１ＡＦ評価ウインドウを設定する。

第２の領域設定部１９３は、第１の領域設定部１９２により優先度が最も高いマスク領域とされた第１マスク領域に基づいてコントラストスキャン処理を行うために、当該第１マスク領域の輝度について平均値等を算出する（ステップＳ４）。
そして、第２の領域設定部１９３は、算出した輝度の平均値等に基づいて、所定の判定条件により第１マスク領域の輝度が低いか否かを判定する（ステップＳ５）。

なお、他の例として、第１マスク領域の輝度が低いか否かを判定する処理の代わりに、第１マスク領域の周囲の環境の領域の輝度が低いか否かを判定する処理などを用いることもできる。

この判定の結果、第２の領域設定部１９３が第１マスク領域の輝度が低くはないと判定した場合には、焦点調節部１９４は、第１の領域設定部１９２により設定された第１ＡＦ評価ウインドウに基づいてＡＦ評価値を算出することとし、算出したＡＦ評価値に基づいて光学系の焦点を合焦状態になるように調節するコントラストスキャン処理を実行する。つまり、通常時のコントラストスキャン処理を実行する（ステップＳ８）。

一方、この判定の結果、第２の領域設定部１９３は、第１マスク領域の輝度が低いと判定した場合には、第１マスク領域よりも拡大した第２マスク領域を設定して、当該第２マスク領域に応じた第２ＡＦ評価ウインドウを設定する（ステップＳ６）。そして、この場合には、焦点調節部１９４は、第２の領域設定部１９３により設定された第２ＡＦ評価ウインドウに基づいてＡＦ評価値を算出することとし、算出したＡＦ評価値に基づいて光学系の焦点を合焦状態になるように調節するコントラストスキャン処理を実行する（ステップＳ７）。これにより、ＡＦレンズ１１２の位置が調節されて合焦状態とされる。

このように、本実施形態では、例えば、撮像装置１００の露光量が低い、照度が低いなどの理由で画像の輝度（本実施形態では、第１マスク領域の輝度の平均値等）が低いと判定される場合には、拡大されたマスク領域（第２マスク領域）及び拡大されたＡＦ評価ウインドウ（第２ＡＦ評価ウインドウ）を設定して、コントラストスキャン処理で使用されるＡＦ評価値のＳ／Ｎ比を向上させることができ、これにより、合焦の精度を高めることができる。

ここで、本実施形態では、ステップＳ６の処理に関して、第２の領域設定部１９３は、第１マスク領域に対して１つの拡大されたマスク領域（第２マスク領域）を設定するが、他の例として、第１マスク領域に対して複数の拡大されたマスク領域（第２マスク領域）を生成して設定してもよい。具体的には、第２の領域設定部１９３は、ラベリング処理で画素を連結させる特徴量の範囲を異ならせることや、或いは、ラベリング処理で使用する特徴量の種類を異ならせることや、或いは、所定の倍率でマスク領域を拡大する場合にその倍率（例えば、１．２倍、１．３倍、１．４倍など）を異ならせることにより、複数の段階で拡大されたマスク領域（第２マスク領域）を設定し、これらの各マスク領域に応じた複数の段階で拡大されたＡＦ評価ウインドウ（第２ＡＦ評価ウインドウ）を設定する。

そして、焦点調節部１９４は、第２の領域設定部１９３により設定された複数の段階のＡＦ評価ウインドウ（第２ＡＦ評価ウインドウ）のそれぞれに基づいてＡＦ評価値を算出することとし、算出したＡＦ評価値に基づいて光学系の焦点を合焦状態になるように調節するコントラストスキャン処理を実行する。この場合、焦点調節部１９４は、複数の段階のＡＦ評価ウインドウ（第２ＡＦ評価ウインドウ）の中で、ＡＦ評価値が最も良好となるＡＦ評価ウインドウを最終的に採用して、光学系の焦点を合焦状態になるように調節する。

なお、ＡＦ評価値が最も良好となる場合としては、様々な基準で判定されてもよく、例えば、ＡＦレンズ１１２を移動させた位置に対するＡＦ評価値の変化において、当該ＡＦ評価値のピークが１つのみになる場合を用いることができる。また、ピークが１つのみになるＡＦ評価値が複数ある場合には、例えば、ピーク値が最も高いものが最も良好であると判定することができる。ここで、ＡＦレンズ１１２を移動させた位置に対するＡＦ評価値の変化において、当該ＡＦ評価値のピークが２つ以上ある場合には、使用されているＡＦ評価ウインドウ（第２ＡＦ評価ウインドウ）の内に、ＡＦレンズ１１２から異なる距離に位置する２つ以上の被写体が存在すると推定される。

また、本実施形態では、静止画（本実施形態では、スルー画）を用いて焦点調節処理を行う場合を示したが、他の例として、動画を用いて焦点調節処理を行うこともできる。動画を用いて焦点調節処理を行う場合には、静止画を用いる場合とは異なる点として、例えば、コントラストスキャン処理を実行するための所定の起動条件を満たしたことを検出した場合に、ウォブリングをすることでＡＦの方向を判定し、その後、その判定結果に対応した一方向（至近側又は無限側）のみについてコントラストスキャン処理を実行する。この所定の起動条件としては、例えば、画像の輝度に関する値が所定の閾値を超えて変化したという条件や、或いは、コントラストの評価値（ＡＦ評価値）が所定の閾値を超えて変化したという条件などを用いることができる。なお、動画を用いて焦点調節処理を行う場合に特有な前記した処理は、一例として、焦点調節部１９４により行われる。

以上のように、本実施形態に係る焦点調節装置１９１では、スルー画や動画において、画像又は画像列より被写体の領域を想定し、その領域をコントラストスキャン処理に利用する場合に、その領域のデータが低輝度であるとき（或いは、撮影環境が低輝度であるようなとき）には、被写体と想定される領域（本実施形態では、マスク領域）を空間的に拡大することで、合焦の精度を高めることができる。

［第２実施形態］
本発明の第２実施形態について図面を参照して詳細に説明する。
本実施形態では、図１に示される焦点調節装置１９１を備える撮像装置１００、レンズ鏡筒１１１、記憶媒体２００と同様な構成を用いる。
また、本実施形態では、第１実施形態と同様な部分については詳しい説明を省略し、異なる部分について詳しく説明する。

概略的には、第１実施形態では、第１マスク領域及び第１ＡＦ評価ウインドウに対して、第１マスク領域より大きい第２マスク領域を設定し、当該第２マスク領域に応じて第２ＡＦ評価ウインドウを設定したが、本実施形態では、第１マスク領域はそのままとして、第１ＡＦ評価ウインドウより大きい第２評価ウインドウを設定する。
以下で、詳しく説明する。

第１の領域設定部１９２は、第１実施形態と同様に、第１マスク領域及び第１ＡＦ評価ウインドウを設定する。
第２の領域設定部１９３は、第１の領域設定部１９２によりＡＦ評価値を算出する対象として設定された第１マスク領域について、所定の判定条件により画像の輝度が低いと判定した場合には、第１の領域設定部１９２により設定された第１ＡＦ評価ウインドウより大きいＡＦ評価ウインドウ（第２ＡＦ評価ウインドウ）を設定する。本実施形態では、第１の領域設定部１９２により設定された第１マスク領域についてはそのままとする。

具体例として、第２の領域設定部１９３は、第１の領域設定部１９２により設定された第１ＡＦ評価ウインドウに対して、当該第１ＡＦ評価ウインドウを予め設定された所定の倍率で大きくしたものを第２ＡＦ評価ウインドウとして設定することができる。この所定の倍率としては、任意の値を用いることができる。また、第１ＡＦ評価ウインドウを所定の倍率で大きくするときの中心点としては、例えば、第１ＡＦ評価ウインドウの中心点（或いは、重心点）や、又は、画角（画像フレーム）の中心点を用いることができる。また、他の例として、所定の倍率でＡＦ評価ウインドウを拡大する処理の代わりに、予め設定された所定の量だけＡＦ評価ウインドウを拡大する処理を用いることもできる。

焦点調節部１９４は、第１実施形態と同様に、第２の領域設定部１９３によって、第１の領域設定部１９２によりＡＦ評価値を算出する対象として設定された第１マスク領域について、所定の判定条件により画像の輝度が低いと判定された場合には、第２の領域設定部１９３により設定された第２ＡＦ評価ウインドウに基づいてＡＦ評価値を算出することとし、算出したＡＦ評価値に基づいて光学系の焦点を合焦状態になるように調節するコントラストスキャン処理を実行する。

図４には、ＡＦ評価ウインドウの拡大の一例が示されている。
ＡＦ評価ウインドウの拡大前には、画像フレーム２１において、第１の領域設定部１９２により第１マスク領域２２及び第１ＡＦ評価ウインドウ２３が設定されている。そして、画像の輝度が低くて、ＡＦ評価ウインドウの拡大が必要な場合には、第２の領域設定部１９３により、画像フレーム２１に、拡大された第２ＡＦ評価ウインドウ２４が設定される。なお、本実施形態では、第１マスク領域２２は変更されない。

図５には、ＡＦ評価ウインドウの拡大を行う場合における焦点調節装置１９１により行われる処理の手順の一例を表すフローチャートが示されている。本実施形態では、このフローチャートの処理は、シャッタボタンが半押しの状態で行われる。
本実施形態では、スルー画モードにおける処理の手順を示す。
ここで、本実施形態に係る図５に示されるステップＳ１１〜ステップＳ１５の処理及びステップＳ１７〜ステップＳ１８の処理は、それぞれ、第１実施形態に係る図３に示されるステップＳ１〜ステップＳ５の処理及びステップＳ７〜ステップＳ８の処理と同様である。このため、ステップＳ１６〜ステップＳ１７の処理について説明する。

ステップＳ１５の処理における判定の結果、第２の領域設定部１９３は、第１マスク領域の輝度が低いと判定した場合には、第１ＡＦ評価ウインドウよりも拡大した第２ＡＦ評価ウインドウを設定する（ステップＳ１６）。そして、この場合には、焦点調節部１９４は、第２の領域設定部１９３により設定された第２ＡＦ評価ウインドウに基づいてＡＦ評価値を算出することとし、算出したＡＦ評価値に基づいて光学系の焦点を合焦状態になるように調節するコントラストスキャン処理を実行する（ステップＳ１７）。

このように、本実施形態では、例えば、撮像装置１００の露光量が低い、照度が低いなどの理由で画像の輝度（本実施形態では、第１マスク領域の輝度の平均値等）が低いと判定される場合には、拡大されたＡＦ評価ウインドウ（第２ＡＦ評価ウインドウ）を設定して、コントラストスキャン処理で使用されるＡＦ評価値のＳ／Ｎ比を向上させることができ、これにより、合焦の精度を高めることができる。

ここで、本実施形態では、第２の領域設定部１９３は、第１ＡＦ評価ウインドウに対して１つの拡大されたＡＦ評価ウインドウ（第２ＡＦ評価ウインドウ）を設定するが、他の例として、第１ＡＦ評価ウインドウに対して複数の拡大されたＡＦ評価ウインドウ（第２ＡＦ評価ウインドウ）を生成して設定してもよい。具体的には、第２の領域設定部１９３は、所定の倍率でＡＦ評価ウインドウを拡大する場合にその倍率（例えば、１．２倍、１．３倍、１．４倍など）を異ならせることにより、複数の段階で拡大されたＡＦ評価ウインドウ（第２ＡＦ評価ウインドウ）を設定する。
そして、焦点調節部１９４は、第２の領域設定部１９３により設定された複数の段階のＡＦ評価ウインドウ（第２ＡＦ評価ウインドウ）のそれぞれに基づいてＡＦ評価値を算出することとし、算出したＡＦ評価値に基づいて光学系の焦点を合焦状態になるように調節するコントラストスキャン処理を実行する。

以上のように、本実施形態に係る焦点調節装置１９１では、スルー画や動画において、画像又は画像列より被写体の領域を想定し、その領域をコントラストスキャン処理に利用する場合に、その領域のデータが低輝度であるとき（或いは、撮影環境が低輝度であるようなとき）には、被写体と想定される領域に対して設定されるＡＦ評価ウインドウを空間的に拡大することで、合焦の精度を高めることができる。

［第３実施形態］
本発明の第３実施形態について図面を参照して詳細に説明する。
本実施形態では、図１に示される焦点調節装置１９１を備える撮像装置１００、レンズ鏡筒１１１、記憶媒体２００と同様な構成を用いる。
また、本実施形態では、第１実施形態と同様な部分については詳しい説明を省略し、異なる部分について詳しく説明する。

概略的には、第１実施形態では、第１マスク領域及び第１ＡＦ評価ウインドウに対して、第１マスク領域より大きい第２マスク領域を設定し、当該第２マスク領域に応じて第２ＡＦ評価ウインドウを設定したが、本実施形態では、第１マスク領域とそれに隣接する他のマスク領域とを結合（統合）し、この結合領域に応じて第２ＡＦ評価ウインドウを設定する。
以下で、詳しく説明する。

第１の領域設定部１９２は、第１実施形態と同様に、第１マスク領域及び第１ＡＦ評価ウインドウを設定する。
第２の領域設定部１９３は、第１の領域設定部１９２によりＡＦ評価値を算出する対象として設定された第１マスク領域について、所定の判定条件により画像の輝度が低いと判定した場合には、第１の領域設定部１９２により設定された第１マスク領域に隣接する他のマスク領域を特定し、特定した当該他のマスク領域と第１マスク領域とを結合し、この結合領域に応じて第２ＡＦ評価ウインドウを設定する。本実施形態では、第１の領域設定部１９２により設定された第１マスク領域についてはそのままとする。

具体例として、第２の領域設定部１９３は、第１の領域設定部１９２により行われたラベリング処理により複数のマスク領域が抽出されて、その中の１つが第１マスク領域とされた場合に、抽出されたが第１マスク領域とはされなかった他のマスク領域の中で、第１マスク領域と最も近い位置（最も近い距離）にあるマスク領域を当該第１マスク領域と結合するために特定する。そして、第２の領域設定部１９３は、特定したマスク領域と第１マスク領域とを結合し、この結合により得られた全体の領域（結合領域）に対してＡＦ評価ウインドウ（第２ＡＦ評価ウインドウ）を設定する。

ここで、２つの異なるマスク領域の間の距離としては、様々な手法で求められてもよく、例えば、各マスク領域の外枠の任意の位置同士で最も距離が短くなるところの距離を用いることができる。また、他の例として、各マスク領域の図形的な中心点を求めて、この中心点同士の距離を用いることができる。また、他の例として、各マスク領域内の画素の値に応じて重み付けをした重心点を求めて、この重心点同士の距離を用いることができる。

なお、本実施形態では、第1マスク領域とそれに隣接する他の１つのマスク領域とを結合するが、他の例として、第1マスク領域と他の２つ以上のマスク領域とを結合してもよい。第1マスク領域と他の２つ以上のマスク領域とを結合する場合には、例えば、第1マスク領域に対する距離が近い順に他のマスク領域を結合していくことができ、或いは、他の例として、第1マスク領域に結合した他のマスク領域に近いほかのマスク領域を結合することができる。

図６には、マスク領域の結合の一例が示されている。
マスク領域の結合前には、画像フレーム３１において、第１の領域設定部１９２により第１マスク領域３２及び第１ＡＦ評価ウインドウ３３が設定されている。そして、画像の輝度が低くて、マスク領域の結合が必要な場合には、第２の領域設定部１９３により、第１マスク領域３２とそれに隣接する他のマスク領域３４とを結合した領域（本実施形態では、両方のマスク領域３２、３４を合わせた領域）に対して、画像フレーム３１に、第２ＡＦ評価ウインドウ３５が設定される。なお、本実施形態では、第１マスク領域３２は変更されない。

図７には、マスク領域の結合を行う場合における焦点調節装置１９１により行われる処理の手順の一例を表すフローチャートが示されている。本実施形態では、このフローチャートの処理は、シャッタボタンが半押しの状態で行われる。
本実施形態では、スルー画モードにおける処理の手順を示す。
ここで、本実施形態に係る図７に示されるステップＳ２１〜ステップＳ２５の処理及びステップＳ２７〜ステップＳ２８の処理は、それぞれ、第１実施形態に係る図３に示されるステップＳ１〜ステップＳ５の処理及びステップＳ７〜ステップＳ８の処理と同様である。このため、ステップＳ２６〜ステップＳ２７の処理について説明する。

ステップＳ２５の処理における判定の結果、第２の領域設定部１９３は、第１マスク領域の輝度が低いと判定した場合には、第１マスク領域とそれに隣接する他のマスク領域とを結合し、この結合領域に対して第２ＡＦ評価ウインドウを設定する（ステップＳ２６）。そして、この場合には、焦点調節部１９４は、第２の領域設定部１９３により設定された第２ＡＦ評価ウインドウに基づいてＡＦ評価値を算出することとし、算出したＡＦ評価値に基づいて光学系の焦点を合焦状態になるように調節するコントラストスキャン処理を実行する（ステップＳ２７）。

このように、本実施形態では、例えば、撮像装置１００の露光量が低い、照度が低いなどの理由で画像の輝度（本実施形態では、第１マスク領域の輝度の平均値等）が低いと判定される場合には、第1マスク領域とそれに隣接する他のマスク領域とを結合し、この結合領域に対してＡＦ評価ウインドウ（第２ＡＦ評価ウインドウ）を設定して、コントラストスキャン処理で使用されるＡＦ評価値のＳ／Ｎ比を向上させることができ、これにより、合焦の精度を高めることができる。

なお、第1マスク領域と他のマスク領域とがそれぞれＡＦレンズ１１２から異なる距離に位置する被写体に対応する場合には、これらの領域を結合した領域に対して第２ＡＦ評価ウインドウを設定して、ＡＦコントラススキャン処理を実行すると、ＡＦレンズ１１２を移動させた位置に対するＡＦ評価値の変化において、当該ＡＦ評価値のピークが２つ以上発生すると推定される。この場合には、例えば、この第２ＡＦ評価ウインドウを使用するコントラストスキャン処理を中止することや、或いは、最も至近に存在する被写体に対応するマスク領域に焦点を合わせることができる。最も至近に存在する被写体は、例えば、各被写体（各マスク領域）に焦点を合わせたときにおけるＡＦレンズ１１２の位置に基づいて検出することができる。

ここで、本実施形態では、第２の領域設定部１９３は、第1マスク領域と他のマスク領域とを結合した領域を１つだけ設定するが、他の例として、マスク領域の結合の仕方が異なる複数の段階の結合領域を設定して、各段階の結合領域に対してＡＦ評価ウインドウ（第２ＡＦ評価ウインドウ）を設定してもよい。複数の段階の結合領域としては、例えば、結合するマスク領域の数を１つずつ増加させたものを用いることができる。
そして、焦点調節部１９４は、第２の領域設定部１９３により設定された複数の段階のＡＦ評価ウインドウ（第２ＡＦ評価ウインドウ）のそれぞれに基づいてＡＦ評価値を算出することとし、算出したＡＦ評価値に基づいて光学系の焦点を合焦状態になるように調節するコントラストスキャン処理を実行する。

以上のように、本実施形態に係る焦点調節装置１９１では、スルー画や動画において、画像又は画像列より被写体の領域を想定し、その領域をコントラストスキャン処理に利用する場合に、その領域のデータが低輝度であるとき（或いは、撮影環境が低輝度であるようなとき）には、被写体と想定される領域（本実施形態では、マスク領域）を隣接する他の領域（本実施形態では、他のマスク領域）と結合して空間的に拡大することで、合焦の精度を高めることができる。

［以上の実施形態に関する例］
図８には、３つの異なるＡＦ評価ウインドウ１、２、３について、各ＡＦ評価ウインドウ１、２、３によるコントラストスキャン処理時のＡＦ評価値の例が示されている。
横軸はＡＦレンズ１１２の位置を表しており、縦軸はコントラスト統計量（本実施形態では、ＡＦ評価値）を表している。なお、ＡＦ評価値のグラフの太さは揺らぎを表している。
この例では、ＡＦ評価ウインドウ１よりＡＦ評価ウインドウ２の方が大きく、ＡＦ評価ウインドウ２よりＡＦ評価ウインドウ３の方が大きい。そして、ＡＦ評価ウインドウ１を使用した場合よりＡＦ評価ウインドウ２を使用した場合の方がＡＦ評価値のＳ／Ｎ比が改善され、ＡＦ評価ウインドウ２を使用した場合よりＡＦ評価ウインドウ３を使用した場合の方がＡＦ評価値のＳ／Ｎ比が改善される。これにより、例えば、ＡＦ評価ウインドウ１やＡＦ評価ウインドウ２を使用した場合にはコントラストのピーク（山）を十分には検知できないのに対して、ＡＦ評価ウインドウ３を使用した場合にはコントラストのピーク（山）を十分に検知することができる。

なお、図８に示されるような状況は、ＡＦ評価ウインドウ１、２、３としてそれぞれ様々なものが使用されたときに成立し得る。具体例として、ＡＦ評価ウインドウ１として第1の領域設定部１９２により設定された第1ＡＦ評価ウインドウが用いられ、ＡＦ評価ウインドウ２として第２の領域設定部１９３によりマスク拡大（第1実施形態）、ＡＦ評価ウインドウ拡大（第２実施形態）、マスク結合（第３実施形態）のいずれかにより設定された第２ＡＦ評価ウインドウが用いられ、ＡＦ評価ウインドウ３として第２の領域設定部１９３によりマスク拡大（第1実施形態）、ＡＦ評価ウインドウ拡大（第２実施形態）、マスク結合（第３実施形態）のいずれかにより設定された第２ＡＦ評価ウインドウが用いられるような場合が考えられる。

［第４実施形態］
本発明の第４実施形態について図面を参照して詳細に説明する。
本実施形態では、図１に示される焦点調節装置１９１を備える撮像装置１００、レンズ鏡筒１１１、記憶媒体２００と同様な構成を用いる。
また、本実施形態では、第１実施形態と同様な部分については詳しい説明を省略し、異なる部分について詳しく説明する。

概略的には、第１実施形態から第３実施形態では、マスク領域やＡＦ評価ウインドウを空間的に拡大して、サンプルの量を空間的に拡大したが、本実施形態では、複数の画像フレームを用いることで、サンプルの量を時間的に拡大する。

また、本実施形態では、焦点調節装置１９１は、音出力制御部１９５と、光出力制御部１９６を備えており、これらが動作する。
以下で、詳しく説明する。

第１の領域設定部１９２は、第１実施形態と同様に、第１マスク領域及び第１ＡＦ評価ウインドウを設定する。
第２の領域設定部１９３は、第１の領域設定部１９２によりＡＦ評価値を算出する対象として設定された第１マスク領域について、所定の判定条件により画像の輝度が低いと判定した場合には、ＡＦ評価値を算出する対象とする画像フレームの数（Ｎ）を設定する。

ここで、ＡＦ評価値を算出する対象とする画像フレームの数（Ｎ）を決定する手法としては、様々なものが用いられてもよく、例えば、ＡＦ評価値を算出する対象として設定された第１マスク領域に含まれる画素の輝度成分Ｙの平均値又は最大値又は最小値などのように、予め任意に設定された画像の輝度に関する値に基づいて、コントラストスキャン処理で使用されるＡＦ評価値のＳ／Ｎ比が十分（一例として、所定のデシベル値）となると推定される画像フレームの数を決定することができる。

この一例としては、予め行われた測定やシミュレーションの結果に基づいて、このような画像の輝度に関する値と画像フレームの数との対応を記憶しておいて、この記憶内容を参照して、検出された当該画像の輝度に関する値に対応した画像フレームの数を読み出して決定することができる。
また、他の例として、このような画像の輝度に関する値をパラメータとする関数を予め記憶しておいて、この関数を参照して、検出された当該画像の輝度に関する値を当該関数に代入した結果の値を算出して、その算出結果の値を画像フレームの数として決定することができる。
また、他の例として、ＡＦ評価値を算出する対象とする画像フレームの数（Ｎ）が予め所定の値に固定的に設定されてもよい。

また、ＡＦ評価値を算出する対象とする複数（Ｎ枚）の画像フレームとしては、本実施形態では、一定の時間間隔毎に撮影された画像フレームが用いられる。なお、他の例として、ＡＦ評価値を算出する対象とする複数（Ｎ枚）の画像フレームとして、予め設定された選択手法で、一定の時間間隔毎ではない任意の複数の画像フレームが選択されて用いられてもよい。

また、同一の第１マスク領域が存在する複数の画像フレームでは、撮影時間が変化することで、各画像フレームにおける第１マスク領域の位置が変化することが考えられるが、短い時間であれば、その変化量は小さいとも考えらえる。
このため、本実施形態では、第２の領域設定部１９３は、ＡＦ評価値を算出する対象とする複数（Ｎ枚）の画像フレームのそれぞれに対して、第１の領域設定部１９２により設定された第１ＡＦ評価ウインドウと同じ位置にあるＡＦ評価ウインドウを第２ＡＦ評価ウインドウとして設定する。

他の例として、第２の領域設定部１９３は、ＡＦ評価値を算出する対象とする複数（Ｎ枚）の画像フレームのそれぞれに対して、異なる位置となり得る第２ＡＦ評価ウインドウを設定することもできる。具体例として、第２の領域設定部１９３は、複数（Ｎ枚）の画像フレームのそれぞれについて、位置が変化し得る第１マスク領域に対してＡＦ評価ウインドウを設定する処理を行い、これにより得られた画像フレーム毎に位置が異なり得るＡＦ評価ウインドウを第２ＡＦ評価ウインドウとして設定する。

同様に、ＡＦレンズ１１２を１つの位置で停止させた状態でＮ枚の画像フレームについてＡＦ評価値を算出等する処理を、ＡＦレンズ１１２の位置を異ならせて、所定の回数（Ｍ回）実行する場合に、一例として、第２の領域設定部１９３は、これら全ての回数について、同一の位置にある第２ＡＦ評価ウインドウを設定することができる。他の例として、第２の領域設定部１９３は、この回数毎に、異なる位置となり得る第２ＡＦ評価ウインドウを設定することができる。

図９には、ＡＦ評価値を算出する対象とする複数の画像フレームの設定の一例が示されている。
この例では、第１の領域設定部１９２が画像フレーム４１に対して第１マスク領域４５及び第１ＡＦ評価ウインドウ４６を設定する。そして、第２の領域設定部１９３が、所定の判定条件により画像の輝度が低いと判定した場合には、ＡＦ評価値を算出する対象とする画像フレームの数（この例では、Ｎ＝４）を設定し、ＡＦ評価値を算出する対象とするＮ（＝４）枚の画像フレーム４１〜４４のそれぞれについて、第２ＡＦ評価ウインドウ４７を設定する。

ここで、この例では、第１の領域設定部１９２により第１マスク領域４５及び第１ＡＦ評価ウインドウ４６を設定した画像フレーム４１を、ＡＦ評価値を算出する対象とする複数の画像フレーム４１〜４４に含めたが、他の例として、含めないようにしてもよい。

焦点調節部１９４は、第２の領域設定部１９３によって、第１の領域設定部１９２によりＡＦ評価値を算出する対象として設定された第１マスク領域について、所定の判定条件により画像の輝度が低いと判定されなかった場合には、第１の領域設定部１９２により設定された第１ＡＦ評価ウインドウに基づいてＡＦ評価値を算出することとし、算出したＡＦ評価値に基づいて光学系の焦点を合焦状態になるように調節するコントラストスキャン処理を実行する。つまり、この場合には、１枚の画像フレームに基づいて、コントラストスキャン処理を実行する。本実施形態では、このコントラストスキャン処理は、通常時（本実施形態において低輝度ではないと判定したとき）のコントラストスキャン処理となる。

一方、焦点調節部１９４は、第２の領域設定部１９３によって、第１の領域設定部１９２によりＡＦ評価値を算出する対象として設定された第１マスク領域について、所定の判定条件により画像の輝度が低いと判定された場合には、第２の領域設定部１９３により設定された第２ＡＦ評価ウインドウに基づいてＡＦ評価値を算出することとし、算出したＡＦ評価値に基づいて光学系の焦点を合焦状態になるように調節するコントラストスキャン処理を実行する。つまり、この場合には、複数（Ｎ枚）の画像フレームに基づいて、コントラストスキャン処理を実行する。

具体的には、焦点調節部１９４は、ＡＦ評価値を算出する対象として設定された複数（Ｎ枚）の画像フレームのそれぞれについて、設定された第２ＡＦ評価ウインドウを使用してＡＦ評価値を算出し、算出された複数（Ｎ枚分）のＡＦ評価値の平均値を算出し、この平均値が最大（ピーク）となるＡＦレンズ１１２の位置を合焦位置として調節する。
なお、本実施形態では、複数（Ｎ枚分）のＡＦ評価値の平均値を用いるが、他の例として、複数（Ｎ枚分）のＡＦ評価値の加算値が用いられてもよい。

また、本実施形態では、ＡＦ評価値を算出する対象とする複数（Ｎ枚）の画像フレームとしては、ＡＦレンズ１１２の位置が同一であるときに撮影されたものを用いる。他の例として、合焦の精度が許容される範囲で、ＡＦ評価値を算出する対象とする複数（Ｎ枚）の画像フレームとして、ＡＦレンズ１１２の位置が同一ではないが近い位置にあるときに撮影されたものが用いられてもよい。

図１０には、複数（Ｎ枚）の画像フレームのそれぞれについて算出されたＡＦ評価値１〜Ｎを平均する例が示されている。
具体的には、Ｎ枚の画像フレーム５１−１〜５１−Ｎと、各画像フレーム５１−１〜５１−Ｎにおける第１マスク領域５２と、各画像フレーム５１−１〜５１−Ｎにおける第２ＡＦ評価ウインドウ５３が示されている。
この例では、Ｎ枚の画像フレーム５１−１〜５１−Ｎのそれぞれについて算出したＡＦ評価値１〜Ｎの平均値を使用して、コントラストスキャン処理を実行する。

このように複数（Ｎ枚）の画像フレームのそれぞれについて算出されたＡＦ評価値の平均値（或いは、加算値）を使用すると、１枚の画像フレームについて算出されたＡＦ評価値のみを使用する場合と比べて、全体の電子数（サンプル数）が増加することで、ＡＦ評価値（本実施形態では、その平均値或いは加算値）はより強いコントラストを示す値となり、ＡＦ評価値のＳ／Ｎ比が向上する。これにより、光学系の焦点を調節する際における合焦の精度を高めることができ、ＡＦの性能を向上させることができる。

具体例として、第２ＡＦ評価ウインドウ内に含まれる画素の数が同じであっても、複数（Ｎ枚）の画像フレームのそれぞれについて算出されたＡＦ評価値の平均値（或いは、加算値）を使用すると、１枚の画像フレームについて算出されたＡＦ評価値のみを使用する場合と比べて、ＡＦ評価値のＳ／Ｎ比が向上する。

音出力制御部１９５及び光出力制御部１９６の動作について説明する。
本実施形態では、暗い環境で撮影する場合のように、所定の判定条件により画像の輝度が低いと判定された場合には、複数の画像フレームを使用してコントラストスキャン処理を実行することが行われる。そして、このようなコントラストスキャン処理には、通常のコントラストスキャン処理よりも長い時間がかかるため、本実施形態では、そのことを写真を撮られる被写体側或いは撮影者側に知らせる（告知する）ための音や光を出力する。
ここで、本実施形態では、シャッタボタンが全押しの状態になってから、このようなコントラストスキャンを実行する構成とする。このため、シャッタボタンが全押しの状態になってからコントラストスキャン処理が終了するまでの間に時間を要するため、この間に、人などの被写体が動くことや、或いは、撮影者が撮像装置１００（カメラ）を動かすことは好ましくない。

そこで、具体的には、シャッタボタンが全押しの状態になってから複数の画像フレームを使用したコントラストスキャン処理が終了するまでの間、音出力制御部１９５は、音出力部２１１を制御して、所定の音を当該音出力部２１１により出力する。
同様に、シャッタボタンが全押しの状態になってから複数の画像フレームを使用したコントラストスキャン処理が終了するまでの間、光出力制御部１９６は、光出力部２１２を制御して、所定の光を当該光出力部２１２により出力する。

ここで、告知のために出力する音としては、様々な音が用いられてもよい。一例として、ビープ（ＢＥＥＰ）音を用いることができる。
また、告知のために出力する光としては、様々な光が用いられてもよい。一例として、ＬＥＤにより点滅する光を用いることができる。
また、告知のために音や光を出力することを開始するタイミングや終了するタイミングとしては、任意であってもよく、例えば、シャッタボタンが全押しの状態になってから複数の画像フレームを使用したコントラストスキャン処理が終了するまでの間の期間の開始タイミング及び終了タイミングに対して、必ずしも完全に一致していなくてもよい。
また、本実施形態では、告知のために音と光を出力するが、音と光のうちの一方のみを出力する構成が用いられてもよい。

図１１及び図１２には、複数（Ｎ枚）の画像フレームについてのＡＦ評価値の平均値を使用する場合における焦点調節装置１９１により行われる処理の手順の一例を表すフローチャートが示されている。
本実施形態では、スルー画モードにおける処理の手順を示す。

まず、第１の領域設定部１９２は、前回のフレーム画像により、特徴量にてマスク領域を探索する処理を行う（ステップＳ３１）。
なお、この場合に、必要があれば、補助光が点灯されてもよい。

次に、第１の領域設定部１９２は、探索されたマスク領域が複数あるか否かを判定し、探索されたマスク領域が複数ある場合には、探索された各マスク領域に優先度を付ける（ステップＳ３２）。なお、探索されたマスク領域が１つである場合には、そのマスク領域の優先度が最も高いとする。本実施形態では、優先度が最も高いマスク領域が第１マスク領域とされる。

第２の領域設定部１９３は、第１の領域設定部１９２により優先度が最も高いマスク領域とされた第１マスク領域に基づいてコントラストスキャン処理を行うために、当該第１マスク領域の輝度について平均値等を算出する（ステップＳ３３）。

次に、第２の領域設定部１９３は、操作部１８０のシャッタボタンが全押しの状態にされたか否かを判定する（ステップＳ３４）。
この判定の結果、第２の領域設定部１９３が操作部１８０のシャッタボタンが全押しの状態にされていないと判定した場合には、ステップＳ３１の処理へ戻る。

一方、この判定の結果、第２の領域設定部１９３は、操作部１８０のシャッタボタンが全押しの状態にされたと判定した場合には、算出した輝度の平均値等に基づいて、所定の判定条件により第１マスク領域の輝度が低いか否かを判定する（ステップＳ３５）。

この判定の結果、第２の領域設定部１９３が第１マスク領域の輝度が低くはないと判定した場合には、焦点調節部１９４は、第１の領域設定部１９２により設定された第１ＡＦ評価ウインドウに基づいてＡＦ評価値を算出することとし、算出したＡＦ評価値に基づいて光学系の焦点を合焦状態になるように調節するコントラストスキャン処理を実行する。つまり、通常時のコントラストスキャン処理を実行する（ステップＳ３８）。

一方、この判定の結果、第２の領域設定部１９３は、第１マスク領域の輝度が低いと判定した場合には、その低輝度の条件（状況）に応じて、ＡＦ評価値を算出するために加算を行う露光フレームの数（ＡＦ評価値を算出する対象とする画像フレームの数）（Ｎ）を設定する。また、第２の領域設定部１９３は、ＡＦ評価値を算出する対象とする複数（Ｎ枚）の画像フレームのそれぞれに対して、第２ＡＦ評価ウインドウを設定する（ステップＳ３６）。

ここで、本実施形態では、ＡＦレンズ１１２の１つの位置（１つのフォーカスポジション）毎に、Ｎ枚の画像フレームについてＡＦ評価値を算出する構成を用いている。
概要としては、焦点調節部１９４は、ＡＦ評価値を算出する対象として設定された複数（Ｎ枚）の画像フレームのそれぞれについて、設定された第２ＡＦ評価ウインドウを使用してＡＦ評価値を算出し、算出された複数（Ｎ枚分）のＡＦ評価値の平均値を算出し、この平均値が最大（ピーク）となるＡＦレンズ１１２の位置を合焦位置として調節する。

このような調節を行うために、焦点調節部１９４は、まず、鏡筒制御部１１８に対して駆動制御信号を送信することで、ＡＦレンズ１１２を所定の初期位置に移動させるとともに、ＡＦレンズ１１２を駆動するステッピングモーター（ＳＴＭ）のコントローラ（ＳＴＭＣ）にステップ数を書き込んで設定する（ステップＳ３７）。

ここで、ステップ数はＡＦレンズ１１２の移動距離を規定する。ステップ数は、例えば、ＡＦ評価値を算出する対象とする画像フレームの数（Ｎ）に基づいて決定されてもよく、或いは、予め所定の値が固定的に設定されてもよい。
また、ＡＦレンズ１１２の所定の初期位置としては、様々な位置が用いられてもよく、例えば、無限位置、或いは、至近位置を用いることができる。

次に、焦点調節部１９４は、ステップアンドリードの動作により、ＡＦレンズ１１２の各位置で、Ｎ枚の画像フレームについてＡＦ評価値を算出及び記憶する（ステップＳ３９〜ステップＳ４３、ステップＳ４７）。
なお、この場合に、必要があれば、補助光が点灯されてもよい。

具体的には、焦点調節部１９４は、ＡＦレンズ１１２が停止した状態で、撮像センサ（本実施形態では、撮像素子１１９）により得られた画像のデータを読み出し（ステップＳ３９）、読み出した画像のデータに基づいてＡＦ評価値を算出し、算出したＡＦ評価値を記憶する（ステップＳ４０）。
そして、焦点調節部１９４は、ＡＦレンズ１１２の１つの位置で、このような処理をＮ枚の画像フレームについて終了したか否かを判定し（ステップＳ４１）、終了していないと判定した場合にはステップＳ３９の処理へ戻る。

一方、焦点調節部１９４は、ＡＦレンズ１１２の１つの位置で、前記のような処理をＮ枚の画像フレームについて終了したと判定した場合には、ステップＳ４２の処理へ進む。このとき、このＡＦレンズ１１２の１つの位置について、算出されたＮ個のＡＦ評価値が記憶されることとなる。
なお、ＡＦ評価値を記憶する場所としては、任意であってもよく、例えば、記憶部１６０に記憶することができる。

ステップＳ４２の処理では、焦点調節部１９４から鏡筒制御部１１８に送信される駆動制御信号に基づいて、ＡＦレンズ１１２を規定パルス（本実施形態では、設定されたステップ数）に応じた移動距離だけ移動させる（ステップＳ４２）。このＡＦレンズ１１２の移動の方向は、１回のコントラストスキャン処理において、同一の方向である。

次に、焦点調節部１９４は、コントラストスキャン処理におけるＮ枚の画像フレームについてのＡＦ評価値の算出等が所定の回数（Ｍ回）終了したか否かを判定する（ステップＳ４３）。
この判定の結果、焦点調節部１９４がコントラストスキャン処理におけるＮ枚の画像フレームについてのＡＦ評価値の算出等が所定の回数（Ｍ回）終了していないと判定した場合には、音出力制御部１９５が音出力部２１１によりビープ音を出力するとともに、光出力制御部１９６が光出力部２１２によりＬＥＤ表示の光を出力する（ステップＳ４７）。そして、ステップＳ３９の処理へ戻る。

ここで、告知のために出力される音や光により、複数の画像フレームを使用したコントラストスキャン処理が実行中であることが、被写体人物や撮影者に知らされる。これによって、被写体人物は動かないように注意し、撮影者は撮像装置１００を動かさないように注意する、ことを促すことができる。

本実施形態におけるステップアンドリードの動作では、ＡＦレンズ１１２を１つの位置で停止させた状態でＮ枚の画像フレームについてＡＦ評価値を算出して記憶し、その後、ＡＦレンズ１１２を次の位置へ移動させて停止させた状態で同様にＡＦ評価値を算出等することを所定の回数（Ｍ回）行う。このようなＡＦレンズ１１２の移動及び停止の動作を制御する構成としては、例えば、焦点調節部１９４から鏡筒制御部１１８へＡＦレンズ１１２の移動のたびに駆動制御信号を送信して制御する構成が用いられてもよく、或いは、他の例として、コントラストスキャン処理における一連のＡＦレンズ１１２の移動及び停止の動作の全てについて予め焦点調節部１９４から鏡筒制御部１１８へ駆動制御信号を送信して制御する構成が用いられてもよい。

また、ＡＦレンズ１１２を１つの位置で停止させた状態でＮ枚の画像フレームについてＡＦ評価値を算出等する所定の回数（Ｍ回）としては、任意の値が設定されてもよく、例えば、１５回などの値を用いることができる。
また、Ｎ枚の画像フレームについてＡＦ評価値を算出等する最初のＡＦレンズ１１２の位置としては、例えば、ＡＦレンズ１１２の初期位置であってもよく、或いは、ＡＦレンズ１１２の初期位置から移動させた位置であってもよい。

ステップＳ４３の処理における判定の結果、焦点調節部１９４は、コントラストスキャン処理におけるＮ枚の画像フレームについてのＡＦ評価値の算出等が所定の回数（Ｍ回）終了したと判定した場合には、各回（ＡＦレンズ１１２の各位置）について、算出したＮ枚の画像フレームについてのＡＦ評価値を平均する（ステップＳ４４）。
次に、焦点調節部１９４は、各回（ＡＦレンズ１１２の各位置）について算出したＡＦ評価値の平均値について、その山のピークを検出する（ステップＳ４５）。

そして、焦点調節部１９４は、検出した山のピークに対応したＡＦレンズ１１２の位置となるように、鏡筒制御部１１８に駆動制御信号を送信して、ＡＦレンズ１１２を移動させる（ステップＳ４６）。
本実施形態では、これにより、光学系の焦点が合焦状態に調節される。そして、撮影露光する（ステップＳ４８）。これにより、画像が撮像される。

ここで、図１１及び図１２に示されるフローチャートでは、ＡＦレンズ１１２を各位置で停止した状態でＮ枚の画像フレームを取得する場合を示したが、他の例として、ＡＦレンズ１１２を移動させた状態で、ＡＦレンズ１１２の各位置について、当該各位置を含む近い範囲の位置で、Ｎ枚の画像フレームを取得する構成（流し読みの構成）を用いることも可能である。

このような流し読みの構成を用いる場合には、図１１及び図１２に示されるフローチャートにおいて、ステップＳ３７の処理では、焦点調節部１９４は、ＡＦレンズ１１２を駆動するステッピングモーター（ＳＴＭ）のコントローラ（ＳＴＭＣ）にステップ数を書き込んで設定する処理の代わりに、ステッピングモーター（ＳＴＭ）のコントローラ（ＳＴＭＣ）にパルスレートを書き込んで設定する。
ここで、パルスレートはＡＦレンズ１１２の移動速度を規定する。パルスレートは、例えば、ＡＦ評価値を算出する対象とする画像フレームの数（Ｎ）に基づいて決定されてもよく、或いは、予め所定の値が固定的に設定されてもよい。
また、本実施形態では、１回のコントラストスキャン処理では、パルスレートは一定であり、ＡＦレンズ１１２の移動速度は等速であるとする。

また、流し読みの構成を用いる場合には、ステップＳ３９〜ステップＳ４１の処理では、ＡＦレンズ１１２が等速で移動している状態で、焦点調節部１９４は、ＡＦレンズ１１２の各位置の付近のタイミングで、撮像センサ（本実施形態では、撮像素子１１９）により得られたＮ枚の画像のデータを読み出し、読み出したそれぞれの画像のデータに基づいてＡＦ評価値を算出し、算出したＡＦ評価値を記憶する。
また、流し読みの構成を用いる場合には、ステップＳ４２の処理は不要である。

ここで、ステップアンドリードの動作と流し読みの動作を比較すると、通常、ステップアンドリードの方が精度は良いが時間がかかる。この点を考慮して、いずれか任意の動作が選択されて行われればよい。また、これら２種類の動作を任意に切り替えて行うことが可能な構成を用いることもできる。

図１３には、焦点調節時におけるＡＦレンズ１１２の位置（フォーカスポジション）の駆動の一例が示されている。
この例では、ＡＦレンズ１１２の位置（フォーカスポジション）の初期位置として無限位置が用いられている。
具体的には、まず、初期位置駆動によりフォーカスポジションが初期位置へ移動させられ、その後、ＡＦサーチ駆動によりフォーカスポジションが初期位置から最後の位置（本実施形態では、至近の方の位置）へ移動させられ、その後、合焦駆動によりＡＦ評価値（本実施形態では、複数（Ｎ枚）の画像フレームについてのＡＦ評価値の平均値）が最も大きかった位置（ピークの位置）へフォーカスポジションが移動させられる。

ここで、図１３では、ＡＦサーチ駆動において、フォーカスポジションが連続的に移動させられる例が示されているが、ステップアンドリードの動作では、ＡＦサーチ駆動において、設定されたステップ数（移動距離）ごとにフォーカスポジションが停止された状態となり、移動と停止が繰り返される。

図１４（ａ）には、通常時（本実施形態において低輝度ではないと判定したとき）のコントラストスキャン処理の場合におけるＡＦ評価値のサンプルの例が示されている。
図１４（ｂ）には、低輝度時（本実施形態において低輝度であると判定したとき）のコントラストスキャン処理の場合におけるＡＦ評価値のサンプルの例が示されている。

図１４（ａ）に示されるように、通常時のコントラストスキャン処理では、フォーカスポジションが連続的に等速度で移動させられるときに、所定の回数（この例では、Ｍ＝１２回）、等間隔でＡＦ評価値のサンプルが取得される。
一方、図１４（ｂ）に示されるように、低輝度時のコントラストスキャン処理では、ステップアンドリードの動作が行われる場合、フォーカスポジションが移動中に所定の回数（この例では、Ｍ＝１２回）停止状態となり、各停止状態で複数（この例では、Ｎ＝４枚）の画像フレームについてＡＦ評価値のサンプルが取得される。

このように、本実施形態では、例えば、撮像装置１００の露光量が低い、照度が低いなどの理由で画像の輝度（本実施形態では、第１マスク領域の輝度の平均値等）が低いと判定される場合には、複数回の露光により得られる複数（Ｎ枚）の画像フレームのデータを利用する。具体的には、これら複数（Ｎ枚）の画像フレームのデータについてＡＦ評価値を取得して、これら複数のＡＦ評価値の平均値等を使用することで、コントラストスキャン処理で使用されるＡＦ評価値（本実施形態では、平均値等）のＳ／Ｎ比を向上させることができ、これにより、合焦の精度を高めることができる。

ここで、本実施形態では、第２の領域設定部１９３は、ＡＦ評価値を算出する対象とする画像フレームの数（Ｎ）を１つだけ設定するが、他の例として、ＡＦ評価値を算出する対象とする画像フレームの数（Ｎ）として異なる複数の段階の値を設定して、各段階の値に対してＡＦ評価ウインドウ（第２ＡＦ評価ウインドウ）を設定してもよい。複数の段階の値としては、例えば、ＡＦ評価値を算出する対象とする画像フレームの数（Ｎ）を１つずつ増加させたものを用いることができる。
そして、焦点調節部１９４は、第２の領域設定部１９３により設定された複数の段階の画像フレームの数（Ｎ）のそれぞれに基づいてＡＦ評価値（本実施形態では、平均値等）を算出することとし、算出したＡＦ評価値に基づいて光学系の焦点を合焦状態になるように調節するコントラストスキャン処理を実行する。

以上のように、本実施形態に係る焦点調節装置１９１では、スルー画や動画において、画像又は画像列より被写体の領域を想定し、その領域をコントラストスキャン処理に利用する場合に、その領域のデータが低輝度であるとき（或いは、撮影環境が低輝度であるようなとき）には、被写体と想定される領域（本実施形態では、マスク領域）を複数回露光サンプリングし、その複数回のデータを利用することで、合焦の精度を高めることができる。本実施形態では、複数回のデータを利用する場合に、毎回のデータによりＡＦ評価値を算出し、算出した複数のデータについてのＡＦ評価値を利用する。

なお、本実施形態では、シャッタボタンが全押しの状態にされる場合の動作について説明したが、シャッタボタンが半押しの状態にされる場合の動作については、任意の態様が用いられてもよい。一例として、シャッタボタンが半押しの状態では、シャッタボタンが全押しの状態になったときと同様に、告知のために音と光を出力しながら、複数の画像フレームを使用したコントラストスキャン処理を実行するが、シャッタボタンが半押しの状態である間は、他の動作はロックして行われないようにすることができる。

［以上の実施形態に関する例］
ここで、第１実施形態に係る空間的なマスク拡大を行う構成と、第２実施形態に係る空間的なＡＦ評価ウインドウ拡大を行う構成と、第３実施形態に係る空間的なマスク結合を行う構成と、第４実施形態に係る時間的に複数の画像フレームを使用する構成は、それぞれ独立して実施されてもよく、或いは、任意の２つ以上が組み合わされて実施されてもよい。

［第５実施形態］
本発明の第５実施形態について図面を参照して詳細に説明する。
本実施形態では、図１に示される焦点調節装置１９１を備える撮像装置１００、レンズ鏡筒１１１、記憶媒体２００と同様な構成を用いる。

本実施形態では、顔検出の画像処理を実行する構成について説明する。
ここで、顔検出の画像処理では、画像フレームから顔（例えば、人の顔）であると判断される部分を含む領域（顔枠領域）を検出する。この処理では、例えば、顔を構成する２つの目、鼻、口などといった所定の特徴から顔に相当すると推定される部分を探して、その部分を含む顔枠領域を特定する。この顔枠領域は、例えば、顔に相当すると推定される部分の境界（外周）を含むように設定され、一例として、顔に相当すると推定される部分の縦横の所定値倍（１．２倍など）の大きさの矩形の領域などを用いることができる。
なお、顔に相当すると推定される部分を探すための目、鼻、口などといった所定の特徴の情報は、例えば、予め設定される。

また、本実施形態では、顔検出の画像処理を使用する場合を示すが、他の例として、顔検出の画像処理の代わりに、ペット検出の画像処理を使用することもできる。
ここで、ペット検出の画像処理では、画像フレームからペット（例えば、犬や猫などの特定の動物）であると判断される部分を含む領域（ペット枠領域）を検出する。ペット検出の画像処理では、このペット枠領域が、顔検出の画像処理における顔枠領域に対応するものとして、適用することができる。
なお、顔検出やペット検出の画像処理としては、様々な手法が用いられてもよく、例えば、様々な公知の技術を利用することが可能である。

また、本実施形態では、第３実施形態に係る空間的な領域の結合を行う構成と同様な構成と、第４実施形態に係る時間的に複数の画像フレームを使用する構成と同様な構成とを組み合わせた構成に、顔検出の画像処理を適用した場合について説明する。
このため、本実施形態では、第３実施形態や第４実施形態と同様な部分については詳しい説明を省略し、異なる部分について詳しく説明する。
以下で、詳しく説明する。

焦点調節装置１９１により行われる動作について説明する。
第１の領域設定部１９２は、顔検出の画像処理を行う機能を有している。そして、第１の領域設定部１９２は、撮像素子１１９からＡ／Ｄ変換部１２０を介して入力されたスルー画像に対して、ＡＦ評価値を算出する範囲を特定する枠であるＡＦ評価ウインドウ（第１ＡＦ評価ウインドウ）として、顔検出の画像処理により検出された顔枠領域を設定する。

なお、本実施形態では、第３実施形態や第４実施形態で言うマスク領域（第１マスク領域）としては、顔検出の画像処理により顔であると判断される部分が対応するが、この部分自体は特定せずに、この部分を含む顔枠領域を特定する。このため、本実施形態では、第１の領域設定部１９２は、ＡＦ評価値を算出する対象とするマスク領域（第１マスク領域）については特に設定せずに、ＡＦ評価値を算出する範囲を特定する枠である第１ＡＦ評価ウインドウ（顔枠領域）のみを設定する。

また、第１の領域設定部１９２は、例えば顔検出の画像処理により複数の顔枠領域が抽出される場合には、各顔枠領域に優先度を設定する。そして、第１の領域設定部１９２は、これら複数の顔枠領域の中で、優先度が最も高い顔枠領域をＡＦ評価値を算出する範囲を特定する枠である第１ＡＦ評価ウインドウとして設定する。優先度が最も高い顔枠領域の顔は、主要な被写体であると想定される。
なお、優先度は、様々な手法で設定されてもよく、例えば、画像フレームの中心に近いほど高い優先度を顔枠領域に設定することができる。

第２の領域設定部１９３は、第１の領域設定部１９２により設定されたＡＦ評価値を算出する範囲を特定する枠である第１ＡＦ評価ウインドウ（顔枠領域）について、当該第１ＡＦ評価ウインドウに含まれる画素の輝度成分Ｙの値に基づいて、所定の判定条件により画像の輝度が低いか否かを判定する。
ここで、この判定の手法としては、第３実施形態や第４実施形態と同様に、様々な手法が用いられてもよい。例えば、画像の輝度が低いか否かをユーザにより判断する手法、或いは、測光センサを使用する手法などを用いることもできる。

第２の領域設定部１９３は、第１の領域設定部１９２により所定の判定条件により画像の輝度が低いと判定した場合には、第１の領域設定部１９２により複数の顔枠領域が抽出されているときには、所定の条件を満たせば、顔の結合処理を行う。具体的には、第２の領域設定部１９３は、第１の領域設定部１９２により第１ＡＦ評価ウインドウとして設定された顔枠領域の顔に対して、直近にあってＡＦレンズ１１２の同一の深度内にあるとみなすことができる他の顔枠領域の顔を特定し、これら２つの顔の部分を含む枠の領域を第２ＡＦ評価ウインドウとして設定する。一方、第２の領域設定部１９３は、第１の領域設定部１９２により第１ＡＦ評価ウインドウとして設定された顔枠領域の顔に対して、直近にあって同一の深度内にあるとみなすことができる他の顔枠領域の顔が無い場合には、第１ＡＦ評価ウインドウ（１つの顔の顔枠領域）を第２ＡＦ評価ウインドウとして設定する。

具体例として、第２の領域設定部１９３は、第１の領域設定部１９２により複数の顔枠領域が抽出されて、その中の１つが第１ＡＦ評価ウインドウとされた場合に、抽出されたが第１ＡＦ評価ウインドウとはされなかった他の顔枠領域の顔の中で、第１ＡＦ評価ウインドウとされた顔枠領域の顔と最も近い位置（最も近い距離）にある顔を結合対象の候補として特定する。そして、第２の領域設定部１９３は、結合対象の候補として特定した顔と第１ＡＦ評価ウインドウとされた顔枠領域の顔とが同一の深度内にあるとみなせるか否かを判定し、これらの顔が同一の深度内にあるとみなせると判定した場合には、これらの顔を結合した部分を含む枠の領域を第２ＡＦ評価ウインドウとして設定する。

ここで、２つの異なる顔の間の距離としては、様々な手法で求められてもよく、例えば、各顔に相当すると推定される部分の任意の位置同士で最も距離が短くなるところの距離を用いることができる。また、他の例として、各顔に相当すると推定される部分の図形的な中心点を求めて、この中心点同士の距離を用いることができる。また、他の例として、各顔に相当すると推定される部分内の画素の値に応じて重み付けをした重心点を求めて、この重心点同士の距離を用いることができる。また、以上について、各顔の間の距離として、各顔に相当すると推定される部分の間の距離の代わりに、各顔の顔枠領域の間の距離を用いることもできる。

また、２つの異なる顔がＡＦレンズ１１２の同一の深度内にあるとみなせるか否かを判定する手法としては、様々な手法が用いられてもよく、例えば、画像フレームにおいて、２つの異なる顔の大きさ（画素数）の差（又は、比率）が所定の閾値以下である場合には、同一の深度内にあるとみなせると判定することができる。
他の例として、画像フレームにおいて、２つの異なる顔を構成する２つの目、鼻、口などの配置関係に関する値の差（又は、比率）が所定の閾値以下である場合には、同一の深度内にあるとみなせると判定することができる。このような顔の構成部の配置関係に関する値としては、一例として、２つの目の間の幅を用いることができる。
なお、画像処理において、大人の顔と子供の顔を識別する技術が知られており、この技術を利用して、子供の顔である場合には、同一の深度内にあっても大人の顔より小さいものとして扱うことも可能である。

また、２つの異なる顔を結合した部分を含む枠の領域（第２ＡＦ評価ウインドウ）としては、例えば、２つの異なる顔に相当すると推定される部分の境界（外周）を含むように設定され、一例として、２つの異なる顔に相当すると推定される部分の縦横の所定値倍（１．２倍など）の大きさの矩形の領域などを用いることができる。

更に、第２の領域設定部１９３は、第１の領域設定部１９２により所定の判定条件により画像の輝度が低いと判定した場合には、ＡＦ評価値を算出する対象とする画像フレームの数（Ｎ）を設定する。
ここで、ＡＦ評価値を算出する対象とする画像フレームの数（Ｎ）を決定する手法としては、第４実施形態と同様に、様々なものが用いられてもよい。

また、同一の顔が存在する複数の画像フレームでは、撮影時間が変化することで、各画像フレームにおける顔の位置が変化することが考えられる。
このため、本実施形態では、ＡＦレンズ１１２を１つの位置で停止させた状態でＮ枚の画像フレームについてＡＦ評価値を算出等する処理を、ＡＦレンズ１１２の位置を異ならせて、所定の回数（Ｍ回）実行する場合に、第２の領域設定部１９３は、この回数毎に、顔検出の画像処理又は顔の位置ずれの検出処理を行って、異なる位置となり得る第２ＡＦ評価ウインドウを設定する。

具体的には、一例として、第２の領域設定部１９３は、顔検出の画像処理を行う機能を有しており、撮像素子１１９からＡ／Ｄ変換部１２０を介して入力されたスルー画像に対して、ＡＦ評価値を算出する範囲を特定する枠であるＡＦ評価ウインドウ（第２ＡＦ評価ウインドウ）として、顔検出の画像処理により特定された枠の領域を設定する。本実施形態では、この枠の領域として、前記と同様に、１つの顔の顔枠領域又は２つの顔を結合した部分を含む枠の領域が用いられる。
他の例として、第２の領域設定部１９３は、顔の位置ずれの検出処理を行う機能を有しており、撮像素子１１９からＡ／Ｄ変換部１２０を介して入力されたスルー画像に対して、画像フレームの時間的な変化による顔の位置ずれを検出して、その検出結果に基づいて、第２ＡＦ評価ウインドウ（本実施形態では、前記と同様に、１つの顔の顔枠領域又は２つの顔を結合した部分を含む枠の領域）の位置を補正して設定する。ここで、顔の位置ずれの検出処理としては、様々な手法が用いられてもよく、例えば、様々な公知の技術を利用することが可能である。

ここで、上記のように、ＡＦレンズ１１２を１つの位置で停止させた状態でＮ枚の画像フレームについてＡＦ評価値を算出等する処理を、ＡＦレンズ１１２の位置を異ならせて、所定の回数（Ｍ回）実行する場合に、第２の領域設定部１９３が、この回数毎に、顔検出の画像処理又は顔の位置ずれの検出処理を行って、異なる位置となり得る第２ＡＦ評価ウインドウを設定する処理は、例えば、位置ずれを検出する対象とする顔について、前回における顔の位置と今回における顔の位置との差が所定の閾値以上である場合にだけ行う構成とされてもよい。つまり、対象とする顔の位置ずれが所定の閾値以上に大きいときにだけ第２ＡＦ評価ウインドウを設定し直す構成を用いることもできる。

なお、他の例として、ＡＦレンズ１１２を１つの位置で停止させた状態でＮ枚の画像フレームについてＡＦ評価値を算出等する処理を、ＡＦレンズ１１２の位置を異ならせて、所定の回数（Ｍ回）実行する場合に、第２の領域設定部１９３は、これら全ての回数について、同一の位置にある第２ＡＦ評価ウインドウを設定することもできる。

焦点調節部１９４は、第２の領域設定部１９３によって、第１の領域設定部１９２により設定されたＡＦ評価値を算出する範囲を特定する枠である第１ＡＦ評価ウインドウ（顔枠領域）について、所定の判定条件により画像の輝度が低いと判定されなかった場合には、第１の領域設定部１９２により設定された第１ＡＦ評価ウインドウに基づいてＡＦ評価値を算出することとし、算出したＡＦ評価値に基づいて光学系の焦点を合焦状態になるように調節するコントラストスキャン処理を実行する。つまり、この場合には、１枚の画像フレームに基づいて、コントラストスキャン処理を実行する。本実施形態では、このコントラストスキャン処理は、通常時（本実施形態において低輝度ではないと判定したとき）のコントラストスキャン処理となる。

一方、焦点調節部１９４は、第２の領域設定部１９３によって、第１の領域設定部１９２により設定されたＡＦ評価値を算出する範囲を特定する枠である第１ＡＦ評価ウインドウ（顔枠領域）について、所定の判定条件により画像の輝度が低いと判定された場合には、第２の領域設定部１９３により設定された第２ＡＦ評価ウインドウに基づいてＡＦ評価値を算出することとし、算出したＡＦ評価値に基づいて光学系の焦点を合焦状態になるように調節するコントラストスキャン処理を実行する。つまり、この場合には、複数（Ｎ枚）の画像フレームに基づいて、コントラストスキャン処理を実行する。また、本実施形態では、顔の結合処理を行った場合には、２つの顔を結合した部分を含む枠の領域を第２ＡＦ評価ウインドウとして用いる。

なお、本実施形態では、第１ＡＦ評価ウインドウとして設定された顔枠領域の顔と他の１つの顔を結合するが、他の例として、第１ＡＦ評価ウインドウとして設定された顔枠領域の顔と他の２つ以上の顔とを結合する場合には、例えば、同一の深度内とみなせる複数の顔について、第１ＡＦ評価ウインドウとして設定された顔枠領域の顔に対する距離が近い順に他の顔を結合していくことができ、或いは、他の例として、第１ＡＦ評価ウインドウとして設定された顔枠領域の顔に結合した他の顔に近いほかの顔を結合することができる。

図１５には、顔の結合の一例が示されている。
顔の結合前には、画像フレーム６１において、第１の領域設定部１９２により顔６２に対する顔枠領域（第１ＡＦ評価ウインドウ）６３が設定されている。そして、画像の輝度が低くて、顔の結合が必要な場合には、第２の領域設定部１９３により、前記した顔６２と他の顔６４とを結合した部分に対して、画像フレーム６１に、これら２つの顔６２、６４の部分を含む枠の領域（第２ＡＦ評価ウインドウ）６５が設定される。

図１６には、複数（Ｎ枚）の画像フレームのそれぞれについて算出されたＡＦ評価値１〜Ｎを平均する例が示されている。
具体的には、Ｎ枚の画像フレーム７１−１〜７１−Ｎと、各画像フレーム７１−１〜７１−Ｎにおける結合された２つの顔７２、７３と、各画像フレーム７１−１〜７１−Ｎにおける第２ＡＦ評価ウインドウ７４が示されている。
この例では、Ｎ枚の画像フレーム７１−１〜７１−Ｎのそれぞれについて算出したＡＦ評価値１〜Ｎの平均値を使用して、コントラストスキャン処理を実行する。

図１７及び図１８には、顔の結合及び複数（Ｎ枚）の画像フレームについてのＡＦ評価値の平均値を使用する場合における焦点調節装置１９１により行われる処理の手順の一例を表すフローチャートが示されている。
本実施形態では、スルー画モードにおける処理の手順を示す。

まず、第１の領域設定部１９２は、例えば前回のフレーム画像により、顔検出の画像処理を実行する（ステップＳ５１）。
なお、この場合に、必要があれば、補助光が点灯されてもよい。

次に、第１の領域設定部１９２は、顔検出の画像処理において、顔が検知されたか否か（これによって顔枠領域が検知されたか否か）を判定し（ステップＳ５２）、顔枠領域が検知されなかったと判定した場合には、ステップＳ５１の処理へ戻る。
一方、第１の領域設定部１９２は、顔枠領域が検知されたと判定した場合には、検知された顔枠領域が複数あるか否かを判定し、検知された顔枠領域が複数ある場合には、検知された各顔枠領域に中央から優先度を付ける（ステップＳ５３）。なお、検知された顔枠領域が１つである場合には、その顔枠領域の優先度が最も高いとする。本実施形態では、優先度が最も高い顔枠領域が第１ＡＦ評価ウインドウとされる。

第２の領域設定部１９３は、第１の領域設定部１９２により優先度が最も高い顔枠領域とされた第１ＡＦ評価ウインドウに基づいてコントラストスキャン処理を行うために、当該第１ＡＦ評価ウインドウの輝度について平均値等を算出する（ステップＳ５４）。

次に、第２の領域設定部１９３は、操作部１８０のシャッタボタンが全押しの状態にされたか否かを判定する（ステップＳ５５）。
この判定の結果、第２の領域設定部１９３が操作部１８０のシャッタボタンが全押しの状態にされていないと判定した場合には、ステップＳ５１の処理へ戻る。

一方、この判定の結果、第２の領域設定部１９３は、操作部１８０のシャッタボタンが全押しの状態にされたと判定した場合には、算出した輝度の平均値等に基づいて、所定の判定条件により第１ＡＦ評価ウインドウの輝度が低いか否かを判定する（ステップＳ５６）。

なお、他の例として、第１ＡＦ評価ウインドウの輝度が低いか否かを判定する処理の代わりに、第１ＡＦ評価ウインドウの周囲の環境の領域の輝度が低いか否かを判定する処理などを用いることもできる。

この判定の結果、第２の領域設定部１９３が第１ＡＦ評価ウインドウの輝度が低くはないと判定した場合には、焦点調節部１９４は、第１の領域設定部１９２により設定された第１ＡＦ評価ウインドウに基づいてＡＦ評価値を算出することとし、算出したＡＦ評価値に基づいて光学系の焦点を合焦状態になるように調節するコントラストスキャン処理を実行する。つまり、通常時のコントラストスキャン処理を実行する（ステップＳ６１）。

一方、この判定の結果、第２の領域設定部１９３は、第１ＡＦ評価ウインドウの輝度が低いと判定した場合には、顔の結合を行うか否かを判定する（ステップＳ５７）。具体的には、第２の領域設定部１９３は、第１の領域設定部１９２により複数の顔が検知された場合には、第１の領域設定部１９２により第１ＡＦ評価ウインドウとして設定された顔枠領域の顔に対して、直近にある他の顔枠領域の顔が同一の深度内にあるとみなすことができるか否かを判定する（ステップＳ５７）。

この判定の結果、第２の領域設定部１９３は、第１の領域設定部１９２により第１ＡＦ評価ウインドウとして設定された顔枠領域の顔に対して、直近にある他の顔枠領域の顔が同一の深度内にあるとみなすことができないと判定した場合には、第１ＡＦ評価ウインドウを第２ＡＦ評価ウインドウとして設定し、ステップＳ５９の処理へ移行する。
一方、この判定の結果、第２の領域設定部１９３は、第１の領域設定部１９２により第１ＡＦ評価ウインドウとして設定された顔枠領域の顔に対して、直近にある他の顔枠領域の顔が同一の深度内にあるとみなすことができると判定した場合には、これら２つの顔の部分を含む枠の領域を第２ＡＦ評価ウインドウとして設定する（ステップＳ５８）。この場合には、図１５に示されるように、２つの顔の領域が合成されて、トータルの枠の大きさが拡大される。そして、ステップＳ５９の処理へ移行する。

ステップＳ５９の処理では、第２の領域設定部１９３は、第１ＡＦ評価ウインドウの低輝度の条件（状況）に応じて、ＡＦ評価値を算出するために加算を行う露光フレームの数（ＡＦ評価値を算出する対象とする画像フレームの数）（Ｎ）を設定する。また、第２の領域設定部１９３は、ＡＦ評価値を算出する対象とする複数（Ｎ枚）の画像フレームのそれぞれに対して、第２ＡＦ評価ウインドウを設定する（ステップＳ５９）。

このような調節を行うために、焦点調節部１９４は、まず、鏡筒制御部１１８に対して駆動制御信号を送信することで、ＡＦレンズ１１２を所定の初期位置に移動させるとともに、ＡＦレンズ１１２を駆動するステッピングモーター（ＳＴＭ）のコントローラ（ＳＴＭＣ）にステップ数を書き込んで設定する（ステップＳ６０）。

次に、焦点調節部１９４は、ステップアンドリードの動作により、ＡＦレンズ１１２の各位置で、Ｎ枚の画像フレームについてＡＦ評価値を算出及び記憶する（ステップＳ６２〜ステップＳ６７、ステップＳ７１）。
なお、この場合に、必要があれば、補助光が点灯されてもよい。

具体的には、焦点調節部１９４は、ＡＦレンズ１１２が停止した状態で、まず、画像フレームにおいて、顔検出の画像処理（又は、顔の位置ずれの検出処理）を実行して、顔の領域を確認し、例えば、第２ＡＦ評価ウインドウにある顔が移動したことなどによって、当該顔の位置がずれたような場合には、位置がずれた後の顔の位置に合わせて第２ＡＦ評価ウインドウを設定し直す（ステップＳ６２）。なお、このように第２ＡＦ評価ウインドウを設定し直す処理は、例えば、所定の判定条件に基づいて、その顔の位置が大きく変化したと判定された場合にだけ行ってもよい。

次に、焦点調節部１９４は、ＡＦレンズ１１２が停止した状態で、撮像センサ（本実施形態では、撮像素子１１９）により得られた画像のデータを読み出し（ステップＳ６３）、読み出した画像のデータに基づいてＡＦ評価値を算出し、算出したＡＦ評価値を記憶する（ステップＳ６４）。
そして、焦点調節部１９４は、ＡＦレンズ１１２の１つの位置で、このような処理をＮ枚の画像フレームについて終了したか否かを判定し（ステップＳ６５）、終了していないと判定した場合にはステップＳ６３の処理へ戻る。

一方、焦点調節部１９４は、ＡＦレンズ１１２の１つの位置で、前記のような処理をＮ枚の画像フレームについて終了したと判定した場合には、ステップＳ６６の処理へ進む。このとき、このＡＦレンズ１１２の１つの位置について、算出されたＮ個のＡＦ評価値が記憶されることとなる。

ステップＳ６６の処理では、焦点調節部１９４から鏡筒制御部１１８に送信される駆動制御信号に基づいて、ＡＦレンズ１１２を規定パルス（本実施形態では、設定されたステップ数）に応じた移動距離だけ移動させる（ステップＳ６６）。このＡＦレンズ１１２の移動の方向は、１回のコントラストスキャン処理において、同一の方向である。

次に、焦点調節部１９４は、コントラストスキャン処理におけるＮ枚の画像フレームについてのＡＦ評価値の算出等が所定の回数（Ｍ回）終了したか否かを判定する（ステップＳ６７）。
この判定の結果、焦点調節部１９４がコントラストスキャン処理におけるＮ枚の画像フレームについてのＡＦ評価値の算出等が所定の回数（Ｍ回）終了していないと判定した場合には、音出力制御部１９５が音出力部２１１によりビープ音を出力するとともに、光出力制御部１９６が光出力部２１２によりＬＥＤ表示の光を出力する（ステップＳ７１）。そして、ステップＳ６２の処理へ戻る。

ステップＳ６７の処理における判定の結果、焦点調節部１９４は、コントラストスキャン処理におけるＮ枚の画像フレームについてのＡＦ評価値の算出等が所定の回数（Ｍ回）終了したと判定した場合には、各回（ＡＦレンズ１１２の各位置）について、算出したＮ枚の画像フレームについてのＡＦ評価値を平均する（ステップＳ６８）。
次に、焦点調節部１９４は、各回（ＡＦレンズ１１２の各位置）について算出したＡＦ評価値の平均値について、その山のピークを検出する（ステップＳ６９）。

そして、焦点調節部１９４は、検出した山のピークに対応したＡＦレンズ１１２の位置となるように、鏡筒制御部１１８に駆動制御信号を送信して、ＡＦレンズ１１２を移動させる（ステップＳ７０）。
本実施形態では、これにより、光学系の焦点が合焦状態に調節される。そして、撮影露光する（ステップＳ７２）。これにより、画像が撮像される。

ここで、図１７及び図１８に示されるフローチャートでは、ＡＦレンズ１１２を各位置で停止した状態でＮ枚の画像フレームを取得する場合を示したが、他の例として、ＡＦレンズ１１２を移動させた状態で、ＡＦレンズ１１２の各位置について、当該各位置を含む近い範囲の位置で、Ｎ枚の画像フレームを取得する構成（流し読みの構成）を用いることも可能である。

このような流し読みの構成を用いる場合には、図１７及び図１８に示されるフローチャートにおいて、ステップＳ６０の処理では、焦点調節部１９４は、ＡＦレンズ１１２を駆動するステッピングモーター（ＳＴＭ）のコントローラ（ＳＴＭＣ）にステップ数を書き込んで設定する処理の代わりに、ステッピングモーター（ＳＴＭ）のコントローラ（ＳＴＭＣ）にパルスレートを書き込んで設定する。
ここで、パルスレートはＡＦレンズ１１２の移動速度を規定する。パルスレートは、例えば、ＡＦ評価値を算出する対象とする画像フレームの数（Ｎ）に基づいて決定されてもよく、或いは、予め所定の値が固定的に設定されてもよい。
また、本実施形態では、１回のコントラストスキャン処理では、パルスレートは一定であり、ＡＦレンズ１１２の移動速度は等速であるとする。

また、流し読みの構成を用いる場合には、ステップＳ６２〜ステップＳ６５の処理では、ＡＦレンズ１１２が等速で移動している状態で、焦点調節部１９４は、ＡＦレンズ１１２の各位置の付近のタイミングで、撮像センサ（本実施形態では、撮像素子１１９）により得られたＮ枚の画像のデータを読み出し、読み出したそれぞれの画像のデータに基づいてＡＦ評価値を算出し、算出したＡＦ評価値を記憶する。
また、流し読みの構成を用いる場合には、ステップＳ６６の処理は不要である。

以上のように、本実施形態に係る焦点調節装置１９１では、スルー画や動画において、画像又は画像列よりＡＦ評価値を算出する範囲を特定する枠の領域（本実施形態では、顔の部分を含む領域である顔枠領域）を設定し、その領域をコントラストスキャン処理に利用する場合に、その領域のデータが低輝度であるとき（或いは、撮影環境が低輝度であるようなとき）には、その領域を空間的に拡大することで、合焦の精度を高めることができる。本実施形態では、画像フレームにおいて、顔の結合により、空間的な拡大を実現している。

ここで、本実施形態では、顔検出の画像処理を用いて、ＡＦ評価値を算出する範囲を特定する枠の領域（本実施形態では、顔の部分を含む領域である顔枠領域）を設定しており、この場合、検出対象（本実施形態では、顔）の大きさを大体予測することが可能である。このため、本実施形態では、一例として、画像フレームにおいて、結合する候補となる２つの顔の大きさを比較して、これら２つの顔がＡＦレンズ１１２からほぼ同じ距離だけ離れた位置に存在する（ＡＦレンズ１１２の同一深度内である）とみなすことができる大きさの関係であるときに、これら２つの顔を結合して、枠の領域（第２ＡＦ評価ウインドウ）を拡大するように判断する。
なお、顔検出の画像処理と同様に、ペット検出の画像処理においても、検出対象（この例では、所定のペット）の大きさを大体予測することが可能である。

また、本実施形態に係る焦点調節装置１９１では、スルー画や動画において、画像又は画像列よりＡＦ評価値を算出する範囲を特定する枠の領域（本実施形態では、顔の部分を含む領域である顔枠領域）を設定し、その領域をコントラストスキャン処理に利用する場合に、その領域のデータが低輝度であるとき（或いは、撮影環境が低輝度であるようなとき）には、その領域を複数回露光サンプリングし、その複数回のデータを利用することで、合焦の精度を高めることができる。本実施形態では、複数回のデータを利用する場合に、毎回のデータによりＡＦ評価値を算出し、算出した複数のデータについてのＡＦ評価値を利用する。

また、本実施形態に係る焦点調節装置１９１では、複数回のデータ（本実施形態では、複数の画像フレーム）について、毎回のデータに基づいてＡＦ評価値を取得することを繰り返して行う場合に、このような繰り返しの処理（サンプリング）を複数回のデータについて行っている途中であることを音や光によって外部に告知することで、被写体となる人物や撮影者などに、注意を喚起することができる。

なお、本実施形態では、このような繰り返しの処理（サンプリング）を複数回のデータについて行っている途中であることを外部に告知するが、他の例として、このような繰り返しの処理（サンプリング）を複数回のデータについて終了したときに、そのことを音や光によって外部に告知する構成とすることもできる。また、このような繰り返しの処理（サンプリング）を複数回のデータについて行っている途中であるときと、このような繰り返しの処理（サンプリング）を複数回のデータについて終了したときとで、外部に告知する音や光の種類を異ならせて、両方の告知を行う構成とすることもできる。

ここで、本実施形態では、顔検出の画像処理（又は、ペット検出の画像処理）を、第３実施形態と同様な構成や、第４実施形態と同様な構成に適用した場合について説明したが、他の例として、第２実施形態に係る空間的なＡＦ評価ウインドウ拡大を行う構成と同様な構成に適用することも可能である。
顔検出の画像処理（又は、ペット検出の画像処理）を第２実施形態に係る空間的なＡＦ評価ウインドウ拡大を行う構成と同様な構成に適用する場合には、第２の領域設定部１９３は、所定の判定条件により画像の輝度が低いと判定した場合には、第１の領域設定部１９２により設定された第１ＡＦ評価ウインドウより大きいＡＦ評価ウインドウ（第２ＡＦ評価ウインドウ）を設定する。

また、本実施形態では、ＡＦ評価値を算出する範囲を特定する枠の領域を設定する手法として、顔検出の画像処理やペット検出の画像処理を用いて特定の枠の領域を設定する場合について説明したが、他の様々な領域設定の手法が用いられてもよい。
具体的な一例として、画像フレームにおいて、予め用意されたテンプレート画像に一致する或いは類似する画像部分の領域を、被写体（第１マスク領域）或いは第１ＡＦ評価ウインドウの領域として検出する画像処理を適用することも可能である。

また、他の例として、第１の領域設定部１９２により設定される第１マスク領域或いは第１評価ウインドウを人の手動によって設定する構成を用いることもできる。なお、人の手動によって操作する操作部としては、例えば、操作部１８０を用いることができ、この場合、操作部１８０は、人（ユーザ）の操作入力を受け付け、操作入力に応じた信号を第１の領域設定部１９２へ送信する構成とする。

また、他の例として、画像フレーム（画角）に予め固定的に設定された第１ＡＦ評価ウインドウ（例えば、画像フレームに設定される９点のウインドウなど）を使用する構成を適用することもできる。

また、本実施形態のように、顔検出の画像処理で検出された顔（又は、ペット検出の画像処理で検出されたペット）など、時間的に変化し得る領域を使用する場合には、例えば、時間的に変化し得る領域を追尾する構成が用いられてもよく、或いは、時間的な変化が小さいようなときには、時間的に変化し得る領域を追尾せずに固定的に扱うような構成が用いられてもよい。

［以上の実施形態について］
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

また、本発明により行われる処理の手順（例えば、図３、５、７、１１、１２、１７、１８を用いて説明した手順）を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

更に、「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
更に、前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１００…撮像装置、１１０…撮像部、１９１…焦点調節装置、１９２…第１の領域設定部、１９３…第２の領域設定部、１９４…焦点調節部、１９７…告知制御部、

Claims

画像に対して第１の領域を設定する第１の領域設定部と、
前記第１の領域設定部により設定された前記第１の領域より大きい第２の領域を前記画像に対して設定する第２の領域設定部と、
前記第２の領域設定部により設定された前記第２の領域を使用して求められるＡＦ評価値に基づいて焦点を調節する焦点調節部と、
を備えることを特徴とする焦点調節装置。
前記第２の領域設定部は、前記画像の輝度に基づいて前記第２の領域を設定することを特徴とする請求項１に記載の焦点調節装置。
前記第２の領域設定部は、異なる大きさを有する複数の前記第２の領域を設定し、
前記焦点調節部は、前記第２の領域設定部により設定された前記複数の前記第２の領域のうちで、前記ＡＦ評価値が最も良いものを使用することを特徴とする請求項１又は請求項２に記載の焦点調節装置。
前記第２の領域設定部は、前記第１の領域設定部により設定された前記第１の領域に基づいて複数の画像フレームに対して前記第２の領域を設定し、
前記焦点調節部は、前記第２の領域設定部により前記複数の画像フレームに対して設定された前記第２の領域を使用して求められるＡＦ評価値に基づいて焦点を調節することを特徴とする請求項１から請求項３のいずれか１項に記載の焦点調節装置。
前記第１の領域及び前記第２の領域は、ラベリングにより抽出される領域であることを特徴とする請求項１から請求項４のいずれか１項に記載の焦点調節装置。
前記第１の領域及び前記第２の領域は、ＡＦ評価値を算出する範囲を特定する枠の領域であることを特徴とする請求項１から請求項４のいずれか１項に記載の焦点調節装置。
前記第１の領域及び前記第２の領域は、予め設定された特徴を有する特定の種類の被写体の領域であることを特徴とする請求項１から請求項４のいずれか１項に記載の焦点調節装置。
画像に対して第１の領域を設定する第1の領域設定部と、
前記第１の領域設定部により設定された前記第１の領域に基づいて複数の画像フレームに対して第２の領域を設定する第２の領域設定部と、
前記第２の領域設定部により前記複数の画像フレームに対して設定された前記第２の領域を使用して求められるＡＦ評価値に基づいて焦点を調節する焦点調節部と、
を備えることを特徴とする焦点調節装置。
前記焦点調節部が前記第２の領域設定部により前記複数の画像フレームに対して設定された前記第２の領域を使用して求められるＡＦ評価値に基づいて焦点を調節する処理の途中又は終了時のうちの一方又は両方で、外部へ告知を行う告知制御部を備えることを特徴とする請求項８に記載の焦点調節装置。
光学系による像を撮像し、撮像した画像を出力する撮像部と、
請求項１から請求項９のいずれか１項に記載の焦点調節装置と、
を備えることを特徴とする撮像装置。
コンピュータに、
画像に対して第１の領域を設定する手順と、
前記設定された前記第１の領域より大きい第２の領域を前記画像に対して設定する手順と、
前記設定された前記第２の領域を使用して求められるＡＦ評価値に基づいて焦点を調節する手順と、
を実行させるための焦点調節プログラム。
コンピュータに、
画像に対して第１の領域を設定する手順と、
前記設定された前記第１の領域に基づいて複数の画像フレームに対して第２の領域を設定する手順と、
前記複数の画像フレームに対して設定された前記第２の領域を使用して求められるＡＦ評価値に基づいて焦点を調節する手順と、
を実行させるための焦点調節プログラム。