JP2021056532A - 撮像装置およびその制御方法 - Google Patents

Abstract

【課題】補助光の発光回数の増加を抑えつつ高速で焦点検出を行う。【解決手段】撮像装置１００は、撮像光学系を通過する光束を光電変換して信号を出力する行列状に配置された複数の画素を有する撮像素子１４と、前記撮像素子からの出力を用いて焦点検出処理を行う焦点検出手段５０と、を有する。撮像素子の画素行が露光されているタイミングに同期して閃光を発光するように第１の補助光発光手段を制御することで得られた画素行からの出力を用いて焦点検出処理を実行する第１の焦点検出モードと、補助光を被写界側へ照射する第２の補助光発光手段を制御して得られた撮像素子からの出力を用いて焦点検出処理を実行する第２の焦点検出モードとを有する。【選択図】図１

Description

本発明は、撮像素子を用いた焦点検出において補助光を使用する撮像装置に関する。

撮像素子を用いた、いわゆる撮像面位相差方式で焦点検出を行う撮像装置が特許文献１に開示されている。また、特許文献２には、被写体が暗い等、焦点検出が困難な場合に、被写体に向けて補助光を発光して焦点検出を行う方法が開示されている。

特開２０１４−１８２３６０号公報 特開平６‐９４９８８号公報

しかしながら、補助光を使用する場合には、該補助光が発光されている間のみ焦点検出が可能となる。このため、補助光を発光したにもかかわらず、何らかの原因で焦点検出が不成功であった場合には、補助光を再度発光して焦点検出をやり直す必要がある。特許文献１にて開示されたように、各画素に設けられたマイクロレンズによって瞳分割を行うことで画素内の一対の光電変換部で一対の焦点検出信号（位相差像信号）を生成する方式では、一対の光電変換部間の基線長が短いために検出可能なデフォーカス量が小さい。このため、補助光を使用しても焦点検出が不成功となる可能性が高い。この結果、焦点検出が成功するまでの補助光の発光回数が増えるおそれがある。

本発明は、補助光を使用した焦点検出を行う際に、補助光の発光回数の増加を抑えつつ高速で焦点検出が可能な撮像装置を提供する。

本発明の一側面としての撮像装置は、撮像光学系を通過する光束を光電変換して信号を出力する行列状に配置された複数の画素を有する撮像素子と、前記撮像素子からの出力を用いて焦点検出処理を行う焦点検出手段と、を有する撮像装置であって、前記撮像素子の画素行が露光されているタイミングに同期して閃光を発光するように第１の補助光発光手段を制御することで得られた前記画素行からの出力を用いて前記焦点検出処理を実行する第１の焦点検出モードと、補助光を被写界側へ照射する第２の補助光発光手段を制御して得られた前記撮像素子からの出力を用いて前記焦点検出処理を実行する第２の焦点検出モードとを有することを特徴とする。

また、本発明の他の一側面としての制御方法は、撮像光学系を通過する光束を光電変換して信号を出力する行列状に配置された複数の画素を有する撮像素子を有する撮像装置の制御方法であって、前記撮像素子の画素行が露光されているタイミングに同期して閃光を発光するように第１の補助光発光手段を制御することで得られた前記画素行からの出力を用いて焦点検出処理を実行する第１の焦点検出モードと、補助光を被写界側へ照射する第２の補助光発光手段を制御して得られた前記撮像素子からの出力を用いて焦点検出処理を実行する第２の焦点検出モードとを有することを特徴とする。

本発明によれば、補助光の発光回数の増加を抑えつつ、高速で焦点検出を行うことができる。

本発明の実施例１である撮像装置の構成を示すブロック図。 実施例１の撮像装置に用いられる撮像素子の画素部図および画素配列図。 実施例１の撮像装置における撮像光学系の射出瞳面と撮像素子の光電変換部との共役関係を説明する図。 実施例１において撮像範囲内に設けられた焦点検出領域を示す図。 実施例１における焦点検出領域内で取得された一対の焦点検出信号を示す図。 実施例１における撮像装置の撮像制御処理を示すフローチャート。 実施例１における焦点調節処理を示すフローチャート。 実施例１におけるフォーカスレンズの初期位置への駆動を説明する図。 実施例１における焦点検出可能なデフォーカス量情報のテーブルを示す図。 実施例１における撮像処理を示すフローチャートである。 実施例１におけるＡＦ補助光の発光要否判定処理を示すフローチャート。 実施例１におけるＬＥＤ補助光発光時の焦点調節処理を示すフローチャート。 実施例１におけるＬＥＤ補助光および閃光補助光発光時の焦点調節処理を示すフローチャート。 実施例１における被写体有無判定処理を示すフローチャート。 実施例１における閃光補助光発光時の焦点調節処理を示すフローチャート。 実施例１における閃光補助光発光時の焦点調節処理を示すフローチャート。 実施例１における閃光発光時の焦点検出／調光処理を示すフローチャート。 実施例１におけるレンズ駆動中の閃光発光の条件設定処理を示すフローチャート。 実施例１におけるレンズ駆動中の閃光発光および焦点検出処理を示すフローチャート。 実施例２におけるＬＥＤ補助光および閃光補助光発光時の焦点調節処理を示すフローチャート。 実施例２における閃光補助光発光時の焦点調節処理を示すフローチャート。

以下、本発明の実施例について図面を参照しながら説明する。

図１は、撮像レンズ（交換レンズ）３００と、該撮像レンズ３００が交換（着脱）可能に装着された撮像装置としてのカメラ本体（以下、単にカメラ本体という）１００とにより構成されるカメラシステムの構成を示す。まず、カメラ１００の構成について説明する。

カメラ１００のカメラマウント１０６には、撮像レンズ３００のレンズマウント３０６が機械的および電気的に着脱可能に装着される。カメラマウント１０６およびレンズマウント３０６には、撮像レンズ３００をカメラ１００と電気的に接続する電気接点部としてのコネクタ１２２，３２２が設けられている。

被写体から撮像レンズ３００に入射して該撮像レンズ３００内の撮像光学系を通過した光束は、メインミラー１３０により上方へ反射されて光学ファインダ１０４に入射する。ユーザは、光学ファインダ１０４を通して被写体の光学像である被写体像を観察しながら撮像を行うことができる。光学ファインダ１０４内には後述する表示部５４の一部が設けられており、該表示部５４は焦点検出領域、合焦状態、手振れ警告、絞り値および露出補正値が表示される。

メインミラー１３０は、ハーフミラーにより構成されている。撮像光路内に配置されたメインミラー１３０に入射した光束の一部は該メインミラー１３０を通過して、その背後に設けられたサブミラー１３１により下方へ反射されて焦点検出ユニット１０５に入射する。

焦点検出ユニット１０５は、２次結像光学系と光電変換素子とにより構成され、位相差検出方式による焦点検出を行う。焦点検出ユニット１０５は、２次結像光学系により形成された一対の被写体像をラインセンサ等の光電変換素子により電気信号（一対の焦点検出信号としての位相差像信号）に変換してＡＦ（オートフォーカス）部４２に送る。ＡＦ部４２は、この一対の位相差像信号間のずれ量である位相差を算出する。焦点検出ユニット１０５とＡＦ部４２とにより焦点検出手段が構成される。制御手段としてのシステム制御部５０は、算出された位相差から焦点検出結果としてのデフォーカス量を算出する。フォーカス制御部３４２は、該デフォーカス量が小さくなるように撮像光学系に含まれるフォーカスレンズ（フォーカス素子）３１１を光軸方向に移動させる焦点調節処理を行う。なお、本実施例では、撮像光学系内のフォーカスレンズ３１１を移動させて焦点調節を行うが、後述する撮像素子１４をフォーカス素子として光軸方向に移動させて焦点調節を行うことも可能である。

一方、撮像レンズ３００の焦点調節処理が終了して静止画、電子ファインダ画像または動画の撮像を行う場合には、不図示のクイックリターン機構によりメインミラー１３０とサブミラー１３１を撮像光束外に退避させる。これにより、撮像レンズ３００からの光束は、露光量を制御するためのシャッター１２を介して撮像素子１４に入射する。撮像素子１４は、ＣＭＯＳセンサ等の光電変換素子により構成され、撮像レンズ３００からの光束により形成された被写体像を撮像（光電変換）する。撮像が終了すると、メインミラー１３０とサブミラー１３１は撮像光路内に戻される。

撮像素子１４での光電変換により生成された電気信号（アナログ撮像信号）は、Ａ／Ｄ変換器１６にてデジタル撮像信号に変換される。タイミング発生部１８は、メモリ制御部２２およびシステム制御部５０により制御されて撮像素子１４、Ａ／Ｄ変換器１６およびＤ／Ａ変換器２６にクロック信号や制御信号を供給する。画像処理部２０は、Ａ／Ｄ変換器１６またはメモリ制御部２２からのデジタル撮像信号に対して画素補間処理や色変換処理等の画像処理を行って画像データを生成する。画像処理部２０は、生成した画像データを用いて各種演算処理を行う。

撮像素子１４は、その全画素または一部の画素が焦点検出可能な画素として構成されており、該画素を用いて撮像面位相差検出方式による焦点検出を行うことができる。画像処理部２０は、生成した画像データのうち後述する焦点検出領域に対応する部分画像データを焦点検出データに変換する。焦点検出データは、システム制御部５０を介してＡＦ部４２に送られ、ＡＦ部４２は撮像レンズ３００内のフォーカス制御部３４２を通じてフォーカスレンズ３１１を移動させて合焦状態を得る。

本実施例のカメラ１００では、システム制御部５０は、画像処理部２０により生成された画像データからコントラスト状態を示すコントラスト評価値を生成することができる。そして、コントラスト評価値がピークを示す位置にフォーカス制御部３４２を通じてフォーカスレンズ３１１を移動させて合焦状態を得るコントラスト検出方式によるＡＦを行うことも可能である。

このため、メインミラー１３０とサブミラー１３１が撮像光路内に配置された光学ファインダ観察状態では焦点検出ユニット１０５による位相差検出方式でのＡＦ（位相差ＡＦ）が行われる。一方、メインミラー１３０とサブミラー１３１が撮像光束外へ退避した電子ファインダ観察状態や動画撮像時には、撮像素子１４による撮像面位相差検出方式でのＡＦ（撮像面位相差ＡＦ）とコントラスト検出方式でのＡＦ（コントラストＡＦ）が行われる。

メモリ制御部２２は、Ａ／Ｄ変換器１６、タイミング発生部１８、画像処理部２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０および圧縮伸長部３２を制御する。前述したようにＡ／Ｄ変換器１６からのデジタル撮像データが画像処理部２０に入力されることで画像データが生成され、該画像データはメモリ制御部２２を介して画像表示メモリ２４またはメモリ３０に書き込まれる。Ａ／Ｄ変換器１６からの撮像データがメモリ制御部２２を介して直接、画像表示メモリ２４またはメモリ３０に書き込まれてもよい。

画像表示部（表示手段）２８は、液晶モニタ等の表示デバイスを有する。画像表示メモリ２４に書き込まれた表示用画像データは、Ｄ／Ａ変換器２６を介して画像表示部２８により表示される。撮像により順次得られる画像データ（フレーム画像）を画像表示部２８に順次表示することで、電子ファインダ画像としてのライブビュー画像を表示することができる。

メモリ３０は、撮像により生成された静止画像や動画像を記憶する。また、メモリ３０は、システム制御部５０の作業領域としても使用される。圧縮伸長部３２は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する機能を有し、メモリ３０に記憶された画像データを読み込んで圧縮処理または伸長処理を行い、処理を終えた画像データをメモリ３０に書き込む。

シャッター制御部３６は、測光部４６からの測光情報に基づいて、撮像レンズ３００内の絞り３１２を駆動する絞り制御部３４４と連携しながらシャッター１２を制御する。カメラインターフェース部３８は、コネクタ１２２，３２２およびレンズインターフェース部３３８を介して、カメラ１００と撮像レンズ３００との間での制御信号、状態信号および各種データ等の通信を可能とする。また、カメラ１００から撮像レンズ３００への電源供給も可能とする。

測光部４６は、ＡＥ処理を行う。撮像レンズ３００を通過した光束をミラー１３０および不図示の測光用レンズを介して測光部４６に入射させることにより、被写体像の輝度を測定することができる。また、測光部４６は、フラッシュ４８と連携して調光処理を行う。フラッシュ４８は、被写体に向けて光を発する発光手段（第１の発光手段）として、静止画撮像時にフラッシュ（閃光）発光して被写体を明るく照明するとともに、焦点検出時に間欠発光して被写体に間欠的にＡＦ補助光を投光して被写体を照明する機能を有する。なお、測光部４６に代わり、システム制御部５０が、画像処理部２０により生成された画像データから輝度を演算した結果に基づいてシャッター制御部３６と撮像レンズ３００内の絞り制御部３４４に対してＡＥ制御を行うことも可能である。

ＬＥＤランプ４９は、被写体を照明する光源として、常時発光（連続発光）が可能な発光手段（第２の発光手段）である。ＬＥＤランプ４９が発するＬＥＤ光は、ＡＦ補助光であるＬＥＤ補助光として機能する以外に、いわゆる赤目現象を軽減したり、セルフタイマー撮像時の撮像タイミングの指標となったりする。

システム制御部５０は、カメラ１００の動作全体を制御する。メモリ５２は、システム制御部５０の動作に用いられる定数、変数およびプログラム等を記憶する。表示部５４は、液晶表示パネルやＬＥＤ等の表示デバイスにより構成され、文字、画像および音声等を用いて動作状態やメッセージ等を表示する。具体的には、撮像済画像数や残撮像可能画像数等の撮像画像数に関する情報や、シャッタースピード、絞り値、露出補正およびフラッシュ発光の有無等の撮像条件に関する情報や、電池残量や日付・時刻等を表示する。前述したように表示部５４の一部は、光学ファインダ１０４内にも設けられている。

不揮発性メモリ５６は、ＥＥＰＲＯＭ等により構成され、電気的に記録および消去可能なメモリである。モードダイヤル６０、シャッタースイッチ６２，６４、画像表示オン／オフスイッチ６６、クイックレビューオン／オフスイッチ６８および操作部７０は、システム制御部５０に対して各種動作指示を入力するためにユーザにより操作される。操作部７０は、スイッチ、ダイアル、タッチパネル、視線検知によるポインティングデバイス、音声認識デバイス等を含む。

電源制御部８０は、電池検出部、ＤＣ／ＤＣコンバータおよび通電するブロックを切り替えるスイッチ部を含む。電源制御部８０は、電池検出部を通じて電池の装着の有無、電池の種類および電池残量を検出し、その検出結果およびシステム制御部５０からの指示に応じてＤＣ／ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部に供給する。コネクタ８２，８４は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、リチウムイオン電池等の二次電池、ＡＣアダプタ等からなる電源部８６をカメラ１００に接続する。

インターフェース９０は、メモリカードやハードディスク等の記録媒体２００との接続機能を有し、コネクタ９２は、メモリカードやハードディスク等の記録媒体と物理的接続を行う。記録媒体着脱検知部９８は、コネクタ９２に記録媒体２００が接続されていることを検知する。

次に、撮像レンズ３００の構成について説明する。撮像レンズ３００は、変倍（ズーム）レンズ３１０、上述したフォーカスレンズ３１１および絞り３１２等により構成される撮像光学系を有する。ズーム制御部３４０は、ズームレンズ３１０を光軸方向に移動させて変倍を行わせる。焦点調節手段としてのフォーカス制御部３４２は、フォーカスレンズ３１１を光軸方向に移動させて焦点調節を行わせる。絞り制御部３４４は、測光部４６およびシステム制御部５０からの測光情報に基づいて絞り３１２を駆動する。

レンズシステム制御部３４６は、撮像レンズ３００の動作全体を制御する。レンズシステム制御部３４６は、その動作に用いる定数、変数およびプログラム等を記憶するメモリ機能を備えている。

不揮発性メモリ３４８は、撮像レンズ３００に固有の製造番号等の識別情報や、開放絞り値、最小絞り値および焦点距離等の光学情報や、現在または過去の各種設定値等を記憶する。また、不揮発性メモリ３４８は、撮像レンズ３００の状態に応じた枠情報やデフォーカス関連情報も記憶されている。

枠情報は、撮像レンズ（撮像光学系）３００を通過する光束の径を決定する「枠」に関する情報であり、具体的には該「枠」の撮像素子１４からの距離と、該「枠」の光束通過開口の半径を示す情報である。「枠」の１つは絞り３１２であり、他にも撮像光学系を構成するレンズを保持するレンズ保持部材が「枠」に相当する。「枠」は、ズームレンズ３１０の位置（ズーム位置）やフォーカスレンズ３１１の位置（フォーカス位置）に応じて異なるため、ズーム位置ごとおよびフォーカス位置ごとに用意されている。焦点検出を行う際には、ズーム位置とフォーカス位置に応じた最適な枠情報が選択され、該枠情報がレンズ制御部３４６からシステム制御部５０に送られる。

デフォーカス関連情報は、被写体距離ごとの無限遠端および至近端までのデフォーカス量の情報であり、フォーカス位置に対応付けられた被写体距離ごとに分割されて記憶されている。

次に、撮像素子１４の構成について図２（ａ）〜（ｃ）を用いて説明する。図２（ａ）は、撮像素子１４の１つの画素２００の構成を示す。画素２００は、一対の光電変換部としての２つのフォトダイオード（ＰＤ）２０１ａ，２０１ｂと、転送スイッチ２０２ａ，２０２ｂと、フローティングディフュージョン領域２０３と、増幅部２０４と、リセットスイッチ２０５と、選択スイッチ２０６とを有する。各スイッチは、ＭＯＳトランジスタ等により構成される。以下の説明では、例として、各スイッチがＮ型ＭＯＳトランジスタにより構成されているものとする。ただし、各スイッチはＰ型ＭＯＳトランジスタにより構成されていてもよく、さらに他のスイッチング素子により構成されていてもよい。また、画素２００に設けられるフォトダイオードの数は３つ以上（例えば、４つ）であってもよい。

フォトダイオード２０１ａ，２０１ｂはそれぞれ、図２（ｂ）に示すように、同一のマイクロレンズ２０１ｃを通過した光を受光して光電変換し、その受光量に応じた電荷を発生する。以下の説明において、フォトダイオード２０１ａで発生した電荷により得られる信号をＡ信号といい、フォトダイオード２０１ｂで発生した電荷により得られる信号をＢ信号という。

転送スイッチ２０２ａは、フォトダイオード２０１ａとフローティングディフュージョン領域２０３との間に接続され、転送スイッチ２０２ｂはフォトダイオード２０１ｂとフローティングディフュージョン領域２０３との間に接続される。転送スイッチ２０２ａ，２０２ｂはそれぞれ、フォトダイオード２０１ａ，２０１ｂで発生した電荷を共通のフローティングディフュージョン領域２０３に転送する。転送スイッチ２０２ａ，２０２ｂはそれぞれ、制御信号ＴＸ＿Ａ，ＴＸ＿Ｂによって制御される。

フローティングディフュージョン領域２０３は、フォトダイオード２０１ａ，２０１ｂから転送された電荷を一時的に保持するとともに、保持した電荷を電圧信号に変換する。

増幅部２０４は、ソースフォロワＭＯＳトランジスタである。増幅部２０４のゲートは、フローティングディフュージョン領域２０３に接続され、増幅部２０４のドレインは電源電位ＶＤＤを供給する共通電源２０８に接続される。増幅部２０４は、フローティングディフュージョン領域２０３に保持された電荷により得られる電圧信号を増幅して出力する。

リセットスイッチ２０５は、フローティングディフュージョン領域２０３と共通電源２０８との間に接続されている。リセットスイッチ２０５は、制御信号ＲＥＳによって制御され、フローティングディフュージョン領域２０３の電位を電源電位ＶＤＤにリセットする。

選択スイッチ２０６は、増幅部２０４のソースと垂直出力線２０７の間に接続されている。選択スイッチ２０６は、制御信号ＳＥＬによって制御され、増幅部２０４で増幅された電圧信号を垂直出力線２０７に出力する。

図２（ｃ）は、撮像素子１４の回路構成を示す。撮像素子１４は、画素アレイ２３４、垂直走査回路２０９、電流源負荷２１０、読み出し回路２３５、共通出力線２２８，２２９、水平走査回路２３２およびデータ出力部２３３を有する。

画素アレイ２３４は、行列状に配置された複数の画素２００を有する。図２（ｃ）には説明を簡略化するために、水平方向ｎ画素×垂直方向４画素を示している。また、各画素２００には、複数色のカラーフィルタのうちいずれか１つが設けられている。図２（ｃ）に示す例では、カラーフィルタの色は赤色（Ｒ）、緑色（Ｇ）および青色（Ｂ）である。これらのカラーフィルタが設けられたｎ×ｍ画素はベイヤー配列に従って配置されている。

また、撮像素子１４は、画素アレイ２３４の一部が遮光層で遮光された領域（ＯＢ）を持つ。

垂直走査回路２０９は、画素行ごとに設けられた駆動信号線２０８を介して、各画素行の画素２００に制御信号を出力する。図２（ｃ）では駆動信号線２０８は画素行ごとに１本ずつ示されているが、実際には画素行ごとに複数の駆動信号線が接続されている。

同じ画素列の画素２００は、画素列ごとに設けられた垂直出力線２０７に共通接続される。各画素２００から出力される信号は、この垂直出力線２０７を介して読み出し部２３５に入力され、読み出し部２３５で処理される。電流源負荷２１０は、各画素列の垂直出力線２０７に接続される。

水平走査回路２３２は、制御信号ＨＳＲ（０）〜ＨＳＲ（ｎ−１）を出力することで、複数の読み出し部２３５の中から信号を出力させる読み出し部を順次選択する。選択された読み出し部２３５は、共通出力線２２８，２２９を介して出力アンプ２３３に処理した信号を出力する。

読み出し部２３５の具体的な構成を説明する。読み出し部２３５は、クランプ容量２１１、フィードバック容量２１４〜２１６、オペアンプ２１３、基準電圧源２１２およびスイッチ２１７〜２２０を有する。また、比較器２２１、Ｌａｔｃｈ＿Ｎ２２２、Ｌａｔｃｈ＿Ｓ２２３およびスイッチ２２６，２２７を有する。

垂直出力線２０７を介して読み出し部２３５に入力される信号は、クランプ容量２１１を介してオペアンプ２１３の反転入力端子に入力される。オペアンプ２１３の非反転入力端子には、基準電圧源２１２から基準電圧Ｖｒｅｆが供給される。フィードバック容量２１４〜２１６は、オペアンプ２１３の反転入力端子と出力端子の間に接続される。スイッチ２１７もオペアンプ２１３の反転入力端子と出力端子の間に接続され、フィードバック容量２１４〜２１６の両端をショートさせる。スイッチ２１７は、制御信号ＲＥＳ＿Ｃにより制御される。また、スイッチ２１８〜２２０は、制御信号ＧＡＩＮ０〜２で制御される。

比較器２２１にはオペアンプ２１３の出力端子と、ランプ信号発生器２３０から出力されるランプ信号２２４が接続されている。Ｌａｔｃｈ＿Ｎ２２２はノイズレベル（Ｎ信号）を保持するための記憶素子であり、Ｌａｔｃｈ＿ＳはＡ信号およびＡ信号とＢ信号が加算されたＡＢ信号の信号レベル（Ｓ信号）を保持するための記憶素子である。比較器２２１の出力端子とカウンタ２３１から出力されるカウンタ値２２５がＬａｔｃｈ＿Ｎ２２２とＬａｔｃｈ＿Ｓ２２３に入力され、それぞれＬＡＴＥＮ＿Ｎ、ＬＡＴＥＮ＿Ｓで制御される。Ｌａｔｃｈ＿Ｎ、Ｌａｔｃｈ＿Ｓの出力端子はスイッチ２２２、２２３を介してそれぞれ共通出力線２２８、２２９に接続される。共通出力線２２８、２２９はデータ出力部２３３に接続される。

スイッチ２２６，２２７は、水平走査回路２３２からの制御信号ｈｓｒ（ｈ）により制御される。ここで、ｈは制御信号線が接続されている読み出し部２３５の列番号を示す。Ｌａｔｃｈ＿Ｎ２２２およびＬａｔｃｈ＿Ｓ２２３に保持された信号は、共通出力線２２８、２２９を介して出力され、データ出力部２３３から外部へ出力される。この動作を水平転送と呼ぶ。

本実施例では、撮像素子１４は、第１の読み出しモードと第２の読み出しモードとを有する。第１の読み出しモードは、記録用の高精細の静止画を撮像するために全画素から出力信号が読み出される全画素読み出しモードである。第２の読み出しモードは、記録用の静止画よりも画素数が少ないライブビュー画像や記録用の動画の表示を行うため、全画素のうち一部の画素からの出力信号のみが読み出される間引き読み出しモードである。ライブビュー画像や動画の生成に必要な画素数は全画素数よりも少ないため、撮像素子から水平方向および垂直方向ともに所定比率で間引いた数の画素のみから出力信号を読み出すことで、信号処理負荷を軽減するとともに、消費電力の低減にも寄与する。また、第１および第２の読み出しモードのいずれにおいても各画素に設けられた各光電変換部からの出力信号は独立して読み出しされるため、いずれの読み出しモードでも一対の位相差像信号の生成が可能である。

図３（ａ），（ｂ）は、本実施例のカメラシステムにおける撮像光学系１０１の射出瞳面と、撮像素子１４における像高０付近、すなわち像面の中央近傍に配置された画素（以下、中央画素という）２００における一対の光電変換部２０１ａ，２０１ｂとの共役関係を示す。撮像光学系の射出瞳面と一対の光電変換部とは、マイクロレンズ２０１ｃによって共役関係となるように設定されている。撮像光学系の射出瞳は、一般的に、絞り３１２が配置された面に位置する。一方、本実施例の撮像光学系は変倍機能を有し、変倍によって像面からの射出瞳からの距離（射出瞳距離）や大きさが変化する。図３（ａ）に示す撮像光学系１０１は、焦点距離が広角端と望遠端との間の中間ズーム状態にある。これを標準的な射出瞳距離Ｚｅｐと仮定して、マイクロレンズ２０１ｃの形状や像高（Ｘ，Ｙ座標）に応じた偏心パラメータが最適化される。

図３（ａ）において、３０１は撮像光学系の最も被写体側に配置された第１レンズ群であり、３０１ｂは第１レンズ群３０１を保持する鏡筒部材である。３１１ｂはフォーカスレンズ３１１を保持する鏡筒部材である。３１２ａは絞り３１２の開放口径を決める開口を有する開口板であり、３１２ｂは絞り込み開口径を調節するための絞り羽根である。撮像光学系を通過する光束を制限する部材としての鏡筒部材３０１ｂ、開口板３１２ａ、絞り羽根３１２ｂは、像面側から観察した場合の光学的な虚像として示している。また、絞り３１２の近傍における合成開口を撮像光学系の射出瞳（以下、レンズ射出瞳という）と定義して、前述したように像面からのレンズ射出瞳までの距離をＺｅｐとする。

中央画素２００に含まれる一対の光電変換部２０１ａ，２０１ｂは、マイクロレンズ２０１ｃによってレンズ射出瞳面上に像ＥＰ１ａ，ＥＰ１ｂとして逆投影される。言い換えれば、レンズ射出瞳のうち互いに異なる瞳領域（以下、焦点検出瞳という）であるＥＰ１ａ，ＥＰ１ｂが、マイクロレンズ２０１ｃを介して光電変換部２０１ａ，２０１ｂの表面に投影される。中央画素２００は、その最下層から順に、光電変換部２０１ａ，２０１ｂ、配線層２０１ｅ〜２０１ｇ、カラーフィルタ２０１ｈおよびマイクロレンズ２０１ｃにより構成されている。

図３（ｂ）は、撮像光学系の射出瞳面上における光電変換部２０１ａ，２０１ｂの逆投影像ＥＰ１ａ，ＥＰ１ｂを光軸方向から見て示す。撮像素子１４は、２つの光電変換部２０１ａ，２０１ｂのうち一方からの信号を出力することができるとともに、これらの両方からの信号を加算して出力できる画素を有する。加算して出力された信号は、焦点検出瞳ＥＰ１ａ，ＥＰ１ｂを通過した全ての光束を光電変換して得られた信号である。

図３（ａ）において、撮像光学系を通過する光束（図ではその外縁を直線で示している）Ｌは、絞り３１２の開口板３１２ａによって制限されており、焦点検出瞳ＥＰ１ａ，ＥＰ１ｂからの光束は撮像光学系においてケラレることなく画素２００に到達する。図３（ｂ）では、図３（ａ）に示した光束Ｌの射出瞳面での断面（外縁）をＴＬとして示している。ＴＬで示される円（つまりは開口板３１２ａの開口）の内部に２つの光電変換部２０１ａ，２０１ｂの逆投影像ＥＰ１ａ，ＥＰ１ｂの大部分が含まれていることから、逆投影像ＥＰ１ａ，ＥＰ１ｂにはわずかなケラレしか発生していないことが分かる。この際、射出瞳面の中央では逆投影像ＥＰ１ａ，ＥＰ１ｂのケラレ状態は、撮像光学系の光軸（図３（ａ）に一点鎖線で示す）に関して対称となり、光電変換部２０１ａ，２０１ｂが受光する光量は互いに等しい。

このように、撮像素子１４は被写体像を撮像する機能だけではなく、レンズ射出瞳における互いに異なる焦点検出瞳からの光束を個別に受光して撮像面位相差検出方式の焦点検出を行う機能も有する。なお、本実施例では、撮像素子１４の１つの画素が一対の光電変換部を有する場合について説明するが、互いに異なる一部が遮光された２つの焦点検出専用画素を一対の光電変換部として用いてもよい。

図４は、撮像範囲４００内における焦点検出領域４０１を示す。本実施例では、複数（３つ）の焦点検出領域４０１で撮像面位相差検出方式の焦点検出を行う。焦点検出領域４０１内では、水平方向のコントラスト差を用いて位相差を検出する。

図５は、本実施例における一対の位相差像信号４３０ａ，４３０ｂの例を示している。一対の位相差像信号４３０ａ，４３０ｂは、撮像素子１４における焦点検出領域４０１内の複数の画素から得られたＡ信号同士およびＢ信号同士をそれぞれ連結し、さらに画像処理部２０よる各種画像処理（補正）が行われた信号である。一対の位相差像信号４３０ａ，４３０ｂはＡＦ部４２に送られる。

図５において、横軸は互いに連結された信号（ＡまたはＢ信号）の画素配列方向を示し、縦軸は該信号の強度を示す。図５は、撮像光学系が被写体に対してデフォーカスした状態（非合焦状態）での一対の位相差像信号４３０ａ，４３０ｂを示している。合焦状態に比べて、位相差像信号４３０ａは左側にずれ、位相差像信号４３０ｂは右側にずれている。ＡＦ部４２は、一対の位相差像信号４３０ａ，４３０ｂのずれ量（位相差）を相関演算を用いて算出し、該位相差から撮像光学系の被写体に対するデフォーカス量を求める。

システム制御部５０は、レンズ制御部３４６から送信されたフォーカス敏感度（フォーカスレンズ３１１の単位移動量に対する像面移動量）の情報およびＡＦ部４２から得られたたデフォーカス量とからフォーカスレンズ３１１の駆動量を算出する。さらにシステム制御部５０は、レンズ制御部３４６から送信されたフォーカス位置の情報とフォーカスレンズ３１１の駆動量とからフォーカスレンズ３１１を移動させる目標位置の情報を求めて、レンズ制御部３４６に送信する。レンズ制御部３４６は、フォーカス制御部３４２を通じてフォーカスレンズ３１１を移動させる目標位置に移動させる。以上により、撮像面位相差ＡＦによる焦点調節が行われる。

次に、図６のフローチャートを用いて、本実施例のカメラ１００における撮像制御処理（制御方法）について説明する。図６は、ライブビュー画像を表示する状態から静止画撮像を行う場合の撮像制御処理の流れを示している。コンピュータとしてのシステム制御部５０は、コンピュータプログラムとしての制御プログラムに従って本処理を実行する。以下の説明において、「Ｓ」はステップを意味する。

まずＳ１において、システム制御部５０は、ライブビュー画像を生成するための撮像素子１４による撮像を開始させて撮像信号を画像処理部２０に入力させる。

次にＳ２では、システム制御部５０は、画像処理部２０に撮像信号からライブビュー画像データおよび焦点検出データを生成させる。

次にＳ３において、システム制御部５０は、Ｓ２にて生成されたライブビュー画像データに基づいてライブビュー画像を画像表示部２８に表示する。ユーザは、このライブビュー画像を見ることで撮像構図を決定することができる。ライブビュー画像の表示は、ユーザが撮像範囲や撮像条件を確認するために用いられ、所定時間間隔、例えば３３．３ｍｓ（３０ｆｐｓ）や１６．６ｍｓ（６０ｆｐｓ）で更新される。

ただし、システム制御部５０は、後述するＡＦ補助光の発光時には画像表示部２８にライブビュー画像を表示しないように制御してもよい。例えば閃光発光を用いたＡＦ補助光（以下、閃光補助光という）の場合は被写体の一部が輝度飽和する等して高質の画像を取得できないおそれがあるので、閃光補助光の発光時にはライブビュー画像の表示を停止して、その後表示を再開すればよい。

一方、ＬＥＤから発光されるＡＦ補助光（以下、ＬＥＤ補助光という）は、常時発光が可能であり、測光部４６により表示画像を適正露出状態に保つことができるため、表示を停止する必要はない。閃光発光を行う場合でも、輝度飽和する領域が限定的であったり閃光発光量が小さかったりする場合は、ライブビュー画像の表示を継続してもよい。

次にＳ４では、システム制御部５０（ＡＦ部４２）は、図４に示した３つの焦点検出領域４０１における焦点検出データを用いて焦点検出処理を行う。すなわち、ＡＦ部４２は、図５に示した一対の位相差像信号の位相差からデフォーカス量を算出するまでの焦点検出処理を行う。

次のＳ５において、システム制御部５０は、撮像準備開始指示としてのスイッチＳＷ１のオン／オフを検出する。スイッチＳＷ１は、操作部７０に含まれるレリーズ（撮像トリガ）スイッチの半押し操作によりオンになる。スイッチＳＷ１がオンであればＳスイッチＳＷ１がオフである場合はＳ１０に進む。

Ｓ１０では、システム制御部５０は、メイン（電源）スイッチがオフされたか否かを判定する。メインスイッチがオフされていない場合、Ｓ２に戻る。一方、メインスイッチがオフされた場合、本フローを終了する。

一方、Ｓ５にてスイッチＳＷ１のオンが検出されると、システム制御部５０はＳ６に進む。Ｓ６において、システム制御部５０は、焦点検出領域モードを取得する。焦点検出領域モードは、任意選択モード、自動選択モードおよび被写体検出モードを含む。任意選択モードは、ユーザが指定した１または複数の焦点検出領域を設定するモードである。自動選択モードは、システム制御部５０が１または複数の焦点検出領域を設定するモードである。被写体検出モードは、人物の顔等の特定の被写体を検出して１または複数の焦点検出領域を設定するモードである。またＳ６では、システム制御部５０は、事前に設定された焦点検出領域モードの情報や人物の顔等の特定の被写体の情報である被写体検出情報を取得し、焦点検出領域の位置、配置および数を設定する。

次にＳ７において、システム制御部５０（ＡＦ部４２）は、Ｓ６において取得された焦点検出領域モードに応じて設定された焦点検出領域４０１で焦点調節処理を行う。焦点調節処理の詳細については後述する。焦点調節処理が終了すると、システム制御部５０はＳ８に進む。

Ｓ８において、システム制御部５０は、撮像開始指示としてのスイッチＳＷ２のオン／オフを検出する。スイッチＳＷ２は、レリーズスイッチの全押し操作によりオンになる。システム制御部５０は、スイッチＳＷ２がオンになるまで待機し、スイッチＳＷ２がオンになるとＳ９に進む。

Ｓ９では、システム制御部５０は、撮像処理を行う。撮像処理の詳細については後述する。Ｓ９での撮像処理が終了すると、システム制御部５０はＳ１０に進む。

Ｓ１０において、システム制御部５０は、メインスイッチがオフされたか否かを判定する。メインスイッチがオフされていない場合はＳ２に戻り、メインスイッチがオフされた場合は本処理を終了する。

次に、図７のフローチャートを用いて、図６のＳ７で行われる焦点調節処理について説明する。焦点調節処理を開始したシステム制御部５０は、Ｓ２０１において、Ｓ４で行われた焦点検出の結果としてのデフォーカス量を取得する。また、システム制御部５０は、取得したデフォーカス量の信頼性が高いか否かを判定する。デフォーカス量の信頼性が高い場合は、システム制御部５０はＳ２０２に進む。

ここでの信頼性は、システム制御部５０が、一対の位相差像信号の相関量の極小値と、相関演算において相関量が極小値を示すシフト量の近傍での相関量の差分の大きさとを用いて判定する。

相関量とは、一対の位相差像信号の相関度合いを示し、相関が高いほど小さい値となる。言い換えれば、相関量の極小値が小さいほど信頼性が高くなる。本実施例では、相関量の極小値が閾値Ｔｈｒ１より小さければ信頼性が高いと判定する。理想的には、相関量の極小値は、一対の位相差像信号が完全に同一形状である場合に０となる。しかし、実際の一対の位相差像信号は、被写体からの光の拡散特性や光量調節誤差や画素ごとに個別に生じるノイズの影響等の影響によって互いに形状が異なる。このため、相関量の極小値は正の値となるのが一般的である。一方、一対の位相差像信号の形状の差が大きいほど、極小値の検出精度が低下し、結果的には焦点検出の精度が低下する。

また、相関量が極小値を示すフト量近傍で得られた相関量の差分は大きいほど、シフト量を高精度に算出することができる。これは、相関量が誤差によりばらついた場合でも、相関量の差分が大きければシフト量の検出に与える影響が小さいためである。このことから、相関量の差分が閾値Ｔｈｒ２より大きい場合に信頼性が高い（第１の信頼性である）と判定する。

Ｓ２０２では、システム制御部５０は、Ｓ６において取得された焦点検出領域モードに応じて設定された全ての焦点検出領域で信頼性が高いデフォーカス量が検出できたか否かを判定し、全ての焦点検出領域で信頼性が高いデフォーカス量が検出できた場合はＳ２０３に進む。Ｓ２０２において設定された全ての焦点検出領域で信頼性が高い場合にのみＳ２０３に進むのは、焦点検出領域のいくつかがＡＦ補助光の発光によって信頼性が高くなる可能性があるためである。システム制御部５０は、信頼性が低い焦点検出領域が存在する場合にはＡＦ補助光を用いた焦点検出を試みる。ただし、焦点検出領域の数が多い場合には、全ての焦点検出領域の信頼性が高い場合のみＡＦ補助光を使用しないとする必要はない。例えば、複数の焦点検出領域のうち像高が中央近傍の焦点検出領域のみ信頼性高い場合にＡＦ補助光を使用しないと判定してもよい。

Ｓ２０３では、システム制御部５０は、Ｓ６において設定された焦点検出領域４０１での検出デフォーカス量が所定デフォーカス量以下となる合焦状態を示すか非合焦状態を示すかを判定する。ここでは、焦点検出領域モードに応じて設定された焦点検出領域のうち、至近優先、中央領域優先の所定のアルゴリズムにしたがって、１つの焦点検出領域を選択し、検出デフォーカス量を所定量と比較する。非合焦状態であると判定したシステム制御部５０は、Ｓ２０４に進み、検出デフォーカス量に基づいてフォーカスレンズ３１１を駆動する。

一方、Ｓ２０３において検出デフォーカス量が所定デフォーカス量以下で合焦状態にあると判定したシステム制御部５０は、Ｓ２０５に進み、画像表示部２８に合焦状態を示す合焦表示を行う。例えば、合焦状態が得られた焦点検出領域を示す枠を特定色で表示したり、合焦状態が得られたことを示す音を出力したりする。

またＳ２０２において信頼性が高いデフォーカス量が検出できていないと判定したシステム制御部５０は、Ｓ２０６に進み、ＡＦ補助光の発光要否判定の処理を行う。該処理の詳細については後述する。

次にＳ２０７では、システム制御部５０は、Ｓ２０６での判定処理の結果が、ＬＥＤ補助光または閃光補助光としてのＡＦ補助光が必要であることを示すか否かを判定する。ＡＦ補助光が不要である場合には、システム制御部５０はＳ２０８に進む。

Ｓ２０８では、システム制御部５０は、フォーカスレンズ３１１の移動、すなわちサーチ駆動を行いながらの焦点検出処理（第２の焦点検出処理）を行う。ここで行う焦点検出処理は、Ｓ４で行った焦点検出処理と同様である。Ｓ２０８においてサーチ駆動と焦点検出を行った結果、Ｓ２０９で焦点検出が可能であると判定したシステム制御部５０はＳ２０３に進む。

一方、Ｓ２０９にて焦点検出が引き続き不可能と判定したシステム制御部５０は、Ｓ２１０において、フォーカスレンズ３１１が光軸方向における可動範囲端（望遠端または至近端）に位置しているか否かを判定する。フォーカスレンズ３１１が可動範囲端に到達していない場合には、Ｓ２０８に戻ってサーチ駆動と焦点検出処理とを継続する。

Ｓ２１０においてフォーカスレンズ３１１が可動範囲端に到達している場合は、システム制御部５０は、フォーカスレンズ３１１の移動によって合焦可能な被写体がフォーカスレンズ３１１の可動範囲内で合焦する位置に存在しないものとしてＳ２１１に進む。

Ｓ２１１では、システム制御部５０は、焦点検出を中断し、画像表示部２８に合焦状態が得られないことを示す非合焦判定表示を行わせる。

Ｓ２０７でＡＦ補助光が必要と判定したシステム制御部５０は、Ｓ２１２に進んでフォーカスレンズ３１１の初期位置（以下、フォーカス初期位置という）を算出する。まずシステム制御部５０は、後述する焦点検出情報を取得し、該焦点検出情報を用いて焦点検出が可能と想定される検出可能デフォーカス量を算出する。またシステム制御部５０は、検出可能デフォーカス量と撮像レンズ３００の至近端での被写体距離の情報とから、至近端を含むなるべく広い被写体距離範囲をカバーできるフォーカス初期位置（信頼性の高いデフォーカス量を算出できるデフォーカス範囲がなるべく広い初期位置）を算出する。

図８は、フォーカス初期位置を示す。横軸は合焦する被写体距離と対応するフォーカス位置を示している。算出された検出可能デフォーカス量の範囲（以下、デフォーカス量検出可能範囲という）を矢印で示す。フォーカスレンズ３１１の可動範囲端である至近端を含むデフォーカス量検出可能範囲内に、至近端よりも遠距離側にデフォーカス量検出可能範囲が広がるように、フォーカス初期位置が設定されている。

至近端を含むデフォーカス量検出可能範囲内にフォーカス初期位置を設定するのは、ＡＦ補助光が到達して焦点検出が可能になる被写体距離が近距離だからである。このため、至近端に限らず、被写体が存在する確率が高い距離として、焦点距離の定数倍や１ｍ等の被写体距離を予め設定し、その被写体距離を含むようにフォーカス初期位置を算出すればよい。至近端ではなく、焦点距離の定数倍や１ｍ等の被写体距離を設定した場合は、より至近側の被写体に対する焦点検出ができない場合が発生するが、遠距離側の被写体距離の範囲を焦点検出可能な範囲とすることができる。

また、ＡＦ補助光としての閃光補助光の到達距離を設定し、その到達距離を遠距離側の端としてフォーカス初期位置を設定してもよい。これにより、焦点検出を行う被写体距離を限定することができるため、より適切でマージンのあるフォーカス初期位置を設定することができる。

焦点検出情報とは、検出可能デフォーカス量を概算するための焦点検出に関する情報であり、撮像レンズ３００のＦ値、前述した枠情報、焦点検出を行う焦点検出領域の像高および位相差像信号のコントラストのうち少なくとも１つに関する情報である。撮像レンズ３００のＦ値、枠情報および焦点検出領域の像高の情報から、焦点検出を行う一対の光電変換部間の基線長（焦点検出瞳間の重心間隔）やＡＦ光束径（焦点検出瞳において位相差像を形成している光束が通過する範囲）が算出される。基線長が長いほど単位デフォーカス量あたりの一対の位相差像信号間のずれ量が大きくなるため、より精度が良い焦点検出を行える。また、ＡＦ光束径が小さいほどデフォーカスによって位相差像信号がぼけにくく、大きくデフォーカスした状態でも一対の位相差像信号間のずれ量の検出が可能になる。なお、ＡＦ光束径が大きいほど基線長は長くなる。

また、検出可能デフォーカス量は、被写体のコントラストや空間周波数特性等によって異なる。より高い空間周波数の情報を多く有し、コントラストが高い被写体に対しては、より大きくデフォーカスした状態でも焦点検出が可能となる。被写体のコントラストの情報は、例えば位相差像信号における互いに隣接する画素信号の出力差の二乗和を用いればよい。

システム制御部５０は、上述した焦点検出情報と対応する検出可能デフォーカス量の情報をテーブル化して記憶している。図９に検出可能デフォーカス量のテーブルの例を示す。上述したように、システム制御部５０は、焦点検出情報として、ＡＦ光束径と被写体のコントラストを算出し、図９に示すテーブルから検出可能デフォーカス量を取得する。

また、閃光補助光の到達距離も、ＡＦ光束径に応じて変更してもよい。ＡＦ光束径が小さいほど閃光補助光の到達距離は短くなる。これにより、より適切にフォーカス初期位置を設定することができる。

Ｓ２１２でフォーカス初期位置を算出したシステム制御部５０は、Ｓ２１３に進み、フォーカスレンズ３１１を算出されたフォーカス初期位置に移動させる。

次にＳ２１４では、システム制御部５０は、ＬＥＤ補助光のみの発光が許可されているか否かを判定する。本実施例では、システム制御部５０がＡＦ補助光の発光手段としてのフラッシュ４８とＬＥＤランプ４９の発光を制御する。システム制御部５０は、ＬＥＤ補助光のみが発光許可されている場合（閃光補助光の発光が禁止されている場合）は、Ｓ２１５に進み、ＬＥＤランプ４９のみからＬＥＤ補助光を発光させて焦点調節処理（以下、ＬＥＤ焦点調節処理という）を行う。一方、閃光補助光の発光が許可されている場合には、システム制御部５０は、Ｓ２１６に進み、ＬＥＤ補助光または閃光補助光を発光させて焦点調節処理（以下、ＬＥＤ／閃光焦点調節処理という）を行う。これらの焦点調節処理については詳細を後述する。Ｓ２１５でのＬＥＤ焦点調節処理またはＳ２１６でのＬＥＤ／閃光焦点調節処理を終えたシステム制御部５０は、焦点調節処理を終了する。

次に、図１０のフローチャートを用いて、図６のＳ９で行われる撮像処理について説明する。まずＳ３０１において、システム制御部５０は、光量調節のために絞り３１２を駆動し、露光時間を制御するメカニカルシャッタ１２を駆動する。フラッシュ４８を閃光発光させて撮像を行う場合には、システム制御部５０は、その発光のタイミングに合わせてメカニカルシャッタ１２を駆動する。

続いてＳ３０２では、システム制御部５０は、撮像素子１４から静止画撮像のための全画素読み出しを行う。

次にＳ３０３では、システム制御部５０（画像処理部２０）は、撮像素子１４から読み出した撮像信号に対して、事前に記憶された欠陥画素の位置情報に基づく欠陥画素補間を行う。欠陥画素は、画素間の出力オフセットやゲインのばらつきが大きい画素や、撮像に使用されなかった画素（前述した焦点検出専用画素等）が含まれる。

次にＳ３０４では、システム制御部５０は、撮像信号に対して、γ補正、色変換、エッジ強調等の画像処理を行って撮像画像データ（静止画データ）を生成する。そしてＳ３０５において、システム制御部５０は、撮像画像データをメモリ３０に記録する。

続いてステップ３０６において、システム制御部５０は、Ｓ３０５にて記録した撮像画像データに対応付けて、カメラ１００の特性情報をメモリ３０およびシステム制御部５０内のメモリに記録する。カメラ１００の特性情報とは、例えば、露光時間、現像時の画像処理、撮像素子１４の画素の受光感度分布およびカメラ１００内での撮像光束のケラレに関する情報である。画素の受光感度分布は、マイクロレンズ２０１ｃおよびフォトダイオード２０１ａ，２０１ｂにより決定されるため、これらの構造に関する情報（フォトダイオード２０１ａ，２０１ｂの大きさやピッチ、マイクロレンズ２０１ｃとの距離等）を記録してもよい。また、カメラ１００の特性情報は、カメラ１００と撮像レンズ３００との取り付け面から撮像素子１４までの距離や製造誤差に関する情報も含む。

次にＳ３０７において、システム制御部５０は、Ｓ３０５にて記録した撮像画像データに対応付けて、撮像レンズ３００の特性情報をメモリ３０とシステム制御部５０内のメモリに記録する。撮像レンズ３００の特性情報とは、例えば、射出瞳、枠情報、撮像時の焦点距離やＦナンバー、撮像光学系の収差および製造誤差に関する情報である。

次にＳ３０８において、システム制御部５０は、撮像画像データに関する画像関連情報をメモリ３０およびシステム制御部５０内のメモリに記録する。画像関連情報とは、例えば、撮像前の焦点検出動作に関する情報、被写体の移動、焦点検出動作の精度に関する情報である。Ｓ３０７の処理を終了したシステム制御部５０は、図６のＳ１０に進む。

次に、図１１のフローチャートを用いて、図７のＳ２０６で行われるＡＦ補助光の発光要否判定について説明する。Ｓ４０１において、システム制御部５０は、焦点検出領域に関する情報を取得する。ここでは、図６のＳ６において焦点検出領域モードに従って設定された焦点検出領域の配置、位置および数等の情報を取得する。

次にＳ４０２では、システム制御部５０は、測光情報を取得する。ここでは、焦点検出領域ごとに対応した測光値と、全ての焦点検出領域を包含する領域の測光値の両方を取得する。

次にＳ４０３では、システム制御部５０は、ＬＥＤ補助光と閃光補助光を発光する際の閾値（以下、発光閾値という）を設定する。ＬＥＤ補助光は、撮像範囲に占める照射範囲は狭いが、常時発光が可能であるために発光しながらの焦点検出を行いやすい。一方、閃光補助光は、その照射範囲は広いものの間欠発光するために、焦点検出において多くの回数、発光すると、画像記録用の撮像時の発光量を確保できなくなるおそれがある。このため、Ｓ４０３では、システム制御部５０は、ＬＥＤ補助光は発光しやすいが、閃光補助光は発光しにくくなるように発光閾値を設定する。ただし、ＬＥＤ補助光が赤等の単色光である場合の焦点検出誤差やＬＥＤランプ４９が撮像レンズ３００の近くに配置されることによる撮像レンズ３００によるＬＥＤ補助光のケラレを考慮してし、閃光補助光の方が発光しやすくなるように発光閾値を設定してもよい。

次にＳ４０４では、システム制御部５０は、Ｓ４０２で得られた測光情報が示す測光値とＳ４０３で得られたＬＥＤ補助光の発光閾値とを比較する。ここでの比較に用いる測光値は、全ての焦点検出領域を包含する領域の測光値と各焦点検出領域の測光値である。いずれか１つの測光値がＬＥＤ補助光の発光閾値より小さい場合は、システム制御部５０は、Ｓ４０５に進んでＬＥＤ発光判定をオン（ＬＥＤ発光許可）に設定する。一方、いずれか１つの測光値がＬＥＤ補助光の発光閾値以上である場合には、システム制御部５０は、Ｓ４０６に進んでＬＥＤ発光判定をオフ（ＬＥＤ発光禁止）に設定する。

次にＳ４０７では、システム制御部５０は、Ｓ４０２で得られた測光値とＳ４０３で得られた閃光補助光の発光閾値とを比較する。ここでも、全ての焦点検出領域を包含する領域の測光値と各焦点検出領域の測光値を用いる。いずれか１つの測光値が閃光補助光の発光閾値より小さい場合は、システム制御部５０は、Ｓ４０８に進んで閃光発光判定をオン（閃光発光許可）に設定する。一方、いずれか１つの測光値が閃光補助光の発光閾値以上である場合は、システム制御部５０は、Ｓ４０９に進んで閃光発光判定をオフ（閃光発光禁止）に設定する。Ｓ４０８またはＳ４０９を終えたシステム制御部５０は、本処理を終了する。

次に図１２のフローチャートを用いて、図７のＳ２１５で行われるＬＥＤ焦点調節処理について説明する。Ｓ５０１において、システム制御部５０は、ＬＥＤ補助光を発光させる。ＬＥＤ補助光の発光は、少なくとも後述するＳ５０４にて合焦状態が得られるまでは継続させる。

次のＳ５０２からＳ５１０までの処理は、それぞれのステップに括弧書きで示すように、図７に示したＳ２０１〜Ｓ２０５およびＳ２０８〜Ｓ２１１の処理と同じである。

次に、図１３のフローチャートを用いて、図７のＳ２１６で行われるＬＥＤ／閃光焦点調節処理について説明する。Ｓ６０１において、システム制御部５０は、事前に行われた発光要否判定において閃光補助光のみが発光許可されたか否かを判定する。ＬＥＤ補助光は許可されず、閃光補助光のみが発光許可された場合は、システム制御部５０はＳ６０５に進む。ＬＥＤ補助光および閃光補助光の両方が発光許可されている場合は、システム制御部５０はＳ６０２に進む。

Ｓ６０２では、システム制御部５０は、被写体有無の判定処理を行う。上述したようにＬＥＤ補助光は常時発光が可能な反面、照射範囲が狭いことや撮像レンズ３００によるケラレが生じやすいという欠点がある。このため、Ｓ６０２では、システム制御部５０は、ＬＥＤ補助光が有効に機能する被写体が存在するか否かを判定する。この被写体有無の判定処理については詳細を後述する。

次にＳ６０３では、システム制御部５０は、ＬＥＤ補助光が有効に機能する被写体が存在すると判定されたか否かを判定し、存在する場合にはＳ６０４に、存在しない場合はＳ６０５に進む。

Ｓ６０４では、システム制御部５０は、図７のＳ２１５と同様のＬＥＤ補助光焦点調節処理を行う。Ｓ６０５では、システム制御部５０は、閃光焦点調節処理を行う。この閃光焦点調節処理の詳細については後述する。Ｓ６０４またはＳ６０５の処理を終えたシステム制御部５０は、ＬＥＤ／閃光焦点調節処理を終了する。

次に、図１４のフローチャートを用いて、図１３のＳ６０２で行われる被写体有無判定処理について説明する。Ｓ７０１において、システム制御部５０は、焦点検出領域の測光情報を取得する。ここでは、図６のＳ６で設定された焦点検出領域に対応する測光値を取得する。

次にＳ７０２では、システム制御部５０は、ＬＥＤ補助光を発光する。そして、Ｓ７０３では、システム制御部５０は、再度、焦点検出領域に対応する測光値を取得する。

次にＳ７０４では、システム制御部５０は、ＬＥＤ補助光の発光を停止する。そして、Ｓ７０５では、システム制御部５０は、Ｓ７０１で得られたＬＥＤ補助光の発光前の測光値からＳ７０３で得られたＬＥＤ発光中の測光値への変化量を算出する。システム制御部５０は、ＬＥＤ補助光により照明可能な被写体が存在することで測光値に変化が生ずることを利用して、ＬＥＤ補助光が有効に機能する被写体が存在するか否かを判定する。これにより、被写体の位置がＬＥＤ補助光の到達範囲外である場合、撮像レンズ３００のケラレによりＬＥＤ補助光が被写体に照射されない場合、被写体距離が遠くてＬＥＤ補助光が到達しない場合等を検出することができる。

被写体有無判定の方法として、ＬＥＤ補助光の発光中に焦点検出を行い、焦点検出が可能であれば被写体が存在すると判定する方法も考えられる。しかし、この方法では、被写体に対して大きくデフォーカスしている場合に焦点検出が不可能になり、被写体が存在するにもかかわらず存在しないと判定するおそれがある。したがって、ＬＥＤ補助光の発光前後の測光情報の変化を用いて、被写体有無判定を行うことにより、デフォーカス状態によらず適切な被写体有無判定を行うことができる。

次にＳ７０５では、システム制御部５０は、焦点検出領域に対応する測光値のＬＥＤ補助光の発光前後で変化が所定値以上であった場合に、ＬＥＤ補助光が有効に機能する被写体が存在すると判定する。そして、本処理を終了する。

次に、図１５および１６を用いて、図１４のＳ６０５で行われる閃光焦点調節処理について説明する。図１５は、閃光補助光の発光時における典型的なフォーカスレンズ３１１の駆動方法と閃光補助光の発光タイミングを示す。横軸は時間を、縦軸はフォーカス（レンズ）位置を示す。図１５は、焦点調節の開始位置から合焦位置までフォーカスレンズ３１１を駆動した際のフォーカス位置の変化を示している。図１５中の黒丸は、閃光補助光を発光したタイミングを示している。

まずシステム制御部５０は、焦点調節の開始位置にフォーカスレンズ３１１を停止させた状態で２回、閃光補助光を発光させる（Ｆ１）。これは、焦点調節を開始するに当たってデフォーカス量を得るための発光である。フォーカスレンズ３１１を停止させた状態で行う閃光補助光の発光（間欠発光）を、以下の説明においてステップ閃光発光という。また、ステップ閃光発光を伴う焦点検出は、第１の焦点検出処理に相当する。２回の発光の詳細については後述する。

Ｆ１の閃光補助光の発光によってデフォーカス量が検出されると、システム制御部５０はフォーカスレンズ駆動を開始する（時刻Ｔ１）。フォーカスレンズ駆動の開始後、フォーカスレンズ３１１が合焦位置が近づいてきた場合に、システム制御部５０はフォーカスレンズ駆動を継続したまま閃光補助光を発光させる（Ｍ１）。フォーカスレンズ駆動中、常に閃光補助光を発光させると、必要な電力が大きくなる。このため、システム制御部５０は、フォーカスレンズ駆動前に得られたデフォーカス量を用いて決められた位置にフォーカスレンズ３１１が到達することに応じて発光を開始する。フォーカスレンズ駆動中に行う閃光補助光の発光（間欠発光）を、以下の説明では、レンズ駆動中閃光発光という。また、レンズ駆動中閃光発光を伴って行われる焦点検出は、第２の焦点検出処理に相当する。

システム制御部５０は、レンズ駆動中閃光発光を伴う焦点検出により得られたデフォーカス量に基づく合焦位置にてフォーカスレンズ３１１を停止させる。その後、システム制御部５０は、再度ステップ閃光発光を行い（Ｆ２）、所定の合焦範囲内に停止しているか否かを確認する。以上により、閃光焦点調節処理が終了する。

図１６のフローチャートには、上述した閃光焦点調節処理のより詳細を示している。Ｓ８０１において、システム制御部５０は、ステップ閃光発光の回数のカウント値を初期化する。本実施例では、ステップ閃光発光の回数に上限を設け、不要に電力を消費することを防ぐ。

次にＳ８０２では、システム制御部５０は、ステップ閃光発光を行いながら焦点検出（第１の焦点検出処理）と調光を行う。ここでは、システム制御部５０は、焦点検出を行いながら、レンズ駆動中閃光発光の光量を設定するための調光を並行して行う。またＳ８０２では、システム制御部５０は、後に焦点検出を行う焦点検出領域を選択する。

次にＳ８０３では、システム制御部５０は、Ｓ８０２で信頼性が高い（第１の信頼性より高い第２の信頼性を有する）焦点検出結果が得られたか否かを判定する。信頼性が高い焦点検出結果が得られなかった場合（焦点検出結果が第１の信頼性しか有さない場合）は、システム制御部５０は、Ｓ８０４に進んで所定の全てのフォーカス位置でステップ閃光発光を伴う焦点検出を終えたか否かを判定する。

本実施例では、上述したように閃光発光を行うためにフォーカスレンズ３１１をフォーカス初期位置に移動させる。システム制御部５０は、フォーカス初期位置での焦点検出が不可能な場合に、無限遠側にフォーカスレンズ３１１を移動させて停止し、再びステップ閃光発光を伴う焦点検出を行う。ステップ閃光発光を伴う焦点検出の試行回数は任意である。例えば上述したデフォーカス量検出可能範囲ごとにステップ閃光発光を行うことができる。この場合は、ステップ閃光発光回数は、２回より多くなる。また、フォーカス初期位置で発光した後、フォーカスレンズ３１１の無限端位置からデフォーカス量検出可能範囲分だけ至近側でステップ閃光発光を行ってもよい。この場合は、焦点検出が不可能な場合のステップ閃光発光回数は最大２回となり、より高速に焦点調節の可否を判断することができる。

Ｓ８０４において所定の全てのフォーカス位置でステップ閃光発光を伴う焦点検出を終えた場合は、システム制御部５０は、Ｓ８２０に進んで焦点調節が不可能と判定して、Ｓ２１１と同様に非合焦判定表示を行う。一方、Ｓ８０４で所定の全フォーカス位置でステップ閃光発光を伴う焦点検出を終えていない場合は、システム制御部５０は、Ｓ８０５で次のフォーカス位置にフォーカスレンズ駆動を行う。そして、Ｓ８０２に戻る。

Ｓ８０３において信頼性が高い焦点検出結果が得られたと判定したシステム制御部５０は、Ｓ８０６に進み、レンズ駆動中閃光発光の条件を設定する。この条件とは、発光を開始するデフォーカス量やフォーカス位置（発光開始フォーカス位置）、さらにフォーカスレンズ３１１の駆動速度等であり、詳細については後述する。

次にＳ８０７において、システム制御部５０は、Ｓ８０６で設定した条件に従ってフォーカスレンズ駆動を開始する。そしてＳ８０８では、システム制御部５０は、フォーカスレンズ３１１がＳ８０６で設定した発光開始フォーカス位置を通過したか否かを判定する。まだ通過していない場合は、システム制御部５０は、フォーカスレンズ駆動を継続した状態でＳ８０８の判定を繰り返す。一方、フォーカスレンズ３１１が発光開始フォーカス位置を通過した場合には、システム制御部５０は、Ｓ８０９に進んでレンズ駆動中閃光発光を伴う焦点検出（第２の焦点検出処理）を行う。この際、システム制御部５０は、画像データ生成のフレームレートに同期して閃光発光を行わせ、Ｓ８０２で設定（選択）された焦点検出領域から得られる一対の位相差像信号を用いた焦点検出を繰り返し行う。詳細については後述する。

次にＳ８１０では、システム制御部５０は、レンズ駆動中閃光発光の回数が所定回数以下か否かを判定し、所定回数より多くなった場合にはＳ８２０に進み、焦点検出を中断して非合焦判定表示を行う。これは、フォーカスレンズ駆動の開始前に検出した被写体を、その被写体の移動やユーザのフレーミング等によって見失ったとみなし、不要な発光を防ぐために行う処理である。Ｓ８１０においてレンズ駆動中閃光発光の回数が所定回数以下である場合は、システム制御部５０は、Ｓ８１１に進む。

Ｓ８１１では、システム制御部５０は、得られた検出デフォーカス量が所定デフォーカス量以下であるか否かを判定する。検出デフォーカス量が所定デフォーカス量より大きい場合は、システム制御部５０は、Ｓ８０９に戻って処理を継続する。検出デフォーカス量が所定デフォーカス量以下である場合は、システム制御部５０は、Ｓ８１２に進んでフォーカスレンズ駆動を停止させる。

そしてＳ８１３では、システム制御部５０は、Ｓ８０２と同様に、ステップ閃光発光を行いながら（すなわち、フォーカスレンズ駆動を停止させた状態で間欠発光させながら）焦点検出と調光を行う。このように合焦位置の近傍で、再度、調光処理を行うのは、デフォーカス状態の変化によって飽和した一対の位相差像信号を用いて焦点検出を行うことを回避するためである。特に被写体が細い線を含むような場合に、ボケ状態から合焦状態になるにしたがってボケが小さくなり、一対の位相差像信号の輝度レベルが上がって飽和することがある。飽和した一対の位相差像信号は焦点検出誤差を招くので、合焦位置近傍で調光処理を行う。

Ｓ８１３を終えたシステム制御部５０は、Ｓ８１４において、検出デフォーカス量が合焦判定用閾値より小さいか否かを判定する。小さい場合はＳ８１５に進み、Ｓ２０５と同様に合焦表示を行って本処理を終了する。

Ｓ８１４で検出デフォーカス量が合焦判定用閾値より大きいと判定したシステム制御部５０は、Ｓ８１６に進み、検出デフォーカス量に基づいてフォーカスレンズ駆動を行う。

Ｓ８１６でのフォーカスレンズ駆動の終了（停止）後、Ｓ８１７において、システム制御部５０は、ステップ閃光発光の回数が所定回数以下であるか否かを判定する。ステップ閃光発光はフォーカスレンズ駆動の開始前にも行っているため、ここではフォーカスレンズ駆動の開始前からの合計回数で判定する。ステップ閃光発光回数が所定回数を超えた場合には、システム制御部５０はＳ８２０に進み、焦点検出を中断して非合焦判定表示を行う。

一方、ステップ閃光発光回数が所定回数以下である場合には、システム制御部５０はＳ８１８に進み、事前の調光結果に基づいて発光量を設定した閃光補助光の発光と焦点検出を行う。

続いてＳ８１８では、Ｓ８１３からのデフォーカス状態の変化が小さいことが想定されるため、システム制御部５０は改めて調光を行わずに、Ｓ８１３で得られた調光結果を用いて焦点検出を行う。これにより、不要な発光を行わずに精度の高い焦点検出を実現することができる。Ｓ８１３で得られたデフォーカス量が大きく、Ｓ８１８と大きくデフォーカス状態が異なる場合は、改めてＳ８１３と同様の処理を行ってもよい。

次にＳ８１９において、システム制御部５０は、ステップ閃光発光回数をインクリメントしてＳ８１４に戻る。

次に、図１７のフローチャートを用いて、図１５のＳ８０２で行われる閃光発光を伴う焦点検出と調光処理について説明する。Ｓ９０１において、システム制御部５０は、閃光発光を行わない状態で事前に設定された１つ以上の焦点検出領域で焦点検出および焦点検出結果の信頼性判定を行い、信頼性が高い焦点検出結果を記憶する。

次にＳ９０２では、システム制御部５０は、第１の発光量で閃光発光を行わせ、これに同期して撮像素子１４から取得した一対の位相差像信号を用いて焦点検出および焦点検出結果の信頼性判定を行い、信頼性が高い焦点検出結果を選択して記憶する。

次にＳ９０３では、システム制御部５０は、第１の発光量より大きい第２の発光量で閃光発光を行わせ、これに同期して撮像素子１４から取得した一対の位相差像信号を用いて焦点検出および焦点検出結果の信頼性判定を行う。そして、信頼性が高い焦点検出結果を選択して記憶する。

次にＳ９０４では、システム制御部５０は、Ｓ９０１、Ｓ９０２およびＳ９０３で得られた焦点検出結果を用いて、複数の焦点検出領域から焦点調節に用いる焦点検出領域を設定する。具体的には、例えば、最も至近側の被写体の存在を示す焦点検出領域を焦点調節に用いる焦点検出領域として設定する。これは、ユーザが撮像を意図する主被写体は近距離側に存在する可能性が高いためである。ただし、焦点調節に用いる焦点検出領域の選択方法はこれに限らない。例えば、閃光発光量が互いに異なる複数回の焦点検出結果に対して平均化処理を行い、平均化された焦点検出結果を用いて焦点調節に用いる焦点検出領域を設定してもよい。

なお、一般に、一対の位相差像信号のコントラストが高い方がデフォーカス量の検出精度が高いが、前述したように一対の位相差像信号が飽和している場合はその限りではない。このため、Ｓ９０２およびＳ９０３で得られた一対の位相差像信号の飽和を検出して、飽和した信号から得られた焦点検出結果は用いないようにしてもよい。

次にＳ９０５では、システム制御部５０は、調光処理を行い、調光結果を取得する。システム制御部５０は、Ｓ９０４で設定した焦点検出領域がＳ９０１で選択した焦点検出結果に対応する焦点検出領域である場合には調光処理を行わない。また、以後の焦点検出の際にはＡＦ補助光を発光させずに焦点検出を行う。一方、Ｓ９０４で選択した焦点検出領域が、Ｓ９０２もしくはＳ９０３で選択した焦点検出結果に対応する焦点検出領域である場合には調光処理を行う。

さらにシステム制御部５０は、選択した焦点検出領域での閃光発光を行わない状態における測光情報と、選択した焦点検出結果が得られた閃光発光の発光量（第１または第２の発光量）に対応する、選択した焦点検出領域の測光情報とを取得する。そして、これら２つの測光情報の差分から焦点検出を行うのに必要十分な発光量を算出する。

閃光発光を行わない状態における測光値をＢＶ＿ｎとし、閃光発光時の測光値をＢＶ＿ａｆとし、焦点検出を行うのに必要十分な目標測光値をＢＶ＿Ｔとする。この場合、基準となる発光量、すなわち選択した焦点検出結果が得られた閃光発光量に対するゲインＧは、下記の式（１）で算出される。
Ｇ＝（ＢＶ＿Ｔ‐ＢＶ＿ｎ）/（ＢＶ＿ａｆ‐ＢＶ＿ｎ） （１）
式（１）では、測光値がリニアスケールの場合を示しているが、測光情報は対数スケールである場合も多い。この場合、リニアスケールと対数スケールとの間の変換を行ってゲインＧを算出すればよい。システム制御部５０は、得られたゲインＧと基準となる発光量とから、以後の閃光補助光の発光量を設定する。これにより、適切な発光量を設定することができ、不要な電力消費を抑えたり、一対の位相差像信号が飽和したりすることによる焦点検出精度の低下を防止したりすることができる。

Ｓ９０５で調光結果の取得を終えたシステム制御部５０は、Ｓ９０６に進み、ステップ閃光発光回数をインクリメントして、本処理を終了する。

次に、図１８のフローチャートを用いて、図１６のＳ８０６で行われるレンズ駆動中閃光発光の条件を設定する処理について説明する。Ｓ１００１において、システム制御部５０は、フォーカスレンズ駆動中に閃光発光を開始するデフォーカス量を設定する。図１５を用いて説明したように、消費電力を低減するために、システム制御部５０は、フォーカスレンズ３１１が合焦位置に近づいてから閃光発光を開始する。その際に、図７のＳ２１２で説明した検出可能デフォーカス量の情報を用いる。一対の位相差像信号は、デフォーカス量が大きくなると、ボケによって形状の類似度が低下して焦点検出誤差が発生する。このため、検出可能デフォーカス量の範囲内であっても、デフォーカス量が小さい状態で得た焦点検出結果の方が高精度である。本実施例では、検出可能デフォーカス量に対して係数α（例えば、０．５）を乗じた値を、閃光発光を開始するデフォーカス量を示す発光開始デフォーカス量（第１の所定デフォーカス量）として設定する。この際、システム制御部５０は、焦点調節後の画像記録用撮像時の発光量を確保するため、レンズ駆動中閃光発光の開始前からの閃光発光の発光回数が多いほど発光開始デフォーカス量を小さくする。発光開始デフォーカス量は、現在のフォーカス位置情報と合わせて、発光開始フォーカス位置に変換される。

次にＳ１００２では、システム制御部５０は、フォーカスレンズ駆動速度（移動速度）を設定する。ここでは、システム制御部５０は、Ｓ１００１で設定した発光開始デフォーカス量の範囲で所定回数の閃光発光を行うためのフォーカスレンズ駆動速度を設定する。例えば、一対の位相差像信号のサンプリングレートが６０ｆｐｓで、発光開始デフォーカス量Ｄ（ｍｍ）の範囲内で５回の閃光発光を行うためには、フォーカスレンズ駆動速度をＤ/５×６０（ｍｍ/ｓ）に設定する。この方法により、発光開始デフォーカス量と位相差像信号のサンプリングレートに応じて適切にフォーカスレンズ駆動速度を設定することができる。

次にＳ１００３では、システム制御部５０は、事前のステップ閃光発光での調光結果を用いて、レンズ駆動中閃光発光における発光量の調整（設定）または撮像信号に対するゲインの設定を行う。発光量調整とゲイン設定はいずれも一対の位相差像信号に必要なコントラストを発生させるために有効であるが、被写体としての人や動物等の閃光に対する眩しさ、消費電力、一対の位相差像信号のＳ/Ｎを考慮して適切に発光量調整またはゲイン設定を行う。例えば、一対の位相差像信号により大きいコントラストを生じさせるために、被写体が人の場合はゲイン設定で対応し、人ではない場合は発光量で対応する。

具体的には、システム制御部５０は、フラッシュ４８を互いに異なる発光量でステップ閃光発光させながら複数回の焦点検出を行わせるか又は撮像素子から得られる信号に対して互いに異なる複数のゲインを設定することにより複数の焦点検出結果を得る。そして、その後の焦点検出における発光量またはゲインを設定する。また、上記複数の焦点検出結果に加えて、フラッシュ４８を発光させずに得られた焦点検出結果を用いて発光量またはゲインを設定してもよい。Ｓ１００３を終えたシステム制御部５０は、本処理を終了する。

次に、図１９を用いて、図１６のＳ８０９で行われるレンズ駆動中閃光発光および焦点検出について説明する。Ｓ１１０１では、システム制御部５０は、撮像素子１４を駆動するフレームレートを高速フレームレート（第２のフレームレート）に設定する。例えば、低速フレームレートである３０ｆｐｓから高速フレームレートの６０ｆｐｓにする。閃光発光は、発光時間が非常に短いため、撮像素子１４の露光時間を長くする必要がない。撮像素子１４の全画素行が露光されているタイミングに同期して閃光発光を行えばよい。これにより、閃光発光の照射範囲が十分に広ければ、撮像素子１４の全画素領域から得られる一対の位相差像信号のコントラストを確保することができる。

一方、ＡＦ補助光を使用しない場合やＬＥＤ補助光を使用する場合には、撮像素子１４の露光時間が長いほど一対の位相差像信号のコントラストを確保することができる。このため、本実施例では、ＡＦ補助光を使用しない場合やＬＥＤ補助光を使用する場合のフレームレート（第１のフレームレート）に対して、閃光補助光を使用する場合のフレームレート（第２のフレームレート）を高速に設定する。これにより、閃光補助光を使用する場合の焦点調節の高速化を実現することができる。

また本実施例では、フレームレートの高速化をレンズ駆動中閃光発光時のみ行う。すなわち、レンズ駆動中閃光発光時には高速フレームレートを用い、ステップ閃光発光時には低速フレームレートを用いる。ステップ閃光発光時の焦点検出は、上述したように閃光発光を行わない場合の焦点検出結果も用いる。このため、ステップ閃光発光時にフレームレートを高速化すると、閃光発光の前後でフレームレートを変更する必要が生じて３回の焦点検出間のタイムラグが拡大する。上述したように閃光発光を使用しない場合と第１の発光量および第２の発光量での閃光発光を使用する場合の焦点検出結果を比較して選択するため、なるべく同じ条件で焦点検出を行うことが望ましい。このため、本実施例では、フォーカスレンズ駆動中の閃光発光時のみフレームレートを高速化する。

ただし、フレームレートの切り替えに必要な時間が短い場合にはこれに限らない。閃光発光を使用しない場合と閃光発光を使用する場合とで適宜フレームレートを切り替えて、ステップ閃光発光を伴う焦点検出を行えばよい。

また、上述したように、レンズ駆動中閃光発光時には、信頼性が高い焦点検出結果が得られていることが前提である。得られたデフォーカス量から算出されるフォーカスレンズ駆動量が小さいと焦点調節の高速化の効果が低いため、フレームレートの高速化は省略してもよい。

また、レンズ駆動中閃光発光時に焦点検出領域が絞り込まれておらず、閃光発光を使用する場合と閃光発光を使用しない場合の両方で信頼性が高い焦点検出結果が得られる場合にはフレームレートを高速化しなくてもよい。これにより、閃光補助光が到達しない遠距離被写体と閃光補助光が到達する近距離被写体とが混在するような撮像シーンでも、適切に焦点調節を行うことができる。

次にＳ１１０２では、システム制御部５０は、閃光発光および焦点検出を行う。ここでは、事前に設定された発光量での閃光発光を伴う焦点検出により得られた一対の位相差像信号を用いてフォーカス量を算出する。

そしてＳ１１０３では、システム制御部５０は、算出したデフォーカス量に基づいてフォーカスレンズ駆動量を更新する。レンズ駆動中の閃光発光および焦点検出では、検出されるデフォーカス量が小さいほど検出誤差が小さい。このため、上述したようにフォーカスレンズ駆動量、言い換えればフォーカスレンズ駆動の目標位置を更新することにより、高精度な焦点調節を行うことができる。

本実施例では、フォーカスレンズを停止させた状態で間欠発光する閃光補助光を用いて行う焦点検出処理と、フォーカスレンズ駆動を行いながら上記閃光補助光を用いて行う焦点検出処理とを、信頼性が高い焦点検出結果が得られているか否かによって切り替える。これにより、信頼性が高い焦点検出結果が得られていない場合での不要な閃光補助光の発光を抑制しつつ、高速な焦点調節を実現することができる。

本実施例では、Ｓ８０９で取得する焦点検出結果を信頼して焦点調節を行う場合について説明した。しかし、フォーカスレンズ駆動中のあるフォーカス位置（第１の位置）での検出デフォーカス量と、その前にステップ閃光発光を伴う焦点検出の結果を用いて、焦点検出をしたフォーカスレンズ位置から第１の位置にフォーカスレンズ駆動した状態に対して推定（算出）される推定デフォーカス量との乖離から信頼性を判定してもよい。これら２つのデフォーカス量の乖離が大きい（すなわち所定差分値より大きい差分値を有する）場合には、フォーカスレンズ駆動の開始前と開始後とで、被写体が大きく移動したり、カメラ１００の向きが大きく変化したりした可能性が考えられる。このような場合には、フォーカスレンズ駆動および焦点検出を中断してもよい。これにより、信頼性が保証されていない焦点検出結果を用いた焦点調節を早期に完了させることができる。ユーザは、必要に応じて、再度、焦点調節処理を開始させることで、撮像を意図する被写体に対する焦点調節に要する時間を短縮することができる。

また、Ｓ８１０で説明したフォーカスレンズ駆動中の閃光発光の許容回数は、事前のステップ閃光発光回数に応じて可変としてもよい。上述したように、消費電力を削減したり焦点調節後の画像記録用撮像時の発光量を確保したりする観点から、フォーカスレンズ駆動中の閃光発光回数を適切に設定すればよい。また、閃光発光回数を多くする場合には、発光開始デフォーカス量を大きくすることにより、フォーカスレンズ駆動中の被写体移動の影響を低減して、より確実に焦点検出を行うことができる。

本実施例では、予め互いに異なるように決められた発光量で閃光発光を行い、そこで得られた一対の位相差像信号を用いて焦点検出領域の選択やデフォーカス量の算出を行う。また、選択した焦点検出結果が得られた発光量を基準として、それ以後の発光量を調整する調光処理を行う。これにより、焦点検出を行う前に、調光処理を行う必要がないため、迅速な焦点調節を行うことができる。また、ステップ閃光発光時に調光を行うことにより、１回の閃光発光で信頼性が高い焦点検出結果を得ることができる。このため、レンズ駆動中閃光発光やこれ以後のステップ閃光発光の回数を低減することが可能である。

また、本実施例では、位相差像信号のコントラストの調整を主として発光量を調整することにより実現する。しかし、撮像素子１４から読み出す撮像信号のゲイン調整により実現してもよい。発光量による調整では、被写体の反射率や距離等により、より近くて反射率が高い被写体のコントラストの調整に効果が大きく、位相差像信号のＳ/Ｎ比が改善される。一方、ゲイン調整によるコントラストの調整では、焦点検出信号のＳ／Ｎ比は改善されないが、被写体の距離や反射率によらず、より容易にコントラストの調整を行うことができる。

また、本実施例では、レンズ駆動中閃光発光を行う前に焦点検出領域が決定している場合について説明した。ただし、上述した自動選択モード等、信頼性が高い焦点検出結果が得られたものの焦点検出領域を絞り込まないモードでは、個々の焦点検出領域に対応した発光量の調整は行えない。このため、第１の発光量、第２の発光量および発光無しのいずれかから選択すればよい。例えば、より多くの信頼性が高い焦点検出結果やより近距離の近い被写体の存在を示す焦点検出結果に対応する発光量を選択すればよい。

次に、本発明の実施例２を説明する。なお、実施例１の場合と同様の構成要素については実施例1と同符号を用いてその説明に代え、ここでは実施例１との相違点を中心に説明する。

図２０のフローチャートは、実施例２におけるＬＥＤ補助光および閃光補助光発光時の焦点調節処理（実施例１における図７のＳ２１６で行われるＬＥＤ／閃光焦点調節処理）について説明する。

Ｓ１２０１において、システム制御部５０は、事前に行われた発光要否判定において閃光補助光のみが発光許可されたか否かを判定する。ＬＥＤ補助光は許可されず、閃光補助光のみが発光許可された場合は、システム制御部５０はＳ１２０７に進む。ＬＥＤ補助光および閃光補助光の両方が発光許可されている場合は、システム制御部５０はＳ１２０２に進む。

Ｓ１２０２では、焦点調節処理を開始したシステム制御部５０は、実施例１のＳ４で行われた焦点検出の結果としてのデフォーカス量を取得する。また、システム制御部５０は、取得したデフォーカス量の信頼性が高いか否かを判定する。デフォーカス量の信頼性が高い場合は、システム制御部５０はＳ１２０３に進む。

Ｓ１２０３では、システム制御部５０は、実施例１のＳ６において取得された焦点検出領域モードに応じて設定された焦点検出領域で信頼性が高いデフォーカス量が検出できたか否かを判定する。システム制御部５０は、全ての焦点検出領域で信頼性が高いデフォーカス量が検出できた場合はＳ１２０６に進み、検出できない場合にはＳ１２０４に進む。Ｓ１２０１において設定された全ての焦点検出領域で信頼性が高い場合にのみＳ１２０６に進むのは、焦点検出領域のいくつかがＡＦ補助光の発光によって信頼性が高くなる可能性があるためである。システム制御部５０は、信頼性が低い焦点検出領域が存在する場合にはＡＦ補助光を用いた焦点検出を試みる。

ただし、焦点検出領域の数が多い場合には、全ての焦点検出領域の信頼性が高い場合のみＡＦ補助光を使用しないとする必要はない。例えば、複数の焦点検出領域のうち像高が中央近傍の焦点検出領域のみ信頼性高い場合にＡＦ補助光を使用しないと判定してもよい。

Ｓ１２０４では、システム制御部５０は、ＬＥＤ補助光が有効に機能する被写体が存在するか否かを判定する。この被写体有無の判定処理については実施例１の図１１のフローチャートを用いて説明した処理と同様である。

システム制御部５０は、Ｓ１２０４にてＬＥＤ補助光が有効に機能する被写体が存在すると判定した場合は、Ｓ１２０５からＳ１２０６に進み、該被写体が存在しないと判定した場合はＳ１２０７に進む。

Ｓ１２０６では、システム制御部５０は、実施例１における図７のＳ２１５と同様にＬＥＤ補助光焦点調節処理を行う。一方、Ｓ１２０７では、システム制御部５０は、閃光焦点調節処理を行う。ここで行われる閃光焦点調整処理については後述する。Ｓ１２０６またはＳ１２０７の処理を終えたシステム制御部５０は、ＬＥＤ／閃光焦点調節処理を終了する。

図２１のフローチャートには、上述したＳ１２０７でシステム制御部５０が行う閃光焦点調節処理の詳細を示している。

Ｓ１３０１において、システム制御部５０は、ステップ閃光発光の回数のカウント値を初期化する。本実施例では、ステップ閃光発光の回数に上限を設け、不要に電力を消費することを防ぐ。

次にＳ１３０２では、システム制御部５０は、ステップ閃光発光を行いながら焦点検出（第１の焦点検出処理）と調光を行う。ここでは、システム制御部５０は、焦点検出を行いながら、レンズ駆動中閃光発光の光量を設定するための調光を並行して行う。またＳ１３０２において、システム制御部５０は、後に焦点検出を行う焦点検出領域を選択する。

次にＳ１３０３では、システム制御部５０は、Ｓ１３０２で信頼性が高い（第１の信頼性より高い第２の信頼性を有する）焦点検出結果が得られたか否かを判定する。信頼性が高い焦点検出結果が得られなかった場合（焦点検出結果が第１の信頼性しか有さない場合）は、システム制御部５０は、Ｓ１３０４に進んで所定の全てのフォーカス位置でステップ閃光発光を伴う焦点検出を終えたか否かを判定する。

本実施例では、上述したように閃光発光を行うためにフォーカスレンズ３１１をフォーカス初期位置に移動させる。システム制御部５０は、フォーカス初期位置での焦点検出が不可能な場合に、無限遠側にフォーカスレンズ３１１を移動させて停止し、再びステップ閃光発光を伴う焦点検出を行う。ステップ閃光発光を伴う焦点検出の試行回数は任意である。例えば、上述したデフォーカス量検出可能範囲ごとにステップ閃光発光を行うことができる。この場合は、ステップ閃光発光回数は、２回より多くなる。また、フォーカス初期位置で発光した後、フォーカスレンズ３１１の無限端位置からデフォーカス量検出可能範囲分だけ至近側でステップ閃光発光を行ってもよい。この場合は、焦点検出が不可能な場合のステップ閃光発光回数は最大２回となり、より高速に焦点調節の可否を判断することができる。

Ｓ１３０４において所定の全てのフォーカス位置でステップ閃光発光を伴う焦点検出を終えたシステム制御部５０は、Ｓ１３２０に進んで焦点調節が不可能と判定して、図７のＳ２１１と同様に非合焦判定表示を行う。一方、Ｓ１３０４で所定の全フォーカス位置でステップ閃光発光を伴う焦点検出を終えていない場合は、システム制御部５０は、Ｓ１３０５で次のフォーカス位置にフォーカスレンズ駆動を行う。そして、Ｓ１３０２に戻る。

Ｓ１３０３において信頼性が高い焦点検出結果が得られたと判定したシステム制御部５０は、Ｓ１３０６に進み、レンズ駆動中閃光発光の条件を設定する。この条件とは、発光を開始するデフォーカス量やフォーカス位置（発光開始フォーカス位置）、さらにフォーカスレンズ３１１の駆動速度等であり、詳細は実施例１において図１８を用いて説明したレンズ駆動中閃光発光の条件の設定処理と同じである。

次にＳ１３０７において、システム制御部５０は、Ｓ１３０６で設定した条件に従ってフォーカスレンズ駆動を開始する。そしてＳ１３０８では、システム制御部５０は、フォーカスレンズ３１１がＳ１３０６で設定した発光開始フォーカス位置を通過したか否かを判定する。まだフォーカスレンズ３１１が発光開始フォーカス位置を通過していない場合は、システム制御部５０は、フォーカスレンズ駆動を継続した状態でＳ１３０８の判定を繰り返す。一方、フォーカスレンズ３１１が発光開始フォーカス位置を通過した場合には、システム制御部５０は、Ｓ１３０９に進んでレンズ駆動中閃光発光を伴う焦点検出（第２の焦点検出処理）を行う。この際、システム制御部５０は、画像データ生成のフレームレートに同期して閃光発光を行わせ、Ｓ１３０２で設定（選択）された焦点検出領域から得られる一対の位相差像信号を用いた焦点検出を繰り返し行う。その詳細は実施例１において図１９を用いて説明したレンズ駆動中閃光発光および焦点検出の処理と同じである。

次にＳ１３１０では、システム制御部５０は、レンズ駆動中閃光発光の回数が所定回数以下であるか否かを判定し、所定回数より多い場合はＳ１３１６に進む。一方、レンズ駆動中閃光発光の回数が所定回数以下である場合は、システム制御部５０は、Ｓ１３１１に進む。

Ｓ１３１１では、システム制御部５０は、得られた検出デフォーカス量の検出誤差が少なく、合焦位置までフォーカスレンズ３１１が移動可能なデフォーカス量であるか否かを、検出デフォーカス量が所定デフォーカス量以下であるか否かによって判定する。検出デフォーカス量が所定デフォーカス量より大きい場合は、システム制御部５０は、Ｓ１３０９に戻って処理を継続する。検出デフォーカス量が所定デフォーカス量以下である場合は、システム制御部５０は、Ｓ１３１２に進んでフォーカスレンズ駆動を停止させ、Ｓ１３１３に進む。

そしてＳ１３１３では、システム制御部５０は、第２の信頼性より高い第３の信頼性（合焦位置までフォーカスレンズ３１１が移動可能なデフォーカス量である場合の信頼性）を有する焦点検出結果を得た場合に、ステップ閃光発光を行いながら（すなわち、フォーカスレンズ駆動を停止させた状態で間欠発光させながら）焦点検出と調光（第３の焦点検出処理）を行う。Ｓ１３１３での処理の詳細は、実施例１において図１７を用いて説明したものと同じである。

このように合焦位置の近傍で、再度、調光処理を行うのは、デフォーカス状態の変化によって飽和した一対の位相差像信号を用いて焦点検出を行うことを回避するためである。特に被写体が細い線を含むような場合に、ボケ状態から合焦状態になるにしたがってボケが小さくなり、一対の位相差像信号の輝度レベルが上がって飽和することがある。飽和した一対の位相差像信号は焦点検出誤差を招くので、合焦位置近傍で調光処理を行う。

Ｓ１３１３を終えたシステム制御部５０は、Ｓ１３１４において、検出デフォーカス量が合焦判定用閾値より小さいか否かを判定する。検出デフォーカス量が合焦判定閾値より小さい場合はＳ１３１５に進み、実施例１にて図７のＳ２０５と同様に合焦表示を行って本処理を終了する。

Ｓ１３１４で検出デフォーカス量が合焦判定値より小さくない（焦点検出結果が第３の信頼性より低いまたは第３の信頼性を有するが検出デフォーカス量が合焦判定用閾値より大きい）と判定したシステム制御部５０は、Ｓ１３１７に進み、検出デフォーカス量に基づいてフォーカスレンズ駆動を行う。

一方、Ｓ１３１０からＳ１３１６に進んだシステム制御部５０は、信頼性が高い（第１の信頼性より高い第２の信頼性を有する）焦点検出結果が得られたか否かを判定する。信頼性が高い焦点検出結果が得られなかった場合（焦点検出結果が第１の信頼性しか有さない場合）は、システム制御部５０は、Ｓ１３２１に進んで焦点調節が不可能と判定し、図７のＳ２１１と同様に非合焦判定表示を行う。

また、Ｓ１３１６において第２の信頼性以上の信頼性を有する焦点検出結果が得られたと判定したシステム制御部５０は、Ｓ１３１７に進み、検出デフォーカス量に基づいてフォーカスレンズ駆動（第４の焦点検出処理）を行う。第４の焦点検出処理は、フォーカスレンズ駆動中の発光回数が上限に達したが、第２の信頼性以上の焦点検出結果が得られたので、それ以上の閃光発光を行わずにフォーカスレンズ駆動を行う焦点検出処理である。これにより、閃光発光を行わなくても検出デフォーカス量に基づいてフォーカスレンズを駆動することができるので、フォーカスレンズ駆動中の発光回数が所定回数に達した場合でも、非合焦とせずに焦点調節を継続することができる。Ｓ１３１６で第２の信頼性未満の信頼性を有する焦点検出結果しか得られていないと判定したシステム制御部５０は、焦点検出不能としてＳ１３２１に進む。

なお、Ｓ１３１６においては、フォーカスレンズ駆動中の発光回数が所定回数未満である状態でフォーカスレンズ駆動速度が速い等のためにフォーカスレンズ３１１が合焦位置を行き過ぎて停止したが、第２の信頼性以上の信頼性を有する焦点検出結果が得られている場合に第４の焦点検出処理を行ってもよい。

Ｓ１３１７でのフォーカスレンズ駆動の終了（停止）後、Ｓ１３１８において、システム制御部５０は、ステップ閃光発光の回数が所定回数以下であるか否かを判定する。ステップ閃光発光はフォーカスレンズ駆動の開始前にも行っているため、ここではフォーカスレンズ駆動の開始前からの合計回数で判定する。ステップ閃光発光回数が所定回数を超えた場合には、システム制御部５０はＳ１３２１に進み、焦点検出を中断して非合焦判定表示を行う。

一方、ステップ閃光発光回数が所定回数以下である場合には、システム制御部５０はＳ１３１９に進み、事前の調光結果に基づいて発光量を設定した閃光補助光の発光と焦点検出を行う。このＳ１３１９では、Ｓ１３１３からのデフォーカス状態の変化が小さいことが想定されるため、システム制御部５０は改めて調光を行わずに、Ｓ１３１３で得られた調光結果を用いて焦点検出を行う。これにより、不要な発光を行わずに精度の高い焦点検出を行うことができる。Ｓ１３１３で得られたデフォーカス量が大きく、Ｓ１３１９と大きくデフォーカス状態が異なる場合は、改めてＳ１３１３と同様の処理を行ってもよい。

次にＳ１３２０において、システム制御部５０は、ステップ閃光発光回数をインクリメントしてＳ１３１４に戻る。

本実施例によれば、フォーカスレンズ駆動中の発光回数が上限に達した後に信頼性が高いデフォーカス量が検出された場合は、検出デフォーカス量に基づいて閃光発光せずにフォーカスレンズ駆動を行った後、ステップ閃光発光して焦点検出を行い、フォーカスレンズを合焦位置に移動させることができる。このため、閃光補助光による焦点検出において、適切な被写体輝度を確保した焦点検出を行うことができる。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する部（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１４ 撮像素子
４８ フラッシュ
５０ システム制御部
３１１ フォーカスレンズ

Claims (11)

1. 撮像光学系を通過する光束を光電変換して信号を出力する行列状に配置された複数の画素を有する撮像素子と、
   前記撮像素子からの出力を用いて焦点検出処理を行う焦点検出手段と、を有する撮像装置であって、
   前記撮像素子の画素行が露光されているタイミングに同期して閃光を発光するように第１の補助光発光手段を制御することで得られた前記画素行からの出力を用いて前記焦点検出処理を実行する第１の焦点検出モードと、補助光を被写界側へ照射する第２の補助光発光手段を制御して得られた前記撮像素子からの出力を用いて前記焦点検出処理を実行する第２の焦点検出モードとを有することを特徴とする撮像装置。
2. 前記第１の補助光発光手段は、被写体に間欠的に補助光を投光して被写体を照明し、前記第２の補助光発光手段は、補助光であるＬＥＤ光の常時発光が可能であることを特徴とする請求項１に記載の撮像装置。
3. 前記撮像素子から出力された信号に基づくライブビュー画像を、画像表示部に表示するように制御する表示制御手段をさらに有することを特徴とする請求項１または２に記載の撮像装置。
4. 前記表示制御手段は、前記第１の焦点検出モードの場合は、前記第１の補助光発光手段の発光時に前記ライブビュー画像の表示を停止させ、前記第２の焦点検出モードの場合は、前記第２の補助光発光手段の発光時に前記ライブビュー画像の表示を停止させないよう制御することを特徴とする請求項３に記載の撮像装置。
5. 前記複数の画素は、前記撮像光学系の異なる瞳領域を通過した光束を光電変換して、一対の位相差像信号を出力することが可能であり、
   前記焦点検出手段は、前記複数の画素から出力された前記一対の位相差像信号を用いて前記焦点検出処理を行うことを特徴とする請求項１乃至４のいずれか一項に記載の撮像装置。
6. 前記第１の焦点検出モードにおいて、前記焦点検出手段は、前記撮像光学系に含まれるフォーカス素子を停止させた状態で前記第１の補助光発光手段を間欠発光させて前記撮像素子から出力された信号に基づいた第１の焦点検出処理と、前記フォーカス素子を移動させながら前記第１の補助光発光手段を間欠発光させて前記撮像素子から出力された信号に基づいた第２の焦点検出処理とを切り替えて行うことを特徴とする請求項１乃至５のいずれか一項に記載の撮像装置。
7. 前記第１の焦点検出モードにおいて、前記焦点検出手段は、前記焦点検出処理の結果得られたデフォーカス量が第１の所定デフォーカス量より小さい場合に前記第２の焦点検出処理を行うことを特徴とする請求項６に記載の撮像装置。
8. 前記第１の焦点検出モードにおいて、前記焦点検出手段は、前記第２の焦点検出処理より前からの前記第１の補助光発光手段の発光回数が多いほど前記第１の所定デフォーカス量を小さくすることを特徴とする請求項７に記載の撮像装置。
9. 前記第１の焦点検出モードにおいて、前記焦点検出手段は、前記第２の焦点検出処理において、前記第１の補助光発光手段の発光回数が所定回数より多くなった場合は前記焦点検出処理を中断することを特徴とする請求項６に記載の撮像装置。
10. 前記第１の焦点検出モードにおいて、前記第１の焦点検出処理を行うときに前記撮像素子は第１のフレームレートで駆動され、前記第２の焦点検出処理を行うときに前記撮像素子は前記第１のフレームレートより高速な第２のフレームレートで駆動されることを特徴とする請求項６に記載の撮像装置。
11. 撮像光学系を通過する光束を光電変換して信号を出力する行列状に配置された複数の画素を有する撮像素子を有する撮像装置の制御方法であって、
    前記撮像素子の画素行が露光されているタイミングに同期して閃光を発光するように第１の補助光発光手段を制御することで得られた前記画素行からの出力を用いて焦点検出処理を実行する第１の焦点検出モードと、補助光を被写界側へ照射する第２の補助光発光手段を制御して得られた前記撮像素子からの出力を用いて焦点検出処理を実行する第２の焦点検出モードとを有することを特徴とする制御方法。
    

Images