JP2012113272A - 撮像装置およびその制御方法 - Google Patents

Abstract

【課題】従来のハイブリッドＡＦよりも合焦状態を得るまでに要する時間を短縮でき、かつ移動被写体に対しても良好なＡＦを行えるようにする。
【解決手段】撮像装置は、撮影光学系により形成された被写体像を光電変換する撮像素子１４と、該撮像素子から出力された第１の信号を用いてコントラスト検出方式によるフォーカス制御を行う第１のフォーカス制御手段４２と、撮像素子から出力された第２の信号を用いて位相差検出方式による撮影光学系の焦点状態の検出および該焦点状態に応じたフォーカス制御を行う第２のフォーカス制御手段４２と、撮像素子に、第１の信号を生成するための第１の電荷蓄積と該第１の信号の出力とを交互に繰り返し行わせ、第２の信号を生成するための第２の電荷蓄積を第１の電荷蓄積とその次の第１の電荷蓄積との間に行わせる撮像素子制御手段５０とを有する。
【選択図】図１

Description

本発明は、デジタルスチルカメラやビデオカメラ等の撮像装置に関し、特に撮像素子からの出力を用いてフォーカス制御を行う撮像装置に関する。

動画撮影を行う撮像装置における焦点検出方式又はオートフォーカス（ＡＦ）方式としては、コントラスト検出方式がある。コントラスト検出方式では、撮像素子からの出力信号を用いて生成された映像信号の高周波成分からコントラスト評価値を生成し、フォーカスレンズの移動に伴って変化するコントラスト評価値が最も高くなるフォーカスレンズの位置を合焦位置として検出する。ただし、コントラスト検出方式では、まずフォーカスレンズを微小往復移動（ウォブリング）させ、このときのコントラスト評価値の変化から合焦位置の方向を判別した後、その合焦位置の方向にフォーカスレンズを移動させながら合焦位置を探索する。したがって、合焦位置を検出するまでに時間がかかる。

このため、特許文献１にて開示された撮像装置では、まず位相差検出方式を用いてフォーカスレンズの合焦位置の方向を判定する。次に、判定された合焦位置の方向にフォーカスレンズを移動させながらコントラスト検出方式による合焦位置の探索を行う。このような方式は、ハイブリッドＡＦ方式とも称され、フォーカスレンズをウォブリングさせることなく合焦位置の方向を判定することが可能である。このため、フォーカスレンズをウォブリングさせて合焦位置の方向を判別する場合に比べて、合焦状態を得るまでの時間を短縮することができる。

特開２００５−１２１８１９号公報

しかしながら、上述したハイブリッドＡＦ方式でも、位相差検出方式を合焦位置の方向判定にしか用いていない。このため、合焦位置の方向が判定された後のコントラスト検出方式による合焦位置の探索に要する時間を短縮することはできない。

また、コントラスト検出方式により合焦位置を探索しているときに被写体が撮像装置に対して近づく方向や遠ざかる方向に移動すると、いつまでも合焦位置を探索し続け、最終的に合焦状態が得られない可能性がある。

本発明は、コントラスト検出方式と位相差検出方式とを併用するハイブリッドＡＦ撮像装置であり、従来よりも合焦状態を得るまでに要する時間を短縮でき、かつ移動被写体に対しても良好なフォーカス制御を行えるようにした撮像装置を提供する。

本発明の一側面としての撮像装置は、撮影光学系により形成された被写体像を光電変換する撮像素子と、該撮像素子から出力された第１の信号を用いてコントラスト検出方式によるフォーカス制御を行う第１のフォーカス制御手段と、撮像素子から出力された第２の信号を用いて位相差検出方式による撮影光学系の焦点状態の検出および該焦点状態に応じたフォーカス制御を行う第２のフォーカス制御手段と、撮像素子に、第１の信号を生成するための第１の電荷蓄積と該第１の信号の出力とを交互に繰り返し行わせ、前記第２の信号を生成するための第２の電荷蓄積を第１の電荷蓄積とその次の第１の電荷蓄積との間に行わせる撮像素子制御手段とを有することを特徴とする。

また、本発明の他の一側面としての制御方法は、撮影光学系により形成された被写体像を光電変換する撮像素子を有する撮像装置に適用される。該制御方法は、撮像素子から出力された第１の信号を用いてコントラスト検出方式によるフォーカス制御を行う第１のフォーカス制御ステップと、撮像素子から出力された第２の信号を用いて位相差検出方式による撮影光学系の焦点状態の検出および該焦点状態に応じたフォーカス制御を行う第２のフォーカス制御ステップと、撮像素子に、第１の信号を生成するための第１の電荷蓄積と該第１の信号の出力とを交互に繰り返し行わせ、第２の信号を生成するための第２の電荷蓄積を第１の電荷蓄積とその次の第１の電荷蓄積との間に行わせるステップとを有することを特徴とする。

本発明によれば、動画撮影時において、従来のハイブリッドＡＦ方式に比べて合焦状態を得るまでに要する時間をより短縮することができるとともに、移動被写体に対しても良好なフォーカス制御を行うことができる。

本発明の実施例であるカメラと該カメラに装着された交換レンズとを含むカメラシステムの構成を示すブロック図。 実施例のカメラで行われるコントラストＡＦにおけるウォブリングを説明する図。 実施例のカメラにおける撮像画素の構造を説明する図。 実施例のカメラにおける焦点検出画素の構造を説明する図。 実施例のカメラにおける位相差焦点検出に用いられる像信号を示す図。 実施例１のカメラにおけるハイブリッドＡＦにおける被写体追従の様子を説明する図。 実施例のカメラにおける焦点検出動作を示すフローチャート。 実施例のカメラにおけるＡＦ動作を示すフローチャート。 実施例のカメラに用いられる撮像素子の画素配置を示す図。

以下、本発明の実施例について図面を参照しながら説明する。

図１には、それぞれ本発明の実施例１である撮像装置としての一眼レフデジタルカメラ１００と該カメラ１００に対して着脱可能な交換レンズ３００とを含むカメラシステムの構成を示している。カメラ１００は、静止画撮影と動画（映像）撮影とが可能である。

３０６および１０６はそれぞれ、交換レンズ３００およびカメラ１００に設けられたマウントであり、互いにメカニカルに結合およびその解除、つまりは着脱が可能である。

交換レンズ３００には、ズームレンズやフォーカスレンズ（フォーカス光学素子）を含む複数のレンズ３１１と絞り３１２により構成された撮影光学系が収容されている。

カメラ１００において、１３０はメインミラーであり、図示のように撮影光学系からの光路内に配置された状態で、光束の一部を光学ファインダ１０４に向けて反射するとともに、他の一部を撮像素子１４に向けて透過させる。この状態で、ユーザは、光学ファインダ１０４を通して被写体を観察することができる。メインミラー１３０は、静止画撮影における本撮影時（記録用静止画の取得時）や動画撮影時には、光路外に退避する。

撮像素子１４は、撮影光学系からの光束により形成された光学像としての被写体像を光電変換して電気信号を出力するＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子である。また、本実施例では、撮像素子１４は、焦点検出素子としても用いられる。１２は撮像素子１４の露光量を制御するシャッタである。

１６は撮像素子１４から出力されたアナログ撮像信号をデジタル信号に変換するＡ／Ｄ変換器である。

１８はタイミング発生部であり、撮像素子１４、 Ａ／Ｄ変換器１６および後述するＤ／Ａ変換器２６にクロック信号を供給する。タイミング発生部１８は、メモリ制御部２２および後述するシステム制御部５０により制御される。

２０は画像処理部であり、Ａ／Ｄ変換器１６またはメモリ制御部２２から出力されたデジタル撮像信号に対して、画素補間処理、色変換処理、ＡＷＢ（オートホワイトバランス）処理等の各種画像処理を行う。これにより、撮像素子１４上に形成された被写体像に応じた映像信号が生成される。

画像処理部２０は、映像信号またはＡ／Ｄ変換器１６からのデジタル撮像信号を、システム制御部５０を介してＡＦ部４２および測光部４６に送る。

ＡＦ部４２は、入力された映像信号を用いて、コントラスト検出方式による撮影光学系のフォーカス制御を行う。また、ＡＦ部４２は、入力されたデジタル撮像信号のうち後述する焦点検出画素からの出力信号に対応する信号成分を用いて、位相差検出方式による撮影光学系の焦点状態の検出（焦点検出）および該焦点状態に応じたフォーカス制御を行う。

映像信号は、撮像素子１４のうち後述する撮像画素からの出力信号（第１の信号）を用いて生成されたものであるため、コントラスト検出方式によるフォーカス制御は、撮像画素からの出力信号を用いて行われるとも言える。また、デジタル撮像信号のうち焦点検出画素からの出力信号（第２の信号）に対応する信号成分を用いることは、焦点検出画素の出力信号を用いることと同義である。ＡＦ部４２は、第１のフォーカス制御手段および第２のフォーカス制御手段に相当する。

以下の説明において、コントラスト検出方式によるフォーカス制御をコントラストＡＦという。また、位相差検出方式による焦点状態の検出を位相差焦点検出といい、位相差検出方式によるフォーカス制御を位相差ＡＦという。なお、一般的には、位相差検出方式によるフォーカス制御には、位相差検出方式による焦点検出と、その検出結果に応じたフォーカスレンズの移動（位置）の制御とが含まれるが、ここでは焦点検出結果に応じたフォーカスレンズの移動制御のみを位相差ＡＦという。

システム制御部５０は、カメラ側およびレンズ側通信端子１２２，３２２と、カメラ側およびレンズ側インターフェース３８，３３８とを介して、交換レンズ３００内のレンズ制御部３４６と通信が可能である。

システム制御部５０は、ＡＦ部４２におけるコントラストＡＦ、位相差焦点検出および位相差ＡＦを制御する。これとともに、電荷蓄積制御手段としてのシステム制御部５０は、タイミング発生部１８を通じて、撮像素子１４における電荷蓄積タイミングおよび蓄積された電荷に対応するアナログ撮像信号の読み出しタイミングを制御する。さらに、システム制御部５０は、コントラストＡＦおよび位相差ＡＦにおいて、レンズ制御部３４６を介して交換レンズ３００内のフォーカス駆動部３４２を制御する。これにより、フォーカスレンズを光軸方向に移動させてＡＦを行わせる。

カメラ１００には、不図示のズームスイッチが設けられている。システム制御部５０は、ズームスイッチがユーザにより操作されることに応じて、レンズ制御部３４６を介して、交換レンズ３００内のズーム駆動部３４０を制御する。これにより、ズームレンズを光軸方向に移動させてズーミング（変倍）を行わせる。

測光部４６は、入力された映像信号またはデジタル撮像信号から被写体輝度に関する情報を検出する。

システム制御部５０は、静止画撮影においては、被写体輝度に関する情報に基づいて、シャッタ制御部３６を介してシャッタ１２の動作を制御する。また、システム制御部５０は、動画撮影時においては、被写体輝度に関する情報に基づいて、撮像素子１４の電荷蓄積時間や感度を制御する。さらに、システム制御部５０は、被写体輝度に関する情報に基づいて、レンズ制御部３４６を介して、交換レンズ３００内の絞り駆動部３４４を制御する。これにより、絞り３１２の開口径が変更され、撮影光学系から撮像素子１４に向かう光量が調節される。これらシャッタ１２の動作、撮像素子１４の電荷蓄積時間や感度および絞り３１２の制御をＡＥという。

また、システム制御部５０は、被写体輝度が暗い場合は、フラッシュ４８の発光を制御する。

システム制御部５０は、上記通信端子１２２，３２２およびインターフェース３８，３３８を介してレンズ制御部３４６と通信する。そして、レンズ制御部３４６から、ズームレンズ、フォーカスレンズおよび絞り３１２の位置情報を取得したり、撮影光学系の光学情報等の各種レンズ情報を取得したりする。交換レンズ３００内の不揮発性メモリ３４８には、撮影光学系の光学情報の他、交換レンズ３００の識別情報等が格納されている。

メモリ制御部２２は、Ａ／Ｄ変換器１６、タイミング発生部１８、画像処理部２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０および圧縮・伸長部３２を制御する。画像処理部２０にて生成された映像信号またはＡ／Ｄ変換器１６からのデジタル撮像信号は、メモリ制御部２２を介して画像表示メモリ２４またはメモリ３０に書き込まれる。

２８はＬＣＤ等により構成された画像表示部である。画像表示メモリ２４に書き込まれた表示用映像（以下、ＥＶＦ映像という）は、Ｄ／Ａ変換器２６を介して画像表示部２８に送られる。ＥＶＦ映像が画像表示部２８で表示されることにより、電子ファインダ（ＥＶＦ）機能が実現される。

メモリ３０は、生成された映像信号（動画）や静止画を格納する。また、メモリ３０は、システム制御部５０の作業領域としても使用される。

３２は圧縮・伸長部であり、メモリ３０に格納された動画データや静止画データを読み込んで、該データに対して適応離散コサイン変換（ＡＤＣＴ）等による圧縮処理や伸長処理を行い、処理を終えたデータを再びメモリ３０に書き込む。

５２はシステム制御部５０の動作用の定数、変数、コンピュータプログラム等のデータを記憶するメモリである。

５４は情報表示部であり、文字、画像、音声等を用いてカメラ１００の動作状態やメッセージ等を示す情報を出力する。情報表示部５４は、液晶表示素子やスピーカ等により構成されている。情報表示部５４は、一部の情報を、光学ファインダ１０４を介してファインダ画面内に表示する。

５６は電気的に消去・記録可能な不揮発性メモリであり、ＥＥＰＲＯＭ等が用いられる。

６０はモードダイアルであり、静止画撮影モード、動画撮影モードおよび再生モード等の動作モードの切り替えを行うためにユーザにより操作される。

６２は撮影準備スイッチ（ＳＷ１）であり、不図示のシャッタボタンの第１ストローク操作（半押し操作）によりＯＮとなり、測光結果に基づくＡＥやＡＦ等の撮影準備動作を開始させる。

６４は撮影記録スイッチ（ＳＷ２）であり、シャッタボタンの第２ストローク操作（全押し操作）によりＯＮとなり、撮影記録動作を開始させる。ここにいう撮影記録動作は、シャッタ１２の開閉動作（静止画撮影の場合）、撮像素子１４からの撮像信号に基づいて画像処理部２０にて映像信号や静止画（以下これらをまとめて画像データという）を生成する動作、該画像データをメモリ３０に書き込む動作を含む。さらに、メモリ３０から画像データを読み出して、圧縮・伸長部３２で圧縮し、記録媒体２００または２１０に記録する動作も含む。これら一連の撮影記録動作は、記録用画像の取得動作ということもできる。

６６は画像表示ＯＮ／ＯＦＦスイッチであり、ユーザが画像表示部２８での表示のＯＮ／ＯＦＦを切り替える指示を入力するための操作部材である。

６８はクイックレビューＯＮ／ＯＦＦスイッチであり、静止画撮影により取得された記録用静止画を、該撮影の直後に所定時間の間表示する機能のＯＮ／ＯＦＦを切り替える指示を入力するための操作部材である。

７０は各種ボタンやタッチパネル等を含む操作部であり、カメラ１００の機能選択や各種設定を行うためのメニュー画面を表示させたり、メニュー項目を決定したりするために操作される。

９８は記録媒体着脱検知部であり、記録媒体２００，２１０がカメラ１００に装着されているか否かを検知する。

８０は電源制御部であり、電池残量の検出を行う電池検出部、電池からの電源電圧を所定の動作電圧に変換するＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ部等を含む。

８６は電池であり、アルカリ電池やリチウム電池等の一次電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池が使用される。８２，８４は電池８６とカメラ１００との電気的接続を行うためのコネクタである。

９０，９４はそれぞれ、記録媒体２００，２１０との通信を行うためのインターフェースであり、９２，９６はそれぞれ、記録媒体２００，２１０に接続されるコネクタである。

１１０は通信部であり、ＲＳ２３２Ｃ、ＵＳＢ、ＩＥＥＥ１３９４、無線通信等の通信機能を有する。１１２は通信部１１０を介してカメラ１００に他の機器を接続するコネクタであり、無線通信を行う場合はアンテナが接続される。

記録媒体２００，２１０にはそれぞれ、カメラ１００との通信を行うためのインターフェース２０４，２１４およびカメラ１００とインターフェース２０４，２１４との電気的接続を行うコネクタ２０６，２１６が含まれている。記録部２０２，２１２には、カメラ１００から出力される圧縮画像データや音声データが書き込まれる。記録部２０２，２１２は、半導体メモリや光ディスク等により構成される。

次に、上記カメラ１００において撮像素子１４を用いてＡＦ部４２により行われるコントラストＡＦ、位相差焦点検出および位相差ＡＦについて説明する。

コントラストＡＦでは、ＡＦ部４２は、映像信号から抽出した高周波成分を用いてコントラスト評価値（ＡＦ評価値ともいう）を算出し、このコントラスト評価値がピーク（最大値）となるようにフォーカスレンズを移動させる。コントラスト評価値がピークとなるフォーカスレンズの位置が、撮影光学系の合焦状態が得られる合焦位置である。

そして、コントラストＡＦでは、コントラスト評価値がピークとなるフォーカスレンズの移動方向（以下、合焦方向という）を判定するために、フォーカスレンズを光軸方向に微小往復移動させる、いわゆるウォブリングを行う。また、合焦状態が得られた後も、常にウォブリングを行ってコントラスト評価値がより高くなる方向にフォーカスレンズを移動させることで、合焦状態を維持する。

図２には、フォーカスレンズのウォブリングとコントラスト評価値との関係を示している。横軸は時間を示し、縦軸はフォーカスレンズの位置を示す。図中の実線はフォーカスレンズの位置の軌跡を示し、ハッチングした楕円は、ウォブリング中における撮像素子１４の電荷蓄積期間を示している。システム制御部５０は、コントラスト評価値を算出するための撮像素子１４の電荷蓄積（第１の電荷蓄積）とコントラスト評価値の算出（出力）を所定周期で交互に繰り返し行わせる。なお、コントラスト評価値を算出するための撮像素子１４の電荷蓄積は、言い換えれば映像信号の各フレームを生成するための電荷蓄積でもある。

図２（ａ）において、ＡＦ部４２は、フォーカスレンズの位置ＦＡにおいて電荷蓄積期間Ａの間に撮像素子１４に蓄積された電荷に対応する撮像信号を時刻ＴＡで取り込み、該撮像信号からコントラスト評価値ＥＶＡを算出する。時刻ＴＡでは、システム制御部５０の制御によってフォーカスレンズは位置ＦＢに移動しており、この時刻ＴＡの後、次の電荷蓄積期間Ｂが開始される。次に、ＡＦ部４２は、フォーカスレンズの位置ＦＢにおいて電荷蓄積期間Ｂの間に撮像素子１４に蓄積された電荷に対応する撮像信号を時刻ＴＢで取り込み、該撮像信号からコントラスト評価値ＥＶＢを算出する。時刻ＴＢでは、フォーカスレンズは位置ＦＣに移動しており、この時刻ＴＢの後、次の電荷蓄積期間Ｃが開始される。

そして、ＡＦ部４２は、時刻ＴＣ（電荷蓄積期間Ｃの終了時刻）において、コントラスト評価値ＥＶＡ，ＥＶＢを比較する。ＥＶＢ＞ＥＶＡであれば、それまで位置ＦＡ（ＦＣ）とＦＢとの間に設定されていた、ウォブリングにおけるフォーカスレンズの往復移動中心（以下、ウォブリング振幅中心という）を、位置ＦＢ側にシフトさせる。一方、ＥＶＡ＞ＥＶＢであれば、ウォブリング振幅中心をシフトさせない。ＡＦ部４２は、このような処理を継続して行うことで、常にフォーカスレンズを合焦方向に移動させることができる。

なお、ウォブリングの振幅は、撮影光学系のＦナンバーやカメラ１００における許容錯乱円径δ等に基づいて設定される。

次に、位相差焦点検出および位相差ＡＦについて説明する。図２（ｂ）は、図２（ａ）に示したコントラストＡＦにおける撮像素子１４の電荷蓄積期間Ａ〜Ｃと位相差焦点検出のための撮像素子１４での電荷蓄積期間との関係を示している。同図において、矩形マークで示した期間が、位相差焦点検出を行う（後述する一対の像信号を生成する）ための電荷蓄積期間である。

この図から分かるように、システム制御部５０は、コントラストＡＦのための撮像素子１４の電荷蓄積とその次の電荷蓄積との間に、位相差焦点検出を行うための撮像素子１４の電荷蓄積（第２の電荷蓄積）を行う。言い換えれば、コントラストＡＦのための電荷蓄積と位相差焦点検出のための電荷蓄積とを互いに異なるタイミングで行う。

また、撮像素子１４を用いた位相差焦点検出を行うための該撮像素子１４の構成について、図９を用いて説明する。撮像素子１４は、図中にＲ，Ｇ，Ｂで示した複数の撮像画素（第１の画素）と、該複数の撮像画素Ｒ，Ｇ，Ｂの中に離散的に配置された複数の焦点検出画素（第２の画素）Ｓ１，Ｓ２とを有する。図中の水平方向Ｈと垂直方向Ｖに記載された番号は、各画素の位置を示す座標である。

Ｒ，Ｇ，Ｂは個々の撮像画素に設けられたカラーフィルタの色（赤、緑および青）を示している。これら撮像画素Ｒ，Ｇ，Ｂは、撮影光学系により形成された被写体像を光電変換し、その出力信号（撮像信号）により画像データを生成するために設けられている。

また、焦点検出画素Ｓ１，Ｓ２は、撮影光学系からの光束を、後述するマイクロレンズの中心に対して偏って形成された開口部を有する遮光層の作用によって瞳分割し、瞳分割された一対の光束により形成された一対の被写体像を光電変換する。ＡＦ部４２は、位相差焦点検出を行うときには、複数の焦点検出画素Ｓ１からの出力信号と複数の焦点検出画素Ｓ２からの出力信号をそれぞれ繋ぎ合わせて生成した一対の像信号の位相差を算出する。

なお、焦点検出画素Ｓ１，Ｓ２の出力（画素値）はそのまま画像データの生成に使用することはできない。このため、画像処理部２０は、焦点検出画素の周辺に配置された撮像画素Ｒ，Ｇ，Ｂの画素値を用いた補間演算等によって該焦点検出画素の位置の画素値を補間して画像データを生成する。

図３には撮像画素の配置と構造を、図４には焦点検出画素の配置と構造をそれぞれ示している。本実施例において、撮像素子１４は、２行×２列の４画素のうち対角方向の２つの画素をＧのカラーフィルタを備えた撮像画素とし、他の２つの画素をＲとＢのカラーフィルタを備えた撮像画素としたベイヤー配列を採用している。そして、ベイヤー配列された撮像画素の一部を焦点検出画素に置き換えている。

図３（ａ）には、撮像素子１４のうち中心付近、すなわち撮影光学系の光軸付近における上述した２行×２列の撮像画素の配置を示している。図３（ａ）中のＡ−Ａ線の断面を図３（ｂ）に示す。Ｌは撮影光学系３１１の光軸である。

図３（ｂ）において、ＭＬは画素の最前面に配置されたオンチップマイクロレンズであり、ＣＦ_ＲはＲのカラーフィルタを、ＣＦ_ＧはＧのカラーフィルタを示している。ＰＤ（Photo Diode）は、ＣＭＯＳセンサの光電変換部を模式的に示している。ＣＬ（Contact Layer）は、ＣＭＯＳセンサ内の各種信号を伝達する信号線を形成するための配線層である。

撮像画素のオンチップマイクロレンズＭＬと光電変換部ＰＤは、撮影光学系３１１の射出瞳４１１を通過した光束４１０を可能な限り有効に取り込むように構成されている。なお、図３（ｂ）では撮像画素Ｒおよび撮像画素Ｇの構造と撮像画素Ｒに入射する光束４１０のみを示しているが、撮像画素Ｂもこれらと同一構造を有し、かつ撮像画素Ｇ，Ｂへの入射光束も光束４１０と同様である。

図４（ａ）には、撮像素子１４のうち中心付近における上述した２行×２列の撮像画素のうち撮像画素Ｒ，Ｂを、焦点検出画素Ｓ_ＨＡ（図９中のＳ１に相当する）と焦点検出画素Ｓ_ＨＢ（図９中のＳ２に相当する）に置き換えた画素配置を示している。図４（ａ）中のＢ−Ｂ線の断面を図４（ｂ）に示す。Ｌは撮影光学系３１１の光軸である。

図４（ｂ）において、マイクロレンズＭＬと光電変換部ＰＤは、図３（ｂ）に示した撮像画素のそれらと同一構造を有する。前述したように焦点検出画素の出力信号は画像データの生成には用いられないため、焦点検出画素には色分離用のカラーフィルタの代わりに透明膜（白色膜）ＣＦ_Ｗが設けられている。

また、各焦点検出画素によって撮影光学系３１１の射出瞳を分割するため、遮光層としての配線層ＣＬに形成された開口部は、マイクロレンズＭＬの中心に対して一方向に偏っている。具体的には、焦点検出画素Ｓ_ＨＡの開口部ＯＰ_ＨＡは、マイクロレンズＭＬの中心に対して右側に偏り量４２１_ＨＡだけ偏って形成されている。このため、焦点検出画素Ｓ_ＨＡの光電変換部ＰＤは、光軸Ｌよりも左側の射出瞳領域４２２_ＨＡを通過した光束４２０_ＨＡのみを受光する。

一方、焦点検出画素Ｓ_ＨＢの開口部ＯＰ_ＨＢは、マイクロレンズＭＬの中心に対して左側に偏り量４２１_ＨＢだけ偏って形成されている。このため、焦点検出画素Ｓ_ＨＢの光電変換部ＰＤは、光軸Ｌよりも右側の射出瞳領域４２２_ＨＢを通過した光束４２０_ＨＢのみを受光する。偏り量４２１_ＨＡと偏り量４２１_ＨＢは互いに等しい。

このように、焦点検出画素Ｓ_ＨＡ，Ｓ_ＨＢは、マイクロレンズＭＬに対する開口部ＯＰ_ＨＡ，ＯＰ_ＨＢの偏りによって、撮影光学系３１１における互いに異なる射出瞳領域４２２_ＨＡ，４２２_ＨＢを通過した光束４２０_ＨＡ，４２０_ＨＢを受光する。

焦点検出画素Ｓ_ＨＡ，Ｓ_ＨＢはそれぞれ水平方向や垂直方向に複数配置される。複数の焦点検出画素Ｓ_ＨＡが、それら焦点検出画素Ｓ_ＨＡ上に形成された被写体像（Ａ像）を光電変換することで該Ａ像に対応する像信号が得られる。また、複数の焦点検出画素Ｓ_ＨＢが、それら焦点検出画素Ｓ_ＨＢ上に形成された被写体像（Ｂ像）を光電変換することで該Ｂ像に対応する像信号が得られる。これら一対の像信号の位相差（Ａ像とＢ像の相対位置差）を検出することで、撮影光学系３１１のデフォーカス量を算出することができる。そして、該デフォーカス量を０に近づけるように、すなわち合焦状態を得るようにフォーカスレンズを移動させることで、位相差ＡＦを行うことができる。

なお、図４（ａ），（ｂ）には撮像素子１４の中央付近の焦点検出用画素を示したが、撮像素子１４の中央付近以外の領域では、マイクロレンズＭＬと配線層ＣＬの開口部ＯＰ_ＨＡ，ＯＰ_ＨＢを図４（ｂ）とは異なる偏らせ方を採用して射出瞳を分割することもできる。

図５には、上述したＡ像に対応する像信号４３０ａとＢ像に対応する像信号４３０ｂの例を示す。図５において、横軸は複数の焦点検出画素Ｓ_ＨＡ，Ｓ_ＨＢの並び方向を示し、縦軸は像信号の強度を示す。図５は、撮影光学系がデフォーカスした状態を示しており、像信号４３０ａ，４３０ｂは互いにずれている。ＡＦ部４２は、相関演算によって像信号４３０ａ，４３０ｂのずれ量である位相差をずれ方向とともに算出し、さらに該位相差とずれ方向とに基づいて撮影光学系のデフォーカス量およびデフォーカス方向を求める。

本実施例では、撮影光学系が大きくデフォーカスした状態において位相差焦点検出により得られるデフォーカス方向の情報を用いて合焦方向を判定し、デフォーカス量の情報に基づいて位相差ＡＦにより合焦位置の近傍までフォーカスレンズを高速で移動させる。そして、合焦位置の近傍からはコントラストＡＦを用いて高精度に合焦状態を得る。これにより、大きくデフォーカスした状態から高精度な合焦状態を得るまでに要する時間を短縮することができる。

また、コントラストＡＦによる合焦状態の維持中においても位相差焦点検出により得られるデフォーカス方向の情報から合焦方向を判定し続ける。これにより、被写体が移動して非合焦状態になったとしても、その被写体の移動に迅速に追従してフォーカスレンズを移動させ、再び合焦状態を得ることができる。

図６（ａ），（ｂ）には、本実施例におけるコントラストＡＦと位相差ＡＦとを併用するハイブリッドＡＦによる被写体に対するフォーカスレンズの追従の様子を示している。図６（ａ）は、時間経過に伴うフォーカスレンズの位置の変化を示している。図６（ａ）において、横軸は時間を、縦軸はフォーカスレンズの位置を示す。

破線４４０は、撮像素子１４の撮像面に対する被写体の位置の変化の例を、その被写体に対する合焦状態を得るためのフォーカスレンズの合焦位置の変化として示している。この例では、被写体は、時間Ｔ０から時間Ｔ１の間は撮像面に対しては静止しており、時間Ｔ１以降ではフォーカスレンズの合焦位置が等速で変化するように撮像面に対して移動する。

実線４４１は、ハイブリッドＡＦによりフォーカスレンズが被写体に追従して移動している様子を示す。実線４４１上に記した楕円マーク４４２ａ〜４４２ｑは、コントラストＡＦを行う（コントラスト評価値を算出する）ための撮像素子１４の電荷蓄積期間を示す。以下の説明において、この電荷蓄積期間をコントラスト蓄積期間といい、該コントラスト蓄積期間に行われる電荷蓄積をコントラスト電荷蓄積という。なお、前述したように、コントラスト電荷蓄積は、映像信号を生成するための電荷蓄積でもあり、撮像素子１４の撮像画素によって行われる。

また、矩形マーク４４３ａ〜４４３ｏは、位相差焦点検出を行う（像信号を生成する）ための撮像素子１４の電荷蓄積期間を示す。以下の説明において、この電荷蓄積期間を位相差蓄積期間といい、該位相差蓄積期間に行われる電荷蓄積を位相差電荷蓄積という。位相差電荷蓄積は、撮像素子１４の焦点検出画素によって行われる。

さらに、以下の説明では、蓄積された電荷の読み出しタイミングやコントラスト評価値およびデフォーカス量の算出タイミングについては、単に「位相差蓄積期間において」や「コントラスト蓄積期間において」と述べる。しかし、実際には、それらの電荷蓄積期間の直前、開始時、途中および終了時のいずれでもよい。

まず、コントラスト蓄積期間４４２ａにおいてコントラスト電荷蓄積が行われると、ここで蓄積された電荷に対応する撮像信号が位相差蓄積期間４４３ａにおいて読み出され、次のコントラスト蓄積期間４４２ｂにおいてコントラスト評価値が算出される。

一方、位相差蓄積期間４４３ａにおいて位相差電荷蓄積が行われると、ここで蓄積された電荷に対応する撮像信号がコントラスト蓄積期間４４２ｂにおいて読み出され、次の位相差蓄積期間４４３ｂにおいて位相差、つまりはデフォーカス量が算出される。そして、このデフォーカス量が所定値Ｄｔｈよりも大きい場合には、次のコントラスト蓄積期間４４２ｃを含む期間中（次の位相差蓄積期間４４３ｃまでの期間中）に該デフォーカス量に応じてフォーカスレンズが移動される。

こうして位相差焦点検出の結果によってフォーカスレンズが合焦位置の近傍に移動された後、コントラストＡＦによる合焦状態への追い込みと合焦状態の維持（合焦追従ともいう）とが行われる。コントラスト電荷蓄積とその次のコントラスト電荷蓄積との間には、位相差電荷蓄積も行われる。

なお、先の位相差蓄積期間４４３ｂで蓄積された電荷に対応する撮像信号からのデフォーカス量の算出も位相差蓄積期間４４３ｃにおいて行われる。ただし、該デフォーカス量が上記所定値Ｄｔｈより大きい場合でも、位相差蓄積期間４４３ａ，４４３ｂ間のデフォーカス量の変化量が所定値（所定変化量）ΔＤｔｈ以下であるときは、コントラスト蓄積期間４４２ｄを含む期間中にフォーカスレンズを移動させない。

そして、コントラスト蓄積期間４４２ｄにおいてコントラスト電荷蓄積が行われると、ここで蓄積された電荷に対応する撮像信号が位相差蓄積期間４４３ｄにおいて読み出され、次のコントラスト蓄積期間４４２ｅにおいてコントラスト評価値が算出される。

さらに、位相差蓄積期間４４３ｄでは、位相差蓄積期間４４３ｃで蓄積された電荷に対応する撮像信号からデフォーカス量が算出される。該デフォーカス量が上記所定値Ｄｔｈ以下である場合は、図２（ａ）で説明したようにフォーカスレンズをウォブリングさせながらのコントラストＡＦが行われる。図６（ａ）では、コントラスト蓄積期間４４２ｅ〜４４２ｑにてフォーカスレンズをウォブリングさせながらコントラストＡＦが行われている例を示している。そして、このコントラストＡＦを行っている期間中も、位相差蓄積期間４４３ｅ〜４４３ｐにおいて位相差電荷蓄積とデフォーカス量の算出が行われる。

図６（ｂ）には、図６（ａ）に示したフォーカスレンズの位置の変化に伴って位相差焦点検出により検出されるデフォーカス量の変化を示している。このデフォーカス量の変化をモニタすることで移動する被写体に対する合焦追従を行う。本実施例では、図２（ｂ）でも説明したように、ウォブリングにおけるフォーカスレンズの移動中に位相差電荷蓄積を行う。ただし、ウォブリングにおけるフォーカスレンズの移動量は微小量である。このため、ウォブリングが行われている期間（４４２ｅ〜４４２ｊ）中において位相差蓄積期間４４３ｅ〜４４３ｊで蓄積された電荷に対応する撮像信号から算出されるデフォーカス量は、ウォブリングによる影響をほとんど受けない。このため、ウォブリング中の位相差焦点検出によって、静止している被写体を動いている被写体と誤判定することを防止できる。

つまり、期間（４４２ｅ〜４４２ｊ）においては、位相差蓄積期間４４３ｅ〜４４３ｊで蓄積された電荷に対応する撮像信号から算出されるデフォーカス量は所定値Ｄｔｈ以下となるため、結果的にコントラストＡＦのみによる合焦追従が行われる。

次に、コントラスト蓄積期間４４２ｋにおいて、位相差蓄積期間４４３ｊ（時刻Ｔ１）において蓄積された電荷に対応する撮像信号からデフォーカス量が算出される。コントラスト蓄積期間４４２ｋでは被写体の移動が発生しているが、位相差蓄積期間４４３ｊでの電荷蓄積では、まだ被写体の移動に対応するデフォーカス量は検出できない。

そして、次の位相差蓄積期間４４３ｌにおいて、位相差蓄積期間４４３ｋで蓄積された電荷に対応する撮像信号からデフォーカス量が算出される。このとき（今回）のデフォーカス量の前回算出したデフォーカス量に対する変化量が所定値ΔＤｔｈより大きいときは、その変化量に応じた位置にフォーカスレンズのウォブリング振幅中心がシフトされる。

さらに、位相差蓄積期間４４３ｍにおいても、位相差蓄積期間４４３ｌで蓄積された電荷に対応する撮像信号からデフォーカス量が算出され、前回のデフォーカス量からの変化量が所定値ΔＤｔｈより大きいためにウォブリング振幅中心がシフトされる。

次に位相差蓄積期間４４３ｎにおいて、位相差蓄積期間４４３ｍで蓄積された電荷に対応する撮像信号からデフォーカス量が算出される。ここまでの位相差蓄積期間４４３ｋ，４４３ｌ，４４３ｍでの電荷蓄積により所定値ΔＤｔｈより大きいデフォーカス量の変化が３回続けて検出されたので、本実施例では、該３回のデフォーカス量の算出結果を用いて予測デフォーカス量の算出が行われる。そして、予測デフォーカス量の前回のデフォーカス量に対する変化量に応じて、ウォブリング振幅中心がシフトされる。

その後の期間（４４３ｏ，４４３ｐ）では、予測デフォーカス量に応じてウォブリング振幅中心がシフトされながらフォーカスレンズのウォブリングが行われる。これにより、コントラストＡＦ（以下、ウォブリングＡＦともいう）による移動被写体に対する合焦追従が行われる。

次に、上述したカメラ１００の動画撮影時におけるハイブリッドＡＦの処理について、図７および図８のフローチャートを用いて説明する。この処理は、システム制御部５０に格納されたコンピュータプログラムに従って、システム制御部５０とＡＦ部４２とによって実行される。

図７には、ハイブリッドＡＦの処理の全体の流れを示している。まずステップＳ５０１では、システム制御部５０は、操作部７０におけるユーザ操作によるＡＦ処理の開始指示が入力されることに応じて、ステップＳ５０２に進む。

ステップＳ５０２では、システム制御部５０は、撮像素子１４にコントラストＡＦのための（映像信号を生成するための）電荷蓄積であるコントラスト電荷蓄積を行わせる。画像処理部２０は、撮像素子１４からの撮像信号に基づいて映像信号を生成する。

次にステップＳ５０３では、ＡＦ部４２は、画像処理部２０にて生成された映像信号（フレーム）をシステム制御部５０を介して読み込む。

一方、ステップＳ５０４では、システム制御部５０は、撮像素子１４に位相差焦点検出のための電荷蓄積（位相差電荷蓄積）を行わせる。

次にステップＳ５０５では、ＡＦ部４２は、ステップＳ５０３にて読み込んだ映像信号を用いてコントラスト評価値を算出する。

次にステップＳ５０６では、ＡＦ部４２は、Ａ／Ｄ変換部１６、画像処理部２０およびシステム制御部５０を介して、撮像素子１４にて位相差電荷蓄積により蓄積された電荷に対応する撮像信号を読み込む。

次にステップＳ５０７では、ＡＦ部４２は、位相差焦点検出によるデフォーカス量を算出される。

次にステップＳ５０８では、ＡＦ部４２およびシステム制御部５０は、ステップＳ５０４およびステップＳ５０７で算出したコントラスト評価値とデフォーカス量とに基づいて、フォーカス制御部３４２を介してハイブリットＡＦを行う。

最後にステップＳ５０９において、システム制御部５０は、操作部７０におけるユーザ操作によるＡＦ処理の終了指示が入力された場合はＡＦ動作を終了し、それ以外の場合は、ステップＳ５０２に戻ってハイブリットＡＦを継続する。

次に、ステップＳ５０８で行われる処理の詳細について、図８のフローチャートを用いて説明する。まず、ステップＳ６０１では、ＡＦ部４２は、位相差焦点検出により算出されたデフォーカス量が所定値Ｄｔｈより大きいか否かを判定する。所定値Ｄｔｈより大きい場合はステップＳ６０２に進み、所定値Ｄｔｈ以下である場合はステップＳ６０４に進む。

ステップＳ６０２では、ＡＦ部４２は、前回算出したデフォーカス量に対する今回算出したデフォーカス量の変化量が所定値ΔＤｔｈ以下か否かを判定する。所定値ΔＤｔｈ以下である場合は、フォーカスレンズを移動させずに本処理を終了する。一方、デフォーカス量の変化量が所定値ΔＤｔｈより大きい場合は、ステップＳ６０３に進む。

ステップＳ６０３では、ＡＦ部４２およびシステム制御部５０は、デフォーカス量に基づいてフォーカスレンズを移動させる。

また、ステップＳ６０４では、ＡＦ部４２は、前回算出したデフォーカス量に対する今回算出したデフォーカス量の変化量が所定値ΔＤｔｈ以下か否かを判定する。所定値ΔＤｔｈ以下である場合はステップＳ６０５に進み、所定値ΔＤｔｈより大きい場合はステップＳ６０６に進む。

ステップＳ６０５では、ＡＦ部４２およびシステム制御部５０は、ウォブリングＡＦ（コントラストＡＦ）を行う。

また、ステップＳ６０６では、ＡＦ部４２は、過去３回のステップＳ６０４での判定がＮｏ（前回のデフォーカス量に対する今回のデフォーカス量の変化量が所定値ΔＤｔｈより大きい）であるか否かを判定する。そうでなければステップＳ６０７に進み、そうであればステップＳ６０８に進む。

ステップＳ６０７では、ＡＦ部４２は、位相差焦点検出により算出されたデフォーカス量を用いてウォブリング振幅中心のシフト量を算出する。そして、該シフト量だけウォブリング振幅中心をシフトさせてウォブリングＡＦを続行する。

一方、ステップＳ６０８では、ＡＦ部４２は、過去３回のデフォーカス量の算出結果から予測デフォーカス量を算出し、該予測デフォーカス量の前回のデフォーカス量に対する変化量に応じてウォブリング振幅中心をシフトさせてウォブリングＡＦを続行する。そして、図７のステップＳ５０９に進む。

以上説明したように、本実施例では、ウォブリングＡＦと位相差焦点検出とを併用して移動被写体に対して良好な合焦追従を行うことができる。また、このときの位相差焦点検出のための電荷蓄積タイミングは、ウォブリングＡＦによるフォーカスレンズのウォブリングの影響を受けないように制御される。したがって、静止被写体を移動被写体と誤判定することを防止でき、移動被写体に対しても高精度に合焦状態を得たり維持したりすることができる。

なお、本実施例ではレンズ交換型の一眼レフカメラについて説明したが、本実施例と同様のハイブリッドＡＦは、レンズ一体型のカメラにも適用することが可能である。

また、本実施例では、撮像素子に設けられた焦点検出画素からの出力信号を用いて（すなわち、撮像素子を焦点検出素子として用いて）位相差焦点検出および位相差ＡＦを行う場合について説明した。しかし、撮像素子とは別に設けられた光電変換素子を焦点検出素子として用いて、位相差焦点検出および位相差ＡＦを行ってもよい。例えば、メインミラーを透過した撮影光学系からの光束を、メインミラーの背後に配置されたサブミラーにより反射し、該反射光を分割しつつ光電変換素子に導く。そして、該分割された一対の光束により形成された一対の被写体像を光電変換素子により光電変換することで一対の像信号を得ることができる。

さらに、本実施例では、撮像光学系に含まれるフォーカスレンズをウォブリングさせてコントラストＡＦ（ウォブリングＡＦ）を行う場合について説明したが、撮像素子を光軸方向にウォブリングさせてウォブリングＡＦを行うようにしてもよい。つまり、フォーカスレンズ（フォーカス光学素子）および撮像素子のうち少なくとも一方の素子を光軸方向において往復させるように移動させる場合の該移動中に、位相差電荷蓄積を行わせるようにしてもよい。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

良好な合焦性能を有するデジタルカメラ等の撮像装置を提供できる。

１００ カメラ
３００ 交換レンズ
１４ 撮像素子
４２ ＡＦ部
５０ システム制御部

Claims (5)

1. 撮影光学系により形成された被写体像を光電変換する撮像素子と、
   該撮像素子から出力された第１の信号を用いてコントラスト検出方式によるフォーカス制御を行う第１のフォーカス制御手段と、
   前記撮像素子および該撮像素子とは別に設けられた光電変換素子のうち一方である焦点検出素子から出力された第２の信号を用いて位相差検出方式による前記撮影光学系の焦点状態の検出および該焦点状態に応じたフォーカス制御を行う第２のフォーカス制御手段と、
   前記撮像素子に、前記第１の信号を生成するための第１の電荷蓄積と該第１の信号の出力とを交互に繰り返し行わせ、前記焦点検出素子に、前記第２の信号を生成するための第２の電荷蓄積を前記第１の電荷蓄積とその次の前記第１の電荷蓄積との間に行わせる電荷蓄積制御手段とを有することを特徴とする撮像装置。
2. 前記第１のフォーカス制御手段は、前記撮影光学系に含まれるフォーカス光学素子および前記撮像素子のうち少なくとも一方の素子を光軸方向において往復するように移動させ、
   前記電荷蓄積制御手段は、前記焦点検出素子に、前記第２の電荷蓄積を前記少なくとも一方の素子の移動中に行わせることを特徴とする請求項１に記載の撮像装置。
3. 前記第１のフォーカス制御手段は、前記撮影光学系に含まれるフォーカス光学素子および前記撮像素子のうち少なくとも一方の素子を光軸方向において往復するように移動させ、
   前記第１のフォーカス制御手段は、前記少なくとも一方の素子の往復移動中心を、前記位相差検出方式により検出された前記焦点状態に応じてシフトさせることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記撮像素子は、前記被写体像を光電変換して前記第１の電荷蓄積および映像信号を生成するための電荷蓄積を行う複数の第１の画素と、前記撮影光学系からの光束のうち分割された光束を光電変換して前記第２の電荷蓄積を行う複数の第２の画素とを含むことを特徴とする請求項１から３のいずれか１つに記載の撮像装置。
5. 撮影光学系により形成された被写体像を光電変換する撮像素子を有する撮像装置の制御方法であって、
   該撮像素子から出力された第１の信号を用いてコントラスト検出方式によるフォーカス制御を行う第１のフォーカス制御ステップと、
   前記撮像素子および該撮像素子とは別に設けられた光電変換素子のうち一方である焦点検出素子から出力された第２の信号を用いて位相差検出方式による前記撮影光学系の焦点状態の検出および該焦点状態に応じたフォーカス制御を行う第２のフォーカス制御ステップと、
   前記撮像素子に、前記第１の信号を生成するための第１の電荷蓄積と該第１の信号の出力とを交互に繰り返し行わせ、前記焦点検出素子に、前記第２の信号を生成するための第２の電荷蓄積を前記第１の電荷蓄積とその次の前記第１の電荷蓄積との間に行わせるステップとを有することを特徴とする撮像装置の制御方法。