JP2017161571A - 焦点検出装置、撮像装置、焦点検出方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】大ボケ時における撮像面位相差検出方式の焦点検出に有利な焦点検出装置を提供すること。【解決手段】撮像光学系の焦点状態に応じて変化する一対の像信号に基づいて、前記焦点状態を判定する第１の判定手段（１５１）と、前記一対の像信号の一致度と、基準値と、を比較することにより、前記一対の像信号の像ずれ量の信頼性を判定する第２の判定手段（１５１）と、を有し、前記第２の判定手段は、前記焦点状態が第１の焦点状態であると判定された場合に、前記基準値として第１の基準値を設定し、前記焦点状態が前記第１の焦点状態よりも合焦状態から離れた第２の焦点状態であると判定された場合に、前記基準値として前記第１の基準値より大きい第２の基準値を設定する、ことを特徴とする。【選択図】図１

Description

本発明は、焦点検出装置に関し、特に、撮像面位相差検出方式の焦点検出を行う焦点検出装置に関する。

特許文献１には、撮像面位相差検出方式の焦点検出において、撮像光学系の焦点状態が大きくボケた状態（以下、大ボケと記す）での焦点検出方法について開示されている。大ボケでは、被写体の信号が広がることから、相関量を加算することによって、広い焦点検出枠として焦点検出を行っている。

特許文献２には、位相差検出方式が苦手とする被写体に対して、信頼性を判定する構成が開示されている。相関量波形の特徴量から、算出した像ずれ量を焦点調節に用いることができるか否かを判定している。

特開２０１３−１８６２０３号公報 特開２０１３−２１８０８２号公報

しかしながら、像面位相差検出方式の焦点検出においては、大ボケ時に、像ずれ量を求めるために用いる一対の像信号の形状が大きく崩れてしまう場合がある。そのため、特許文献１および２の構成では、大ボケ時に、撮像面位相差検出方式の焦点検出を行った際に、一対の像信号の形状が一致しないために、算出した像ずれ量の信頼性がないと判定され、該像ずれ量を用いた焦点調節を行うことができないという問題があった。また、特許文献２では、信頼性の判定を相関量波形の特徴量そのものから行っているため、被写体の像信号のレベルを受けやすいという問題があった。

そこで、本発明は、大ボケ時における撮像面位相差検出方式の焦点検出に有利な焦点検出装置、撮像装置、焦点検出方法、プログラム、および記憶媒体を提供することを目的とする。

本発明の一側面としての焦点検出装置は、撮像光学系の焦点状態に応じて変化する一対の像信号に基づいて、前記焦点状態を判定する第１の判定手段と、前記一対の像信号の一致度と、基準値と、を比較することにより、前記一対の像信号の像ずれ量の信頼性を判定する第２の判定手段と、を有し、前記第２の判定手段は、前記焦点状態が第１の焦点状態であると判定された場合に、前記基準値として第１の基準値を設定し、前記焦点状態が前記第１の焦点状態よりも合焦状態から離れた第２の焦点状態であると判定された場合に、前記基準値として前記第１の基準値より大きい第２の基準値を設定する、ことを特徴とする。

本発明によれば、大ボケ時における撮像面位相差検出方式の焦点検出に有利な焦点検出装置、撮像装置、焦点検出方法、プログラム、および記憶媒体を提供することができる。

本実施例における焦点検出装置を適用した撮像装置の構成を示すブロック図である。 本実施例における撮像装置の撮像動作を示すフローチャートである。 本実施例における撮像素子を説明するための図である。 本実施例における撮影レンズの瞳分割を説明するための図である。 本実施例における焦点検出領域を示す図である。 本実施例における焦点検出領域の画素の配列を模式的に示す図である。 本実施例における像信号および相関量波形の一例を示す図である。 本実施例における撮像光学系を説明するための図である。 本実施例における焦点検出装置の焦点検出動作を示すフローチャートである。 本実施例における大ボケシーン判定動作を示すフローチャートである。 本実施例における像ずれ量に対する大ボケ評価値閾値の設定を示す図である。 本実施例における信頼性判定動作を示すフローチャートである。 本実施例における大ボケ評価値に対する像一致度閾値の設定を示す図である。 本実施例における焦点調節動作を示すフローチャートである。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。なお、各図において同一の部材については同一の参照番号を付し、重複する説明は省略する。

＜実施例１＞
（撮像装置のブロック図の説明）
まず、図１を参照して、本実施例における撮像装置の構成について説明する。図１は、撮像装置１００の構成を示すブロック図である。

撮像装置１００は、被写体を撮影して、動画や静止画のデータをテープや固体メモリ、光ディスクや磁気ディスクなどの各種メディアに記録可能なビデオカメラやデジタルスチルカメラなどであるが、これらに限定されるものではない。また、撮像装置１００内の各部は、バス１６０を介して接続され、メインＣＰＵ１５１（中央演算処理装置）により制御される。

ここで、撮像装置に搭載されるオートフォーカス（ＡＦ）方式の一つとして、位相差検出方式（以下、位相差ＡＦと記す）がある。位相差ＡＦでは、撮影レンズの射出瞳を通過した光束を二分割し、二分割した光束を一組の焦点検出用センサによりそれぞれ受光する。そして、一組の焦点検出用センサから出力される信号のずれ量、すなわち、光束の分割方向の相対的位置ずれ量（以下、像ずれ量と記す）を検出することで撮影レンズのピント方向のずれ量（以下、デフォーカス量と記す）を求め、フォーカスレンズを制御する。

本実施例では、撮像素子に位相差検出機能を付与することで、専用の焦点検出用センサを不要とするとともに、高速に位相差ＡＦを実現する像面位相差ＡＦを採用している。撮像素子の画素の光電変換部を二分割して瞳分割機能を付与し、二分割された光電変換部の出力を個別に処理することで焦点検出を行うとともに、二分割された光電変換部の合算出力を画像信号として用いている。このように、撮像装置１００は、一つのマイクロレンズを共有する複数の光電変換素子を備えた撮像素子を有し、当該撮像素子が出力する画像信号を用いて位相差方式の焦点検出（撮像面位相差検出方式）を行う焦点検出装置を搭載している。

なお、本実施例の焦点検出装置は、撮像光学系（撮影レンズ）を介して得られた光学像を取得可能に構成された撮像装置（撮像装置本体）と、撮像装置本体に着脱可能な交換レンズ（撮影レンズ）と、から構成される撮像システムに適用される。しかし、本実施例はこれに限定されるものではなく、撮影レンズと撮像装置本体が一体となったレンズ一体型の撮像装置にも適用可能である。

撮影レンズ１０１は、第１の固定レンズ群１０２、ズームレンズ１１１、絞り１０３、第２の固定レンズ群１２１、および、フォーカスレンズ１３１を備えたレンズユニットとして構成される。絞り制御部１０５は、メインＣＰＵ１５１の指令に従い、絞りモータ１０４を介して絞り１０３を駆動することにより、絞り１０３の開口径を調整して撮影時の光量調節を行う。ズーム制御部１１３は、ズームモータ１１２を介してズームレンズ１１１を駆動することにより、焦点距離を変更する。

また、フォーカス制御部１３３は、フォーカスモータ１３２を介してフォーカスレンズ１３１を駆動することにより、焦点調節状態（フォーカス状態）を制御する。フォーカスレンズ１３１は、焦点調節用レンズであり、図１には単レンズとして簡略的に示されているが、通常複数のレンズで構成される。

上記光学部材で構成された撮影レンズ１０１により撮像素子１４１上に結像される被写体像は、撮像素子１４１により電気信号に変換される。撮像素子１４１は、光電変換により被写体像（光学像）を電気信号に変換する光電変換素子である。撮像素子１４１は、横（水平）方向にｍ画素、縦（垂直）方向にｎ画素の受光素子のそれぞれが、後述のように二つの光電変換素子（受光領域）が配置されている構成を有している。撮像素子１４１上に結像された被写体像を光電変換して得られた電気信号は、撮像信号処理部１４２により画像信号（画像データ）として整えられる。

位相差ＡＦ処理部１３５は、二つの光電変換素子（第１の光電変換素子、第２の光電変換素子）から個別に（それぞれ独立して）出力された画像信号（信号値）を撮像信号処理部１４２より取得する取得部１３５ａを有する。換言すれば、取得部１３５ａは、撮像光学系の焦点状態に応じて変化する一対の像信号を取得する取得手段として機能する。そして、位相差ＡＦ処理部１３５は、被写体からの光を分割して得られた像の分割方向における像ずれ量を検出（算出）する。また、位相差ＡＦ処理部１３５は、検出した像ずれ量に基づいて撮影レンズ１０１のピント方向のずれ量（デフォーカス量）を算出する。デフォーカス量は、像ずれ量に係数（換算係数）を掛けることにより算出される。なお、像ずれ量算出、デフォーカス量算出の各動作は、メインＣＰＵ１５１の指令に基づいて行われる。また、これらの動作の少なくとも一部をメインＣＰＵ１５１またはフォーカス制御部１３３で実行するように構成してもよい。本実施例において、位相差ＡＦ処理部１３５およびＣＰＵ１５１は、撮像光学系の合焦位置を検出する焦点検出装置として機能する。

位相差ＡＦ処理部１３５は、算出されたずれ量（デフォーカス量）をフォーカス制御部１３３へ出力する。フォーカス制御部１３３は、撮影レンズ１０１のピント方向のずれ量に基づいてフォーカスモータ１３２を駆動する駆動量を決定する。フォーカス制御部１３３およびフォーカスモータ１３２によるフォーカスレンズ１３１の移動制御により、ＡＦ制御が実現される。

撮像信号処理部１４２から出力される画像データは、撮像制御部１４３に送られ、一時的にＲＡＭ１５４（ランダム・アクセス・メモリ）に蓄積される。ＲＡＭ１５４に蓄積された画像データは、画像圧縮伸張部１５３にて圧縮された後、記録媒体１５７に記録される。

これと並行して、ＲＡＭ１５４に蓄積された画像データは、画像処理部１５２に送られる。画像処理部１５２（画像処理手段）は、第１の光電変換素子および第２の光電変換素子の加算信号を用いて得られた画像信号を処理する。画像処理部１５２は、例えば、画像データに対して最適なサイズへの縮小・拡大処理を行う。最適なサイズに処理された画像データは、モニタディスプレイ１５０に送られて画像表示される。

これにより、操作者は、リアルタイムで撮影画像を観察することができる。なお、画像の撮影直後にはモニタディスプレイ１５０が所定時間だけ撮影画像を表示することで、操作者は撮影画像を確認することができる。

操作部１５６（操作スイッチ）は、操作者が撮像装置１００への指示を行うために用い、操作部１５６から入力された操作指示信号は、バス１６０を介してメインＣＰＵ１５１に送られる。撮像制御部１４３は、メインＣＰＵ１５１からの命令に基づき、撮像素子１４１の蓄積時間、撮像素子１４１から撮像信号処理部１４２へ出力するゲインの値の指示を受け取り、撮像素子１４１を制御する。

バッテリ１５９は、電源管理部１５８により適切に管理され、撮像装置１００の全体に安定した電源供給を行う。フラッシュメモリ１５５は、撮像装置１００の動作に必要な制御プログラムを記憶している。

操作者の操作により撮像装置１００が起動すると（電源ＯＦＦ状態から電源ＯＮ状態へ移行すると）、フラッシュメモリ１５５に格納された制御プログラムがＲＡＭ１５４の一部に読み込まれる（ロードされる）。メインＣＰＵ１５１は、ＲＡＭ１５４にロードされた制御プログラムに従って撮像装置１００の動作を制御する。

（撮影動作の説明）
次に、図２を参照して、撮像装置１００の焦点制御（焦点調節）を含む撮影動作について説明する。図２は、撮像装置１００の撮影動作を示すフローチャートである。

図２の各ステップは、メインＣＰＵ１５１の制御プログラムに従った指令に基づいて行われる。

まずステップＳ２０１において、撮像装置１００の電源がＯＮにされると、メインＣＰＵ１５１は演算（制御）を開始する。続いてステップＳ２０２において、撮像装置１００のフラグや制御変数などを初期化し、ステップＳ２０３において、フォーカスレンズ１３１などの光学部材（撮像光学部材）を初期位置に移動させる。

次に、ステップＳ２０４において、メインＣＰＵ１５１は操作者により電源ＯＦＦ操作が行われたか否か（電源ＯＦＦ操作の有無）を検出する。ステップＳ２０４にて電源ＯＦＦ操作が検出された場合、ステップＳ２０５に進む。

ステップＳ２０５において、メインＣＰＵ１５１は、撮像装置１００の電源をＯＦＦにするため、撮像光学部材を初期位置へ移動し、各種フラグや制御変数のクリアなどの後処理を行う。そして、ステップＳ２０６において、撮像装置１００の撮影動作（制御）を終了する。

一方、ステップＳ２０４にて電源ＯＦＦ操作が検出されない場合、ステップＳ２０７に進む。ステップＳ２０７において、メインＣＰＵ１５１は、焦点検出処理を行う。

続いて、ステップＳ２０８において、フォーカス制御部１３３は、ステップＳ２０７にて決定された駆動方向、速度、および、位置に従ってフォーカスレンズ１３１を駆動し、フォーカスレンズ１３１を所望の位置に移動させる。

続いてステップＳ２０９において、撮像素子１４１は、本露光により被写体像を光電変換して撮像信号を生成する（撮像処理）。また、撮像信号処理部１４２は、光電変換により生成された撮像信号に所定の処理（画像処理）を施して画像信号を出力する。

そして、ステップＳ２１０において、メインＣＰＵ１５１は、操作者により記録ボタン（操作部１５６）の押下がなされたか否かを検出し、記録中であるか否かを判定する。記録中でない場合には、ステップＳ２０４へ戻る。一方、記録中である場合には、ステップＳ２１１に進む。

ステップＳ２１１において、撮像信号処理部１４２から出力された画像信号（画像データ）は、画像圧縮伸張部１５３により圧縮処理され、画像記録媒体１５７に記録される。そして、ステップＳ２０４へ戻り、前述の各ステップを繰り返す。

（撮像面位相差検出方法の説明）
次に、本実施例における位相差検出方法について説明する。まず、図３を参照して、撮像素子１４１の構成について説明する。

図３（ａ）は、瞳分割機能を有する撮像素子１４１の画素の構成図（断面図）である。各画素の光電変換素子３０は、二つの光電変換素子３０−１（第１の光電変換素子）および光電変換素子３０−２（第２の光電変換素子）に分割されており、瞳分割機能を有する。

マイクロレンズ３１（オンチップマイクロレンズ）は、光電変換素子３０に効率よく光を集める機能を有し、光電変換素子３０−１、３０−２の境界に光軸が合うように配置されている。また、各画素には、平坦化膜３２、カラーフィルタ３３、配線３４、および、層間絶縁膜３５が設けられている。

図３（ｂ）は、撮像素子１４１が有する画素配列の一部を示す図（平面図）である。撮像素子１４１は、図３（ａ）に示す構成を有する一画素を複数配列することで形成される。また、撮像を行うため、各画素にはＲ（赤色）、Ｇ（緑色）、Ｂ（青色）のカラーフィルタ３３が交互に配置され、四画素で一組の画素ブロック４０、４１、４２を配列することで、所謂ベイヤー配列が構成されている。なお、図３（ｂ）において、Ｒ、Ｇ、Ｂのそれぞれの下に示される「１」または「２」は、光電変換素子３０−１、３０−２のそれぞれに対応している。

図３（ｃ）は、撮像素子１４１の光学原理図であり、図３（ｂ）中のＡ−Ａ線で切断して得られた断面図の一部を示す。撮像素子１４１は、撮影レンズ１０１の予定結像面に配置されている。マイクロレンズ３１の作用により、光電変換素子３０−１、３０−２はそれぞれ、撮影レンズ１０１の瞳（射出瞳）の異なる位置（領域）を通過した一対の光束を受光するように構成されている。

光電変換素子３０−１は、主に、撮影レンズ１０１の瞳のうち図３（ｃ）中の右側位置を透過する光束を受光する。一方、光電変換素子３０−２は、主に、撮影レンズ１０１の瞳の図３（ｃ）中の左側位置を透過する光束を受光する。

（撮影レンズの瞳の原理の説明）
続いて、図４を参照して、撮影レンズ１０１の瞳について説明する。図４は、撮像素子１４１から見た場合の、撮影レンズ１０１の瞳５０を示す図である。

５１−１は光電変換素子３０−１の感度領域（以下、「Ａ像瞳」という。）、５１−２は光電変換素子３０−２の感度領域（以下、「Ｂ像瞳」という。）である。５２−１、５２−２は、それぞれ、Ａ像瞳およびＢ像瞳の重心位置である。

本実施例の撮像処理を行う場合、同一画素において同一色のカラーフィルタが配置された二つの光電変換素子の出力を加算することにより、画像信号を生成することが可能である。

一方、本実施例の焦点検出処理を行う場合、各画素ブロック内における光電変換素子３０−１に対応する光電変換素子からの出力を積算することにより、一画素の焦点検出信号を取得する。そして、この信号を画素ブロック４０、４１、４２のように横（水平）方向に連続して取得することによりＡ像信号を生成することが可能である。

同様に、一画素ブロック内における光電変換素子３０−２に対応する光電変換素子からの出力を積算することにより、一画素の焦点検出信号を取得する。そして、この信号を横方向の画素ブロックについて連続して取得することによりＢ像信号を生成することが可能である。Ａ像信号およびＢ像信号により、一対の位相差検出用信号（一対の像信号）が生成される。このように、本実施例の撮像素子は、１つのマイクロレンズに対して第１の光電変換部および第２の光電変換部を備えており、第１の光電変換部および第２の光電変換部から撮像光学系の焦点状態に応じた一対の像信号を出力する。

（焦点検出領域の説明）
図５は、本実施例の焦点検出方法にて用いられる焦点検出領域を示す図である。図５に示されるように、撮像画角６０に対して、適切な位置に焦点検出領域６１が設けられる。位相差ＡＦ処理部１３５は、焦点検出領域６１において、一対の位相差検出用信号を生成し、焦点検出を行う。なお、撮像画角６０上において、複数の焦点検出領域を設定することも可能である。本実施例では、撮像素子１４１を構成する全画素において二つの光電変換素子を設け、焦点検出領域から位相差検出用信号を生成する方法について説明したが、これに限定されるものではない。例えば、焦点検出領域にのみ図３（ａ）に示される構造（分割画素構造）を有する撮像素子１４１を用いてもよい。

（ベイヤー配列の説明）
なお、本実施例では図６に示すように、適度な範囲で図中縦方向に輝度ライン加算したものを用いる。図６の例では、縦方向にベイヤー配列における２画素ブロック分を用いて、加算平均することにより、焦点検出に用いる画像信号を生成している。なお、輝度ライン加算数は、任意に設定可能である。輝度ライン加算数が多いほど、焦点検出領域６１が画角に対して、縦方向に大きくなる。

（二つの像信号の像ずれ量の説明）
続いて、図７を参照して、Ａ像信号およびＢ像信号（以下、まとめて「像信号」という。）について説明する。

図７（ａ）は、像信号を説明するための図であり、縦軸は像信号のレベル、横軸は画素位置をそれぞれ示している。生成した一対の位相差検出用信号の像ずれ量Ｘは、撮影レンズ１０１の結像状態（合焦状態、前ピン状態、または、後ピン状態）に応じて変化する。

撮影レンズ１０１が合焦状態の場合、二つの像信号の像ずれ量は無くなる。一方、前ピン状態または後ピン状態の場合、異なる方向に像ずれ量が生じる。また、像ずれ量は、撮影レンズ１０１により被写体像が結像している位置とマイクロレンズ上面との距離、いわゆるデフォーカス量と一定の関係を有する。

そこで、像ずれ量Ｘを算出するため、二つの像信号に対して相関演算が行われる。この相関演算では、画素をシフトさせながら二つの像信号の相関量が演算され、相関が最も高くなる位置同士の差が像ずれ量として算出される。

図７（ｂ）は、像信号の画素をシフトさせていった時のシフト位置ｉにおける二つの像信号の相関量ＣＯＲ（ｉ）を並べた波形（以下、相関量波形という）を示す図である。図７（ｂ）において、横軸は画素のシフト位置ｉ、縦軸はその時のＡ像信号とＢ像信号の相関量ＣＯＲ（ｉ）を示している。相関演算はメインＣＰＵ１５１で行われる。相関量を算出する際、二つの像信号を重ねて、それぞれ対応する信号同士を比較し、差分の累積を取得する。なお、大きい方の値の累積を取得しても良い。また、小さい方の値の累積を取得しても良い。累積は、相関を指し示す指標となり、差分を取得した場合、または、大きい方の値の累積を取得した場合、この値が最も小さい時が相関の高い時となる。なお、小さい方の値の累積を取得した場合には、この値が最も大きいときが相関の高い時である。

この像ずれ量Ｘから撮影レンズのデフォーカス量を求め、撮影レンズが合焦状態になるようなレンズ駆動量を算出することで焦点調節を行う。

（信頼性判定の指標の算出の説明）
また、像ずれ量Ｘの算出とともに、一対の像信号の像信号波形および相関量波形から、後述の信頼性判定で用いる指標の算出を行う。以下、相関量を二つの像信号の差分の累積を取得した場合についての信頼性判定の指標の算出について説明する。なお、以下に示す説明は例示で他の周知の方法で信頼性判定の指標を算出しても良い。

信頼性は、被写体のコントラストの大きさや、二つの像信号の一致度、二つの像が最も一致する時の相関量変化量によって定義することができる。被写体のコントラストの大きさを表す指標として、像信号波形より、最大値（ピーク値）と最小値（ボトム値）の差分であるピークボトム値を算出する。ピークボトム値が大きいほど信頼性が高いことを示す。

図７（ｂ）における７０に示すように、二つの像信号の相関が最も高い場合に、相関量は極小となる。この時の相関量の大きさは、二つの像信号の相関が最も高い時の、二つの像信号の差分であり、二つの像信号の一致度Ｆを表す。この値が小さいほど信頼性が高いことを示す。

図７（ｃ）は、相関変位量を並べた波形を示す図である。相関変位量ΔＣＯＲは図７（ｂ）に示す相関量波形から、たとえば１シフト飛ばしの相関量の差から（ΔＣＯＲ＝ＣＯＲ（ｉ−１）−ＣＯＲ（ｉ＋１）の関係式により）、算出する。図７（ｃ）において、横軸は画素のシフト位置ｉ、縦軸はその時の相関変位量ΔＣＯＲ（ｉ）を示している。前述の図７（ｂ）における７０に示すように、二つの像信号の相関が最も高い場合に、相関量は極小となるため、相関変位量波形は、相関変位量がプラスからマイナスになるポイント７１を有する。この相関変位量が０となるシフト位置ｊ付近での相関変位量の変化量（以下、相関量変化量という）を、二つの像が最も一致する時の相関量変化量Ｍとして（Ｍ＝｜ΔＣＯＲ（ｊ−１）｜＋｜ΔＣＯＲ（ｊ）｜の関係式により）、算出する。この値が大きいほど信頼性が高いことを示す。

（像ずれ量からデフォーカス量への変換の説明）
図８を参照して、相関演算により算出された像ずれ量からデフォーカス量への変換について説明する。

図８は、撮影レンズ１０１および撮像素子１４１を含む光学系を示す図である。被写体８０に対する予定結像面の位置ｐ０の光軸上に焦点検出面の位置ｐ１がある。像ずれ量とデフォーカス量との関係は、光学系に応じて決定される。デフォーカス量は、像ずれ量Ｘに所定の係数Ｋ（換算係数）を掛けることにより算出することができる。

係数Ｋは、Ａ像瞳とＢ像瞳との重心位置に基づいて算出される。焦点検出面の位置ｐ１が位置ｐ２に移動した場合、位置ｐ０、ｑ２、ｑ３の三角形と位置ｐ０、ｑ２’、ｑ３’との三角形の相似に従って、像ずれ量が変化する。

このため、焦点検出面の位置ｐ２でのデフォーカス量を算出することが可能である。メインＣＰＵ１５１は、デフォーカス量に基づいて、被写体に対して合焦状態を得るためのフォーカスレンズ１３１の位置を算出する。

（焦点検出動作の説明）
続いて、図９を参照して、本実施例における焦点検出装置による焦点検出動作について説明する。図９は、本実施例における焦点検出装置による焦点検出動作を示すフローチャートである。図９の各ステップは、メインＣＰＵ１５１が制御プログラムを実行して各部を制御することにより実施され、図２中のステップＳ２０７に相当する。

まず、ステップＳ９０１において、焦点検出が開始される。焦点検出装置は、焦点検出に用いる像信号を取得するため、撮像素子１４１が被写体像を撮像して出力する撮像信号から画像信号が生成されるのをステップＳ９０２およびＳ９０３により待つ。メインＣＰＵ１５１および撮像制御部１４３は撮像素子を制御して所定の蓄積時間に従って電荷蓄積（露光）を行い（ステップＳ９０２）、ステップＳ９０４において、焦点検出領域での画像信号の画素値の読み出しを行う。

ステップＳ９０５において、メインＣＰＵ１５１は、焦点検出領域にある所定画素数分の読み出しが完了したか否かを判定する。所定画素数分の読み出しが完了していない場合、ステップＳ９０４に戻り、所定画素数分の読み出しが終了するまでステップＳ９０４〜Ｓ９０５を繰り返す。

ステップＳ９０６において、像信号に前補正処理を行う。この前補正処理は、読み出した像信号に対する補正処理と、平均化フィルタ、エッジ強調フィルタなどの像信号のフィルタ処理とを含む。

ステップＳ９０７において、メインＣＰＵ１５１は像信号に対して相関演算を行い、算出された相関量から、相関が最も高くなるシフト量を算出し、像ずれ量の算出を行う。このように、メインＣＰＵ１５１は、一対の像信号に対して相関演算を行い、一対の像信号の一致度Ｆ（相関量）と、一対の像信号の像ずれ量と、を算出する算出手段として機能する。なお、ここでの像ずれ量算出には、相関が最も高くなるシフト量と前後のシフト量での相関値を用いて、補間演算を行い、１シフト以内の補間値の算出を含む。このシフト量と補間値との和が像ずれ量Ｘとなる。

続いてステップＳ９０８において、メインＣＰＵ１５１は、撮影シーンが大ボケであるか否かを判定する大ボケシーン判定を行う。換言すれば、メインＣＰＵ１５１は、一対の像信号に基づいて、撮像光学系の焦点状態（大ボケであるか否か）を判定する判定手段（第１の判定手段）として機能する。この大ボケシーン判定については詳細を後述する。

ステップＳ９０９において、メインＣＰＵ１５１は、算出した像ずれ量Ｘの信頼性を判定する信頼性判定を行う。この信頼性判定は、ステップＳ９０８の大ボケシーン判定の結果に基づいて、二つの像信号の一致度Ｆに基づいて判定される。具体的に、メインＣＰＵ１５１は、一対の像信号の一致度Ｆと、基準値と、を比較することにより、一対の像信号の像ずれ量の信頼性を判定する。換言すれば、メインＣＰＵ１５１は、一対の像信号の像ずれ量の信頼性を判定する判定手段（第２の判定手段）として機能する。この大ボケに関する信頼性判定については詳細を後述する。また、信頼性判定には、二つの像信号の一致度Ｆに関する信頼性判定の他、像信号のコントラストが十分に大きいか否か、相関演算が苦手とする被写体か否かの判定を含む。なお、本実施例においては、上記算出手段、第１の判定手段、第２の判定手段は、同じ部材として構成されているが、それぞれ別の部材で構成されてもよい。

続いてステップＳ９１０において、メインＣＰＵ１５１は、信頼性判定の結果に基づいて、信頼できる像ずれ量Ｘが得られたか否かを判定する。信頼性があると判定される場合、ステップＳ９１１において、メインＣＰＵ１５１は、算出された像ずれ量Ｘに係数Ｋを掛けることにより（Ｄｅｆ＝Ｋ×Ｘの関係式により）、デフォーカス量Ｄｅｆを算出する。なお、このデフォーカス量を算出するにあたり、撮影レンズ１０１を被写体に対してよりピントを合わせるための後補正処理を行うようにしても良い。そしてステップＳ９１３において焦点検出を終了して本処理を呼び出したメインルーチンに戻る。

一方、ステップＳ９１１において信頼性のある像ずれ量を検出できなかったと判定された場合は、ステップＳ９１２において位相差ＡＦを行わない（焦点検出ＮＧ）。そしてステップＳ９１３において、焦点検出を終了して、本処理を呼び出したメインルーチンに戻る。

（大ボケシーン判定の説明）
続いて、図１０を参照して、本実施例における焦点検出装置による大ボケシーン判定について説明する。図１０は、本実施例における焦点検出装置による大ボケシーン判定を示すフローチャートである。図１０の各ステップは、メインＣＰＵ１５１が制御プログラムを実行して各部を制御することにより実施され、図９中のステップＳ９０８に相当する。

まず、ステップＳ１００１において、大ボケシーン判定が開始される。ステップＳ１００２において、図９中のステップＳ９０７で得られた像ずれ量Ｘが所定値以上（所定値より大きい）か否かを確認する。この所定値は、例えば５０画素というような定数で良い。像ずれ量Ｘが所定値未満の場合は、ステップＳ１００６に進む。ステップＳ１００６において、シーンは大ボケでないと判断し、ステップＳ１００９に進む。換言すれば、像ずれ量Ｘが所定値より小さい場合は、撮像光学系の焦点状態が大ボケではない焦点状態（第１の焦点状態）であると判定する。

像ずれ量Ｘが所定値より大きい場合は、相関演算の結果として、大ボケである可能性がある。そのため、ステップＳ１００３以降で、より詳細に大ボケシーンであるか否かを判定する。

ステップＳ１００３において、大ボケ評価値を算出する。この大ボケ評価値は、一対の像信号に対し相関演算を行うことで得られる相関量の差分である相関変位量が該相関量の極小値となるシフト位置において変化する変化量を、一対の像信号の像信号波形の最大値と最小値の差分値で除することにより算出される。すなわち、本実施例の大ボケ評価値は、前述の二つの像が最も一致する時の相関量変化量Ｍを、像信号の輝度波形より得られるピークボトム値で除したもので求められる。また、二つの像が最も一致する時の相関量変化量Ｍの代わりに、相関量波形の隣接差の絶対和、あるいは相関量波形の隣接差の二乗和を用いても良い。いずれも相関量波形の急峻性を表す指標であり、シーンが合焦近傍（第１の焦点状態）であるほど、値は大きく、大ボケ（第２の焦点状態）であるほど、値は小さく算出される。相関量波形は、像信号のレベルの影響を受けるため、ピークボトム値で除することにより、正規化して、像信号のレベルの影響を低減している。この大ボケ評価値が小さいほど、シーンは大ボケであり、大きいほど、シーンは合焦点付近にいることを示す。換言すれば、ステップＳ１００３において、一対の像信号に対する相関演算により算出される相関量の相関量波形の特徴量と、一対の像信号の像信号波形の特徴量と、に基づいて大ボケ評価値を算出する。大ボケ評価値は、焦点状態が合焦状態から離れるほど小さい値となり、算出された大ボケ評価値は、後述するように撮像光学系の焦点状態が大ボケ状態（第２の焦点状態）であるか否かを判定する際に使用される。

続いて、ステップＳ１００４において、像ずれ量Ｘに基づいて、大ボケ評価値の閾値ＭＴｈを算出する。大ボケ評価値の閾値ＭＴｈは、図１１に示すように像ずれ量Ｘに基づいて求められる。図１１は、横軸に像ずれ量Ｘを、縦軸に大ボケ評価値の閾値ＭＴｈをとったものであり、像ずれ量Ｘが大きいほど、大ボケ評価値の閾値ＭＴｈは小さくなるように設定され、像ずれ量Ｘが小さいほど、閾値ＭＴｈは大きくなるように設定される。この像ずれ量Ｘに応じた閾値ＭＴｈ（第３の基準値）に関する第１情報は、メインＣＰＵ１５１内部の不図示の記憶手段に記憶されている。ただし、該第１情報は、メインＣＰＵ１５１内部の記憶手段ではなく、メインＣＰＵ１５１の外部に設けられた記憶手段（例えば、フラッシュメモリ１５５）に格納されていてもよい。この第１情報は、図１１に示されるように、像ずれ量Ｘが大きくなるにつれ閾値ＭＴｈ小さくなるように設定されている。メインＣＰＵ１５１は、この第１情報と、算出された像ずれ量Ｘと、に基づいて、閾値ＭＴｈ（第３の基準値）を算出する。

ステップＳ１００５において、大ボケ評価値が閾値ＭＴｈより小さいか否かを判別する。大ボケ評価値が閾値ＭＴｈより小さい場合には、ステップＳ１００７において、シーンは大ボケであると判断する。すなわち、大ボケ評価値が閾値ＭＴｈ（第３の基準値）より小さい場合は、撮像光学系の焦点状態が大ボケ状態（第２の焦点状態）であると判定する。また、大ボケ評価値が閾値ＭＴｈより大きい場合には、ステップＳ１００８において、焦点検出ＮＧとする。

ステップＳ１００９において、大ボケシーン判定を終了して、本処理を呼び出したルーチンに戻る。

なお、ステップＳ１００８での焦点検出ＮＧは、図９のステップＳ９１２における焦点検出ＮＧと等価であり、ステップＳ１００８において、焦点検出ＮＧと判断される場合には、本処理を呼び出したルーチンに戻った際に、ステップＳ９１２に入るようにする。

このように、検出された像ずれ量Ｘのみではなく、像信号波形および相関量波形の特徴量を用いて大ボケを評価することにより、より正確にシーンが大ボケであるか否かを判定することが可能である。大ボケ評価値を算出する際に、像信号のレベルで正規化することで被写体のコントラストなどの影響を低減させた上で、大ボケか否かを判定することが可能である。検出された像ずれ量Ｘに対して、信号の急峻性を示す大ボケ評価値を評価することで、より正確にシーンが大ボケであるか否かを判定する。なお、ステップ１００８で焦点検出ＮＧとするのは、検出された像ずれ量Ｘが大きく、大ボケが想定されるものの、信号の急峻性があると見なされるためである。

（信頼性判定の説明）
続いて、図１２を参照して、本実施例における焦点検出装置による信頼性判定について説明する。図１２は、本実施例における焦点検出装置による二つの像信号の一致度Ｆに関する信頼性判定を示すフローチャートである。図１２の各ステップは、メインＣＰＵ１５１が制御プログラムを実行して各部を制御することにより実施され、図９中のステップＳ９０９に相当する。

まず、ステップＳ１２０１において、信頼性判定が開始される。ステップＳ１２０２において、二つの像信号の一致度Ｆに関する閾値ＦＴｈを初期値に設定する。この初期値は、例えば１０というような定数で良い。ステップＳ１２０３において、図１０で示すシーン判定の結果が大ボケ（第２の焦点状態）であったか否かを判別する。大ボケでなかった場合は、ステップＳ１２０５へ進む。大ボケであった場合はステップＳ１２０４へ進む。

ステップＳ１２０４において、シーン判定の際に算出した大ボケ評価値に基づいて、二つの像信号の一致度に関する閾値ＦＴｈを算出する。像一致度の閾値ＦＴｈは、図１３に示すように大ボケ評価値に基づいて求められる。図１３は、横軸に大ボケ評価値を、縦軸に像一致度の閾値ＦＴｈをとったものであり、大ボケ評価値が大きいほど、像一致度の閾値ＦＴｈは小さくなるように設定され、大ボケ評価値が小さいほど、像一致度の閾値ＦＴｈは大きくなるように設定される。また、像一致度の閾値ＦＴｈの設定には下限を設ける。換言すれば、撮像光学系の焦点状態が第１の焦点状態（大ボケでない焦点状態）であると判定された場合に、基準値（一致度に関する閾値ＦＴｈ）として第１の基準値（初期値）を設定する。そして、撮像光学系の焦点状態が第１の焦点状態よりも合焦状態から離れた第２の焦点状態（大ボケの焦点状態）であると判定された場合に、基準値（一致度に関する閾値ＦＴｈ）として第１の基準値（初期値）より大きい第２の基準値を設定する。この大ボケ評価値に応じた閾値ＦＴｈ（第１の基準値および第２の基準値）に関する第２情報は、メインＣＰＵ１５１内部の不図示の記憶手段に記憶されている。ただし、該第２情報は、メインＣＰＵ１５１内部の記憶手段ではなく、メインＣＰＵ１５１の外部に設けられた記憶手段に格納されていてもよい。この第２情報は、図１３に示されるように、大ボケ評価値が所定値より大きい場合に閾値ＦＴｈが一定の値（下限の値、第１の基準値）となるように設定されている。また、大ボケ評価値が所定値より小さい場合に閾値ＦＴｈが該一定の値より大きい値（第２の基準値）となるように設定されている。メインＣＰＵ１５１は、この第２情報と、算出された大ボケ評価値と、に基づいて、閾値ＦＴｈ（第１の基準値または第２の基準値）を算出する。

続いてステップＳ１２０５において、二つの像信号の一致度Ｆが、算出した像一致度の閾値ＦＴｈより小さいか否かを判別する。二つの像信号の一致度Ｆが、算出した像一致度の閾値ＦＴｈより小さい場合には、ステップＳ１２０６において、算出された像ずれ量Ｘは信頼できるもの（焦点検出ＯＫ）とする。一方、二つの像信号の一致度Ｆが、算出した像一致度の閾値ＦＴｈより大きい場合には、ステップＳ１２０７において、焦点検出ＮＧとする。換言すれば、一対の像信号の一致度Ｆが基準値（閾値ＦＴｈ）より小さい場合に像ずれ量Ｘの信頼性があると判定し、一致度Ｆが該基準値（閾値ＦＴｈ）より大きい場合に像ずれ量Ｘの信頼性がないと判定する。なお、ステップＳ１２０７での焦点検出ＮＧは、図９のステップＳ９１２における焦点検出ＮＧと等価である。

ステップＳ１２０８において、信頼性判定を終了して、本処理を呼び出したルーチンに戻る。

このように、大ボケと見なせる場合には、二つの像信号の一致度の閾値ＦＴｈを大きくすることにより、ボケに従って像信号が崩れる像面位相差焦点検出において、大ボケ時の焦点検出結果をＮＧとしてしまうことを低減することが可能である。また、この際に大ボケ評価値に基づいて、閾値ＦＴｈを設定することにより、ボケに応じた信頼性判定を行うことが可能である。

（焦点調節動作の説明）
次に、図１４を参照して、本発明における焦点調節装置の焦点制御動作（焦点調節動作）について説明する。

図１４は、本実施例における焦点調節装置の焦点制御動作を示すフローチャートである。図１４に示される各ステップは、メインＣＰＵ１５１およびフォーカス制御部１３３により実施され、図２中のステップＳ２０８に相当する。

本実施例の焦点制御動作が開始されると、メインＣＰＵ１５１は制御プログラムに従い所定の演算を行う。そして、フォーカス制御部１３３は、メインＣＰＵ１５１の指令に基づいて、フォーカスモータ１３２の制御を行う。

まず、ステップＳ１４０１にて焦点制御が開始されると、ステップＳ１４０２において、フォーカス制御部１３３は、図９に示される焦点検出動作で算出されたデフォーカス量を取得する。

そして、ステップＳ１４０３において、フォーカス制御部１３３は、デフォーカス量に基づいてフォーカスレンズ１３１の駆動量（レンズ駆動量）を算出する。また、このレンズ駆動量の算出には、レンズ駆動方向と速度の算出も含まれる。

続いて、ステップＳ１４０４において、メインＣＰＵ１５１（フォーカス制御部１３３）は、デフォーカス量の絶対値が所定値以下であるか否かを判定する。ステップＳ１４０４にてデフォーカス量の絶対値が所定値以下ではない場合、ステップＳ１４０５に進む。

ステップＳ１４０５において、フォーカスレンズ１３１の位置は合焦位置（合焦点）でないと見なされるため、ステップＳ１４０３にて算出されたレンズ駆動量に従って、フォーカスレンズ１３１を駆動し、ステップＳ１４０７に進む。以後、図２に示されるフローに従って、焦点検出とフォーカスレンズ駆動を繰り返す。

一方、ステップＳ１４０４にてデフォーカス量の絶対値が所定値以下である場合、ステップＳ１４０６に進む。このとき、フォーカスレンズ位置は合焦点にあると見なされるため、ステップＳ１４０６にてレンズ駆動を停止し、ステップＳ１４０７に進む。以後、図２に示されるフローに従って焦点検出を行い、デフォーカス量が再び所定値を超えた場合にはフォーカスレンズ１３１を駆動する。

撮像装置１００の動作は、図２のフローに示される通り、電源をＯＦＦにされるまで、図９、図１４のフローを繰り返すことで、被写体に合焦するまで複数回の焦点検出を行う。

なお、本実施例中の説明に用いた数値は一例であり、図１０中のステップＳ１００２における所定値、また、像ずれ量Ｘに対する大ボケ評価値の閾値ＭＴｈを撮像装置１００や撮影レンズ１０１毎に設定する構成でも良い。

また、図１２中のステップＳ１２０２における初期値、また、大ボケ評価値に対する像一致度の閾値ＦＴｈを撮像装置１００や撮影レンズ１０１毎に設定する構成でも良い。

以上のように、本実施例は、検出された像ずれ量Ｘのみではなく、像信号波形および相関量波形の特徴量を用いて大ボケを評価することにより、より正確にシーンが大ボケであるか否かを判定することが可能である。また、大ボケと見なせる場合には、ボケに応じた二つの像信号の一致度に関する信頼性判定を行うことにより、ボケに従って像信号が崩れる像面位相差焦点検出において、大ボケ時の焦点検出結果をＮＧとしてしまうことを低減することが可能である。

このように、本発明によれば、シーンが大ボケであるか否かを判定し、大ボケである場合には、被写体像信号の崩れを考慮した信頼性判定を行うことで、大ボケの焦点検出結果を焦点調節に利用可能とすることができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するための手順が記述されたコンピュータプログラム自体も本発明に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。

また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

本発明は、コンパクトデジタルカメラ、一眼レフカメラ、ビデオカメラなどの撮像装置に好適に利用できる。

１３５ 位相差ＡＦ処理部
１５１ ＣＰＵ

Claims (15)

1. 撮像光学系の焦点状態に応じて変化する一対の像信号を取得する取得手段と、
   前記一対の像信号に基づいて、前記焦点状態を判定する第１の判定手段と、
   前記一対の像信号の一致度と、基準値と、を比較することにより、前記一対の像信号の像ずれ量の信頼性を判定する第２の判定手段と、
   を有し、
   前記第２の判定手段は、
   前記一致度が前記基準値より小さい場合に前記像ずれ量の信頼性があると判定し、前記一致度が前記基準値より大きい場合に前記像ずれ量の信頼性がないと判定し、
   前記第１の判定手段により前記焦点状態が第１の焦点状態であると判定された場合に、前記基準値として第１の基準値を設定し、
   前記第１の判定手段により前記焦点状態が前記第１の焦点状態よりも合焦状態から離れた第２の焦点状態であると判定された場合に、前記基準値として前記第１の基準値より大きい第２の基準値を設定する、
   ことを特徴とする焦点検出装置。
2. 前記一対の像信号に対して相関演算を行い、前記一対の像信号の一致度と、前記一対の像信号の像ずれ量と、を算出する算出手段を有し、
   前記第１の判定手段は、前記相関演算により算出される相関量の相関量波形の特徴量と、前記一対の像信号の像信号波形の特徴量と、に基づいて評価値を算出し、該評価値に基づいて、前記第２の焦点状態であるか否かを判定することを特徴とする請求項１に記載の焦点検出装置。
3. 前記第１の判定手段は、前記相関量の差分である相関変位量が前記相関量の極小値となるシフト位置において変化する変化量を、前記像信号波形の最大値と最小値の差分値で除することにより、前記評価値を算出することを特徴とする請求項２に記載の焦点検出装置。
4. 前記評価値は、前記焦点状態が前記合焦状態から離れるほど小さい値となることを特徴とする請求項２または３に記載の焦点検出装置。
5. 前記第１の判定手段は、前記評価値が第３の基準値より小さい場合に、前記第２の焦点状態であると判定することを特徴とする請求項２ないし４のいずれか１項に記載の焦点検出装置。
6. 前記像ずれ量に応じた前記第３の基準値に関する第１情報を記憶する記憶手段を有し、
   前記第１の判定手段は、前記第１情報および前記像ずれ量に基づいて、前記第３の基準値を算出することを特徴とする請求項５に記載の焦点検出装置。
7. 前記第１情報は、前記像ずれ量が大きくなるにつれ前記第３の基準値が小さくなるように設定されていることを特徴とする請求項６に記載の焦点検出装置。
8. 前記評価値に応じた前記第１の基準値および前記第２の基準値に関する第２情報を記憶する記憶手段を有し、
   前記第２の判定手段は、前記第２情報および前記評価値に基づいて、前記第１の基準値および前記第２の基準値を算出することを特徴とする請求項２ないし７のいずれか１項に記載の焦点検出装置。
9. 前記第２情報は、前記評価値が所定値より大きい場合に前記第１の基準値が一定の値となるように設定され、前記評価値が前記所定値より小さい場合に前記第２の基準値が前記一定の値より大きい値となるように設定されていることを特徴とする請求項８に記載の焦点検出装置。
10. 前記第１の判定手段は、前記像ずれ量が所定値より小さい場合に、前記第１の焦点状態であると判定することを特徴とする請求項１ないし９のいずれか１項に記載の焦点検出装置。
11. 撮像素子と、
    請求項１ないし１０のいずれか１項に記載の焦点検出装置と、を備えた撮像装置。
12. 前記撮像素子は、１つのマイクロレンズに対して第１の光電変換部および第２の光電変換部を備えており、前記第１の光電変換部および前記第２の光電変換部から前記撮像光学系の焦点状態に応じた一対の像信号を出力することを特徴とする請求項１１に記載の撮像装置。
13. 撮像光学系の焦点状態に応じて変化する一対の像信号を取得する取得ステップと、
    前記一対の像信号に基づいて、前記焦点状態を判定する第１の判定ステップと、
    前記一対の像信号の一致度と、基準値と、を比較することにより、前記一対の像信号の像ずれ量の信頼性を判定する第２の判定ステップと、
    を有し、
    前記第２の判定ステップは、
    前記一致度が前記基準値より小さい場合に前記像ずれ量の信頼性があると判定し、前記一致度が前記基準値より大きい場合に前記像ずれ量の信頼性がないと判定し、
    前記第１の判定ステップにより前記焦点状態が第１の焦点状態であると判定された場合に、前記基準値として第１の基準値を設定し、
    前記第１の判定ステップにより前記焦点状態が前記第１の焦点状態よりも合焦状態から離れた第２の焦点状態であると判定された場合に、前記基準値として前記第１の基準値より大きい第２の基準値を設定する、
    を有することを特徴とする焦点検出方法。
14. 請求項１３に記載の焦点検出方法の各ステップが記述されたコンピュータで実行可能なプログラム。
15. コンピュータに、請求項１３に記載の焦点検出方法の各ステップを実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。