JP2019168661A - 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体 - Google Patents

Abstract

【課題】高精度かつ高速な焦点検出を行うことが可能な制御装置を提供する。【解決手段】制御装置（１０）は、撮像光学系（１００）を介して形成された光学像を光電変換する撮像素子（１０２）から出力される像信号に基づいて位相差方式の焦点検出を行う焦点検出手段（１０３）と、撮像光学系（１００）と撮像素子（１０２）との間の相対位置を変更する駆動手段（１１０、１１１）と、撮像光学系（１００）と撮像素子（１０２）との間の相対位置を第１の位置と第２の位置に変更して焦点検出を行うように焦点検出手段（１０３）および駆動手段（１１０、１１１）を制御する制御手段（１０９）とを有する。【選択図】図１０

Description

本発明は、焦点検出を行う撮像装置に関する。

特許文献１には、各画素に対してマイクロレンズが設けられた２次元イメージセンサ（撮像素子）を用いて、いわゆる瞳分割方式で分割された画素の位相差に基づいて焦点検出を行う焦点検出装置が開示されている。特許文献１に開示された焦点検出装置では、各画素の光電変換部が複数に分割され、分割された光電変換部がマイクロレンズを介して結像光学系の瞳における互いに異なる領域を通過した光束を受光することにより、フォーカス状態を検出することができる。特許文献２には、位相差ＡＦに加えて、画像データのコントラストを評価して焦点検出を行うコントラストＡＦを用いて焦点検出を行う撮像装置が開示されている。

特開昭５８−２４１０５号公報 特開２０１６−７１２７５号公報

しかしながら、特許文献１に開示された焦点検出装置では、位相差ＡＦ用の信号が画像全体から間引かれた領域に対応する信号であるため、位相差ＡＦにおいて有益な情報、例えばコントラストの高いエッジ領域が間引かれた領域に存在する場合がある。このような場合、位相差ＡＦによる高精度な焦点検出を行うことができない可能性がある。

特許文献２に開示された撮像装置では、位相差ＡＦとコントラストＡＦとを併用して焦点検出を行うが、コントラストＡＦは合焦に要する時間が長く、高速な焦点検出を行うことができない可能性がある。

そこで本発明では、高精度かつ高速な焦点検出を行うことが可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することを目的とする。

本発明の一側面としての制御装置は、撮像光学系を介して形成された光学像を光電変換する撮像素子から出力される像信号に基づいて位相差方式の焦点検出を行う焦点検出手段と、前記撮像光学系と前記撮像素子との間の相対位置を変更する駆動手段と、前記撮像光学系と前記撮像素子との間の前記相対位置を第１の位置と第２の位置に変更して前記焦点検出を行うように前記焦点検出手段および前記駆動手段を制御する制御手段とを有する。

本発明の他の側面としての撮像装置は、撮像光学系を介して形成された光学像を光電変換する撮像素子と前記制御装置とを有する。

本発明の他の側面としての制御方法は、撮像光学系と撮像素子との間の前記相対位置を変更するステップと、前記相対位置の変更後に、前記撮像光学系を介して形成された光学像を光電変換する前記撮像素子から出力される像信号に基づいて位相差方式の焦点検出を行うステップとを有する。

本発明の他の側面としてのプログラムは、前記制御方法をコンピュータに実行させる。

本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施形態において説明される。

本発明によれば、高精度かつ高速な焦点検出を行うことが可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することができる。

各実施形態における撮像装置のブロック図である。 各実施形態における撮像センサの画素構成図である。 各実施形態における撮像センサのセンサ面と射出光の結像範囲との位置関係を示す図である。 各実施形態におけるＡＦ枠と被写体と位相差検出ラインとの関係を示す図である。 各実施形態における位相差検出ラインとコントラスト評価ラインとを示す図である。 各実施形態における動作モードＡの説明図である。 各実施形態における動作モードＢの説明図である。 第２の実施形態におけるタイミング判定処理のフローチャートである。 各実施形態におけるＡＦ制御のフローチャートである。 第１の実施形態における焦点検出処理のフローチャートである。 各実施形態におけるシフトレンズ駆動量の決定処理のフローチャートである。 第２の実施形態における焦点検出処理のフローチャートである。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

＜第１の実施形態＞
まず、図１を参照して、本発明の第１の実施形態における撮像装置の構成について説明する。図１は、撮像装置１０のブロック図である。レンズユニット（撮像光学系）１００は、フォーカスレンズ、ズームレンズ、絞り、および、光学防振用（手振れ補正用）のシフトレンズなどを有する。撮像センサ（撮像素子）１０１は、ＣＭＯＳセンサやＣＣＤセンサであり、レンズユニット１００を介して形成された被写体の像（光学像）を光電変換して撮像信号（画像データ）を出力する。本実施形態において、撮像センサ１０１は、レンズユニット１００の瞳（射出瞳）を通過した光束を左右２像に分割した撮像信号を出力する。なお本実施形態において、レンズユニット１００は撮像装置１０と一体的に構成されているが、これに限定されるものではない。レンズユニット１００は、撮像センサ１０１を備えた撮像装置本体に着脱可能に構成されていてもよい。

分割像生成回路１０２は、撮像センサ１０１から出力信号に基づいて、分割された２像（分割像）を生成する。位相差検出用アクセラレータ回路１０３は、分割像生成回路１０２により生成された２像（分割像）のそれぞれに対して、光学的なひずみを補正する処理や２像の位相差を検出するための相関演算（焦点検出）を行う。すなわち位相差検出用アクセラレータ回路１０３は、レンズユニット１００を介して形成された光学像を光電変換する撮像センサ１０１から出力される像信号に基づいて位相差方式の焦点検出を行う焦点検出手段を構成する。位相差検出用アクセラレータ回路１０３からの出力信号は、メモリ１０８に書き出される。

撮像信号処理回路１０４は、撮像センサ１０１から出力された２像（撮像信号）を合成して映像信号を生成し、生成した映像信号に対して複数の光学的補正処理や電気的ノイズ処理等を行う。画像メモリ１０７は、撮像信号処理回路１０４により生成された撮像信号を一時的に保持する。画像処理回路１０５は、撮像信号を所定の映像データフォーマットに変換する。記録回路１０６は、画像を記録媒体（不図示）に記録する。

コントラスト評価回路（コントラスト評価手段）１１２は、画像メモリ１０７に一時的に保持された撮像信号に対して、複数の所定領域のコントラスト状態を評価する。揺れ検出センサ１１３は、撮像装置１０の揺れ情報（振れ情報）を検出する。センサ駆動回路（駆動手段）１１１は、防振処理や高解像度処理を行うために、撮像センサ１０１の位置（撮像センサ１０１とレンズユニット１００との間の相対位置）を変更する。ＣＰＵ１０９は、撮像装置１０における各種回路の制御、フォーカス制御、および、レンズ駆動制御等を司る。メモリ１０８は、ＣＰＵ１０９が扱うプログラムやデータを保持する。レンズ駆動回路（駆動手段）１１０は、レンズユニット１００のフォーカスレンズ、ズームレンズ、絞り、および、シフトレンズなどを駆動する。なお、本実施形態で後述する信号処理（焦点検出処理）は、主に、ＣＰＵ１０９および位相差検出用アクセラレータ回路１０３により実行される。本実施形態の制御装置は、少なくともＣＰＵ１０９および位相差検出用アクセラレータ回路１０３を備えて構成される。

次に、図２を参照して、撮像センサ１０１の画素構成について説明する。図２は、撮像センサ１０１の画素構成図である。図２では、撮像センサ１０１の全体２００、および、撮像センサ１０１の一部を切り出し拡大したブロックとして、２つのブロック（領域）２０１、２１０を示している。撮像センサ１０１の全体２００のうち濃いグレーで示される領域は、像面位相差検出用画素と画像生成用画素とを兼用するライン（位相差検出ライン）２３１であり、その一部の領域はブロック２０１に相当する。また、撮像センサ１０１の全体２００のうち薄いグレーで示される領域は、像面位相差検出を行わず画像生成のためにのみ用いられるライン２３２であり、その一部の領域はブロック２１０に相当する。

撮像センサ１０１はベイヤー配列型の撮像素子であり、位相差検出ライン上の各画素は、ＲＧＢの各画素に関し、１つのマイクロレンズを共有するように２分割された光電変換素子が形成された構成を有する。例えば、Ｒ画素を２分割してそれぞれＡ像画素（第１画素）２０２、Ｂ像画素（第２画素）２０３として構成されている。以降、Ａ像画素２０２およびＢ像画素２０３から出力される像（像信号）をそれぞれＡ像（Ａ像信号）およびＢ像（Ｂ像信号）という。同様に、Ｇ画素（Ｇ１画素、Ｇ２画素）およびＢ画素もそれぞれ２つに分割されており、Ａ像画素２０４、２０６、２０８、および、Ｂ像画素２０５、２０７、２０９が構成されている。

このような構成の撮像センサ１０１を用いた撮像装置１０では、Ａ像画素２０２から出力されたＡ像とＢ像画素２０３から出力されたＢ像とを合成（加算）すると、従来通りのＲの撮像用信号となり記録や画像処理の対象信号となる。また、Ａ像画素２０２とＢ像画素２０３とを２像として別々に扱うことにより、左右の分割された像（２つの分割像）となり、焦点検出（位相差検出）のための元信号となる。一方、画像生成にのみ用いられるブロックでは、ＲＧＢの各画素が１つのマイクロレンズに対して１つの光電変換素子を備えた構成であり、Ｒ画素２１１、Ｇ１画素２１２、Ｇ２画素２１３、および、Ｂ画素２１４を有する。

図３は、撮像センサ１０１のセンサ面３０２とレンズユニット１００からの射出光により形成された像の結像範囲３０１との位置関係（投影状態）を示す図である。結像範囲３０１とセンサ面３０２との相対位置関係は、レンズ駆動回路１１０がレンズユニット１００内のシフトレンズをｘ方向またはｙ方向（すなわち、光軸に直交する方向（光軸直交方向））に駆動（移動）することにより変更可能である。また相対位置関係は、センサ駆動回路１１１が撮像センサ１０１をｘ方向またはｙ方向（光軸直交方向）に駆動（移動）することによっても変更可能である。すなわち、レンズ駆動回路１１０またはセンサ駆動回路１１１は、結像範囲３０１とセンサ面３０２との相対位置関係を光軸直交方向に所定量（指定量）だけ変化させることができる。

図４は、ＡＦ枠と被写体と位相差検出ラインとの関係を示す図である。枠４００は、撮像装置１０で撮影可能な画角全体を示している。本シーンでは、人物の顔（被写体）４１０、ＡＦ枠４０１、および、太い実線の複数の位相差検出ライン４０２が示されている。複数の位相差検出ライン４０２は、間隔Ｗｄで垂直方向に間引かれて配置されている。本実施形態の撮像装置１０では、ＡＦ枠４０１内において、所定の分離区分に従って評価を行う。

図５は、位相差検出ラインとコントラスト評価ラインとを示す図である。図５では、図４に示されるＡＦ枠４０１および位相差検出ライン４０２に加えて、位相差検出ライン間の領域を位相差検出ラインと同等の幅で３等分し、上から領域（ライン）４０３〜４０５に３つに分割した様子を示している。すなわち、図５中の範囲５１０において、位相差検出ライン４０２、領域４０３〜４０５の４つの領域が存在し、範囲５１０と同様の構成を有する領域がＡＦ枠４０１内に５つ（範囲５１０〜５５０）含まれている。コントラスト評価回路１１２は、これらの各ラインの分割されていない状態の画像情報に基づいて、コントラスト評価を行う。

詳細には、範囲５１０〜５５０のそれぞれにおける位相差検出ライン４０２で得られたコントラスト評価（所定のフィルタ後のピーク値や隣接差分のライン方向積分値など）を積分して１つの評価値を生成する。同様に、範囲５１０〜５５０のそれぞれにおける領域４０３で得られたコントラスト評価値を積分して１つの評価値を生成する。また、範囲５１０〜５５０のそれぞれにおける領域４０４で得られたコントラスト評価値を積分して１つの評価値を生成する。また、範囲５１０〜５５０のそれぞれにおける領域４０５で得られたコントラスト評価値を積分して１つの評価値を生成する。したがって、ＡＦ枠４０１内において４つのコントラスト評価値が生成される。

次に、本実施形態の撮像装置１０の動作について説明する。撮像装置１０が起動して、所定の初期化処理でレンズや各回路などの初期化が行われると、撮像センサ１０１から撮像信号が取り込まれる。映像の記録や表示に展開するための信号（撮像信号）が撮像信号処理回路１０４へ入力されると、位相差検出用画素は、最初にＡ像とＢ像とを加算し（加算信号を生成し）、従来通り通常の１画素として扱われ（兼用ではない通常画素は加算を行わない）。そして撮像信号処理回路１０４は、加算信号に対して光学補正や電気的な補正処理を行い、一旦、画像メモリ１０７に記憶させる。例えば、撮像画として記録される場合、加算信号は、画像処理回路１０５および画像メモリ１０７を介して、所定のフォーマット（ＭＰＥＧ２やＭＰ４、ＪＰＧなどの動画／静止画像形式）に変換され、記録回路１０６によって記録媒体に記録される。

また、指定のＡＦ枠および指定領域について、画像メモリ１０７から読み込んだ画像情報をコントラスト評価回路１１２に入力し、コントラスト評価を行った後、コントラスト評価結果はメモリ１０８に記録される。一方、位相差検出用画素からの出力信号は、焦点検出（位相差検出）のため、撮像センサ１０１から分割像生成回路１０２へ入力され、所定の設定に基づいて圧縮処理および補正処理が行われてＡ像およびＢ像が生成される。ここでは、Ａ像およびＢ像のそれぞれで水平２画素加算および垂直２画素加算を行い、ＲＧ（Ｇ１、Ｇ２）Ｂの加算結果データとして位相差検出用アクセラレータ回路１０３に送られる。位相差検出用アクセラレータ回路１０３は、位相差検出のための相関演算を行い、その演算結果が一旦、メモリ１０８に出力される。ＣＰＵ１０９は、その演算結果に対して最終処理を行い、フォーカスレンズのデフォーカス量を検出する。

次に、図９を参照して、撮像装置１０によるＡＦ制御について説明する。図９は、ＡＦ制御のフローチャートである。図９の各ステップは、主にＣＰＵ１０９により実行される。

まずステップＳ９０１において、ＣＰＵ１０９は、撮影ボタンの半押しなどによりＡＦ動作開始の指示（ＡＦトリガー）を受けた場合、ステップＳ９０２に進む。ステップＳ９０２において、ＣＰＵ１０９は、中央一点などユーザにより指定された位置に所定の枠サイズのＡＦ枠を設定する。続いてステップ９０３において、ＣＰＵ１０９は、ステップＳ９０２にて設定されたＡＦ枠（指定枠）に関する焦点検出処理（測距処理）を行う。なお、焦点検出処理の詳細については後述する。

続いてステップＳ９０４において、ＣＰＵ１０９は、指定枠に関する焦点検出データ（焦点検出処理により得られたデフォーカス量）に基づいて、フォーカスレンズ駆動量を算出する。ＣＰＵ１０９は、例えば得られたデフォーカス量に基づいて合焦近傍であると判定した場合、そのデフォーカス量そのものを合焦位置まで移動させる量のレンズ駆動量を決定し、次のレンズ駆動で合焦させる。一方、ＣＰＵ１０９は、例えばボケたような領域となる２ｍｍ程度以上のデフォーカス量である場合、焦点検出精度がやや低下するため１ｍｍ程度の駆動量に設定するなどの判定および算出を行い、レンズ駆動量を決定する。続いてステップＳ９０５において、ＣＰＵ１０９は、ステップＳ９０４にて決定されたレンズ駆動量に基づいて、レンズ駆動回路１１０を用いてレンズ駆動を行う。

続いてステップＳ９０６において、ＣＰＵ１０９は、ステップＳ９０５によるレンズ駆動で合焦状態であると判定した場合、ステップＳ９０７に進み、ＡＦ制御を終了する。一方、ＣＰＵ１０９は、ステップＳ９０５によるレンズ駆動で合焦状態でない（非合焦状態である）と判定した場合、ステップＳ９０３に戻り、ステップＳ９０３〜Ｓ９０６を繰り返す。

次に、図１０および図１１を参照して、指定枠に関する焦点検出処理（図９のステップＳ９０３）について説明する。図１０は、焦点検出処理のフローチャートである。図１１は、シフトレンズの駆動量の決定処理（図１０のステップＳ１００１）のフローチャートである。図１０および図１１の各ステップは、主にＣＰＵ１０９により実行される。

まず図１０のステップ１００１において、ＣＰＵ１０９は、レンズユニット１００のシフトレンズの駆動量を決定する。図１１を参照して、シフトレンズ駆動量の決定処理に関して詳述する。まずステップＳ１１０１において、ＣＰＵ１０９は、動作モードを判定し、動作モードに応じて処理を切り替える。

動作モードＡ（第１のモード）は、固定量を往復動作するモードであり、撮像装置１０が物理的に固定されており、フォーカス検出枠を多点などで被写体をサーチする動作の際に用いられる。動作モードＢ（第２のモード）は、フレームレートに応じてシフトレンズの駆動量を変更するモードであり、主に撮像装置１０のフレームレートが速い場合に用いられる。動作モードＣ（第３のモード）は、記録する画質を重視してフォーカスがボケている際に用いられるモードであり、位相差焦点検出結果や画像によるコントラスト評価結果に基づいて駆動量を切り替える。本実施形態では、３つの動作モードＡ、Ｂ、Ｃに応じて以下のように異なる焦点検出処理を行う。ただし本実施形態は、これらの動作モードに限定されるものではなく、他の動作モードを有するものであってもよい。なお、動作モードの選択は、不図示の操作部に対するユーザ操作に応じてＣＰＵ１０９が選択してもよいし、ＣＰＵ１０９が撮像信号に基づいてシーン判別して判別結果に適した動作モードを選択してもよい。

動作モードＡの場合、ステップＳ１１０２に進み、ＣＰＵ１０９はシフトレンズ駆動量として固定値Ｌ１を選択する。なお、固定値Ｌ１は任意に設定可能であり、例えば、位相差検出ライン間の間隔の半分の値が用いられる。続いてステップＳ１１０３において、ＣＰＵ１０９は、焦点検出に用いられる画像フレームが偶数フレームか否かを判定する。画像フレームが奇数フレームの場合、シフトレンズ駆動量を固定値Ｌ１のまま維持して本フローは終了する。一方、画像フレームが偶数フレームの場合、シフトレンズ駆動量を固定値Ｌ１の符号を反転した駆動量（Ｌ１×（−１））として、本フローは終了する。これにより、シフトレンズは、フレーム単位で固定値Ｌ１の幅の往復動作を行う。すなわち、撮像光学系と撮像素子との間の相対位置が第１の位置と第２の位置に変更される。以下、図６を参照して、固定値Ｌ１の幅の往復動作（動作モードＡ）について説明する。

図６は動作モードＡの説明図であり、図６（ａ）は偶数フレーム、図６（ｂ）は奇数フレームのそれぞれの状態を示している。図６（ａ）、（ｂ）において、６０１はレンズユニット１００からの射出光の像面、６０２は撮像センサ１０１のセンサ面、６０３は位相差検出ラインである。図６（ａ）、（ｂ）に示されるように、奇数フレームと偶数フレームとでは、位相差検出ライン６０３の間隔Ｗｄの半分（＝Ｗｄ／２）だけＹ方向（図６中の上下方向）に互いにずれた状態となる（すなわち、固定値Ｌ１はＷｄ／２に等しい）。

一方、図１１のステップＳ１１０１にて動作モードＢが選択されている場合、ステップＳ１１０５に進み、ＣＰＵ１０９はフレームレートを取得する。続いてステップＳ１１０６において、ＣＰＵ１０９は、フレームあたりの駆動量（シフトレンズ駆動量）を算出する。本実施形態において、ＣＰＵ１０９は、３０フレーム／秒でシフトレンズの位置（シフト位置）を往復動作させるための演算を行う。例えば１２０フレーム／秒 の読み出し・記録レートの際には、（１２０／３０＝）４往復動作で戻るため、２ステップ、すなわち位相差ライン間を３分割する量と算出される。フレームレートをＦｒａｍｅＲａｔｅとし、位相差検出ラインの間隔Ｗｄとすると、駆動量ｈｓ（シフトレンズ駆動量）は、以下の式（１）のように表される。

ｈｓ＝Ｗｄ／（（ＦｒａｍｅＲａｔｅ／３０）／２＋１） … （１）
ただし、式（１）において、ＦｒａｍｅＲａｔｅ／３０が奇数の場合、偶数に丸めるため、１を減算する。続いてステップＳ１１０７において、ＣＰＵ１０９は、現在フレームでの駆動方向を算出し、本フローを終了する。

図７は、動作モードＢの説明図であり、動作モードＢにおける１２０フレーム／秒の際の様子を示している。図７（ａ）は（４Ｎ）フレーム目、図７（ｂ）は（４Ｎ＋１）フレーム目、図７（ｃ）は（４Ｎ＋２）フレーム目、図７（ｄ）は（４Ｎ＋３）フレーム目をそれぞれ示している。図７（ａ）〜（ｄ）において、７０１はレンズユニット１００からの射出光の像面、７０２は撮像センサ１０１のセンサ面、７０３は位相差検出ラインである。前述の演算により、一回の移動量はＷｄ／３、ＦｒａｍｅＲａｔｅ／３０＝４となり、４回の動作で一往復する動作となる。この４回の動作における異なる４つの相対位置のうち２つが第１の位置と第２の位置に相当する。このため図７（ａ）〜（ｄ）に示されるように、フレームカウンタを４で割った余りの値により駆動方向が変わる。

一方、図１１のステップＳ１１０１にて動作モードＣが選択されている場合、ステップＳ１１０８に進む。ステップＳ１１０８において、ＣＰＵ１０９は、位相差検出ラインのコントラスト（コントラスト評価結果）がコントラストｔｈ１（所定のコントラスト）以上であるか否かを判定する。位相差検出ラインのコントラストがコントラストｔｈ１以上である場合、ステップＳ１１１１に進む。ステップＳ１１１１において、ＣＰＵ１０９は、シフトレンズを駆動しないように（駆動量を０とするように）制御する。

一方、ステップＳ１１０８にて位相差検出ラインのコントラストがコントラストｔｈ１よりも低い場合、ステップＳ１１０９に進む。ステップＳ１１０９において、ＣＰＵ１０９は、位相差検出ライン以外の３つの領域（ライン）のコントラスト評価値のうち、コントラストｔｈ２以上で最大になるラインを抽出する。すなわちＣＰＵ１０９は、最も高いコントラストがコントラストｔｈ２以上であるラインが存在するか否かを判定する。

ステップＳ１１０９にてコントラストｔｈ２以上のラインが存在しない場合、いずれのラインでもコントラストが低いため、ステップＳ１１１１に進み、ＣＰＵ１０９は駆動量をゼロに設定する。一方、ステップＳ１１０９にてコントラストｔｈ２以上のラインが存在する場合、ステップＳ１１１０に進む。ステップＳ１１１０において、ＣＰＵ１０９は、現状からそのライン（コントラストｔｈ２以上のライン）までの駆動量を設定し、本フローを終了する。

前述の処理により図１０のステップＳ１００１のシフトレンズ駆動量が各動作モードに応じて決定されると、ステップＳ１００２に進む。ステップＳ１００２において、ＣＰＵ１０９は、レンズ駆動回路１１０を用いて、決定した駆動量に基づいてシフトレンズを駆動する（駆動量がゼロの場合にはシフトレンズを駆動しない）。続いてステップＳ１００３において、ＣＰＵ１０９は、撮像センサ１０１とレンズユニット１００（被写体像）との相対関係（相対位置）を変更した状態で（相対位置の変更後に）、撮像センサ１０１の蓄積および読み出し処理を行う。

続いてステップＳ１００４において、ＣＰＵ１０９は、分割像生成回路１０２を用いてＡ像およびＢ像を生成する。続いてステップＳ１００５において、ＣＰＵ１０９は、位相差検出用アクセラレータ回路１０３を用いて、Ａ像およびＢ像のバンドバスフィルタ処理を行う。続いてステップＳ１００６において、ＣＰＵ１０９は、位相差検出用アクセラレータ回路１０３を用いて、Ａ像とＢ像の相関演算を行う。続いてステップＳ１００７において、ＣＰＵ１０９は、相関演算過程の情報や、算出されたＡ像およびＢ像のコントラストに基づいて、焦点検出結果が正しいか否かに関する信頼性評価を行う。続いてステップＳ１００８において、ＣＰＵ１０９は、最終的な焦点検出結果を取得して焦点検出処理を終了する。

このようにＣＰＵ１０９は、シフトレンズと撮像センサ１０１との間の光軸直交方向における相対関係（相対位置）を第１の位置と第２の位置に変更するようにシフトレンズを駆動する。このため、例えば図４に示される被写体４１０の目のようなコントラストの高い位置と位相差検出ライン４０２との間にずれが生じて位相差検出ライン４０２での焦点検出が不能なフレームがある場合でも、次のフレームなどで焦点検出が可能となる。また、動作モードＣのように常にコントラストが高いラインに向けてシフトレンズを駆動する場合、位相差方式による連続的な焦点検出が可能となり、安定的な合焦動作を行うことができる。

なお本実施形態では、シフトレンズを光軸直交方向に駆動するように説明しているが、これに限定されるものではなく、撮像センサ１０１を光軸直交方向に駆動してレンズユニット１００からの光の結像位置と撮像センサ１０１との間の相対位置を変更してもよい。

また本実施形態において、焦点距離を変更するズーム動作（光軸方向にレンズユニット１００のズームレンズを駆動すること）により被写体位置と位相差検出ラインとの位置関係を変更することも可能である。この場合、レンズユニット（光学系）１００と撮像センサ１０１との間の光軸方向の相対位置が変化する。このため、画像への影響を回避するように、画像の記録タイミングとは異なるタイミング（画像を記録しないタイミング）で相対位置を変更することが好ましく、特に、ワンショットＡＦ時や画像を記録しないライブビュー時などが好ましい。また本実施形態において、画像フレームごと（フレームレートごと）などの所定の期間ごとに相対位置を変更することが好ましい。

また本実施形態において、撮像センサ１０１には、所定の間隔（間引き間隔）で複数の位相差検出用ラインが設けられているが、これに限定されるものではない。本実施形態は、例えば、撮像センサの全面において位相差検出用画素が設けられており（全面で２像分割が可能であり）、高フレームレート化のためや画像処理能力などの要因により間引き読み出しする構成の場合にも適用可能である。また本実施形態では、垂直方向に間引かれた位相差検出ラインが設けられているが、これに限定されるものではなく、水平方向に間引かれた位相差検出ラインであってもよい。また、位相差検出のためにシフトレンズなどを駆動した場合に記録画像や表示用の画像のずれを回避するため、撮像センサの出力の有効な全画像から切り出す記録画像は、ずれ量だけ位置を変更して切り出すことで補正する（電子防振を行う）ことが可能である。本実施形態によれば、繰り返し被写体に対して高精度に焦点検出を行うことができる。

＜第２の実施形態＞
次に、図１２を参照して、本発明の第２の実施形態について説明する。図１２は、焦点検出処理（図９のステップＳ９０３）のフローチャートである。図１２の各ステップは、主にＣＰＵ１０９により実行される。なお、図１２のステップＳ１２０３〜Ｓ１２１０は図１０のステップＳ１００１〜Ｓ１２０８とそれぞれ同様であるため、それらの説明を省略する。

まず、ステップＳ１２０１において、ＣＰＵ１０９は、シフトレンズの駆動タイミングであるか否かを判定する。ここで、図８を参照して、シフトレンズの駆動タイミングの判定処理（タイミング判定処理）について説明する。図８は、タイミング判定処理のフローチャートである。図８の各ステップは、主に、ＣＰＵ１０９により実行される。

まずステップＳ８０１において、ＣＰＵ１０９は、撮像された最新状態の画像情報（撮像信号）に基づいて動きベクトル（動きベクトル情報）を検出する。続いてステップＳ８０２において、ＣＰＵ１０９は、揺れ検出センサ１１３の出力信号を分析して、撮像装置１０の変動量（振れ情報）を検出する。続いてステップＳ８０３において、ＣＰＵ１０９は、ステップＳ８０１にて検出された動きベクトルとステップＳ８０２にて検出された撮像装置１０の変動量とに基づいて、シフトレンズを駆動しない継続期間を算出する。この継続期間は、被写体の移動や撮像装置１０の動き（各動き量）に従って位相差検出ラインに入る被写体領域が変化することを見込むことによる期間である。すなわち、例えば被写体や撮像装置１０が大きく変動している場合（各動き量が大きい場合）、シフトレンズや撮像センサ１０１を積極的に駆動しなくても被写体位置が位相差検出ラインへのかかり方が変化する。このため、継続期間を設定することにより、記録画像への影響を低減することができる。

本実施形態において、各動き量を撮影画像のライン数に換算し、所定量以上の動き量がある場合には長い継続期間（シフトレンズを駆動しない期間）を設定する。一方、動き量が小さい場合、短い継続期間を設定する。例えば、動き量が位相差検出ラインの間隔Ｗｄ以上である場合、はシフトレンズを駆動しない継続期間を維持する。一方、動き量が間隔Ｗｄの半分以下である場合、３フレームなどの所定のフレーム分だけ継続期間を維持する。また、動き量が微小の場合、継続期間を設定せず積極的にシフトレンズを駆動する。

図１２のステップＳ１２０１にシフトレンズの駆動タイミングである場合（継続期間がない場合）、ステップＳ１２０３に進み、ＣＰＵ１０９は第１の実施形態と同等の処理を行う。一方、シフトレンズの駆動タイミングでない場合（継続期間がある場合）、ＣＰＵ１０９はシフトレンズを駆動せず（ステップＳ１２０３、Ｓ１２０４をスキップして）、ステップＳ１２０５に進んだ後に第１の実施形態と同様の処理を行う。

以上のように、本実施形態では、位相差検出ラインが間引かれて設けられている場合でも、積極的に被写体を補足してＡＦ枠内の焦点検出性能を保つことができる。また、位相差方式の焦点検出だけでなく、画像のＡＦ枠領域のコントラスト評価を導入して被写体位置を検出することにより、位相差方式の焦点検出頻度の向上および高精度かつ高速な焦点検出処理を継続することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施形態によれば、高精度かつ高速な焦点検出を行うことが可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０ 撮像装置（制御装置）
１０３ 位相差検出用アクセラレータ回路（焦点検出手段）
１０９ ＣＰＵ（制御手段）
１１０ レンズ駆動回路（駆動手段）
１１１ センサ駆動回路（駆動手段）

Claims (18)

1. 撮像光学系を介して形成された光学像を光電変換する撮像素子から出力される像信号に基づいて位相差方式の焦点検出を行う焦点検出手段と、
   前記撮像光学系と前記撮像素子との間の相対位置を変更する駆動手段と、
   前記撮像光学系と前記撮像素子との間の前記相対位置を第１の位置と第２の位置に変更して前記焦点検出を行うように前記焦点検出手段および前記駆動手段を制御する制御手段と、を有することを特徴とする制御装置。
2. 前記駆動手段は、光軸に直交する方向における前記相対位置を変更することを特徴とする請求項１に記載の制御装置。
3. 前記駆動手段は、前記撮像光学系のシフトレンズを駆動することにより前記相対位置を変更することを特徴とする請求項２に記載の制御装置。
4. 前記駆動手段は、前記撮像素子を駆動することにより前記相対位置を変更することを特徴とする請求項２に記載の制御装置。
5. 前記駆動手段は、光軸方向における前記相対位置を変更することを特徴とする請求項１に記載の制御装置。
6. 前記駆動手段は、前記撮像光学系のズームレンズを駆動することにより前記相対位置を変更することを特徴とする請求項５に記載の制御装置。
7. 前記焦点検出手段は、前記相対位置の変更後に得られた前記像信号に基づいて前記焦点検出を行うことを特徴とする請求項１乃至６のいずれか１項に記載の制御装置。
8. 前記駆動手段は、画像を記録しないタイミングで前記相対位置を変更することを特徴とする請求項１乃至７のいずれか１項に記載の制御装置。
9. 前記駆動手段は、所定の期間ごとに前記相対位置を変更することを特徴とする請求項１乃至７のいずれか１項に記載の制御装置。
10. 前記駆動手段が前記相対位置を変更した場合、前記制御手段は、電子防振を行うことを特徴とする請求項１乃至９のいずれか１項に記載の制御装置。
11. 前記駆動手段は、画像フレームごとに前記撮像光学系または前記撮像素子の駆動方向を変更することを特徴とする請求項１乃至１０のいずれか１項に記載の制御装置。
12. 前記駆動手段は、フレームレートに基づいて、前記撮像光学系または前記撮像素子の駆動量および駆動方向を決定することを特徴とする請求項１乃至１１のいずれか１項に記載の制御装置。
13. 前記像信号に基づいてコントラストを評価するコントラスト評価手段を更に有し、
    前記制御手段は、前記コントラスト評価手段によるコントラスト評価結果に基づいて、前記駆動手段を制御することを特徴とする請求項１乃至１２のいずれか１項に記載の制御装置。
14. 前記制御手段は、前記像信号に基づいて得られた動きベクトル情報と前記撮像素子を含む撮像装置の振れ情報との少なくとも一方に基づいて、前記駆動手段を動作させない期間を決定することを特徴とする請求項１乃至１３のいずれか１項に記載の制御装置。
15. 撮像光学系を介して形成された光学像を光電変換する撮像素子と、
    請求項１乃至１４のいずれか１項に記載の制御装置と、を有することを特徴とする撮像装置。
16. 撮像光学系と撮像素子との間の相対位置を変更するステップと、
    前記相対位置の変更後に、前記撮像光学系を介して形成された光学像を光電変換する前記撮像素子から出力される像信号に基づいて位相差方式の焦点検出を行うステップと、を有することを特徴とする制御方法。
17. 撮像光学系と撮像素子との間の相対位置を変更するステップと、
    前記相対位置の変更後に、前記撮像光学系を介して形成された光学像を光電変換する前記撮像素子から出力される像信号に基づいて位相差方式の焦点検出を行うステップと、をコンピュータに実行させることを特徴とするプログラム。
18. 請求項１７に記載のプログラムを記憶していることを特徴とする記憶媒体。