JP2017219786A - 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体 - Google Patents

Abstract

【課題】撮影者の意図する複数の移動被写体に関して合焦状態を維持しながら動画撮影が可能な制御装置を提供する。
【解決手段】制御装置（１２１）は、撮像光学系の互いに異なる瞳領域を通過する光束に対応する第１信号および第２信号を取得する取得手段（１２１ａ）と、第１信号と第２信号との相関量に基づいて複数の移動被写体のデフォーカス量を算出する算出手段（１２１ｂ）と、複数の移動被写体のうち所定の移動被写体を基準として所定のデフォーカス領域の範囲内にある移動被写体が被写界深度に含まれるように、フォーカスレンズおよび絞りの少なくとも一方を制御する制御手段（１２１ｃ）とを有する。
【選択図】図１

Description

本発明は、撮像素子からの出力信号に基づいて自動焦点調節を行う撮像装置に関する。

特許文献１には、静止画撮影の際に複数の被写体が光軸方向に異なる位置に存在する場合、画面内を複数の領域に分割し、複数の領域から得られる複数の被写体を合焦状態とするように焦点位置および絞りを調整する方法が開示されている。

特許文献２には、移動被写体においてパターンマッチングなどにより被写体を追尾しながら被写体の検出領域を追従させ、複数の被写体を合焦状態とするように焦点位置及び絞りを調整する方法が開示されている。

特開平１１−３８３１３号公報 特開２０１２−３０２９号公報

しかしながら、特許文献１、２に開示された方法では、複数の被写体が光軸方向に異なる速度で移動している場合、焦点検出と撮影タイミングに時間的なずれがある場合に焦点検出から撮影までに被写体が移動してしまう。その結果、撮影者の意図する複数の被写体を合焦状態とすることができないことがある。

また、特許文献１、２に開示された方法を動画撮影に適用した場合、動画撮影で複数の光軸方向に異なる速度で移動する被写体を撮影すると、離れていく被写体や他の被写体に対して遅れる被写体、または静止している被写体は、主被写体でないことが多い。しかし、複数の被写体の全てを合焦状態にし続けてしまい、撮影者が意図する動画撮影を行うことができない。

そこで本発明は、撮影者の意図する複数の移動被写体に関して合焦状態を維持しながら動画撮影が可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供する。

本発明の一側面としての制御装置は、撮像光学系の互いに異なる瞳領域を通過する光束に対応する第１信号および第２信号を取得する取得手段と、前記第１信号と前記第２信号との相関量に基づいて複数の移動被写体のデフォーカス量を算出する算出手段と、前記複数の移動被写体のうち所定の移動被写体を基準として所定のデフォーカス領域の範囲内にある移動被写体が被写界深度に含まれるように、フォーカスレンズおよび絞りの少なくとも一方を制御する制御手段とを有する。

本発明の他の側面としての撮像装置は、撮像光学系の互いに異なる瞳領域を通過する光束を受光する第１光電変換部および第２光電変換部を有する撮像素子と、前記第１光電変換部および前記第２光電変換部からの出力信号のそれぞれに対応する第１信号および第２信号を取得する取得手段と、前記第１信号と前記第２信号との相関量に基づいて複数の移動被写体のデフォーカス量を算出する算出手段と、前記複数の移動被写体のうち所定の移動被写体を基準として所定のデフォーカス領域の範囲内にある移動被写体が被写界深度に含まれるように、フォーカスレンズおよび絞りの少なくとも一方を制御する制御手段とを有する。

本発明の他の側面としての制御方法は、撮像光学系の互いに異なる瞳領域を通過する光束に対応する第１信号および第２信号を取得するステップと、前記第１信号と前記第２信号との相関量に基づいて複数の移動被写体のデフォーカス量を算出するステップと、前記複数の移動被写体のうち所定の移動被写体を基準として所定のデフォーカス領域の範囲内にある移動被写体が被写界深度に含まれるように、フォーカスレンズおよび絞りの少なくとも一方を制御するステップとを有する。

本発明の他の側面としてのプログラムは、前記制御方法をコンピュータに実行させる。

本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、撮影者の意図する複数の移動被写体に関して合焦状態を維持しながら動画撮影が可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することができる。

各実施例における撮像装置の構成図である。 各実施例における画素配列を示す図である。 各実施例における画素構造を示す図である。 各実施例における撮像素子および瞳分割機能の説明図である。 各実施例における撮像素子および瞳分割機能の説明図である。 各実施例におけるデフォーカス量と像ずれ量との関係図である。 各実施例における焦点検出領域の説明図である。 各実施例における位相差検出方式の焦点検出処理を示すフローチャートである。 各実施例における動体判定処理および動体予測焦点位置演算の説明図である。 各実施例におけるデフォーカス領域演算の説明図である。 実施例１における焦点調節処理のフローチャートである。 実施例２における焦点調節処理のフローチャートである。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各実施例において例示される構成部品の寸法、材質、形状、それらの相対配置などは、本発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、本発明がそれらの例示に限定されるものではない。

まず、図１を参照して、本発明の実施例１における撮像装置の概略構成について説明する。図１は、撮像装置１００の構成図である。撮像装置１００は、撮像素子１０７を備えた撮像装置本体（カメラ本体）と、撮像装置本体に着脱可能な撮影レンズ（レンズ装置、撮像光学系）とを備えて構成される。ただし本実施例は、これに限定されるものではなく、撮像装置本体と撮影レンズ（撮像光学系）とが一体的に構成された撮像装置にも適用可能である。また撮像装置１００は、動画および静止画を記録可能である。

第１レンズ群１０１は、撮像光学系（結像光学系）の先端に配置されており、光軸ＯＡの方向（光軸方向）に進退可能に保持されている。絞り兼用シャッタ１０２（絞り）は、その開口径を調節することにより、撮影時の光量調節を行う。また絞り兼用シャッタ１０２は、静止画撮影の際に露光秒時調節用シャッタとしての機能を有する。第２レンズ群１０３は、絞り兼用シャッタ１０２と一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）を実現する。第３レンズ群１０５（フォーカスレンズ）は、光軸方向に進退することにより、焦点調節（フォーカシング）を行う。光学的ローパスフィルタ１０６は、撮影画像の偽色やモアレを軽減するための光学素子である。

撮像素子１０７（撮像手段）は、２次元ＣＭＯＳフォトセンサとその周辺回路とを備えて構成され、撮像光学系の結像面に配置されている。このような構成により、撮像素子１０７は、撮像光学系を介して得られた被写体像（光学像）を光電変換して像信号を出力する。本実施例において、第１レンズ群１０１、絞り兼用シャッタ１０２、第２レンズ群１０３、第３レンズ群１０５、および、光学的ローパスフィルタ１０６により、撮像光学系（結像光学系）が構成される。

ズームアクチュエータ１１１は、不図示のカム筒を回動することにより、第１レンズ群１０１および第２レンズ群１０３を光軸方向に進退駆動し、変倍操作を行う。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節するとともに、静止画撮影の際に露光時間制御を行う。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行う。

ＣＰＵ１２１（制御装置）は、カメラ本体の種々の制御を司るカメラＣＰＵ（カメラ制御部）であり、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、および、通信インターフェイス回路などを有する。ＣＰＵ１２１は、ＲＯＭに記憶された所定のプログラムに基づいて、カメラ本体の各種回路を駆動し、ＡＦ、撮影、画像処理、および、記録などの一連の動作を実行する。また本実施例において、ＣＰＵ１２１は、取得手段１２１ａ、算出手段１２１ｂ、制御手段１２１ｃ、および、判定手段１２１ｄを有する。なお、これらの各部の機能については後述する。

撮像素子駆動回路１２４は、撮像素子１０７の撮像動作を制御するとともに、撮像素子１０７から出力された像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。画像処理回路１２５は、撮像素子１０７から得られた像信号に対して、γ変換、カラー補間、および、ＪＰＥＧ圧縮などの画像処理を行う。

フォーカス駆動回路１２６は、ＣＰＵ１２１により算出される焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御し、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行う。絞りシャッタ駆動回路１２８は、ＣＰＵ１２１により算出される絞りシャッタアクチュエータ１１２を駆動制御して、絞り兼用シャッタ１０２の開口を制御する。ズーム駆動回路１２９は、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。

表示器１３１は、ＬＣＤなどを備えて構成され、カメラ本体の撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像などを表示する。操作スイッチ群１３２は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、および、撮影モード選択スイッチなどにより構成される。フラッシュメモリ１３３は、カメラ本体に着脱可能な記録手段であり、撮影済み画像を記録する。

次に、図２および図３を参照して、本実施例における撮像素子１０７の画素配列および画素構造について説明する。図２は、撮像素子１０７の画素配列を示す図である。図３は、撮像素子１０７の画素構造を示す図であり、図３（ａ）は撮像素子１０７の画素２００Ｇの平面図（＋ｚ方向から見た図）、図３（ｂ）は図３（ａ）中の線ａ−ａの断面図（−ｙ方向から見た図）をそれぞれ示している。

図２は、撮像素子１０７（２次元ＣＭＯＳセンサ）の画素配列（撮影画素の配列）を、４列×４行の範囲で示している。本実施例において、各々の撮像画素（画素２００Ｒ、２００Ｇ、２００Ｂ）は、光電変換部２０１、２０２（２つの瞳分割用の副画素）を備えて構成されている。このため、図２には、光電変換部の配列が８列×４行の範囲で示されていることになる。

図２に示されるように、２列×２行の画素群２００は、画素２００Ｒ、２００Ｇ、２００Ｂがベイヤー配列で配置されている。すなわち画素群２００のうち、Ｒ（赤）の分光感度を有する画素２００Ｒが左上に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２００Ｂが右下にそれぞれ配置されている。各画素２００Ｒ、２００Ｇ、２００Ｂ（各撮像画素）は、２列×１行に配列された光電変換部２０１（第１光電変換部、第１副画素）および光電変換部２０２（第２光電変換部、第２副画素）を備えて構成されている。光電変換部２０１は、結像光学系の第１瞳領域を通過した光束を受光し光電変換する画素である。光電変換部２０２は、結像光学系の第２瞳領域を通過した光束を受光して光電変換する画素である。光電変換部２０１から出力される像信号（第１焦点検出信号）と光電変換部２０２から出力される像信号（第２焦点検出信号）は互いに視差を有し、位相差検出方式の焦点検出に用いられる。なお、光電変換部２０１から出力される像信号と光電変換部２０２から出力される像信号を合成した信号が撮像信号となる。図２に示されるように、撮像素子１０７は、４列×４行の撮像画素（８列×４行の光電変換部）を面上に多数配置して構成されており、撮像信号および焦点検出信号を出力する。

図３（ｂ）に示されるように、本実施例の画素２００Ｇには、画素の受光面側に入射光を集光するためのマイクロレンズ３０５が設けられている。マイクロレンズ３０５は、受光面からｚ軸方向（光軸ＯＡの方向）に所定の距離だけ離れた位置に配置されている。また画素２００Ｇには、ｘ方向にＮ_Ｈ分割（２分割）、ｙ方向にＮ_Ｖ分割（１分割）された光電変換部３０１、３０２（光電変換部）が形成されている。光電変換部３０１（第１光電変換部）および光電変換部３０２（第２光電変換部）は、光電変換部２０１および光電変換部２０２にそれぞれ対応する。

光電変換部３０１および光電変換部３０２は、それぞれ、ｐ型層とｎ型層との間にイントリンシック層を挟んだｐｉｎ構造のフォトダイオードとして構成される。必要に応じて、イントリンシック層を省略し、ｐｎ接合のフォトダイオードとして構成してもよい。画素２００Ｇ（各画素）には、マイクロレンズ３０５と、光電変換部３０１および光電変換部３０２との間に、カラーフィルタ３０６が設けられている。必要に応じて、副画素（光電変換部）ごとにカラーフィルタ３０６の分光透過率を変えることができ、またはカラーフィルタを省略してもよい。

図３に示されるように、画素２００Ｇに入射した光は、マイクロレンズ３０５により集光され、カラーフィルタ３０６で分光された後、光電変換部３０１、３０２で受光される。光電変換部３０１、３０２においては、受光量に応じて電子とホールとの対が生成され、それらが空乏層で分離された後、負電荷の電子はｎ型層に蓄積される。一方、ホールは定電圧源（不図示）に接続されたｐ型層を通じて、撮像素子１０７の外部へ排出される。光電変換部３０１、３０２のｎ型層に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送され、電圧信号に変換される。このように本実施例において、撮像素子１０７は、撮像光学系の互いに異なる瞳領域を通過する光束を受光する第１光電変換部および第２光電変換部を有する。また撮像素子１０７は、１つのマイクロレンズに対して第１光電変換部および第２光電変換部を有し、このようなマイクロレンズが２次元状に配列されている。

次に、図４を参照して、撮像素子１０７の瞳分割機能について説明する。図４は、撮像素子１０７の瞳分割機能の説明図であり、１つの画素部における瞳分割の様子を示している。図４は、図３（ａ）に示される画素構造のａ−ａ断面を＋ｙ側から見た断面図、および、結像光学系の射出瞳面を示している。図４では、射出瞳面の座標軸と対応を取るため、断面図のｘ軸およびｙ軸を図３のｘ軸およびｙ軸に対してそれぞれ反転させている。

図４において、光電変換部２０１（第１光電変換部）の瞳部分領域５０１（第１瞳部分領域）は、重心が−ｘ方向に偏心している光電変換部３０１の受光面と、マイクロレンズ３０５を介して略共役関係になっている。このため瞳部分領域５０１は、光電変換部２０１で受光可能な瞳領域を表している。光電変換部２０１の瞳部分領域５０１の重心は、瞳面上で＋ｘ側に偏心している。また、光電変換部２０２（第２光電変換部）の瞳部分領域５０２（第２瞳部分領域）は、重心が＋ｘ方向に偏心している光電変換部３０２の受光面と、マイクロレンズ３０５を介して略共役関係になっている。このため瞳部分領域５０２は、光電変換部２０２で受光可能な瞳領域を表している。光電変換部２０２の瞳部分領域５０２の重心は、瞳面上で−ｘ側に偏心している。瞳領域５００は、光電変換部３０１、３０２（光電変換部２０１、２０２）を全て合わせた際の画素２００Ｇ全体で受光可能な瞳領域である。図４において、４００は結像光学系の射出瞳を示している。

図５は、撮像素子１０７と瞳分割機能の説明図である。結像光学系の瞳領域のうち互いに異なる瞳部分領域５０１、５０２を通過した光束は、撮像素子１０７の各画素に互いに異なる角度で撮像素子１０７の撮像面８００に入射し、２×１分割された光電変換部２０１および光電変換部２０２で受光される。本実施例では、瞳領域が水平方向に２つに瞳分割されている例について説明しているが、これに限定されるものではなく、必要に応じて垂直方向などの他の方向に瞳分割を行ってもよい。

なお本実施例では、光電変換部２０１（第１光電変換部、第１副画素）および光電変換部２０２（第２光電変換部、第２副画素）から構成された撮像画素が複数配列されているが、本実施例はこれに限定されるものではない。必要に応じて、撮像画素と焦点検出画素を個別の画素構成とし、撮像画素配列の一部に、焦点検出画素を部分的に（離散的に）配置するように構成してもよい。

本実施例では、撮像素子１０７の各画素の光電変換部２０１（第１光電変換部）の受光信号を集めて第１焦点検出信号を生成し、各画素の光電変換部２０２（第２光電変換部）の受光信号を集めて第２焦点検出信号を生成して焦点検出を行う。また本実施例では、撮像素子１０７の画素ごとに、第１光電変換部および第２光電変換部の信号を合成することにより、有効画素数Ｎの解像度の撮像信号（撮像画像）を生成する。

次に、図６を参照して、撮像素子１０７の光電変換部２０１から出力される焦点検出信号（第１焦点検出信号）および光電変換部２０２から出力される焦点検出信号（第２焦点検出信号）のデフォーカス量と像ずれ量との関係について説明する。図６は、デフォーカス量と像ずれ量との関係図である。図６において、撮像素子１０７は撮像面８００に配置されており、図４および図５と同様に、結像光学系の射出瞳が瞳部分領域５０１、５０２に２分割されている様子が示されている。

デフォーカス量ｄは、被写体の結像位置から撮像面８００までの距離を｜ｄ｜として定義される。またデフォーカス量ｄは、結像位置が撮像面８００よりも被写体側にある前ピン状態を負符号（ｄ＜０）、結像位置が撮像面８００よりも被写体の反対側にある後ピン状態を正符号（ｄ＞０）として定義される。被写体の結像位置が撮像面８００（合焦位置）にある合焦状態において、デフォーカス量ｄ＝０が成立する。図６において、合焦状態（ｄ＝０）である被写体８０１、および、前ピン状態（ｄ＜０）である被写体８０２がそれぞれ示されている。前ピン状態（ｄ＜０）および後ピン状態（ｄ＞０）を併せて、デフォーカス状態（｜ｄ｜＞０）という。

前ピン状態（ｄ＜０）では、被写体８０２からの光束のうち、瞳部分領域５０１（または瞳部分領域５０２）を通過した光束は、一度、集光する。その後、光束は、光束の重心位置ＧＴ１（ＧＴ２）を中心とする幅Γ１（Γ２）に広がり、撮像面８００でボケた像となる。ボケた像は、撮像素子１０７に配列された各画素を構成する光電変換部２０１（光電変換部２０２）により受光され、第１焦点検出信号（第２焦点検出信号）が生成される。このため、第１焦点検出信号（第２焦点検出信号）は、撮像面８００上の重心位置ＧＴ１（ＧＴ２）に、被写体８０２が幅Γ１（Γ２）にボケた被写体像として記録される。被写体像のボケ幅Γ１（Γ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね比例して増加する。同様に、第１焦点検出信号と第２焦点検出信号との間の被写体像の像ずれ量ｐ（＝光束の重心位置の差ＧＴ１−ＧＴ２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加する。後ピン状態（ｄ＞０）に関しても同様であるが、第１焦点検出信号と第２焦点検出信号と間の被写体像の像ずれ方向が前ピン状態と反対となる。

このように本実施例において、第１焦点検出信号と第２焦点検出信号、または、第１焦点検出信号と第２焦点検出信号とを加算した撮像信号のデフォーカス量の大きさが増加するのに伴い、第１焦点検出信号と第２焦点検出信号と間の像ずれ量の大きさは増加する。

次に、本実施例における焦点検出について説明する。本実施例において、ＣＰＵ１２１（算出手段１２１ｂ）は、位相差検出方式の焦点検出により、第１焦点検出信号と第２焦点検出信号とから得られる像ずれ量（相関量）を算出し、像ずれ量に基づいてデフォーカス量を算出する。

まず、図７を参照して、第１焦点検出信号および第２焦点検出信号を取得する撮像素子１０７上の領域である焦点検出領域について説明する。図７は焦点検出領域の説明図であり、撮像素子１０７の有効画素領域１０００における焦点検出領域と、焦点検出の際に表示器１３１に表示される焦点検出領域を示す指標とを重ねて示している。

本実施例では、行方向に３つ、列方向に３つの、計９個の焦点検出領域が設定されている。行方向にｎ番目、列方向にｍ番目の焦点検出領域をＡ（ｎ，ｍ）と表し、この焦点検出領域に対応する光電変換部２０１および光電変換部２０２の信号を用いて、後述する第１焦点検出および第２焦点検出を行う。同様に、行方向にｎ番目、列方向にｍ番目の焦点検出領域の指標をＩ（ｎ，ｍ）と表す。なお本実施例では、行方向に３つ、列方向に３つの焦点検出領域を設定しているが、これに限定されるものではない。撮像素子１０７のように有効画素領域１０００のうちのいずれの画素からも第１焦点検出信号および第２焦点検出信号が得られる撮像素子においては、焦点検出領域の数、位置、サイズを適宜変更することができる。例えば、撮影者の指定した領域を中心とする所定の範囲を、焦点検出領域として設定してもよい。

次に、図８を参照して、本実施例における位相差検出方式の焦点検出について説明する。位相差検出方式の焦点検出では、第１焦点検出信号と第２焦点検出信号とを相対的にシフトさせて信号の一致度を表す相関量（評価値）を算出し、良好な相関（信号の一致度）が得られるシフト量に基づいて像ずれ量を検出する。撮像信号のデフォーカス量の大きさが増加するのに伴い、第１焦点検出信号と第２焦点検出信号間との像ずれ量の大きさが増加する関係に基づいて、像ずれ量を第１検出デフォーカス量に変換して焦点検出を行う。

図８は、位相差検出方式の焦点検出処理を示すフローチャートである。図８の各ステップは、主にＣＰＵ１２１により、または、ＣＰＵ１２１の指令に基づいて撮像素子１０７または画像処理回路１２５により実行される。

まずステップＳ１１０において、ＣＰＵ１２１は、撮像素子１０７の有効画素領域１０００の範囲内において、焦点調節を行うための焦点検出領域を設定する。そしてＣＰＵ１２１（取得手段１２１ａ）は、設定した焦点検出領域に対応する光電変換部２０１（第１光電変換部）の受光信号から第１焦点検出信号（第１信号）を取得する。同様に、ＣＰＵ１２１（取得手段１２１ａ）は、焦点検出領域内の光電変換部２０２（第２光電変換部）の受光信号から第２焦点検出信号（第２信号）を取得する。

続いてステップＳ１２０において、ＣＰＵ１２１は、第１焦点検出信号および第２焦点検出信号のそれぞれに対して、信号データ量を抑制するために列方向に３画素加算処理を行う。またＣＰＵ１２１は、ＲＧＢ信号を輝度Ｙ信号にするためにベイヤー（ＲＧＢ）加算処理を行う。

続いてステップＳ１３０において、ＣＰＵ１２１は、加算処理後の第１焦点検出信号と第２焦点検出信号とを相対的に瞳分割方向にシフトさせるシフト処理を行い、信号の一致度を表す相関量（評価値）を算出する。ここで、加算処理後のｋ番目の第１焦点検出信号をＡ（ｋ）、第２焦点検出信号をＢ（ｋ）、焦点検出領域に対応する番号ｋの範囲をＷとする。シフト処理によるシフト量をｓ_１、シフト量ｓ_１のシフト範囲をΓ１とすると、相関量ＣＯＲ（評価値）は、以下の式（１）により算出される。

ＣＰＵ１２１は、シフト量ｓ_１のシフト処理により、ｋ番目の第１焦点検出信号Ａ（ｋ）と（ｋ−ｓ_１）番目の第２焦点検出信号Ｂ（ｋ−ｓ_１）を対応させて減算し、シフト減算信号を生成する。そしてＣＰＵ１２１は、生成されたシフト減算信号の絶対値を算出し、焦点検出領域に対応する範囲Ｗ内で番号ｋの和を取り、評価値である相関量ＣＯＲ（ｓ_１）を算出する。必要に応じて、各行ごとに算出された相関量（評価値）を、シフト量ごとに複数行に渡って加算してもよい。

続いてステップＳ１４０において、ＣＰＵ１２１は、相関量ＣＯＲから、サブピクセル演算により、相関量が最小値となる実数値のシフト量を算出して像ずれ量ｐ１を得る。そしてＣＰＵ１２１は、像ずれ量ｐ１に、焦点検出領域の像高、撮像レンズ（結像光学系）のＦ値、および、射出瞳距離に応じた変換係数Ｋを掛けて、デフォーカス量（Ｄｅｆ）を検出（算出）する。このように本実施例において、ＣＰＵ１２１は、位相差検出方式の焦点検出処理により、第１焦点検出信号と第２焦点検出信号に対して画素加算処理を行う。そしてＣＰＵ１２１は、相関量を算出し、算出した相関量に基づいてデフォーカス量を検出する。

次に、図９を参照して、被写体が動体であるか否かを判定する方法（動体判定処理）について説明する。ＣＰＵ１２１（判定手段１２１ｄ）は、焦点検出結果から得られるデフォーカス量に基づいて、焦点検出結果としてのフォーカス位置（焦点位置）を算出する。またＣＰＵ１２１（判定手段１２１ｄ）は、第１焦点検出信号と第２焦点検出信号とに基づいて、被写体が動体であるか否かを判定する。具体的には、ＣＰＵ１２１は、過去の複数のフレームの焦点検出結果（フォーカス位置）が所定量よりも変化し、その変化に連続性がある場合、被写体が動体であると判定する。ＣＰＵ１２１は、過去の複数（複数のフレーム）の点に関する焦点検出結果（フォーカス位置）を取得することができない場合、焦点検出結果の連続性を判定することができないため、その被写体は動体でないと判定する。なお、ここでは動体判定処理の一例を示す。焦点検出結果が所定量以上変化し、かつその変化に連続性が得られている限り、他の方法を用いて動体判定を行ってもよい。

図９は、動体判定処理の説明図である。図９において、横軸はフレーム（記録フレーム）、縦軸はフォーカス位置（焦点検出結果）をそれぞれ示す。ｎは現在のフレーム、ｎ−１、ｎ−２、ｎ−３は過去のフレーム、ｎ＋１、ｎ＋２は将来のフレームをそれぞれ示す。図９において、現在のフレームｎおよび過去のフレームｎ−１、ｎ−２、ｎ−３において、被写体のフォーカス位置（Ｐ（ｎ）、Ｐ（ｎ−１）、Ｐ（ｎ−２）、Ｐ（ｎ−３））が所定量以上変化し続けていると判定することができる。このため判定手段１２１ｄは、この被写体が動体であると判定する。

次に、図１０を参照して、ＣＰＵ１２１により検出された動体に対して、最も近い被写体（最至近の移動被写体）と最も遠い被写体（最遠の移動被写体）との間のデフォーカス領域（被写体間デフォーカス領域）を算出する方法について説明する。現在のフレームにおいて算出されるデフォーカス領域が、前のフレーム（過去のフレーム）において算出されたデフォーカス領域よりも広くなる場合、ＣＰＵ１２１は、最も遠い被写体を除外して、再度、デフォーカス領域を算出する。デフォーカス領域の算出は、前のフレームに関するデフォーカス領域の値以下になるまで行われる。これにより、他の被写体から離れていく被写体や静止被写体（動画撮影では主被写体でない場合が多い）を、デフォーカス領域から除外することができる。

図１０はデフォーカス領域演算の説明図であり、図１０（ａ）、（ｂ）はそれぞれフレームｎ−１、ｎにおける複数の被写体のフォーカス位置を示している。図１０（ａ）、（ｂ）において、横軸は各フレーム中における位置、縦軸は複数の被写体のフォーカス位置をそれぞれ示す。

図１０（ａ）において、ｄ（ｎ−１）は、前のフレームｎ−１にて得られた複数の被写体のうち最も近い被写体のフォーカス位置と最も遠い被写体のフォーカス位置との間のデフォーカス領域（距離）である。図１０（ｂ）において、ｄ（ｎ）ａは、現在のフレームｎにて得られた複数の被写体のうち最も近い被写体のフォーカス位置と最も遠い被写体のフォーカス位置との間のデフォーカス領域（距離）である。本実施例において、現在のフレームｎにおけるデフォーカス領域ｄ（ｎ）ａは、前のフレームｎ−１におけるデフォーカス領域ｄ（ｎ−１）よりも大きい。このため、現在のフレームｎにおいて、複数の被写体のうち最も遠い被写体を除外して、再度、デフォーカス領域ｄ（ｎ）ｂを算出する。

次に、図１１を参照して、本実施例における焦点調節処理（フォーカス制御）について説明する。図１１は、本実施例における焦点調節処理のフローチャートである。図１１の各ステップは、主に、ＣＰＵ１２１の指令に基づいて実行される。図１１のフローは、フレームごとに繰り返される。

まずステップＳ２１０において、ＣＰＵ１２１は焦点検出を行う。このときＣＰＵ１２１は、画面内の複数の領域（焦点検出領域）において焦点検出を行い、複数の被写体のデフォーカス量を測定（算出）する。続いてステップＳ２２０において、ＣＰＵ１２１は、被写体が動体であるか否かを判定する（動体判定）。このときＣＰＵ１２１は、焦点検出結果（フォーカス位置）が連続的に所定量以上変化している場合、その被写体が動体であると判定する。一方、焦点検出結果が連続的に所定量以上変化していない場合、その被写体が動体であると判定しない。ＣＰＵ１２１は、このような判定を画面内の複数の領域（焦点検出領域）において行い、複数の被写体の動体判定を行う。

続いてステップＳ２３０において、ＣＰＵ１２１は、ステップＳ２２０にて動体であると判定された複数の被写体に関するデフォーカス領域（被写体間デフォーカス領域）を算出する。デフォーカス領域は、複数の被写体のうち最も近い被写体のフォーカス位置と最も遠い被写体のフォーカス位置との間の距離に相当する。

続いてステップＳ２４０において、ＣＰＵ１２１は、ステップＳ２３０にて算出されたデフォーカス領域の範囲が被写界深度に含まれるように絞り値（Ｆ値）を算出し、絞り兼用シャッタ１０２を制御する（絞り調節を行う）。ここで、ステップＳ２３０にて算出されたデフォーカス領域内の複数の被写体のうち、最も遠い被写体のデフォーカス量をＤｆ、最も近い被写体のデフォーカス量をＤｎとする。また、撮像装置１００に対して近い被写体ｎと遠い被写体ｆとを両端とする被写界深度をα：βに内分する点を算出する係数をＡとする。このとき、最少錯乱円の大きさをΔとすると、絞り値Ｆは、以下の式（２）のように表される。

Ｆ＝（Ｄｆ−Ｄｎ）×Ａ／Δ … （２）
（Ａ＝α／（α＋β）、Δ＝３５μｍ）
本実施例では、式（２）で表されるように絞り値Ｆを制御する（絞り調節を行う）。

続いてステップＳ２５０において、ＣＰＵ１２１は、ステップＳ２３０にて算出されたデフォーカス領域内に設定される焦点位置へのデフォーカス量Ｄを算出し、デフォーカス量Ｄに基づいて焦点調節を行う。本実施例において、デフォーカス量Ｄは、以下の式（３）のように表される。

Ｄ＝（Ｄｆ−Ｄｎ）×Ａ … （３）
このように本実施例において、制御装置（ＣＰＵ１２１）は、取得手段１２１ａ、算出手段１２１ｂ、および、制御手段１２１ｃを有する。取得手段１２１ａは、撮像光学系の互いに異なる瞳領域を通過する光束に対応する第１信号（第１焦点検出信号）および第２信号（第２焦点検出信号）を取得する。第１信号および第２信号は、第１光電変換部および第２光電変換部のそれぞれからの出力信号に対応する信号である。算出手段１２１ｂは、第１信号と第２信号との相関量に基づいて複数の移動被写体（動体）のデフォーカス量を算出する。制御手段は、複数の移動被写体のうち所定の移動被写体を基準として所定のデフォーカス領域の範囲内にある移動被写体が被写界深度に含まれるように（合焦状態となるように）、フォーカスレンズおよび絞りの少なくとも一方を制御する。所定のデフォーカス領域は、例えば、現在のフレームよりも前のフレームに関して取得されたデフォーカス領域であるが、これに限定されるものではない。

好ましくは、所定の移動被写体は、複数の移動被写体のうち最至近の移動被写体（制御装置（撮像装置１００）に最も近い被写体）である。また好ましくは、制御手段は、所定のデフォーカス領域の範囲内にある移動被写体が被写界深度に含まれるように絞り値（Ｆ値）を算出し、算出した絞り値に基づいて絞りを制御する。より好ましくは、制御手段は、第１フレームに関して算出した第１絞り値が第１フレーム（フレームｎ）よりも前の第２フレーム（フレームｎ−１）に関して算出した第２絞り値よりも大きい場合、第１フレームの絞り値として第１絞り値を用いる。

好ましくは、制御手段は、複数の移動被写体に関するデフォーカス量のうち最大デフォーカス量が所定のデフォーカス量よりも大きい場合、複数の移動被写体に関するデフォーカス領域を所定のデフォーカス領域の範囲内に制限する。より好ましくは、算出手段は、フレームごとに複数の移動被写体のデフォーカス量を算出する。そして制御手段は、第１フレームにおける最大デフォーカス量が所定のデフォーカス量よりも大きい場合、第１フレームの所定のデフォーカス領域（ｄ（ｎ））を、第２フレームに関して算出されたデフォーカス領域（ｄ（ｎ−１））の範囲内に制限する。

好ましくは、制御手段は、第１フレームにおいて複数の移動被写体を含むように第１デフォーカス領域（ｄ（ｎ）ａ）を算出する。制御手段は、第１デフォーカス領域が第２フレームにおいて算出された第２デフォーカス領域（ｄ（ｎ−１））よりも広い場合、第１フレームの所定のデフォーカス領域として、第１デフォーカス領域よりも狭い第３デフォーカス領域（ｄ（ｎ）ｂ）を設定する。

本実施例によれば、撮影者の意図する複数の移動する被写体に対して合焦状態を維持し続けた動画撮影をすることができる。

次に、本発明の実施例２について説明する。本実施例は、実施例１において記録するフレームレートが遅い場合や被写体が高速である場合などにより、焦点検出結果を調節する間に被写体が大きく移動し、撮影者の意図する複数の移動被写体（動体）がデフォーカス領域を超えてしまう可能性を考慮する。本実施例の撮像装置は、このような場合でも、合焦状態を維持し続けることが可能である。本実施例は、焦点調節処理に関して、図１１を参照して説明した実施例１の焦点調節処理と異なる。本実施例の他の構成や動作は実施例１と同様であるため、それらの説明は省略する。

図９を参照して、本実施例における動体予測焦点位置演算について説明する。本実施例では、過去の複数の（フレームの）点の焦点検出結果および現在のフレームの焦点検出結果に基づいて、近似曲線などを用いて次のフレームの焦点位置を算出する。図９は、動体予測焦点位置演算の説明図である。図９に示されるように、ＣＰＵ１２１（予測手段）は、現在のフレームｎにおいて、現在の被写体位置（被写体のフォーカス位置Ｐ（ｎ））と過去のフレーム（フレームｎ−１、ｎ−２、ｎ−３など）の被写体位置とに基づいて、近似曲線９−１を作成する。そしてＣＰＵ１２１は、次のフレームｎ＋１において予測される被写体位置（予測フォーカス位置Ｐ（ｎ＋１））を算出する。

次に、ＣＰＵ１２１（判定手段１２１ｄ）により検出された複数の被写体（動体）に対して、最も近い被写体と最も遠い被写体との間のデフォーカス領域（被写体間デフォーカス領域）を算出する方法について説明する。ＣＰＵ１２１は、検出した複数の被写体のうち、最も近い被写体と最も遠い被写体との間のデフォーカス領域を算出する。このときＣＰＵ１２１は、動体予測焦点位置の演算結果から得られる次のフレームの焦点位置（フォーカス位置）に基づいて、最も近い被写体と最も遠い被写体との間のデフォーカス領域を算出する。

次のフレームｎ＋１に関して予測されるデフォーカス領域が、現在のフレームｎに基づいて算出されたデフォーカス領域よりも広くなる場合、ＣＰＵ１２１は、複数の被写体のうち最も遠い被写体を除外して、再度、現在のフレームのデフォーカス領域を算出する。デフォーカス領域の算出は、現在のフレームに関するデフォーカス領域の値以下になるまで行われる。これにより、他の被写体から離れていく被写体や静止被写体（動画撮影では主被写体でない場合が多い）を、デフォーカス領域から除外することができる。また、記録するフレームレートが遅い場合や、被写体が高速であって焦点検出結果を調節する間に被写体が大きく移動し、撮影者の意図する複数の移動被写体（動体）がデフォーカス領域を超えてしまう場合でも、合焦状態を維持し続けられることが可能となる。

次に、図１２を参照して、本実施例における焦点調節処理（フォーカス制御）について説明する。図１２は、本実施例における焦点調節処理のフローチャートである。図１２の各ステップは、主に、ＣＰＵ１２１の指令に基づいて実行される。図１２のフローは、フレームごとに繰り返される。なお、図１２のフローチャートは、ステップＳ３２０が挿入されている点で、実施例１の図１１のフローチャートと異なる。図１２のステップＳ３１０、Ｓ３３０〜Ｓ３６０は、図１１のステップＳ２１０〜Ｓ２５０とそれぞれ同様であるため、それらの説明は省略する。

ステップＳ３１０にてＣＰＵ１２１が画面内の複数の焦点検出領域において焦点検出を行い、複数のデフォーカス領域を測定（算出）すると、ステップＳ３２０に進む。

ステップＳ３２０において、ＣＰＵ１２１（予測手段）は、第１焦点検出信号と第２焦点検出信号とに基づいて、複数の被写体（動体）の焦点位置（フォーカス位置）を予測する。すなわちＣＰＵ１２１は、前のフレームにて動体と判定された被写体に関する動体予測焦点位置を算出し、次のフレームの焦点位置を動体予測焦点位置として算出する。前のフレームで動体と判定された被写体がない場合、次のフレームの焦点位置を予測することができない。このためＣＰＵ１２１は、ステップＳ３１０にて算出された焦点位置を動体予測焦点位置とする。

続いてステップＳ３３０において、ＣＰＵ１２１は、実施例１と同様に、複数の被写体の動体判定を行う。またステップＳ３４０において、ＣＰＵ１２１は、複数の被写体の間のデフォーカス領域を算出する。続いてステップＳ３５０、Ｓ３６０において、ＣＰＵ１２１は、絞り制御およびフォーカス制御を行う。

このように本実施例において、好ましくは、算出手段１２１ｂは、フレームごとに複数の移動被写体（動体）のデフォーカス量を算出する。そして制御手段１２１ｃ（予測手段）は、第１フレーム（フレームｎ）において取得した焦点位置に基づいて、第１フレームよりも後の第２フレーム（フレームｎ＋１）における複数の移動被写体の予測位置を算出する。また制御手段１２１ｃは、予測位置に基づいて、複数の移動被写体を含むように第２フレームにおける第２デフォーカス領域（ｄ（ｎ）ａ）を算出する。そして制御手段１２１ｃは、第２デフォーカス領域が第１フレームの第１デフォーカス領域（ｄ（ｎ−１））よりも広い場合、第２フレームの所定のデフォーカス領域として、第２デフォーカス領域よりも狭い第３デフォーカス領域（ｄ（ｎ）ｂ）を設定する。

本実施例によれば、記録するフレームレートが遅い場合や、被写体が高速で焦点検出結果を調節する間に被写体が大きく移動し、撮影者の意図する複数の移動被写体がデフォーカス領域を超えてしまう場合においても、合焦状態を維持し続けられることが可能である。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施例によれば、撮影者の意図する複数の移動被写体に関して合焦状態を維持しながら動画撮影が可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

各実施例は、例えば、位相差検出方式の焦点検出（位相差ＡＦ）とコントラスト検出方式の焦点検出（コントラストＡＦ）とを組み合わせたハイブリッドＡＦを行う撮像装置にも適用可能である。このような撮像装置は、状況に応じて、位相差ＡＦまたはコントラストＡＦを選択的に使用し、または、これらを組み合わせて使用することができる。

１２１ ＣＰＵ（制御装置）
１２１ａ 取得手段
１２１ｂ 算出手段
１２１ｃ 制御手段

Claims (15)

1. 撮像光学系の互いに異なる瞳領域を通過する光束に対応する第１信号および第２信号を取得する取得手段と、
   前記第１信号と前記第２信号との相関量に基づいて複数の移動被写体のデフォーカス量を算出する算出手段と、
   前記複数の移動被写体のうち所定の移動被写体を基準として所定のデフォーカス領域の範囲内にある移動被写体が被写界深度に含まれるように、フォーカスレンズおよび絞りの少なくとも一方を制御する制御手段と、を有することを特徴とする制御装置。
2. 前記所定の移動被写体は、前記複数の移動被写体のうち最至近の移動被写体であることを特徴とする請求項１に記載の制御装置。
3. 前記制御手段は、前記所定のデフォーカス領域の範囲内にある前記移動被写体が前記被写界深度に含まれるように絞り値を算出し、該絞り値に基づいて前記絞りを制御することを特徴とする請求項１または２に記載の制御装置。
4. 前記制御手段は、第１フレームに関して算出した第１絞り値が該第１フレームよりも前の第２フレームに関して算出した第２絞り値よりも大きい場合、該第１フレームの前記絞り値として該第１絞り値を用いることを特徴とする請求項３に記載の制御装置。
5. 前記制御手段は、前記複数の移動被写体に関する前記デフォーカス量のうち最大デフォーカス量が所定のデフォーカス量よりも大きい場合、該複数の移動被写体に関するデフォーカス領域を前記所定のデフォーカス領域の範囲内に制限することを特徴とする請求項１乃至３のいずれか１項に記載の制御装置。
6. 前記算出手段は、フレームごとに前記複数の移動被写体の前記デフォーカス量を算出し、
   前記制御手段は、第１フレームにおける前記最大デフォーカス量が前記所定のデフォーカス量よりも大きい場合、該第１フレームにおける前記所定のデフォーカス領域を、該第１フレームよりも前の第２フレームに関して算出されたデフォーカス領域の範囲内に制限することを特徴とする請求項５に記載の制御装置。
7. 前記第１信号と前記第２信号とに基づいて、被写体が移動被写体であるか否かを判定する判定手段を更に有することを特徴とする請求項１乃至６のいずれか１項に記載の制御装置。
8. 前記第１信号と前記第２信号とに基づいて、前記複数の移動被写体の焦点位置を予測する予測手段を更に有し、
   前記判定手段は、前記予測手段により予測された前記焦点位置に基づいて、前記被写体が前記移動被写体であるか否かを判定することを特徴とする請求項７に記載の制御装置。
9. 前記算出手段は、フレームごとに前記複数の移動被写体の前記デフォーカス量を算出し、
   前記制御手段は、
   第１フレームにおいて前記複数の移動被写体を含むように第１デフォーカス領域を算出し、
   前記第１デフォーカス領域が前記第１フレームよりも前の第２フレームにおいて算出された第２デフォーカス領域よりも広い場合、該第１フレームの前記所定のデフォーカス領域として、該第１デフォーカス領域よりも狭い第３デフォーカス領域を設定する、ことを特徴とする請求項１乃至３のいずれか１項に記載の制御装置。
10. 前記算出手段は、フレームごとに前記複数の移動被写体の前記デフォーカス量を算出し、
    前記制御手段は、
    第１フレームにおいて取得した焦点位置に基づいて、該第１フレームよりも後の第２フレームにおける前記複数の移動被写体の予測位置を算出し、
    前記予測位置に基づいて、前記複数の移動被写体を含むように前記第２フレームにおける第２デフォーカス領域を算出し、
    前記第２デフォーカス領域が前記第１フレームにおいて算出された第１デフォーカス領域よりも広い場合、前記第２フレームの前記所定のデフォーカス領域として、該第２デフォーカス領域よりも狭い第３デフォーカス領域を設定する、ことを特徴とする請求項１乃至３のいずれか１項に記載の制御装置。
11. 撮像光学系の互いに異なる瞳領域を通過する光束を受光する第１光電変換部および第２光電変換部を有する撮像素子と、
    前記第１光電変換部および前記第２光電変換部からの出力信号のそれぞれに対応する第１信号および第２信号を取得する取得手段と、
    前記第１信号と前記第２信号との相関量に基づいて複数の移動被写体のデフォーカス量を算出する算出手段と、
    前記複数の移動被写体のうち所定の移動被写体を基準として所定のデフォーカス領域の範囲内にある移動被写体が被写界深度に含まれるように、フォーカスレンズおよび絞りの少なくとも一方を制御する制御手段と、を有することを特徴とする撮像装置。
12. 前記撮像素子は、１つのマイクロレンズに対して前記第１光電変換部および前記第２光電変換部を有し、該マイクロレンズが２次元状に配列されていることを特徴とする請求項１１に記載の撮像装置。
13. 撮像光学系の互いに異なる瞳領域を通過する光束に対応する第１信号および第２信号を取得するステップと、
    前記第１信号と前記第２信号との相関量に基づいて複数の移動被写体のデフォーカス量を算出するステップと、
    前記複数の移動被写体のうち所定の移動被写体を基準として所定のデフォーカス領域の範囲内にある移動被写体が被写界深度に含まれるように、フォーカスレンズおよび絞りの少なくとも一方を制御するステップと、を有することを特徴とする制御方法。
14. 撮像光学系の互いに異なる瞳領域を通過する光束に対応する第１信号および第２信号を取得するステップと、
    前記第１信号と前記第２信号との相関量に基づいて複数の移動被写体のデフォーカス量を算出するステップと、
    前記複数の移動被写体のうち所定の移動被写体を基準として所定のデフォーカス領域の範囲内にある移動被写体が被写界深度に含まれるように、フォーカスレンズおよび絞りの少なくとも一方を制御するステップと、をコンピュータに実行させることを特徴とするプログラム。
15. 請求項１４に記載のプログラムを記憶していることを特徴とする記憶媒体。