JP2016149727A

JP2016149727A - 制御装置、撮像装置、制御方法、プログラム、および記憶媒体

Info

Publication number: JP2016149727A
Application number: JP2015026989A
Authority: JP
Inventors: 俊宏望月; Toshihiro Mochizuki
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-02-13
Filing date: 2015-02-13
Publication date: 2016-08-18
Anticipated expiration: 2035-02-13
Also published as: US20160241774A1; JP6566654B2; US9736354B2

Abstract

【課題】
距離マップ生成時の演算負荷を低減する。
【解決手段】
画素部がそれぞれ複数の光電変換部を有し該光電変換部から焦点検出用信号および画像生成用信号を出力する撮像素子を備え、複数の光電変換部の前記焦点検出用信号の相関情報から被写体距離分布を算出する撮像装置に用いられる制御装置である。当該制御装置は、第１の領域に位置する画素部について、相関情報を算出する第１の演算部と、第１の領域よりも広い第２の領域に位置する画素部について、相関情報を算出する第２の演算部と、第１の演算部によって算出された相関情報に基づいて、第２の領域に位置する画素部の相関情報を算出させるか否か第２の演算部を制御する制御部と、を有する。
【選択図】図１０

Description

本発明は、撮像装置、その制御装置、およびその制御方法に関する。

デジタルカメラやデジタルビデオカメラ等の撮像装置において、撮像素子の一部あるいは全部の画素に測距機能を有するものがある。これらの撮像装置は、画素毎に複数の光電変換部を有しており、位相差方式で被写体までの距離を検出する。例えば、特許文献１は、上記技術を活用して画像と画像に対応した距離分布（以後、距離マップという）とを生成する撮像装置について記載している。

特開２０１４−７４８９１号公報

しかし、距離マップを生成する場合、画素毎で各光電変換部から得られた焦点検出用の信号の相関演算を行うため、演算負荷が大きくなる。そのため、演算回路の処理に遅延が生じる等の問題があった。

本発明は、距離マップを生成するように設定された場合においても、演算回路の負荷を低減できる撮像装置、その制御装置、およびその制御方法を提供することを例示的目的とする。

本発明の一側面としての制御装置は、画素部がそれぞれ複数の光電変換部を有し該光電変換部から焦点検出用信号および画像生成用信号を出力する撮像素子を備え、複数の光電変換部の前記焦点検出用信号の相関情報から被写体距離分布を算出する撮像装置に用いられるものである。そして、第１の領域に位置する画素部について上記相関情報を算出する第１の演算部と、第１の領域よりも広い第２の領域に位置する画素部について上記相関情報を算出する第２の演算部と、第１の演算部によって算出された相関情報に基づいて、第２の領域に位置する画素部の相関情報を算出させるか否か第２の演算部を制御する制御部と、を有することを特徴とする。

本発明の別の側面としての制御方法は、画素部がそれぞれ複数の光電変換部を有し該光電変換部から焦点検出用信号および画像生成用信号を出力する撮像素子を備え、複数の光電変換部の焦点検出用信号の相関情報から被写体距離分布を算出する撮像装置の制御方法である。第１の領域に位置する画素部について上記相関情報を算出する第１の演算ステップと、第１の領域よりも広い第２の領域に位置する画素部について上記相関情報を算出する第２の演算ステップと、第１の演算ステップによって算出された上記相関情報に基づいて第２の演算ステップを行うか否か判定する判定ステップと、を有することを特徴とする。

本発明は、距離マップを生成するように設定された場合においても、演算回路の負荷を低減できる。

本実施形態の撮像装置のブロック図である。本実施形態の撮像素子の画素配置図である。本実施形態の撮影レンズと単位画素部の関係を示す図である。本実施形態の撮像素子の全体構成の概略図である。本実施形態の単位画素部の構成を示す図である。本実施形態の列共通読出し回路の構成を示す図である。本実施形態のＤＳＰの機能ブロック図である。本実施形態の画像データ配置、焦点調節領域、距離マップ領域を示す図である。本実施形態の焦点調節領域における相関データの構成図である。本実施形態の制御のフローチャートである。本実施形態のＮフレームにおける演算処理を説明するための図である。本実施形態のＮ＋１フレームにおける演算処理を説明するための図である。本実施形態のＮ＋２フレームにおける演算処理を説明するための図である。

以下、本発明の実施形態について図面を参照して詳細に説明する。図１は、本発明の実施形態に係る撮像装置１００の全体構成を示す図である。

第１レンズ群１０１は撮像光学系を構成し、レンズ鏡筒の前端部（被写体側）に配置されて光軸方向に沿って進退可能に保持される。絞り１０２は、その開口径を調節することで撮影時の光量調節を行う。第２レンズ群１０３は、第１レンズ群１０１の進退動作と連動した変倍作用（ズーム機能）を行う。第３レンズ群１０４は焦点調節用レンズ（フォーカスレンズ）であり、光軸方向の進退により焦点調節を行う。光学的ローパスフィルタ１０５は、撮影画像の偽色やモアレを軽減するための光学素子である。

撮像素子１０６は、撮像光学系により結像された被写体像を光電変換する。本実施形態では、撮像素子１０６にベイヤー配列のＣＭＯＳイメージセンサが使用される。撮像素子１０６の各画素は、複数の光電変換部を有する。具体的には、画素内には複数のフォトダイオード（以下、ＰＤと略記する）が設けられる。１つの画素部におけるＰＤの数は２以上であり（２個、４個、９個など）、本実施形態では、２つのＰＤにより副画素ａおよび副画素ｂを構成する。これらの副画素の各々から焦点検出に用いられる信号（焦点検出用信号）と画像生成に用いられる信号（画像生成用信号）が得られる。

ＡＦＥ（ＡｎａｌｏｇＦｒｏｎｔＥｎｄ）１０７は、撮像素子１０６から出力されたアナログ画像信号をデジタル信号に変換する。ＤＦＥ（ＤｉｇｉｔａｌＦｒｏｎｔＥｎｄ）１０８は、ＡＦＥ１０７から出力されたデジタル画像信号に対して、前処理としての演算処理を行う。ＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｅｒ）１０９は、ＤＦＥ１０８から出力されたデジタル画像信号に対して補正処理や現像処理などを行う。

記録媒体１１０は、ＤＳＰ１０９が処理した画像データを記録する。表示部１１１は、撮影された画像や各種メニュー画面などを表示する液晶ディスプレイ（ＬＣＤ）などからなる。ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）１１２は、画像データなどを一時記憶するデバイスであり、ＤＳＰ１０９と接続されている。タイミングジェネレータ（ＴＧ）１１３は、撮像素子１０６に駆動信号を供給する。

ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１１４は、ＡＦＥ１０７，ＤＦＥ１０８，ＤＳＰ１０９，ＴＧ１１３，絞り駆動回路１１５を制御する。またＣＰＵ１１４は、ＡＦ（オートフォーカス）制御を行う。具体的にはＣＰＵ１１４は、ＤＳＰ１０９にて演算される相関演算結果から焦点ずれ量（デフォーカス量）を算出し、焦点ずれ量に応じてフォーカス駆動回路１１６を制御する。フォーカス駆動回路１１６は、フォーカスアクチュエータ１１８の駆動させる回路である。フォーカスアクチュエータ１１８は、第３レンズ群１０４を光軸方向に進退させ、これによって焦点調節が行われる。絞り駆動回路１１５は、ＣＰＵ１１４の制御指令に従って絞りアクチュエータ１１７を制御し、それによって絞り１０２を駆動する。ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）１１９は、補正データなどを記憶する。操作部１２０は、シャッタースイッチ釦（ＳＷ）を備える。撮影者がシャッタースイッチ釦に対して半押しや全押しなど操作をすることにより、指示信号がＣＰＵ１１４に入力される。

図２は、撮像素子１０６の画素配置例を示す模式図である。単位画素部３００は行列状に配列され、各単位画素部３００においてＲ（Ｒｅｄ）／Ｇ（Ｇｒｅｅｎ）／Ｂ（Ｂｌｕｅ）のカラーフィルタがベイヤー配列で配置されている。各単位画素部３００内には、副画素ａと副画素ｂが配置されている。図２において、ＰＤ４０１ａは副画素ａを構成する第１の光電変換部であり、ＰＤ４０１ｂは副画素ｂを構成する第２の光電変換部である。副画素ａおよび副画素ｂからの各信号は、焦点検出や被写体までの距離情報としても利用される。

図３は、第１レンズ群１０１、絞り１０２、第２レンズ群１０３、第３レンズ群１０４により構成される撮影レンズの射出瞳２０３から出る光束と、単位画素部３００との関係を示す図である。前述のように、単位画素部３００はＰＤ４０１ａとＰＤ４０１ｂを有する。カラーフィルタ２０１およびマイクロレンズ２０２は、単位画素部３００と射出瞳２０３との間に配置される。

マイクロレンズ２０２を有する画素部に対して、射出瞳２０３から出た光束の中心を光軸２０４で示す。射出瞳２０３を通過した光は、光軸２０４を中心として単位画素部３００に入射する。領域２０５，２０６は、撮影レンズの射出瞳２０３の一部領域をそれぞれ表す。図３に示すように、領域２０５を通過する光束はマイクロレンズ２０２を通り、ＰＤ４０１ａ（副画素ａ）で受光される。また、瞳領域２０６を通過する光束はマイクロレンズ２０２を通り、ＰＤ４０１ｂ（副画素ｂ）で受光される。すなわち、副画素ａと副画素ｂはそれぞれ、撮影レンズの射出瞳２０３の異なる領域を通過する光を受光する。このため、副画素ａと副画素ｂの出力信号を比較することで位相差方式の焦点検出が可能である。

合焦状態から外れている場合、副画素ａ，ｂのそれぞれから得られる像信号波形は大きくずれた状態となる。合焦状態に近づくと、像信号波形間のずれは小さくなる。そして、合焦状態では両波形が重なる。この現象を利用して、副画素ａ，ｂから得られる各像信号波形をシフト移動した量に基づき、焦点ずれ量（デフォーカス量）を検出する。

次に、図４から図６を参照して撮像素子１０６の構成を説明する。図４は撮像素子１０６の全体構成例を示す図である。図５は単位画素部３００の構成を示す回路図である。図６は列共通読出し回路３０３の構成を示す回路図である。

図４に示す画素領域ＰＡには、多数の単位画素部３００（ｐ１１〜ｐｋｎ参照）が行列状に配置されている。

ＰＤ４０１ａ，４０１ｂは、入射光を光電変換し、露光量に応じた電荷を蓄積する。転送ゲート４０２ａ，４０２ｂは、それぞれ信号ｔｘａ，ｔｘｂをＨｉｇｈレベルにすることでＯＮ状態となる。これにより、ＰＤ４０１ａ，４０１ｂに蓄積されている電荷が、ＦＤ（フローティングディフュージョン）部４０３に転送される。ＦＤ部４０３は、フローティングディフュージョンアンプ４０４（以下、ＦＤアンプという）のゲートに接続されている。ＦＤアンプ４０４で、ＰＤ４０１ａ，４０１ｂから転送されてきた電荷量が電圧量に変換される。ＦＤリセットスイッチ４０５は、信号ｒｅｓをＨｉｇｈレベルとすることにより、ＦＤ部４０３をリセットする。また、ＰＤ４０１ａ，４０１ｂの電荷をリセットする場合には、信号ｒｅｓと信号ｔｘａ，ｔｘｂとを同時にＨｉｇｈレベルとする。転送ゲート４０２ａ，４０２ｂ及びＦＤリセットスイッチ４０５がＯＮ状態になると、ＦＤ部４０３経由でＰＤ４０１ａ，４０１ｂのリセットが行われる。画素選択スイッチ４０６では、信号ｓｅｌをＨｉｇｈレベルとすることにより、ＦＤアンプ４０４で電圧に変換された画素信号が単位画素部３００の出力端子ｖｏｕｔから出力される。

図４の垂直走査回路３０１は、単位画素部３００のトランジスタにゲート制御信号（ｒｅｓ，ｔｘａ，ｔｘｂ，ｓｅｌ）を供給する。これらの信号の制御は、行毎に共通のものとなっている。各単位画素部３００の出力端子ｖｏｕｔは、列毎に垂直出力線３０２を介して列共通読出し回路３０３に接続されている。以下、図５を参照して列共通読出し回路３０３の構成を説明する。

垂直出力線３０２は列毎に設けられ、１列分の単位画素部３００の出力端子ｖｏｕｔに接続されている。垂直出力線３０２には、電流源３０４が接続されている。この電流源３０４と、垂直出力線３０２に接続された単位画素部３００のＦＤアンプ４０４とによってソースフォロワ回路が構成される。

クランプ容量（Ｃ１）５０１は、演算増幅器５０３の反転入力端子に接続されている。またフィードバック容量（Ｃ２）５０２は、演算増幅器５０３の出力端子と反転入力端子に接続されている。演算増幅器５０３の非反転入力端子には基準電源Ｖｒｅｆが接続されている。スイッチ５０４はフィードバック容量Ｃ２の両端をショートさせるためのトランジスタであり、信号ｃｆｓにより制御される。転送スイッチ５０５〜５０８は、それぞれ単位画素部３００から読み出される信号を各信号保持容量５０９〜５１２に転送するためのトランジスタである。後述する読出し動作により、第１のＳ信号保持容量５０９には副画素ａの画素信号Ｓａが記憶され、第２のＳ信号保持容量５１１には副画素ａの信号と副画素ｂの信号を加算した加算信号Ｓａｂが記憶される。また、第１のＮ信号保持容量５１０及び第２のＮ信号保持容量５１２には、単位画素部３００のノイズ信号Ｎがそれぞれ記憶される。各信号保持容量５０９〜５１２は、列共通読出し回路３０３の出力端子ｖｓａ，ｖｎａ，ｖｓｂ，ｖｎｂにそれぞれ接続されている。

図４の列共通読出し回路３０３の出力端子ｖｓａ，ｖｎａには、それぞれ水平転送スイッチ３０５，３０６が接続されている。水平転送スイッチ３０５，３０６は、水平走査回路３１１の出力信号ｈａ＊（＊は任意の列番号を表す）によって制御される。信号ｈａ＊がＨｉｇｈレベルになることにより、第１のＳ信号保持容量５０９、第１のＮ信号保持容量５１０の各信号がそれぞれ水平出力線３０９，３１０へ転送される。

また、列共通読出し回路３０３の出力端子ｖｓｂ，ｖｎｂには、それぞれ水平転送スイッチ３０７，３０８が接続されている。水平転送スイッチ３０７，３０８は水平走査回路３１１の出力信号ｈｂ＊（＊は任意の列番号を表す）によって制御される。信号ｈｂ＊がＨｉｇｈレベルになることにより、第２のＳ信号保持容量５１１および第２のＮ信号保持容量５１２の各信号がそれぞれ水平出力線３０９，３１０へ転送される。

水平出力線３０９，３１０は、差動増幅器３１４の各入力端子に接続されている。差動増幅器３１４ではＳ信号とＮ信号の差分を算出し、同時に所定のゲインをかけ、最終的な出力信号を出力端子３１５へ出力する。水平出力線リセットスイッチ３１２，３１３は、信号ｃｈｒｅｓがＨｉｇｈレベルになることによってＯＮ状態となり、各水平出力線３０９，３１０がリセット電圧Ｖｃｈｒｅｓに設定される（リセット）。

次に図７から図９を用いて、ＤＳＰ１０９の本実施例における機能ブロックについて説明する。

単位画素部３００群から得られる、副画素ａに対応する画像データをＬ（Ｘ，Ｙ）、副画素ｂに対応する画像データをＲ（Ｘ，Ｙ）とする（Ｘ，Ｙは０以上の整数であり、画素位置の座標を示す）。この場合において、ａ／ｂ加算信号データ（以下、単に加算データという）Ｎ（Ｘ，Ｙ）は以下の式で表わせる。
Ｎ（Ｘ，Ｙ）＝Ｌ（Ｘ，Ｙ）＋Ｒ（Ｘ，Ｙ）（１）
つまり、加算データＮ（Ｘ，Ｙ）もまた、各単位画素部３００群に対応する画像データである。

本実施例において、撮像素子１０６は、Ｒ（Ｘ，Ｙ）とＮ（Ｘ，Ｙ）を１組として出力する。なお、撮像素子１０６から出力される１組の画像データの組み合わせは他の組み合わせであっても良い。例えば、Ｌ（Ｘ，Ｙ）とＮ（Ｘ，Ｙ）との組み合わせであっても、Ｒ（Ｘ，Ｙ）とＬ（Ｘ，Ｙ）との組み合わせであっても良い。

撮像素子１０６から出力された加算データＮ（Ｘ，Ｙ）と画像データＲ（Ｘ，Ｙ）は、ＡＦＥ１０７およびＤＦＥ１０８を経てＤＳＰ１０９に入力される。

図８（ａ）は加算データＮ（Ｘ，Ｙ）、図８（ｂ）は画像データＲ（Ｘ，Ｙ）を示す。本実施形態では、図８（ａ）及び図８（ｂ）に示されるように、水平６分割、垂直５分割で領域分割を行うものとする。なお、分割の構成はこれに限られない。

図７に示されるように、加算データＮ（Ｘ，Ｙ）と画像データＲ（Ｘ，Ｙ）は、第一の相関演算部６０２と、第二の相関演算部６０４とに入力される。また、加算データＮ（Ｘ，Ｙ）は、公知のホワイトバランス回路、色補間回路、ノイズリダクション処理、ガンマ処理、マトリックス処理、縮退処理等の信号処理や圧縮等を行い、表示部１１１および記録媒体１１０に出力される。

第一の相関演算部６０２は、加算データＮ（Ｘ，Ｙ）から画像データＲ（Ｘ，Ｙ）を減算することで画像データＬ（Ｘ，Ｙ）を算出する。第一の相関演算部６０２は、算出した画像データＬ（Ｘ，Ｙ）と画像データＲ（Ｘ，Ｙ）を基に、後述の方式で、ＣＰＵ１１４が設定した領域における両画像データの相関データＡｆｄ（Ｘ，Ｙ）（相関情報）を算出する。本実施形態において、ＣＰＵ１１４は、図８（ｃ）のように相関データＡｆｄ（Ｘ，Ｙ）を算出する焦点調節領域を設定する。

第一の相関演算部６０２は、画像データＬ（Ｘ，Ｙ）と画像データＲ（Ｘ，Ｙ）とを水平方向にシフト移動しながら両画像データによる信号波形を比較することで、相関データＡｆｄ（Ｘ，Ｙ）を算出する。ここでは、画像データＬを左にシフトする場合のシフト量をマイナス、画像データＲを右にシフトする場合のシフト量をプラスとし、−Ｓ〜Ｓのシフト移動を行う。

第一の相関演算部６０２は、シフト移動毎に水平方向の両画像データにおける信号波形を比較する。具体的には、第一の相関演算部６０２は、シフト量ごとに、各位置における画像データＬと画像データＲのうちで小さい方の値を１行分加算したものを１行分相関値として算出する。そして、シフト量毎に同一の焦点検出領域内の各行の１行分相関値を加算することで、同一焦点検出領域のシフト量ごとの相関値を導出し、相関データＡｆｄ（Ｘ，Ｙ）として制御部６００に入力する。各焦点検出領域内の相関値は、画像データＬと画像データＲによる信号波形が最も重なる（近似する）シフト量において、最大となる。なお、相関データの算出方法はこれに限られず、画像データＬと画像データＲの相関を示す算出方法であればよい。

図９は、制御部６００に入力される相関データＡｆｄ（Ｘ，Ｙ）のデータ構成を示す。制御部６００は、Ａｆｄ（Ｘ，Ｙ）毎に第一の相関演算部６０２で算出された各シフト量（−Ｓ〜Ｓ）の相関値を、ＲＡＭ１１２に格納する。ＲＡＭ１１２は、少なくとも２フレーム以上の相関データを格納できるように構成されている。制御部６００、２フレームの相関データを比較し、比較した結果に基づいて、後述の方法で第二の相関演算部６０４の演算動作を制御する。

第二の相関演算部６０４は、第一の相関演算部６０２と同様に、加算データＮ（Ｘ，Ｙ）から画像データＲ（Ｘ，Ｙ）を減算することで画像データＬ（Ｘ，Ｙ）を算出する。第二の相関演算部６０４は、算出した画像データＬ（Ｘ，Ｙ）と画像データＲ（Ｘ，Ｙ）を基に、第一の相関演算部６０２が相関データＡｆｄ（Ｘ，Ｙ）を求めたのと同様の方法で、ＣＰＵ１１４が設定した領域における相関データＤｅｆｓ（Ｘ，Ｙ）を算出する。本実施形態において、ＣＰＵ１１４は、図８（ｄ）のように相関データＤｅｆｓ（Ｘ，Ｙ）を算出する距離マップ領域を設定する。距離マップ領域は、実際にＣＰＵ１１４が相関データに基づいて距離マップを算出する領域である。本実施形態において、距離マップ領域は画像データの全域となっているが、これに限らない。焦点調節領域が距離マップ領域よりも狭いものであれば、演算処理の負荷を軽減することができる。具体的には、第二の相関演算部６０４が、制御部６００からの指示により、相関データＤｅｆｓ（Ｘ，Ｙ）の演算処理を停止し又は実行することで、演算負荷を軽減することが可能となる。第二の相関演算部６０４が、制御部６００からの指示により、画像データＬ（Ｘ，Ｙ）の演算処理を停止することとしてもよい。

第二の相関演算部６０４により算出された相関データＤｅｆｓ（Ｘ，Ｙ）は、公知のノイズリダクション処理、マトリックス処理、縮退処理等の信号処理を行い、被写体までの距離情報を含む距離マップ（被写体距離分布）として、記録媒体１１０に格納される。また、第二の相関演算部がデフォーカス量を算出してもよいし、ＣＰＵ１１４（距離算出手段）が相関データＤｅｆｓ（Ｘ，Ｙ）からデフォーカス量を算出してもよい。また、これらのデフォーカス量を距離マップとして記録媒体１１０に格納してもよい。

次に、本実施形態におけるＤＳＰ１０９の制御を図１０（ａ）と図１０（ｂ）のフローチャートを用いて説明する。図１０（ａ）は、ＤＳＰ１０９で行われる主な制御について示す。

ステップＳ１００１においてＤＳＰ１０９は、第二の相関演算部６０４の演算処理指示があるか否かを判定し、指示があればステップＳ１００２に処理を進め、指示がなければステップＳ１００３に処理を進める。

ステップＳ１００２においてＤＳＰ１０９は、加算データＮ（Ｘ，Ｙ）と画像データＲ（Ｘ，Ｙ）を用いて、第一の相関演算部と第二の相関演算部において上述の演算処理を行う。一方、ステップＳ１００３においてＤＳＰ１０９は、加算データＮ（Ｘ，Ｙ）と画像データＲ（Ｘ，Ｙ）を用いて、第一の相関演算部のみで上述の演算処理を行い、第二の相関演算部では演算処理を停止する。

ステップＳ１００４においてＤＳＰ１０９（制御部６００）は、次フレームにおいて第二の相関演算部の演算処理を行うか否かについて判定を行う。ここで行われる判断によって、ステップＳ１００１で選択される分岐が変わることとなる。

次に、図１０（ｂ）を用いて、制御部６００において行われる具体的な処理について説明する。

ステップＳ２００１において制御部６００は、第１の相関演算部６０２から相関データＡｆｄ（Ｘ，Ｙ）を取得し、ＲＡＭ１１２に保存する。ステップＳ２００２において制御部６００は、相関データＡｆｄ（Ｘ，Ｙ）に基づき、全ての焦点調節領域においてデフォーカス量がＣＰＵ１１４によって設定された閾値を超えるか否かを判定する。全ての焦点調節領域において閾値を超えていなければステップＳ２００３に進み、超えていればステップＳ２００５へ進む。なお、閾値はＣＰＵ１１４によって設定される。

ステップＳ２００３において制御部６００は、直前のステップＳ２００１で取得した現フレーム（現在）の相関データＡｆｄ（Ｘ，Ｙ）と、現フレームの１つ前のフレーム（過去）の相関データＡｆｄ（Ｘ，Ｙ）をＲＡＭ１１２から読み出し比較する。具体的には、現フレームのＡｆｄ（Ｘ，Ｙ）と１つ前のフレームのＡｆｄ（Ｘ，Ｙ）とから、両フレームにおけるデフォーカス量の差分の絶対値である比較データＣｏｍｐ（Ｘ，Ｙ）を求め、比較データが全ての焦点調節領域において閾値を超えたか否かを判定する。全ての焦点調節領域において閾値を超えていればステップＳ２００４に進み、超えていなければ（閾値以下であれば）ステップＳ２００５に進む。なお、閾値はＣＰＵ１１４によって設定される。また、比較データＣｏｍｐ（Ｘ，Ｙ）は、デフォーカス量の差分の絶対値と閾値とを比較した結果であってもよい。

ステップＳ２００４において制御部６００は、第二の相関演算部６０４に次のフレームで演算処理を実行するように指示し、現フレームにおける処理を終了する。

ステップＳ２００５において制御部６００は、第二の相関演算部６０４に次のフレームで演算処理を停止するように指示し、現フレームにおける処理を終了する。

ステップＳ２００２の判定によれば、撮像素子１０６から得られた画像のボケが大きい場合に相関データＤｅｆｓ（Ｘ，Ｙ）の演算処理を停止することで、演算回路の負荷を低減することができる。また、ステップＳ２００３の判定によれば、撮像素子１０６から得られ画像のデフォーカス量の変化が少ない場合に相関データＤｅｆｓ（Ｘ，Ｙ）の演算処理を停止することで、演算回路の負荷を低減することができる。

次に図１１Ａ、図１１Ｂ、及び図１１Ｃを用いて、ステップＳ１００５からステップＳ１００８に対応する、ある程度ボケが修正された後の動画撮影におけるＤＳＰ１０９の処理を具体的に説明する。図１１Ａから図１１Ｃは、動画撮影時のＤＳＰ１０９の動作を示す。ここで、フレームＮ〜Ｎ＋２はそれぞれ動画のフレーム番号を表し、図１１Ａから図１１Ｃはそれぞれ第Ｎフレームから第Ｎ＋２フレームにおける処理を示す。フレーム番号の下には、ＤＦＥ１０８からＤＳＰ１０９に入力される入力データ、第一の相関演算部６０２から出力される相関データＡｆｄ（Ｘ，Ｙ）を示す。更に、その下には制御部６００が求める比較データＣｏｍｐ（Ｘ，Ｙ）、第二の相関演算部６０４から出力される相関データＤｅｆｓ（Ｘ，Ｙ）を示す。また、以下の説明において、制御部６００は、第Ｎ−１フレームの画像から算出した各シフト量（−Ｓ〜Ｓ）の相関データＡｆｄ（Ｘ，Ｙ）を予め保持しているものとする。

まず、第Ｎフレーム（画像フレームＮ）において、第Ｎ＋１フレームで第二の相関演算部６０４における相関データＤｅｆｓ（Ｘ，Ｙ）の演算処理を停止すると判定する処理について図１１Ａを用いて説明する。

ＤＦＥ１０８から第Ｎフレームのデジタル画像信号が先頭ラインから順にＤＳＰ１０９に入力される。この際、ＤＳＰ１０９に加算データＮ（Ｘ，Ｙ）と画像データＲ（Ｘ，Ｙ）の両方が入力される。

第二の相関演算部６０４は、加算データＮ（０，０）と画像データＲ（０，０）が入力されたタイミングで相関演算処理を開始する。当該相関演算処理では、上述の方式に従って相関データＤｅｆｓ（Ｘ，Ｙ）が算出される。そして、第二の相関演算部６０４は、相関演算処理時間ｔ後に相関データＤｅｆｓ（０，０）から順に距離マップ領域の相関データＤｅｆｓ（Ｘ，Ｙ）を出力し、相関データＤｅｆｓ（６，４）を出力したタイミングで相関演算処理を終了する。

第一の相関演算部６０２は、加算データＮ（１，１）と画像データＲ（１，１）が入力されるタイミングで相関演算処理を開始する。当該相関演算処理では、上述の方式に従って相関データＡｆｄ（Ｘ，Ｙ）が算出される。そして、第一の相関演算部６０２は、相関演算処理時間ｔ後に相関データＡｆｄ（１，１）から順に焦点調節領域の相関データＡｆｄ（Ｘ，Ｙ）を出力し、焦点調節領域Ａｆｄ（５，３）の相関値を出力したタイミングで相関演算処理を終了する。

制御部６００は、第一の相関演算部６０２より相関データＡｆｄ（１，１）が入力されたタイミングで、第Ｎフレームについて相関データＡｆｄ（Ｘ，Ｙ）のＲＡＭ１１２への格納を開始する。そして、制御部６００は、第Ｎフレームの最終データである加算データＮ（６，４）と画像データＲ（６，４）がＤＳＰ１０９に入力された直後に、相関データＡｆｄ（Ｘ，Ｙ）に対する第Ｎ−１フレームと第Ｎフレームの比較動作を開始する。制御部６００は、比較動作において、直前の第Ｎ−１フレームと第Ｎフレームの相関データＡｆｄ（Ｘ，Ｙ）についての差分の絶対値がＣＰＵ１１４により設定された閾値を超えるか否かを判断する。

制御部６００は、全ての比較データＣｏｍｐ（Ｘ，Ｙ）で閾値を超えないことを確認すると、次フレーム処理に備えて選択動作Ｓｅｌを行う。選択動作Ｓｅｌでは、比較動作に用いるフレームを第Ｎフレームと第Ｎ＋１フレームに設定し直し、ＲＡＭ１１２において第Ｎ＋１フレームの相関データＡｆｄ（Ｘ，Ｙ）を格納する領域を確保する。

制御部６００は、第Ｎフレームが終了するタイミングで、第二の相関演算部６０４における相関データＤｅｆｓ（Ｘ，Ｙ）の演算処理を停止させるＳｔｏｐ動作を行う。

次に、第Ｎ＋１フレームにおいて、第二の相関演算部６０４の相関演算処理を停止している場合のＤＳＰ１０９の処理について図１１Ｂを用いて説明する。なお、第Ｎフレームと同様の処理は説明を省略する。

制御部６００は、第一の相関演算部６０２より相関データＡｆｄ（１，１）が入力されたタイミングで、第Ｎ＋１フレームについて相関データＡｆｄ（Ｘ，Ｙ）のＲＡＭ１１２への格納を開始する。そして、制御部６００は、第Ｎ＋１フレームの最終データである加算データＮ（６，４）と画像データＲ（６，４）がＤＳＰ１０９に入力された直後に、相関データＡｆｄ（Ｘ，Ｙ）に対する第Ｎフレームと第Ｎ＋１フレームの比較動作を開始する。

制御部６００は、比較動作を完了すると、次フレーム処理に備えて、選択動作Ｓｅｌを行う。選択動作Ｓｅｌでは、比較動作に用いるフレームを第Ｎ＋１フレームと第Ｎ＋２フレームに設定し直し、ＲＡＭ１１２において第Ｎ＋２フレームの相関データ（Ｘ，Ｙ）を格納する領域を確保する。

次に、第Ｎ＋２フレームにおいて第二の相関演算部６０４の相関データＤｅｆｓ（Ｘ，Ｙ）の演算処理を停止から復帰する際のＤＳＰ１０９の処理について、図１１Ｃを用いて説明する。なお、第Ｎフレームと同様の処理は説明を省略する。

制御部６００は、第一の相関演算部６０２より相関データＡｆｄ（１，１）が入力されたタイミングで第Ｎ＋２フレームの相関データＡｆｄ（Ｘ，Ｙ）についてのＲＡＭ１１２への格納を開始する。そして、制御部６００は、第Ｎ＋２フレームの最終データである加算データＮ（６，４）と画像データＲ（６，４）の入力直後に、相関データＡｆｄ（Ｘ，Ｙ）に対する第Ｎ＋１フレームと第Ｎ＋２フレームの相関データＡｆｄ（１，１）に対し比較動作を開始する。

制御部６００は、比較動作を完了すると、次フレーム処理に備えて、選択動作Ｓｅｌを行う。本実施形態の第Ｎ＋２フレームにおいて、比較データＣｏｍｐ（４，２）が閾値を超えた。そのため、選択動作Ｓｅｌは、比較動作に用いるフレームを第Ｎ＋２フレームと第Ｎ＋３フレームに設定し直し、ＲＡＭ１１２において第Ｎ＋３フレームの相関データＡｆｄ（Ｘ，Ｙ）を格納する領域を確保する。

制御部６００は、第Ｎ＋２フレームが終了するタイミングで、第二の相関演算部６０４における相関データＤｅｆｓ（Ｘ，Ｙ）の演算処理を実行させるＥｘｅ動作を行う。

以上のように、画像データに応じて次のフレームで距離マップを算出するか否かを判定し、重要度の低い演算処理を削減することで、演算回路の負荷を低減することができる。なお、全ての焦点調節領域でデフォーカス量や比較データが閾値を超えた場合に次のフレームで距離マップの演算を停止するとしたが、一部の焦点調節領域で閾値を超えた場合に次のフレームの対応する距離マップ領域の演算を停止することとしてもよい。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施の形態を説明したが、本発明はこれらの実施形態に限定されるものではなく、その要旨の範囲内で種々の変形及び変更が可能である。

撮像装置１００
１０６撮像素子
１０９ＤＳＰ
６００制御部
６０２第一の相関演算部
６０４第二の相関演算部

Claims

画素部がそれぞれ複数の光電変換部を有し該光電変換部から焦点検出用信号および画像生成用信号を出力する撮像素子を備え、前記複数の光電変換部の前記焦点検出用信号の相関情報から被写体距離分布を算出する撮像装置に用いられる制御装置であって、
第１の領域に位置する前記画素部について、前記相関情報を算出する第１の演算部と、
前記第１の領域よりも広い第２の領域に位置する前記画素部について、前記相関情報を算出する第２の演算部と、
前記第１の演算部によって算出された前記相関情報に基づいて、前記第２の領域に位置する前記画素部の前記相関情報を算出させるか否か前記第２の演算部を制御する制御部と、を有することを特徴とする制御装置。
前記制御部は、前記第１の領域に位置する前記画素部のうち１つについて算出された前記相関情報に基づいて、前記第２の領域に位置する複数の前記画素部について前記相関情報を算出させるか否か前記第２の演算部を制御することを特徴とする請求項１に記載の制御装置。
前記制御部は、前記第１の領域に位置する前記画素部ついて算出された現在の前記相関情報と過去の前記相関情報の差分に基づいて、前記第２の領域に位置する前記画素部の前記相関情報を算出させるか否か前記第２の演算部を制御することを特徴とする請求項１又は２に記載の制御装置。
前記制御部は、前記差分の絶対値が閾値を超えた場合に、前記第２の領域に位置する前記画素部の前記相関情報を算出するように前記第２の演算部を制御することを特徴とする請求項３に記載の制御装置。
前記制御部は、前記第１の領域に位置する全ての前記画素部における前記差分の絶対値が閾値を超えた場合に、前記第２の領域に位置する前記画素部の前記相関情報を算出するように前記第２の演算部を制御することを特徴とする請求項４に記載の制御装置。
前記制御部は、前記第１の領域に位置する前記画素部について算出された前記相関情報が閾値以下となった場合に、前記第２の領域に位置する前記画素部の前記相関情報を算出するように前記第２の演算部を制御することを特徴とする請求項１から５のうちいずれか１項に記載の制御装置。
前記制御部は、前記第２の領域に位置する全ての前記画素部における前記相関情報が閾値以下となった場合に、前記第２の領域に位置する前記画素部の前記相関情報を算出させるように前記第２の演算部を制御することを特徴とする請求項６に記載の制御装置。
請求項１から７のうちいずれか１項に記載の制御装置と、
前記撮像素子と、
前記第２の演算部によって演算された前記相関情報から被写体距離を算出する距離算出手段と、を有することを特徴とする撮像装置。
画素部がそれぞれ複数の光電変換部を有し該光電変換部から焦点検出用信号および画像生成用信号を出力する撮像素子を備え、前記複数の光電変換部の前記焦点検出用信号の相関情報から被写体距離分布を算出する撮像装置の制御方法であって、
第１の領域に位置する前記画素部について、前記相関情報を算出する第１の演算ステップと、
前記第１の領域よりも広い第２の領域に位置する前記画素部について、前記相関情報を算出する第２の演算ステップと、
前記第１の演算ステップによって算出された前記相関情報に基づいて、前記第２の演算ステップを行うか否か判定する判定ステップと、を有することを特徴とする制御方法。
画素部がそれぞれ複数の光電変換部を有し該光電変換部から焦点検出用信号および画像生成用信号を出力する撮像素子を備え、前記複数の光電変換部の前記焦点検出用信号の相関情報から被写体距離分布を算出する撮像装置の制御方法であって、
第１の領域に位置する前記画素部について、前記複数の光電変換部の前記焦点検出用信号の相関情報を算出する第１の演算ステップと、
前記第１の領域よりも広い第２の領域に位置する前記画素部について、前記相関情報を算出する第２の演算ステップと、
前記第１の演算ステップによって算出された前記相関情報に基づいて、前記第２の演算ステップを行うか否か判定する判定ステップと、を有することを特徴とする制御方法。
画素部がそれぞれ複数の光電変換部を有し該光電変換部から焦点検出用信号および画像生成用信号を出力する撮像素子を備え、前記複数の光電変換部の前記焦点検出用信号の相関情報から被写体距離分布を算出する撮像装置に、請求項１０に記載の制御方法を実行させることを特徴とするプログラム。
請求項１１に記載のプログラムを格納することを特徴とする記憶媒体。