JP2019168479A - 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体 - Google Patents

Abstract

【課題】高精度かつ高速なフォーカス制御が可能な制御装置を提供する。【解決手段】制御装置（１）は、第１の撮像部（１００）を介して得られた画像信号に基づいて焦点情報を算出する焦点情報算出部（２３）と、第２の撮像部（１１０）を介して得られた画像信号に基づいて、被写体までの距離に関する距離情報を算出する距離情報算出部（２１）と、第１の撮像部の焦点情報に基づいて補正値を算出する補正値算出部（２２）と、補正値と距離情報とに基づいて第１の撮像部のフォーカス制御を行う制御部（３０、４１）とを有する。【選択図】図２

Description

本発明は、複数の撮像部を備えた撮像装置に関する。

近年、２つの撮像部を備えた撮像装置（ステレオカメラ）は、自動車やデジタルカメラなどの様々な分野で広く利用されている。特許文献１には、主たる撮影レンズおよび撮像素子とは別に被写体距離取得用の２つのレンズおよび２つの撮像素子を備え、それらを用いて距離マップ画像を取得する撮像装置が開示されている。

特開２０１３−４２３７９号公報

ところで、望遠レンズを用いて動体などの被写体を撮影する際、撮影視野が狭いため、被写体が撮影視野から外れると、再度、撮影視野内に被写体を捉えることは困難である。また、撮影視野内に被写体を捉えることができた場合でも、その瞬間に望遠レンズのフォーカス調整を完了させることは難しい。すなわち、望遠レンズを用いて被写体を撮影する場合、被写体を撮影視野内に捉え、この被写体に高速で合焦させることは困難である。

また、温度変動や落下の衝撃などによる構成部材の変形により、撮像装置の光学特性（光軸方向、基線長など）が変化し、距離情報算出結果（焦点検出結果）に誤差が生じうる。特許文献１に開示された撮像装置では、距離情報算出精度が低下すると、主たる撮影レンズのフォーカス位置を高精度に決定することができず、高速なフォーカス制御を実現することが難しい。

そこで本発明は、高精度かつ高速なフォーカス制御が可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することを目的とする。

本発明の一側面としての制御装置は、第１の撮像部を介して得られた画像信号に基づいて焦点情報を算出する焦点情報算出部と、第２の撮像部を介して得られた画像信号に基づいて、被写体までの距離に関する距離情報を算出する距離情報算出部と、前記第１の撮像部の前記焦点情報に基づいて補正値を算出する補正値算出部と、前記補正値と前記距離情報とに基づいて前記第１の撮像部のフォーカス制御を行う制御部とを有する。

本発明の他の側面としての撮像装置は、少なくとも１つの撮像光学系を備えた第２の撮像部と、前記制御装置とを有する。

本発明の他の側面としての制御方法は、第１の撮像部を介して得られた画像信号に基づいて焦点情報を算出するステップと、第２の撮像部を介して得られた画像信号に基づいて、被写体までの距離に関する距離情報を算出するステップと、前記第１の撮像部の前記焦点情報に基づいて補正値を算出するステップと、前記補正値と前記距離情報とに基づいて前記第１の撮像部のフォーカス制御を行うステップとを有する。

本発明の他の側面としてのプログラムは、前記制御方法をコンピュータに実行させる。

本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施形態において説明される。

本発明によれば、高精度かつ高速なフォーカス制御が可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供すことができる。

実施例１における撮像装置の外観図である。 実施例１における撮像装置のブロック図である。 各実施例における表示部に表示される画像の説明図である。 実施例１における撮像装置の動作を示すフローチャートである。 実施例２における撮像装置のブロック図である。 実施例２における撮像装置の動作を示すフローチャートである。 各実施例における被写体距離の算出方法の説明図である。 各実施例における対応被写体探索処理の説明図である。 各実施例における撮像光学系が変形した場合の被写体距離の算出方法の説明図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

まず、図７を参照して、２つの撮像光学系を用いて被写体距離を取得する方法について説明する。図７は、被写体距離の算出方法の説明であり、互いに同一の構造を有する２つの撮像光学系ＣＡ、ＣＢを用いて撮影シーンのうちの１点に存在する被写体Ｏｂｊを撮像する様子を示している。撮像素子ＳＡ、ＳＢはそれぞれ、撮像光学系ＣＡ、ＣＢにより形成された被写体像（光学像）を受光する。撮像光学系ＣＡ、ＣＢのそれぞれの入射瞳中心は（−Ｄ／２，０）、（Ｄ／２，０）に存在し、被写体Ｏｂｊは（ｘ、ｚ）に存在する。撮像光学系ＣＡ、ＣＢのそれぞれの焦点距離をｆ、撮像素子ＳＡ、ＳＢのそれぞれにおける被写体Ｏｂｊの座標をａ、ｂとすると、以下の式（１）が成立する。

式（１）において、ｂ−ａは、互いに異なる視点から同一の被写体を撮像した際の撮像面上での位置のずれ、すなわち視差である。視差ｂ−ａ（視差量）を取得することができれば、視差ｂ−ａ、撮像光学系ＣＡ、ＣＢのそれぞれの焦点距離ｆ、および、基線長Ｄを式（１）に代入することにより、被写体距離ｚ（撮像光学系の入射瞳中心から被写体Ｏｂｊまでの距離）を算出することができる。

続いて、図８を参照して、２つの撮像光学系を用いて取得された２つの画像から視差量を取得するための対応被写体探索処理について説明する。図８は、対応被写体探索処理の説明図であり、互いに異なる視点から撮像された画像ＩＭＧ１、ＩＭＧ２を示している。画像座標（Ｘ，Ｙ）は、図８中に示される画素群の中心を原点として定義し、水平方向をＸ軸、垂直方向をＹ軸とする。また、画像座標（Ｘ，Ｙ）に位置する画像ＩＭＧ１の画素値をＦ１（Ｘ，Ｙ）とし、画像ＩＭＧ２の画素値をＦ２（Ｘ，Ｙ）として説明する。画像ＩＭＧ１における任意の座標（Ｘ，Ｙ）に対応する画像ＩＭＧ２の画素は、座標（Ｘ，Ｙ）における画像ＩＭＧ１の画素値Ｆ１（Ｘ，Ｙ）と最も類似する画像ＩＭＧ２の画素値を探すことで求めることができる。なお、以降の説明において、画像上の対応点と対応画素とは同一の意味である。

ここで、図８に示される画像ＩＭＧ１、ＩＭＧ２上の縦線で示される画素Ｐ１、Ｐ２は、互いに同じ被写体からの光を記録した、対応画素（対応点）に相当する。ただし、一般的に任意の画素と最も類似する画素を探すことは難しいため、画像座標（Ｘ，Ｙ）の近傍の画素も用い、ブロックマッチング法と呼ばれる手法で類似画素を探索することができる。

例えば、ブロックサイズが３である場合のブロックマッチング処理について説明する。画像ＩＭＧ１の任意の座標（Ｘ，Ｙ）の画素（注目画素）、および、その前後の座標（Ｘ−１、Ｙ）、（Ｘ＋１、Ｙ）に位置する２つの画素の計３画素の画素値はそれぞれ、Ｆ１（Ｘ，Ｙ）、Ｆ１（Ｘ−１，Ｙ）、Ｆ１（Ｘ＋１，Ｙ）となる。これに対し、座標（Ｘ，Ｙ）からＸ方向にｋだけずれた画像ＩＭＧ２の画素の画素値はそれぞれ、Ｆ２（Ｘ＋ｋ，Ｙ），Ｆ２（Ｘ＋ｋ−１，Ｙ），Ｆ２（Ｘ＋ｋ＋１，Ｙ）となる。このとき、画像ＩＭＧ１の座標（Ｘ，Ｙ）に位置する注目画素と、画像ＩＭＧ２の座標（Ｘ＋ｋ，Ｙ）に位置する画素との類似度Ｅは、以下の式（２）のように定義される。

式（２）において逐次ｋの値を変えて類似度Ｅを算出し、最も小さい類似度Ｅを与える座標（Ｘ＋ｋ、Ｙ）が、画像ＩＭＧ１の注目画素に対応する画像ＩＭＧ２の画素の座標となる。ここでは、Ｘ方向にのみ逐次座標を変化させながら類似度Ｅを算出しているが、Ｙ方向、または、Ｘ方向およびＹ方向の両方向にも逐次座標を変化させながら類似度Ｅを算出してもよい。このような対応被写体探索処理を行うことにより、２つの画像のそれぞれにおける対応点（対応画素）の座標を取得することができ、それらの相違量である視差量を算出することが可能である。

本実施形態では、ブロックサイズが３である場合のブロックマッチング処理について説明したが、前述の処理において、探索範囲およびブロックサイズは変更可能なパラメータである。視差量が事前にある程度予測される場合には、探索範囲をある領域に絞って処理を行うことで、処理負荷を大幅に低減して高速化を図ることができる。ブロックサイズについては、一般的に被写体の構造サイズに合わせて設定することにより、視差量の算出精度を向上させることができる。また、特に画像がボケている場合、そのボケ量を加味してブロックサイズを拡大することにより、視差量の算出誤差を低減することができる。また、類似度Ｅに対して直線フィッティングやパラボラフィッティングによってサブ画素レベルで視差量を算出する手法が知られている。これらのフィッティング関数は、画像の鮮鋭度に応じてサブ画素算出誤差が変化することが知られており、画像の鮮鋭度に応じて関数を選択することも可能である。

以上説明したように、２つの撮像光学系を用いて取得した２つの画像において対応被写体探索処理を行うことにより視差量を算出し、この視差量に基づいて被写体距離を算出することができる。また、撮像光学系に応じて視差量と像面移動量であるデフォーカス量との関係は決定される。このため、その視差量に基づいてデフォーカス量を算出することができる。そして、そのデフォーカス量に基づいてレンズの繰り出し量を求め、レンズを移動し合焦させることができる（位相差ＡＦ）。以降、本明細書中では、被写体距離、視差量、デフォーカス量、または、位相差情報を被写体距離に関する情報という意味で距離情報とも表現する。

ここで、前述の被写体距離ｚの算出では、撮像光学系ＣＡ、ＣＢを用いて（ｘ、ｚ）に存在する被写体Ｏｂｊを撮像した場合、撮像素子ＳＡ、ＳＢ上の常に同じ位置である座標ａ、ｂに被写体Ｏｂｊの像が生じることを前提としている。この前提条件は、撮像光学系ＣＡ、ＣＢが変形しない場合には常に成り立つが、撮像光学系ＣＡ、ＣＢが変形した場合にはその限りではない。一例として、図９は、図７に示される撮像光学系ＣＡが左方向に偏芯し、撮像光学系ＣＢが左回りに傾いた場合の状態を模式的に示している。この状態で撮像光学系ＣＡ、ＣＢを用いて（ｘ、ｚ）に存在する被写体Ｏｂｊを撮像した場合、被写体Ｏｂｊの像が生じる座標は、撮像素子ＳＡではａ＋ｃの位置、撮像素子ＳＢではｂ＋ｄの位置となる。すなわち、初期状態である図７から撮像光学系が変形した図９の状態への変化により、撮像素子ＳＡ、ＳＢ上の像位置がそれぞれ像ズレ量ｃ、ｄだけずれる。式（１）から明らかなように、分母に像ズレ量ｃ、ｄが加わるため、式（１）の右辺の値は被写体距離ｚとは異なる値となる。すなわち、撮像光学系の変形による像ズレ量の発生により、被写体距離ｚの算出に誤差が生じる。

本実施形態は、複数の撮像部を備えて構成される撮像装置であって、焦点（焦点情報）を検出する焦点検出部とフォーカス機構を有する撮像光学系を備えた第１の撮像部と、少なくとも１つの撮像光学系を備えた第２の撮像部とを有する。また撮像装置は、第２の撮像部を介して得られた少なくとも２つの画像信号に基づいて被写体までの距離に関する距離情報を算出する距離情報算出部を有する。また撮像装置は、焦点検出部が出力する第１の撮像部の焦点情報に基づいて第２の撮像部を介して得られた距離情報を補正する補正値算出部を有し、被写体距離の算出誤差を補正することができる。このような構成により、誤差を補正された距離情報に基づいて第１の撮像部が被写体に合焦するようにフォーカス機構を制御することにより、高速かつ高精度に被写体に合焦させることができる。ここまで、本実施形態の制御装置による距離算出方法の概要について説明した。以下、制御装置（撮像装置）について、各実施例において詳述する。

まず、図１および図２を参照して、本発明の実施例１における撮像装置１（撮像システム）について説明する。図１は、撮像装置１の外観図であり、図１（ａ）は俯瞰図、図１（ｂ）は正面図をそれぞれ示している。図２は、撮像装置１のブロック図である。

撮像装置１は、主として被写体の撮像に用いられる主撮像部（第１の撮像部）１００と、被写体の距離を取得する副撮像部（第２の撮像部）１１０とを有する。主撮像部１００は、撮像光学系（第１の撮像光学系）１０１と撮像素子１０２とを備えて構成される。撮像光学系１０１は、１つ以上のレンズ、絞り１０１Ａ、および、フォーカスレンズ（フォーカス機構）１０１Ｆを備えて構成されており、被写体（不図示）からの光を撮像素子１０２上に結像させる。また撮像光学系１０１は、その内部に設けられた１つ以上のレンズが駆動することで焦点距離が変化する変倍光学系である。

図１において、撮像光学系１０１は撮像装置１の一部として構成されているが、一眼レフカメラのように交換式の撮像光学系であってもよい。すなわち本実施例は、撮像素子１０２を備えた撮像装置本体と撮像光学系１０１とが一体的に構成された撮像装置、または、撮像光学系１０１が着脱可能な撮像装置（撮像光学系１０１と撮像装置本体とで構成される撮像システム）のいずれにも適用可能である。

撮像素子１０２は、ＣＭＯＳセンサやＣＣＤセンサなどの固体撮像素子であり、撮像光学系１０１を介して形成された光学像（被写体像）を光電変換して画像信号（アナログ電気信号）を出力する。撮像光学系１０１における絞り１０１Ａおよびフォーカスレンズ１０１Ｆの機械的な駆動は、システムコントローラ３０からの指示（制御）に基づいて、撮像制御部４０（フォーカス制御部４１）により行われる。システムコントローラ３０およびフォーカス制御部４１により制御部が構成される。絞り１０１Ａは、設定された絞り値（Ｆ値、Ｆナンバー）に応じてその開口径が制御される。フォーカス制御部４１は、被写体距離に応じてフォーカスレンズ１０１Ｆの位置を制御することにより、フォーカス調整を行う。Ａ／Ｄコンバータ１０は、撮像素子１０２から出力されたアナログ電気信号（画像信号）をデジタル信号に変換する。

画像処理部２０は、Ａ／Ｄコンバータ１０から出力されたデジタル信号に対して、画素補間処理、輝度信号処理、および、色信号処理など、いわゆる現像処理を行い、画像（画像データ）を生成する。画像処理部２０により生成された画像は、半導体メモリや光ディスクなどの画像記録媒体６０に記録される。また画像処理部２０により生成された画像は、表示部７０に表示されてもよい。情報入力部５０には、ユーザの指示（操作）に基づいて様々な情報が入力される。一例としては、画像取得時の撮像条件（撮影条件情報）であり、具体的には主撮像部１００のＦ値、ＩＳＯ感度などであるが、これらに限定されるものではない。

副撮像部（第２の撮像部）１１０は、撮像光学系（第２の撮像光学系）１１１ａおよび撮像光学系（第３の撮像光学系）１１１ｂと、撮像光学系１１１ａ、１１１ｂにそれぞれ対応する撮像素子１１２ａ、１１２ｂとを備えて構成される。撮像光学系１１１ａ、１１１ｂはそれぞれ、被写体（不図示）からの光を撮像素子１１２ａ、１１２ｂ上に結像させる単焦点撮像光学系であり、焦点距離が互いに等しい。また撮像光学系１１１ａ、１１１ｂはそれぞれ、フォーカスレンズ１１１ａＦ、１１１ｂＦを有する。撮像素子１１２ａ、１１２ｂにより生成されたアナログ電気信号（画像信号）は、撮像素子１０２の場合と同様に、Ａ／Ｄコンバータ１０へ出力されデジタル信号へ変換される。

画像処理部２０は、撮像素子１１２ａ、１１２ｂのそれぞれから出力された２つの画像を生成する。この２つの画像は、撮像光学系１１１ａ、１１１ｂにより形成された被写体像に相当し、互いに視差を有する２つの視差画像である。画像処理部２０により生成された画像は、主撮像部１００場合と同様に、表示部７０に表示することができる。本実施例では、撮像光学系（第２の撮像光学系）１１１ａを介して得られる画像を表示部７０に表示するが、これに限定されるものではない。なお本実施例において、副撮像部１１０は撮像装置１から着脱可能であってもよい。この場合、複数の副撮像部の中から撮像装置１の主撮像部１００に適した副撮像部を選択して撮像装置１に装着することができる。

画像処理部２０は、距離情報算出部（焦点情報算出部）２１および補正値算出部２２を有する。距離情報算出部２１は、副撮像部１１０により生成された２つの視差画像（撮像素子１１２ａ、１１２ｂから出力された２つの画像信号）に基づいて、視差量または被写体距離を算出する。また距離情報算出部（焦点情報算出部）２１は、主撮像部１００を介して得られた画像（画像信号）に基づいて、コントラストＡＦの評価値を算出して焦点情報（フォーカス位置に関する情報）を出力（焦点情報を算出）する。なお距離情報算出部２１は、コントラストＡＦに代えて、位相差ＡＦ、またはコントラストＡＦと位相差ＡＦとを組み合わせたハイブリッドＡＦを行ってもよい。距離情報算出部２１は、情報入力部５０を介してユーザにより指定された特定の領域または特定の被写体の距離情報または焦点情報を算出してもよい。情報入力部５０は、例えば、ユーザによって選択された特定の被写体を距離情報算出領域（焦点検出領域）として選択し、常にその特定の被写体（動く被写体）を距離情報算出領域として設定することができる。また、撮像光学系１１１ａ、１１１ｂの画角のうち互いに重畳する画角領域内の全ての被写体の距離を算出し、それらの距離を画素値として示す距離マップ画像を生成してもよい。補正値算出部２２は、入力された主撮像部１００からの焦点情報と副撮像部１１０からの距離情報（視差量または被写体距離）とに基づいて、副撮像部１１０からの距離情報を補正する補正値を算出する。メモリ８０は、距離情報に応じた主撮像部１００のフォーカスレンズの位置（フォーカス位置）に関するデータをテーブルとして記憶している。

なお本実施例において、撮像装置１は、主撮像部１００および副撮像部１１０に対して１つのＡ／Ｄコンバータ１０および１つの画像処理部２０を有するが、これに限定されるものではない。例えば、主撮像部１００および副撮像部１１０のそれぞれに専用のＡ／Ｄコンバータおよび画像処理部（複数のＡ／Ｄコンバータおよび複数の画像処理部）を設けてもよい。

副撮像部１１０を構成する撮像光学系１１１ａ、１１１ｂは、最も被写体に近いレンズ（最も被写体側のレンズ）同士の間の長さが５０ｍｍになるように配置されており、この長さが副撮像部１１０の基線長Ｄに相当する。撮像光学系１１１ａ、１１１ｂは互いに同一の構成を有し、左右対称であるように平行に配置されている。すなわち、撮像光学系１１１ａ、１１１ｂのそれぞれの開口部（開口絞り）よりも被写体側において、撮像光学系１１１ａ、１１１ｂの光軸は互いに平行である。

副撮像部１１０を構成する２つの撮像光学系１１１ａ、１１１ｂは、互いに同一の画角を有する。また、撮像光学系１１１ａ、１１１ｂのそれぞれの画角は、主撮像部１００を構成する撮像光学系１０１の望遠端における画角よりも広い。本実施例において、主撮像部１００を構成する撮像光学系１０１の望遠端における焦点距離は３５ｍｍ判換算で１０００ｍｍ、副撮像部１１０を構成する２つの撮像光学系１１１ａ、１１１ｂの焦点距離は３５ｍｍ判換算で４００ｍｍである。

副撮像部の撮像素子１１２ａ、１１２ｂはそれぞれ、主撮像部の撮像素子１０２と比較して、一辺のサイズが略半分のサイズである。このため、主撮像部と副撮像部の撮像光学系の実焦点距離の比は、略５倍となるため、主撮像部に対して副撮像部の被写界深度が十分に深い構成となっている。

ここで、図３（ａ）、（ｂ）を参照して、主撮像部１００の撮像光学系１０１を望遠端に設定とした場合における、表示部７０の画像表示例を説明する。図３（ａ）、（ｂ）は、表示部７０に表示される画像の説明図であり、被写体３０３（鳥）を撮像する際に、表示部７０に表示される画像を示している。図３（ａ）は被写体３０３が主撮像部１００の撮影視野領域の範囲外に存在する状態、図３（ｂ）は被写体３０３が主撮像部１００の撮影視野領域の範囲内に存在する状態をそれぞれ示している。

図３（ａ）中の実線３０１で囲まれる領域は、副撮像部１１０の撮像光学系１１１ａの撮影視野（撮影視野領域）である。このように、表示部７０には、副撮像部１１０の撮像光学系１１１ａを介して撮像されている画像が表示される。図３（ａ）中の破線３０２で囲まれる領域は、主撮像部１００の撮影視野（撮影視野領域）を示している。ユーザは、表示部７０に表示された破線３０２（主撮像部１００の撮影視野に関する情報）により、主撮像部１００の撮影視野を確認することができる。

図３（ａ）において、撮影対象の被写体３０３（鳥）が主撮像部１００の撮影視野の範囲内に入っていない（主撮像部１００の撮影視野の範囲外である）が、表示される副撮像部１１０の撮影視野の範囲内に入っていることを示している。このように本実施例において、表示部７０は、副撮像部１１０を介して得られた画像に、主撮像部１００の撮影視野に関する情報（破線３０２）を重ねて表示する。このためユーザは、例えば望遠撮影の際に、撮影視野に被写体を捉えることが容易になる。また、主撮像部１００の望遠端における画角よりも副撮像部１１０の画角が広くため、変倍光学系を用いた望遠撮影の際に被写体を捉えやすくなる。好ましくは、副撮像部１１０は、主撮像部１００の望遠端における画角と比較して、２倍以上広い画角を有する。このように主撮像部１００と副撮像部１１０との焦点距離比（画角比）を２倍以上とすることにより、被写体をより容易に捉えることが可能になる。

なお本実施例において、表示部７０は、主撮像部１００の撮影視野に関する情報として、主撮像部１００の視野領域をユーザに認識させるための破線３０２を表示しているが、これに限定されるものではない。表示部７０は、例えば、副撮像部１１０を介して得られた画像に、主撮像部１００を介して得られた画像を合成して表示してもよい（主撮像部１００を介して得られる画像を破線３０２で囲まれる領域に合成表示してもよい）。このような合成表示を行うことにより、ユーザは、主撮像部１００により撮像される最終的な画像を認識し易くなる。

次に、図４を参照して、撮像装置１の撮像手順について説明する。図４は、撮像装置１の動作（撮像動作）を示すフローチャートである。図４の各ステップは、主に、システムコントローラ３０の指令に基づいて、撮像装置１の各部により実行される。

まずステップＳ１０１において、システムコントローラ３０は、撮像制御部４０を介して、主撮像部１００を用いたコントラストＡＦ（焦点検出処理）を行う。より詳細には、システムコントローラ３０は、撮像制御部４０を介して主撮像部１００を制御し、撮像を行うことでプレ画像を取得する。ここでは、図３（ａ）に示される破線３０２で囲まれる領域内の建造物を撮像している状態とする。また、情報入力部（領域選択部）５０は、破線３０２で囲まれる領域内の任意の建造物の一部を焦点検出領域として決定する。システムコントローラ３０は、情報入力部５０により決定された焦点検出領域内の画像信号のみを距離情報算出部２１に供給する。そしてシステムコントローラ３０は、距離情報算出部２１が焦点検出領域内の画像信号に基づいて生成したＡＦ評価値を取得する。

またシステムコントローラ３０は、フォーカスレンズ１０１Ｆを微小量だけ左右に移動させ、再度、ＡＦ評価値（左に移動させて得られたＡＦ評価値および右に移動させて得られたＡＦ評価値）を取得する。システムコントローラ３０は、微小駆動で得られたＡＦ評価値に基づいてコントラストＡＦを行い、フォーカスレンズ１０１Ｆの位置（フォーカス位置）を決定する。また、ステップＳ１０１の前段階として、システムコントローラ３０は、図４に示されるフローチャートに従う撮像動作を実施するか否かを判定してもよい。この判定は、不図示の温度検出手段による温度測定結果や振動検出手段による振動量測定結果に基づいて、光学系の変形要因が検出されたか否かの判定に基づいて行うこともできる。

続いてステップＳ１０２において、画像処理部２０（距離情報算出部２１）は、ステップＳ１０１にて決定されたフォーカスレンズ１０１Ｆの位置に基づいて、焦点検出領域内の被写体に対する焦点情報を算出する。ある被写体距離に対するフォーカスレンズ１０１Ｆの位置は、結像光学系（撮像光学系）において一義的に決定される。すなわち、撮像光学系１０１に関し、ある被写体距離に対して像を撮像素子面上に合焦させるためのフォーカスレンズ１０１Ｆの位置は、相対的な関係を常に維持する。このため、ある被写体距離に対する撮像光学系１０１のフォーカスレンズ１０１Ｆの位置が決定されれば、その相対的な関係に基づいて、被写体距離情報（焦点情報）を算出することができる。

本実施例では、例えば、前述の相対的な位置関係（フォーカス位置と被写体距離情報との関係）を示すデータをルックアップテーブルとしてメモリ８０に格納しておく。ルックアップテーブルと前段で決定されたフォーカスレンズ１０１Ｆの停止位置情報（フォーカス位置）とに基づいて、フォーカス位置に対応する被写体距離情報を算出することができる。また別の手法として、前述の相対的な関係を関数としてメモリ８０に格納し、その関数と前段で決定されたフォーカスレンズ１０１Ｆの停止位置情報（フォーカス位置）とに基づいて、フォーカス位置に対応する被写体距離情報を算出することもできる。ルックアップテーブルとして格納される被写体距離情報は、被写体までの距離に限定されるものではなく、正常な状態での副撮像部１１０から得られる視差量やデフォーカス量でもよい。

続いてステップＳ１０３において、システムコントローラ３０は、撮像制御部４０を介して副撮像部１１０を制御し、撮像を行うことで２つの画像を取得する。続いてステップＳ１０４において、画像処理部２０（距離情報算出部２１）は、ステップＳ１０３にて取得された２つの画像に基づいて、焦点検出領域内の被写体に対する距離情報を算出する。本実施例において、画像処理部２０は、ステップＳ１０１にてコントラストＡＦの対象となった図３（ａ）中の破線３０２で囲まれる領域内の建造物の一部に対する距離情報を算出する。被写体の距離情報を算出する際に必要となる副撮像部１１０を構成する２つの撮像光学系１１１ａ、１１１ｂの焦点距離、基線長、および、撮像素子１１２ａ、１１２ｂの画素サイズ等の情報はメモリ８０に格納されている。画像処理部２０は、メモリ８０から適宜その情報を受け取ることができる。本実施例では、前述のように２次元画像を用いて被写体までの距離を算出しているが、従来の位相差ＡＦの手法を用いてデフォーカス量を算出してもよい。また本実施例において、副撮像部１１０を構成する撮像光学系１１１ａ、１１１ｂは温度変動により、図９を参照して説明したように変形している。すなわち、距離情報は、撮像光学系の変形による像ズレ量の発生により、被写体距離の算出に誤差が生じている状態である。

続いてステップＳ１０５において、画像処理部２０（補正値算出部２２）は、ステップＳ１０２にて算出された焦点情報とステップＳ１０４にて算出された距離情報とに基づいて、補正値を算出する。正常な状態では、主撮像部１００による焦点情報と副撮像部１１０による距離情報との相関関係は一定である。一方、副撮像部１１０が図９に示されるような状態の場合、像ズレ量の発生により距離情報が変化する。本実施例において、補正値算出部２２は、副撮像部１１０に対してｃ＋ｄという補正値を算出する。

続いてステップＳ１０６において、システムコントローラ３０は、撮像制御部４０を介して副撮像部１１０を制御し、撮像を行うことで再度２つの画像を取得する。ステップＳ１０６では、図３（ｂ）に示されるように、被写体（主被写体）３０３が破線３０２で囲まれる主撮像部１００の撮影視野領域に存在する状態である。またシステムコントローラ３０は、情報入力部５０を介してユーザが選択した被写体を注目被写体として設定する。ここでは、図３（ａ）、（ｂ）に示されるように、表示部７０に表示された画像上の被写体（鳥）３０３をユーザがタッチすることで、被写体３０３が注目被写体（焦点検出領域）として選択設定される。また、既知の動体検出や被写体認識技術により検出した被写体を注目被写体として設定することもできる。このような設定により、注目被写体が主撮像部１００の撮影視野領域外（破線３０２で囲まれる領域外）に存在する状態でも、ステップＳ１０５にて補正値を算出することが可能となる。

続いてステップＳ１０７において、距離情報算出部２１は、ステップＳ１０６にて再度取得された２つの撮影画像とステップＳ１０５にて算出された補正値とに基づいて、補正された距離情報（補正距離情報）を算出する。被写体の距離を算出する際に必要となる撮像部１１０を構成する２つの撮像光学系１１１ａ、１１１ｂの焦点距離、基線長、および、撮像素子１１２ａ、１１２ｂの画素サイズ等の情報は、メモリ８０に格納されている。距離情報算出部２１は、メモリ８０から適宜その情報を受け取ることができる。

距離情報算出部２１は、前述の対応被写体探索処理により、２つの撮影画像から各被写体の視差量を算出する。図９に示されるように撮像光学系が変形した生じた状態で撮像された２つの画像から算出される視差量は、像ズレ量に応じた誤差を含む。一例として本実施例ではその算出された視差量は（ａ＋ｃ＋ｂ＋ｄ）であり、正確な視差量は（ａ＋ｂ）であるとする。このため、そのままの視差量を用いて式（１）から被写体距離を算出すると、像ズレ量分（ｃ＋ｄ）の誤差が距離情報に生じてしまう。そこで本実施例では、ステップＳ１０５にて算出された像ズレ量に相当する補正値に基づいて、算出された視差量から像ズレ量分を差し引くことで、像ズレ量により生じる距離情報の誤差を低減することが可能となる。

続いてステップＳ１０８において、システムコントローラ３０は、フォーカス制御部４１を介して主撮像部１００のフォーカスレンズ１０１Ｆを駆動し、撮像光学系１０１を主被写体に合焦させるように主撮像部１００のフォーカス制御を行う。このときシステムコントローラ３０は、ステップＳ１０７にて算出された補正距離情報（ステップＳ１０４にて算出された距離情報とステップＳ１０５にて算出された補正値）とに基づいて、主撮像部１００のフォーカス制御を行う。被写体距離情報に応じたフォーカスレンズ１０１Ｆの位置（フォーカス位置）は、メモリ８０にルックアップテーブルとして格納されている。このため、被写体距離情報に応じたフォーカス位置は、各撮像部の撮像条件と被写体距離情報とに応じて適宜判定することができる。システムコントローラ３０は、補正された副撮像部１１０による正確な距離情報に基づいて、主撮像部１００のフォーカス制御を行うことにより、主被写体に対して高精度にフォーカス制御を行うことが可能となる。このため、主撮像部１００の撮影視野に主被写体が入った後のフォーカス制御の時間を短縮することができ（高速なフォーカス制御を行うことができ）、ボケた画像を撮影する頻度を低下させることが可能となる。その結果、望遠レンズを用いた動く被写体の撮影の成功率を向上させることができる。

続いてステップＳ１０９において、システムコントローラ３０は、撮像制御部４０を介して主撮像部１００を制御し、撮像を行うことで画像を取得する。この画像は、画像記録媒体６０に保存され、図４に示される撮像手順が終了する。なお、この画像に加えて副撮像部１１０が取得する２つの画像を画像記録媒体６０に保存してもよい。また、２つの画像を用いて画像処理部２０が算出する距離マップ画像を画像記録媒体６０に保存してもよい。本実施例において、距離情報算出部２１は、主撮像部１００を介した画像に応じてコントラストＡＦの評価値（コントラスト評価値）を出力することができる。フォーカス制御部４１は、コントラスト評価値に基づいて、主撮像部１００の最終的なフォーカス制御を実施することができる。この場合、既にほぼ合焦状態からの追い込み制御となるため、コントラストＡＦを行っても僅かな制御時間の増加に留めることができ、高速なＡＦ制御が可能となる。

このように本実施例の制御装置（撮像装置１）は、距離情報算出部（焦点距離算出部）２１、補正値算出部２２、および、制御部（システムコントローラ３０、フォーカス制御部４１）を有する。距離情報算出部（焦点距離算出部）２１は、第１の撮像部（主撮像部１００）を介して得られた画像信号に基づいて焦点情報を算出する。距離情報算出部２１は、第２の撮像部（副撮像部１１０）を介して得られた画像信号に基づいて、被写体までの距離に関する距離情報を算出する。補正値算出部２２は、第１の撮像部の焦点情報に基づいて補正値を算出する。制御部は、補正値と距離情報とに基づいて第１の撮像部のフォーカス制御を行う。

好ましくは、補正値は、距離情報（距離情報の算出式の係数）を補正する補正値（補正係数）である。また好ましくは、補正値は、焦点情報と距離情報との関係を示すデータ（ルックアップテーブル）を補正する補正値である。また好ましくは、補正値算出部２２は、更に距離情報に基づいて補正値を算出する。また好ましくは、焦点情報は、第１の撮像部のフォーカスレンズ１０１Ｆの位置（フォーカス位置）に関する情報である。また好ましくは、制御部は、補正値と距離情報とに基づいて第１の撮像部の第１のフォーカス制御を行った後、焦点情報に基づいて第１の撮像部の第２のフォーカス制御（追い込み制御）を行う。また好ましくは、第２のフォーカス制御は、コントラストＡＦによるフォーカス制御である。また好ましくは、距離情報算出部２１は、第２の撮像部を介して得られた２つの画像信号の視差量に基づいて距離情報を算出する。

このような構成により、光学系の変位や変形による像ズレが発生した状態でも、距離算出精度を向上させることが可能となる。また本実施例は、主撮像部の合焦制御（フォーカス制御）を行うことを主な目的としている。このため、被写体の絶対距離を正確に算出する必要はなく、主撮像部と副撮像部との間の距離情報の相対関係が補正されていればよい。本実施例では、主撮像部の光学系に変位や変形によるズレが発生した状態であっても、前述の構成とすることにより、常に主撮像部と副撮像部との距離情報の相対関係を保つことが可能であり、本発明の目的を達成することができる。

次に、図５を参照して、本発明の実施例２における撮像装置（撮像システム）２について説明する。図５は、撮像装置２のブロック図である。本実施例の撮像装置２は、副撮像部１１０に代えて副撮像部１２０を有する点で、実施例１の撮像装置１とは異なる。また撮像装置２は、コントラスト用ＡＦゲート９０、位相差用ＡＦゲート９２、コントラスト用焦点検出部（焦点情報算出部）９１、位相差用距離情報算出部（距離情報算出部）９３、および、判定部９４を有する点で、撮像装置１とは異なる。撮像装置２のその他の構成は、撮像装置１と同様であるため、それらの説明を省略する。

副撮像部（第２の撮像部）１２０は、撮像光学系１２１ａ、１２１ｂ、および、撮像素子１２２を備えている。撮像光学系１２１ａ、１２１ｂはそれぞれ、被写体（不図示）からの光を撮像素子１２２上に結像させる単焦点撮像光学系であり、焦点距離が互いに等しい。撮像素子１２２から出力されるアナログ電気信号は、撮像素子１０２から出力されるアナログ電気信号と同様に扱われる。画像処理部２０は、撮像素子１２２から出力された画像信号（撮像光学系１２１ａ、１２１ｂを介して得られた画像信号）に基づいて２つの画像を生成する。この２つの画像は、撮像光学系１２１ａ、１２１ｂにより形成された被写体像に相当し、互いに視差を有する２つの視差画像である。なお本実施例において、副撮像部１２０は撮像装置２から着脱可能であってもよい。この場合、複数の副撮像部の中から撮像装置２の主撮像部１００に適した副撮像部を選択して撮像装置２に装着することができる。

副撮像部１２０は、実施例１の副撮像部１１０とは異なり、２つの撮像光学系１２１ａ、１２１ｂに共通の１つの撮像素子１２２のみを有する。１つの撮像素子１２２上に２つの撮像光学系１２１ａ、１２１ｂを介して像を結像させ、撮像素子１２２から画像信号を出力させる。本実施例によれば、実施例１の構成と比較して、撮像素子の数を減らすことができるため、コストを低下させることが可能である。本実施例において、主撮像部１００を構成する撮像光学系１０１の望遠端における焦点距離は３５ｍｍ判換算で１０００ｍｍ、副撮像部１２０を構成する２つの撮像光学系１２１ａ、１２１ｂの焦点距離は３５ｍｍ判換算で４００ｍｍである。

また、主撮像部１００の撮像素子１０２に対して、副撮像部１２０の撮像素子１２２は一辺のサイズが同じサイズである。しかしながら、副撮像部１２０では撮像素子１２２の撮像領域を二分割して利用しているため、副撮像部１２０の撮像光学系１２１ａ、１２１ｂに対する実質的な撮像素子サイズは半分となる。このため、主撮像部１００と副撮像部１２０の撮像光学系の実焦点距離の比は略５倍となるため、主撮像部１００に対して副撮像部１２０の被写界深度が十分に深い構成となっている。

Ａ／Ｄコンバータ１０は、撮像素子１０２、１２２から出力されるアナログ電気信号（画像信号）をデジタル信号に変換し、画像処理部２０またはコントラスト用ＡＦゲート９０に供給する。コントラスト用ＡＦゲート９０は、Ａ／Ｄコンバータ１０からの全画素出力信号のうち、情報入力部５０を介してユーザにより設定された焦点検出領域（ＡＦ枠）の範囲内の信号のみをコントラスト用焦点検出部９１に供給する。コントラスト用焦点検出部９１は、コントラスト用ＡＦゲート９０から供給される画像信号（焦点信号）に対してフィルタを適用して高周波成分を抽出し、評価値（ＡＦ評価値）を生成する。ＡＦ評価値は、システムコントローラ３０に出力される。

位相差用ＡＦゲート９２は、Ａ／Ｄコンバータ１０からの全画素出力信号のうち、情報入力部５０を介してユーザにより設定された焦点検出領域（ＡＦ枠）の信号のみを位相差用距離情報算出部９３に供給する。位相差用距離情報算出部９３は、位相差用ＡＦゲート９２から供給される画像信号（焦点信号）に対して位相差方式の処理（焦点検出処理）を行い、デフォーカス量を算出する。デフォーカス量は、システムコントローラ３０に出力される。

判定部９４は、補正値を算出するか否かを判定する。この判定は、不図示の温度検出手段による温度測定結果や振動検出手段による振動量測定結果に基づいて、光学系の変形要因が検出されたか否かの判定に基づいて行うことができる。

次に、図６を参照して、撮像装置２の撮像手順について説明する。図６は、撮像装置２の動作（撮像動作）を示すフローチャートである。図６の各ステップは、主に、システムコントローラ３０の指令に基づいて、撮像装置２の各部により実行される。

まずステップＳ２０１において、システムコントローラ３０は、情報入力部５０を介してユーザにより選択された被写体を、注目被写体として設定する。ここでは、図３（ａ）に示されるように、表示部７０に表示された画像上の被写体３０３（鳥）を、ユーザが選択釦（不図示）を用いて選択する。またシステムコントローラ３０は、情報入力部５０を介してユーザにより入力された撮像条件（撮影条件情報）を取得する。撮像条件とは、主撮像部１００のＦ値やＩＳＯ感度などを含むが、これらに限定されるものではない。またシステムコントローラ３０は、撮像制御部４０を介して主撮像部１００の絞り１０１Ａおよび撮像素子１０２を制御し、取得した撮像条件を設定する。

続いてステップＳ２０２において、判定部９４は、補正値を算出するか否かを判定する。ステップＳ２０２にて判定部９４が補正値を算出すると判定した場合（ＹＥＳ）、ステップＳ２０３へ移行する。一方、判定部９４が補正値を算出しないと判定した場合（ＮＯ）、ステップＳ２０８へ移行する。この判定は、不図示の温度検出手段による温度測定結果や振動検出手段による振動量測定結果に基づいて、光学系の変形要因が検出されたか否かの判定に基づいて行うことができる。また、一定時間ごとに補正値の算出を実行させるタイマ機能を有していてもよい。副撮像部１２０が撮像装置本体に対して着脱可能である場合、判定部９４は、副撮像部１２０の撮像装置本体に対する初期の装着時に補正値を算出するように制御することもできる。

ステップＳ２０３において、システムコントローラ３０は、撮像制御部４０を介して、主撮像部１００のコントラストＡＦを行う。より詳細には、システムコントローラ３０は、撮像制御部４０を介して主撮像部１００を制御し、撮像を行うことでプレ画像を取得する。図３（ａ）は、ステップＳ２０３における撮影状態を示す。図３（ａ）に示されるように、被写体（主被写体）３０３は主撮像部１００の破線３０２で囲まれる撮影視野領域の外側に存在し、破線３０２で囲まれる領域内の建造物のみを撮像している状態となる。そこで、情報入力部（領域選択部）５０は、破線３０２で囲まれる領域の任意の建造物の一部を補正値算出用焦点検出領域として設定する。すなわち、前段のステップＳ２０１にて決定された注目被写体が主撮像部１００の撮影視野外に存在する場合、補正値算出のために別途異なる被写体を焦点検出領域として再設定することができる。このような設定により、注目被写体が主撮像部の撮影視野外にある状態においても、後段の補正値算出を実行することが可能となる。決定した焦点検出領域内の画像信号のみをコントラスト用焦点検出部９１に供給するように、コントラスト用ＡＦゲート９０を設定する。

そしてシステムコントローラ３０は、コントラスト用焦点検出部９１が補正値算出用の焦点検出領域内の画像信号に基づいて生成したＡＦ評価値を取得する。またシステムコントローラ３０は、フォーカスレンズ１０１Ｆを微小量左右に移動させ、再度、ＡＦ評価値（左に移動させて得られたＡＦ評価値および右に移動させて得られたＡＦ評価値）を取得する。システムコントローラ３０は、微小駆動で得られたＡＦ評価値に基づいてコントラストＡＦを行い、フォーカスレンズ１０１Ｆの位置（フォーカス位置）を決定する。

続いてステップＳ２０４において、コントラスト用焦点検出部９１は、ステップＳ２０３にて決定されたフォーカスレンズ１０１Ｆの位置を用いて、補正値算出用の焦点検出領域内の被写体に対する焦点情報を算出する。ある被写体距離に対するフォーカスレンズ１０１Ｆの位置は、結像光学系において一義的に決定される。すなわち、撮像光学系１０１に関し、ある被写体距離に対して像を撮像素子面上に合焦させるためのフォーカスレンズ１０１Ｆの位置は、相対的な関係を常に維持する。このため、ある被写体距離に対する撮像光学系１０１のフォーカスレンズ１０１Ｆの位置が決定されれば、その相対的な関係に基づいて、被写体距離情報を算出することができる。なお、被写体距離情報の算出方法は、実施例１と同様である。

続いてステップＳ２０５において、システムコントローラ３０は、撮像制御部４０を介して副撮像部１２０を制御し、撮像を行うことで２つの画像を取得する。続いてステップＳ２０６において、位相差用距離情報算出部９３は、ステップＳ２０５にて取得された２つの画像に基づいて、補正値算出用の焦点検出領域内の被写体に対する距離情報を算出する。ここでは、ステップＳ２０３にてコントラストＡＦの対象であった図３（ａ）の破線３０２で囲まれる領域内の建造物の一部に対する距離情報を算出する。位相差用距離情報算出部９３は、前述の対応被写体探索処理によりデフォーカス量を算出する。また、複数ラインをデータとして用いる場合、例えば、対応するラインごとに対応被写体探索処理を行い、求められた相関値群の平均を求めることもできる。また、対応被写体探索処理を行う前に複数ラインデータを上下方向に平均化して１ライン分のデータとして対応被写体探索処理を行ってもよい。

システムコントローラ３０は、位相差用距離情報算出部９３が補正値算出用の焦点検出領域内の画像信号に基づいて算出したデフォーカス量を取得する。本実施例では、副撮像部１２０を構成する撮像光学系１２１ａ、１２１ｂが、温度変動により、図９と同様に変形している。すなわち距離情報は、光学系の変形による像ズレ量の発生によって、被写体距離の算出に誤差が生じている状態である。

続いてステップＳ２０７において、補正値算出部２２は、ステップＳ２０４にて算出された焦点情報とステップＳ２０６にて算出された距離情報とに基づいて、補正値を算出する。正常な状態では、主撮像部１００による焦点情報と副撮像部１２０による距離情報との相関関係は一定である。一方、副撮像部１２０が図９に示されるような状態の場合、像ズレ量の発生により距離情報が変化する。本実施例において、補正値算出部２２は、副撮像部１２０に対してｃ＋ｄという補正値を算出する。

ステップＳ２０８において、システムコントローラ３０は、撮像制御部４０を介して副撮像部１２０を制御し、撮像を行うことで再度２つの画像を取得する。ステップＳ２０８では、図３（ｂ）に示されるように、被写体（主被写体）３０３が破線３０２で囲まれる主撮像部１００の撮影視野領域に存在する状態である。またシステムコントローラ３０は、ステップＳ２０１にて情報入力部５０を介してユーザが選択した被写体（主被写体）を注目被写体（焦点検出領域）として設定している。

続いてステップＳ２０９において、位相差用距離情報算出部９３は、ステップＳ２０８にて再度取得された２つの撮影画像とステップＳ２０７にて算出された補正値とに基づいて、補正された距離情報（デフォーカス量）を算出する。デフォーカス量を算出する際に必要となる副撮像部１２０を構成する２つの撮像光学系１２１ａ、１２１ｂの焦点距離、基線長、および、撮像素子１２２の画素サイズ等の情報は、メモリ８０に格納されている。位相差用距離情報算出部９３は、メモリ８０から適宜その情報を受け取ることができる。

位相差用距離情報算出部９３は、前述の対応被写体探索処理により、２つの撮影画像から各被写体の視差量を算出する。図９に示されるように撮像光学系が変形した生じた状態で撮像された２つの画像から算出される視差量は、像ズレ量に応じた誤差を含む。一例として本実施例ではその算出された視差量は（ａ＋ｃ＋ｂ＋ｄ）であり、正確な視差量は（ａ＋ｂ）であるとする。このため、そのままの視差量を用いて式（１）から被写体距離を算出すると、像ズレ量分（ｃ＋ｄ）の誤差が距離情報に生じてしまう。そこで本実施例では、ステップＳ２０７にて算出された像ズレ量に相当する補正値に基づいて、算出された視差量から像ズレ量分を差し引くことで、像ズレ量により生じる距離情報の誤差を低減することが可能となる。

続いてステップＳ２１０において、システムコントローラ３０は、フォーカス制御部４１を介して主撮像部１００のフォーカスレンズ１０１Ｆを駆動し、撮像光学系１０１を主被写体に合焦させるように主撮像部１００のフォーカス制御を行う。このときシステムコントローラ３０は、ステップＳ２０９にて算出された補正距離情報（ステップＳ２０６にて算出された距離情報とステップＳ２０７にて算出された補正値）とに基づいて、主撮像部１００のフォーカス制御を行う。被写体距離情報に応じたフォーカスレンズ１０１Ｆの位置（フォーカス位置）は、メモリ８０にルックアップテーブルとして格納されている。このため、被写体距離情報に応じたフォーカス位置は、各撮像部の撮像条件と被写体距離情報とに応じて適宜判定することができる。システムコントローラ３０は、補正された副撮像部１１０による正確な距離情報に基づいて、主撮像部１００のフォーカス制御を行うことにより、主被写体に対して高精度にフォーカス制御を行うことが可能となる。このため、主撮像部１００の撮影視野に主被写体が入った後のフォーカス制御の時間を短縮することができ（高速なフォーカス制御を行うことができ）、ボケた画像を撮影する頻度を低下させることが可能となる。その結果、望遠レンズを用いた動く被写体の撮影の成功率を向上させることができる。

続いてステップＳ２１１において、システムコントローラ３０は、撮像制御部４０を介して主撮像部１００を制御し、撮像を行うことで画像を取得する。この画像は、画像記録媒体６０に保存され、図６に示される撮像手順が終了する。なお、この画像に加えて副撮像部１１０が取得する２つの画像を画像記録媒体６０に保存してもよい。また、２つの画像を用いて画像処理部２０が算出する距離マップ画像を画像記録媒体６０に保存してもよい。本実施例において、コントラスト用焦点検出部９１は、主撮像部１００を介した画像に応じて再度コントラストＡＦの評価値（コントラスト評価値）を出力することができる。フォーカス制御部４１は、コントラスト評価値に基づいて、主撮像部１００の最終的なフォーカス制御を実施することができる。この場合、既にほぼ合焦状態からの追い込み制御となるため、コントラストＡＦを行っても僅かな制御時間の増加に留めることができ、高速なＡＦ制御が可能となる。

このように本実施例において、好ましくは、制御装置（撮像装置２）は、補正値を算出するか否かを判定する判定部９４を有し、補正値算出部２２は、判定部９４が補正値を算出すると判定した場合、補正値を算出する。また好ましくは、制御装置は、焦点情報を算出するための領域を選択する領域選択部（情報入力部５０）を有し、焦点情報算出部（コントラスト用焦点検出部９１）は、領域選択部により選択された領域において焦点情報を算出する。また好ましくは、領域選択部は、第１の撮像部の撮影視野外の第１の領域を領域として選択した場合、第１の撮像部の撮影視野内の第２の領域を、補正値を算出するための領域として設定する。また好ましくは、領域選択部は、第１の撮像部の撮影視野内の第１の領域を領域として選択した場合、第１の領域を、補正値を算出するための領域として設定する。このような構成により、光学系の変位や変形による像ズレが発生した状態でも、距離算出精度を向上させることが可能となる。

各実施例において、副撮像部（第２の撮像部）は複数の撮像光学系（ステレオ光学系）を有するが、これに限定されるものではない。例えば、副撮像部は、１つの撮像光学系（第２の撮像光学系のみ）と、この撮像光学系のうち互いに異なる瞳領域を通過する光を受光する第１光電変換部および第２の光電変換部を備えた撮像素子とを有していてもよい。このような機能を有する撮像素子は、例えば、１つのマイクロレンズに対して複数の光電変換部（第１の光電変換部および第２の光電変換部）を有し、このようなマイクロレンズが２次元状に複数配列することにより実現することができる。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施例によれば、高精度かつ高速なフォーカス制御が可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１ 撮像装置（制御装置）
１００ 主撮像部（第１の撮像部）
１１０ 副撮像部（第２の撮像部）
２１ 距離情報算出部（焦点情報算出部）
２２ 補正値算出部
３０ システムコントローラ（制御部）
４１ フォーカス制御部（制御部）

Claims (22)

1. 第１の撮像部を介して得られた画像信号に基づいて焦点情報を算出する焦点情報算出部と、
   第２の撮像部を介して得られた画像信号に基づいて、被写体までの距離に関する距離情報を算出する距離情報算出部と、
   前記第１の撮像部の前記焦点情報に基づいて補正値を算出する補正値算出部と、
   前記補正値と前記距離情報とに基づいて前記第１の撮像部のフォーカス制御を行う制御部と、を有することを特徴とする制御装置。
2. 前記補正値は、前記距離情報を補正する補正値であることを特徴とする請求項１に記載の制御装置。
3. 前記補正値は、前記焦点情報と前記距離情報との関係を示すデータを補正する補正値であることを特徴とする請求項１に記載の制御装置。
4. 前記補正値算出部は、更に前記距離情報に基づいて前記補正値を算出することを特徴とする請求項１乃至３のいずれか１項に記載の制御装置。
5. 前記焦点情報は、前記第１の撮像部のフォーカスレンズの位置に関する情報であることを特徴とする請求項１乃至４のいずれか1項に記載の制御装置。
6. 前記制御部は、
   前記補正値と前記距離情報とに基づいて前記第１の撮像部の第１のフォーカス制御を行った後、前記焦点情報に基づいて前記第１の撮像部の第２のフォーカス制御を行うことを特徴とする請求項１乃至５のいずれか１項に記載の制御装置。
7. 前記第２のフォーカス制御は、コントラストＡＦによるフォーカス制御であることを特徴とする請求項６に記載の制御装置。
8. 前記距離情報算出部は、前記第２の撮像部を介して得られた２つの画像信号の視差量に基づいて前記距離情報を算出することを特徴とする請求項１乃至７のいずれか１項に記載の制御装置。
9. 前記補正値を算出するか否かを判定する判定部を更に有し、
   前記補正値算出部は、前記判定部が前記補正値を算出すると判定した場合、前記補正値を算出することを特徴とする請求項１乃至８のいずれか１項に記載の制御装置。
10. 前記焦点情報を算出するための領域を選択する領域選択部を更に有し、
    前記焦点情報算出部は、前記領域選択部により選択された前記領域において前記焦点情報を算出することを特徴とする請求項１乃至９のいずれか１項に記載の制御装置。
11. 前記領域選択部は、前記第１の撮像部の撮影視野外の第１の領域を前記領域として選択した場合、前記第１の撮像部の撮影視野内の第２の領域を、前記補正値を算出するための領域として設定することを特徴とする請求項１０に記載の制御装置。
12. 前記領域選択部は、前記第１の撮像部の撮影視野内の第１の領域を前記領域として選択した場合、前記第１の領域を、前記補正値を算出するための領域として設定することを特徴とする請求項１０に記載の制御装置。
13. 少なくとも１つの撮像光学系を備えた第２の撮像部と、
    請求項１乃至１２のいずれか１項に記載の制御装置と、を有することを特徴とする撮像装置。
14. フォーカスレンズを含む撮像光学系を備えた第１の撮像部を更に有することを特徴とする請求項１３に記載の撮像装置。
15. 前記第２の撮像部は、前記第１の撮像部よりも画角が広いことを特徴とする請求項１３または１４に記載の撮像装置。
16. 前記第２の撮像部は、前記第１の撮像部よりも被写界深度が深いことを特徴とする請求項１３乃至１５のいずれか１項に記載の撮像装置。
17. 前記第２の撮像部は、１つの撮像光学系のうち互いに異なる瞳領域を通過する光を受光する撮像素子を有することを特徴とする請求項１３乃至１６のいずれか１項に記載の撮像装置。
18. 前記撮像素子は、１つのマイクロレンズに対して複数の光電変換部を有し、該マイクロレンズが２次元状に複数配列されていることを特徴とする請求項１７に記載の撮像装置。
19. 前記第２の撮像部は、少なくとも２つの撮像光学系を有し、
    前記少なくとも２つの撮像光学系はそれぞれ、焦点距離が互いに等しい単焦点撮像光学系であることを特徴とする請求項１３乃至１８のいずれか１項に記載の撮像装置。
20. 第１の撮像部を介して得られた画像信号に基づいて焦点情報を算出するステップと、
    第２の撮像部を介して得られた画像信号に基づいて、被写体までの距離に関する距離情報を算出するステップと、
    前記第１の撮像部の前記焦点情報に基づいて補正値を算出するステップと、
    前記補正値と前記距離情報とに基づいて前記第１の撮像部のフォーカス制御を行うステップと、を有することを特徴とする制御方法。
21. 第１の撮像部を介して得られた画像信号に基づいて焦点情報を算出するステップと、
    第２の撮像部を介して得られた画像信号に基づいて、被写体までの距離に関する距離情報を算出するステップと、
    前記第１の撮像部の前記焦点情報に基づいて補正値を算出するステップと、
    前記補正値と前記距離情報とに基づいて前記第１の撮像部のフォーカス制御を行うステップと、をコンピュータに実行させることを特徴とするプログラム。
22. 請求項２１に記載のプログラムを記憶していることを特徴とする記憶媒体。