JP2019219577A - 検出装置および検出方法 - Google Patents

Abstract

【課題】 焦点検出信号の相関量から算出される像ずれ量からデフォーカス量への変換誤差を低減するため、高精度に変換係数を決定すること。【解決手段】 結像光学系の異なる瞳領域を通過した光を受光する複数の画素を配列した撮像素子と、画素で取得された画素信号を用いて、異なる瞳領域に対応する複数の焦点検出信号を生成する生成手段と、複数の焦点検出信号に基づいて像ずれ量を算出し、像ずれ量と変換係数からデフォーカス量を検出する検出手段と、を有する検出装置であって、検出手段は、撮像素子の瞳偏心量と、前記撮像素子の入射瞳距離と、結像光学系の複数の枠の開口情報と、に基づいて変換係数を算出することを特徴とする。【選択図】 図１１

Description

本発明は、距離を検出するための検出装置に関する。

従来、各画素にマイクロレンズが形成された２次元撮像素子を用いて、撮像レンズの焦点検出を位相差検出方式で行う撮像装置が知られている。

特許文献１では、複数の画素からなる２次元撮像素子に、部分的に１対の焦点検出画素が配置された撮像装置が開示されている。１対の焦点検出画素は、開口部を有する遮光層により、撮像レンズの射出瞳の異なる領域を受光するように構成され、瞳分割を行っている。すなわち、２次元撮像素子の大部分に配置された撮像画素で撮像信号を取得し、一部に配置された焦点検出画素の焦点検出信号から像ずれ量を求めて、焦点検出を行っていいる。

特開２０００−１５６８２３号公報

しかしながら、特許文献１に開示された撮像装置では、レンズ交換式カメラにおいて、各交換レンズ（結像光学系）等の特性により、各焦点検出画素が受光する撮像レンズの射出瞳の領域が異なってしまう。これにより、焦点検出信号間で形状差が生じることとなり、その結果として、焦点検出信号の相関量から算出される像ずれ量を、デフォーカス量へ変換する変換係数に誤差が生じることとなる。ひいては、焦点検出精度が低下してしまう場合がある。

このような課題に鑑みて、本発明は、焦点検出信号の相関量から算出される像ずれ量からデフォーカス量への変換誤差を低減するため、高精度に変換係数を決定することを目的とする。その結果として、高精度に焦点検出を実行可能な検出装置および検出方法を提供することを目的とする。

本発明の検出装置は、結像光学系の異なる瞳領域を通過した光を受光する複数の画素を配列した撮像素子と、前記画素で取得された画素信号を用いて、前記異なる瞳領域に対応する複数の焦点検出信号を生成する生成手段と、前記複数の焦点検出信号に基づいて像ずれ量を算出し、像ずれ量と変換係数からデフォーカス量を検出する検出手段と、を有する検出装置であって、前記検出手段は、前記撮像素子の瞳偏心量と、前記撮像素子の入射瞳距離と、前記結像光学系の複数の枠の開口情報と、に基づいて前記変換係数を算出する、ことを特徴とする。

本発明によれば、焦点検出信号の相関量から算出される像ずれ量からデフォーカス量への変換誤差を低減することができる。その結果として、高精度に焦点検出を実行可能な距離検出装置、距離検出方法を提供することができる。

実施例１の焦点検出装置を有する撮像装置の構成を示すブロック図である。 実施例１の画素配列を示す図である。 実施例１の画素構造を示す図である。 実施例１の撮像素子の画素と瞳強度分布との対応を説明するための図である。 実施例１の撮像素子と瞳強度分布との対応を説明するための図である。 実施例１の結像光学系と撮像素子における瞳分割を説明するための図である。 実施例１の各画素に形成されたマイクロレンズに光が入射した場合の光強度分布の説明図である。 実施例１の瞳部分領域を示す図である。 実施例１のデフォーカス量と像ずれ量との関係図である。 実施例１の瞳偏心や入射瞳距離の変化が生じている場合の撮像素子と瞳強度分布との対応を説明するための図である。 実施例１の撮像素子のセンサ入射瞳、瞳偏心量、入射瞳距離と、結像光学系のレンズ枠ケラレと、瞳部分領域との関係図である。 実施例１の撮像素子のセンサ入射瞳、瞳偏心量、入射瞳距離と、結像光学系のレンズ枠ケラレと、瞳部分領域との関係図である。 実施例１の焦点検出方法を示すフローチャートである。 実施例１の結像光学系のレンズ枠ケラレの関係図である。 実施例１の変換係数算出方法を示すフローチャートである。 実施例１の仮想焦点検出信号の生成方法を示すフローチャートである。 実施例１の仮想瞳強度分布の変化例を示す図である。 実施例２の画素配列を示す図である。 実施例２の画素構造を示す図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

本実施例では、本発明をデジタルカメラ等の撮像装置に適用した場合について説明するが、本発明は焦点検出装置、距離検出装置、情報処理装置、および電子機器等の撮像装置とは異なる装置に幅広く適用することができる。

［全体構成］
図１は、本実施例の焦点検出装置を有する撮像装置１００の構成を示すブロック図である。撮像装置１００は、カメラ本体とカメラ本体に着脱可能な交換レンズ（結像光学系または撮像光学系）とを備えたデジタルカメラシステムである。ただし、本発明は、これに限定されるものではなく、カメラ本体とレンズとが一体的に構成された撮像装置にも適用可能である。

結像光学系（撮像光学系）は、被写体の被写体像（光学像）を所定の結像面上に生成する。第１レンズ群１０１は、結像光学系を構成する複数のレンズ群のうち最も前方（被写体側）に配置されており、光軸ＯＡに沿って進退可能にレンズ鏡筒に保持されている。絞り兼用シャッタ（絞り）１０２は、その開口径を調節されることで撮像時の光量調節を行うとともに、静止画撮像時には露光時間調節用シャッタとして機能する。第２レンズ群１０３は、絞り兼用シャッタ１０２と一体的に光軸ＯＡに沿って進退し、第１レンズ群１０１の進退動作と連動して変倍動作を行うズーム機能を有する。第３レンズ群１０５は、光軸ＯＡに沿って進退することにより焦点調節（フォーカス動作）を行うフォーカスレンズ群である。光学的ローパスフィルタ１０６は、撮像画像の偽色やモアレを軽減するための光学素子である。本実施例の各レンズ群はレンズユニットに相当し、特に第３レンズ群１０５は焦点調節可能なレンズユニットに相当する。

撮像素子１０７は、例えば、ＣＭＯＳセンサまたはＣＣＤセンサ、および、その周辺回路により構成され、被写体像の光電変換を行う。撮像素子１０７としては、例えば、横方向にｍ個の画素、縦方向にｎ個の画素を有する受光ピクセル上にベイヤー配列の原色カラーモザイクフィルタをオンチップで形成した２次元単板カラーセンサが用いられる。なお、撮像光学系と撮像素子１０７は一つの撮像部を構成するが、本実施例に示すような単板方式に限定されず、例えば３板方式であってもよい。また、複数の撮像部を有する構成としてもよい。つまり、撮像素子に対して対応する撮像光学系を有する構成であれば本発明を適用可能である。

ズームアクチュエータ１１１は、変倍動作を行う際に、カム筒（不図示）を回動することで第１レンズ群１０１および第２レンズ群１０３を光軸ＯＡに沿って移動させる。絞りシャッタアクチュエータ１１２は、光量（撮像光量）を調節する際に、絞り兼用シャッタ１０２の開口径を調節する。フォーカスアクチュエータ１１４は、焦点調節を行う際に、第３レンズ群１０５を光軸ＯＡに沿って移動させる。なお、絞りとシャッタは必ずしも兼用させる必要はなく、それぞれ個別に設ける構成としてもよい。

電子フラッシュ１１５は、被写体を照明するために用いられる照明装置である。電子フラッシュ１１５としては、キセノン管を備えた閃光照明装置、または連続発光するＬＥＤ（発光ダイオード）を備えた照明装置が用いられる。ＡＦ補助光源１１６は、所定の開口パターンを有するマスクの像を、投光レンズを介して、被写体に投影する。これにより、暗い被写体や低コントラストの被写体に対する焦点検出能力を向上させることができる。

ＣＰＵ１２１は、撮像装置１００の種々の制御を司る制御装置である。ＣＰＵ１２１は、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、および、通信インターフェイス回路などを有する。ＣＰＵ１２１は、ＲＯＭまたはＲＡＭに記憶された所定のプログラムを読み出して実行することにより、撮像装置１００の各種回路を駆動し、焦点検出（ＡＦ）、撮像、画像処理、または、記録などの一連の動作を制御する。また、ＣＰＵ１２１の一部の機能をハードウエア回路として実装してもよく、また一部の回路にＦＰＧＡ等のリコンフィギュアラブル回路を用いてもよい。例えば、後述する焦点検出用の演算の一部を専用のハードウエア回路を用い、演算時間の短縮を行ってもよい。

また、ＣＰＵ１２１は、画素信号取得手段１２１ａ、信号生成手段１２１ｂ、焦点検出手段１２１ｃ、およびレンズ情報取得手段１２１ｄを備える。また、ＣＰＵ１２１が備える通信インターフェイス回路は外部装置とＵＳＢケーブルやＬＡＮケーブル等の有線ケーブルで接続する方式だけでなく、無線ＬＡＮや移動通信回線等の無線通信で接続する方式であってもよい。また、通信相手との接続については、直接的にパーソナルコンピュータやスマートフォンと接続する接続方式に限られず、アクセスポイントやネットワーク経由で近接または遠隔機器と接続する方式であってもよい。

電子フラッシュ制御回路１２２は、撮像動作に同期して電子フラッシュ１１５の点灯制御を行う。補助光源駆動回路１２３は、焦点検出処理に同期してＡＦ補助光源１１６の点灯制御を行う。撮像素子駆動回路１２４は、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。画像処理回路１２５は、撮像素子１０７から出力された画像データのガンマ変換、カラー補間、または、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）圧縮などの処理を行う。

フォーカス駆動回路１２６は、焦点検出手段１２１ｃの焦点検出結果等に基づいてフォーカスアクチュエータ１１４を駆動し、第３レンズ群１０５を光軸ＯＡに沿って移動させることにより、焦点調節を行う。絞りシャッタ駆動回路１２８は、絞りシャッタアクチュエータ１１２を駆動して、絞り兼用シャッタ１０２の開口径を制御するとともに、静止画撮像時の露光時間を制御する。ズーム駆動回路１２９は、撮像者のズーム操作に応じて、ズームアクチュエータ１１１を駆動し、第１レンズ群１０１および第２レンズ群１０３を光軸ＯＡに沿って移動させることにより、変倍動作を行う。

レンズ通信回路１３０は、カメラ本体に取り付けられた交換レンズと通信し、交換レンズのレンズ情報を取得し、各種パラメータの設定を行う。取得したレンズ情報は、ＣＰＵ１２１のレンズ情報取得手段１２１ｄに出力される。また、カメラ本体で検出した撮像情報等を交換レンズへ送信する構成としてもよい。交換レンズとカメラ本体はマウント部を介してバヨネット結合し、結合した状態で複数の端子が互いに接触する構成となっている。また、交換レンズには不図示のレンズ用ＣＰＵ、レンズ用メモリ、レンズ用ジャイロ等を備えた電子基板を備えている。レンズ用ＣＰＵはレンズ用メモリに記憶されたパラメータ等を使用し、各種プログラムを実行する。また、レンズ用メモリにはレンズの光学特性である収差情報、射出瞳距離ＬＰＯ等を記憶しており、光学条件としてのフォーカス状態ＦＳやズーム状態ＺＳと合わせてカメラ本体側へ送信することが可能である。

表示部１３１は、例えばＬＣＤ（液晶表示装置）を備えて構成される。表示部１３１は、撮像装置１００の撮像モードに関する情報、撮像前のプレビュー画像、撮像後の確認用画像、または、焦点検出時の合焦状態表示画像などを表示する。操作部１３２は、電源スイッチ、レリーズスイッチ、ズーム操作スイッチ、および、撮像モード選択スイッチなどを備えて構成される。レリーズスイッチは、半押し状態（ＳＷ１がＯＮの状態）、および、全押し状態（ＳＷ２がＯＮの状態）の２段階のスイッチを有する。記録媒体１３３は、例えば撮像装置１００に着脱可能なフラッシュメモリであり、撮像画像（画像データ）を記録する。記憶部１３４は、所定のフォーマットで撮像画像などを記憶する。

なお、操作部１３２の一部の機能をタッチパネル等の形式で表示部１３１に設ける構成としてもよい。プレビュー画像を表示部１３１に表示している間にタッチパネルを操作することで、画像中の任意の位置に対して焦点検出を行うことが可能となる。

なお、不図示のＴＶＡＦ部を設け、生成されるＴＶＡＦ用評価値（画像データのコントラスト情報）に基づいて、コントラスト検出方式の焦点検出処理を行うようにしてもよい。コントラスト検出方式の焦点検出処理の際には、フォーカスレンズ群１０５を移動して評価値（焦点評価値）がピークとなるレンズ位置が合焦位置として検出される。

このように、撮像面位相差ＡＦとＴＶＡＦとを組み合わせて実行可能であり、状況に応じて、これらを選択的に使用し、または、組み合わせて使用することができる。各ブロックは、各々の焦点検出結果を用いてフォーカスレンズ群１０５の位置を制御する制御手段として機能する。

［撮像素子］
まず、図２および図３を参照して、本実施例における撮像素子１０７の画素配列および画素構造について説明する。図２は、撮像素子１０７の画素（撮像画素）配列を示す図である。図３は、撮像素子１０７の画素構造を示す図であり、図３（ａ）は撮像素子１０７の画素２００Ｇの平面図（＋ｚ方向から見た図）、図３（ｂ）は図３（ａ）中の線ａ−ａの断面図（−ｙ方向から見た図）をそれぞれ示している。

図２は、撮像素子１０７の画素配列を、４列×４行の範囲で示している。本実施例では、２列×２行の画素群２００は、画素２００Ｒ、２００Ｇ、２００Ｂがベイヤー配列で配置されている。すなわち、画素群２００のうち、Ｒ（赤）の分光感度を有する画素２００Ｒが左上に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２００Ｂが右下にそれぞれ配置されている。画素２００Ｒ、２００Ｇ、２００Ｂは、２列×１行に配列された焦点検出画素（第１焦点検出画素）２０１、焦点検出画素（第２焦点検出画素）２０２により構成されている。このため、図２には、焦点検出画素の配列が、８列×４行の範囲で示されている。なお、本実施例の画素はｘ方向に配置された２つの焦点検出画素から構成されているが、これに限られるものではなく、ｙ方向に配置されたものでもよい。また、２つ以上の焦点検出画素で構成してもよいし、いくつかの構成を組み合わせた構成であってもよい。

図２に示されるように、撮像素子１０７は、４列×４行の画素（８列×４行の焦点検出画素）を面上に多数配置して構成されており、撮像信号（焦点検出信号）を出力する。本実施例の撮像素子１０７は、画素の周期Ｐが６μｍ、画素の数Ｎが横６０００列×縦４０００行＝２４００万画素である。また、撮像素子１０７は、焦点検出画素の列方向の周期Ｐ_ＳＵＢが３μｍ、焦点検出画素の数Ｎ_ＳＵＢが横１２０００列×縦４０００行＝４８００万画素である。４Ｋフォーマットの動画等を撮像素子１０７を用いて取得する場合には、横４０００列以上の画素を有することが望ましい。また、これ以上のサイズのフォーマットで画像を取得する場合には当該フォーマットに合わせた画素数であることが望ましい。

図３（ｂ）に示されるように、本実施例の画素２００Ｇには、画素のフォトダイオードが形成されたシリコン等の半導体の界面である受光面側に入射光を集光するためのマイクロレンズ３０５が設けられている。マイクロレンズ３０５は、２次元状に複数配列されており、受光面からｚ軸方向（光軸ＯＡの方向）に所定の距離だけ離れた位置に配置されている。また、画素２００Ｇには、ｘ方向にＮｘ分割（２分割）、ｙ方向にＮｙ分割（１分割）された分割数Ｎ_ＬＦ＝Ｎｘ×Ｎｙ（分割数２）の光電変換部３０１および光電変換部３０２が形成されている。光電変換部３０１および光電変換部３０２はそれぞれ、焦点検出画素２０１および焦点検出画素２０２に対応する。

光電変換部３０１および光電変換部３０２は、シリコン等の半導体基板上に形成され、それぞれｐ型層とｎ型層から成るｐｎ接合のフォトダイオードとして構成される。必要に応じて、ｐ型層とｎ型層との間にイントリンシック層を挟んだｐｉｎ構造のフォトダイオードとして構成しても良い。画素２００Ｇ（各画素）には、マイクロレンズ３０５と、光電変換部３０１および光電変換部３０２との間に、カラーフィルタ３０６が設けられている。必要に応じて、画素ごと、または光電変換部ごとにカラーフィルタ３０６の分光透過率を変えることができ、またはカラーフィルタを省略してもよい。

画素２００Ｇに入射した光は、マイクロレンズ３０５により集光され、カラーフィルタ３０６で分光された後、光電変換部３０１および光電変換部３０２で受光される。光電変換部３０１および光電変換部３０２においては、受光量に応じて電子とホールとの対が生成され、それらが空乏層で分離された後、負電荷の電子はｎ型層に蓄積される。一方、ホールは定電圧源（不図示）に接続されたｐ型層を通じて、撮像素子１０７の外部へ排出される。光電変換部３０１および光電変換部３０２のｎ型層に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送され、電圧信号に変換される。

なお、本実施例においてマイクロレンズ３０５は撮像素子１０７における光学系に相当する。当該光学系は複数のマイクロレンズを含む構成としてもよいし、導波路等の屈折率の異なる材料を用いた構成としてもよい。また、撮像素子１０７はマイクロレンズ３０５を有する面と反対の面に回路等を備える裏面照射型のイメージセンサでもよく、更に撮像素子駆動回路１２４および画像処理回路１２５等の一部の回路を備える積層型のイメージセンサであってもよい。また、半導体基板としてシリコン以外の材料を用いてもよいし、例えば有機材料を光電変換材料として用いてもよい。

［瞳分割］
続いて、図４から図８を参照して、本実施例の撮像素子１０７の瞳分割機能について説明する。

図４は、図３（ａ）に示される本実施例の撮像素子１０７に配列された画素２００Ｇのａ−ａ断面を＋ｙ側から見た断面図、および、撮像素子１０７の撮像面６００からｚ軸方向（光軸ＯＡの方向）に距離Ｚだけ離れた位置の瞳面を示している。なお、図４では、射出瞳面の座標軸と対応を取るために、断面図のｘ軸とｙ軸を図３に対して反転させている。撮像素子１０７の撮像面６００は、結像光学系の結像面に配置される。

瞳強度分布（第１瞳強度分布）５０１は、重心位置が−ｘ方向に偏心している光電変換部３０１の受光面と、マイクロレンズ３０５を介して略共役関係になっている。このため、第１瞳強度分布５０１は、焦点検出画素２０１で受光可能な瞳領域に相当する。第１瞳強度分布５０１の重心位置は、瞳面上で＋ｘｐ側に偏心している。同様に、瞳強度分布（第２瞳強度分布）５０２は、重心位置が＋ｘ方向に偏心している光電変換部３０２の受光面と、マイクロレンズ３０５を介して略共役関係になっている。このため、第２瞳強度分布５０２は、焦点検出画素２０２で受光可能な瞳領域に相当する。第２瞳強度分布５０２の重心は、瞳面上で−ｘｐ側に偏心している。また、瞳強度分布５００は、光電変換部３０１、３０２（焦点検出画素２０１、２０２）を全て合わせた際の画素２００Ｇ全体で受光可能な瞳領域である。つまり、第１瞳強度分布５０１は瞳強度分布５００の中心に対して瞳面上で＋ｘｐ側に偏心し、第２瞳強度分布５０２は瞳強度分布５００の中心に対して瞳面上で−ｘｐ側に偏心している。

次に、図５を参照して、撮像素子１０７のセンサ入射瞳について説明する。本実施例の撮像素子１０７では、２次元の平面上の各像高座標に位置する画素毎に、マイクロレンズ３０５は像高座標に応じて、撮像素子の中心方向へ連続的にシフトされて配置されている。つまり、各マイクロレンズは像高が高くになるにつれ、光電変換部３０１、３０２に対して中心側へ偏心するように配置されている。なお、撮像素子の中心と撮像光学系の光軸は、撮像光学系または撮像素子を駆動することで手振れ等によるブレの影響を低減する機構によって変化するが略一致する。これにより、撮像素子１０７から距離Ｚだけ離れた位置の瞳面において、撮像素子１０７の各像高座標に配置された各画素の第１焦点検出画素２０１の光電変換部に対応する第１瞳強度分布５０１が、概ね、一致するように構成される。同様に、第２焦点検出画素２０２の光電変換部に対応する第２瞳強度分布５０２が、概ね、一致するように構成されている。つまり、撮像素子１０７から距離Ｚだけ離れた位置の瞳面において、撮像素子１０７の全ての画素の第１瞳強度分布５０１と第２瞳強度分布５０２が、概ね、一致するように構成されている。以下、第１瞳強度分布５０１及び第２瞳強度分布５０２を、撮像素子１０７の「センサ入射瞳」と呼び、距離Ｚを、撮像素子１０７の「入射瞳距離」と呼ぶ。なお、全ての画素を単一の入射瞳距離を有する構成とする必要はなく、例えば像高８割までの画素の入射瞳距離を略一致させる構成としてもよいし、あえて行ごとまたは検出領域ごとに異なる入射瞳距離を有するように画素を構成してもよい。

図６は、本実施例の撮像素子１０７のセンサ入射瞳（第１瞳強度分布５０１、第２瞳強度分布５０２）による結像光学系の射出瞳４００の光学的な分割（瞳分割）を示している。被写体からの光束のうち、結像光学系の射出瞳４００と瞳強度分布５０１との重なり領域である瞳部分領域（第１瞳部分領域）６０１を通過した光束は、焦点検出画素２０１（光電変換部３０１）で受光される。同様に、被写体からの光束のうち、結像光学系の射出瞳４００と瞳強度分布５０２との重なり領域である瞳部分領域（第２瞳部分領域）６０２を通過した光束は、焦点検出画素２０２（光電変換部３０２）で受光される。

図４では、撮像素子１０７の入射瞳距離Ｚだけ離れた位置の瞳面における第１瞳部分領域６０１と第２瞳部分領域６０２を示している。結像光学系の射出瞳４００が、撮像素子１０７のセンサ入射瞳（第１瞳強度分布５０１、第２瞳強度分布５０２）により、第１瞳部分領域６０１と第２瞳部分領域６０２に分割される。言い換えると、第１瞳強度分布５０１、第２瞳強度分布５０２の夫々と結像光学系の射出瞳４００との共通する領域（積）が、第１瞳部分領域６０１と第２瞳部分領域６０２になる。

図７は、各画素に形成されたマイクロレンズ３０５に光が入射した場合の光強度分布の説明図である。図７には、一例として波長λ＝５４０ｎｍ、右円偏光の平面波が、マイクロレンズ３０５の上方からマイクロレンズの光軸に平行に入射した場合の撮像素子１０７内部での光強度分布の計算例が示されている。数値計算には、ＦＤＴＤ（Ｆｉｎｉｔｅ Ｄｉｆｆｅｒｅｎｃｅ Ｔｉｍｅ Ｄｏｍａｉｎ）法を用いた。

図７（ａ）は、マイクロレンズの光軸に平行な断面での光強度分布を示す。各画素でのマイクロレンズ光学系は、マイクロレンズ３０５、平坦化層、封止層、および絶縁層などから構成される。マイクロレンズ光学系は、複数のマイクロレンズを含んでいてもよい。画素周期を２ａ、マイクロレンズ光学系の焦点距離をｆ、マイクロレンズ光学系の開口角を２φとする。また、マイクロレンズ光学系の焦点位置での屈折率をｎとする。また、光軸に沿った座標をｚとする。座標ｚは、焦点位置を原点（ｚ＝０）として、マイクロレンズ側を負符号、マイクロレンズと反対側を正符号とする。また、Ｈは、主点である。

マイクロレンズ光学系の開口数ＮＡは、以下の式（１）で定義される。

また、マイクロレンズ光学系の絞り値Ｆは、以下の式（２）で定義される。

入射光は、マイクロレンズ光学系により、焦点位置に集光される。しかし、光の波動性による回折の影響のため、集光スポットの直径は回折限界Δより小さくすることはできず、有限の大きさとなる。集光スポットの強度分布がエアリーパターン（Ａｉｒｙ ｐａｔｔｅｒｎ）に近いとして、回折限界Δは、入射光の波長をλとして、概ね、以下の式（３）で求まる。

光電変換部の受光面のサイズは約１〜３μｍ程度であり、これに対してマイクロレンズの集光スポットが約１μｍ程度である。そのため、光電変換部の受光面とマイクロレンズを介して共役の関係にある、図４から図６のセンサ入射瞳（第１瞳強度分布５０１、第２瞳強度分布５０２）は、回折ボケのため、明瞭に瞳分割されず、光の入射角に依存した受光率分布（瞳強度分布）となる。

図７（ｂ）は、マイクロレンズの焦点位置において、マイクロレンズの光軸に垂直な断面での光強度分布を示す。点位置（ｚ＝０）で、集光スポットの直径は回折限界Δとなり、最小となる。

マイクロレンズ光学系の後側焦点深度＋ｚ_Ｄと前側焦点深度−ｚ_Ｄは、回折限界Δを許容錯乱円として、以下の式（４）で求まる。焦点深度の範囲は、−ｚ_Ｄ＜ｚ＜＋ｚ_Ｄである。

集光スポットの強度分布がガウス分布に近いとすると、集光スポットの直径ｗは、座標ｚの関数として、概ね、以下の式（５）の関係が成り立つ。

ここで、ｚ_Ｒはレイリー長であり、係数α_Ｒ＝０．６１π≒１．９２として、ｚ_Ｒ＝α_Ｒｚ_Ｄで定義される。

図７に示す計算例では、波長λ＝５４０ｎｍ、画素周期２ａ＝４．３μｍ、マイクロレンズ光学系の焦点距離ｆ＝５．８μｍ、焦点位置での屈折率ｎ＝１．４６である。また、マイクロレンズ光学系の絞り値はＦ＝０．９２４、回折限界はΔ＝１．２２μｍ、焦点深度はｚ_Ｄ＝１．６５μｍである。

図８に、本実施例の第１瞳部分領域６０１と第２瞳部分領域６０２の例を示す。横軸は（瞳座標に換算できる）光の入射角θを表し、縦軸は受光率を表す。図８に実線で示すグラフ線Ｌ１は、図４の第１瞳部分領域６０１のＸ軸に沿った受光率分布を表し、点線で示すグラフ線Ｌ２は、第２瞳部分領域６０２のＸ軸に沿った受光率分布を表す。図８に示すように、第１瞳部分領域Ｌ１、第２瞳部分領域Ｌ２の外側は、結像光学系のレンズ枠や絞り枠で規定される射出瞳によりケラレるため、急峻な曲線となる。また、第１瞳部分領域Ｌ１、第２瞳部分領域Ｌ２の内側は、マイクロレンズによる瞳分割のため、瞳部分領域の境界が回折の影響でボヤけ、緩やかな曲線となる。本実施例は、瞳領域が水平方向に２つに瞳分割されている例である。必要に応じて、垂直方向に瞳分割を行っても良い。

本実施例では、撮像素子１０７は、１つのマイクロレンズを共有し、結像光学系（撮像レンズ）の瞳のうち互いに異なる領域を通過する複数の光束を受光する複数の焦点検出画素を備えている。撮像素子１０７は、複数の焦点検出画素として、第１焦点検出画素（複数の焦点検出画素２０１）および第２焦点検出画素（複数の焦点検出画素２０２）を含む。また、結像光学系の瞳部分領域６０１、６０２を合わせた領域を通過する光束を受光する画素の配列を有してもよい。なお、撮像素子１０７では、各画素が第１および第２焦点検出画素から構成されている。しかしながら、必要に応じて、撮像画素と、第１および第２焦点検出画素とを個別の画素構成とし、撮像画素配列の一部に、第１および第２焦点検出画素を部分的に配置する構成としてもよい。

本実施例では、撮像素子１０７の各画素の焦点検出画素２０１の画素信号に基づいて第１の焦点検出信号を生成し、各画素の焦点検出画素２０２の画素信号に基づいて第２の焦点検出信号を生成して焦点検出を行う。また、撮像素子１０７の画素ごとに、焦点検出画素２０１、２０２の信号を加算して読み出すことで、有効画素数Ｎの解像度を有する撮像信号（撮像画像）を生成することができる。また、各信号の生成方法は、本実施例の形態に限らず、例えば、第２焦点検出信号は、撮像信号と第１焦点検出信号の差分から生成してもよい。

なお、撮像素子１０７の画素構成として、マイクロレンズ３０５に対して光電変換部３０１および光電変換部３０２を備える構成としたがこれに限られるものではない。例えば、マイクロレンズと光電変換部の間に一部に開口を有する遮光層を備える構成として瞳分割を行ってもよい。近接する画素において遮光層における開口位置を異ならせることによって、光電変換部３０１および光電変換部３０２に相当する信号を取得することができる。

［デフォーカス量と像ずれ量の関係］
図９を参照して、撮像素子１０７の焦点検出画素２０１から取得される第１の焦点検出信号および焦点検出画素２０２から取得される第２の焦点検出信号のデフォーカス量と像ずれ量との関係について説明する。図９は、デフォーカス量と像ずれ量との関係図である。図９において、撮像素子１０７は撮像面６００に配置されており、図４および図６と同様に、結像光学系の射出瞳４００が瞳部分領域６０１、６０２に２分割されている様子が示されている。

図９中に示すデフォーカス量ｄは、被写体像の結像位置から撮像面６００までの距離を｜ｄ｜とする。そして、結像位置が撮像面６００よりも被写体側にある前ピン状態を負符号（ｄ＜０）、結像位置が撮像面６００よりも被写体の反対側にある後ピン状態を正符号（ｄ＞０）として定義される。被写体の結像位置が撮像面６００（合焦位置）にある合焦状態において、デフォーカス量ｄ＝０が成立する。図９において、合焦状態（ｄ＝０）である被写体７０１、および、前ピン状態（ｄ＜０）である被写体７０２がそれぞれ示されている。前ピン状態（ｄ＜０）および後ピン状態（ｄ＞０）を併せて、デフォーカス状態（｜ｄ｜＞０）という。

前ピン状態（ｄ＜０）では、被写体７０２からの光束のうち、第１瞳部分領域６０１（または第２瞳部分領域６０２）を通過した光束は、一度、集光する。その後、光束は、光束の重心位置Ｇ１（Ｇ２）を中心とする幅Γ１（Γ２）に広がり、撮像面６００ではボケた像となる。ボケた像は、撮像素子１０７に配列された各画素を構成する焦点検出画素２０１（焦点検出画素２０２）により受光され、第１の焦点検出信号（第２の焦点検出信号）が生成される。このため、第１の焦点検出信号（第２の焦点検出信号）は、撮像面６００上の重心位置Ｇ１（Ｇ２）に、被写体７０２が幅Γ１（Γ２）にボケた被写体像として記録される。被写体像のボケ幅Γ１（Γ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね比例して増加する。同様に、第１の焦点検出信号と第２の焦点検出信号との間の被写体像の像ずれ量ｐ（＝光束の重心位置の差Ｇ１−Ｇ２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加する。後ピン状態（ｄ＞０）に関しても同様であるが、第１の焦点検出信号と第２の焦点検出信号との間の被写体像の像ずれ方向が前ピン状態と反対となる。

このように本実施例では、第１の焦点検出信号と第２の焦点検出信号、または、第１および第２の焦点検出信号を加算した撮像信号のデフォーカス量の大きさが増加するのに伴い、第１の焦点検出信号と第２の焦点検出信号との間の像ずれ量の大きさは増加する。

本実施例では、第１の焦点検出信号と第２の焦点検出信号のデフォーカス量と像ずれ量との関係性を用いて、位相差検出方式の焦点調節を行う。位相差検出方式の焦点調節は、第１の焦点検出信号と第２の焦点検出信号を相対的にシフトさせて信号の一致度を表す相関量を計算し、相関（信号の一致度）が良くなるシフト量から像ずれ量を検出する。撮像信号のデフォーカス量の大きさが増加するのに伴い、第１の焦点検出信号と第２の焦点検出信号間との間の像ずれ量の大きさが増加する関係性から、像ずれ量をデフォーカス量に変換することで、位相差検出方式の焦点検出を行う。

ここまで、結像光学系の射出瞳４００を、撮像素子１０７における第１瞳強度分布５０１、第２瞳強度分布５０２により、第１瞳部分領域６０１、第２瞳部分領域６０２に瞳分割し、位相差検出方式の焦点検出を行うことについて説明した。より詳細には、本実施例の瞳部分領域（第１瞳部分領域６０１、第２瞳部分領域６０２）は、撮像素子１０７のセンサ入射瞳の瞳偏心量、入射瞳距離、及び、結像光学系のレンズ枠ケラレにより決定され、後述するより複雑な形状となる。

続いて、図１０から図１２を参照して、本実施例における、撮像素子１０７のセンサ入射瞳の瞳偏心量、入射瞳距離、及び、結像光学系のレンズ枠ケラレと、瞳部分領域（第１瞳部分領域６０１、第２瞳部分領域６０２）との関係について説明する。

［センサ入射瞳の瞳偏心］
本実施例の撮像素子１０７のセンサ入射瞳（瞳強度分布５０１、５０２）は、製造中のバラつきなどの理由で、瞳偏心（瞳強度分布の光軸に対する偏心）や入射瞳距離の変化を生じる場合がある。図１０は、撮像素子１０７の全ての画素で、マイクロレンズ３０５から光電変換部３０１、３０２の受光面までの距離が、設計値ｚｓに対して、作製上などの誤差により、距離ｚｓ＋ｄｚｓ（誤差＋ｄｚｓ）で構成される例を示している。これに伴い、撮像素子１０７の入射瞳距離が、設計値Ｚに対して、入射瞳距離Ｚ＋ｄＺ（誤差＋ｄＺ）と構成される例を示している。また、撮像素子１０７の全ての画素で、マイクロレンズ３０５が、光電変換部３０１、３０２に対して、設計値に対して、作製上などの誤差により、瞳分割方向（光電変換部の分割方向）に偏心（偏心量ｄｘｓ）して構成される例を示している。これに伴い、撮像素子１０７の入射瞳（瞳強度分布５０１、５０２）が、瞳分割方向（光電変換部の分割方向）に偏心（瞳偏心量ｄＸ）して構成される例を示している。これらは、撮像素子１０７を、撮像装置１００に配置する際の組み付け誤差などによっても生じる場合がある。なお、各軸方向の誤差量として一定量であるとして説明するが、これに限定されるものではなく、面内で異なる誤差量を有していてもよい。例えば、面内で回転方向に誤差が発生した場合には、回転軸に対する距離によって誤差量は異なり、傾きが発生した場合にも同様に距離によって誤差量が異なるこことなる。

［レンズ枠ケラレ］
次に、図１１と図１２を参照して、本実施例における、撮像素子１０７の周辺像高での被写体からの光束のレンズ枠ケラレについて説明する。図１１は、撮像素子１０７の周辺像高における、撮像素子１０７のセンサ入射瞳の瞳偏心量、入射瞳距離、及び、結像光学系のレンズ枠ケラレと、瞳部分領域（第１瞳部分領域６０１、第２瞳部分領域６０２）との関係を、＋ｙ側からのｘｚ平面で示している。撮像素子１０７の入射瞳（瞳強度分布５０１、５０２）は、図１０と対応しており、入射瞳距離Ｚ＋ｄＺの瞳面で、瞳分割方向（光電変換部の分割方向）に、偏心（瞳偏心量ｄＸ）して構成される例を示している。

被写体（物体）７０３からの光束は、結像光学系の物側の第１の枠（物側枠）Ｆ１、結像光学系の絞り枠である第３の枠（絞り枠）Ｆ３、結像光学系の像側の第２の枠（像側枠）Ｆ２により、順番にケラレて、結像面６００に到達する。結像光学系の第１から第３の枠でケラレた光束のうち、瞳強度分布５０１との重なり領域である第１瞳部分領域６０１を通過した光束は、焦点検出画素２０１（光電変換部３０１）で受光される。同様に、結像光学系の第１から第３の枠でケラレた光束のうち、瞳強度分布５０２との重なり領域である第２瞳部分領域６０２を通過した光束は、焦点検出画素２０２（光電変換部３０２）で受光される。本実施例において第１の枠Ｆ１乃至第３の枠Ｆ３の形状は光軸を中心とする同心円であるとして説明するが、枠形状の一部が乃至全部が円形でない場合であってもよい。例えば、多角形の形状であってもよいし、いわゆるＤカット型の形状であってもよい。

図１２では、撮像素子１０７の入射瞳距離Ｚ＋ｄＺだけ離れた位置の瞳面における第１瞳部分領域６０１と第２瞳部分領域６０２を示している。結像光学系の第１から第３の枠（Ｆ１〜Ｆ３）の開口部の重なりである射出瞳が、撮像素子１０７のセンサ入射瞳（第１瞳強度分布５０１、第２瞳強度分布５０２）により、第１瞳部分領域６０１と第２瞳部分領域６０２に分割される。第１瞳部分領域６０１と第２瞳部分領域６０２の領域の形状は各枠形状、枠のｚ方向の位置、像高、誤差量などによって異なる。

以下、図１３を参照して、ＣＰＵ１２１により実行される本実施例の焦点検出方法について説明する。図１３は、本実施例の焦点検出方法を示すフローチャートである。本実施例の焦点検出方法は、ソフトウエアおよびハードウエア上で動作するコンピュータプログラムとしての焦点検出プログラムにしたがって実行される。焦点検出プログラムは、例えば、撮像装置内の記憶部１３４に記録されていてもよいし、コンピュータが読み取り可能な記録媒体に記録されていてもよい。また、本実施例ではＣＰＵ１２１が焦点検出方法を実行するが、パーソナルコンピュータ（ＰＣ）や専用の装置が焦点検出装置として本実施例の焦点検出方法を実行してもよい。また、本実施例の焦点検出プログラムに対応する回路を設け、回路を動作させることで本実施例の焦点検出方法を実行してもよい。

図１３のステップＳ１０１では、ＣＰＵ１２１は、焦点検出位置設定手段として動作し、焦点検出を行う撮像素子１０７上の焦点検出位置の像高座標（ｘ_ＡＦ、ｙ_ＡＦ）を設定する。次に、像高座標（ｘ_ＡＦ、ｙ_ＡＦ）から、式（６）により、焦点検出位置の像高ｒ_ＡＦを計算する。なお、像高座標の原点は撮像素子１０７の光電変換部の重心位置であり、結像光学系の光軸と略一致する。しかし、撮像素子１０７と結像光学系は所定のバラつきを持って位置するため、バラつき分を考慮して原点位置を決定してもよいし、本実施例ではその説明は省略するが手振れ補正等による光軸位置のシフト分を考慮して像高座標を設定するようしてもよい。

図１３のステップＳ１０２では、ＣＰＵ１２１のレンズ情報取得手段１２１ｄは、枠情報取得手段として、光学条件に応じた枠情報を取得する。特に、焦点検出位置の像高座標（ｘ_ＡＦ、ｙ_ＡＦ）と、結像光学系（交換レンズ）のフォーカス状態ＦＳ、ズーム状態ＺＳ等の光学条件に応じた枠情報を取得する。枠情報は、結像光学系の結像面（撮像素子１０７の撮像面）から所定の瞳距離Ｚｆだけ離れた位置の瞳面に投影された結像光学系の物側の第１の枠（物側枠）Ｆ１の中心Ｃ１（ｘ_ＡＦ、ｙ_ＡＦ、ＦＳ，ＺＳ）と半径Ｒ１（ｘ_ＡＦ、ｙ_ＡＦ、ＦＳ，ＺＳ）を含む。さらに、枠情報は結像光学系の像側の第２の枠（像側枠）Ｆ２の中心Ｃ２（ｘ_ＡＦ、ｙ_ＡＦ、ＦＳ，ＺＳ）と半径Ｒ２（ｘ_ＡＦ、ｙ_ＡＦ、ＦＳ，ＺＳ）により構成されている。また、枠情報は、結像光学系の絞り値Ｆ（ｘ_ＡＦ、ｙ_ＡＦ、ＦＳ，ＺＳ）と、絞り枠の射出瞳距離ＬＰＯ（ｘ_ＡＦ、ｙ_ＡＦ、ＦＳ，ＺＳ）により構成されている。枠情報は、予め結像光学系の記録媒体等に記録されており、結像光学系と撮像装置１００との間で撮像タイミングまたは定期的に所定の周期でデータ通信を行い、結像光学系から取得する。もしくは、予め撮像装置１００の記録媒体に保存されている枠情報を用いても良い。なお、データ通信のタイミングはレンズ交換時または起動時等のタイミングであってもよい。また、枠情報を外部装置からネットワーク経由で取得し記憶するようにしてもよい。また、光学条件として、フォーカス状態ＦＳ、ズーム状態ＺＳ以外の情報を含んでもよい。例えば、エクステンダーの装着の状態や、チルトまたはシフト量、各種光学フィルタ装着の状態等を含んでもよい。

ステップＳ１０２では、次に、像高ｒ_ＡＦと、結像光学系の絞り枠の射出瞳距離ＬＰＯから、所定の瞳距離Ｚｆの瞳座標に投影した結像光学系の第３の枠Ｆ３の中心Ｃ３（ｘ_ＡＦ、ｙ_ＡＦ、ＦＳ，ＺＳ）を、式（７）より算出する。

ステップＳ１０２では、次に、像高ｒ_ＡＦと、絞り値Ｆから、所定の瞳距離Ｚｆの瞳座標に投影した結像光学系の第３の枠Ｆ３の半径Ｒ３（ｘ_ＡＦ、ｙ_ＡＦ、ＦＳ，ＺＳ）を、式（８）より算出する。

ステップＳ１０２では、続いて、枠情報から、第１の開口パラメータａ１、第２の開口パラメータａ２を算出する。図１４に、結像光学系の結像面（撮像素子１０７の撮像面）から所定の瞳距離Ｚｆだけ離れた位置の瞳面における、結像光学系の第１から第３の枠（Ｆ１〜Ｆ３）の開口部の重なりである射出瞳の例を示す。

第１の開口パラメータａ１（０≦ａ１≦１）は、第３の枠の中心Ｃ３から第１の枠の頂点Ｐ１までの距離Ａ１を、第３の枠の半径Ｒ３で規格化した値であり、式（９Ａ）より算出する。同様に、第２の開口パラメータａ２（０≦ａ２≦１）は、第３の枠の中心Ｃ３から第２の枠の頂点Ｐ２までの距離Ａ２を、第３の枠の半径Ｒ３で規格化した値であり、式（９Ｂ）より算出する。

図１３のステップＳ１０３では、ＣＰＵ１２１の画素信号取得手段１２１ａは、撮像素子１０７の各画素の焦点検出画素２０１、焦点検出画素２０２で受光された画素信号を取得する。もしくは、予め本実施例の撮像素子１０７により撮像され、記録媒体に保存されている画素信号を用いても良い。

ステップＳ１０３では、次に、ＣＰＵ１２１の信号生成手段１２１ｂは、画素信号に基づいて、結像光学系の異なる第１瞳部分領域６０１に応じた第１焦点検出信号と、第２瞳部分領域６０２に応じた第２焦点検出信号を生成する。すなわち、同一の瞳部分領域に相当する画素からの信号に基づいてそれぞれの焦点検出信号を生成する。より詳細には、撮像素子１０７により撮像された画素信号をＬＦとする。また、ＬＦの各画素信号内での列方向ｉ_Ｓ（１≦ｉ_Ｓ≦Ｎｘ）番目、行方向ｊ_Ｓ（１≦ｊ_Ｓ≦Ｎｙ）番目の焦点検出画素信号を、ｋ＝Ｎｘ（ｊ_Ｓ−１）＋ｉ_Ｓ（１≦ｋ≦Ｎ_ＬＦ）として、第ｋ焦点検出信号とする。結像光学系の第ｋの瞳領域に対応した、列方向ｉ番目、行方向ｊ番目の第ｋ焦点検出信号Ｉ_ｋ（ｊ、ｉ）を、以下の式（１０）により生成する。

本実施例は、Ｎｘ＝２、Ｎｙ＝１、Ｎ_ＬＦ＝２のｘ方向２分割で、ｋ＝１、ｋ＝２の例である。図２に例示した画素配列に対応した画素信号から、画素毎に、ｘ方向２分割された第１焦点検出画素２０１の信号を選択する。よって、結像光学系の第１瞳部分領域６０１に対応した、画素数Ｎ（＝水平画素数Ｎ_Ｈ×垂直画素数Ｎ_Ｖ）の解像度を有するベイヤー配列のＲＧＢ信号である第１焦点検出信号Ｉ_１（ｊ、ｉ）を生成する。同様に、結像光学系の第２瞳部分領域６０２に対応した第２焦点検出信号Ｉ_２（ｊ、ｉ）を生成する。

ステップＳ１０３では、次に、ベイヤー配列のＲＧＢ信号である第ｋ焦点検出信号Ｉ_ｋ（ｋ＝１、２）から、位置（ｊ，ｉ）ごとに、各色ＲＧＢの色重心を一致させて、第ｋ焦点検出輝度信号Ｙ_ｋ（ｋ＝１、２）を、以下の式（１１）により生成する。必要に応じて、焦点検出精度を向上するために、第ｋ焦点検出輝度信号Ｙｋに、シェーディング（光量）補正処理等を行っても良い。

ステップＳ１０３では、次に、第ｋ焦点検出輝度信号Ｙ_ｋ（ｋ＝１、２）に対して、瞳分割方向（列方向）に、１次元バンドパスフィルタ処理を行い、略波数ｋ_ＡＦ成分に限定された第１焦点検出信号ｄＹＡを生成する。また、第２焦点検出輝度信号Ｙ_２に対して、瞳分割方向（列方向）に、１次元バンドパスフィルタ処理を行い、略波数ｋ_ＡＦ成分に限定された第２焦点検出信号ｄＹＢを生成する。１次元バンドパスフィルタとしては、例えば、１次微分型フィルタ［１、５、８、８、８、８、５、１、−１、−５、−８、−８、−８、−８、−５、−１］などを用いることができる。必要に応じて、１次元バンドパスフィルタの通過帯域を調整することが好ましい。また、一般的に、位相差検出方式の焦点検出では、大デフォーカス状態での焦点検出を行うため、フィルタ処理の通過帯域は低周波帯域を含むように構成される。ただし、必要に応じて、大デフォーカス状態から小デフォーカス状態まで焦点調節を行う際に、デフォーカス状態に応じて、焦点検出の際のフィルタ処理の通過帯域を高周波帯域側に調整してもよい。

図１３のステップＳ１０４では、ＣＰＵ１２１の焦点検出手段１２１ｃは、像ズレ量検出手段として、焦点検出信号に基づいて、検出像ずれ量を算出する。焦点検出位置（ｊ_ＡＦ、ｉ_ＡＦ）を中心として、行方向ｊ_２（−ｎ_２≦ｊ_２≦ｎ_２）番目、瞳分割方向である列方向ｉ_２（−ｍ_２≦ｉ_２≦ｍ_２）番目の略波数ｋ_ＡＦ成分に限定された第１焦点検出信号をｄＹＡ（ｊ_ＡＦ＋ｊ_２、ｉ_ＡＦ＋ｉ_２）とする。さらに、第２焦点検出信号をｄＹＢ（ｊ_ＡＦ＋ｊ_２、ｉ_ＡＦ＋ｉ_２）とする。シフト量をｓ（−ｎ_ｓ≦ｓ≦ｎ_ｓ）として、各位置（ｊ_ＡＦ，ｉ_ＡＦ）での相関量ＣＯＲ_ＥＶＥＮ（ｊ_ＡＦ，ｉ_ＡＦ、ｓ）を、式（１２Ａ）により算出し、相関量ＣＯＲ_ＯＤＤ（ｊ_ＡＦ，ｉ_ＡＦ、ｓ）を、式（１２Ｂ）により算出する。

相関量ＣＯＲ_ＯＤＤ（ｊ_ＡＦ，ｉ_ＡＦ、ｓ）は、相関量ＣＯＲ_ＥＶＥＮ（ｊ_ＡＦ，ｉ_ＡＦ、ｓ）に対して、略波数ｋ_ＡＦ成分に限定された第１焦点検出信号ｄＹＡと第２焦点検出信号ｄＹＢのシフト量を半位相−１シフトずらした相関量である。

図１３のステップＳ１０４では、次に、相関量ＣＯＲ_ＥＶＥＮ（ｊ_ＡＦ，ｉ_ＡＦ、ｓ）と相関量ＣＯＲ_ＯＤＤ（ｊ_ＡＦ，ｉ_ＡＦ、ｓ）から、それぞれ、サブピクセル演算により、相関量が最小値となる実数値のシフト量を算出して平均値を算出する。そして、焦点検出位置（ｊ_ＡＦ、ｉ_ＡＦ）における検出像ずれ量ｑ_ｄｅｔを算出する。

［変換係数］
図１３のステップＳ１０５では、ＣＰＵ１２１の焦点検出手段１２１ｃは、変換係数取得手段として、検出像ずれ量ｑ_ｄｅｔから、検出デフォーカス量ｄ_ｄｅｔへ変換するための変換係数Ｋを算出する。ステップＳ１０５の変換係数Ｋの算出について、図１５を用いて詳細に説明する。なお、本実施例において各ステップの処理は、ＣＰＵ１２１の焦点検出手段１２１ｃが行う例を示すが、外部のＰＣ等によって変換係数Ｋの算出工程の一部を行い、メモリ等にその結果を保持する様にしてもよい。算出工程の一部を事前に行うことで、ＣＰＵ１２１の演算負荷を低減することができる。

図１５は、本実施例における変換係数Ｋの算出方法を示すフローチャートである。図１５のステップＳ２０１では、ＣＰＵ１２１の焦点検出手段１２１ｃは、仮想デフォーカス量設定手段として、仮想デフォーカス量ｄ_ｖｉｒを設定する。本実施例の仮想デフォーカス量ｄ_ｖｉｒは、変換係数Ｋを決定するための開口パラメータを算出するための仮定のデフォーカス量である。例えば前ピン状態（ｄ_ｖｉｒ＜０）に十分被写体がボケ得るだけ所定量デフォーカスした状態または、後ピン状態（ｄ_ｖｉｒ＞０）に所定量デフォーカスした状態に設定する。また、複数の仮想デフォーカス量ｄ_ｖｉｒを用いることによって変換係数Ｋを算出するようにしてもよい。後述するように求める変換係数Ｋは略線形関係にある仮想デフォーカス量ｄ_ｖｉｒと検出像ずれ量ｑ_ｄｅｔとの比によって算出される。つまり、横軸に仮想デフォーカス量ｄ_ｖｉｒを、縦軸に検出像ずれ量ｑ_ｄｅｔをとった場合の傾きに相当する。したがって、仮想デフォーカス量ｄ_ｖｉｒの設定を前ピンと後ピンの両方で算出することで、高精度に傾きである変換係数Ｋを算出することが可能となる。

図１５のステップＳ２０２では、ＣＰＵ１２１の焦点検出手段１２１ｃは、仮想焦点検出信号生成手段として、仮想デフォーカス量ｄ_ｖｉｒと、撮像素子のセンサ入射瞳（第１瞳強度分布、第２瞳強度分布）を生成する。さらに、撮像素子の個体毎の瞳偏心量ｄＸ、撮像素子の個体毎の入射瞳距離Ｚ、像高座標（ｘ_ＡＦ、ｙ_ＡＦ）を生成する。そして、第１仮想焦点検出信号ＶＩ_１（ｊ、ｉ｜ｄ_ｖｉｒ、ｄＸ、Ｚ、ｘ_ＡＦ、ｙ_ＡＦ、Ｆ、ＬＰＯ、ａ１、ａ２）と第２仮想焦点検出信号ＶＩ_２（ｊ、ｉ｜ｄ_ｖｉｒ、ｄＸ、Ｚ、ｘ_ＡＦ、ｙ_ＡＦ、Ｆ、ＬＰＯ、ａ１、ａ２）を生成する。これは、結像光学系の枠情報（絞り値Ｆ、絞り枠の射出瞳距離ＬＰＯ、第１の開口パラメータａ１、第２の開口パラメータａ２）に対応している。さらに、結像光学系の枠情報に対応した第１仮想焦点検出信号ＶＩ_１（ｊ、ｉ｜ｄ_ｖｉｒ、ｄＸ、Ｚ、ｘ_ＡＦ、ｙ_ＡＦ、Ｆ、ＬＰＯ、ａ１、ａ２）と第２仮想焦点検出信号ＶＩ_２（ｊ、ｉ｜ｄ_ｖｉｒ、ｄＸ、Ｚ、ｘ_ＡＦ、ｙ_ＡＦ、Ｆ、ＬＰＯ、ａ１、ａ２）を生成する。当該結像光学系の枠情報は、絞り値Ｆ、絞り枠の射出瞳距離ＬＰＯ、第１の開口パラメータａ１、第２の開口パラメータａ２等が含まれるが、これに限定されない。なお、撮像素子のセンサ入射瞳（第１瞳強度分布、第２瞳強度分布）、撮像素子の個体毎の瞳偏心量ｄＸ、撮像素子の個体毎の入射瞳距離Ｚは個体ごとに変化することのある値である。そのため、工場製造時に測定しておき、メモリに調整値または固定値として保存しておく。像高座標（ｘ_ＡＦ、ｙ_ＡＦ）はユーザー操作によって、またはＣＰＵ１２１によって自動で決定される値であり、撮像タイミングごとに異なる。そのため、演算の都度取得する必要がある。さらに、結像光学系の枠情報（絞り値Ｆ、絞り枠の射出瞳距離ＬＰＯも撮像タイミングごとに変化し得る値であるため、演算の都度取得することが好ましい。そして、本発明の特徴である第１の開口パラメータａ１、第２の開口パラメータａ２も式（９Ａ）および式（９Ｂ）で示すように、撮像タイミングごとに変化し得る。これらの値は、結像光学系（交換レンズ）と撮像装置（カメラ）１００との間で撮像タイミングまたは定期的にデータ通信をすることで取得する。このように適宜データ通信によって各パラメータを取得することで、画像信号を取得する取得条件に相当する撮像条件に合わせたパラメータで変換係数Ｋを算出することができる。なお、取得条件には本実施例に示す条件以外の条件を含めるようにしてもよい。

従来、変換係数Ｋを算出するには、変換係数Ｋの依存パラメータ（ｄＸ、Ｚ、ｘ_ＡＦ、ｙ_ＡＦ、Ｆ、ＬＰＯ）に加えて、結像光学系の第１の枠の中心Ｃ１と半径Ｒ１および第２の枠の中心Ｃ２と半径Ｒ２の値が必要となる。一方で、本実施例の変換係数Ｋの算出方法では、結像光学系の第１の枠の中心Ｃ１と半径Ｒ１から算出され、レンズ枠ケラレの割合を示す第１の開口パラメータａ１が用いられる。さらに、結像光学系の第２の枠の中心Ｃ２と半径Ｒ２から算出される。そして、レンズ枠ケラレの割合を示す第２の開口パラメータａ２をも用いることにより、変換係数Ｋの依存パラメータ（ｄＸ、Ｚ、ｘ_ＡＦ、ｙ_ＡＦ、Ｆ、ＬＰＯ、ａ１、ａ２）の総数を抑制するという特徴がある。

図１６は、本実施例の仮想焦点検出信号（第１仮想焦点検出信号ＶＩ_１、第２仮想焦点検出信号ＶＩ_２）の生成方法を示している。図１６の上段左図では、はじめに、ＣＰＵ１２１は、撮像素子１０７の第１瞳強度分布５０１および第２瞳部分領域６０２、瞳偏心量ｄＸ、入射瞳距離Ｚ、像高座標（ｘ_ＡＦ、ｙ_ＡＦ）、結像光学系の絞り値Ｆ、絞り枠の射出瞳距離ＬＰＯを取得する。さらに、第１の開口パラメータａ１（０≦ａ１≦１）、第２の開口パラメータａ２（０≦ａ２≦１）を取得する。各値は本フローチャートの処理の開始前あるいは開始と同時にメモリ上に固定値またはテーブルとして記憶され、またはユーザーが指定した撮像条件に基づいた値であり、各値をメモリ等に取得する。

次に、結像光学系の絞り枠の射出瞳距離ＬＰＯから、所定の瞳距離Ｚｆの瞳座標に投影した結像光学系の第３の枠（絞り枠）Ｆ３の中心Ｃ３を、式（７）より算出する。結像光学系の絞り値Ｆから、所定の瞳距離Ｚｆの瞳座標に投影した結像光学系の第３の枠（絞り枠）Ｆ３の半径Ｒ３を、式（８）より算出する。

次に、図１４に示すように、第１から第３の枠（Ｆ１〜Ｆ３）が同一点で交わると仮定したモデルを前提として、第１の開口パラメータａ１から、仮想焦点検出信号の生成に用いる第１の枠の半径Ｒ１を式（１３Ａ）により算出する。同様に、第２の開口パラメータａ２から、仮想焦点検出信号の生成に用いる第２の枠の半径Ｒ２を式（１３Ｂ）により算出する。一般的に、第１から第３の枠（Ｆ１〜Ｆ３）は同一点では交わらないが、実際の撮像光学系においては代表的な配置であり、同一点で交わる配置でモデル化することによって少ないパラメータで精度よく第１の枠Ｆ１と第２の枠Ｆ２の形状を算出することができる。これにより、変換係数Ｋの算出の精度を向上させることができる。

次に、第１の開口パラメータａ１から、仮想焦点検出信号の生成に用いる第１の枠の半径Ｃ１を式（９Ａ）により算出する。同様に、第２の開口パラメータａ２から、仮想焦点検出信号の生成に用いる第２の枠の半径Ｃ２を式（９Ｂ）により算出する。

図１６の上段左図では、次に、第１仮想瞳部分領域ＶＰ１と第２仮想瞳部分領域ＶＰ２を生成する。これは、撮像素子の第１瞳強度分布５０１、第２瞳強度分布５０２、撮像素子の個体毎の瞳偏心量ｄＸ、撮像素子の個体毎の入射瞳距離Ｚ、像高座標（ｘ_ＡＦ、ｙ_ＡＦ）、結像光学系の第１から第３の枠（Ｆ１〜Ｆ３）に対応している。

図１６の上段中央図では、第１仮想瞳部分領域ＶＰ_１を瞳分割方向に垂直な方向に射影し、仮想デフォーカス量ｄ_ｖｉｒの大きさ｜ｄ_ｖｉｒ｜に応じたスケール変換を行い、第１仮想線像Ａを生成する。同様に、第２仮想瞳部分領域ＶＰ_２を瞳分割方向に垂直な方向に射影し、仮想デフォーカス量ｄ_ｖｉｒの大きさ｜ｄ_ｖｉｒ｜に応じたスケール変換を行い、第２仮想線像Ｂを生成する。仮想デフォーカス量ｄ_ｖｉｒ＜０で前ピン状態の場合は、第１仮想線像Ａと第２仮想線像Ｂを加算した線像Ａ＋Ｂの重心位置を中心として、第１仮想線像Ａと第２仮想線像Ｂに対して、左右反転変換を行う。

図１６の上段中央図から上段右図では、仮想線像（第１仮想線像Ａ、第２仮想線像Ｂ）と被写体信号との畳み込み積分（コンボリューション）を行い、仮想被写体像（第１仮想被写体像ＶＡＩ、第２仮想被写体像ＶＢＩ）を生成する。

図１６の上段右図から下段右図では、仮想被写体像（第１仮想被写体像ＶＡＩ、第２仮想被写体像ＶＢＩ）に、順次、仮想的に、光学ローパスフィルタ処理、画素開口ローパスフィルタ処理、ＲＧＢベイヤー配列（図２）での画素サンプリング処理などを行う。そして、第１仮想焦点検出信号ＶＩ_１（ｊ、ｉ｜ｄ_ｖｉｒ、ｄＸ、Ｚ、ｘ_ＡＦ、ｙ_ＡＦ、Ｆ、ＬＰＯ、ａ１、ａ２）と第２仮想焦点検出信号ＶＩ_２（ｊ、ｉ｜ｄ_ｖｉｒ、ｄＸ、Ｚ、ｘ_ＡＦ、ｙ_ＡＦ、Ｆ、ＬＰＯ、ａ１、ａ２）を生成する。

図１５のステップＳ２０３（及び、図１６の下段）では、ＣＰＵ１２１の焦点検出手段１２１ｃは、仮想焦点検出信号（第１仮想焦点検出信号ＶＩ_１、第２仮想焦点検出信号ＶＩ_２）に対して、順次、仮想的に、撮像装置と同等の焦点検出処理を行う。当該処理には、少なくともステップＳ１０３の式（１１）から、ステップＳ１０４のサブピクセル演算とシフト量の平均算出までを含む。そして、仮想像ずれ量ｑ_ｖｉｒ（ｄ_ｖｉｒ、ｄＸ、Ｚ、ｘ_ＡＦ、ｙ_ＡＦ、Ｆ、ＬＰＯ、ａ１、ａ２）を算出する。なお、仮想像ずれ量ｑ_ｖｉｒの算出において、算出精度を向上させるために仮想線像と畳み込み積分を行う被写体信号は複数種類用いることが望ましい。例えば、異なる空間周波数帯域を有する複数の被写体信号を仮想線像と畳み込み積分を行い、その結果を平均乃至重みづけ加算等を行うことで、より高精度の算出が可能となる。

図１５のステップＳ２０４では、仮想デフォーカス量ｄ_ｖｉｒを、算出された仮想像ずれ量ｑ_ｖｉｒで除算することで、変換係数Ｋ（ｄＸ、Ｚ、ｘ_ＡＦ、ｙ_ＡＦ、Ｆ、ＬＰＯ、ａ１、ａ２）を算出する。なお、変換係数Ｋの算出において、すでに述べたように複数の仮想でフォーカス量ｄ_ｖｉｒまたは被写体信号を用いることが望ましい。演算負荷または演算時間としては増えるが、精度の向上という効果を得ることができる。

ここで、図１３の説明に戻る。図１３のステップＳ１０６では、検出デフォーカス量算出手段は、検出像ずれ量ｑ_ｄｅｔに変換係数Ｋ（ｄＸ、Ｚ、ｘ_ＡＦ、ｙ_ＡＦ、Ｆ、ＬＰＯ、ａ１、ａ２）を乗算し、検出デフォーカス量ｄ_ｄｅｔを算出する。なお、検出デフォーカス量ｄ_ｄｅｔを算出は撮像素子１０７から出力される画素信号に対して実施する例を示したが、これに限られずメモリ等に記憶された画素信号に対して実行する場合であってもよい。

本実施例は、結像光学系の異なる瞳領域を通過した光を光電変換して得られた画素信号を用いて焦点検出を行う焦点検出装置である。そして、画素信号を取得する取得手段と、画素信号を用いて、異なる瞳領域に対応する複数の焦点検出信号を生成する信号生成手段と、複数の焦点検出信号に基づいて検出像ずれ量を算出する。また、検出像ずれ量と変換係数から検出デフォーカス量を検出する焦点検出手段と、を有し、焦点検出手段は、仮想デフォーカス量を設定して異なる瞳領域に対応する複数の仮想焦点検出信号を生成する。これにより、仮想焦点検出信号の相関量から仮想像ずれ量を算出し、仮想像ずれ量と仮想デフォーカス量とから、変換係数を算出する。

本実施例は、結像光学系の異なる瞳領域を通過した光を受光する複数の画素を配列した撮像素子と、画素で取得された画素信号を用いる。そして、異なる瞳領域に対応する複数の焦点検出信号を生成する信号生成手段と、複数の焦点検出信号に基づいて検出像ずれ量を算出し、検出像ずれ量と変換係数から検出デフォーカス量を検出する焦点検出手段と、を有する焦点検出装置である。そして、焦点検出手段は、撮像素子の瞳偏心量と、撮像素子の入射瞳距離と、結像光学系の複数の枠の開口情報と、に基づいて前記変換係数を算出する。

以上により、本実施例では、レンズ交換式カメラにおいて、撮像素子の各個体と、各交換レンズ（結像光学系）との任意の組み合わせに対して、変換係数Ｋ（ｄＸ、Ｚ、ｘ_ＡＦ、ｙ_ＡＦ、Ｆ、ＬＰＯ、ａ１、ａ２）を高精度に算出することができる。つまり、撮像素子の個体毎の光学特性と交換レンズ（結像光学系）毎の光学特性に基づき、撮像装置での位相差検出方式の焦点検出処理を仮想的に再現することで、変換係数Ｋ（ｄＸ、Ｚ、ｘ_ＡＦ、ｙ_ＡＦ、Ｆ、ＬＰＯ、ａ１、ａ２）を高精度に算出することができる。したがって、高精度に焦点検出を行うことができる。

本実施例では、図１５に示す処理フローに基づいてＣＰＵ１２１が変換係数Ｋを算出する例を示したが、あらかじめ、各パラメータ（ｄＸ、Ｚ、ｘ_ＡＦ、ｙ_ＡＦ、Ｆ、ＬＰＯ、ａ１、ａ２）の設定パラメータに対応する、変換係数Ｋを計算するようにしてもよい。計算した結果である変換係数Ｋは、撮像装置内の記憶部１３４等に格納しておく。

図１７に、第１の開口パラメータａ１（０≦ａ１≦１）、第２の開口パラメータａ２（０≦ａ２≦１）の設定パラメータ振りでの仮想瞳強度分布（第１仮想瞳部分領域、第２仮想瞳部分領域）の変化例を示す。

本実施例の変形例として、撮像装置内の記憶部１３４に格納するデータ量を抑制するために、変換係数の逆数１／Ｋ（ｄＸ、Ｚ、ｘ_ＡＦ、ｙ_ＡＦ、Ｆ、ＬＰＯ、ａ１、ａ２）を、変数（１−ａ１）、変数（１−ａ２）の多項式関数で近似する。そして、多項式の各次数の係数ＰＤ_αβ（ｄＸ、Ｚ、ｘ_ＡＦ、ｙ_ＡＦ、Ｆ、ＬＰＯ）をメモリに格納しておく。つまり、ステップＳ１０５では、ＣＰＵ１２１は変換係数取得手段として、図１５に示すフローによって変換係数Ｋを算出せずに、式（１４）により、変換係数Ｋ（ｄＸ、Ｚ、ｘ_ＡＦ、ｙ_ＡＦ、Ｆ、ＬＰＯ、ａ１、ａ２）を算出する。

本変形例では、メモリ上には係数ＰＤ_αβ（ｄＸ、Ｚ、ｘ_ＡＦ、ｙ_ＡＦ、Ｆ、ＬＰＯ）を記憶しておき、撮像タイミングなどに応じて撮像装置のＣＰＵ１２１にて変換係数Ｋの算出を実行する。このように、図１５に示すフローを実行するのではなく、事前に算出しておいた係数と式（１４）を用いることで演算負荷を低減することができる。ＰＤ_αβは、第１の開口パラメータａ１、第２の開口パラメータａ２を含まないため、設定可能な絞り値Ｆ、絞り枠の射出瞳距離ＬＰＯの取り得る範囲が決まっていれば、撮像光学系によらず算出することができる。また、本実施例の変換係数の算出に対応する回路を設け、回路を動作させることで、本実施例の変換係数Ｋを算出しても良いし、式（１４）を用いて事前に変換係数Ｋを算出してメモリに格納しておいてもよい。また、格納するメモリはカメラ本体側であってもよいし、一部または全部をレンズ用メモリに格納し、レンズ通信回路１３０経由で取得してもよい。

なお、図１２より絞り値Ｆが十分に大きい（小絞り）場合、第１の枠Ｆ１および第２の枠Ｆ２の影響をほとんど受けず、第３の枠Ｆ３によって第１瞳部分領域６０１および第２瞳部分領域６０２が決定することとなる。つまり、変換係数Ｋの値は第１の開口パラメータａ１、第２の開口パラメータａ２に依存する度合いが少なくなる。したがって、本実施例の変換係数Ｋの算出は絞り値Ｆが小さい場合に好適で、逆に大きい場合には演算負荷によっては省略することができる。すなわち絞り値Ｆが大きい場合など、第１の開口パラメータａ１、第２の開口パラメータａ２に依存度が低い場合には、本実施例の演算を一部省略することで、高精度の焦点検出と演算負荷の低減を両立することが可能となる。

図１８および図１９を参照して、本実施例の撮像装置について説明する。本実施例の撮像装置は、撮像素子の構成が実施例１とは異なる。他の構成は実施例１と同様であるため、詳細な説明は省略する。本実施例における撮像装置１０７では、各画素が第１〜第４副画素を備え、第１〜第４副画素の信号を加算して読み出すことで、撮像信号（撮像画像）が生成される。

図１８は、撮像素子１０７の画素（撮像画素）配列を示す図である。図１９は、撮像素子１０７の画素構造を示す図であり、図１９（ａ）は撮像素子１０７の画素２００Ｇの平面図（＋ｚ方向から見た図）、図１９（ｂ）は図１９（ａ）中の線ａ−ａの断面図（−ｙ方向から見た図）をそれぞれ示している。

図１８は、撮像素子１０７の画素配列を、４列×４行の範囲で示している。本実施例では、各々の画素（画素２００Ｒ、２００Ｇ、２００Ｂ）は、４つの副画素２０１、２０２、２０３、２０４により構成さている。このため、図１８には、副画素の配列が、８列×８行の範囲で示されている。

図１８に示されるように、２列×２行の画素群２００は、画素２００Ｒ、２００Ｇ、２００Ｂがベイヤー配列で配置されている。すなわち、画素群２００のうち、Ｒ（赤）の分光感度を有する画素２００Ｒが左上に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２００Ｂが右下にそれぞれ配置されている。画素２００Ｒ、２００Ｇ、２００Ｂは、２列×２行に配列された副画素（焦点検出画素）２０１、２０２、２０３、２０４により構成されている。副画素（第１副画素）２０１は、結像光学系の第１瞳部分領域を通過した光束を受光する画素である。副画素（第２副画素）２０２は、結像光学系の第２部分瞳領域を通過した光束を受光する画素である。副画素（第３副画素）２０３は、結像光学系の第３瞳部分領域を通過した光束を受光する画素である。副画素（第４副画素）２０４は、結像光学系の第４瞳部分領域を通過した光束を受光する画素である。

図１８に示されるように、撮像素子１０７は、４列×４行の画素（８列×８行の副画素）を面上に多数配置して構成されており、撮像信号（副画素信号）を出力する。本実施例の撮像素子１０７は、画素の周期Ｐが６μｍ、画素の数Ｎが横６０００列×縦４０００行＝２４００万画素である。また撮像素子１０７は、副画素の列方向の周期Ｐ_ＳＵＢが３μｍ、副画素の数Ｎ_ＳＵＢが横１２０００列×縦８０００行＝９６００万画素である。

図１９（ｂ）に示されるように、本実施例の画素２００Ｇには、画素の受光面側に入射光を集光するためのマイクロレンズ３０５が設けられている。マイクロレンズ３０５は、２次元状に複数配列されており、受光面からｚ軸方向（光軸ＯＡの方向）に所定の距離だけ離れた位置に配置されている。また画素２００Ｇには、ｘ方向にＮ_Ｈ分割（２分割）、ｙ方向にＮ_Ｖ分割（２分割）された光電変換部３０１、３０２、３０３、３０４が形成されている。光電変換部３０１〜３０４はそれぞれ、副画素２０１〜２０４に対応する。

本実施例では、撮像素子１０７の各画素の副画素２０１、２０３の画素信号に基づいて第１の焦点検出信号を生成し、各画素の副画素２０２、２０４の画素信号に基づいて第２の焦点検出信号を生成して焦点検出を行う。また、撮像素子１０７の画素ごとに、副画素２０１、２０２、２０３、２０４の信号を加算して読み出すことで、有効画素数Ｎの解像度を有する撮像信号（撮像画像）を生成することができる。

なお、第１の焦点検出信号は、副画素２０１、２０２の画素信号に基づいて生成されてもよい。このとき、第２の焦点検出信号は、副画素２０３、２０４の画素信号に基づいて生成される。また、第１の焦点検出信号は、副画素２０１、２０４の画素信号に基づいて生成されてもよい。このとき、第２の焦点検出信号は、副画素２０２、２０３の画素信号に基づいて生成される。

（その他の実施例）
各実施例で説明した撮像ユニットおよび撮像装置は様々なアプリケーションに適用可能である。例えば、撮像ユニットは可視光以外にも赤外光、紫外光、Ｘ線等の光のセンシングに用いることが可能である。また、撮像装置はデジタルカメラに代表されるが他にも、スマートフォン等のカメラ付携帯電話、監視カメラ、ゲーム機器等にも適用可能である。さらに、内視鏡や血管撮像を行う医療機器や、肌や頭皮を観察する美容機器、スポーツやアクション動画を撮像するためのビデオカメラに適用できる。そして、交通や船舶監視やドライブレコーダー等の交通目的カメラ、天体観測や検体観察等の学術用途カメラ、カメラ付き家電製品、マシンビジョン等にも適用可能である。特にマシンビジョンとして、工場等におけるロボットには限られず、農業や漁業での活用も可能である。

また、上記実施例に示した撮像装置の構成は、一例を示したものであり、本発明を適用可能な撮像装置は、図１に示した構成に限定されるものではない。また、撮像装置の各部の回路構成も、各図に示した構成に限定されるものではない。

本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０１ 第１レンズ群
１０２ 絞り兼用シャッタ
１０３ 第２レンズ群
１０５ 第３レンズ群
１０６ 光学的ローパスフィルタ
１０７ 撮像素子
１２１ ＣＰＵ
１２６ フォーカス駆動回路
１２８ 絞りシャッタ駆動回路
１２９ ズーム駆動回路

Claims (15)

1. 結像光学系の異なる瞳領域を通過した光を受光する複数の画素を配列した撮像素子と、
   前記画素で取得された画素信号を用いて、前記異なる瞳領域に対応する複数の焦点検出信号を生成する生成手段と、
   前記複数の焦点検出信号に基づいて像ずれ量を算出し、像ずれ量と変換係数からデフォーカス量を検出する検出手段と、を有する検出装置であって、
   前記検出手段は、前記撮像素子の瞳偏心量と、前記撮像素子の入射瞳距離と、前記結像光学系の複数の枠の開口情報と、に基づいて前記変換係数を算出する、
   ことを特徴とする検出装置。
2. 前記検出手段は前記瞳偏心量と、前記撮像素子の入射瞳距離と、前記結像光学系の複数の枠の開口情報と、に基づいて瞳部分領域を決定し、前記瞳部分領域に基づいて前記変換係数を算出することを特徴とする請求項１に記載の検出装置。
3. 前記瞳偏心量は、前記撮像素子の製造中のバラつきを含むことを特徴とする請求項１または２に記載の検出装置。
4. 前記撮像素子に配列された複数の画素から、所定の取得条件で前記画素信号を取得する取得手段をさらに備え、
   前記検出手段は前記取得条件にあわせて前記変換係数を算出することを特徴とする請求項１乃至３のいずれか１項に記載の検出装置。
5. 前記結像光学系の複数の枠の開口情報には、前記結像光学系に含まれる複数の枠の中心と半径に基づいて決定されることを特徴とする請求項１乃至４のいずれか１項に記載の検出装置。
6. 前記開口情報には、前記結像光学系に含まれる絞り枠が含まれることを特徴とする請求項５に記載の検出装置。
7. 前記撮像素子の瞳偏心量と、前記撮像素子の入射瞳距離と、前記結像光学系の複数の枠の開口情報とに基づいて算出した前記変換係数を記憶する記憶手段をさらに備えることを特徴とする請求項１乃至６のいずれか１項に記載の検出装置。
8. 前記変換係数を前記結像光学系の複数の枠の開口情報の関数とした際の係数を記憶する記憶手段をさらに備え、
   前記検出手段は前記係数を用いて前記変換係数を算出することを特徴とする請求項１乃至６のいずれか１項に記載の検出装置。
9. 請求項１乃至８のいずれか１項に記載の検出装置と、
   前記結像光学系を制御する制御手段と、を備える撮像装置であって、
   前記制御手段は、前記検出手段が検出したデフォーカス量に基づいて、前記結像光学系の焦点位置を制御することを特徴とする撮像装置。
10. 前記結像光学系を着脱可能に装着するためのマウント部と、
    前記マウント部を介して前記結像光学系と通信する通信手段と、をさらに備え、
    前記通信手段は、前記画像信号を取得するタイミングまたは所定の周期で通信を行い、前記結像光学系の複数の枠の開口情報を前記結像光学系より取得することを特徴とする請求項９に記載の撮像装置。
11. カメラ本体に備え付けられた撮像素子の画素信号における像ずれ量に基づいて、焦点調節可能なレンズユニットを含むレンズ装置であって、
    前記像ずれ量をデフォーカス量に変換する変換係数の算出に用いる複数の枠の開口情報を保持するメモリと、
    前記カメラ本体において、デフォーカス量を算出するために前記複数の枠の開口情報を送信する送信手段と、
    を備えることを特徴とするレンズ装置。
12. 結像光学系の異なる瞳領域を通過した光を光電変換して得られた画素信号に基づいてデフォーカス量の算出を行う距離検出装置であって、
    前記画素信号に基づいて、前記異なる瞳領域に対応する複数の焦点検出信号を生成する生成手段と、
    前記生成手段が生成した複数の焦点検出信号に基づく検出像ずれ量と、変換係数からデフォーカス量を算出する算出手段と、
    を備え、
    前記算出手段は、仮想のデフォーカス量を設定して前記異なる瞳領域に対応する複数の仮想の焦点検出信号を生成し、前記仮想の焦点検出信号の相関量から仮想の像ずれ量を算出し、前記仮想の像ずれ量と前記仮想のデフォーカス量とから、前記変換係数を決定することを特徴とする距離検出装置。
13. 前記焦点検出手段は、
    複数の条件で仮想のデフォーカス量を設定し、かつ前記異なる瞳領域に対応する複数の仮想の焦点検出信号を生成し、
    前記複数の仮想の焦点検出信号の相関量から複数の仮想の像ずれ量を算出し、
    前記複数の仮想の像ずれ量と前記仮想のデフォーカス量とから、前記変換係数を算出する、
    ことを特徴とする請求項１２に記載の焦点検出装置。
14. 結像光学系の異なる瞳領域を通過した光を光電変換して得られた画素信号を用いて焦点検出を行う焦点検出方法であって、
    前記画素信号を取得する取得ステップと、
    前記画素信号を用いて、前記異なる瞳領域に対応する複数の焦点検出信号を生成する信号生成ステップと、
    前記複数の焦点検出信号に基づいて検出像ずれ量を算出し、検出像ずれ量と変換係数から検出デフォーカス量を検出する焦点検出ステップと、を有し、
    前記焦点検出ステップは、
    仮想のデフォーカス量を設定して前記異なる瞳領域に対応する複数の仮想の焦点検出信号を生成し、
    前記仮想の焦点検出信号の相関量から仮想の像ずれ量を算出し、
    前記仮想の像ずれ量と前記仮想のデフォーカス量とから、前記変換係数を算出する、
    ことを特徴とする焦点検出方法。
15. 結像光学系の異なる瞳領域を通過した光を光電変換して得られた画素信号を用いて焦点検出を行う焦点検出装置を制御するための焦点検出プログラムであって、
    コンピュータを、
    前記画素信号を取得する取得手段と、
    前記画素信号を用いて、前記異なる瞳領域に対応する複数の焦点検出信号を生成する信号生成手段と、
    前記複数の焦点検出信号に基づいて検出像ずれ量を算出し、検出像ずれ量と変換係数から検出デフォーカス量を検出する焦点検出手段、として機能させ、
    前記焦点検出手段は、
    仮想のデフォーカス量を設定して前記異なる瞳領域に対応する複数の仮想の焦点検出信号を生成し、
    前記仮想の焦点検出信号の相関量から仮想の像ずれ量を算出し、
    前記仮想の像ずれ量と前記仮想のデフォーカス量とから、前記変換係数を算出する、
    ことを特徴とする焦点検出プログラム。