JP2010026177A

JP2010026177A - 位相差検出装置、撮像装置、位相差検出方法、位相差検出プログラム

Info

Publication number: JP2010026177A
Application number: JP2008186401A
Authority: JP
Inventors: Makoto Oikawa; 真追川
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2008-07-17
Filing date: 2008-07-17
Publication date: 2010-02-04
Anticipated expiration: 2028-07-17
Also published as: CN101630110B; EP2146500B1; EP2146500A3; US20100013947A1; CN101630110A; EP2146500A2; US8149324B2; JP5317562B2

Abstract

【課題】ゲイン差のある一対の像信号についても、位相差検出誤差が生じにくい位相差検出装置、撮像装置、位相差検出方法、位相差検出プログラムを提供する。
【解決手段】一対の光学像から得られるＡＢ像の比較結果としてＡ像とＢ像との比を求め、画素に得られるこの比を統計的にばらつき評価するために分散値を求める。この分散値によるばらつき評価を、Ａ像とＢ像との位相をずらしながら各位相差毎に行い、このばらつきの評価結果に基づいて、位相差検出を行う。
【選択図】図２３

Description

本発明は、カメラ、ビデオカメラ等の撮像装置に用いることができる位相差検出装置、これを備える撮像装置と、位相差検出方法、位相差検出プログラムに関するものである。

従来から撮像装置では、自動焦点（ＡＦ）動作させるために撮影レンズの焦点状態の検出が行われている。例えば、撮影レンズの焦点状態に応じて相対位置関係が変わる一対の像信号の位相差から、撮影レンズの焦点状態を検出する焦点検出方法が知られている。
一対の像信号から得られる所定の定義量（以下、相関量と称す）に基づいて、一対の像信号の位相差を検出する方法が特許文献１に開示されている。特許文献１では、第１と第２の出力信号のうち少なくとも１つの出力信号の一部の勾配を検出する。そして、その勾配に従って第1の結果信号を発生する要素と、第１の出力信号と第２の出力信号との大きさの差を検出する。検出した差に従って第２の結果信号を発生する要素を定義し、第１の結果信号に第２の結果信号を掛け合わせたもの相関量として定義し、その相関量に基づいて一対の像信号の位相差を検出している。

また、撮影レンズの異なる瞳領域を透過した光束により形成される一対の像信号の位相差から、撮影レンズの焦点状態を検出するＴＴＬ方式の位相差方式の焦点検出装置が特許文献２に開示されている。特許文献２では、一対の像信号の差の絶対和を相関量として定義し、その相関量に基づいて一対の像信号の位相差を検出している。
さらに、外測タイプの位相差方式焦点検出方法が特許文献３に開示されている。
特公昭６２―３９７２２号公報特開昭６３−２６４７１５号公報特開２００４−１２６０１号公報

しかし、従来の位相差検出方式では、以下に掲げる問題があった。
撮影レンズの光軸中心から離れた位置では、撮影レンズの口径食等により一対の像信号に不均等な光量落ちが発生し、二つの像信号の間にゲイン差が生じてしまう。ゲイン差がある二つの像信号の位相差を検出しようとすると、両者の一致度が悪くなることで検出がし難くなるばかりでなく、像信号のパターンによっては検出誤差が生じてしまうという問題があった。

図３５Ａは、ゲイン差がある場合の二つの像信号の波形を示した図である。
この図３５Ａでは、視野の左半分が黒く、右半分が白く、その境界部では黒から白へ徐々に切り替わっていくようなグラデーションパターンを有する被写体を捕らえた場合を示している。また、図３５Ａでは、二つの像信号の位相差はない状態を示している。
ここで、この図３５Ａに示す二つの像信号が得られたときに、特許文献１及び特許文献２に開示されている相関量により位相差検出を行った場合を想定する。この場合、二つの像信号間に生じたゲイン差と、二つの像信号間の位相差とを区別できない。よって、横ずれした位置で二つの像は一致していると勘違いしてしまう。

図３５Ｂは、ゲイン差がある場合従来の位相差検出を行ったときに二つの像信号が一致すると判断を誤ったときの波形を示した図である。
従来の技術では、図３５Ｂにハッチングを付して示した領域が相関量に相当し、これが最小となる図３５Ｂの状態で二つの像信号が一致すると判断してしまう。よって、従来の相関量により位相差検出を行った場合には、図３５Ｂに示すように、レベル差の影響を受けて横ずれした位置で二つの像は一致していると勘違いしてしまう。そのため、二つの像信号の位相差検出結果にずれが生じてしまうという問題があった。

ここで、例えば、この不均等な光量落ちの量を把握しておき、補正するという方法も考えられる。しかし、撮影レンズの製造ばらつきよる口径食のずれ、撮影レンズのズーム・フォーカス駆動時のガタによる口径食のずれ、一対の光学像を形成するレンズ系の製造ばらつきによる開口率のずれ等は存在する。したがって、これら様々な要因によりゲイン補正に誤差が残ってしまい、結果として図３５Ａに示すようなゲイン差が生じてしまうおそれがあった。このような補正残りがある場合には、やはり二つの像信号の位相差検出結果にずれが生じてしまうという問題があった。

本発明の課題は、ゲイン差のある一対の像信号についても、位相差検出誤差が生じにくい位相差検出装置、撮像装置、位相差検出方法、位相差検出プログラムを提供することである。

本発明の第１の側面としての位相差検出装置は、レンズ部と、受光した光を光電変換する画素が複数並べて配列され、前記レンズ部を介して受光した少なくとも一対の光学像を光電変換して少なくとも一対の像信号を生成する光電変換手段と、前記光電変換手段が生成する前記一対の像信号の分布位置を演算上で順次相対的に変位させながら各相対変位位置で前記画素毎に対応する部分で前記一対の像信号を形成する各信号同士を比較して、前記画素毎の比較結果を出力する比較手段と、前記比較手段が出力する前記画素毎の比較結果の統計的ばらつきを前記各相対変位位置で算出して数値化するばらつき算出手段と、前記各相対変位位置の変位に応じて前記ばらつき算出手段が数値化した前記統計的ばらつきに基づいて前記一対の像信号の位相差を算出する位相差算出手段とを備える。

本発明の第２の側面としての撮像装置は、本発明の第１の側面としての位相差検出装置と、前記位相差検出装置の位相差検出結果に基づいて焦点調節動作を行う撮影光学系と、前記撮影光学系により得られる被写体像を撮像する撮像素子とを備える。

本発明の第３の側面としての位相差検出方法は、レンズ部を介して受光した少なくとも一対の光学像を複数並べて配列された画素により光電変換して少なくとも一対の像信号を生成し、生成された前記一対の像信号の分布位置を演算上で順次相対的に変位させながら各相対変位位置で前記画素毎に対応する部分で前記一対の像信号を形成する各信号同士を比較して、前記画素毎の比較結果を出力し、前記比較結果の統計的ばらつきを前記各相対変位位置で算出して数値化し、前記各相対変位位置の変位に応じて前記ばらつき算出手段が数値化した前記統計的ばらつきに基づいて前記一対の像信号の位相差を算出する。

本発明の第４の側面としての位相差検出プログラムは、レンズ部と、受光した光を光電変換する画素が複数並べて配列され、前記レンズ部を介して受光した少なくとも一対の光学像を光電変換して少なくとも一対の像信号を生成する光電変換手段と、を備えた位相差検出装置のコンピュータを、前記光電変換手段が生成する前記一対の像信号の分布位置を演算上で順次相対的に変位させながら各相対変位位置で前記画素毎に対応する部分で前記一対の像信号を形成する各信号同士を比較して、前記画素毎の比較結果を出力する比較手段と、前記比較手段が出力する前記画素毎の比較結果の統計的ばらつきを前記各相対変位位置で算出して数値化するばらつき算出手段と、前記各相対変位位置の変位に応じて前記ばらつき算出手段が数値化した前記統計的ばらつきに基づいて前記一対の像信号の位相差を算出する位相差算出手段として機能させるためのプログラムである。

本発明によれば、ゲイン差のある一対の像信号についても、位相差検出誤差が生じにくい位相差検出装置、撮像装置、位相差検出方法、位相差検出プログラムを提供できる。

以下、本発明を実施するための最良の形態について図面等を参照して説明する。
なお、図１を含め、以下に示す各図は、模式的に示した図であり、各部の大きさ、形状は、理解を容易にするために、適宜誇張して示している。
また、以下の説明では、具体的な数値、形状、動作等を示して説明を行うが、これらは、適宜変更することができる。
さらに、以下の説明中で上下（又は縦）、左右（又は横）、前後等の方向を表す文言は、特に断りがない限り、カメラを正位置としたときを基準としている。上下とは、カメラが正位置における上下であり、左右とは、カメラを構える撮影者がカメラ背面から見たときに右手側を右とし、前後とは、被写体側を前としている。
ここで、正位置とは、撮影者が通常の状態でカメラを保持したとき、すなわち、撮影光学系の光軸が水平であり、かつ、撮影画面の長手方向が水平方向となる状態でカメラが保持されたときの位置を指すものとする。

（第１実施形態）
図１Ａは、本発明による位相差検出装置を用いたカメラの第１実施形態の構成を示す図である。
第１実施形態のカメラは、撮像素子を有したカメラ本体と撮影光学系ＴＬとが一体となった撮像装置としてのデジタルカメラである。
第１実施形態のカメラは、第１レンズ群１０１、絞り兼用シャッタ１０２、第２レンズ群１０３、第３レンズ群１０５、ローパスフィルタ１０６、撮像素子１０７、ズームアクチュエータ１１１、絞りシャッタアクチュエータ１１２、フォーカスアクチュエータ１１４、電子フラッシュ１１５、ＡＦ補助光手段１１６、ＣＰＵ１２１、電子フラッシュ制御回路１２２、補助光駆動回路１２３、撮像素子駆動回路１２４、画像処理回路１２５、フォーカス駆動回路１２６、ズーム駆動回路１２９、表示器１３１、操作スイッチ群１３２、着脱可能なフラッシュメモリ１３３を備えている。

第１レンズ群１０１は、撮影光学系（結像光学系）の先端（被写体側）に配置されたレンズ群であり、光軸方向に進退可能に保持される。
絞り兼用シャッタ１０２は、その開口径を調節することで撮影時の光量調節を行なう他、静止画撮影時には露光秒時調節用シャッタとしての機能も備える。
第２レンズ群１０３は、第１レンズ群１０１及び絞り兼用シャッタ１０２よりも撮像素子１０７側に配置されたレンズ群である。
絞り兼用シャッタ１０２及び第２レンズ群１０３は、一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）を生じる。
第３レンズ群１０５は、第２レンズ群１０３よりも撮像素子１０７側に配置されたレンズ群であり、光軸方向の進退により、焦点調節を行なうフォーカスレンズ群として機能する。

ローパスフィルタ１０６は、撮影画像の偽色やモアレを軽減する光学素子からなる光学的ローパスフィルタである。
撮像素子１０７は、ＣＭＯＳ（Complementary Metal Oxide
Semiconductor）イメージセンサとその周辺回路で構成された光電変換手段である。撮像素子１０７は、横方向ｍ画素、縦方向ｎ画素の画素（受光ピクセル）が複数並べて配列され、この画素上に、ベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された、２次元単板カラーセンサが用いられる。本実施形態の撮像素子は、被写体像から撮像用の画像データの作成に用いる撮像用像信号を生成する撮像用画素と、この撮像用画素の間に一定の間隔を開けて分散配置された位相差検出用画素とを有している。これらの詳細については後述する。

ズームアクチュエータ１１１は、ステッピングモータ等で形成され、不図示のカム筒に回転させる駆動力を発生し、第１レンズ群１１１から第３レンズ群１０３を光軸方向に進退駆動し、変倍操作を行なう。
絞りシャッタアクチュエータ１１２は、電磁コイルとマグネットとを利用した電磁駆動アクチュエータ等で形成され、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行なう。
フォーカスアクチュエータ１１４は、ステッピングモータ等で形成され、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行なう。

電子フラッシュ１１５は、撮影時の被写体照明用の光源であり、キセノン管を用いた閃光照明装置でもよいし、連続発光するＬＥＤ（Light Emitting Diode）を備えた照明装置を用いてもよい。
ＡＦ補助光手段１１６は、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影し、暗い被写体あるいは低コントラスト被写体に対する焦点検出能力を向上させる。

ＣＰＵ１２１は、カメラ本体の種々の動作を統括的に制御するカメラ内ＣＰＵであり、不図示の演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有している。ＣＰＵ１２１は、ＲＯＭに記憶された所定のプログラムに基づいて、カメラが有する各種回路を駆動し、焦点検出、ＡＦ動作、撮影、画像処理と記録等の一連の動作を実行する。

また、ＣＰＵ１２１には、位相差検出回路１５０が含まれている。
位相差検出回路１５０は、フォーカス駆動回路１２６が行う焦点調節動作（ＡＦ動作）等に用いる焦点検出を、後述する位相差検出によって行う。なお、本実施形態では、位相差検出回路１５０は、ＣＰＵ１２１内に含まれ、ＣＰＵ１２１が有する機能の一つとして実現されるが、ＣＰＵ１２１とは別の回路として構成してもよい。

図１Ｂは、位相差検出回路１５０に関連する部分を抜き出して示したブロック図である。
位相差検出回路１５０は、比較手段１５１、ばらつき算出手段１５２、位相差算出手段１５３、補正手段１５４を有している。
比較手段１５１は、撮像素子１０７が生成する一対の像信号（後述）の分布位置を演算上で順次相対的に変位させる。そして、変位させた各相対変位位置で画素毎に対応する画素同士の部分で、一対の像信号を形成する各信号同士を比較し、その比較結果を出力する。本実施形態では、一対の像信号を形成する各信号同士の比を比較結果として出力するが、各信号同士の差を比較結果として出力してもよい。

ばらつき算出手段１５２は、比較手段１５１が出力する画素毎の比較結果の統計的ばらつきを各相対変位位置で算出して数値化する。本実施形態では、後述する分散値を統計的ばらつきとして求める。
位相差算出手段１５３は、各相対変位位置の変位に応じてばらつき算出手段１５２が数値化した統計的ばらつきである分散値に基づいて、一対の像信号の位相差を算出する。位相差算出手段１５３が算出した位相差は、ＣＰＵ１２１へ送られ、フォーカス駆動回路１２６が行うＡＦ動作等に利用される。
補正手段１５４は、各相対変位位置の変位に応じてばらつき算出手段１５２が数値化した統計的ばらつきである分散値に基づいて、一対の像信号の信号レベルを補正する。本実施形態では、補正手段１５４は、分散値が最小となる相対変位位置に基づいて、一対の像信号の信号レベルを補正する。

図１Ａに戻って、電子フラッシュ制御回路１２２は、撮影動作に同期して照明手段１１５を点灯制御する。
補助光駆動回路１２３は、焦点検出動作に同期してＡＦ補助光手段１１６を点灯制御する。
撮像素子駆動回路１２４は、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。
画像処理回路１２５は、撮像素子１０７が取得した画像のγ変換、カラー補間、ＪＰＥＧ圧縮等の処理を行なう。
フォーカス駆動回路１２６は、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御し、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行なう。
シャッタ駆動回路１２８は、絞りシャッタアクチュエータ１１２を駆動制御して絞り兼用シャッタ１０２の開口を制御する。
ズーム駆動回路１２９は、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。
表示器１３１は、ＬＣＤ（Liquid Crystal Display）等により形成され、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。
操作スイッチ群１３２は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成されている。
フラッシュメモリ１３３は、着脱可能な記憶媒体であり、撮影済み画像を記録する。

図２は、本発明の撮像素子の回路構成の概略を示す図である。
本実施形態の撮像素子１０７の基本的な構成は、特開平０９−０４６５９６号公報等に開示された技術と同様である。
図２では、２次元の撮像素子１０７（ＣＭＯＳイメージセンサ）の２列×４行画素の範囲を示したものであるが、実際の撮像素子１０７では、図２に示した画素を多数配置し、高解像度画像の取得が可能である。本実施形態においては、画素ピッチが２μm、有効画素数が横３０００列×縦２０００行＝６００万画素、撮像画面サイズが横６ｍｍ×縦４ｍｍの撮像素子として説明を行なう。

撮像素子１０７は、ＭＯＳトランジスタゲートとゲート下の空乏層からなる光電変換素子の光電変換部（ＰＤ：フォトダイオード）１、フォトゲート２、転送スイッチＭＯＳトランジスタ３、リセット用ＭＯＳトランジスタ４、ソースフォロワアンプＭＯＳトランジスタ５、水平選択スイッチＭＯＳトランジスタ６、ソースフォロワの負荷ＭＯＳトランジスタ７、暗出力転送ＭＯＳトランジスタ８、明出力転送ＭＯＳトランジスタ９、暗出力蓄積容量Ｃ_ＴＮ１０、明出力蓄積容量Ｃ_ＴＳ１１、水平転送ＭＯＳトランジスタ１２、水平出力線リセットＭＯＳトランジスタ１３、差動出力アンプ１４、水平走査回路１５、垂直走査回路１６を有している。

図３は、画素部（光電変換部１）の断面図である。
撮像素子１０７は、さらに、Ｐ型ウェル１７、ゲート酸化膜１８、一層目ポリＳｉ１９、二層目ポリＳｉ２０、ｎ^＋フローティングディフュージョン（ＦＤ）部２１を有している。
ＦＤ部２１は、別の転送ＭＯＳトランジスタを介して別の光電変換部と接続される。図３において、２つの転送ＭＯＳトランジスタ３のドレインとＦＤ部２１を共通化して微細化とＦＤ部２１の容量低減による感度向上を図っているが、Ａｌ配線でＦＤ部２１を接続しても良い。

図４は、撮像素子の駆動タイミングチャートである。
図４のタイミングチャートは、全画素独立出力の場合を示している。
図４を用いて本実施形態の撮像素子の動作を説明する。
まず、垂直走査回路１６からのタイミング出力によって、制御パルスφＬをハイとして垂直出力線をリセットする。また制御パルスφＲ_０，φＰＧ_００，φＰＧ_ｅ０をハイとし、リセット用ＭＯＳトランジスタ４をオンとし、フォトゲート２の一層目ポリＳｉ１９をハイとしておく。時刻Ｔ_０において、制御パルスφＳ_０をハイとし、選択スイッチＭＯＳトランジスタ６をオンさせ、第１，第２ラインの画素部を選択する。次に制御パルスφＲ_０をローとし、ＦＤ部２１のリセットを止め、ＦＤ部２１をフローティング状態とし、ソースフォロワアンプＭＯＳトランジスタ５のゲート・ソース間をスルーとした後、時刻Ｔ_１において制御パルスφＴ_Ｎをハイとし、ＦＤ部２１の暗電圧をソースフォロワ動作で蓄積容量Ｃ_ＴＮ１０に出力させる。

次に、第１ラインの画素の光電変換出力を行なうため、第１ラインの制御パルスφＴＸ_００をハイとして転送スイッチＭＯＳトランジスタ３を導通した後、時刻Ｔ_２において制御パルスφＰＧ_００をローとして下げる。この時フォトゲート２の下に拡がっていたポテンシャル井戸を上げて、光発生キャリアをＦＤ部２１に完全転送させるような電圧関係が好ましい。従って完全転送が可能であれば制御パルスφＴＸはパルスではなくある固定電位でもかまわない。

時刻Ｔ_２でフォトダイオードの光電変換部１からの電荷がＦＤ部２１に転送されることにより、ＦＤ部２１の電位が光に応じて変化することになる。この時ソースフォロワアンプＭＯＳトランジスタ５がフローティング状態であるので、ＦＤ部２１の電位を時刻Ｔ_３において制御パルスφＴ_Ｓをハイとして蓄積容量Ｃ_ＴＳ１１に出力する。この時点で第１ラインの画素の暗出力と光出力はそれぞれ蓄積容量Ｃ_ＴＮ１０とＣ_ＴＳ１１に蓄積されおり、時刻Ｔ_４の制御パルスφＨＣを一時ハイとして水平出力線リセットＭＯＳトランジスタ１３を導通して水平出力線をリセットし、水平転送期間において水平走査回路１５の走査タイミング信号により水平出力線に画素の暗出力と光出力を出力される。この時、蓄積容量Ｃ_ＴＮ１０とＣ_ＴＳ１１の差動増幅器１４によって、差動出力Ｖ_ＯＵＴを取れば、画素のランダムノイズ、固定パターンノイズを除去したＳ／Ｎの良い信号が得られる。また画素３０−１２、３０−２２の光電荷は画素３０−１１、３０−２１と同時に夫々の蓄積容量Ｃ_ＴＮ１０とＣ_ＴＳ１１に蓄積されるが、その読み出しは水平走査回路１５からのタイミングパルスを１画素分遅らして水平出力線に読み出して差動増幅器１４から出力される。
本実施形態では、差動出力Ｖ_ＯＵＴをチップ内で行なう構成を示しているが、チップ内に含めず、外部で従来のＣＤＳ（Correlated Double Sampling：相関二重サンプリング）回路を用いても同様の効果が得られる。

蓄積容量Ｃ_ＴＳ１１に明出力を出力した後、制御パルスφＲ_０をハイとしてリセット用ＭＯＳトランジスタ４を導通しＦＤ部２１を電源Ｖ_ＤＤにリセットする。第１ラインの水平転送が終了した後、第２ラインの読み出しを行なう。第２ラインの読み出しは、制御パルスφＴＸ_ｅ０，制御パルスφＰＧ_ｅ０を同様に駆動させ、制御パルスφＴ_Ｎ、φＴ_Ｓに夫々ハイパルスを供給して、蓄積容量Ｃ_ＴＮ１０とＣ_ＴＳ１１に夫々光電荷を蓄積し、暗出力及び明出力を取り出す。以上の駆動により、第１，第２ラインの読み出しが夫々独立に行なえる。この後、垂直走査回路を走査させ、同様に第２ｎ＋１，第２ｎ＋２（ｎ＝１，２，…）の読み出しを行なえば全画素独立出力が行なえる。即ち、ｎ＝１の場合は、まず制御パルスφＳ_１をハイとし、次にφＲ_１をローとし、続いて制御パルスφＴ_Ｎ、φＴ_Ｘ０１をハイとし、制御パルスφＰＧ_０１をロー、制御パルスφＴ_Ｓをハイ、制御パルスφＨＣを一時ハイとして画素３０−３１，３０−３２の画素信号を読み出す。続いて、制御パルスφＴＸ_ｅ１，φＰＧ_ｅ１及び上記と同様に制御パルスを印加して、画素３０−４１，３０−４２の画素信号を読み出す。

次に、図５から図７を用いて、撮像用画素と焦点検出用画素の構造を説明する。本実施形態においては、２行×２列の４画素のうち、対角２画素にＧ（緑色）の分光感度を有する画素を配置し、他の２画素にＲ（赤色）とＢ（青色）の分光感度を有する画素を各１個配置した、ベイヤー配列が採用されている。そして、このベイヤー配列の間に、後述する構造の焦点検出用画素が所定の規則に従って分散配置されている。

図５は、撮像用画素の配置と構造を示す図である。
図５（ａ）は、２行×２列の撮像用画素の平面図である。周知のごとく、ベイヤー配列では対角方向にＧ画素が、他の２画素にＲとＢの画素が配置される。そして、この２行×２列の構造が繰り返し配置される。
図５（ｂ）は、図５（ａ）のＡ−Ａ断面を示している。
撮像素子１０７は、さらに、各画素の最前面に配置されたオンチップマイクロレンズＭＬ、Ｒ（Ｒｅｄ）のカラーフィルタＣＦ_Ｒ、Ｇ（Ｇｒｅｅｎ）のカラーフィルタＣＦ_Ｇを有している。また、図５（ｂ）では、図３で説明した撮像素子１０７の光電変換部を模式的にＰＤ（フォトダイオード）として示している。さらに、図５（ｂ）には、撮像素子１０７内の各種信号を伝達する信号線を形成するための配線層ＣＬと、撮影光学系ＴＬを模式的に示している。

ここで、撮像用画素のオンチップマイクロレンズＭＬと光電変換部ＰＤは、撮影光学系ＭＬを通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮影光学系ＴＬの射出瞳ＥＰと光電変換部ＰＤは、マイクロレンズＭＬにより共役関係にあり、かつ光電変換部の有効面積は大面積に設定されている。また、図５（ｂ）では、Ｒ画素の入射光束について説明したが、Ｇ画素及びＢ（Ｂｌｕｅ）画素も同一の構造となっている。従って、撮像用のＲＧＢ各画素に対応した射出瞳ＥＰは大径となり、被写体からの光束を効率よく取り込んで画像信号のＳ／Ｎを向上させている。

図６は、撮影光学系の水平方向（横方向）に瞳分割を行なうための焦点検出用画素の配置と構造を示す図である。
図６（ａ）は、焦点検出用画素を含む２行×２列の画素の平面図である。撮像信号を得る場合、Ｇ画素は輝度情報の主成分をなす。そして人間の画像認識特性は輝度情報に敏感であるため、Ｇ画素が欠損すると画質劣化が認められやすい。一方でＲ画素もしくはＢ画素は、色情報を取得する画素であるが、人間は色情報には鈍感であるため、色情報を取得する画素は多少の欠損が生じても画質劣化に気づきにくい。そこで本実施形態においては、２行×２列の画素のうち、Ｇ画素は撮像用画素として残し、ＲとＢの画素を焦点検出用画素としている。これを図６（ａ）においてＳ_ＨＡ及びＳ_ＨＢで示す。

図６（ｂ）は、図６（ａ）のＢ−Ｂ断面である。
マイクロレンズＭＬと、光電変換部ＰＤは図５（ｂ）に示した撮像用画素と同一構造である。本実施形態においては、焦点検出用画素の信号は画像創生には用いないため、色分離用カラーフィルタの代わりに透明膜ＣＦ_Ｗ（Ｗｈｉｔｅ）が配置されている。また、撮像素子１０７で瞳分割を行なうため、配線層ＣＬの開口部は、マイクロレンズＭＬの中心線に対して一方向に偏っている。具体的には、画素Ｓ_ＨＡの開口部ＯＰＨＡは右側に偏っているため、撮影光学系ＴＬの左側の射出瞳ＥＰＨＡを通過した光束を受光する。同様に、画素Ｓ_ＨＢの開口部ＯＰＨＢは左側に偏っているため、撮影光学系ＴＬの右側の射出瞳ＥＰＨＢを通過した光束を受光する。よって、画素Ｓ_ＨＡを水平方向で規則的に配列し、これらの画素群で取得した被写体像をＡ像とする。また、画素Ｓ_ＨＢも水平方向で規則的に配列し、これらの画素群で取得した被写体像をＢ像とすると、Ａ像とＢ像の相対位置を検出することで、被写体像のピントずれ量（デフォーカス量）が検出できる。ここで、マイクロレンズＭＬは、撮影光学系ＴＬの左側の射出瞳ＥＰＨＡを透過した光束からなるＡ像と、撮影光学系ＴＬの右側の射出瞳ＥＰＨＢを透過した光束からなるＢ像の、一対の光学像を生成するレンズ部の機能を果たしている。

なお、上記画素Ｓ_ＨＡ及びＳ_ＨＢでは、撮影画面の横方向に輝度分布を有した被写体、例えば縦線に対しては焦点検出可能だが、縦方向に輝度分布を有する横線は焦点検出不能である。そこで本実施形態では、後者についても焦点検出できるように、撮影光学系ＴＬの垂直方向（縦方向）に瞳分割を行なう画素も備えている。

図７は、撮影光学系の垂直方向に瞳分割を行なうための焦点検出用画素の配置と構造を示す図である。
図７（ａ）は、焦点検出用画素を含む２行×２列の画素の平面図であり、図６（ａ）と同様に、Ｇ画素は撮像用画素として残し、ＲとＢの画素を焦点検出用画素としている。これらを図７（ａ）において画素Ｓ_ＶＣ及び画素Ｓ_ＶＤと示している。
図７（ｂ）は、図７（ａ）のＣ−Ｃ断面である。
図６（ｂ）の画素が横方向に瞳分離する構造であるのに対して、図７（ｂ）の画素は、瞳分離方向が縦方向になっている他は、図６（ｂ）の画素と画素の構造としては変わらない。すなわち、画素Ｓ_ＶＣの開口部ＯＰＶＣは下側に偏っているため、撮影光学系ＴＬの上側の射出瞳ＥＰＶＣを通過した光束を受光する。同様に、画素Ｓ_ＶＤの開口部ＯＰＶＤは上側に偏っているため、撮影光学系ＴＬの下側の射出瞳ＥＰＶＤを通過した光束を受光する。よって、画素Ｓ_ＶＣを垂直方向で規則的に配列し、これらの画素群で取得した被写体像をＣ像とする。また、画素Ｓ_ＶＤも垂直方向で規則的に配列し、これらの画素群で取得した被写体像をＤ像とすると、Ｃ像とＤ像の相対位置を検出することで、垂直方向に輝度分布を有する被写体像のピントずれ量（デフォーカス量）が検出できる。

図８は、第１実施形態における撮像素子の瞳分割状況を概念的に説明する図である。
図８には、撮影光学系ＴＬ、撮像素子１０７、被写体ＯＢＪ、被写体像ＩＭＧが示されている。
撮像用画素は、図５で説明したように、撮影光学系ＴＬの射出瞳全域ＥＰを通過した光束を受光する。一方、焦点検出用画素は、図６及び図７で説明したように、瞳分割機能を有している。具体的には、図６の画素Ｓ_ＨＡは、撮像面からレンズ後端を見て左側の瞳を通過した光束、すなわち図８の瞳ＥＰＨＡを通過した光束を受光する。同様に画素Ｓ_ＨＢ、Ｓ_ＶＣ及びＳ_ＶＤは、それぞれ瞳ＥＰＨＢ、ＥＰＶＣ及びＥＰＶＤを通過した光束を受光する。そして、焦点検出用画素を、撮像素子１０７の全領域に渡って分布させることで、撮像領域全域で焦点検出を可能とさせている。

図９は、焦点検出時に取得した画像と焦点検出領域を説明する図である。
図９において、撮像面に形成された被写体像には、中央に人物、左側に近景の樹木、右側に遠景の山並みが写っている。そして本実施形態においては、焦点検出用画素は、横ずれ検出用の画素ペアＳ_ＨＡ及びＳ_ＨＢと、縦ずれ検出用の画素ペアＳ_ＶＣ及びＳ_ＶＤが、撮像領域全域に渡って均等な密度で配置されている。横ずれ検出用の画素ペアＳ_ＨＡ及びＳ_ＨＢと、縦ずれ検出用の画素ペアＳ_ＶＣ及びＳ_ＶＤの配置方法については、後述する。そして横ずれ検出の際には、横ずれ検出用の画素ペアＳ_ＨＡ及びＳ_ＨＢから得られる一対の画像信号を、位相差演算のためのＡＦ画素信号として使用する。また、縦ずれ検出の際には、縦ずれ検出用の画素ペアＳ_ＶＣ及びＳ_ＶＤから得られる一対の画像信号を、位相差演算のためのＡＦ画素信号として使用する。よって、撮像領域の任意位置において、横ずれ検出及び縦ずれ検出のための測距領域を設定可能である。

図９においては、画面中央に人物の顔が存在している。そこで公知の顔認識技術によって顔の存在が検出されると、顔領域を中心に横ずれ検知のための焦点検出領域ＡＦＡＲｈ（ｘ１，ｙ１）と、縦ずれ検知のための焦点検出領域ＡＦＡＲｖ（ｘ３，ｙ３）が設定される。ここで添え字のｈは水平方向を表わし、（ｘ１，ｙ１）及び（ｘ３，ｙ３）は焦点検出領域の左上隅の座標を表わす。そして、焦点検出領域ＡＦＡＲｈ（ｘ１，ｙ１）の各セクション内に含まれる横ずれ検出用の焦点検出画素Ｓ_ＨＡを３０セクションに渡って連結した位相差検出用のＡ像信号がＡＦＳＩＧｈ（Ａ１）である。また、同様に各セクションの横ずれ検出用の焦点検出画素Ｓ_ＨＢを３０セクションに渡って連結した位相差検出用のＢ像信号がＡＦＳＩＧｈ（Ｂ１）である。そして、Ａ像信号ＡＦＳＩＧｈ（Ａ１）とＢ像信号ＡＦＳＩＧｈ（Ｂ１）の相対的な横ずれ量を後述する本発明の相関演算によって計算することで、被写体の焦点ずれ量（デフォーカス量）を求めることができる。
焦点検出領域ＡＦＡＲｖ（ｘ３，ｙ３）についても同様に焦点ずれ量を求める。そして、横ずれ及び縦ずれの焦点検出領域で検出した２つの焦点ずれ量を比較し、信頼性の高い値を採用すればよい。

一方、画面左側の樹木の幹部は、縦線成分が主体、すなわち横方向に輝度分布を有しているため、横ずれ検知に適した被写体と判断され、横ずれ検知のための焦点検出領域ＡＦＡＲｈ（ｘ２，ｙ２）が設定される。また、画面右側の山並み稜線部は、横線成分が主体、すなわち縦方向に輝度分布を有しているため、縦ずれ検知に適した被写体と判断され、縦ずれ検知のための焦点検出領域ＡＦＡＲｖ（ｘ４，ｙ４）が設定される。
以上のように実施形態においては、横ずれ及び縦ずれ検出のための焦点検出領域が画面の任意位置に設定可能なため、被写体の投影位置や輝度分布の方向性が様々であっても、常に正確な焦点検出が可能である。

ここで、図１０及び図１１を用いて、撮影光学系ＴＬの口径食によって、射出瞳が制限されることを説明する
図１０は、撮像素子及び撮影光学系付近を−Ｘ軸、＋Ｙ軸、−Ｚ軸の３つの軸によって囲まれる象限から見た斜視図である。
図１０には、撮像素子１０７と、撮影光学系ＴＬの射出窓１４１及び１４２と、射出窓１４１及び１４２を撮影光学系ＴＬの射出瞳上に投影した射出窓１４１Ｃ及び１４２Ｃとを示している。また、撮像素子１０７の受光面における＋Ｘ方向に像高Ｘ_１４０のポイント１４０を示している。
撮像素子１０７の受光面の光軸上に到達する光は、撮影光学系ＴＬの射出窓によってけられることがないため、図８で示した射出瞳全域ＥＰを透過したものである。一方、ポイント１４０から撮影光学系ＴＬを眺めると、射出窓１４１は射出瞳上において−Ｘ方向にシフトした射出窓１４１Ｃが存在するかのように見え、射出窓１４２は射出瞳上において＋Ｘ方向にシフトした射出窓１４２Ｃが存在するかのように見える。そのため、ポイント１４０に到達する光は、図８で示した射出瞳全域ＥＰを射出窓１４１Ｃと射出窓１４２Ｃによって切り出したような領域(図１０の斜線部)を透過したものとなる。

次に、図１１を用いて、像高Ｘ_１４０によって、射出瞳上に投影された射出窓１４１Ｃ、１４２Ｃが変わる様子を説明する。
図１１は、撮像素子と射出窓及び瞳の関係を示す図である。
図１１では、＋Ｙ方向から見た図と、−Ｚ方向から見た図を二面図で表している。
Ｚ_１４１は撮像素子１０７から射出窓１４１までの距離、Ｚ_１４２は撮像素子１０７から射出窓１４２までの距離、Ｚ_１４３は撮像素子１０７から射出瞳までの距離を示す。また、Ｄ_１４１は射出窓１４１の開口径、Ｄ_１４２は射出窓１４２の開口径、ＥＰＨＡは画素Ｓ_ＨＡの瞳、ＥＰＨＢは画素Ｓ_ＨＢの瞳、ＥＰＨＢ２は瞳ＥＰＨＢが撮影光学系ＴＬの口径食によって制限された結果として形成された瞳である。
図１１の作図より、射出瞳に投影された射出窓１４１Ｃの光軸からのシフト量Shift_１４１Ｃと開口径Ｄ_１４１Ｃと、射出瞳に投影された射出窓１４２Ｃの光軸からのシフト量Shift_１４２Ｃと開口径Ｄ_１４２Ｃは、下記式（１）〜式（４）で表わすことができる。

式（１）〜式（４）に示すように、射出瞳に投影された射出窓１４１Ｃと１４２Ｃは、像高Ｘ_１４０によって変化する。画素Ｓ_ＨＡの射出瞳ＥＰＨＡと画素Ｓ_ＨＢの射出瞳ＥＰＨＢは、光軸からShift_１４１Ｃだけシフトした直径Ｄ_１４１Ｃの開口と、光軸からShift_１４２Ｃだけシフトした直径Ｄ_１４２Ｃの開口とで制限される。その結果、射出瞳ＥＰＨＢだけケラレが生じ、結果として瞳ＥＰＨＢ２を透過した光束しかポイント１４０の画素Ｓ_ＨＢには到達しない。これにより、画素Ｓ_ＨＡと画素Ｓ_ＨＢとで、光量差が発生し、画素Ｓ_ＨＡ群から得られるＡ像と、画素Ｓ_ＨＢ群から得られるＢ像に、ゲイン差が生じる。

図１２Ａ〜図１２Ｃは、Ａ像とＢ像のゲイン差が像高によって変わる例を示した図である。
図１２Ａ〜図１２Ｃの横軸は、Ｘ方向の像高を示し、縦軸は、各像でのＢ像画素出力に対するＡ像画素出力の比を示す。つまり、Ｘ方向Ｘ１という像高からＸ２という像高の間で、ＡＢ像の比がどのように変化していくかを示したものである。式（１）及び式（３）で示したように、射出瞳上に投影された射出窓１４１Ｃのシフト量Ｓｈｉｆｔ_１４１Ｃと、射出窓１４２Ｃのシフト量Ｓｈｉｆｔ_１４２Ｃを表す数式中には、ポイント１４０の像高Ｘ_１４０が入っているため、像高によってＡＢ像のゲイン差は変わっていく。

射出窓１４１及び射出窓１４２が撮影光学系ＴＬの射出瞳近傍に存在する場合には、Ｚ_１４１とＺ_１４２とＺ_１４３はほぼ等しくなり、式（１）及び式（３）の分子がゼロとなって、像高Ｘ_１４０が変化してもＡＢ像のゲイン差はほとんど変わらない。よって図１２Ａのように、ある一定値ＲＡＴＥ１という比をとる。ここでＡＢ像の比が１となっていないのは、製造誤差などで射出窓１４１もしくは１４２の中心が光軸からずれ、射出瞳ＥＰＨＡと射出瞳ＥＰＨＢのケラレ方が等しくなかった場合を想定している。

射出窓１４１と射出窓１４２が撮影光学系ＴＬの射出窓から遠い位置に存在する場合には、式（１）及び式（３）に示すように、像高Ｘ_１４０に応じてＡＢ像のゲイン差が変化していく。撮影光学系ＴＬの光学特性によって、図１２ＢのようにＲＡＴＥ１からＲＡＴＥ2へ直線的に変化していくものもあれば、図１２ＣのようにＲＡＴＥ１からＲＡＴＥ２へ曲線的に変化していくものも出てくる。
以上、図１０〜図１２Ｃを用いて説明したように、撮影光学系ＴＬの口径食などの影響により、Ａ像とＢ像との間には像高によって変化するゲイン差が生じる。

ここで、図１３Ａから図１４Ｃを用いて、図１２Ａに示すようなゲイン差が生じたＡＢ像で、従来の定義による相関量に基づいて位相差検出すると、位相差検出にずれが生じてしまうことを説明する。
まず、図１３Ａ〜図１３Ｃを用いて、図１２Ａに示すようなゲイン差が生じたＡＢ像に対して、特許文献１（特公昭６２―３９７２２）に開示されている相関量に基づいて位相差検出した場合について説明する。
ここで、被写体の模様は、左が黒く、右が白く、その境界部が徐々に切り替わっていくようなグラデーションパターンであり、合焦していてＡＢ像の位相差がない状態を想定している。

図１３Ａは、図１２Ａに示すようなゲイン差が生じた画素Ｓ_ＨＡ、画素Ｓ_ＨＢで、前述のような模様を有した被写体を受光した場合に得られるＡＢ像を示す図である。図１３Ａでは、合焦して一致したＡＢ像に対して、Ａ像がＢ像に対してＲＡＴＥ1だけゲインアップされたような波形になっている。
図１３Ｂは、図１３ＡのようなＡＢ像の相対位置関係を１ビットずつシフトさせながら、特許文献１（特公昭６２―３９７２２）に開示されている相関量を算出した結果を示す図である。
丸点が各シフト量での相関量をプロットしたもので、三角点は、その中で相関量が最小となるシフト量とその相関量をプロットしたものである。ここで使用した相関量の定義は以下の式（５）である。

ここで、Ａ（ｉ）はｉ番目の画素Ｓ_ＨＡの信号、Ｂ（ｉ）はｉ番面の画素Ｓ_ＨＢの信号である。本来ならシフト量０で相関量が最小となるべきところが、図１３Ｂに示すように、シフト量−３で相関量が最小となってしまう。つまり−３ビット位相差検出を誤ってしまっている。
図１３Ｃは、−３ビットシフトさせたときのＡＢ像を示す図である。
特許文献１（特公昭６２―３９７２２）に開示されている式（５）で定義される相関量では、図１３Ｃのように−３ビットだけシフトした位置でＡＢ像の一致度が一番高いと判定してしまう。その結果、位相差検出結果が−３ビットずれてしまう。

次に、図１４Ａ〜図１４Ｃを用いて、図１２Ａに示すようなゲイン差が生じたＡＢ像に対して、特許文献２（特開昭６３−２６４７１５）に開示されている相関量に基づいて位相差検出した場合について説明する。
ここで、被写体の模様は、図１３Ａ〜図１３Ｃの場合と同様に、左が黒く、右が白く、その境界部が徐々に切り替わっていくようなグラデーションパターンであり、合焦していてＡＢ像の位相差がない状態を想定している。

図１４Ａは、図１２Ａに示すようなゲイン差が生じた画素Ｓ_ＨＡ、画素Ｓ_ＨＢで、前述のような模様を有した被写体を受光した場合に得られるＡＢ像を示す図である。図１４Ａでは、図１３Ａと同様に、合焦して一致したＡＢ像に対して、Ａ像がＢ像に対してＲＡＴＥ1だけゲインアップされたような波形になっている。
図１４Ｂは、図１４ＡのようなＡＢ像の相対位置関係を１ビットずつシフトさせながら、特許文献２（特開昭６３−２６４７１５）に開示されている相関量を算出した結果を示す図である。
丸点が各シフト量での相関量をプロットしたもので、三角点は、その中で相関量が最小となるシフト量とその相関量をプロットしたものである。ここで使用した相関量の定義は以下の式（６）である。

ここで、Ａ（ｉ）はｉ番目の画素Ｓ_ＨＡの信号、Ｂ（ｉ）はｉ番面の画素Ｓ_ＨＢの信号である。本来ならシフト量０で相関量が最小となるべきところが、図１４Ｂに示すように、シフト量−３でシフト量最小となってしまう。つまり−３ビット位相差検出を誤ってしまっている。
図１４Ｃは、−３ビットシフトさせたときのＡＢ像を示す図である。
特許文献２（特開昭６３−２６４７１５）に開示されている式（６）で定義される相関量では、図１４Ｃのように−３ビットだけシフトした位置でＡＢ像の一致度が一番高いと判定してしまう。その結果、位相差検出結果が−３ビットずれてしまう。

そこで、本発明では、図１３Ａ及び図１４Ａのようなゲイン差が生じたＡＢ像に対しても、位相差検出結果に誤差が発生しにくい相関量を提案する。図１５Ａと図１５Ｂを用いて、本発明で提案する相関量の定義を説明する。
図１５Ａは、図１２Ａに示したようなゲイン差が生じた画素Ｓ_ＨＡ、画素Ｓ_ＨＢで、左が黒く、右が白く、その境界部が徐々に切り替わっていくようなグラデーションパターンの被写体を受光した場合に得られるＡＢ像を示す図である。位相差検出演算では、ＡＢ像の位相差を１ビットずつシフトさせながら相関量の算出を行なうため、図１５Ａでは、Ａ像を左にＰＤビットだけシフトした状態を示している。焦点検出領域は、Ｉ個の画素から構成されており、ｉ番目の画素Ｓ_ＨＢの信号をＢ（ｉ）とし、Ａ像を左にＰＤビットだけシフトした状態でＢ（ｉ）と向かい合うことになる（ｉ＋ＰＤ）番目の画素Ｓ_ＨＡの信号をＡ（ｉ＋ＰＤ）とする。Ａ像を左にＰＤビットだけシフトさせたＡＢ像について、各画素位置における画素Ｓ_ＨＡの信号と画素Ｓ_ＨＢの信号の比較結果を比較手段１５１（図１Ｂ参照）により算出していく。ここで比較結果とは、画素Ｓ_ＨＡの信号と画素Ｓ_ＨＢの信号の出力比Ａ（ｉ＋ＰＤ）／Ｂ（ｉ）とする。

図１５Ｂは、Ａ（ｉ＋ＰＤ）／Ｂ（ｉ）をプロットしていった図である。
図１５Ｂで横軸が画素番号、縦軸が出力比Ａ（ｉ＋ＰＤ）／Ｂ（ｉ）を示す。この出力比Ａ（ｉ＋ＰＤ）／Ｂ（ｉ）の分布から、ばらつきの大きさを算出する。ここでは、ばらつきの大きさを表す指標として、分散値を用いる。本実施形態では、Ａ像を左にＰＤビットシフトしたＡＢ像の各画素位置における出力比の分散値ＶＡＲ（ＰＤ）として以下の式（７）で表される不偏分散とした。

ここで、Ｎは、Ａ像を左に位相差ＰＤビットだけシフトした後のＡＢ像において、互いに向かい合う画素が存在する画素の数である。Ａ像を左に位相差ＰＤビットだけシフトすると、Ａ像の左端ＰＤビットとＢ像の右端ＰＤビットは向かい合う画素がなくなってしまうため、互いに向かい合う画素の数Ｎは、全画素数Ｉから２・ＰＤビットだけ減った数となる。このＮが、比較結果を算出する画素の数となる。

本発明の位相差検出方法では、この分散値ＶＡＲ（ＰＤ）を各シフト量における相関量として扱う。この分散値が極値となるシフト量がＡＢ像の位相が一致している状態であるとみなし、位相差の検出を行なう。ここで分散値が極値をとるというのは、最小値をとることを意味している。各画素位置における出力比の分散値を相関量とすることで、画素Ｓ_ＨＡと画素Ｓ_ＨＢにゲイン差がある場合でも、ゲイン差の影響を受けることなく、正しくＡＢ像の相関性を表現することができる。そして、ゲイン差による位相差検出の誤差を軽減することができる。
出力比Ａ（ｉ＋ＰＤ）／Ｂ（ｉ）のばらつきを表す指標として、本発明では分散値を用いたが、分散値の平方根で与えられる標準偏差としてもよい。また分散値や標準偏差を定数倍した数値でも、同様の効果を得られることはいうまでもない。さらには、下式に表現されるような、平均値からずれ量を二乗平均し、データ数で除した分散値（標本分散）を用いてもよい。

なお、式（９）で表現される値を定数倍した数値でも、同様の効果が得られる。ただし、式（９）の場合には、例えば、狭い視野から広い視野での位相差を検出する場合に式（７）を用いた場合よりも有利になるときがある。
本実施形態では、位相を合わせたＡＢ像の各画素の比較結果として、画素Ｓ_ＨＡの信号と画素Ｓ_ＨＢの信号の出力比Ａ（ｉ＋ＰＤ）／Ｂ（ｉ）を用いたが、出力差の絶対値｜Ａ（ｉ＋ＰＤ）−Ｂ（ｉ）｜を用いてもよい。どちらか一方の像にフレア成分が含まれているときなどは、各画素の比較結果としてこの出力差の絶対値を用いることが望ましい。
また、各画素の比較結果として、出力比を用いたものと、出力差の絶対値を用いたものの、両方の位相差検出結果を算出しておき、検出結果や像の一致度やコントラストなどで判定し、より信頼性の高い検出結果を選択してもよい。

図１５Ａと図１５Ｂを用いて説明した一連の位相差検出演算は、ＣＰＵ１２１内で行われる処理である。具体的には、各画素における比較結果を算出する比較手段１５１、出力比のばらつきを算出するばらつき算出手段１５２、ばらつきが極値をとる位相差を算出する位相差算出手段１５３がＣＰＵ１２１の機能として実現されている。一連の位相差検出演算を行なうＣＰＵ１２１、瞳分割された一対の像信号を取得する撮像素子１０７、撮像素子１０７を駆動する撮像素子駆動回路１２４で、焦点検出装置を構成している。

具体的な例として、図１６Ａ及び図１６Ｂを用いて、式（７）に示すような分散ＶＡＲ（ＰＤ）を相関量とすれば、図１２Ａに示すようなゲイン差が生じたＡＢ像に対しても位相差検出誤差がないことを説明する。
ここで、被写体の模様は、左が黒く、右が白く、その境界部が徐々に切り替わっていくようなグラデーションパターンであり、合焦していてＡＢ像の位相差がない状態を想定している。

図１６Ａは、図１２Ａに示すようなゲイン差が生じた画素Ｓ_ＨＡ、画素Ｓ_ＨＢで、前述のような模様を有した被写体を受光した場合に得られるＡＢ像を示す図である。図１６Ａでは、合焦して一致したＡＢ像に対して、Ａ像がＢ像に対してＲＡＴＥ１だけゲインアップされたような波形になっている。
図１６Ｂは、図１６ＡのようなＡＢ像の相対位置関係を１ビットずつシフトさせながら、式（７）に示すような相関量を算出した結果を示す図である。
丸点が各シフト量での相関量をプロットしたもので、三角点は、その中で相関量が最小となるシフト量とその相関量をプロットしたものである。図１６Ｂからわかるように、シフト量０で相関量が最小となっている。つまりシフト量０のときがＡＢ像の相関性が一番高いと判定しており、位相差は正しく検出されていることがわかる。

次に、図１７Ａ及び図１７Ｂを用いて、式（７）に示すような分散ＶＡＲ（ＰＤ）を相関量とすれば、図１２Ｂに示すようなゲイン差の分布が生じたＡＢ像に対しても、位相差検出誤差がないことを説明する。
ここで、被写体の模様は、図１６Ａのときと同様に、左が黒く、右が白く、その境界部が徐々に切り替わっていくようなグラデーションパターンであり、合焦していてＡＢ像の位相差がない状態を想定している。

図１７Ａは、図１２Ｂに示すようなゲイン差が生じた画素Ｓ_ＨＡ、画素Ｓ_ＨＢで、前述のような模様を有した被写体を受光した場合に得られるＡＢ像を示す図である。図１７Ａでは、合焦して一致したＡＢ像に対して、Ａ像がＢ像に対して左端でＲＡＴＥ1、右端でＲＡＴＥ２、その間が直線的に変化していくようなゲインアップされたような波形になっている。
図１７Ｂは、図１７ＡのようなＡＢ像の相対位置関係を１ビットずつシフトさせながら、式（７）に示すような相関量を算出した結果を示す図である。
丸点が各シフト量での相関量をプロットしたもので、三角点は、その中で相関量が最小となるシフト量とその相関量をプロットしたものである。図１７Ｂからわかるように、シフト量０で相関量が最小となっている。つまりシフト量０のときがＡＢ像の相関性が一番高いと判定しており、直線的にゲイン差が変化していくようなＡＢ像に対しても、位相差は正しく検出されていることがわかる。

さらに、図１８Ａ及び図１８Ｂを用いて、式（７）に示すような分散ＶＡＲ（ＰＤ）を相関量とすれば、図１２Ｃに示すようなゲイン差の分布が生じたＡＢ像に対しても、位相差検出誤差がないことを説明する。
ここで、被写体の模様は、図１６Ａ及び図１７Ａのときと同様に、左が黒く、右が白く、その境界部が徐々に切り替わっていくようなグラデーションパターンであり、合焦していてＡＢ像の位相差がない状態を想定している。

図１８Ａは、図１２Ｂに示すようなゲイン差が生じた画素Ｓ_ＨＡ、画素Ｓ_ＨＢで、前述のような模様を有した被写体を受光した場合に得られるＡＢ像を示す図である。図１８Ａでは、合焦して一致したＡＢ像に対して、Ａ像がＢ像に対して左端でＲＡＴＥ１、右端でＲＡＴＥ２、その間が曲線的に変化していくようにゲインアップされたような波形になっている。
図１８Ｂは、図１８ＡのようなＡＢ像の相対位置関係を１ビットずつシフトさせながら、式（７）に示すような相関量を算出した結果を示す図１８Ｂである。
丸点が各シフト量での相関量をプロットしたもので、三角点は、その中で相関量が最小となるシフト量とその相関量をプロットしたものである。図１７Ｂからわかるように、シフト量０で相関量が最小となっている。つまりシフト量０のときがＡＢ像の相関性が一番高いと判定しており、曲線的にゲイン差が変化していくようなＡＢ像に対しても、位相差は正しく検出されていることがわかる。

各画素位置におけるＡＢ出力比の分散値が最小になるシフト量は、小数点以下まで求めても良い。
図１９は、図１８Ｂに示すような分散分布が得られたときに、分散値が最小になるシフト量を、小数点以下まで求める方法を示したグラフである。
図１９の横軸はシフト量を示し、縦軸は式（７）で求めた分散値の変化量（以下、分散変化量）を示す。ＰＤビットシフト時の分散変化量をΔＶＡＲ（ＰＤ）とすると、ΔＶＡＲ（ＰＤ）は以下の式（１０）で求めることができる。
ΔＶＡＲ（ＰＤ）＝ＶＡＲ（ＰＤ＋１）−ＶＡＲ（ＰＤ−１）・・・式（１０）

式（１０）で示す相関変化量ΔＶＡＲ（ＰＤ）がゼロになるシフト量をＺｅｒｏＣｒｏｓｓとしたとき、ＰＤ＝−１とＰＤ＝０の間に、ＺｅｒｏＣｒｏｓｓが存在することがわかる。そこで、前後のシフト量ΔＶＡＲ（−１）とΔＶＡＲ（０）から直線補間して、下式のようにＺｅｒｏＣｒｏｓｓの値を算出することができる。

式（１１）のように分散変化量がゼロになるシフト量を求めることで、分散が最小となるシフト量を小数点以下まで算出することが可能となり、より高精度に位相差を検出することが可能となる。

次に、図２０Ａから図２０Ｃを用いて、位相差合わせをしたＡＢ像の出力比分布に基づいて、Ａ像とＢ像との間のゲイン差の補正（以下、再シェーディング補正と呼ぶ）を行なう方法を説明する。
図２０Ａは、式（７）で定義される相関量で検出された位相差ＰＤだけＡ像をシフトし、ＡＢ像の位相を一致させた状態を示す図である。図２０Ａに示すように位相を一致させたＡＢ像を用いて、各画素におけるＡＢ光量比を算出する。
図２０Ｂは、各画素におけるＡＢ光量比ＲＡＴＥをＡ（ｉ＋ＰＤ）／Ｂ（ｉ）でプロットした図である。図２０Ｂで横軸が画素番号を示し、縦軸がＡＢ光量比を示している。ＡＢ光量比分布から、近似式ｆ（ｉ）を算出する。ｆ（ｉ）を最小二乗法に基づいて算出される一次直線とすると、近似式ｆ（ｉ）は以下の式（１２）〜式（１４）で表現される。

式（１２）〜式（１４）に示す近似式ｆ（ｉ）により、ｉ＋ＰＤ番目の画素Ｓ_ＨＡとｉ番目の画素Ｓ_ＨＢの間に生じているゲイン差を表現することが可能となる。そこで、ｉ番目の画素Ｓ_ＨＢの信号に、ｆ（ｉ）を乗算することで、画素Ｓ_ＨＡと画素Ｓ_ＨＢの間に生じているゲイン差を補正する。
図２０Ｃは、近似式ｆ（ｉ）に基づいて再シェーディング補正したあとのＡＢ像を示す図である。
このように、位相合わせをしたＡＢ像の各画素におけるＡＢ出力比の分布から近似式ｆ（ｉ）を求め、近似式ｆ（ｉ）に基づいて再シェーディング補正することで、ＡＢ像のゲイン差を解消することができ、ＡＢ像の一致度を向上させることができる。

式（１２）〜式（１４）では、一次直線による近似を説明したが、最小二乗法を用いれば二次以上の近似式も、同様の考え方で算出することが可能である。また、演算量を少なくするために、右半分のＡＢ出力比の平均値と左半分のＡＢ出力比の平均値から、近似直線を定義するなどしてもよい。
図２０Ｃでは、画素Ｓ_ＨＢの信号にｆ（ｉ）を乗算する方法を説明したが、画素Ｓ_ＨＡの信号をｆ（ｉ）で除算してもよい。
このように、位相合わせをしたＡＢ像の出力比の分布に基づいて、ＡＢ像の再シェーディング補正をすることで、一様光の撮影等を行わなくとも再シェーディング補正を行なうことができる。これにより、ＡＢ像の一致度を向上させることができ、以下に説明する位相差検出結果の信頼性を正しく評価できる。
位相差検出結果の信頼性を表す指標として、ＡＢ像の一致度というパラメータがある。この一致度を表す式として、以下の式（１５）がよく用いられる。

ＡＢ像が一致すればするほど、式（１５）で表される一致度は小さくなっていき、完全に一致する場合はゼロになる。この一致度が、ある閾値を超えるか否かで、位相差検出結果の信頼性を判定することが可能となる。
各画素の出力比の分散値によりＡＢ像の位相差を検出すれば、画素Ｓ_ＨＡと画素Ｓ_ＨＢに生じる光量差を補正しなくても、位相差を正しく検出することは可能である。しかし本発明では、位相差検出結果の信頼性を判定するために、位相合わせしたＡＢ像の出力比の分布に基づいて、ＡＢ像の再シェーディング補正を行なう。

ＡＢ像の出力比が存在する値のまま式（１５）により一致度を算出すると、位相差が正確に検出できているにもかかわらず一致度が低いと判断される一致度が算出される可能性が高い。しかし、ＡＢ像の再シェーディング補正を行なうことにより、ＡＢ像の波形は一致し、位相差検出結果の信頼性を正しく判定することが可能となる。なお、この再シェーディング補正は、位相差の検出が行われる度に実施する。そうすることによって、そのときの位相差の検出結果が正確であるか否かを、位相差が検出される度に正しく評価できる。

以上、図２０Ａ〜図２０Ｃで説明したように、各画素におけるＡＢ出力比の分散が最小になるように位相合わせしたＡＢ像の出力分布に基づいて再シェーディング補正することで、一様光の撮影をせずにＡＢ像の一致度を向上させることができ、これにより位相差検出結果の信頼性を正しく評価することが可能となる。

次に、図２１〜図２６を用いて、本発明の第１実施形態のカメラの焦点調節及び撮影工程を説明する。
図２１は、第１実施形態のカメラのメインフローを示すフローチャートである。
ステップ（以下、Ｓとする）１０１で撮影者がカメラの電源スイッチをオン操作する。
Ｓ１０３では、ＣＰＵ１２１はカメラ内の各アクチュエータや撮像素子の動作確認を行ない、メモリ内容や実行プログラムの初期化を行なうと共に、撮影準備動作を実行する。
Ｓ１０５では、撮像素子１０７の撮像動作を開始し、プレビュー用の低画素動画像を出力する。
Ｓ１０７では、読み出した動画をカメラ背面に設けられた表示器１３１に表示し、撮影者はこのプレビュー画像を目視して撮影時の構図決定を行なう。
Ｓ１０９では、プレビュー用動画像中から顔を認識する処理を行う。

Ｓ１１１では、プレビュー用動画像に顔が検出されたか否かを判断する。そして、撮影領域に顔が存在していると認識された場合には、Ｓ１１３に移行し、焦点調節モードを顔ＡＦモードに設定する。ここで顔ＡＦモードとは、撮影領域の顔に焦点を合わせるＡＦモードを指す。
一方撮影領域に顔が存在していない場合には、Ｓ１１５に移行し、焦点調節モードを多点ＡＦモードに設定する。ここで多点ＡＦモードとは、撮影領域を例えば３×５＝１５分割し、各分割領域で焦点検出を行ない、焦点検出結果と被写体の輝度情報から主被写体を類推し、その領域を合焦させるモードを指す。

Ｓ１１３あるいはＳ１１５でＡＦモードを決定したら、Ｓ１１７で焦点検出領域を決定する。
Ｓ１２１では、撮影準備スイッチがオン操作されたか否かを判別し、オン操作されていなければＳ１０５に戻り、撮像素子駆動からＳ１１７の焦点検出領域の決定を繰り返し実行する。Ｓ１２１で撮影準備スイッチがオン操作されるとＳ１３１に移行し、焦点検出サブルーチン（図２２）を実行する。

図２２は、焦点検出サブルーチンのフローチャートである。
図２１に示すメインフローのＳ１３１から焦点検出サブルーチンのＳ１３１にジャンプすると、Ｓ１３３では、メインルーチンのＳ１１７で決定した焦点検出領域に含まれる焦点検出用画素を読み出す。
Ｓ１３５では、各ブロック内の焦点検出画素を読み出し、ＡＦ画素信号を得る。
Ｓ１３７では、画素Ｓ_ＨＡから得られる信号を並べてＡ像信号が生成され、画素Ｓ_ＨＢから得られる信号を並べてＢ像信号が生成され、相関演算用のＡＢ像の信号とする。具体的には、図９に示したＡＦＳＩＧｈ（Ａ１）とＡＦＳＩＧｈ（Ｂ１）、あるいはＡＦＳＩＧｖ（Ｃ３）とＡＦＳＩＧｖ（Ｄ３）等の対の信号を創生する。

Ｓ２００では、得られたＡＢ像に基づいて相関演算を行ない、ＡＢ像の位相差を算出する。なお、Ｓ２００の相関演算は、サブルーチンとして図２３で説明する。
Ｓ３００では、Ｓ２００相関演算で得られた位相差だけＡＢ像の相対位置関係をシフトさせ、位相が一致したＡＢ像の各画素におけるＡＢ出力比に基づき、ＡＢ出力比の補正（再シェーディング補正）を行なう。なお、Ｓ３００の再シェーディング補正は、サブルーチンとして図２４で説明する。
Ｓ３５０では、再シェーディング補正済みの光量比が補正されたＡＢ像で再び相関演算を行ない、ＡＢ像の位相差を算出する。
Ｓ４００では、相関演算結果の信頼性を判定する。ここで信頼性とは、ＡＢ像の一致度を指し、ＡＢ像の一致度が良い場合は一般的に焦点検出結果の信頼性が高い。そこで、この一致度がある閾値を超えているか否かで位相差検出結果の信頼性の判定を行ったり、複数の焦点検出領域が選択されている場合に信頼性の高い情報を優先的に使用したりして用いられる。なお、Ｓ４００の信頼性判定は、サブルーチンとして図２５で説明する。
Ｓ４５０では、信頼性の高い検出結果から焦点ずれ量を演算する。そして図２１のメインフロー内のＳ１５１にリターンする。

図２１に戻って、Ｓ１５１では、合焦しているか否かを判断する。合焦判断は、具体的には、図２２のＳ１３９で計算した焦点ずれ量が許容値以下か否かを判断して行う。そして焦点ずれ量が許容値以上である場合は、非合焦と判断し、Ｓ１５３でフォーカスレンズを駆動し、その後Ｓ１３１からＳ１５１を繰り返し実行する。そしてＳ１５１で合焦状態に達したと判定されると、Ｓ１５５で合焦表示を行ない、Ｓ１５７に移行する。
Ｓ１５７では、撮影開始スイッチがオン操作されたか否かを判別し、オン操作されていなければＳ１５７で撮影待機状態を維持する。Ｓ１５７で撮影開始スイッチがオン操作されるとＳ１６１に移行し、撮影サブルーチン（図２６）を実行する。

図２３は、相関演算サブルーチンのフローチャートである。
Ｓ２０１では、Ａ像のＢ像に対する位相差ＰＤを−Ｎビットに設定する。
Ｓ２０２では、Ｓ２０１で設定した位相差ＰＤに基づき、ＡＢ像の相対位置関係をシフトさせる。例えば、位相差ＰＤが−Ｎビットに設定されているときには、Ａ像をＢ像に対して左方向にＮビットシフトさせる。
Ｓ２０３では、Ｓ２０２で相対位置関係をシフトさせたＡＢの各画素におけるＡＢ出力比を算出する。例えば、ＡＢ像の画素がＩ個、設定された位相差ＰＤが−Ｎビットである場合には、Ｉ−｜２×Ｎ｜個のＡＢ出力比が得られることになる。

Ｓ２０４では、Ｓ２０３で得られた複数個のＡＢ出力比のばらつきを算出する。ここで算出するばらつきは、式（７）で示した分散値とする。
Ｓ２０５では、設定された位相差ＰＤがＮビットより小さいか否かを判定する。位相差ＰＤがＮビットより小さい場合には、位相差ＰＤを＋１インクリメントして、Ｓ２０２に戻り、ＡＢ像の相対位置を設定位相差ＰＤ分だけシフトする。一方、位相差ＰＤがＮ以上になった場合には、Ｓ２０６に進む。
Ｓ２０６では、各位相差ＰＤにおいてＳ２０４で算出されたばらつきの中で、最小値となるものを選び、さらにそのときの位相差ＰＤをばらつき最小位相差ＰＤ０として算出する。そして図２２のＳ２００へリターンし、Ｓ３００へと移行する。

図２４は、再シェーディング補正サブルーチンのフローチャートである。
Ｓ３０１では、図２２におけるＳ２００の相関演算で算出されたばらつき最小位相差ＰＤ０分だけＡＢ像の相対位置関係をシフトさせる。最小位相差ＰＤ０が負の場合にはＡ像を左にシフトさせ、正の場合にはＢ像を左にシフトさせる。各画素のＡＢ出力比が最小となるようにシフトすることで、ＡＢ像の相対位置関係を一致させることができる。

Ｓ３０２では、ローパスフィルタ処理を行なう。ローパスフィルタ処理は、隣接画素同士の信号を平均して一つの信号とする隣接平均フィルタを８回通す処理とする。このように隣接画素信号を平均化し、高周波成分を除去して低周波成分のみを残すことで、ノイズの影響を軽減する。ＡＢ像に生じる光量比の分布は、図１２Ａから図１２Ｃに示すように、非常に低周波成分となる。なぜなら、式（１）〜式（４）に示すように、射出瞳に投影された射出窓１４１Ｃと１４２Ｃは、像高Ｘ_１４０に応じて徐々に変化する量であり、高周波成分は含まれるはずがない。そこで、Ｓ３０２ではローパスフィルタ処理を行なうことで、高周波成分からなるノイズを除去しながら、低周波成分からなる光量比分布だけを残すようにしている。

Ｓ３０３では、Ｓ３０２でローパスフィルタ処理されたＡＢ像に対して、各画素でのＡＢ出力比を算出する。例えば、ＡＢ像の画素がＩ個、設定された位相差ＰＤが−Ｎビットである場合には、Ｉ−｜２×Ｎ｜個のＡＢ出力比が得られることになる。
Ｓ３０４では、Ｓ３０３で得られた複数個のＡＢ出力比に基づき、近似式を算出する。ここで算出される近似式は、式（１１）〜（１３）で示したような最小二乗法による一次近似直線とする。
Ｓ３０５では、Ｓ３０４で算出した近似式に基づいてＡＢ像のゲイン調整を行なうことで、ＡＢ像に発生している光量比を補正する。Ｓ３０５でＡＢ像の光量比を補正することで、ＡＢ像の一致度が向上し、位相差検出結果の信頼性が正しく算出できるようになる。Ｓ３０５が終了したら、図２２のＳ３００へリターンし、S３５０へと移行する。

図２５は、信頼性判定サブルーチンのフローチャートである。
以下に説明する信頼性判定サブルーチンでは、位相差検出に用いる被写体像のコントラスト値と、像の一致度との２つの値を用いて、信頼性を判定する。
Ｓ４０１では、図２２におけるＳ２００の相関演算で算出されたばらつき最小位相差ＰＤ０分だけＡＢ像の相対位置をシフトさせ、ＡＢ像の位相を一致させる。
Ｓ４０２では、図２２におけるＳ３００で光量比を補正し、Ｓ４０１で位相を一致させたＡＢ像を用いて、コントラスト値を算出する。ここでコントラス値とは、隣接画素出力差の絶対和と二乗和を算出する。ノイズの影響を軽減する意図で、ローパスフィルタ処理を行った波形に対して、隣接画素出力差の絶対和と二乗和を算出してもよい。またＡＢ像それぞれに対して得られた絶対和と二乗和の平均値をＡＢ像のコントラスト値とする。

Ｓ４０３では、Ｓ３００で光量比を補正し、Ｓ４０１で位相を一致させたＡＢ像を用いて、像の一致度を算出する。ここで一致度とは、式（１４）に示すように各画素のＡＢ出力の差の絶対和を算出する。
Ｓ４０４では、コントラストが信頼に足るものであるか否かを判定する。具体的には、Ｓ４０２で算出したコントラスト値が、ある閾値を超えたか否かを判定する。超えた場合には、コントラストの信頼性は信頼に足るレベルであると判定し、Ｓ４０５に進む。一方、コントラスト値が、ある閾値を超えない場合には、コントラストの信頼性は信頼に足らないレベルであると判定し、Ｓ４０７に進む。

Ｓ４０５では、像の一致度が信頼に足るものであるか否かを判定する。具体的には、Ｓ４０３で算出した一致度が、ある閾値より小さいか否かを判定する。小さい場合には、像の一致度は信頼に足るレベルであると判定しＳ４０６に進む。一方、一致度が、ある閾値より小さくない場合には、像の一致度が信頼に足らないレベルであると判定し、Ｓ４０７へ進む。
Ｓ４０６では、信頼性ＯＫの判定をして、図２２のＳ４００へリターンし、Ｓ４５０へと移行する。
Ｓ４０７を実行するのは、Ｓ４０４でコントラストがＯＫレベルだと判定されなかった場合、又はＳ４０５で像の一致度がＯＫレベルだと判定されなかった場合である。よって、Ｓ４０７では、信頼性ＮＧの判定をして、図２２のＳ４００へリターンし、Ｓ４５０へと移行する。

図２６は、撮影サブルーチンのフローチャートである。
撮影開始スイッチが操作されると、Ｓ１６３では絞り兼用シャッタ１０２を駆動し、露光時間を規定する絞り兼用シャッタ１０２の開口制御を行なう。
Ｓ１６５では、高画素静止画撮影のための画像読み出し、すなわち全画素の読み出しを行なう。
Ｓ１６７では読み出した画像信号の欠損画素補間を行なう。すなわち、Ｓ_ＨＡ及びＳ_ＨＢ等の焦点検出用画素の出力は撮像のためのＲＧＢカラー情報を有しておらず、画像を得る上では欠陥画素に相当するため、周囲の撮像用画素の情報から補間により画像信号を創生する。
Ｓ１６９では、画像のγ補正、エッジ強調等の画像処理を行う。
Ｓ１７１では、フラッシュメモリ１３３に撮影画像を記録する。
Ｓ１７３では、表示器１３１に撮影済み画像を表示する。
Ｓ１７５で図２１のメインフローにリターンする。
図２１のメインフローに戻ると、Ｓ１８１にて一連の動作を終了する。

第１実施形態の撮像装置では、撮影光学系ＴＬが撮像装置に備わっている所謂レンズ一体型のカメラで説明したが、撮影光学系ＴＬが交換可能なタイプのカメラに適用してもよい。例えば、一眼レフタイプのデジタルカメラにおいて、撮像素子に焦点検出用の画素を設け、ミラーアップすることにより撮像面で位相差検出を行う場合に、本発明を適用してもよい。

以上説明したように、第１実施形態の位相差算出方法によれば、一対の像信号の各画素における画素出力比を算出し、その出力比分布のばらつきを相関量として位相差算出するので、ゲイン差のある一対の像信号に対しても、位相差検出誤差を軽減できる。
また、一対の像信号の位相差に基づいて撮影光学系ＴＬの焦点状態を検出する焦点検出装置に、上述の位相差検出方法を用いることで、ゲイン差のある一対の像信号に対しても、焦点検出誤差が生じ難くできる。
さらに、出力比分布のばらつきを評価量として位相を一致させた一対の像信号の、各画素における画素出力比分布に基づいて一対の像信号のゲイン差を補正する。これにより、一様光の撮影をせずに一対の像信号の一致度を向上させることができ、位相差検出の信頼性を正しく判定できる。

（第２実施形態）
図２７〜図３３を用いて、本発明の第２実施形態を説明する。
第１実施形態では、撮像素子は撮像用画素と焦点検出用画素とで構成されており、焦点検出用画素ではマイクロレンズＭＬの中心に対して偏った開口を撮影光学系２０１の射出瞳上に投影することで、瞳分離を行っていた。そして、反対方向に偏った開口を有する一対の焦点検出用画素から得られる一対の像信号の位相差を算出することで、撮影光学系２０１の焦点状態を検出していた。つまりＴＴＬ一次結像タイプの位相差方式焦点検出方法であった。
第２実施形態では、撮影光学系２０１と撮像素子の間で光路分割して導いた光束を、一対のレンズ要素からなる二次結像光学系で再結像し、得られた一対の像信号の位相差に基づいて撮影光学系２０１の焦点状態を検出する。つまりＴＴＬ二次結像タイプの位相差方式焦点検出方法であるところが、第２実施形態の特徴である。

図２７は、第２実施形態のカメラの側方断面図である。
第２実施形態のカメラは、撮影光学系２０１、主ミラー２０２、サブミラー２０３、撮像素子２０４、焦点検出装置２２０、シャッターユニット２２１、光学ローパスフィルタ２２２を備えている。
第２実施形態のカメラの撮影光学系２０１は、カメラ本体と一体になっているが、着脱可能な交換レンズを交換することにより撮影光学系を交換可能なカメラシステムとしてもよい。

主ミラー２０２は、撮影光学系からの被写体光束を分割する。主ミラー２０２の一部はハーフミラーになっており、一部の被写体光束を透過し、残りの被写体光束を上方に反射する。主ミラー２０２は、カメラ本体に軸部２０２ａで回転可能に軸支持されている。
サブミラー２０３は、主ミラー２０２を透過した被写体光束を下方に配置された焦点検出装置２２０へ反射する。また、サブミラー２０３も主ミラー２０２の保持部材に軸部２０３ａで回転可能に軸支持されており、主ミラー２０２に対して回転可能である。
そのため主ミラー２０２は、軸部２０２ａを中心として回転し、サブミラー２０３は、軸部２０３ａを中心として回転する。これにより、ミラーダウン状態とミラーアップ状態の二状態をとることが可能である。ここで、ミラーダウン状態とは、主ミラー２０２が撮影光学系の光軸に対して４５度傾斜し、サブミラー２０３が下方に約４５度傾斜して被写体光束を反射する状態である。また、ミラーアップ状態とは、主ミラー２０２及びサブミラー２３０が共に上方に折りたたまって被写体光束から完全に退避した状態である。
ミラーダウン状態では、撮影光学系２０１からの被写体光束は、上方のファインダー光学系（不図示）へ向かう光束と下方の焦点検出装置２２０へ向かう光束との二つに分割される。一方、ミラーアップ状態では、撮影光学系２０１からの被写体光束は、すべて撮像素子２０４に導かれる。

撮像素子２０４は、撮影光学系により結像された被写体光束を受光し画像信号に変換する光電変換素子である。本実施形態の撮像素子２０４は、パッケージ化されたＣＭＯＳイメージセンサである。

焦点検出装置２２０は、サブミラー２０３の下方に配置され、サブミラー２０３が反射する被写体光束により撮影光学系２０１の焦点状態を検出する。焦点検出装置２２０は、位相差検出方式の焦点検出を行なう。焦点検出装置２２０は、撮影光学系２０１の一対の異なる瞳領域を透過した光束で形成される二つの被写体像の相対位置関係から、撮影光学系２０１の焦点状態を検出する。撮影光学系の一対の異なる瞳領域から得られる二つの被写体像の相対位置関係から撮影光学系の焦点状態を検出する技術は、特開昭５２−１３８９２４に開示されているように公知の技術である。

シャッターユニット２２１は、後述の光学ローパスフィルタ２２２の光入射面側に配置されており、撮像素子２０４に入射する被写体光束の露光秒時を制限する。シャッターユニット２２１は、複数枚で構成される先幕２２１ａと後幕２２１ｂを有し、これらが撮像素子短手方向に走行し、先幕２２１ａと後幕２２１ｂの走行間隔で、シャッタ秒時を制御する。

光学ローパスフィルタ２２２は、撮影光学系２０１から撮像素子２０４に至る光路中に配置され、撮像素子２０４上に物体像の必要以上に高い空間周波数成分が伝達されないように撮影光学系２０１のカットオフ周波数を制限する。また、光学ローパスフィルタ２２２には赤外線カットフィルタも形成されている。

図２８は、第２実施形態の焦点検出装置２２０の各部品を展開した展開斜視図である。
焦点検出装置２２０は、カバー２０５、遮光シート２０６、フィールドレンズ２０７、保持部材２０８、プレート２０９、偏心カム２１０、ＩＲ−ＣＵＴフィルタ２１１、折り返しミラー２１２、絞り２１３、再結像レンズ２１４、当接部材２１５、センサホルダー２１６、焦点検出用センサ２１７、セパレータ２１８、２１９を備えている。

カバー２０５は、サブミラー２０３で反射した被写体光束を制限する遮光部材である。カバー２０５は、被写体光束のうち焦点検出に必要な光束だけを透過するような開口を有し、開口は撮影光学系２０１の略結像面付近に配置され、必要な被写体光束を焦点検出光学系に導き、不必要な被写体光束を遮光する。カバー２０５には穴部２０５ａが２箇所有り、保持部材２０８の突起部２０８ｅがこの穴部２０５ａに収まることで、カバー２０５を保持部材２０８に固定している。カバー２０５の上面は、カメラ本体の内壁に露出するため、反射光が撮像素子２０４に到達しないように遮光線が施されている。

遮光シート２０６は、カバー２０５とフィールドレンズ２０７との間に配置され、カバー２０５の開口を透過した光束をさらに制限する。
フィールドレンズ２０７は、絞り２１３を撮影光学系の瞳に投影する。

保持部材２０８は、焦点検出装置２２００の各部品を保持する。具体的には、保持部材２０８は、前述のカバー２０５、遮光シート２０６、フィールドレンズ２０７、偏心カム２１０、ＩＲ−ＣＵＴフィルタ２１１、折り返しミラー２１２、絞り２１３、再結像レンズ２１４、当接部材２１５、センサホルダー２１６、焦点検出用センサ２１７、セパレータ２１８、２１９を保持している。
保持部材２０８の軸部２０８ａには、偏心カム２１０が嵌合し、保持部材２０８に対して回転可能となっている。保持部材２０８は、プレート２０９を介してカメラ本体に取り付けられる。これにより、カメラ本体と保持部材２０８とで線膨張係数が異なる場合には、プレート２０９でその変形を吸収し、保持部材２０８には歪みを生じさせない構成になっている。

プレート２０９は、保持部材２０８をカメラ本体に取り付ける部材である。プレート２０９には、撮像素子２０４の短手方向に当接部を有するＵ字穴の軸受け部２０９ａ，２０９ｂが形成されている。軸受け部２０９ａ，２０９ｂは、カメラ前後方向の幅は軸部２０８ａ，２０８ｂと嵌合する寸法となっている。よって、軸部２０８ａ，２０８ｂが軸受け部２０９ａ，２０９ｂに嵌っている状態では、保持部材２０８のプレート２０９に対するカメラ前後方向の位置は一意的に決まる。軸受け部２０９ａのＵ字穴は、軸受け部２０９ｂのＵ字穴より長く、保持部材２０８をプレート２０９に対して設計値の位置にもってくると、軸部２０８ａと軸受け部２０９ａは撮像素子２０４短手方向に当接しないが、軸部２０８ｂと軸受け部２０９ｂは当接した状態となる。つまり、軸部２０８ｂと軸受け部２０９ｂはカメラ前後方向及び撮像素子２０４短手方向に当接して一意的に位置が決まり、軸部２０８ａと軸受け部２０９ａは撮像素子２０４短手方向にだけ動ける構成になっている。

偏心カム２１０は、保持部材２０８の軸部２０８ａに嵌合保持される偏心したカムである。偏心カム２１０は、外周でプレート２０９と当接してプレート２０９に対する軸部２０８ａの高さ位置を決めている。これにより、前述のように撮像素子２０４の短手方向に移動可能であった軸部２０８ａの位置は、偏心カム２１０の回転角度によって一意的に決まる。

上述の構成により、保持部材２０８は、軸部２０８ａ，２０８ｂを回転中心としてプレート２０９に対して回動可能である。さらに偏心カム２１０の回転により軸部２０８ａの高さ位置を変えて、撮影光学系２０１の光軸を軸とするような回転動作も可能となっている。

本実施形態の焦点検出装置２２０は、前述のように２方向の傾き調整が可能である。この２方向の傾き調整により焦点検出光学系の光軸と撮影光学系の光軸のずれを調整する、いわゆる瞳出し調整を行なう構成になっている。瞳出し調整完了後は、当接面に瞬間接着剤や溶着剤を流し込み、保持部材２０８とプレート２０９と偏心カム２１０を固定する。

ＩＲ−ＣＵＴフィルタ２１１は、表面に赤外成分の光を反射する多層蒸着膜が表面に施されたガラスにより形成され、赤外成分の光を反射する。焦点検出用センサ２１７は、可視光より波長が長い光に対しても感度をもっている。一方、撮像素子２０４の光入射面側には赤外カットフィルタも備えた光学ローパスフィルタ２２２が配置されているため、可視光よりも波長が長い光はカットされてしまい、撮像素子２０４に到達しない。焦点検出用センサ２１７と撮像素子２０４とで受光する光の分光特性が異なると、ピント位置が変わってしまう。したがって焦点検出装置２２０によって得られるピント位置に合わせて撮影光学系２０１を移動すると、撮像素子２０４ではピントがずれているという現象が生じてしまう。ＩＲ−ＣＵＴフィルタ２１１は、撮像素子２０４と焦点検出用センサ２１７に到達する光の分光特性をそろえ、前述のようなピントずれを防ぐ役目を果たしている。

折り返しミラー２１２は、表面にアルミの蒸着膜が施され、波長４００〜８００ｎｍの光をほぼ同じ反射率で反射するガラスにより形成されている。カメラ下部の限られたスペースに焦点検出装置２２０を収納するために、折り返しミラー２１２は被写体光束を折り返し、焦点検出装置２２０の小型化を図っている。

絞り２１３は、再結像光学系の絞りである。絞り２１３には一対の開口が形成され、再結像レンズ２１４の一対のレンズ部に入射する光束を制限している。絞り２１３は、フィールドレンズ２０７により撮影光学系２０１の瞳上に投影される。投影された絞り２１３の一対の開口により、撮影光学系２０１の瞳における一対の異なる瞳領域からの光束を透過する。

再結像レンズ２１４は、絞り２１３の一対の開口に対応して一対のレンズを備え、撮影光学系２０１の異なる瞳領域からの光束をそれぞれ撮像素子２１７上に結像させる。

当接部材２１５は、センサホルダー２１６と保持部材２０８の間に介在して焦点検出用センサ２１７の傾き調整機構を実現する当接部材である。当接部材２１５には、被写体光束を透過させるための開口部２１５ａと、保持部材２０８に当接するための一対の球面部２１５ｂが備わっている。球面部２１５ｂは当接部材２１５の両端にあり、それぞれは球面の一部を切り出したような形をしている。当接部材２１５の両端に球が二つ付き、保持部材２０８と当接することで、再結像レンズ２１４と焦点検出用センサ２１７の傾き調整が行なえるような構成なっている。

センサホルダー２１６は、焦点検出用センサ２１７を保持する部材であり、焦点検出用センサ２１７とセンサホルダー２１６とは瞬間接着剤や溶着剤などにより固定される。センサホルダー２１６には、被写体光束を透過させるための開口部２１６ａが設けられている。

焦点検出用センサ２１７は、センサホルダー２１６に保持された光電変換手段である。焦点検出用センサ２１７については後述する。

セパレータ２１８、２１９は、中央視野の被写体光束と周辺視野の被写体光束とが混ざることを防ぐセパレータである。フィールドレンズ２０７の中央レンズ部を透過した光束が絞り２１３の周辺視野用の開口を透過して焦点検出用センサ２１７に到達してしまうとゴースト光となって検出誤差を発生させてしまう。そこで、フィールドレンズ２０７とＩＲ−ＣＵＴフィルタ２１１との間の光路で、中央視野用の光束と周辺視野用の光束の隙間にセパレータ２１８、２１９を介在させ、光束が混ざることを防いでいる。

図２９は、再結像レンズ２１４の光射出面側中央部を切り出して拡大表示した図である。
再結像レンズ２１４の光射出面側には、一対の被写体像を再結像するための一対のレンズ部が複数組備わっている。それぞれのレンズ部は球面レンズであり、光射出面側に凸の形状になっている。
レンズ部２１４−１Ａと２１４−１Ｂは、画面中央測距視野の縦目の焦点検出光束を再結像するためのものある。画面中央縦視野の光束は、それぞれレンズ部２１４−１Ａと２１４−１Ｂで再結像され、焦点検出用センサ２１７の焦点検出用画素ライン上に、縦方向に並んだ一対の被写体像を形成する。
レンズ部２１４−２Ａと２１４−２Ｂは、画面中央の横目の焦点検出光束を再結像するためのものある。画面中央横視野の光束は、それぞれレンズ部２１４−２Ａと２１４−２Ｂで再結像され、焦点検出用センサ２１７の焦点検出用画素ライン上に、横方向に並んだ一対の被写体像を形成する。

図３０は、焦点検出用センサ２１７のチップを、光入射面側中央部を切り出して拡大表示した図である。
焦点検出用センサ２１７には、図２９で説明した、再結像レンズ２１４で再結像された一対の被写体像の結像位置に対応して、焦点検出用画素ラインが配置されている。
画面中央縦視野の光束は、図２９のレンズ部２１４−１Ａにより図３０の焦点検出用画素ラインＬ１Ａ、Ｌ２Ａに再結像され、図２９のレンズ部２１４−１Ｂにより図３０の焦点検出用画素ラインＬ１Ｂ，Ｌ２Ｂに再結像される。焦点検出用画素ラインＬ１Ａ，Ｌ２Ａは複数の画素が縦方向に並んだラインセンサとなっており、焦点検出用画素ラインＬ１ＡとＬ２Ａとは半ピッチずれた位相の千鳥配列となっており、解像度を上げている。焦点検出用画素ラインＬ１Ｂ，Ｌ２Ｂについても同様に、複数画素で構成され、千鳥配置となっている。

画面中央横視野の光束も同様であり、図２９のレンズ部２１４−２Ａにより図３０の焦点検出用画素ラインＬ３Ａ、Ｌ４Ａに再結像され、図２９のレンズ部２１４−２Ｂにより図３０の焦点検出用画素ラインＬ３Ｂ，Ｌ４Ｂに再結像される。焦点検出用画素ラインＬ３Ａ，Ｌ４Ａは複数の画素が縦方向に並んだラインセンサとなっており、焦点検出用画素ラインＬ３ＡとＬ４Ａとは半ピッチずれた位相の千鳥配列となっており、解像度を上げている。焦点検出用画素ラインＬ３Ｂ，Ｌ４Ｂについても同様に、複数画素で構成され、千鳥配置となっている。

焦点検出用センサ２１７の一対の焦点検出用画素ラインは、複数画素がライン上に並んでおり、一対の画素列の出力信号波形の間には、焦点検出視野上に撮像光学系２０１によって形成された物体像の結像状態に応じて、相対的に横シフトした状態が観測される。前ピン、後ピンでは出力信号波形のシフト方向が逆になる。相関演算などの手法を用いてこの位相差を、方向を含めて検出するのが焦点検出の原理である。

図３１は、第２実施形態の位相差検出方法を備えたカメラの構成を示す図である。
第２実施形態のカメラは、撮像素子を有したカメラ本体と撮影光学系２０１とが一体となったデジタルカメラを示している。
第２実施形態と第１実施形態とで構成が異なるところは、焦点検出装置２２０と、それを駆動するためのＡＦセンサ駆動回路１３４を備えたところだけである。それ以外の構成は第１実施形態と同じであるため、説明を省略する。

図３１において、サブミラー２０３の下方には撮影光学系２０１の焦点状態を検出する焦点検出装置２２０が配置され、サブミラー２０３の反射光は焦点検出装置２２０に導かれる。図２８において説明したように、焦点検出装置２２０には、サブミラー反射光が再結像レンズ２１４によって再結像された光学像を光電変換し、一対の像信号を生成する焦点検出用センサ２１７が存在する。この焦点検出用センサ２１７を駆動するのが、ＡＦセンサ駆動回路１３４である。
ＣＰＵ１２１は、ＡＦセンサ駆動回路１３４を介して焦点検出装置２２０から一対の像信号を取得し、後述する位相差算出方法に基づいて位相差を算出する。

次に、第２実施形態の焦点検出用画素の瞳分割状況も、第１実施形態と同様に図８に示すように瞳分離されていることを説明する。焦点検出用画素に像信号を結像する再結像レンズ２１４の射出瞳の機能は、絞り２１３が果たしている。絞り２１３は、フィールドレンズ２０７によって、撮影光学系２０１の射出瞳上に投影される。つまり絞り２１３と撮影光学系２０１の射出瞳は光学的に共役な関係となる。これにより、再結像レンズ２１４におけるレンズ部２１４−１Ａ、２１４−１Ｂ、２１４−２Ａ、２１４−２Ｂの射出瞳は、フィールドレンズ２０７によって投影されて瞳ＥＰＨＡ，ＥＰＨＢ，ＥＰＨＣ，ＥＰＨＤとなり、瞳分割するように構成されている。

第２実施形態における焦点検出用画素の射出瞳は、第１実施形態の図１０、１１で説明したのと同じ原理により、撮影光学系２０１の口径食によって制限される。そのため、第１実施形態の図１２Ａから図１２Ｃで示したような像高によってＡＢ像のゲイン差が変化していく。そのため、焦点検出装置２２０から得られる一対の像信号は、像高によってゲイン差が変化していくようなＡＢ像となってしまう。そのようなゲイン差が変化していくようなＡＢ像について、従来の定義による相関量に基づいて位相差検出すると、図１３Ａ〜図１４Ｃで説明したように位相差検出結果に誤差が生じてしまう。

そこで第２実施形態の位相差検出方法においても第１実施形態と同様に、各画素位置におけるＡＢ像信号の出力比のばらつきを相関量として定義し、位相差を算出する。焦点検出用画素の画素数をＩ個、ｉ番目の画素Ｓ_ＨＡの信号をＡ（ｉ）、ｉ番目の画素ＳＨＢの信号をＢ（ｉ）とすると、Ａ像を左にＰＤビットシフトしたときの相関量は、第１実施形態と同様に、下記式（７）で表される不偏分散とした。

第２実施形態の位相差検出方法においても、この分散値ＶＡＲ（ＰＤ）を各シフト量における相関量として扱う。この分散値が極値となるシフト量がＡＢ像の位相が一致している状態であるとみなし、位相差の検出を行なう。ここで分散値が極値をとるというのは、最小値をとることを意味している。各画素位置における出力比の分散値を相関量とすることで、画素Ｓ_ＨＡと画素Ｓ_ＨＢとにゲイン差がある場合でも、ゲイン差の影響を受けることなく、正しくＡＢ像の相関性を表現することができる。そして、ゲイン差による位相差検出の誤差を軽減することができる。

出力比Ａ（ｉ＋ＰＤ）／Ｂ（ｉ）のばらつきを表す指標として、本発明では分散値を用いたが、標準偏差としてもよい。また分散値や標準偏差を定数倍した数値でも、同様の効果を得られることはいうまでもない。さらには、第１実施形態と同様に、以下の式（９）に表現されるような、平均値からずれ量を二乗平均し、データ数で除した分散値（標本分散）を用いてもよい。

なお、式（９）で表現される値を定数倍した数値でも、同様の効果は得られる。
本実施形態では、位相を合わせたＡＢ像の各画素の比較結果として、画素Ｓ_ＨＡの信号と画素Ｓ_ＨＢの信号の出力比Ａ（ｉ＋ＰＤ）／Ｂ（ｉ）を用いたが、出力差の絶対値｜Ａ（ｉ＋ＰＤ）−Ｂ（ｉ）｜を用いてもよい。どちらか一方の像にフレア成分が含まれているときなどは、各画素の比較結果としてこの出力差の絶対値を用いることが望ましい。
また、各画素の比較結果として、出力比を用いたものと、出力差の絶対値を用いたものの、両方の位相差検出結果を算出しておき、検出結果や像の一致度やコントラストなどで判定し、より信頼性の高い検出結果を選択してもよい。

第２実施形態では、第１実施形態と同様に、第１実施形態の図１５Ａと図１５Ｂを用いて説明した一連の位相差検出演算を行う。この一連の位相差検出演算は、ＣＰＵ１２１内で行われる処理である。具体的には、各画素における比較結果を算出する比較手段１５１、出力比のばらつきを算出するばらつき算出手段１５２、ばらつきが極値をとる位相差を算出する位相差算出手段１５３がＣＰＵ１２１の機能として実現されている。
式（７）に示すような分散ＶＡＲ（ＰＤ）を相関量とした場合の効果は、第１実施形態において図１６Ａ〜図１８Ｂで説明したものと同じであるため、ここでは省略する。
また、各画素におけるＡＢ出力比の分散値が最小になるシフト量は、第１実施形態と同様に、小数点以下まで求めても良い。小数点以下まで求める方法は、第１実施形態で図１９を用いて説明した通りである。

第２実施形態においても、第１実施形態で図２０Ａ〜図２０Ｃを用いて説明したように、位相合わせをしたＡＢ像の出力比分布に基づいて、再シェーディング補正を行なう。式（７）で定義される相関量で検出された位相差をＰＤ、ＰＤだけシフトさせて位相を一致させたＡＢ像の光量比分布の近似式をｆ（ｉ）とすると、第１実施形態と同様に、ｆ（ｉ）は下記式で表される。

ｉ番目の画素Ｓ_ＨＢの信号に、ｆ（ｉ）を乗算することで、画素Ｓ_ＨＡと画素Ｓ_ＨＢの間に生じているゲイン差を補正する。再シェーディング補正したＡＢ像は、図２０Ｃで示したように、ゲイン差を解消することができ、ＡＢ像の一致度を向上させることができる。
式（１２）〜式（１４）では、一次直線による近似を説明したが、最小二乗法を用いれば二次以上の近似式も、同様の考え方で算出することが可能である。また、演算量を少なくするために、右半分のＡＢ出力比平均値と左半分のＡＢ出力比平均値から、近似直線を定義するなどしてもよい。

また、画素Ｓ_ＨＢの信号にｆ（ｉ）を乗算する方法を説明したが、画素Ｓ_ＨＡの信号をｆ（ｉ）で除算してもよい。
各画素の出力比の分散値によりＡＢ像の位相差を検出すれば、ＡＢ像に生じる光量差を補正しなくても、位相差を正しく検出することは可能である。しかし本発明では、位相差検出結果の信頼性を判定するために、位相合わせしたＡＢ像の出力比分布に基づいて、ＡＢ像の再シェーディング補正を行なう。これにより、ＡＢ像の波形は一致し、位相差検出結果の信頼性を正しく判定することが可能となる。なお、この再シェーディング補正は、位相差の検出が行われる度に実施する。そうすることによって、そのときの位相差の検出結果が正確であるか否かを、位相差が検出される度に正しく評価できる。

次に、図３２及び図３３を用いて、第２実施形態のカメラの焦点調節及び撮影工程を説明する。
図３２は、本発明の第２実施形態のカメラのメインフローチャートである。
Ｓ５０１で撮影者がカメラの電源スイッチをオン操作する。
Ｓ５０２では、ＣＰＵ１２１はカメラ内の各アクチュエータや撮像素子の動作確認を行ない、メモリ内容や実行プログラムの初期化を行なうと共に、撮影準備動作を実行する。
Ｓ５０３では、操作スイッチ１３２に設けられた焦点検出領域指定手段によって指定された位置に基づき、焦点検出領域を決定する。
Ｓ５０４では、撮影準備スイッチがオン操作されたか否かを判別し、オン操作されていなければＳ５０３に戻り、焦点検出領域指定手段によって指定された焦点検出領域を確認する。Ｓ５０４で撮影準備スイッチがオン操作されるとＳ６００に移行し、焦点検出サブルーチンを実行する。

図３３は、焦点検出サブルーチン（図３２のＳ６００）のフローチャートである。
メインフローのＳ６００から当サブルーチンのＳ６００にジャンプすると、Ｓ６０１では、メインルーチンのＳ５０３で決定した焦点検出領域に含まれる焦点検出用画素を読み出す。
Ｓ６０２では、画素Ｓ_ＨＡから得られる信号を並べてＡ像信号と、画素Ｓ_ＨＢから得られる信号とを並べてＢ像信号を生成し、相関演算用のＡＢ像の信号とする。具体的には、図９に示したＡＦＳＩＧｈ（Ａ１）とＡＦＳＩＧｈ（Ｂ１）、あるいはＡＦＳＩＧｖ（Ｃ３）とＡＦＳＩＧｖ（Ｄ３）等の対の信号を創生する。
Ｓ２００では、得られたＡＢ像に基づいて相関演算を行ない、ＡＢ像の位相差を算出する。このＳ２００は、第１実施形態で説明した図２３の動作を行う。
Ｓ３００では、Ｓ２００相関演算で得られた位相差だけＡＢ像の相対位置関係をシフトさせ、位相が一致したＡＢ像の各画素におけるＡＢ出力比に基づき、ＡＢ出力比の補正（再シェーディング補正）を行なう。このＳ３００は、第１実施形態で説明した図２４の動作を行う。
Ｓ６０３では、再シェーディング処理済みの光量比が補正されたＡＢ像で再び相関演算を行ない、ＡＢ像の位相差を算出する。
Ｓ４００では、相関演算結果の信頼性を判定する。ここで信頼性とは、ＡＢ像の一致度を指し、ＡＢ像の一致度が良い場合は一般的に焦点検出結果の信頼性が高い。そこで、この一致度がある閾値を超えているか否かで位相差検出結果の信頼性の判定を行ったり、複数の焦点検出領域が選択されている場合に信頼性の高い情報を優先的に使用したりするなどに用いられる。このＳ４００は、第１実施形態で説明した図２５の動作を行う。
Ｓ６０４では、信頼性の高い検出結果から焦点ずれ量を演算する。そして図３２のメインフロー内のＳ６００にリターンする。

図３２に戻って、Ｓ５０５では、Ｓ６０４で計算した焦点ずれ量が許容値以下か否か、すなわち合焦しているか否かを判断する。そして焦点ずれ量が許容値を超える場合は、非合焦と判断し、Ｓ５０９でフォーカスレンズを駆動し、その後Ｓ６００からＳ５０５を繰り返し実行する。そしてＳ５０５において合焦状態に達したと判定されると、Ｓ５０６において合焦表示を行ない、Ｓ５０７に移行する。
Ｓ５０７では、撮影開始スイッチがオン操作されたか否かを判別し、オン操作されていなければＳ５０７において撮影待機状態を維持する。Ｓ５０７で撮影開始スイッチがオン操作されるとＳ１６１に移行し、撮影サブルーチンを実行する。このＳ１６１は、第１実施形態で説明した図２６の動作を行う。
Ｓ１６１の撮影サブルーチンから図３２のメインフローに戻ると、Ｓ５０８において一連の動作を終了する。

以上説明したように、第２実施形態によれば、一対の像信号の各画素における画素出力比を算出し、その出力比分布のばらつきを相関量として位相差を算出することで、ゲイン差のある一対の像信号に対しても、位相差検出誤差を軽減できる。
また、一対の像信号の位相差に基づいて撮影光学系２０１の焦点状態を検出する焦点検出装置に、本実施形態の位相差検出方法を用いることで、ゲイン差のある一対の像信号に対しても、焦点検出誤差を生じ難くできる。
さらに、出力比分布のばらつきを評価量として位相を一致させた一対の像信号の、各画素における画素出力比分布に基づいて一対の像信号のゲイン差を補正する。これにより、一様光の撮影をせずに一対の像信号の一致度を向上させることができ、位相差検出の信頼性を正しく判定できる。

（第３実施形態）
第２実施形態では、撮影光学系２０１と撮像素子２０４との間で光路分割して導いた光束を、一対のレンズ要素からなる二次結像光学系（再結像レンズ２１４）で再結像する。そして、得られた一対の像信号の位相差に基づいて撮影光学系２０１の焦点状態を検出する形態を示した。つまり、第２実施形態は、ＴＴＬ二次結像タイプの位相差方式焦点検出方法であった。第３実施形態では、撮影光学系とは別に、焦点検出用の光学系を別途備えており、三角測距原理によって焦点検出を行なう。つまり外測タイプの位相差方式焦点検出方法であるところが、第３実施形態の特徴である。

図３４は、第３実施形態のカメラの構成を示す図である。
第３実施形態のカメラは、撮像素子１０７を有したカメラ本体と撮影光学系（１０１，１０３，１０５）が一体となったデジタルカメラである。第２実施形態と第３実施形態とで構成が異なるところは、光路分割のための光学系（サブミラー２０３）がなく、焦点検出装置３２０が、撮影光学系とは別にカメラ本体に設けられているところである。それ以外の構成は第２実施形態と同じであるため、説明を省略する。

第３実施形態のカメラに設けられた焦点検出装置３２０は、結像レンズ３１４、絞り３１３、そして焦点検出用センサ３１７によって構成されている。
結像レンズ３１４は、一対のレンズ部を有しており、焦点検出用センサ３１７の受光部面上に一対の被写体光学像を結像させる。
絞り３１３は、結像レンズ３１４のレンズ部に対応した開口部を有しており、結像レンズ３１４のレンズ部に入射する光束を制限している。これにより結像レンズ３１４の射出瞳として機能している。
焦点検出用センサ３１７には、結像レンズ３１４のレンズ部に対応した受光部があり、この受光部は複数の焦点検出用画素で構成されている。焦点検出用センサ３１７は、結像レンズ３１４によって結像された一対の被写体光学像を光電変換する光電変換手段であり、複数画素から得られる信号を並べて一対の像信号を生成する。この焦点検出用センサ３１７を駆動するのが、ＡＦセンサ駆動回路１３４である。
ＣＰＵ１２１は、ＡＦセンサ駆動回路１３４を介して焦点検出装置３２０から一対の像信号を取得し、後述する位相差算出方法に基づいて位相差を算出する。
なお、外測タイプの位相差方式焦点検出方法は、特許文献３（特開２００４−１２６０１）に開示されており公知技術である。そのため、三角測距原理に基づく測距原理については、説明を省略する。

次に、第３実施形態のカメラにおいても、一対の像信号のゲイン差が生じてしまう場合があることを説明する。図３４で説明したように、絞り３１３には、結像レンズ３１４のレンズ部に対応した一対の開口部がある。製造誤差により、この一対の開口部の面積が異なる大きさになってしまった場合、結像レンズ３１４の一対のレンズに入射する光量も変わってしまう。これにより、結果として得られる一対の像信号にゲイン差が生じてしまう。すると、焦点検出装置３２０から得られる一対の像信号には、第１実施形態の図１２Ａで示したようなゲイン差が生じてしまう。そのようなゲイン差がある一対の像信号について、従来の定義による相関量に基づいて位相差検出すると、図１３Ａ〜図１４Ｃで説明したように位相差検出結果に誤差が生じてしまう。

通常、外測タイプの焦点検出装置は、非常に小型なものであることが多く、絞り３１３の一対の開口部も非常に小さい。すると、開口部の寸法を高精度に追い込んだとしても、残った寸法誤差が開口面積に与える影響は非常に大きく、開口部の面積の不一致はどうしても避けられない。そのため、上述のような製造誤差による一対の像信号のゲイン差は必然的に生じてしまう問題である。そのようなゲイン差が変化していくような一対の像信号について、従来の定義による相関量に基づいて位相差検出すると、図１３Ａ〜図１４Ｃで説明したように位相差検出結果に誤差が生じてしまう。

そこで、第３実施形態の位相差検出方法においても第１実施形態と同様に、各画素位置におけるＡＢ像信号の出力比のばらつきを相関量として定義し、位相差を算出する。焦点検出用画素の画素数をＩ個、ｉ番目の画素Ｓ_ＨＡの信号をＡ（ｉ）、ｉ番目の画素Ｓ_ＨＢの信号をＢ（ｉ）とすると、Ａ像を左にＰＤビットシフトしたときの相関量は、第１実施形態と同様に、下記式で表される不偏分散とした。

第３実施形態の位相差検出方法においても、この分散値ＶＡＲ（ＰＤ）を各シフト量における相関量として扱う。この分散値が極値となるシフト量がＡＢ像の位相が一致している状態であるとみなし、位相差の検出を行なう。ここで分散値が極値をとるというのは、最小値をとることを意味している。各画素位置における出力比の分散値を相関量とすることで、ＡＢ像にゲイン差がある場合でも、ゲイン差の影響を受けることなく、正しくＡＢ像の相関性を表現することができる。そして、ゲイン差による位相差検出の誤差を軽減することができる。

第３実施形態では、第１実施形態と同様に、第１実施形態の図１５Ａと図１５Ｂを用いて説明した一連の位相差検出演算を行う。この一連の位相差検出演算は、ＣＰＵ１２１で行われる処理である。具体的には、各画素における比較結果を算出する比較手段１５１、出力比のばらつきを算出するばらつき算出手段１５２、ばらつきが極値をとる位相差を算出する位相差算出手段１５３がＣＰＵ１２１の機能として実現されている。
式（７）に示すような分散ＶＡＲ（ＰＤ）を相関量とした場合の効果は、第１実施形態において図１６Ａ〜図１８Ｂで説明したものと同じであるため、ここでは省略する。
また、各画素におけるＡＢ出力比の分散値が最小になるシフト量は、第１実施形態と同様に、小数点以下まで求めても良い。小数点以下まで求める方法は、第１実施形態で図１９を用いて説明した通りである。

第３実施形態においても、第１実施形態で図２０Ａ〜図２０Ｃを用いて説明したように、位相合わせをしたＡＢ像の出力比分布に基づいて、再シェーディング補正を行なう。式（７）で定義される相関量で検出された位相差をＰＤ、ＰＤだけシフトさせて位相を一致させたＡＢ像の光量比分布の近似式をｆ（ｉ）とすると、第１実施形態と同様に、ｆ（ｉ）は下記式で表される。

第３実施形態におけるカメラの焦点調節及び撮影工程の動作は、第２実施形態と同じであるため、説明を省略する。
第３実施形態では、被写体光を受光して一対の像信号を取得し、その位相差を算出するいわゆるパッシブ方式について説明したが、被写体にむけて赤外光を投光し、その被写体からの反射光を受光して一対の像信号を取得し、その位相差を算出するいわゆるアクティブ方式にも、本発明は適用可能である。パッシブ方式でもアクティブ方式でも、一対の像信号のゲイン差は同様のメカニズムにより発生し、本発明の位相差算出の手法を適用することで、そのゲイン差によって発生する位相差検出誤差を軽減することが可能である。

以上説明したように、第３実施形態によれば、一対の像信号の各画素における画素出力比を算出し、その出力比分布のばらつきを相関量として位相差算出することで、ゲイン差のある一対の像信号に対しても、位相差検出誤差を軽減できる。
また、一対の像信号の位相差に基づいて撮影光学系の焦点状態を検出する焦点検出装置に、上述の位相差検出方法を用いることで、ゲイン差のある一対の像信号に対しても、焦点検出誤差を生じ難くできる。
さらに、出力比分布のばらつきを評価量として位相を一致させた一対の像信号の、各画素における画素出力比分布に基づいて一対の像信号のゲイン差を補正する。これにより、一様光の撮影をせずに一対の像信号の一致度を向上させることができ、位相差検出の信頼性を正しく判定できる。

（変形形態）
以上説明した実施形態に限定されることなく、種々の変形や変更が可能であって、それらも本発明の範囲内である。
（１）各実施形態において、撮像装置としてデジタルカメラを例に挙げて説明したが、これに限らず、例えば、動画撮影を主たる目的とするビデオカメラに本発明を適用してもよい。

（２）各実施形態において、再シェーディング補正済みの光量比が補正されたＡＢ像で再び相関演算を行ない、ＡＢ像の位相差を算出する例を示した。しかし、これに限らず、例えば、再相関演算を行わずに、再シェーディング補正前に行う相関演算の結果からＡＢ像の位相差を算出して焦点調節動作に用いてもよい。

（３）各実施形態において、式（７）で表される不偏分散、又は、式（９）で表される標本分散によりＡＢ像の比較結果の統計的ばらつきを評価する例を示した。しかし、ＡＢ像の比較結果の統計的ばらつきを表す不偏分散、及び、標本分散は、これらの式に限らず、以下に示す各式を用いてもよい。

また、ＡＢ像の比較結果の統計的ばらつきは、分散、及び、標準偏差の他に、範囲、四分位範囲、平均差、平均偏差等の他の統計的ばらつき（散布度）を表す値を用いて評価してもよい。

（４）各実施形態において、撮像装置としてのカメラに本発明を適用する例を示したが、これに限らず、例えば、本発明の位相差検出方法をコンピュータに実行させることができるコンピュータプログラムの形態としてもよい。そうすることにより、撮像装置の制御プログラムを更新する所謂ファームアップにより、このコンピュータプログラムを撮像装置に適用することができ、既存の撮像装置の位相差検出をより正確に行うことができる。

なお、第１実施形態〜第３実施形態及び変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。また、本発明は以上説明した各実施形態によって限定されることはない。

本発明による位相差検出装置を用いたカメラの第１実施形態の構成を示す図である。位相差検出回路１５０に関連する部分を抜き出して示したブロック図である。本発明の撮像素子の回路構成の概略を示す図である。画素部（光電変換部１）の断面図である。撮像素子の駆動タイミングチャートである。撮像用画素の配置と構造を示す図である。撮影光学系の水平方向（横方向）に瞳分割を行なうための焦点検出用画素の配置と構造を示す図である。撮影光学系の垂直方向に瞳分割を行なうための焦点検出用画素の配置と構造を示す図である。第１実施形態における撮像素子の瞳分割状況を概念的に説明する図である。焦点検出時に取得した画像と焦点検出領域を説明する図である。撮像素子及び撮影光学系付近を−Ｘ軸、＋Ｙ軸、−Ｚ軸の３つの軸によって囲まれる象限から見た斜視図である。撮像素子と射出窓及び瞳の関係を示す図である。Ａ像とＢ像のゲイン差が像高によって変わる例を示した図である。Ａ像とＢ像のゲイン差が像高によって変わる例を示した図である。Ａ像とＢ像のゲイン差が像高によって変わる例を示した図である。図１２Ａに示すようなゲイン差が生じた画素Ｓ_ＨＡ、画素Ｓ_ＨＢで、前述のような模様を有した被写体を受光した場合に得られるＡＢ像を示す図である。図１３ＡのようなＡＢ像の相対位置関係を１ビットずつシフトさせながら、特許文献１（特公昭６２―３９７２２）に開示されている相関量を算出した結果を示す図である。 −３ビットシフトさせたときのＡＢ像を示す図である。図１２Ａに示すようなゲイン差が生じた画素Ｓ_ＨＡ、画素Ｓ_ＨＢで、前述のような模様を有した被写体を受光した場合に得られるＡＢ像を示す図である。図１４ＡのようなＡＢ像の相対位置関係を１ビットずつシフトさせながら、特許文献２（特開昭６３−２６４７１５）に開示されている相関量を算出した結果を示す図である。 −３ビットシフトさせたときのＡＢ像を示す図である。図１２Ａに示したようなゲイン差が生じた画素Ｓ_ＨＡ、画素Ｓ_ＨＢで、左が黒く、右が白く、その境界部が徐々に切り替わっていくようなグラデーションパターンの被写体を受光した場合に得られるＡＢ像を示す図である。Ａ（ｉ＋ＰＤ）／Ｂ（ｉ）をプロットしていった図である。図１２Ａに示すようなゲイン差が生じた画素Ｓ_ＨＡ、画素ＳＨＢで、前述のような模様を有した被写体を受光した場合に得られるＡＢ像を示す図である。図１６ＡのようなＡＢ像の相対位置関係を１ビットずつシフトさせながら、式（７）に示すような相関量を算出した結果を示す図である。図１２Ｂに示すようなゲイン差が生じた画素Ｓ_ＨＡ、画素ＳＨＢで、前述のような模様を有した被写体を受光した場合に得られるＡＢ像を示す図である。図１７ＡのようなＡＢ像の相対位置関係を１ビットずつシフトさせながら、式（７）に示すような相関量を算出した結果を示す図である。図１２Ｂに示すようなゲイン差が生じた画素Ｓ_ＨＡ、画素ＳＨＢで、前述のような模様を有した被写体を受光した場合に得られるＡＢ像を示す図である。図１８ＡのようなＡＢ像の相対位置関係を１ビットずつシフトさせながら、式（７）に示すような相関量を算出した結果を示す図１８Ｂである。図１８Ｂに示すような分散分布が得られたときに、分散値が最小になるシフト量を、小数点以下まで求める方法を示したグラフである。式（７）で定義される相関量で検出された位相差ＰＤだけＡ像をシフトし、ＡＢ像の位相を一致させた状態を示す図である。各画素におけるＡＢ光量比ＲＡＴＥをＡ（ｉ＋ＰＤ）／Ｂ（ｉ）でプロットした図である。近似式ｆ（ｉ）に基づいて再シェーディング補正したあとのＡＢ像を示す図である。第１実施形態のカメラのメインフローを示すフローチャートである。焦点検出サブルーチンのフローチャートである。相関演算サブルーチンのフローチャートである。再シェーディング補正サブルーチンのフローチャートである。信頼性判定サブルーチンのフローチャートである。撮影サブルーチンのフローチャートである。第２実施形態のカメラの側方断面図である。第２実施形態の焦点検出装置２２０の各部品を展開した展開斜視図である。再結像レンズ２１４の光射出面側中央部を切り出して拡大表示した図である。焦点検出用センサ２１７のチップを、光入射面側中央部を切り出して拡大表示した図である。第２実施形態の位相差検出方法を備えたカメラの構成を示す図である。本発明の第２実施形態のカメラのメインフローチャートである。焦点検出サブルーチン（図３２のＳ６００）のフローチャートである。第３実施形態のカメラの構成を示す図である。ゲイン差がある場合の二つの像信号の波形を示した図である。ゲイン差がある場合従来の位相差検出を行ったときに二つの像信号が一致すると判断を誤ったときの波形を示した図である。

符号の説明

１０１第１レンズ群
１０２絞り兼用シャッタ
１０３第２レンズ群
１０７撮像素子
１２１ＣＰＵ
１２４撮像素子駆動回路
ＴＬ撮影レンズ
ＯＢＪ被写体
ＩＭＧ被写体像
ＥＰ射出瞳
ＥＰＨＡ、ＥＰＨＢ、ＥＰＶＣ、ＥＰＶＤ分割された射出瞳
ＳＨＡ、ＳＨＢ、ＳＶＣ、ＳＶＤ焦点検出用画素
ＭＬオンチップマイクロレンズ
ＣＬ配線層
１３４ＡＦセンサ駆動回路
２０１撮影レンズ
２１３絞り
２１４再結像レンズ
２１７焦点検出用センサ
２２０焦点検出装置
３１３絞り
３１４結像レンズ
３１７焦点検出用センサ
３２０焦点検出装置

Claims

レンズ部と、
受光した光を光電変換する画素が複数並べて配列され、前記レンズ部を介して受光した少なくとも一対の光学像を光電変換して少なくとも一対の像信号を生成する光電変換手段と、
前記光電変換手段が生成する前記一対の像信号の分布位置を演算上で順次相対的に変位させながら各相対変位位置で前記画素毎に対応する部分で前記一対の像信号を形成する各信号同士を比較して、前記画素毎の比較結果を出力する比較手段と、
前記比較手段が出力する前記画素毎の比較結果の統計的ばらつきを前記各相対変位位置で算出して数値化するばらつき算出手段と、
前記各相対変位位置の変位に応じて前記ばらつき算出手段が数値化した前記統計的ばらつきに基づいて前記一対の像信号の位相差を算出する位相差算出手段と、
を備える位相差検出装置。
請求項１に記載の位相差検出装置において、
前記比較手段は、前記一対の像信号を形成する各信号同士の比、又は、差を比較結果として出力すること、
を特徴とする位相差検出装置。
請求項１又は請求項２に記載の位相差検出装置において、
前記ばらつき算出手段が算出する統計的ばらつきは、分散値、標準偏差、分散値の定数倍の値、標準偏差の定数倍の値、のいずれかであること、
を特徴とする位相差検出装置。
請求項３に記載の位相差検出装置において、
前記比較手段が前記各相対変位位置で出力する前記画素毎の比較結果の数をＮ
前記比較手段が前記各相対変位位置で出力する前記画素毎の比較結果の個々の値をＸ
Ｘの平均値をＸ_ａｖｅとしたときに、
前記ばらつき算出手段が算出して数値化する前記統計的ばらつきは、

で表される値、又はその定数倍の値であること、
を特徴とする位相差検出装置。
請求項３に記載の位相差検出装置において、
前記比較手段が前記各相対変位位置で出力する前記画素毎の比較結果の数をＮ
前記比較手段が前記各相対変位位置で出力する前記画素毎の比較結果の個々の値をＸとしたときに、
前記ばらつき算出手段が算出して数値化する前記統計的ばらつきは、

で表される値、又はその定数倍の値であること、
を特徴とする位相差検出装置。
請求項１から請求項５までのいずれか１項に記載の位相差検出装置において、
前記相対変位位置のうち、前記ばらつき算出手段が算出する統計的ばらつきが極値となる相対変位位置に基づいて、前記一対の像信号の位相差を算出する位相差算出手段を備えること、
を特徴とする位相差検出装置。
請求項６に記載の位相差検出装置において、
前記位相差算出手段は、前記統計的ばらつきが最小となる相対変位位置に基づいて、前記一対の像信号の位相差を算出すること、
を特徴とする位相差検出装置。
請求項６又は請求項７に記載の位相差検出装置において、
前記位相差算出手段は、前記統計的ばらつきの変化量がゼロとなる相対変位位置に基づいて、前記一対の像信号の位相差を算出すること、
を特徴とする位相差検出装置。
請求項１から請求項８までのいずれか１項に記載の位相差検出装置において、
前記光電変換手段は、位相差検出に用いる前記一対の像信号を生成する位相差検出用画素と、
被写体像から撮像用の画像データの作成に用いる撮像用像信号を生成する撮像用画素と、
を有し、
前記位相差検出用画素は、前記撮像用画素に間に分散して配置されていること、
を特徴とする位相差検出装置。
請求項１から請求項９までのいずれか１項に記載の位相差検出装置と、
前記位相差検出装置の位相差検出結果に基づいて焦点調節動作を行う撮影光学系と、
前記撮影光学系により得られる被写体像を撮像する撮像素子と、
を備える撮像装置。
レンズ部を介して受光した少なくとも一対の光学像を複数並べて配列された画素により光電変換して少なくとも一対の像信号を生成し、
生成された前記一対の像信号の分布位置を演算上で順次相対的に変位させながら各相対変位位置で前記画素毎に対応する部分で前記一対の像信号を形成する各信号同士を比較して、前記画素毎の比較結果を出力し、
前記比較結果の統計的ばらつきを前記各相対変位位置で算出して数値化し、
前記各相対変位位置の変位に応じて前記ばらつき算出手段が数値化した前記統計的ばらつきに基づいて前記一対の像信号の位相差を算出する位相差検出方法。
レンズ部と、
受光した光を光電変換する画素が複数並べて配列され、前記レンズ部を介して受光した少なくとも一対の光学像を光電変換して少なくとも一対の像信号を生成する光電変換手段と、
を備えた位相差検出装置のコンピュータを、
前記光電変換手段が生成する前記一対の像信号の分布位置を演算上で順次相対的に変位させながら各相対変位位置で前記画素毎に対応する部分で前記一対の像信号を形成する各信号同士を比較して、前記画素毎の比較結果を出力する比較手段と、
前記比較手段が出力する前記画素毎の比較結果の統計的ばらつきを前記各相対変位位置で算出して数値化するばらつき算出手段と、
前記各相対変位位置の変位に応じて前記ばらつき算出手段が数値化した前記統計的ばらつきに基づいて前記一対の像信号の位相差を算出する位相差算出手段として機能させるための位相差検出プログラム。