JP2014106476A - 焦点検出装置、撮像装置、撮像システム、焦点検出方法、プログラム、および、記憶媒体 - Google Patents

Abstract

【課題】飽和画素が含まれる場合でも焦点検出精度の劣化を低減可能な焦点検出装置を提供する。
【解決手段】焦点検出装置は、一つのマイクロレンズを共有する第１および第２の画素を備えた撮像素子を用いて位相差方式の焦点検出を行う焦点検出装置であって、焦点検出領域の複数の範囲において、複数の第１の画素を含む第１の画素配列と複数の第２の画素を含む第２の画素配列とを相対的に変位させて、複数の範囲のそれぞれにおける相関波形を算出する算出手段と、複数の範囲のそれぞれにおける第１の画素配列または第２の画素配列に飽和画素が含まれるか否かを判定する判定手段と、複数の範囲のそれぞれにおいて算出された相関波形の加算処理を行う加算手段とを有し、加算手段は、複数の範囲のうち第１の範囲における第１の画素配列または第２の画素配列に飽和画素が含まれる場合、第１の範囲において算出された相関波形の影響を小さくするように加算処理を行う。
【選択図】図１１

Description

本発明は、１つのマイクロレンズを共有する複数の光電変換部を備えた撮像素子を用いて位相差方式の焦点検出を行う焦点検出装置に関する。

従来から、１つのマイクロレンズを共有する複数の光電変換部を備えた固体撮像素子を用いて、撮像とともに位相差方式の焦点検出を行う焦点検出方法が知られている。特許文献１には、１つのマイクロレンズに対して分割された２つの光電変換部が瞳分割された画像信号を取得し、位相差方式の焦点検出処理を行う構成が開示されている。また特許文献１には、同一のマイクロレンズに対応する２つの光電変換部の加算出力値を１画素の出力として扱い、撮像用の画像信号を取得する構成が開示されている。

特許文献２には、１つのマイクロレンズを共有する複数の光電変換部からの像信号を選択的にＡ像またはＢ像として読み出し、相関演算を行う構成が開示されている。特許文献３には、非破壊読み出しにより、分割された複数の光電変換部の一部の電荷読み出しを行った後、各光電変換部の合成成分値を読み出す構成が開示されている。そして、合成成分値と一部の光電変換部の画素値との差分から他方の分割された光電変換部の画素値を推定することで、読み出し画素数を低減させる。

特許文献１、２のような構成では、分割された複数の光電変換部の加算値を用いて撮像用の画像信号の出力値を生成するため、各光電変換部における光電変換可能な光量の上限値は、光電変換部を分割しない構成の場合と比較して小さくなる。すなわち、各光電変換部の一方にのみ飽和レベルを超える強度の光が当たっている場合、飽和分の電荷は撮像用の画像信号に反映されないため、撮像用の画像信号が正確に生成されない。

また、撮像素子を利用して位相差方式による焦点検出を行う際に、各画素を瞳分割した画素信号から列方向の相関値変化を求めた相関波形を複数の測距領域毎に算出することが考えられる。このとき、複数の測距領域から算出された複数の相関波形を加算し、加算された相関波形から像ずれ量を求めてピントのずれ量を算出することができる。

特開２００１−８３４０７号公報 特開２００７−１３３０８７号公報 特許第４６９１９３０号

しかしながら、撮像素子を用いて位相差方式による焦点検出を行う際に、飽和画素を含む領域で相関波形を算出すると、相関波形に基づいて得られる像ずれ量が０となり誤ったピントずれ量が算出され、焦点検出精度が劣化してしまう。

そこで本発明は、飽和画素が含まれる場合でも焦点検出精度の劣化を低減可能な焦点検出装置、撮像装置、撮像システム、および、焦点検出方法を提供する。また本発明は、その焦点検出方法をコンピュータに実行させるためのプログラム、および、そのプログラムを記憶した記憶媒体を提供する。

本発明の一側面としての焦点検出装置は、一つのマイクロレンズを共有する第１の画素および第２の画素を備えた撮像素子を用いて位相差方式の焦点検出を行う焦点検出装置であって、焦点検出領域の複数の範囲において、複数の前記第１の画素を含む第１の画素配列と複数の前記第２の画素を含む第２の画素配列とを相対的に変位させて、該複数の範囲のそれぞれにおける相関波形を算出する算出手段と、前記複数の範囲のそれぞれにおける前記第１の画素配列または前記第２の画素配列に飽和画素が含まれるか否かを判定する判定手段と、前記複数の範囲のそれぞれにおいて算出された前記相関波形の加算処理を行う加算手段とを有し、前記加算手段は、前記複数の範囲のうち第１の範囲における前記第１の画素配列または前記第２の画素配列に前記飽和画素が含まれる場合、該第１の範囲において算出された前記相関波形の影響を小さくするように前記加算処理を行う。

本発明の他の側面としての撮像装置は、前記焦点検出装置を有する。

本発明の他の側面としての撮像システムは、前記撮像装置と、前記撮像装置に着脱可能なレンズ装置とを有し、前記撮像装置は、前記焦点検出装置から得られた信号に基づいて前記レンズ装置の駆動制御を行う。

本発明の他の側面としての焦点検出方法は、一つのマイクロレンズを共有する第１の画素および第２の画素を備えた撮像素子を用いて位相差方式の焦点検出を行う焦点検出方法であって、焦点検出領域の複数の範囲において、複数の前記第１の画素を含む第１の画素配列と複数の前記第２の画素を含む第２の画素配列とを相対的に変位させて、該複数の範囲のそれぞれにおける相関波形を算出する算出ステップと、前記複数の範囲のそれぞれにおける前記第１の画素配列または前記第２の画素配列に飽和画素が含まれるか否かを判定する判定ステップと、前記複数の範囲のそれぞれにおいて算出された前記相関波形の加算処理を行う加算処理ステップとを有し、前記加算処理ステップは、前記複数の範囲のうち第１の範囲における前記第１の画素配列または前記第２の画素配列に前記飽和画素が含まれる場合、該第１の範囲において算出された前記相関波形の影響を小さくするように前記加算処理を行う。

本発明の他の側面としてのプログラムは、前記焦点検出方法の手順が記述されたコンピュータで実行可能なプログラムである。

本発明の他の側面としての記憶媒体は、コンピュータに、前記焦点検出方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体である。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、飽和画素が含まれる場合でも焦点検出精度の劣化を低減可能な焦点検出装置、撮像装置、撮像システム、および、焦点検出方法を提供することができる。また本発明によれば、その焦点検出方法をコンピュータに実行させるためのプログラム、および、そのプログラムを記憶した記憶媒体を提供することができる。

各実施例における撮像素子の概略構成図である。 各実施例における画素アレイの１画素の概略図である。 各実施例における画素アレイの概略図である。 各実施例において、撮影レンズの射出瞳から出た光束が撮像素子に入射する概念図である。 各実施例における焦点検出装置による焦点検出の模式図である。 各実施例における撮像素子の測距領域の概略図である。 各実施例における測距演算処理を示すフローチャート図である。 各実施例における相関波形の算出処理を示すフローチャートである。 各実施例における相関波形とピントとの関係を示す図である。 各実施例において、飽和画素の有無に応じた相関波形を示す図である。 実施例１における相関波形の加算処理を示すフローチャートである。 実施例２における相関波形の加算処理を示すフローチャート図である。 各実施例における撮像システムの概略図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

まず、図１を参照して、本発明の実施例１における撮像素子の構成について説明する。図１は、本実施例における撮像素子の概略構成図である。図１において、撮像素子１００は、画素アレイ１０１（画素部）、画素アレイ１０１における行を選択する垂直選択回路１０２、および、画素アレイ１０１における列を選択する水平選択回路１０４を備えて構成される。また撮像素子１００は、画素アレイ１０１の画素のうち垂直選択回路１０２により選択される画素の信号を読み出す読み出し回路１０３、各回路の動作モードなどを外部から決定するシリアルインターフェイス１０５を有する。

読み出し回路１０３は、信号を蓄積するメモリ、ゲインアンプ、ＡＤ変換器などの構成要素を列毎に有する。撮像素子１００は、図１に示される構成要素以外にも、例えば、垂直選択回路１０２、水平選択回路１０４、信号読み出し部１０３などにタイミングを提供するタイミングジェネレータまたは制御回路を備える。典型的には、垂直選択回路１０２は、画素アレイ１０１の複数の行を順に選択し、選択された画素信号を読み出し回路１０３に読み出す。水平選択回路１０４は、読み出し回路１０３に読み出された複数の画素信号を列毎に順に選択する。

続いて図２を参照して、画素アレイ１０１における１画素の構成について説明する。図２は、画素アレイ１０１における１画素の概略図である。２０１は、画素アレイ１０１における１画素である。２０２はマイクロレンズである。１つの画素２０１は、１つのマイクロレンズ２０２を有する。２０３、２０４はフォトダイオードである。１つの画素２０１は、２つのフォトダイオード２０３、２０４（以下、「ＰＤ」という。）を有する。なお、画素２０１は、図２に示される構成要素以外にも、例えば、ＰＤ２０３、２０４の信号を列読み出し回路１０３に読み出すための画素増幅アンプ、行を選択する選択スイッチ、ＰＤ２０３、２０４の信号をリセットするリセットスイッチなどを備えて構成される。

続いて、図３を参照して、画素アレイ１０１の全体構成について説明する。図３は、画素アレイ１０１の概略図である。画素アレイ１０１は、２次元の画像を提供するため、図２で示されるような１画素を２次元アレイ状に複数配列して構成される。３０１、３０２、３０３、３０４は画素である。３０１Ｌ、３０２Ｌ、３０３Ｌ、３０４Ｌはフォトダイオード（ＰＤ）であり、図２中のＰＤ２０３に相当する。３０１Ｒ、３０２Ｒ、３０３Ｒ、３０４Ｒはフォトダイオード（ＰＤ）であり、図２中のＰＤ２０４に相当する。

次に、図４を参照して、図３に示される画素構成を有する撮像素子１００における受光の様子について説明する。図４は、撮影レンズの射出瞳から出た光束が撮像素子１００に入射する概念図である。図４において、画素アレイ１０１の断面が示されている。４０２はマイクロレンズ、４０３はカラーフィルタである。４０６は撮影レンズの射出瞳である。本実施例において、１つのマイクロレンズ４０２を共有する２つのフォトダイオード（ＰＤ２０３、２０４）に対して、射出瞳４０６から出た光束の中心を光軸４０９とする。射出瞳４０６から出た光は、光軸４０９を中心として撮像素子１００に入射する。

４０７、４０８は、それぞれ、撮影レンズの射出瞳のうち互いに異なる領域（一部領域）である。４１０は、射出瞳４０６の領域４０７を通過する光の最外周の光線である。４１１は、射出瞳４０６の領域４０８を通過する光の最外周の光線である。図４に示されるように、射出瞳４０６から出る光束のうち、光軸４０９を境にして、上側の光束（領域４０７を通過する光）はＰＤ２０４に入射し、下側の光束は（領域４０８を通過する光）はＰＤ２０３に入射する。すなわち、ＰＤ２０３とＰＤ２０４は、それぞれ、撮影レンズの射出瞳４０６の互いに異なる領域（領域４０７、４０８）の光を受光している。

本実施例では、図２および図４に示されるように、１つのマイクロレンズ２０２（４０２）に対して２つのフォトダイオード（ＰＤ２０３、２０４）を有する構成が採用されている。しかし本実施例は、これに限定されるものではなく、ある画素は片側のＰＤ、隣の画素は反対側のＰＤのみ備えた構成でも、位相差方式による焦点検出は可能である。また、遮光層などでマイクロレンズ２０２の片側から入る光を遮るように構成しても、位相差方式による焦点検出を行うことができる。また本実施例は、撮影レンズの射出瞳４０６から出る光束の情報を別々に（独立して）取得可能な構成で２次元に配置された画素を有する撮像素子であれば、前述の構成に限定されるものではない。

本実施例の撮像装置は焦点検出装置を有し、撮像素子１００により撮影レンズの射出瞳の互いに異なる領域の像を取得して、位相差方式による焦点検出を行う。すなわち撮像装置（焦点検出装置）は、一つのマイクロレンズ２０２を共有する第１の画素（ＰＤ２０２）および第２の画素（ＰＤ２０３）を備えた撮像素子１００を用いて位相差方式の焦点検出を行う。

次に図５および図６を参照して、２像のずれ量に基づいて撮影レンズを駆動する処理について説明する。まず図５を参照して、本実施例の焦点検出装置による焦点検出（測距）の概略について説明する。図５は、焦点検出装置による焦点検出の模式図であり、図５の上部は撮像素子１００の焦点検出領域（測距領域）の１行に配置された画素配置を示し、下部は横軸が画素位置、縦軸が信号レベルで各ピント位置での像を示す。また、図５（ａ）は合焦状態、図５（ｂ）は前ピン状態、図５（ｃ）は後ピン状態をそれぞれ示す。撮像素子１００は、撮影レンズの互いに異なる射出瞳からの光を受光するＡライン画素およびＢライン画素が２次元状に配置されている。

図３を参照して説明すると、行３０５のうち、ＰＤ３０１Ｌ、３０２Ｌ、３０３Ｌ、３０４Ｌ（Ａ像画素、第１の画素）により、Ａライン（第１の画素配列）が構成される。また、ＰＤ３０１Ｒ、３０２Ｒ、３０３Ｒ、３０４Ｒ（Ｂ像画素、第２の画素）によりＢライン（第２の画素配列）が構成される。図５に示されるように、ＡラインおよびＢラインの出力は、合焦状態、前ピン状態、および、後ピン状態のいずれであるかに応じて、２像の間隔（像間隔）が異なるように変化する。合焦状態における像間隔になるように、撮影レンズのフォーカス用レンズを移動させて、ピントを合わせる。すなわち、フォーカス用レンズの移動量は、２像のずれ量から計算して求めることができる。

続いて図６を参照して、撮像素子１００上での焦点検出領域（測距領域）について説明する。図６は、撮像素子１００上での測距領域の概略図である。図６（ａ）は、測距領域を示している。本実施例において、測距領域（測距演算範囲）は、測距領域中心６０１を中心にして、Ｘ方向（横方向）がｐからｑ列、Ｙ方向（縦方向）がｒからｓ行の範囲に設定されている。また、シフト量は、−ｉｍａｘから＋ｉｍａｘまでである。本実施例において、測距可能な測距領域は、シフト量をも含んで構成される領域６０３である。領域６０３内において、焦点検出装置は、Ａラインの出力とＢラインの出力とを比較する。

図６（ｂ）は、画素アレイ１０１中の測距領域が図６（ａ）に示される測距領域と異なる位置に設定された状態について示している。図６（ｂ）に示されるように、測距領域をずらす（移動させる）ことにより、画面上の任意の場所で測距演算（焦点検出演算）を行うことが可能である。

次に、図７乃至図１１を参照して、本実施例における測距演算処理（焦点検出方法）について説明する。図７は、測距演算処理を示すフローチャートであり、測距演算を行ってからレンズ（撮影レンズ）を駆動するまでの一連の処理を示している。本実施例では、図６（ａ）に示されるような測距演算範囲での処理について説明する。なお、図７の各ステップは、撮像装置（焦点検出装置）の制御部（例えば、制御部１３０９）の指令に基づいて実行される。

図７において測距演算が開始すると、まずステップＳ７０１において、測距演算範囲における測距領域の相関波形Ｃｍ（Ｉ）を求めるサブルーチンに入る。ここで、図８を参照して、ステップＳ７０１のサブルーチン、すなわち相関波形Ｃｍ（Ｉ）の算出方法について説明する。図８は、撮像素子１００から得られた像データ（像信号）に基づいて、図６（ａ）に示される測距領域（焦点検出領域）における相関波形Ｃｍ（Ｉ）の算出方法を示すフローチャートである。なお、図８の各ステップは、撮像装置（焦点検出装置）の制御部（例えば、制御部１３０９）の指令に基づいて実行される。

図８において、相関波形算出が開始すると、まずステップＳ８００において、最初の行Ｙ＝ｒを選択する。次にステップＳ８０１において、飽和画素検出を行う。飽和画素は、各画素（の信号値）が予め設定された一定の飽和レベルに達しているか否かにより判定される。ステップＳ８０１において、画素が飽和レベルに達している場合、その画素を飽和画素であると判定し、画素信号に飽和ビットを付与する。なお、飽和ビットの付与は、画素信号の一部を飽和ビットとして取り扱う構成に変更してもよく、また、極性についても限定されるものではない。

次にステップＳ８０２において、Ｉｙ＝−Ｉｍａｘに設定する。ここではＹ＝ｒ行であるため、ｒ行での像ずれ量を求める。続いてステップＳ８０３において、Ｂ像（Ｂライン）の像データをＩｙ画素シフトする。そしてステップＳ８０４において、Ａ像（Ａラインの像データ）およびＢ像（Ｂラインの像データ）のＩｙ画素シフト時の相関値（相関波形）を求める。具体的には、相関値（相関波形Ｃｍ（Ｉｙ））は、以下の式（１）で表されるように、ＡラインとＢラインの各画素での２像の差（像データの差）の絶対値を求めることで算出される。

式（１）において、Ａ_ｘ、Ｂ_ｘは、指定した行における各々のＡライン、Ｂラインのｘ座標の出力をそれぞれ示す。すなわち、Ｃｍ（Ｉｙ）は、測距領域ｍにおけるＢラインをＩｙ画素シフトさせたときのＡラインの像データとＢラインの像データとの差の絶対値の総和である。

また、本実施例における相関値は、式（１）を用いた算出に限定されるものではなく、例えば、以下の式（２）を用いることもできる。

式（２）では、Ｂラインの像データだけをシフトするのではなく、Ａラインの像データも同時に逆方向にシフトして、これらの像データの差の絶対値の総和を求めている。このとき、ステップＳ８０３において、Ａラインの像データをＩｙ画素シフトし、Ｂラインの像データを−Ｉｙ画素シフトする。

また、本実施例における相関値は、Ａラインの像データとＢラインの像データとの差の絶対値に基づいて算出する以外にも、以下の式（３）で表されるように、各画素の画素値（像データ）のうち大きいほうの画素値を用いて算出することが可能である。

式（３）において、ｍａｘ（Ａ、Ｂ）は、ＡとＢの大きい方の値を選択することを表す。また、具体的な式については記載しないが、ＡとＢの小さい方の値を選択する演算を用いて相関値（相関波形）を求めることもできる。このように本実施例では、焦点検出領域の複数の範囲において、複数の第１の画素を含む第１の画素配列と複数の第２の画素を含む第２の画素配列とを相対的に変位させて、複数の範囲のそれぞれにおける相関波形を算出する。相関波形の算出は、例えば、図１３中の制御部１３０９（算出手段）により行われる。なお、ステップＳ８０４における相関値の算出方法は特に限定されるものではない。

次に、ステップＳ８０５において、Ｉｙ＋１をＩｙに代入することにより、１画素だけずらす。続いてステップＳ８０６において、ＩｙがＩｍａｘよりも大きい（Ｉｙ＞Ｉｍａｘ）か否かを判定する。ＩｙがＩｍａｘよりも大きい場合、ステップＳ８０７に進む。一方、ＩｙがＩｍａｘ以下である場合、ステップＳ８０３に戻り、ステップＳ８０３〜Ｓ８０５を繰り返す。

次に、ステップＳ８０７において、Ｃｍ（Ｉｙ）＋Ｃｍ（Ｉ）をＣｍ（Ｉ）に代入する。すなわち、制御部１３０９（加算手段）は、焦点検出領域の複数の範囲のそれぞれにおいて算出された相関波形の加算処理を行う。

続いてステップＳ８０８において、Ｙ＋１をＹに代入することにより１行進ませる。そしてステップＳ８０９において、Ｙ＞ｓであるか否かを判定する。Ｙ＞ｓの場合、相関波形の算出を終了する。一方、Ｙ＞ｓでない場合、ステップＳ８０２に戻り、ステップＳ８０２〜Ｓ８０８を繰り返す。本実施例のステップＳ８０７では、各行の相関波形Ｃｍ（Ｉｙ）を加算して相関波形Ｃｍ（Ｉ）を生成する。そして、これを行ｒから行ｓまで繰り返し行うことにより、各行の相関波形Ｃｍ（Ｉｙ）から全行加算された相関波形Ｃｍ（Ｉ）が算出される。

続いて、図９を参照して、相関波形について説明する。図９は、相関波形の模式図であり、図９（ａ）は合焦状態、図９（ｂ）は前ピン状態、図９（ｃ）は後ピン状態をそれぞれ示している。相関波形Ｃｍ（Ｉ）は、シフト量Ｉだけずらした場合のＡラインの像データとＢラインの像データとの相関値である。相関値を求めるためにこれらの像データの差の絶対値の総和を用いる場合、相関波形Ｃｍ（Ｉ）の出力が最も低い場所のシフト量Ｉが最も相関を有するシフト量Ｉとなる。

図９（ａ）に示されるように、合焦時において、相関波形Ｃｍ（Ｉ）のうち最も相関を有するシフト量Ｉは、相関波形Ｃｍ（Ｉ）の出力が最も低い場所のシフト量（Ｉ＝０）となる。一方、図９（ｂ）および図９（ｃ）に示されるように、ピントがずれている場合、ピントのずれ量に応じた像ずれがシフト量Ｉとなる。すなわち、シフト量Ｉは像ずれ量と等価であり、シフト量Ｉ＝像ずれ量Ｉが実質的に成立する。

次に、図１０を参照して、図８のステップＳ８０７について詳述する。図１０（ａ）は、測距演算範囲６０２における飽和画素を含むラインでのＡ像とＢ像の画素値（強度分布）と水平位置との関係を示している。Ａ像が実線、Ｂ像が点線でそれぞれ示されており、飽和画素があるラインでは、Ａ像およびＢ像ともに画素値が大きくなっている。

図１０（ｂ）は、測距演算範囲６０２における飽和画素を含むラインでのＳＡＤ（差の絶対値の総和：プロットはｌｏｇ値）とデフォーカス量との関係を示している。飽和画素のある区間で相関値は大きくなり、デフォーカス量が±０の位置でＳＡＤの値が小さくなっている。ただし、デフォーカス量によらず飽和画素の影響により飽和画素が全くないライン（図１０（ｄ））と比較して、全体のＳＡＤの値が大きくなっている。

図１０（ｃ）は、測距演算範囲６０２において飽和画素を含まないラインでのＡ像およびＢ像の画素値（強度分布）と水平位置との関係を示している。図１０（ｄ）は、測距演算範囲６０２において飽和画素を含まないラインでのＳＡＤとデフォーカス量との関係を示している。図１０（ｄ）に示されるように、デフォーカス量が＋１０でＳＡＤの値が小さくなっている。しかし、飽和画素の影響を受けないため、デフォーカス量が＋１０の位置で飽和画素を含むライン（図１０（ｂ））と比較して、ＳＡＤの値が小さくなっている。このことから、飽和画素を含むラインの相関波形を加算することでデフォーカス量が０になるため、求めるべきデフォーカス量は＋１０とは異なった値となる。１ラインでも飽和画素を含むラインにて相関波形の加算処理を行うと、相関波形の値が全体的に大きくなり、デフォーカス情報の誤検知を起こす可能性がある。

次に、図１１を参照して、本実施例における相関波形の加算処理について説明する。図１１は、相関波形の加算処理を示すフローチャートである。なお、図１１の各ステップは、撮像装置（焦点検出装置）の制御部（例えば、制御部１３０９）の指令に基づいて実行される。

まずステップＳ１１０１において、制御部１３０９（判定手段）は、焦点検出領域の複数の範囲のそれぞれにおけるＡライン（第１の画素配列）またはＢライン（第２の画素配列）に飽和画素が含まれるか否かを判定する（飽和ライン判定）。すなわち、図８のステップＳ８０１にて飽和画素が検出されたか否かが判定される。ステップＳ１１０１にて飽和ラインであると判定された場合、すなわち飽和画素が検出された場合、ステップＳ１１０２に進む。

ステップＳ１１０２において、制御部１３０９（加算手段）は、複数の範囲のうち第１の範囲（第Ｉ行）における第１の画素配列または第２の画素配列に飽和画素が含まれる場合、第１の範囲において算出された相関波形の影響を小さくするように加算処理を行う。具体的には、本実施例では、飽和画素を含む相関波形に対して前後の相関波形を用いて飽和ラインの補間処理を行う。飽和ラインの補間処理について前の１ライン分の相関波形を補間する場合、すなわち前置補間を行う場合、以下の式（４）で表されるように補間される。

Ｃｍ（Ｉ）＝Ｃｍ（Ｉ−１） …（４）
また、前後の１ライン分の相関波形を用いて飽和ラインを補間する場合、以下の式（５）で表されるように補間される。

Ｃｍ（Ｉ）＝（Ｃｍ（Ｉ−１）＋Ｃｍ（Ｉ＋１））／２ …（５）
このように本実施例において、加算手段は、第１の範囲における第１の画素配列または第２の画素配列に飽和画素が含まれる場合、第１の範囲に隣接する第２の範囲の第１の画素配列または第２の画素配列の相関波形を第１の範囲の相関波形として用いる。例えば第１の範囲が第Ｉ行である場合、第２の範囲は第Ｉ＋１行または第Ｉ−１行である。

また本実施例において、飽和画素が存在する範囲で相関波形の補間処理を行うように構成してもよい。このとき加算手段は、第１の範囲における第１の画素配列または第２の画素配列に飽和画素が含まれる場合、第１の範囲のうち飽和画素が存在する範囲に対して、第１の範囲に隣接する第２の範囲における相関波形を第１の範囲における相関波形として用いる。例えば、図１０（ｃ）の飽和画素なしの区間の相関波形を用いて、図１０（ａ）の飽和画素ありの区間の相関波形を補間することができる。

次に、ステップＳ１１０３において、以下の式（６）で表されるように、相関波形の加重加算処理を行う。

Ｃｍ（Ｉ）＝Ｃｍ（Ｉ）＋ｋ×Ｃｍ（Ｉｙ） …（６）
式（６）において、ｋは加重加算の係数であり、０．０〜１．０の範囲の値をとる。

このとき加算手段は、第１の範囲における第１の画素配列または第２の画素配列に飽和画素が含まれる場合、飽和画素の数に応じた係数ｋを第１の範囲における相関波形に掛けて加算処理を行う。係数ｋは、飽和画素の数が少ないほど１に近づき、飽和画素の数が多いほど０に近づくように設定されることが好ましい。また、図８のステップＳ８０１における飽和画素検出により、あるラインの画素の全てが飽和画素の場合、ｋ＝０としてもよい。

本実施例において、第１の画素（Ａ像画素）および第２の画素（Ｂ像画素）は、射出瞳のうち瞳分離方向において互いに異なる領域を通過した光束を受光して相関波形の算出に用いられる信号を生成する。そして加算手段は、複数の領域のそれぞれの相関波形を瞳分離方向と直交する方向に加算する。本実施例において、Ａ像とＢ像の瞳分離方向を行方向とし、相関波形の加算方向を列方向としているが、これに限定されるものではない。逆に、Ａ像とＢ像の瞳分離方向を列方向とし、相関波形の加算方向を行方向としてもよい。

図７のステップＳ７０１において相関波形Ｃｍ（Ｉ）を算出して最適な像ずれ量Ｉを求めると（図８の相関波形の算出処理が終了すると）、ステップＳ７０２に進む。ステップＳ７０２において、ステップＳ７０１で算出された最適な像ずれ量Ｉを換算してピントずれＬを求める。像ずれ量Ｉからピントのずれ量Ｌへの換算は、Ｆ値毎の係数を乗算または加算することにより行うことができる。続いてステップＳ７０３において、撮像装置のレンズ駆動部（不図示）は、ステップＳ７０２で算出されたピントずれ量Ｌに基づいてレンズ（撮影レンズ）を駆動し、測距演算処理を終了する。

本実施例によれば、飽和画素を含む測距領域において、飽和画素が検出された各ラインに応じて相関波形を加算する際に加重加算や相関波形の飽和部分の補間を行うことにより、ＳＮ比を向上させてデフォーカス量を算出することができる。

次に、本発明の実施例２における撮像装置および焦点検出装置（焦点検出方法）について説明する。本実施例において、図１〜図１０を参照して説明した内容は実施例１と同様であるため、それら説明は省略する。

図１２を参照して、本実施例における相関波形の加算処理について説明する。図１２は、相関波形の加算処理を示すフローチャートである。なお、図１２の各ステップは、撮像装置（焦点検出装置）の制御部の指令に基づいて実行される。

まずステップＳ１２０１において、飽和ライン判定が行われる。すなわち、図８のステップＳ８０１にて飽和画素が検出されたか否かが判定される。ステップＳ１２０１にて飽和ラインではないと判定された場合、すなわち飽和画素が検出されない場合、ステップＳ１２０２において、以下の式（７）で表されるように相関波形の加算処理を行う。

Ｃｍ（Ｉ）＝Ｃｍ（Ｉ）＋Ｃｍ（Ｉｙ） …（７）
一方、ステップＳ１２０１にて飽和ラインであると判定された場合、すなわち飽和画素が検出された場合、飽和ラインは相関波形のＳＡＤの値が大きいため、相関波形の加算処理を行わない。このように制御部１３０９（加算手段）は、第１の範囲における第１の画素配列または第２の画素配列に飽和画素が含まれる場合、第１の範囲における相関波形を用いずに加算処理を行う。

以上のとおり、本実施例では、飽和画素を含む測距領域において飽和画素が検出されたラインに応じて相関波形を加算する際に、飽和画素がないラインについては通常通り加算し、飽和画素を含むラインについては相関波形を加算しない。このため、飽和ラインを除いてＳＮ比を向上させたデフォーカス量を算出することが可能である。
（撮像システムへの応用）
次に、図１３を参照して、各実施例における撮像装置を適用可能な撮像システムについて説明する。図１３は、撮像システム１３００の概略図である。

図１３において、１３０１は被写体の光学像を撮像素子１３０５（固体撮像素子）に結像させるレンズ部（レンズ装置）である。レンズ部１３０１は、レンズ駆動装置１３０２によってズーム制御、フォーカス制御、絞り制御などが行われる。１３０３はメカニカルシャッターである。メカニカルシャッター１３０３は、シャッター制御手段１３０４により制御される。

１３０５は、レンズ部１３０１で結像された被写体を画像信号として取り込むための撮像素子である。１３０６は、撮像素子１３０５から出力される画像信号に各種の補正を行い、また、データを圧縮する撮像信号処理回路である。１３０７は、撮像素子１３０５および撮像信号処理回路１３０６に対して、各種タイミング信号を出力する駆動手段としてのタイミング発生回路である。１３０９は、各種演算と撮像装置全体を制御する制御部である。１３０８は、画像データを一時的に記憶する為のメモリ部（記憶手段）である。１３１０は、記録媒体に記録または読み出しを行うためのインターフェースである。１３１１は、画像データの記録または読み出しを行うための半導体メモリ等の着脱可能な記録媒体である。１３１２は、各種情報や撮影画像を表示する表示部である。

次に、前述の構成における撮影時のデジタルカメラ（撮像システム１３００）の動作について説明する。メイン電源がオンされると、コントロール系の電源がオンし、更に撮像信号処理回路１３０６などの撮像系回路の電源がオンされる。続いて、レリーズボタン（図示せず）が押されると、撮像素子１３０５からのデータを元に測距演算を行い、測距結果に基づいて被写体までの距離の演算を制御部１３０９で行う。その後、レンズ駆動装置１３０２によりレンズ部１３０１を駆動して合焦か否かを判断し、合焦していないと判断した場合、再びレンズ部１３０１を駆動し測距（焦点検出）を行う。測距演算は、撮像素子１３０５からのデータで求める以外にも、測距専用装置（不図示）で行ってもよい。

そして、合焦が確認された後に撮影動作が開始する。撮影動作が終了すると、撮像素子１３０５から出力された画像信号は撮像信号処理回路１３０６で画像処理をされ、制御部１３０９によりメモリ部１３０８に書き込まれる。撮像信号処理回路１３０６では、並べ替え処理、加算処理やその選択処理が行われる。メモリ部１３０８に蓄積されたデータは、制御部１３０９の制御により記録媒体制御Ｉ／Ｆ部１３１０を通り、半導体メモリ等の着脱可能な記録媒体１３１１に記録される。また、外部Ｉ／Ｆ部（図示せず）を通り直接コンピュータ等に入力して画像の加工を行ってもよい。なお、撮像システム１３００は、撮像装置（撮像装置本体）と、撮像装置に着脱可能なレンズ部１３０１（レンズ装置）とを備えて構成されており、撮像装置は各実施例の焦点検出装置から得られた信号に基づいてレンズ部１３０１の駆動制御を行う。ただし各実施例はこれに限定されるものではなく、撮像装置本体とレンズ部が一体的に構成されていてもよい。

各実施例によれば、飽和画素が含まれる場合でも焦点検出精度の劣化を低減可能な焦点検出装置、撮像装置、撮像システム、および、焦点検出方法を提供することができる。

特に各実施例の撮像装置では、撮像素子の第１の画素（Ａ像画素）と第２の画素（Ｂ像画素）のそれぞれの信号（独立した信号）を焦点検出信号として利用し、第１の画素と第２の画素の加算信号を撮像信号として利用する。このとき、より高品位な撮影画像を得るため、第１の画素または第２の画素の一方が飽和に近づいた場合に積極的に他方に電荷を移動させることにより、高品位な撮影画像を得ることが可能となる。このため各実施例の撮像素子は、第１の画素と第２の画素との間のポテンシャルを下げるなどの構造を採用することが好ましい。このような構造を採用すると、第１の画素および第２の画素の両方が飽和する可能性が大きくなる。両方の光電変換部が飽和すると、焦点検出の際における大きな誤差要因となる。このため、加算手段は、第１の画素配列および第２の画素配列の両方に飽和画素が含まれる場合、第１の範囲において算出された相関波形の影響を小さくするように加算処理を行うことが好ましい。このように各実施例は、上記構成を有する撮像装置（撮像素子）において特に効果的である。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

また、本発明はデジタルカメラのような撮影を主目的とした機器にかぎらず、携帯電話、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型など）、ゲーム機など、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「撮像装置」は、撮像機能を備えた任意の電子機器を包含することが意図されている。

１００ 撮像素子
２０１ マイクロレンズ
２０３、２０４ フォトダイオード
１３０９ 制御部

Claims (13)

1. 一つのマイクロレンズを共有する第１の画素および第２の画素を備えた撮像素子を用いて位相差方式の焦点検出を行う焦点検出装置であって、
   焦点検出領域の複数の範囲において、複数の前記第１の画素を含む第１の画素配列と複数の前記第２の画素を含む第２の画素配列とを相対的に変位させて、該複数の範囲のそれぞれにおける相関波形を算出する算出手段と、
   前記複数の範囲のそれぞれにおける前記第１の画素配列または前記第２の画素配列に飽和画素が含まれるか否かを判定する判定手段と、
   前記複数の範囲のそれぞれにおいて算出された前記相関波形の加算処理を行う加算手段と、を有し、
   前記加算手段は、前記複数の範囲のうち第１の範囲における前記第１の画素配列または前記第２の画素配列に前記飽和画素が含まれる場合、該第１の範囲において算出された前記相関波形の影響を小さくするように前記加算処理を行う、ことを特徴とする焦点検出装置。
2. 前記加算手段は、前記第１の範囲における前記第１の画素配列または前記第２の画素配列に前記飽和画素が含まれる場合、該第１の範囲に隣接する第２の範囲における前記第１の画素配列または前記第２の画素配列の相関波形を前記第１の範囲における相関波形として用いることを特徴とする請求項１に記載の焦点検出装置。
3. 前記加算手段は、前記第１の範囲における前記第１の画素配列または前記第２の画素配列に前記飽和画素が含まれる場合、該第１の範囲のうち該飽和画素が存在する範囲に対して、該第１の範囲に隣接する第２の範囲における前記相関波形を前記第１の範囲における前記相関波形として用いることを特徴とする請求項２に記載の焦点検出装置。
4. 前記加算手段は、前記第１の範囲における前記第１の画素配列または前記第２の画素配列に前記飽和画素が含まれる場合、該飽和画素の数に応じた係数を該第１の範囲における前記相関波形に掛けて前記加算処理を行うことを特徴とする請求項１乃至３のいずれか１項に記載の焦点検出装置。
5. 前記係数は、前記飽和画素の数が少ないほど１に近づき、該飽和画素の数が多いほど０に近づくように設定されることを特徴とする請求項４に記載の焦点検出装置。
6. 前記加算手段は、前記第１の範囲における前記第１の画素配列または前記第２の画素配列に前記飽和画素が含まれる場合、該第１の範囲における前記相関波形を用いずに前記加算処理を行うことを特徴とする請求項１に記載の焦点検出装置。
7. 前記加算手段は、前記第１の画素配列および前記第２の画素配列の両方に前記飽和画素が含まれる場合、前記第１の範囲において算出された前記相関波形の影響を小さくするように前記加算処理を行うことを特徴とする請求項１乃至６のいずれか１項に記載の焦点検出装置。
8. 請求項１乃至７のいずれか１項に記載の焦点検出装置を有することを特徴とする撮像装置。
9. 前記第１の画素および前記第２の画素は、射出瞳のうち瞳分離方向において互いに異なる領域を通過した光束を受光して前記相関波形の算出に用いられる信号を生成し、
   前記加算手段は、前記複数の領域のそれぞれの前記相関波形を前記瞳分離方向と直交する方向に加算することを特徴とする請求項８に記載の撮像装置。
10. 請求項８または９に記載の撮像装置と、
    前記撮像装置に着脱可能なレンズ装置と、を有し、
    前記撮像装置は、前記焦点検出装置から得られた信号に基づいて前記レンズ装置の駆動制御を行うことを特徴とする撮像システム。
11. 一つのマイクロレンズを共有する第１の画素および第２の画素を備えた撮像素子を用いて位相差方式の焦点検出を行う焦点検出方法であって、
    焦点検出領域の複数の範囲において、複数の前記第１の画素を含む第１の画素配列と複数の前記第２の画素を含む第２の画素配列とを相対的に変位させて、該複数の範囲のそれぞれにおける相関波形を算出する算出ステップと、
    前記複数の範囲のそれぞれにおける前記第１の画素配列または前記第２の画素配列に飽和画素が含まれるか否かを判定する判定ステップと、
    前記複数の範囲のそれぞれにおいて算出された前記相関波形の加算処理を行う加算処理ステップと、を有し、
    前記加算処理ステップは、前記複数の範囲のうち第１の範囲における前記第１の画素配列または前記第２の画素配列に前記飽和画素が含まれる場合、該第１の範囲において算出された前記相関波形の影響を小さくするように前記加算処理を行う、ことを特徴とする焦点検出方法。
12. 請求項１１に記載の焦点検出方法の手順が記述されたコンピュータで実行可能なプログラム。
13. コンピュータに、請求項１１に記載の焦点検出方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。