JP2015142364A - 画像処理装置、撮像装置、及び画像処理方法 - Google Patents

Abstract

【課題】 複数のマイクロレンズそれぞれに複数の光電変換部が対応する構成を有する撮像素子において、複数の光電変換部のいずれかが飽和した場合に、得られた画像に対して行う位相差検出処理及び観賞用画像生成処理への影響を抑制すること。【解決手段】 撮像光学系の射出瞳の異なる領域を透過した光束をそれぞれ光電変換して信号を出力する複数の光電変換部と、１つのマイクロレンズとからなる、複数の単位画素を有する撮像手段の、複数の光電変換部それぞれから出力された信号が飽和しているかどうかを判定する判定手段と、複数の光電変換部のうち、飽和していると判断された信号を出力した第１の光電変換部と同じ単位画素の他の光電変換部である第２の光電変換部から出力された信号の補正の特性と該信号のレベルに基づいて、第１の光電変換部から出力された信号が飽和していない場合に得られる補正後の信号レベルを推定する推定手段とを有する。【選択図】 図１１

Description

本発明は、画像処理装置、撮像装置、及び画像処理方法に関し、更に詳しくは、複数のマイクロレンズそれぞれに複数の光電変換部が対応する構成を有する撮像素子を利用して瞳分割像を取得し、分割像の位相差から焦点検出を行う技術及び観賞用画像を作成する画像処理装置、撮像装置、及び画像処理方法に関する。

従来、複数のマイクロレンズそれぞれに複数の光電変換部が対応する構成を有する撮像素子により複数の瞳分割像を取得し、得られた複数の瞳分割像間の位相差を求めて焦点検出を行う技術が知られている。位相差検出は多くの場合、ＳＡＤ（Sum of Absolute Difference）やＳＳＤ（Sum of Squared Difference）といった、画素値差分に基づく相関演算により実現される。しかしながら、これらの方法では主レンズや鏡筒の影響を主要因とする図１（ａ）に示すような光学系のシェーディングの影響を受けて、正しい位相差検出が困難となることがある、という課題がある。加えて、光電変換部と主レンズ及びマイクロレンズとの間の幾何学的な位置関係の違いにより、各マイクロレンズに対応する複数の光電変換部間でシェーディングによる光量損失に違いが生じる。これは、複数の光電変換部をそれぞれ有する複数の画素に入射する光束の入射角度の違いや、各画素の複数の光電変換部それぞれから見た結像光学系の分割射出瞳の見た目の大きさの違いに起因する。

その結果、均一な輝度または照度の被写体からの光を受光した場合でも、複数の瞳分割像間で、光量分布の違いを生じる。図１（ｂ）は瞳を２分割した場合、そして図１（ｃ）は瞳を４分割した場合の各瞳分割画像上で生じる瞳分割起因のシェーディングの影響の例を示している。

特許文献１では、２つの異なる要因からなるシェーディングに対する補正を合成することで、瞳分割像毎に補正量が異なる適切なシェーディング補正を実施する技術を開示している。しかしながら、特許文献１の技術では、被写体の輝度が明るく、光電変換部が飽和した場合、飽和した部分では光量アンバランスによる出力信号への影響が生じないにもかかわらず、その位置での光量アンバランスに見合った分の余計な補正をしてしまう。このような不要な補正の結果、調整後の信号のアンバランスが増大してしまい、両像から求められる相関値は、本来であれば合焦を示すはずの位相差においても著しく悪くなってしまう。このように、被写体によっては補正したためにかえって位相差検出精度が低下してしまうという問題が生じる。

特許文献２には、一対の光電変換素子列を用いて一対の瞳分割像を光電変換し、得られた焦点検出用の信号毎に異なる補正量でシェーディング補正をすることが開示されている。その際に、一対の光電変換素子列の対応する画素のいずれかが飽和する場合には補正を中止することにより不要な補正による弊害を抑制する技術を開示している。

一方、１つのマイクロレンズに対応した複数の光電変換素子の信号を加算して１つの画素の信号として取り扱い、従来の撮像画素から得られた信号に対するものと同様の信号処理により観賞用画像を生成する技術が知られている。この観賞用画像の生成は多くの場合、得られた瞳分割像を共用の入力像とし、焦点検出と同時に実施される。

ただし、１つのマイクロレンズに対応する光電変換部を複数の要素に分割することは、１つの光電変換部当たりの電荷蓄積容量の減少につながる。この電荷蓄積容量の減少は、マイクロレンズ当たりの分割数が増加するほど著しくなり、飽和し易くなる。分割された複数の光電変換部の１つでも飽和に達してしまうと、同一マイクロレンズに対応した複数の光電変換部の出力を加算しても、飽和の影響により線形性のある感度特性とはならず、画質劣化につながる。観賞用画像作成の観点でみると、このような劣化の影響はカラー撮像素子の場合には、通常の撮像素子で色飽和に起因して生じる色ずれと同様な見え方、もしくは像崩れと呼ばれる状態として出現する。光電変換部の分割数が多く、更に、瞳分割光学系が要因のシェーディングの影響が大きい場合には、通常の撮像素子での色飽和起因の色ずれと比較して、著しく低い輝度または照度の被写体においても色ずれを生じ、無視できない影響となる。

特開２０１１−２２３５６号公報 特開昭６３−２７６０１０号公報

位相差検出において、特許文献２に開示された従来技術では、飽和画素に対しては補正を行わないため、特許文献１における不必要な補正による悪影響は回避可能である。しかし、１つの光電変換部が飽和した場合、その光電変換部が対応するマイクロレンズを共有する他の光電変換部からの信号は、位相差検出の相関演算に利用できないため、相関演算の統計的な信頼度の低下につながる。一方、相関演算に利用した場合には、本来であれば合焦を示す位相差においても相関値の悪化を引き起し、本来であれば合焦ではない位相差において相関値が高くなる疑似合焦の発生原因になるため、位相差検出性能の低下につながるという課題があった。

本発明は上記問題点を鑑みてなされたものであり、複数のマイクロレンズそれぞれに複数の光電変換部が対応する構成を有する撮像素子において、該複数の光電変換部のいずれかが飽和した場合に、得られた画像に対して行う位相差検出処理及び観賞用画像生成処理への影響を抑制することを目的とする。

上記目的を達成するために、撮像光学系の射出瞳の異なる領域を透過した光束をそれぞれ光電変換して信号を出力する複数の光電変換部と、前記複数の光電変換部に対応する１つのマイクロレンズとからなる、複数の単位画素を有する撮像手段から得られた信号を処理する本発明の画像処理装置は、前記複数の光電変換部それぞれから出力された信号が飽和しているかどうかを判定する判定手段と、前記複数の光電変換部のうち、前記判定手段により飽和していると判断された信号を出力した第１の光電変換部と同じマイクロレンズに対応する他の光電変換部である第２の光電変換部から出力された信号の補正の特性と該信号のレベルに基づいて、前記第１の光電変換部から出力された信号が飽和していない場合に得られる補正後の信号レベルを推定する推定手段とを有する。

本発明によれば、複数のマイクロレンズそれぞれに複数の光電変換部が対応する構成を有する撮像素子において、該複数の光電変換部のいずれかが飽和した場合に、得られた画像に対して行う位相差検出処理及び観賞用画像生成処理への影響を抑制することができる。

シェーディングの影響を示す図。 第１の実施形態における撮像装置の概略構成を示すブロック図。 第１の実施形態における単位画素セルの構成を説明する図。 カラーフィルタ配列の一例を示す図。 第１の実施形態におけるシェーディング補正処理のための構成を示す図。 分割瞳と、マイクロレンズを共有する複数の分割ＰＤそれぞれへ入射する主光線との関係を説明する図。 射出瞳と絞りの開口位置とのずれにより生じるケラレの影響を説明する図。 像高に応じたシェーディングによる諧調変化を表した図。 シェーディング補正における飽和画素値の扱いを説明する図。 飽和領域を含む相関演算における飽和画素の影響を説明する図。 第１の実施形態におけるシェーディング補正処理のフローチャート。 位相差焦点検出における合焦状態と視差との関係を説明する図。 第３の実施形態におけるシェーディング補正部の構成を示すブロック図。 第３の実施形態におけるシェーディング補正処理のフローチャート。 第３の実施形態における飽和判定方法を説明する図。 第３の実施形態における感度差情報を説明する図。 第３の実施形態におけるシェーディング補正ユニットの別の構成を示すブロック図。 第３の実施形態における感度差の補正方法を説明する図。 第４の実施形態におけるシェーディング補正処理のための構成を示す図。 第４の実施形態における制御を示すフローチャート。 視差が生じた際の、第１及び第２の実施形態における補正結果を示した図。 視差による信号出力レベルの違いを示す図。 第５の実施形態における制御を示すフローチャート。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

＜第１の実施形態＞
図２は、本発明の第１の実施形態における撮像装置の概略構成を示すブロック図である。撮像装置１００は、光学系１１０（撮像光学系）、撮像素子１２０、画像処理部１３０、ＣＰＵ１４０を含む。光学系１１０は、複数枚のレンズ及びミラー、絞り機構及びフォーカスやズームのための駆動機構から構成され、被写体２００から放射された光を撮像素子１２０上に結像させる。

撮像素子１２０は、図３に示すような構成を有する複数の単位画素セル３０１を有する。図３（ａ）は単位画素セル３０１の断面図であり、主に、複数の光電変換部、マイクロレンズ（ＭＬ）３０４、カラーフィルタ３０５、配線層３０６により構成される。このように、本第１の実施形態の単位画素セル３０１は、１つのマイクロレンズに対して、複数の光電変換部を有する。

図３（ｂ）及び（ｃ）は１つのＭＬ３０４下の光電変換部を、それぞれ２分割、４分割した場合の正面図である。２分割の場合、図３（ｂ）に示すように、光電変換部はＰＤ１とＰＤ２から構成される。４分割の場合は、図３（ｃ）に示すように、光電変換部はＰＤ１〜ＰＤ４から構成される。以下、分割した光電変換部（ＰＤ１及びＰＤ２、ＰＤ１〜ＰＤ４）を総称して、分割ＰＤと呼ぶ。

ＭＬ３０４を通った入射光は、カラーフィルタ３０５によって分光され、光電変換部を照射する。カラーフィルタ３０５は、一定周期の繰り返しで単位画素セル単位で配列される。図４にカラーフィルタ配列の例を示す。ここでは、各光電変換部をＰＤ１、ＰＤ２の２分割にした例を示している。また、Ｒ、Ｇ、Ｇ、Ｂのセットが周期的に配列された、一般的なベイヤー配列のカラーフィルタ３０５を示している。単位画素セル３０１の光電変換部が分割構造である以外は、一般的な撮像素子と同様の構造及び特徴を有する。

そして、光学系１１０に対し、ＭＬ３０４が視野レンズの役割を果たすことから、光電変換部に到達する射出瞳からの光束が制限されるとともに、分割ＰＤ上にはそれぞれ射出瞳の異なる領域を透過した光束が到達する。このため、光電変換部が２分割されている場合、受光領域全体から、各単位画素セル３０１のＰＤ１の画素値を集めて構成した画像Ａと、ＰＤ２の画素値を集めて構成した画像Ｂとの間には視差が生じる。この画像Ａと画像Ｂとの間の視差を利用することで、焦点検出処理やステレオ画像処理が可能となる。このように、画像間で視差を持つ画像を視差画像と呼ぶ。

また、一般的な太陽光等のコヒーレンスの低い光を照明とする撮影照明条件下、及び民生光学素子を利用する条件下では、分割瞳間の空間コヒーレンシーは低いとみなすことが可能である。そのため単位画素セル３０１中の複数の分割ＰＤ、例えば２分割のＰＤ１とＰＤ２、または４分割のＰＤ１〜ＰＤ４の画素値を、単位画素セル３０１毎に加算して得られる加算画像は、従来の非瞳分割光学系で撮影した画像とほぼ等価な画像として得られる。得られた加算画像に、後述の画像処理部１３０で行われる画像処理を行うことで、従来の撮像素子を用いた場合と同様の画像を得ることができる。

上述した単位画素セル３０１を有する撮像素子１２０からは、各ＭＬ３０４に対応する分割ＰＤの数分の視差画像信号が出力される。多くの場合、読み出し回路が共有され、例えばスイッチング回路の切り替えによる順次読み出しにより、各視差画像信号が順次出力される。撮像素子１２０によっては、占有伝送帯域節約のため、２つ以上の視差画像間で四則演算した信号、例えば２つ以上の分割ＰＤの画素値を単位画素セル３０１毎に加算した信号と、加算した分割ＰＤの一部からの非加算の信号とをセットで出力する。このタイプの撮像素子の場合、画像処理部１３０にて分離処理を行い、各視差画像に復元することにより、分割ＰＤ毎に画素値を読み出した場合と等価な画像信号を得ることができる。例えば、２分割の場合、ＰＤ１とＰＤ２の画素値を単位画素セル３０１毎に加算した信号と、ＰＤ１及びＰＤ２のいずれか一方の画素値とを出力し、加算した信号から加算せずに読み出した画素値を減算することで、他方の画素値を得ることができる。

次に、画像処理部１３０について説明する。画像処理部１３０は、撮像素子１２０から得られたアナログの画像信号に対して、相関二重サンプリング（ＣＤＳ）によるノイズ除去、オートゲインコントロール（ＡＧＣ）によるゲインアップ、黒レベル補正、Ａ／Ｄ変換やキズ補正等の基礎的な処理を行う。更に、処理したアナログの画像信号をデジタル信号に変換する。また、画像処理部１３０は、本第１の実施形態に特徴的なシェーディング補正処理を行う。なお、このシェーディング補正処理については詳細に後述する。

更に、画像処理部１３０は、デジタル信号に変換した画像信号に対して絵作りに関する画像処理や、記録及び伝送のための符号化圧縮処理を行う。例えば、ベイヤー配列補間、線形化マトリクス処理、ホワイトバランス調整、ＹＣＣ変換、色差・階調・コントラスト補正、エッジ強調等の処理を行う。さらに近年では、複数フレームの画像合成により広ダイナミックレンジ画像を生成するダイナミックレンジ拡張処理や超解像処理等の付加価値向上のための処理も行われている。これらの処理により、一枚の静止画もしくは動画に形成された出力像の情報を生成する。また、画像処理部１３０は、付加価値的な処理である視差画像を用いた焦点検出処理及び画素加算に基づく観賞用画像生成を行う。画像処理部１３０にて得た焦点検出情報はＣＰＵ１４０に伝送される。

画像処理部１３０で生成された画像データは、不図示のＤＲＡＭ等から構成されるワークメモリに一旦保存されるか、もしくは想定される後段の処理部に直接伝送される。後段の処理部としては、例えば、半導体メモリ等からなる記録部、液晶等のディスプレイ等から構成される表示部、無線ＬＡＮやＵＳＢ等の有線ケーブル等を接続可能なインターフェース（Ｉ／Ｆ）から構成される外部入出力Ｉ／Ｆ等が挙げられる。

ＣＰＵ１４０は撮像装置１００全体の動作を制御する。ＣＰＵ１４０は画像処理部１３０から伝送された焦点検出情報に基づいて、光学系１１０に含まれるフォーカスレンズを駆動し、合焦制御を実施する。また、光学系１１０に含まれるズーム等のレンズ群や絞り等も駆動制御する。そして、ＣＰＵ１４０はフォーカス距離や焦点距離、絞り値からなるカメラパラメータ（撮影条件）の状態情報を常に管理している。より高精度なカメラパラメータを制御に用いる場合には、光学系１１０に搭載される不図示のエンコーダを用いてカメラパラメータ状態を測定し、ＣＰＵ１４０に記録する。

なお、撮像素子１２０が画像処理回路をオンチップで含む場合には、上述した構成を有する撮像素子１２０に特有のシェーディング補正、焦点検出処理、観賞用画像生成のための画素加算の全てを、撮像素子１２０内で行ってもよい。加えて、上述のように画素加算した視差画像と非加算画像のセットを出力する撮像素子１２０の場合、本発明のシェーディング補正及び焦点検出処理より先に、加算画像と非加算画像から、各視差画像に分離する分離処理が追加される。この分離処理では、例えば画素単位レベルの四則演算を行う。

このように、考え得る装置及び処理の構成は様々であり、以下に説明する本第１の実施形態におけるシェーディング補正処理は、上述した装置及び処理構成、及びその順番に制限されるものではない。本発明の精神及び範囲から離脱することなく、様々な変形及び組み合わせが可能である。

このため以下においては、撮像素子１２０の出力の上述した些細な組み合わせ等の条件の違い、処理順の違いを省いた条件下で、本第１の実施形態におけるシェーディング補正処理を説明する。

図５は、画像処理部１３０で行われるシェーディング補正処理のための構成を示す図である。入力は複数枚の視差画像であり、Ａ／Ｄ変換等の一連の前処理や、出力された画像信号の一部が加算画像の場合の分離処理は実施済みとする。図５に記載のシェーディング補正部５０１により、後述する瞳分割系を考慮したシェーディング補正を実施し、飽和の影響を補正した複数枚からなる一群の視差画像を出力する。そして、画素加算処理による観賞用画像生成処理や、焦点検出処理等を実施する。観賞用画像生成処理では、信号処理部５０２が、画素加算した画像を観賞用画像に変換する。観賞用画像への変換を行う信号処理部５０２の処理は、上述したベイヤー配列補間、符号化圧縮等の後処理に対応する。また、焦点検出部５０３は、補正済みの複数枚からなる視差画像を入力として焦点検出処理を行う。更に、出力された複数枚の視差画像を、密な奥行情報の取得に利用したり、不図示の記録部への保存、外部入出力Ｉ／Ｆから出力して、外部のより強力な画像処理ユニットへの入力として利用しても良い。

シェーディングは、上述したように大きく２種類に分けられる。１つは、通常の非瞳分割光学系においても不可避の周辺光量低下を主とする、図１（ａ）を一例とするシェーディング、もう１つは、本第１の実施形態のように瞳分割を行う撮像素子に特有の図１（ｂ）または図１（ｃ）を一例とするシェーディングである。本第１の実施形態のシェーディング補正においては、両方のシェーディングの影響を補正する。実際の処理の実行においてはこれら２種類のシェーディングの影響を合算して考慮した補正を実施するのが効率的である。

上述のように、光学系１１０と、単位画素セル３０１のＭＬ３０４及び各ＭＬ３０４に対応する複数の分割ＰＤを組み合わせると、瞳分割光学系を構成することができる。図１（ｂ）に示す傾向から観察可能なように、瞳分割に伴い、複数の視差画像間で瞳分割方向に偏ったシェーディングが生じる。

ここで、上述したように各ＭＬ３０４に複数の分割ＰＤが対応する構成を有する撮像素子１２０に特有のシェーディングの要因について説明する。

図６は、分割瞳と、ＭＬ３０４を共有する複数の分割ＰＤそれぞれへ入射する主光線との関係を示した図である。図６（ａ）は画像中心近傍の単位画素セル３０１へ入射する主光線に関する図、図６（ｂ）は画像周辺部の単位画素セル３０１へ入射する主光線に関する図である。なお、画像中心とは、光学系１１０の光軸と撮像素子１２０上に形成される画像面との交点である。

図６（ａ）に示すように、画像中心近傍においては、各分割瞳から各分割ＰＤに入射する主光線の角度はほぼ等しくなる。一方、画像周辺部においては、各分割瞳から各分割ＰＤに入射する主光線の角度は、図６（ｂ）に示すように、単純な幾何学的関係に基づき、相対的に大きく異なる。この結果、一般的なシェーディングの要因であるコサイン４乗則の影響により、ＭＬ３０４を共有する分割ＰＤ間で、被写体の同一点からの等しい輝度または照度の光束を投影したとしても画素値に差を生じることになる。これが、分割瞳光学系に生じる特有のシェーディングの主要な原因である。コサイン４乗則の影響は、主レンズから撮像面までの距離がＭＬ３０４を共有する分割ＰＤ間で著しく異なる場合や、主レンズの瞳サイズが同様に異なる場合、画像中心から単位画素セル３０１までの距離が同様に著しく大きい場合には顕著となる。但し、主レンズから撮像面までの距離とは、物理的な距離ではなく、主レンズを構成するレンズ群を１つの合成レンズに換算した際の仮想距離を指すこととする。

コサイン４乗則は、ケラレのない理想状態、例えば長焦点距離のレンズの場合には、瞳分割特有のシェーディング現象を忠実にモデリングする。一方、短焦点距離のレンズでは、鏡筒やレンズ保持部によるケラレに起因するシェーディングが生じやすく、ケラレが主な要因となる場合が多い。また、ズームやフォーカス制御により射出瞳が移動するのに対し、絞りの開口位置が移動しない場合には、ケラレによるシェーディングがさらに生じ易くなる。

図７は射出瞳と絞りの開口位置とのずれにより生じる偏りを持ったケラレの影響を説明する図である。図７（ａ）は射出瞳と絞りの開口位置が一致する場合を示す図である。通常、光学系１１０における絞りの開口位置は、画角変動に対し、周辺光線の経路の変動が一番小さくなる射出瞳位置に設定される。このため、図７（ａ）の上部に示すように、画像中心近傍におけるケラレと、画像周辺部におけるケラレは大差ない状態となる。図７（ａ）の下部の左側の円が画像周辺部から見た射出瞳、右側が画像中心近傍から見た射出瞳の例を示している。ほぼ同じ形状及び大きさの射出瞳となっている。

しかしながら、ズームやフォーカスの制御状態によっては、光学系１１０に含まれる絞り位置に対し、射出瞳が光軸方向にずれを生じる場合がある。図７（ｂ）の上部に示すように、撮像素子１２０の画像周辺部に到達する光束に対しては、ずれた位置に移動した絞りにより、射出瞳が偏心した形でケラレが生じる状態を表している。この場合は、画像中心近傍と画像周辺部との間で特有のシェーディングを生じる。図７（ｂ）の下部に示す図は、左側が画像周辺部から見た射出瞳、右側が画像中心部から見た射出瞳の例であり、射出瞳からずれた位置に設置された絞りによる遮蔽を受け、画像周辺部から見た瞳が著しく小さくなる場合を表している。

加えて、光学系１１０の合成主点が撮像素子１２０の近くに来るような構成の場合、画像周辺部に近づくにつれて、光学系１１０の主レンズと単位画素セル３０１のＭＬ３０４とを結ぶ光軸が大きく傾く恐れがある。

図７（ｃ）、（ｄ）はＭＬ３０４と分割ＰＤのアライメントの影響を説明する図である。ここでは、図６の左端に示すように、画像周辺部に配置された単位画素セル３０１について説明する。ＭＬ３０４と分割ＰＤのアライメントが適切な場合、図７（ｃ）に示すように、射出瞳から放射された光束を効率良く各分割ＰＤで受光することが可能である。一方、ＭＬ３０４と分割ＰＤのアライメントが適切になされていない場合、次のような現象が起きる。ここで、例えば、撮像素子１２０が光学系１１０の高いテレセントリック性を想定して、ＭＬ３０４と分割ＰＤのアライメントがほぼ等ピッチであるのに対し、光学系１１０のテレセントリック性が低い場合を想定する。この場合、別の分割ＰＤに入射すべき光束が隣接する分割ＰＤに入射してクロストークが発生するか、もしくは図７（ｄ）に示すように光束の一部が画素構造や配線層３０６によってケラレを生じ、相対的な光量低下を引き起こす。これは上述の鏡筒やレンズ保持部により生じるケラレと同様に各分割ＰＤの断面積から見える射出瞳サイズの縮小として影響が表れ、画像周辺部ほど影響が大きくなる。

図７（ｅ）は上述の複合的要因により単位画素セル３０１の位置（像高）に応じて変化するＭＬ３０４を共有する分割ＰＤに対する射出瞳の大きさを説明する図である。左下は、画像中心近傍の単位画素セル３０１における２分割、４分割の分割ＰＤそれぞれから見た射出瞳の大きさを示す模式図である。画像中心近傍の場合、ＭＬ３０４を共有する各分割ＰＤに見込む射出瞳形状はほぼ同じとなり、被写体が均一な輝度または照度面の場合、合焦し、同一物点を投影している場合には各分割ＰＤから得られる画素値はほぼ同じとなる。

一方、右上は撮像素子１２０の画像周辺部の単位画素セル３０１における２分割、４分割の分割ＰＤそれぞれから見た射出瞳の大きさの違いを表す模式図である。各分割ＰＤでケラレ量が異なるため、射出瞳の大きさに著しく差が生じ、各分割ＰＤから得られる画素値に差が生じる。更に、鏡筒やレンズ保持部により生じるケラレ形状は鏡筒形状等に深く依存して複雑な形状となる。また光学系１１０と撮像素子１２０間での想定するテレセントリック特性のずれに起因するケラレ形状は、相対的な特性のずれにより影響の大小が変化して方向反転が生じる。よって、図７（ｅ）に示した形状はあくまで模式的なものであり、画素値の光量差に影響する相対サイズの変化を表す近似的なものである。

上述したようにコサイン４乗則による影響、及び各分割ＰＤから見た射出瞳の大きさの違いの影響により、シェーディングが発生してＭＬ３０４を共有する分割ＰＤ間での受光量に差が生じる。その結果、均一な輝度または照度の平面を撮影しても、２分割の場合は図１（ｂ）、４分割の場合は図１（ｃ）に示すような方向性を有す、空間的に不均一な諧調差を持ったシェーディングが発生する。

図８は像高に応じたシェーディング特性、言い換えれば、シェーディングによる諧調変化を表した図であり、被写体が均一な輝度または照度面の場合の像のプロファイルに相当する。横軸は、画像中心を通る瞳分割方向の座標を示し、縦軸は、画素値の相対値（諧調）を示している。図８（ａ）は瞳分割を行わない撮像素子、もしくは各分割ＰＤから得られる画素値を単位画素セル３０１毎に加算した後の、非瞳分割時の光学系起因の減光特性を表している。この場合、上述した一般的なシェーディングの影響により、画像周辺部に近づく程、諧調に減光作用が生じる。

一方、図８（ｂ）は瞳分割時の瞳分割起因のシェーディングによる諧調変化の分布を表す図である。ここでは、等輝度光を入射した場合の、光電変換部を２分割した場合にＭＬ３０４を共有するＰＤ１及びＰＤ２の諧調の分布の違いを表している。対となる視差画像の一方を視差画像１、他方を視差画像２としている。単位画素セル３０１の画素構造におけるＰＤ１及びＰＤ２のどちらから得られる画素値が視差画像１もしくは２を構成するかは、上述のシェーディング要因の条件により変化するため、図示の関係は厳密ではない模式図となっている。図８（ｂ）から分かるように、等輝度光を入射した場合であっても、同じ単位画素セル３０１のＰＤ１及びＰＤ２から出力された画素値は、画像周辺部に近づくほどシェーディングの影響を受けて大きな諧調差を生じる。

図８（ｃ）は、図８（ａ）及び（ｂ）に示すシェーディングの影響を合成し、同時に考慮した時のシェーディング特性を示す図である。

上述の図８（ａ）に示す非瞳分割時の光学系に起因するシェーディング、及び、図８（ｂ）に示す瞳分割に起因するシェーディングの影響は、画像中心を基準とする、少なくとも瞳分割方向の座標位置を変数とする補正係数を用いたゲイン補正により補正する。なお、画像中心を基準とする変数とは、具体的には、水平方向に２分割の瞳分割の場合には水平方向の座標、水平垂直方向の４分割の瞳分割の場合には水平及び垂直方向の座標のことである。図８（ｄ）に、図８（ｃ）に示す合成シェーディング特性に対するシェーディング補正パラメータの一例を示す。該シェーディング補正パラメータを変数である座標に対応する諧調に乗算することにより、シェーディング補正を実施する。シェーディング補正パラメータが図８（ｄ）のように１以上の拡張方向に係数を持つ場合、係数によるゲイン補正と同時にスケーリングもしくはビット深度の拡張を実施することが好ましい。

最後に図８（ｅ）は、図８（ｃ）に示す諧調を有する視差画像１及び２を、図８（ｄ）に示すシェーディング補正パラメータで補正した結果を示す図である。視差画像間、及び、各視差画像内でシェーディングの影響が補正され、均一な感度、言い換えれば等しい諧調特性が得られる。

上述の瞳分割に関するシェーディング補正パラメータは、例えば、水平座標を変数とする補正係数、もしくは、水平垂直座標を変数とする補正係数であり、撮像装置の設計時の設計パラメータ、もしくは該撮像装置を用いた計測により作成する。また、該補正係数は、上述の非瞳分割時の光学系起因のシェーディング特性を含んだ形でも作成可能である。

具体的には、補正係数は、光学系１１０の構造、撮像素子１２０の構造、及び絞り等を含む鏡筒構造及びズーム、焦点距離、絞り値等の撮影時のカメラパラメータに基づく、例えば、幾何光学演算光学計算により計算して求める。実際は光学設計ＣＡＤの機能を利用する場合が多い。まず、光学系１１０を設計した光学系設計ＣＡＤを利用し、等照度面を撮影した場合の諧調分布からなるシェーディングデータを分割ＰＤ毎に光線追跡により計算する。その際には、鏡筒やレンズ保持部のデータも用いて、鏡筒やレンズ保持部によるケラレも考慮したシェーディングの影響を演算する。これにより、図８（ｃ）に示すような、図８（ａ）の非瞳分割時の光学系起因のシェーディング及び図８（ｂ）の瞳分割起因のシェーディング特性を同時に考慮したシェーディング特性が得られ、補正時に効率的な計算が実現可能である。そしてこの諧調分布を画像中心座標を基準に等諧調となるような補正係数を、水平座標もしくは水平垂直座標を変数として分割ＰＤ毎に算出する。即ち、図８（ｃ）のシェーディング特性を補正するために、図８（ｄ）に示すような合成補正パラメータが計算される。

光学系設計ＣＡＤとしては、Synopsys Inc.(ORA)社開発のCODEV及びLightTools、Radiant ZEMAX LLC.社開発のZEMAX等の製品が代表的なものとして挙げられる。これらの光学系設計ＣＡＤは、撮像面におけるシェーディングの影響を光線追跡に基づき計算する専用コマンドを備える。また、配線層３０６に起因する、より詳細なケラレ効果を考慮したシェーディング特性を計算したい時、特に基本機能で不足の場合には、各設計ソフトに備えられたマクロ機能を利用して画素セルの構造モデルを計算に含めることにより、実現可能である。マクロにより、図３（ａ）で示した単位画素セル構造を光線追跡時に考慮できるように入力する。更に詳細に画素セル構造の波動光学的影響を厳密に計算する場合には、連携機能を用いて有限要素法等による構造解析可能なソフトによる計算出力を用いてシェーディングによる影響を計算する。

また、補正パラメータは、該撮像装置を用いた計測により作成しても良い。等照度面を撮影した際の各単位画素セル３０１の分割ＰＤ毎の諧調からシェーディングデータを計測し、この諧調分布を画像中心座標を基準に等諧調となるような補正係数を水平座標もしくは水平垂直座標を変数として分割ＰＤ毎に算出しても良い。

事前に設計ＣＡＤによる計算、もしくは測定により得られた補正パラメータは、画像処理部１３０に含まれる不図示のＲＯＭ等の記録部に保存される。補正パラメータは、代表的なカメラパラメータの組み合わせに対してのみ用意しても良いし、全てのカメラパラメータ変数の定義域範囲をカバーするような多次元テーブル形式で用意しても良い。

撮像素子１２０のダイナミックレンジが十分広く、かつ光電変換部の分割数が少なく、かつシーンの輝度範囲が狭く、かつ撮像装置１００の露出条件が適切な場合、飽和することなく諧調を得ることができる。このため上述のシェーディング補正を行うことにより、視差画像間の諧調差が適切に補正され、視差画像間の位相差焦点検出等を十分に精度良く実現することができる。

一方、撮像素子１２０のダイナミックレンジが狭い場合や、光電変換部の分割数が多い場合、シーンの輝度範囲が広い場合、撮像装置１００の露出条件が低輝度部分に不適切に適応した撮影が行われた場合等に、高輝度部分に対応する分割ＰＤが飽和する。飽和した分割ＰＤからの画素値に上述のシェーディング補正を実施すると、視差画像の対応する画素間で逆に疑似的な諧調差が生じてしまう。

図９は、シェーディング補正における飽和画素値の扱いを説明する図である。ここでは、光電変換部を２分割した場合を例として説明する。図９（ａ）は飽和対策を行わない場合の、ＰＤ１及びＰＤ２の出力特性、及びＰＤ１及びＰＤ２の出力を加算した合成出力特性を示している。なお、合成出力は平均化によって取得しても良い。さらに増幅等の追加処理を実施してもよい。図９では説明のため、仮にＰＤ１がＰＤ２より感度が高く、及び／または、光が多く入力している場合を示している。

ＰＤ１及びＰＤ２への入射光量が範囲１１０１の間は、ＰＤ１の方がＰＤ２より発生電荷が多い。この段階ではＰＤ１は未飽和のため、ＰＤ１とＰＤ２の出力を合成した出力として、適切な値が得られる。ところが、入射光量が範囲１1０２の間は、ＰＤ１が飽和する一方、ＰＤ２は未飽和であり、ＰＤ２のみが入射光に応じて線形性を有した信号を出力する。そのため、この範囲で得られる信号に対しシェーディング補正した信号には、疑似的な諧調差が生じる。

上述した問題に対しては特許文献２等から、ＭＬ３０４を共有する複数の分割ＰＤのうち少なくとも一つの画素が飽和画素の場合、その画素間の演算を相関演算の対象から外すという対策が提案されている。

図１０は、飽和領域を含む場合の相関演算における飽和画素の影響を説明する図である。図１０（ａ）に飽和領域を含む場合の相関における視差画像のプロファイルを示す。例えば、視差画像１及び視差画像２をシフトさせつつ、差分の絶対値総和演算を行い、相関値を計算する。図１０（ａ）はシェーディング補正を行わない場合に、相関演算の結果、最も相関が高い状態を示した例であり、飽和諧調画素の境界近傍の特徴が相関演算において良い影響を与えている。一方、非飽和領域においてはシェーディングの影響により合焦の位相位置でも画素値に差が生じてしまい、相関演算の信頼性に悪影響を及ぼしてしまう。

図１０（ｂ）は、従来のシェーディング補正を行った視差画像のプロファイルを示す。この場合、シェーディング補正を行わない場合とは逆に、非飽和領域においてはシェーディング補正の効果により相関演算の信頼性は向上する。一方、飽和領域においては、その周辺部でシェーディング特性が異なると、等輝度または等照度物点を射影した画素の対であっても得られる諧調はシェーディング補正の弊害を受けて異なる値に補正されてしまい、相関が低くなってしまう。

図１０（ｃ）は、ＰＤ１及びＰＤ２のうち、少なくとも一方が飽和画素の場合、そのＰＤ間の演算を相関演算の対象から外す場合を示している。点線部で囲まれた領域１２０１が、少なくとも一方の画素が飽和している領域を示している。図１０（ｃ）に示すプロファイル特性のような、テクスチャ性の低い被写体の場合、飽和領域を除いてしまうと、プロファイルの飽和の右側にあるような微小な特徴１２０２のみを用いて相関演算せざるを得ない状況が多くなり易く、相関演算の信頼性が低下する。また、微小特徴は照明変化やノイズで生じた偽対応特徴である可能性も高い。

また飽和は、ＰＤ１及びＰＤ２の諧調を総和して得られる観賞用画像の生成にも影響する。図９（ａ）の合成出力は、ＰＤ１が飽和する範囲１１０２ではＰＤ２からの出力のみに依存して諧調が変化する。結果として、合成出力はＰＤ１が飽和したところから、ニー特性と呼ばれる、入力に対して非線形な感度特性を持ってしまう。このようなニー特性を持って取得した諧調は、特に図４のようなカラーフィルタ配列をもった撮像素子１２０で撮影し、後段の画像処理部１３０でカラー画像として処理すると、色ずれ、色曲がり、色シェーディング等と呼ばれる目立つ現象として表れてしまう。

以下、本第１の実施形態における、飽和した分割ＰＤの補正方法について説明する。なお、シェーディング補正前の諧調について、ある閾値を超える諧調を持つ分割ＰＤを飽和ＰＤとよぶ。閾値は撮像素子１２０に固有のノイズや信号の揺らぎ等を考慮して決定される。

シェーディング補正部５０１は、単位画素セル３０１に含まれるＭＬ３０４を共有する複数の分割ＰＤのいずれかの諧調が所定レベル以上の場合、その所定レベル以上の分割ＰＤを飽和ＰＤとみなす。そして、所定レベル未満の分割ＰＤの諧調を基に、飽和ＰＤが飽和していない場合の諧調を推定して、感度差を補正する。

図９（ｂ）は本第１の実施形態における飽和ＰＤの処理方法を示す図である。ＭＬ３０４を共有する、飽和していないＰＤ２からの低輝度の信号を基に、飽和しているＰＤ１のシェーディング補正前の諧調を、ＰＤ１とＰＤ２のシェーディング特性データと、ＰＤ２の諧調とを用い、式（１）により推定する。
飽和ＰＤの諧調（補正前）
＝１／（飽和ＰＤのシェーディング特性／非飽和ＰＤのシェーディング特性）
×非飽和ＰＤの諧調 …（１）

但し、実際はシェーディング補正後の諧調が得られれば良いため、式（２）に示す簡単な演算により取得することができる。
飽和ＰＤの諧調（補正後）
＝非飽和ＰＤのシェーディング特性×非飽和ＰＤの諧調 …（２）
上記式（２）に示す補正を実施することにより、図９（ｂ）のようにすぐに飽和してしまうＰＤ１の諧調を、より広ダイナミックレンジに計測可能となる。
各視差画像を補正するため、範囲１１０２においても、合成出力画像に対して推定が反映され、図９（ｂ）の一点鎖線の太線で示すような、線形特性を維持した推定合成特性を得ることができる。

しかしながら、ＭＬ３０４を共有する一部の分割ＰＤの諧調が飽和諧調であるのに対し、残りの分割ＰＤの諧調が飽和ＰＤの諧調に対応する最低諧調に満たない場合は、視差により、互いに異なる物体点が投影されているとみなし、飽和補正を行わない。図９（ｃ）はその場合の例を示す。１つの分割ＰＤの諧調が既に飽和諧調にあるのに対し、同じＭＬ３０４を共有する少なくとも１つの分割ＰＤの諧調がシェーディング特性から推定される飽和に対応する最低諧調閾値Thminに満たない場合には、補正を中止する。通常シーンの場合、各分割ＰＤは非合焦のために異なる被写体、例えば背景及び前景画素に対応している可能性が高い。

図１１は、第１の実施形態におけるシェーディング補正処理のフローチャートである。以下、図１１を参照して、ＭＬ３０４を共有する分割ＰＤの諧調に従い、上述したシェーディング補正方法を選択的に適用する手順について説明する。各ＭＬ３０４に対応する複数の分割ＰＤそれぞれの画素値を順次処理し、シェーディング補正していく。

まず、Ｓ１０１において、シェーディング補正前の分割ＰＤの諧調Ｉが飽和諧調レベルの閾値Thを超えているかを判定する。飽和諧調レベルの閾値Thは、撮像素子１２０の画素毎の感度のばらつきや前処理の信号処理精度やノイズ等考慮して決定される。Ｓ１０１において飽和していないと判定された場合は、Ｓ１０４に進み、当該分割ＰＤの諧調及び図８（ｄ）に示す合成補正パラメータを用いて通常のシェーディング補正を実施する。通常は補正パラメータと当該分割ＰＤとの乗算により補正後の諧調を得る。

一方、Ｓ１０１において、分割ＰＤが飽和していると判断された場合は、Ｓ１０２において、当該分割ＰＤとＭＬ３０４を共有する他の分割ＰＤの諧調Ｉi（i=1, 2…）それぞれと、飽和諧調レベル閾値Thとを比較する。ＭＬ３０４を共有する他の全ての分割ＰＤの諧調が飽和していると判断された場合は、撮像素子１２０のダイナミックレンジを、入射輝度または照度が上回っているため、未飽和の諧調から推定することができない。そのような場合、Ｓ１０５に進み、上述したようにＭＬ３０４を共有する分割ＰＤのうち、最も感度が低い分割ＰＤの飽和諧調のシェーディング補正値で置き換える。具体的には、当該画素座標に対する相対情報図８（ｃ）を用いてＭＬ３０４を共有する分割瞳画素のうち感度が最も低い画素を選択し、その飽和諧調を上述した式（２）を用いてシェーディング補正を実施し、補正後の諧調を得る。

Ｓ１０２において、飽和していない分割ＰＤが存在すると判断された場合には、Ｓ１０３に進み、当該分割ＰＤの画素値を飽和画素値の諧調の推定処理に利用してよいかの判定をする。ここでは、飽和していない分割ＰＤの諧調Ｉi（i=1, 2…）が、上述した最低諧調閾値Thmin(i)を（i=1, 2…）以上であるかどうかを判断する。なお、最低諧調閾値Thmin(i)は、上述したように各分割ＰＤのシェーディング特性から推定される飽和に対応する値であるため、分割ＰＤ毎に異なる。

判定の結果、ＭＬ３０４を共有する他の分割ＰＤの中に、最低諧調閾値Thmin(i)を超える分割ＰＤが存在しないと判断された場合には、推定元の分割ＰＤが存在しない。そのため、Ｓ１０５に進んで、上述した処理により、ＭＬ３０４を共有する分割ＰＤのうち、最も感度が低い分割ＰＤの飽和諧調のシェーディング補正値で置き換える。

なお、未飽和画素値の最低諧調閾値Thmin(i)は、次のようにして算出する。即ち、単位画素セル３０１の座標に対する相対情報を示す図８（ｃ）を用い、当該画素座標の入力画素の諧調、つまり飽和諧調を入力として、ＭＬ３０４を共有する各分割瞳画素の対応する被写体の写像ならば得られる諧調として算出する。そしてＳ１０３の処理で図９（ｃ）を参照して説明したようにして判定を実施する。そして、Ｓ１０５により、最低諧調閾値Thmin(i)を超える未飽和のＰＤが、ＭＬ３０４を共有する他の分割ＰＤに存在する場合には、Ｓ１０６において、上述した式（２）を用いて説明した処理を実行する。

上述の補正により、視差画像間に生じたシェーディングの影響を低減することができる。これにより、同一被写体から入射する等輝度または等照度の光束に対する諧調を等しいものとして計測できるようになる。その結果、相関演算、及びその結果である焦点検出処理を高精度に実現することができる。更にマイクロレンズを共有する複数の分割ＰＤの少なくとも１つが飽和ＰＤであっても、飽和画素値の諧調を、マイクロレンズを共有する他の未飽和ＰＤから推定し、未飽和ＰＤとして相関演算に利用できるようになる。このため、相関演算及びその結果である焦点検出処理のロバスト性が向上する。

特許文献２に記載されているように、飽和画素を相関演算から除外する場合、飽和画素を相関に用いることができなくなるため、相関演算のサンプル数が減少して相関演算の信頼性が低下してしまう。一方、通常のシェーディング補正を実施して相関演算に利用してしまうと、飽和画素に対し適切にシェーディング画素の諧調補正が実施できず、本来同じ諧調となるべき画素が異なる諧調を持ってしまう。その結果、間違った位置での相関が最も高くとなり、焦点検出としては偽合焦を生じたり、優位なピークが得られないという影響を生じる。この現象は実際のフィード制御として実現される焦点検出制御においては、ウォブリングと呼ばれる誤デフォーカスによる頻繁なフォーカス変更等の原因の一つになる可能性があった。

ここで本第１の実施形態で上述した方法により飽和画素を置換できる場合、置換後の飽和画素を相関に用いることが可能となる。このため統計的により信頼性の高い相関演算が可能となる。また特に視差が小さく、テクスチャ変化も小さい領域の場合、妥当な諧調に置換される可能性が高く、正確な位相差算出検出に貢献する可能性が高い。一方、例えばフォーカス制御の過渡状態で測距点の視差が大きく、及び/もしくはテクスチャ変化も大きい領域、別被写体部の領域画素の場合には、この飽和補正により、相関演算では真の視差位置と視差０の位置で２ピーク立つことになる。つまり、焦点検出画素の内訳において非飽和画素が大半の場合には正しく視差算出が可能であるが、飽和画素が大半の場合には、相関演算として視差０と算出するようになる。しかし、この場合は、従来の手法の弊害であるウォブリングと比較して、時系列の制御的な観点でみれば問題を生じない安全側（フェイルセーフ）制御とみなすことができる。更に実際には、ＡＥ制御との組み合わせで、時間方向を考慮してよりメリットある振る舞いが期待される。具体的には、視差０として現状のフォーカスを維持していればＡＥ制御により露出状態が改善され、上記のような誤った焦点検出状態からの復帰が期待できるためである。つまりロバスト性の高いフォーカシング制御の実現に貢献が期待できる。

図１２に１次元の相関演算による位相差焦点検出処理の例を示す。撮像装置に搭載される位相差焦点検出向けの相関演算では、多くの場合、計算効率とロバスト性の向上のために相関演算の非視差演算方向の画素を積分して１次元の相関処理として演算する。なお、演算量は増えるが、２次元の相関処理として演算することも可能であることは言うまでもない。

図１２（ａ）は合焦時、２像の場合を示している。下部には積分プロファイルを用いた相関演算の結果が示されている。ＰＤ１の視差画像１によりプロットされるプロファイルとＰＤ２の視差画像２のプロファイルが略一致し、合焦状態であることが分かる。図１２（ｂ）は、いわゆる前ピンと呼ばれる非合焦の状態で、注目被写体よりもシーン手前に合焦している状態である。そのため、撮像面上で視差画像間に視差が発生する状態である。注目被写体の像プロファイルに下図のようにＰＤ１のプロファイルとＰＤ２のプロファイル間でずれが生じる。図１２（ｃ）は、いわゆる後ピンと呼ばれる非合焦の状態で、注目被写体よりもシーン奥に合焦している状態である。下図のようにfＰＤ１のプロファイルとＰＤ２のプロファイルは、図１２（ｂ）の場合と逆方向にずれる。

また、視差画像毎の飽和による合成画像のニー特性の発生を防止することができる。その結果、瞳分割光学系において特有の症状として発生していた低照度における輝度ムラや色むら、色ずれ、色曲がり、色シェーディングと呼ばれている現象の発生を抑制できるようになる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。本発明の第１の実施形態の画像処理部１３０では、シェーディング特性もしくは補正パラメータを、画像処理部１３０に含まれる不図示のＲＯＭ等の記録部に保存するものとしていた。しかし、例えば高精度化を目的としてフォーカス距離、ズーム、絞り設定値等のカメラパラメータに対し細かいサンプリングで記録しようとすると、特性及び補正パラメータの記録量は線形的に増大する性質がある。これは、シェーディング特性や射出瞳の見た目の大きさはマイクロレンズを共有する複数のＰＤへの光束の入射角度に依存するためである。言い換えれば、画素部に対する光学系の主点位置の幾何学的位置関係や射出瞳の大きさ、つまり、焦点距離や絞り等のカメラパラメータの状態に依存するためである。

加えて、シェーディング特性及び補正パラメータは、ズーム範囲が広大であったりすると非常に大きくなる。また光学系１１０が交換レンズの場合には、交換レンズに対応したシェーディング特性及び補正パラメータを予め記録しておく、もしくは後から更新する、ネットワーク等から必要時に取得する等の対応が必要となる。そこで、本実施形態では、撮像装置がそのような対策を行う処理部として、ＲＯＭもしくはＲＡＭにより構成された不図示のデータベース部を有する。そして不図示の外部Ｉ／Ｆ、例えばＳＤカードスロット経由でデータを更新したリ、もしくは無線ＬＡＮ等のネットワークにより必要なデータを取得することが可能である。ＣＰＵ１４０はデータベース部に、撮像装置１００のその時点のカメラパラメータを入力し、撮影状態に合致したシェーディング特性または補正パラメータを取得する。そしてＣＰＵ１４０は取得したシェーディング特性または補正パラメータを画像処理部１３０に伝送し、画像処理部１３０ではシェーディング補正に利用する。

上記の通り本第２の実施形態によれば、第１の実施形態と同様の効果に加え、より高精度な補正を低リソースで実現したり、交換レンズ対応が容易になる等の効果が生まれる。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。本第３の実施形態における撮像装置の構成は、図２〜図５を参照して説明したものと同様であるので、ここでは説明を省略する。図１３は、第３の実施形態における、図５に示すシェーディング補正部５０１の構成を示すブロック図である。なお、本第３の実施形態では、光電変換部を図３（ｂ）に示すように左右２分割した例について説明する。

図１３において、判定部１７０１は、撮像素子１２０から得られる画像信号の信号レベル（または階調値）が所定のレベル以上であるか否かを判定し、判定結果を後述する飽和補正値生成部１７０２へ送る。飽和補正値生成部１７０２は、判定部１７０１から得られる判定結果に基づいて、画像信号を補正するための飽和補正値を、シェーディング補正部５０１の外部にあるデータベース１７０４を参照して生成し、飽和補正部１７０３へ送る。飽和補正部１７０３は、生成された飽和補正値で画像信号を補正する。また、データベース１７０４には、飽和補正値を生成するために必要な、瞳分割して読み出された視差画像の同一画素部を構成する各々の分割ＰＤの瞳分割撮像系に起因した感度差に関する情報が記録されている。

次に、図１４のフローチャートを参照して本第３の実施形態におけるシェーディング補正処理について説明する。まずＳ１８０１では、判定部１７０１において、入力される画像信号のうち、各ＭＬ３０４を共有する複数の分割ＰＤからそれぞれ読み出された画素値と、予め決められた所定値とを比較する。

図１５に判定する方法を示す。ＬＡ、ＬＢは、ＰＤ１、ＰＤ２から読み出された視差画像１及び２の諧調を示す。また、図１５では、ある感度差を有する特性を持っている様子を示すため、横軸に入射光量を、縦軸に出力をとって図示している。また、Ｔｈは既述の所定レベルであり、所定レベルＴｈを超えたか否かにより、ＰＤ１、ＰＤ２の出力が飽和しているか否かを判定する。すなわち、以下に示す式（３）及び式（４）を満たすか否かにより、飽和しているか否かを判定する。
ＬＡ＞Ｔｈ …（３）
ＬＢ＞Ｔｈ …（４）

なお、判定の結果は、図１５に示すように入射光量によって異なる。領域１９０４では、ＬＡ、ＬＢともに式（３）及び式（４）を満たしていない。従って、判定結果ＦＡＬＳＥを飽和補正値生成部１７０２に送る。領域１９０５では、図１５に示す例では、ＬＡについては式（３）を満たしている。従って、判定結果ＴＲＵＥ＿Ａを飽和補正値生成部１７０２に送る。なお、図１５ではＬＡを出力した分割ＰＤの方がＬＢを出力した分割ＰＤよりも感度が高い例で示しているが、撮像素子１２０における単位画素セル３０１の位置（像高）によっては特性（感度差）が反対に出ることもある。その場合は、ＬＢについて式（４）を満たすことになり、判定結果ＴＲＵＥ＿Ｂを飽和補正値生成部１７０２に送る。領域１９０６では、ＬＡ、ＬＢ共に式（３）及び式（４）を満たす条件にあるため、判定結果ＴＲＵＥを飽和補正値生成部１７０２に送る。なお、ＦＡＬＳＥ、ＴＲＵＥ＿Ａ、ＴＲＵＥ＿Ｂ、ＴＲＵＥについては、その意味が識別可能であればいかなる表現でも良く、その表現方法は本発明の範囲から逸脱することなくさまざまなものを選ぶことができる。たとえば、デジタル信号処理回路であれば２Ｂｉｔ表現で表すのが一般的である。また、上述では所定レベルＴｈを設け、所定レベルＴｈ以上か否かで飽和レベルであると判定したが、デジタル信号上の飽和レベルそのものを判定に使用してもよい。

Ｓ１８０１における判定結果がＦＡＬＳＥの場合、補正処理を行わないため、本処理を終了する。それ以外の場合、Ｓ１８０２に移行する。Ｓ１８０２では、判定部１７０１において、ＴＲＵＥ、ＴＲＵＥ＿Ａ、ＴＲＵＥ＿Ｂ、と判定された場合、飽和補正値生成部１７０２において、補正のための補正値を算出する。飽和補正値生成部１７０２では、データベース１７０４から得られる感度差情報と、着目している単位画素セル３０１の位置（像高）を基に、飽和補正値を算出する。

図１６は、感度差情報を説明する図である。また、図１６（ａ）は、データベース１７０４に記録されている、ＰＤ１及びＰＤ２それぞれの瞳分割撮像系に起因した感度差の情報を図示したものである。横軸に光学中心からの水平方向の距離（像高）を、縦軸に感度差をとっており、２００１が視差画像１の感度差、２００２が視差画像２の感度差をそれぞれ模式的に示している。なお、感度差情報の形式及び表現方法はいろいろなものが考えられるが、図１６（ａ）では、感度差が無い時のＰＤ１及びＰＤ２の入出力特性に対する感度比で表現している。これは、本発明の範囲を超えない限りいかなる形式及び表現方法で記録されていてもよく、図示した形式及び表現方法に限定するものではない。

まず、入力されている画素値が光学中心に対してどの距離にあるかの位置情報を算出する方法であるが、これは、飽和補正値生成部１７０２に入力される画像信号単位でカウントアップするカウンタを持たせることで容易に算出することができる。また、内部でカウンタを持たなくても、撮像装置１００内にある不図示の制御部から同等の制御信号を受け取ることでも実現可能である。

次に、画素値の感度差をデータベース１７０４から参照する。参照自体は、画素部の位置情報に基づいたデータベースから記録されている感度差情報を参照することで実現できる。たとえば、飽和補正値生成部１７０２に対して、光学中心からの距離が図１６（ａ）の２００３で示される位置にある画素値が入力されている場合、参照により得られる感度差情報は、視差画像１の感度差情報がＧＡ、視差画像２の感度差情報がＧＢとなる。画素値について、判定部１７０１が、ＴＲＵＥ＿Ａと判定した場合（図１５の領域１９０５に示した範囲の場合）、信号レベルＬＢに対する補正値を算出する。算出される補正値は、補正値をＣＯＭＰ、入力信号の飽和レベルをＳＡＴＵとしたとき、式（５）で示される計算式で算出される。

式（５）は、飽和していると判定された視差画像１に対して、視差画像２の信号レベルを視差画像１との感度差を維持した信号レベルとなるような補正値を生成することを示している。例えば、図１５の１９０７に示すように、感度差（入射光量対出力レベルの特性の差）が、視差画像１の飽和後も維持されるような特性となるように補正値を生成する。また、図２０を見ても明らかなように、感度差の関係は飽和補正値生成部１７０２に入力される画素値の位置情報に応じて変化する。たとえば、飽和補正値生成部１７０２に対して、光学中心からの距離が図１６（ａ）の２００４で示される位置にある画素値が入力されている場合、参照により得られる感度差情報は、視差画像１の感度差情報がＧＡ’、視差画像２の感度差情報がＧＢ’となる。画素値について判定部１７０１において、ＴＲＵＥ＿Ｂの判定結果が出ている場合は、信号レベルＬＡに対する補正値を算出する。算出される補正値は、補正値をＣＯＭＰ、入力信号の飽和レベルをＳＡＴＵとしたとき、式（６）で示される計算式で算出される。

従って、飽和補正値生成部１７０２に入力される画像信号の位置情報に応じて補正値の算出方法を切り替えることにより、全ての位置に存在する画像信号の補正値を生成することが可能となる。また、判定部１７０１が、ＴＲＵＥ（信号レベルＬＡ、ＬＢが両方とも飽和であると判定）と判定した場合は、飽和補正値生成部１７０２は、入力される画像信号の画素位置情報を基に、式（５）または式（６）を選択して補正値を生成する。これにより、同様の補正値の算出、すなわち、感度差（入射光量対出力レベルの特性）が、維持される特性となるような補正値を生成することが可能となる。

また、光学中心に対して対称に感度差が現れる場合は、図１６（ｂ）のようにデータベース１７０４に記憶させる感度差情報を減らすことも可能である。例えば図１６（ｂ）に示す例の場合、瞳分割撮像系を構成する撮像素子を正面から見たときに、光学中心より左にある画素部では、視差画像１の方が感度が高く、視差画像２の方が感度が低くなる。ので、視差画像１の感度差情報は２１０１を、視差画像２の感度差情報は２１０２を参照することになる。対称的に、光学中心より右にある画素部では、視差画像２の方が感度が高く、視差画像１の方が感度が低くなるので、視差画像１の感度差情報は２１０２を、視差画像２の感度差情報は２１０１を参照すればよい。また、これに限らず、本発明の範囲を超えない範囲でいろいろな持たせ方を取らせることができる。

図１４のＳ１８０２で飽和補正値を算出したのち、Ｓ１８０３において、飽和補正部１７０３にて補正を行う。飽和補正値生成部１７０２で生成された補正値で、該当画素の信号レベルを補正する。補正は、該当画素の信号レベルを飽和補正値生成部１７０２で算出した補正値で置き換えることで、実現される。これにより補正後の画像信号の入射光量対出力レベルの特性は、瞳分割して読み出された視差画像の同一画素部を構成する各々の分割ＰＤの信号レベルが常に一定の感度差を持つように補正が施されることになる。

また、上記補正処理により、図１５の入射光量対出力信号の特性からも明らかなように、分割ＰＤから読み出される信号を単位画素セル３０１毎に加算して得られる画像信号において、次のような効果が得られる。即ち、各々の分割ＰＤの感度差によって生じる加算後の画像信号の入出力特性の非線形性を低減することが可能となる。これにより、鑑賞用に記録される画像信号そのものの画質の向上を行うことができる。

また、従来より知られている、各ＭＬ３０４を共有する複数の分割ＰＤから読み出される視差画像の信号の感度差補正と組み合わせることにより、更なる画質向上を図ることができる。図１７は、図１３に示す構成に、従来より知られている感度差補正のための構成を組み込んだ場合を示すブロック図である。なお、図１３と同様の構成には同じ参照番号を付し、説明を省略する。感度差補正値生成部２２０１は、データベース１７０４から得られる情報を基に、各ＭＬ３０４を共有する複数の分割ＰＤそれぞれから読み出される信号の感度差補正値を生成する。感度差補正部は２２０２は、感度差補正値生成部２２０１により生成された感度差補正値を用いて感度差補正を行う。

図１８は、感度差補正部２２０２における補正の様子を示したものである。ＬＡ、ＬＢ、及び１９０７は、図１５を参照して説明した飽和補正部１７０３において補正された後の入出力特性を示したものであり、２３０１がＭＬ３０４を共有する複数の分割ＰＤそれぞれから読み出される信号の感度差を補正した結果を示す。図１８に示すように、飽和補正部１７０３においてＰＤ１、ＰＤ２の、少なくとも一方から読み出される画素値が飽和してしまった場合でも、データベース１７０４に記録されている感度差情報に応じて、ＰＤ１、ＰＤ２の感度差が一定になるような補正を行う。そして、感度差補正部２２０２にてＰＤ１、ＰＤ２の感度差そのものを補正することによって、ＰＤ１、ＰＤ２の入出力特性をそろえることが可能となり、各視差画像内での感度差の影響を補正することも可能になる。また、第１の実施形態にも記載した焦点検出部５０３における焦点検出性能も、同様に向上させることが可能となる。

上記の通り本第３の実施形態によれば、マイクロレンズを共有する複数の分割ＰＤに感度差があった場合でも、各分割ＰＤの感度差情報に基づいて補正を行うことにより、該各分割ＰＤから得られる信号を加算して得られる画像信号について入出力特性の非線形性を低減させることが可能となる。また、従来より知られている感度差補正と組み合わせることで、従来よりも精度よく感度差補正を行うことが可能となる。

＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。なお、本第４の実施形態における撮像装置の構成は、図２〜図４を参照して説明したものと同様であるため、ここでは説明を省略する。本第４の実施形態は、画像処理部で行われるシェーディング補正処理が上述した第１〜第３の実施形態で説明したものと異なる。以下、図１９を参照して、本第４の実施形態におけるシェーディング補正処理について説明する。

図１９において、第１の補正部２４０２では、第２の実施形態で説明したシェーディング補正処理と同様の処理を行う。第２の補正部２４０３は、第３の実施形態で示したシェーディング補正部５０１と同様の構成を有する。データベース２４０４には、飽和補正値を生成するために必要な、瞳分割して読み出されたＭＬ３０４を共有する複数の分割ＰＤの瞳分割撮像系に起因した感度差に関する情報が記録されている。

セレクタ２４０５は、第１の補正部２４０２からの補正信号（ア）と第２の補正部２４０３からの補正信号（イ）を切り替えるセレクタである。情報取得部２４０７は撮影パラメータを取得し、切り替え判定部２４０６は、情報取得部２４０７により取得した撮影パラメータに基づいて、セレクタ２４０５の切り替え判定を行う。なお、撮影パラメータの詳細については、後述の制御にて説明を行う。

焦点検出部２４０８は、瞳分割信号を用いて焦点検出を行い、カメラ信号処理部２４０９は、瞳分割信号から映像信号を生成する。

次に、本第４の実施形態におけるシェーディング補正処理の流れについて説明する。撮像素子１２０から得られる画像信号は第１の補正部２４０２と第２の補正部２４０３にそれぞれ入力される。

第１の補正部２４０２は、上述した第２の実施形態で説明したように、データベース２４０４の情報に基づいてシェーディング補正を行う。補正方法の詳細については、第２の実施形態で説明済みであるため、ここでは説明を省略する。また、第２の補正部２４０３は、上述した第３の実施形態で説明したように、データベース２４０４の情報に基づいてシェーディング補正を行う。補正方法の詳細については、第３の実施形態で説明済みであるため、ここでは説明を省略する。

第１の補正部２４０２からの補正信号（ア）と、第２の補正部２４０３からの補正信号（イ）は、セレクタ２４０５に入力される。セレクタ２４０５は、切り替え判定部２４０６の切り替え情報に基づいて、後段の焦点検出部２４０８とカメラ信号処理部２４０９に出力する補正信号を、補正信号（ア）と補正信号（イ）とで切り替える。焦点検出部２４０８は、セレクタ２４０５からの補正信号を用いて既知の焦点検出処理を実施し、カメラ信号処理部２４０９は、セレクタ２４０５からの補正信号を用いて既知のカメラ信号処理を実施する。

切り替え判定部２４０６は、情報取得部２４０７から取得される撮影パラメータに基づいて、補正信号（ア）と補正信号（イ）のどちらを使用するのかを判定する。その判定結果が、切り替え情報として、セレクタ２４０５に入力される。以上が、本第４の実施形態における信号処理の流れである。

次に、図２０を用いて、第４の実施形態における信号処理の制御について説明する。なお、本第４の実施形態における撮影パラメータとは、現在の撮影状況における、光学系の絞り値、焦点距離、フォーカス情報（合焦状態）である。

まず、Ｓ２５０１において、切り替え判定部２４０６は、情報取得部２４０７より、現在の撮影における光学系の絞り値Ｆ、焦点距離ｆ、合焦評価値Ｇを取得する。なお、合焦評価値Ｇとは、瞳分割撮像系から得られる視差画像１の信号と視差画像２の信号より、既知の相関演算より求められる、被写体に対する合焦状態からの像ずれ量のことである。

Ｓ２５０２において、取得した光学系の絞り値Ｆを絞り値の閾値Ｆｍｉｎと比較する。絞り値Ｆが閾値Ｆｍｉｎより小さい場合は、Ｓ２５０３へ進み、そうでない場合は、Ｓ２５０７に進む。

ここで、絞り値Ｆと第１の補正部２４０２で生成される補正信号（ア）との関係について説明する。図２１は、ある画素位置における瞳分割画素の感度差と、第１の補正部２４０２の補正効果を示したものである。２６０１は視差画像１の入射光量と出力レベルのグラフであり、２６０２は視差画像２の入射光量と出力レベルのグラフを示している。２６０３は視差画像１と視差画像２の出力レベルの飽和レベルを示している。図２１に示す例では、視差画像１は視差画像２よりも小さい光量で飽和レベル２６０３に達するため、視差画像１の信号に対して、第１の補正部２４０２によるシェーディング補正を行って、２６０４のようなグラフが形成されることを想定している。

しかし実際には、図２２で示されるように視差画像１と視差画像２の間には、感度差だけでなく視差も発生する。図２２は、視差画像１と視差画像２とで視差が発生した場合の、各画素位置における出力信号のレベル差を示したものである。なお、ここでは感度差は考慮していていない。このように、ある画素位置ｘにおいて、視差画像１の信号レベル２７０１と視差画像２の信号レベル２７０２で差が発生している。

視差によって、例えば、視差画像２の出力レベルが正しい感度差のグラフである図２１に示す２６０２ではなく、それよりも小さいレベルである、グラフ２６０６のようになってしまうこともある。その結果、第１の補正部２４０２のシェーディング補正では、本来求めたい視差画像１の出力レベル２６０５よりも小さいレベル２６０７が求められてしまう。よって、視差が発生していると、上述の例で示したような出力レベルの誤推定が生じやすくなるため、レベル差が大きいエッジ被写体で偽色が発生し、映像信号の画質を損ねてしまう。従って、視差が生じている場合は、誤推定が無い第２の補正部２４０３で得られる補正信号（イ）を選択することが望ましい。

撮像素子１２０は、光学系の絞り値が小さくする、即ち絞りを開放側に近づけるほど、視差が大きくなり、逆に絞り値を大きくすると視差が小さくなる。そこで、誤推定による画質劣化が目立たない視差が発生する絞り値Ｆｍｉｎを予め定めておき、Ｆｍｉｎより小さな絞り値Ｆで撮影している場合は、補正信号（イ）を使用するような制御フローへ移行する。なお、誤推定による画質劣化が目立たない視差とは、例えば、画面中央と比較して視差が大きくなりやすい画面端における視差画像１と視差画像２の像ずれ量Ｌが、視差が生じていると判定される閾値Ｌ１よりも小さい、場合とする。

Ｓ２５０２で絞り値Ｆが絞り値Ｆｍｉｎよりも小さい場合Ｓ２５０３に進み、取得した光学系の焦点距離ｆを閾値ｆｔｌと比較する。焦点距離ｆがｆｔｌより大きい場合は、Ｓ２５０４に進む。そうでない場合は、Ｓ２５０５に進む。

ここで、焦点距離ｆと第１の補正部２４０２で生成される補正信号（ア）との関係について説明する。光学系の焦点距離ｆが大きくなると、視差による像ずれ量が大きくなるため、前述の誤推定による画質劣化が映像信号の広い範囲で発生してしまう。そこで、焦点距離ｆが、画質劣化が映像信号の広い範囲で発生する焦点距離ｆｔｌよりも大きい場合は、誤推定が無い第２の補正部２４０３で得られる補正信号（イ）を選択する。なお、画質劣化が映像信号の広い範囲で発生する焦点距離とは、例えば、画面中央からの所定距離離れた座標における視差画像１と視差画像２の像ずれ量Ｌが、視差が生じていると判定される閾値Ｌ２よりも大きい場合とする。

Ｓ２５０３で焦点距離ｆが焦点距離ｆｔｌよりも大きい場合、Ｓ２５０４に進んで補正信号（イ）を選択する。

Ｓ２５０３で焦点距離ｆが焦点距離ｆｔｌ以下の場合、Ｓ２５０５でに進んで、取得した光学系の焦点状態を示す合焦評価値Ｇを閾値Ｇｍｉｎと比較する。なお、ここでは合焦度が高い程、合焦評価値Ｇの値は小さくなるものとする。合焦評価値Ｇが閾値Ｇｍｉｎより大きい場合は、Ｓ２５０６に進み、補正信号（イ）を選択する。そうでない場合は、Ｓ２５０７に進む。被写体が非合焦の場合、被写体に対して視差が発生しているため、前述の誤推定による画質劣化が生じることから、非合焦時は、誤推定が無い第２の補正部２４０３で得られる補正信号（イ）を選択する。なお、合焦状態の判定としては、前述の合焦評価値Ｇが像ずれ量Ｇｍｉｎよりも小さい状況を合焦状態とする。

上述したＳ２５０２で絞り値Ｆが閾値以上の場合、Ｓ２５０３で焦点距離ｆが閾値以下の場合、そして、Ｓ２５０５で合焦評価値Ｇが閾値以下の場合、補正信号（ア）を選択する。

上記の通り本第４の実施形態によれば、マイクロレンズを共有する複数の分割ＰＤ間に感度差があった場合でも、分割ＰＤそれぞれの感度差情報に基づいた複数の補正を切り替えて使用する。これにより、分割ＰＤそれぞれから得られる信号を加算して得られる画像信号について、上述した実施形態よりも更に入出力特性の非線形性を低減させることが可能となる。

＜第５の実施形態＞
次に、本発明の第５の実施形態について説明する。なお、本第５の実施形態における撮像装置の構成は、図２〜図４を参照して説明したものと同様であるため、ここでは説明を省略する。本第５の実施形態は、上述した第１〜第４の実施形態とは、画像処理部１３０で行われるシェーディング補正処理が異なる。

情報取得部２４０７は、第４の実施形態と異なり、カメラ信号処理部２４０９からの映像信号を入力として撮影状況を推定した撮影シーン情報を、切り替え判定部２４０６へ出力する。切り替え判定部２４０６は、情報取得部２４０７から取得される撮影シーン情報に基づいて、補正信号（ア）と補正信号（イ）のどちらを使用するかを判定する。

次に、本第５の実施形態におけるシェーディング補正処理について、図２３のフローチャートを参照して説明する。まず、Ｓ２９０１において、切り替え判定部２４０６は、情報取得部２４０７より、撮影シーン情報を取得する。そしてＳ２９０２において、取得した撮影シーン情報が逆光シーンか否かを判定する。逆光シーンであった場合、Ｓ２９０３に進み、補正信号（イ）を選択する。逆光シーンでない場合はＳ２９０４に進む。

ここで、逆光シーンと第１の補正部２４０２で生成される補正信号（ア）との関係について説明する。逆光シーンでは、被写体（人物）と背景で大きな輝度差が生じやすいため、第１の補正部２４０２によるシェーディング補正では、被写体と背景の境界にて誤推定による偽色が発生する恐れがある。よって、逆光シーン時は、誤推定が無い第２の補正部２４０３で得られる補正信号（イ）を選択する。なお、逆光シーンの判定は、例えば、特開２０１１−１２８２１２号公報に記載の技術により実現することができる。

一方、Ｓ２９０４では、取得した撮影シーン情報が青空シーンか否かを判定する。青空シーンであった場合、Ｓ２９０５に進み、補正信号（ア）を選択する。そうでない場合はＳ２９０６に進む。

ここで、青空シーンと第２の補正部２４０３で生成される補正信号（イ）との関係について説明する。第２の補正部２４０３によるシェーディング補正は、感度差が大きくなるほど、映像信号の飽和レベルが小さくなる特徴がある。図１６（ａ）に示したように画面中央から水平方向に離れていくにつれ、感度差が大きくなると、水平方向に飽和レベルの変化が生じるため、飽和むらが生じてしまう。従って、画面に一様な空が撮影されている青空シーンにおいて、第２の補正部２４０３で得られる補正信号（イ）を使用すると、青空領域にて画面中央から端に向かって、飽和むらが発生してしまう恐れがある。よって、青空シーン時は飽和むらが生じない補正信号（ア）を選択する。なお、青空シーンの判定は、例えば、特開２００５−１６５６８４号公報に記載の技術により実現することができる。

Ｓ２９０６では、取得した撮影シーン情報が夜景シーンか否かを判定する。夜景シーンであった場合、Ｓ２９０７に進み、補正信号（イ）を選択する。そうでない場合はＳ２９０８に進む。

ここで、夜景シーンと第１の補正部２４０２で生成される補正信号（ア）との関係について説明する。夜景シーンは、高輝度の点光源と真っ暗な背景が存在する映像となりやすい。従って、高輝度の点光源と背景で大きな輝度差が生じやすいため、第１の補正部２４０２によるシェーディング補正では、高輝度点光源と背景の境界にて誤推定による偽色が発生する恐れがある。よって、夜景シーン時は、誤推定が無い第２の補正部２４０３で得られる補正信号（イ）を選択する。なお、逆光シーンの判定は、例えば、特開２０１０−１８３４９３号公報に記載の技術により実現することができる。

Ｓ２９０２、Ｓ２９０４、Ｓ２９０６のいずれの条件を満たさない場合、Ｓ２９０８において補正信号（ア）を選択する。

上記の通り本第５の実施形態によれば、マイクロレンズを共有する複数の分割ＰＤ間に感度差があった場合、各分割ＰＤの感度差情報に基づいた複数の補正を切り替えて使用する。これにより、各分割ＰＤから得られる信号を加算して得られる画像信号について、更に入出力特性の非線形性を低減させることが可能となる。

＜他の実施形態＞
なお、本発明は、複数の機器（例えば、撮像装置及び画像処理装置）から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

特開２０１１−２２３５６２号公報 特開昭６３−２７６０１０号公報

Claims (18)

1. 撮像光学系の射出瞳の異なる領域を透過した光束をそれぞれ光電変換して信号を出力する複数の光電変換部と、前記複数の光電変換部に対応する１つのマイクロレンズとからなる、複数の単位画素を有する撮像手段から得られた信号を処理する画像処理装置であって、
   前記複数の光電変換部それぞれから出力された信号が飽和しているかどうかを判定する判定手段と、
   前記複数の光電変換部のうち、前記判定手段により飽和していると判断された信号を出力した第１の光電変換部と同じマイクロレンズに対応する他の光電変換部である第２の光電変換部から出力された信号の補正の特性と該信号のレベルに基づいて、前記第１の光電変換部から出力された信号が飽和していない場合に得られる補正後の信号レベルを推定する推定手段と
   を有することを特徴とする画像処理装置。
2. 前記判定手段は、更に、前記第１の光電変換部と同じマイクロレンズに対応する他の光電変換部から出力された信号が飽和しているか、及び、予め決められた決められた閾値より小さいかを判定し、前記推定手段は、前記判定の結果、飽和しておらず、且つ前記閾値以上の光電変換部を、前記第２の光電変換部として、前記推定を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記推定手段は、前記判定の結果、前記他の光電変換部が全て飽和しているか、または全て閾値より小さい場合に、前記他の光電変換部のうち、最も感度の低い光電変換部の補正の特性及び該光電変換部が飽和した場合の信号のレベルに基づいて、前記推定を行うことを特徴とする請求項２に記載の画像処理装置。
4. 前記撮像手段により撮影を行ったときの撮影条件を取得する取得手段と、
   異なる撮影条件について、前記補正の特性を記憶した記憶手段と
   を更に有することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 撮像光学系の射出瞳の異なる領域を透過した光束をそれぞれ光電変換して信号を出力する複数の光電変換部と、前記複数の光電変換部に対応する１つのマイクロレンズとからなる、複数の単位画素を有する撮像手段から得られた信号を処理する画像処理装置であって、
   前記複数の光電変換部それぞれから出力された信号が飽和しているかどうかを判定する判定手段と、
   前記複数の光電変換部のうち、前記判定手段により飽和していると判断された信号を出力した第１の光電変換部の感度と、該第１の光電変換部と同じマイクロレンズに対応する他の光電変換部である第２の光電変換部の感度との差に基づいて、前記第１の光電変換部から出力された信号と、前記第２の光電変換部から出力された信号との差が、前記感度の差を維持するように、前記第１の光電変換部から出力された信号を補正する補正手段と
   を有することを特徴とする画像処理装置。
6. 前記複数の光電変換部のうち、前記判定手段により飽和していると判断された信号を出力した第１の光電変換部の感度と、該第１の光電変換部と同じマイクロレンズに対応する他の光電変換部である第２の光電変換部の感度との差に基づいて、前記第１の光電変換部から出力された信号と、前記第２の光電変換部から出力された信号との差が、前記感度の差を維持するように、前記第１の光電変換部から出力された信号を補正する補正手段と、
   前記複数の単位画素の同じ位置に配置された光電変換部から出力された信号から得られた複数の画像間の視差が予め決められた条件により大きいと判断された場合に、前記補正手段を選択し、前記視差が予め決められた条件により小さいと判断された場合に、前記推定手段を選択する選択手段と
   を有することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
7. 前記撮像手段により撮影を行ったときの絞り値及び焦点距離を取得する取得手段と、
   撮影した画像の合焦度を検出する検出手段とを更に有し、
   前記選択手段は、前記絞り値が予め決められた閾値以上の場合、及び、前記焦点距離が予め決められた閾値以下で、前記合焦度が予め決められた閾値以上の場合に、視差が小さいと判断し、前記絞り値が予め決められた閾値より小さく、前記焦点距離が前記予め決められた閾値よりも長い場合、及び、前記絞り値が前記予め決められた閾値より小さく、前記合焦度が前記予め決められた閾値よりも低い場合に、視差が大きいと判断することを特徴とする請求項６に記載の画像処理装置。
8. 前記複数の光電変換部のうち、前記判定手段により飽和していると判断された信号を出力した第１の光電変換部の感度と、該第１の光電変換部と同じマイクロレンズに対応する他の光電変換部である第２の光電変換部の感度との差に基づいて、前記第１の光電変換部から出力された信号と、前記第２の光電変換部から出力された信号との差が、前記感度の差を維持するように、前記第１の光電変換部から出力された信号を補正する補正手段と、
   前記複数の単位画素の同じ位置に配置された光電変換部から出力された信号から得られた複数の画像の輝度差が予め決められた条件により大きいと判断された場合に、前記補正手段を選択し、前記輝度差が予め決められた条件により小さいと判断された場合に、前記推定手段を選択する選択手段と
   を有することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
9. 撮影した画像のシーンを解析する解析手段を更に有し、
   前記選択手段は、前記画像が、逆光または夜景の場合に、前記輝度差が大きいと判断し、それ以外の場合に、前記輝度差が小さいと判断することを特徴とする請求項８に記載の画像処理装置。
10. 前記複数の光電変換部から出力された信号を、前記単位画素ごとに加算する加算手段を更に有することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記複数の単位画素の同じ位置に配置された光電変換部から出力された信号から複数の画像を構成し、当該複数の画像間の相関値に基づいて、焦点検出を行う焦点検出手段を更に有することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記撮像手段と、
    請求項１乃至１１のいずれか１項に記載の画像処理装置と
    を有することを特徴とする撮像装置。
13. 撮像光学系の射出瞳の異なる領域を透過した光束をそれぞれ光電変換して信号を出力する複数の光電変換部と、前記複数の光電変換部に対応する１つのマイクロレンズとからなる、複数の単位画素を有する撮像手段から得られた信号を処理する画像処理方法であって、
    判定手段が、前記複数の光電変換部それぞれから出力された信号が飽和しているかどうかを判定する判定工程と、
    推定手段が、前記複数の光電変換部のうち、前記判定工程により飽和していると判断された信号を出力した第１の光電変換部と同じマイクロレンズに対応する他の光電変換部である第２の光電変換部から出力された信号の補正の特性と該信号のレベルに基づいて、前記第１の光電変換部から出力された信号が飽和していない場合に得られる補正後の信号レベルを推定する推定工程と
    を有することを特徴とする画像処理方法。
14. 撮像光学系の射出瞳の異なる領域を透過した光束をそれぞれ光電変換して信号を出力する複数の光電変換部と、前記複数の光電変換部に対応する１つのマイクロレンズとからなる、複数の単位画素を有する撮像手段から得られた信号を処理する画像処理方法であって、
    判定手段が、前記複数の光電変換部それぞれから出力された信号が飽和しているかどうかを判定する判定工程と、
    補正手段が、前記複数の光電変換部のうち、前記判定工程により飽和していると判断された信号を出力した第１の光電変換部の感度と、該第１の光電変換部と同じマイクロレンズに対応する他の光電変換部である第２の光電変換部の感度との差に基づいて、前記第１の光電変換部から出力された信号と、前記第２の光電変換部から出力された信号との差が、前記感度の差を維持するように、前記第１の光電変換部から出力された信号を補正する補正工程と
    を有することを特徴とする画像処理方法。
15. 補正手段が、前記複数の光電変換部のうち、前記判定工程により飽和していると判断された信号を出力した第１の光電変換部の感度と、該第１の光電変換部と同じマイクロレンズに対応する他の光電変換部である第２の光電変換部の感度との差に基づいて、前記第１の光電変換部から出力された信号と、前記第２の光電変換部から出力された信号との差が、前記感度の差を維持するように、前記第１の光電変換部から出力された信号を補正する補正工程と、
    選択手段が、前記複数の単位画素の同じ位置に配置された光電変換部から出力された信号から得られた複数の画像間の視差が予め決められた条件により大きいと判断された場合に、前記補正工程を選択し、前記視差が予め決められた条件により小さいと判断された場合に、前記推定工程を選択する選択工程と
    を有することを特徴とする請求項１３に記載の画像処理方法。
16. 補正手段が、前記複数の光電変換部のうち、前記判定工程により飽和していると判断された信号を出力した第１の光電変換部の感度と、該第１の光電変換部と同じマイクロレンズに対応する他の光電変換部である第２の光電変換部の感度との差に基づいて、前記第１の光電変換部から出力された信号と、前記第２の光電変換部から出力された信号との差が、前記感度の差を維持するように、前記第１の光電変換部から出力された信号を補正する補正工程と、
    選択手段が、前記複数の単位画素の同じ位置に配置された光電変換部から出力された信号から得られた複数の画像の輝度差が予め決められた条件により大きいと判断された場合に、前記補正工程を選択し、前記輝度差が予め決められた条件により小さいと判断された場合に、前記推定工程を選択する選択工程と
    を有することを特徴とする請求項１３に記載の画像処理方法。
17. コンピュータを、請求項１乃至１１のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
18. 請求項１７に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images