JP2015163915A

JP2015163915A - 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体

Info

Publication number: JP2015163915A
Application number: JP2014039319A
Authority: JP
Inventors: 文貴中山; Fumitaka Nakayama
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-02-28
Filing date: 2014-02-28
Publication date: 2015-09-10
Anticipated expiration: 2034-02-28
Also published as: JP6362070B2

Abstract

【課題】焦点検出精度の向上および高画質画像の取得が可能な画像処理装置を提供する。
【解決手段】画像処理装置は、１つのマイクロレンズを共有する第１の光電変換部および第２の光電変換部を含む撮像素子から出力される画像信号を処理する画像処理装置であって、第１の光電変換部から得られる第１の信号および第２の光電変換部から得られる第２の信号のそれぞれが所定のレベルに達しているか否かを判定する判定手段と、判定手段からの情報に基づいて第１の信号または第２の信号を補正する補正手段と、第１の光電変換部と第２の光電変換部との視差量を算出する算出手段と、判定手段からの情報および算出手段からの情報に基づいて、補正後の第１の信号および第２の信号から得られた色情報を含む信号のレベルを低減させるゲイン設定手段とを有する。
【選択図】図１７

Description

本発明は、１つのマイクロレンズを共有する複数の光電変換部を備えた撮像装置に関する。

従来から、１つのマイクロレンズ（以下、「ＭＬ」）に対して複数の光電変換部（以下、「ＰＤ」）を含む撮像素子を備えた撮像装置が知られている。このような撮像装置は、複数の光電変換部の信号に基づいて複数の瞳分割像を生成し、複数の瞳分割像間での位相差に基づいて焦点検出（位相差方式の焦点検出）を行う。しかし、位相差方式の焦点検出では、シェーディングの影響を受けることにより、正しい焦点検出が困難となる場合がある。

特許文献１には、瞳分割像毎に適切なシェーディング補正を行う方法が開示されている。しかし、特許文献１では、飽和画素を考慮していないため、シェーディング補正を行うことにより、かえって焦点検出精度が低下する場合がある。一方、特許文献２には、瞳分割像毎に異なる補正量でシェーディング補正をする際に、飽和画素に対してシェーディング補正を行わないようにする構成が開示されている。

特開２０１１−２２３５６２号公報特開昭６３−２７６０１０号公報

ところで、１つのＭＬを共有する複数のＰＤ（分割ＰＤ）を備えた構成では、１つのＰＤ当たりの電荷蓄積容量が減少する。少なくとも一つの分割ＰＤが飽和すると、同一のＭＬを共有する複数のＰＤの出力を加算しても、飽和の影響により線形性のある感度特性が得られず、画質は劣化する。

また、位相差方式の焦点検出を行う際に、特許文献２の方法では飽和画素を用いないため、特許文献１のように不要な補正による影響を回避することは可能である。しかしながら、飽和画素は焦点検出に利用することができないため、焦点検出精度が低下する。仮に、飽和画素を焦点検出に利用したとしても、焦点検出精度は低下する。

そこで本発明は、焦点検出精度の向上および高画質画像の取得が可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供することができる。

本発明の一側面としての画像処理装置は、１つのマイクロレンズを共有する第１の光電変換部および第２の光電変換部を含む撮像素子から出力される画像信号を処理する画像処理装置であって、前記第１の光電変換部から得られる第１の信号および前記第２の光電変換部から得られる第２の信号のそれぞれが所定のレベルに達しているか否かを判定する判定手段と、前記判定手段からの情報に基づいて前記第１の信号または前記第２の信号を補正する補正手段と、前記第１の光電変換部と前記第２の光電変換部との視差量を算出する算出手段と、前記判定手段からの情報および前記算出手段からの情報に基づいて、補正後の第１の信号および第２の信号から得られた色情報を含む信号のレベルを低減させるゲイン設定手段とを有する。

本発明の他の側面としての撮像装置は、１つのマイクロレンズを共有する第１の光電変換部および第２の光電変換部を含む撮像素子と、前記第１の光電変換部から得られる第１の信号および前記第２の光電変換部から得られる第２の信号のそれぞれが所定のレベルに達しているか否かを判定する判定手段と、前記判定手段からの情報に基づいて前記第１の信号または前記第２の信号を補正する補正手段と、前記第１の光電変換部と前記第２の光電変換部との視差量を算出する算出手段と、前記判定手段からの情報および前記算出手段からの情報に基づいて、補正後の第１の信号および第２の信号から得られた色情報を含む信号のレベルを低減させるゲイン設定手段とを有する。

本発明の他の側面としての画像処理方法は、１つのマイクロレンズを共有する第１の光電変換部および第２の光電変換部を含む撮像素子から出力される画像信号を処理する画像処理方法であって、前記第１の光電変換部から得られる第１の信号および前記第２の光電変換部から得られる第２の信号のそれぞれが所定のレベルに達しているか否かを判定する判定ステップと、前記判定ステップにて得られた情報に基づいて前記第１の信号または前記第２の信号を補正する補正ステップと、前記第１の光電変換部と前記第２の光電変換部との視差量を算出する算出ステップと、前記判定ステップにて得られた情報および前記算出ステップにて得られた情報に基づいて、補正後の第１の信号および第２の信号から得られた色情報を含む信号のレベルを低減させるようにゲインを設定する設定ステップとを有する。

本発明の他の側面としてのプログラムは、前記画像処理方法をコンピュータに実行させるように構成されている。

本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施形態において説明される。

本発明によれば、焦点検出精度の向上および高画質画像の取得が可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供することができる。

第１の実施形態における画像処理部のブロック図である。シェーディングの影響の説明図である。第１の実施形態における撮像装置のブロック図である。第１の実施形態における撮像素子の単位画素セルの概略図である。第１の実施形態における撮像素子のカラーフィルタの配列図である。分割瞳とマイクロレンズを共有する複数の光電変換部への入射主光線との関係図である。射出瞳と絞り位置のずれにより生じるケラレの様子の説明図である。マイクロレンズと光電変換部とのアライメントの影響の説明図である。１つのマイクロレンズを共有する複数の光電変換部の射出瞳の大きさおよび形状の説明図である。画角または画像座標の変化に応じたシェーディングによる諧調変化の説明図である。シェーディング補正の際の飽和画素値の説明図である。相関演算における飽和画素の影響の説明図である。第２の実施形態における多点位相差測距による相関演算の説明図である。第１の実施形態において、周辺画素を考慮した抑圧の説明図である第１の実施形態における撮像装置の制御方法を示すフローチャートである。第３の実施形態における撮像装置のブロック図である。第１の実施形態におけるシェーディング補正手段および画像処理手段のブロック図である。第１の実施形態において、視差量と抑圧ゲインとの関係の説明図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照符号を付し、重複する説明は省略する。

（第１の実施形態）
まず、図３を参照して、本発明の第１の実施形態における撮像装置について説明する。図３は、本実施形態における撮像装置３００のブロック図である。撮像装置３００は、光学系３０１、撮像素子３０２、画像処理部３０３（画像処理装置）、および、ＣＰＵ３０４を有する。光学系３０１は、被写体１００から放射された光を撮像素子３０２上に結像（集光）させる。光学系３０１は、例えば、複数のレンズ、ミラー、絞り機構、および、フォーカスやズームのための駆動機構を備えて構成される。

撮像素子３０２は、１つのマイクロレンズ（以下、「ＭＬ」）に対応する（すなわち、１つのＭＬを共有する）複数の光電変換部（以下、「ＰＤ」）を有する。図４は、１つのＭＬを共有する複数の光電変換部を備えた撮像素子３０２の単位画素セル４０１の概略図である。図４（ａ）は、単位画素セル４０１の断面図を示し、図４（ｂ）、（ｃ）は、それぞれ、１つのＭＬを共有するＰＤを２分割、４分割した場合の正面図を示している。図４（ａ）に示されるように、１つのＭＬに対応する画素群により構成される単位画素セル４０１は、１つ目の分割ＰＤ４０２、２つ目の分割ＰＤ４０３、ＭＬ４０４、カラーフィルタ４０５、および、配線層４０６により構成される。図４（ｂ）、（ｃ）は、単位画素セル４０１におけるＭＬ４０４を共有する２分割ＰＤ４０２、４０３、および、４分割ＰＤ４０２、４０３、４０４、４０５の配置例を示している。図４（ｂ）、（ｃ）において、入射光は、ＭＬ４０４を通り、カラーフィルタ４０５によって分光特性を持ち、各分割ＰＤへ照射される。カラーフィルタ４０５は、一定周期の繰り返しで単位画素セル毎に配列される。

なお、以下の説明において、図４（ｂ）に示されるように１つのＭＬを共有する２つのＰＤを含む撮像素子を用いる場合、これらの２つのＰＤをそれぞれ第１の光電変換部（ＰＤ１）および第２の光電変換部（ＰＤ２）という。また、図４（ｃ）に示されるように１つのＭＬを共有する４つのＰＤを含む撮像素子を用いる場合、４つのＰＤのうち少なくとも一つを第１の光電変換部（ＰＤ１）、４つのＰＤのうち他の（残りの）少なくとも一つを第２の光電変換部（ＰＤ２）という。

図５は、本実施形態におけるカラーフィルタの配列図であり、２分割ＰＤ４０２、４０３の例を示す。図５において、カラーフィルタ４０５は、Ｒ、Ｇ、Ｇ、Ｂのセット（縦２×横２の単位画素セル）が周期的に配列された、一般的なベイヤー配列の場合を例示している。本実施形態の撮像素子３０２の構造および特徴は、単位画素セルが分割構造であることを除いて、一般的な撮像素子と同様である。

ＭＬ４０４は、光学系３０１により構成される主光学系（主レンズ）に対して視野レンズの役割を果たす。このため、分割ＰＤに到達する射出瞳からの光束は制限され、各分割ＰＤ上には、射出瞳の互いに異なる領域を通過した光束が到達する。すなわち第１の光電変換部および第２の光電変換部は、撮影光学系の射出瞳のうち互いに異なる領域を通過する光束を受光するように構成されている。このため、単位画素セルにおいて同一配列の画素、例えば、ＰＤ４０２のみの画素を、受光領域の全体から集めて構成した画像と、ＰＤ４０３のみの画素を集めて構成した画像との間には、視差が生じる。このような画像間の視差を利用することにより、焦点検出やステレオ画像処理が可能となる。画素間で視差を有する画像は、視差画像と呼ばれる。

また、一般的な太陽光などのコヒーレンスの低い光を照明とする撮影照明条件、および民生光学素子を利用する条件下では、分割瞳間の空間コヒーレンシーは低いとみなすことが可能である。このため、単位画素セル４０１中の各ＰＤ、例えば２分割４０２、４０３間、または、４分割４０２、４０３、４０４、４０５間の画素値の加算で得られる画像は、従来の非瞳分割光学系で撮影した像と略等価な値として得られる。この加算画像に対して、後述の画像処理部３０３に搭載の前処理および後処理からなる画像処理、または、一般的な画像処理を実行することにより、従来の撮像素子を用いた場合と同様の画像を得ることができる。

また、撮像素子３０２からは、一つのＭＬを共有する各ＰＤに対応する分割数分の視差画像信号が出力される。多くの場合、読み出し回路が共有され、例えばスイッチング回路の切り替えによる順次読み出しにより各視差画像信号が順次出力される。撮像素子によっては占有伝送帯域節約のため、２つ以上の視差画像間で四則演算、例えば２つ以上の視差画像を画素毎で加算した信号と非加算画像をセットで出力する。加算画像出力デバイスの場合、後述の画像処理部にて分離処理を行い、各視差画像に復元することにより、視差画像信号毎に出力した場合と等価な画像信号を得ることができる。

画像処理部３０３は、大きく分類すると、前処理部３０３１と後処理部３０３２とに分けることができる。前処理部３０３１は、撮像素子３０２で光電変換されたアナログ画像信号に対して相二重サンプリング（ＣＤＳ）によるノイズ除去、オートゲインコントロール（ＡＧＣ）によるゲインアップ、黒レベル補正、Ａ／Ｄ変換、キズ補正などの基礎的な処理を行う。そして前処理部３０３１は、各種処理後の信号をデジタル信号に変換した画像信号を得る。前処理部３０３１は、アナログ信号に対する前処理が主であるため、主要部はＡＦＥ（アナログフロントエンド）とも呼ばれる。デジタル出力センサと対で使われるものは、ＤＦＥ（デジタルフロントエンド）と呼ばれる。

一方、後処理部３０３２は、前処理部３０３１にてデジタル信号に変換された画像信号に対して絵作りに関する画像処理や記録・伝送のための符号化圧縮処理を行う。後処理部３０３２は、例えば、ベイヤー配列補間、線形化マトリクス処理、ホワイトバランス調整、ＹＣＣ変換、色差・階調・コントラスト補正、エッジ強調などの処理を行う。近年では、複数枚合成により広ダイナミックレンジ画像を生成するダイナミックレンジ拡張処理や超解像処理などの付加価値向上処理も後処理の一つとして分類される。これらの処理により、一枚または動画に形成された出力像の情報が生成される。またこれらの後処理は、前処理部３０３１のＡＦＥ処理に対してＤＢＥ（デジタルバックエンド）処理と呼ばれる。

そして、画像処理部３０３で生成された画像情報は、不図示のＤＲＡＭなどから構成されるワークメモリに一旦保存され、または、想定される後段の処理部に直接伝送される。後段の処理部としては、例えば、半導体メモリなどからなる記録部、液晶などのディスプレイから構成される表示部、無線ＬＡＮやＵＳＢなどの有線ケーブルを接続可能なＩ／Ｆ（インターフェース）から構成される外部入出力Ｉ／Ｆが挙げられる。

ＣＰＵ３０４は、撮像装置全体の動作を制御する制御手段である。ＣＰＵ３０４は、例えば、光学系３０１のフォーカス、ズーム、絞りなどを制御する。ＣＰＵ３０４からの命令に基づいて、光学系３０１のコンポーネントに含まれるレンズ群や絞りが駆動される。すなわちＣＰＵ３０４は、フォーカス距離、焦点距離、絞り値などのカメラパラメータの状態情報を常に管理している。

一つのＭＬに対して複数のＰＤを含む撮像素子３０２を有する場合、または、その映像信号を入力とする画像処理装置において、画像処理部３０３、主に前処理部３０３１が本実施形態の主要要素である画素値のシェーディング補正処理を実施する。また後処理部３０３２は、付加価値的な処理である視差画像を用いた測距処理および画素加算に基づく観賞用画像生成を行う。画像処理部３０３にて得られた測距情報は、ＣＰＵ３０４に伝送され、ＣＰＵ３０４はこの情報に基づいて、光学系３０１のフォーカシング（フォーカス制御）を行う。フォーカシング後の被写体距離やその際の絞り値、ズーム状態などのカメラパラメータは、ＣＰＵ３０４に保持される。より高精度なカメラパラメータを制御に用いる場合、光学系３０１のユニットに搭載される不図示のエンコーダを用いてカメラパラメータの状態を測定し、測定された状態をＣＰＵ３０４に記録する。

前述の装置の構成における前処理および後処理の定義付け、各処理部に含まれる画像処理の分類およびグループ分けや順番は、近年の急速な画像処理の発展およびデバイスの進化の影響を受け、曖昧なものとなっている。例えば、シェーディング補正処理を、測距や観賞用画像生成処理等の後半の後処理の一部として実施することもありうる。また逆に、視差画像間の画素加算を基礎的な画像処理と位置付け、前半の前処理として実施することもありうる。加えて、従来主流であったＡＦＥでは、シェーディング補正のような複雑な処理は苦手のため、ＤＢＥで実施されていた。しかし、ＤＦＥが主流となりつつある現在、処理の共通性から前処理として実施されるなどの影響がある。また、撮像素子３０２が画像処理回路をオンチップで含む場合、前処理および後処理、一つのＭＬを共有する複数ＰＤを持つ撮像素子３０２に特有のシェーディング補正、測距処理、観賞用画像生成のための画素加算の全てを撮像素子３０２内で実施してもよい。また、画素加算した視差画像と非加算画像のセットを出力とする撮像素子３０２の場合、本実施形態のシェーディング補正および測距処理前に加算画像と非加算画像の間で分離処理、例えば画素単位レベルの四則演算を行い、各視差画像に分離する処理が追加される。

このように、本実施形態に適用可能な装置および処理の構成は様々であり、以下説明する画素値のシェーディング補正処理は、前述の装置や処理構成、およびその順番に制限されるものではない。このため、以下、撮像素子３０２の出力の前述した些細な組み合わせなどの条件の違い、処理順の違いを省いた条件下で、本実施形態の主要要素である画素値のシェーディング補正処理について説明する。

次に、図１を参照して、本実施形態におけるシェーディング補正を行う画像処理部３０３（画像処理装置）について説明する。図１は、本実施形態における画像処理部３０３のブロック図である。画像処理部３０３は、シェーディング補正手段３０３３、画像処理手段３０３４、および、測距手段３０３５（焦点検出手段）を有し、シェーディング補正を実行可能に構成されている。

図１に示されるように、画像処理部３０３には、１つのＭＬに対して複数のＰＤを有する撮像素子３０２で撮影した複数の視差画像（画像信号）が入力される。撮像素子３０２から出力された画像信号に対するＡ／Ｄ変換などの前処理、および、画像信号の一部が加算画像の場合の分離処理は実施済みであるとする。シェーディング補正手段３０３３は、瞳分割系を考慮したシェーディング補正を実施し、飽和の影響を補正した複数枚からなる一群の視差画像を出力する。画像処理手段３０３４は、画素加算処理により得られた加算画像に基づいて、観賞用画像を生成する。観賞用画像への変換を行う画像処理手段３０３４は、ベイヤー配列補間や符号化圧縮などを行う後処理部３０３２に対応する。測距手段３０３５は、補正済みの複数の視差画像（補正後の第１の信号および第２の信号）に基づいて、測距処理（焦点検出処理）を行う。また、複数の視差画像は、密な奥行情報の取得に利用し、不図示の記録部に保存し、または、外部入出力Ｉ／Ｆから出力して外部の画像処理手段の入力として利用してもよい。

シェーディングは、大きく分けて二種類の影響により生じる。図２は、シェーディングの影響を説明する図である。図２（ａ）は、通常の非瞳分割光学系においても不可避の周辺光量低下を主とするシェーディングを示している。図２（ｂ）、（ｃ）は、本実施形態の対象である瞳分割光学系に特有のシェーディング（左右２分割の場合、上下左右４分割の場合）をそれぞれ示している。シェーディング補正は、両方の影響を低減するように行う。実際の処理の実行においては、２つの影響を合算して考慮した補正を実施することが効率的である。

前述のように、光学系３０１と、撮像素子３０２の単位画素セル４０１内のＭＬおよび１つのＭＬに対して複数の光電変換部を有する撮像素子３０２とを組み合わせることにより、瞳分割光学系を構成することができる。図２（ｂ）の傾向から観察可能なように、瞳分割に伴うシェーディングは、複数の視差画像間で瞳分割方向に偏ったシェーディングを生じる。以下、最初にＭＬを共有する複数のＰＤを持つ撮像素子３０２を用いることにより生じる特有のシェーディング要因について説明する。

図６は、分割瞳（射出瞳を分割した部分領域）と１つのマイクロレンズ（ＭＬ）を共有する複数の光電変換部ＰＤへの入射主光線との関係を示す図である。図６（ａ）は全瞳に対応する画像中心近傍の単位画素セルへの入射主光線の説明図、図６（ｂ）は画像周辺部の単位画素セルへの入射主光線の説明図である。ここで、画像中心とは、光学系３０１の光軸と撮像素子３０２上に形成される画像面との交点である。

図６（ａ）においては、各分割瞳から入射する主光線の角度は略等しい。一方、画像周辺部の単位画素セルに入射する各分割瞳からの主光線の角度は、図６（ｂ）に示されるように、単純な幾何学的関係に基づき相対的に大きく異なる。この結果、一般的なシェーディング要因であるＣＯＳ４乗測の影響により、１つのＭＬを共有する対となる画素間で、被写体の同一点からの等しい輝度または照度の光束を投影しても、画素値には差が生じる。これが、分割瞳光学系に生じる特有のシェーディングの主要な原因である。ＣＯＳ４乗測の影響は、主レンズからＰＤまでの距離が１つのＭＬを共有する対となる画素間で著しく異なる場合、主光学系の瞳サイズが同様に異なる場合、画像中心からの当該単位画素セル４０１の距離が同様に著しく大きい場合には顕著となる。ここで、主レンズからＰＤまでの距離とは、物理的な距離ではなく主レンズを構成するレンズ群を１つの合成レンズに換算した際の仮想距離を指す。

ＣＯＳ４乗測は、ケラレのない理想状態、例えば長焦点距離のレンズの場合、瞳分割特有のシェーディング現象を忠実にモデリングする。一方、短焦点距離のレンズでは、鏡筒やレンズ保持部によるケラレに起因するシェーディングが生じやすく、主要な要素となる場合が多い。また、ズームやフォーカス制御により射出瞳が移動するのに対し、絞り位置が移動しない場合にはケラレによるシェーディングがさらに生じ易くなる。

図７は射出瞳と絞り７００の位置（絞り位置）のずれにより生じる偏りを持ったケラレの様子を説明する図である。図７（ａ）は、射出瞳と絞り位置とが互いに一致する場合を示す図である。通常、光学系３０１における絞り位置は、画角変動に対し、周辺光線の経路の変動が一番小さくなる射出瞳の位置に設定される。このため、画像中心近傍の画角に対するケラレと、画像周辺部に対するケラレの間には大差がない。図７（ａ）において、左側の円は画像周辺部から見た射出瞳７０１、右側の円は画像中心部から見た射出瞳７０２である。射出瞳７０１、７０２は、略同じ形状および大きさを有する。

しかしながら、ズームやフォーカス制御状態によっては、光学系３０１に含まれる絞り位置に対し、射出瞳が光軸方向にずれを生じる場合がある。図７（ｂ）は、撮像素子３０２の周辺部に到達する光束に対しては、ずれた位置に移動した絞りにより、射出瞳が偏心した形でケラレが生じる状態を表す。この場合、画像中心近傍の画角と周辺部の画角の間で特有のシェーディングを生じる。図７（ｂ）において、左側の円は画像周辺部から見た射出瞳７０３、右側の円は画像中心部から見た射出瞳７０４である。射出瞳からずれた位置に設置された絞り７００による遮蔽を受け、周辺画角から見た瞳（射出瞳７０３）は小さくなる。加えて、光学系３０１の合成主点が撮像素子３０２の近くに位置する場合、周辺部に近づくにつれて単位画素セルにおいて光学系３０１の主レンズとＭＬを結ぶ光軸が大きく傾く可能性がある。

図８は、マイクロレンズＭＬと光電変換部ＰＤとのアライメントの影響を説明する図である。図８（ａ）に示されるような画像周辺部の画角の単位画素セルについて説明する。ＭＬとＰＤとのアライメントが適切な場合、図８（ｂ）に示されるように、射出瞳ＥＰからの光束を効率良く各ＰＤで受光することが可能である。一方、ＭＬとＰＤとのアライメントが適切になされていない場合、図８（ｃ）に示されるようになる。ここで、撮像素子３０２側が光学系３０１の高いテレセントリック性を想定し、ＭＬとＰＤとのアライメントは略等ピッチである。一方、光学系３０１のテレセントリック性が低い場合、別の分割画素に入射すべき光束が隣接ＰＣに入射してクロストークが発生、または、図８（ｃ）に示されるように光束の一部が画素構造や配線層４０６によってケラレを生じ、相対的な光量低下を引き起こす。これは、前述の鏡筒やレンズ保持部により生じるケラレと同様に、各ＰＤの断面積から見える射出瞳サイズの縮小として影響が現れ、画像周辺部の画角ほど影響が大きくなるためである。

図９は、１つのマイクロレンズＭＬを共有する複数の光電変換部ＰＤの射出瞳の大きさおよび形状の説明図であり、２分割（２ｄｉｖｉｄｅｄ）の場合および４分割（４ｄｉｖｉｄｅｄ）の場合のそれぞれを示している。図９に示されるように、前述の複合的要因により、ＰＤの射出瞳の大きさおよび形状は、単位画素セルにおける位置に応じて変化する。図９中の左下は、画像中心近傍の画角の単位画素セルから見た射出瞳の模式図である。画像中心近傍の場合、１つのＭＬを共有する複数のＰＤ毎に見込む射出瞳形状は略同一となる。被写体が均一な輝度または照度面であって、合焦して同一物点を投影している場合には画素値は略同一となる。

一方、図９中の右上は、撮像素子３０２の周辺部の画角の画素セルから見た射出瞳の模式図である。各ＰＤ間でケラレ量が異なるため、射出瞳の形状および大きさには差が生じ、得られる画素値に差が生じる。ただし、鏡筒やレンズ保持部により生じるケラレ形状は鏡筒形状などに依存して複雑な形状となる。また、光学系３０１と撮像素子３０２との間での想定するテレセントリック特性のずれに起因するケラレ形状は、相対的な特性のずれにより影響の大小が変化して方向反転が生じる。よって、図９に示される形状は模式的なものにすぎず、画素値の光量差に影響する相対サイズの変化を表す近似的なものである。

前述のように、ＣＯＳ４乗則による影響、および各分割瞳から見た射出瞳の大きさの違いの影響により、シェーディングが発生して１つのＭＬを共有する各ＰＤ間での受光量に差が生じる。その結果、均一な輝度または照度の平面を撮影しても、２分割の場合は図２（ｂ）、４分割の場合は図２（ｃ）に示されるように方向性を有する、空間的に不均一な諧調差を持ったシェーディングが発生する。

図１０は、画角または画像座標の変化に応じたシェーディングによる諧調変化（シェーディング特性）の説明図である。図１０は、被写体が均一な輝度または照度面の場合の像のプロファイルに相当する。図１０において、横軸は、画像中心を通る瞳分割方向に対する画像座標（画像の画素位置）である。図１０の縦軸は、撮像素子３０２の各単位画素セルの瞳分割ＰＤから得られる諧調値（または係数）である。図１０（ａ）は、瞳分割を行わない撮像素子、または、画素加算後に対応する非瞳分割時の光学系起因の減光特性を示している。一般的なシェーディング影響により、周辺画角に行くほどに諧調値に減光作用が生じる。

図１０（ｂ）は、瞳分割時の瞳分割起因のシェーディングによる諧調変化の分布図である。ここでは、１つのＭＬを共有する２つのＰＤ（２分割ＰＤ）における等輝度光を入射した場合の諧調値の分布の違いを示している。対となる一方の視差画像を視差画像１、他方を視差画像２とする。単位画素セル画素構造における左右のいずれが視差画像１または視差画像２であるかは、前述のシェーディング要因の条件により変化する。このため、図１０（ｂ）の関係は厳密ではない。横軸の同じ２曲線上のサンプリング値は、同一の画像座標の諧調差、撮像素子３０２の観点で言い換えれば、１つのＭＬを共有するＰＤの諧調差、または感度差を表す。ＰＤは画像の周辺部に行くほどシェーディングの影響を受ける。このため、１つのＭＬを共有する複数のＰＤに対して等輝度光を入射した場合であっても大きな諧調差を生じる。

図１０（ｃ）は、シェーディングの影響による図１０（ａ）、（ｂ）を合成し、同時に考慮した場合のシェーディング特性である。図１０（ａ）の非瞳分割時の光学系起因のシェーディングおよび図１０（ｂ）の瞳分割起因のシェーディングの影響は、画像中心を基準とする、少なくとも瞳分割方向の座標位置を変数とする補正係数を用いたゲイン補正により補正される。画像中心を基準とする瞳分割方向の座標位置の変数とは、具体的には、水平方向の２分割の瞳分割の場合には水平座標、水平垂直方向の４分割の瞳分割の場合には水平および垂直方向の画像座標を表す変数である。図１０（ｄ）は、図１０（ｃ）の合成シェーディング特性に対するシェーディング補正パラメータの一例である。補正パラメータを変数である画像座標の対応する諧調値に乗算することにより、シェーディング補正が実施される。シェーディング補正パラメータが図１０（ｄ）のように１以上の拡張方向に係数を持つ場合、係数によるゲイン補正と同時にスケーリングまたはビット深度の拡張を実施することが好ましい。図１０（ｅ）は、その補正結果である。視差画像間、各視差画像内でシェーディングの影響が補正され、均一な感度、言い換えれば等しい諧調特性が得られる。

前述の瞳分割に関するシェーディング補正パラメータ、例えば、水平座標を変数とする補正係数や水平垂直座標を変数とする補正係数は、撮像装置設計時の設計パラメータまたは撮像装置を用いた計測により作成する。補正係数は、前述の非瞳分割時の光学系起因のシェーディング特性を含んだ形でも作成可能である。

具体的には、補正係数は、光学系３０１（撮影光学系）、撮像素子３０２、および、絞りなどを含む鏡筒構造、および、ズーム、焦点距離、絞り値などの撮影時のカメラパラメータに基づく光学計算、例えば幾何光学演算による計算により求められる。実際には、光学設計ＣＡＤの機能を利用する場合が多い。まず、光学系３０１を設計した光学系設計ＣＡＤを利用し、等照度面を撮影した場合の諧調分布からなるシェーディングデータを分割瞳毎に光線追跡により計算する。その際、鏡筒やレンズ保持部のデータも用いて、鏡筒やレンズ保持部によるケラレも考慮したシェーディングの影響を演算する。図１０（ｃ）に示されるように、図１０（ａ）の非瞳分割時の光学系起因のシェーディングおよび図１０（ｂ）の瞳分割起因のシェーディング特性を同時に考慮したシェーディング特性が得られ、補正時に効率的な計算が実現可能である。そしてこの諧調分布を、画像中心座標を基準に等諧調となるような補正係数を水平座標または水平垂直座標を変数として分割瞳毎に算出する。前述のように、図１０（ｄ）は合成補正パラメータであり、図１０（ｃ）のシェーディング特性を補正するパラメータとして計算される。

前述の光学系設計ＣＡＤとしては、ＳｙｎｏｐｓｙｓＩｎｃ．（ＯＲＡ）社開発のＣＯＤＥＶおよびＬｉｇｈｔＴｏｏｌｓ、ＲａｄｉａｎｔＺＥＭＡＸＬＬＣ．社開発のＺＥＭＡＸ等の製品が代表的なものとして挙げられる。これら設計ＣＡＤは撮像面におけるシェーディングの影響を光線追跡に基づき計算する専用コマンドを備える。また、配線層４０６に起因する、より詳細なケラレ効果を考慮したシェーディング特性を計算する場合であって、特に基本機能が不足する場合、各設計ソフトに備えられたマクロ機能を利用して画素セルの構造モデルを計算に含めることにより、実現可能である。マクロにより、図４（ａ）に示される単位画素セル４０１の構造を光線追跡時に考慮できるように入力する。画素セル構造の波動光学的影響を厳密に計算する場合、連携機能を用いて有限要素法などによる構造解析可能なソフトによる計算出力を用いてシェーディングによる影響を計算する。また、補正パラメータは、撮像装置を用いた計測により作成してもよい。等照度面を撮影した際の各単位画素セルの分割瞳毎の諧調値からシェーディングデータを計測し、この諧調分布を、画像中心座標を基準に等諧調となるような補正係数を水平座標または水平垂直座標を変数として分割瞳毎に算出してもよい。

事前に設計ＣＡＤによる計算、または測定により得られた補正パラメータは、画像処理部３０３に含まれる不図示のＲＯＭなどの記録部に保存される。補正パラメータは、カメラパラメータに対して代表的な組み合わせに対してのみ用意してもよく、または、全てのパラメータ変数の定義域範囲をカバーするような多次元テーブル形式で用意してもよい。

撮像素子３０２のダイナミックレンジが十分広く、瞳分割数が少なく、シーンの輝度範囲が狭く、かつ撮像装置３００の露出条件が適切な場合、撮影画像の諧調値はほぼ飽和することなく諧調値が得られる。このため、本実施形態のシェーディング補正により、視差画像間の諧調差が適切に補正され、視差画像間の位相差測距等が十分精度良く実現可能である。一方、撮像素子３０２のダイナミックレンジが狭い場合、瞳分割数が多い場合、シーンの輝度範囲が広い場合、または、撮像装置３００の露出条件が低輝度部分に不適切に適応され撮影が行われた場合、画像内の高諧調部分に飽和が発生する。飽和画素に本実施形態のシェーディング補正を実施すると、視差画像の対応する画素間で逆に疑似的な諧調差を生じてしまう。

図１１は、シェーディング補正の際の飽和画素値の説明図であり、２分割ＰＤの場合を例として示している。図１１（ａ）は、本実施形態の飽和対策を行わない場合において、光電変換ユニットに含まれる２つの光電変換素子ＰＤ１、ＰＤ２の出力特性、およびＰＤ１とＰＤ２の出力の合成出力特性を示す。合成出力は、少なくとも光電変換素子の信号を加算することで得られる。合成出力は平均化によって取得してもよい。また、増幅などの追加処理を実施してもよい。図１１は、説明のため、ＰＤ１のほうがＰＤ２より感度が高い場合、すなわちＰＤ１のほうがＰＤ２よりも光が多く入力している場合を示している。

光電変換素子ＰＤ１、ＰＤ２への入射光が範囲１１０１内の場合、ＰＤ１のほうがＰＤ２よりも発生電荷が多い。ＰＤ１は未飽和のため、ＰＤ１とＰＤ２を合成した出力は適切な出力が得られる。ところが、入射光が範囲１１０２内の場合、ＰＤ１が飽和してＰＤ２が未飽和である。この場合、ＰＤ２のみが、入射光に応じて線形性を有した信号が出力される。このため、範囲１１０２内でシェーディング補正した信号には諧調差が生じる。このような問題に対しては、特許文献２（特開昭６３−２７６０１０号公報）などにおいて、１つのＭＬを共有する複数のＰＤのうち少なくとも一つの画素が飽和画素の場合、その画素間の演算を相関演算の対象から外すという対策が提案されている。

図１２は、相関演算における飽和画素の影響の説明図である。図１２（ａ）は、飽和領域を含む相関におけるプロファイルを示す。例えば、視差画像１（１２０１）および視差画像２（１２０２）をシフトさせつつ差分の絶対値総和演算を行い、相関を計算する。図１２（ａ）は、シェーディング補正を行わない場合の相関演算の例である。飽和諧調画素の境界近傍の特徴が相関において良い影響を与える。しかしながら実際には、非飽和領域においてはシェーディングの影響により合焦の位相位置でも画素値に差が生じ、相関演算精度は低下する。

図１２（ｂ）は、シェーディング補正後の画素置換で相関演算を行う例である。逆に、非飽和領域においてはシェーディング補正の効果により相関演算精度は向上する。一方、飽和諧調画素の部分では、画像周辺部でシェーディング特性が異なると、等輝度または等照度物点を射影した画素の対であってもその諧調はシェーディング補正の弊害を受け、異なってしまう。

図１２（ｃ）は、１つのＭＬを共有する複数のＰＤのうち少なくとも一つの画素が飽和画素の場合、その画素間の演算を相関演算の対象から外す場合を示している。点線部で囲まれた領域が少なくとも一方の画素が飽和している領域となる。図示されたプロファイル特性のようなテクスチャ性の低い場合、飽和領域を除くと、図１２（ｃ）のプロファイルの飽和の右側にあるような微小な特徴のみを用いて相関演算せざるを得ない状況が多くなり易い。このため、相関演算の信頼度が低下する。微小特徴は、照明変化やノイズで生じた偽対応特徴である可能性も高い。

また飽和は、１つのＭＬを共有する複数のＰＤの諧調値の総和による観賞用画像生成にも影響する。図１１（ａ）の合成出力は、ＰＤ１が飽和する範囲１１０２では、ＰＤ２の出力のみに依存して諧調が変化する。結果として、合成出力は、ＰＤ２が飽和したところから、ニー特性と呼ばれる入力に対する非線形な感度特性を有する。このようなニー特性を持って取得した諧調値は、特に図５に示されるようなカラーフィルタ配列を有する撮像素子３０２で撮影し、後段の画像処理部でカラー画像として処理する際、色ずれ、色曲がり、色シェーディングなどと呼ばれる目立つ現象として現れる。

そこで本実施形態は、飽和画素に対し、１つのＭＬを共有する少なくとも一つの非飽和画素がある場合、１つのＭＬを共有する非飽和の画素の諧調値により、シェーディング特性値または補正値を用いて、飽和画素値が非飽和な場合の諧調値を推定する。飽和画素とは、シェーディング補正前の諧調値について、ある閾値を超える諧調値を持つ画素である。閾値は、撮像素子に固有のノイズや信号の揺らぎ等を考慮して決定される。換言すると、１つのＭＬを共有するいずれかのＰＤが所定のレベル以上の場合、すなわち飽和とみなせる場合、所定レベルに未達の画素レベルに基づいて、飽和画素に飽和が生じない時のレベルを推定し、感度差を補正する。つまり、シェーディング補正手段は、同一の単一画素セルに含まれる分割瞳画像に対応する複数の光電変換部から得られる撮像信号のうち、少なくとも１つ以上が所定レベル以上の場合、所定レベル以上の画素を飽和とみなす。そして、所定レベルに未達の画素のレベルに基づいて、飽和画素に飽和が生じないときのレベルを推定して感度差を補正する。

図１１（ｂ）は、本実施形態の飽和対策の処理方法を示す図である。非飽和の低輝度の信号ＰＤ２に基づいて、飽和しているＰＤ１の本来の諧調を推定する。等輝度または等照度の同じ被写体を投影していると想定して推定を行う。推定にはシェーディング特性情報または補正情報を用いる。一方から他方を算出可能である。同一座標の視差画像１と視差画像２のシェーディング特性データ、および、ＰＤ２の諧調値を用いて、以下の式（１）により、シェーディング補正前の諧調値を推定することができる。

ただし、実際にはシェーディング補正後の諧調値が得られればよい。このため、式（１）は以下の式（２）で表されるようにより簡単に記述される。

このような補正を実施することにより、図１１（ａ）に示されるようにすぐに飽和するＰＤ１の諧調を、より広ダイナミックレンジで計測可能となる。各視差画像を補正するため、範囲１１０２の入力諧調領域において、合成出力画像においても推定が反映され、図１１（ｂ）に示されるような線形特性を維持した推定合成特性が実現可能である。図中の太線が補正により得られる特性直線である。

しかしながら、１つのＭＬを共有する一部の分割瞳画素が飽和画素であるのに対し、残りの非飽和画素の信号レベルが飽和画素の信号レベルに対応する最低値に満たない場合、視差により対応しない別の物体点が投影されている可能性が高い。このため、上記方法では正しく推定することができない。図１１（ｃ）は、その場合（２分割の場合）の例を示している。高輝度側信号レベル１１０４が既に飽和しているのに対し、未飽和の低輝度側信号レベル１１０５が、シェーディング特性から推定される飽和に対応する最低諧調閾値１１０３に満たない場合を考える。この場合、通常シーンにおいては、該当画素は非合焦部分の異なる被写体の写像、すなわち視差が発生している可能性が高い。このため、視差が発生している画素で、分割瞳画素の一方が飽和画素である場合、上記方法で推定した値は本来の信号値とは異なる。このため、合成出力信号おいて、本来の色とは異なる色づきが発生してしまう。

そこで本実施形態の撮像装置３００は、分割瞳画素の一部の画素が飽和している場合、当該画素に発生している視差量に基づいて、後段の彩度抑圧手段を用いて色づきを抑える処理を行う。続いて、図１７および図１８を参照して、彩度抑圧手段（ゲイン設定手段）による色づきを抑える処理について説明する。

図１７は、本実施形態の画像処理装置の一部を構成するシェーディング補正手段および画像処理手段のブロック図である。図１７において、シェーディング補正手段１７００および画像処理手段１７１０は、それぞれ、図１中のシェーディング補正手段３０３３および画像処理手段３０３４に相当する。図１８（ａ）は瞳分割撮像系の感度差特性の関係、図１８（ｂ）は抑圧ゲインの決定に関する説明図であり、２分割の場合を例にとり説明する。

図１７において、１７０１は飽和判定手段（判定手段）である。飽和判定手段１７０１は、第１の光電変換部（ＰＤ１）から得られる信号（第１の信号）および第２の光電変換部（ＰＤ２）から得られる信号（第２の信号）のそれぞれが所定のレベル（飽和レベル）に達しているか否かを判定する。すなわち飽和判定手段１７０１は、図１に示される瞳分割撮像系（撮像素子３０２）から得られる画像信号（瞳分割信号）の信号レベルが飽和しているか否かを判定する。そして飽和判定手段１７０１は、その判定結果（飽和判定情報）を後述する飽和補正値生成手段へ送る。１７０２は飽和補正値生成手段である。飽和補正値生成手段１７０２は、飽和判定手段１７０１から得られる判定結果（飽和判定情報）に基づいて、画像信号を補正するための飽和補正値を生成する。

１７０３は飽和補正手段（補正手段）である。飽和補正手段１７０３は、飽和判定手段１７０１からの情報に基づいて第１の信号または第２の信号を補正する。すなわち飽和補正手段１７０３は、飽和補正値生成手段１７０２により生成された飽和補正値を用いて、画像信号（瞳分割信号）を補正する。１７０４はデータベースである。データベース１７０４は、飽和補正値を生成するために必要な、瞳分割して読み出された視差画像の同一画素部を構成する各々のＰＤの瞳分割撮像系に起因した感度差に関する情報が記録されている。この情報は、飽和補正値生成手段１７０２が飽和補正値を生成する際に利用される。

１７１１は画像加算手段である。画像加算手段１７１１は、シェーディング補正手段１７００から出力された瞳分割信号（補正後の瞳分割信号）を加算して、１つの画素信号を出力する。１７１２は画像信号処理手段である。画像信号処理手段１７１２は、例えば、ベイヤー配列補間、線形化マトリクス処理、ホワイトバランス調整、ＹＵＶ変換、色差・階調・コントラスト補正、エッジ強調などの各種処理を行い、ＹＵＶ信号を出力する（Ｙ：輝度信号、ＵＶ：色差信号）。

１７１３は視差量算出手段（算出手段）である。視差量算出手段１７１３は、第１の光電変換部（ＰＤ１）と第２の光電変換部（ＰＤ２）との視差量を算出する。すなわち視差量算出手段１７１３は、瞳分割撮像系（撮像素子３０２）から得られる信号レベルの情報（瞳分割信号）に基づいて、視差量を算出する。１７１４は抑圧ゲイン算出手段である。抑圧ゲイン算出手段１７１４は、視差量算出手段１７１３により算出された視差量に基づいてゲイン（抑圧ゲイン）を算出する。

１７１５は彩度抑圧手段（ゲイン設定手段）である。彩度抑圧手段１７１５は、飽和判定手段１７０１からの情報および視差量算出手段１７１３からの情報に基づいて、補正後の第１の信号および第２の信号から得られた信号（ＵＶ信号などの色情報を含む信号）のレベルを低減させる。すなわち彩度抑圧手段１７１５は、画像信号処理手段１７１２から出力されたＹＵＶ信号に対して、視差量に応じて抑圧ゲイン算出手段１７１４により算出された抑圧ゲインをＵＶ信号（色差信号または色信号）に乗算して出力する。

続いて、飽和判定手段１７０１、視差量算出手段１７１３、抑圧ゲイン算出手段１７１４、および、彩度抑圧手段１７１５について詳述する。まず、飽和判定手段１７０１について説明する。図１８（ａ）は、２分割の感度差特性を示したものであり、ＰＤ１、ＰＤ２の出力をそれぞれＶａｌ１、Ｖａｌ２とする。図１８（ａ）はＰＤ１の感度がＰＤ２の感度よりも高い例を示しており、視差量が０であるならば、ＰＤ１がＰＤ２よりも先に飽和し、そのときのＶａｌ１の値をＴｈ１とする。また、視差量が０である場合に、Ｖａｌ１の値がＴｈ１にちょうど達したときの、Ｖａｌ２の値をＴｈ２とする。すなわち、このＴｈ１とＴｈ２の違いがＰＤ１とＰＤ２の感度差特性を示す。Ｖａｌ１がＴｈ１に達し、かつ、Ｖａｌ２がＴｈ２以上である場合、分割瞳画素の一部の画素が飽和していることになる。なお、感度差特性は像高位置に応じて変化するため、ＰＤ２の感度がＰＤ１より高い場合がある。この場合、ＰＤ２がＰＤ１よりも先に飽和し、そのときのＶａｌ２の値をＴｈ２、Ｖａｌ１の値をＴｈ１とすると、Ｖａｌ２がＴｈ２に達し、かつ、Ｖａｌ１がＴｈ１以上であるとき、分割瞳画素の一部の画素が飽和していることになる。

続いて、視差量算出手段１７１３について説明する。図１８（ａ）において、ＰＤ１の出力がＴｈ１と同じ値であるため、ＰＤ１は飽和しており、入力信号は範囲１８０２内にある。この場合、ＰＤ２の出力は、感度差特性の直線上のいずれかとなるため、Ｔｈ２からＴｈ１の間の値を持つはずである。しかしながら、ＰＤ２の出力がＴｈ２未満の場合、感度差特性に沿わない信号がＰＤ１とＰＤ２に入射されている、すなわち視差が発生している可能性が高いと判定することができる。また、どれだけ視差が発生しているかを示す視差量は、飽和レベルからどれだけ離れているかということ、すなわち差分量（Ｔｈ２−Ｖａｌ２）と定義することができる。この値が正で大きいほど視差が大きく発生していることを示し、負の値であれば視差が発生していないこととなる。なお、ＰＤ２の出力がＴｈ２からＴｈ１の間の値である場合、視差が発生している可能性が全くないとはいえないが、ここでは、確実に視差が発生していると判定できるものを視差が発生していると定義する。ただし本実施形態はこれに限定されるものではなく、その可能性を考慮して判定するように構成ことも可能である。

続いて、抑圧ゲイン算出手段１７１４について説明する。図１８（ｂ）は、横軸に視差量（Ｔｈ２−Ｖａｌ２）、縦軸に抑圧ゲイン（ｇａｉｎ）の関係を示す図である。Ｔｈ２は、ＰＤ２の飽和レベルであり、像高位置に応じて決定される。ＰＤ２の出力（Ｖａｌ２）がＴｈ２より小さい場合、すなわち（Ｔｈ２−Ｖａｌ２）が正の場合、視差が発生している可能性が高いため、抑圧を行うように制御する。具体的には、視差量が大きいほど色づきが大きいと仮定し、（Ｔｈ２−Ｖａｌ２）が大きくなるにつれて、抑圧ゲインを０に近づけるように制御する。一方、（Ｔｈ２−Ｖａｌ２）が負の場合、視差が発生している可能性が低いため、抑圧ゲインを１にする。すなわち、この場合には何も処理を行わないように制御する。また、前述のように、Ｔｈ２は像高位置に応じて変化する。このため、Ｖａｌ２が同じでも像高位置によって、抑圧ゲインは変化する。また、視差が発生している状況では必ず誤推定による色づきが発生すると考え、視差量に応じて抑圧ゲインを変化させることのほか、（Ｔｈ２−Ｖａｌ２）が正の場合、ゲインを０にして強制的に彩度を抑圧するようにしてもよい。

続いて、彩度抑圧手段１７１５について説明する。彩度抑圧手段１７１５は、画像信号処理手段１７１２から出力されるＹＵＶ信号に対して、抑圧ゲイン算出手段１７１４にて算出された抑圧ゲイン（ｇａｉｎ）に基づき、色差信号であるＵＶ信号に対して抑圧ゲインを乗算して出力する。

なお、前述の各処理は画素単位で行っているが、抑圧処理を行う画素と行わない画素が連続する場合、不自然な画像となる可能性もある。このため、周辺画素を考慮して抑圧処理を行うようにしてもよい。図１４は、周辺画素を考慮した抑圧の説明図である。図１４のＮ×Ｎの領域内において、片方画素が飽和して視差が発生している画素が１画素でも存在する場合、Ｎ×Ｎ領域内の画素全てに対して抑圧処理を行うようにしてもよい。その際、抑圧ゲインはＮ×Ｎ領域内の各画素で算出したゲイン値の最小値、最大値、または平均値などを用いる。このように彩度抑圧手段１７１５は、第１の信号（ＰＤ１）および第２の信号（ＰＤ２）のいずれも所定のレベルに達していなくても、周囲の複数の光電変換部に視差が生じている場合、色情報を含む信号のレベルを低減させるようにすることができる。

次に、図１５を参照して、本実施形態における撮像装置の制御方法について説明する。図１５は、撮像装置の制御方法を示すフローチャートである。ここでは、図１７と同様に、２分割ＰＤの場合を例として説明する。図１５の各ステップは、主に、画像処理部３０３のシェーディング補正手段３０３３や画像処理手段３０３４の各要素により実施される。

まずステップＳ１５０１において、飽和判定手段１７０１は、光電変換素子ＰＤ１、ＰＤ２の飽和判定を行う。そしてステップＳ１５０２において、飽和判定手段１７０１は、ＰＤ１、ＰＤ２の画素値（Ｖａｌ１、Ｖａｌ２）が両方とも飽和しているか否かを判定する。両方とも飽和している場合、ステップＳ１５０４へ移行し、飽和補正手段１７０３は瞳分割信号に対して補正を行わない。そしてステップＳ１５０８へ移行する。一方、ステップＳ１５０２にてＰＤ１、ＰＤ２の少なくとも一方が飽和していない場合、ステップＳ１５０３へ移行する。

ステップＳ１５０３において、飽和判定手段１７０１は、ＰＤ１、ＰＤ２の画素値（Ｖａｌ１，Ｖａｌ２）が両方とも飽和していないか否かを判定する。両方とも飽和していない場合、ステップＳ１５０５へ移行し、飽和補正手段１７０３は通常のシェーディング補正を行い、ステップＳ１５０８へ移行する。一方、ステップＳ１５０３にてＰＤ１、ＰＤ２のいずれか一方のみが飽和している場合、ステップＳ１５０６へ移行する。

ステップＳ１５０６において、ＰＤ１が飽和している場合、飽和補正手段１７０３は、飽和しているＰＤ１の画素値を、飽和していないＰＤ２の画素値から推定する。そしてステップＳ１５０７において、視差量算出手段１７１３は、視差量（Ｔｈ２−Ｖａｌ２）を算出し、ステップＳ１５０８へ移行する。

ステップＳ１５０８において、画像加算手段１７１１および画像信号処理手段１７１２は、各分岐の出力に対して、瞳分割画素の加算やＹＣＣ変換などの各種の画像処理を行う。続いてステップＳ１５０９において、抑圧ゲイン算出手段１７１４は、視差量に応じて抑圧ゲインを決定（算出）する。ここで、ＰＤ１、ＰＤ２が両方とも飽和している、または、両方とも飽和していない場合、抑圧ゲインは１．０（すなわち抑圧しない）に設定される。一方の画素が飽和している場合（本実施形態では、ＰＤ１のみ飽和している場合）、抑圧ゲイン算出手段１７１４は、ステップＳ１５０７にて算出された視差量に応じて抑圧ゲインを算出する。続いてステップＳ１５１０において、彩度抑圧手段１７１５は、ステップＳ１５０９にて決定された抑圧ゲインを用いて、画像信号処理手段１７１２の出力信号（ＵＶ信号）に対して、彩度を抑圧する処理を行う。

このように本実施形態において、彩度抑圧手段１７１５（ゲイン設定手段）は、飽和判定手段１７０１からの情報および視差量算出手段１７１３からの情報に基づいて、補正後の第１の信号および第２の信号から得られた色情報を含む信号のレベルを低減させる。好ましくは、彩度抑圧手段１７１５は、第１の信号および第２の信号の一方が所定のレベルに達している場合、視差量に基づいて、色情報を含む信号のレベルを低減させる。また好ましくは、色情報を含む信号は、補正後の第１の信号と第２の信号との加算信号（画像加算手段１７１１の出力信号）から得られた色信号または色差信号（ＵＶ信号）である。より好ましくは、彩度抑圧手段１７１５は、視差量が大きいほど色情報を含む信号のレベルが小さくなるように、この信号に対してゲインを乗算する。

好ましくは、飽和補正手段１７０３は、第１の光電変換部および第２の光電変換部に入射する光束の主光線の入射角度に起因して生じる、第１の信号と第２の信号との感度差を補正する。より好ましくは、飽和補正手段１７０３は、第１の信号および第２の信号の一方が所定のレベルに達している場合、第１の信号および第２の信号の他方に基づいて第１の信号および第２の信号の一方の本来のレベルを推定し、感度差を補正する。

好ましくは、視差量算出手段１７１３は、第１の信号および第２の信号の他方のレベルが、感度差に基づいて決定される第２のレベル（Ｔｈ２）よりも小さい場合、視差が発生していると判定する。より好ましくは、視差量は、第１の信号および第２の信号の他方のレベルと、第２のレベルとの差（Ｔｈ２−Ｖａｌ２）である。また好ましくは、飽和判定手段１７０１は、第１の信号または第２の信号が所定のレベルに達している場合、第１の信号または第の２の信号は飽和レベルに達していると判定する。

本実施形態によれば、瞳分割画素のいずれか一方が飽和している場合、飽和していない画素から推定する際に、視差が発生していることで生じる色づきを抑圧（低減）することができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。本実施形態の視差量算出手段１７１３は、測距情報を用いて視差量を算出する。図１３は、多点位相差測距における相関演算を説明する図である。図１３（ａ）は、視差画像群に含まれる一つの視差画像に写る被写体を示す。それぞれ画像の下側の被写体Ａが遠景被写体、中央の被写体Ｂがピント位置の被写体、上側の被写体Ｃが近景の被写体であるとする。図１３（ｂ）は、測距点、測距領域、測距の相関に利用する画素の関係を示す図である。相対的に大きい黒丸が測距点である。測距点は、測距情報の基準となる点であり、画素値ベースの相関演算の特性から測距領域の略中心に位置する。測距領域（多点測距領域）は、測距点の測距に関わる画素のグループ領域であり、太線の四角で囲まれたエリアである。そして、測距領域内の小黒丸が相関演算に用いられる画素を表している。測距に用いる画素は、計算効率向上のため、例えば、加算または間引取得してもよい。また、近傍の異なるカラーフィルタの同一瞳に対応する画素値を重み付け加算して、輝度画素情報として取得してもよい。

このようにして、測距領域毎に左目画像と右目画像の相関演算を行い、図１３（ｃ）に示されるような画素のずれ量を算出することができる。ずれ量が所定の閾値より大きい領域に含まれる画素は、視差が発生している可能性が高いと判定することができる。そこで、このずれ量を視差量として、視差量に応じた抑圧ゲインを決定することも可能である。なお、ずれ量は画像の撮像が終了した時点で確定するため、次に撮像される画像に対して抑圧ゲインをかけることになる。

このように本実施形態において、視差量算出手段１７１３は、第１の光電変換部（ＰＤ１）および第２の光電変換部（ＰＤ２）から得られた測距情報に基づいて視差量を算出する。好ましくは、測距情報は、第１の信号および第２の信号に基づいて算出されたデフォーカス量（ずれ量）である。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。図１６は、本実施形態における撮像装置３００ａのブロック図である。本実施形態の撮像装置３００ａは、データベース部３０５を備えている点で、第１の実施形態の撮像装置３００とは異なる。データベース部３０５は、飽和補正手段１７０３により利用される情報（シェーディング特性、補正値、補正パラメータなどの補正に関する情報）を保持する。

第１の実施形態では、シェーディング特性または補正パラメータを、画像処理部３０３に含まれる不図示のＲＯＭなどの記録部に保存する。しかし、例えば高精度化を目的として、フォーカス距離、ズーム、絞り設定値などのカメラパラメータに対して細かいサンプリングで記録しようとすると、特性および補正パラメータの記録量は線形的に増大する性質がある。これは、シェーディング特性や射出瞳の見た目の大きさは、ＭＬを共有する複数のＰＤへの光束の入射角度、すなわち画素部に対する光学系の主点位置の幾何学的位置関係や射出瞳の大きさ（焦点距離や絞りなどのカメラパラメータの状態）に依存するためである。

また、特性および補正パラメータは、ズーム範囲が広い場合には非常大きくなる。また光学系３０１が交換レンズの場合、交換レンズに対応する特性および補正パラメータを予め記録しておく、後から更新する、または、ネットワークなどから必要時に取得するなどの対応が必要となる。データベース部３０５は、このような対策を行う処理部である。このため、データベース部３０５は、ＲＯＭまたはＲＡＭにより構成される。またデータベース部３０５は、不図示の外部Ｉ／Ｆ、例えばＳＤカードスロット経由でデータを更新し、または、無線ＬＡＮなどのネットワークにより必要なデータを取得可能な手段である。ＣＰＵ３０４は、データベース部３０５に、撮像装置３００ａのその時点のカメラパラメータを入力し、撮影状態に合致したシェーディング特性または補正値を取得する。そしてＣＰＵ３０４は、取得したシェーディング特性または補正値データを画像処理部３０３に伝送する。画像処理部３０３は、ＣＰＵ３０４から受け取ったシェーディング特性または補正値データを、シェーディング補正に利用する。

本実施形態によれば、より高精度な補正を低リソースで実現することができる。また、交換レンズの対応を容易にすることが可能となる。

（その他の実施形態）
本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウエア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラムおよびそのプログラムを記憶した記憶媒体は本発明を構成する。

各実施形態によれば、焦点検出精度の向上および高画質画像の取得が可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

例えば、各実施形態では、１つのマイクロレンズを共有する複数の光電変換部として、２つの光電変換部（２分割ＰＤ）または４つの光電変換部（４分割ＰＤ）の場合について説明しているが、これらに限定されるものではない。他の分割数であってもよい。

３０３画像処理部（画像処理装置）
１７０１飽和判定手段（判定手段）
１７０３飽和補正手段（補正手段）
１７１３視差量算出手段（算出手段）
１７１５彩度抑圧手段（ゲイン設定手段）

Claims

１つのマイクロレンズを共有する第１の光電変換部および第２の光電変換部を含む撮像素子から出力される画像信号を処理する画像処理装置であって、
前記第１の光電変換部から得られる第１の信号および前記第２の光電変換部から得られる第２の信号のそれぞれが所定のレベルに達しているか否かを判定する判定手段と、
前記判定手段からの情報に基づいて前記第１の信号または前記第２の信号を補正する補正手段と、
前記第１の光電変換部と前記第２の光電変換部との視差量を算出する算出手段と、
前記判定手段からの情報および前記算出手段からの情報に基づいて、補正後の第１の信号および第２の信号から得られた色情報を含む信号のレベルを低減させるゲイン設定手段と、を有することを特徴とする画像処理装置。
前記ゲイン設定手段は、前記第１の信号および前記第２の信号の一方が前記所定のレベルに達している場合、前記視差量に基づいて、前記色情報を含む信号のレベルを低減させることを特徴とする請求項１に記載の画像処理装置。
前記色情報を含む信号は、補正後の前記第１の信号と前記第２の信号との加算信号から得られた色差信号であることを特徴とする請求項１または２に記載の画像処理装置。
前記ゲイン設定手段は、前記視差量が大きいほど前記色情報を含む信号の前記レベルが小さくなるように、該信号に対してゲインを乗算することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
前記補正手段は、前記第１の光電変換部および前記第２の光電変換部に入射する光束の主光線の入射角度に起因して生じる、前記第１の信号と前記第２の信号との感度差を補正することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
前記補正手段は、前記第１の信号および前記第２の信号の一方が前記所定のレベルに達している場合、該第１の信号および該第２の信号の他方に基づいて該第１の信号および該第２の信号の一方の本来のレベルを推定し、前記感度差を補正することを特徴とする請求項５に記載の画像処理装置。
前記算出手段は、前記第１の信号および前記第２の信号の他方のレベルが、前記感度差に基づいて決定される第２のレベルよりも小さい場合、視差が発生していると判定することを特徴とする請求項５または６に記載の撮像装置。
前記視差量は、前記第１の信号および前記第２の信号の他方のレベルと、前記第２のレベルとの差であることを特徴とする請求項７に記載の撮像装置。
前記算出手段は、前記第１の光電変換部および前記第２の光電変換部から得られた測距情報に基づいて前記視差量を算出することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
前記ゲイン設定手段は、前記第１の信号および前記第２の信号のいずれも前記所定のレベルに達していなくても、周囲の複数の光電変換部に視差が生じている場合、前記色情報を含む信号のレベルを低減させることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
１つのマイクロレンズを共有する第１の光電変換部および第２の光電変換部を含む撮像素子と、
前記第１の光電変換部から得られる第１の信号および前記第２の光電変換部から得られる第２の信号のそれぞれが所定のレベルに達しているか否かを判定する判定手段と、
前記判定手段からの情報に基づいて前記第１の信号または前記第２の信号を補正する補正手段と、
前記第１の光電変換部と前記第２の光電変換部との視差量を算出する算出手段と、
前記判定手段からの情報および前記算出手段からの情報に基づいて、補正後の第１の信号および第２の信号から得られた色情報を含む信号のレベルを低減させるゲイン設定手段と、を有することを特徴とする撮像装置。
前記第１の光電変換部および前記第２の光電変換部は、撮影光学系の射出瞳のうち互いに異なる領域を通過する光束を受光するように構成されていることを特徴とする請求項１１に記載の撮像装置。
前記第１の信号と前記第２の信号とを加算する加算手段を更に有し、
前記色情報を含む信号は、前記加算手段により加算された加算信号に基づいて生成されることを特徴とする請求項１１または１２に記載の撮像装置。
補正後の前記第１の信号および前記第２の信号に基づいて測距処理を行う測距手段を更に有することを特徴とする請求項１１乃至１３のいずれか１項に記載の撮像装置。
前記補正手段により利用される情報を保持するデータベース部を更に有することを特徴とする請求項１１乃至１４のいずれか１項に記載の撮像装置。
１つのマイクロレンズを共有する第１の光電変換部および第２の光電変換部を含む撮像素子から出力される画像信号を処理する画像処理方法であって、
前記第１の光電変換部から得られる第１の信号および前記第２の光電変換部から得られる第２の信号のそれぞれが所定のレベルに達しているか否かを判定する判定ステップと、
前記判定ステップにて得られた情報に基づいて前記第１の信号または前記第２の信号を補正する補正ステップと、
前記第１の光電変換部と前記第２の光電変換部との視差量を算出する算出ステップと、
前記判定ステップにて得られた情報および前記算出ステップにて得られた情報に基づいて、補正後の第１の信号および第２の信号から得られた色情報を含む信号のレベルを低減させるようにゲインを設定する設定ステップと、を有することを特徴とする画像処理方法。
請求項１６に記載の画像処理方法をコンピュータに実行させるように構成されていることを特徴とするプログラム。
請求項１７に記載のプログラムを記憶していることを特徴とする記憶媒体。