JP2017220724A - 画像処理装置、撮像装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】視点画像の画質を向上させる技術を提供する。【解決手段】第１方向に複数の瞳部分領域に分割された結像光学系の射出瞳の第１瞳部分領域に対応する第１視点画像と、前記射出瞳に対応する撮像画像とを取得する取得手段と、前記第１方向に直交する第２方向に並ぶ前記第１視点画像の第１画素群の合計値と、前記第１画素群の位置に対応する前記撮像画像の画素群の合計値と、の第１比率に基づいて、前記第１画素群の第１画素のシェーディングを補正する補正手段と、を備えることを特徴とする画像処理装置を提供する。【選択図】図９

Description

本発明は、画像処理装置、撮像装置、画像処理方法、及びプログラムに関する。

撮像装置の焦点検出方法の１つとして、撮像素子に形成された焦点検出画素により位相差方式の焦点検出を行う撮像面位相差方式がある。特許文献１に開示された撮像装置は、１つの画素に対して１つのマイクロレンズと複数に分割された光電変換部とが形成されている、２次元撮像素子を用いる。複数に分割された光電変換部は、１つのマイクロレンズを介して撮影レンズの射出瞳の異なる領域を受光するように構成され、瞳分割を行う。複数に分割された光電変換部のそれぞれについて、受光した信号から視点信号が生成される。複数の視点信号間の視差から像ずれ量を算出してデフォーカス量に換算することで、位相差方式の焦点検出が行われる。また、特許文献２には、複数に分割された光電変換部によって受光した複数の視点信号を加算することで、撮像信号を生成することが開示されている。なお、撮影された画像に関する複数の視点信号は、光強度の空間分布及び角度分布の情報であるＬＦ（Ｌｉｇｈｔ Ｆｉｅｌｄ）データと等価である。

特開昭５８−０２４１０５号公報 特開２００１−０８３４０７号公報

特許文献１及び特許文献２に開示されている撮像装置で得られた複数の視点画像の一部の領域において、キズ信号、瞳分割に起因するシェーディング、及び飽和信号などが生じ、視点画像の画質が低下する場合がある。

本発明はこのような状況に鑑みてなされたものであり、視点画像の画質を向上させる技術を提供することを目的とする。

上記課題を解決するために、本発明は、第１方向に複数の瞳部分領域に分割された結像光学系の射出瞳の第１瞳部分領域に対応する第１視点画像と、前記射出瞳に対応する撮像画像とを取得する取得手段と、前記第１方向に直交する第２方向に並ぶ前記第１視点画像の第１画素群の合計値と、前記第１画素群の位置に対応する前記撮像画像の画素群の合計値と、の第１比率に基づいて、前記第１画素群の第１画素のシェーディングを補正する補正手段と、を備えることを特徴とする画像処理装置を提供する。

なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

本発明によれば、視点画像の画質を向上させることが可能となる。

撮像装置１００の構成を示すブロック図。 第１の実施形態に係る撮像素子１０７の画素及び副画素の配列の概略図。 （Ａ）第１の実施形態に係る撮像素子１０７の画素の平面図、（Ｂ）第１の実施形態に係る撮像素子１０７の画素の断面図。 第１の実施形態に係る撮像素子１０７の画素構造と瞳分割との対応関係を示す概略説明図。 （Ａ）マイクロレンズの光軸に平行な断面での光強度分布を示す図、（Ｂ）マイクロレンズの焦点位置において、マイクロレンズの光軸に垂直な断面での光強度分布を示す図。 光の入射角に依存した受光率分布（瞳強度分布）の例を示す図。 撮像素子１０７と瞳分割との対応関係を示す図。 第１視点画像と第２視点画像のデフォーカス量と、第１視点画像と第２視点画像との間の像ずれ量との関係について概略的に示す図。 撮像画像に基づく視点画像の補正処理のフローチャート。 撮像画像に基づく視点画像の補正処理のフローチャート（図９の続き）。 第１視点画像と第２視点画像の瞳ずれによるシェーディングについて説明する図。 （Ａ）撮像画像の射影信号の例を示す図、（Ｂ）第１視点画像の射影信号の例を示す図、（Ｃ）第１視点画像のシェーディング関数を例示する図。 撮像画像Ｉの例を示す図。 シェーディング補正前の第１視点画像Ｉ_１の例を示す図。 シェーディング補正後の第１修正第１視点画像Ｍ_１Ｉ_１の例を示す図。 欠陥補正前の第１修正第１視点画像Ｍ_１Ｉ_１の例を示す図。 欠陥補正後の第２修正第１視点画像Ｍ_２Ｉ_１の例を示す図。 シェーディング補正前の第２視点画像Ｉ_２の例を示す図。 シェーディング補正後の最終修正第２視点画像ＭＩ_２の例を示す図。 第３の実施形態に係る撮像素子１０７の画素及び副画素の配列の概略図。 （Ａ）第３の実施形態に係る撮像素子１０７の画素の平面図、（Ｂ）第３の実施形態に係る撮像素子１０７の画素の断面図。 第３の実施形態に係る撮像素子１０７の画素構造と瞳分割との対応関係を示す概略説明図。 最終修正第１視点画像ＭＩ_１（ｊ，ｉ）から最終修正第４視点画像ＭＩ_４（ｊ，ｉ）による画素ずらし超解像処理の概要を示す説明図。

以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。

以下の各実施形態では、画像処理装置の例としてデジタルカメラ等の撮像装置について説明を行うが、画像処理装置は撮像装置に限定されず、他の種類の画像処理装置（例えば、パーソナルコンピュータなど）であってもよい。

［第１の実施形態］
●撮像装置１００の構成
図１は、撮像装置１００の構成を示すブロック図である。撮像光学系（結像光学系）の先端に配置された第１レンズ群１０１は、レンズ鏡筒にて光軸方向に進退可能に保持される。絞り兼用シャッタ１０２は、その開口径を調節することで撮影時の光量調節を行う。また、絞り兼用シャッタ１０２は、静止画撮影時には露光秒時調節用シャッタとしての機能も持つ。第２レンズ群１０３は、絞り兼用シャッタ１０２と一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動により、変倍動作（ズーム動作）を行う。第３レンズ群１０５は、光軸方向の進退により焦点調節を行うフォーカスレンズである。光学的ローパスフィルタ１０６は、撮像画像の偽色やモアレを軽減するための光学素子である。撮像素子１０７は、例えば２次元ＣＭＯＳ（相補型金属酸化膜半導体）フォトセンサと周辺回路とからなり、撮像光学系の結像面に配置される。

ズームアクチュエータ１１１は、不図示のカム筒を回動することで、第１レンズ群１０１及び第２レンズ群１０３を光軸方向に移動させて変倍動作を行う。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行う。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に移動させて焦点調節動作を行う。

被写体照明用の電子フラッシュ１１５は、撮影時に使用される。電子フラッシュ１１５としては、キセノン管を用いた閃光照明装置、又は連続発光するＬＥＤ（発光ダイオード）を備えた照明装置が用いられる。ＡＦ補助光源１１６（オートフォーカス補助光源）は、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影する。これにより、低輝度の被写体又は低コントラストの被写体に対する焦点検出能力が向上する。

撮像装置１００本体の制御部を構成するＣＰＵ１２１（中央演算処理装置）は、種々の制御を司る制御中枢機能を持つ。ＣＰＵ１２１は、演算部、ＲＯＭ（リード・オンリー・メモリ）、ＲＡＭ（ランダム・アクセス・メモリ）、Ａ（アナログ）／Ｄ（デジタル）コンバーター、Ｄ／Ａコンバーター、及び通信インタフェース回路等を有する。ＣＰＵ１２１は、ＲＯＭに記憶された所定のプログラムに従って、撮像装置１００内の各種回路を駆動し、ＡＦ制御、撮像処理、画像処理、記録処理等の一連の動作を実行する。

電子フラッシュ制御回路１２２は、ＣＰＵ１２１の制御指令に従い、撮影動作に同期して電子フラッシュ１１５を点灯制御する。補助光源駆動回路１２３は、ＣＰＵ１２１の制御指令に従い、焦点検出動作に同期してＡＦ補助光源１１６を点灯制御する。撮像素子駆動回路１２４は、撮像素子１０７の撮像動作を制御すると共に、取得した撮像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。画像処理回路１２５は、ＣＰＵ１２１の制御指令に従い、撮像素子１０７により取得した画像のガンマ変換、カラー補間、ＪＰＥＧ（Joint Photographic Experts Group）圧縮等の処理を行う。

フォーカス駆動回路１２６は、ＣＰＵ１２１の制御指令に従い、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動し、第３レンズ群１０５を光軸方向に移動させて焦点調節を行う。絞りシャッタ駆動回路１２８は、ＣＰＵ１２１の制御指令に従い、絞りシャッタアクチュエータ１１２を駆動し、絞り兼用シャッタ１０２の開口径を制御する。ズーム駆動回路１２９は、ＣＰＵ１２１の制御指令に従い、撮影者のズーム操作指示に応じてズームアクチュエータ１１１を駆動する。

表示部１３１は、ＬＣＤ（液晶表示装置）等の表示デバイスを有し、撮像装置１００の撮影モードに関する情報、撮影前のプレビュー画像、撮影後の確認用画像、及び焦点検出時の合焦状態表示画像等を表示する。操作部１３２は、操作スイッチとして、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、及び撮影モード選択スイッチ等を備え、操作指示信号をＣＰＵ１２１に出力する。フラッシュメモリ１３３は、撮像装置１００本体に対して着脱可能な記録媒体であり、撮影済み画像データ等を記録する。

●撮像素子１０７の構成
図２は、撮像素子１０７の画素及び副画素の配列の概略図である。図２の左右方向をｘ方向（水平方向）、上下方向をｙ方向（垂直方向）、ｘ方向及びｙ方向に直交する方向（紙面に垂直な方向）をｚ方向（光軸方向）としてそれぞれ定義する。図２は、撮像素子１０７（２次元ＣＭＯＳセンサ）の画素（撮像画素）配列を４列×４行の範囲で、副画素配列を８列×４行の範囲で、それぞれ示したものである。

本実施形態では、図２に示した２列×２行の画素群２００においては、Ｒ（赤）の分光感度を有する画素２００Ｒが左上に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上及び左下に、Ｂ（青）の分光感度を有する画素２００Ｂが右下に配置されている。また、各画素は、ｘ方向にＮ_ｘ分割（Ｎ_ｘは自然数）、ｙ方向にＮ_ｙ分割（Ｎ_ｙは自然数）されており、瞳分割数Ｎ_ＬＦ＝Ｎ_ｘ×Ｎ_ｙの副画素により構成されている。なお、図２の例においては、Ｎ_ｘ＝２、Ｎ_ｙ＝１、Ｎ_ＬＦ＝２×１＝２であり、各画素は第１副画素２０１及び第２副画素２０２により構成されている。以下の説明においては、簡略化のために、各画素が図２に示すようにｘ方向に２分割され、ｙ方向には分割されていないものとするが、本実施形態の画素の分割は、図２に示すものに限定されない。以下の説明をＮ_ｘ≧２かつＮ_ｙ≧２の場合に一般化する方法については、第３の実施形態において説明する。

図２に示す例では、４列×４行の画素（８列×４行の副画素）を面上に多数配置することで、撮像画像及び２つの視点画像（視点画像の数は瞳分割数２に対応）を生成するための入力画像を取得可能である。撮像素子１０７では、画素の周期Ｐを６μｍ（マイクロメートル）とし、水平（列方向）画素数Ｎ_Ｈ＝６０００列、垂直（行方向）画素数Ｎ_Ｖ＝４０００行、画素数Ｎ＝Ｎ_Ｈ×Ｎ_Ｖ＝２４００万画素とする。また、副画素の列方向周期Ｐ_Ｓを３μｍとし、副画素数Ｎ_Ｓを水平１２０００列×垂直４０００行＝４８００万画素とする。

図２に示す撮像素子１０７における１つの画素２００Ｇを、撮像素子１０７の受光面側（＋ｚ側）から見た場合の平面図を図３（Ａ）に示す。図３（Ａ）の紙面に垂直な方向にｚ軸を設定し、手前側をｚ軸の正方向と定義する。また、ｚ軸に直交する上下方向にｙ軸を設定して上方をｙ軸の正方向と定義し、ｚ軸及びｙ軸に直交する左右方向にｘ軸を設定して右方をｘ軸の正方向と定義する。また、図３（Ａ）のａ−ａ切断線に沿って−ｙ側から見た場合の断面図を図３（Ｂ）に示す。

図３（Ａ）及び図３（Ｂ）に示すように、画素２００Ｇは、各画素の受光面側（＋ｚ方向）に入射光を集光するためのマイクロレンズ３０５が形成されている。また、ｘ方向に２分割、ｙ方向に１分割（分割なし）された、２つの光電変換部（第１光電変換部３０１及び第２光電変換部３０２）が形成されている。第１光電変換部３０１及び第２光電変換部３０２が、それぞれ、第１副画素２０１及び第２副画素２０２に対応する。

第１光電変換部３０１及び第２光電変換部３０２は、２つの独立したｐｎ接合フォトダイオードであり、ｐ型ウェル層３００と、２つに分割されたｎ型層３０１及びｎ型層３０２とから構成される。必要に応じて、イントリンシック層を挟み、ｐｉｎ構造フォトダイオードとして光電変換部を形成してもよい。各画素には、マイクロレンズ３０５と、第１光電変換部３０１及び第２光電変換部３０２との間に、カラーフィルタ３０６が形成される。必要に応じて、画素毎や光電変換部毎などで、カラーフィルタ３０６の分光透過率を変えてもよいし、カラーフィルタを省略しても構わない。

画素２００Ｇに入射した光は、マイクロレンズ３０５により集光され、カラーフィルタ３０６で分光された後に、第１光電変換部３０１及び第２光電変換部３０２により受光される。第１光電変換部３０１及び第２光電変換部３０２では、受光量に応じて電子とホール（正孔）が対生成され、空乏層で分離された後、電子が蓄積される。一方、ホールは定電圧源（不図示）に接続されたｐ型ウェル層を通じて撮像素子１０７の外部へ排出される。第１光電変換部３０１と第２光電変換部３０２に蓄積された電子は、転送ゲートを介して静電容量部（ＦＤ）に転送され、電圧信号に変換される。

図４は、撮像素子１０７の画素構造と瞳分割との対応関係を示す概略説明図である。図４には、図３（Ａ）に示した画素構造のａ−ａ線での切断面を、＋ｙ方向から見た場合の断面図と、結像光学系の射出瞳面を−ｚ方向から見た図と、を示す。図４では、射出瞳面の座標軸と対応を取るために、断面図にてｘ軸とｙ軸を図３に示す状態とは反転させて示している。

撮像素子１０７は、撮影レンズ（結像光学系）の結像面近傍に配置され、被写体からの光束は、結像光学系の射出瞳４００を通過して、それぞれの画素に入射する。撮像素子１０７が配置された面を撮像面とする。

２×１分割された第１瞳部分領域５０１と第２瞳部分領域５０２は、マイクロレンズによって、第１光電変換部３０１と第２光電変換部３０２それぞれの受光面と概ね光学的に共役な関係になっている。そして、第１瞳部分領域５０１と第２瞳部分領域５０２は、第１副画素２０１と第２副画素２０２により、それぞれ受光可能な瞳領域である。第１副画素２０１の第１瞳部分領域５０１は、瞳面上で＋Ｘ側に重心が偏心しており、第２副画素２０２の第２瞳部分領域５０２は、瞳面上で−Ｘ側に重心が偏心している。

また、瞳領域５００は、マイクロレンズによって、２×１分割された第１光電変換部３０１と第２光電変換部３０２を全て合わせた受光面と概ね光学的に共役な関係になっている。そして、瞳領域５００は、第１副画素２０１と第２副画素２０２を全て合わせた画素２００Ｇ全体により受光可能な瞳領域である。

図５に、各画素に形成されたマイクロレンズに光が入射した場合の光強度分布を例示する。図５（Ａ）は、マイクロレンズの光軸に平行な断面での光強度分布を示す図である。図５（Ｂ）は、マイクロレンズの焦点位置において、マイクロレンズの光軸に垂直な断面での光強度分布を示す図である。入射光は、マイクロレンズにより、焦点位置に集光される。しかし、光の波動性による回折の影響のため、集光スポットの直径は回折限界Δより小さくすることはできず、有限の大きさとなる。光電変換部の受光面サイズは約１〜２μｍ程度であり、これに対してマイクロレンズの集光スポットが約１μｍ程度である。そのため、光電変換部の受光面とマイクロレンズを介して共役の関係にある、図４の第１瞳部分領域５０１と第２瞳部分領域５０２は、回折ボケのため、明瞭に瞳分割されず、光の入射角に依存した受光率分布（瞳強度分布）となる。

図６に、光の入射角に依存した受光率分布（瞳強度分布）の例を示す。図６において、横軸は瞳座標を表し、縦軸は受光率を表す。図６に実線で示すグラフ線Ｌ１は、図４の第１瞳部分領域５０１のＸ軸に沿った瞳強度分布を表す。グラフ線Ｌ１で示す受光率は、左端から急峻に上昇してピークに到達した後で徐々に低下してから変化率が緩やかになって右端へと至る。また、図６に破線で示すグラフ線Ｌ２は、第２瞳部分領域５０２のＸ軸に沿った瞳強度分布を表す。グラフ線Ｌ２で示す受光率は、グラフ線Ｌ１とは反対に、右端から急峻に上昇してピークに到達した後で徐々に低下してから変化率が緩やかになって左端へと至る。図示のように、緩やかに瞳分割されることがわかる。

図７は、撮像素子１０７と瞳分割との対応関係を示す図である。第１光電変換部３０１と第２光電変換部３０２が、それぞれ、第１副画素２０１と第２副画素２０２に対応する。撮像素子１０７の各画素において、２×１分割された第１副画素２０１と第２副画素２０２は、それぞれ、結像光学系の第１瞳部分領域５０１と第２瞳部分領域５０２の異なる瞳部分領域を通過した光束を受光する。各副画素で受光された信号から、光強度の空間分布及び角度分布を示すＬＦデータ（入力画像）が取得される。

ＬＦデータに基づき、第１副画素２０１及び第２副画素２０２の信号を画素毎に合成することで、画素数Ｎの解像度を有する撮像画像を生成することができる。また、第１副画素２０１と第２副画素２０２の中から選択された特定の副画素の信号を、各画素についてＬＦデータから取得することで、第１瞳部分領域５０１と第２瞳部分領域５０２の中の特定の瞳部分領域に対応した視点画像を生成することができる。例えば、第１副画素２０１の信号を、各画素についてＬＦデータから取得することで、第１瞳部分領域５０１に対応した画素数Ｎの解像度を有する視点画像（第１視点画像）を生成することができる。他の副画素でも同様である。

以上のように、撮像素子１０７は、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部が設けられた画素が複数配列された構造を有し、ＬＦデータ（入力画像）を取得することができる。

●デフォーカス量と像ずれ量の関係
撮像素子１０７により取得されるＬＦデータ（入力画像）から生成される第１視点画像と第２視点画像のデフォーカス量と、像ずれ量との関係について、以下に説明する。

図８は、第１視点画像と第２視点画像のデフォーカス量と、第１視点画像と第２視点画像との間の像ずれ量との関係について概略的に示す図である。撮像面６００には撮像素子１０７（図８において不図示）が配置され、図４及び図７の場合と同様に、結像光学系の射出瞳４００が、第１瞳部分領域５０１と第２瞳部分領域５０２に２×１分割される。

デフォーカス量ｄは、その大きさ｜ｄ｜が、被写体像の結像位置から撮像面６００までの距離を表す。被写体像の結像位置が撮像面６００よりも被写体側にある前ピン状態では、負符号（ｄ＜０）とし、これとは反対の後ピン状態では正符号（ｄ＞０）として向きを定義する。被写体像の結像位置が撮像面６００にある合焦状態では、ｄ＝０である。図８に示す被写体８０１の位置は、合焦状態（ｄ＝０）に対応する位置を示しており、被写体８０２の位置は前ピン状態（ｄ＜０）に対応する位置を示している。以下では、前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）とを併せて、デフォーカス状態（｜ｄ｜＞０）という。

前ピン状態（ｄ＜０）では、被写体８０２からの光束のうち、第１瞳部分領域５０１（又は第２瞳部分領域５０２）を通過した光束は、一旦集光した後、光束の重心位置Ｇ１（又はＧ２）を中心として幅Γ１（又はΓ２）に広がる。この場合、撮像面６００上でボケ像となる。ボケ像は、撮像素子１０７に配列された各画素を構成する第１副画素２０１（又は第２副画素２０２）により受光され、第１視点画像（又は第２視点画像）が生成される。よって、第１視点画像（又は第２視点画像）は、撮像面６００上の重心位置Ｇ１（又はＧ２）にて、幅Γ１（又はΓ２）を持った被写体像（ボケ像）の画像データとしてメモリに記憶される。被写体像の幅Γ１（又はΓ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね比例して増加する。同様に、第１視点画像と第２視点画像との間の被写体像の像ずれ量を「ｐ」と記すと、その大きさ｜ｐ｜は、デフォーカス量ｄの大きさ｜ｄ｜の増加に伴って増加する。例えば、像ずれ量ｐは、光束の重心位置の差「Ｇ１−Ｇ２」として定義され、その大きさ｜ｐ｜は、｜ｄ｜が増加するのに伴い、概ね比例して増加する。なお、後ピン状態（ｄ＞０）では、第１視点画像と第２視点画像との間の被写体像の像ずれ方向が前ピン状態とは反対となるが、同様の傾向がある。

従って、本実施形態では、第１視点画像と第２視点画像、又は、第１視点画像と第２視点画像を加算した撮像画像のデフォーカス量が増減するのに伴い、第１視点画像と第２視点画像との間の像ずれ量の大きさが増減する。

●撮像画像に基づく視点画像の補正処理（概要）
本実施形態の撮像装置１００は、撮像画像に基づいて、第１視点画像と第２視点画像に対して、キズ補正やシェーディング補正等の補正処理を行い、出力画像を生成する。以下、撮像素子１０７により取得されたＬＦデータ（入力画像）から、撮像画像に基づいて、第１視点画像と第２視点画像に対して補正処理を行い、出力画像を生成する画像処理方法について、図９及び図１０を参照して説明する。なお、図９及び図１０の各ステップの処理は、特に断らない限り、ＣＰＵ１２１が制御プログラムに従って撮像装置１００の各部を制御することにより実現される。

●撮像画像及び視点画像の取得（Ｓ９０１及びＳ９０２）
最初に、撮像装置１００は、撮像素子１０７により取得されたＬＦデータから、結像光学系の異なる瞳部分領域を合成した瞳領域に対応する撮像画像と、第１瞳部分領域５０１に対応する第１視点画像と、を生成する。

Ｓ９０１で、撮像装置１００は、撮像画像を取得する。具体的には、撮像装置１００は、撮像素子１０７を用いた撮像を行うことにより、ＬＦデータを取得する。或いは、撮像装置１００は、予めフラッシュメモリ１３３に保存されているＬＦデータを取得してもよい。そして、撮像装置１００は、結像光学系の異なる瞳部分領域（第１瞳部分領域と第２瞳部分領域）を合成した瞳領域に対応数撮像画像を生成する。ここで、ＬＦデータをＬＦと表記する。また、ＬＦの各画素信号内での列方向ｉ_Ｓ（１≦ｉ_Ｓ≦Ｎ_ｘ）番目、行方向ｊ_Ｓ（１≦ｊ_Ｓ≦Ｎ_ｙ）番目の副画素信号を、第ｋ副画素信号と表記する。ここで、ｋ＝Ｎ_ｘ（ｊ_Ｓ−１）＋ｉ_Ｓ（１≦ｋ≦Ｎ_ＬＦ）である。撮像装置１００は、結像光学系の異なる瞳部分領域を合成した瞳領域に対応した、列方向にｉ番目、行方向にｊ番目の撮像画像Ｉ（ｊ、ｉ）を、式（１）により生成する。

本実施形態では、撮像画像Ｉ（ｊ、ｉ）のＳ／Ｎを良好に保持するために、撮像装置１００は、各副画素信号がＡ／Ｄ変換される前に、撮像素子１０７内の静電容量部（ＦＤ）において、式（１）の各副画素信号の合成を行う。必要に応じて、撮像装置１００は、各副画素信号がＡ／Ｄ変換される前に、撮像素子１０７内の静電容量部（ＦＤ）に蓄積された電荷を電圧信号に変換する際に、式（１）の各副画素信号の合成を行ってもよい。或いは、必要に応じて、撮像装置１００は、各副画素信号がＡ／Ｄ変換された後に、式（１）の各副画素信号の合成を行ってもよい。

なお、以下の説明において、画素位置を厳密に考慮する必要がない場合は、「撮像画像Ｉ（ｊ、ｉ）」の「（ｊ、ｉ）」を省略して単に「撮像画像Ｉ」と記載する場合もある。後述する「第ｋ視点画像Ｉ_ｋ（ｊ、ｉ）」などについても同様である。

前述の通り、本実施形態では、Ｎ_ｘ＝２、Ｎ_ｙ＝１、Ｎ_ＬＦ＝２のｘ方向２分割の例を用いて説明を行う。撮像装置１００は、図２に例示した画素配列に対応したＬＦデータから、画素毎に、第１副画素２０１と第２副画素２０２の信号を合成し、画素数Ｎ（＝水平画素数Ｎ_Ｈ×垂直画素数Ｎ_Ｖ）の解像度を有するベイヤー配列のＲＧＢ信号である撮像画像を生成する。

本実施形態では、視点画像の補正処理において撮像画像を補正基準の参照画像として用いるために、撮像装置１００は、撮像画像Ｉ（ｊ、ｉ）に対して、ＲＧＢ毎のシェーディング（光量）補正処理、点キズ補正処理などを行う。必要に応じて、撮像装置１００は、その他の処理を行ってもよい。

次に、Ｓ９０２で、撮像装置１００は、結像光学系の第ｋ瞳部分領域に対応した、列方向ｉ番目、行方向ｊ番目の第ｋ視点画像Ｉ_ｋ（ｊ、ｉ）を、式（２）により生成する。

前述の通り、本実施形態では、Ｎ_ｘ＝２、Ｎ_ｙ＝１、Ｎ_ＬＦ＝２のｘ方向２分割の例を用いて説明を行う。また、ｋ＝１であるものとする。撮像装置１００は、図２に例示した画素配列に対応したＬＦデータから、画素毎に、第１副画素２０１の信号を取得する。即ち、撮像装置１００は、結像光学系の第１瞳部分領域５０１に対応した、画素数Ｎ（＝水平画素数Ｎ_Ｈ×垂直画素数Ｎ_Ｖ）の解像度を有するベイヤー配列のＲＧＢ信号である第１視点画像Ｉ_１（ｊ、ｉ）を生成する。必要に応じて、撮像装置１００は、ｋ＝２を選択し、結像光学系の第２瞳部分領域５０２に対応した第２視点画像Ｉ_２（ｊ、ｉ）を生成してもよい。

このように、撮像装置１００は、撮像素子１０７により取得されたＬＦデータから、ベイヤー配列のＲＧＢ信号である撮像画像Ｉ（ｊ、ｉ）と、ベイヤー配列のＲＧＢ信号である第１視点画像Ｉ_１（ｊ、ｉ）とを生成し、フラッシュメモリ１３３へ保存を行う。本実施形態では、撮像装置１００は、撮像画像Ｉ（ｊ、ｉ）と、第１視点画像Ｉ_１（ｊ、ｉ）とから、第２視点画像Ｉ_２（ｊ、ｉ）を生成する。これにより、撮像画像Ｉ（ｊ、ｉ）に対しては、各画素の光電変換部が分割されていない従来の撮像素子１０７で取得される撮像画像と同様の画像処理を行うことができる。しかしながら、必要に応じて、各視点画像への処理を同等にするために、撮像装置１００は、ＬＦデータから第１視点画像Ｉ_１（ｊ、ｉ）と第２視点画像Ｉ_２（ｊ、ｉ）とを生成し、フラッシュメモリ１３３に保存してもよい。

●視点画像のシェーディング補正処理（Ｓ９０３乃至Ｓ９０７）
続いて、撮像装置１００は、撮像画像Ｉ（ｊ、ｉ）に基づいて、第１視点画像Ｉ_１のＲＧＢ毎のシェーディング（光量）補正を行う。ここで、第１視点画像と第２視点画像の瞳ずれによるシェーディングについて説明する。図１１に、撮像素子１０７の周辺像高における、第１光電変換部３０１が受光する第１瞳部分領域５０１と、第２光電変換部３０２が受光する第２瞳部分領域５０２と、結像光学系の射出瞳４００との関係を示す。図１１において、図４と同一又は同様の要素には同一の符号を付す。第１光電変換部３０１と第２光電変換部３０２が、それぞれ、第１副画素２０１と第２副画素２０２に対応する。

図１１（Ａ）は、結像光学系の射出瞳距離Ｄｌと撮像素子１０７の設定瞳距離Ｄｓが同じ場合を示す。この場合、第１瞳部分領域５０１と第２瞳部分領域５０２により、結像光学系の射出瞳４００が、概ね均等に瞳分割される。図１１（Ｂ）は、結像光学系の射出瞳距離Ｄｌが撮像素子１０７の設定瞳距離Ｄｓより短い場合を示す。この場合、撮像素子１０７の周辺像高では、結像光学系の射出瞳４００と撮像素子１０７の入射瞳の瞳ずれが生じ、結像光学系の射出瞳４００が、不均一に瞳分割されてしまう。図１１（Ｃ）は、結像光学系の射出瞳距離Ｄｌが撮像素子１０７の設定瞳距離Ｄｓより長い場合を示す。この場合も、撮像素子１０７の周辺像高で結像光学系の射出瞳４００と撮像素子１０７の入射瞳の瞳ずれが生じ、結像光学系の射出瞳４００が、不均一に瞳分割されてしまう。周辺像高で瞳分割が不均一になるのに伴い、第１視点画像と第２視点画像の強度も不均一になり、第１視点画像と第２視点画像のいずれか一方の強度が大きくなり、他方の強度が小さくなるシェーディングが、ＲＧＢ毎に生じる。

本実施形態では、撮像装置１００は、良好な画質の視点画像を生成するために、撮像画像Ｉ（ｊ、ｉ）を基準の参照画像として、第１視点画像Ｉ_１のＲＧＢ毎のシェーディング（光量）補正を行う。

Ｓ９０３で、撮像装置１００は、撮像画像Ｉ（ｊ、ｉ）と第１視点画像Ｉ_１（ｊ、ｉ）のいずれもが、非飽和かつ非欠陥（非キズ）である有効画素Ｖ_１（ｊ、ｉ）を検出する。撮像画像Ｉ（ｊ、ｉ）と第１視点画像Ｉ_１（ｊ、ｉ）のいずれもが、非飽和かつ非欠陥である有効画素は、Ｖ_１（ｊ、ｉ）＝１とする。一方、撮像画像Ｉ（ｊ、ｉ）と第１視点画像Ｉ_１（ｊ、ｉ）の少なくとも一方について飽和又は欠陥である非有効画素は、Ｖ_１（ｊ、ｉ）＝０とする。第ｋ視点画像Ｉ_ｋのシェーディング（光量）補正の場合は、同様に、撮像画像Ｉ（ｊ、ｉ）と第ｋ視点画像Ｉ_ｋ（ｊ、ｉ）のいずれもが、非飽和かつ非欠陥である有効画素をＶ_ｋ（ｊ、ｉ）＝１とする。

飽和判定について詳細に説明する。撮像信号の飽和判定閾値をＩＳとする。撮像装置１００は、撮像画像Ｉ（ｊ、ｉ）＞ＩＳの場合、撮像画像Ｉ（ｊ、ｉ）を飽和と判定し、撮像画像Ｉ（ｊ、ｉ）≦ＩＳの場合、撮像画像Ｉ（ｊ、ｉ）を非飽和と判定する。同様に、第ｋ視点画像の飽和判定閾値をＩＳ_ｋとする。撮像装置１００は、第ｋ視点画像Ｉ_ｋ（ｊ、ｉ）＞ＩＳ_ｋの場合、第ｋ視点画像Ｉ_ｋ（ｊ、ｉ）を飽和と判定し、第ｋ視点画像Ｉ_ｋ（ｊ、ｉ）≦ＩＳ_ｋの場合、第ｋ視点画像Ｉ_ｋ（ｊ、ｉ）を非飽和と判定する。第ｋ視点画像の飽和判定閾値ＩＳ_ｋは、撮像信号の飽和判定閾値ＩＳ以下（ＩＳ_ｋ≦ＩＳ）である。

なお、有効画素の定義は、「非飽和かつ非欠陥」に限定されない。撮像装置１００は、何らかの基準に従い、撮像画像及び視点画像の両方において有効な値を持つ画素を、有効画素として判定する。画素が有効な値を持つか否かの基準として、例えば、画素が飽和画素であるか否か、及び、画素が欠陥画素であるか否か、のうちの少なくとも一方を使用することができる。

本実施形態の撮像素子１０７は、各画素の第１光電変換部３０１と第２光電変換部３０２のいずれかの光電変換部にて蓄積電荷が飽和した場合に、画素外ではなく、同一画素内の他の光電変換部（副画素）に電荷が漏れこむように構成される。この現象を電荷クロストークと呼ぶ。いずれかの副画素（例：第２副画素）が飽和し、副画素間（例：第２副画素から第１副画素）の電荷クロストークが生じた場合を考える。この場合、電荷の溢れ元の副画素（例：第２副画素）と、電荷の漏れこみ先の副画素（例：第１副画素）のいずれも、入射光量に対する蓄積電荷量の線形関係が保たれず、シェーディングの正しい検出に必要な情報が含まれなくなる。

高ＩＳＯの場合に比べて、低ＩＳＯの場合の方が、光電変換部に蓄積される電荷量が相対的に多く、電荷クロストークが相対的に生じやすい。従って、本実施形態では、飽和画素の検出精度を向上するために、低ＩＳＯでの撮像信号の飽和判定閾値ＩＳが、高ＩＳＯでの撮像信号の飽和判定閾値ＩＳ未満であることが望ましい。また、低ＩＳＯでの第ｋ視点画像の飽和判定閾値ＩＳ_ｋが、高ＩＳＯでの第ｋ視点画像の飽和判定閾値ＩＳ_ｋ未満であることが望ましい。

また、結像光学系の射出瞳距離が、第１の所定瞳距離より短く（又は、第２の所定瞳距離より長く）、結像光学系の射出瞳４００と撮像素子１０７の入射瞳の瞳ずれによるシェーディングが生じる場合を考える。この場合、周辺像高で、第１視点画像と第２視点画像のいずれか一方の強度が大きくなり、他方の強度が小さくなり、電荷クロストークが生じやすい。従って、飽和画素の検出精度向上のため、射出瞳距離が第１の所定瞳距離より短い（又は、第２の所定瞳距離より長い）場合の飽和判定閾値ＩＳが、射出瞳距離が第１の所定瞳距離以上かつ第２の所定瞳距離以下の場合の飽和判定閾値ＩＳ未満であることが望ましい。また、射出瞳距離が第１の所定瞳距離より短い（又は、第２の所定瞳距離より長い）場合の第ｋ視点画像の飽和判定閾値ＩＳ_ｋが、射出瞳距離が第１の所定瞳距離以上かつ第２の所定瞳距離以下の場合の飽和判定閾値ＩＳ_ｋ未満であることが望ましい。

次に、Ｓ９０４及びＳ９０５で、撮像装置１００は、撮像画像及び第１視点画像について、色別に射影処理を行う。ここで、整数ｊ_２（１≦ｊ_２≦Ｎ_Ｖ／２）、ｉ_２（１≦ｉ_２≦Ｎ_Ｈ／２）とする。図２に例示したベイヤー配列に対応する撮像画像ＩのＲ成分をＲＩ（２ｊ_２−１、２ｉ_２−１）＝Ｉ（２ｊ_２−１、２ｉ_２−１）、Ｇｒ成分をＧｒＩ（２ｊ_２−１、２ｉ_２）＝Ｉ（２ｊ_２−１、２ｉ_２）とする。また、Ｇｂ成分をＧｂＩ（２ｊ_２、２ｉ_２−１）＝Ｉ（２ｊ_２、２ｉ_２−１）、Ｂ成分をＢＩ（２ｊ_２、２ｉ_２）＝Ｉ（２ｊ_２、２ｉ_２）とする。

同様に、図２に例示したベイヤー配列に対応する第ｋ視点画像Ｉ_ｋのＲ成分をＲＩ_ｋ（２ｊ_２−１、２ｉ_２−１）＝Ｉ_ｋ（２ｊ_２−１、２ｉ_２−１）、Ｇｒ成分をＧｒＩ_ｋ（２ｊ_２−１、２ｉ_２）＝Ｉ_ｋ（２ｊ_２−１、２ｉ_２）とする。また、Ｇｂ成分をＧｂＩ_ｋ（２ｊ_２、２ｉ_２−１）＝Ｉ_ｋ（２ｊ_２、２ｉ_２−１）、Ｂ成分をＢＩ_ｋ（２ｊ_２、２ｉ_２）＝Ｉ_ｋ（２ｊ_２、２ｉ_２）とする。

Ｓ９０４で、撮像装置１００は、撮像画像のＲＩ（２ｊ_２−１、２ｉ_２−１）、ＧｒＩ（２ｊ_２−１、２ｉ_２）、ＧｂＩ（２ｊ_２、２ｉ_２−１）、ＢＩ（２ｊ_２、２ｉ_２）について、射影処理を行う。撮像装置１００は、式（３Ａ）から式（３Ｄ）に従い、瞳分割方向（ｘ方向）と直交する方向（ｙ方向）に射影処理を行う。その結果、撮像画像の射影信号ＲＰ（２ｉ_２−１）、ＧｒＰ（２ｉ_２）、ＧｂＰ（２ｉ_２−１）、ＢＰ（２ｉ_２）が生成される。飽和信号値や欠陥信号値には、撮像画像のＲＧＢ毎のシェーディングを正しく検出するための情報が含まれていない。そのため、射影処理においては、撮像画像と有効画素Ｖ_ｋとの積を取ることにより、飽和信号値や欠陥信号値が除外される（式（３Ａ）から式（３Ｄ）の上段の分子）。そして、射影処理に用いられた有効画素数で規格化が行われる（式（３Ａ）から式（３Ｄ）の上段の分母）。射影処理に用いられた有効画素数が０の場合、式（３Ａ）から式（３Ｄ）の下段により、撮像画像の射影信号は０に設定される。更に、撮像画像の射影信号が、ノイズの影響などで負信号となった場合、撮像画像の射影信号は０に設定される。

同様に、Ｓ９０５で、撮像装置１００は、第ｋ視点画像のＲＩ_ｋ（２ｊ_２−１、２ｉ_２−１）、ＧｒＩ_ｋ（２ｊ_２−１、２ｉ_２）、ＧｂＩ_ｋ（２ｊ_２、２ｉ_２−１）、ＢＩ_ｋ（２ｊ_２、２ｉ_２）について、射影処理を行う。撮像装置１００は、式（３Ｅ）から式（３Ｈ）に従い、瞳分割方向（ｘ方向）と直交する方向（ｙ方向）に射影処理を行う。その結果、第ｋ視点画像の射影信号ＲＰ_ｋ（２ｉ_２−１）、ＧｒＰ_ｋ（２ｉ_２）、ＧｂＰ_ｋ（２ｉ_２−１）、ＢＰ_ｋ（２ｉ_２）が生成される。

式（３Ａ）から式（３Ｄ）から理解できるように、Ｓ９０４の射影処理は、瞳分割方向に直交する方向に並ぶ撮像画像Ｉの画素群（非有効画素を除く）の合計値を算出する処理である。合計値の算出は、色毎に行われ（即ち、画素群は、全画素が同一の色に対応するように決定され）、合計値は、正規化のために有効画素の数で除算される。また、式（３Ｅ）から式（３Ｈ）から理解できるように、Ｓ９０５の射影処理は、瞳分割方向に直交する方向に並ぶ第１視点画像Ｉ_１の画素群（非有効画素を除く）の合計値を算出する処理である。合計値の算出は、色毎に行われ（即ち、画素群は、全画素が同一の色に対応するように決定され）、合計値は、正規化のために有効画素の数で除算される。

式（３Ａ）から式（３Ｄ）の射影処理後、撮像装置１００は、平滑化のために、撮像画像の射影信号ＲＰ（２ｉ_２−１）、ＧｒＰ（２ｉ_２）、ＧｂＰ（２ｉ_２−１）、ＢＰ（２ｉ_２）に、ローパスフィルタ処理を行う。同様に、式（３Ｅ）から式（３Ｈ）の射影処理後、撮像装置１００は、平滑化のために、第ｋ視点画像の射影信号ＲＰ_ｋ（２ｉ_２−１）、ＧｒＰ_ｋ（２ｉ_２）、ＧｂＰ_ｋ（２ｉ_２−１）、ＢＰ_ｋ（２ｉ_２）に、ローパスフィルタ処理を行う。しかしながら、ローパスフィルタ処理は省略してもよい。

図１２（Ａ）に、撮像画像の射影信号ＲＰ（Ｒ）、ＧｒＰ（Ｇ）、ＧｂＰ（Ｇ）、ＢＰ（Ｂ）の例を、図１２（Ｂ）に、第１視点画像の射影信号ＲＰ_１（Ｒ）、ＧｒＰ_１（Ｇ）、ＧｂＰ_１（Ｇ）、ＢＰ_１（Ｂ）の例を示す。各射影信号には、被写体に依存した複数の山谷の起伏が生じる。第１視点画像Ｉ_１のシェーディング（光量）補正を高精度に行うためには、瞳ずれにより生じている第１視点画像Ｉ_１のＲＧＢ毎のシェーディング成分と、被写体が保有しているＲＧＢ毎の信号成分と、を分離する必要がある。

この分離のために、Ｓ９０６で、撮像装置１００は、撮像画像Ｉを基準とした相対的な、第ｋ視点画像Ｉ_ｋのＲＧＢ毎のシェーディング信号ＲＳ_ｋ（２ｉ_２−１）、ＧｒＳ_ｋ（２ｉ_２）、ＧｂＳ_ｋ（２ｉ_２−１）、ＢＳ_ｋ（２ｉ_２）を算出する。この算出は、式（４Ａ）から式（４Ｄ）に従って行われる。

ここで、画素の受光量は、副画素の受光量より大きい必要があり、また、シェーディング成分の算出には、副画素の受光量が０より大きい必要がある。そのため、撮像装置１００は、式（４Ａ）に従い、条件式ＲＰ（２ｉ_２−１）＞ＲＰ_ｋ（２ｉ_２−１）＞０を満たす場合、第ｋ視点画像のＲ成分の射影信号ＲＰ_ｋ（２ｉ_２−１）と、撮像画像のＲ成分の射影信号ＲＰ（２ｉ_２−１）との比を取得する。そして、撮像装置１００は、取得した比に対して、規格化のために瞳分割数Ｎ_ＬＦを乗算して、第ｋ視点画像Ｉ_ｋのＲ成分のシェーディング信号ＲＳ_ｋ（２ｉ_２−１）を生成する。これにより、被写体が保有しているＲの信号成分を相殺し、第ｋ視点画像Ｉ_ｋのＲのシェーディング成分を分離することができる。一方、条件式ＲＰ（２ｉ_２−１）＞ＲＰ_ｋ（２ｉ_２−１）＞０を満たさない場合、撮像装置１００は、第ｋ視点画像Ｉ_ｋのＲ成分のシェーディング信号ＲＳ_ｋ（２ｉ_２−１）を０に設定する。

同様に、撮像装置１００は、式（４Ｂ）に従い、条件式ＧｒＰ（２ｉ_２）＞ＧｒＰ_ｋ（２ｉ_２）＞０を満たす場合、第ｋ視点画像のＧｒ成分の射影信号ＧｒＰ_ｋ（２ｉ_２）と、撮像画像のＧｒ成分の射影信号ＧｒＰ（２ｉ_２）との比を取得する。そして、撮像装置１００は、取得した比に対して、規格化のために瞳分割数Ｎ_ＬＦを乗算して、第ｋ視点画像Ｉ_ｋのＧｒ成分のシェーディング信号ＧｒＳ_ｋ（２ｉ_２）を生成する。これにより、被写体が保有しているＧｒの信号成分を相殺し、第ｋ視点画像Ｉ_ｋのＧｒのシェーディング成分を分離することができる。一方、条件式ＧｒＰ（２ｉ_２）＞ＧｒＰ_ｋ（２ｉ_２）＞０を満たさない場合、撮像装置１００は、第ｋ視点画像Ｉ_ｋのＧｒ成分のシェーディング信号ＧｒＳ_ｋ（２ｉ_２）を０に設定する。

同様に、撮像装置１００は、式（４Ｃ）に従い、条件式ＧｂＰ（２ｉ_２−１）＞ＧｂＰ_ｋ（２ｉ_２−１）＞０を満たす場合、第ｋ視点画像のＧｂ成分の射影信号ＧｂＰ_ｋ（２ｉ_２−１）と、撮像画像のＧｂ成分の射影信号ＧｂＰ（２ｉ_２−１）との比を取得する。そして、撮像装置１００は、取得した比に対して、規格化のために瞳分割数Ｎ_ＬＦを乗算して、第ｋ視点画像Ｉ_ｋのＧｂ成分のシェーディング信号ＧｂＳ_ｋ（２ｉ_２−１）を生成する。これにより、被写体が保有しているＧｂの信号成分を相殺し、第ｋ視点画像Ｉ_ｋのＧｂのシェーディング成分を分離することができる。一方、条件式ＧｂＰ（２ｉ_２−１）＞ＧｂＰ_ｋ（２ｉ_２−１）＞０を満たさない場合、撮像装置１００は、第ｋ視点画像Ｉ_ｋのＧｂ成分のシェーディング信号ＧｂＳ_ｋ（２ｉ_２−１）を０に設定する。

同様に、撮像装置１００は、式（４Ｄ）に従い、条件式ＢＰ（２ｉ_２）＞ＢＰ_ｋ（２ｉ_２）＞０を満たす場合、第ｋ視点画像のＢ成分の射影信号ＢＰ_ｋ（２ｉ_２）と、撮像画像のＢ成分の射影信号ＢＰ（２ｉ_２）との比を取得する。そして、撮像装置１００は、取得した比に対して、規格化のために瞳分割数Ｎ_ＬＦを乗算して、第ｋ視点画像Ｉ_ｋのＢ成分のシェーディング信号ＢＳ_ｋ（２ｉ_２）を生成する。これにより、被写体が保有しているＢの信号成分を相殺し、第ｋ視点画像Ｉ_ｋのＢのシェーディング成分を分離することができる。一方、条件式ＢＰ（２ｉ_２）＞ＢＰ_ｋ（２ｉ_２）＞０を満たさない場合、撮像装置１００は、第ｋ視点画像Ｉ_ｋのＢ成分のシェーディング信号ＢＳ_ｋ（２ｉ_２）を０に設定する。

なお、シェーディング補正を高精度に行うためには、有効なシェーディング信号数が所定値以上である場合に、シェーディング補正を行うことが望ましい。即ち、ＲＳ_ｋ（２ｉ_２−１）＞０、ＧｒＳ_ｋ（２ｉ_２）＞０、ＧｂＳ_ｋ（２ｉ_２−１）＞０、ＢＳ_ｋ（２ｉ_２）＞０を満たす有効なシェーディング信号数が所定値以上である場合に、シェーディング補正を行うことが望ましい。

式（４Ａ）から式（４Ｄ）から理解できるように、シェーディング信号は、瞳分割方向に直交する方向に並ぶ第１視点画像Ｉ_１の画素群の合計値と、これに対応する位置の撮像画像の画素群の合計値との比率に関係する値である。

シェーディング信号の生成に続いて、撮像装置１００は、式（５Ａ）から式（５Ｄ）に従い、第ｋ視点画像Ｉ_ｋのＲＧＢ毎のシェーディング関数ＲＳＦ_ｋ（２ｉ_２−１）、ＧｒＳＦ_ｋ（２ｉ_２）、ＧｂＳＦ_ｋ（２ｉ_２−１）、ＢＳＦ_ｋ（２ｉ_２）を、瞳分割方向（ｘ方向）の位置変数に対する滑らかなＮ_ＳＦ次の多項式関数とする。また、撮像装置１００は、式（４Ａ）から式（４Ｄ）により生成された、ＲＳ_ｋ（２ｉ_２−１）＞０、ＧｒＳ_ｋ（２ｉ_２）＞０、ＧｂＳ_ｋ（２ｉ_２−１）＞０、ＢＳ_ｋ（２ｉ_２）＞０を満たす有効なシェーディング信号を、データ点とする。撮像装置１００は、これらのデータ点を用いて最小二乗法によるパラメータフィッティングを行い、式（５Ａ）から式（５Ｄ）の各係数ＲＳＣ_ｋ（μ）、ＧｒＳＣ_ｋ（μ）、ＧｂＳＣ_ｋ（μ）、ＢＳＣ_ｋ（μ）を算出する。以上により、撮像画像を基準とした相対的な、第ｋ視点画像Ｉ_ｋのＲＧＢ毎のシェーディング関数ＲＳＦ_ｋ（２ｉ_２−１）、ＧｒＳＦ_ｋ（２ｉ_２）、ＧｂＳＦ_ｋ（２ｉ_２−１）、ＢＳＦ_ｋ（２ｉ_２）が生成される。

ここで、シェーディング関数ＲＳＦ_ｋ、ＧｒＳＦ_ｋ、ＧｂＳＦ_ｋ、ＢＳＦ_ｋを、瞳分割方向（ｘ方向）に反転した関数を、それぞれ、Ｒ［ＲＳＦ_ｋ］、Ｒ［ＧｒＳＦ_ｋ］、Ｒ［ＧｂＳＦ_ｋ］、Ｒ［ＢＳＦ_ｋ］とする。所定許容値をε（０＜ε＜１）とする。撮像装置１００は、１−ε≦ＲＳＦ_ｋ＋Ｒ［ＲＳＦ_ｋ］≦１＋ε、１−ε≦ＧｒＳＦ_ｋ＋Ｒ［ＧｒＳＦ_ｋ］≦１＋ε、１−ε≦ＧｂＳＦ_ｋ＋Ｒ［ＧｂＳＦ_ｋ］≦１＋ε、１−ε≦ＢＳＦ_ｋ＋Ｒ［ＢＳＦ_ｋ］≦１＋εの各条件式が、各位置で全て満たされるか判定する。各条件式が各位置で全て満たされる場合、撮像装置１００は、生成されたシェーディング関数は適正であると判定し、式（６Ａ）から式（６Ｄ）に従うシェーディング補正処理（後述）を行う。そうでない場合、撮像装置１００は、生成されたシェーディング関数は不適正であると判定し、ＲＳＦ_ｋ≡１、ＧｒＳＦ_ｋ≡１、ＧｂＳＦ_ｋ≡１、ＢＳＦ_ｋ≡１とし、必要に応じて、例外処理を行う。

図１２（Ｃ）に、撮像画像Ｉを基準とした相対的な、第１視点画像Ｉ_１のＲＧＢ毎のシェーディング関数ＲＳＦ_１（Ｒ）、ＧｒＳＦ_１（Ｇ）、ＧｂＳＦ_１（Ｇ）、ＢＳＦ_１（Ｂ）の例を示す。図１２（Ｂ）の第１視点画像Ｉ_１の射影信号と、図１２（Ａ）の撮像画像Ｉの射影信号では、被写体に依存した山谷の起伏が存在する。これに対して、第１視点画像Ｉ_１の射影信号と撮像画像Ｉの射影信号の比を得ることにより、被写体に依存した山谷の起伏（被写体が保有しているＲＧＢ毎の信号値）を相殺することができる。これにより、滑らかな第１視点画像Ｉ_１のＲＧＢ毎のシェーディング関数を分離して生成することができる。

なお、本実施形態では、シェーディング関数として多項式関数を用いたが、これに限定されることはなく、必要に応じて、シェーディング形状に合わせて、より一般的な関数を用いてもよい。

次に、Ｓ９０７で、撮像装置１００は、ＲＧＢ毎のシェーディング関数を用いて、第ｋ視点画像Ｉ_ｋ（ｊ、ｉ）に対してシェーディング（光量）補正処理を行い、第１修正第ｋ視点画像Ｍ_１Ｉ_ｋ（ｊ、ｉ）を生成する。シェーディング補正処理は、式（６Ａ）から式（６Ｄ）に従って行われる。ここで、ベイヤー配列の第１修正第ｋ視点画像Ｍ_１Ｉ_ｋのＲ成分をＲＭ_１Ｉ_ｋ（２ｊ_２−１、２ｉ_２−１）＝Ｍ_１Ｉ_ｋ（２ｊ_２−１、２ｉ_２−１）、Ｇｒ成分をＧｒＭ_１Ｉ_ｋ（２ｊ_２−１、２ｉ_２）＝Ｍ_１Ｉ_ｋ（２ｊ_２−１、２ｉ_２）とする。また、Ｇｂ成分をＧｂＭ_１Ｉ_ｋ（２ｊ_２、２ｉ_２−１）＝Ｍ_１Ｉ_ｋ（２ｊ_２、２ｉ_２−１）、Ｂ成分をＢＭ_１Ｉ_ｋ（２ｊ_２、２ｉ_２）＝Ｍ_１Ｉ_ｋ（２ｊ_２、２ｉ_２）とする。

本実施形態では、撮像装置１００は、撮像画像と視点画像に基づき、撮像画像の被写体による信号変化と、視点画像の被写体による信号変化と、を相殺して、ＲＧＢ毎のシェーディング関数を算出する。そして、撮像装置１００は、シェーディング関数の逆数により、ＲＧＢ毎のシェーディング補正量（光量補正量）を算出する。そして、撮像装置１００は、算出したシェーディング補正量（光量補正量）に基づき、視点画像のシェーディング（光量）補正処理を行う。

本実施形態においては、瞳分割方向に直交する方向に並ぶ第１視点画像Ｉ_１の画素群の合計値と、これに対応する位置の撮像画像の画素群の合計値との比率を利用することにより、被写体による信号変化が相殺される。瞳分割方向に直交する方向の合計値を利用することにより、瞳分割方向の視差情報が失われることを抑制しつつ、被写体による信号変化を相殺することができる。

以下、図１３から図１５を参照して、図９のＳ９０３乃至Ｓ９０７に示した第１視点画像Ｉ_１のＲＧＢ毎のシェーディング（光量）補正処理の効果を説明する。図１３は、撮像画像Ｉ（デモザイキング後）の例を示す。これは、画質が良好な撮像画像の例である。図１４は、シェーディング補正前の第１視点画像Ｉ_１（デモザイキング後）の例を示す。これは、結像光学系の射出瞳４００と撮像素子１０７の入射瞳の瞳ずれによりＲＧＢ毎のシェーディングが生じ、そのため、第１視点画像Ｉ_１の右側において輝度の低下とＲＧＢ比の変調が生じている例である。図１５は、本実施形態のシェーディング補正後の第１修正第１視点画像Ｍ_１Ｉ_１（デモザイキング後）の例を示す。撮像画像に基づいたＲＧＢ毎のシェーディング補正により、輝度の低下とＲＧＢ比の変調とが修正され、撮像画像Ｉと同様に画質が良好な、シェーディング補正後の第１修正第１視点画像Ｍ_１Ｉ_１が生成されている。

以上の処理により生成された第１修正第ｋ視点画像Ｍ_１Ｉ_ｋは、次に説明するキズ補正処理に用いられる。しかしながら、必要に応じて、撮像装置１００は、第１修正第ｋ視点画像Ｍ_１Ｉ_ｋを出力画像としてフラッシュメモリ１３３に格納するなどしてもよい。

●視点画像のキズ補正処理（Ｓ９０８）
Ｓ９０８で、撮像装置１００は、撮像画像Ｉに基づいて、第１修正第ｋ視点画像Ｍ_１Ｉ_ｋの欠陥補正（キズ補正）を行う。前述の通り、ｋ＝１であるものとして説明を行う。本実施形態では、撮像素子１０７の回路構成や駆動方式により、転送ゲートの短絡などが原因で、撮像画像Ｉは正常である一方、第１視点画像Ｉ_１の一部分に欠陥信号が生じ、点欠陥や線欠陥となる場合がある。必要に応じて、撮像装置１００は、量産工程等で検査された点欠陥情報や線欠陥情報を、画像処理回路１２５等に事前に記録し、記録された点欠陥情報や線欠陥情報を用いて第１視点画像Ｉ_１の欠陥補正処理を行ってもよい。また、必要に応じて、撮像装置１００は、第１視点画像Ｉ_１をリアルタイムに検査して点欠陥判定や線欠陥判定を行ってもよい。

第ｋ視点画像Ｉ_ｋの奇数行２ｊ_Ｄ−１又は偶数行２ｊ_Ｄが水平方向（ｘ方向）の線欠陥であると判定され、撮像画像Ｉの奇数行２ｊ_Ｄ−１又は偶数行２ｊ_Ｄは線欠陥と判定されていない場合を例として、Ｓ９０８の欠陥補正を説明する。

撮像装置１００は、正常な撮像画像Ｉを参照画像として、撮像画像Ｉに基づいて、第１修正第ｋ視点画像Ｍ_１Ｉ_ｋの欠陥補正を行う。本実施形態の欠陥補正では、欠陥と判定されていない位置の第１修正第ｋ視点画像Ｍ_１Ｉ_ｋの信号値と、欠陥と判定されていない位置の撮像画像Ｉの信号値と、を比較して欠陥補正を行う。この比較を行う際に、瞳ずれにより生じている第ｋ視点画像Ｉ_ｋのＲＧＢ毎のシェーディング成分の影響が取り除かれていることが、精度向上のために重要である。なぜなら、第ｋ視点画像Ｉ_ｋと撮像画像Ｉとで、被写体が保有しているＲＧＢ毎の信号成分を正確に比較することが高精度な欠陥補正のために必要であるからである。そのため、欠陥補正においては、（第ｋ視点画像Ｉ_ｋではなく）第１修正第ｋ視点画像Ｍ_１Ｉ_ｋが用いられる。

撮像装置１００は、第１修正第ｋ視点画像Ｍ_１Ｉ_ｋ（ｊ、ｉ）の欠陥信号に対して、撮像画像Ｉの正常信号と、第１修正第ｋ視点画像Ｍ_１Ｉ_ｋの正常信号とを用いて、欠陥補正処理を行う。欠陥補正後の第ｋ視点画像を、第２修正第ｋ視点画像Ｍ_２Ｉ_ｋ（ｊ、ｉ）と表記する。欠陥補正は、式（７Ａ）から式（７Ｄ）に従って行われる。ここで、ベイヤー配列の第２修正第ｋ視点画像Ｍ_２Ｉ_ｋのＲ成分をＲＭ_２Ｉ_ｋ（２ｊ_２−１、２ｉ_２−１）＝Ｍ_２Ｉ_ｋ（２ｊ_２−１、２ｉ_２−１）、Ｇｒ成分をＧｒＭ_２Ｉ_ｋ（２ｊ_２−１、２ｉ_２）＝Ｍ_２Ｉ_ｋ（２ｊ_２−１、２ｉ_２）とする。また、Ｇｂ成分をＧｂＭ_２Ｉ_ｋ（２ｊ_２、２ｉ_２−１）＝Ｍ_２Ｉ_ｋ（２ｊ_２、２ｉ_２−１）、Ｂ成分をＢＭ_２Ｉ_ｋ（２ｊ_２、２ｉ_２）＝Ｍ_２Ｉ_ｋ（２ｊ_２、２ｉ_２）とする。

第１修正第ｋ視点画像Ｍ_１Ｉ_ｋのＲ成分の第１位置（２ｊ_Ｄ−１、２ｉ_Ｄ−１）が欠陥と判定された場合、撮像装置１００は式（７Ａ）に従って欠陥補正処理を行い、第１位置における第２修正第ｋ視点画像ＲＭ_２Ｉ_ｋ（２ｊ_Ｄ−１、２ｉ_Ｄ−１）を生成する。式（７Ａ）において、τ及びσの値は、Ｒ成分の第１修正第ｋ視点画像ＲＭ_１Ｉ_ｋにおいて欠陥と判定されていない位置（第２位置）に対応する値のみが使用される。

同様に、第１修正第ｋ視点画像Ｍ_１Ｉ_ｋのＧｒ成分の第１位置（２ｊ_Ｄ−１、２ｉ_Ｄ）が欠陥と判定された場合、撮像装置１００は式（７Ｂ）に従って欠陥補正処理を行い、第１位置における第２修正第ｋ視点画像ＧｒＭ_２Ｉ_ｋ（２ｊ_Ｄ−１、２ｉ_Ｄ）を生成する。式（７Ｂ）において、τ及びσの値は、Ｇｒ成分の第１修正第ｋ視点画像ＧｒＭ_１Ｉ_ｋにおいて欠陥と判定されていない位置（第２位置）に対応する値のみが使用される。

同様に、第１修正第ｋ視点画像Ｍ_１Ｉ_ｋのＧｂ成分の第１位置（２ｊ_Ｄ、２ｉ_Ｄ−１）が欠陥と判定された場合、撮像装置１００は式（７Ｃ）に従って欠陥補正処理を行い、第１位置における第２修正第ｋ視点画像ＧｂＭ_２Ｉ_ｋ（２ｊ_Ｄ、２ｉ_Ｄ−１）を生成する。式（７Ｃ）において、τ及びσの値は、Ｇｂ成分の第１修正第ｋ視点画像ＧｂＭ_１Ｉ_ｋにおいて欠陥と判定されていない位置（第２位置）に対応する値のみが使用される。

同様に、第１修正第ｋ視点画像Ｍ_１Ｉ_ｋのＢ成分の第１位置（２ｊ_Ｄ、２ｉ_Ｄ）が欠陥と判定された場合、撮像装置１００は式（７Ｄ）に従って欠陥補正処理を行い、第１位置における第２修正第ｋ視点画像ＢＭ_２Ｉ_ｋ（２ｊ_Ｄ、２ｉ_Ｄ）を生成する。式（７Ｄ）において、τ及びσの値は、Ｇｂ成分の第１修正第ｋ視点画像ＧｂＭ_１Ｉ_ｋにおいて欠陥と判定されていない位置（第２位置）に対応する値のみが使用される。

第１修正第ｋ視点画像Ｍ_１Ｉ_ｋにおいて欠陥と判定されていない位置（ｊ、ｉ）については、第２修正第ｋ視点画像Ｍ_２Ｉ_ｋ（ｊ、ｉ）は、第１修正第ｋ視点画像Ｍ_１Ｉ_ｋ（ｊ、ｉ）と同じ信号値である。即ち、Ｍ_２Ｉ_ｋ（ｊ、ｉ）＝Ｍ_１Ｉ_ｋ（ｊ、ｉ）である。

以下、図１６及び図１７を参照して、Ｓ９０８に示した第１修正第１視点画像Ｍ_１Ｉ_１の欠陥補正処理の効果を説明する。図１６は、欠陥補正前の第１修正第１視点画像Ｍ_１Ｉ_１（シェーディング補正後、デモザイキング後）の例を示す。これは、第１修正第１視点画像Ｍ_１Ｉ_１の中央部に、水平方向（ｘ方向）のライン状の欠陥（線欠陥）が生じている例である。図１７は、欠陥補正後の第２修正第１視点画像Ｍ_２Ｉ_１（シェーディング補正後、デモザイキング後）の例を示す。正常な撮像画像Ｉに基づいた欠陥補正により、水平方向（ｘ方向）の線欠陥が修正され、撮像画像Ｉと同様に画質が良好な、欠陥補正後の第２修正第１視点画像Ｍ_２Ｉ_１が生成されている。

以上の処理により生成された第２修正第ｋ視点画像Ｍ_２Ｉ_ｋは、次に説明する再シェーディング処理に用いられる。しかしながら、必要に応じて、撮像装置１００は、第２修正第ｋ視点画像Ｍ_２Ｉ_ｋを出力画像としてフラッシュメモリ１３３に格納するなどしてもよい。

●視点画像の再シェーディング処理（Ｓ９０９）
Ｓ９０９で、撮像装置１００は、欠陥補正後の第２修正第ｋ視点画像Ｍ_２Ｉ_ｋ（ｊ、ｉ）に対して、式（８Ａ）から式（８Ｄ）に従って再シェーディング処理を行い、第３修正第ｋ視点画像Ｍ_３Ｉ_ｋ（ｊ、ｉ）を生成する。ここで、ベイヤー配列の第３修正第ｋ視点画像Ｍ_３Ｉ_ｋのＲ成分をＲＭ_３Ｉ_ｋ（２ｊ_２−１、２ｉ_２−１）＝Ｍ_３Ｉ_ｋ（２ｊ_２−１、２ｉ_２−１）、Ｇｒ成分をＧｒＭ_３Ｉ_ｋ（２ｊ_２−１、２ｉ_２）＝Ｍ_３Ｉ_ｋ（２ｊ_２−１、２ｉ_２）とする。また、Ｇｂ成分をＧｂＭ_３Ｉ_ｋ（２ｊ_２、２ｉ_２−１）＝Ｍ_３Ｉ_ｋ（２ｊ_２、２ｉ_２−１）、Ｂ成分をＢＭ_３Ｉ_ｋ（２ｊ_２、２ｉ_２）＝Ｍ_３Ｉ_ｋ（２ｊ_２、２ｉ_２）とする。

●撮像画像及び視点画像の飽和信号処理（Ｓ９１０及びＳ９１１）
次に、撮像装置１００は、撮像画像Ｉ（ｊ、ｉ）と、第３修正第ｋ視点画像Ｍ_３Ｉ_ｋ（ｊ、ｉ）に対して、飽和信号処理を行う。引き続き、ｋ＝１、Ｎ_ＬＦ＝２の例について説明を行う。

Ｓ９１０で、撮像装置１００は、撮像画像Ｉ（ｊ、ｉ）に対して、撮像信号の最大値をＩ_ｍａｘとして、式（９）に従って飽和信号処理を行い、修正撮像画像ＭＩ（ｊ、ｉ）を生成する。ここで、撮像信号の最大値Ｉ_ｍａｘと、撮像信号の飽和判定閾値ＩＳは、Ｉ_ｍａｘ≧ＩＳを満たす。

Ｓ９１１で、撮像装置１００は、第３修正第ｋ視点画像Ｍ_３Ｉ_ｋ（ｊ、ｉ）に対して、式（１０）に従ってシェーディング状態に合わせた飽和信号処理を行い、第４修正第ｋ視点画像Ｍ_４Ｉ_ｋ（ｊ、ｉ）を生成する。式（１０）において、ＳＦ_ｋ（ｊ、ｉ）は、式（５Ａ）から式（５Ｄ）により求められたベイヤー配列のシェーディング関数であり、ＳＦ_ｋ（２ｊ_２−１、２ｉ_２−１）＝ＲＳＦ_ｋ（２ｉ_２−１）である。また、ＳＦ_ｋ（２ｊ_２−１、２ｉ_２）＝ＧｒＳＦ_ｋ（２ｉ_２）、ＳＦ_ｋ（２ｊ_２、２ｉ_２−１）＝ＧｂＳＦ_ｋ（２ｉ_２−１）、ＳＦ_ｋ（２ｊ_２、２ｉ_２）＝ＢＳＦ_ｋ（２ｉ_２）である。

●第２視点画像の生成処理（Ｓ９１２）
Ｓ９１２で、撮像装置１００は、式（１１）に従い、修正撮像画像ＭＩ（ｊ、ｉ）及び第４修正第１視点画像Ｍ_４Ｉ_１（ｊ、ｉ）から、第２視点画像Ｉ_２（ｊ、ｉ）を生成する。

本実施形態では、撮像素子１０７の駆動方式やＡ／Ｄ変換の回路構成により、第３修正第１視点画像Ｍ_３Ｉ_１（ｊ、ｉ）の飽和時の最大信号値が、撮像画像Ｉ（ｊ、ｉ）の飽和時の最大信号値Ｉ_ｍａｘと、同一の最大信号値となる場合がある。その場合に、仮に飽和信号処理を行わずに、式（１１）のように撮像画像Ｉから第３修正第１視点画像Ｍ_３Ｉ_１を減算して第２視点画像Ｉ_２を生成した場合を考える。この仮定において、第２視点画像Ｉ_２において飽和信号値となるべき場合に、誤った信号値０となってしまう場合がある。この問題を防止するために、本実施形態では、撮像装置１００は予めＳ９１０及びＳ９１１において、撮像画像Ｉと第３修正第ｋ視点画像Ｍ_３Ｉ_ｋに対してシェーディング状態に合わせた飽和信号処理を行っている。そして、撮像装置１００は、飽和信号処理により修正撮像画像ＭＩ及び第４修正第１視点画像Ｍ_４Ｉ_１が生成された後に、Ｓ９１２で、式（１１）に従って第２視点画像Ｉ_２を生成している。これにより、より正しい飽和信号値に対応した第２視点画像Ｉ_２を生成することができる。

●第１視点画像及び第２視点画像のシェーディング補正処理（Ｓ９１３乃至Ｓ９１５）
次に、撮像装置１００は、第４修正第１視点画像Ｍ_４Ｉ_１（ｊ、ｉ）と、第２視点画像Ｉ_２（ｊ、ｉ）に対して、シェーディング（光量）補正を行う。

Ｓ９１３で、撮像装置１００は、Ｓ９０７と同様に（式（６Ａ）から式（６Ｄ）参照）、第４修正第１視点画像Ｍ_４Ｉ_１に対してシェーディング（光量）補正処理を行い、第５修正第１視点画像Ｍ_５Ｉ_１を生成する。この時、撮像装置１００は、シェーディング関数ＲＳＦ_１、ＧｒＳＦ_１、ＧｂＳＦ_１、ＢＳＦ_１として、Ｓ９０６において生成済みのものを用いる。

Ｓ９１４で、撮像装置１００は、Ｓ９０３乃至Ｓ９０６と同様に（式（３Ａ）から式（５Ｄ）参照）、第２視点画像Ｉ_２のシェーディング関数ＲＳＦ_２、ＧｒＳＦ_２、ＧｂＳＦ_２、ＢＳＦ_２を生成する。Ｓ９１５で、撮像装置１００は、Ｓ９０７と同様に（式（６Ａ）から式（６Ｄ）参照）、第２視点画像Ｉ_２に対して、Ｓ９１４において生成したシェーディング関数を用いたシェーディング（光量）補正処理を行い、第５修正第２視点画像Ｍ_５Ｉ_２を生成する。

●第１視点画像及び第２視点画像の飽和信号処理（Ｓ９１６及びＳ９１７）
Ｓ９１６で、撮像装置１００は、第５修正第１視点画像Ｍ_５Ｉ_１（ｊ、ｉ）に対して、式（１２）に従って飽和信号処理を行い、出力画像である最終修正第１視点画像ＭＩ_１（ｊ、ｉ）を生成する。ここで、第ｋ視点画像の最大値Ｉ_ｍａｘ／Ｎ_ＬＦと、第ｋ視点画像の飽和判定閾値ＩＳ_ｋは、Ｉ_ｍａｘ／Ｎ_ＬＦ≧ＩＳ_ｋを満たす。同様に、Ｓ９１７で、撮像装置１００は、第５修正第２視点画像Ｍ_５Ｉ_２（ｊ、ｉ）に対して、式（１２）に従って飽和信号処理を行い、出力画像である最終修正第２視点画像ＭＩ_２（ｊ、ｉ）を生成する。なお、「最終」修正という用語は便宜上のものであり、これ以降に更に何らかの修正を行うことを禁止することを意味する訳ではない。

以下、図１８及び図１９を参照して、図９のＳ９１４及びＳ９１５に示した第２視点画像Ｉ_２のＲＧＢ毎のシェーディング（光量）補正処理の効果を説明する。図１８は、シェーディング補正前の第２視点画像Ｉ_２（デモザイキング後）の例を示す。これは、結像光学系の射出瞳４００と撮像素子１０７の入射瞳の瞳ずれによりＲＧＢ毎のシェーディングが生じ、そのため、第２視点画像Ｉ_２の左側において輝度の低下とＲＧＢ比の変調が生じている例である。図１９は、本実施形態のシェーディング補正後の最終修正第２視点画像ＭＩ_２（デモザイキング後）の例を示す。撮像画像に基づいたＲＧＢ毎のシェーディング補正により、輝度の低下とＲＧＢ比の変調とが修正され、撮像画像Ｉと同様に画質が良好な、シェーディング補正後の最終修正第２視点画像ＭＩ_２（ｊ、ｉ）が生成されている。

以上説明したように、第１の実施形態によれば、撮像装置１００は、撮像画像を用いて視点画像の補正処理を行う。これにより、視点画像の画質を向上させることが可能となる。

［第２の実施形態］
第２の実施形態では、第１の実施形態で生成された最終修正第１視点画像及び最終修正第２視点画像から、最終修正第１視点画像と最終修正第２視点画像の相関（信号の一致度）に基づき、位相差方式により像ずれ量分布を検出する処理について説明する。本実施形態において、撮像装置１００の基本的な構成は、第１の実施形態と同様である（図１参照）。以下、主に第１の実施形態と異なる点について説明する。

最初に、撮像装置１００は、式（１３）に従い、ベイヤー配列のＲＧＢ信号である最終修正第ｋ視点画像ＭＩ_ｋから、位置（ｊ，ｉ）ごとに、各色ＲＧＢの色重心を一致させて、第ｋ視点輝度信号Ｙ_ｋを生成する。

次に、撮像装置１００は、最終修正第１視点画像ＭＩ_１から生成された第１視点輝度信号Ｙ_１に対して、瞳分割方向（ｘ方向）に１次元バンドパスフィルタ処理を行い、第１焦点検出信号ｄＹＡを生成する。また、撮像装置１００は、最終修正第２視点画像ＭＩ_２から生成された第２視点輝度信号Ｙ_２に対して、瞳分割方向（ｘ方向）に１次元バンドパスフィルタ処理を行い、第２焦点検出信号ｄＹＢを生成する。１次元バンドパスフィルタとしては、例えば、１次微分型フィルタ［１、５、８、８、８、８、５、１、−１、−５、−８、−８、−８、−８、−５、−１］などを用いることができる。必要に応じて、１次元バンドパスフィルタの通過帯域を調整しても良い。

次に、撮像装置１００は、第１焦点検出信号ｄＹＡと第２焦点検出信号ｄＹＢを、相対的に瞳分割方向（ｘ方向）にシフトさせて、信号の一致度を表す相関量を算出し、相関量に基づいて像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）を生成する。ここで、位置（ｊ，ｉ）を中心として、行方向ｊ_２（−ｎ_２≦ｊ_２≦ｎ_２）番目、瞳分割方向である列方向ｉ_２（−ｍ_２≦ｉ_２≦ｍ_２）番目の第１焦点検出信号をｄＹＡ（ｊ＋ｊ_２、ｉ＋ｉ_２）、第２焦点検出信号をｄＹＢ（ｊ＋ｊ_２、ｉ＋ｉ_２）とする。撮像装置１００は、シフト量をｓ（−ｎ_ｓ≦ｓ≦ｎ_ｓ）として、各位置（ｊ，ｉ）での相関量ＣＯＲ_ＥＶＥＮ（ｊ，ｉ，ｓ）を式（１４Ａ）に従って算出し、相関量ＣＯＲ_ＯＤＤ（ｊ，ｉ，ｓ）を式（１４Ｂ）に従って算出する。

相関量ＣＯＲ_ＯＤＤ（ｊ，ｉ，ｓ）は、相関量ＣＯＲ_ＥＶＥＮ（ｊ，ｉ，ｓ）に対して、第１焦点検出信号ｄＹＡと第２焦点検出信号ｄＹＢのシフト量を半位相−１シフトした相関量である。

撮像装置１００は、相関量ＣＯＲ_ＥＶＥＮ（ｊ，ｉ，ｓ）と相関量ＣＯＲ_ＯＤＤ（ｊ，ｉ，ｓ）から、それぞれ、サブピクセル演算により、相関量が最小値となる実数値のシフト量を算出して平均値を算出し、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）を検出する。

位相差方式の像ずれ量の検出を行う場合、撮像装置１００は、式（１４Ａ）及び式（１４Ｂ）の相関量を評価し、第１焦点検出信号と第２焦点検出信号の相関（信号の一致度）に基づいて、像ずれ量の検出を行う。本実施形態では、撮像装置１００は、撮像画像に基づいてＲＧＢ毎のシェーディング（光量）補正が施された最終修正第１視点画像と最終修正第２視点画像から、それぞれ、第１焦点検出信号と第２焦点検出信号を生成する。そのため、第１焦点検出信号と第２焦点検出信号の相関（信号の一致度）が改善され、像ずれ量を高精度に検出することができる。

自動焦点検出を行い、検出されたデフォーカス量に応じて合焦位置にレンズを駆動する場合などは、撮像装置１００は、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）に対して、焦点検出領域の像高位置毎に、撮像レンズ（結像光学系）の絞り値Ｆと、射出瞳距離などのレンズ情報に応じた像ずれ量からデフォーカス量への変換係数Ｋとを乗算し、デフォーカス分布Ｍ_Ｄｅｆ（ｊ，ｉ）を検出する。

［第３の実施形態］
第１の実施形態においては、Ｎ_ｘ＝２、Ｎ_ｙ＝１、Ｎ_ＬＦ＝２×１＝２であるものとして説明を行ったが、第３の実施形態では、Ｎ_ｘ≧２、Ｎ_ｙ≧２、Ｎ_ＬＦ＝Ｎ_ｘ×Ｎ_ｙに一般化することについて説明する。本実施形態において、撮像装置１００の基本的な構成は、第１の実施形態と同様である（図１参照）。また、撮像画像に基づく視点画像の補正処理（図９及び図１０）も、以下に説明する点を除いて第１の実施形態と概ね同様であるが、第１の実施形態においてＮ_ＬＦ＝２であることを前提とした記載は、Ｎ_ＬＦ＝２に限定されない形に読み替える。例えば、特定の画素の全副画素を指す「第１副画素２０１及び第２副画素２０２」との記載は、「第１副画素から第Ｎ_ＬＦ副画素」と読み替える。また、特定の画素の全光電変換部を指す「第１光電変換部３０１及び第２光電変換部３０２」との記載は「第１光電変換部から第Ｎ_ＬＦ光電変換部」と読み替える。同様に、「第１瞳部分領域５０１と第２瞳部分領域５０２」の「第１瞳部分領域から第Ｎ_ＬＦ瞳部分領域」への読み替えや、「第１視点画像と第２視点画像」の「第１視点画像から第Ｎ_ＬＦ視点画像」への読み替えなどが必要に応じて行われる。以下、主に第１の実施形態と異なる点について説明する。

図２０は、第３の実施形態に係る撮像素子１０７の画素及び副画素の配列の概略図である。図２０の左右方向をｘ方向（水平方向）、上下方向をｙ方向（垂直方向）、ｘ方向及びｙ方向に直交する方向（紙面に垂直な方向）をｚ方向（光軸方向）としてそれぞれ定義する。図２０は、撮像素子１０７（２次元ＣＭＯＳセンサ）の画素（撮像画素）配列を４列×４行の範囲で、副画素配列を８列×８行の範囲で、それぞれ示したものである。

本実施形態では、図２０に示した２列×２行の画素群２００においては、Ｒ（赤）の分光感度を有する画素２００Ｒが左上に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上及び左下に、Ｂ（青）の分光感度を有する画素２００Ｂが右下に配置されている。また、各画素は、ｘ方向にＮ_ｘ分割（Ｎ_ｘは自然数）、ｙ方向にＮ_ｙ分割（Ｎ_ｙは自然数）されており、瞳分割数Ｎ_ＬＦ＝Ｎ_ｘ×Ｎ_ｙの副画素により構成されている。なお、図２０の例においては、Ｎ_ｘ＝２、Ｎ_ｙ＝２、Ｎ_ＬＦ＝２×２＝２であり、各画素は第１副画素２０１から第４副画素２０４により構成されている。以下の説明においては、簡略化のために、各画素が図２０に示すように分割されているものとするが、本実施形態の画素の分割は、図２０に示すものに限定されない。本実施形態の説明は、Ｎ_ｘ及びＮ_ｙの一方又は両方が３以上の場合も同様であり、この場合、各画素は第１副画素から第Ｎ_ＬＦ副画素により構成される。

図２０に示す例では、４列×４行の画素（８列×８行の副画素）を面上に多数配置することで、撮像画像及び４つの視点画像（視点画像の数は瞳分割数Ｎ_ＬＦに対応）を生成するための入力画像を取得可能である。撮像素子１０７では、画素の周期Ｐを６μｍ（マイクロメートル）とし、水平（列方向）画素数Ｎ_Ｈ＝６０００列、垂直（行方向）画素数Ｎ_Ｖ＝４０００行、画素数Ｎ＝Ｎ_Ｈ×Ｎ_Ｖ＝２４００万画素とする。また、副画素の周期Ｐ_Ｓを３μｍとし、副画素数Ｎ_Ｓを水平１２０００列×垂直８０００行＝９６００万画素とする。

図２０に示す撮像素子１０７における１つの画素２００Ｇを、撮像素子１０７の受光面側（＋ｚ側）から見た場合の平面図を図２１（Ａ）に示す。図２１（Ａ）の紙面に垂直な方向にｚ軸を設定し、手前側をｚ軸の正方向と定義する。また、ｚ軸に直交する上下方向にｙ軸を設定して上方をｙ軸の正方向と定義し、ｚ軸及びｙ軸に直交する左右方向にｘ軸を設定して右方をｘ軸の正方向と定義する。また、図２１（Ａ）のａ−ａ切断線に沿って−ｙ側から見た場合の断面図を図２１（Ｂ）に示す。

図２１（Ａ）及び図２１（Ｂ）に示すように、画素２００Ｇは、各画素の受光面側（＋ｚ方向）に入射光を集光するためのマイクロレンズ３０５が形成されている。また、ｘ方向に２分割、ｙ方向に２分割された、４つの光電変換部（第１光電変換部３０１から第４光電変換部３０４）が形成されている。第１光電変換部３０１から第４光電変換部３０４が、それぞれ、第１副画素２０１から第４副画素２０４に対応する。図２１（Ｂ）に示す第３光電変換部３０３及び第４光電変換部３０４の構成などは、第１の実施形態において図３（Ｂ）を参照して説明した第１光電変換部３０１及び第２光電変換部３０２の構成と同様である。

図２２は、撮像素子１０７の画素構造と瞳分割との対応関係を示す概略説明図である。図２２には、図２１（Ａ）に示した画素構造のａ−ａ線での切断面を、＋ｙ方向から見た場合の断面図と、結像光学系の射出瞳面を、−ｚ方向から見た図を示す。図２２では、射出瞳面の座標軸と対応を取るために、断面図にてｘ軸とｙ軸を図２１に示す状態とは反転させて示している。

撮像素子１０７は、撮影レンズ（結像光学系）の結像面近傍に配置され、被写体からの光束は、結像光学系の射出瞳４００を通過して、それぞれの画素に入射する。撮像素子１０７が配置された面を撮像面とする。

２×２分割された第１瞳部分領域５０１から第４瞳部分領域５０４は、マイクロレンズによって、第１光電変換部３０１から第４光電変換部３０４それぞれの受光面と概ね光学的に共役な関係になっている。そして、第１瞳部分領域５０１から第４瞳部分領域５０４は、第１副画素２０１から第４副画素２０４により、それぞれ受光可能な瞳領域である。第１副画素２０１の第１瞳部分領域５０１は、瞳面上で（＋Ｘ，−Ｙ）側に重心が偏心している。第２副画素２０２の第２瞳部分領域５０２は、瞳面上で（−Ｘ，−Ｙ）側に重心が偏心している。第３副画素２０３の第３瞳部分領域５０３は、瞳面上で（＋Ｘ，＋Ｙ）側に重心が偏心している。第４副画素２０４の第４瞳部分領域５０４は、瞳面上で（−Ｘ，＋Ｙ）側に重心が偏心している。

撮像素子１０７の各画素において、２×２分割された第１副画素２０１から第４副画素２０４は、それぞれ、結像光学系の第１瞳部分領域５０１から第４瞳部分領域５０４の異なる瞳部分領域を通過した光束を受光する。各副画素で受光された信号から、光強度の空間分布及び角度分布を示すＬＦデータ（入力画像）が取得される。

第３の実施形態においても、撮像装置１００は、第１の実施形態と同様に、図９及び図１０のフローチャートに従って撮像画像に基づく視点画像の補正処理を行うことができる。但し、瞳分割数Ｎ_ＬＦが２よりも大きいことに伴い、Ｓ９０２において複数の視点画像を生成するなど、若干の読み替えを行う必要がある。以下、具体的に説明する。

Ｓ９０１で、撮像装置１００は、式（１）に従い、画素毎に第１副画素２０１から第４副画素２０４の信号を全て合成する。これにより、ＬＦデータから、画素数Ｎ（＝水平画素数Ｎ_Ｈ×垂直画素数Ｎ_Ｖ）の解像度を有するベイヤー配列のＲＧＢ信号である撮像画像が生成される。

Ｓ９０２で、撮像装置１００は、ｋ＝１〜３について式（２）の演算を行うことにより、ＬＦデータから、第１視点画像Ｉ_１（ｊ、ｉ）から第３視点画像Ｉ_３（ｊ、ｉ）を生成する。

Ｓ９０３乃至Ｓ９０７で、撮像装置１００は、式（３Ａ）から式（６Ｄ）に従い、第ｋ視点画像Ｉ_ｋに対して、ｘ方向におけるシェーディング補正処理を行う。ここでの処理は概ね第１の実施形態と同様であるが、Ｓ９０３及びＳ９０５乃至Ｓ９０７に関して、第１の実施形態ではｋ＝１のみであったのに対し、本実施形態ではｋ＝１〜３のそれぞれについて同様の処理が行われる。また、第１の実施形態と異なり本実施形態ではｙ方向の瞳分割もあるため、ｙ方向におけるシェーディング補正処理も行う必要がある。そのため、撮像装置１００は、式（３Ａ）から式（６Ｄ）において、ｘ方向とｙ方向を入れ替え、ｙ方向におけるシェーディング補正処理を行う。このようにｘ方向におけるシェーディング補正処理とｙ方向におけるシェーディング補正処理とを２段階で行う場合、式（４Ａ）から式（４Ｄ）において、規格化のための瞳分割数Ｎ_ＬＦが１回余分となる。そのため、２回目のｙ方向におけるシェーディング補正処理では、式（４Ａ）から式（４Ｄ）において、規格化のための瞳分割数Ｎ_ＬＦの乗算は省略される。これにより、シェーディング補正後の第１修正第ｋ視点画像Ｍ_１Ｉ_ｋが生成される。

Ｓ９０８乃至Ｓ９１１の処理は、第１の実施形態と同様、式（７Ａ）から式（１０）に従って行われる。但し、Ｓ９０８、Ｓ９０９、及びＳ９１１に関して、第１の実施形態ではｋ＝１のみであったのに対し、本実施形態ではｋ＝１〜３のそれぞれについて同様の処理が行われる。これにより、第４修正第ｋ視点画像Ｍ_４Ｉ_ｋが生成される。

Ｓ９１２で、撮像装置１００は、式（１５）に従い、修正撮像画像ＭＩ及び第４修正第ｋ視点画像Ｍ_４Ｉ_ｋ（ｋ＝１〜Ｎ_ＬＦ−１＝１〜３）から、第４視点画像Ｉ_４を生成する。

Ｓ９１３で、撮像装置１００は、第１の実施形態と同様、式（６Ａ）から式（６Ｄ）に従って第４修正第ｋ視点画像Ｍ_４Ｉ_ｋに対してシェーディング補正処理を行い、第５修正第ｋ視点画像Ｍ_５Ｉ_ｋを生成する。但し、第１の実施形態ではｋ＝１のみであったのに対し、本実施形態ではｋ＝１〜３のそれぞれについて同様の処理が行われる。

Ｓ９１４及びＳ９１５で、撮像装置１００は、第２の実施形態のＳ９０３乃至Ｓ９０７と同様に、第４視点画像Ｉ_４のシェーディング関数を生成し、第４視点画像Ｉ_４から第５修正第４視点画像Ｍ_５Ｉ_４を生成する。

Ｓ９１６及びＳ９１７で、撮像装置１００は、第１の実施形態と同様、式（１２）に従って、第５修正第ｋ視点画像Ｍ_５Ｉ_ｋから最終修正第ｋ視点画像ＭＩ_ｋを生成する。但し、第１の実施形態ではｋ＝１〜２であったのに対し、本実施形態ではｋ＝１〜４である。

以上のように、第１の実施形態は、Ｎ_ｘ≧２、Ｎ_ｙ≧２、Ｎ_ＬＦ＝Ｎ_ｘ×Ｎ_ｙの場合に一般化することができる。

［第４の実施形態］
第４の実施形態では、第３の実施形態で生成された最終修正第１視点画像から最終修正第４視点画像から、画素ずらし超解像処理を行い、各視点画像の解像度よりも高い解像度の出力画像を生成する構成について説明する。本実施形態において、撮像装置１００の基本的な構成は、第３の実施形態と同様である（図１参照）。以下、主に第３の実施形態と異なる点について説明する。

図２３は、最終修正第１視点画像ＭＩ_１（ｊ，ｉ）から最終修正第４視点画像ＭＩ_４（ｊ，ｉ）による画素ずらし超解像処理の概要を示す説明図である。図２３では、紙面の上下方向にｘ軸を設定して下方をｘ軸の正方向と定義し、紙面に垂直な方向をｙ軸に設定して手前側をｙ軸の正方向と定義し、紙面の左右方向にｚ軸を設定して左方をｚ軸の正方向と定義する。図２３の撮像面６００は、図７及び図８に示した撮像面６００に対応している。

図２３では、最終修正第１視点画像ＭＩ_１（ｊ，ｉ）から最終修正第４視点画像ＭＩ_４（ｊ，ｉ）のうち、最終修正第１視点画像ＭＩ_１（ｊ，ｉ）と最終修正第２視点画像ＭＩ_２（ｊ，ｉ）を模式的に表している。最終修正第１視点画像ＭＩ_１（ｊ，ｉ）の信号は、図７の第１瞳部分領域５０１に対応した主光線角度θ_１で位置（ｊ，ｉ）の第１光電変換部３０１に入射した光束の受光信号である。最終修正第２視点画像ＭＩ_２（ｊ，ｉ）の信号は、図７の第２瞳部分領域５０２に対応した主光線角度θ_２で位置（ｊ，ｉ）の第２光電変換部３０２に入射した光束の受光信号である。

最終修正第１視点画像ＭＩ_１（ｊ，ｉ）から最終修正第４視点画像ＭＩ_４（ｊ，ｉ）は、光強度分布情報だけでなく、入射角度情報も有している。従って、以下の平行移動により、仮想結像面６１０での１組の画素ずらし画像群を得ることができる。

最終修正第１視点画像ＭＩ_１（ｊ，ｉ）を主光線角度θ_１に沿って仮想結像面６１０まで平行移動させることは、ｘ方向へ−１／４画素分、ｙ方向へ＋１／４画素分のシフトに対応する。最終修正第２視点画像ＭＩ_２（ｊ，ｉ）を主光線角度θ_２に沿って仮想結像面６１０まで平行移動させることは、ｘ方向へ＋１／４画素分、ｙ方向へ＋１／４画素分のシフトに対応する。最終修正第３視点画像ＭＩ_３（ｊ，ｉ）を主光線角度θ_３に沿って仮想結像面６１０まで平行移動させることは、ｘ方向へ−１／４画素分、ｙ方向へ−１／４画素分のシフトに対応する。最終修正第４視点画像ＭＩ_４（ｊ，ｉ）を主光線角度θ_４に沿って仮想結像面６１０まで平行移動させることは、ｘ方向へ＋１／４画素分、ｙ方向へ−１／４画素分のシフトに対応する。従って、最終修正第１視点画像ＭＩ_１（ｊ，ｉ）から最終修正第４視点画像ＭＩ_４（ｊ，ｉ）を、それぞれ、ｘ方向又はｙ方向の少なくとも１つの方向に、相対的に＋１／２画素分の非整数シフトさせた、仮想結像面６１０での４つの画像から構成される１組の画素ずらし画像群を得ることができる。

本実施形態では、撮像装置１００は、最終修正第１視点画像ＭＩ_１から最終修正第４視点画像ＭＩ_４の複数の修正視点画像から構成される１組の画素ずらし画像群を用いて、画素ずらし超解像処理を行う。これにより、各修正視点画像の画素数Ｎの解像度より高い解像度の出力画像を生成することができる。

本実施形態の第１視点画像から第４視点画像では、図１１を参照して説明したように、結像光学系の射出瞳４００と撮像素子１０７の入射瞳の瞳ずれが生じ、瞳分割が不均一となり、各視点画像のＲＧＢ毎に異なるシェーディングが生じる場合がある。第１視点画像から第４視点画像のＲＧＢ毎のシェーディング（光量）補正を行わず、シェーディング状態が大きく異なる複数の視点画像で構成された１組の画素ずらし画像群を用いた画素ずらし超解像処理では、解像度を十分に改善できない場合がある。

従って、本実施形態では、撮像装置１００は、撮像画像に基づくＲＧＢ毎のシェーディング補正処理が高精度に施された最終修正第１視点画像から最終修正第４視点画像から、１組の画素ずらし画像群を構成し、画素ずらし超解像処理により、出力画像を生成する。そのため、各修正視点画像の画素数Ｎの解像度より高い解像度の出力画像を生成することができる。

なお、画素ずらし超解像処理においては、最終修正第１視点画像から最終修正第４視点画像の全てを使用することは必須ではない。例えば、最終修正第１視点画像及び最終修正第２視点画像だけを使用する場合でも、ｘ方向の解像度が高くなるという効果を得ることができる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…撮像装置、１０７…撮像素子、１２１…ＣＰＵ、１２４…撮像素子駆動回路、１２５…画像処理回路、１３３…フラッシュメモリ

Claims (10)

1. 第１方向に複数の瞳部分領域に分割された結像光学系の射出瞳の第１瞳部分領域に対応する第１視点画像と、前記射出瞳に対応する撮像画像とを取得する取得手段と、
   前記第１方向に直交する第２方向に並ぶ前記第１視点画像の第１画素群の合計値と、前記第１画素群の位置に対応する前記撮像画像の画素群の合計値と、の第１比率に基づいて、前記第１画素群の第１画素のシェーディングを補正する補正手段と、
   を備えることを特徴とする画像処理装置。
2. 前記第１視点画像及び前記撮像画像の各画素は、複数の色のうちのいずれかに対応し、
   前記補正手段は、前記第１画素群の全ての画素が同一の色に対応するように前記第１画素群を決定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記補正手段は、前記第１視点画像の所定の画素が有効な値を持たないか、又は、前記所定の画素の位置に対応する前記撮像画像の画素が有効な値を持たない場合、前記所定の画素を前記第１画素群から除外する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記補正手段は、飽和画素及び欠陥画素のうちの少なくとも一方を、前記有効な値を持たない画素と判定する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記補正手段は、
   （前記撮像画像の画素群の前記合計値）＞（前記第１画素群の前記合計値）＞０
   の場合に、前記第１比率に基づいて前記第１画素のシェーディングを補正する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記取得手段は、前記複数の瞳部分領域の第２瞳部分領域に対応する第２視点画像を更に取得し、
   前記補正手段は、前記第１視点画像の前記第１画素の位置に対応する第２画素を含み前記第２方向に並ぶ前記第２視点画像の第２画素群の合計値と、前記第２画素群の位置に対応する前記撮像画像の画素群の合計値と、の第２比率に基づいて、前記第２画素群の前記第２画素のシェーディングを補正し、
   前記画像処理装置は、前記補正手段による補正後に、前記第１視点画像及び前記第２視点画像を用いた画素ずらし超解像処理を行うことにより、前記第１視点画像及び前記第２視点画像よりも解像度の高い画像を生成する生成手段を更に備える
   ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記第１瞳部分領域は、前記第１方向に複数に分割されると共に前記第２方向にも複数に分割された前記射出瞳の複数の瞳部分領域のうちの１つであり、
   前記補正手段は、前記第１画素を含み前記第１方向に並ぶ前記第１視点画像の第３画素群の合計値と、前記第３画素群の位置に対応する前記撮像画像の画素群の合計値と、の第３比率に更に基づいて、前記第１画素のシェーディングを補正する
   ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 請求項１乃至７のいずれか１項に記載の画像処理装置と、
   各々が前記射出瞳の異なる瞳部分領域に対応する光束を受光する複数の副画素を含む画素が複数配列された撮像素子と、
   を備えることを特徴とする撮像装置。
9. 画像処理装置が実行する画像処理方法であって、
   第１方向に複数の瞳部分領域に分割された結像光学系の射出瞳の第１瞳部分領域に対応する第１視点画像と、前記射出瞳に対応する撮像画像とを取得する取得工程と、
   前記第１方向に直交する第２方向に並ぶ前記第１視点画像の第１画素群の合計値と、前記第１画素群の位置に対応する前記撮像画像の画素群の合計値と、の第１比率に基づいて、前記第１画素群の第１画素のシェーディングを補正する補正工程と、
   を備えることを特徴とする画像処理方法。
10. コンピュータを、請求項１乃至７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。