JP2018014649A - 画像処理装置及びその制御方法、プログラム並びに撮像装置 - Google Patents

Abstract

【課題】ＬＦデータを用いる場合に、生成される視点画像の光量の変動を低減することができる。【解決手段】画像処理装置が、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた単位画素を複数配列した撮像素子により得られた画像信号を取得する取得手段と、それぞれの単位画素の所定の位置の副画素から得られる信号を画像信号から選択して得られる第１の視点画像と、それぞれの単位画素の全ての副画素から得られる信号を画像信号から選択して得られる撮像画像とに基づいて、第１の視点画像の光量を補正する処理手段と、を有し、処理手段は、単位画素に入射する光量に対する、複数の副画素の間の該光量の分布の偏りを補正することにより、第１の視点画像の光量を補正する。【選択図】図９

Description

本発明は、画像処理装置及びその制御方法、プログラム並びに撮像装置に関する。

撮像装置の焦点検出方法の１つとして、撮像素子で得られる信号を用いて位相差方式の焦点検出を行う撮像面位相差方式が知られている。特許文献１には、１つの画素に対して、１つのマイクロレンズと複数に分割された光電変換部が形成されている２次元撮像素子を用いる撮像装置が開示されている。複数に分割された光電変換部は、１つのマイクロレンズを介して撮影レンズの射出瞳の異なる領域を通過した光束を受光するように構成されているため、いわゆる瞳分割を実現することができる。瞳分割により得られる複数の視点信号間の視差から像ずれ量を算出することができるため、得られた象ずれ量をデフォーカス量に換算することで、位相差方式の焦点検出を行うことができる。また、特許文献２には、複数に分割された光電変換部で受光した複数の視点信号を加算することで、撮像信号を生成することが開示されている。

なお、複数に分割された光電変換部では、上述したように撮影レンズの射出瞳の異なる領域を通過した光束を受光するため、光強度の空間分布および角度分布を取得することができる。従って、複数に分割された光電変換部を用いて撮影された複数の視点信号は、光強度の空間分布および角度分布の情報を含むＬＦ（Ｌｉｇｈｔ Ｆｉｅｌｄ）データと等価である。

米国特許第４４１０８０４号明細書 特開２００１−０８３４０７号公報

しかしながら、上述の特許文献に開示された撮像素子で取得されたＬＦデータを用いる場合、撮影レンズの射出瞳と撮像素子の入射瞳とのずれに起因して、光電変換部の間に光量分布の偏りが生じる場合がある。このため、視点画像に光量の変動（シェーディング）が生じて画質品位が低下し、位相差方式の焦点検出精度が低下する場合がある。上述した特許文献では、視点画像に生じる光量の変動は考慮されておらず、ＬＦデータを用いる場合に、生成される視点画像の光量の変動を低減する技術が求められている。

本発明は、上記の課題に鑑みてなされたものであり、ＬＦデータを用いる場合に、生成される視点画像の光量の変動を低減することが可能な画像処理装置及びその制御方法、プログラム並びに撮像装置を提供することである。

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた単位画素を複数配列した撮像素子により得られた画像信号を取得する取得手段と、それぞれの単位画素の所定の位置の副画素から得られる信号を画像信号から選択して得られる第１の視点画像と、それぞれの単位画素の全ての副画素から得られる信号を画像信号から選択して得られる撮像画像とに基づいて、第１の視点画像の光量を補正する処理手段と、を有し、処理手段は、単位画素に入射する光量に対する、複数の副画素の間の該光量の分布の偏りを補正することにより、第１の視点画像の光量を補正する、ことを特徴とする。

本発明によれば、ＬＦデータを用いる場合に、生成される視点画像の光量の変動を低減することが可能になる。

第１の実施形態に係る画像処理装置の一例としてのデジタルカメラの機能構成例を示すブロック図 第１の実施形態における画素配列を概略的に示す図 第１の実施形態における画素の概略平面図（Ａ）と概略断面図（Ｂ） 第１の実施形態における画素と瞳分割の関係を概略的に示す図 第１の実施形態における画素内部の光強度分布例を示す図 第１の実施形態における瞳強度分布を例示する図 第１の実施形態における撮像素子と瞳分割の関係を概略的に示す図 第１の実施形態における第１視点画像と第２視点画像のデフォーカス量と、像ずれ量との関係を概略的に示す図 第１の実施形態における補正処理の一連の動作を示すフローチャート（前半） 第１の実施形態における補正処理の一連の動作を示すフローチャート（後半） 第１の実施形態における第１視点画像と第２視点画像の瞳ずれによるシェーディングを説明する図 第１の実施形態における撮像画像の射影信号、視点画像の射影信号及びシェーディング曲線の例を示す図 第１の実施形態における（Ａ）撮像画像、（Ｂ）シェーディング補正前の第１視点画像、（Ｃ）シェーディング補正後の第１視点画像を例示する図 第１の実施形態における（Ａ）欠陥補正前の第１視点画像、（Ａ）欠陥補正後の第１視点画像を例示する図 第１の実施形態における（Ａ）補正前の第２視点画像、（Ａ）補正後の第２視点画像を例示する図 第２の実施形態における画素配列を概略的に示す図 第２の実施形態における画素の概略平面図（Ａ）と概略断面図（Ｂ）

以下、本発明の例示的な実施形態を、図面に基づいて詳細に説明する。以下の実施形態では、本発明を画像処理装置の一例としてのデジタルカメラに適用した場合を例に説明するが、本発明はＬＦデータを処理可能な任意の機器に適用可能である。任意の機器には、例えばパーソナルコンピュータ、タブレット、ゲーム機、眼鏡型や時計型等のウェアラブル端末、車載用システム、監視カメラ用システム、医療機器が含まれてよい。

（第１の実施形態）
第１の実施形態に係る画像処理装置の一例としてのデジタルカメラ１００の機能構成例を、図１を参照しながら説明する。

図１は本実施形態に係る撮像装置の機能構成例を示すブロック図である。撮影レンズ（結像光学系）の先端に配置された第１レンズ群１０１は、レンズ鏡筒にて光軸方向に進退可能に保持される。絞り兼用シャッタ１０２は、その開口径を調節することで撮影時の光量調節を行う他、静止画撮影時には露光秒時調節用シャッタとしての機能をもつ。第２レンズ群１０３は、絞り兼用シャッタ１０２と一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）を有する。第３レンズ群１０５は、光軸方向の進退により焦点調節を行うフォーカスレンズである。光学的ローパスフィルタ１０６は、撮像画像の偽色やモアレを軽減するための光学素子である。撮像素子１０７は、例えば２次元ＣＭＯＳ（相補型金属酸化膜半導体）フォトセンサーと周辺回路とを含み、結像光学系の結像面に配置される。撮像素子１０７の詳細は後述する。

ズームアクチュエータ１１１は、不図示のカム筒を回動することにより、第１レンズ群１０１および第２レンズ群１０３を光軸方向に移動させて変倍動作を行う。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行う。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に移動させて焦点調節動作を行う。

被写体照明用の電子フラッシュ１１５は、キセノン管を用いた閃光照明装置、又は連続発光するＬＥＤ（発光ダイオード）を備えた照明装置を含み、撮影時に使用される。ＡＦ（オートフォーカス）補助光源１１６は、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影する。これにより、低輝度の被写体または低コントラストの被写体に対する焦点検出能力が向上する。

制御部１２１は、例えばＣＰＵ（中央演算処理装置）を含み、デジタルカメラ１００全体の動作を制御する。制御部１２１は、演算部、ＲＯＭ（リード・オンリー・メモリ）、ＲＡＭ（ランダム・アクセス・メモリ）、Ａ（アナログ）／Ｄ（デジタル）コンバーター、Ｄ／Ａコンバーター、通信インターフェイス回路等を含む。制御部１２１は、ＲＯＭに記憶された所定のプログラムをＲＡＭに展開、実行することにより、デジタルカメラ１００の各部を駆動し、ＡＦ制御、撮像処理、画像処理、記録処理等の一連の動作を実行する。

電子フラッシュ制御回路１２２は制御部１２１の制御指令に従い、撮影動作に同期して電子フラッシュ１１５を点灯制御する。補助光源駆動回路１２３は制御部１２１の制御指令に従い、焦点検出動作に同期してＡＦ補助光源１１６を点灯制御する。撮像素子駆動回路１２４は撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換して制御部１２１に送信する。画像処理回路１２５は制御部１２１の制御指令に従い、撮像素子１０７により取得された画像信号に対してガンマ変換、カラー補間、ＪＰＥＧ（Joint Photographic Experts Group）圧縮等の処理を行う。

フォーカス駆動回路１２６は制御部１２１の制御指令に従い、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動し、第３レンズ群１０５を光軸方向に移動させて焦点調節を行う。絞りシャッタ駆動回路１２８は制御部１２１の制御指令に従い、絞りシャッタアクチュエータ１１２を駆動し、絞り兼用シャッタ１０２の開口径を制御する。ズーム駆動回路１２９は制御部１２１の制御指令に従い、撮影者のズーム操作指示に応じてズームアクチュエータ１１１を駆動する。

表示部１３１は、例えばＬＣＤ（液晶表示装置）等の表示デバイスを含み、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。操作部１３２は、例えば電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等の操作スイッチやタッチパネルを含み、操作指示信号を制御部１２１に出力する。記録媒体１３３は、フラッシュメモリ等のデジタルカメラ１００に着脱可能な記録媒体であり、撮影済み画像データ等を記録する。

（撮像素子の構成）
本実施形態に係る撮像素子１０７の画素と副画素の配列の概略図を図２に示す。図２の左右方向をｘ方向（水平方向）、上下方向をｙ方向（垂直方向）、ｘ方向およびｙ方向に直交する方向（紙面に垂直な方向）をｚ方向（光軸方向）とする。図２に示す例は、２次元ＣＭＯＳセンサー（撮像素子）の画素（単位画素）配列を４列×４行の範囲で、副画素配列を８列×４行の範囲で示している。

２列×２行の画素群２００は、例えば左上の位置に第１色のＲ（赤）の分光感度を有する画素２００Ｒが左上に、第２色のＧ（緑）の分光感度を有する画素２００Ｇが右上と左下に、第３色のＢ（青）の分光感度を有する画素２００Ｂが右下に配置される。さらに、各画素（単位画素）は、ｘ方向に２分割（Ｎｘ分割）、ｙ方向に１分割（Ｎｙ分割）された分割数２（分割数Ｎ_ＬＦ＝Ｎｘ×Ｎｙ）の第１副画素２０１と第２副画素２０２（第１副画素から第Ｎ_ＬＦ副画素）の複数の副画素により構成されている。

図２に示す例では、４列×４行の画素（８列×４行の副画素）を撮像面上に配置することで、撮像画像および分割数２（分割数Ｎ_ＬＦ）の複数の視点画像を生成するための画像信号（ＬＦデータ）を取得可能である。本実施形態の撮像素子１０７では、画素の周期Ｐを６μｍ（マイクロメートル）とし、水平（列方向）画素数Ｎ_Ｈ＝６０００列、垂直（行方向）画素数Ｎ_Ｖ＝４０００行、画素数ＮはＮ_Ｈ×Ｎ_Ｖ＝２４００万画素とする。また、副画素の列方向周期Ｐ_Ｓを３μｍとし、副画素数Ｎ_Ｓを水平１２０００列×垂直４０００行＝４８００万画素とする。

図２に示した撮像素子１０７の１つの画素２００Ｇを、撮像素子１０７の受光面側（＋ｚ側）から見た場合の平面図を図３（Ａ）に示す。図３（Ａ）の紙面に垂直な方向にｚ軸を設定し、手前側をｚ軸の正方向と定義する。また、ｚ軸に直交する上下方向にｙ軸を設定して上方をｙ軸の正方向とし、ｚ軸およびｙ軸に直交する左右方向にｘ軸を設定して右方をｘ軸の正方向と定義する。図３（Ａ）にてａ−ａ切断線に沿って、−ｙ側から見た場合の断面図を図３（Ｂ）に示す。

図３（Ａ）および、図３（Ｂ）に示すように、画素２００Ｇには、各画素の受光面側（＋ｚ方向）にマイクロレンズ３０５が形成され、このマイクロレンズ３０５によって入射光が集光される。さらに、ｘ方向に２分割、ｙ方向に１分割された分割数２の第１光電変換部３０１と第２光電変換部３０２の複数の光電変換部が形成され、第１光電変換部３０１と第２光電変換部３０２が、それぞれ第１副画素２０１と第２副画素２０２に対応する。より一般的に、ｘ方向にＮｘ分割、ｙ方向にＮｙ分割された分割数Ｎ_ＬＦ）の第１光電変換部から第Ｎ_ＬＦ光電変換部の複数の光電変換部が形成され、第１光電変換部から第Ｎ_ＬＦ光電変換部が、それぞれ、第１副画素から第Ｎ_ＬＦ副画素に対応する。

第１光電変換部３０１と第２光電変換部３０２は、２つの独立したｐｎ接合フォトダイオードであり、ｐ型ウェル層３００と２つに分割されたｎ型層３０１とｎ型層３０２から構成される。必要に応じて、イントリンシック層を挟み、ｐｉｎ構造フォトダイオードとして形成してもよい。各画素には、マイクロレンズ３０５と、第１光電変換部３０１および第２光電変換部３０２との間に、カラーフィルター３０６が形成される。必要に応じて、画素毎や光電変換部毎などで、カラーフィルター３０６の分光透過率を変えても良いし、カラーフィルターを省略しても構わない。

画素２００Ｇに入射した光はマイクロレンズ３０５が集光し、さらにカラーフィルター３０６で分光された後に、第１光電変換部３０１と第２光電変換部３０２がそれぞれ受光する。第１光電変換部３０１と第２光電変換部３０２では、受光量に応じて電子とホール（正孔）が対生成され、空乏層で分離された後、電子が蓄積される。一方、ホールは定電圧源（不図示）に接続されたｐ型ウェル層を通じて撮像素子１０７の外部へ排出される。第１光電変換部３０１と第２光電変換部３０２に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送されて電圧信号に変換される。

図４は、画素構造と瞳分割との対応関係を概略的に示している。図４には、図３（Ａ）に示した画素構造のａ−ａ線での切断面を、＋ｙ方向から見た場合の断面図と、結像光学系の射出瞳面を、−ｚ方向から見た図を示す。図４では、射出瞳面の座標軸と対応を取るために、断面図にてｘ軸とｙ軸を図３に示す状態とは反転させて示している。

撮像素子１０７は、撮影レンズ（結像光学系）の結像面近傍に配置されており、被写体からの光束は、結像光学系の射出瞳４００を通過して、それぞれの画素に入射する。なお、撮像素子１０７が配置された面を撮像面とする。

２×１分割された第１瞳部分領域５０１と第２瞳部分領域５０２（Ｎｘ×Ｎｙ分割された第１瞳部分領域から第Ｎ_ＬＦ瞳部分領域）は、各々、第１光電変換部３０１と第２光電変換部３０２（第１光電変換部から第Ｎ_ＬＦ光電変換部）の受光面と、マイクロレンズによって、概ね、光学的に共役な関係になっている。また、第１瞳部分領域５０１と第２瞳部分領域５０２（Ｎｘ×Ｎｙ分割された第１瞳部分領域から第Ｎ_ＬＦ瞳部分領域）は、第１副画素２０１と第２副画素２０２（第１副画素から第Ｎ_ＬＦ副画素）でそれぞれ受光可能な瞳領域である。第１副画素２０１の第１瞳部分領域５０１は、瞳面上で＋Ｘ側に重心が偏心しており、第２副画素２０２の第２瞳部分領域５０２は、瞳面上で−Ｘ側に重心が偏心している。

また、瞳領域５００は、２×１分割された第１光電変換部３０１と第２光電変換部３０２（Ｎｘ×Ｎｙ分割された第１光電変換部から第Ｎ_ＬＦ光電変換部）を全て合わせた受光面と、マイクロレンズによって、概ね、光学的に共役な関係になっている。また、瞳領域５００は、第１副画素２０１と第２副画素２０２（第１副画素から第Ｎ_ＬＦ副画素）を全て合わせた画素２００Ｇ全体での受光可能な瞳領域である。

各画素に形成されたマイクロレンズに光が入射した場合の光強度分布を例示する。図５（Ａ）は、マイクロレンズの光軸に平行な断面における光強度分布を示している。また、図５（Ｂ）はマイクロレンズの焦点位置において、マイクロレンズの光軸に垂直な断面における光強度分布を示している。図５において、Ｈはマイクロレンズ３０５の凸側の面を、ｆはマイクロレンズの焦点距離を示している。また、ｎＦΔは後述するリフォーカスによる焦点位置の可動範囲を、φは入射する光束の最大角度を示している。入射光は、マイクロレンズ３０５により、焦点位置に集光される。しかし、光の波動性による回折の影響により、集光スポットの直径は回折限界Δより小さくすることはできず、有限の大きさとなる。光電変換部の受光面サイズは約１〜２μｍ程度であり、これに対してマイクロレンズの集光スポットは約１μｍ程度である。そのため、光電変換部の受光面とマイクロレンズを介して共役の関係にある、図４に示した第１瞳部分領域５０１と第２瞳部分領域５０２は、回折ボケのため、明瞭に瞳分割されず、光の入射角に依存した受光率分布（瞳強度分布）となる。

図６に、光の入射角に依存した受光率分布（瞳強度分布）例を示す。横軸は瞳座標を表し、縦軸は受光率を表す。図６に実線で示すグラフ線Ｌ１は、図４の第１瞳部分領域５０１のＸ軸に沿った瞳強度分布を表す。グラフ線Ｌ１で示す受光率は、左端から急峻に上昇してピークに到達した後で徐々に低下してから変化率が緩やかになって右端へと至る。また、図６に破線で示すグラフ線Ｌ２は、第２瞳部分領域５０２のＸ軸に沿った瞳強度分布を表す。グラフ線Ｌ２で示す受光率は、グラフ線Ｌ１とは反対に、右端から急峻に上昇してピークに到達した後で徐々に低下してから変化率が緩やかになって左端へと至る。図示のように、緩やかに瞳分割されることがわかる。

次に、図７を参照して、撮像素子１０７と瞳分割との対応関係について説明する。第１光電変換部３０１と第２光電変換部３０２（第１光電変換部から第Ｎ_ＬＦ光電変換部）が、それぞれ、第１副画素２０１と第２副画素２０２（第１副画素から第Ｎ_ＬＦ副画素）に対応する。撮像素子１０７の各画素において、２×１分割された第１副画素２０１と第２副画素２０２（Ｎｘ×Ｎｙ分割された第１副画素から第Ｎ_ＬＦ副画素）は、それぞれ、結像光学系の第１瞳部分領域５０１と第２瞳部分領域５０２（第１瞳部分領域から第Ｎ_ＬＦ瞳部分領域）の異なる瞳部分領域を通過した光束を受光する。各副画素で受光された信号から、光強度の空間分布および角度分布の情報を含むＬＦデータ（画像信号）が取得される。

ＬＦデータの信号について、画素ごとに、２×１分割された第１副画素２０１と第２副画素２０２（Ｎｘ×Ｎｙ分割された第１副画素から第Ｎ_ＬＦ副画素）の信号を全て合成することにより、画素数Ｎの解像度を有する撮像画像を生成することができる。

また、ＬＦデータから、画素ごとに、２×１分割された第１副画素２０１と第２副画素２０２（Ｎｘ×Ｎｙ分割された第１副画素から第Ｎ_ＬＦ副画素）の中から特定の副画素の信号を選択することにより、結像光学系の第１瞳部分領域５０１と第２瞳部分領域５０２（第１瞳部分領域から第Ｎ_ＬＦ瞳部分領域）の中の特定の瞳部分領域に対応した視点画像を生成することができる。例えば、画素ごとに、第１副画素２０１の信号を選択することで、結像光学系の第１瞳部分領域５０１に対応した画素数Ｎの解像度を有する第１視点画像を生成できる。他の副画素でも同様である。

以上のように本実施形態の撮像素子１０７は、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた画素が複数配列された構造を有し、ＬＦデータを取得することができる。なお、上述した説明では、瞳領域が水平方向に２つに瞳分割される例を示したが、副画素の分割方法に応じて瞳分割が垂直方向に行われてもよい。

（デフォーカス量と像ずれ量の関係）
さらに、図８を参照して、撮像素子１０７により取得されるＬＦデータに基づいて生成可能な第１視点画像と第２視点画像（第１視点画像から第Ｎ_ＬＦ視点画像）のデフォーカス量と像ずれ量との関係について説明する。

図８は、第１視点画像と第２視点画像のデフォーカス量と、第１視点画像と第２視点画像との間の像ずれ量の関係を概略的に示している。撮像面６００には撮像素子（不図示）が配置され、結像光学系の射出瞳は、図４、図７の場合と同様に、第１瞳部分領域５０１と第２瞳部分領域５０２に２×１分割される。

デフォーカス量ｄは、その大きさ｜ｄ｜が被写体像の結像位置から撮像面６００までの距離を表す。被写体像の結像位置が撮像面６００よりも被写体側にある前ピン状態では、負符号（ｄ＜０）とし、これとは反対の後ピン状態では正符号（ｄ＞０）として向きを定義する。被写体像の結像位置が撮像面（すなわち合焦位置）にある合焦状態では、ｄ＝０である。例えば、被写体８０１の位置は、合焦状態（ｄ＝０）に対応する位置を示しており、被写体８０２の位置は前ピン状態（ｄ＜０）に対応する位置を示している。以下では、前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）とを併せて、デフォーカス状態（｜ｄ｜＞０）という。

前ピン状態（ｄ＜０）では、被写体８０２から受光した光束のうち、第１瞳部分領域５０１（または第２瞳部分領域５０２）を通過した光束は、いったん集光した後、光束の重心位置Ｇ１（またはＧ２）を中心として幅Γ１（またはΓ２）に広がる。この場合、撮像面６００上でボケ像となる。ボケ像は、撮像素子１０７に配列された各画素部を構成する第１副画素２０１（または第２副画素２０２）により受光され、第１視点画像（または第２視点画像）が生成される。よって、第１視点画像（または第２視点画像）は、撮像面６００上の重心位置Ｇ１（またはＧ２）にて、幅Γ１（またはΓ２）をもった被写体像（ボケ像）の画像データとしてメモリに記憶される。被写体像の幅Γ１（またはΓ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね比例して増加する。同様に、第１視点画像と第２視点画像との間の被写体像の像ずれ量を「ｐ」と記すと、その大きさ｜ｐ｜はデフォーカス量ｄの大きさ｜ｄ｜の増加に伴って増加する。例えば、図８に示すように、像ずれ量ｐは光束の重心位置の差「Ｇ１−Ｇ２」として定義することができ、その大きさ｜ｐ｜は、｜ｄ｜が増加するのに伴い、概ね比例して増加する。なお、後ピン状態（ｄ＞０）では、第１視点画像と第２視点画像との間の被写体像の像ずれ方向が前ピン状態とは反対となるが、同様に｜ｐ｜がデフォーカス量｜ｄ｜に比例する傾向がある。

したがって、本実施形態では、第１視点画像と第２視点画像、または、第１視点画像と第２視点画像を加算した撮像画像のデフォーカス量が増減するのに伴い、第１視点画像と第２視点画像との間の像ずれ量の大きさが増加する。

（撮像画像に基づく視点画像の補正処理）
以下の実施形態では、撮像画像に基づき、第１視点画像と第２視点画像（第１視点画像から第Ｎ_ＬＦ視点画像）に対するキズ補正やシェーディング補正等の画像処理（補正処理）を行い、出力画像を生成する例について説明する。

まず、図９および図１０を参照して、取得されたＬＦデータに基づいて、補正処理を行い、出力画像を生成する一連の流れについて説明する。なお、図９および図１０に示す処理は、制御部１２１がＲＯＭに記憶されたプログラムをＲＡＭに展開、実行することにより実行される。また、撮像素子１０７や画像処理回路１２５は制御部１２１の指示に応じて動作する。

（撮像画像と視点画像）
まず、図９に示すＳ１の前処理として不図示の処理（ステップＳ０）を予め行う。Ｓ０において制御部１２１は、撮像素子１０７により取得されたＬＦデータから、結像光学系の異なる瞳部分領域を合成した撮像画像と、結像光学系の異なる瞳部分領域ごとの、少なくとも１つの視点画像とを生成する。

制御部１２１は、Ｓ０において、撮像素子１０７により取得されたＬＦデータを取得する。なお、予め撮像素子１０７により撮影され、記録媒体に保存されているＬＦデータを用いても良い。

より具体的に、制御部１２１は、結像光学系の異なる瞳部分領域（第１瞳部分領域と第２瞳部分領域）を合成した瞳領域に応じた撮像画像を生成する。なお、以下の説明ではＬＦデータを単にＬＦとも表す。また、ＬＦの各画素信号内での列方向ｉ_Ｓ（１≦ｉ_Ｓ≦Ｎｘ）番目、行方向ｊ_Ｓ（１≦ｊ_Ｓ≦Ｎｙ）番目の副画素信号を、ｋ＝Ｎｘ（ｊ_Ｓ−１）＋ｉ_Ｓ（１≦ｋ≦Ｎ_ＬＦ）として、第ｋ副画素信号とする。すなわち、撮像素子１０７は、結像光学系の異なる瞳部分領域を合成した瞳領域に対応した、列方向にｉ番目、行方向にｊ番目の撮像画像Ｉ（ｊ、ｉ）を、式（１）に従って生成する。

なお、本処理は、撮像素子１０７がＬＦデータを生成する際に行ってもよい。この場合、撮像素子１０７は、撮像画像Ｉ（ｊ、ｉ）のＳ／Ｎを良好に保持するため、各副画素信号をアナログ／デジタル変換（Ａ／Ｄ変換）を行う前に、撮像素子１０７内の静電容量部（ＦＤ）において式（１）に従う各副画素信号の合成を行ってもよい。必要に応じて、撮像素子１０７内のＦＤに蓄積された電荷を電圧信号に変換する際に、式（１）に従う各副画素信号の合成を行っても良いし、必要に応じて、Ａ／Ｄ変換を行った後に、式（１）に従う各副画素信号の合成を行っても良い。

なお、本実施形態は、Ｎｘ＝２、Ｎｙ＝１、Ｎ_ＬＦ＝２であるｘ方向２分割の場合であり、図２に例示した画素配列に対応した入力画像（ＬＦデータ）を用いる。このため、撮像素子１０７は、画素ごとに、ｘ方向２分割された第１副画素２０１と第２副画素２０２（Ｎｘ×Ｎｙ分割された第１副画素から第Ｎ_ＬＦ副画素）の信号を全て合成した撮像画像を生成する。この撮像画像は、画素数Ｎ（＝水平画素数Ｎ_Ｈ×垂直画素数Ｎ_Ｖ）の解像度を有するベイヤー配列のＲＧＢ信号である。

なお、後述する視点画像の補正処理では、撮像画像を補正基準の参照画像として用いるため、撮像画像Ｉ（ｊ、ｉ）に対してもＲＧＢ毎のシェーディング補正処理、欠陥補正処理を行う。

次に、撮像素子１０７は、結像光学系の第ｋ瞳部分領域に対応した、列方向ｉ番目、行方向ｊ番目の第ｋ視点画像Ｉ_ｋ（ｊ、ｉ）を、式（２）に従って生成する。

なお、本実施形態は、Ｎｘ＝２、Ｎｙ＝１、Ｎ_ＬＦ＝２であるｘ方向２分割、ｋ＝１の場合である。撮像素子１０７は、図２に例示した画素配列に対応したＬＦデータに基づいて、画素ごとに、ｘ方向２分割された第１副画素２０１の信号を選択する。よって、結像光学系の第１瞳部分領域５０１と第２瞳部分領域５０２（第１瞳部分領域から第Ｎ_ＬＦ瞳部分領域）の中から、結像光学系の第１瞳部分領域５０１に対応した第１視点画像Ｉ_１（ｊ、ｉ）を生成する。この第１視点画像Ｉ_１（ｊ、ｉ）は、画素数Ｎ（＝水平画素数Ｎ_Ｈ×垂直画素数Ｎ_Ｖ）の解像度を有するベイヤー配列のＲＧＢ信号である。なお、必要に応じて、ｋ＝２を選択し、結像光学系の第２瞳部分領域５０２に対応した第２視点画像Ｉ_２（ｊ、ｉ）を生成しても良い。

このように本実施形態では、ＬＦデータに基づく、結像光学系の異なる瞳部分領域を合成した撮像画像と、結像光学系の異なる瞳部分領域ごとの、少なくとも１つの視点画像とを生成する。すなわち、撮像素子１０７により取得されたＬＦデータに基づいて、ベイヤー配列のＲＧＢ信号である撮像画像Ｉ（ｊ、ｉ）と、ベイヤー配列のＲＧＢ信号である第１視点画像Ｉ_１（ｊ、ｉ）と、を生成する。このとき、撮像画像Ｉ（ｊ、ｉ）と第１視点画像Ｉ_１（ｊ、ｉ）とから、第２視点画像Ｉ_２（ｊ、ｉ）を生成してもよい。このようにすれば、撮像画像Ｉ（ｊ、ｉ）に対して、各画素が光電変換部を有しない従来の撮像素子で取得される撮像画像と同様の画像処理を適用することができる。また、必要に応じて、各視点画像への処理を同等にするために、第１視点画像Ｉ_１（ｊ、ｉ）と、第２視点画像Ｉ_２（ｊ、ｉ）と、を生成し、記録媒体へ保存しても良い。

（視点画像のシェーディング補正（光量補正））
次に、図９に示すＳ１におけるシェーディング補正（光量補正）について説明する。本処理では、制御部１２１は、撮像画像Ｉ（ｊ、ｉ）に基づいて、第１視点画像Ｉ_１（第ｋ視点画像Ｉ_ｋ）に対してＲＧＢ毎のシェーディング補正を行う。なお、以降の処理についても制御部１２１が実行する場合を例に説明するが、その一部又は全部を画像処理回路１２５が実行してもよい。

まず、第１視点画像と第２視点画像（第１視点画像から第Ｎ_ＬＦ視点画像）の瞳ずれによるシェーディングについて説明する。図１１は、撮像素子の周辺像高における第１光電変換部３０１が受光する第１瞳部分領域５０１、第２光電変換部３０２が受光する第２瞳部分領域５０２、および結像光学系の射出瞳４００の関係を示している。図１１では、第１光電変換部３０１と第２光電変換部３０２（第１光電変換部から第Ｎ_ＬＦ光電変換部）が、それぞれ、第１副画素２０１と第２副画素２０２（第１副画素から第Ｎ_ＬＦ副画素）に対応する。

図１１（Ａ）は、結像光学系の射出瞳距離Ｄｌと撮像素子１０７の設定瞳距離Ｄｓが同じ場合を示している。この場合、第１瞳部分領域５０１と第２瞳部分領域５０２により、結像光学系の射出瞳４００が、概ね、均等に瞳分割される。これに対して、図１１（Ｂ）は、結像光学系の射出瞳距離Ｄｌが撮像素子の設定瞳距離Ｄｓより短い場合を示している。この場合、撮像素子１０７の周辺像高では、結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれが生じ、結像光学系の射出瞳４００が、不均一に瞳分割されてしまう。図１１（Ｂ）の例では、第１瞳部分領域５０１に対応した第１視点画像の実効絞り値が、第２瞳部分領域５０２に対応した第２視点画像の実効絞り値より小さい（明るい）値となる。反対側の像高（不図示）では、逆に、第１瞳部分領域５０１に対応した第１視点画像の実効絞り値が、第２瞳部分領域５０２に対応した第２視点画像の実効絞り値より大きい（暗い）値となる。

同様に、図１１（Ｃ）に示す、結像光学系の射出瞳距離Ｄｌが撮像素子の設定瞳距離Ｄｓより長い場合も、撮像素子１０７の周辺像高で結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれが生じる。このため、図１１（Ｃ）に示す場合にも結像光学系の射出瞳４００が不均一に瞳分割されてしまう。図１１（Ｃ）の例では、第１瞳部分領域５０１に対応した第１視点画像の実効絞り値が、第２瞳部分領域５０２に対応した第２視点画像の実効絞り値より大きい（暗い）値となる。反対側の像高（不図示）では、逆に、第１瞳部分領域５０１に対応した第１視点画像の実効絞り値が、第２瞳部分領域５０２に対応した第２視点画像の実効絞り値より小さい（明るい）値となる。

このように、瞳分割が不均一になることに伴い、第１視点画像と第２視点画像の強度も不均一になり（すなわち光量分布が偏り）、第１視点画像と第２視点画像のいずれか一方の強度が大きく、また他方の強度が小さくなるシェーディングが生じる。そして、このシェーディングは画素ごと、すなわちＲＧＢごとに生じる。

そこで、上述したシェーディングによる不均一な信号強度分布を一様に近づけて良好な画質品位の視点画像を生成するため、ＲＧＢごとのシェーディング補正を行う。すなわち、本実施形態では、補正撮像画像Ｉ（ｊ、ｉ）を基準の参照画像として第１視点画像Ｉ_１（第ｋ視点画像Ｉ_ｋ）に対するＲＧＢ毎のシェーディング補正を行う。

具体的には、図９に示すＳ１において、制御部１２１は、非飽和かつ非欠陥（キズ）である有効画素の検出を行う（Ｓ１−１）。撮像画像Ｉ（ｊ、ｉ）と第１視点画像Ｉ_１（ｊ、ｉ）のいずれにおいても非飽和かつ非欠陥となる有効画素Ｖ_１（ｊ、ｉ）を検出する。撮像画像Ｉ（ｊ、ｉ）と第１視点画像Ｉ_１（ｊ、ｉ）のいずれにおいても非飽和かつ非欠陥である場合、有効画素をＶ_１（ｊ、ｉ）＝１とする。一方、撮像画像Ｉ（ｊ、ｉ）と第１視点画像Ｉ_１（ｊ、ｉ）のいずれかが、飽和もしくは欠陥である場合（すなわち非有効画素）、Ｖ_１（ｊ、ｉ）＝０とする。第ｋ視点画像Ｉ_ｋについてシェーディング補正を行う場合も、同様に、撮像画像Ｉ（ｊ、ｉ）と第ｋ視点画像Ｉ_ｋ（ｊ、ｉ）のいずれもが非飽和かつ非欠陥である場合、有効画素をＶ_ｋ（ｊ、ｉ）＝１とする。

撮像信号の飽和判定閾値をＩＳとして、撮像画像Ｉ（ｊ、ｉ）＞ＩＳの場合、撮像画像Ｉ（ｊ、ｉ）を飽和と判定し、撮像画像Ｉ（ｊ、ｉ）≦ＩＳの場合、撮像画像Ｉ（ｊ、ｉ）を非飽和と判定する。同様に、第ｋ視点画像の飽和判定閾値をＩＳ_ｋとして、第ｋ視点画像Ｉ_ｋ（ｊ、ｉ）＞ＩＳ_ｋの場合、第ｋ視点画像Ｉ_ｋ（ｊ、ｉ）を飽和と判定し、第ｋ視点画像Ｉ_ｋ（ｊ、ｉ）≦ＩＳ_ｋの場合、第ｋ視点画像Ｉ_ｋ（ｊ、ｉ）を非飽和と判定する。第ｋ視点画像の飽和判定閾値ＩＳ_ｋは、撮像信号の飽和判定閾値ＩＳ以下（ＩＳ_ｋ≦ＩＳ）である。

本実施形態の撮像素子１０７では、各画素の第１光電変換部３０１と第２光電変換部３０２（第１光電変換部から第Ｎ_ＬＦ光電変換部）のいずれかの光電変換部にて蓄積電荷が飽和した場合に、画素外ではなく、同一画素内の他の光電変換部（副画素）に漏れこむ（電荷クロストーク）ように構成される。いずれかの副画素（例：第２副画素）が飽和し、副画素間（例：第２副画素から第１副画素）の電荷クロストークが生じると、電荷が溢れた元の副画素（例：第２副画素）と、電荷の漏れこみ先の副画素（例：第１副画素）のいずれも、入射光量に対する蓄積電荷量の線形関係が保たれず、シェーディングの正しい検出に必要な情報が含まれなくなる。

高ＩＳＯの場合に比べて、低ＩＳＯの場合の方が、光電変換部に蓄積される電荷量が相対的に多く、電荷クロストークが相対的に生じやすい。したがって、本実施形態では、飽和画素の検出精度を向上するために、低ＩＳＯでの撮像信号の飽和判定閾値ＩＳが、高ＩＳＯでの撮像信号の飽和判定閾値ＩＳ以下であることが望ましい。また、低ＩＳＯでの第ｋ視点画像の飽和判定閾値ＩＳ_ｋが、高ＩＳＯでの第ｋ視点画像の飽和判定閾値ＩＳ_ｋ以下であることが望ましい。

さらに、結像光学系の射出瞳距離が、第１の所定瞳距離より短く（もしくは、第２の所定瞳距離より長く）、結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれによるシェーディングを生じる場合、周辺像高では、第１視点画像と第２視点画像のいずれか一方の強度が大きくなり、他方の強度が小さくなる場合に、電荷クロストークが生じやすい。したがって、本実施形態では、飽和画素の検出精度を向上するために、結像光学系の射出瞳距離が、第１の所定瞳距離より短い、もしくは、第２の所定瞳距離より長い場合の撮像信号の飽和判定閾値ＩＳが、結像光学系の射出瞳距離が、第１の所定瞳距離以上、かつ、第２の所定瞳距離以下の場合の撮像信号の飽和判定閾値ＩＳ以下であることが望ましい。また、結像光学系の射出瞳距離が、第１の所定瞳距離より短い、もしくは、第２の所定瞳距離より長い場合の第ｋ視点画像の飽和判定閾値ＩＳ_ｋが、結像光学系の射出瞳距離が、第１の所定瞳距離以上、かつ、第２の所定瞳距離以下の場合の第ｋ視点画像の飽和判定閾値ＩＳ_ｋ以下であることが望ましい。

ここで、図２に示したベイヤー配列の撮像画像Ｉは、Ｒ、Ｇｒ、Ｇｂ、Ｂごとに定義することができる。すなわち、Ｒの撮像画像をＲＩ（２ｊ_２−１、２ｉ_２−１）＝Ｉ（２ｊ_２−１、２ｉ_２−１）、Ｇｒの撮像画像をＧｒＩ（２ｊ_２−１、２ｉ_２）＝Ｉ（２ｊ_２−１、２ｉ_２）とする。また、Ｇｂの撮像画像をＧｂＩ（２ｊ_２、２ｉ_２−１）＝Ｉ（２ｊ_２、２ｉ_２−１）、Ｂの撮像画像をＢＩ（２ｊ_２、２ｉ_２）＝Ｉ（２ｊ_２、２ｉ_２）とする。このとき、整数ｊ_２および整数ｉ_２は、それぞれ１≦ｊ_２≦Ｎ_Ｖ／２、１≦ｉ_２≦Ｎ_Ｈ／２である。

同様に、図２に例示したベイヤー配列の第ｋ視点画像Ｉ_ｋを、Ｒ、Ｇｒ、Ｇｂ、Ｂごとに取り扱う。すなわち、Ｒの第ｋ視点画像をＲＩ_ｋ（２ｊ_２−１、２ｉ_２−１）＝Ｉ_ｋ（２ｊ_２−１、２ｉ_２−１）、Ｇｒの第ｋ視点画像をＧｒＩ_ｋ（２ｊ_２−１、２ｉ_２）＝Ｉ_ｋ（２ｊ_２−１、２ｉ_２）とする。また、Ｇｂの第ｋ視点画像をＧｂＩ_ｋ（２ｊ_２、２ｉ_２−１）＝Ｉ_ｋ（２ｊ_２、２ｉ_２−１）、Ｂの第ｋ視点画像をＢＩ_ｋ（２ｊ_２、２ｉ_２）＝Ｉ_ｋ（２ｊ_２、２ｉ_２）とする。

次に、図９に示すＳ１において制御部１２１は、撮像画像ＲＩ、ＧｒＩ、ＧｂＩ、ＢＩに基づく射影処理を行う（Ｓ１−２）。具体的には、撮像画像ＲＩ（２ｊ_２−１、２ｉ_２−１）、ＧｒＩ（２ｊ_２−１、２ｉ_２）、ＧｂＩ（２ｊ_２、２ｉ_２−１）、ＢＩ（２ｊ_２、２ｉ_２）を、式（３Ａ）から式（３Ｄ）に従って、瞳分割方向（ｘ方向）と直交する方向（ｙ方向）に射影する。これにより、制御部１２１は、撮像画像の射影信号ＲＰ（２ｉ_２−１）、ＧｒＰ（２ｉ_２）、ＧｂＰ（２ｉ_２−１）、ＢＰ（２ｉ_２）を生成する。

なお、飽和信号値や欠陥信号値には、撮像画像のＲＧＢ毎のシェーディングを正しく検出するための情報が含まれていない。そのため、制御部１２１は、撮像画像と有効画素Ｖ_ｋとの積を取って飽和信号値等を除外したうえで、射影処理を行い（式（３Ａ）上段から式（３Ｄ）上段の分子）、射影処理に用いた有効画素数で規格化（式（３Ａ）上段から式（３Ｄ）上段の分母）する。射影処理に用いた有効画素数が０の場合、式（３Ａ）下段から式（３Ｄ）下段により、撮像画像の射影信号を０に設定する。さらに、撮像画像の射影信号がノイズの影響などで負信号となった場合も撮像画像の射影信号を０に設定する。

同様に、Ｓ１−３では、第ｋ視点画像ＲＩ_ｋ（２ｊ_２−１、２ｉ_２−１）、ＧｒＩ_ｋ（２ｊ_２−１、２ｉ_２）、ＧｂＩ_ｋ（２ｊ_２、２ｉ_２−１）、ＢＩ_ｋ（２ｊ_２、２ｉ_２）を、式（３Ｅ）から式（３Ｈ）に従って、瞳分割方向と直交する方向（ｙ方向）に射影する。これにより、制御部１２１は、第ｋ視点画像の射影信号ＲＰ_ｋ（２ｉ_２−１）、ＧｒＰ_ｋ（２ｉ_２）、ＧｂＰ_ｋ（２ｉ_２−１）、ＢＰ_ｋ（２ｉ_２）を生成する。

制御部１２１は、上述の射影処理の後に、撮像画像の射影信号ＲＰ（２ｉ_２−１）、ＧｒＰ（２ｉ_２）、ＧｂＰ（２ｉ_２−１）、ＢＰ（２ｉ_２）と第ｋ視点画像の射影信号ＲＰ_ｋ（２ｉ_２−１）、ＧｒＰ_ｋ（２ｉ_２）、ＧｂＰ_ｋ（２ｉ_２−１）、ＢＰ_ｋ（２ｉ_２）を平滑化するためにローパスフィルタ処理を適用する。なお、フィルターの適用は必要に応じて省略しても良い。

図１２には、射影信号の具体例を示している。図１２（上段）は、撮像画像の射影信号ＲＰ（Ｒ）、ＧｒＰ（Ｇ）、ＧｂＰ（Ｇ）、ＢＰ（Ｂ）の例を示している。また、図１２（中段）には、第１視点画像の射影信号ＲＰ_１（Ｒ）、ＧｒＰ_１（Ｇ）、ＧｂＰ_１（Ｇ）、ＢＰ_１（Ｂ）の例を示している。図１２（上段）及び図１２（中段）の縦軸は信号強度を表している。各射影信号は、被写体の有する各色成分を含むため、被写体に依存した複数の山谷の起伏が生じる。従って、第１視点画像Ｉ_１（第ｋ視点画像Ｉ_ｋ）のシェーディング補正を正確に行うためには、瞳ずれにより生じる第１視点画像Ｉ_１（第ｋ視点画像Ｉ_ｋ）のＲＧＢ毎のシェーディング成分（光量のずれ）と被写体が有するＲＧＢ毎の信号成分とを分離する必要がある。

このため、Ｓ１−４において制御部１２１は、式（４Ａ）から式（４Ｄ）に従って、撮像画像を基準とした相対的な第ｋ視点画像Ｉ_ｋのＲＧＢ毎のシェーディング信号ＲＳ_ｋ（２ｉ_２−１）、ＧｒＳ_ｋ（２ｉ_２）、ＧｂＳ_ｋ（２ｉ_２−１）、ＢＳ_ｋ（２ｉ_２）を算出する。なお、画素の受光量は、副画素の受光量より大きく、さらに、シェーディング成分の算出には、副画素の受光量が０より大きい必要がある。そのため、条件式ＲＰ（２ｉ_２−１）＞ＲＰ_ｋ（２ｉ_２−１）＞０を満たす場合、式（４Ａ）に従って、Ｒの第ｋ視点画像の射影信号ＲＰ_ｋ（２ｉ_２−１）とＲの撮像画像の射影信号ＲＰ（２ｉ_２−１）との比（すなわち割合）を算出する。そして、算出した比に規格化のための瞳分割数Ｎ_ＬＦを乗算して、第ｋ視点画像Ｉ_ｋのＲのシェーディング信号ＲＳ_ｋ（２ｉ_２−１）を生成する。これにより、被写体が有するＲの信号成分を相殺し、第ｋ視点画像Ｉ_ｋのＲのシェーディング成分を分離することができる。一方、条件式ＲＰ（２ｉ_２−１）＞ＲＰ_ｋ（２ｉ_２−１）＞０を満たさない場合、第ｋ視点画像Ｉ_ｋのＲのシェーディング信号ＲＳ_ｋ（２ｉ_２−１）を０に設定する。

同様に、他のＲＧＢ成分におけるシェーディング信号を算出する。第ｋ視点画像Ｉ_ｋのＧｒについては、条件式ＧｒＰ（２ｉ_２）＞ＧｒＰ_ｋ（２ｉ_２）＞０を満たす場合、式（４Ｂ）に従ってＧｒの第ｋ視点画像の射影信号ＧｒＰ_ｋ（２ｉ_２）とＧｒの撮像画像の射影信号ＧｒＰ（２ｉ_２）との比を算出する。そして、算出した比に規格化のため瞳分割数Ｎ_ＬＦを乗算して、第ｋ視点画像Ｉ_ｋのＧｒのシェーディング信号ＧｒＳ_ｋ（２ｉ_２）を生成する。これにより、被写体が有するＧｒの信号成分を相殺し、第ｋ視点画像Ｉ_ｋのＧｒのシェーディング成分を分離することができる。また、条件式ＧｒＰ（２ｉ_２）＞ＧｒＰ_ｋ（２ｉ_２）＞０を満たさない場合、第ｋ視点画像Ｉ_ｋのＧｒのシェーディング信号ＧｒＳ_ｋ（２ｉ_２）を０に設定する。

同様に、式（４Ｃ）及び（４Ｄ）に従って、第ｋ視点画像Ｉ_ｋのＧｂのシェーディング信号ＧｂＳ_ｋ（２ｉ_２−１）及び第ｋ視点画像Ｉ_ｋのＢのシェーディング信号ＢＳ_ｋ（２ｉ_２）を生成する。

なお、シェーディング補正精度を高精度に行うために、有効なシェーディング信号が十分存在する場合にのみシェーディング補正を行うようにしてもよい。例えば、ＲＳ_ｋ（２ｉ_２−１）＞０、ＧｒＳ_ｋ（２ｉ_２）＞０、ＧｂＳ_ｋ（２ｉ_２−１）＞０、ＢＳ_ｋ（２ｉ_２）＞０を満たす有効なシェーディング信号数が所定値以上である場合に、シェーディング補正を行うようにすればよい。

Ｓ１−４において、制御部１２１は、式（５Ａ）から式（５Ｄ）に従って、第ｋ視点画像Ｉ_ｋのＲＧＢ毎のシェーディング関数ＲＳＦ_ｋ（２ｉ_２−１）、ＧｒＳＦ_ｋ（２ｉ_２）、ＧｂＳＦ_ｋ（２ｉ_２−１）、ＢＳＦ_ｋ（２ｉ_２）を算出する。これらのシェーディング関数は、例えば瞳分割方向（ｘ方向）の位置変数に対する滑らかなＮ_ＳＦ次元の多項式関数である。また、上述した、ＲＳ_ｋ（２ｉ_２−１）＞０、ＧｒＳ_ｋ（２ｉ_２）＞０、ＧｂＳ_ｋ（２ｉ_２−１）＞０、ＢＳ_ｋ（２ｉ_２）＞０を満たす有効なシェーディング信号を、上記シェーディング関数に入力するデータ点とする。

制御部１２１は、これらデータ点を用いて、最小二乗法によるパラメーターフィッティングを行い、式（５Ａ）から式（５Ｄ）の各シェーディング関数の係数ＲＳＣ_ｋ（μ）、ＧｒＳＣ_ｋ（μ）、ＧｂＳＣ_ｋ（μ）、ＢＳＣ_ｋ（μ）を算出する。このようにして、撮像画像を基準とした相対的な第ｋ視点画像Ｉ_ｋのＲＧＢ毎のシェーディング関数ＲＳＦ_ｋ（２ｉ_２−１）、ＧｒＳＦ_ｋ（２ｉ_２）、ＧｂＳＦ_ｋ（２ｉ_２−１）、ＢＳＦ_ｋ（２ｉ_２）を生成することができる。シェーディング関数を用いた統計処理により、ｘ方向の位置に応じた統計的なシェーディングの発生傾向に基づいてシェーディング信号を調整することができるため、滑らかなシェーディング補正を行うことができる。

シェーディング関数ＲＳＦ_ｋ、ＧｒＳＦ_ｋ、ＧｂＳＦ_ｋ、ＢＳＦ_ｋを、瞳分割方向（ｘ方向）に反転した関数を、それぞれ、Ｒ［ＲＳＦ_ｋ］、Ｒ［ＧｒＳＦ_ｋ］、Ｒ［ＧｂＳＦ_ｋ］、Ｒ［ＢＳＦ_ｋ］とする。所定許容値をε（０＜ε＜１）として、１−ε≦ＲＳＦ_ｋ＋Ｒ［ＲＳＦ_ｋ］≦１＋ε、１−ε≦ＧｒＳＦ_ｋ＋Ｒ［ＧｒＳＦ_ｋ］≦１＋ε、１−ε≦ＧｂＳＦ_ｋ＋Ｒ［ＧｂＳＦ_ｋ］≦１＋ε、１−ε≦ＢＳＦ_ｋ＋Ｒ［ＢＳＦ_ｋ］≦１＋εの各条件式が、各位置で、全て満たされる場合、検出されたシェーディング関数は適正であると判定し、式（６Ａ）から式（６Ｄ）の処理を行う。それ以外の場合、検出されたシェーディング関数は不適正であると判定し、ＲＳＦ_ｋ≡１、ＧｒＳＦ_ｋ≡１、ＧｂＳＦ_ｋ≡１、ＢＳＦ_ｋ≡１とし、必要に応じて、例外処理を行う。

図１２（下段）に、撮像画像を基準とした相対的な第１視点画像Ｉ_１のＲＧＢ毎のシェーディング関数ＲＳＦ_１（Ｒ）、ＧｒＳＦ_１（Ｇ）、ＧｂＳＦ_１（Ｇ）、ＢＳＦ_１（Ｂ）の例を示している。図１２（中段）の第１視点画像の射影信号と、図１２（上段）の撮像画像の射影信号では、被写体に依存した山谷の起伏が存在する。これに対して、第１視点画像の射影信号と撮像画像の射影信号の比を求めることにより、被写体に依存した山谷の起伏（被写体が有するＲＧＢ毎の信号値）を相殺し、滑らかな第１視点画像Ｉ_１のＲＧＢ毎のシェーディング関数を分離して生成することができる。

なお、上述の説明では、シェーディング関数として、多項式関数を用いたが、これに限定されることはなく、必要に応じて、シェーディング形状に合わせて、より一般的な関数を用いても良い。

Ｓ１−５において、制御部１２１は、第ｋ視点画像Ｉ_ｋ（ｊ、ｉ）に対して、式（６Ａ）から式（６Ｄ）に従うシェーディング補正を行う。具体的には、制御部１２１は、上述したＲＧＢごとのシェーディング関数を用いて、シェーディング補正処理を行い、シェーディング補正後の第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋ（ｊ、ｉ）を生成する。

ここで、ベイヤー配列の第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋを、Ｒ、Ｇｒ、Ｇｂ、Ｂごとに定義する。すなわち、Ｒの第ｋ視点（第１修正）画像をＲＭ_１Ｉ_ｋ（２ｊ_２−１、２ｉ_２−１）＝Ｍ_１Ｉ_ｋ（２ｊ_２−１、２ｉ_２−１）、Ｇｒの第ｋ視点（第１修正）画像をＧｒＭ_１Ｉ_ｋ（２ｊ_２−１、２ｉ_２）＝Ｍ_１Ｉ_ｋ（２ｊ_２−１、２ｉ_２）とする。また、Ｇｂの第ｋ視点（第１修正）画像をＧｂＭ_１Ｉ_ｋ（２ｊ_２、２ｉ_２−１）＝Ｍ_１Ｉ_ｋ（２ｊ_２、２ｉ_２−１）、Ｂの第ｋ視点（第１修正）画像をＢＭ_１Ｉ_ｋ（２ｊ_２、２ｉ_２）＝Ｍ_１Ｉ_ｋ（２ｊ_２、２ｉ_２）とする。必要に応じて、シェーディング補正後の第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋ（ｊ、ｉ）を出力画像としても良い。

このように本実施形態では、撮像画像と視点画像を用いて、撮像画像の被写体による信号変化と視点画像の被写体による信号変化とを相殺して、ＲＧＢごとのシェーディング関数（すなわち瞳ずれによって生じる光量のずれ）を算出する。そして、シェーディング関数の逆数によりＲＧＢごとのシェーディング補正量（光量補正量）を算出する。従って、算出したシェーディング補正量（光量補正量）に基づき、視点画像のシェーディング補正処理を行うことができる。

さらに、図１３（Ａ）〜図１３（Ｃ）を参照して、図９のＳ１に示した第１視点画像Ｉ_１（ｊ、ｉ）のＲＧＢごとのシェーディング補正処理の効果を説明する。まず、図１３（Ａ）は、本実施形態の撮像画像Ｉ（デモザイキング後）の例であり、画質品位が良好な撮像画像の例を示している。また、図１３（Ｂ）は、本実施形態のシェーディング補正前の第１視点画像Ｉ_１（デモザイキング後）の例を示している。すなわち、上述した結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれによりＲＧＢごとのシェーディングが生じ、図１３（Ｂ）に示す第１視点画像Ｉ_１（ｊ、ｉ）では右側の周辺像高において輝度の低下（及びＲＧＢ比の変調）が生じている。更に図１３（Ｃ）は、本実施形態のシェーディング補正後の第１視点（第１修正）画像Ｍ_１Ｉ_１（デモザイキング後）の例を示している。すなわち、上述したＲＧＢごとのシェーディング補正により、輝度の低下（及びＲＧＢ比の変調）が修正され、撮像画像と同様に、画質品位の良好なシェーディング補正後の第１視点（第１修正）画像Ｍ_１Ｉ_１（ｊ、ｉ）が生成される。

（視点画像の欠陥補正）
次に、Ｓ２における視点画像に対する欠陥補正処理について説明する。本実施形態では、制御部１２１は、撮像画像Ｉに基づいて、シェーディング補正後の第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋの欠陥補正を行う。本実施形態では、ｋ＝１の場合を例に説明する。

撮像素子の回路構成や駆動方式により、転送ゲートの短絡などに起因して、撮像画像Ｉは正常であるものの、第ｋ視点画像Ｉ_ｋ（第１視点画像Ｉ_１）のごく一部分な信号の欠陥が生じ、点欠陥や線欠陥となる場合がある。このような場合、必要に応じて、量産工程等で検査された点欠陥情報や線欠陥情報を、例えば画像処理回路１２５等に事前に記録し、記録された点欠陥情報や線欠陥情報を用いて第ｋ視点画像Ｉ_ｋ（第１視点画像Ｉ_１）の欠陥補正処理を行うことができる。また、必要に応じて、第ｋ視点画像Ｉ_ｋ（第１視点画像Ｉ_１）をリアルタイムに検査して点欠陥判定や線欠陥判定を行うことができる。

以下、Ｓ２における欠陥補正処理の例では、第ｋ視点画像Ｉ_ｋには奇数行２ｊ_Ｄ−１もしくは偶数行２ｊ_Ｄの水平方向（ｘ方向）のライン状の線欠陥がある場合であって、撮像画像Ｉには当該奇数行もしくは偶数行の線欠陥がない場合を例に説明する。

Ｓ２−１において、制御部１２１は、正常な撮像画像Ｉを参照画像として用いて、第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋの欠陥補正を行う。すなわち、制御部１２１は、欠陥と判定されていない位置の第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋの信号値と、欠陥と判定されていない位置の撮像画像Ｉの信号値とを比較する。但し、この比較を行う際には、瞳ずれにより生じた第ｋ視点画像Ｉ_ｋのＲＧＢごとのシェーディング成分の影響を取り除いたうえで、第ｋ視点画像Ｉ_ｋと撮像画像Ｉとで、被写体が有するＲＧＢごとの信号成分を正確に比較することが必要である。そのため、Ｓ１において生成された第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋを用いて、撮像画像Ｉと同等のシェーディング状態となった第ｋ視点画像を用いる。すなわち、本ステップでは、撮像画像Ｉを参照画像として用いながら、シェーディング補正された第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋに対して高精度な欠陥補正を行う。

制御部１２１は、シェーディング補正後の第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋ（ｊ、ｉ）のごく一部で欠陥と判定された信号に対して、撮像画像Ｉの正常信号と、第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋの正常信号とを用いる。なお、欠陥補正処理により生成される画像を第ｋ視点（第２修正）画像Ｍ_２Ｉ_ｋ（ｊ、ｉ）とする。ここで、ベイヤー配列の第ｋ視点（第２修正）画像Ｍ_２Ｉ_ｋを、Ｒ、Ｇｒ、Ｇｂ、Ｂごとに定義する。すなわち、Ｒの第ｋ視点（第２修正）画像をＲＭ_２Ｉ_ｋ（２ｊ_２−１、２ｉ_２−１）＝Ｍ_２Ｉ_ｋ（２ｊ_２−１、２ｉ_２−１）、Ｇｒの第ｋ視点（第２修正）画像をＧｒＭ_２Ｉ_ｋ（２ｊ_２−１、２ｉ_２）＝Ｍ_２Ｉ_ｋ（２ｊ_２−１、２ｉ_２）とする。また、Ｇｂの第ｋ視点（第２修正）画像をＧｂＭ_２Ｉ_ｋ（２ｊ_２、２ｉ_２−１）＝Ｍ_２Ｉ_ｋ（２ｊ_２、２ｉ_２−１）、Ｂの第ｋ視点（第２修正）画像をＢＭ_２Ｉ_ｋ（２ｊ_２、２ｉ_２）＝Ｍ_２Ｉ_ｋ（２ｊ_２、２ｉ_２）とする。

制御部１２１は、第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋのＲの第１位置（２ｊ_Ｄ−１、２ｉ_Ｄ−１）が欠陥と判定された場合、式（７Ａ）に従う演算を行って、第１位置における第ｋ視点（第２修正）画像ＲＭ_２Ｉ_ｋ（２ｊ_Ｄ−１、２ｉ_Ｄ−１）を生成する。式（７Ａ）の演算には、第１位置の撮像画像ＲＩ（２ｊ_Ｄ−１、２ｉ_Ｄ−１）と、欠陥と判定されていないＲの第２位置の第ｋ視点（第１修正）画像ＲＭ_１Ｉ_ｋと、第２位置の撮像画像ＲＩとを用いる。

また、第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋのＧｒの第１位置（２ｊ_Ｄ−１、２ｉ_Ｄ）が欠陥と判定された場合、式（７Ｂ）に従う演算を行い、第１位置における欠陥補正後の第ｋ視点（第２修正）画像ＧｒＭ_２Ｉ_ｋ（２ｊ_Ｄ−１、２ｉ_Ｄ）を生成する。さらに、第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋのＧｂ及びＢについても同様に、それぞれ式（７Ｃ）及び式（７Ｄ）に従って欠陥補正後の視点画像を生成する。

上記以外の欠陥と判定されていない大部分の位置（ｊ、ｉ）では、第ｋ視点（第２修正）画像Ｍ_２Ｉ_ｋ（ｊ、ｉ）が第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋ（ｊ、ｉ）と同一（又は略同一）の信号値、すなわちＭ_２Ｉ_ｋ（ｊ、ｉ）＝Ｍ_１Ｉ_ｋ（ｊ、ｉ）である。なお、必要に応じて、欠陥補正後の第ｋ視点（第２修正）画像Ｍ_２Ｉ_ｋ（ｊ、ｉ）を出力画像としても良い。

さらに、図１４（Ａ）および図１４（Ｂ）を参照して、上述した欠陥補正処理の効果を説明する。図１４（Ａ）は、上述した欠陥補正前の第１視点（第１修正）画像Ｍ_１Ｉ_１の例を示す。なお、本画像は、シェーディング補正処理およびデモザイキング処理が施されている。この例は、第１視点（第１修正）画像Ｍ_１Ｉ_１（ｊ、ｉ）の中央部に、水平方向（ｘ方向）のライン状の線欠陥が生じている場合を示している。一方、図１４（Ｂ）は、上述した欠陥補正後の第１視点（第２修正）画像Ｍ_２Ｉ_１（シェーディング補正後、デモザイキング後）の例を示している。正常な撮像画像Ｉに基づく欠陥補正により、水平方向（ｘ方向）のライン状の線欠陥が修正され、撮像画像と同様に、画質品位が良好になっている。

本実施形態では、シェーディング補正により光量補正のなされた視点画像を用いて欠陥画素を補正するようにした。すなわち、欠陥と判定された第１位置における視点画像の信号値を、欠陥と判定された第１位置における撮像画像の信号値と、欠陥と判定されていない第２位置における視点画像の信号値と、第２位置における撮像画像の信号値とに基づいて補正する。このようにすることで、良好な画質品位の視点画像を生成することができる。

さらに、制御部１２１は、Ｓ２−２において、欠陥補正後の第ｋ視点（第２修正）画像Ｍ_２Ｉ_ｋ（ｊ、ｉ）に対して、式（８Ａ）から式（８Ｄ）に従ったシェーディング処理を行い、第ｋ視点（第３修正）画像Ｍ_３Ｉ_ｋ（ｊ、ｉ）を生成する。ここで、ベイヤー配列の第ｋ視点（第３修正）画像Ｍ_３Ｉ_ｋを、Ｒ、Ｇｒ、Ｇｂ、Ｂごとに定義する。すなわち、Ｒの第ｋ視点（第３修正）画像をＲＭ_３Ｉ_ｋ（２ｊ_２−１、２ｉ_２−１）＝Ｍ_３Ｉ_ｋ（２ｊ_２−１、２ｉ_２−１）、Ｇｒの第ｋ視点（第３修正）画像をＧｒＭ_３Ｉ_ｋ（２ｊ_２−１、２ｉ_２）＝Ｍ_３Ｉ_ｋ（２ｊ_２−１、２ｉ_２）とする。また、Ｇｂの第ｋ視点（第３修正）画像をＧｂＭ_３Ｉ_ｋ（２ｊ_２、２ｉ_２−１）＝Ｍ_３Ｉ_ｋ（２ｊ_２、２ｉ_２−１）、Ｂの第ｋ視点（第３修正）画像をＢＭ_３Ｉ_ｋ（２ｊ_２、２ｉ_２）＝Ｍ_３Ｉ_ｋ（２ｊ_２、２ｉ_２）とする。

Ｓ３において、撮像画像Ｉ（ｊ、ｉ）と、第ｋ視点（第３修正）画像Ｍ_３Ｉ_ｋ（ｊ、ｉ）に対して、飽和信号処理を行う。本実施形態では、ｋ＝１、Ｎ_ＬＦ＝２である場合を例に説明する。

まず、Ｓ３−１において、制御部１２１は、撮像画像Ｉ（ｊ、ｉ）に対する飽和信号処理を行う。すなわち、式（９）に従い、撮像信号の最大値をＩｍａｘとする飽和信号処理を行って、修正撮像画像ＭＩ（ｊ、ｉ）を生成する。ここで、撮像信号の最大値Ｉｍａｘと、撮像信号の飽和判定閾値ＩＳは、Ｉｍａｘ≧ＩＳを満たす。

次に、Ｓ３−２において、制御部１２１は、第ｋ視点（第３修正）画像Ｍ_３Ｉ_ｋ（ｊ、ｉ）に対する飽和信号処理を行う。すなわち、式（１０）に従い、ベイヤー配列のシェーディング関数をＳＦ_ｋ（ｊ、ｉ）としたシェーディング状態に合わせた飽和信号処理を行い、第ｋ視点（第４修正）画像Ｍ_４Ｉ_ｋ（ｊ、ｉ）を生成する。ここで、ベイヤー配列のシェーディング関数ＳＦ_ｋ（ｊ、ｉ）を、式（５Ａ）から式（５Ｄ）により、Ｒ、Ｇｒ、Ｇｂ、Ｂごとに生成されたシェーディング関数ＲＳＦ_ｋ（２ｉ_２−１）、ＧｒＳＦ_ｋ（２ｉ_２）、ＧｂＳＦ_ｋ（２ｉ_２−１）、ＢＳＦ_ｋ（２ｉ_２）から、ＳＦ_ｋ（２ｊ_２−１、２ｉ_２−１）＝ＲＳＦ_ｋ（２ｉ_２−１）、ＳＦ_ｋ（２ｊ_２−１、２ｉ_２）＝ＧｒＳＦ_ｋ（２ｉ_２）、ＳＦ_ｋ（２ｊ_２、２ｉ_２−１）＝ＧｂＳＦ_ｋ（２ｉ_２−１）、ＳＦ_ｋ（２ｊ_２、２ｉ_２）＝ＢＳＦ_ｋ（２ｉ_２）とする。

次に、Ｓ４−１において、制御部１２１は、Ｓ３−１で生成された修正撮像画像ＭＩ（ｊ、ｉ）と、Ｓ３−２で生成された第１視点（第４修正）画像Ｍ_４Ｉ_１（ｊ、ｉ）から、式（１１）に従って第２視点画像Ｉ_２（ｊ、ｉ）を生成する。

なお、撮像素子の駆動方式やＡ／Ｄ変換の回路構成によっては、第１視点（第３修正）画像Ｍ_３Ｉ_１（ｊ、ｉ）の飽和時の最大信号値が、撮像画像Ｉ（ｊ、ｉ）の飽和時の最大信号値Ｉｍａｘと、同一の最大信号値となる場合がある。このような場合に、飽和信号処理を行うことなく、式（１１）を適用して撮像画像から第１視点（第３修正）画像を減算すると、生成される第２視点画像において飽和信号値となるべきところが誤った信号値０となる場合がある。このような動作を防止するため、Ｓ３では、撮像画像Ｉ（ｊ、ｉ）と第ｋ視点（第３修正）画像Ｍ_３Ｉ_ｋ（ｊ、ｉ）に対して予めシェーディング状態に合わせた飽和信号処理を行う。このようにして、飽和信号処理後の修正撮像画像ＭＩ（ｊ、ｉ）と第１視点（第４修正）画像Ｍ_４Ｉ_１（ｊ、ｉ）を生成する。Ｓ４−１では、式（１１）に従って第２視点画像Ｉ_２（ｊ、ｉ）を生成することにより、より正しい飽和信号値に対応した第２視点画像Ｉ_２を生成することができる。

Ｓ５では、制御部１２１は、第１視点（第４修正）画像Ｍ_４Ｉ_１（ｊ、ｉ）と、第２視点画像Ｉ_２（ｊ、ｉ）に対して、それぞれシェーディング補正を行う。Ｓ５−１では、第１視点（第４修正）画像Ｍ_４Ｉ_１（ｊ、ｉ）に対して、式（５Ａ）から式（５Ｄ）に従って生成済みのシェーディング関数ＲＳＦ_１、ＧｒＳＦ_１、ＧｂＳＦ_１、ＢＳＦ_１を適用する。そして、式（６Ａ）から式（６Ｄ）に従って、シェーディング補正処理を行う。なお、このとき第１視点（第５修正）画像Ｍ_５Ｉ_１（ｊ、ｉ）が生成される。

次に、Ｓ５−２において、制御部１２１は、第２視点画像Ｉ_２（ｊ、ｉ）に対して、式（３Ａ）から式（６Ｄ）と同様に、修正撮像画像ＭＩ（ｊ、ｉ）に基づくシェーディング補正処理を行って、第２視点（第５修正）画像Ｍ_５Ｉ_２（ｊ、ｉ）を生成する。

次に、Ｓ６では、制御部１２１は、第１視点（第５修正）画像Ｍ_５Ｉ_１（ｊ、ｉ）と、第２視点（第５修正）画像Ｍ_５Ｉ_２（ｊ、ｉ）に対して、それぞれ飽和信号処理を行う。Ｓ６−１では、第１視点（第５修正）画像Ｍ_５Ｉ_１（ｊ、ｉ）に対して、式（１２）に従って飽和信号処理を行い、修正第１視点画像ＭＩ_１（ｊ、ｉ）を生成する。一方、Ｓ６−２では、第２視点（第５修正）画像Ｍ_５Ｉ_２（ｊ、ｉ）に対して、式（１２）に従って飽和信号処理を行い、修正第２視点画像ＭＩ_２（ｊ、ｉ）を生成する。ここで、第ｋ視点画像の最大値Ｉｍａｘ／Ｎ_ＬＦと、第ｋ視点画像の飽和判定閾値ＩＳ_ｋは、Ｉｍａｘ／Ｎ_ＬＦ≧ＩＳ_ｋを満たす。

以下、図１５（Ａ）および図１５（Ｂ）を参照して、Ｓ５に示した第２視点画像Ｉ_２（ｊ、ｉ）に対するＲＧＢごとのシェーディング補正処理の効果について説明する。図１５（Ａ）は、シェーディング補正前の第２視点画像Ｉ_２（デモザイキング後）の例を示している。この例では、結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれによってＲＧＢごとのシェーディングが生じているため、第２視点画像Ｉ_２（ｊ、ｉ）の左側では、輝度の低下（およびＲＧＢ比の変調）が生じている。一方、図１５（Ｂ）は、本実施形態に係るシェーディング補正後の修正第２視点画像ＭＩ_２（デモザイキング後）の例を示している。この例では、撮像画像に基づいたＲＧＢごとのシェーディング補正により、輝度の低下（およびＲＧＢ比の変調）が修正され、撮像画像と同様に、画質品位が良好な修正第２視点画像ＭＩ_２（ｊ、ｉ）が生成されている。

最後に、撮像画像に基づいたＲＧＢごとにシェーディング補正され、画質品位が良好な修正第１視点画像ＭＩ_１（ｊ、ｉ）、修正第２視点画像ＭＩ_２（ｊ、ｉ）、もしくは、これらを合成処理した合成画像を、出力画像として生成する。

このように、本実施形態では、撮像画像に基づくＲＧＢごとのシェーディング補正を行って、良好な画質品位の第１修正視点画像と第２修正視点画像（複数の修正視点画像）を生成し、これを出力画像として用いるようにした。このようにすることで、画質品位が良好な視点画像、もしくは、これらの合成画像を実現することができる。

（位相差方式の焦点検出処理）
次に、第１視点画像と第２視点画像（第１視点画像から第Ｎ_ＬＦ視点画像）から、第１視点画像と第２視点画像の相関（信号の一致度）に基づき、位相差方式によりデフォーカス量を検出する焦点検出処理について説明する。なお、以下の説明では、制御部１２１が処理を実行する例を説明するが、画像処理回路１２５が実行してもよい。

まず、制御部１２１は、ベイヤー配列のＲＧＢ信号である第ｋ視点画像Ｉｋ（ｋ＝１〜Ｎ_ＬＦ）から、位置（ｊ，ｉ）ごとに、各色ＲＧＢの色重心を一致させて、第ｋ視点輝度信号Ｙｋを、式（１３）に従って生成する。

次に、制御部１２１は、式（１４）に従って、第ｋ視点輝度信号Ｙｋ（ｋ＝１〜Ｎ_ＬＦ）のシェーディング補正量Ｓ_ｋ（ｉ）を、瞳分割方向（ｘ方向）の位置ｉに対する滑らかなＮ_Ｓ次の多項式関数として算出する。撮像素子１０７の光学特性（第ｋ副画素ごとの瞳強度分布）と、結像光学系の光学特性（絞り値Ｆ、射出瞳距離Ｄｌ）に基づき、予め、各係数ＳＣ_ｋ（μ|Ｆ、Ｄｌ）を算出し、不図示のＲＯＭ等へ保存しておく。

さらに、制御部１２１は、第ｋ視点輝度信号Ｙｋ（ｊ、ｉ）に対して、式（１５）に従って、シェーディング補正量Ｓ_ｋ（ｉ）を用いたシェーディング補正処理を行い、第ｋ修正視点輝度信号ＭＹｋ（ｊ、ｉ）を生成する。

制御部１２１は、生成された第１修正視点輝度信号ＭＹ_１に対して、瞳分割方向（列方向）に、１次元バンドパスフィルター処理を行い、第１焦点検出信号ｄＹＡを生成する。同様に、第２修正視点輝度信号ＭＹ_２に対して、瞳分割方向（列方向）に、１次元バンドパスフィルター処理を行い、第２焦点検出信号ｄＹＢを生成する。なお、１次元バンドパスフィルターとしては、例えば、１次微分型フィルター［１、５、８、８、８、８、５、１、−１、−５、−８、−８、−８、−８、−５、−１］などを用いることができる。必要に応じて、１次元バンドパスフィルターの通過帯域を調整しても良い。

次に、制御部１２１は、第１焦点検出信号ｄＹＡと第２焦点検出信号ｄＹＢを、相対的に瞳分割方向（列方向）にシフトさせて、信号の一致度を表す相関量を算出し、算出した相関量に基づいて像ずれ量Ｍ_ＤＩＳを生成する。

例えば、焦点検出位置（ｊ_ＡＦ、ｉ_ＡＦ）を中心として、行方向ｊ_２番目、瞳分割方向である列方向ｉ_２番目の第１焦点検出信号をｄＹＡ（ｊ_ＡＦ＋ｊ_２、ｉ_ＡＦ＋ｉ_２）、第２焦点検出信号をｄＹＢ（ｊ_ＡＦ＋ｊ_２、ｉ_ＡＦ＋ｉ_２）とする。但し、ｊ_２は−ｎ_２≦ｊ_２≦ｎ_２、ｉ_２は−ｍ_２≦ｉ_２≦ｍ_２である。さらに、シフト量をｓ（−ｎ_ｓ≦ｓ≦ｎ_ｓ）とすると、各位置（ｊ_ＡＦ，ｉ_ＡＦ）での相関量ＣＯＲ_ＥＶＥＮ（ｊ_ＡＦ，ｉ_ＡＦ、ｓ）および相関量ＣＯＲ_ＯＤＤ（ｊ_ＡＦ，ｉ_ＡＦ、ｓ）は、それぞれ式（１６Ａ）および式（１６Ｂ）により算出することができる。

なお、相関量ＣＯＲ_ＯＤＤ（ｊ_ＡＦ，ｉ_ＡＦ、ｓ）は、相関量ＣＯＲ_ＥＶＥＮ（ｊ_ＡＦ，ｉ_ＡＦ、ｓ）に対して、第１焦点検出信号ｄＹＡと第２焦点検出信号ｄＹＢのシフト量を半位相−１シフトずらした相関量である。

制御部１２１は、相関量ＣＯＲ_ＥＶＥＮ（ｊ_ＡＦ，ｉ_ＡＦ、ｓ）と相関量ＣＯＲ_ＯＤＤ（ｊ_ＡＦ，ｉ_ＡＦ、ｓ）から、それぞれ、サブピクセル演算を行って、相関量が最小値となる実数値のシフト量を算出する。さらに、算出したシフト量の平均値を算出し、焦点検出位置（ｊ_ＡＦ、ｉ_ＡＦ）における像ずれ量Ｄｉｓ（ｊ_ＡＦ、ｉ_ＡＦ）を検出する。

次に、制御部１２１は、像ずれ量からデフォーカス量への変換係数Ｋを、焦点検出領域の像高位置ごとに像ずれ量Ｄｉｓ（ｊ_ＡＦ、ｉ_ＡＦ）に乗算し、各焦点検出位置（ｊ_ＡＦ、ｉ_ＡＦ）におけるデフォーカス量Ｍ_Ｄｅｆ（ｊ_ＡＦ、ｉ_ＡＦ）を検出する。なお、変換係数Ｋは、例えば、撮像素子の光学特性（第ｋ副画素ごとの瞳強度分布）およびレンズ情報（結像光学系の絞り値Ｆ、射出瞳距離Ｄｌなど）に応じて算出し、不図示のＲＯＭへ保存しておく。

最後に、制御部１２１は、焦点検出位置（ｊ_ＡＦ、ｉ_ＡＦ）で検出されたデフォーカス量Ｍ_Ｄｅｆ（ｊ_ＡＦ、ｉ_ＡＦ）に応じて合焦位置にレンズを駆動して、焦点検出処理を終了する。

第１視点画像と第２視点画像（複数の視点画像）を用いて、自動焦点検出を行う場合、応答性に優れたリアルタイム処理の自動焦点検出を行うために、高速なシェーディング補正が必要となる場合がある。そのため、本実施形態では、自動焦点検出を行う場合には、不図示のＲＯＭ等に保存されている、予め算出されたシェーディング補正関連データを用いて高速にシェーディング補正を行うようにしてもよい。このようにすれば、良好な信号品質の位相差方式の焦点検出信号を用いることができ、精度が高く、応答性に優れた自動焦点検出を実現することができる。なお、シェーディング補正関連データは、撮像素子の光学特性（第ｋ副画素ごとの瞳強度分布）と結像光学系の光学特性（絞り値Ｆ、射出瞳距離Ｄｌ）とに基づき算出することができる。この場合、自動焦点検出を行う際には、特定の視点画像（例えば第１視点画像）についてのみシェーディング補正を適用し、より高速な自動焦点検出を行うようにしてもよい。

本実施形態は、画質品位が良好な視点画像、もしくは、これらの合成画像を画像出力する際は、撮像画像に基づいて、高精度なＲＧＢ毎のシェーディング補正を行う。一方、優れた応答性が要求されるリアルタイム処理の自動焦点検出の際は、シェーディング補正方法を切り換え、予め、算出され、記録媒体に保存されたシェーディング補正関連データによる高速なシェーディング補正を行う例を説明した。これにより、画質品位が良好な視点画像の画像出力と、応答性に優れた高精度な自動焦点検出を、両立することができる。

以上説明したように、単位画素内の光電変換部を分割した構造の撮像素子から得られるＬＦデータに基づいて撮像画像と視点画像を生成し、これらの画像に基づき視点画像に対するシェーディング（光量分布の偏り）を補正するようにした。さらに、シェーディング補正のなされた視点画像を用いて欠陥画素を補正するようにした。このようにすることで、良好な画質品位の視点画像を生成することができる。換言すれば、ＬＦデータを用いる場合に、生成される視点画像の光量の変動を低減することができるようになる。

（第２の実施形態）
次に、第２の実施形態を説明する。なお、第１の実施形態では、撮像素子１０７が、ｘ方向に２分割、ｙ方向に１分割された分割数２の第１光電変換部３０１と第２光電変換部３０２を有する単位画素を有する場合を例に説明した。一方、第２の実施形態では、単位画素内の光電変換部がｙ方向にも２分割された構造の撮像素子を用いる点が異なる。このため、デジタルカメラ１００の構成は第１の実施形態と同一である。従って、同様の構成及び処理については同一の符号を付与してそれらの詳細な説明を省略し、相違点を中心に説明する。

図１６は、本実施形態における撮像素子１０７の画素と副画素の配列の概略図を示している。図１６に示すｘ方向（水平方向）、ｙ方向（垂直方向）、およびｚ方向（光軸方向）の定義は実施形態１で示した図２と同様である。図１６は、本実施形態に係る撮像素子１０７の画素配列を４列×４行の範囲（副画素配列については８列×８行の範囲）で示している。２列×２行の画素群２００は、左上の位置に第１色のＲ（赤）の分光感度を有する画素２００Ｒが左上に、第２色のＧ（緑）の分光感度を有する画素２００Ｇが右上と左下に、第３色のＢ（青）の分光感度を有する画素２００Ｂが右下に配置されている。さらに、各画素は、ｘ方向に２分割（Ｎｘ分割）、ｙ方向に２分割（Ｎｙ分割）された分割数４（分割数Ｎ_ＬＦ＝Ｎｘ×Ｎｙ）の第１副画素２０１から第４副画素２０４（第１副画素から第Ｎ_ＬＦ副画素）の複数の副画素により構成されている。

図１６に示す例では、４列×４行の画素（８列×８行の副画素）を面上に多数配置することで、撮像画像および分割数４（分割数Ｎ_ＬＦ）の複数の視点画像を生成するための入力画像を取得可能である。本実施形態の撮像素子では、画素の周期Ｐを６μｍ（マイクロメートル）とし、水平（列方向）画素数Ｎ_Ｈ＝６０００列、垂直（行方向）画素数Ｎ_Ｖ＝４０００行、画素数Ｎ＝Ｎ_Ｈ×Ｎ_Ｖ＝２４００万画素とする。また、副画素の周期Ｐ_Ｓを３μｍとし、副画素数Ｎ_Ｓを水平１２０００列×垂直８０００行＝９６００万画素とする。

図１７（Ａ）は、図１６に示した１つの画素２００Ｇを、撮像素子の受光面側（＋ｚ側）から見た場合の平面図を示している。図１７（Ａ）におけるｘ軸、ｙ軸およびｚ軸の定義は実施形態１と同様である。また、図１７（Ｂ）は、図１７（Ａ）にてａ−ａ切断線に沿って、−ｙ側から見た場合の断面図を示している。

図１７（Ａ）および、図１７（Ｂ）に示すように、画素２００Ｇは、各画素の受光面側（＋ｚ方向）に入射光を集光するためのマイクロレンズ３０５が形成されている。さらに、ｘ方向に２分割（Ｎｘ分割）、ｙ方向に２分割（Ｎｙ分割）された分割数４（分割数Ｎ_ＬＦ）の第１光電変換部３０１から第４光電変換部３０４（第１光電変換部から第Ｎ_ＬＦ光電変換部）の複数の光電変換部が形成されている。第１光電変換部３０１から第４光電変換部３０４（第１光電変換部から第Ｎ_ＬＦ光電変換部）が、それぞれ、第１副画素２０１から第４副画素２０４（第１副画素から第Ｎ_ＬＦ副画素）に対応する。

２×２分割された第１副画素２０１から第４副画素２０４（Ｎｘ×Ｎｙ分割された第１副画素から第Ｎ_ＬＦ副画素）は、それぞれ、結像光学系の第１瞳部分領域５０１から第４瞳部分領域５０４（第１瞳部分領域から第Ｎ_ＬＦ瞳部分領域）の異なる瞳部分領域を通過した光束を受光する。各副画素で受光された信号から、光強度の空間分布および角度分布の情報を含むＬＦデータが取得される。

本実施形態では、Ｎｘ＝２、Ｎｙ＝２、Ｎ_ＬＦ＝４の４分割の例において、図１６に例示した画素配列に対応した入力画像（ＬＦデータ）から、式（１）に従って、撮像画像を生成する。具体的には、当該ＬＦデータに対して、画素ごとに、４分割された第１副画素２０１から第４副画素２０４（Ｎｘ×Ｎｙ分割された第１副画素から第Ｎ_ＬＦ副画素）の信号を全て合成する。これにより、画素数Ｎ（＝水平画素数Ｎ_Ｈ×垂直画素数Ｎ_Ｖ）の解像度を有するベイヤー配列のＲＧＢ信号（撮像画像）を生成する。

また、本実施形態は、Ｎｘ＝２、Ｎｙ＝２、Ｎ_ＬＦ＝４の４分割で、ｋ＝１〜３の例である。図１６に例示した画素配列に対応したＬＦデータから、式（２）に従って第１視点画像Ｉ_１（ｊ、ｉ）を生成する。具体的には、まず、画素ごとに、４分割された第１副画素２０１から第４副画素２０４の中から第１副画素２０１の信号を選択する。そして、結像光学系の第１瞳部分領域５０１に対応した、画素数Ｎの解像度を有するベイヤー配列のＲＧＢ信号（第１視点画像Ｉ_１（ｊ、ｉ））を生成する。また、同様に、式（２）に従って第２副画素２０２の信号を選択し、結像光学系の第２瞳部分領域５０２に対応した、画素数Ｎの解像度を有するベイヤー配列のＲＧＢ信号（第２視点画像Ｉ_２（ｊ、ｉ））を生成する。さらに、第３副画素２０３の信号を選択した第３視点画像Ｉ_３（ｊ、ｉ）を生成する。

（撮像画像に基づく視点画像の補正処理）
次に、本実施形態では、撮像画像に基づき、第１視点画像から第４視点画像（第１視点画像から第Ｎ_ＬＦ視点画像）に対する欠陥補正やシェーディング補正等の画像処理を行う。本実施形態に係る処理を図９を再び参照しながら説明する。

Ｓ１において、制御部１２１は、撮像画像Ｉ（ｊ、ｉ）を基準の参照画像として、第１視点画像Ｉ_１から第３視点画像Ｉ_３（第ｋ視点画像Ｉ_ｋ：ｋ＝１〜Ｎ_ＬＦ−１）のＲＧＢごとにシェーディング補正を行う。本実施形態は、Ｎｘ＝２、Ｎｙ＝２、Ｎ_ＬＦ＝４の４分割であり、ｋ＝１〜３の例である。

Ｓ１において、制御部１２１は、まず、第ｋ視点画像Ｉ_ｋ（ｋ＝１〜Ｎ_ＬＦ−１）に対して、式（３Ａ）から式（６Ｄ）により、ｘ方向にシェーディング補正処理を行う。次に、式（３Ａ）から式（６Ｄ）において、ｘ方向とｙ方向を入れ換え、ｙ方向にシェーディング補正処理を行い、第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋ（ｋ＝１〜Ｎ_ＬＦ−１）を生成する。なお、このように、ｘ方向へのシェーディング補正と、ｙ方向へのシェーディング補正とを２段階に行う場合、式（４Ａ）から式（４Ｄ）の規格化のため瞳分割数Ｎ_ＬＦが１回余分となる。そのため、２回目のｙ方向のシェーディング補正では、式（４Ａ）から式（４Ｄ）において、規格化のための瞳分割数Ｎ_ＬＦの乗算は省略することができる。

その後、制御部１２１は、式（７Ａ）から式（１０）に従って第ｋ視点（第４修正）画像Ｍ_４Ｉ_ｋ（ｋ＝１〜Ｎ_ＬＦ−１）を生成するまでの処理を、第１の実施形態と同様に行うことができる。

Ｓ４−１において、制御部１２１は、修正撮像画像ＭＩ（ｊ、ｉ）と第ｋ視点（第４修正）画像Ｍ_４Ｉ_ｋ（ｋ＝１〜Ｎ_ＬＦ−１）とから、式（１７）に従って第Ｎ_ＬＦ視点画像Ｉ_ＮＬＦ（ｊ、ｉ）を生成する。本実施形態は、Ｎｘ＝２、Ｎｙ＝２、Ｎ_ＬＦ＝４の４分割の例である。その後、制御部１２１は、Ｓ５以降の処理を第１の実施形態と同様に処理する。

なお、上述の実施形態では、撮像素子の各画素部における光電変換部については、分割数を４にする場合を例に説明した。しかし、各画素部における光電変換部の分割数をさらに多くした実施形態（例えば、Ｎｘ＝３、Ｎｙ＝３、Ｎ_ＬＦ＝９の９分割や、Ｎｘ＝４、Ｎｙ＝４、Ｎ_ＬＦ＝１６の１６分割など）も可能である。

以上説明したように、単位画素内の光電変換部を分割した構造の撮像素子から得られるＬＦデータに基づいて撮像画像と視点画像を生成し、これらの画像に基づき視点画像に対するシェーディング（光量分布の偏り）を補正するようにした。さらに、シェーディング補正のなされた視点画像を用いて欠陥画素を補正するようにした。このようにすることで、良好な画質品位の視点画像を生成することができる。換言すれば、ＬＦデータを用いる場合に、生成される視点画像の光量の変動を低減することができるようになる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０７…撮像素子、１２１…制御部、１２５…画像処理回路

Claims (14)

1. 結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた単位画素を複数配列した撮像素子により得られた画像信号を取得する取得手段と、
   それぞれの前記単位画素の所定の位置の副画素から得られる信号を前記画像信号から選択して得られる第１の視点画像と、それぞれの前記単位画素の全ての副画素から得られる信号を前記画像信号から選択して得られる撮像画像とに基づいて、前記第１の視点画像の光量を補正する処理手段と、を有し、
   前記処理手段は、前記単位画素に入射する光量に対する、前記複数の副画素の間の該光量の分布の偏りを補正することにより、前記第１の視点画像の光量を補正する、
   することを特徴とする画像処理装置。
2. 前記処理手段は、前記第１の視点画像から得られる、前記所定の位置の副画素で受光する光量と、前記撮像画像から得られる、前記単位画素に入射する光量との割合に基づいて、前記偏りを補正する補正量を求める、ことを特徴とする請求項１に記載の画像処理装置。
3. 前記処理手段は、前記偏りの発生を前記副画素の位置に応じて統計処理することにより、前記偏りを補正する前記補正量を求める、ことを特徴とする請求項２に記載の画像処理装置。
4. 各副画素に対して求められた前記補正量を予め記憶する記録手段を更に有し、
   前記処理手段は、前記記録手段に記録された前記補正量を用いて、前記第１の視点画像の光量を補正する、ことを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記処理手段は、前記所定の位置の副画素に欠陥を有する単位画素である欠陥画素が存在する場合、光量が補正された後の前記第１の視点画像から得られる、欠陥画素でない単位画素における前記所定の位置の副画素で受光する光量と、光量が補正された後の前記撮像画像から得られる、欠陥画素でない単位画素に入射する光量との割合に基づいて、欠陥画素の前記所定の位置の副画素から得られる信号を補正する、ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記処理手段は、光量が補正された後の前記撮像画像から得られる、前記欠陥画素に入射する光量を更に用いる、ことを特徴とする請求項５に記載の画像処理装置。
7. 前記処理手段は、分光感度の異なる前記単位画素における副画素から得られる信号ごとに前記第１の視点画像の光量を補正する、ことを特徴とする請求項１から請求項６のいずれか１項に記載の画像処理装置。
8. 焦点検出信号を生成する焦点検出手段を更に有し、
   前記処理手段は、更に、それぞれの前記単位画素の前記所定の位置と異なる位置の副画素から得られる信号を前記画像信号から選択して得られる第２の視点画像の光量を補正し、
   前記焦点検出手段は、前記処理手段によって補正された前記第１の視点画像と前記第２の視点画像とに基づいてデフォーカス量を算出し、当該デフォーカス量に基づいて前記焦点検出信号を生成する、ことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記焦点検出手段は、前記処理手段によって補正された前記第１の視点画像と前記第２の視点画像とに基づいて得られる像ずれ量に対し、前記撮像素子の光学特性と前記結像光学系の光学特性とに基づく変換係数を適用することにより、前記デフォーカス量を算出する、ことを特徴とする請求項８に記載の画像処理装置。
10. 焦点検出信号を生成する焦点検出手段を更に有し、
    前記処理手段は、前記取得手段により取得された前記画像信号を表示又は記録に用いる場合、更に、それぞれの前記単位画素の前記所定の位置と異なる位置の副画素から得られる信号を前記画像信号から選択して得られる第２の視点画像の光量を補正し、前記画像信号を焦点検出に用いる場合、予め記録されている補正関連データを用いて、前記第１の視点画像の光量を補正し、
    前記焦点検出手段は、前記処理手段によって補正された前記第１の視点画像に少なくとも基づいてデフォーカス量を算出し、当該デフォーカス量に基づいて前記焦点検出信号を生成する、ことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
11. 結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた単位画素を複数配列した撮像素子と、
    請求項１から１０のいずれか１項に記載の画像処理装置と、を有することを特徴とする撮像装置。
12. 結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた単位画素を複数配列して画像信号を取得し、
    それぞれの前記単位画素の所定の位置の副画素から得られる信号を前記画像信号から選択して得られる第１の視点画像と、
    それぞれの前記単位画素の全ての副画素から得られる信号を前記画像信号から選択して得られる撮像画像と、を出力する撮像素子と、
    前記撮像素子から出力された前記第１の視点画像と前記撮像画像とに基づいて、前記第１の視点画像の光量を補正する処理手段と、を有し、
    前記処理手段は、前記単位画素に入射する光量に対する、前記複数の副画素の間の該光量の分布の偏りを補正することにより、前記第１の視点画像の光量を補正する、
    することを特徴とする撮像装置。
13. 取得手段が、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた単位画素を複数配列した撮像素子により得られた画像信号を取得する取得工程と、
    処理手段が、それぞれの前記単位画素の所定の位置の副画素から得られる信号を前記画像信号から選択して得られる第１の視点画像と、それぞれの前記単位画素の全ての副画素から得られる信号を前記画像信号から選択して得られる撮像画像とに基づいて、前記第１の視点画像の光量を補正する処理工程と、を有し、
    前記処理工程では、前記単位画素に入射する光量に対する、前記複数の副画素の間の該光量の分布の偏りを補正することにより、前記第１の視点画像の光量を補正する、
    することを特徴とする画像処理装置の制御方法。
14. コンピュータを、請求項１から１０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。