JP6789810B2

JP6789810B2 - 画像処理方法、画像処理装置、および、撮像装置

Info

Publication number: JP6789810B2
Application number: JP2016256758A
Authority: JP
Inventors: 福田　浩一; 浩一福田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-12-28
Filing date: 2016-12-28
Publication date: 2020-11-25
Anticipated expiration: 2036-12-28
Also published as: JP2018110299A; US20180183984A1; US10200622B2

Description

本発明は、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部が設けられた画素を複数配列した撮像素子により取得される画像の画像処理に関するものである。

撮像装置の焦点検出方法の１つとして、撮像素子に形成された焦点検出画素により位相差方式の焦点検出を行う撮像面位相差方式がある。特許文献１に開示された撮像装置は、１つの画素に対して、１つのマイクロレンズと複数に分割された光電変換部が形成されている２次元撮像素子を用いる。複数に分割された光電変換部は、１つのマイクロレンズを介して撮影レンズの射出瞳の異なる領域を受光するように構成され、瞳分割を行う。複数に分割された光電変換部で、それぞれ、受光した信号から視点信号を生成し、複数の視点信号間の視差から像ずれ量を算出してデフォーカス量に換算することで、位相差方式の焦点検出が行われる。特許文献２では、複数に分割された光電変換部によって受光した複数の視点信号を加算することで、撮像信号を生成することが開示されている。

撮影された画像に関する複数の視点信号は、光強度の空間分布および角度分布の情報であるＬＦ（ＬｉｇｈｔＦｉｅｌｄ）データと等価である。

米国特許第４４１０８０４号明細書特開２００１−０８３４０７号公報

特許文献１，２に開示されている撮像装置により得られる撮像信号と視点信号は、有効絞り値が違い、受光量が異なるため、撮像信号と視点信号を合成することにより、ダイナミックレンジを拡大した合成画像を生成することができる。しかしながら、特許文献１，２に開示されている撮像装置で得られた複数の視点画像において、各視点画像の一部において、キズ信号や、瞳分割によるシェーディング、飽和信号などが生じ、視点画像の画質品位が低下し、それに伴い、ダイナミックレンジを拡大した合成画像の画質品位が低下する場合がある。

本発明の目的は、上記の課題に鑑みてなされたものであり、良好な画質品位のダイナミックレンジを拡大した画像を生成可能とすることである。

上記課題を解決するために、本発明の画像処理方法は、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部が設けられた画素を複数配列した撮像素子により取得される入力画像から出力画像を生成する画像処理方法であって、前記入力画像から、前記異なる瞳部分領域を合成した瞳領域に応じた撮像画像を生成し、前記入力画像から、前記異なる瞳部分領域毎に、１つ以上の視点画像を生成し、前記撮像画像と各々の前記視点画像に基づき、各々の前記視点画像の光量補正処理を行い、１つ以上の修正視点画像を生成し、前記撮像画像と、前記１つ以上の修正視点画像とを、前記撮像画像の信号輝度分布と、前記１つ以上の修正視点画像の信号輝度分布と、に基づき、前記撮像画像のガンマ調整と、前記１つ以上の修正視点画像のガンマ調整を行い、被写体輝度に応じて該ガンマ調整後の前記修正視点画像及び前記撮像画像を合成して出力画像を生成する、ことを特徴とする。

本発明によれば、良好な画質品位のダイナミックレンジを拡大した画像を生成することができる。

本発明の第１の実施例に係る画像処理方法を適用した撮像装置の概略構成図である。本発明の第１の実施例における画素配列の概略図である。本発明の第１の実施例における画素の概略平面図（Ａ）と概略断面図（Ｂ）である。本発明の第１の実施例における画素と瞳分割の概略説明図である。本発明の第１の実施例における画素内部の光強度分布例を示す図である。本発明の第１の実施例における瞳強度分布を例示する図である。本発明の第１の実施例における撮像素子と瞳分割の概略説明図である。本発明の第１の実施例における第１視点画像と第２視点画像のデフォーカス量と、像ずれ量の概略関係図である。本発明の第１の実施例における補正処理のフローチャート例を示す図である。本発明の第１の実施例における第１視点画像と第２視点画像の瞳ずれによるシェーディングを説明するための図である。本発明の第１の実施例における撮像画像の射影信号例（Ａ）、視点画像の射影信号例（Ｂ）とシェーディング曲線例（Ｃ）である。本発明の第１の実施例における撮像画像を例示する図である。本発明の第１の実施例におけるシェーディング補正前の第１視点画像を例示する図である。本発明の第１の実施例におけるシェーディング補正後の第１視点画像を例示する図である。本発明の第１の実施例における欠陥補正前の第１視点画像を例示する図である。本発明の第１の実施例における欠陥補正後の第１視点画像を例示する図である。本発明の第１の実施例における撮像画像を例示する図である。本発明の第１の実施例における補正後の第１修正視点画像を例示する図である。本発明の第１の実施例における撮像画像の信号輝度分布と、第１修正視点画像の信号輝度分布を例示する図である。本発明の第１の実施例における撮像画像と第１修正視点画像を合成し、ダイナミックレンジを拡大した出力画像を例示する図である。本発明の第２の実施例における画素配列の概略図である。本発明の第２の実施例における画素の概略平面図（Ａ）と概略断面図（Ｂ）である。本発明の第２の実施例における画素と瞳分割の概略説明図である。

以下、本発明の例示的な実施形態を、図面に基づいて詳細に説明する。以下の実施形態では、デジタルカメラ等の撮像装置に適用した場合の実施例を説明するが、本発明に係る画像処理方法を実行する画像処理装置や情報処理装置、電子機器等に幅広く適用可能である。

［第１の実施例］
本発明の第１の実施例に係る画像処理方法を適用した撮像装置であるカメラの全体構成を例示して、以下に説明する。

図１は本実施形例に係る撮像素子を有する撮像装置の構成例を示すブロック図である。撮像光学系（結像光学系）の先端に配置された第１レンズ群１０１は、レンズ鏡筒にて光軸方向に進退可能に保持される。絞り兼用シャッタ１０２は、その開口径を調節することで撮影時の光量調節を行う他、静止画撮影時には露光秒時調節用シャッタとしての機能をもつ。第２レンズ群１０３は、絞り兼用シャッタ１０２と一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）を有する。第３レンズ群１０５は、光軸方向の進退により焦点調節を行うフォーカスレンズである。光学的ローパスフィルタ１０６は、撮影画像の偽色やモアレを軽減するための光学素子である。撮像素子１０７は、例えば２次元ＣＭＯＳ（相補型金属酸化膜半導体）フォトセンサーと周辺回路からなり、撮像光学系の結像面に配置される。

ズームアクチュエータ１１１は、不図示のカム筒を回動することで、第１レンズ群１０１および第２レンズ群１０３を光軸方向に移動させて変倍動作を行う。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行う。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に移動させて焦点調節動作を行う。

被写体照明用の電子フラッシュ１１５は撮影時に使用し、キセノン管を用いた閃光照明装置または連続発光するＬＥＤ（発光ダイオード）を備えた照明装置が用いられる。ＡＦ（オートフォーカス）補助光源１１６は、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影する。これにより、低輝度の被写体または低コントラストの被写体に対する焦点検出能力が向上する。

カメラ本体部の制御部を構成するＣＰＵ（中央演算処理装置）１２１は、種々の制御を司る制御中枢機能をもつ。ＣＰＵ１２１は、演算部、ＲＯＭ（リード・オンリー・メモリ）、ＲＡＭ（ランダム・アクセス・メモリ）、Ａ（アナログ）／Ｄ（デジタル）コンバーター、Ｄ／Ａコンバーター、通信インターフェイス回路等を有する。ＣＰＵ１２１はＲＯＭに記憶された所定のプログラムに従って、カメラ内の各種回路を駆動し、ＡＦ制御、撮像処理、画像処理、記録処理等の一連の動作を実行する。また、ＣＰＵ１２１は本発明に係るデータの生成手段としての機能を有する。

電子フラッシュ制御回路１２２はＣＰＵ１２１の制御指令に従い、撮影動作に同期して電子フラッシュ１１５を点灯制御する。補助光源駆動回路１２３はＣＰＵ１２１の制御指令に従い、焦点検出動作に同期してＡＦ補助光源１１６を点灯制御する。撮像素子駆動回路１２４は撮像素子１０７の撮像動作を制御するとともに、取得した撮像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。画像処理回路１２５はＣＰＵ１２１の制御指令に従い、撮像素子１０７により取得した画像のガンマ変換、カラー補間、ＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔｓＧｒｏｕｐ）圧縮等の処理を行う。

フォーカス駆動回路１２６はＣＰＵ１２１の制御指令に従い、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動し、第３レンズ群１０５を光軸方向に移動させて焦点調節を行う。絞りシャッタ駆動回路１２８はＣＰＵ１２１の制御指令に従い、絞りシャッタアクチュエータ１１２を駆動し、絞り兼用シャッタ１０２の開口径を制御する。ズーム駆動回路１２９はＣＰＵ１２１の制御指令に従い、撮影者のズーム操作指示に応じてズームアクチュエータ１１１を駆動する。

表示部１３１はＬＣＤ（液晶表示装置）等の表示デバイスを有し、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。操作部１３２は操作スイッチとして、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等を備え、操作指示信号をＣＰＵ１２１に出力する。フラッシュメモリ１３３はカメラ本体部に着脱可能な記録媒体であり、撮影済み画像データ等を記録する。

［撮像素子］
本実施例における撮像素子の画素と副画素の配列の概略図を図２に示す。図２の左右方向をｘ方向（水平方向）とし、上下方向をｙ方向（垂直方向）とし、ｘ方向およびｙ方向に直交する方向（紙面に垂直な方向）をｚ方向（光軸方向）と定義する。図２は、本実施例の２次元ＣＭＯＳセンサー（撮像素子）の画素（撮像画素）配列を４列×４行の範囲で、副画素配列を８列×４行の範囲で示したものである。

本実施例では、図２に示した２列×２行の画素群２００は、左上の位置に第１色のＲ（赤）の分光感度を有する画素２００Ｒが左上に、第２色のＧ（緑）の分光感度を有する画素２００Ｇが右上と左下に、第３色のＢ（青）の分光感度を有する画素２００Ｂが右下に配置されている。さらに、各画素は、ｘ方向に２分割（Ｎｘ分割）、ｙ方向に１分割（Ｎｙ分割）された分割数２（分割数Ｎ_ＬＦ＝Ｎｘ×Ｎｙ）の第１副画素２０１と第２副画素２０２（第１副画素から第Ｎ_ＬＦ副画素）の複数の副画素により構成されている。

図２に示す例では、４列×４行の画素（８列×４行の副画素）を面上に多数配置することで、撮像画像および分割数２（分割数Ｎ_ＬＦ）の複数の視点画像を生成するための入力画像を取得可能である。本実施例の撮像素子では、画素の周期Ｐを６μｍ（マイクロメートル）とし、水平（列方向）画素数Ｎ_Ｈ＝６０００列、垂直（行方向）画素数Ｎ_Ｖ＝４０００行、画素数Ｎ＝Ｎ_Ｈ×Ｎ_Ｖ＝２４００万画素とする。また、副画素の列方向周期Ｐ_Ｓを３μｍとし、副画素数Ｎ_Ｓを水平１２０００列×垂直４０００行＝４８００万画素とする。

図２に示す撮像素子における１つの画素２００Ｇを、撮像素子の受光面側（＋ｚ側）から見た場合の平面図を図３（Ａ）に示す。図３（Ａ）の紙面に垂直な方向にｚ軸を設定し、手前側をｚ軸の正方向と定義する。また、ｚ軸に直交する上下方向にｙ軸を設定して上方をｙ軸の正方向とし、ｚ軸およびｙ軸に直交する左右方向にｘ軸を設定して右方をｘ軸の正方向と定義する。図３（Ａ）にてａ−ａ切断線に沿って、−ｙ側から見た場合の断面図を図３（Ｂ）に示す。

図３（Ａ）および、図３（Ｂ）に示すように、画素２００Ｇは、各画素の受光面側（＋ｚ方向）に入射光を集光するためのマイクロレンズ３０５が形成されている。さらに、ｘ方向に２分割（Ｎｘ分割）、ｙ方向に１分割（Ｎｙ分割）された分割数２（分割数Ｎ_ＬＦ）の第１光電変換部３０１と第２光電変換部３０２（第１光電変換部から第Ｎ_ＬＦ光電変換部）の複数の光電変換部が形成されている。第１光電変換部３０１と第２光電変換部３０２（第１光電変換部から第Ｎ_ＬＦ光電変換部）が、それぞれ、第１副画素２０１と第２副画素２０２（第１副画素から第Ｎ_ＬＦ副画素）に対応する。

第１光電変換部３０１と第２光電変換部３０２は、２つの独立したｐｎ接合フォトダイオードであり、ｐ型ウェル層３００と２つに分割されたｎ型層３０１とｎ型層３０２から構成される。必要に応じて、イントリンシック層を挟み、ｐｉｎ構造フォトダイオードとして形成してもよい。各画素には、マイクロレンズ３０５と、第１光電変換部３０１および第２光電変換部３０２との間に、カラーフィルター３０６が形成される。必要に応じて、画素毎や光電変換部毎などで、カラーフィルター３０６の分光透過率を変えても良いし、カラーフィルターを省略しても構わない。

画素２００Ｇに入射した光はマイクロレンズ３０５が集光し、さらにカラーフィルター３０６で分光された後に、第１光電変換部３０１と第２光電変換部３０２がそれぞれ受光する。第１光電変換部３０１と第２光電変換部３０２では、受光量に応じて電子とホール（正孔）が対生成され、空乏層で分離された後、電子が蓄積される。一方、ホールは定電圧源（不図示）に接続されたｐ型ウェル層を通じて撮像素子の外部へ排出される。第１光電変換部３０１と第２光電変換部３０２に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送されて電圧信号に変換される。

図４は、画素構造と瞳分割との対応関係を示す概略的な説明図である。図４には、図３（Ａ）に示した画素構造のａ−ａ線での切断面を、＋ｙ方向から見た場合の断面図と、結像光学系の射出瞳面を、−ｚ方向から見た図を示す。図４では、射出瞳面の座標軸と対応を取るために、断面図にてｘ軸とｙ軸を図３に示す状態とは反転させて示している。

撮像素子は、撮影レンズ（結像光学系）の結像面近傍に配置され、被写体からの光束は、結像光学系の射出瞳４００を通過して、それぞれの画素に入射する。撮像素子が配置された面を撮像面とする。

２×１分割された第１瞳部分領域５０１と第２瞳部分領域５０２（Ｎｘ×Ｎｙ分割された第１瞳部分領域から第Ｎ_ＬＦ瞳部分領域）は、各々、第１光電変換部３０１と第２光電変換部３０２（第１光電変換部から第Ｎ_ＬＦ光電変換部）の受光面と、マイクロレンズによって、概ね、光学的に共役な関係になっており、第１副画素２０１と第２副画素２０２（第１副画素から第Ｎ_ＬＦ副画素）で、それぞれ、受光可能な瞳領域である。第１副画素２０１の第１瞳部分領域５０１は、瞳面上で＋Ｘ側に重心が偏心しており、第２副画素２０２の第２瞳部分領域５０２は、瞳面上で−Ｘ側に重心が偏心している。

また、瞳領域５００は、２×１分割された第１光電変換部３０１と第２光電変換部３０２（Ｎｘ×Ｎｙ分割された第１光電変換部から第Ｎ_ＬＦ光電変換部）を全て合わせた受光面と、マイクロレンズによって、概ね、光学的に共役な関係になっており、第１副画素２０１と第２副画素２０２（第１副画素から第Ｎ_ＬＦ副画素）を全て合わせた画素２００Ｇ全体での受光可能な瞳領域である。

図５に、各画素に形成されたマイクロレンズに光が入射した場合の光強度分布を例示する。図５（Ａ）はマイクロレンズの光軸に平行な断面での光強度分布を示す。図５（Ｂ）はマイクロレンズの焦点位置において、マイクロレンズの光軸に垂直な断面での光強度分布を示す。入射光は、マイクロレンズにより、焦点位置に集光される。しかし、光の波動性による回折の影響のため、集光スポットの直径は回折限界Δより小さくすることはできず、有限の大きさとなる。光電変換部の受光面サイズは約１〜２μｍ程度であり、これに対してマイクロレンズの集光スポットが約１μｍ程度である。そのため、光電変換部の受光面とマイクロレンズを介して共役の関係にある、図４の第１瞳部分領域５０１と第２瞳部分領域５０２は、回折ボケのため、明瞭に瞳分割されず、光の入射角に依存した受光率分布（瞳強度分布）となる。

図６に、光の入射角に依存した受光率分布（瞳強度分布）例を示す。横軸は瞳座標を表し、縦軸は受光率を表す。図６に実線で示すグラフ線Ｌ１は、図４の第１瞳部分領域５０１のＸ軸に沿った瞳強度分布を表す。グラフ線Ｌ１で示す受光率は、左端から急峻に上昇してピークに到達した後で徐々に低下してから変化率が緩やかになって右端へと至る。また、図６に破線で示すグラフ線Ｌ２は、第２瞳部分領域５０２のＸ軸に沿った瞳強度分布を表す。グラフ線Ｌ２で示す受光率は、グラフ線Ｌ１とは反対に、右端から急峻に上昇してピークに到達した後で徐々に低下してから変化率が緩やかになって左端へと至る。図示のように、緩やかに瞳分割されることがわかる。

本実施例の撮像素子と瞳分割との対応関係を示した概略図を図７に示す。第１光電変換部３０１と第２光電変換部３０２（第１光電変換部から第Ｎ_ＬＦ光電変換部）が、それぞれ、第１副画素２０１と第２副画素２０２（第１副画素から第Ｎ_ＬＦ副画素）に対応する。撮像素子の各画素において、２×１分割された第１副画素２０１と第２副画素２０２（Ｎｘ×Ｎｙ分割された第１副画素から第Ｎ_ＬＦ副画素）は、それぞれ、結像光学系の第１瞳部分領域５０１と第２瞳部分領域５０２（第１瞳部分領域から第Ｎ_ＬＦ瞳部分領域）の異なる瞳部分領域を通過した光束を受光する。各副画素で受光された信号から、光強度の空間分布および角度分布を示すＬＦデータ（入力画像）が取得される。

ＬＦデータ（入力画像）から、各画素毎に、２×１分割された第１副画素２０１と第２副画素２０２（Ｎｘ×Ｎｙ分割された第１副画素から第Ｎ_ＬＦ副画素）の信号を全て合成することで、画素数Ｎの解像度を有する撮像画像を生成することができる。

また、ＬＦデータ（入力画像）から、各画素毎に、２×１分割された第１副画素２０１と第２副画素２０２（Ｎｘ×Ｎｙ分割された第１副画素から第Ｎ_ＬＦ副画素）の中から特定の副画素の信号を選択することで、結像光学系の第１瞳部分領域５０１と第２瞳部分領域５０２（第１瞳部分領域から第Ｎ_ＬＦ瞳部分領域）の中の特定の瞳部分領域に対応した視点画像を生成することができる。例えば、各画素毎に、第１副画素２０１の信号を選択することで、結像光学系の第１瞳部分領域５０１に対応した画素数Ｎの解像度を有する第１視点画像を生成できる。他の副画素でも同様である。

以上のように本実施例の撮像素子は、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部が設けられた画素が複数配列された構造を有し、ＬＦデータ（入力画像）を取得することができる。

第１視点画像（第２視点画像）の絞り開口は、第１瞳部分領域５０１（第２瞳部分領域５０２）に対応し、第１視点画像（第２視点画像）の有効絞り値は、撮像画像の絞り値より大きく（暗く）なる。そのため、同一の露光時間で撮影した場合、撮像画像は被写体からの光を相対的に多く受光し、信号量が大きく、第１視点画像（第２視点画像）は被写体からの光を相対的に少なく受光し、信号量が小さく取得される。したがって、被写体輝度が低い領域では、撮像画像の方が、第１視点画像（第２視点画像）より、多い割合で合成し、被写体輝度が高い領域では、撮像画像の方が、第１視点画像（第２視点画像）より、少ない割合で合成することにより、ダイナミックレンジを拡大した出力画像を生成することができる。

［デフォーカス量と像ずれ量の関係］
本実施例の撮像素子により取得されるＬＦデータ（入力画像）から生成される第１視点画像と第２視点画像（第１視点画像から第Ｎ_ＬＦ視点画像）のデフォーカス量と、像ずれ量との関係について、以下に説明する。

図８は、第１視点画像と第２視点画像のデフォーカス量と、第１視点画像と第２視点画像との間の像ずれ量について概略的に示す関係図である。撮像面６００には撮像素子（不図示）が配置され、図４、図７の場合と同様に、結像光学系の射出瞳が、第１瞳部分領域５０１と第２瞳部分領域５０２に２×１分割される。

デフォーカス量ｄは、その大きさ｜ｄ｜が被写体像の結像位置から撮像面６００までの距離を表す。被写体像の結像位置が撮像面６００よりも被写体側にある前ピン状態では、負符号（ｄ＜０）とし、これとは反対の後ピン状態では正符号（ｄ＞０）として向きを定義する。被写体像の結像位置が撮像面（合焦位置）にある合焦状態では、ｄ＝０である。図８に示す被写体８０１の位置は、合焦状態（ｄ＝０）に対応する位置を示しており、被写体８０２の位置は前ピン状態（ｄ＜０）に対応する位置を例示する。以下では、前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）とを併せて、デフォーカス状態（｜ｄ｜＞０）という。

前ピン状態（ｄ＜０）では、被写体８０２からの光束のうち、第１瞳部分領域５０１（または第２瞳部分領域５０２）を通過した光束は、いったん集光した後、光束の重心位置Ｇ１（またはＧ２）を中心として幅Γ１（またはΓ２）に広がる。この場合、撮像面６００上でボケ像となる。ボケ像は、撮像素子に配列された各画素部を構成する第１副画素２０１（または第２副画素２０２）により受光され、第１視点画像（または第２視点画像）が生成される。よって、第１視点画像（または第２視点画像）は、撮像面６００上の重心位置Ｇ１（またはＧ２）にて、幅Γ１（またはΓ２）をもった被写体像（ボケ像）の画像データとしてメモリに記憶される。被写体像の幅Γ１（またはΓ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね比例して増加する。同様に、第１視点画像と第２視点画像との間の被写体像の像ずれ量を「ｐ」と記すと、その大きさ｜ｐ｜はデフォーカス量ｄの大きさ｜ｄ｜の増加に伴って増加する。例えば、像ずれ量ｐは光束の重心位置の差「Ｇ１−Ｇ２」として定義され、その大きさ｜ｐ｜は、｜ｄ｜が増加するのに伴い、概ね比例して増加する。なお、後ピン状態（ｄ＞０）では、第１視点画像と第２視点画像との間の被写体像の像ずれ方向が前ピン状態とは反対となるが、同様の傾向がある。

したがって、本実施例では、第１視点画像と第２視点画像、または、第１視点画像と第２視点画像を加算した撮像画像のデフォーカス量が増減するのに伴い、第１視点画像と第２視点画像との間の像ずれ量の大きさが増加する。

［撮像画像に基づく視点画像の補正処理］
本実施例では、撮像画像に基づいて、第１視点画像と第２視点画像（第１視点画像から第Ｎ_ＬＦ視点画像）に対して、キズ補正やシェーディング補正等の画像処理を行い、出力画像を生成する。

以下、本実施例の撮像素子により取得されたＬＦデータ（入力画像）から、撮影画像に基づいて、第１視点画像と第２視点画像（第１視点画像から第Ｎ_ＬＦ視点画像）に対して補正処理を行い、出力画像を生成する画像処理方法について、図９および図１０の補正処理の流れの概略図を用いて説明する。なお、図９および図１０の処理は、本実施例の画像処理手段である撮像素子１０７、ＣＰＵ１２１、画像処理回路１２５によって実行される。

［撮像画像と視点画像］
はじめに、図９ステップＳ１の前段であるステップＳ０（不図示）において、本実施例の撮像素子により取得されたＬＦデータ（入力画像）から、結像光学系の異なる瞳部分領域を合成した瞳領域に応じた撮像画像と、結像光学系の異なる瞳部分領域毎に、少なくとも１つの視点画像と、を生成する。

ステップＳ０において、まず、本実施例の撮像素子により取得されたＬＦデータ（入力画像）を入力する。もしくは、予め本実施例の撮像素子により撮影され、記録媒体に保存されているＬＦデータ（入力画像）を用いても良い。

ステップＳ０において、次に、結像光学系の異なる瞳部分領域（第１瞳部分領域と第２瞳部分領域）を合成した瞳領域に応じた撮像画像を生成する。ＬＦデータ（入力画像）をＬＦとする。また、ＬＦの各画素信号内での列方向ｉ_Ｓ（１≦ｉ_Ｓ≦Ｎｘ）番目、行方向ｊ_Ｓ（１≦ｊ_Ｓ≦Ｎｙ）番目の副画素信号を、ｋ＝Ｎｘ（ｊ_Ｓ−１）＋ｉ_Ｓ（１≦ｋ≦Ｎ_ＬＦ）として、第ｋ副画素信号とする。結像光学系の異なる瞳部分領域を合成した瞳領域に対応した、列方向にｉ番目、行方向にｊ番目の撮像画像Ｉ（ｊ、ｉ）を、式（１）により生成する。

本実施例では、撮像画像Ｉ（ｊ、ｉ）のＳ／Ｎを良好に保持するために、各副画素信号がアナログ／デジタル変換（Ａ／Ｄ変換）される前に、撮像素子内の静電容量部（ＦＤ）において、式（１）の各副画素信号の合成を行う。必要に応じて、各副画素信号がアナログ／デジタル変換（Ａ／Ｄ変換）される前に、撮像素子内の静電容量部（ＦＤ）に蓄積された電荷を電圧信号に変換する際に、式（１）の各副画素信号の合成を行っても良い。必要に応じて、各副画素信号がアナログ／デジタル変換（Ａ／Ｄ変換）された後に、式（１）の各副画素信号の合成を行っても良い。

本実施例は、Ｎｘ＝２、Ｎｙ＝１、Ｎ_ＬＦ＝２のｘ方向２分割の例であり、図２に例示した画素配列に対応した入力画像（ＬＦデータ）から、各画素毎に、ｘ方向２分割された第１副画素２０１と第２副画素２０２（Ｎｘ×Ｎｙ分割された第１副画素から第Ｎ_ＬＦ副画素）の信号を全て合成し、画素数Ｎ（＝水平画素数Ｎ_Ｈ×垂直画素数Ｎ_Ｖ）の解像度を有するベイヤー配列のＲＧＢ信号である撮像画像を生成する。

本実施例では、視点画像の補正処理において、撮像画像を補正基準の参照画像として用いるために、撮像画像Ｉ（ｊ、ｉ）に対して、ＲＧＢ毎のシェーディング（光量）補正処理、点キズ補正処理などを行う。必要に応じて、その他の処理を行っても良い。

ステップＳ０において、次に、結像光学系の第ｋ瞳部分領域に対応した、列方向ｉ番目、行方向ｊ番目の第ｋ視点画像Ｉ_ｋ（ｊ、ｉ）を、式（２）により生成する。

本実施例は、Ｎｘ＝２、Ｎｙ＝１、Ｎ_ＬＦ＝２のｘ方向２分割で、ｋ＝１の例である。図２に例示した画素配列に対応したＬＦデータ（入力画像）から、各画素毎に、ｘ方向２分割された第１副画素２０１の信号を選択する。よって、結像光学系の第１瞳部分領域５０１と第２瞳部分領域５０２（第１瞳部分領域から第Ｎ_ＬＦ瞳部分領域）の中から、結像光学系の第１瞳部分領域５０１に対応した、画素数Ｎ（＝水平画素数Ｎ_Ｈ×垂直画素数Ｎ_Ｖ）の解像度を有するベイヤー配列のＲＧＢ信号である第１視点画像Ｉ_１（ｊ、ｉ）を生成する。必要に応じて、ｋ＝２を選択し、結像光学系の第２瞳部分領域５０２に対応した第２視点画像Ｉ_２（ｊ、ｉ）を生成しても良い。

以上のように本実施例では、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部が設けられた画素を複数配列した撮像素子により取得される入力画像から、異なる瞳部分領域を合成した瞳領域に応じた撮像画像を生成し、異なる瞳部分領域毎に、少なくとも１つ以上の複数の視点画像を生成する。

本実施例では、本実施例の撮像素子により取得されたＬＦデータ（入力画像）から、ベイヤー配列のＲＧＢ信号である撮像画像Ｉ（ｊ、ｉ）と、ベイヤー配列のＲＧＢ信号である第１視点画像Ｉ_１（ｊ、ｉ）と、を生成し、記録媒体へ保存を行う。これにより、本実施例の撮像画像Ｉ（ｊ、ｉ）に対しては、各画素の光電変換部が分割されていない従来の撮像素子で取得される撮像画像と同様の画像処理を行うことができる。

［視点画像のシェーディング（光量）補正］
図９のステップＳ１において、次に、本実施例の撮像画像Ｉ（ｊ、ｉ）に基づいて、第１視点画像Ｉ_１（第ｋ視点画像Ｉ_ｋ）のＲＧＢ毎のシェーディング（光量）補正を行う。

ここで、第１視点画像と第２視点画像（第１視点画像から第Ｎ_ＬＦ視点画像）の瞳ずれによるシェーディングについて説明する。図１０に、撮像素子の周辺像高における第１光電変換部３０１が受光する第１瞳部分領域５０１、第２光電変換部３０２が受光する第２瞳部分領域５０２、および結像光学系の射出瞳４００の関係を示す。尚、図４と同じ部分は同じ符号を付して示す。第１光電変換部３０１と第２光電変換部３０２（第１光電変換部から第Ｎ_ＬＦ光電変換部）が、それぞれ、第１副画素２０１と第２副画素２０２（第１副画素から第Ｎ_ＬＦ副画素）に対応する。

図１０（ａ）は、結像光学系の射出瞳距離Ｄｌと撮像素子の設定瞳距離Ｄｓが同じ場合である。この場合は、第１瞳部分領域５０１と第２瞳部分領域５０２により、結像光学系の射出瞳４００が、概ね、均等に瞳分割される。これに対して、図１０（ｂ）に示した結像光学系の射出瞳距離Ｄｌが撮像素子の設定瞳距離Ｄｓより短い場合、撮像素子の周辺像高では、結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれを生じ、結像光学系の射出瞳４００が、不均一に瞳分割されてしまう。同様に、図１０（ｃ）に示した結像光学系の射出瞳距離Ｄｌが撮像素子の設定瞳距離Ｄｓより長い場合も、撮像素子の周辺像高で結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれを生じ、結像光学系の射出瞳４００が、不均一に瞳分割されてしまう。周辺像高で瞳分割が不均一になるのに伴い、第１視点画像と第２視点画像の強度も不均一になり、第１視点画像と第２視点画像のいずれか一方の強度が大きくなり、他方の強度が小さくなるシェーディングが、ＲＧＢ毎に生じる。

本実施例では、良好な画質品位の各視点画像を生成するために、図９のステップＳ１において、撮像画像Ｉ（ｊ、ｉ）を基準の参照画像として、第１視点画像Ｉ_１（第ｋ視点画像Ｉ_ｋ）のＲＧＢ毎のシェーディング（光量）補正を行う。

図９のステップＳ１において、まず、撮像画像Ｉ（ｊ、ｉ）と第１視点画像Ｉ_１（ｊ、ｉ）のいずれもが、非飽和かつ非欠陥である有効画素Ｖ_１（ｊ、ｉ）を検出する。撮像画像Ｉ（ｊ、ｉ）と第１視点画像Ｉ_１（ｊ、ｉ）のいずれもが、非飽和かつ非欠陥である有効画素は、Ｖ_１（ｊ、ｉ）＝１とする。一方、撮像画像Ｉ（ｊ、ｉ）と第１視点画像Ｉ_１（ｊ、ｉ）のいずれかが、飽和もしくは欠陥と検出された非有効画素は、Ｖ_１（ｊ、ｉ）＝０とする。第ｋ視点画像Ｉ_ｋのシェーディング（光量）補正の場合は、同様に、撮像画像Ｉ（ｊ、ｉ）と第ｋ視点画像Ｉ_ｋ（ｊ、ｉ）のいずれもが、非飽和かつ非欠陥である有効画素をＶ_ｋ（ｊ、ｉ）とする。

撮像信号の飽和判定閾値をＩＳとして、撮像画像Ｉ（ｊ、ｉ）＞ＩＳの場合、撮像画像Ｉ（ｊ、ｉ）を飽和と判定し、撮像画像Ｉ（ｊ、ｉ）≦ＩＳの場合、撮像画像Ｉ（ｊ、ｉ）を非飽和と判定する。同様に、第ｋ視点画像の飽和判定閾値をＩＳ_ｋとして、第ｋ視点画像Ｉ_ｋ（ｊ、ｉ）＞ＩＳ_ｋの場合、第ｋ視点画像Ｉ_ｋ（ｊ、ｉ）を飽和と判定し、第ｋ視点画像Ｉ_ｋ（ｊ、ｉ）≦ＩＳ_ｋの場合、第ｋ視点画像Ｉ_ｋ（ｊ、ｉ）を非飽和と判定する。第ｋ視点画像の飽和判定閾値ＩＳ_ｋは、撮像信号の飽和判定閾値ＩＳ以下（ＩＳ_ｋ≦ＩＳ）である。

本実施例の撮像素子では、各画素の第１光電変換部３０１と第２光電変換部３０２（第１光電変換部から第Ｎ_ＬＦ光電変換部）のいずれかの光電変換部にて蓄積電荷が飽和した場合に、画素外ではなく、同一画素内の他の光電変換部（副画素）に漏れこむ（電荷クロストーク）ように構成される。いずれかの副画素（例：第２副画素）が飽和し、副画素間（例：、第２副画素から第１副画素）の電荷クロストークが生じると、電荷の溢れ元の副画素（例：第２副画素）と、電荷の漏れこみ先の副画素（例：第１副画素）のいずれも、入射光量に対する蓄積電荷量の線形関係が保たれず、シェーディングの正しい検出に必要な情報が含まれなくなる。

高ＩＳＯに比べて、低ＩＳＯの方が、光電変換部に蓄積される電荷量が相対的に多く、電荷クロストークが相対的に生じやすい。したがって、本実施例では、飽和画素の検出精度を向上するために、低ＩＳＯでの撮像信号の飽和判定閾値ＩＳが、高ＩＳＯでの撮像信号の飽和判定閾値ＩＳ以下であることが望ましい。また、低ＩＳＯでの第ｋ視点画像の飽和判定閾値ＩＳ_ｋが、高ＩＳＯでの第ｋ視点画像の飽和判定閾値ＩＳ_ｋ以下であることが望ましい。

さらに、結像光学系の射出瞳距離が、第１の所定瞳距離より短く（もしくは、第２の所定瞳距離より長く）、結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれによるシェーディングを生じ、周辺像高で、第１視点画像と第２視点画像のいずれか一方の強度が大きくなり、他方の強度が小さくなる場合に、電荷クロストークが生じやすい。したがって、本実施例では、飽和画素の検出精度を向上するために、結像光学系の射出瞳距離が、第１の所定瞳距離より短い、もしくは、第２の所定瞳距離より長い場合の撮像信号の飽和判定閾値ＩＳが、結像光学系の射出瞳距離が、第１の所定瞳距離以上、かつ、第２の所定瞳距離以下の場合の撮像信号の飽和判定閾値ＩＳ以下であることが望ましい。また、結像光学系の射出瞳距離が、第１の所定瞳距離より短い、もしくは、第２の所定瞳距離より長い場合の第ｋ視点画像の飽和判定閾値ＩＳ_ｋが、結像光学系の射出瞳距離が、第１の所定瞳距離以上、かつ、第２の所定瞳距離以下の場合の第ｋ視点画像の飽和判定閾値ＩＳ_ｋ以下であることが望ましい。

整数ｊ_２（１≦ｊ_２≦Ｎ_Ｖ／２）、ｉ_２（１≦ｉ_２≦Ｎ_Ｈ／２）とする。図２に例示したベイヤー配列の撮像画像Ｉを、Ｒ、Ｇｒ、Ｇｂ、Ｂ毎に、Ｒの撮像画像をＲＩ（２ｊ_２−１、２ｉ_２−１）＝Ｉ（２ｊ_２−１、２ｉ_２−１）、Ｇｒの撮像画像をＧｒＩ（２ｊ_２−１、２ｉ_２）＝Ｉ（２ｊ_２−１、２ｉ_２）、Ｇｂの撮像画像をＧｂＩ（２ｊ_２、２ｉ_２−１）＝Ｉ（２ｊ_２、２ｉ_２−１）、Ｂの撮像画像をＢＩ（２ｊ_２、２ｉ_２）＝Ｉ（２ｊ_２、２ｉ_２）とする。

同様に、図２に例示したベイヤー配列の第ｋ視点画像Ｉ_ｋを、Ｒ、Ｇｒ、Ｇｂ、Ｂ毎に、Ｒの撮像画像をＲＩ_ｋ（２ｊ_２−１、２ｉ_２−１）＝Ｉ_ｋ（２ｊ_２−１、２ｉ_２−１）、Ｇｒの撮像画像をＧｒＩ_ｋ（２ｊ_２−１、２ｉ_２）＝Ｉ_ｋ（２ｊ_２−１、２ｉ_２）、Ｇｂの撮像画像をＧｂＩ_ｋ（２ｊ_２、２ｉ_２−１）＝Ｉ_ｋ（２ｊ_２、２ｉ_２−１）、Ｂの撮像画像をＢＩ_ｋ（２ｊ_２、２ｉ_２）＝Ｉ_ｋ（２ｊ_２、２ｉ_２）とする。

図９のステップＳ１において、次に、撮像画像ＲＩ（２ｊ_２−１、２ｉ_２−１）、ＧｒＩ（２ｊ_２−１、２ｉ_２）、ＧｂＩ（２ｊ_２、２ｉ_２−１）、ＢＩ（２ｊ_２、２ｉ_２）を、式（３Ａ）から式（３Ｄ）により、瞳分割方向（ｘ方向）と直交する方向（ｙ方向）に射影処理を行い、撮像画像の射影信号ＲＰ（２ｉ_２−１）、ＧｒＰ（２ｉ_２）、ＧｂＰ（２ｉ_２−１）、ＢＰ（２ｉ_２）を生成する。飽和信号値や欠陥信号値には、撮像画像のＲＧＢ毎のシェーディングを正しく検出するための情報が含まれていない。そのため、撮像画像と有効画素Ｖ_ｋとの積を取り、飽和信号値や欠陥信号値を除外して、射影処理を行い（式（３Ａ）上段から式（３Ｄ）上段の分子）、射影処理に用いられた有効画素数で規格化（式（３Ａ）上段から式（３Ｄ）上段の分母）を行う。射影処理に用いられた有効画素数が０の場合、式（３Ａ）下段から式（３Ｄ）下段により、撮像画像の射影信号を０に設定する。さらに、撮像画像の射影信号が、ノイズの影響などで負信号となった場合、撮像画像の射影信号を０に設定する。同様に、第ｋ視点画像ＲＩ_ｋ（２ｊ_２−１、２ｉ_２−１）、ＧｒＩ_ｋ（２ｊ_２−１、２ｉ_２）、ＧｂＩ_ｋ（２ｊ_２、２ｉ_２−１）、ＢＩ_ｋ（２ｊ_２、２ｉ_２）を、式（３Ｅ）から式（３Ｈ）により、瞳分割方向（ｘ方向）と直交する方向（ｙ方向）に射影処理を行い、第ｋ視点画像の射影信号ＲＰ_ｋ（２ｉ_２−１）、ＧｒＰ_ｋ（２ｉ_２）、ＧｂＰ_ｋ（２ｉ_２−１）、ＢＰ_ｋ（２ｉ_２）を生成する。

（３Ａ）

（３Ｂ）

（３Ｃ）

（３Ｄ）

（３Ｅ）

（３Ｆ）

（３Ｇ）

（３Ｈ）

式（３Ａ）から式（３Ｈ）の射影処理後、平滑化のために、撮影画像の射影信号ＲＰ（２ｉ_２−１）、ＧｒＰ（２ｉ_２）、ＧｂＰ（２ｉ_２−１）、ＢＰ（２ｉ_２）と、第ｋ視点画像の射影信号ＲＰ_ｋ（２ｉ_２−１）、ＧｒＰ_ｋ（２ｉ_２）、ＧｂＰ_ｋ（２ｉ_２−１）、ＢＰ_ｋ（２ｉ_２）に、ローパスフィルター処理を行う。必要に応じて、省略しても良い。

図１１（上段）に、撮影画像の射影信号ＲＰ（Ｒ）、ＧｒＰ（Ｇ）、ＧｂＰ（Ｇ）、ＢＰ（Ｂ）の例を、図１１（中段）に、第１視点画像の射影信号ＲＰ_１（Ｒ）、ＧｒＰ_１（Ｇ）、ＧｂＰ_１（Ｇ）、ＢＰ_１（Ｂ）の例を示す。各射影信号には、被写体に依存した複数の山谷の起伏が生じる。第１視点画像Ｉ_１（第ｋ視点画像Ｉ_ｋ）のシェーディング（光量）補正を、高精度に行うためには、瞳ずれにより生じている第１視点画像Ｉ_１（第ｋ視点画像Ｉ_ｋ）のＲＧＢ毎のシェーディング成分と、被写体が保有しているＲＧＢ毎の信号成分と、を分離する必要がある。

ステップＳ１において、次に、式（４Ａ）から式（４Ｄ）により、撮像画像を基準とした相対的な第ｋ視点画像Ｉ_ｋのＲＧＢ毎のシェーディング信号ＲＳ_ｋ（２ｉ_２−１）、ＧｒＳ_ｋ（２ｉ_２）、ＧｂＳ_ｋ（２ｉ_２−１）、ＢＳ_ｋ（２ｉ_２）を算出する。

画素の受光量は、副画素の受光量より大きく、さらに、シェーディング成分の算出には、副画素の受光量が０より大きい必要がある。そのため、条件式ＲＰ（２ｉ_２−１）＞ＲＰ_ｋ（２ｉ_２−１）＞０を満たす場合、式（４Ａ）により、Ｒの第ｋ視点画像の射影信号ＲＰ_ｋ（２ｉ_２−１）と、Ｒの撮像画像の射影信号ＲＰ（２ｉ_２−１）との比を取得し、規格化のため瞳分割数Ｎ_ＬＦを乗算して、第ｋ視点画像Ｉ_ｋのＲのシェーディング信号ＲＳ_ｋ（２ｉ_２−１）を生成する。これにより、被写体が保有しているＲの信号成分を相殺し、第ｋ視点画像Ｉ_ｋのＲのシェーディング成分を分離することができる。一方、条件式ＲＰ（２ｉ_２−１）＞ＲＰ_ｋ（２ｉ_２−１）＞０を満たさない場合、第ｋ視点画像Ｉ_ｋのＲのシェーディング信号ＲＳ_ｋ（２ｉ_２−１）を０に設定する。

同様に、条件式ＧｒＰ（２ｉ_２）＞ＧｒＰ_ｋ（２ｉ_２）＞０を満たす場合、式（４Ｂ）により、Ｇｒの第ｋ視点画像の射影信号ＧｒＰ_ｋ（２ｉ_２）と、Ｇｒの撮像画像の射影信号ＧｒＰ（２ｉ_２）との比を取得し、規格化のため瞳分割数Ｎ_ＬＦを乗算して、第ｋ視点画像Ｉ_ｋのＧｒのシェーディング信号ＧｒＳ_ｋ（２ｉ_２）を生成する。これにより、被写体が保有しているＧｒの信号成分を相殺し、第ｋ視点画像Ｉ_ｋのＧｒのシェーディング成分を分離することができる。一方、条件式ＧｒＰ（２ｉ_２）＞ＧｒＰ_ｋ（２ｉ_２）＞０を満たさない場合、第ｋ視点画像Ｉ_ｋのＧｒのシェーディング信号ＧｒＳ_ｋ（２ｉ_２）を０に設定する。

同様に、条件式ＧｂＰ（２ｉ_２−１）＞ＧｂＰ_ｋ（２ｉ_２−１）＞０を満たす場合、式（４Ｃ）により、Ｇｂの第ｋ視点画像の射影信号ＧｂＰ_ｋ（２ｉ_２−１）と、Ｇｂの撮像画像の射影信号ＧｂＰ（２ｉ_２−１）との比を取得し、規格化のため瞳分割数Ｎ_ＬＦを乗算して、第ｋ視点画像Ｉ_ｋのＧｂのシェーディング信号ＧｂＳ_ｋ（２ｉ_２−１）を生成する。これにより、被写体が保有しているＧｂの信号成分を相殺し、第ｋ視点画像Ｉ_ｋのＧｂのシェーディング成分を分離することができる。一方、条件式ＧｂＰ（２ｉ_２−１）＞ＧｂＰ_ｋ（２ｉ_２−１）＞０を満たさない場合、第ｋ視点画像Ｉ_ｋのＧｂのシェーディング信号ＧｂＳ_ｋ（２ｉ_２−１）を０に設定する。

同様に、条件式ＢＰ（２ｉ_２）＞ＢＰ_ｋ（２ｉ_２）＞０を満たす場合、式（４Ｄ）により、Ｂの第ｋ視点画像の射影信号ＢＰ_ｋ（２ｉ_２）と、Ｂの撮像画像の射影信号ＢＰ（２ｉ_２）との比を取得し、規格化のため瞳分割数Ｎ_ＬＦを乗算して、第ｋ視点画像Ｉ_ｋのＢのシェーディング信号ＢＳ_ｋ（２ｉ_２）を生成する。これにより、被写体が保有しているＢの信号成分を相殺し、第ｋ視点画像Ｉ_ｋのＢのシェーディング成分を分離することができる。一方、条件式ＢＰ（２ｉ_２）＞ＢＰ_ｋ（２ｉ_２）＞０を満たさない場合、第ｋ視点画像Ｉ_ｋのＢのシェーディング信号ＢＳ_ｋ（２ｉ_２）を０に設定する。

（４Ａ）

（４Ｂ）

（４Ｃ）

（４Ｄ）

シェーディング補正精度を高精度に行うために、ＲＳ_ｋ（２ｉ_２−１）＞０、ＧｒＳ_ｋ（２ｉ_２）＞０、ＧｂＳ_ｋ（２ｉ_２−１）＞０、ＢＳ_ｋ（２ｉ_２）＞０を満たす有効なシェーディング信号数が所定値以上である場合に、シェーディング補正を行うことが望ましい。

ステップＳ１において、次に、式（５Ａ）から式（５Ｄ）により、第ｋ視点画像Ｉ_ｋのＲＧＢ毎のシェーディング関数ＲＳＦ_ｋ（２ｉ_２−１）、ＧｒＳＦ_ｋ（２ｉ_２）、ＧｂＳＦ_ｋ（２ｉ_２−１）、ＢＳＦ_ｋ（２ｉ_２）を、瞳分割方向（ｘ方向）の位置変数に対する滑らかなＮ_ＳＦ次の多項式関数とする。また、式（４Ａ）から式（４Ｄ）により生成され、ＲＳ_ｋ（２ｉ_２−１）＞０、ＧｒＳ_ｋ（２ｉ_２）＞０、ＧｂＳ_ｋ（２ｉ_２−１）＞０、ＢＳ_ｋ（２ｉ_２）＞０を満たす有効なシェーディング信号をデータ点とする。

これらデータ点を用いて、最小二乗法によるパラメーターフィッティングを行い、式（５Ａ）から式（５Ｄ）の各係数ＲＳＣ_ｋ（μ）、ＧｒＳＣ_ｋ（μ）、ＧｂＳＣ_ｋ（μ）、ＢＳＣ_ｋ（μ）を算出する。以上により、撮像画像を基準とした相対的な第ｋ視点画像Ｉ_ｋのＲＧＢ毎のシェーディング関数ＲＳＦ_ｋ（２ｉ_２−１）、ＧｒＳＦ_ｋ（２ｉ_２）、ＧｂＳＦ_ｋ（２ｉ_２−１）、ＢＳＦ_ｋ（２ｉ_２）を生成する。

（５Ａ）

（５Ｂ）

（５Ｃ）

（５Ｄ）

シェーディング関数ＲＳＦ_ｋ、ＧｒＳＦ_ｋ、ＧｂＳＦ_ｋ、ＢＳＦ_ｋを、瞳分割方向（ｘ方向）に反転した関数を、それぞれ、Ｒ［ＲＳＦ_ｋ］、Ｒ［ＧｒＳＦ_ｋ］、Ｒ［ＧｂＳＦ_ｋ］、Ｒ［ＢＳＦ_ｋ］とする。所定許容値をε（０＜ε＜１）として、１−ε≦ＲＳＦ_ｋ＋Ｒ［ＲＳＦ_ｋ］≦１＋ε、１−ε≦ＧｒＳＦ_ｋ＋Ｒ［ＧｒＳＦ_ｋ］≦１＋ε、１−ε≦ＧｂＳＦ_ｋ＋Ｒ［ＧｂＳＦ_ｋ］≦１＋ε、１−ε≦ＢＳＦ_ｋ＋Ｒ［ＢＳＦ_ｋ］≦１＋εの各条件式が、各位置で、全て満たされる場合、検出されたシェーディング関数は適正であると判定し、式（６Ａ）から式（６Ｄ）の処理を行う。それ以外の場合、検出されたシェーディング関数は不適正であると判定し、ＲＳＦ_ｋ≡１、ＧｒＳＦ_ｋ≡１、ＧｂＳＦ_ｋ≡１、ＢＳＦ_ｋ≡１とし、必要に応じて、例外処理を行う。

図１１（下段）に、撮像画像を基準とした相対的な第１視点画像Ｉ_１のＲＧＢ毎のシェーディング関数ＲＳＦ_１（Ｒ）、ＧｒＳＦ_１（Ｇ）、ＧｂＳＦ_１（Ｇ）、ＢＳＦ_１（Ｂ）の例を示す。図１１（中段）の第１視点画像の射影信号と、図１１（上段）の撮影画像の射影信号では、被写体に依存した山谷の起伏が存在する。これに対して、第１視点画像の射影信号と撮影画像の射影信号の比を得ることにより、被写体に依存した山谷の起伏（被写体が保有しているＲＧＢ毎の信号値）を相殺し、滑らかな第１視点画像Ｉ_１のＲＧＢ毎のシェーディング関数を分離して生成することができる。

本実施例では、シェーディング関数として、多項式関数を用いたが、これに限定されることはなく、必要に応じて、シェーディング形状に合わせて、より一般的な関数を用いても良い。

図９のステップＳ１において、次に、第ｋ視点画像Ｉ_ｋ（ｊ、ｉ）に対して、式（６Ａ）から式（６Ｄ）により、ＲＧＢ毎のシェーディング関数を用いて、シェーディング（光量）補正処理を行い、シェーディング補正後の第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋ（ｊ、ｉ）を生成する。ここで、ベイヤー配列の第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋを、Ｒ、Ｇｒ、Ｇｂ、Ｂ毎に、Ｒの第ｋ視点（第１修正）画像をＲＭ_１Ｉ_ｋ（２ｊ_２−１、２ｉ_２−１）＝Ｍ_１Ｉ_ｋ（２ｊ_２−１、２ｉ_２−１）、Ｇｒの第ｋ視点（第１修正）画像をＧｒＭ_１Ｉ_ｋ（２ｊ_２−１、２ｉ_２）＝Ｍ_１Ｉ_ｋ（２ｊ_２−１、２ｉ_２）、Ｇｂの第ｋ視点（第１修正）画像をＧｂＭ_１Ｉ_ｋ（２ｊ_２、２ｉ_２−１）＝Ｍ_１Ｉ_ｋ（２ｊ_２、２ｉ_２−１）、Ｂの第ｋ視点（第１修正）画像をＢＭ_１Ｉ_ｋ（２ｊ_２、２ｉ_２）＝Ｍ_１Ｉ_ｋ（２ｊ_２、２ｉ_２）とする。必要に応じて、シェーディング補正後の第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋ（ｊ、ｉ）を出力画像としても良い。

（６Ａ）

（６Ｂ）

（６Ｃ）

（６Ｄ）

本実施例では、撮像画像と視点画像に基づき、撮像画像の被写体による信号変化と、視点画像の被写体による信号変化と、を相殺して、ＲＧＢ毎のシェーディング関数を算出し、シェーディング関数の逆数によりＲＧＢ毎のシェーディング補正量（光量補正量）を算出する。算出したシェーディング補正量（光量補正量）に基づき、視点画像のシェーディング（光量）補正処理を行う。

以下、図１２から図１４を参照して、本実施例の図９のステップＳ１に示した第１視点画像Ｉ_１（ｊ、ｉ）のＲＧＢ毎のシェーディング（光量）補正処理の効果を説明する。図１２は、本実施例の撮像画像Ｉ（デモザイキング後）の例を示す。画質品位が良好な撮像画像の例である。図１３は、本実施例のシェーディング補正前の第１視点画像Ｉ_１（デモザイキング後）の例を示す。結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれにより、ＲＧＢ毎のシェーディングが生じ、そのため、第１視点画像Ｉ_１（ｊ、ｉ）の右側において、輝度の低下とＲＧＢ比の変調が生じている例である。図１４は、本実施例のシェーディング補正後の第１視点（第１修正）画像Ｍ_１Ｉ_１（デモザイキング後）の例を示す。撮像画像に基づいたＲＧＢ毎のシェーディング補正により、輝度の低下とＲＧＢ比の変調が修正され、撮像画像と同様に、画質品位が良好なシェーディング補正後の第１視点（第１修正）画像Ｍ_１Ｉ_１（ｊ、ｉ）が生成される。

本実施例では、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部が設けられた画素を複数配列した撮像素子により取得される入力画像から、異なる瞳部分領域を合成した瞳領域に応じた撮像画像を生成し、異なる瞳部分領域毎に、複数の視点画像を生成し、撮像画像と視点画像に基づき、撮像画像の被写体による信号変化と、視点画像の被写体による信号変化と、を相殺して、視点画像の光量補正量を算出し、光量補正量に基づき視点画像の光量補正処理を行い、出力画像を生成する。

本実施例では、撮像画像と視点画像のいずれもが有効な信号である有効画素を検出し、撮像画像と視点画像の有効画素の信号に基づいて、視点画像の光量補正処理を行う。本実施例では、有効画素は、非飽和かつ非欠陥である。

本実施例では、撮像画像に基づいて視点画像の各色（ＲＧＢ）毎の光量（シェーディング）補正処理を行う。本実施例では、撮像画像の射影信号と、視点画像の射影信号と、に基づいて視点画像の光量補正処理を行う。

したがって、本実施例では、これらの構成により、良好な画質品位の視点画像を生成することができる。

［視点画像の欠陥補正］
図９のステップＳ２において、本実施例の撮像画像Ｉに基づいて、シェーディング補正後の第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋの欠陥補正を行う。本実施例は、ｋ＝１の例である。

本実施例では、撮像素子の回路構成や駆動方式により、転送ゲートの短絡などで、撮像画像Ｉは正常であるが、一方、第ｋ視点画像Ｉ_ｋ（第１視点画像Ｉ_１）のごく一部分に欠陥信号が生じ、点欠陥や線欠陥となる場合がある。必要に応じて、量産工程等で検査された点欠陥情報や線欠陥情報を、画像処理回路１２５等に事前に記録し、記録された点欠陥情報や線欠陥情報を用いて第ｋ視点画像Ｉ_ｋ（第１視点画像Ｉ_１）の欠陥補正処理を行っても良い。また、必要に応じて、第ｋ視点画像Ｉ_ｋ（第１視点画像Ｉ_１）をリアルタイムに検査して点欠陥判定や線欠陥判定を行っても良い。

第ｋ視点画像Ｉ_ｋの奇数行２ｊ_Ｄ−１、もしくは、偶数行２ｊ_Ｄが、水平方向（ｘ方向）のライン状の線欠陥であると判定された場合で、一方、撮像画像Ｉの奇数行２ｊ_Ｄ−１、もしくは、偶数行２ｊ_Ｄは、線欠陥と判定されていない場合を例として、図９のステップＳ２の欠陥補正について説明を行う。

本実施例のステップＳ２の欠陥補正では、正常な撮像画像Ｉを参照画像として、撮像画像Ｉに基づいて、第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋの欠陥補正を行う。本実施例の欠陥補正では、欠陥と判定されていない位置の第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋの信号値と、欠陥と判定されていない位置の撮像画像Ｉの信号値と、を比較して欠陥補正を行う。この比較を行う際に、瞳ずれにより生じている第ｋ視点画像Ｉ_ｋのＲＧＢ毎のシェーディング成分の影響を取り除き、第ｋ視点画像Ｉ_ｋと撮像画像Ｉとで、被写体が保有しているＲＧＢ毎の信号成分を、正確に比較することが、高精度な欠陥補正のために必要である。そのため、予め、ステップＳ１において、第ｋ視点画像のＲＧＢ毎のシェーディング（光量）補正を行い、第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋを生成して、撮像画像Ｉと同等のシェーディング状態とし、シェーディング成分の影響を取り除く。その後、ステップＳ２において、シェーディング補正された第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋに対して、撮像画像Ｉに基づき、高精度な欠陥補正を行う。

図９のステップＳ２において、シェーディング補正後の第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋ（ｊ、ｉ）のごく一部の欠陥と判定された信号に対して、撮像画像Ｉの正常信号と、第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋの正常信号とから、欠陥補正処理を行い、欠陥補正後の第ｋ視点（第２修正）画像Ｍ_２Ｉ_ｋ（ｊ、ｉ）を生成する。ここで、ベイヤー配列の第ｋ視点（第２修正）画像Ｍ_２Ｉ_ｋを、Ｒ、Ｇｒ、Ｇｂ、Ｂ毎に、Ｒの第ｋ視点（第２修正）画像をＲＭ_２Ｉ_ｋ（２ｊ_２−１、２ｉ_２−１）＝Ｍ_２Ｉ_ｋ（２ｊ_２−１、２ｉ_２−１）、Ｇｒの第ｋ視点（第２修正）画像をＧｒＭ_２Ｉ_ｋ（２ｊ_２−１、２ｉ_２）＝Ｍ_２Ｉ_ｋ（２ｊ_２−１、２ｉ_２）、Ｇｂの第ｋ視点（第２修正）画像をＧｂＭ_２Ｉ_ｋ（２ｊ_２、２ｉ_２−１）＝Ｍ_２Ｉ_ｋ（２ｊ_２、２ｉ_２−１）、Ｂの第ｋ視点（第２修正）画像をＢＭ_２Ｉ_ｋ（２ｊ_２、２ｉ_２）＝Ｍ_２Ｉ_ｋ（２ｊ_２、２ｉ_２）とする。

ステップＳ２において、第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋのＲの第１位置（２ｊ_Ｄ−１、２ｉ_Ｄ−１）が欠陥と判定された場合、第１位置の撮像画像ＲＩ（２ｊ_Ｄ−１、２ｉ_Ｄ−１）と、欠陥と判定されていないＲの第２位置の第ｋ視点（第１修正）画像ＲＭ_１Ｉ_ｋと、第２位置の撮像画像ＲＩと、から、式（７Ａ）により、欠陥補正処理を行い、第１位置における欠陥補正後の第ｋ視点（第２修正）画像ＲＭ_２Ｉ_ｋ（２ｊ_Ｄ−１、２ｉ_Ｄ−１）を生成する。

第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋのＧｒの第１位置（２ｊ_Ｄ−１、２ｉ_Ｄ）が欠陥と判定された場合、第１位置の撮像画像ＧｒＩ（２ｊ_Ｄ−１、２ｉ_Ｄ）と、欠陥と判定されていないＧｂの第２位置の第ｋ視点（第１修正）画像ＧｂＭ_１Ｉ_ｋと、第２位置の撮像画像ＧｂＩと、から、式（７Ｂ）により、欠陥補正処理を行い、第１位置における欠陥補正後の第ｋ視点（第２修正）画像ＧｒＭ_２Ｉ_ｋ（２ｊ_Ｄ−１、２ｉ_Ｄ）を生成する。

第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋのＧｂの第１位置（２ｊ_Ｄ、２ｉ_Ｄ−１）が欠陥と判定された場合、第１位置の撮像画像ＧｂＩ（２ｊ_Ｄ、２ｉ_Ｄ−１）と、欠陥と判定されていないＧｒの第２位置の第ｋ視点（第１修正）画像ＧｒＭ_１Ｉ_ｋと、第２位置の撮像画像ＧｒＩと、から、式（７Ｃ）により、欠陥補正処理を行い、第１位置における欠陥補正後の第ｋ視点（第２修正）画像ＧｂＭ_２Ｉ_ｋ（２ｊ_Ｄ、２ｉ_Ｄ−１）を生成する。

第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋのＢの第１位置（２ｊ_Ｄ、２ｉ_Ｄ）が欠陥と判定された場合、第１位置の撮像画像ＢＩ（２ｊ_Ｄ、２ｉ_Ｄ）と、欠陥と判定されていないＢの第２位置の第ｋ視点（第１修正）画像ＢＭ_１Ｉ_ｋと、第２位置の撮像画像ＢＩと、から、式（７Ｄ）により、欠陥補正処理を行い、第１位置における欠陥補正後の第ｋ視点（第２修正）画像ＢＭ_２Ｉ_ｋ（２ｊ_Ｄ、２ｉ_Ｄ）を生成する。

（７Ａ）

（７Ｂ）

（７Ｃ）

（７Ｄ）

上記以外の欠陥と判定されていない大部分の位置（ｊ、ｉ）においては、第ｋ視点（第２修正）画像Ｍ_２Ｉ_ｋ（ｊ、ｉ）は、第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋ（ｊ、ｉ）と同じ信号値で、Ｍ_２Ｉ_ｋ（ｊ、ｉ）＝Ｍ_１Ｉ_ｋ（ｊ、ｉ）である。

必要に応じて、欠陥補正後の第ｋ視点（第２修正）画像Ｍ_２Ｉ_ｋ（ｊ、ｉ）を出力画像としても良い。

以下、図１５、図１６を参照して、本実施例の図９のステップＳ２に示した第１視点（第１修正）画像Ｍ_１Ｉ_１の正常な撮像画像Ｉに基づく欠陥補正の効果を説明する。図１５は、本実施例の欠陥補正前の第１視点（第１修正）画像Ｍ_１Ｉ_１（シェーディング補正後、デモザイキング後）の例を示す。第１視点（第１修正）画像Ｍ_１Ｉ_１（ｊ、ｉ）の中央部に、水平方向（ｘ方向）のライン状の線欠陥が生じている例である。図１６は、本実施例の欠陥補正後の第１視点（第２修正）画像Ｍ_２Ｉ_１（シェーディング補正後、デモザイキング後）の例を示す。正常な撮像画像Ｉに基づいた欠陥補正により、水平方向（ｘ方向）のライン状の線欠陥が修正され、撮像画像と同様に、画質品位が良好な欠陥補正後の第１視点（第２修正）画像Ｍ_２Ｉ_１（ｊ、ｉ）が生成される。

本実施例では、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部が設けられた画素を複数配列した撮像素子により取得される入力画像から、異なる瞳部分領域を合成した瞳領域に応じた撮像画像を生成し、異なる瞳部分領域毎に、複数の視点画像を生成し、撮像画像に基づいて視点画像を補正する画像処理を行い、出力画像を生成する。本実施例では、撮像画像に基づいて視点画像に含まれる欠陥を低減するように補正する画像処理を行う。本実施例では、欠陥と判定された第１位置における視点画像の信号値を、第１位置における撮像画像の信号値を用いて補正する画像処理を行う。本実施例では、欠陥と判定された第１位置における撮像画像の信号値と、欠陥と判定されていない第２位置における視点画像の信号値と、第２位置における撮像画像の信号値と、に基づいて、第１位置における視点画像の信号値を補正する画像処理を行う。

本実施例では、撮像画像に基づいて視点画像の光量補正処理を行った後、撮像画像に基づいて視点画像に含まれる欠陥を低減するように補正処理を行う画像処理を行う。

図９のステップＳ３において、撮像画像Ｉ（ｊ、ｉ）と、第ｋ視点（第２修正）画像Ｍ２Ｉｋ（ｊ、ｉ）に対して、飽和信号処理を行う。本実施例は、ｋ＝１、ＮＬＦ＝２の例である。

ステップＳ３において、まず、撮像画像Ｉ（ｊ、ｉ）に対して、撮像信号の最大値をＩｍａｘとして、式（８）により、飽和信号処理を行い、修正撮像画像ＭＩ（ｊ、ｉ）を生成する。ここで、撮像信号の最大値Ｉｍａｘと、撮像信号の飽和判定閾値ＩＳは、Ｉｍａｘ≧ＩＳを満たす。

本実施例では、撮像素子の駆動方式やＡ／Ｄ変換の回路構成により、第ｋ視点（第２修正）画像Ｍ_２Ｉ_ｋ（ｊ、ｉ）の飽和時の最大信号値Ｉ_ｋｍａｘは、撮像画像Ｉ（ｊ、ｉ）の飽和時の最大信号値Ｉｍａｘに対して、Ｉｍａｘ／２より大きく、Ｉｍａｘ以下（Ｉｍａｘ／２＜Ｉ_ｋｍａｘ≦Ｉｍａｘ）の値である。本実施例では、第ｋ視点（第２修正）画像Ｍ_２Ｉ_ｋ（ｊ、ｉ）の飽和時の最大信号値Ｉ_ｋｍａｘは、撮像画像Ｉ（ｊ、ｉ）の飽和時の最大信号値Ｉｍａｘと同一（Ｉ_ｋｍａｘ＝Ｉｍａｘ）の例である。

図９のステップＳ３において、最後に、第ｋ視点（第２修正）画像Ｍ_２Ｉ_ｋ（ｊ、ｉ）に対して、式（９）により、飽和信号処理を行い、出力画像である第ｋ修正視点画像ＭＩ_ｋ（ｊ、ｉ）を生成する。ここで、第ｋ修正視点画像の最大値Ｉ_ｋｍａｘと、第ｋ修正視点画像の飽和判定閾値ＩＳ_ｋは、Ｉ_ｋｍａｘ≧ＩＳ_ｋを満たす。

第１修正視点画像（第２修正視点画像）の絞り開口は、第１瞳部分領域５０１（第２瞳部分領域５０２）に対応し、第１修正視点画像（第２修正視点画像）の有効絞り値は、撮像画像の絞り値より大きく（暗く）なる。そのため、同一の露光時間で撮影した場合、撮像画像は被写体からの光を相対的に多く受光し、信号量が大きく、第１修正視点画像（第２修正視点画像）は被写体からの光を相対的に少なく受光し、信号量が小さく取得される。

以下、図１７から図２０を参照して、本実施例のダイナミックレンジを拡大した出力画像の生成について説明する。図１７は、本実施例の飽和画素を含む撮像画像の例を示す。被写体輝度が低い木の間に、被写体輝度が高い空が撮影されており、飽和している。一方、図１８は、本実施例の第１修正視点画像の例を示す。本実施例の第１修正視点画像の有効絞り値は、撮像画像の絞り値より約１段大きく（暗く）、被写体からの受光量が撮像画像の約１／２であるため、被写体輝度が高い空の領域も飽和することなく、被写体の正確な情報が取得されている。

図１９（上段）は、図１７に例示した撮像画像の信号輝度分布を示し、図１９（下段）は、図１８に例示した第１修正視点画像の信号輝度分布を示す。図１９で、横軸は、輝度信号値Ｙを、標準輝度信号値をＹ_０として、式ｌｏｇ２（Ｙ／Ｙ_０）により段数に変換した値を示し、右側ほど信号輝度値が大きく、左側ほど信号輝度値が小さい。縦軸は、輝度信号値がｌｏｇ２（Ｙ／Ｙ_０）である画素数（画素頻度）を示す。撮像画像の信号輝度分布（のピーク）と第１修正視点画像の信号輝度分布（のピーク）のを比較すると、第１修正視点画像の信号量は、撮像画像の信号量の約１段下（約１／２）となっており、空の領域に対応する高輝度側でも信号が飽和することなく、被写体の正確な情報が取得されている。

したがって、被写体輝度が低い領域では、撮像画像の方が、第ｋ修正視点画像より、多い割合で合成し、被写体輝度が高い領域では、撮像画像の方が、第ｋ修正視点画像より、少ない割合で合成することにより、ダイナミックレンジを拡大した出力画像を生成することができる。

図１９で、信号最小輝度ｍｉｎ、信号最大輝度ｍａｘは、それぞれ、現像処理（デモザイキングなど）に用いる信号輝度範囲（ｍｉｎ、ｍａｘ）を示す。最小輝度ｍｉｎと信号最大輝度ｍａｘを結ぶ曲線は、ガンマ調整値（ガンマカーブ）を示し、中間信号輝度ｍｉｄは、ガンマ調整後に、信号最小輝度ｍｉｎと信号最大輝度ｍａｘの中間値となる信号輝度を示している。信号最小輝度ｍｉｎ、信号最大輝度ｍａｘ、中間信号輝度ｍｉｄを調整することにより、ガンマ調整値を設定することができる。

撮像画像と第ｋ修正視点画像を合成し、ダイナミックレンジを拡大した出力画像を生成する。

はじめに、図１９で、第ｋ修正視点画像の中間信号輝度ｍｉｄより、撮像画像の中中間信号輝度ｍｉｄを、大きく設定して、撮像画像のガンマ調整値と、第ｋ修正視点画像のガンマ調整値を、それぞれ、設定する。

次に、設定された撮像画像のガンマ調整値により補正されたガンマ調整後撮像画像と、設定された第ｋ修正視点画像のガンマ調整値により補正されたガンマ調整後第ｋ修正視点画像と、を生成する。ここで、ガンマ調整後撮像画像（もしくは、第ｋ修正視点画像）の中間信号値を、判定信号値とする。

最後に、ガンマ調整後撮像画像と、ガンマ調整後第ｋ修正視点画像と、を、ガンマ調整後撮像画像が、判定信号値以下の場合は、ガンマ調整後第ｋ修正視点画像の割合より、ガンマ調整後撮像画像の割合を多くして合成し、ガンマ調整後撮像画像が、判定信号値より大きい場合は、ガンマ調整後撮像画像の割合より、ガンマ調整後第ｋ修正視点画像の割合を多くして合成し、ダイナミックレンジを拡大した出力画像を生成する。

以上の処理により、被写体輝度が低い領域では、第ｋ修正視点画像の割合より、撮像画像の割合を多く合成し、被写体輝度が高い領域では、撮像画像の割合より、第ｋ修正視点画像の割合を多く合成し、ダイナミックレンジを拡大した出力画像を生成することができる。

撮像画像の信号最小輝度ｍｉｎと、第ｋ修正視点画像の信号最小輝度ｍｉｎを、概ね、同一の値とし、撮像画像の信号最大輝度ｍａｘと、第ｋ修正視点画像の信号最大輝度ｍａｘを、概ね、同一の値とすることが望ましい。また、信号輝度差分量＝（撮像画像の信号輝度分布の平均値）−（第ｋ修正視点画像の信号輝度分布の平均値）とし、第ｋ修正視点画像の中間信号輝度ｍｉｄより、撮像画像の中間信号輝度ｍｉｄを、概ね、信号輝度差分量だけ大きく設定することが望ましい。

本実施例では、撮像画像と第ｋ修正視点画像と、を合成して、ダイナミックレンジを拡大した出力画像の生成を行う際に、撮像画像の信号輝度分布と、第ｋ修正視点画像の信号輝度分布に合わせて、撮像画像のガンマ調整値（ガンマカーブ）と、第ｋ修正視点画像のガンマ調整値（ガンマカーブ）を、それぞれ、調整するための調整画面を表示する。

図１９に例示したように、撮像画像の信号輝度分布、信号最小輝度ｍｉｎ、信号最大輝度ｍａｘ、中間信号輝度ｍｉｄ、ガンマ調整値（ガンマカーブ）と、第ｋ修正視点画像の信号輝度分布、信号最小輝度ｍｉｎ、信号最大輝度ｍａｘ、中間信号輝度ｍｉｄ、ガンマ調整値（ガンマカーブ）と、を、上下、左右等に並べて表示し、ユーザー入力により、それぞれのガンマ調整値（ガンマカーブ）を設定する。

必要に応じて、撮像画像の信号輝度分布、信号最小輝度ｍｉｎ、信号最大輝度ｍａｘ、中間信号輝度ｍｉｄ、ガンマ調整値（ガンマカーブ）と、第ｋ修正視点画像の信号輝度分布、信号最小輝度ｍｉｎ、信号最大輝度ｍａｘ、中間信号輝度ｍｉｄ、ガンマ調整値（ガンマカーブ）と、を、同一画面に、配色を異ならせるなどして、重ねて表示しても良い。

本実施例の画像処理装置は、上記の画像処理方法を行う画像処理手段を有する画像処理装置である。また、撮像画像の信号輝度分布と、１つ以上の修正視点画像の信号輝度分布と、を表示する手段と、撮像画像のガンマ調整と、１つ以上の修正視点画像のガンマ調整と、を行うための複数のユーザー設定値を入力する手段と、を有する画像処理装置である。

本実施例の撮像装置は、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた画素を複数配列した撮像素子と、上記の画像処理方法を行う画像処理手段を有する撮像装置である。また、撮像画像の信号輝度分布と、１つ以上の修正視点画像の信号輝度分布と、を表示する手段と、撮像画像のガンマ調整と、１つ以上の修正視点画像のガンマ調整と、を行うための複数のユーザー設定値を入力する手段と、を有する撮像装置である。

本実施例の構成により、良好な画質品位のダイナミックレンジを拡大した画像を生成することができる。

［第２の実施例］
次に、本発明の第２の実施例を説明する。なお、第１の実施例の場合と同様の構成要素については既に使用した符号を用いることで、それらの詳細な説明を省略し、相違点を中心に説明する。

本実施例における撮像素子の画素と副画素の配列の概略図を図２０に示す。図２０の左右方向をｘ方向（水平方向）とし、上下方向をｙ方向（垂直方向）とし、ｘ方向およびｙ方向に直交する方向（紙面に垂直な方向）をｚ方向（光軸方向）と定義する。図２０は、本実施例の２次元ＣＭＯＳセンサー（撮像素子）の画素（撮像画素）配列を４列×４行の範囲で、副画素配列を８列×８行の範囲で示したものである。

本実施例では、図２１に示した２列×２行の画素群２００は、左上の位置に第１色のＲ（赤）の分光感度を有する画素２００Ｒが左上に、第２色のＧ（緑）の分光感度を有する画素２００Ｇが右上と左下に、第３色のＢ（青）の分光感度を有する画素２００Ｂが右下に配置されている。さらに、各画素は、ｘ方向に２分割（Ｎｘ分割）、ｙ方向に２分割（Ｎｙ分割）された分割数４（分割数Ｎ_ＬＦ＝Ｎｘ×Ｎｙ）の第１副画素２０１から第４副画素２０４（第１副画素から第Ｎ_ＬＦ副画素）の複数の副画素により構成されている。

図２１に示す例では、４列×４行の画素（８列×８行の副画素）を面上に多数配置することで、撮像画像および分割数４（分割数Ｎ_ＬＦ）の複数の視点画像を生成するための入力画像を取得可能である。本実施例の撮像素子では、画素の周期Ｐを６μｍ（マイクロメートル）とし、水平（列方向）画素数Ｎ_Ｈ＝６０００列、垂直（行方向）画素数Ｎ_Ｖ＝４０００行、画素数Ｎ＝Ｎ_Ｈ×Ｎ_Ｖ＝２４００万画素とする。また、副画素の周期Ｐ_Ｓを３μｍとし、副画素数Ｎ_Ｓを水平１２０００列×垂直８０００行＝９６００万画素とする。

図２１に示す撮像素子における１つの画素２００Ｇを、撮像素子の受光面側（＋ｚ側）から見た場合の平面図を図２２（Ａ）に示す。図２２（Ａ）の紙面に垂直な方向にｚ軸を設定し、手前側をｚ軸の正方向と定義する。また、ｚ軸に直交する上下方向にｙ軸を設定して上方をｙ軸の正方向とし、ｚ軸およびｙ軸に直交する左右方向にｘ軸を設定して右方をｘ軸の正方向と定義する。図２２（Ａ）にてａ−ａ切断線に沿って、−ｙ側から見た場合の断面図を図２２（Ｂ）に示す。

図２２（Ａ）および、図２２（Ｂ）に示すように、画素２００Ｇは、各画素の受光面側（＋ｚ方向）に入射光を集光するためのマイクロレンズ３０５が形成されている。さらに、ｘ方向に２分割（Ｎｘ分割）、ｙ方向に２分割（Ｎｙ分割）された分割数４（分割数Ｎ_ＬＦ）の第１光電変換部３０１から第４光電変換部３０４（第１光電変換部から第Ｎ_ＬＦ光電変換部）の複数の光電変換部が形成されている。第１光電変換部３０１から第４光電変換部３０４（第１光電変換部から第Ｎ_ＬＦ光電変換部）が、それぞれ、第１副画素２０１から第４副画素２０４（第１副画素から第Ｎ_ＬＦ副画素）に対応する。

図２３は、画素構造と瞳分割との対応関係を示す概略的な説明図である。図２３には、図２２（Ａ）に示した画素構造のａ−ａ線での切断面を、＋ｙ方向から見た場合の断面図と、結像光学系の射出瞳面を、−ｚ方向から見た図を示す。図２３では、射出瞳面の座標軸と対応を取るために、断面図にてｘ軸とｙ軸を図２２に示す状態とは反転させて示している。

２×２分割された第１瞳部分領域５０１から第４瞳部分領域５０４（Ｎｘ×Ｎｙ分割された第１瞳部分領域から第Ｎ_ＬＦ瞳部分領域）は、各々、第１光電変換部３０１から第４光電変換部３０４（第１光電変換部から第Ｎ_ＬＦ光電変換部）の受光面と、マイクロレンズによって、概ね、光学的に共役な関係になっており、第１副画素２０１から第４副画素２０４（第１副画素から第Ｎ_ＬＦ副画素）で、それぞれ、受光可能な瞳領域である。第１副画素２０１の第１瞳部分領域５０１は、瞳面上で（＋Ｘ、−Ｙ）側に重心が偏心している。第２副画素２０２の第２瞳部分領域５０２は、瞳面上で（−Ｘ、−Ｙ）側に重心が偏心している。第３副画素２０３の第３瞳部分領域５０３は、瞳面上で（＋Ｘ、＋Ｙ）側に重心が偏心している。第４副画素２０４の第４瞳部分領域５０４は、瞳面上で（−Ｘ、＋Ｙ）側に重心が偏心している。

本実施例の撮像素子の各画素において、２×２分割された第１副画素２０１から第４副画素２０４（Ｎｘ×Ｎｙ分割された第１副画素から第Ｎ_ＬＦ副画素）は、それぞれ、結像光学系の第１瞳部分領域５０１から第４瞳部分領域５０４（第１瞳部分領域から第Ｎ_ＬＦ瞳部分領域）の異なる瞳部分領域を通過した光束を受光する。各副画素で受光された信号から、光強度の空間分布および角度分布を示すＬＦデータ（入力画像）が取得される。

本実施例は、Ｎｘ＝２、Ｎｙ＝２、Ｎ_ＬＦ＝４の４分割の例であり、図２１に例示した画素配列に対応した入力画像（ＬＦデータ）から、式（１）により、各画素毎に、４分割された第１副画素２０１から第４副画素２０４（Ｎｘ×Ｎｙ分割された第１副画素から第Ｎ_ＬＦ副画素）の信号を全て合成し、画素数Ｎ（＝水平画素数Ｎ_Ｈ×垂直画素数Ｎ_Ｖ）の解像度を有するベイヤー配列のＲＧＢ信号である撮像画像を生成する。

また、本実施例は、Ｎｘ＝２、Ｎｙ＝２、Ｎ_ＬＦ＝４の４分割で、ｋ＝１〜３の例である。図２０に例示した画素配列に対応したＬＦデータ（入力画像）から、式（２）により、各画素毎に、４分割された第１副画素２０１から第４副画素２０４の中から第１副画素２０１の信号を選択し、結像光学系の第１瞳部分領域５０１に対応した、画素数Ｎの解像度を有するベイヤー配列のＲＧＢ信号である第１視点画像Ｉ_１（ｊ、ｉ）を生成する。また、ＬＦデータから、式（２）により、各画素毎に、４分割された第１副画素２０１から第４副画素２０４の中から第２副画素２０２の信号を選択し、結像光学系の第２瞳部分領域５０２に対応した、画素数Ｎの解像度を有するベイヤー配列のＲＧＢ信号である第２視点画像Ｉ_２（ｊ、ｉ）を生成する。さらに、ＬＦデータから、式（２）により、各画素毎に、４分割された第１副画素２０１から第４副画素２０４の中から第３副画素２０３の信号を選択し、結像光学系の第３瞳部分領域５０３に対応した、画素数Ｎの解像度を有するベイヤー配列のＲＧＢ信号である第３視点画像Ｉ_３（ｊ、ｉ）を生成する。

以上のように本実施例では、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部が設けられた画素を複数配列した撮像素子により取得される入力画像（ＬＦデータ）から、異なる瞳部分領域を合成した瞳領域に応じた撮像画像を生成し、異なる瞳部分領域毎に、少なくとも１つ以上の複数の視点画像を生成する。

［撮像画像に基づく視点画像の補正処理］
本実施例では、良好な画質品位の各視点画像を生成するために、第１の実施例と同様に、撮像画像に基づいて、第１視点画像から第４視点画像（第１視点画像から第Ｎ_ＬＦ視点画像）に対して、キズ補正やシェーディング補正等の画像処理を行い、出力画像を生成する。

図９のステップＳ１において、撮像画像Ｉ（ｊ、ｉ）を基準の参照画像として、第１視点画像Ｉ_１から第３視点画像Ｉ_３（第ｋ視点画像Ｉ_ｋ：ｋ＝１〜Ｎ_ＬＦ−１）のＲＧＢ毎のシェーディング（光量）補正を行う。本実施例は、Ｎｘ＝２、Ｎｙ＝２、Ｎ_ＬＦ＝４の４分割で、ｋ＝１〜３の例である。

ステップＳ１において、まず、第ｋ視点画像Ｉ_ｋ（ｋ＝１〜Ｎ_ＬＦ−１）に対して、式（３Ａ）から式（６Ｄ）により、ｘ方向にシェーディング（光量）補正処理を行う。次に、式（３Ａ）から式（６Ｄ）において、ｘ方向とｙ方向を入れ換え、ｙ方向にシェーディング（光量）補正処理を行い、第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋ（ｋ＝１〜Ｎ_ＬＦ−１）を生成する。ｘ方向へのシェーディング（光量）補正と、ｙ方向へのシェーディング（光量）補正と、を２段階に行う場合、式（４Ａ）から式（４Ｄ）の規格化のため瞳分割数Ｎ_ＬＦが１回余分となる。そのため、２回目のｙ方向のシェーディング（光量）補正では、式（４Ａ）から式（４Ｄ）において、規格化のための瞳分割数Ｎ_ＬＦの乗算は省略する。

図９のステップＳ２以降は、第１の実施例と同様の処理を行い、ダイナミックレンジを拡大した出力画像を生成する。

本実施例の構成により、良好な画質品位のダイナミックレンジを拡大した画像を生成することができる。なお、撮像素子の各画素部における光電変換部については、分割数をさらに多くした実施形態（例えば、Ｎｘ＝３、Ｎｙ＝３、Ｎ_ＬＦ＝９の９分割や、Ｎｘ＝４、Ｎｙ＝４、Ｎ_ＬＦ＝１６の１６分割など）が可能である。

本実施例の画像処理装置は、上記の画像処理方法を行う画像処理手段を有する画像処理装置である。

本実施例の撮像装置は、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた画素を複数配列した撮像素子と、上記の画像処理方法を行う画像処理手段を有する撮像装置である。

（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

Claims

結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部が設けられた画素を複数配列した撮像素子により取得される入力画像から出力画像を生成する画像処理方法であって、
前記入力画像から、前記異なる瞳部分領域を合成した瞳領域に応じた撮像画像を生成し、
前記入力画像から、前記異なる瞳部分領域毎に、１つ以上の視点画像を生成し、
前記撮像画像と各々の前記視点画像に基づき、各々の前記視点画像の光量補正処理を行い、１つ以上の修正視点画像を生成し、
前記撮像画像と、前記１つ以上の修正視点画像とを、
前記撮像画像の信号輝度分布と、前記１つ以上の修正視点画像の信号輝度分布と、に基づき、前記撮像画像のガンマ調整と、前記１つ以上の修正視点画像のガンマ調整を行い、
被写体輝度に応じて該ガンマ調整後の前記修正視点画像及び前記撮像画像を合成して出力画像を生成する、ことを特徴とする画像処理方法。
前記撮像画像と前記視点画像のいずれもが有効な信号である有効画素を検出し、
前記撮像画像と前記視点画像の前記有効画素の信号に基づいて、前記視点画像の光量補正処理を行う、ことを特徴とする請求項１に記載の画像処理方法。
前記有効画素は、非飽和かつ非欠陥である、ことを特徴とする請求項２に記載の画像処理方法。
前記撮像画像に基づき前記視点画像の各色の光量補正処理を行う、ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理方法。
前記撮像画像の射影信号と、前記視点画像の射影信号と、に基づき前記視点画像の光量補正処理を行う、ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理方法。
前記撮像画像の信号輝度分布と、前記１つ以上の修正視点画像の信号輝度分布と、を表示手段に表示し、
前記撮像画像のガンマ調整と、前記１つ以上の修正視点画像のガンマ調整と、を行うための複数のユーザー設定値を入力する、ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理方法。
結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部が設けられた画素を複数配列した撮像素子より入力画像を取得する取得手段と、
前記入力画像から、前記異なる瞳部分領域を合成した瞳領域に応じた撮像画像を生成する第１の生成手段と、
前記入力画像から、前記異なる瞳部分領域毎に、１つ以上の視点画像を生成する第２の生成手段と、
前記撮像画像と各々の前記視点画像に基づき、各々の前記視点画像の光量補正処理を行い、１つ以上の修正視点画像を生成する補正手段と、
前記撮像画像と、前記１つ以上の修正視点画像とを、前記撮像画像の信号輝度分布と、
前記１つ以上の修正視点画像の信号輝度分布と、に基づき、前記撮像画像のガンマ調整と、前記１つ以上の修正視点画像のガンマ調整を行うガンマ調整手段と、
被写体輝度に応じて該ガンマ調整後の前記修正視点画像及び前記撮像画像を合成して出力画像を生成する第３の生成手段と、
を有することを特徴とする画像処理装置。