JP2019219499A - 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体 - Google Patents

Abstract

【課題】安定して高精度な焦点検出が可能な制御装置を提供する。【解決手段】制御装置（１２１）は、撮像光学系の互いに異なる瞳領域を通過した光束に対応する像信号の評価帯域を決定する決定手段（１２１ａ）と、評価帯域に基づいて選択されたフィルタを用いて像信号のフィルタ処理を行うフィルタ処理手段（１２１ｂ）と、フィルタ処理された像信号と評価帯域に応じて異なるデータとに基づいて、デフォーカス量を算出する算出手段（１２１ｃ）とを有する。【選択図】図１６

Description

本発明は、焦点検出を行う撮像装置に関する。

従来、撮像素子から出力される信号に基づいて位相差方式の焦点検出を行う撮像面位相差方式を行う撮像装置が知られている。特許文献１には、複数の周波数帯域のバンドパスフィルタを用いて焦点検出を行うことにより、焦点検出の精度を向上させる撮像装置が開示されている。

特開２０１６−２２４１５９号公報

しかしながら、特許文献１に開示された撮像装置では、複数の周波数帯域のバンドパスフィルタはそれぞれ異なる特性（焦点検出特性）を有する。このため、複数の周波数帯域のバンドパスフィルタを用いて安定して高精度な焦点検出を行うことは困難である。

そこで本発明は、安定して高精度な焦点検出が可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することを目的とする。

本発明の一側面としての制御装置は、撮像光学系の互いに異なる瞳領域を通過した光束に対応する像信号の評価帯域を決定する決定手段と、前記評価帯域に基づいて選択されたフィルタを用いて前記像信号のフィルタ処理を行うフィルタ処理手段と、フィルタ処理された前記像信号と前記評価帯域に応じて異なるデータとに基づいて、デフォーカス量を算出する算出手段とを有する。

本発明の他の側面としての撮像装置は、前記制御装置と、撮像光学系を介して形成される光学像を光電変換する撮像素子とを有する。

本発明の他の側面としての制御方法は、撮像光学系の互いに異なる瞳領域を通過した光束に対応する像信号の評価帯域を決定するステップと、前記評価帯域に基づいて選択されたフィルタを用いて前記像信号のフィルタ処理を行うステップと、フィルタ処理された前記像信号と前記評価帯域に応じて異なるデータとに基づいて、デフォーカス量を算出するステップとを有する。

本発明の他の側面としてのプログラムは、前記制御方法をコンピュータに実行させる。

本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施形態において説明される。

本発明によれば、安定して高精度な焦点検出が可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することができる。

各実施形態における撮像装置のブロック図である。 各実施形態における画素配列を示す図である。 各実施形態における画素構造を示す図である。 各実施形態における撮像素子および瞳分割機能の説明図である。 各実施形態において、各画素に形成されたマイクロレンズに光が入射した場合の光強度分布の説明図である。 各実施形態において、光の入射角に依存した受光率分布の図である。 各実施形態における撮像素子および瞳分割機能の説明図である。 各実施形態におけるデフォーカス量と像ずれ量と関係図である。 各実施形態における補正処理の流れを示す概略図である。 各実施形態における補正処理の流れを示す概略図である。 各実施形態におけるシェーディングの説明図である。 各実施形態における撮像画像の射影信号、第１視点画像の射影信号、および、シェーディング関数の説明図である。 各実施形態における撮像画像、光量補正前の第１視点画像、および、光量補正後の第１視点画像の例である。 各実施形態における像ずれ量換算係数の算出方法の説明図である。 各実施形態における合焦位置ずれ量の算出方法の説明図である。 第１の実施形態における焦点検出方法のフローチャートである。 第２の実施形態における焦点検出方法のフローチャートである。 各実施形態におけるデータを記憶する記憶手段の説明図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各実施形態では、本発明を画像処理装置の一例としてのデジタルカメラに適用した場合を例に説明するが、本発明はＬＦ（ＬｉｇｈｔＦｉｅｌｄ）データを処理可能な任意の機器に適用可能である。任意の機器としては、例えばパーソナルコンピュータ、タブレット、ゲーム機、眼鏡型や時計型等のウェアラブル端末、車載用システム、監視カメラ用システム、医療機器が含まれてよい。

（第１の実施形態）
まず、図１を参照して、第１の実施形態における撮像装置の概略構成について説明する。図１は、撮像装置（カメラ）１００のブロック図である。撮像装置１００は、カメラ本体とカメラ本体に着脱可能な交換レンズ（撮像光学系または結像光学系）とを備えたデジタルカメラシステムである。ただし本実施形態は、これに限定されるものではなく、カメラ本体とレンズとが一体的に構成された撮像装置にも適用可能である。

第１レンズ群１０１は、撮影レンズ（撮像光学系）を構成する複数のレンズ群のうち最も前方（被写体側）に配置されており、光軸ＯＡの方向（光軸方向）に進退可能な状態でレンズ鏡筒に保持される。絞り兼用シャッタ１０２（絞り）は、その開口径を調節することで撮影時の光量調節を行うとともに、静止画撮影時には露光時間調節用シャッタとして機能する。第２レンズ群１０３は、絞り兼用シャッタ１０２と一体的に光軸方向に進退し、第１レンズ群１０１の進退動作と連動して変倍動作を行うズーム機能を有する。第３レンズ群１０５は、光軸方向に進退することにより焦点調節（フォーカス動作）を行うフォーカスレンズ群である。光学的ローパスフィルタ１０６は、撮影画像の偽色やモアレを軽減するための光学素子である。

撮像素子１０７は、撮像光学系を介して被写体像（光学像）の光電変換を行い、ＣＭＯＳセンサやＣＣＤセンサなどの二次元フォトセンサ、および、その周辺回路により構成され、撮像光学系の結像面に配置される。なお、撮像素子１０７の詳細については後述する。

ズームアクチュエータ１１１は、不図示のカム筒を回動（駆動）することで第１レンズ群１０１および第２レンズ群１０３を光軸方向に沿って移動させることにより、変倍動作を行う。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して光量（撮影光量）を調節するとともに、静止画撮影時の露光時間を制御する。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に移動させて焦点調節を行う。

電子フラッシュ１１５は、被写体を照明するために用いられる照明装置である。電子フラッシュ１１５としては、キセノン管を備えた閃光照明装置または連続発光するＬＥＤ（発光ダイオード）を備えた照明装置が用いられる。ＡＦ補助光源１１６は、所定の開口パターンを有するマスクの像を、投光レンズを介して、被写体に投影する。これにより、暗い被写体や低コントラストの被写体に対する焦点検出能力を向上させることができる。

ＣＰＵ１２１は、撮像装置１００の種々の制御を司る制御装置（制御手段）である。ＣＰＵ１２１は、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、および、通信インターフェイス回路などを有する。ＣＰＵ１２１は、ＲＯＭに記憶された所定のプログラムを読み出して実行することにより、撮像装置１００の各種回路を駆動し、焦点検出（ＡＦ）、撮影、撮像処理、画像処理、または、記録処理などの一連の動作を制御する。

ＣＰＵ１２１は、決定手段１２１ａ、フィルタ処理手段１２１ｂ、および、算出手段１２１ｃを有する。決定手段１２１ａは、撮像光学系の互いに異なる瞳領域を通過した光束に対応する像信号の評価帯域を決定する。フィルタ処理手段１２１ｂは、評価帯域に基づいて選択されたフィルタ（バンドパスフィルタ）を用いて像信号のフィルタ処理を行う。算出手段１２１ｃは、フィルタ処理された像信号と評価帯域に応じて異なるデータとに基づいて、デフォーカス量を算出する。ここで、評価帯域に応じて異なるデータは、後述の像ずれ量換算係数または合焦位置ずれ量の少なくとも一方を含む。

電子フラッシュ制御回路１２２は、ＣＰＵ１２１の制御指令に従い、撮影動作に同期して電子フラッシュ１１５の点灯制御を行う。補助光源駆動回路１２３は、ＣＰＵ１２１の制御指令に従い、焦点検出動作に同期してＡＦ補助光源１１６の点灯制御を行う。撮像素子駆動回路１２４は、撮像素子１０７の垂直および水平走査などの撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。なお、Ａ/Ｄ変換回路は、撮像素子１０７内に設けるようにしてもよい。画像処理回路１２５は、撮像素子１０７から出力された画像データのγ（ガンマ）変換、カラー補間、または、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）圧縮などの処理を行う。

フォーカス駆動回路１２６は、ＣＰＵ１２１の制御指令に従い、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動し、第３レンズ群１０５を光軸方向に沿って移動させることにより、焦点調節を行う。絞りシャッタ駆動回路１２８は、ＣＰＵ１２１の制御指令に従い、絞りシャッタアクチュエータ１１２を駆動して、絞り兼用シャッタ１０２の開口径を制御する。ズーム駆動回路１２９は、撮影者のズーム操作に応じて、ズームアクチュエータ１１１を駆動する。

表示器１３１は、例えばＬＣＤ（液晶表示装置）を備えて構成される。表示器１３１は、撮像装置１００の撮影モードに関する情報、撮影前のプレビュー画像、撮影後の確認用画像、または、焦点検出時の合焦状態表示画像などを表示する。操作部（操作スイッチ群）１３２は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、および、撮影モード選択スイッチなどを備えて構成される。レリーズスイッチは、半押し状態（ＳＷ１がＯＮの状態）、および、全押し状態（ＳＷ２がＯＮの状態）の２段階のスイッチを有する。記録媒体１３３は、例えば撮像装置１００に着脱可能なフラッシュメモリであり、撮影画像（画像データ）を記録する。また、操作部１３２にタッチパネルなどを含ませ、タッチパネルを用いて操作可能にしてもよい。記憶部１３４は、ＣＰＵ１２１が実行するプログラムや、評価帯域に応じて異なるデータ（光量補正量、像ずれ量換算係数、および、合焦位置ずれ量などの補正量）を記憶している。

（撮像素子の構成）
次に、図２および図３を参照して、本実施形態における撮像素子１０７の画素配列および画素構造について説明する。図２は、撮像素子１０７の画素配列を示す図である。図３は、撮像素子１０７の画素構造を示す図であり、図３（ａ）は撮像素子１０７の画素２００Ｇの平面図（＋ｚ方向から見た図）、図３（ｂ）は図３（ａ）中の線ａ−ａの断面図（−ｙ方向から見た図）をそれぞれ示している。

図２は、撮像素子１０７（２次元ＣＭＯＳセンサ）の画素配列（撮影画素の配列）を、４列×４行の範囲で示している。本実施形態において、各々の撮像画素（画素２００Ｒ、２００Ｇ、２００Ｂ）は、２つの副画素２０１、２０２（２つの焦点検出画素）により構成さている。このため、図２には、副画素の配列が、８列×４行の範囲で示されている。

図２に示されるように、２列×２行の画素群２００は、画素２００Ｒ、２００Ｇ、２００Ｂがベイヤー配列で配置されている。すなわち画素群２００のうち、Ｒ（赤）の分光感度を有する画素２００Ｒが左上に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２００Ｂが右下にそれぞれ配置されている。各画素２００Ｒ、２００Ｇ、２００Ｂ（各撮像画素）は、２列×１行に配列された副画素２０１（第１焦点検出画素）および副画素２０２（第２焦点検出画素）により構成されている。副画素２０１は、撮像光学系の第１瞳部分領域を通過した光束を受光する画素である。副画素２０２は、撮像光学系の第２瞳部分領域を通過した光束を受光する画素である。複数の副画素２０１は第１画素群を構成し、複数の副画素２０２は第２画素群を構成する。

図２に示されるように、撮像素子１０７は、４列×４行の撮像画素（８列×４行の副画素）を面上に多数配置して構成されており、撮像画像および分割数２（分割数Ｎ_ＬＦ）の複数の視点画像を生成するための画像信号（ＬＦデータ）を取得可能である。本実施形態の撮像素子１０７において、画素の周期Ｐは６μｍであり、水平（列方向）画素数Ｎ_Ｈ＝６０００列、垂直（行方向）画素数ｐ＝４０００行、画素数ＮはＮ_Ｈ×Ｎ_Ｖ＝２４００万画素である。また、副画素の列方向周期Ｐ_Ｓは３μｍであり、副画素数Ｎ_Ｓは水平１２０００列×垂直４０００行＝４８００万画素である。

図３（ｂ）に示されるように、本実施形態の画素２００Ｇには、画素の受光面側に入射光を集光するためのマイクロレンズ３０５が設けられている。マイクロレンズ３０５は、２次元状に複数配列されており、受光面からｚ軸方向（光軸ＯＡの方向）に所定の距離だけ離れた位置に配置されている。また画素２００Ｇには、ｘ方向にＮ_ｘ分割（２分割）、ｙ方向にＮ_ｙ分割（１分割）された光電変換部３０１および光電変換部３０２が形成されている。光電変換部３０１および光電変換部３０２は、それぞれ、副画素２０１および副画素２０２に対応する。より一般的には、ｘ方向にＮ_ｘ分割、ｙ方向にＮ_ｙ分割された分割数Ｎ_ＬＦの第１光電変換部から第Ｎ_ＬＦ光電変換部の複数の光電変換部が形成され、第１光電変換部から第Ｎ_ＬＦ光電変換部はそれぞれ第１副画素から第Ｎ_ＬＦ副画素に対応する。

このように撮像素子１０７は、１つのマイクロレンズに対して複数の光電変換部を有し、マイクロレンズが２次元状に配列されている。光電変換部（第１光電変換部）３０１および光電変換部（第２光電変換部）３０２はそれぞれ、２つの独立したｐｎ接合フォトダイオードであり、ｐ型ウェル層３００と２つに分割されたｎ型層３０１とｎ型層３０２から構成される。必要に応じて、イントリンシック層を挟み、ｐｉｎ構造フォトダイオードとして形成してもよい。各画素には、マイクロレンズ３０５と、光電変換部３０１、３０２の間に、カラーフィルタ３０６が形成される。必要に応じて、画素ごとまたは光電変換部毎ごとに、カラーフィルタ３０６の分光透過率を変えることができ、または、カラーフィルタを省略してもよい。

画素２００Ｇに入射した光はマイクロレンズ３０５が集光し、さらにカラーフィルタ３０６で分光された後に、第１光電変換部３０１と第２光電変換部３０２がそれぞれ受光する。第１光電変換部３０１と第２光電変換部３０２では、受光量に応じて電子とホール（正孔）が対生成され、空乏層で分離された後、電子が蓄積される。一方、ホールは定電圧源（不図示）に接続されたｐ型ウェル層を通じて撮像素子１０７の外部へ排出される。第１光電変換部３０１と第２光電変換部３０２に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送されて電圧信号に変換される。

続いて、図４を参照して、撮像素子１０７の瞳分割機能について説明する。図４は、撮像素子１０７の瞳分割機能の説明図であり、１つの画素部における瞳分割の様子を示している。図４は、図３（ａ）に示される画素構造のａ−ａ断面を＋ｙ側から見た断面図、および、撮像光学系の射出瞳面を示している。図４では、射出瞳面の座標軸と対応を取るため、断面図のｘ軸およびｙ軸を図３のｘ軸およびｙ軸に対してそれぞれ反転させている。

撮像素子１０７は、撮影レンズ（結像光学系）の結像面近傍に配置されており、被写体からの光束は、結像光学系の射出瞳４００を通過して、それぞれの画素に入射する。なお、撮像素子１０７が配置された面を撮像面とする。

図４において、副画素２０１の瞳部分領域（第１瞳部分領域）５０１は、重心が−ｘ方向に偏心している光電変換部３０１の受光面と、マイクロレンズ３０５を介して略共役関係になっている。このため瞳部分領域５０１は、副画素２０１で受光可能な瞳領域を表している。副画素２０１の瞳部分領域５０１の重心は、瞳面上で＋Ｘ側に偏心している。また、副画素２０２の瞳部分領域（第２瞳部分領域）５０２は、重心が＋ｘ方向に偏心している光電変換部３０２の受光面と、マイクロレンズ３０５を介して略共役関係になっている。このため瞳部分領域５０２は、副画素２０２で受光可能な瞳領域を表している。副画素２０２の瞳部分領域５０２の重心は、瞳面上で−Ｘ側に偏心している。瞳領域５００は、２×１分割された光電変換部３０１、３０２（Ｎ_ｘ×Ｎ_ｙ分割された第１光電変換部〜第Ｎ_ＬＦ光電変換部）を全て合わせた受光面に関して、マイクロレンズ３０５を介して概ね光学的に共役な関係になっている。また瞳領域５００は、副画素２０１、２０２（第１副画素〜第Ｎ_ＬＦ副画素）を全て合わせた画素２００Ｇ全体での受光可能な瞳領域である。

図５は、各画素に形成されたマイクロレンズに光が入射した場合の光強度分布の説明図である。図５（ａ）は、マイクロレンズの光軸に平行な断面での光強度分布を示す。図５（ｂ）は、マイクロレンズの焦点位置において、マイクロレンズの光軸に垂直な断面での光強度分布を示す。入射光は、マイクロレンズにより、焦点位置に集光される。しかし、光の波動性による回折の影響のため、集光スポットの直径は回折限界Δより小さくすることはできず、有限の大きさとなる。光電変換部の受光面サイズは約１〜２μｍ程度であり、これに対してマイクロレンズの集光スポットが約１μｍ程度である。そのため、光電変換部の受光面とマイクロレンズを介して共役の関係にある、図４の瞳部分領域５０１、５０２は、回折ボケのため、明瞭に瞳分割されず、光の入射角に依存した受光率分布（瞳強度分布）となる。

図６は、光の入射角に依存した受光率分布（瞳強度分布）の図であり、横軸は瞳座標、縦軸は受光率をそれぞれ示す。図６の実線で示されるグラフ線Ｌ１は、図４の瞳部分領域５０１（第１瞳部分領域）のｘ軸に沿った瞳強度分布を表す。グラフ線Ｌ１で示される受光率は、左端から急峻に上昇してピークに到達した後で徐々に低下してから変化率が緩やかになって右端へと至る。また、図６の破線で示されるグラフ線Ｌ２は、瞳部分領域５０２（第２瞳部分領域）のｘ軸に沿った瞳強度分布を表す。グラフ線Ｌ２で示される受光率は、グラフ線Ｌ１とは反対に、右端から急峻に上昇してピークに到達した後で徐々に低下してから変化率が緩やかになって左端へと至る。図６に示されるように、緩やかな瞳分割が行われることがわかる。

次に、図７を参照して、撮像素子１０７と瞳分割との対応関係について説明する。光電変換部３０１と光電変換部３０２（第１光電変換部から第Ｎ_ＬＦ光電変換部）はそれぞれ、副画素２０１と副画素２０２（第１副画素から第Ｎ_ＬＦ副画素）に対応する。撮像素子１０７の各画素において、２×１分割された副画素２０１、２０２（Ｎ_ｘ×Ｎ_ｙ分割された第１副画素から第Ｎ_ＬＦ副画素）はそれぞれ、結像光学系の異なる瞳部分領域５０１、５０２（第１瞳部分領域から第Ｎ_ＬＦ瞳部分領域）を通過した光束を受光する。各副画素で受光された信号から、光強度の空間分布および角度分布の情報を含むＬＦデータ（画像信号、入力画像）が取得される。

ＬＦデータの信号について、画素ごとに、２×１分割された副画素２０１、２０２（Ｎ_ｘ×Ｎ_ｙ分割された第１副画素から第Ｎ_ＬＦ副画素）の信号を全て合成することにより、画素数Ｎの解像度を有する撮像画像を生成することができる。

また、ＬＦデータから、画素ごとに、２×１分割された副画素２０１、２０２（Ｎ_ｘ×Ｎ_ｙ分割された第１副画素から第Ｎ_ＬＦ副画素）の中から特定の副画素の信号を選択する。これにより、結像光学系の瞳部分領域５０１と瞳部分領域５０２（第１瞳部分領域から第Ｎ_ＬＦ瞳部分領域）の中の特定の瞳部分領域に対応した視点画像を生成することができる。例えば、画素ごとに、第１副画素２０１の信号を選択することで、結像光学系の瞳部分領域５０１に対応した画素数Ｎの解像度を有する第１視点画像を生成できる。他の副画素でも同様である。

以上のように本実施形態の撮像素子１０７は、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた画素が複数配列された構造を有し、ＬＦデータを取得することができる。なお、前述した説明では、瞳領域が水平方向に２つに瞳分割される例を示したが、副画素の分割方法に応じて瞳分割が垂直方向に行われてもよい。

（デフォーカス量と像ずれ量の関係）
次に、図８を参照して、撮像素子１０７により取得されるＬＦデータに基づいて生成可能な第１視点画像と第２視点画像（第１視点画像から第Ｎ_ＬＦ視点画像）のデフォーカス量と像ずれ量との関係について説明する。図８は、第１視点画像と第２視点画像のデフォーカス量と、第１視点画像と第２視点画像との間の像ずれ量との関係図である。図８において、撮像素子１０７は撮像面６００に配置されており、図４および図７と同様に、結像光学系の射出瞳が瞳部分領域５０１、５０２に２分割されている様子が示されている。

デフォーカス量ｄは、被写体の結像位置から撮像面６００までの距離を｜ｄ｜、結像位置が撮像面６００よりも被写体側にある前ピン状態を負符号（ｄ＜０）、結像位置が撮像面６００よりも被写体の反対側にある後ピン状態を正符号（ｄ＞０）として定義される。被写体の結像位置が撮像面６００（合焦位置）にある合焦状態において、デフォーカス量ｄ＝０が成立する。図８において、合焦状態（ｄ＝０）である被写体６０１、および、前ピン状態（ｄ＜０）である被写体６０２がそれぞれ示されている。前ピン状態（ｄ＜０）および後ピン状態（ｄ＞０）を併せて、デフォーカス状態（｜ｄ｜＞０）という。

前ピン状態（ｄ＜０）では、被写体６０２からの光束のうち、瞳部分領域５０１（または瞳部分領域５０２）を通過した光束は、一度、集光する。その後、光束は、光束の重心位置Ｇ１（Ｇ２）を中心とする幅Γ１（Γ２）に広がり、撮像面６００でボケた像となる。ボケた像は、撮像素子１０７に配列された各画素を構成する副画素２０１（副画素２０２）により受光され、第１視点画像（第２視点画像）が生成される。このため、第１視点画像（第２視点画像）は、撮像面６００上の重心位置Ｇ１（Ｇ２）に、被写体６０２が幅Γ１（Γ２）にボケた被写体像として記録される。被写体像のボケ幅Γ１（Γ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね比例して増加する。同様に、第１視点画像と第２視点画像との間の被写体像の像ずれ量ｐ（＝光束の重心位置の差Ｇ１−Ｇ２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加する。後ピン状態（ｄ＞０）に関しても同様であるが、第１視点画像と第２視点画像と間の被写体像の像ずれ方向が前ピン状態と反対となる。

このように本実施形態において、第１視点画像と第２視点画像、または、第１視点画像と第２視点画像とを加算した撮像信号のデフォーカス量の大きさが増加するのに伴い、第１視点画像と第２視点画像と間の像ずれ量の大きさは増加する。

（撮像画像に基づく視点画像の補正処理）
予め記憶された光量補正量（シェーディング補正量）がある場合、ＣＰＵ（光量補正手段）１２１は、焦点検出領域の像高（焦点検出位置）ごとに対応する光量補正量を視点画像に乗算し、光量補正を行う。ただし、後述する像ずれ量換算係数および合焦位置ずれ量）を高精度に算出するには、光量補正量、像ずれ量換算係数、および、合焦位置ずれ量は、同じ測定画像を用いて一連で算出されることが好ましい。このため本実施形態において、光量補正量、像ずれ量換算係数、および、合焦位置ずれ量の順でそれぞれの値を算出し、後段の補正量の算出に用いられることを前提として説明する。また、それぞれの値の算出は、撮像装置内で全ての処理を行う必要はない。例えば、視差画像取得は撮像装置で行い、補正量（光量補正量、像ずれ量換算係数、合焦位置ずれ量）の算出は撮像装置外の画像処理装置にて行い、補正量の算出結果を撮像装置に記録し、焦点検出に用いる等であってもよい。

まず、撮像画像に基づき、第１視点画像と第２視点画像（第１視点画像から第Ｎ_ＬＦ視点画像）に対する光量補正の画像処理（補正処理）を行い、出力画像を生成する例について説明する。

図９および図１０を参照して、撮像素子１０７により取得されたＬＦデータ（入力画像）から、撮影画像に基づいて第１視点画像と第２視点画像（第１視点画像〜第Ｎ_ＬＦ視点画像）に対して補正処理を行い、出力画像を生成する画像処理方法について説明する。図９および図１０は、本実施形態における補正処理の流れを示す概略図である。図９および図１０の処理は、ＣＰＵ１２１が記憶部１３４等のＲＯＭに記憶されたプログラムをＲＡＭに展開、実行することにより実行される。また、撮像素子１０７や画像処理回路１２５は、ＣＰＵ１２１の指示に応じて動作する。

（撮像画像と視点画像）
まず、図９のステップＳ１の前段（不図示のステップＳ０）において、ＣＰＵ１２１は、撮像素子１０７により取得されたＬＦデータ（入力画像）に基づいて撮像画像および少なくとも一つの視点画像を生成（取得）する。撮像画像は、結像光学系の異なる瞳部分領域を合成した瞳領域に応じて生成される画像である。視点画像は、結像光学系の異なる瞳部分領域ごとに生成される画像である。

ステップＳ０において、ＣＰＵ１２１は、撮像素子１０７により取得されたＬＦデータ（入力画像）を入力する。または、ＣＰＵ１２１は、予め撮像素子１０７により撮影され、記録媒体に保存されているＬＦデータ（入力画像）を用いてもよい。

ステップＳ０において、次に、ＣＰＵ１２１は、結像光学系の異なる瞳部分領域（第１瞳部分領域と第２瞳部分領域）を合成した瞳領域に応じた撮像画像を生成する。なお、以下の説明では、ＬＦデータ（入力画像）をＬＦとも表す。また、ＬＦの各画素信号内での列方向ｉ_Ｓ（１≦ｉ_Ｓ≦Ｎｘ）番目、行方向ｊ_Ｓ（１≦ｊ_Ｓ≦Ｎｙ）番目の副画素信号を、ｋ＝Ｎｘ（ｊ_Ｓ−１）＋ｉ_Ｓ（１≦ｋ≦Ｎ_ＬＦ）として、第ｋ副画素信号とする。画像処理回路１２５は、結像光学系の異なる瞳部分領域を合成した瞳領域に対応した、列方向にｉ番目、行方向にｊ番目の撮像画像Ｉ（ｊ、ｉ）、すなわち合成画像を、以下の式（１）で表されるように生成する。

なお、本処理は、撮像素子１０７がＬＦデータを生成する際に行ってもよい。この場合、撮像素子１０７は、撮像画像Ｉ（ｊ、ｉ）のＳ／Ｎを良好に保持するため、各副画素信号をアナログ／デジタル変換（Ａ／Ｄ変換）を行う前に、撮像素子１０７内の静電容量部（ＦＤ）において式（１）に従う各副画素信号の合成を行ってもよい。必要に応じて、撮像素子１０７内のＦＤに蓄積された電荷を電圧信号に変換する際に、式（１）に従う各副画素信号の合成を行ってもよく、必要に応じて、Ａ／Ｄ変換を行った後に、式（１）に従う各副画素信号の合成を行ってもよい。

なお、本実施形態は、Ｎｘ＝２、Ｎｙ＝１、Ｎ_ＬＦ＝２であるｘ方向２分割の場合であり、図２に例示した画素配列に対応した入力画像信号（ＬＦデータ）を用いる。このため、撮像素子１０７は、画素ごとに、ｘ方向２分割された副画素２０１、副画素２０２（Ｎｘ×Ｎｙ分割された第１副画素から第Ｎ_ＬＦ副画素）の信号を全て合成した撮像画像を生成する。この撮像画像は、画素数Ｎ（＝水平画素数Ｎ_Ｈ×垂直画素数Ｎ_Ｖ）の解像度を有するベイヤー配列のＲＧＢ信号である。

なお、後述する視点画像の補正処理では、撮像画像を補正基準の参照画像として用いるため、撮像画像Ｉ（ｊ、ｉ）に対してもＲＧＢ毎の光量補正処理、欠陥補正処理を行う。

ステップＳ０において、次に、撮像素子１０７（ＣＰＵ１２１）は、結像光学系の第ｋ瞳部分領域に対応した、列方向ｉ番目、行方向ｊ番目の第ｋ視点画像Ｉ_ｋ（ｊ、ｉ）を、以下の式（２）に従って生成する。

なお、本実施形態は、Ｎｘ＝２、Ｎｙ＝１、Ｎ_ＬＦ＝２であるｘ方向２分割、ｋ＝１の場合である。撮像素子１０７は、図２に例示した画素配列に対応したＬＦデータに基づいて、画素ごとに、ｘ方向２分割された第１副画素２０１の信号を選択する。よって、結像光学系の瞳部分領域５０１、５０２（第１瞳部分領域から第Ｎ_ＬＦ瞳部分領域）の中から、結像光学系の瞳部分領域５０１に対応した第１視点画像Ｉ_１（ｊ、ｉ）を生成する。第１視点画像Ｉ_１（ｊ、ｉ）は、画素数Ｎ（＝水平画素数Ｎ_Ｈ×垂直画素数Ｎ_Ｖ）の解像度を有するベイヤー配列のＲＧＢ信号である。なお、必要に応じて、ｋ＝２を選択し、結像光学系の瞳部分領域５０２に対応した第２視点画像Ｉ_２（ｊ、ｉ）を生成してもよい。

このように本実施形態では、ＬＦデータに基づく、結像光学系の異なる瞳部分領域を合成した撮像画像と、結像光学系の異なる瞳部分領域ごとの、少なくとも１つの視点画像とを生成する。すなわち、撮像素子１０７により取得されたＬＦデータに基づいて、ベイヤー配列のＲＧＢ信号である撮像画像Ｉ（ｊ、ｉ）と、ベイヤー配列のＲＧＢ信号である第１視点画像Ｉ_１（ｊ、ｉ）と、を生成する。このとき、撮像画像Ｉ（ｊ、ｉ）と第１視点画像Ｉ_１（ｊ、ｉ）とから、第２視点画像Ｉ_２（ｊ、ｉ）を生成してもよい。このようにすれば、撮像画像Ｉ（ｊ、ｉ）に対して、各画素が光電変換部を有しない従来の撮像素子で取得される撮像画像と同様の画像処理を適用することができる。また、必要に応じて、各視点画像への処理を同等にするために、第１視点画像Ｉ_１（ｊ、ｉ）と、第２視点画像Ｉ_２（ｊ、ｉ）と、を生成し、記録媒体へ保存してもよい。

（視点画像の光量補正（シェーディング補正）算出処理）
続いて、図９のステップＳ１において、ＣＰＵ１２１は、撮像画像Ｉ（ｊ、ｉ）に基づいて、第１視点画像Ｉ_１（第ｋ視点画像Ｉ_ｋ）のＲＧＢごとのシェーディング補正処理（光量補正処理）を行う。なお、以降の処理についてもＣＰＵ１２１が実行する場合を例に説明するが、その一部または全部を画像処理回路１２５が実行してもよい。

ここで、図１１を参照して、第１視点画像および第２視点画像（第１視点画像〜第Ｎ_ＬＦ視点画像）の瞳ずれによるシェーディングについて説明する。図１１は、シェーディングの説明図であり、撮像素子１０７の周辺像高における光電変換部３０１が受光する瞳部分領域５０１、光電変換部３０２が受光する瞳部分領域５０２、および、結像光学系の射出瞳４００の関係を示す。図１１では、光電変換部３０１、３０２（第１光電変換部〜第Ｎ_ＬＦ光電変換部）は、それぞれ、副画素２０１、２０２（第１副画素〜第Ｎ_ＬＦ副画素）に対応する。

図１１（ａ）は、結像光学系の射出瞳距離Ｄｌと撮像素子１０７の設定瞳距離Ｄｓとが同じ場合を示す。この場合、瞳部分領域５０１、５０２により、結像光学系の射出瞳４００は、概ね均等に瞳分割される。これに対して、図１１（ｂ）に示されるように、結像光学系の射出瞳距離Ｄｌが撮像素子１０７の設定瞳距離Ｄｓよりも短い場合、撮像素子１０７の周辺像高では、射出瞳４００と撮像素子１０７の入射瞳との瞳ずれが生じる。その結果、射出瞳４００は、不均一に瞳分割される。図１１（ｂ）の例では、瞳部分領域５０１に対応する第１視点画像の実効絞り値は、瞳部分領域５０２に対応する第２視点画像の実効絞り値よりも小さい（明るい）値となる。反対側の像高（不図示）では、逆に、瞳部分領域５０１に対応する第１視点画像の実効絞り値は、瞳部分領域５０２に対応する第２視点画像の実効絞り値より大きい（暗い）値となる。

同様に、図１１（ｃ）に示されるように、結像光学系の射出瞳距離Ｄｌが撮像素子１０７の設定瞳距離Ｄｓよりも長い場合、撮像素子１０７の周辺像高では、射出瞳４００と撮像素子１０７の入射瞳との瞳ずれが生じる。その結果、射出瞳４００は、不均一に瞳分割される。図１１（Ｃ）の例では、瞳部分領域５０１に対応する第１視点画像の実効絞り値は、瞳部分領域５０２に対応する第２視点画像の実効絞り値よりも大きい（暗い）値となる。反対側の像高（不図示）では、逆に、瞳部分領域５０１に対応する第１視点画像の実効絞り値は、瞳部分領域５０２に対応する第２視点画像の実効絞り値よりも小さい（明るい）値となる。周辺像高で瞳分割が不均一になるのに伴い、第１視点画像と第２視点画像の強度も不均一になり（すなわち光量分布が偏り）、第１視点画像と第２視点画像のいずれか一方の強度が大きくなり、他方の強度が小さくなるシェーディングが生じる。このようなシェーディングは、ＲＧＢごと（色ごと）に生じる。

本実施例のＣＰＵ１２１は、良好な画質品位の各視点画像を生成するため、図９のステップＳ１にて、撮像画像Ｉ（ｊ、ｉ）を基準の参照画像として、第１視点画像Ｉ_１（第ｋ視点画像Ｉ_ｋ）のＲＧＢごとのシェーディング補正（光量補正）を行う。

ステップＳ１において、ＣＰＵ１２１は、まず、撮像画像Ｉ（ｊ、ｉ）と第１視点画像Ｉ_１（ｊ、ｉ）のいずれもが、非飽和かつ非欠陥（非キズ）である有効画素Ｖ_１（ｊ、ｉ）を検出する。撮像画像Ｉ（ｊ、ｉ）と第１視点画像Ｉ_１（ｊ、ｉ）のいずれもが、非飽和かつ非欠陥である有効画素は、Ｖ_１（ｊ、ｉ）＝１とする。一方、撮像画像Ｉ（ｊ、ｉ）と第１視点画像Ｉ_１（ｊ、ｉ）のいずれかが、飽和もしくは欠陥と検出された非有効画素は、Ｖ_１（ｊ、ｉ）＝０とする。第ｋ視点画像Ｉ_ｋのシェーディング（光量）補正の場合は、同様に、撮像画像Ｉ（ｊ、ｉ）と第ｋ視点画像Ｉ_ｋ（ｊ、ｉ）のいずれもが、非飽和かつ非欠陥である有効画素をＶ_ｋ（ｊ、ｉ）とする。

ＣＰＵ１２１は、撮像信号の飽和判定閾値をＩＳとして、撮像画像Ｉ（ｊ、ｉ）＞ＩＳの場合、撮像画像Ｉ（ｊ、ｉ）を飽和と判定する。一方、撮像画像Ｉ（ｊ、ｉ）≦ＩＳの場合、撮像画像Ｉ（ｊ、ｉ）を非飽和と判定する。同様に、ＣＰＵ１２１は、第ｋ視点画像の飽和判定閾値をＩＳｋとして、第ｋ視点画像Ｉｋ（ｊ、ｉ）＞ＩＳｋの場合、第ｋ視点画像Ｉｋ（ｊ、ｉ）を飽和と判定する。一方、ＣＰＵ１２１は、第ｋ視点画像Ｉｋ（ｊ、ｉ）≦ＩＳｋの場合、第ｋ視点画像Ｉｋ（ｊ、ｉ）を非飽和と判定する。第ｋ視点画像の飽和判定閾値ＩＳｋは、撮像信号の飽和判定閾値ＩＳ以下（ＩＳｋ≦ＩＳ）である。

整数ｊ_２（１≦ｊ_２≦Ｎ_Ｖ／２）、ｉ_２（１≦ｉ_２≦Ｎ_Ｈ／２）とする。図２に例示したベイヤー配列の撮像画像Ｉを、Ｒ、Ｇｒ、Ｇｂ、Ｂごとに、撮像画像ＲＩ、ＧｒＩ、ＧｂＩ、ＢＩとする。Ｒの撮像画像はＲＩ（２ｊ_２−１、２ｉ_２−１）＝Ｉ（２ｊ_２−１、２ｉ_２−１）、Ｇｒの撮像画像はＧｒＩ（２ｊ_２−１、２ｉ_２）＝Ｉ（２ｊ_２−１、２ｉ_２）とそれぞれ表される。また、Ｇｂの撮像画像はＧｂＩ（２ｊ_２、２ｉ_２−１）＝Ｉ（２ｊ_２、２ｉ_２−１）、Ｂの撮像画像はＢＩ（２ｊ_２、２ｉ_２）＝Ｉ（２ｊ_２、２ｉ_２）とそれぞれ表される。同様に、図２に例示したベイヤー配列の第ｋ視点画像Ｉ_ｋを、Ｒ、Ｇｒ、Ｇｂ、Ｂごとに、ＲＩ_ｋ、ＧｒＩ_ｋ、ＧｂＩ_ｋ、ＢＩ_ｋとする。Ｒの撮像画像（Ｒの第ｋ視点画像）はＲＩ_ｋ（２ｊ_２−１、２ｉ_２−１）＝Ｉ_ｋ（２ｊ_２−１、２ｉ_２−１）、Ｇｒの撮像画像（Ｇｒの第ｋ視点画像）はＧｒＩ_ｋ（２ｊ_２−１、２ｉ_２）＝Ｉ_ｋ（２ｊ_２−１、２ｉ_２）とそれぞれ表される。また、Ｇｂの撮像画像（Ｇｂの第ｋ視点画像）はＧｂＩ_ｋ（２ｊ_２、２ｉ_２−１）＝Ｉ_ｋ（２ｊ_２、２ｉ_２−１）、Ｂの撮像画像（Ｂの第ｋ視点画像）はＢＩ_ｋ（２ｊ_２、２ｉ_２）＝Ｉ_ｋ（２ｊ_２、２ｉ_２）とそれぞれ表される。

ステップＳ１において、次にＣＰＵ１２１は、撮像画像ＲＩ（２ｊ_２−１、２ｉ_２−１）、ＧｒＩ（２ｊ_２−１、２ｉ_２）、ＧｂＩ（２ｊ_２、２ｉ_２−１）、ＢＩ（２ｊ_２、２ｉ_２）の射影処理を行う。具体的には、撮像画像ＲＩ（２ｊ_２−１、２ｉ_２−１）、ＧｒＩ（２ｊ_２−１、２ｉ_２）、ＧｂＩ（２ｊ_２、２ｉ_２−１）、ＢＩ（２ｊ_２、２ｉ_２）に関して、式（４Ａ）〜（４Ｄ）により、瞳分割方向（ｘ方向）と直交する方向（ｙ方向）に射影処理を行う。これにより、撮像画像の射影信号ＲＰ（２ｉ_２−１）、ＧｒＰ（２ｉ_２）、ＧｂＰ（２ｉ_２−１）、ＢＰ（２ｉ_２）が生成される。飽和信号値や欠陥信号値には、撮像画像のＲＧＢごとのシェーディングを正しく検出するための情報が含まれていない。そのため、撮像画像と有効画素Ｖ_ｋとの積を取り、飽和信号値や欠陥信号値を除外して、射影処理を行い（式（３Ａ）上段から式（３Ｄ）上段の分子）、射影処理に用いられた有効画素数で規格化（式（３Ａ）上段から式（３Ｄ）上段の分母）を行う。射影処理に用いられた有効画素数が０の場合、式（３Ａ）下段〜式（３Ｄ）下段により、撮像画像の射影信号を０に設定する。さらに、撮像画像の射影信号が、ノイズの影響などで負信号となった場合、撮像画像の射影信号を０に設定する。同様に、第ｋ視点画像ＲＩ_ｋ（２ｊ_２−１、２ｉ_２−１）、ＧｒＩ_ｋ（２ｊ_２−１、２ｉ_２）、ＧｂＩ_ｋ（２ｊ_２、２ｉ_２−１）、ＢＩ_ｋ（２ｊ_２、２ｉ_２）を、式（３Ｅ）〜（３Ｈ）により、瞳分割方向（ｘ方向）と直交する方向（ｙ方向）に射影処理を行う。これにより、第ｋ視点画像の射影信号ＲＰ_ｋ（２ｉ_２−１）、ＧｒＰ_ｋ（２ｉ_２）、ＧｂＰ_ｋ（２ｉ_２−１）、ＢＰ_ｋ（２ｉ_２）を生成する。

ＣＰＵ１２１は、式（４Ａ）〜（４Ｈ）の射影処理後、ローパスフィルタ処理を行う。ローパスフィルタ処理は、撮影画像の射影信号ＲＰ（２ｉ_２−１）、ＧｒＰ（２ｉ_２）、ＧｂＰ（２ｉ_２−１）、ＢＰ（２ｉ_２）と、第ｋ視点画像の射影信号ＲＰ_ｋ（２ｉ_２−１）、ＧｒＰ_ｋ（２ｉ_２）、ＧｂＰ_ｋ（２ｉ_２−１）、ＢＰ_ｋ（２ｉ_２）に行われる。これにより、撮影画像の射影信号の平滑化が行われる。ただし、ローパスフィルタ処理を省略してもよい。

図１２は、撮像画像の射影信号、第１視点画像の射影信号、および、シェーディング関数の説明図である。図１２の上段は、撮像画像の射影信号ＲＰ（Ｒ）、ＧｒＰ（Ｇ）、ＧｂＰ（Ｇ）、ＢＰ（Ｂ）の例を示している。図１２の中段は、第１視点画像の射影信号ＲＰ_１（Ｒ）、ＧｒＰ_１（Ｇ）、ＧｂＰ_１（Ｇ）、ＢＰ_１（Ｂ）の例を示している。図１２（上段）及び図１２（中段）の縦軸は信号強度を表している。各射影信号には、被写体に依存した複数の山谷の起伏が生じる。第１視点画像Ｉ_１（第ｋ視点画像Ｉ_ｋ）のシェーディング補正を高精度に行うには、瞳ずれにより生じている第１視点画像Ｉ_１（第ｋ視点画像Ｉ_ｋ）のＲＧＢごとのシェーディング成分（光量のずれ）と、被写体のＲＧＢ毎の信号成分とを分離する必要がある。

ステップＳ１にて、ＣＰＵ１２１は、式（４Ａ）〜（４Ｄ）により、撮像画像を基準とした相対的な第ｋ視点画像Ｉ_ｋのＲＧＢごとのシェーディング信号ＲＳ_ｋ（２ｉ_２−１）、ＧｒＳ_ｋ（２ｉ_２）、ＧｂＳ_ｋ（２ｉ_２−１）、ＢＳ_ｋ（２ｉ_２）を算出する。

画素の受光量は、副画素の受光量より大きく、さらに、シェーディング成分の算出には、副画素の受光量が０より大きい必要がある。そのため、条件式ＲＰ（２ｉ_２−１）＞ＲＰ_ｋ（２ｉ_２−１）＞０を満たす場合、式（４Ａ）により、Ｒの第ｋ視点画像の射影信号ＲＰ_ｋ（２ｉ_２−１）と、Ｒの撮像画像の射影信号ＲＰ（２ｉ_２−１）との比を取得する。そして、規格化のため瞳分割数Ｎ_ＬＦを乗算して、第ｋ視点画像Ｉ_ｋのＲのシェーディング信号ＲＳ_ｋ（２ｉ_２−１）を生成する。これにより、被写体が保有しているＲの信号成分を相殺し、第ｋ視点画像Ｉ_ｋのＲのシェーディング成分を分離することができる。一方、条件式ＲＰ（２ｉ_２−１）＞ＲＰ_ｋ（２ｉ_２−１）＞０を満たさない場合、第ｋ視点画像Ｉ_ｋのＲのシェーディング信号ＲＳ_ｋ（２ｉ_２−１）を０に設定する。

同様に、条件式ＧｒＰ（２ｉ_２）＞ＧｒＰ_ｋ（２ｉ_２）＞０を満たす場合、式（４Ｂ）により、Ｇｒの第ｋ視点画像の射影信号ＧｒＰ_ｋ（２ｉ_２）と、Ｇｒの撮像画像の射影信号ＧｒＰ（２ｉ_２）との比を取得する。そして、規格化のため瞳分割数Ｎ_ＬＦを乗算して、第ｋ視点画像Ｉ_ｋのＧｒのシェーディング信号ＧｒＳ_ｋ（２ｉ_２）を生成する。これにより、被写体が保有しているＧｒの信号成分を相殺し、第ｋ視点画像Ｉ_ｋのＧｒのシェーディング成分を分離することができる。一方、条件式ＧｒＰ（２ｉ_２）＞ＧｒＰ_ｋ（２ｉ_２）＞０を満たさない場合、第ｋ視点画像Ｉ_ｋのＧｒのシェーディング信号ＧｒＳ_ｋ（２ｉ_２）を０に設定する。

同様に、ＣＰＵ１２１は、式（４Ｃ）および式（４Ｄ）に従って、第ｋ視点画像Ｉ_ｋのＧｂのシェーディング信号ＧｂＳ_ｋ（２ｉ_２−１）及び第ｋ視点画像Ｉ_ｋのＢのシェーディング信号ＢＳ_ｋ（２ｉ_２）を生成する。

なお、光量補正精度を高精度に行うため、有効なシェーディング信号が十分存在する場合にのみ光量補正を行うようにしてもよい。例えば、ＲＳ_ｋ（２ｉ_２−１）＞０、ＧｒＳ_ｋ（２ｉ_２）＞０、ＧｂＳ_ｋ（２ｉ_２−１）＞０、ＢＳ_ｋ（２ｉ_２）＞０を満たす有効なシェーディング信号数が所定値以上である場合に、光量補正を行うようにすればよい。

ステップＳ１において、次にＣＰＵ１２１は、式（５Ａ）〜（５Ｄ）で表されるような演算処理を行う。これにより、第ｋ視点画像Ｉ_ｋのＲＧＢ毎のシェーディング関数ＲＳＦ_ｋ（２ｉ_２−１）、ＧｒＳＦ_ｋ（２ｉ_２）、ＧｂＳＦ_ｋ（２ｉ_２−１）、ＢＳＦ_ｋ（２ｉ_２）を、瞳分割方向（ｘ方向）の位置変数に対する滑らかなＮ_ＳＦ次の多項式関数とする。また、前述のように、ＲＳ_ｋ（２ｉ_２−１）＞０、ＧｒＳ_ｋ（２ｉ_２）＞０、ＧｂＳ_ｋ（２ｉ_２−１）＞０、ＢＳ_ｋ（２ｉ_２）＞０を満たす有効なシェーディング信号を、シェーディング関数に入力するデータ点とする。ＣＰＵ１２１は、これらのデータ点を用いて、最小二乗法によるパラメーターフィッティングを行い、式（５Ａ）〜（５Ｄ）の各係数ＲＳＣ_ｋ（μ）、ＧｒＳＣ_ｋ（μ）、ＧｂＳＣ_ｋ（μ）、ＢＳＣ_ｋ（μ）を算出する。

このようにして、ＣＰＵ１２１は、撮像画像を基準とした相対的な第ｋ視点画像Ｉ_ｋのＲＧＢ毎のシェーディング関数ＲＳＦ_ｋ（２ｉ_２−１）、Ｇ_ｒＳＦ_ｋ（２ｉ_２）、Ｇ_ｂＳＦ_ｋ（２ｉ_２−１）、ＢＳＦ_ｋ（２ｉ_２）を生成することができる。シェーディング関数を用いた統計処理により、ｘ方向の位置に応じた統計的なシェーディングの発生傾向に基づいてシェーディング信号を調整することができるため、滑らかな光量補正を行うことができる。

シェーディング関数ＲＳＦ_ｋ、ＧｒＳＦ_ｋ、ＧｂＳＦ_ｋ、ＢＳＦ_ｋを、瞳分割方向（ｘ方向）に反転した関数を、それぞれ、Ｒ［ＲＳＦ_ｋ］、Ｒ［ＧｒＳＦ_ｋ］、Ｒ［ＧｂＳＦ_ｋ］、Ｒ［ＢＳＦ_ｋ］とする。ここで、所定許容値をε（０＜ε＜１）として、１−ε≦ＲＳＦ_ｋ＋Ｒ［ＲＳＦ_ｋ］≦１＋ε、１−ε≦ＧｒＳＦ_ｋ＋Ｒ［ＧｒＳＦ_ｋ］≦１＋ε、１−ε≦ＧｂＳＦ_ｋ＋Ｒ［ＧｂＳＦ_ｋ］≦１＋ε、１−ε≦ＢＳＦ_ｋ＋Ｒ［ＢＳＦ_ｋ］≦１＋εの各条件式を考える。各条件式が、各位置において全て満たされる場合、検出されたシェーディング関数は適正であると判定し、式（６Ａ）〜式（６Ｄ）の処理を行う。それ以外の場合、検出されたシェーディング関数は不適正であると判定し、ＲＳＦ_ｋ≡１、ＧｒＳＦ_ｋ≡１、ＧｂＳＦ_ｋ≡１、ＢＳＦ_ｋ≡１とし、必要に応じて、例外処理を行う。

図１２の下段は、撮像画像を基準とした相対的な第１視点画像Ｉ_１のＲＧＢ毎のシェーディング関数ＲＳＦ_１（Ｒ）、ＧｒＳＦ_１（Ｇ）、ＧｂＳＦ_１（Ｇ）、ＢＳＦ_１（Ｂ）の例を示している。図１２の中段の第１視点画像の射影信号と、図１２の上段の撮影画像の射影信号では、被写体に依存した山谷の起伏が存在する。これに対して、第１視点画像の射影信号と撮影画像の射影信号の比を得ることにより、被写体に依存した山谷の起伏（被写体が保有しているＲＧＢ毎の信号値）を相殺し、滑らかな第１視点画像Ｉ_１のＲＧＢ毎のシェーディング関数を分離して生成することができる。なお本実施例では、シェーディング関数として、多項式関数を用いたが、これに限定されるものではなく、必要に応じて、シェーディング形状に合わせて、より一般的な関数を用いてもよい。

図９のステップＳ１において、次にＣＰＵ１２１は、第ｋ視点画像Ｉ_ｋ（ｊ、ｉ）に対して、式（６Ａ）〜（６Ｄ）により、ＲＧＢ毎のシェーディング関数を用いて、シェーディング（光量）補正処理を行う。これにより、光量補正後の第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋ（ｊ、ｉ）が生成される。ここで、ベイヤー配列の第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋを、Ｒ、Ｇｒ、Ｇｂ、Ｂごとに、以下のように表す。すなわち、Ｒの第ｋ視点（第１修正）画像をＲＭ_１Ｉ_ｋ（２ｊ_２−１、２ｉ_２−１）＝Ｍ_１Ｉ_ｋ（２ｊ_２−１、２ｉ_２−１）、Ｇｒの第ｋ視点（第１修正）画像をＧｒＭ_１Ｉ_ｋ（２ｊ_２−１、２ｉ_２）＝Ｍ_１Ｉ_ｋ（２ｊ_２−１、２ｉ_２）とする。また、Ｇｂの第ｋ視点（第１修正）画像をＧｂＭ_１Ｉ_ｋ（２ｊ_２、２ｉ_２−１）＝Ｍ_１Ｉ_ｋ（２ｊ_２、２ｉ_２−１）、Ｂの第ｋ視点（第１修正）画像をＢＭ_１Ｉ_ｋ（２ｊ_２、２ｉ_２）＝Ｍ_１Ｉ_ｋ（２ｊ_２、２ｉ_２）とする。必要に応じて、光量補正後の第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋ（ｊ、ｉ）を出力画像としてもよい。

次に、図１３を参照して、図９のステップＳ１に示される第１視点画像Ｉ_１（ｊ、ｉ）のＲＧＢごとのシェーディング補正処理（光量補正処理）の効果について説明する。（ａ）は、撮像画像Ｉの例を示す。画質品位が良好な撮像画像の例である。図１３（ｂ）は、シェーディング補正前（光量補正前）の第１視点画像Ｉ_１の例を示す。結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれにより、ＲＧＢ毎のシェーディングが生じ、そのため、第１視点画像Ｉ_１（ｊ、ｉ）の右側において、輝度の低下とＲＧＢ比の変調が生じている例である。図１３（ｃ）は、シェーディング補正後（光量補正後）の第１視点（第１修正）画像Ｍ_１Ｉ_１の例を示す。撮像画像に基づいたＲＧＢ毎のシェーディング補正により、輝度の低下とＲＧＢ比の変調が修正され、撮像画像と同様に、画質品位が良好なシェーディング補正後の第１視点（第１修正）画像Ｍ_１Ｉ_１（ｊ、ｉ）が生成される。

このように本実施形態では、撮像画像と視点画像とを用いて、撮像画像の被写体による信号変化と視点画像の被写体による信号変化とを相殺して、ＲＧＢごとのシェーディング関数（すなわち瞳ずれによって生じる光量のずれ）を算出する。そして、シェーディング関数の逆数によりＲＧＢごとの光量補正量（シェーディング補正量）を算出する。従って、算出した光量補正量（光量補正量）に基づき、視点画像の光量補正処理を行うことができる。

なおＣＰＵ１２１は、必要に応じて、ステップＳ１に続いて以下の処理を行ってもよい。図９のステップＳ２において、ＣＰＵ１２１は、撮像画像Ｉに基づいて、シェーディング補正後の第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋの欠陥補正を行う。続いて、図１０のステップＳ３において、ＣＰＵ１２１は、撮像画像Ｉ（ｊ、ｉ）と、第ｋ視点（第３修正）画像Ｍ_３Ｉ_ｋ（ｊ、ｉ）とに対して、飽和信号処理を行う。続いてステップＳ４において、ＣＰＵ１２１は、修正撮像画像ＭＩ（ｊ、ｉ）と、第１視点（第４修正）画像Ｍ_４Ｉ_１（ｊ、ｉ）とから、第２視点画像Ｉ_２（ｊ、ｉ）を生成する。続いてステップＳ５において、ＣＰＵ１２１は、第１視点（第４修正）画像Ｍ_４Ｉ_１（ｊ、ｉ）と、第２視点画像Ｉ_２（ｊ、ｉ）に対して、シェーディング補正（光量補正）を行う。 続いてステップＳ６において、ＣＰＵ１２１は、第１視点（第５修正）画像Ｍ_５Ｉ_１（ｊ、ｉ）と、第２視点（第５修正）画像Ｍ_５Ｉ_２（ｊ、ｉ）に対して、飽和信号処理を行う。これにより、出力画像である修正第１視点画像ＭＩ_１（ｊ、ｉ）と修正第２視点画像ＭＩ_２（ｊ、ｉ）とが生成される。

以上のとおり、光量補正量（シェーディング補正量）は撮影レンズ（結像光学系）に依存する補正値である。このため、後述する像ずれ量換算係数、および、合焦位置ずれ量とは異なり、被写体に依存しない補正値であるため、焦点位置算出する際の評価帯域が異なる場合においても撮影レンズの撮影条件が同じであれば同じ補正値となる。

（フィルタ処理）
次に、第１視点画像と第２視点画像（第１視点画像から第Ｎ_ＬＦ視点画像）から、第１視点画像と第２視点画像の相関（信号の一致度）に基づき、位相差方式によりデフォーカス量を検出する焦点検出処理について説明する。なお、以下の説明では、ＣＰＵ１２１が処理を実行する例を説明するが、画像処理回路１２５が実行してもよい。

まず、ＣＰＵ１２１は、ベイヤー配列のＲＧＢ信号である第ｋ視点画像Ｉｋ（ｋ＝１〜Ｎ_ＬＦ）から、位置（ｊ，ｉ）ごとに、各色ＲＧＢの色重心を一致させて、第ｋ視点輝度信号Ｙｋを、以下の式（７）に従って生成する。

次に、ＣＰＵ１２１（フィルタ処理手段１２１ｂ）は、以下の式（８）に従って、第ｋ視点輝度信号Ｙｋ（ｋ＝１〜Ｎ_ＬＦ）の光量補正量Ｓ_ｋ（ｉ）を、瞳分割方向（ｘ方向）の位置ｉに対する滑らかなＮ_Ｓ次の多項式関数として算出する。そしてＣＰＵ１２１は、撮像素子１０７の光学特性（第ｋ副画素ごとの瞳強度分布）と、結像光学系の光学特性（絞り値Ｆ、射出瞳距離Ｄｌ）とに基づいて、予め、各係数ＳＣ_ｋ（μ|Ｆ、Ｄｌ）を算出し、ＲＯＭ等の記憶部１３４に保存しておく。

次に、ＣＰＵ１２１は、第ｋ視点輝度信号Ｙｋ（ｊ、ｉ）に対して、式（９）に従って、光量補正量Ｓ_ｋ（ｉ）を用いた光量補正処理を行い、第ｋ修正視点輝度信号ＭＹｋ（ｊ、ｉ）を生成する。

ＣＰＵ１２１は、生成された第１修正視点輝度信号ＭＹ_１に対して、瞳分割方向（列方向）に、１次元バンドパスフィルタ処理を行い、第１焦点検出信号ｄＹＡを生成する。同様に、ＣＰＵ１２１は、第２修正視点輝度信号ＭＹ_２に対して、瞳分割方向（列方向）に、１次元バンドパスフィルタ処理を行い、第２焦点検出信号ｄＹＢを生成する。複数の評価帯域で焦点検出を行う場合には、ＣＰＵ１２１（決定手段１２１ａ）は、ＡＦ信号の周波数帯域やコントラスト、過去のデフォーカス情報等を用いて評価帯域を決定し、バンドパスフィルタを使い分けることで焦点検出精度を向上させることが可能である。後述する像ずれ量換算係数、合焦位置ずれ量は、バンドパスフィルタの評価帯域に応じて適切な値を撮像装置に記憶することで、焦点検出精度向上を図ることが可能である。

（像ずれ量算出処理）
次に、ＣＰＵ１２１は、第１焦点検出信号ｄＹＡと第２焦点検出信号ｄＹＢとを、相対的に瞳分割方向（列方向）にシフトさせて、信号の一致度を表す相関量を算出し、算出した相関量に基づいて像ずれ量Ｍ_ＤＩＳを生成する。

例えば、焦点検出位置（ｊ_ＡＦ、ｉ_ＡＦ）を中心として、行方向ｊ_２番目、瞳分割方向である列方向ｉ_２番目の第１焦点検出信号をｄＹＡ（ｊ_ＡＦ＋ｊ_２、ｉ_ＡＦ＋ｉ_２）、第２焦点検出信号をｄＹＢ（ｊ_ＡＦ＋ｊ_２、ｉ_ＡＦ＋ｉ_２）とする。但し、ｊ_２は−ｎ_２≦ｊ_２≦ｎ_２、ｉ_２は−ｍ_２≦ｉ_２≦ｍ_２である。さらに、シフト量をｓ（−ｎ_ｓ≦ｓ≦ｎ_ｓ）とすると、各位置（ｊ_ＡＦ，ｉ_ＡＦ）での相関量ＣＯＲ_ＥＶＥＮ（ｊ_ＡＦ，ｉ_ＡＦ、ｓ）および相関量ＣＯＲ_ＯＤＤ（ｊ_ＡＦ，ｉ_ＡＦ、ｓ）はそれぞれ、以下の式（１０Ａ）および式（１０Ｂ）により算出することができる。

なお、相関量ＣＯＲ_ＯＤＤ（ｊ_ＡＦ，ｉ_ＡＦ、ｓ）は、相関量ＣＯＲ_ＥＶＥＮ（ｊ_ＡＦ，ｉ_ＡＦ、ｓ）に対して、第１焦点検出信号ｄＹＡと第２焦点検出信号ｄＹＢのシフト量を半位相−１シフトずらした相関量である。

ＣＰＵ１２１は、相関量ＣＯＲ_ＥＶＥＮ（ｊ_ＡＦ，ｉ_ＡＦ、ｓ）と相関量ＣＯＲ_ＯＤＤ（ｊ_ＡＦ，ｉ_ＡＦ、ｓ）から、それぞれ、サブピクセル演算を行って、相関量が最小値となる実数値のシフト量を算出する。さらに、算出したシフト量の平均値を算出し、焦点検出位置（ｊ_ＡＦ、ｉ_ＡＦ）における像ずれ量Ｄｉｓ（ｊ_ＡＦ、ｉ_ＡＦ）を検出する。

（デフォーカス量算出処理）
予め記憶された像ずれ量変換係数がある場合、ＣＰＵ１２１（算出手段１２１ｃ）は、各焦点検出位置（ｊ_ＡＦ、ｉ_ＡＦ）におけるデフォーカス量Ｍ_Ｄｅｆ（ｊ_ＡＦ、ｉ_ＡＦ）を検出する。デフォーカス量Ｍ_Ｄｅｆ（ｊ_ＡＦ、ｉ_ＡＦ）は、像ずれ量からデフォーカス量への変換係数である像ずれ量変換係数Ｋを、焦点検出領域の像高位置ごとに像ずれ量Ｄｉｓ（ｊ_ＡＦ、ｉ_ＡＦ）に乗算することにより検出することができる。その後、ＣＰＵ１２１は、焦点検出位置（ｊ_ＡＦ、ｉ_ＡＦ）で検出されたデフォーカス量Ｍ_Ｄｅｆ（ｊ_ＡＦ、ｉ_ＡＦ）に応じて合焦位置にレンズを駆動して、焦点検出処理を終了する。

また、予め記憶された合焦位置ずれ量がある場合、ＣＰＵ１２１（算出手段１２１ｃ）は、焦点検出位置（ｊ_ＡＦ、ｉ_ＡＦ）で検出されたデフォーカス量Ｍ_Ｄｅｆ（ｊ_ＡＦ、ｉ_ＡＦ）を合焦位置ずれ量を用いて補正する。そしてＣＰＵ１２１は、合焦位置にレンズを駆動して、焦点検出処理を終了する。後述で詳細は説明するが、焦点検出で算出したデフォーカス量Ｍ_Ｄｅｆが０（＝撮影装置が認識している合焦位置）を示した場合においても、収差や演算処理の仕様に応じて人間が合焦と感じるピント位置との間にずれが生じてしまうことがある。このピント位置のずれを焦点検出で算出したデフォーカス量を補正することで改善するのが合焦位置ずれ量ΔＭ_Ｄｅｆである。

最後に、ＣＰＵ１２１は、焦点検出位置（ｊ_ＡＦ、ｉ_ＡＦ）で検出されたデフォーカス量Ｍ_Ｄｅｆ（ｊ_ＡＦ、ｉ_ＡＦ）に応じて合焦位置にレンズを駆動して、焦点検出処理を終了する。

（像ずれ量換算係数算出方法）
次に、図１４を参照して、像ずれ量変換係数を記録画像から算出する方法について説明する。像ずれ量変換係数は、像ずれ量算出処理にて算出された像ずれ量を、撮影レンズのフォーカス量に換算するための係数である。よって、像ずれ量と撮影レンズのフォーカス量との対応関係を抽出することで、像ずれ量換算係数を算出することができる。

図１４は像ずれ量換算係数の算出方法の説明図である。図１４において、横軸は測定デフォーカス量ＭｅｓｕｒｅＭ_Ｄｅｆ、縦軸は像ずれ量Ｄｉｓをそれぞれ示す。１４０１は、測定デフォーカス量における像ずれ量を表している。像ずれ量換算係数を算出する際には、図１４における測定デフォーカス量ＭｅｓｕｒｅＭ_Ｄｅｆのグラフの傾きを抽出すればよい。撮影レンズをパルス駆動して制御する場合、測定デフォーカス量のプロット間隔は撮影レンズの駆動パルス数にレンズ敏感度（撮影レンズを１パルス駆動する際に変化するピント量）を乗じることで算出可能である。このため、像ずれ量換算係数は、測定デフォーカス量を所定間隔で振って被写体を測定し、その際の像ずれ量を図１４の１４０１ようにプロットし、傾きの逆数を算出することで、取得することができる。

像ずれ量変換係数は、焦点検出位置（ｊ_ＡＦ、ｉ_ＡＦ）に応じて変化する。このため、算出した像ずれ量変換係数を高精度で、かつ容量を低減して記憶するには、撮像素子１０７の所定の焦点検出位置（ｊ_ＡＦ、ｉ_ＡＦ）ごとに、焦点検出位置（ｊ_ＡＦ、ｉ_ＡＦ）を変数とした多項式近似し、多項式近似関数の係数を記憶することが好ましい。

（合焦位置ずれ量算出方法）
次に、図１５を参照して、合焦位置ずれ量の算出方法について説明する。図１５は、合焦位置ずれ量の算出方法の説明図である。図１５において、横軸は測定デフォーカス量ＭｅｓｕｒｅＭ_Ｄｅｆ、縦軸は撮像装置により算出されたデフォーカス量Ｍ_Ｄｅｆをそれぞれ示す。ΔＭ_Ｄｅｆは、正しい像ずれ量換算係数を用いた場合の合焦位置ずれ量である。ΔＭ_{Ｄｅｆ error}は、誤差のある像ずれ量換算係数を用いた場合の合焦位置ずれ量である。１５０１は、正しい像ずれ量換算係数の場合の測定デフォーカス量と撮像装置が算出したデフォーカス量との関係を示す実線である。１５０２は、誤差がある像ずれ量換算係数の場合の測定デフォーカス量と撮像装置が算出したデフォーカス量との関係を示す破線である。

合焦位置ずれ量とは、測定デフォーカス量ＭｅｓｕｒｅＭ_Ｄｅｆが０のときの撮像装置が算出したデフォーカス量Ｍ_Ｄｅｆである。正しい像ずれ量換算係数を用いてデフォーカス量算出を行う場合、正しい像ずれ量換算係数の場合の測定デフォーカス量の変化量と撮像装置が算出したデフォーカス量の変化量は一致する。このため、図１５の実線１５０１と横軸の切片（Ｍ_Ｄｅｆ＝０）の値は、−ΔＭ_Ｄｅｆとなる。

次に、誤差のある像ずれ量換算係数を用いてデフォーカス量算出を行う場合の合焦位置ずれ量を説明する。像ずれ量換算係数に誤差がある場合、図１５の破線１５０２で示されるように、正しい像ずれ量換算係数でデフォーカス量算出した場合と比べてグラフの傾きが変化する。その結果、縦軸との切片（ＭｅｓｕｒｅＭ_Ｄｅｆ＝０の時）がずれるため、合焦位置ずれ量はΔＭ_{Ｄｅｆ error}になり、ΔＭ_Ｄｅｆと比較して誤差が生じる。よって、高精度な合焦位置ずれ量を算出するには、高精度な像ずれ量換算係数を用いて算出する必要がある。

既存の技術としては、バンドパスフィルタの評価帯域と合焦位置ずれ量の評価帯域を合わせたものが公開されている。しかしながら、より高精度な焦点検出を実現するには、バンドパスフィルタ、像ずれ量換算係数、合焦位置ずれ量の全ての評価帯域を合わせることが重要である。

合焦位置ずれ量は、像ずれ量換算係数同様、焦点検出位置（ｊ_ＡＦ、ｉ_ＡＦ）に応じて変化する。このため、算出した合焦位置ずれ量を高精度で、かつ、容量を低減して撮像装置に記憶するため、撮像素子１０７の所定の焦点検出位置（ｊ_ＡＦ、ｉ_ＡＦ）ごとに算出することが好ましい。また、焦点検出位置（ｊ_ＡＦ、ｉ_ＡＦ）を変数とした多項式近似を行い、多項式近似関数の係数を撮像装置に記憶することが好ましい。

（像ずれ量換算係数・合焦位置ずれ量の評価帯域による変化）
焦点検出の際における像ずれ量は、ＡＦ信号の評価帯域に応じて変化する。これは、被写体の空間周波数と焦点検出の評価帯域の兼ね合いによって強調されるＡＦ信号の帯域が変化するためである。すなわち、評価帯域に応じて像ずれ量換算係数および合焦位置ずれ量がそれぞれ変化する。評価帯域は、前述のバンドパスフィルタの通過帯域を変更することで変更可能である。本実施形態では、評価帯域ごとに適切な像ずれ量換算係数および合焦位置ずれ量を用いて、焦点検出を行う。

（補正量記録形態）
次に、図１８を参照して、補正量記録形態について説明する。図１８は、データを記憶する記憶手段（記憶部１３４）の説明図である。カメラ交換システムにおいて焦点検出精度の向上を目的とした補正量（光量補正量、像ずれ量換算係数、合焦位置ずれ量）を算出する場合、カメラと撮影レンズとの組み合わせごとに補正量は異なる。このため、カメラと撮影レンズの組み合わせ毎で補正量を持つことが好ましい。その際、像ずれ量換算係数と合焦位置ずれ量とを含むデータは、図１８に示されるように、バンドパスフィルタに対応して評価帯域ごとに対応付けられる形式で（各バンドパスフィルタの評価帯域ごとに１対１対応で関連付けられて）記憶されていることが好ましい。

例えば、記憶部１３４は、グループ１８０１として、評価帯域１に対応するバンドパスフィルタ１、像ずれ量換算係数群１、および、合焦位置ずれ量群１をそれぞれ関連付けて記憶する。また記憶部１３４は、グループ１８０２として、評価帯域２に対応するバンドパスフィルタ２、像ずれ量換算係数群２、および、合焦位置ずれ量群２をそれぞれ関連付けて記憶する。同様に、記憶部１３４は、グループ１８０３として、評価帯域３に対応するバンドパスフィルタ３、像ずれ量換算係数群３、および、合焦位置ずれ量群３をそれぞれ関連付けて記憶する。

続いて、補正量として記録すべき撮影条件を説明する。撮影レンズの撮影条件は、絞り値、ズーム位置、フォーカス位置、によって規定される。よって、高精度な焦点検出を実現する補正量を取得するためには、焦点検出に必要な条件数だけ絞り値、ズーム位置、フォーカス位置を振った補正量を記録する必要がある。メモリ容量の制約等により、焦点検出に必要な条件数全てを記録できない場合には、所定の撮影条件数だけ絞り値、ズーム位置、フォーカス位置を振った補正量を記録し、測定位置以外の撮影条件の補正量を使用する場合には、補間演算により算出してもよい。

光量補正量に関しては、前述の撮影条件（絞り値、ズーム位置、フォーカス位置）をカメラに記録すれば高精度な焦点検出を行うことが可能である。加えて、像ずれ量換算係数と合焦位置ずれ量は、前述の条件の他に、ＡＦの評価帯域に応じて記録する必要がある。

（複数の評価帯域の補正量を用いて焦点検出する方法）
次に、図１６を参照して、本実施形態における焦点検出方法について説明する。図１６は、本実施形態における焦点検出方法をフローチャートである。図１６の処理は、ＣＰＵ１２１が記憶部１３４等のＲＯＭに記憶されたプログラムをＲＡＭに展開、実行することにより実行される。また、撮像素子１０７や画像処理回路１２５は、ＣＰＵ１２１の指示に応じて動作する。

複数の評価帯域で焦点検出を高精度に行うには、バンドパスフィルタの通過帯域（ＡＦ信号の評価帯域）に適した像ずれ量換算係数および合焦位置ずれ量の評価帯域を用いることが必要である。以下、図１６を参照して、評価帯域ごとに算出した像ずれ量換算係数および合焦位置ずれ量を用いた焦点検出方法を説明する。

まず、ステップＳ１６０１において、ＣＰＵ１２１は、撮像素子１０７を用いて、視点画像を取得する。続いてステップＳ１６０２において、ＣＰＵ１２１は、焦点検出条件（絞り値、ズーム位置、フォーカス位置、焦点検出位置（ｊ_ＡＦ、ｉ_ＡＦ）等の撮影条件）を取得する。またステップＳ１６０２において、ＣＰＵ１２１は、過去のデフォーカス情報に基づいて評価帯域を設定（決定）する。例えば、ＣＰＵ１２１は、過去のデフォーカス量の絶対値が大きい場合、評価帯域を低く設定する。一方、ＣＰＵ１２１は、過去のデフォーカス量の絶対値が小さい場合、評価帯域を高く設定する。過去のデフォーカス量に関する情報がない場合、ＣＰＵ１２１は、高低の複数の評価帯域を設定する。

なお、前述の評価帯域の設定方法は一例に過ぎず、評価帯域は３種類以上あってもよく、また、常に複数の評価帯域を設定してもよい。例えば、ＣＰＵ１２１が図１８に示される評価帯域１を設定した場合、ＣＰＵ１２１は、バンドパスフィルタ１、像ずれ量換算係数群１、および、合焦位置ずれ量群１を含むグループ１８０１の中から対応するデータを選択する。

続いてステップＳ１６０３において、ＣＰＵ１２１は、ステップＳ１６０２にて取得した焦点検出条件に応じて適切な補正量（光量補正量、像ずれ量換算係数、および、合焦位置ずれ量）を記憶部１３４（またはＣＰＵ１２１の内部メモリ）から取得する。

続いてステップＳ１６０４において、ＣＰＵ１２１は、ステップＳ１６０３にて取得した光量補正量に基づいて、ステップＳ１６０１にて取得した視点画像のうち、焦点検出位置（ｊ_ＡＦ、ｉ_ＡＦ）で焦点検出するために必要な領域に対して光量補正を行う。続いてステップＳ１６０５において、ＣＰＵ１２１は、ステップＳ１６０４にて光量補正を行った視点画像に対して、ステップＳ１６０２にて取得した評価帯域に対応するバンドパスフィルタを選択し、フィルタ処理を行う。

続いてステップＳ１６０６において、ＣＰＵ１２１は、ステップＳ１６０５にてフィルタ処理を行った視点画像に対して、像ずれ量を算出する。続いてステップＳ１６０７において、ＣＰＵ１２１は、ステップＳ１６０６にて算出された焦点検出位置（ｊ_ＡＦ、ｉ_ＡＦ）に関する像ずれ量に、ステップＳ１６０３にて取得した像ずれ量換算係数を適用する。これによりＣＰＵ１２１は、焦点検出位置（ｊ_ＡＦ、ｉ_ＡＦ）に関するデフォーカス量を算出する。

続いてステップＳ１６０８において、ＣＰＵ１２１は、ステップＳ１６０７にて算出された焦点検出位置（ｊ_ＡＦ、ｉ_ＡＦ）に関するデフォーカス量に、ステップＳ１６０３にて取得した合焦位置ずれ量を適用する。これによりＣＰＵ１２１は、焦点検出位置（ｊ_ＡＦ、ｉ_ＡＦ）に関するデフォーカス量を補正する（合焦位置ずれ量補正）。以上が、複数の評価帯域の補正量を用いて焦点検出する基本的な方法である。

以上説明したように、評価帯域ごとに適切な補正量を算出および記録し、その補正量を焦点検出に用いることで、焦点検出の精度を向上させることができる。

（第２の実施形態）
次に、図１７を参照して、第２の実施形態における焦点検出方法について説明する。図１７は、本実施形態における焦点検出方法をフローチャートである。図１７の処理は、ＣＰＵ１２１が記憶部１３４等のＲＯＭに記憶されたプログラムをＲＡＭに展開、実行することにより実行される。また、撮像素子１０７や画像処理回路１２５は、ＣＰＵ１２１の指示に応じて動作する。

第１の実施形態では、焦点検出条件の取得の際に評価帯域を決定する手法を説明した。一方、本実施形態では、光量補正後にＡＦ信号（焦点信号）を評価して評価帯域を決定する手法を説明する。以下、図１７を参照して、ＡＦ信号を評価して評価帯域を決定し、それに適した像ずれ量換算係数、および、合焦位置ずれ量を用いた焦点検出方法を説明する。

まず、ステップＳ１７０１において、ＣＰＵ１２１は、撮像素子１０７を用いて、視点画像を取得する。続いてステップＳ１７０２において、ＣＰＵ１２１は、焦点検出条件（絞り値、ズーム位置、フォーカス位置、焦点検出位置（ｊ_ＡＦ、ｉ_ＡＦ）等の撮影条件）を取得する。続いてステップＳ１７０３において、ＣＰＵ１２１は、ステップＳ１７０２にて取得した焦点検出条件に応じて予め記憶されている適切な光量補正量を記憶部１３４（またはＣＰＵ１２１の内部メモリ）から取得する。続いてステップＳ１７０４において、ＣＰＵ１２１は、ステップＳ１７０３にて取得した光量補正量に基づいて、ステップＳ１７０１にて取得した視点画像のうち、焦点検出位置（ｊ_ＡＦ、ｉ_ＡＦ）で焦点検出するために必要な領域に対して光量補正を行う。

続いてステップＳ１７０５において、ＣＰＵ１２１は、ステップＳ１７０４にて光量補正を行った視点画像の評価帯域を決定する。本実施形態において、ＣＰＵ１２１は、視点画像のコントラストや周波数解析結果に基づいて、視点画像に高周波成分が含まれている程、評価帯域を高く設定することが好ましい。またＣＰＵ１２１は、デフォーカス量を併用して評価帯域を決定してもよい。またＣＰＵ１２１は、複数の評価帯域を決定してもよい。また、コントラストや周波数解析に基づいてＡＦ信号に高周波成分が含まれているか否かを検出する方法以外の方法を用いて評価帯域を決定してもよい。ＣＰＵ１２１は、例えば、ステップＳ１７０５にて図１８に示される評価帯域１を設定した場合、第１の実施形態と同様に、バンドパスフィルタ１、像ずれ量換算係数群１、および、合焦位置ずれ量群１を含むグループ１８０１から対応するデータを選択する。

続いてステップＳ１７０６において、ＣＰＵ１２１は、ステップＳ１７０４にて光量補正を行った視点画像に対して、ステップＳ１７０５にて取得した評価帯域に対応するバンドパスフィルタを選択し、フィルタ処理を行う。続いてステップＳ１７０７において、ＣＰＵ１２１は、ステップＳ１７０６にてフィルタ処理を行った視点画像に対して、像ずれ量を算出する。

続いてステップＳ１７０８において、ＣＰＵ１２１は、ステップＳ１７０２にて取得した焦点検出条件およびステップＳ１７０５にて決定した評価帯域の情報に基づいて、適切な像ずれ量換算係数を記憶部１３４（またはＣＰＵ１２１の内部メモリ）から取得する。続いてステップＳ１７０９において、ＣＰＵ１２１は、ステップＳ１７０７にて算出された焦点検出位置（ｊ_ＡＦ、ｉ_ＡＦ）に関する像ずれ量に、ステップＳ１７０８にて取得した像ずれ量換算係数を適用する。これによりＣＰＵ１２１は、焦点検出位置（ｊ_ＡＦ、ｉ_ＡＦ）に関するデフォーカス量を算出する。

続いてステップＳ１７１０において、ＣＰＵ１２１は、ステップＳ１７０２にて取得した焦点検出条件、および、ステップＳ１７０５にて決定した評価帯域の情報に基づいて、適切な合焦位置ずれ量を記憶部１３４（またはＣＰＵ１２１の内部メモリ）から取得する。続いてステップＳ１７１１において、ＣＰＵ１２１は、ステップＳ１７０９にて算出された焦点検出位置（ｊ_ＡＦ、ｉ_ＡＦ）のデフォーカス量に、ステップＳ１７１０にて取得した合焦位置ずれ量を適用する。これによりＣＰＵ１２１は、焦点検出位置（ｊ_ＡＦ、ｉ_ＡＦ）のデフォーカス量を補正する（合焦位置ずれ量補正）。以上が、ＡＦ信号を加味して評価帯域を決定し、複数の評価帯域の補正量を用いて焦点検出する方法である。

以上説明したように、評価帯域ごとに適切な補正量を算出および記録し、その補正量を焦点検出に用いることで、焦点検出の精度を向上させることができる。

このように各実施形態において、制御装置（ＣＰＵ１２１）は、決定手段１２１ａ、フィルタ処理手段１２１ｂ、および、算出手段１２１ｃを有する。決定手段１２１ａは、撮像光学系の互いに異なる瞳領域を通過した光束に対応する像信号の評価帯域を決定する。フィルタ処理手段１２１ｂは、評価帯域に基づいて選択されたフィルタを用いて像信号のフィルタ処理を行う。算出手段１２１ｃは、フィルタ処理された像信号と評価帯域に応じて異なるデータとに基づいて、デフォーカス量を算出する。

好ましくは、制御装置は、フィルタに関する情報とデータとを評価帯域ごとに関連付けて記憶する記憶手段（ＣＰＵ１２１の内部メモリ、または、記憶部１３４）を有する。より好ましくは、算出手段は、フィルタ処理された像信号と像ずれ量換算係数と合焦位置ずれ量とに基づいてデフォーカス量を算出する。像ずれ量換算係数または合焦位置ずれ量の少なくとも一方は、評価帯域に応じて異なるデータである。より好ましくは、算出手段は、フィルタ処理された像信号と像ずれ量換算係数とに基づいてデフォーカス量（仮のデフォーカス量）を算出し、合焦位置ずれ量に基づいてデフォーカス量を補正する（最終的なデフォーカス量を算出する）。

好ましくは、記憶手段は、合焦位置ずれ量として、像高（焦点検出位置）を変数とする多項式関数の係数を記憶している。また好ましくは、記憶手段は、像ずれ量換算係数として、像高（焦点検出位置）を変数とする多項式関数の係数を記憶している。また好ましくは、記憶手段は、絞り値、ズーム位置、または、フォーカス位置の少なくとも一つに応じて異なる合焦位置ずれ量を記憶している。また好ましくは、記憶手段は、絞り値、ズーム位置、または、フォーカス位置の少なくとも一つに応じて異なる像ずれ量換算係数を記憶している。また好ましくは、制御装置は、光量補正量を用いて像信号の光量を補正する光量補正手段を有する。決定手段は、光量補正手段により補正された像信号の評価帯域を決定する。また好ましくは、記憶手段は、絞り値、ズーム位置、または、フォーカス位置の少なくとも一つに応じて異なる光量補正量を記憶している。

好ましくは、決定手段は、デフォーカス量が第１のデフォーカス量である場合、評価帯域を第１の評価帯域に決定する。一方、決定手段は、デフォーカス量が第１のデフォーカス量の絶対値よりも小さい第２のデフォーカス量である場合、評価帯域を第１の評価帯域よりも高い第２の評価帯域に決定する。

好ましくは、決定手段は、像信号のコントラストが第１のコントラストである場合、評価帯域を第１の評価帯域に決定する。一方、決定手段は、像信号のコントラストが第１のコントラストよりも高い第２のコントラストである場合、評価帯域を第１の評価帯域よりも高い第２の評価帯域に決定する。

好ましくは、決定手段は、像信号の周波数成分が第１の周波数成分である場合、評価帯域を第１の評価帯域に決定する。一方、決定手段は、像信号の周波数成分が第１の周波数成分よりも高い第２の周波数成分である場合、評価帯域を第１の評価帯域よりも高い第２の評価帯域に決定する。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施形態によれば、安定して高精度な焦点検出が可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１２１ ＣＰＵ（制御装置）
１２１ａ 決定手段
１２１ｂ フィルタ処理手段
１２１ｃ 算出手段

Claims (18)

1. 撮像光学系の互いに異なる瞳領域を通過した光束に対応する像信号の評価帯域を決定する決定手段と、
   前記評価帯域に基づいて選択されたフィルタを用いて前記像信号のフィルタ処理を行うフィルタ処理手段と、
   フィルタ処理された前記像信号と前記評価帯域に応じて異なるデータとに基づいて、デフォーカス量を算出する算出手段と、を有することを特徴とする制御装置。
2. 前記フィルタに関する情報と前記データとを前記評価帯域ごとに関連付けて記憶する記憶手段を更に有することを特徴とする請求項１に記載の制御装置。
3. 前記算出手段は、前記フィルタ処理された前記像信号と像ずれ量換算係数と合焦位置ずれ量とに基づいて前記デフォーカス量を算出し、
   前記像ずれ量換算係数または前記合焦位置ずれ量の少なくとも一方は、前記評価帯域に応じて異なる前記データであることを特徴とする請求項２に記載の制御装置。
4. 前記算出手段は、
   前記フィルタ処理された前記像信号と前記像ずれ量換算係数とに基づいて前記デフォーカス量を算出し、
   前記合焦位置ずれ量に基づいて前記デフォーカス量を補正することを特徴とする請求項３に記載の制御装置。
5. 前記記憶手段は、前記合焦位置ずれ量として、像高を変数とする多項式関数の係数を記憶していることを特徴とする請求項３または４に記載の制御装置。
6. 前記記憶手段は、前記像ずれ量換算係数として、像高を変数とする多項式関数の係数を記憶していることを特徴とする請求項３乃至５のいずれか１項に記載の制御装置。
7. 前記記憶手段は、絞り値、ズーム位置、または、フォーカス位置の少なくとも一つに応じて異なる前記合焦位置ずれ量を記憶していることを特徴とする請求項３乃至６のいずれか１項に記載の制御装置。
8. 前記記憶手段は、絞り値、ズーム位置、または、フォーカス位置の少なくとも一つに応じて異なる前記像ずれ量換算係数を記憶していることを特徴とする請求項２乃至７のいずれか１項に記載の制御装置。
9. 光量補正量を用いて前記像信号の光量を補正する光量補正手段を更に有し、
   前記決定手段は、前記光量補正手段により補正された前記像信号の前記評価帯域を決定することを特徴とする請求項２乃至８のいずれか１項に記載の制御装置。
10. 前記記憶手段は、絞り値、ズーム位置、または、フォーカス位置の少なくとも一つに応じて異なる前記光量補正量を記憶していることを特徴とする請求項９に記載の制御装置。
11. 前記決定手段は、
    前記デフォーカス量が第１のデフォーカス量である場合、前記評価帯域を第１の評価帯域に決定し、
    前記デフォーカス量が前記第１のデフォーカス量の絶対値よりも小さい第２のデフォーカス量である場合、前記評価帯域を前記第１の評価帯域よりも高い第２の評価帯域に決定することを特徴とする請求項１乃至１０のいずれか１項に記載の制御装置。
12. 前記決定手段は、
    前記像信号のコントラストが第１のコントラストである場合、前記評価帯域を第１の評価帯域に決定し、
    前記像信号の前記コントラストが前記第１のコントラストよりも高い第２のコントラストである場合、前記評価帯域を前記第１の評価帯域よりも高い第２の評価帯域に決定することを特徴とする請求項１乃至１０のいずれか１項に記載の制御装置。
13. 前記決定手段は、
    前記像信号の周波数成分が第１の周波数成分である場合、前記評価帯域を第１の評価帯域に決定し、
    前記像信号の前記周波数成分が前記第１の周波数成分よりも高い第２の周波数成分である場合、前記評価帯域を前記第１の評価帯域よりも高い第２の評価帯域に決定することを特徴とする請求項１乃至１０のいずれか１項に記載の制御装置。
14. 請求項１乃至１３のいずれか１項に記載の制御装置と、
    撮像光学系を介して形成される光学像を光電変換する撮像素子と、を有することを特徴とする撮像装置。
15. 前記撮像素子は、１つのマイクロレンズに対して複数の光電変換部を有し、該マイクロレンズが２次元状に配列されていることを特徴とする請求項１４に記載の撮像装置。
16. 撮像光学系の互いに異なる瞳領域を通過した光束に対応する像信号の評価帯域を決定するステップと、
    前記評価帯域に基づいて選択されたフィルタを用いて前記像信号のフィルタ処理を行うステップと、
    フィルタ処理された前記像信号と前記評価帯域に応じて異なるデータとに基づいて、デフォーカス量を算出するステップと、を有することを特徴とする制御方法。
17. 請求項１６に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。
18. 請求項１７に記載のプログラムを記憶していることを特徴とする記憶媒体。