JP2015154112A - 画像処理装置、その制御方法およびプログラム - Google Patents

Abstract

【課題】被写界深度を拡張した再構成画像において好適にノイズを低減することが可能な画像処理装置を提供する。【解決手段】画像処理装置は、複数の被写体距離のいずれかに合焦させた再構成画像を生成可能な画素信号を取得して、該画素信号の高周波成分の分布を特定し、該画素信号から再構成画像を生成する。画像処理装置は、高周波数成分が特定された場合に、該分布に基づいて画素信号から画素を選択して再構成画像を生成する。【選択図】図４

Description

本発明は、画像処理装置、その制御方法及びプログラムに関し、特に任意の距離の被写体に合焦した再構成画像を生成する画像処理技術に関する。

デジタルカメラ等の撮像装置の中には、撮像面に入射した被写体の反射光束の強度分布をその入射方向の情報とともに記録するものがある。このような撮像装置により記録された入射方向を含む強度分布の情報は光線空間情報（Light Field Information）とも呼ばれる。光線空間情報は入射方向ごとに反射光の強度情報を有しているため、該情報から任意の被写体距離に対応する面における反射光の強度分布を再現することもできる。従って、光線空間情報からは、任意の被写体距離に合焦した画像（再構成画像）を、光線空間情報の撮影後に生成（再構成）することができる。

また、光線空間情報からは、任意の被写体距離に合焦する再構成画像の生成において、絞り状態を変更した画像を生成することも可能である。具体的には再構成画像の１画素の生成に使用する強度情報を、所望の絞り状態において通過可能な光束に対応するものに制限することで、所望の絞り状態の再構成画像を生成することができる。

特許文献１には、結像光学系の焦点距離近傍に複数のマイクロレンズを二次元に配置することで入射光を複数の入射方向に分離して撮像し、得られたデータから任意の距離の被写体に合焦した画像を生成する方法が開示されている。また特許文献１は、所望の絞り状態の再構成画像を生成する場合に、１画素に対応する入射光に対応する画素データを入射角に応じて重み付け加算する方法を用いることを開示している。

特開２００７−４４７１号公報

しかしながら、特許文献１のように所望の絞り状態の再構成画像を生成する場合には、完成する再構成画像の画質について以下のような問題があった。

特許文献１の方法では、各マイクロレンズにより分離された入射光を受けた複数の受光素子のうち、中心の受光素子の出力データのみ重み係数を１とし、それ以外の受光素子の出力データに対しては重み係数を極めて小さい値（０）に設定している。このようにすることで絞り値が大きい状態と等価な再構成画像を生成することはできるが、再構成画像の１画素は例えばマイクロレンズに入射した光を分離した１つの光束に対応する光強度となるため、得られる再構成画像は全体的に輝度の低い画像であった。

一方で、このような輝度の低い再構成画像の輝度を適切なレベルに変更するために、全体的にゲインを適用して輝度を引き上げることが考えられるが、画像内にノイズが含まれていた場合、該ノイズも増幅されてしまう可能性があった。即ち、絞り値が大きい状態と等価な再構成画像を生成する場合、ノイズが目立つ画像となる可能性があった。

本発明は、上述の従来技術の問題点に鑑みてなされたものであり、被写界深度を拡張した再構成画像において好適にノイズを低減することが可能な画像処理装置、その制御方法およびプログラムを提供することを目的とする。

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、複数の被写体距離のいずれかに合焦させた再構成画像を生成可能な画素信号を取得する取得手段と、画素信号の高周波成分の分布を特定する特定手段と、画素信号から再構成画像を生成する生成手段と、を有し、生成手段は、特定手段により高周波成分の分布が特定された場合に、該分布に基づいて画素信号から画素を選択して再構成画像を生成することを特徴とする。

本発明によれば、被写界深度を拡張した再構成画像において好適にノイズを低減することが可能になる。

本実施形態に係る画像処理装置の一例としてのデジタルカメラの機能構成例を示すブロック図 本実施形態に係る画像処理装置における、マイクロレンズと撮像素子との関係及び射出瞳と撮像素子との関係を説明するための図 撮像面と他の被写体距離に対応する再構成面における光束の対応関係を説明するための図 被写体像に応じた加算画素制御を説明するための図 絞り状態の変更対象である主被写体とそのエッジパターンの分布を説明するための図 本実施形態に係る画像処理装置において実行される、再構成画像の生成に係る一連の処理を例示したフローチャート 被写体像に応じた加算画素制御を説明するための別の図

以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では画像処理装置の一例として、被写体からの反射光束の強度及び入射方向の情報を有する画素値から構成される光線空間情報を記録可能なデジタルカメラに本発明を適用した例を説明する。しかし、本発明は光線空間情報を記録可能なデジタルカメラに限らず、記録された光線空間情報から任意の距離の被写体に合焦した再構成画像を生成可能な任意の機器に適用可能である。また、本発明は例えば複数の光学系を備える所謂多眼撮像装置により撮影された複数視点の画像群から、任意の距離の被写体に合焦した画像を生成可能な任意の機器にも適用可能である。これらの機器には、例えば携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータなどが含まれてよい。

（１ 画像処理装置の構成）
図１は本実施形態のデジタルカメラ１００の機能構成例を示すブロック図である。

本実施形態のデジタルカメラは、カメラボディ１と、着脱可能なレンズ２とから構成される。カメラボディ１とレンズ２とは、レンズマウント（不図示）を通じて機械的に接続されるとともに、互いの有する電気接点１１の接触により電気的に接続される。なお、本実施形態ではデジタルカメラは、レンズ交換式であるものとして説明するが、沈胴式等のレンズ２とカメラボディ１とが一体である構成であってもよい。

被写体からの光（光学像）は、撮影光学系３を介して撮像素子６の各受光素子に結像される。本実施形態では撮像素子６と撮影光学系３との間にはマイクロレンズアレイ（ＭＬＡ）２０が配設されており、ＭＬＡ２０上にはマイクロレンズが格子状に並んでいる。１つのマイクロレンズには、撮像素子の複数の光電変換素子が対応付けられており、マイクロレンズに入射した光は該複数の光電変換素子に結像されて光電変換される。即ち、撮影光学系３の射出瞳を通過した光束が各マイクロレンズにて複数の光電変換素子に分離して結像されることになる。このように、１つのマイクロレンズに対応付けられた光電変換素子の各々は、分割された瞳領域の各々を通過した光束に対応した画素信号を出力する。つまり、本実施形態の撮像素子６は、ＭＬＡ２０の各マイクロレンズの位置に結像される光学像を、さらに入射方向ごとに分離して光電変換できるため、上述の光線空間情報を出力することができる。なお、ＭＬＡ２０の機能や配置の詳細については図２を用いて後述する。

また、撮影光学系３は、フォーカスレンズを含むレンズ群や絞りを含んでおり、撮像素子６から出力された信号からカメラシステム制御部５が決定したピント評価値や撮影条件に適した露光量に基づいて制御される。具体的にはカメラシステム制御部５は、ピント評価値や適切な露光量を決定すると、該情報に基づいてフォーカスレンズの駆動位置や絞り量の情報を電気接点を介してレンズシステム制御部１２に送信する。そしてレンズシステム制御部１２が、該情報に従ってレンズ駆動部１３に制御信号を伝送し、フォーカスレンズや絞りの制御を行う。また、図１において４は撮影光学系３の光軸を表しており、撮像素子６は該光軸が有効画素領域の中心となるように配置される。

画像処理部７は、内部にＡ／Ｄ変換器、ホワイトバランス回路、ガンマ補正回路、補間演算回路等を有し、入力された画像に対して種々の画像処理を適用する。画像処理部７は、撮像素子６が出力した光線空間情報に対して種々の画像処理を適用し、記録用のデータを生成する。また、本実施形態では画像処理部７は、光線空間情報から任意の被写体距離に合焦させた再構成画像を生成する処理も行う。なお、記録用のデータが予め定められた符号化形式で記録される場合、画像処理部７は光線空間情報、画像、動画、音声などの記録用のデータを圧縮・伸長する回路を有していてもよい。この場合、画像処理部７は記録用のデータを圧縮した後、記録部８に伝送して記録させる、あるいは記録部８に記録されたデータを読み出し、伸長することで例えば後述の表示部９に表示するデータを生成する。

記録部８は、入力されたデータを記録する記録媒体である。記録部８は、記録媒体の他に、該記録媒体へのデータの読み書きをするための回路を備えており、画像処理部７から入力されたデータの記録媒体への記録、及び記録媒体に記録されたデータの読み出しを行う。

表示部９は、例えばＬＣＤ等のデジタルカメラが備える表示装置である。表示部９は、例えば撮影時や再生時に、光線空間情報から生成された画像データを表示する。また表示部９に撮影環境や撮影光学系３の状態等の情報を表示する場合、カメラシステム制御部５は該情報を示すＧＵＩデータを不図示のＲＯＭから読み出し、表示部９に伝送して表示させる。

操作部１０は、デジタルカメラが有するユーザインタフェースである。操作部１０は、例えばレリーズボタンになされた操作入力や、合焦距離や絞り等の変更に係る操作入力を検出すると、該操作に対応する制御信号をカメラシステム制御部５に出力する。

カメラシステム制御部５は、例えばＣＰＵやＭＰＵなどのプログラマブルプロセッサである。カメラシステム制御部５は、例えば不図示の不揮発性メモリに記憶されたプログラムを読み出し、ＲＡＭ（不図示）に展開して実行することにより各ブロックの動作を制御する。

（２ 撮影光学系の説明）
次に、このような構成を有する本実施形態のデジタルカメラの撮影光学系３、ＭＬＡ２０、及び撮像素子６の関係について、図２を用いて詳細を説明する。なお、図２の各図では、光軸の被写体に向かう方向がＺ軸正の方向、所謂横位置（正位置）にデジタルカメラがある場合の鉛直上向き方向がＹ軸正の方向、Ｚ軸正の方向に見てデジタルカメラの左方向がＸ軸正の方向と規定されている。

図２（ａ）は撮像素子６とＭＬＡ２０の関係を模式的に示している。図２（ａ）の側面図に示されるように、撮像素子６とＭＬＡ２０は一体となって構成されている。本実施形態では撮像素子６上のＭＬＡ２０は、各マイクロレンズの前側主点が撮影光学系３の結像面近傍となるように配置される。また図２（ａ）の正面図（ｚ軸負の方向にＭＬＡ２０を見た図）に示されるように、ＭＬＡ２０は撮像素子６の光電変換素子（以下、画素という）を覆うように配置されている。

ここで、ＭＬＡ２０の各マイクロレンズには、図２（ｂ）に示されるように撮像素子６の複数の画素が対応付けられている。図２（ｂ）において格子状の枠は、撮像素子６の各画素を示しており、円２０ａ，２０ｂ，２０ｃ，２０ｄはマイクロレンズを示している。本実施形態のデジタルカメラでは、図２（ｂ）に示されるように１つのマイクロレンズに対して５行×５列＝２５個の画素が対応付けられている（すなわち各マイクロレンズの大きさは画素の大きさの５×５倍の大きさに対応する）。

また図２（ｃ）は、ＭＬＡ２０の各マイクロレンズに対応付けられた撮像素子６の画素に結像される光束と、撮影光学系３の瞳領域との対応関係を示している。図２（ｃ）では便宜上、１つのマイクロレンズの主点を通りＹ軸と直交するＸＺ断面について示した該マイクロレンズ及びレンズに対応付けられた撮像素子６の画素と、Ｚ軸と直交する射出瞳面３０（ＸＹ平面）を示した瞳領域とを同一平面に展開して示している。図２（ｃ）において画素２１、２２、２３、２４、２５は、例えば図２（ｂ）の画素２１ａ乃至２５ａと対応しており、それぞれ分割瞳領域を通過した光束が結像される。つまり、ＭＬＡ２０のマイクロレンズによって画素２１乃至２５の各々は撮影光学系３の射出瞳面上の特定の分割瞳領域と共役になるように設計されている。図２（ｃ）の例では、画素２１と領域３１が、画素２２と領域３２が、画素２３と領域３３が、画素２４と領域３４、画素２５と領域３５がそれぞれ対応している。従って、マイクロレンズの位置、及び射出瞳面と撮像素子６の距離が定まることにより、該マイクロレンズに対応付けられた画素の各々に入射する光束の入射角度の情報が実質的に取得可能である。

（３ 像シフト処理および像生成処理）
本実施形態の記載において「再構成画像の生成」とは、撮像面について得られた光線空間情報から任意の被写体距離に合焦させた画像を生成する処理をいう。

再構成画像の生成では、合焦させる被写体距離に対応する像面（再構成面）における光線分布を光線空間情報を基に再現し、再構成画像の各画素に対応する光束に基づいて該画素の画素値を決定する。再構成面における光線分布とは、再構成面の位置にＭＬＡ２０及び撮像素子６を配置して撮影した場合に得られる光線空間情報と等価である。具体的には、画像処理部７はまず、撮像により得られた光線空間情報の各画素に対応する光束が再構成面上のいずれの位置を通過したかを、撮像面と再構成面との位置関係及び光線空間情報の各画素に対応する光束の入射方向により特定する。即ち、画像処理部７は、再構成面に仮想的に撮像素子６を配置して撮影を行った場合に各画素が受光する光束が、記録された光線空間情報のいずれの画素において受光された光束と対応するかを特定する。

例えば、図２（ｂ）のように各マイクロレンズに撮像素子６の５×５の画素が対応付けられている場合の、撮像面について得られた光線空間情報と、再構成面において再現する光線空間情報との対応を図３に示す。なお、撮像面および再構成面上の各画素は２次元に配列されるが、説明の簡略化の目的で、図３にはＹ軸方向に１次元に並んだ画素の配列が示されている。

図３では、撮像面について得られた光線空間情報の各画素に対し、対応する光束が通過した分割瞳領域を識別可能なように「１」〜「５」の番号を付して示している。ＭＬＡ２０の各マイクロレンズに対応付けられた画素は該マイクロレンズにより分離された光束を受光するため、これらの関係から各画素に入射する光束の光路を特定することができる。図３には、撮像面について得られた光線空間情報の各画素と各画素が対応付けられたマイクロレンズとの位置関係から定まる、各画素に対応する光束の光路が直線で示されている。即ち、撮像面について得られた光線空間情報からはこれらの光路の情報が取得できるため、撮像面と異なる位置に設定された再構成面において光束がいずれの位置を通過したかを特定することができる。図３に示されるように、例えば１つのマイクロレンズに対応付けられた画素群３００の「２」の画素に対応する光束は、再構成面１において同一位置のマイクロレンズに対応して配置された仮想的な画素群のうちの異なる画素位置を通過している。図３では、再構成面１、２、３の各々に仮想的に撮像素子を配置した場合に、光線空間情報のいずれの画素に対応する光束が仮想的に配置した撮像素子の各画素を通過するかを明示するため、分割瞳領域を識別する番号を各画素に示している。図からも明らかなように、撮像面について得られた光線空間情報の各画素に対応する光束の光路の情報から、任意の再構成面上に撮像素子を配置した場合に得られる光線空間情報の各画素の対応関係を特定することができる。

再構成画像の生成を行う再構成面について撮像面との光線空間情報の対応関係を特定した後、画像処理部７は光線空間情報の画素の配列（並べ替え）を行い、再構成面において得られる光線空間情報（再現情報）を生成する。本実施形態では該再現情報を生成する処理、即ち再構成面における光線分布を示すように光線空間情報の画素の配列を行う処理を像シフト処理と呼ぶ。

そして画像処理部７は、このように生成した再現情報に基づいて、再構成画像の生成を行う。光線空間情報は、ＭＬＡ２０の各マイクロレンズに結像した光学像を、さらに瞳領域ごとに分割して対応する画素に受光させることで得られたものである。従って、各マイクロレンズに対応付けられた瞳分割数の画素で構成される画素群の画素値を総和することにより、該マイクロレンズに結像した光学像に対応する画素値を得ることができ、撮像面に対応する再構成画像を生成することができる。一方、任意の被写体距離に合焦させた再構成画像を生成する場合は、対応する再構成面に仮想的にＭＬＡ２０及び撮像素子を配置した際の各マイクロレンズにて、同様の画素値の総和を行えばよい。即ち、任意の被写体距離に合焦させた再構成画像の各画素の画素値は、再現情報に含まれる各マイクロレンズに対応付けられた画素群の画素値を総和することで得られる。従って、ＭＬＡ２０が有するマイクロレンズの数を画素数とする再構成画像を生成することができる。本実施形態では、像シフト処理後の光線空間情報（再現情報）から画素値の合算により再構成画像の各画素の画素値を決定し、再構成画像を生成する処理を像生成処理と呼ぶ。

図３は撮像面上の領域３００が瞳分割数分画素を足し合わせることで生成される例を示す。例えば、撮像面上の領域３００ａにおいては、該領域のマイクロレンズに対応づけられた瞳分割数の画素群、即ち１＋２＋３＋４＋５の各画素に入射した光の角度方向の積分値をとることで該マイクロレンズに結像した光学像に対応する画素値を得ることができる。一方、再構成面１における撮像面との光線空間情報の対応関係は、図３の領域３００ｂにつながる線で示すマイクロレンズ下の２、３、４の画素出力と、隣接するマイクロレンズ下の１の画素出力と、隣接する他方のマイクロレンズ下の５のように特定される。そして、再構成面１における領域３００ｂの画素値は、特定された各画素を該３００ｂの領域に配置（像シフト）し、各画素の画素出力を加算して生成される。なお、加算においては、それぞれ重み付け係数を１として加算して生成するものとする。この加算処理は各マイクロレンズに対して順次行われる。これらの処理により、図３に示す再構成面２および再構成面３における像生成も同様に可能となる。また、例えば画素加算時に所定のマイクロレンズ下の３の画素出力のみの重み付け係数を１とした加算画素の出力は、瞳を絞った状態と等価、即ち撮像素子に入射する光束を中央の分割瞳を通過する光束に制限した場合と等価な画像となる。このため、全画素加算して得られる画像よりも被写界深度が深い画像となる。

（４ 加算画素制御処理）
上述のように、加算する光線空間情報の画素数を制限することで被写界深度を拡張した再構成画像を生成することができる。被写界深度を深くした再構成画像は、画像内で合焦状態にある被写体をより多くすることができ、多くの被写体を認識できるという面で好適な画像となる。一方で、再構成画像の生成において信号レベル（画素値）の増幅を行わない場合、各画素の信号レベルは加算した光線空間情報の画素数に比例することになる。従って、加算した光線空間情報の画素にノイズを有する画素が含まれていた場合、加算した画素数に対するノイズを有する画素の比率に応じてノイズの目立ちやすさが決まる。

例えば図４（ａ）のように、再構成画像の部分領域５３において、輝度の低い領域（低輝度領域）５５に挟まれた、垂直方向に延びる輝度の高いライン（高輝度ライン）５４が存在する場合を考える。即ち、図４（ａ）のように、水平方向においてコントラスト（輝度値の高低差）が現れる場合を考える。本実施形態では所定方向にコントラストの急峻な起ち上がりがある場合を、「該方向のコントラストが高い」として表現する。例えば図４（ａ）のように垂直方向に延びるエッジ成分が存在する場合は、水平方向にコントラストが高いことになる。

このとき、部分領域５３について被写界深度を深くした再構成画像を生成するために、再構成面における各マイクロレンズに対応付けられた光線空間情報の画素について、例えば図４（ｂ）に示されるようなマスク５０を適用するとする。図４（ｂ）は、図２（ｂ）において説明した１つのマイクロレンズに対応付けられた２５個の画素に対して与えられる、再構成画像の生成に係る重み付け係数（の２次元位置の分布）を示している。図４（ｂ）においてハッチングで示した領域５１は重み付け係数が１である画素を示し、ハッチングなしで示した領域５２は重み付け係数が０である画素を示している。即ち、再構成画像の生成において該部分領域５３に含まれる画素の生成においてマスク５０が適用されると、各画素の信号レベルは１つの分割瞳領域を通過した光束に対応するレベルとなる。この場合、生成された部分領域５３のｘ軸方向の信号レベルは図４（ｃ）のようになり、低輝度領域５５の信号レベルに対するノイズの信号レベルの比率が高くなるため、低輝度領域５５においてノイズが目立ちやすいことになる。また、部分領域５３のｙ軸方向の信号レベルは図４（ｄ）のようになり、高輝度ライン５４の信号レベルに対するノイズの信号レベルの比率は低輝度領域５５のものよりは低くなるが、多少のノイズが現れうる。

これに対し、再構成画像の各画素の生成に用いる光線空間情報の画素数を増加させれば、再構成画像の画素の信号レベルを上昇させ、再構成画像におけるノイズの信号レベルの比率を低減することができる。例えば図４（ｅ）に示されるような中央画素を含む垂直方向１×水平方向５の５つの画素について重み付け係数を１とするマスクを適用する場合を考える。この場合、生成される部分領域５３の各画素は、図４（ｂ）のマスクを適用した場合よりも加算に用いられる光線空間情報の画素数が多いため、信号レベルが高くなる。即ち、部分領域５３のｘ軸方向及びｙ軸方向の信号レベルは図４（ｆ）、（ｇ）のようになり、図４（ｃ）、（ｄ）に比べて低輝度領域５５及び高輝度ライン５４の信号レベルが上昇しているため、ノイズの信号レベルは比率が低く、ノイズは目立ちにくくなる。

しかしながら、図４（ｆ）に示すように部分領域５３においてコントラストの高低が現れるｘ軸方向での信号レベルは、高輝度ライン５４と低輝度領域５５との境界付近で図４（ｃ）に比べて起ち上がりが緩やかになっている。即ち、高輝度ライン５４と低輝度領域５５の境界部においてコントラスト差が目立ちにくくなってしまい、エッジがボケた画像となる。従って、マイクロレンズに対応付けられた光線空間情報の画素の全てを加算する場合よりは加算画素数を制限しているものの、エッジが際立たないため被写界深度が浅い印象を与える再構成画像となりうる。これは、部分領域５３における画像パターンが垂直方向に伸びた高輝度ラインを有していることによる。即ち、水平方向に１列に並ぶラインに対応する光束を分離した場合に、マイクロレンズの位置によっては対応する画素群の異なる画素にそのパターンが現れるからである。特に部分領域５３の輝度差により生じるエッジ部分について、対応する光束は水平方向に分離された場合に例えば低輝度領域５５に対応する光束と高輝度ライン５４に対応する光束とに分けられて結像されることになる。しかし、この分離態様はマイクロレンズの位置によって異なるため、水平方向に並んだ光線空間情報の画素を加算して再構成画像の画素を生成して並べた場合に、高輝度の画素と低輝度の画素の加算比率によってエッジがボケることになる。例えばエッジ付近の水平方向に並ぶ再構成画像の４つの画素が、それぞれ光線空間情報の水平方向に並んだ５画素のうち、４画素、３画素、２画素、１画素が高輝度ライン５４に対応した信号レベルであった場合は、エッジの境界が鮮鋭に現れない。即ち、再構成画像の該４つの画素は、それぞれ高輝度の画素と低輝度の画素の加算比率が異なるため、加算後の画素値が全て異なり、結果的にエッジ付近で信号レベルが段階的に増加／減少することになる。従って、図４（ｆ）のように、エッジ部分の信号レベルが急峻な起ち上がりとならず、エッジのボケにつながる。

一方、図４（ｅ）と同様に再構成画像の各画素の生成に用いる光線空間情報の画素数を増加させたとしても、部分領域５３の高輝度ライン５４と低輝度領域５５の輝度差に応じて画素を選択することにより、図４（ｆ）のボケを防止することができる。

例えば、図４（ｈ）に示されるような中央画素を含む垂直方向５×水平方向１の５つの直線的な画素について重み付け係数を１とするマスクを適用することを考える。この場合、生成される部分領域５３の各画素は、図４（ｂ）のマスクを適用した場合よりも加算に用いられる光線空間情報の画素数が多いため、信号レベルが高くなる。また、図４（ｅ）のマスクを適用する場合と比較すると、例えばエッジ付近において、水平方向に並んだ光線空間情報の画素を加算することに依る高輝度の画素と低輝度の画素との加算比率のばらつきを考慮する必要がない。即ち、エッジの方向と同一の垂直方向に並んだ光線空間情報の画素には同様の輝度を示す画素が現れているため、高輝度の画素と低輝度の画素とを混ぜて加算することがない。従って、高輝度ライン５４内の画素の生成において低輝度の画素が加算されず、信号レベルの上昇とエッジのボケの解消を実現する、図４（ｉ）及び（ｊ）のような態様になる。

これは、垂直方向に１列に並んだ高輝度ライン５４に対応する光束を分離した場合には、各マイクロレンズの分割瞳領域に対応する画素群の全てに同じパターンが現れることによる。部分領域５３の輝度差により生じるエッジ部分も同じ画素に現れるため、低輝度領域５５に対応する画素と高輝度ライン５４に対応する画素とがそれぞれ加算されない。このため、エッジ付近で信号レベルが段階的に変化することがなく、図４（ｉ）のようにエッジの際立った出力となり被写界深度の深い印象を与える再構成画像となる。

このように、図４（ａ）のようなｘ軸方向のコントラストが高い画像については、図４（ｈ）のように加算画素の重みが直線的に縦に並ぶように制御することで、ノイズを低減しつつ、絞り値が大きい状態に対応する解像感が高い画像を得ることができる。なお、本実施形態では、光学中心付近の分割瞳領域を通過した光束に対応する一部の画素を含めて再構成画像の生成に用いる重み付けを使用することで、絞り値が大きい状態に対応する解像感が高い画像が得られるものとして説明している。しかしながら、本発明は必ずしも絞り値が大きい状態を仮想的に再現する構成に限定される必要はなく、解像感を高めた、即ち被写界深度を拡張した再構成画像を生成するように加算画素の制御を行うものであれば本発明の目的は達成される。

なお、マスクの重み付けは垂直方向あるいは水平方向に並んだ画素に対して重みを与えるものに限られない。図４（ｋ）は重み付けを１とする画素が斜め方向に一列に並ぶマスクを示している。図４（ｋ）のようなマスクを用いる加算画素の制御は、水平方向に対して４５度（偏角）をなす方向のエッジ成分が存在する領域、即ち水平方向に対して−４５度をなす方向のコントラストが最も高い領域の再構成画像の生成に有効である。

また、本実施形態ではマイクロレンズ１つあたりに５×５個の画素を配置して説明したが、より密に画素を配置して瞳領域の分割を細かくしてもよい。この場合、マスクの分解能も高くなるため、より様々な方向のコントラストが高い場合にも高精度に解像感の向上が可能である。図４（ｌ）は１１ｘ１１画素を配置したときの加算画素の例であり、ハッチングに示す画素のみ重み付けが１となっている。図４（ｌ）の例では、水平方向に対して約３０度をなす斜線に対して略直交する方向のコントラストが高い領域の再構成画像の生成に有効である。

このように再構成画像の生成において、領域ごとのコントラストが高い方向に応じて、即ち領域ごとの高周波成分の分布に応じて加算画素の重みを制御することにより、各領域において好適に被写界深度を拡張することができる。また、加算に用いる画素数を好適に増加させることができるため、解像感を向上させつつ、再構成画像におけるノイズの低減を実現することができる。

（５ 本実施形態における処理の流れ）
図５、図６を用いて本実施形態のデジタルカメラの動作について説明する。図５は絞り状態（被写界深度）の変更対象である主被写体のエッジパターンの分布を示した図である。図５の例では主被写体は奥行きのある建物であり、図には主被写体像のエッジパターンが示されている。画像処理部７は、再構成画像の生成に係る一連の処理の中で再構成画像に対して予め定められた数の検出領域６０を定義し、各検出領域６０を順に選択して、各領域におけるコントラストが高い方向の検出、即ち領域における高周波成分の分布の把握を行う。図５において領域６０ａは水平方向のコントラストが高い領域の例を、６０ｂは垂直方向のコントラストが高い領域の例を示している。

次に図６のフローチャートを用いて本実施形態における再構成画像の生成に係る一連の処理を説明する。図６（ａ）は被写界深度を変更する全体の動作を、図６（ｂ）は像生成処理の動作を、それぞれ示している。なお、合焦させる被写体距離に基づいて再構成面を規定し、再構成画像を生成するものとして説明したが、以下では該被写体距離に対応する撮像光学系の焦点位置を用いて再構成面を規定するものとして説明する。

フローチャートに対応する処理は、カメラシステム制御部５が、例えば不揮発性メモリに記憶されている処理プログラムを読み出し、ＲＡＭに展開して実行することにより実現することができる。本処理は、例えばデジタルカメラが撮影モードに設定されている状態で、レリーズボタンの押下等により画像取得指示がなされたことを検出した場合に開始される。なお、本処理は、デジタルカメラが閲覧モードに設定されて起動されている状態で、記録部８に記録された光線空間情報に対する再構成画像の生成指示がなされた場合の処理としても適用可能である。

処理が開始すると、まずＳ１００１において画像処理部７はカメラシステム制御部５の制御の下、撮像により得られた光線空間情報のデータを取得する。具体的にはカメラシステム制御部５により電気接点１１を通じてレンズシステム制御部１２に指示が出されると、レンズシステム制御部１２はレンズ駆動部１３にシャッタ兼絞りの動作を制御させ、適切な露出条件で撮像素子６を露光する。さらに、撮像素子６は、露光により各受光素子に蓄積された電荷を読み出し、得られたアナログ画素信号を画像処理部７に出力する。そして画像処理部７は、アナログ画素信号に対してＡ／Ｄ変換や補正等の処理を施すことにより、光線空間情報のデータを取得する。

Ｓ１００２において画像処理部７は、合焦させる被写体領域を設定するための再構成画像を生成するために、Ｓ１００１で取得した光線空間情報のデータを用いて像生成処理を実行する。像生成処理の詳細は図６（ｂ）を用いて後述する。なお、本ステップの像生成処理では、加算画素の重み付け係数は例えばマイクロレンズに対応する画素の全てが１となる等、予め決まっていてよい。

Ｓ１００３において表示部９は、カメラシステム制御部５の指示によりＳ１００２で生成された画像を表示する。

Ｓ１００４においてカメラシステム制御部５は、ユーザによる、合焦させる被写体領域の選択指示を受け付け、選択された被写体領域の被写体に合焦する焦点位置（合焦位置）を設定する。具体的にはカメラシステム制御部５は、操作部１０を通じて表示部９に表示された画像に対するユーザによって選択された画像領域を取得して、領域内の主被写体（被写体６１）に合焦する焦点位置を検出して設定する。被写体６１に合焦する焦点位置は、例えば光線空間情報から２つの異なる分割瞳を通過した光束に対応する２像を生成し、被写体領域における被写体像の位相差を検出することにより特定されてもよい。あるいは、別途設けられた位相差検出ユニットを有し、分離した２つの光学像の位相差により検出することにより特定されてもよい。他には、レンズ駆動部１３によりフォーカスレンズを駆動しながら取得された画像の被写体領域におけるコントラスト状態を検出することにより特定されてもよい。

Ｓ１００５において画像処理部７は、Ｓ１００４で設定した焦点位置の情報を用いて、像シフト処理を行う。即ち画像処理部７は、該焦点位置における再構成面の光線分布を示すように光線空間情報の画素の並べ替えを行う。画像処理部７は、上述したように光線空間情報の各画素に対応する光束が通過した再構成面上の位置を、各光束の通過した分割瞳領域及び入射方向の情報に従って特定し、特定した情報に基づいて光線空間情報の各画素のシフト量を算出する。再構成面の像の再構成において、像のシフト量は画素ごとに異なるため、シフト量の算出処理はマイクロレンズごとに瞳分割数分繰り返される。即ち、一つのマイクロアレイに対応する領域が２５に分割されているとき、２５×マイクロレンズの数だけシフト量の算出が行われる。そして画像処理部７は、算出したシフト量に基づいて光線空間情報の各画素の並べ替えを行う。この処理により、画像処理部７は、光線空間情報の各画素を再構成面上における配置にシフトさせた光線空間情報（像シフト情報）を生成する。また、画像処理部７は、像シフト処理を実行済みであるか否かを後述のＳ１００６において判断するために、像シフト処理を完了した旨の像シフトフラグ（論理型の情報）を立てて（真に設定して）次のＳ１００６へ処理を進める。

Ｓ１００６において画像処理部７は、Ｓ１００５で生成した像シフト情報に基づいて、像生成処理を実行し、再構成面に対応する再構成画像を生成する。本ステップで生成される再構成画像はユーザにより選択された被写体領域の被写体６１に合焦した画像であり、後述する被写体のコントラストが高い方向を検出する処理は本ステップで生成した再構成画像を用いて行われる。像生成処理の詳細については図６（ｂ）を用いて後述する。カメラシステム制御部５は、像生成処理を終えると、処理をＳ１００７へ進める。

Ｓ１００７乃至Ｓ１００９において画像処理部７は、Ｓ１００６において生成された再構成画像を対象としてコントラストが高い方向を判別する処理を行う。画像処理部７は、画像を分割する複数の分割領域を定義し、各分割領域に対してＳ１００８の処理を行い、該領域に含まれる被写体のコントラストの方向を識別する。本実施形態では画像処理部７は、分割領域を図５の画像の左上端から右下端まで順に選択しながら選択した分割領域（検出領域６０）についてコントラストが高い方向を判別する処理を、分割領域数分繰り返して行う。

Ｓ１００７において画像処理部７は、再構成画像に対して定義した分割領域の数だけＳ１００７乃至Ｓ１００９のループ処理を実行したか否かを判断する。画像処理部７は、分割領域の数だけループ処理を実行したと判断した場合は、後の像生成処理においてコントラストが高い方向の判別が完了したことを判断するために、該完了を示すコントラスト検出フラグ（論理型の情報）を立て、処理をＳ１０１０に移す。また画像処理部７は、分割領域の数だけループ処理をまだ実行していないと判断した場合は、処理をＳ１００８に移す。

Ｓ１００８において、画像処理部７は、まだループ処理が実行されていない分割領域を検出領域に設定して、検出領域における画像のコントラストが高い方向がいずれであるかを判別する。具体的には画像処理部７は、例えば水平方向と垂直方向の各々についてのエッジパターンを抽出するフィルタを検出領域の画像に対して適用することで水平方向のエッジパターン画像と垂直方向のエッジパターン画像を取得する。そして画像処理部７は、抽出されたエッジパターンの量が多い方向に直交する方向をコントラストが高い方向として認識する。即ち、コントラストの急峻な起ち上がりを生じる高周波成分が現れる量が多い方向をコントラストが高い方向として認識する。画像処理部７は、このように水平方向と垂直方向の対比によりコントラストが高い方向を代表方向として特定し、該方向を示す情報を検出領域である分割領域に付して（タグ付け）記憶する。コントラストが高い方向を示す情報は、検出領域である分割領域に関連づけられて例えばＲＡＭに記録されればよい。本処理により、検出領域における高周波成分の分布からコントラストが高い方向を特定することができる。Ｓ１００９において画像処理部７は、処理をループ処理の開始端であるＳ１００７に戻す。

Ｓ１０１０において画像処理部７は、再構成画像の各分割領域にタグ付けされたコントラストが高い方向を示す情報に基づいて、像シフト情報（像シフトがなされた光線空間情報）を用いた像生成処理を行う。像生成処理については後述するが、本ステップの像生成処理では被写体領域内の高周波成分の分布に基づいて加算画素を制御することで、被写界深度を拡張した再構成面に対応する再構成画像を生成することができる。

Ｓ１０１１においてカメラシステム制御部５は、像生成処理の結果生成された画像を表示部９に表示させて一連の動作を終了する。記録部８は、カメラシステム制御部５の指示に応じて得られた画像データを記録部８に記録する。

次に、図６（ｂ）を用いて像生成処理の詳細を説明する。本像生成処理は、設定された焦点位置の情報に従って画像処理部７が行う。なお、本像生成処理では、ＭＬＡ２０が有するマイクロレンズの各々について、光線空間情報のデータのうちの対象の画素の画素値を加算することで、該マイクロレンズに対応する再構成画像の画素を生成していく。従って、画像処理部７は、マイクロレンズの数、即ち再構成画像の画素の数だけ以下のＳ１１０１乃至Ｓ１１０９の処理を繰り返し行い、設定された焦点位置の再構成画像の全画素を生成する。

Ｓ１１０１において画像処理部７は、ＭＬＡ２０が有するマイクロレンズの数だけＳ１１０１乃至Ｓ１１０９のループ処理を実行したか否かを判断する。画像処理部７は、マイクロレンズの数だけループ処理を実行したと判断した場合は、ループを抜けて本像生成処理を完了する。また画像処理部７は、マイクロレンズの数だけループ処理を実行していないと判断した場合は、まだループ処理が実行されていないマイクロレンズ（対象マイクロレンズ）を選択して処理をＳ１１０２に移す。

Ｓ１１０２において画像処理部７は、設定された焦点位置に係る像シフト処理後に本像生成処理が呼び出されたか否かを判断する。即ち、画像処理部７は、本像生成処理がＳ１００２で呼び出された処理と、Ｓ１００６あるいはＳ１０１０のいずれで呼び出された処理であるかを判断する。画像処理部７は、例えばＲＡＭに記憶されている像シフトフラグを参照することにより本ステップの判断を行う。画像処理部７は、本像生成処理が像シフト処理前に呼び出された処理であると判断した場合は処理をＳ１１０５に進め、像シフト処理後に呼び出された処理であると判断した場合は処理をＳ１１０３に進める。

Ｓ１１０３において画像処理部７は、Ｓ１００５において生成された像シフト情報を読み込み、対象マイクロレンズに対応する光線空間情報の画素の情報を読み出す。即ち、画像処理部７は、設定された焦点位置における再構成面に対象マイクロレンズがある場合に、該マイクロレンズを通過する光束に対応した画素の情報を取得する。そして画像処理部７は、読み出した画素の情報を例えばＲＡＭに格納し、処理をＳ１１０４に移す。

Ｓ１１０４において画像処理部７は、設定された焦点位置に係る再構成画像についてのコントラストが高い方向が判別された後に本像生成処理が呼び出されたか否かを判断する。即ち、画像処理部７は、本像生成処理がＳ１００６で呼び出された処理とＳ１０１０で呼び出された処理のいずれであるかを判断する。画像処理部７は、例えばＲＡＭに記憶されているコントラスト検出フラグを参照することにより本ステップの判断を行う。画像処理部７は、本像生成処理がコントラストの高い方向が判別される前に呼び出されたと判断した場合は処理をＳ１１０６に進め、コントラストが高い方向が判別された後に呼び出されたと判断した場合は処理をＳ１１０７に進める。

Ｓ１１０６において画像処理部７は、対象マイクロレンズについて、設定された焦点位置に係るコントラストが高い方向の判別用の再構成画像の画素を生成するために用いる重み付け係数のマスクを決定する。本実施形態の像生成処理では、コントラストが高い方向の判別用の再構成画像には例えば焦点位置が無限遠である状態と等価な画像を用いる。この場合、決定される重み付け係数のマスクは、予め定めた基準に従う、例えば対象マイクロレンズを通過した光束のうち、中央の分割瞳領域を通過して対象マイクロレンズを通過した光束に対応する画素のみを重み付け係数を１とするマスクであってよい。即ち、図３の１つの領域３００ｂにおいて３の画素の重み付け係数のみを１として、その他の画素の重み付け係数を０とするマスクを使用することが本ステップにおいて決定される。なお、本実施形態の像生成処理では、コントラストが高い方向の判別用の再構成画像の生成に上述のような重み付け係数のマスクを使用するものとして説明するが、使用するマスクはこれに限られるものではない。使用するマスクは、少なくとも設定された焦点位置で合焦する被写体のエッジパターンが認識可能な再構成画像を生成可能なものであればどのようなものが用いられてもよい。

一方、Ｓ１１０４で本像生成処理がコントラストの高い方向の判別後に呼び出されたと判断した場合、画像処理部７はＳ１１０７において、設定された焦点位置に係る被写界深度の深い再構成画像の画素の生成に用いるマスクを決定する。具体的には画像処理部７は、まず対象マイクロレンズについて生成する再構成画像の画素位置が含まれる検出領域６０の、コントラストの方向を識別する識別情報を参照する。そして画像処理部７は、重み付け係数のマスクを該識別情報の示すコントラストの方向に応じて決定する。例えば図５の領域６０ａのように、コントラストの方向を示す識別情報が水平方向のコントラストが高い、即ち垂直方向に延びるエッジパターンが該領域に存在することを示す場合、図４（ｈ）に示した重み付け係数のマスクを用いることが決定される。また、例えば図５の領域６０ｂのように、識別情報が垂直方向のコントラストが高い、即ち水平方向に延びるエッジパターンが該領域に存在することを示す場合、図４（ｅ）に示した重み付け係数のマスクを画素の生成に用いることが決定される。

つまり、本実施形態の像生成処理では、好適にノイズを低減した被写界深度の深い再構成画像を生成するために、被写体のエッジ等の再構成画像に現れる高周波成分の分布に応じて再構成画像の画素の生成に用いる加算画素を変更する制御を行う。即ち、画像処理部７は、画素の生成に用いる光線空間情報の画素から、エッジ成分と直交する方向に該エッジの像がずれて結像した光束に対応する画素を除外できるので、加算によりエッジがボケることを回避した再構成画像を生成することができる。このようにして生成された再構成画像は、各画素をノイズが目立ちにくい信号レベルするために加算画素を増やしたとしても、高周波成分の分布を保った好適な解像感の画像となる。

またＳ１１０２で本像生成処理が像シフト処理前に呼び出されたと判断した場合、画像処理部７はＳ１１０５において、対象マイクロレンズについて、撮影時の撮像光学系の焦点位置に係る合焦被写体決定用の再構成画像の画素の生成に用いるマスクを決定する。本実施形態の像生成処理では、合焦被写体決定用に提示する再構成画像には、撮影時の条件で被写界深度の調整等をせずに生成した画像を用いる。この場合、決定される重み付け係数のマスクは、対象マイクロレンズを通過した光束の全てについて重み付け係数を１とするマスクとなる。なお、本実施形態の像生成処理では、合焦被写体決定用に提示する再構成画像の画素の生成に、対応する光束を記録した光線空間情報の全ての画素を使用するマスクを使用するものとして説明するが、本発明の実施はこれに限られるものではない。即ち、合焦被写体決定用に提示される再構成画像は、ユーザの便宜を考えて撮影時の焦点位置に対応するものであることが好ましいが、その被写界深度等はどのように決定されてもよく、重み付け係数のマスクも上述した以外のものが使用されてよい。

Ｓ１１０８において画像処理部７は、Ｓ１１０５、Ｓ１１０６、またはＳ１１０７で決定された重み付け係数のマスクを使用し、Ｓ１１０３でＲＡＭに格納した画素の画素値を加算して、対象マイクロレンズについての再構成画像の画素を生成する。

このように、本実施形態の像生成処理では、生成する再構成画像が焦点位置の設定用、コントラストが高い方向の判別用、及び被写界深度を拡張した表示用のいずれであるかに応じて、生成に使用する加算画素の重み付け係数を異ならせて再構成画像を生成する。

なお、上述の像生成処理では、Ｓ１１０４において水平方向及び垂直方向のそれぞれについてコントラスト変化が現れる領域６０ａ及び６０ｂについて、重み付け係数のマスクを説明したが、本発明は他の方向にコントラスト変化が現れる場合にも適用できる。即ち、図４において説明したように、コントラスト変化を検出する方向は垂直方向および水平方向に限定されない。つまり、本発明におけるコントラストが高い方向の情報は、検出領域に含まれる被写体像の高周波成分を好適に再現した再構成画像を生成するために用いられるものであるので、領域における高周波成分の分布を特定できる情報であればよい。従って、コントラスト変化を検出する方向には斜め方向が含まれていてもよく、この場合、コントラストが高い方向が示す角度の情報がコントラストの高い方向の情報として分割領域に付されればよい。また、高周波成分の分布から直線成分を検出してパターンを直線に適用する以外に、検出するパターンを曲線等に適用してもよい。

例えば、図５の領域６０ｃのように水平方向に約４５度の角度をなすエッジパターンを有する領域の画素については、図４（ｋ）のような重み付け係数のマスクを使用することで同様の効果を得ることが可能である。また、１つのマイクロレンズに対応付けられている撮像素子６の画素が１１×１１である場合、例えば図５の領域６０ｄのように水平方向に約３０度の角度をなすエッジパターンを有する領域の画素については図４（ｌ）のようなマスクが有効である。即ち、瞳分割の分解能が高くなるようにマイクロレンズと撮像素子６の画素の対応付けがなされている場合は、図４（ｌ）のように任意の角度方向のコントラスト変化が現れる画像に対しても柔軟に重み付け係数のマスクを設定することができる。即ち、被写体のエッジの態様に合わせた自由度の高い加算画素の制御を実現することができ、水平および垂直方向のみの制御に比べて、よりノイズを低減した画像を得ることができる。その場合は、Ｓ１００６のコントラストが高い方向の検出にあたり、各角度方向のエッジパターンの量を検出する必要がある。

このように加算画素の重み付け係数をエッジパターンに現れる角度に併せて制御、つまり、被写体画像の高周波成分の分布に応じて再構成画像の画素の生成を制御することにより画素値の出力を高めてノイズを低減しつつ、解像感の高い画像を得ることができる。

本実施形態の加算画素の制御は、例えば水平方向のコントラストが高い領域に対して、図４（ｈ）に示すように垂直方向５×水平方向１画素の重み付け係数を１とするものであったが、画像の輝度に合わせて、加算画素の領域をさらに制御してもよい。

図７は加算合成画素の加算画素の重み付けを示した模式的に示した図である。図７（ａ）は加算画素の重み付け係数を中央の垂直方向３×水平方向１画素を１と設定した場合を、図７（ｂ）は加算画素の重み付け係数を中央の垂直方向５×水平方向３画素を１と設定した場合を示している。例えば、カメラシステム制御部５は、図６（ａ）のＳ１００１で取得した画像の全体の輝度値と適正露出値とを比較する。その結果、画像全体の輝度値が下回る場合には、加算画素を例えば図７（ａ）に示すように加算画素を制御して図４（ｈ）よりも重み付け係数を１とする画素を増加させる。これは被写体画像の高周波成分の分布に対して、加算画素の重み付け係数を１にする領域に幅（高さ）を増加させる加算画素の制御である。

これにより、取得画像が低輝度の場合において、加算画素が図４（ｈ）のように制御された場合と比較してノイズを低減することができる。ただし、図７（ａ）のように、加算画素を制御すると図４（ｈ）に比べると解像感は低下する。そこで、操作部１０に加算画素数の大小の別を示すモード、例えば解像度優先モード、ノイズ低減優先モードの切替を設け、ユーザ指示によりどちらかを選択するようにしてもよい。カメラシステム制御部５は、操作部１０からの入力に基づいて、解像度優先モードであれば図４（ｈ）のように加算画素を少なく、ノイズ低減モードであれば図７（ａ）のように加算画素を多くとるように加算合成画素を制御する。このようにすれば、ユーザは被写体の被写界深度とノイズ影響を見ながら、所望の画像を自由に選択することができる。また、輝度が高い場合であれば、カメラシステム制御部５は図７（ｂ）に示す加算合成画素を用いて加算する画素を少なく制御してもよい。これは被写体画像の高周波成分の分布に対して、加算画素の重み付け係数を１にする領域の幅（高さ）を減少させる加算画素の制御である。なお、画像の全体の輝度値については、焦点位置における再構成画像の輝度値に基づいて同様の制御を行ってもよい。

このように、被写体画像の高周波成分の分布に対して、画像の輝度に合わせて加算画素の重み付け係数を１にする領域を増減させる制御する加算画素の制御方法により、ノイズを低減した画像を生成することが可能になる。また、解像度優先またはノイズ低減優先の別に基づいて加算画素を制御することにより、ユーザは被写体の被写界深度とノイズ影響を見ながら、所望の画像を得ることができる。

また、本実施形態ではＳ１００４において、表示部９に表示された画像に対してユーザが主被写体を選択し、カメラシステム制御部５はこれに基づいて該被写体に合焦する焦点位置を設定した。しかし、その他の手法を用いてもよい。例えば、カメラシステム制御部５は、焦点検出処理によって画像内の全領域の被写体距離を検出し、最も撮影者の近傍に存在する被写体を主被写体と判断して該焦点位置を設定してもよい。

以上に説明したように本発明によれば、被写界深度を拡張した再構成画像において好適にノイズを低減することができる。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (11)

1. 複数の被写体距離のいずれかに合焦させた再構成画像を生成可能な画素信号を取得する取得手段と、
   前記画素信号の高周波成分の分布を特定する特定手段と、
   前記画素信号から再構成画像を生成する生成手段と、を有し、
   前記生成手段は、前記特定手段により前記高周波成分の分布が特定された場合に、該分布に基づいて前記画素信号から画素を選択して前記再構成画像を生成する
   ことを特徴とする画像処理装置。
2. 前記特定手段は、前記生成手段により生成された再構成画像について前記高周波成分の分布を特定し、
   前記生成手段は、
   前記高周波成分の分布を特定するための第１の再構成画像を生成する場合に、該第１の再構成画像の各画素について、前記画素信号から予め定めた基準に従って１つ以上の画素を選択し、
   前記高周波成分の分布に基づく第２の再構成画像を生成する場合に、該第２の再構成画像の各画素について、前記画素信号から前記高周波成分の分布に基づく複数の画素を選択する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記特定手段は、前記第１の再構成画像のエッジパターンを前記高周波成分の分布として特定し、
   前記生成手段は、前記第２の再構成画像の各画素について、前記第１の再構成画像における該画素と対応する位置のエッジパターンに基づいて前記複数の画素を選択する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記特定手段は、前記第１の再構成画像における直線成分の分布を前記高周波成分の分布として特定し、
   前記生成手段は、前記第２の再構成画像の各画素について、前記第１の再構成画像における該画素と対応する位置の直線成分の代表方向に基づいて前記複数の画素を選択する
   ことを特徴とする請求項２または３に記載の画像処理装置。
5. 前記生成手段は、再構成画像の各画素について、該画素に対応する光束を結像した前記画素信号の画素を所定の被写体距離に合焦させた際の光束の分布にあわせて２次元に配列し、該２次元に配列した画素のうちの少なくとも一部の画素を選択することで、再構成画像を生成し、
   前記特定手段は、前記第１の再構成画像に設定された部分領域の各々について高周波成分の分布を特定し、
   前記生成手段は、前記部分領域に対応する前記第２の再構成画像の領域内の各画素について、該画素に対応する２次元に配列した画素のうち、同一の２次元位置に配列した複数の画素を選択する
   ことを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
6. 前記画素信号は、撮像によって取得された信号であり、
   前記生成手段は、前記画素信号が取得された際の露出が適正露出を下回る場合に、前記第２の再構成画像の各画素について、該画素に対応する２次元に配列した画素のうちの前記高周波成分の分布に基づく画素及び該画素と隣接する位置に配列した画素を選択する
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記生成手段は、ユーザによる指示あるいは予め定められた設定に応じて、前記第２の再構成画像の各画素について、該画素に対応する２次元に配列した画素のうちの前記高周波成分の分布に基づく画素及び該画素と隣接する位置に配列した画素を選択することを特徴とする請求項５または６に記載の画像処理装置。
8. 前記画素信号を出力する撮像手段と、
   請求項１乃至７のいずれか１項に記載の画像処理装置と、を有する
   ことを特徴とする撮像装置。
9. 前記撮像手段が、瞳分割された撮影光学系を通過した光束を光電変換することにより前記画素信号を出力することを特徴とする請求項８に記載の撮像装置。
10. 取得手段が、複数の被写体距離のいずれかに合焦させた再構成画像を生成可能な画素信号を取得する取得工程と、
    特定手段が、前記画素信号の高周波成分の分布を特定する特定工程と、
    生成手段が、前記画素信号から再構成画像を生成する生成工程と、を有し、
    前記生成手段は前記生成工程において、前記特定工程において前記高周波成分の分布が特定された場合に、該分布に基づいて前記画素信号から画素を選択して前記再構成画像を生成する
    ことを特徴とする画像処理装置の制御方法。
11. コンピュータを、請求項１乃至７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images