JP2014033415A - 画像処理装置及び方法、及び、撮像装置 - Google Patents

Abstract

【課題】 光の進行方向の情報を含むようにして取得した画像信号を処理する場合に、画質を優先しつつ、画像処理の負担を軽減すること。
【解決手段】 複数の画素（２０１）を分割した複数の画素配列（２００）と、１つの画素配列に対して１つのマイクロレンズ（１０２０）が対応したマイクロレンズアレイ（１０２）とを有する撮像手段により取得した画像信号を処理する画像処理装置であって、複数の画素から出力された画像信号の内、欠陥画素から出力された画像信号を補正する補正処理を行う欠陥画素補正手段（１０６１）と、補正処理後の画像信号を含めた複数の画素から出力された画像信号を、仮想像面の位置に応じて決まる重みづけ係数マトリックスを用いて加重加算して、仮想像面の画像を再構成する画像再構成手段（１０６２）とを有し、欠陥画素補正手段は、仮想像面の位置に応じて欠陥画素から出力された画像信号を補正するか否かを判断する。
【選択図】 図１

Description

本発明は、画像処理装置及び方法、及び、撮像装置に関し、特にマイクロレンズアレイを用いて取得した光の入射方向の情報を用いて、リフォーカス画像を再構成する手段を有する画像処理装置及び方法、及び、撮像装置に関する。

近年、電子カメラ等の撮像装置において、光の強度分布のみならず光の入射方向の情報をも取得可能な撮像装置（ライトフィールドカメラ）が提案されている。

例えば非特許文献１によれば、撮影レンズと撮像素子との間に、撮像素子の複数の画素に１つのマイクロレンズを対応させたマイクロレンズアレイを配置することで、マイクロレンズを通過した光は複数の画素によって入射方向別に受光される。そして、出力された画像信号（ライトフィールド情報）を用いて、通常の撮影画像の他に、「Light Field Photography」と呼ばれる手法を適用することで、任意の仮想像面（リフォーカス面）にピントを合わせた画像を撮影後に再構成することができる。

しかしながら、ＣＭＯＳイメージセンサやＣＣＤイメージセンサなどの固体撮像素子は、半導体基板上に存在する局所的な結晶欠陥などにより、欠陥画素（白欠陥、黒欠陥等）が発生することがある。このような欠陥画素の出力信号は正しい画像を構成することができないため、欠陥画素の出力信号を補正する必要がある。

Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02

ライトフィールドカメラにおいては、画像の解像度を決めるマイクロレンズアレイそれぞれに対して、光線の角度分解能を決める複数の画素が割り当てられるため、一般に情報量と計算量が大きくなる。

また、あるリフォーカス面で結像する光線は複数の画素により別々に受光される。さらに、リフォーカス面とマイクロレンズアレイ面との位置関係に応じて、特定の画素をリフォーカス再構成する時の分割画素の寄与率（重みづけ）が変化するため、それに応じた画像処理方法が必要になる。

このように、欠陥画素を単純に隣接画素の出力値を用いて補正する従来のような方法では適切な補正ができないだけでなく、特にライブビュー表示時等における処理の高速化に支障をきたすという課題があった。

本発明は上記問題点を鑑みてなされたものであり、光の進行方向の情報を含むようにして取得した画像信号を処理する場合に、画質を優先しつつ、画像処理の負担を軽減することを目的とする。

上記目的を達成するために、本発明の画像処理装置は、複数の画素を所定数ずつ分割した複数の画素配列と、前記画素配列の前面側に配置され、１つの画素配列に対して１つのマイクロレンズが対応した複数のマイクロレンズから成るマイクロレンズアレイとを有する撮像手段により取得した画像信号を処理する画像処理装置であって、前記複数の画素から出力された全画像信号の内、欠陥画素から出力された画像信号を補正する補正処理を行う欠陥画素補正手段と、前記全画像信号から仮想像面に画像を再構成するために、前記仮想像面の位置に応じて決まる重みづけ係数マトリックスを用いて、前記補正処理後の前記全画像信号を過重加算して、前記仮想像面の画像を再構成する画像再構成手段と、を有し、前記欠陥画素補正手段は、前記画像再構成手段で用いられる前記欠陥画素の画像信号に対する重みづけ係数の大きさに応じて、前記欠陥画素の画像信号を補正するか否かを判断する。

本発明によれば、光の進行方向の情報を含むようにして取得した画像信号を処理する場合に、画質を優先しつつ、画像処理の負担を軽減することができる。

本発明の実施形態に係る撮像装置全体のブロック図。 本発明の実施形態に係る撮像素子の画素とマイクロレンズアレイの構成を説明する図。 本発明の実施形態に係る撮影レンズ、マイクロレンズアレイ、撮像素子の構成を説明する図。 本発明の実施形態に係る撮影レンズの瞳領域と受光画素の対応関係を説明する図。 本発明の実施形態に係るリフォーカス画像生成光線の通過領域を説明する図。 本発明の実施形態に係るリフォーカス面の位置に応じた分割画素と重みづけ係数を表した模式図。 本発明の実施形態に係る別のリフォーカス面の位置に応じた分割画素と重みづけ係数を表した模式図。 本発明の実施形態に係る画素配列内の位置に応じた重みづけ係数マトリックスの例を示す図。 本発明の実施形態に係る画像処理回路の動作を説明するフローチャート図。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

＜第１の実施形態＞
図１は、本発明の実施形態における撮像装置１００の構成を示すブロック図である。図１において、撮影レンズ１０１を通過した光は撮影レンズ１０１の焦点位置近傍に結像する。マイクロレンズアレイ１０２は複数のマイクロレンズ１０２０から構成されており、撮影レンズ１０１の前面側の焦点位置近傍に配置されることで、撮影レンズ１０１の異なる瞳領域を通過した光を瞳領域ごとに分割して出射する機能を有する。撮像素子１０３はＣＭＯＳイメージセンサやＣＣＤイメージセンサに代表される、複数の画素からなる固体撮像素子である。１つのマイクロレンズ１０２０に所定数の画素が対応するように配置することで、マイクロレンズ１０２０で瞳領域ごとに分割して出射された光を、分割情報を保ったまま受光し、データ処理可能な画像信号に変換する機能を持たせている。

アナログ信号処理回路（ＡＦＥ）１０４は、撮像素子１０３から出力される画像信号に対して相関二重サンプリング処理、信号増幅、基準レベル調整、Ａ／Ｄ変換処理等を行う。デジタル信号処理回路（ＤＦＥ）１０５は、アナログ信号処理回路１０４から出力される画像信号に対して、基準レベル調整等のデジタル画像処理を行う。

画像処理回路１０６は、欠陥画素補正部１０６１、画像再構成部１０６２を含み、デジタル信号処理回路１０５から出力された画像信号に対して所定の画像処理やライトフィールドカメラ特有のリフォーカス演算を施す。なお、リフォーカス演算については、詳細に後述する。メモリ回路１０７および記録回路１０８は、画像処理回路１０６から出力された画像信号等を記録保持する不揮発性メモリあるいはメモリカード等の記録媒体である。

制御回路１０９は、撮像素子１０３や画像処理回路１０６等の撮像装置全体を統括的に駆動制御する。操作回路１１０は撮像装置１００に備え付けられた操作部材からの信号を受け付け、制御回路１０９に対してユーザーの命令を伝える。表示回路１１１は撮影後の画像やライブビュー画像、各種設定画面等を表示する。

次に、本実施形態の撮像装置における撮影レンズ１０１、マイクロレンズアレイ１０２および撮像素子１０３の構成について詳細に説明する。

図２は、撮像素子１０３およびマイクロレンズアレイ１０２を図１の光軸Ｚ方向から観察した図である。所定数の画素２０１（以下、「分轄画素」と呼ぶ。）に１つのマイクロレンズ１０２０が対応するように配置されている。以下、１つのマイクロレンズ後方にある所定数の分割画素２０１をまとめて「画素配列２００」と呼ぶ。なお、本実施形態では画素配列２００は、５行５列の計２５個の分割画素２０１を含むものとする。ただし、各マイクロレンズの分割画素の画素数はこれに限定されず、また全てのマイクロレンズにおいて同一の分割数である必要もない。

図３は、撮影レンズ１０１から出射された光が１つのマイクロレンズ１０２０を通過して撮像素子１０３で受光される様子を光軸Ｚに対して垂直方向から観察した図である。撮影レンズ１０１の各瞳領域ａ１〜ａ５から出射され、マイクロレンズ１０２０を通過した光は、後方の対応する分割画素ｐ１〜ｐ５にそれぞれ結像する。

図４（ａ）は、図３で示した撮影レンズ１０１での光の通過領域と撮像素子１０３での受光領域の様子をさらに詳しく説明するために、撮影レンズ１０１の開口を光軸Ｚ方向から見た図である。図４（ｂ）は、１つのマイクロレンズ１０２０とその後方に配置された画素配列２００を光軸Ｚ方向から見た図である。図４（ａ）に示すように撮影レンズ１０１の瞳領域を１つのマイクロレンズ後方にある画素と同数の領域に分割した場合、１つの画素には撮影レンズ１０１の１つの瞳分割領域から出射した光が結像されることになる。ただし、ここでは撮影レンズ１０１とマイクロレンズ１０２０のＦナンバーがほぼ一致しているものとする。

図４（ａ）に示す撮影レンズ１０１の瞳分割領域ａ１１〜ａ５５と、図４（ｂ）に示す画素ｐ１１〜ｐ５５との対応関係は光軸Ｚ方向から見て点対称となる。したがって、撮影レンズ１０１の瞳分割領域ａ１１から出射した光はマイクロレンズ後方にある画素配列２００のうち、画素ｐ１１に結像する。これと同様に、瞳分割領域ａ１１から出射し、別のマイクロレンズ１０２０を通過する光も、そのマイクロレンズ後方にある画素配列２００の中の画素ｐ１１に結像する。

次に、撮影レンズ１０１、マイクロレンズアレイ１０２および撮像素子１０３の構成によって取得された撮像データに対して、任意に設定した焦点位置である仮想像面（リフォーカス面）での画像再構成処理について説明する。

図５は、任意に設定したリフォーカス面上のある画素を通過する光が、撮影レンズ１０１のどの瞳分割領域から出射され、どのマイクロレンズ１０２０へ入射するかを光軸Ｚに対して垂直方向から見た図である。同図において、撮影レンズ１０１の瞳分割領域の位置を座標（ｕ，ｖ）、リフォーカス面上の画素位置を座標（ｘ，ｙ）、マイクロレンズアレイ１０２上のマイクロレンズ１０２０の位置を座標（ｘ’，ｙ’）とする。更に、撮影レンズ１０１からマイクロレンズアレイ１０２までの距離をＦ、撮影レンズ１０１からリフォーカス面までの距離をαＦとする。αはリフォーカス面の位置を決定するためのリフォーカス係数であり、ユーザーが任意に設定できる。なお、図５ではｕ、ｘ、ｘ’の方向のみを示し、ｖ、ｙ、ｙ’については省略してある。図５に示すように、座標（ｕ，ｖ）と座標（ｘ，ｙ）を通過した光は、マイクロレンズアレイ１０２上の座標（ｘ’，ｙ’）に到達する。この座標（ｘ’，ｙ’）は式（１）のように表すことができる。

そして、この光を受光する画素の出力をＬ（ｘ’，ｙ’，ｕ，ｖ）とすると、リフォーカス面上の座標（ｘ，ｙ）で得られる出力Ｅ（ｘ，ｙ）は、Ｌ（ｘ’，ｙ’，ｕ，ｖ）を撮影レンズの瞳領域に関して積分したものとなるため、式（２）のようになる。

式（２）において、リフォーカス係数αはユーザーによって決定されるため、（ｘ，ｙ）、（ｕ，ｖ）を与えれば、光が入射するマイクロレンズ１０２０の位置（ｘ’，ｙ’）がわかる。そして、そのマイクロレンズ１０２０に対応する画素配列２００から（ｕ，ｖ）の位置に対応する画素がわかる。この画素の出力がＬ（ｘ’，ｙ’，ｕ，ｖ）となる。これをすべての瞳分割領域について行い、求めた画素出力を積分することでＥ（ｘ，ｙ）を算出することができる。

なお、（ｕ，ｖ）を撮影レンズ１０１の瞳分割領域の代表座標とすれば、式（２）の積分は、単純加算により計算することができる。

次に、画像合成の方法を具体的に説明する。図６はリフォーカス面１１２がマイクロレンズアレイ面（α＝１）に指定された場合に使用する分割画素を説明する図である。また、図７はリフォーカス面１１２がマイクロレンズアレイ面よりも撮影レンズ１０１側のある位置（α＜１）に指定された場合に使用する分割画素を説明する図である。ここでは、説明を分かり易くするために、リフォーカス面１１２の仮想画素１１３を通る主光線のみ考えることとし、さらに一次元方向のみで考えることとする。

図６、図７において、この仮想画素１１３を通過する光線は画素ｐ１〜ｐ５に個別に入射する。したがって、ｐ１からｐ５までの画素の出力値の平均、正確にはリフォーカス面１１２に対応した加重平均を取ることで、リフォーカス面１１２の仮想画素１１３の出力値を求めることができる。

ここで、リフォーカス面１１２に対応した加重平均に用いる重みづけ係数について説明する。本発明で述べる重みづけ係数とは、ある仮想画素１１３を再構成するために分割画素に掛け合わせる、リフォーカス面の位置に依存する行列状の関数である。図６、図７において、画素ｐ１〜ｐ５に表示されたバーの長さが各画素に対応する重みづけ係数の相対値を表している。この重みづけ係数マトリックスを用いてリフォーカス演算の一般式を表現すると以下の式（３）により表すことができる。

Ｐ（ｍ）はリフォーカス面１１２のｍ番目の仮想画素１１３の出力値、ｐ１（ｎ）からｐ５（ｎ）はＰ（ｍ）を構成するｎ番目のマイクロレンズ１０２０下にある分割画素の出力値である。また、Ｗｍ１（ｎ）からＷｍ５（ｎ）はＰ（ｍ）を構成するｎ番目のマイクロレンズ１０２０下にある分割画素ｐ１（ｎ）からｐ５（ｎ）に対して、あるリフォーカス面において掛け合わされる重みづけ係数である。
つまり、リフォーカス面１１２上の（一次元）仮想画素ベクトルＰを算出するためには、撮像素子１０３を構成する分割画素出力ベクトルｐに対して、重みづけ係数マトリックスＷを掛け合わせて、加重加算する。この重みづけ係数マトリックスの縦方向のサイズは仮想画素ベクトルＰの長さ「ｍ（＝マイクロレンズ数）」と等しく、横方向のサイズは分割画素出力ベクトルｐの長さ「ｎ×マイクロレンズ当たりの画素数」に等しい。ここで一般にｍ＝ｎである。

また、重みづけ係数マトリックスはリフォーカス面の位置で決まり、あらかじめあるリフォーカス面における重みづけ係数マトリックスを保持しておくことが可能である。

次に、本発明の特徴である画像処理回路１０６の欠陥画素補正部１０６１による欠陥補正動作および画像再構成部１０６２による画像再構成動作について説明する。なお、画像処理回路１０６には、あらかじめ欠陥画素の座標、種類（黒欠陥、白欠陥等）、および所定の条件下での出力信号のデータが不図示のメモリに格納されているものとする。また、例えばメモリ回路１０７などに格納しておき、画像処理回路１０６が読み出すようにしてもよい。

図９は本第１の実施形態における画像処理回路１０６で行われる欠陥補正動作および画像再構成動作を示すフローチャートである。

Ｓ１１では、操作回路１１０などを介して設定されたリフォーカス面の位置から、リフォーカス係数αを取得する。次にＳ１２において、Ｓ１１で取得したリフォーカス係数αに基づいて、リフォーカス面１１２の仮想画素１１３を構成するための分割画素を選択する。

Ｓ１３では、選択された分割画素があらかじめメモリに記憶されている欠陥画素かどうかを判定する。選択された分割画素が欠陥画素である場合はＳ１４に、欠陥画素でない場合はＳ１８に移行する。

Ｓ１４では、Ｓ１３で判定された欠陥画素の種類あるいは出力信号（欠陥の度合い）を判定する。例えば、常に飽和レベルの信号を出力する欠陥画素（白欠陥）、あるいは常に黒レベルの信号を出力する欠陥画素（黒欠陥）である場合は、必ず補正が必要な欠陥画素としてＳ１６に進む。それ以外の場合は必ずしも補正が必要でない欠陥画素としてＳ１５に移行する。なお、このＳ１４における欠陥の度合いの判断基準は白欠陥、黒欠陥に限られるものではなく、所定の数値以上あるいは以下の信号を出力する場合など、欠陥画素の種類や出力信号のレベル、撮影条件等によって適宜決めればよい。

Ｓ１５では、欠陥画素がリフォーカス面１１２の仮想画素１１３を構成するための重みづけ係数の大小を判定する。ここで言う重みづけ係数は、式（３）で表される重みづけ係数マトリックスの欠陥画素に対応するＷである。重みづけ係数が所定の値より大きい場合は補正が必要な欠陥画素としてＳ１６に、小さい場合は補正が必要でない欠陥画素としてＳ１８に移行する。所定の値については、撮像条件等により変えることができる性質のものであるが、例えば本第１の実施形態ではＷ＝０．５を閾値とする。

Ｓ１６では、補正が必要な欠陥画素の補正値を作成するため、補正値作成に使用する分割画素の選択が行われる。本第１の実施形態では、欠陥画素に隣接する上下左右４つの分割画素の算術平均値をもって補正値とする。この他に、選択された補正値作成用画素の画素配列２００内の位置に応じて、図８に示すような重みづけ係数（リフォーカス面で決まる重みづけ係数とは異なる）を用いた加重平均値を補正値にしてもよい。図８のように、例えば撮影レンズ１０１の有効な瞳領域外に対応する画素（例えば、ｐ１１、ｐ１５、ｐ５１、ｐ５５）の重みづけ係数を小さく設定することで、補正値作成の際のノイズの影響を低減することができる。

Ｓ１７では、欠陥画素の出力をＳ１６で算出した補正値に置き換えることで欠陥画素を補正を行う。Ｓ１８では、Ｓ１７までの補正処理の間に、そのまま使用すると判断された出力値、あるいは補正値に置き換えられた出力値（補正処理後の画像信号）を用いて、式（３）のリフォーカス演算の一般式に基づいて、仮想画素１１３を再構成する。

Ｓ１９では、Ｓ１２〜Ｓ１８で処理された仮想画素１１３が再構成画像の最終画素であるかどうかを判定する。仮想画素１１３が最終画素でない場合は、Ｓ１２に戻り、次の仮想画素１１３の再構成を行う。仮想画素１１３が最終画素である場合は、欠陥補正動作および画像再構成動作が完了する。

以上説明したように、本第１の実施形態ではまず仮想画素に必要な分割画素が欠陥画素かどうかを判断し、さらに欠陥画素と判定された分割画素の欠陥レベルが所定のレベル以上かどうかを判断する。そして、仮想画素を再構成するための重みづけ係数を求め、所定の値と比較する。重みづけ係数が大きい場合は欠陥画素を補正した上で仮想画素を再構成し、重みづけ係数が小さい場合は欠陥画素を補正しないまま仮想画素を再構成する。こうすることで、リフォーカス画像を再構成するための撮像画像に対して、画質を優先しつつ、画像処理の負担を軽減することができる。

その他の方法として、Ｓ１３で欠陥画素と判定された分割画素を、欠陥レベルや重みづけの大小に関わらず仮想画素の再構成に使用しないとすることもできる。また、Ｓ１５で重みづけ係数が所定の値より大きい、つまり補正が必要な欠陥画素と判断された分割画素もまた、仮想画素の再構成に使用しないとすることもできる。こうすることで、リフォーカス画像を再構成するための撮像画像に対して、画質を優先しつつ、画像処理の負担を軽減することができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。上述した第１の実施形態との違いは、Ｓ１５における欠陥画素の重みづけ係数の大小を判断する際に、重みづけ係数だけを判断対象とするのではなく、重みづけ係数と欠陥画素の出力信号との積を、判断対象とすることである。この積が所定の値より大きい場合は補正が必要な欠陥画素としてＳ１６に、小さい場合は補正が必要でない欠陥画素としてＳ１８に移行する。こうすることで、リフォーカス画像を再構成するための撮像画像に対して、画質を優先しつつ、画像処理の負担を軽減することができる。

以上、本発明の好ましい実施の形態を説明したが、本発明は第１及び第２の実施形態に限定されるものではなく、その要旨の範囲内で種々の変形及び変更が可能である。

例えば、本発明にかかる撮像装置の画素構成においては、画素の構造を簡潔に説明するため、マイクロレンズアレイに対応する分割画素を５行５列の構成としたが、本発明はこれに限定されず、様々な数及び形状の分割画素を有する構成としても構わない。

また、Ｓ１５においてＷ＝０．５を閾値と設定したが、本発明はこの値に限定されるものではない。例えば、閾値の大きさをリフォーカス面αの位置に応じて変えてもよい。

＜他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、カメラヘッドなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、デジタルカメラ、デジタルビデオカメラなど）に適用してもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

その場合には、撮像素子１０３により得られた画像信号と、欠陥画素の情報とを組み合わせてコンピュータに供給すればよい。

Claims (12)

1. 複数の画素を分割した複数の画素配列と、前記画素配列の前面側に配置され、１つの画素配列に対して１つのマイクロレンズが対応した複数のマイクロレンズから成るマイクロレンズアレイとを有する撮像手段により取得した画像信号を処理する画像処理装置であって、
   前記複数の画素から出力された画像信号の内、欠陥画素から出力された画像信号を補正する補正処理を行う欠陥画素補正手段と、
   前記補正処理後の画像信号を含めた前記複数の画素から出力された画像信号を、仮想像面の位置に応じて決まる重みづけ係数マトリックスを用いて加重加算して、前記仮想像面の画像を再構成する画像再構成手段と、を有し、
   前記欠陥画素補正手段は、前記仮想像面の位置に応じて前記欠陥画素から出力された画像信号を補正するか否かを判断することを特徴とする画像処理装置。
2. 前記欠陥画素補正手段は、前記欠陥画素の画像信号に対する前記重みづけ係数が予め決められた閾値よりも大きい場合に前記欠陥画素の画像信号を補正すると判断することを特徴とする請求項１に記載の画像処理装置。
3. 前記欠陥画素補正手段は、前記欠陥画素の画像信号と前記欠陥画素の画像信号に対する前記重みづけ係数との積が予め決められた閾値よりも大きい場合に、前記欠陥画素の画像信号を補正すると判断することを特徴とする請求項１に記載の画像処理装置。
4. 前記欠陥画素補正手段は、更に、前記欠陥画素の欠陥の度合いを判定し、前記欠陥画素の欠陥の度合いが予め決められた前記欠陥画素を補正する条件を満たしている場合に、前記重みづけ係数の大きさに関わらず前記欠陥画素の画像信号を補正すると判断することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記欠陥画素補正手段は、前記閾値を前記仮想像面の位置に応じて決定することを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
6. 前記欠陥の度合いは、前記欠陥画素の欠陥の種類または画像信号の大きさを含むことを特徴とする請求項５に記載の画像処理装置。
7. 複数の画素を分割した複数の画素配列と、前記画素配列の前面側に配置され、１つの画素配列に対して１つのマイクロレンズが対応した複数のマイクロレンズから成るマイクロレンズアレイとを有する撮像手段により取得した画像信号を処理する画像処理装置であって、
   前記複数の画素から出力された画像信号を、仮想像面の位置に応じて決まる重みづけ係数マトリックスを用いて加重加算して、前記仮想像面の画像を再構成する画像再構成手段を有し、
   前記画像再構成手段は、前記複数の画素から出力された画像信号の内、欠陥画素から出力された画像信号を用いずに、前記画像を再構成することを特徴とする画像処理装置。
8. 前記撮像手段と、
   請求項１乃至７の何れか１項に記載の画像処理装置と
   を有することを特徴とする撮像装置。
9. 複数の画素を分割した複数の画素配列と、前記画素配列の前面側に配置され、１つの画素配列に対して１つのマイクロレンズが対応した複数のマイクロレンズから成るマイクロレンズアレイとを有する撮像手段により取得した画像信号を処理する画像処理方法であって、
   欠陥画素補正手段が、前記複数の画素から出力された画像信号の内、欠陥画素から出力された画像信号を補正する補正処理を行う欠陥画素補正ステップと、
   画像再構成手段が、前記補正処理後の画像信号を含めた前記複数の画素から出力された画像信号を、仮想像面の位置に応じて決まる重みづけ係数マトリックスを用いて加重加算して、前記仮想像面の画像を再構成する画像再構成ステップと、を有し、
   前記欠陥画素補正ステップでは、前記仮想像面の位置に応じて前記欠陥画素の画像信号を補正するか否かを判断することを特徴とする画像処理方法。
10. 複数の画素を分割した複数の画素配列と、前記画素配列の前面側に配置され、１つの画素配列に対して１つのマイクロレンズが対応した複数のマイクロレンズから成るマイクロレンズアレイとを有する撮像手段により取得した画像信号を処理する画像処理方法であって、
    画像再構成手段が、前記複数の画素から出力された画像信号を、仮想像面の位置に応じて決まる重みづけ係数マトリックスを用いて加重加算して、前記仮想像面の画像を再構成する画像再構成ステップを有し、
    前記画像再構成ステップでは、前記複数の画素から出力された画像信号の内、欠陥画素から出力された画像信号を用いずに、前記画像を再構成することを特徴とする画像処理方法。
11. コンピュータに、請求項９または１０に記載の画像処理方法の各工程を実行させるためのプログラム。
12. 請求項１１に記載のプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images