JP2009008928A - 撮像装置及び画像信号処理プログラム - Google Patents

Abstract

【課題】新たな機構や光学系を追加することなく、低コスト且つ省スペースで、且つ、正確な焦点調節を可能ならしめると共に、画質の劣化を防止すること。
【解決手段】撮像装置は、撮影光学系１２と、上記撮影光学系１２を介して被写体を撮像する撮像素子２２と、上記撮像素子２２の素子面上の領域に対して、上記撮影光学系１２を通過する被写体像光の光束を瞳分割するマイクロレンズアレイ２０と、上記撮像素子２２の素子面上の上記領域を特定するための座標情報を記録し、上記撮像素子２２による撮像によって得られた画像信号に対し、上記座標情報に基づいて、上記領域に対応した上記マイクロレンズアレイ２０の光学特性及び上記撮像素子２２の素子特性に基づく補正処理を行う信号処理部５４と、上記信号処理部５４による上記補正処理前の画像信号または上記補正処理後の画像信号に基づいて、焦点検出を行う焦点検出演算部４６と、を備える。
【選択図】図１

Description

本発明は、焦点検出機能を有し、電子的な撮像素子を用いて撮影を行う撮像装置及びその画像信号処理プログラムに係わり、特に、ノイズ特性を考慮した正確な焦点検出及び撮影画質の劣化防止に関する。

従来より、電子的な撮像素子を使用して、被写体像を電子的に撮像する撮像装置に関する種々の技術が開示されている。

例えば、特許文献１では、ＴＴＬ位相差検出装置に関する技術が開示されている。これは、フライレンズ方式と呼ばれる方式であり、レンズアレイを通過した光束を、ラインセンサを成す一対の受光素子で受光し、ラインセンサの信号を処理して像ずれ量、即ち位相差量を計算し、フォーカシングレンズの繰り出し量にフィードバックして焦点調節を行うものである。

また、特許文献２では、再結像方式を採用したＴＴＬ位相差検出装置に関する技術が開示されている。

更に、特許文献３では、撮影レンズを通過する光束を瞳分割する微小レンズ群と、上記微小レンズの瞳分割光束をそれぞれ受光する対をなす受光素子群とを、撮像素子上に部分的に形成して焦点検出領域を構成し、この焦点検出領域において位相差検出方式による焦点検出を行なう技術が開示されている。
特公昭５７−４９８４１号公報 特開平１０−２７４５６２号公報 特開２０００−３０５０１０号公報

上記特許文献１により開示された焦点検出装置では、撮影レンズを通過した被写体からの光束の一部を分割して導かねばならず、光学的な制約やスペース的な制約を受けるといった問題が生じる。

また、上記特許文献２により開示された焦点検出装置は、上記光路分割の問題の他に再結像光学系が必要であり、更にスペース的な制約が大きくなるといった問題を有している。

そこで、上記特許文献３では、位相差検出のための瞳分割を行うことを目的とした微小レンズ群、及び受光素子群を撮像素子上に形成することで、省スペースを実現している。しかしながら、分割した光束を受ける受光素子対を焦点検出領域に限定して形成する必要があるためコストがかかるという問題がある。更には、焦点検出領域に属する画素信号に関しては、焦点検出領域外の画素信号の補間により生成しており、光学特性や撮像素子のノイズ特性を考慮しておらず、焦点検出領域における画質が劣化するという問題がある。

本発明は、上記の点に鑑みてなされたもので、新たな機構や光学系を追加することなく、低コスト且つ省スペースで、且つ、正確な焦点調節を可能ならしめると共に、画質の劣化を防止する焦点検出機能を有する撮像装置及びその画像信号処理プログラムを提供することを目的とする。

本発明の撮像装置の一態様は、
撮影光学系と、
上記撮影光学系を介して被写体を撮像する撮像素子と、
上記撮像素子の素子面上の領域に対して、上記撮影光学系を通過する被写体像光の光束を瞳分割する瞳分割レンズ群と、
上記撮像素子の素子面上の上記領域を特定するための座標情報を記録する座標記録手段と、
上記撮像素子による撮像によって得られた画像信号に対し、上記座標記録手段に記録された上記座標情報に基づいて、上記領域に対応した上記瞳分割レンズ群の光学特性及び上記撮像素子の素子特性に基づく補正処理を行う補正手段と、
上記補正手段による上記補正処理前の画像信号または上記補正処理後の画像信号に基づいて、焦点検出を行う焦点検出手段と、
を具備することを特徴とする。

また、本発明の画像信号処理プログラムの一態様は、
コンピュータを、
撮影光学系を介して被写体を撮像する撮像素子の素子面上の領域に対して、上記撮影光学系を通過する被写体像光の光束を瞳分割する瞳分割レンズ群の光学特性及び上記撮影光学系の撮影情報を、上記撮像素子による撮像によって得られた画像信号と共に読み込む読み込み手段、
予め記録された上記撮像素子の素子面上の上記領域を特定するための座標情報に基づいて、上記読み込んだ画像信号に対し、上記領域に対応した上記瞳分割レンズ群の光学特性及び予め記録された上記撮像素子の素子特性に基づく補正処理を行う補正手段、
上記補正手段による上記補正処理前の画像信号または上記補正処理後の画像信号に基づいて、焦点検出を行う焦点検出手段、
として機能させるためのものであることを特徴とする。

本発明によれば、新たな機構や光学系を追加することなく、低コスト且つ省スペースで、且つ、正確な焦点調節を可能ならしめると共に、画質の劣化を防止する焦点検出機能を有する撮像装置及びその画像信号処理プログラムを提供することができる。

以下、本発明を実施するための最良の形態を図面を参照して説明する。

［第１実施形態］
図１（Ａ）は、本発明の第１実施形態に係る撮像装置の光学系の構成図である。

同図に示されるように、本実施形態に係る撮像装置は、一眼レフレックスカメラであり、カメラ筐体１０と、該カメラ筐体１０に対して交換可能な又は固定された撮影光学系１２とから成る。

撮影光学系１２は、フォーカシングレンズ１４と絞り１６等により構成されるもので、被写体光の入射を受けるフォーカシングレンズ１４が所定位置に配置され、その光軸上に絞り１６が配置されている。なお、絞り１６は、所定の絞り開口を保持することが可能であると共に、シャッタ機能を有しており、完全に遮光する機能も有している。

カメラ筐体１０内には、上記撮影光学系１２を介した被写体光の光路上に、ビームスプリッタ１８が配置されている。そして、当該ビームスプリッタ１８で反射された光の光路上には、マイクロレンズアレイ２０、撮像素子２２が設けられている。また、上記ビームスプリッタ１８を透過した光の光路上には、ミラー２４、ペンタプリズム２６、及び接眼レンズ２８からなるファインダ光学系が設けられている。

このような構成において、撮影光学系１２を通過した被写体光束の一部は、ビームスプリッタ１８により下方に反射され、撮像素子２２で撮像されることになる。また、上記ビームスプリッタ１８を透過した被写体光束の一部は、ミラー２４で反射された後、ペンタプリズム２６、接眼レンズ２８等から構成されるファインダ光学系に導かれ、撮影者により観察される。

図１（Ｂ）は、第１実施形態に係る撮像装置の信号処理系の構成図である。

同図に示されるように、本撮像装置は、システムコントローラ３０を備え、該システムコントローラ３０は、全体の制御を司る中央演算処理部（ＣＰＵ）３２と、リードオンリメモリ（ＲＯＭ）３４、ランダムアクセスメモリ（ＲＡＭ）３６、アナログ／デジタル変換器（ＡＤＣ）３８、不揮発性メモリたるＥＥＰＲＯＭ４０を少なくとも有している。

さらに、上記システムコントローラ３０は、レンズ駆動部４２、表示部４４、焦点検出演算部４６、ファーストレリーズスイッチ（以下、１ＲＳＷと記す）４８、セカンドレリーズスイッチ（以下、２ＲＳＷと記す）５０、エリア選択ＳＷ５２と双方向に接続されている。

そして、上記撮像素子２２の出力は、信号処理部５４の入力に接続されている。信号処理部５４の出力は、出力部５６、表示部４４、焦点検出演算部４６の入力にそれぞれ接続されている。

このような構成において、上記システムコントローラ３０は、その内部のＲＯＭ３４に格納されたシーケンスプログラムに従って一連の動作を行う。また、上記システムコントローラ３０の内部のＥＥＰＲＯＭ４０には、焦点調節、測光・露出演算、ＡＷＢ（オートホワイトバランス）等に関する補正データが撮像装置毎に記憶されている。

上記撮像素子２２は、撮影光学系１２により形成される被写体像を撮像して電気信号に変換する。上記信号処理部５４は、撮像素子２２からの画素信号である電気信号を処理して画像信号を作成する。この信号処理部５４の詳細な構成は後述する。

焦点検出演算部４６は、上記信号処理部５４において処理された画像信号に基づいて焦点検出演算を行う。この焦点検出演算の結果、合焦の判定データやフォーカシングレンズ１４の駆動量等をシステムコントローラ３０に送信する。

表示部４４は、システムコントローラ３０の制御の下、撮像素子２２により撮像された映像やカメラ内部の情報を液晶表示素子（ＬＣＤ）等により表示する。また、出力部５６は、特に図示はしていないが、圧縮伸張回路、記録媒体で構成されており、撮像素子２２により撮像された映像を圧縮処理して記録媒体に記録する。

上記１ＲＳＷ４８及び２ＲＳＷ５０は、図示しないレリーズボタンに連動したスイッチであり、該レリーズボタンの第１段階の押し下げにより１ＲＳＷ４８がオンし、引き続いて第２段階の押し下げで２ＲＳＷ５０がオンするように構成されている。エリア選択ＳＷ５２は、ＡＦエリアを選択するためのスイッチであり、オンする毎に予め決められたＡＦエリアを移動選択する。システムコントローラ３０は、１ＲＳＷ４８のオンで焦点検出、ＡＦ動作を行い、２ＲＳＷ５０のオンで画像撮影、記録動作を行う。

以上の他、レンズ駆動部４２は、システムコントローラ３０からの司令に基づいて、フォーカシングレンズ１４、絞り１６等を駆動し、焦点距離、絞り径等、撮影光学系１２の状態を制御する。

なお、図１（Ｂ）及び以下に説明する各図において、各処理ユニット間の実線の矢印は撮影された画像の信号の流れを表し、破線の矢印は制御信号の流れを表す。

図２（Ａ）は、上記マイクロレンズアレイ２０と上記撮像素子２２の配置構成を示す図であり、図２（Ｂ）は、焦点検出領域（後述する）におけるマイクロレンズアレイ２０及び撮像素子２２の断面構成を示す図である。

図２（Ｂ）に示すように、受光素子たるフォトダイオード５８の前面には、それぞれマイクロレンズ６０が構成されている。撮像素子２２の光感度を向上させる技術としては、各フォトダイオード５８に対応した位置にマイクロレンズ６０を設けることにより、入射光を効率よくフォトダイオード５８の受光部６２に集光する、所謂オンチップマイクロレンズと呼ばれる技術が確立されている。撮像素子２２の表面において、マイクロレンズ６０は、上記のように光感度を最適にするように設定されている。

上述の集光用のマイクロレンズ６０とは別に、図２（Ａ）に示すように、撮像素子２２の素子面上の所定の領域上において、焦点検出のためのマイクロレンズアレイ２０が配置されている。

ここでは、マイクロレンズアレイ２０で覆われる受光素子を含む領域をマイクロレンズアレイ領域６４と呼称し、マイクロレンズアレイ領域６４のうち、マイクロレンズアレイ２０を通過する光束のみが結像する領域に関しては、焦点検出用の画像信号を生成するための焦点検出領域６６と呼称する。

また、マイクロレンズアレイ領域６４のうち、焦点検出領域６６周辺に位置し、撮影光学系１２を通過した後マイクロレンズアレイ２０による回折が作用し、マイクロレンズアレイ２０を通過せずに、マイクロレンズアレイ２０の外側からマイクロレンズアレイ２０下へ回り込む光束が結像する領域を回折領域６８と呼称する。

更に、撮影光学系１２のみを通過し、マイクロレンズアレイ２０の影響を全く受けない領域を撮像領域７０と呼称する。

本実施形態では、３つのマイクロレンズアレイ領域６４が設けられており、撮像素子２２の素子面上において、１つの焦点検出領域６６が光軸上に配置され、他の２つの焦点検出領域６６は上記光軸上に配置された焦点検出領域に対して垂直な方向に且つ光軸外に配置されるように、各マイクロレンズアレイ２０が構成されている。

この場合、これら領域の位置を撮像素子２２の素子面上における画素の座標値に対応させる。マイクロレンズアレイ領域６４及び撮像領域７０は、撮像素子２２に対するマイクロレンズアレイ２０の相対的な位置関係から容易に座標値に対応させることができ、焦点検出領域６６及び回折領域６８は、実測や光線追跡などのシミュレーションにより対応させることができる。

撮像素子２２は、焦点検出領域６６の部分では、図２（Ｂ）に示すように、シリコンからなる半導体基板７２内において、拡散層等により受光部６２を構成するフォトダイオード５８、受光部６２上に形成される色フィルタ７４、色フィルタ７４の上に形成され、受光部６２に一対一に対応する所定の曲率、焦点距離の球面をもつマイクロレンズ６０にて構成されている。

また、上記焦点検出領域６６において配置されるマイクロレンズアレイ２０は、透明層７６をコンデンサーレンズ７８と再結像レンズ８０とで挟む構成となっており、コンデンサーレンズ７８表面の各レンズ間には視野マスク８２、再結像レンズ８０表面の各レンズ間にはクロストーク防止のためのマスク８４が形成されている。再結像レンズ８０は、隣り合うコンデンサーレンズ７８から等距離にある軸上を再結像レンズ８０の光軸が通るように形成されており、マイクロレンズアレイ２０は、再結像レンズ８０が撮像素子２２の素子面上の隣り合う２つのフォトダイオード５８上に被さるように配置される。

ここで、マイクロレンズアレイ２０のほぼ焦点面に一対の受光素子であるフォトダイオード５８Ａ，５８Ｂが配置されているとすると、マイクロレンズアレイ２０は、図２（Ｂ）に示すように撮影光学系１２を通過する光束を瞳分割して、各分割光束８６を一対のフォトダイオード５８Ａ，５８Ｂにそれぞれ入射するように作用する。

なお、撮像素子２２の撮像領域７０の部分の断面構成は、図２（Ｂ）からマイクロレンズアレイ２０を取り除いた構成となっている。

図２（Ｃ）は、撮像素子２２上の受光素子たるフォトダイオード５８、コンデンサーレンズ７８、再結像レンズ８０の光軸方向から見た場合の配列を示す図である。

なお、焦点検出原理については、前述の特許文献１に開示の位相差検出方式と同様である為、ここでは詳細な説明は省略する。

次に、図３には上記焦点検出演算部４６における合焦、前ピン、後ピンの各例を示し説明する。なお、実際には、マイクロレンズアレイＬｎ群、受光素子Ａｎ，Ｂｎ群は固定されており、撮影光学系１２の位置が移動するのであるが、ここでは、説明の便宜上、撮影光学系１２の位置を固定として相対位置関係を説明する。

マイクロレンズアレイＬｎの焦点距離はｆ２であり、マイクロレンズアレイＬｎと受光素子（フォトダイオード５８）Ａｎ，Ｂｎ間の距離に略等しい。

先ず、合焦時は、同一の被写体からの光束であり異なる射出瞳を通過した光線Ｒ１〜Ｒ１２は、各マイクロレンズアレイＬｎの光軸を中心に隣り合う受光素子ＡｎとＢｎが受ける受光量が一致する。例えば、光線Ｒ３，Ｒ８に対してマイクロレンズアレイＬ３、Ｌ４と受光素子Ａ３，Ｂ３が対応する。

前ピンの場合は、異なるマイクロレンズアレイを通った光の受光素子Ａ，Ｂの受光量、即ち隣り合わない受光素子Ａ，Ｂの受光量が一致する。例えば、同一被写体からの光線Ｒ３，Ｒ８に対してはマイクロレンズアレイＬ５と受光素子Ｂ５、マイクロレンズアレイＬ２と受光素子Ａ１がそれぞれ対応するので、像が４ピッチ分ずれる。

一方、後ピンの場合は、受光量が一致している検出素子は隣り合っているが、それら隣り合っている受光素子に入射する光は異なるマイクロレンズアレイを通った光となる。例えば、同一被写体からの光線Ｒ３，Ｒ８に対してマイクロレンズアレイＬ１と受光素子Ｂ１、マイクロレンズアレイＬ６と受光素子Ａ５がそれぞれ対応するので、前ピン時とは逆方向に４ピッチ分だけ像がずれる。

このようにピントずれ量に応じて像ずれが発生する。実際には、上記１ピッチ単位の像ずれ量（位相差量）では焦点検出精度が低下するので、公知の補間演算等の処理を行って１ピッチ分以下の焦点検出を行う。このように像ずれ量を検出することで、撮影レンズのピントずれ量を求めることができる。

また、複数の焦点検出領域６６について焦点検出を行い、そのうちの例えば最も近い被写体を自動的に選択する等の公知のアルゴリズムによる処理が可能となる。撮影者はエリア選択ＳＷ５２によりＡＦエリアを選択して、そのエリアについて合焦させる事が可能である。

図４は、上記信号処理部５４の構成を示すブロック図であり、該信号処理部５４は、撮像信号処理部８８、Ａ／Ｄ９０、バッファ９２、領域特性記録部９４、ゲイン算出部９６、ノイズ推定部９８、ノイズ低減部１００、ＷＢ調整部１０２、色補間部１０４、鮮鋭化部１０６、階調変換部１０８、及び回折領域補正部１１０から成る。

ここで、上記レンズ駆動部４２は、領域特性記録部９４に接続されている。
また、上記撮像素子２２は、撮像信号処理部８８に接続されている。撮像信号処理部８８は、Ａ／Ｄ９０を介してバッファ９２に接続されている。領域特性記録部９４は、ゲイン算出部９６、ＷＢ調整部１０２、色補間部１０４、及び鮮鋭化部１０６に双方向に接続されている。バッファ９２は、ゲイン算出部９６、ノイズ推定部９８、及びノイズ低減部１００に接続されている。ゲイン算出部９６は、ノイズ推定部９８及び階調変換部１０８に接続されている。ノイズ低減部１００は、上記焦点検出演算部４６及びＷＢ調整部１０２に接続されている。ＷＢ調整部１０２は、色補間部１０４に接続されている。色補間部１０４は、鮮鋭化部１０６に接続されている。鮮鋭化部１０６は、階調変換部１０８に接続されている。階調変換部１０８は、回折領域補正部１１０に接続されている。回折領域補正部１１０は、上記表示部４４及び上記出力部５６に接続されている。

図４において、信号の流れを説明する。

撮像素子２２は、ベイヤ（Bayer）型原色フィルタを全面に配置した単板ＣＣＤを想定している。図５（Ａ）は、ベイヤ型の色フィルタの構成を示す図である。ベイヤ型は２×２画素を基本単位とし、赤（Ｒ），青（Ｂ）フィルタが１画素ずつ、緑（Ｇ）フィルタが２画素配置されるものである。本実施形態においては、Ｇ画素に関してＲ画素の上下、Ｂ画素の上下に位置するものをそれぞれＧｒ、Ｇｂ画素としている。

焦点検出領域６６における結像に関しては、マイクロレンズアレイ２０の影響を受けるため撮影光学系１２とのトータルでの光学系を考慮した場合、撮影光学系１２のみが作用する撮像領域７０への結像と比較して、焦点距離、Ｆ値、レンズ解像力（以下、解像度ＭＴＦと称する）、レンズ透過率、等の光学特性が異なる。本実施形態においては、これら領域毎の結像条件の違いを考慮し、焦点検出領域６６内に属する画像信号に対し、撮影光学系１２、マイクロレンズアレイ２０の特性データを用いた補正を行い、回折領域６８内に属する画像信号に対しては、焦点検出領域６６内と撮像領域７０内に属する画像信号から補間処理により生成する。

本実施形態においては、上記特性データとして、撮影光学系１２及びマイクロレンズアレイ２０に関連するＦ値、解像度ＭＴＦ、ＷＢ係数を記録する。これらの光学系の特性データは、実測や光線追跡などのシミュレーションにより予め求め、焦点検出領域６６、回折領域６８の位置（座標）データと共に領域特性記録部９４に記録されており、撮影に際してはそれらが参照されるようになっている。特性データ、及び領域特性記録部９４の詳細は後述する。

即ち、撮影に際しては、はじめにレリーズボタンの第１段階の押し下げにより１ＲＳＷ４８をオンすることで、焦点検出、ＡＦ動作を行うプリ撮像モードに入る。プリ撮像モードにおいて、信号処理部５４では焦点検出演算を目的とした画像信号を生成し、焦点検出演算部４６へ転送する。

まず、撮像素子２２を介して撮影された信号は、撮像信号処理部８８へ送信され、ＣＤＳ（Correlated Double Sampling）／差動サンプリング、アナログゲインの調整等が行われた後、Ａ／Ｄ９０でデジタル信号に変換され、バッファ９２へ転送される。このバッファ９２内の画像信号は、ノイズ推定部９８及びノイズ低減部１００に転送される。プリ撮像モードにおいては、バッファ９２からゲイン算出部９６への転送は行われない。

ノイズ推定部９８では、撮像素子２２のノイズ特性に基づき、各画素の信号値に対応するノイズ量を推定する。プリ撮像モードにおいては、推定したノイズ量はノイズ低減部１００へ転送される。ノイズ低減部１００では、バッファ９２からの信号に対し、ノイズ推定部９８で推定したノイズ量に基づき、コアリング処理を行うことにより、ノイズ低減処理を行う。これらノイズ量推定及びノイズ低減処理の詳細については後述する。

そして、ノイズ低減後の画像信号は、ノイズ低減部１００から上記焦点検出演算部４６に送信され、焦点検出領域６６に属する画像信号に基づき位相差を算出し、焦点検出を行う。なお、本実施形態では、ベイヤの緑（Ｇ）信号に基づいて位相差を算出しているが、公知の色補間処理により三板のＲＧＢ画像に変換した後、輝度信号を生成し、輝度信号に基づく焦点検出を行っても良い。

また、処理速度向上のため、ノイズ低減処理後の画像信号に基づく焦点検出を行わず、バッファ９２から直接、画像信号を焦点検出演算部４６に転送し、焦点検出を行っても良い。

撮影者は、このようなプリ撮影モードにおいて、随時、エリア選択ＳＷ５２によるＡＦエリアの移動選択により、任意の被写体にフォーカスを合わせたり、撮影情報（光学系の焦点距離、絞り）の変更を行うことで、最適な撮像条件となるよう調整を行う。

引き続いて、レリーズボタンの第２段階の押し下げで２ＲＳＷ５０をオンすることにより本撮影を開始する。上記プリ撮像モードと同様に、撮像素子２２を介して撮影された画像信号は、撮像信号処理部８８、Ａ／Ｄ９０を介してデジタル信号へ変換され、バッファ９２へ転送される。このバッファ９２内の画像信号は、ゲイン算出部９６、ノイズ低減部１００、及びノイズ推定部９８へ転送される。

ゲイン算出部９６では、後段の階調変換処理における画素毎の信号レベルの増幅率をゲインとして予め算出する。マイクロレンズアレイ２０の影響で、焦点検出領域６６と撮像領域７０に作用する光学系のＦ値が異なり、同一の信号レベルに対しても、異なるゲインが発生する。そのため、焦点検出領域６６に属する画素については焦点検出領域６６及び撮像領域７０に対するＦ値を領域特性記録部９４より取得し、信号レベルと共にＦ値に基づきゲインを算出する。また、撮像領域７０に属する画素については、信号レベルに基づきゲインを算出する。算出したゲインは、ノイズ推定部９８及び階調変換部１０８へ転送する。このゲイン算出に関する詳細は後述する。

ノイズ推定部９８では、図５（Ａ）に示されるような色別に注目画素Ｐ_１１（Ｐ：Ｒ，Ｇｒ，Ｇｂ，Ｂ各画素）を包含する３×３画素サイズの注目領域Ｐ_ｉｊを順次抽出する。その後、特開２００５−１７５７１８号公報に開示されるように、信号レベルに応じた撮像素子特性に基づくノイズのモデルから注目画素Ｐ_１１に関するノイズ量Ｎを推定する。ところで、ノイズ低減部１００においては、ノイズ量Ｎに基づくコアリング処理によりノイズ低減効果を調整しているが、正確なノイズ量の推定は現実的には難しいため、ノイズ低減後においてもノイズが残留する。残留したノイズは、後段の階調変換部１０８におけるゲインの乗算により増幅されるため、ノイズの残留を前提とした場合、ゲインが大きい領域ではノイズ量が多めに見積もられるよう補正することで、ノイズ低減効果を調整するといった手法が有効である。ここでは、信号レベルに基づくノイズ量算出後、重み付けしたゲインを乗算することで補正し、ノイズ低減部１００へ転送している。このノイズ量算出の詳細は後述する。

ノイズ低減部１００では、ノイズ推定部９８で推定したノイズ量Ｎに基づき、コアリング処理による平滑化処理を行う。そして、ノイズ低減後の画像信号は、ＷＢ調整部１０２へ転送される。

ＷＢ調整部１０２では、色信号毎に所定のホワイトバランス係数を乗算する。
ここで、マイクロレンズアレイ２０の分光特性が撮影光学系１２と異なる場合を想定しており、この時、ホワイトバランス係数は、焦点検出領域６６と撮像領域７０とで異なる。そこで、本実施形態においては、焦点検出領域６６及び撮像領域７０に対し、実測や光線追跡などのシミュレーション等の手法により予め算出したホワイトバランス係数を、領域特性記録部９４に記録しておく。

そして、ＷＢ調整部１０２は、注目画素の座標値を領域特性記録部９４に転送し、領域特性記録部９４は、座標値に基づき領域を判定した後、所属する領域に対応するホワイトバランス係数をＷＢ調整部１０２に転送する。ＷＢ調整部１０２は、注目画素の信号値に、この転送されてきたホワイトバランス係数を乗算することでＷＢ調整を行う。

ＷＢ調整後の画像信号は、色補間部１０４へ転送され、公知の補間処理によりＲ，Ｇ，Ｂの三板からなる画像信号が生成された後、鮮鋭化部１０６へ転送される。

鮮鋭化部１０６では、フィルタ処理によりエッジ信号を抽出した後、元の信号にエッジ信号を加算することで鮮鋭化処理を行う。ここで、焦点検出領域６６と撮像領域７０では、マイクロレンズアレイ２０の影響により、各領域で解像度ＭＴＦが異なるため、解像力の低い領域においてはエッジ信号を強調して加算することで、領域毎の解像感のバランスをとる必要がある。そこで、本実施形態においては、まず、マイクロレンズアレイ２０が影響する焦点検出領域６６と、撮像領域７０において、領域別に実測や光線追跡などのシミュレーション等の手法により解像度ＭＴＦを算出し、領域特性記録部９４に記録しておく。

そして、鮮鋭化部１０６から注目画素の座標値を領域特性記録部９４に転送し、領域情報を参照することで、注目画素が属する領域を特定する。注目画素が焦点検出領域６６に属する場合には、焦点検出領域６６及び撮像領域７０に対応する解像度ＭＴＦを取得する。鮮鋭化部１０６では、取得した解像度ＭＴＦの比を所定の係数と共にエッジ信号に乗算したものを、元の信号に加算することで、鮮鋭化を行う。この鮮鋭化処理の詳細は後述する。

鮮鋭化処理後の画像信号は、階調変換部１０８へ転送される。階調変換部１０８では、前述のゲイン算出部９６において算出された各画素に対応するゲインを各色信号に乗算することで、階調変換処理を行い、変換後の画像信号を回折領域補正部１１０へ転送する。

なお、以上に説明した階調変換部１０８までの処理のうち、回折領域６８に属する画素に関する処理は、全てスキップされる。

回折領域補正部１１０では、回折領域６８に属する画素値に関し、回折領域６８周辺の焦点検出領域６６、撮像領域７０に属する画素値に基づいて、公知の補間処理により補間する。

図５（Ｂ）は、回折領域６８内のＧ信号の補間に関する一例を示すもので、例えばＧ１１に関しては上下の画素値（Ｇ１０，Ｇ１３）を用いて、以下の（１）式に基づき線形補間により補間する。

Ｇ１１＝０．７５＊Ｇ１０＋０．２５＊Ｇ１３ …（１）
こうして画像信号の回折領域６８内に属する各色信号の画素値について補間した後、画像信号は、上記出力部５６及び上記表示部４４へ転送される。

上記出力部５６では、階調変換部１０８からの画像信号に対して圧縮伸張回路により圧縮処理を施した後、画像信号（静止画データ）を記録媒体に記録する。

次に、上記信号処理部５４を構成する各処理ユニットの詳細を説明する。

図６は、領域特性記録部９４の構成の一例を示すブロック図であり、該領域特性記録部９４は、撮像条件特定部１１２、領域特性特定部１１４、パラメータ選択部１１６、パラメータ用ＲＯＭ１１８、補間部１２０、及び補正部１２２から成る。

ここで、上記レンズ駆動部４２は、撮像条件特定部１１２に接続されている。また、上記ゲイン算出部９６、上記ＷＢ調整部１０２、及び上記鮮鋭化部１０６は、領域特性特定部１１４に接続されている。撮像条件特定部１１２、領域特性特定部１１４、及びパラメータ用ＲＯＭ１１８は、パラメータ選択部１１６に接続されている。パラメータ選択部１１６は、補間部１２０に接続されている。補間部１２０は、補正部１２２に接続されている。補正部１２２は、上記ゲイン算出部９６、上記ＷＢ調整部１０２、及び上記鮮鋭化部１０６へ接続されている。

この領域特性記録部９４は、上記撮影光学系１２及び上記マイクロレンズアレイ２０に関する特性データを保持し、外部に接続される上記ゲイン算出部９６、上記ＷＢ調整部１０２、及び上記鮮鋭化部１０６といった処理ユニットへ、それらが必要とする特性データを供給するものである。

特性データとしては、撮像領域７０の結像に影響する撮影光学系１２と、焦点検出領域６６の結像に影響する撮影光学系１２及びマイクロレンズアレイ２０を合成した光学系との光学特性を表す、Ｆ値、解像度ＭＴＦ、及びレンズの分光特性、及び、撮像素子２２の分光感度に関連したＷＢ係数が、焦点検出領域６６の座標データと共に格納されている。

従って、領域特性記録部９４は、処理ユニットから入力された注目画素の座標値から領域を特定し、処理ユニットが要求する撮像領域７０、焦点検出領域６６の何れかの領域に対応する特性データを出力する。

即ち、まず、撮像条件特定部１１２において、プリ撮影モードで設定された撮影情報（撮影光学系１２の焦点距離、絞り径等）が上記レンズ駆動部４２より転送され記録される。この撮影情報は、本撮影が終了するまでの間、保持される。

領域特性特定部１１４には、焦点検出領域６６、撮像領域７０、及び回折領域６８を示す座標情報が予め記録されており、処理ユニットから入力される座標値に基づき、当該座標が焦点検出領域６６、撮像領域７０、及び回折領域６８の何れに属するかの判定を行う。また、上記座標値の出力元の処理ユニットを表すフラグが設定されるようになっている。

領域特性記録部９４は、この領域特性特定部１１４のフラグに応じて必要な特性データを特定、算出し、対応する処理ユニットへ供給する。本実施形態においては、例えば、ゲイン算出部９６のフラグが立っている場合はＦ値を、ＷＢ調整部１０２のフラグが立っている場合はＷＢ係数を、鮮鋭化部１０６のフラグが立っている場合は解像度ＭＴＦを、それらの処理ユニットへ供給する。

即ち、処理ユニットから入力された座標値が焦点検出領域６６に属し、フラグがゲイン算出部９６を示す場合、領域特性記録部９４は、撮像領域７０に対するＦ値Ｆａ及び焦点検出領域６６に対するＦ値Ｆｂを算出し、ゲイン算出部９６へ供給する。Ｆ値は、焦点距離、有効口径に依存して変化する。レンズの明るさはレンズ透過率にも影響を受けるが、簡略化のため、撮影光学系１２とマイクロレンズアレイ２０のレンズ透過率は同一と想定し、ここでは考慮しない。また、有効口径と絞り径が一致するものと仮定している。

図７（Ａ）乃至（Ｃ）は、このＦ値の算出に関する説明図である。
図７（Ａ）は、一例として絞り径が２．０ｍｍ，４．０ｍｍ，８．０ｍｍの場合に対応する、ある焦点検出領域６６における、Ｆ値をプロットしている。ここで図７（Ａ）に示すように、複数の絞り径に対応したそれぞれのモデルを記録し、その都度、演算によりＦ値を算出することは処理的に煩雑である。このため、図７（Ｂ）に示すようなモデルの簡略化を行い、パラメータ用ＲＯＭ１１８に記録しておく。

図７（Ｂ）においては、最大のＦ値を与えるモデルを基準Ｆ値モデルとして選択し、これを所定数の折れ線で近似する。折れ線の変曲点は、焦点距離ｆとＦ値からなる座標データ（ｆ_ｎ，Ｆ_ｎ）で表す。ここで、ｎは変曲点の数を示す。また、上記基準Ｆ値モデルから他のＦ値モデルを導出するための係数ｋ_Ｓも用意される。係数ｋ_Ｓは、各Ｆ値モデルと基準Ｆ値モデル間から最小自乗法により算出される。基準Ｆ値モデルから他のＦ値モデルを導出するには、上記係数ｋ_Ｓを乗算することで行われる。

図７（Ｃ）は、図７（Ｂ）に示す簡易化されたＦ値モデルからＦ値を算出する方法を示す。例えば、与えられた焦点距離ｆ_ｔｈ、絞り径Ｓに対応するＦ値を求めることを想定する。まず、焦点距離ｆ_ｔｈが基準Ｆ値モデルのどの区間に属するかを探索する。ここでは、（ｆ_ｎ，Ｆ_ｎ）と（ｆ_ｎ＋１，Ｆ_ｎ＋１）間の区間に属するとする。基準Ｆ値モデルにおける基準Ｆ値（Ｆ_ｔｈ）を、以下の（２）式に示す線形補間にて求める。

Ｆ_ｔｈ＝（Ｆ_ｎ＋１−Ｆ_ｎ）／（ｆ_ｎ＋１−ｆ_ｎ）×（ｆ_ｔｈ−ｆ_ｎ）＋Ｆ_ｎ …（２）
次に、絞り径Ｓに対応する係数ｋ_Ｓを、以下の（３）式に示すように乗算することで、Ｆ値を求める。

Ｆ＝ｋ_Ｓ・Ｆ_ｔｈ …（３）
パラメータ選択部１１６は、領域特性特定部１１４に設定されたゲイン算出部９６を示すフラグに従い、撮像条件特定部１１２から焦点距離ｆ_ｔｈ、絞り径Ｓを読み込む。次に、焦点距離ｆが属する区間の座標データ（ｆ_ｎ，Ｆ_ｎ）と（ｆ_ｎ＋１，Ｆ_ｎ＋１）をパラメータ用ＲＯＭ１１８から探索し、これを補間部１２０へ転送する。さらに、絞り径Ｓに対応する係数ｋ_Ｓをパラメータ用ＲＯＭ１１８から探索し、これを補正部１２２へ転送する。補間部１２０は、パラメータ選択部１１６からの焦点距離ｆ_ｔｈ及び区間の座標データ（ｆ_ｎ，Ｆ_ｎ）と（ｆ_ｎ＋１，Ｆ_ｎ＋１）から上記（２）式に基づき基準Ｆ値モデルにおける基準Ｆ値Ｆ_ｔｈを算出し、補正部１２２へ転送する。

補正部１２２は、パラメータ選択部１１６からの係数ｋ_Ｓ及び補間部１２０からの基準Ｆ値Ｆ_ｔｈから、上記（３）式に基づきＦ値を算出し、注目画素Ｐ（Ｐ：Ｒ，Ｇｒ，Ｇｂ，Ｂ各画素）のＦ値として、ゲイン算出部９６へ供給する。

なお、この場合、パラメータ用ＲＯＭ１１８には、撮影光学系１２とマイクロレンズアレイ２０との合成光学系に対する基準Ｆ値モデルと、撮影光学系１２のみに対する基準Ｆ値モデルとの２種類の基準Ｆ値モデルが記録されており、それぞれに関して処理を行うことで、上記注目画素Ｐに対しては、撮像領域７０に対するＦ値Ｆａと焦点検出領域６６に対するＦ値Ｆｂとが算出されて、ゲイン算出部９６へ供給されることとなる。

また、処理ユニットから入力された座標値が焦点検出領域６６に属し、フラグが鮮鋭化部１０６を示す場合には、領域特性記録部９４は、焦点検出領域６６及び撮像領域７０に対する解像度ＭＴＦを算出し、鮮鋭化部１０６へ出力する。解像度ＭＴＦは、焦点距離、有効口径に依存して変化する。解像度ＭＴＦは一般に、撮影光学系１２の光軸を中心とした像高に応じても変化するが、ここでは簡略化のため、焦点検出領域６６の重心における値を代表値とし、焦点検出領域６６に属する座標に対する解像度ＭＴＦは焦点検出領域６６重心における解像度ＭＴＦで表すものとしている。また、有効口径と絞り径が一致するものと仮定している。解像度ＭＴＦは、実測、または光線追跡等のシミュレーションにより、焦点検出領域６６及び撮像領域７０に対しそれぞれ算出し、予めパラメータ用ＲＯＭ１１８に記録しておく。

図８（Ａ）乃至（Ｃ）は、解像度ＭＴＦの算出に関する説明図である。
図８（Ａ）は、一例としてある焦点検出領域６６の重心座標上における、絞り径が２．０ｍｍ，４．０ｍｍ，８．０ｍｍの場合に対応する解像度ＭＴＦをプロットしている。

ここで、図８（Ａ）に示すように、絞り径に対応した複数のモデルを記録し、その都度演算により解像度ＭＴＦを算出することは処理的に煩雑である。このため、図８（Ｂ）に示すようなモデルの簡略化を行い、パラメータ用ＲＯＭ１１８に記録しておく。

図８（Ｂ）においては、最大の解像度ＭＴＦを与えるモデルを基準ＭＴＦモデルとして選択し、これを所定数の折れ線で近似する。折れ線の変曲点は、焦点距離（ｆ）と解像度ＭＴＦからなる座標データ（ｆ_ｎ，ＭＴＦ_ｎ）で表す。ここで、ｎは変曲点の数を示す。また、上記基準ＭＴＦモデルから他のＭＴＦモデルを導出するための係数ｋ_Ｓも用意される。係数ｋ_Ｓは、各ＭＴＦモデルと基準ＭＴＦモデル間から最小自乗法により算出される。基準ＭＴＦモデルから他のＭＴＦモデルを導出するには、上記係数ｋ_Ｓを乗算することで行われる。

図８（Ｃ）は、図８（Ｂ）に示す簡易化されたＭＴＦモデルから解像度ＭＴＦを算出する方法を示す。例えば、与えられた焦点距離ｆ_ｔｈ、絞り値Ｓに対応する解像度ＭＴＦを求めることを想定する。まず、焦点距離ｆ_ｔｈが基準ＭＴＦモデルのどの区間に属するかを探索する。ここでは、（ｆ_ｎ，ＭＴＦ_ｎ）と（ｆ_ｎ＋１，ＭＴＦ_ｎ＋１）間の区間に属するとする。基準ＭＴＦモデルにおける基準解像度ＭＴＦ_ｔｈを、以下の（４）式に示す線形補間にて求める。

ＭＴＦ_ｔｈ＝（ＭＴＦ_ｎ＋１−ＭＴＦ_ｎ）／（ｆ_ｎ＋１−ｆ_ｎ）×（ｆ_ｔｈ−ｆ_ｎ）＋ＭＴＦ_ｎ …（４）
次に、係数ｋｆＳを、以下の（５）式に示すように乗算することで、解像度ＭＴＦを求める。

ＭＴＦ＝ｋ_Ｓ・ＭＴＦ_ｔｈ …（５）
パラメータ選択部１１６は、領域特性特定部１１４に設定された鮮鋭化部１０６を示すフラグに従い、撮像条件特定部１１２から焦点距離ｆ_ｔｈ、絞り径Ｓを読み込んだ後、焦点距離ｆ_ｔｈが属する区間の座標データ（ｆ_ｎ，ＭＴＦ_ｎ）と（ｆ_ｎ＋１，ＭＴＦ_ｎ＋１）をパラメータ用ＲＯＭ１１８から探索し、これを補間部１２０へ転送する。さらに、絞り径Ｓに対応する係数ｋ_Ｓをパラメータ用ＲＯＭ１１８から探索し、これを補正部１２２へ転送する。補間部１２０は、パラメータ選択部１１６からの焦点距離ｆ_ｔｈ及び区間の座標データ（ｆ_ｎ，ＭＴＦ_ｎ）と（ｆ_ｎ＋１，ＭＴＦ_ｎ＋１）から、上記（４）式に基づき基準ＭＴＦモデルにおける基準レンズ解像度ＭＴＦ_ｔｈを算出し、補正部１２２へ転送する。

補正部１２２は、パラメータ選択部１１６からの係数ｋ_Ｓ及び補間部１２０からの基準解像度ＭＴＦ_ｔｈから、上記（５）式に基づき解像度ＭＴＦを算出し、注目画素Ｐ（Ｐ：Ｒ，Ｇｒ，Ｇｂ，Ｂ各画素）の解像度ＭＴＦとして、鮮鋭化部１０６へ供給する。

なお、この場合、パラメータ用ＲＯＭ１１８には、焦点検出領域６６に対する基準ＭＴＦモデルと、撮像領域７０に対する基準ＭＴＦモデルとの２種類の基準ＭＴＦモデルが記録されており、それぞれに関して処理を行うことで、上記注目画素Ｐに対しては、撮像領域７０に対する解像度ＭＴＦａと焦点検出領域６６に対する解像度ＭＴＦｂとが算出されて、鮮鋭化部１０６へ供給されることとなる。

また、処理ユニットから入力されたフラグがＷＢ調整部１０２を示す場合には、同様に、領域特性記録部９４は、入力された座標値をもとに撮像領域７０、焦点検出領域６６の何れに属するかを判定した後、判定された領域に対応するＷＢ係数をＷＢ調整部１０２へ出力する。ＷＢ係数は、撮像素子２２の分光感度、撮影光学系１２とマイクロレンズアレイ２０の分光特性に基づき、実測、または光線追跡等のシミュレーションにより算出し、予めパラメータ用ＲＯＭ１１８に記録しておく。

次に、上記ゲイン算出部９６について説明する。
図９は、このゲイン算出部９６の構成の一例を示すブロック図であり、該ゲイン算出部９６は、階調変換ゲイン算出部１２４、階調変換曲線ＲＯＭ１２６、及び補正部１２８から成る。ここで、上記バッファ９２及び階調変換曲線ＲＯＭ１２６は、階調変換ゲイン算出部１２４に接続されている。階調変換ゲイン算出部１２４及び上記領域特性記録部９４は、補正部１２８に接続されている。補正部１２８は、上記ノイズ推定部９８及び上記階調変換部１０８に接続されている。

本実施形態における階調変換処理では、基本的に、撮像領域７０における画像信号を基準とした固定の標準的な階調変換曲線に基づく画素値の変換を行うこととし、焦点検出領域６６に属する画素に関するゲインについては、さらに光学系の明るさ、Ｆ値に基づき補正処理を行う。

そのため、階調変換ゲイン算出部１２４は、上記バッファ９２から取得した画像信号に対し、階調変換曲線ＲＯＭ１２６から取得した階調変換曲線及び画素の信号レベルに基づき、画素毎にゲインを算出する。階調変換処理におけるゲインｇａｉｎの定義を、以下の（６）式に示す。但し、以下の（６）式において、ｔ（）は階調変換曲線、ＡＶｃは入力信号レベルである。

ｇａｉｎ＝ｔ（ＡＶｃ）／ＡＶｃ …（６）
階調変換処理は、画像信号の各画素の信号レベルに基づきゲインｇａｉｎを算出し、各画素値にその算出したゲインｇａｉｎを乗算することで処理がなされる。

ところで、焦点検出領域６６面と撮像領域７０面に照射される単位面積あたりの光量は、前者がマイクロレンズアレイ２０の影響を受け、撮影光学系１２とのトータルな光学性能（Ｆ値）が異なるため、領域毎に明るさが均一でない。そのため、焦点検出領域６６と撮像領域７０とで信号レベルが同一となるよう、焦点検出領域６６における画像信号にかかるゲインｇａｉｎを補正する。

まず、注目画素の座標値を領域特性記録部９４に転送し、上述のように、領域情報を参照することで注目画素が属する領域を特定する。焦点検出領域６６に属する場合は、上述のようにして撮影光学系１２のＦ値Ｆａ、及び撮影光学系１２とマイクロレンズアレイ２０との合成光学系としてのＦ値Ｆｂを取得する。

撮像領域７０、焦点検出領域６６における単位面積当たりの光量Ｌａ、Ｌｂは、以下の（７）式のように定義可能である。但し、ここで、Ｋｆは所定の係数である。

Ｌａ＝Ｋｆ／（Ｆａ）^２， Ｌｂ＝Ｋｆ／（Ｆｂ）^２ …（７）
従って、焦点検出領域６６における、撮像領域７０に対する光量比Ｌａｂは、以下の（８）式で示される。

Ｌａｂ＝Ｌｂ／Ｌａ＝（Ｆａ／Ｆｂ）^２ …（８）
即ち、焦点検出領域６６における画像信号に対しては、以下の（９）式に従いゲインｇａｉｎを補正することで、階調変換処理において撮像領域７０と焦点検出領域６６における信号レベルが均一となるよう補正する。

ｇａｉｎ’＝ｇａｉｎ＊（Ｆａ／Ｆｂ）^２ …（９）
なお、撮像領域７０に属する画素に対する補正は行わない。

以上のように算出したゲインは、ノイズ推定部９８及び階調変換部１０８へ転送される。

次に、上記ノイズ推定部９８について説明する。
図１０は、このノイズ推定部９８の構成の一例を示すブロック図であり、該ノイズ推定部９８は、平均算出部１３０、パラメータ選択部１３２、パラメータ用ＲＯＭ１３４、補間部１３６、及び補正部１３８からなる。

ここで、上記バッファ９２は平均算出部１３０へ接続しており、平均算出部１３０及びパラメータ用ＲＯＭ１３４はパラメータ選択部１３２へ接続している。上記ゲイン算出部９６は、補正部１３８に接続されている。パラメータ選択部１３２は補間部１３６へ接続しており、補間部１３６及び上記ゲイン算出部９６は補正部１３８へ接続している。補正部１３８は、上記ノイズ低減部１００へ接続している。

ノイズ推定部９８では、撮像素子２２の信号レベルに対するノイズ量をモデル化したノイズモデルからノイズ量の推定を行う。また、後段のゲイン乗算に基づく階調変換処理におけるノイズの増幅を考慮し、ゲインに応じたノイズ量の補正を行う。

平均算出部１３０は、図５（Ａ）に示される局所領域Ｐ_ｉｊ（ｉ＝０〜２，ｊ＝０〜２，Ｐ：Ｒ，Ｇｒ，Ｇｂ，Ｂ各画素）を抽出し、以下の（１０）式に示すように局所領域Ｐ_ｉｊの平均値ＡＶ_１１を算出して、パラメータ選択部１３２へ転送する。

ＡＶ_１１＝ΣＰ_ｉｊ／９ …（１０）
単板状態の色信号については、色信号ごとに局所領域を形成した後、平均算出部１３０へ転送する。以降のノイズ量の推定、ならびにノイズ低減処理は、色信号ごとに実施される。平均算出部１３０では、局所領域の平均値を算出しパラメータ選択部１３２へ転送する。

図１１（Ａ）乃至（Ｃ）は、ノイズ量の推定に関する説明図である。
図１１（Ａ）は、信号レベルが中間輝度領域において、ノイズ量の最大値をプロットしている。

信号レベルをＶとした場合、ノイズ量Ｎを２次関数でモデル化すると、以下の（１１）式が得られる。但し、ここで、α，β，γは定数項である。

Ｎ＝αＶ２＋βＶ＋γ …（１１）
ノイズ量の分布は、処理系の組み合わせにより傾向が異なる。ここでは、２次の多項式によりモデル化したが、ノイズ量分布傾向に合せて、以下の（１２）式のような１次関数、または以下の（１３）式のようなＬｏｇ関数によるモデル化も可能である。これら（１２）式及び（１３）式は、上記（１１）式と容易に置換可能であるため、その説明は省略する。

Ｎ＝αＶ＋β …（１２）
Ｎ＝αｌｏｇＶ …（１３）
ここで、ノイズ量算出の演算処理の負荷を軽減するため、図１１（Ｂ）に示すようなモデルの簡略化を行う。

図１１（Ｂ）において、ｇａｉｎ＝１．０における基準のノイズモデル（以降、基準ノイズモデル）を所定数の折れ線で近似する。折れ線の変曲点は、信号レベルＶとノイズ量Ｎからなる座標データ（Ｖ_ｎ，Ｎ_ｎ）で表す。ここで、ｎは変曲点の数を示す。

図１１（Ｃ）は、図１１（Ｂ）に示す簡易化されたノイズモデルからノイズ量を算出する方法を示す。例えば、与えられた信号レベルＶ_ｔｈ、ｇａｉｎ＝Ｋ_ｇに対応するノイズ量Ｎを求めることを想定する。まず、信号レベルＶ_ｔｈが基準ノイズモデルのどの区間に属するかを探索する。ここでは、（Ｖ_ｎ，Ｎ_ｎ）と（Ｖ_ｎ＋１，Ｎ_ｎ＋１）間の区間に属するとする。基準ノイズモデルにおける基準ノイズ量Ｎ_ｔｈを、以下の（１４）式に示す線形補間にて求める。

Ｎ_ｔｈ＝（Ｎ_ｎ＋１−Ｎ_ｎ）／（Ｖ_ｎ＋１−Ｖ_ｎ）×（Ｖ_ｔｈ−Ｖ_ｎ）＋Ｎ_ｎ …（１４）
次に、ゲインｇａｉｎ＝Ｋ_ｇを、以下の（１５）式に示すように所定の係数Ｋ_ｃと共に基準ノイズ量Ｎ_ｔｈに乗算することで、ノイズ量Ｎを求める。

Ｎ＝Ｋ_ｇ・Ｋ_ｃ・Ｎ_ｔｈ …（１５）
具体的な処理手順は、以下の通りである。
即ち、パラメータ選択部１３２は、平均算出部１３０からの局所領域の平均値ＡＶ_１１から信号レベルＶ_ｔｈを設定する。次に、信号レベルＶ_ｔｈが属する区間の座標データ（Ｖ_ｎ，Ｎ_ｎ）と（Ｖ_ｎ＋１，Ｎ_ｎ＋１）をパラメータ用ＲＯＭ１３４から探索し、これを補間部１３６へ転送する。

補間部１３６は、パラメータ選択部１３２からの信号レベルＶ_ｔｈ及び区間の座標データ（Ｖ_ｎ，Ｎ_ｎ）と（Ｖ_ｎ＋１，Ｎ_ｎ＋１）から、上記（１４）式に基づき基準ノイズモデルにおける基準ノイズ量Ｎ_ｔｈを算出し、補正部１３８へ転送する。

補正部１３８は、上記ゲイン算出部９６からゲインｇａｉｎ＝Ｋ_ｇ及び所定の重み係数Ｋ_ｃ、また、補間部１３６からの基準ノイズ量Ｎ_ｔｈに基づき、上記（１５）式からノイズ量Ｎを算出し、注目画素Ｐ_１１のノイズ量Ｎ_１１とする。

こうして推定されたノイズ量Ｎ_１１及び平均値ＡＶ_１１は、上記ノイズ低減部１００へ転送される。

次に、上記ノイズ低減部１００について説明する。
図１２は、このノイズ低減部１００の構成の一例を示すブロック図であり、該ノイズ低減部１００は、切換部１４０、範囲設定部１４２、第１スムージング部１４４、及び第２スムージング部１４６からなる。

ここで、上記バッファ９２は、切換部１４０に接続している。また、上記ノイズ推定部９８は、範囲設定部１４２へ接続しており、切換部１４０と範囲設定部１４２は第１スムージング部１４４及び第２スムージング部１４６へ接続している。第１スムージング部１４４及び第２スムージング部１４６は、上記焦点検出演算部４６及び上記ＷＢ調整部１０２へ接続している。

上記ノイズ推定部９８は、上述したように、局所領域Ｐ_ｉｊの平均値ＡＶ_１１及び注目画素Ｐ_１１のノイズ量Ｎ_１１を、範囲設定部１４２へ転送する。

範囲設定部１４２は、ノイズ量に関する許容範囲として上限Ｕｐ及び下限Ｌｏｗを、以下の（１６）式及び（１７）式のように設定する。

Ｕｐ＝ＡＶ_１１＋（Ｎ_１１／２） …（１６）
Ｌｏｗ＝ＡＶ_１１−（Ｎ_１１／２） …（１７）
上記許容範囲Ｕｐ，Ｌｏｗは、切換部１４０へ転送される。また、範囲設定部１４２は、平均値ＡＶ_１１及びノイズ量Ｎ_１１を第１スムージング部１４４及び第２スムージング部１４６へ転送する。

切換部１４０は、バッファ９２からの注目画素Ｐ_１１を読み込み、上記許容範囲に属するか否かの判断を行う。判断は、「ノイズ範囲に属している」、「ノイズ範囲を上回っている」、「ノイズ範囲を下回っている」の三通りである。切換部１４０は、「ノイズ範囲に属している」場合は第１スムージング部１４４へ、それ以外は第２スムージング部１４６へ、注目画素Ｐ_１１を転送する。

第１スムージング部１４４は、切換部１４０からの注目画素Ｐ_１１に、範囲設定部１４２からの平均値ＡＶ_１１を、以下の（１８）式のように代入する処理を行う。

Ｐ’_１１＝ＡＶ_１１ …（１８）
第２スムージング部１４６は、切換部１４０からの注目画素Ｐ_１１に、範囲設定部１４２からの平均値ＡＶ_１１とノイズ量Ｎ_１１を用いて補正する処理を行う。まず、「ノイズ範囲を上回っている」場合は、以下の（１９）式のように補正する。

Ｐ’_１１＝ＡＶ_１１−Ｎ_１１／２ …（１９）
また、「ノイズ範囲を下回っている」場合は、以下の（２０）式のように補正する。

Ｐ’_１１＝ＡＶ_１１＋Ｎ_１１／２ …（２０）
上記（１８）式、（１９）式または（２０）式のノイズ低減処理がなされた注目画素Ｐ’_１１及びノイズ量Ｎ_１１は、上記焦点検出演算部４６及び上記ＷＢ調整部１０２へ転送される。

次に、上記鮮鋭化部１０６について説明する。
図１３は、この鮮鋭化部１０６の構成の一例を示すブロック図であり、該鮮鋭化部１０６は、Ｙ／Ｃ分離部１４８、フィルタ用ＲＯＭ１５０、フィルタ処理部１５２、エッジ補正部１５４、エッジ強調部１５６、Ｙ／Ｃ合成部１５８よりなる。

ここで、上記色補間部１０４は、Ｙ／Ｃ分離部１４８に接続されている。Ｙ／Ｃ分離部１４８は、フィルタ処理部１５２及びエッジ強調部１５６に接続されている。フィルタ用ＲＯＭ１５０は、フィルタ処理部１５２に接続されている。上記領域特性記録部９４及びフィルタ処理部１５２は、エッジ補正部１５４に接続されている。エッジ補正部１５４は、エッジ強調部１５６に接続されている。エッジ強調部１５６は、Ｙ／Ｃ合成部１５８に接続されている。Ｙ／Ｃ合成部１５８は、上記階調変換部１０８に接続されている。

Ｙ／Ｃ分離部１４８は、上記色補間部１０４からの画像信号を画素単位で読み出し、以下の（２１）式に従い輝度信号Ｙと色差信号Ｃに分離し、輝度信号Ｙをフィルタ処理部１５２に、輝度信号Ｙ及び色差信号Ｃをエッジ強調部１５６へ転送する。

Ｙ＝０．２９９００Ｒ＋０．５８７００Ｇ＋０．１１４００Ｂ
Ｃｂ＝−０．１６８７４Ｒ−０．３３１２６Ｇ＋０．５００００Ｂ …（２１）
Ｃｒ＝０．５００００Ｒ−０．４１８６９Ｇ−０．０８１３１Ｂ
フィルタ処理部１５２では、始めにフィルタ用ＲＯＭ１５０から公知のエッジ成分抽出−フィルタ処理に必要なフィルタ係数を読み出す。例えば、５×５画素サイズのフィルタである場合は、Ｙ／Ｃ分離部１４８からの画像信号から５×５画素単位の局所領域を読み込み、上記フィルタ係数を用いてエッジ信号Ｅｇを求め、これをエッジ補正部１５４へ転送する。
エッジ補正部１５４では、マイクロレンズアレイ２０の影響により、焦点検出領域６６と撮像領域７０の間で異なる解像感となるので、バランスをとるため、焦点検出領域６６に属する画素に対しては各領域のＭＴＦに基づき、エッジ信号Ｅｇの補正を行う。まず、上述したように、注目画素の座標値を領域特性記録部９４に転送し、領域情報を参照することで注目画素が属する領域を特定する。焦点検出領域６６に属する場合は、撮像領域７０及び焦点検出領域６６に対応する各解像度ＭＴＦ（ＭＴＦａ，ＭＴＦｂ）を取得する。本実施形態においては、以下の（２２）式に示すように各領域のＭＴＦ比の逆数に基づき、補正を行っている。但し、ここで、Ｅｇ’は補正後のエッジ信号、Ｋｅは所定の係数である。

Ｅｇ’＝Ｅｇ＊Ｋｅ／（ＭＴＦｂ／ＭＴＦａ） …（２２）
エッジ強調部１５６は、Ｙ／Ｃ分離部１４８において上記（２１）式に従い変換された輝度信号Ｙから所定サイズの局所領域を抽出し、輝度信号Ｙに対してフィルタ処理部１５２からのエッジ信号Ｅｇ、またはＥｇ’を加算することにより鮮鋭化処理を行う。

鮮鋭化後の輝度信号Ｙ及び色差信号Ｃは、Ｙ／Ｃ合成部１５８へ転送される。そして、Ｙ／Ｃ合成部１５８において、以下の（２３）式に従い輝度信号Ｙ及び色差信号ＣをＲＧＢ画像信号に変換した後、画像信号は上記階調変換部１０８へ転送される。

Ｒ＝Ｙ＋１．４０２００Ｃｒ
Ｇ＝Ｙ−０．３４４１４Ｃｂ−０．７１４１４Ｃｒ …（２３）
Ｂ＝Ｙ＋１．７７２００Ｃｂ
なお、本実施形態においては、回折領域６８内に属する画素に関しては、回折領域６８内画素周辺の焦点検出領域６６及び撮像領域７０内に属する画像信号から補間しているが、解析領域内画素に関して撮像領域７０内画素と同様の処理を施した後、周辺に位置する焦点検出領域６６及び撮像領域７０内画素に基づき、例えば平均を取るなどの補正処理を行う構成としても良い。

また、図６に示す領域特性記録部９４には、焦点検出領域６６、撮像領域７０、回折領域６８を表す座標情報が記録されており、座標値に基づき座標の属する領域が特定可能であるが、回折領域６８のみの座標情報を記録しておき、領域の特定に際しては、回折領域６８内に属する座標値に関しては撮像領域７０、回折領域外側に属する座標値に関しては撮像領域７０とする判定手段を設ける構成としても良い。

逆に、焦点検出領域６６及び撮像領域７０のみを記録しておき、各領域に属さない座標値を回折領域６８とする判定手段を設ける構成としても良い。

また、回折領域６８を焦点検出領域６６、または撮像領域７０のいずれかの領域と併合し、回折領域６８に関する処理（回折領域補正部等）を削除する構成としても良い。

さらに、上記実施形態では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要は無い。

例えば、撮像素子２２からの信号を未処理のままＲＡＷデータとして、レンズ特性、撮影情報をヘッダ情報として付加して出力し、別途ソフトウェアにて処理する構成も可能である。

図１４は、そのような信号処理のソフトウェア処理に関するフローチャートを示す図である。

まず、画像信号、ヘッダ情報を読み込む（ステップＳ１０）。また、撮影光学系１２、マイクロレンズアレイ２０に関連する光学特性データを読み込み、メモリ等に記録すると共に（ステップＳ１２）、撮影時の撮影光学系１２の焦点距離、絞り径などの撮影情報を読み込み、メモリ等に記録する（ステップＳ１４）。

次に、階調変換処理におけるゲインを算出する（ステップＳ１６）。そして、各画素について、焦点検出領域６６に属する画素か否かの判定を行い（ステップＳ１８）、焦点検出領域６６に属する画素に関しては、焦点検出領域６６及び撮像領域７０のＦ値に基づきゲインの補正処理を行う（ステップＳ２０）。

こうして全画素についてゲインが決定したならば、次に、各画素のノイズ量を推定する（ステップＳ２２）。そして、各画素について、焦点検出領域６６に属する画素か否かの判定を行い（ステップＳ２４）、焦点検出領域６６に属する画素に関しては、ゲインに基づきノイズ量の補正処理を行う（ステップＳ２６）。こうして、全画素についてノイズ量が決定したならば、そのノイズ量に基づきノイズ低減処理を行う（ステップＳ２８）。

その後、各領域に対応するＷＢ係数に基づきＷＢ調整処理を行う（ステップＳ３０）。そして、この単板のＲＡＷ画像より公知の色補間処理を用いて三板ＲＧＢ画像を生成する（ステップＳ３２）。

次に、該ＲＧＢ画像をＹ／Ｃ信号に変換した後、Ｙ信号よりエッジ信号を抽出する（ステップＳ３４）。そして、各画素について、焦点検出領域６６に属する画素か否かの判定を行い（ステップＳ３６）、焦点検出領域６６に属する画素に関しては、各領域のＭＴＦ比に基づきエッジ信号の補正処理を行う（ステップＳ３８）。

こうして全画素についてエッジ信号が得られたならば、次に、そのエッジ信号は元のＹ信号に加算した後、Ｙ／Ｃ合成処理によりＲＧＢ信号に変換する（ステップＳ４０）。そして、上記ステップＳ１６乃至Ｓ２０で算出したゲインに基づき階調変換処理を行う（ステップＳ４２）。

その後、各画素について、回折領域６８に属する画素か否かの判定を行い（ステップＳ４４）、回折領域６８に属する画素に関しては、当該回折領域６８内画素周辺に位置する焦点検出領域６６、撮像領域７０内画素値に基づいて、該回折領域６８内画素値の補正処理を行う（ステップＳ４６）。そして、得られた画像信号を出力する（ステップＳ４８）。

なお、このフローチャートは、レリーズボタンの第２段階の押し下げで２ＲＳＷ５０をオンすることにより行われる本撮影についての処理を示したものである。

レリーズボタンの第１段階の押し下げにより１ＲＳＷ４８をオンすることで、焦点検出、ＡＦ動作を行うプリ撮像モードについては、上記ステップＳ１０乃至Ｓ１４、Ｓ２２乃至Ｓ２８を実施して、ノイズ低減後の画像信号を上記焦点検出演算部４６に送信することで、焦点検出領域６６に属する画像信号に基づき位相差を算出し、焦点検出を行うことは言うまでもない。

以上のように、本第１実施形態によれば、マイクロレンズアレイ２０が配置された領域に属する画像信号に基づき焦点検出を行い、フォーカスを制御するようにしているので、新たな機構や光学系を追加することなく、低コスト且つ省スペースで、且つ、高精度な焦点検出、フォーカス制御が可能となる。

また、撮像素子２２で撮像した画像信号に対して、マイクロレンズアレイ２０の影響を受ける領域に属する画像信号を特定し、領域内の画像信号に対してノイズ低減、ＷＢ調整、鮮鋭化、階調変換等の各種信号処理を行う際に、マイクロレンズアレイ２０等の光学特性、及び撮像素子特性に基づいた補正を行うようにしているので、高画質化が可能となる。

［第２実施形態］
次に、上記第１実施形態の変形例に相当する第２実施形態について説明する。
以下、上記第１実施形態と同一の構成には同一の名称と参照符号を割り当て、異なる部分のみを説明する。

本第２実施形態に係る撮像装置の光学系の構成、及び信号処理系の構成は、図１（Ａ）及び（Ｂ）に示される第１実施形態における構成のうち、信号処理部のみ異なる構成となっており、第１実施形態における信号処理部５４が図１５に示される信号処理部１６０に置換された構成となっている。焦点検出手法、レンズ駆動方法等は同様の手法となっている。

図１５に示すように、本実施形態における信号処理部１６０においては、レンズ駆動部４２は、領域特性記録部９４に接続されている。撮像素子２２は、撮像信号処理部８８に接続されている。撮像信号処理部８８は、Ａ／Ｄ９０を介してバッファ９２に接続されている。領域特性記録部９４は、ゲイン算出部９６、ＷＢ調整部１０２、色補間部１０４、及び鮮鋭化部１０６に双方向に接続されている。バッファ９２は、ＷＢ調整部１０２に接続されている。ＷＢ調整部１０２は、色補間部１０４に接続されている。色補間部１０４は、鮮鋭化部１０６に接続されている。鮮鋭化部１０６は、階調変換部１０８及びゲイン算出部９６に接続されている。ゲイン算出部９６は、ノイズ推定部１６２及び階調変換部１０８に接続されている。階調変換部１０８は、焦点検出部、ノイズ推定部１６２、及びノイズ低減部１００に接続されている。ノイズ推定部１６２は、ノイズ低減部１００に接続されている。ノイズ低減部１００は、回折領域補正部１１０に接続されている。回折領域補正部１１０は、表示部４４及び出力部５６に接続されている。

図１５において、信号の流れを説明する。
はじめにレリーズボタンの第１段階の押し下げにより１ＲＳＷ４８をオンすることで、焦点検出、ＡＦ動作を行うプリ撮像モードに入る。プリ撮像モードにおいて、信号処理部５４では、焦点検出演算を目的とした画像信号を生成し、焦点検出演算部４６へ転送する。

即ち、まず、撮像素子２２を介して撮影された信号は、撮像信号処理部８８へ送信され、ＣＤＳ／差動サンプリング、アナログゲインの調整等が行われた後、Ａ／Ｄ９０でデジタル信号に変換され、バッファ９２へ転送される。このバッファ９２内の画像信号は、ＷＢ調整部１０２、色補間部１０４及び鮮鋭化部１０６において、上記第１実施形態と同様の手法によりＷＢ調整、色補間及び鮮鋭化が行われる。鮮鋭化後の画像信号は、階調変換部１０８及びゲイン算出部９６に転送される。

ゲイン算出部９６においては、階調変換ゲイン算出部１２４で標準の階調変換曲線に基づいてゲインを求めた後、補正部１２８をスルーして階調変換部１０８に転送する。階調変換部１０８では、このゲインに基づき画像信号に対し階調変換処理を行う。そして、この階調変換処理後の画像信号は、焦点検出演算部４６に送信され、焦点検出領域６６に属する画像信号に基づき位相差を算出し、焦点検出を行う。なお、本実施形態では、ＲＧＢ画像から輝度信号を生成し、輝度信号に基づく焦点検出を行っている。

引き続いて、レリーズボタンの第２段階の押し下げで２ＲＳＷ５０をオンすることにより、本撮影を開始する。上記プリ撮像モードと同様に、撮像素子２２を介して撮影された画像信号は、撮像信号処理部８８及びＡ／Ｄ９０を介してデジタル信号へ変換され、バッファ９２へ転送される。バッファ９２内の画像信号は、ＷＢ調整部１０２、色補間部１０４、及び鮮鋭化部１０６を介して、上記第１実施形態と同様の手法により、ＷＢ調整、色補間、及び鮮鋭化が行われる。鮮鋭化後の画像信号は、階調変換部１０８及びゲイン算出部９６に転送される。

ゲイン算出部９６では、後段の階調変換処理における画素毎の信号レベルの増幅率をゲインとして予め算出する。マイクロレンズアレイ２０の影響で焦点検出領域６６と撮像領域７０に作用する光学系のＦ値が異なり、同一の信号レベルに対しても、異なるゲインが発生する。そのため、焦点検出領域６６に属する画素については、焦点検出領域６６及び撮像領域７０に対するＦ値を領域特性記録部９４より取得し、信号レベルと共にＦ値に基づきゲインを算出する。撮像領域７０に属する画素については、信号レベルに基づきゲインを算出する。算出したゲインは、ノイズ推定部１６２及び階調変換部１０８へ転送する。階調変換部１０８では、ゲインに基づき階調変換処理を行い、階調変換後の画像信号を、ノイズ低減部１００及びノイズ推定部１６２に転送する。

ノイズ推定部１６２では、注目画素Ｐ_１１（Ｐ：Ｒ，Ｇｒ，Ｇｂ，Ｂ各画素）を包含する３×３画素サイズの注目領域Ｐ_ｉｊ（ｉ＝０〜２Ｐ，ｊ＝０〜２）を順次抽出する。その後、信号レベルに応じた撮像素子特性に基づくノイズのモデルから注目画素Ｐ_１１に関するノイズ量Ｎを推定する。本第２実施形態におけるノイズモデルは、階調変換部１０８におけるゲイン乗算の影響により、上記第１実施形態における信号レベルに対応したノイズ量の分布傾向とは異なる形となる。ノイズモデル及びノイズ推定部９８についての詳細は後述する。推定したノイズ量は、ノイズ低減部１００へ転送される。

ノイズ低減部１００では、ノイズ推定部９８で推定したノイズ量Ｎに基づき、コアリング処理による平滑化処理を行う。ノイズ低減後の画像信号は、回折領域補正部１１０へ転送される。回折領域補正部１１０では、上記第１実施形態と同様の手法により、回折領域６８に属する画素の信号値を補正し、補正後の画像信号は、出力部５６及び表示部４４へ転送される。出力部５６は、圧縮伸張回路、記録媒体で構成されており、階調変換部１０８からの画像信号は、その圧縮伸張回路により圧縮処理が施された後、画像信号（静止画データ）として記録媒体に記録される。

次に、本第２実施形態におけるノイズ推定部１６２について説明する。
図１６は、このノイズ推定部１６２の構成の一例を示すブロック図であり、該ノイズ推定部１６２は、上記第１実施形態におけるノイズ推定部９８からパラメータ用ＲＯＭ１３４をパラメータ用ＲＯＭ１６４に置換したものとなっている。

ここで、階調変換部１０８は、平均算出部１３０へ接続しており、平均算出部１３０及びパラメータ用ＲＯＭ１６４は、パラメータ選択部１３２へ接続している。このノイズ推定部１６２では、撮像素子２２の特性に基づく信号レベルに対するノイズ量をモデル化したノイズモデルからノイズ量の推定を行う。

この場合、階調変換部１０８からは、色信号ごとに局所領域を形成した後、平均算出部１３０へ転送する。以降のノイズ量の推定、ならびにノイズ低減処理は、色信号ごとに実施される。平均算出部１３０は、図５（Ａ）に示される局所領域Ｐ_ｉｊを抽出し、上記（１０）式に従って該局所領域Ｐ_ｉｊの平均値ＡＶ_１１を算出して、パラメータ選択部１３２へ転送する。

図１７（Ａ）乃至（Ｃ）は、本第２実施形態におけるノイズ量の推定に関する説明図であり、図１１（Ａ）乃至（Ｃ）に示す第１実施形態におけるノイズ量算出に関するノイズモデルとは、階調変換曲線に基づくゲイン乗算の影響により信号レベルに対するノイズ量の分布傾向が異なる。図１７（Ａ）は、信号レベルが中間輝度領域において、ノイズ量の最大値をプロットしている。

信号レベルをＶとした場合、ノイズ量Ｎを４次関数でモデル化すると、以下の（２４）式が得られる。但し、ここで、α，β，γ，δ，εは定数項である。

Ｎ＝α＊（Ｖ^４）＋β＊（Ｖ^３）＋γ＊（Ｖ^２）＋δ＊Ｖ＋ε …（２４）
ここで、ノイズ量算出の演算処理の負荷を軽減するため、図１７（Ｂ）に示すようなモデルの簡略化を行う。

図１７（Ｂ）において、ｇａｉｎ＝１．０における基準ノイズモデルを所定数の折れ線で近似する。折れ線の変曲点は、信号レベルＶとノイズ量Ｎからなる座標データ（Ｖ_ｎ，Ｎ_ｎ）で表す。ここで、ｎは変曲点の数を示す。

図１７（Ｃ）は、図１７（Ｂ）に示す簡易化されたノイズモデルからノイズ量を算出する方法を示す。例えば、与えられた信号レベルＶ_ｔｈ、ｇａｉｎ＝Ｋ_ｇに対応するノイズ量Ｎを求めることを想定する。まず、信号レベルＶ_ｔｈが基準ノイズモデルのどの区間に属するかを探索する。ここでは、（Ｖ_ｎ，Ｎ_ｎ）と（Ｖ_ｎ＋１，Ｎ_ｎ＋１）間の区間に属するとする。基準ノイズモデルにおける基準ノイズ量Ｎ_ｔｈを、上記（１４）式に示す線形補間にて求める。

次に、ｇａｉｎ＝Ｋ_ｇを、上記（１５）式に示すように所定の係数Ｋ_ｃと共に基準ノイズ量Ｎ_ｔｈに乗算することで、ノイズ量Ｎを求める。

具体的な処理手順は、以下の通りである。
即ち、パラメータ選択部１３２は、平均算出部１３０からの局所領域の平均値ＡＶ_１１から信号レベルＶ_ｔｈを設定する。次に、信号レベルＶ_ｔｈが属する区間の座標データ（Ｖ_ｎ，Ｎ_ｎ）と（Ｖ_ｎ＋１，Ｎ_ｎ＋１）をパラメータ用ＲＯＭ１６４から探索し、これを補間部１３６へ転送する。

補間部１３６は、パラメータ選択部１３２からの信号レベルＶ_ｔｈ及び区間の座標データ（Ｖ_ｎ，Ｎ_ｎ）と（Ｖ_ｎ＋１，Ｎ_ｎ＋１）から、上記（１４）式に基づき基準ノイズモデルにおける基準ノイズ量Ｎ_ｔｈを算出し、補正部１３８へ転送する。

補正部１３８は、上記ゲイン算出部９６からゲインｇａｉｎ＝Ｋ_ｇ及び所定の重み係数Ｋ_ｃ、また、補間部１３６からの基準ノイズ量Ｎ_ｔｈに基づき、上記（１５）式からノイズ量Ｎを算出し、注目画素Ｐ_１１のノイズ量Ｎ_１１とする。

こうして推定されたノイズ量Ｎ_１１及び平均値ＡＶ_１１は、上記ノイズ低減部１００へ転送される。

このように、本第２実施形態によれば、上記第１実施形態と同様の効果が得られると共に、更に、領域情報に基づき階調変換処理後の画像信号に対し、ノイズ低減処理を行うようにしているので、階調変換処理に対するノイズ低減処理の影響を抑え、領域毎に異なる明るさ（Ｆ値）を考慮した高精度な階調変換処理が可能となる。

なお、本第２実施形態の説明も、ハードウェアによる処理を前提としていたが、このような構成に限定される必要は無い。

例えば、撮像素子２２からの信号を未処理のままＲＡＷデータとして、レンズ特性、撮影情報をヘッダ情報として付加して出力し、別途ソフトウェアにて処理する構成も可能である。

図１８は、そのような信号処理のソフトウェア処理に関するフローチャートを示す図である。なお、上記第１実施形態における信号処理のフローチャートと同一な処理に関しては同一な参照符号を割り当てている。

まず、画像信号、ヘッダ情報を読み込む（ステップＳ１０）。また、撮影光学系１２、マイクロレンズアレイ２０に関連する光学特性データを読み込み、メモリ等に記録すると共に（ステップＳ１２）、撮影時の撮影光学系１２の焦点距離、絞り径などの撮影情報を読み込み、メモリ等に記録する（ステップＳ１４）。

その後、各領域に対応するＷＢ係数に基づきＷＢ調整処理を行う（ステップＳ３０）。そして、この単板のＲＡＷ画像より公知の色補間処理を用いて三板ＲＧＢ画像を生成する（ステップＳ３２）。

次に、該ＲＧＢ画像をＹ／Ｃ信号に変換した後、Ｙ信号よりエッジ信号を抽出する（ステップＳ３４）。そして、各画素について、焦点検出領域６６に属する画素か否かの判定を行い（ステップＳ３６）、焦点検出領域６６に属する画素に関しては、各領域のＭＴＦ比に基づきエッジ信号の補正処理を行う（ステップＳ３８）。

こうして全画素についてエッジ信号が得られたならば、次に、そのエッジ信号は元のＹ信号に加算した後、Ｙ／Ｃ合成処理によりＲＧＢ信号に変換する（ステップＳ４０）。次に、階調変換処理におけるゲインを算出する（ステップＳ１６）。その後、各画素について、焦点検出領域６６に属する画素か否かの判定を行い（ステップＳ１８）、焦点検出領域６６に属する画素に関しては、焦点検出領域６６及び撮像領域７０のＦ値に基づきゲインの補正処理を行う（ステップＳ２０）。そして、それらゲインに基づき階調変換処理を行う（ステップＳ４２）。

次に、各画素のノイズ量を推定する（ステップＳ５０）。そして、各画素について、焦点検出領域６６に属する画素か否かの判定を行い（ステップＳ２４）、焦点検出領域６６に属する画素に関しては、ゲインに基づきノイズ量の補正処理を行う（ステップＳ５２）。こうして、全画素についてノイズ量が決定したならば、そのノイズ量に基づきノイズ低減処理を行う（ステップＳ２８）。

その後、各画素について、回折領域６８に属する画素か否かの判定を行い（ステップＳ４４）、回折領域６８に属する画素に関しては、当該回折領域６８内画素周辺に位置する焦点検出領域６６、撮像領域７０内画素値に基づいて、該回折領域６８内画素値の補正処理を行う（ステップＳ４６）。そして、得られた画像信号を出力する（ステップＳ４８）。

なお、このフローチャートは、レリーズボタンの第２段階の押し下げで２ＲＳＷ５０をオンすることにより行われる本撮影についての処理を示したものである。

レリーズボタンの第１段階の押し下げにより１ＲＳＷ４８をオンすることで、焦点検出、ＡＦ動作を行うプリ撮像モードについては、上記ステップＳ１０乃至Ｓ４２を実施して、階調変換処理後の画像信号を上記焦点検出演算部４６に送信することで、焦点検出領域６６に属する画像信号に基づき位相差を算出し、焦点検出を行うことは言うまでもない。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。

（１） 撮影光学系と、
上記撮影光学系を介して被写体を撮像する撮像素子と、
上記撮像素子の素子面上の領域に対して、上記撮影光学系を通過する被写体像光の光束を瞳分割する瞳分割レンズ群と、
上記撮像素子の素子面上の上記領域を特定するための座標情報を記録する座標記録手段と、
上記撮像素子による撮像によって得られた画像信号に対し、上記座標記録手段に記録された上記座標情報に基づいて、上記領域に対応した上記瞳分割レンズ群の光学特性及び上記撮像素子の素子特性に基づく補正処理を行う補正手段と、
上記補正手段による上記補正処理前の画像信号または上記補正処理後の画像信号に基づいて、焦点検出を行う焦点検出手段と、
を具備することを特徴とする撮像装置。

（対応する実施形態）
この（１）に記載の撮像装置に関する実施形態は、図１（Ａ）乃至図１３に示される第１実施形態及び図１５乃至図１７に示される第２実施形態が対応する。
それらの実施形態において、撮影光学系１２が上記撮影光学系に、撮像素子２２が上記撮像素子に、マイクロレンズアレイ領域６４が上記撮像素子の素子面上の領域に、マイクロレンズアレイ２０が上記瞳分割レンズ群に、領域特性記録部９４が上記座標記録手段に、信号処理部５４が上記補正手段に、焦点検出演算部４６が上記焦点検出手段に、それぞれ対応する。

（作用効果）
この（１）に記載の撮像装置は、撮像素子で撮像した画像信号に対して、瞳分割レンズ群の影響を受ける領域に属する画像信号を特定し、該領域内の画像信号に対してノイズ低減、ＷＢ調整、鮮鋭化、階調変換等の各種信号処理を行う際に、瞳分割レンズ群の光学特性及び撮像素子の素子特性に基づいた補正を行うと共に、補正前または補正後の画像信号を用いて焦点検出を行う。
従って、この（１）に記載の撮像装置によれば、瞳分割レンズ群の影響により画質の劣化した画像信号に対し、領域に応じた光学特性、撮像素子の素子特性に基づく補正処理を行うことで、高画質化が可能となる。
また、瞳分割レンズ群が配置された領域に属する画像信号に基づき焦点検出を行い、フォーカスを制御することができるので、新たな機構や光学系を追加することなく、低コスト且つ省スペースで、且つ、高精度な焦点検出、フォーカス制御ができるようになる。

（２） 上記補正手段は、上記座標記録手段に記録された上記座標情報に基づいて、上記瞳分割レンズ群を通過した光束の影響を受ける上記撮像素子からの画像信号に対して、上記補正処理を行うことを特徴とする（１）に記載の撮像装置。

（対応する実施形態）
この（２）に記載の撮像装置に関する実施形態は、図１（Ａ）乃至図１３に示される第１実施形態及び図１５乃至図１７に示される第２実施形態が対応する。
それらの実施形態において、ノイズ低減部１００、ＷＢ調整部１０２、鮮鋭化部１０６、階調変換部１０８、回折領域補正部１１０が上記補正手段に対応する。

（作用効果）
この（２）に記載の撮像装置は、座標記録手段に記録された、瞳分割レンズ群を通過した光束の影響を受ける領域（例えば焦点検出領域６６）の情報と、瞳分割レンズ群を通過した光束以外の光束の影響を受ける領域（例えば回折領域６８）の情報に基づき領域（例えばマイクロレンズアレイ領域６４）に属する画像信号を特定し、領域内の画像信号に対し補正処理を行う。
従って、この（２）に記載の撮像装置によれば、瞳分割レンズ群を通過した光束の影響を受ける領域を正確に特定することで、領域に応じた精度の高い補正が可能となる。

（３） 上記補正手段は、上記座標記録手段に記録された上記座標情報に基づいて、上記瞳分割レンズ群を通過した光束のみが結像する上記撮像素子からの画像信号に対して、上記補正処理を行うことを特徴とする（１）に記載の撮像装置。

（対応する実施形態）
この（３）に記載の撮像装置に関する実施形態は、図１（Ａ）乃至図１３に示される第１実施形態及び図１５乃至図１７に示される第２実施形態が対応する。

（作用効果）
この（３）に記載の撮像装置は、座標記録手段に記録された瞳分割レンズ群を通過した光束のみが結像する領域（例えば焦点検出領域６６）の情報に基づき領域（例えばマイクロレンズアレイ領域６４）に属する画像信号を特定し、領域内の画像信号に対し補正処理を行う。
従って、この（３）に記載の撮像装置によれば、瞳分割レンズ群を通過した光束のみが結像する領域を正確に特定することで、領域に応じた精度の高い補正が可能となる。

（４） 上記補正手段は、上記座標記録手段に記録された上記座標情報に基づいて、上記瞳分割レンズ群を通過した光束のみが結像する上記撮像素子の領域と、上記瞳分割レンズ群を通過した光束以外の光束の影響を受ける上記撮像素子の領域とで、区別した補正処理を行うことを特徴とする（１）に記載の撮像装置。

（対応する実施形態）
この（４）に記載の撮像装置に関する実施形態は、図１（Ａ）乃至図１３に示される第１実施形態及び図１５乃至図１７に示される第２実施形態が対応する。
それらの実施形態において、ノイズ低減部１００、ＷＢ調整部１０２、鮮鋭化部１０６、階調変換部１０８、回折領域補正部１１０が上記補正手段に対応する。

（作用効果）
この（４）に記載の撮像装置は、座標記録手段に記録された、瞳分割レンズ群を通過した光束のみが結像する領域（例えば焦点検出領域６６）の情報と、瞳分割レンズ群を通過した光束以外の光束の影響を受ける領域（例えば回折領域６８）の情報に基づき領域（例えばマイクロレンズアレイ領域６４）に属する画像信号を特定し、領域内の画像信号に対し補正処理を行う。
従って、この（４）に記載の撮像装置によれば、瞳分割レンズ群を通過した光束及び瞳分割レンズ群を通過しない光束の影響を受ける領域を正確に特定することで、領域に応じた精度の高い補正が可能となる。

（５） 上記座標記録手段は、上記座標情報として、
上記領域内に位置し、上記瞳分割レンズ群を通過する光束のみが結像する座標の情報、
上記領域外に位置し、上記瞳分割レンズ群を通過する光束の影響を受けない座標の情報、
上記領域境界上に位置し、上記瞳分割レンズ群を通過する光束の影響を受ける座標の情報、
のうちの少なくとも一つを記録することを特徴とする（１）に記載の撮像装置。

（対応する実施形態）
この（５）に記載の撮像装置に関する実施形態は、図１（Ａ）乃至図１３に示される第１実施形態及び図１５乃至図１７に示される第２実施形態が対応する。
それらの実施形態において、焦点検出領域６６が上記瞳分割レンズ群を通過する光束のみが結像する座標に、撮像領域７０が上記瞳分割レンズ群を通過する光束の影響を受けない座標に、回折領域６８が上記瞳分割レンズ群を通過する光束の影響を受ける座標に、それぞれ対応する。

（作用効果）
この（５）に記載の撮像装置は、座標記録手段に瞳分割レンズ群を通過する光束のみが結像する座標の情報、瞳分割レンズ群を通過する光束の影響を受けない座標の情報、瞳分割レンズ群を通過する光束とそれ以外の光束の影響を受ける座標の情報のうち、少なくとも一つ記録し、領域に属する画像信号の特定を行う。
従って、この（５）に記載の撮像装置によれば、画像信号が上記領域の少なくとも一つに属するかを特定できるため、特定した領域に応じた高精度な処理が可能となる。

（６） 上記補正手段は、
上記撮像素子からの画像信号に対して、上記座標記録手段に記録された上記座標情報に基づいてノイズ低減処理を行うノイズ低減手段と、
上記ノイズ低減手段による上記ノイズ低減処理後の画像信号に対して、上記座標記録手段に記録された上記座標情報に基づいて階調変換処理を行う階調変換手段と、
を更に有することを特徴とする（１）乃至（５）の何れかに記載の撮像装置。

（対応する実施形態）
この（６）に記載の撮像装置に関する実施形態は、図１（Ａ）乃至図１３に示される第１実施形態が対応する。
その実施形態において、ノイズ推定部９８、ノイズ低減部１００が上記ノイズ低減手段に、階調変換部１０８が上記階調変換手段に、それぞれ対応する。

（作用効果）
この（６）に記載の撮像装置は、座標情報に基づき、ノイズ低減処理を行った後の画像信号に対し、階調変換処理を行う。
従って、この（６）に記載の撮像装置によれば、ノイズ成分に対する階調変換処理の影響を抑えると共に、撮像直後の画像信号に含まれるノイズに対して高精度なノイズ低減処理が可能となる。

（７） 上記補正手段は、
上記撮像素子からの画像信号に対して、上記座標記録手段に記録された上記座標情報に基づいて階調変換処理を行う階調変換手段と、
上記階調変換手段による上記階調変換処理後の画像信号に対して、上記座標記録手段に記録された上記座標情報に基づいてノイズ低減処理を行うノイズ低減手段と、
を更に有することを特徴とする（１）乃至（５）の何れかに記載の撮像装置。

（対応する実施形態）
この（７）に記載の撮像装置に関する実施形態は、図１５乃至図１７に示される第２実施形態が対応する。
その実施形態において、階調変換部１０８が上記階調変換手段に、ノイズ推定部１６２、ノイズ低減部１００が上記ノイズ低減手段に、それぞれ対応する。

（作用効果）
この（７）に記載の撮像装置は、座標情報に基づき、階調変換処理後の画像信号に対し、ノイズ低減処理を行う。
従って、この（７）に記載の撮像装置によれば、階調変換処理に対するノイズ低減処理の影響を抑え、領域毎に異なる明るさ（Ｆ値）を考慮した高精度な階調変換処理が可能となる。

（８） 上記階調変換手段は、上記撮影光学系の明るさ（Ｆ値）と上記座標記録手段に記録された上記座標情報とに基づいて階調変換係数を設定し、該階調変換係数に基づいて上記階調変換処理を行うことを特徴とする（６）又は（７）に記載の撮像装置。

（対応する実施形態）
この（８）に記載の撮像装置に関する実施形態は、図１（Ａ）乃至図１３に示される第１実施形態及び図１５乃至図１７に示される第２実施形態が対応する。
それらの実施形態において、ゲイン算出部９６、階調変換部１０８が上記階調変換手段に、ゲインが上記階調変換係数に、それぞれ対応する。

（作用効果）
この（８）に記載の撮像装置は、撮影光学系及び瞳分割レンズ群のＦ値に基づいた階調変換処理を行う。
従って、この（８）に記載の撮像装置によれば、撮影光学系及び瞳分割レンズ群のＦ値に基づき領域毎に最適な階調変換処理を行うことで、瞳分割レンズ群の影響による領域毎の明るさの違いを補正することができる。

（９） 上記ノイズ低減手段は、
上記画像信号に関してノイズ量を推定するノイズ量推定手段と、
上記ノイズ量推定手段によって推定したノイズ量に基づき平滑化処理を行う平滑化手段と、
を有することを特徴とする（６）乃至（８）の何れかに記載の撮像装置。

（対応する実施形態）
この（９）に記載の撮像装置に関する実施形態は、図１（Ａ）乃至図１３に示される第１実施形態及び図１５乃至図１７に示される第２実施形態が対応する。
それらの実施形態において、ノイズ推定部９８、ノイズ推定部１６２が上記ノイズ量推定手段に、ノイズ低減部１００が上記平滑化手段に、それぞれ対応する。

（作用効果）
この（９）に記載の撮像装置は、画像信号に含まれるノイズ量を、予め測定したノイズ量のモデルに基づいて推定し、推定したノイズ量に基づいて画像信号の平滑化効果を調整する。
従って、この（９）に記載の撮像装置によれば、画像信号に含まれるノイズ量を高精度に推定することが可能となり、ノイズ量に基づき高精度なノイズ低減処理が可能となる。

（１０） 上記ノイズ低減手段は、
上記画像信号に関してノイズ量を推定するノイズ量推定手段と、
上記ノイズ量推定手段によって推定したノイズ量に基づき平滑化処理を行う平滑化手段と、
を有し、
上記ノイズ量推定手段は、上記階調変換手段が設定した上記階調変換係数に基づいて上記ノイズ量を補正するノイズ量補正手段を有することを特徴とする（８）に記載の撮像装置。

（対応する実施形態）
この（１０）に記載の撮像装置に関する実施形態は、図１（Ａ）乃至図１３に示される第１実施形態及び図１５乃至図１７に示される第２実施形態が対応する。
それらの実施形態において、ノイズ推定部９８、ノイズ推定部１６２が上記ノイズ量推定手段に、ノイズ低減部１００が上記平滑化手段に、補正部１３８が上記ノイズ量補正手段に、それぞれ対応する。

（作用効果）
この（１０）に記載の撮像装置は、画像信号に含まれるノイズ量を、予め測定したノイズ量のモデルに基づいて推定した後、階調変換手段が設定した階調変換係数に基づきノイズ量を補正し、補正したノイズ量に基づきノイズ低減処理を行う。
従って、この（１０）に記載の撮像装置によれば、画像信号に含まれるノイズ量を予め測定したノイズモデルに基づき推定する際に、階調変換係数によるノイズ量の増幅を考慮した補正を更に行うことで、高精度な推定が可能となると共に、補正したノイズ量に基づき高精度なノイズ低減処理が可能となる。

（１１） 上記補正手段は、
上記画像信号に対して上記撮影光学系の解像度（ＭＴＦ）と上記座標記録手段に記録された上記座標情報に基づいて鮮鋭化処理を行う鮮鋭化手段と、
上記座標記録手段に記録された上記座標情報に基づいてホワイトバランス調整処理を行うＷＢ調整手段と、
のうちの少なくとも一つを有することを特徴とする（１）乃至（１０）の何れかに記載の撮像装置。

（対応する実施形態）
この（１１）に記載の撮像装置に関する実施形態は、図１（Ａ）乃至図１３に示される第１実施形態及び図１５乃至図１７に示される第２実施形態が対応する。
それらの実施形態において、鮮鋭化部１０６が上記鮮鋭化手段に、ＷＢ調整部１０２が上記ＷＢ調整手段に、それぞれ対応する。

（作用効果）
この（１１）に記載の撮像装置は、瞳分割レンズ群の光学特性の影響により領域毎に異なる解像度ＭＴＦ、ＷＢ係数を算出または設定し、解像度ＭＴＦに基づいて鮮鋭化処理を行い、ＷＢ係数に基づいてＷＢ調整処理を行う。
従って、この（１１）に記載の撮像装置によれば、瞳分割レンズ群の光学特性の影響により領域毎に異なる解像度ＭＴＦ、ＷＢ係数に基づき、領域に応じた鮮鋭化処理、ＷＢ調整処理を行うことで、領域毎に異なる鮮鋭感、ホワイトバランス（ＲＧＢ比）を均一に保つことが可能となる。

（１２） 上記焦点検出手段により検出された焦点に基づき、上記撮影光学系のフォーカスを制御する制御手段を更に具備することを特徴とする（１）乃至（１１）の何れかに記載の撮像装置。

（対応する実施形態）
この（１２）に記載の撮像装置に関する実施形態は、図１（Ａ）乃至図１３に示される第１実施形態及び図１５乃至図１７に示される第２実施形態が対応する。
それらの実施形態において、レンズ駆動部４２が上記制御手段に対応する。

（作用効果）
この（１２）に記載の撮像装置は、瞳分割レンズ群が配置された領域に属する画像信号に基づき焦点検出を行い、フォーカスを制御する。
従って、この（１２）に記載の撮像装置によれば、瞳分割レンズ群が配置された領域に属する画像信号に基づく高精度な焦点検出、フォーカス制御が可能となる。

（１３） コンピュータを、
撮影光学系を介して被写体を撮像する撮像素子の素子面上の領域に対して、上記撮影光学系を通過する被写体像光の光束を瞳分割する瞳分割レンズ群の光学特性及び上記撮影光学系の撮影情報を、上記撮像素子による撮像によって得られた画像信号と共に読み込む読み込み手段、
予め記録された上記撮像素子の素子面上の上記領域を特定するための座標情報に基づいて、上記読み込んだ画像信号に対し、上記領域に対応した上記瞳分割レンズ群の光学特性及び予め記録された上記撮像素子の素子特性に基づく補正処理を行う補正手段、
上記補正手段による上記補正処理前の画像信号または上記補正処理後の画像信号に基づいて、焦点検出を行う焦点検出手段、
として機能させるための画像信号処理プログラム。

（対応する実施形態）
この（１３）に記載の画像信号処理プログラムに関する実施形態は、図１４に示される第１実施形態及び図１８に示される第２実施形態が対応する。

（作用効果）
この（１３）に記載の画像信号処理プログラムは、撮像素子で撮像した画像信号に対して、瞳分割レンズ群の影響を受ける領域に属する画像信号を特定し、該領域内の画像信号に対してノイズ低減、ＷＢ調整、鮮鋭化、階調変換等の各種信号処理を行う際に、瞳分割レンズ群の光学特性及び撮像素子の素子特性に基づいた補正を行うと共に、補正前または補正後の画像信号を用いて焦点検出を行う。
従って、この（１３）に記載の画像信号処理プログラムによれば、瞳分割レンズ群の影響により画質の劣化した画像信号に対し、領域に応じた光学特性、撮像素子の素子特性に基づく補正処理を行うことで、高画質化が可能となる。
また、瞳分割レンズ群が配置された領域に属する画像信号に基づき焦点検出を行い、フォーカスを制御することができるので、新たな機構や光学系を追加することなく、低コスト且つ省スペースで、且つ、高精度な焦点検出、フォーカス制御ができるようになる。

（１４） 上記補正処理は、上記予め記録された上記座標情報に基づいて、上記瞳分割レンズ群を通過した光束の影響を受ける上記撮像素子からの画像信号に対して行うことを特徴とする（１３）に記載の画像信号処理プログラム。

（対応する実施形態）
この（１４）に記載の画像信号処理プログラムに関する実施形態は、図１４に示される第１実施形態及び図１８に示される第２実施形態が対応する。

（作用効果）
この（１４）に記載の画像信号処理プログラムは、予め記録された、瞳分割レンズ群を通過した光束の影響を受ける領域（例えば焦点検出領域６６）の情報と、瞳分割レンズ群を通過した光束以外の光束の影響を受ける領域（例えば回折領域６８）の情報に基づき領域（例えばマイクロレンズアレイ領域６４）に属する画像信号を特定し、領域内の画像信号に対し補正処理を行う。
従って、この（１４）に記載の画像信号処理プログラムによれば、瞳分割レンズ群を通過した光束の影響を受ける領域を正確に特定することで、領域に応じた精度の高い補正が可能となる。

（１５） 上記補正処理は、上記予め記録された上記座標情報に基づいて、上記瞳分割レンズ群を通過した光束のみが結像する上記撮像素子からの画像信号に対して行うことを特徴とする（１３）に記載の画像信号処理プログラム。

（対応する実施形態）
この（１５）に記載の画像信号処理プログラムに関する実施形態は、図１４に示される第１実施形態及び図１８に示される第２実施形態が対応する。

（作用効果）
この（１５）に記載の画像信号処理プログラムは、予め記録された瞳分割レンズ群を通過した光束のみが結像する領域（例えば焦点検出領域６６）の情報に基づき領域（例えばマイクロレンズアレイ領域６４）に属する画像信号を特定し、領域内の画像信号に対し補正処理を行う。
従って、この（１５）に記載の画像信号処理プログラムによれば、瞳分割レンズ群を通過した光束のみが結像する領域を正確に特定することで、領域に応じた精度の高い補正が可能となる。

（１６） 上記補正処理として、上記予め記録された上記座標情報に基づいて、上記瞳分割レンズ群を通過した光束のみが結像する上記撮像素子の領域と、上記瞳分割レンズ群を通過した光束以外の光束の影響を受ける上記撮像素子の領域とで、区別した補正処理を行うことを特徴とする（１３）に記載の画像信号処理プログラム。

（対応する実施形態）
この（１６）に記載の画像信号処理プログラムに関する実施形態は、図１４に示される第１実施形態及び図１８に示される第２実施形態が対応する。

（作用効果）
この（１６）に記載の画像信号処理プログラムは、予め記録された、瞳分割レンズ群を通過した光束のみが結像する領域（例えば焦点検出領域６６）の情報と、瞳分割レンズ群を通過した光束以外の光束の影響を受ける領域（例えば回折領域６８）の情報に基づき領域（例えばマイクロレンズアレイ領域６４）に属する画像信号を特定し、領域内の画像信号に対し補正処理を行う。
従って、この（１６）に記載の画像信号処理プログラムによれば、瞳分割レンズ群を通過した光束及び瞳分割レンズ群を通過しない光束の影響を受ける領域を正確に特定することで、領域に応じた精度の高い補正が可能となる。

（１７） 上記予め記録された上記座標情報は、
上記領域内に位置し、上記瞳分割レンズ群を通過する光束のみが結像する座標の情報、
上記領域外に位置し、上記瞳分割レンズ群を通過する光束の影響を受けない座標の情報、
上記領域境界上に位置し、上記瞳分割レンズ群を通過する光束の影響を受ける座標の情報、
のうちの少なくとも一つであることを特徴とする（１３）に記載の画像信号処理プログラム。

（対応する実施形態）
この（１７）に記載の画像信号処理プログラムに関する実施形態は、図１４に示される第１実施形態及び図１８に示される第２実施形態が対応する。

（作用効果）
この（１７）に記載の画像信号処理プログラムは、瞳分割レンズ群を通過する光束のみが結像する座標の情報、瞳分割レンズ群を通過する光束の影響を受けない座標の情報、瞳分割レンズ群を通過する光束とそれ以外の光束の影響を受ける座標の情報のうち、少なくとも一つを予め記録し、領域に属する画像信号の特定を行う。
従って、この（１７）に記載の画像信号処理プログラムによれば、画像信号が上記領域の少なくとも一つに属するかを特定できるため、特定した領域に応じた高精度な処理が可能となる。

（１８） 上記補正処理は、
上記撮像素子からの画像信号に対して、上記予め記録された上記座標情報に基づいて行われるノイズ低減処理と、
上記ノイズ低減処理後の画像信号に対して、上記予め記録された上記座標情報に基づいて行われる階調変換処理と、
を更に有することを特徴とする（１３）乃至（１７）の何れかに記載の画像信号処理プログラム。

（対応する実施形態）
この（１８）に記載の画像信号処理プログラムに関する実施形態は、図１４に示される第１実施形態が対応する。

（作用効果）
この（１８）に記載の画像信号処理プログラムは、座標情報に基づき、ノイズ低減処理を行った後の画像信号に対し、階調変換処理を行う。
従って、この（１８）に記載の画像信号処理プログラムによれば、ノイズ成分に対する階調変換処理の影響を抑えると共に、撮像直後の画像信号に含まれるノイズに対して高精度なノイズ低減処理が可能となる。

（１９） 上記補正手処理、
上記撮像素子からの画像信号に対して、上記予め記録された上記座標情報に基づいて行われる階調変換処理と、
上記階調変換処理後の画像信号に対して、上記予めに記録された上記座標情報に基づいて行われるノイズ低減処理と、
を更に有することを特徴とする（１３）乃至（１７）の何れかに記載の画像信号処理プログラム。

（対応する実施形態）
この（１９）に記載の画像信号処理プログラムに関する実施形態は、図１８に示される第２実施形態が対応する。

（作用効果）
この（１９）に記載の画像信号処理プログラムは、座標情報に基づき、階調変換処理後の画像信号に対し、ノイズ低減処理を行う。
従って、この（１９）に記載の画像信号処理プログラムによれば、階調変換処理に対するノイズ低減処理の影響を抑え、領域毎に異なる明るさ（Ｆ値）を考慮した高精度な階調変換処理が可能となる。

（２０） 上記階調変換処理は、上記撮影光学系の明るさ（Ｆ値）と上記予め記録された上記座標情報とに基づいて階調変換係数を設定し、該階調変換係数に基づいて行うことを特徴とする（１８）又は（１９）に記載の画像信号処理プログラム。

（対応する実施形態）
この（２０）に記載の画像信号処理プログラムに関する実施形態は、図１４に示される第１実施形態及び図１８に示される第２実施形態が対応する。

（作用効果）
この（２０）に記載の画像信号処理プログラムは、撮影光学系及び瞳分割レンズ群のＦ値に基づいた階調変換処理を行う。
従って、この（２０）に記載の画像信号処理プログラムによれば、撮影光学系及び瞳分割レンズ群のＦ値に基づき領域毎に最適な階調変換処理を行うことで、瞳分割レンズ群の影響による領域毎の明るさの違いを補正することができる。

（２１） 上記ノイズ低減処理は、
上記画像信号に関してノイズ量を推定するノイズ量推定処理と、
上記ノイズ量推定処理によって推定したノイズ量に基づいて行う平滑化処理と、
を有することを特徴とする（１８）乃至（２０）の何れかに記載の画像信号処理プログラム。

（対応する実施形態）
この（２１）に記載の画像信号処理プログラムに関する実施形態は、図１４に示される第１実施形態及び図１８に示される第２実施形態が対応する。

（作用効果）
この（２１）に記載の画像信号処理プログラムは、画像信号に含まれるノイズ量を、予め測定したノイズ量のモデルに基づいて推定し、推定したノイズ量に基づいて画像信号の平滑化効果を調整する。
従って、この（２１）に記載の画像信号処理プログラムによれば、画像信号に含まれるノイズ量を高精度に推定することが可能となり、ノイズ量に基づき高精度なノイズ低減処理が可能となる。

（２２） 上記ノイズ低減処理は、
上記画像信号に関してノイズ量を推定するノイズ量推定処理と、
上記ノイズ量推定処理によって推定したノイズ量に基づいて行う平滑化処理と、
を有し、
上記ノイズ量推定処理は、上記階調変換処理で設定した上記階調変換係数に基づいて上記ノイズ量を補正するノイズ量補正処理を有することを特徴とする（２０）に記載の画像信号処理プログラム。

（対応する実施形態）
この（２２）に記載の画像信号処理プログラムに関する実施形態は、図１４に示される第１実施形態及び図１８に示される第２実施形態が対応する。

（作用効果）
この（２２）に記載の画像信号処理プログラムは、画像信号に含まれるノイズ量を、予め測定したノイズ量のモデルに基づいて推定した後、階調変換処理で設定した階調変換係数に基づきノイズ量を補正し、補正したノイズ量に基づきノイズ低減処理を行う。
従って、この（２２）に記載の画像信号処理プログラムによれば、画像信号に含まれるノイズ量を予め測定したノイズモデルに基づき推定する際に、階調変換係数によるノイズ量の増幅を考慮した補正を更に行うことで、高精度な推定が可能となると共に、補正したノイズ量に基づき高精度なノイズ低減処理が可能となる。

（２３） 上記補正処理は、
上記画像信号に対して上記撮影光学系の解像度（ＭＴＦ）と上記予め記録された上記座標情報に基づいて行う鮮鋭化処理と、
上記予め記録された上記座標情報に基づいて行うホワイトバランス調整処理と、
のうちの少なくとも一つを有することを特徴とする（１３）乃至（２２）の何れかに記載の画像信号処理プログラム。

（対応する実施形態）
この（２３）に記載の画像信号処理プログラムに関する実施形態は、図１４に示される第１実施形態及び図１８に示される第２実施形態が対応する。

（作用効果）
この（２３）に記載の画像信号処理プログラムは、瞳分割レンズ群の光学特性の影響により領域毎に異なる解像度ＭＴＦ、ＷＢ係数を算出または設定し、解像度ＭＴＦに基づいて鮮鋭化処理を行い、ＷＢ係数に基づいてＷＢ調整処理を行う。
従って、この（２３）に記載の画像信号処理プログラムによれば、瞳分割レンズ群の光学特性の影響により領域毎に異なる解像度ＭＴＦ、ＷＢ係数に基づき、領域に応じた鮮鋭化処理、ＷＢ調整処理を行うことで、領域毎に異なる鮮鋭感、ホワイトバランス（ＲＧＢ比）を均一に保つことが可能となる。

（２４） コンピュータを更に、上記焦点検出手段により検出された焦点に基づき上記撮影光学系のフォーカスを制御する制御手段として機能させることを特徴とする（１３）乃至（２３）の何れかに記載の画像信号処理プログラム。

（対応する実施形態）
この（２４）に記載の画像信号処理プログラムに関する実施形態は、図１４に示される第１実施形態及び図１８に示される第２実施形態が対応する。

（作用効果）
この（２４）に記載の画像信号処理プログラムは、瞳分割レンズ群が配置された領域に属する画像信号に基づき焦点検出を行い、フォーカスを制御する。
従って、この（２４）に記載の画像信号処理プログラムによれば、瞳分割レンズ群が配置された領域に属する画像信号に基づく高精度な焦点検出、フォーカス制御が可能となる。

図１（Ａ）は、本発明の第１実施形態に係る撮像装置の光学系の構成図であり、図１（Ｂ）は、第１実施形態に係る撮像装置の信号処理系の構成図である。 図２（Ａ）は、マイクロレンズアレイと撮像素子の配置構成を示す図であり、図２（Ｂ）は、焦点検出領域におけるマイクロレンズアレイ及び撮像素子の断面構成を示す図であり、図２（Ｃ）は、撮像素子上の受光素子たるフォトダイオード、コンデンサーレンズ、再結像レンズの光軸方向から見た場合の配列を示す図である。 図３は、合焦、前ピン、後ピンにおけるマイクロレンズアレイ群及び受光素子群と撮影光学系との相対位置関係を説明するための図である。 図４は、信号処理部の構成を示すブロック図である。 図５（Ａ）は、ベイヤ型の色フィルタの構成を示す図であり、図５（Ｂ）は、回折領域内のＧ信号の補間に関する一例を説明するための図である。 図６は、領域特性記録部の構成の一例を示すブロック図である。 図７は、Ｆ値の算出に関する説明図である。 図８は、解像度ＭＴＦの算出に関する説明図である。 図９は、ゲイン算出部の構成の一例を示すブロック図である。 図１０は、ノイズ推定部の構成の一例を示すブロック図である。 図１１は、ノイズ量の推定に関する説明図である。 図１２は、ノイズ低減部の構成の一例を示すブロック図である。 図１３は、鮮鋭化部の構成の一例を示すブロック図である。 図１４は、信号処理のソフトウェア処理に関するフローチャートを示す図である。 図１５は、本発明の第２実施形態に係る撮像装置における信号処理部の構成を示すブロック図である。 図１６は、第２実施形態におけるノイズ推定部の構成の一例を示すブロック図である。 図１７は、第２実施形態におけるノイズ量の推定に関する説明図である。 図１８は、第２実施形態における信号処理のソフトウェア処理に関するフローチャートを示す図である。

符号の説明

１０…カメラ筐体、 １２…撮影光学系、 １４…フォーカシングレンズ、 １６…絞り、 １８…ビームスプリッタ、 ２０…マイクロレンズアレイ、 ２２…撮像素子、 ２４…ミラー、 ２６…ペンタプリズム、 ２８…接眼レンズ、 ３０…システムコントローラ、 ３２…中央演算処理部、 ３４…リードオンリメモリ（ＲＯＭ）、 ３６…ランダムアクセスメモリ（ＲＡＭ）、 ３８…アナログ／デジタル変換器（ＡＤＣ）、 ４０…ＥＥＰＲＯＭ、 ４２…レンズ駆動部、 ４４…表示部、 ４６…焦点検出演算部、 ４８…ファーストレリーズスイッチ（１ＲＳＷ）、 ５０…セカンドレリーズスイッチ（２ＲＳＷ）、 ５２…エリア選択ＳＷ、 ５４，１６０…信号処理部、 ５６…出力部、 ５８，５８Ａ，５８Ｂ…フォトダイオード、 ６０…マイクロレンズ、 ６２…受光部、 ６４…マイクロレンズアレイ領域、 ６６…焦点検出領域、 ６８…回折領域、 ７０…撮像領域、 ７２…半導体基板、 ７４…色フィルタ、 ７６…透明層、 ７８…コンデンサーレンズ、 ８０…再結像レンズ、 ８２…視野マスク、 ８４…マスク、 ８６…分割光束、 ８８…撮像信号処理部、 ９０…Ａ／Ｄ、 ９２…バッファ、 ９４…領域特性記録部、 ９６…ゲイン算出部、 ９８，１６２…ノイズ推定部、 １００…ノイズ低減部、 １０２…ＷＢ調整部、 １０４…色補間部、 １０６…鮮鋭化部、 １０８…階調変換部、 １１０…回折領域補正部、 １１２…撮像条件特定部、 １１４…領域特性特定部、 １１６，１３２…パラメータ選択部、 １１８，１３４，１６４…パラメータ用ＲＯＭ、 １２０，１３６…補間部、 １２２，１２８，１３８…補正部、 １２４…階調変換ゲイン算出部、 １２６…階調変換曲線ＲＯＭ、 １３０…平均算出部、 １４０…切換部、 １４２…範囲設定部、 １４４…第１スムージング部、 １４６…第２スムージング部、 １４８…Ｙ／Ｃ分離部、 １５０…フィルタ用ＲＯＭ、 １５２…フィルタ処理部、 １５４…エッジ補正部、 １５６…エッジ強調部、 １５８…Ｙ／Ｃ合成部。

Claims (24)

1. 撮影光学系と、
   上記撮影光学系を介して被写体を撮像する撮像素子と、
   上記撮像素子の素子面上の領域に対して、上記撮影光学系を通過する被写体像光の光束を瞳分割する瞳分割レンズ群と、
   上記撮像素子の素子面上の上記領域を特定するための座標情報を記録する座標記録手段と、
   上記撮像素子による撮像によって得られた画像信号に対し、上記座標記録手段に記録された上記座標情報に基づいて、上記領域に対応した上記瞳分割レンズ群の光学特性及び上記撮像素子の素子特性に基づく補正処理を行う補正手段と、
   上記補正手段による上記補正処理前の画像信号または上記補正処理後の画像信号に基づいて、焦点検出を行う焦点検出手段と、
   を具備することを特徴とする撮像装置。
2. 上記補正手段は、上記座標記録手段に記録された上記座標情報に基づいて、上記瞳分割レンズ群を通過した光束の影響を受ける上記撮像素子からの画像信号に対して、上記補正処理を行うことを特徴とする請求項１に記載の撮像装置。
3. 上記補正手段は、上記座標記録手段に記録された上記座標情報に基づいて、上記瞳分割レンズ群を通過した光束のみが結像する上記撮像素子からの画像信号に対して、上記補正処理を行うことを特徴とする請求項１に記載の撮像装置。
4. 上記補正手段は、上記座標記録手段に記録された上記座標情報に基づいて、上記瞳分割レンズ群を通過した光束のみが結像する上記撮像素子の領域と、上記瞳分割レンズ群を通過した光束以外の光束の影響を受ける上記撮像素子の領域とで、区別した補正処理を行うことを特徴とする請求項１に記載の撮像装置。
5. 上記座標記録手段は、上記座標情報として、
   上記領域内に位置し、上記瞳分割レンズ群を通過する光束のみが結像する座標の情報、
   上記領域外に位置し、上記瞳分割レンズ群を通過する光束の影響を受けない座標の情報、
   上記領域境界上に位置し、上記瞳分割レンズ群を通過する光束の影響を受ける座標の情報、
   のうちの少なくとも一つを記録することを特徴とする請求項１に記載の撮像装置。
6. 上記補正手段は、
   上記撮像素子からの画像信号に対して、上記座標記録手段に記録された上記座標情報に基づいてノイズ低減処理を行うノイズ低減手段と、
   上記ノイズ低減手段による上記ノイズ低減処理後の画像信号に対して、上記座標記録手段に記録された上記座標情報に基づいて階調変換処理を行う階調変換手段と、
   を更に有することを特徴とする請求項１乃至５の何れかに記載の撮像装置。
7. 上記補正手段は、
   上記撮像素子からの画像信号に対して、上記座標記録手段に記録された上記座標情報に基づいて階調変換処理を行う階調変換手段と、
   上記階調変換手段による上記階調変換処理後の画像信号に対して、上記座標記録手段に記録された上記座標情報に基づいてノイズ低減処理を行うノイズ低減手段と、
   を更に有することを特徴とする請求項１乃至５の何れかに記載の撮像装置。
8. 上記階調変換手段は、上記撮影光学系の明るさと上記座標記録手段に記録された上記座標情報とに基づいて階調変換係数を設定し、該階調変換係数に基づいて上記階調変換処理を行うことを特徴とする請求項６又は７に記載の撮像装置。
9. 上記ノイズ低減手段は、
   上記画像信号に関してノイズ量を推定するノイズ量推定手段と、
   上記ノイズ量推定手段によって推定したノイズ量に基づき平滑化処理を行う平滑化手段と、
   を有することを特徴とする請求項６乃至８の何れかに記載の撮像装置。
10. 上記ノイズ低減手段は、
    上記画像信号に関してノイズ量を推定するノイズ量推定手段と、
    上記ノイズ量推定手段によって推定したノイズ量に基づき平滑化処理を行う平滑化手段と、
    を有し、
    上記ノイズ量推定手段は、上記階調変換手段が設定した上記階調変換係数に基づいて上記ノイズ量を補正するノイズ量補正手段を有することを特徴とする請求項８に記載の撮像装置。
11. 上記補正手段は、
    上記画像信号に対して上記撮影光学系の解像度と上記座標記録手段に記録された上記座標情報に基づいて鮮鋭化処理を行う鮮鋭化手段と、
    上記座標記録手段に記録された上記座標情報に基づいてホワイトバランス調整処理を行うＷＢ調整手段と、
    のうちの少なくとも一つを有することを特徴とする請求項１乃至１０の何れかに記載の撮像装置。
12. 上記焦点検出手段により検出された焦点に基づき、上記撮影光学系のフォーカスを制御する制御手段を更に具備することを特徴とする請求項１乃至１１の何れかに記載の撮像装置。
13. コンピュータを、
    撮影光学系を介して被写体を撮像する撮像素子の素子面上の領域に対して、上記撮影光学系を通過する被写体像光の光束を瞳分割する瞳分割レンズ群の光学特性及び上記撮影光学系の撮影情報を、上記撮像素子による撮像によって得られた画像信号と共に読み込む読み込み手段、
    予め記録された上記撮像素子の素子面上の上記領域を特定するための座標情報に基づいて、上記読み込んだ画像信号に対し、上記領域に対応した上記瞳分割レンズ群の光学特性及び予め記録された上記撮像素子の素子特性に基づく補正処理を行う補正手段、
    上記補正手段による上記補正処理前の画像信号または上記補正処理後の画像信号に基づいて、焦点検出を行う焦点検出手段、
    として機能させるための画像信号処理プログラム。
14. 上記補正処理は、上記予め記録された上記座標情報に基づいて、上記瞳分割レンズ群を通過した光束の影響を受ける上記撮像素子からの画像信号に対して行うことを特徴とする請求項１３に記載の画像信号処理プログラム。
15. 上記補正処理は、上記予め記録された上記座標情報に基づいて、上記瞳分割レンズ群を通過した光束のみが結像する上記撮像素子からの画像信号に対して行うことを特徴とする請求項１３に記載の画像信号処理プログラム。
16. 上記補正処理として、上記予め記録された上記座標情報に基づいて、上記瞳分割レンズ群を通過した光束のみが結像する上記撮像素子の領域と、上記瞳分割レンズ群を通過した光束以外の光束の影響を受ける上記撮像素子の領域とで、区別した補正処理を行うことを特徴とする請求項１３に記載の画像信号処理プログラム。
17. 上記予め記録された上記座標情報は、
    上記領域内に位置し、上記瞳分割レンズ群を通過する光束のみが結像する座標の情報、
    上記領域外に位置し、上記瞳分割レンズ群を通過する光束の影響を受けない座標の情報、
    上記領域境界上に位置し、上記瞳分割レンズ群を通過する光束の影響を受ける座標の情報、
    のうちの少なくとも一つであることを特徴とする請求項１３に記載の画像信号処理プログラム。
18. 上記補正処理は、
    上記撮像素子からの画像信号に対して、上記予め記録された上記座標情報に基づいて行われるノイズ低減処理と、
    上記ノイズ低減処理後の画像信号に対して、上記予め記録された上記座標情報に基づいて行われる階調変換処理と、
    を更に有することを特徴とする請求項１３乃至１７の何れかに記載の画像信号処理プログラム。
19. 上記補正手処理、
    上記撮像素子からの画像信号に対して、上記予め記録された上記座標情報に基づいて行われる階調変換処理と、
    上記階調変換処理後の画像信号に対して、上記予めに記録された上記座標情報に基づいて行われるノイズ低減処理と、
    を更に有することを特徴とする請求項１３乃至１７の何れかに記載の画像信号処理プログラム。
20. 上記階調変換処理は、上記撮影光学系の明るさと上記予め記録された上記座標情報とに基づいて階調変換係数を設定し、該階調変換係数に基づいて行うことを特徴とする請求項１８又は１９に記載の画像信号処理プログラム。
21. 上記ノイズ低減処理は、
    上記画像信号に関してノイズ量を推定するノイズ量推定処理と、
    上記ノイズ量推定処理によって推定したノイズ量に基づいて行う平滑化処理と、
    を有することを特徴とする請求項１８乃至２０の何れかに記載の画像信号処理プログラム。
22. 上記ノイズ低減処理は、
    上記画像信号に関してノイズ量を推定するノイズ量推定処理と、
    上記ノイズ量推定処理によって推定したノイズ量に基づいて行う平滑化処理と、
    を有し、
    上記ノイズ量推定処理は、上記階調変換処理で設定した上記階調変換係数に基づいて上記ノイズ量を補正するノイズ量補正処理を有することを特徴とする請求項２０に記載の画像信号処理プログラム。
23. 上記補正処理は、
    上記画像信号に対して上記撮影光学系の解像度と上記予め記録された上記座標情報に基づいて行う鮮鋭化処理と、
    上記予め記録された上記座標情報に基づいて行うホワイトバランス調整処理と、
    のうちの少なくとも一つを有することを特徴とする請求項１３乃至２２の何れかに記載の画像信号処理プログラム。
24. コンピュータを更に、上記焦点検出手段により検出された焦点に基づき上記撮影光学系のフォーカスを制御する制御手段として機能させることを特徴とする請求項１３乃至２３の何れかに記載の画像信号処理プログラム。

Images