JP2015144416A - 撮像装置及び撮像装置の制御方法 - Google Patents

Abstract

【課題】 カメラの構成を単純化しながら、ハイダイナミックレンジ画像出力を含む複数の機能を提供可能な撮像装置を提供すること。【解決手段】 撮影光学系と画素の間にマイクロレンズアレイを有し、前記マイクロレンズアレイの各マイクロレンズからの光束を複数の画素で受光して画像信号を出力する撮像素子と、前記撮像素子からの画像信号において、被写体が対応する複数の画素信号から、基準とする画素信号の明るさと当該複数の画素信号を出力した画素の各マイクロレンズに対する位置に基づいて画素信号を選択して、選択された画素信号を合成することで出力画像を生成する合成手段と、を備えたことを特徴とする。【選択図】 図１

Description

本発明は、同時に異なる視点からの画像を取得可能な撮像装置及び撮像装置の制御方法に関するものである。

従来、撮像装置が１回の撮影で取得可能な画像のダイナミックレンジよりも見かけ上広いハイダイナミックレンジの画像（ＨＤＲ画像）を生成するために、開口率の異なる画素を規則的に配置してＨＤＲ画像を生成する技術が開示されている（特許文献１）。

また、１回の撮影で異なる視点の画像を取得可能な撮像装置の構成として、異なる瞳領域を通過した光束により形成された一対の被写体像を取得するものがあり、取得された一対の被写体像は相関演算により焦点検出に用いられる（特許文献２）。

特開２００３−１７９８１９号公報 特開２０１３−０７２９０６号公報

しかしながら、特許文献２のような撮像素子の構成、すなわち１つのマイクロレンズに複数の画素が割り当てられた瞳分割画素を有する撮像素子を利用して、ＨＤＲ画像を生成することに言及したものはなかった。

上記課題に鑑み、本発明の目的は、１つのマイクロレンズに複数の画素が割り当てられた瞳分割画素を有する撮像素子を含む撮像装置であって、ＨＤＲ画像を提供可能な撮像装置及び撮像装置の制御方法を提供することである。

上記目的を達成するために、本発明の撮像装置は、
撮影光学系と画素の間にマイクロレンズアレイを有し、前記マイクロレンズアレイの各マイクロレンズからの光束をそれぞれ複数の画素で受光して画像信号を出力する撮像素子と、前記撮像素子からの画像信号において、被写体が対応する、視点の異なる複数の画素信号から、画素信号の明るさと当該複数の画素信号を出力した画素の各マイクロレンズに対する位置に基づいて画素信号を選択して出力画像を生成する生成手段と、を備えたことを特徴とする。

また、本発明の撮像装置の制御方法は、
撮影光学系と画素の間にマイクロレンズアレイを有し、前記マイクロレンズアレイの各マイクロレンズからの光束を複数の画素で受光して画像信号を出力する撮像素子を有する撮像装置の制御方法であって、前記撮像素子からの画像信号において被写体が対応する、視点の異なる複数の画素信号を特定するステップと、画素信号の明るさと、当該複数の画素の各マイクロレンズに対する位置に基づいて画素信号を選択する選択ステップと、前記選択された画素信号を用いて出力画像を生成する生成ステップと、を備えたことを特徴とする。

本発明によれば、１つのマイクロレンズに複数の画素が割り当てられた瞳分割画素を有する撮像素子を含む撮像装置において、ＨＤＲ画像を生成する機能を付与ことができる。

第１の実施形態における撮像素子の中央断面図およびブロック図 第１の実施形態における撮影光学系を説明する図 第１の実施形態におけるフローチャート図及びＨＤＲ合成処理の説明図 ＨＤＲ合成の効果を説明する図 第２の実施形態におけるフローチャート図及び絞りによる開口の変化の説明図 第３の実施形態におけるフローチャート図 第４の実施形態におけるフローチャート図及び画素加算を説明する図 画素値の加算と輝度の分布（ばらつき）を説明する図 画素の飽和が起きた場合を説明する図

（第１の実施形態）
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。以下、図１から図５を参照して、本発明の第１の実施例による撮像装置について説明する。

図１（ａ）は撮像装置であるデジタルカメラおよびレンズの中央断面図、図１（ｂ）は主に電気的構成を示すブロック図である。図１（ａ）および図１（ｂ）で同一の符号が付してあるものはそれぞれ対応している。

図１（ａ）において、撮像装置１は、撮像素子６、表示装置９、クイックリターン機構１４、ファインダ１６をそれぞれ有する。撮像素子６は例えば、原色カラーフィルタを備えるＣＭＯＳなどから構成される単板カラー撮像素子とする。原色カラーフィルタは、各々６５０ｎｍ、５５０ｎｍ、４５０ｎｍ近傍に透過主波長帯を持つＲ（赤）、Ｇ（緑）、Ｂ（青）の３種類の色フィルタからなる。表示装置９は液晶等の表示媒体である。クイックリターン機構１４はミラーを有し、このミラーを回動させることで、撮影光学系３を介して入射される光束をファインダ１６か撮像素子６に導く。また、撮像装置１は、撮影光学系を形成するレンズ３を有するレンズユニット２を電気接点１１で電気的に接続されて着脱可能である。

画像処理回路撮影光学系３を介して撮像素子６の撮像面に結像する光学処理系である。撮影素子６と撮像光学系を形成する撮影レンズ３の間（本実施形態では撮像素子６の表面）にはマイクロレンズ（以下、ＭＬとも呼ぶ）が光軸方向から見て２次元に格子状に配置してあり、いわゆるマイクロレンズアレイ（以下、ＭＬＡとも呼ぶ）を形成している。ＭＬＡは本実施例において、瞳分割の機能を果たす。本実施形態では、撮像素子６において撮像素子上の各画素（受光部）は、ＭＬ単位で同じカラーフィルタを有し、Ｂａｙｅｒ配列を呈している。ただし、これに限らず、通常の撮像素子と同様に画素単位でＢａｙｅｒ配列を呈していてもよいが、この場合、各ＭＬに割り当てられる画素は格子の縦、横共に奇数個の単位で配列されている方がよい。奇数個で割り当てると、隣接するＭＬ下の画素で対応する視点の画素が交互に異なるカラーフィルタになる。ＭＬＡの機能や配置の詳細については図２を用いて後述する。後述するように、撮影素子６からピント評価量／適当な露光量が得られるので、この信号に基づいて適切に撮影光学系３が調整されることで、適切な光量の物体光を撮像素子６に露光するとともに、撮像素子６近傍で被写体像が結像する。

画像処理回路７は、内部にＡ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換器、ホワイトバランス回路、ガンマ補正回路、補間演算回路、ルックアップテーブルによる色変換回路等を有している。これらの回路により、画像処理回路７は撮像素子６からの電気信号を受けて上記回路を経て、表示、記録用の画像信号を生成することができる。また、本実施形態の要部である、画像処理装置（視差像生成手段、輝度補正手段、位置合わせ手段、画素選択手段、出力画像生成手段などから構成される）等を含めることもできる。本実施形態ではこれらの要素はカメラシステム制御回路５内に配置する場合を想定して記載する。

メモリ制御部８は実際の記憶部に加えて記録に必要な処理回路を備えている。メモリ制御部８は、記録部へ出力を行うとともに、表示部９に出力する像を生成、保存する。また、メモリ制御部８は、予め定められた方法を用いて画像、動画、音声などの圧縮を行う。

カメラシステム制御回路５は撮像の際のタイミング信号などを生成して出力する。外部操作に応動して撮像系、画像処理系、記録再生系をそれぞれ制御する。例えば、不図示のシャッターレリーズ釦の押下を操作検出部１０が検出して、撮像素子６の駆動、画像処理回路７の動作、メモリ制御部８の圧縮処理などを制御する。さらに表示部９によって液晶モニタ等に情報表示を行う情報表示装置の各セグメントの状態を制御する。

制御系の光学系の調整動作について説明する。カメラシステム制御回路５には画像処理回路７が接続されており、撮像素子６からの信号を元に適切な焦点位置、絞り位置を求める。カメラシステム制御回路５は、電気接点１１を介してレンズシステム制御回路１２に指令を出し、レンズシステム制御回路１２はレンズ駆動部１３を適切に制御する。さらにレンズシステム制御回路１２には不図示の手ぶれ検出センサが接続されており、手ぶれ補正を行うモードにおいては、手ぶれ検出センサの信号を元にレンズ駆動部１３を介してブレ補正レンズを適切に制御する。

図２は、本実施例における撮影光学系の要部を説明する図である。他の撮影光学系についても適用可能であるがそれについては図４を用いて説明する。本発明を適用するためには、複数の視点からの被写体像を取得する必要がある。本実施例では、角度情報の取得のために撮影光学系３の結像面近傍にＭＬＡを配置するとともに、ＭＬＡを構成する１つのＭＬに対して複数の画素を対応させている。

図２（ａ）は撮像素子６とＭＬＡ２０の関係を模式的に示す図である。図２（ｂ）は撮像素子６の画素とＭＬＡ２０の対応を示す模式図である。図２（ｃ）はＭＬＡによってＭＬＡ下に設けられた画素が特定の瞳領域と対応づけられることを示す図である。

図２（ａ）に示すように撮像素子６上にはＭＬＡ２０が設けられており、ＭＬＡ２０の前側主点は撮影光学系３の結像面近傍になるように配置されている。図２（ａ）は撮像装置１の横からと、正面からＭＬＡ２０を見た状態を示しており、撮像装置６の正面から見るとＭＬＡ２０のレンズが撮像素子６上の画素を覆うように配置されている。なお、図２（ａ）ではＭＬＡ２０を構成する各ＭＬを見やすくするために、大きく記載したが、実際には各ＭＬは画素の数倍程度の大きさしかない。（実際の大きさについては図２（ｂ）を用いて説明する。）

図２（ｂ）は図２（ａ）の撮像装置６の正面からの図を一部拡大した図である。図２（ｂ）に示す格子状の枠は、撮像素子６の各画素を示している。一方ＭＬＡ２０を構成する各ＭＬは太い円２０、２１、２２、２３で示した。図２（ｂ）から明らかなようにＭＬ１つに対して複数の画素が割り当てられており、図２（ｂ）の例では、５行ｘ５列＝２５個の画素が１つのＭＬに対して設けられている。すなわち各ＭＬの大きさは画素の大きさの５倍ｘ５倍程度の大きさである。ただし、ＭＬＡ２０と撮像素子６の各画素との距離にもよる。

図２（ｃ）は撮像素子６を、ＭＬ光軸を含みセンサの長手方向が図の横方向になるように切断した図である。図２（ｃ）の２０−ａ、２０−ｂ、２０−ｃ、２０−ｄ、２０−ｅは撮像素子６の各画素（１つの光電変換部）を示している。一方図２（ｃ）の上方に示した図は撮影光学系３の射出瞳面を示している。実際には、図２（ｃ）の下方に示したセンサの図と方向を合わせると、射出瞳面は図２（ｃ）の紙面垂直方向になるが、説明のために投影方向を変化させている。また、図２（ｃ）においては説明を簡単にするために、１次元の投影／信号処理について説明する。実際の装置においては、これを容易に２次元に拡張することができる。

図２（ｃ）の画素２０−ａ、２０−ｂ、２０−ｃ、２０−ｄ、２０−ｅは図２（ｂ）の２０−ａ、２０−ｂ、２０−ｃ、２０−ｄ、２０−ｅとそれぞれ対応する位置関係にある。図２（ｃ）に示すように、マイクロレンズ２０によって各画素は撮影光学系３の射出瞳面上の特定の領域と共役になるように設計されている。図２（ｃ）の例では画素２０−ａと領域３０−ａが、画素２０−ｂと領域３０−ｂが、画素２０−ｃと領域３０−ｃが、画素２０−ｄと領域３０−ｄが、画素２０−ｅと領域３０−ｅがそれぞれ対応している。すなわち画素２０−ａには撮影光学系３の射出瞳面上の領域３０−ａを通過した光束のみが入射する。他の画素も同様である。さらに隣接する画素２１も射出瞳面上の同じ領域と対応している。すなわち、画素２１−ａと領域３０−ａが、画素２１−ｂと領域３０−ｂが、画素２１−ｃと領域３０−ｃが、画素２１−ｄと領域３０−ｄが、画素２１−ｅと領域３０−ｅがそれぞれ対応している。結果として、瞳面上での通過領域と撮像素子６上の位置関係から角度の情報を取得することが可能となる。

図２で説明した光学系から複数の視点の異なる像を生成するには、前述の特徴を生かして各ＭＬの同じ瞳面（瞳領域）に対応する画素を配列する。これにより視点の異なる複数の像が生成される。

以上で説明したような複数の視点の異なる像を取得可能なカメラにおいては撮影後のピント位置の移動、視点の移動などが提案されているが、本実施形態ではダイナミックレンジの拡張（ハイダイナミックレンジ合成：以下、ＨＤＲ合成とも呼ぶ）を目的とする。本実施形態の光学系では、複数の視点の異なる像を同時に取得可能なので、移動被写体を撮影する場合であっても移動被写体像がブレを生じないという好ましい特徴を持つ。また、本実施形態では、上記の構成によって複数の視点の異なる像（視差像）を取得して、その像ごとのケラレの状態の違いに基づいてＨＤＲ合成を行うことを特徴とする。

ここで、本実施形態で利用する、ＭＬ下の画素ごとのケラレの状態の違い（異なる視点の像間のケラレの状態の違い）について説明する。図２（ｂ）、（ｃ）で説明したように、本撮影光学系においては、ＭＬＡ２０によって各画素はレンズ３の射出瞳の特定の領域と対応している。また、撮影光学系３にはＦナンバーを規定するための絞りが存在するために、それよりも外側からは光線が届くことはない。つまり画素２０−ｂ、２０−ｃ、２０−ｄは画素面積のすべてが射出瞳と対応しているが、画素２０−ａ、２０−ｅ、２０−ｎは画素の一部は射出瞳に対応していない。このため、画素２０−ｂ、２０−ｃ、２０−ｄに比べて、画素２０−ａ、２０−ｅ、２０−ｎに届く光束は撮影光学系３で制限されておりこれをケラレと呼んでいる。

また、画素面積のうち射出瞳に対応している割合を本明細書での開口率として定義する。画素２０−ｂ、２０−ｃ、２０−ｄは画素面積のすべてが射出瞳と対応しているので開口率１００％であり、画素２０−ａ、２０−ｅ、２０−ｎの開口率は１００％未満である。さらには、画素２０−ｎの開口率は画素２０−ａ、２０−ｅの開口率よりも小さい。

開口率は、対応する瞳面積を表しているが、これは各画素に差し込む光束の比率に対応している。すなわち、視点の異なる複数の像の明るさに対応している。図２（ｂ）の例では、画素２０−ｎに対応する視点の像は、画素２０−ｂ、２０−ｃ、２０−ｄに対応する視点の像に対して明るさが約１／７倍になっている。前述したように本実施形態では、この開口率の違いによる露出差を利用してダイナミックレンジ拡大を施したＨＤＲ画像を生成する。

明るい被写体の場合には、画素２０−ｂ、２０−ｃ、２０−ｄに対応する視点の像は、画素２０−ｎに対応する視点の像よりも早く飽和（白飛び）に達する。このため画素２０−ｎおよび画素２０−ｎまたは画素２０−ｎと同様のケラレ状態にある４隅の画素から１つ以上の画素を選択することで飽和（白飛び）しにくくなる。

一方で、暗い被写体の場合画素２０−ｎには差し込む光束が少ないので、より早く黒潰れしてしまう。画素２０−ｂ、２０−ｃ、画素２０−ｄまたは中央付近にあって開口率１００％の画素から１つ以上の画素を選択することで黒潰れしにくくなる。

すなわち、明るい被写体においては相対的に開口率の低い画素を、暗い被写体においては相対的に開口率の高い画素を選択することでダイナミックレンジを拡張することが可能となる。

上述したＭＬ下の各画素の開口率の違いは結局、各画素の対応する各ＭＬに対する位置で決まるものである。従って実際の画素選択の制御としては、各画素の各ＭＬに対する位置に基づいて画素を選択することで、対象とする位置の明るさに応じた画素値を選択する。

さらには、図２（ｂ）に示すようなケラレの状態は撮像装置の状態のみによって決まり、被写体によらない。つまりケラレ状態は予め知ることが可能なので、図３から（ｃ）で前述したように明るさの補正を行ったり、ボケの補正を行ったりすることができる。ケラレ状態はいわゆる設計上の数値から得てもよいし、工場など撮像装置の製造過程においてケラレ状態を測定してもよい。得られたケラレ情報は、ケラレによる光量不足を補うためのゲインやケラレのない画素に対する露出段差などのデータとともに、テーブルデータとしてメモリ制御部８内のメモリに記録しておく。

図３は、本実施形態における撮像装置１の撮影記録動作を示すフローチャートである。本フローにおける各処理はカメラシステム制御回路５あるいはカメラシステム制御回路５の指示により各部で実行される。また、本フローは撮像装置１の電源ＯＮや撮像装置１への撮影開始指示を操作検出手段１０が検出することなどにより動作を開始する。

ステップＳ３０１では、カメラシステム制御回路５は、撮像素子６で撮像され、画像処理回路７で処理された画像信号を取得する。取得される画像信号の画像が撮影されるタイミングに限定はなく、予め撮影された画像の画像信号がメモリ制御部８の有するメモリに記憶され、それを読み出しても良いものとする。

ステップＳ３０２では、カメラシステム制御回路５あるいは画像処理回路７が、撮像素子６から得られた像信号から複数の視点の異なる画像（視差像）を生成する。図２を用いて説明したように、ＭＬにおける相対的な位置が同じ画素は、撮影光学系３の瞳面上での通過領域が同じになる。このためＭＬにおける相対的な位置が同じ画素を集めることである視点の画像を生成することができ、これをＭＬ下の画素毎に同様に処理を行えば、複数の視点の異なる画像が生成できる。

ステップＳ３０３では、画像処理回路７が、ケラレ状態の違いによる視差像間の明るさの違いを調整するための明るさ補正を行う。前述したように、ＭＬ下の相対的な位置によってケラレ状態が大きく異なるので、視点の異なる複数の像はそれぞれ明るさが異なっている。このため、これら複数の視点の像を合成してＨＤＲ画像を生成するために、このステップで視点の異なる複数の像の明るさを調整する。本実施形態では、γ補正によって、ケラレのより大きい視点の像については全体的に入力信号に対する出力をより持ち上げるガンマを適用することで明るさを補正する。各視点の画像がどれくらいケラレた状態の画像でどの程度補正すればよいかは、上述したようにメモリに記憶されたテーブルデータより決定する。また、各視差像の信号値に一律に信号レベルを持ち上げるゲイン補正を行うことによって明るさを補正しても良い。図３の例では輝度補正を行う場合のみについて述べているが、必須の構成ではない。

ステップＳ３０４では、カメラシステム制御回路５あるいは画像処理回路７が、視点の異なる複数の像の位置を合わせるための像ずれ量の算出処理を行う。具体的には、視点の異なる複数の像のうち１つを基準として他の画像の基準画像とマッチングする位置を探して像ずれ量を算出する。ステップＳ３０３の出力である複数の像に対して、各像を複数のエリアに分割してエリア毎に演算を行う。同時に取得された視点の異なる像間にはいわゆるエピポーラ拘束が存在するのでその方向のみに探索を行う。図２の瞳平面上の領域３０−ａと瞳平面上の領域３０−ｅを通過した画像を比較する場合には、視点位置がＸ方向のみにずれているので、探索方向をＸ方向に限定することができる。つまり、領域３０−ａに対応する像からエリア画像を切り出しておいて、領域３０−ｅに対応する像からはＸ方向にずらした位置から同じ大きさの画像を切り出して比較を行う。比較においては、エリアの輝度値に基づいて像間で差分絶対値和（ＳＡＤ）等を利用してもっとも類似している位置を求め、シフト量を算出する。

ここでステップＳ３０３において輝度補正を行っていない場合は、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）などに代表される明るさに不変な特徴量を用いてマッチングを行ってもよい。以上のシフト量を算出する動作はいわゆる位相差方式のフォーカシングの際に行う相関演算で得られる評価値と同じ物理量を観察しているので被写体の被写体距離情報を取得することもできる。

なお、異なる視点の画像間での対応領域の像ずれ量は被写体がどの被写体距離にいるかに応じて異なってくる。被写体距離の大きい、遠くにいる被写体ほど、同じピント状態でも異なる視点の画像間の像ずれ量は大きい。一般的な画像は撮像装置から等距離にあるものばかりが写っているとは限らないので、本実施形態では、エリア毎に被写体の被写体距離が異なることに対応できるように、画像を複数のエリアに分けてそれぞれでもっとも類似している領域を求める。

ステップＳ３０５では、カメラシステム制御回路５あるいは画像処理回路７が、視点の異なる複数の像をエリア毎に位置合わせする位置合わせ処理を行う。ステップＳ３０４で基準画像に対して他の画像のどの領域が同一被写体に対応しているかが求まっている。そこでステップＳ３０５では同じ物体に対応する画素を対応付けする。

ステップＳ３０６では、カメラシステム制御回路５あるいは画像処理回路７が、基準画像の各領域に対応する他の画像の複数の画素からダイナミックレンジを拡張するために画素を選択して合成を行うＨＤＲ合成処理を行う。ステップＳ３０５までで同じ被写体に対応する複数の画素が異なる視点の画像間で対応づけられているので、明るさ（輝度値）に応じて１つ以上視点数以下の画素を選択する。本実施形態では、白飛びがしにくい、開口率が相対的に低い視点の画素を基準として、その明るさに応じて画素を選択するものとする。また、開口率１０％以下など、あまりに開口率の低い画素を基準とすると、像高の高いところで生じるケラレやレンズの偏心などの影響によって正しく明るさを計れない可能性がある。よって本実施形態では、各ＭＬに対応する複数の画素の中で、ＭＬから入射される光束の面積が所定範囲にある画素を明るさの基準とする。

基準となる視点の画像の画素の明るさに応じて画素を選択する際には、例えば図３（ｂ）に示すように開口率の違いによって５×５の各視点に対応する画素を３グループに分類し、図３（ｃ）のグラフに従って明るさに応じて該当するグループの画素を選択する。開口率の違い、実制御的には各ＭＬに対する画素位置に応じた分類方法はこれに限らない。例えば図３（ｂ）におけるＧｒｏｕｐ１とＧｒｏｕｐ２を統合して、主となる被写体が存在する確率が高い中間輝度の画素として、ＭＬ外の領域によるケラレのない中央部分の画素Ｐ（２，２）−Ｐ（４，４）が選択されるようにしてもよい。

選択された画素の値は、各画素の開口率と画素値に応じて重み付け加算が行われ、出力画像の画素が生成される。具体的には、開口率の小さい画素はステップＳ３０３の明るさ補正による補正幅が大きいため、ノイズも大きくなるため重み付けを小さくする。また、各画素値が黒潰れあるいは白飛びしている場合は、重みをゼロ又は小さくして当画素の影響を軽減する。重み付け加算を行って処理前の画素値の表現範囲を超える画像が生成されるのでこれを適当な方法で出力画像のダイナミックレンジに合わせて変換する。いわゆるダイナミックレンジの圧縮を施す。予め選択された画素数に応じて正規化して重み付け加算を行ってダイナミックレンジの圧縮を同時に行ってもよい。

ステップＳ３０７では、表示画像用のリサイズ、ガンマ補正や、例えばＪＰＥＧ等の所定の形式の符号化処理等を施して表示あるいは記録用の出力画像を生成し表示あるいは記録して、処理を終了する。

図４を用いて本実施形態のステップＳ３０６で行われるＨＤＲ合成処理の効果を画像と対応させて説明する。図４（ａ）は開口率の高い視点の像を模式的に示した図である。図４（ｂ）は開口率の低い視点の像を模式的に示した図である。図４（ｃ）および（ｄ）はそれぞれ図４（ａ）および（ｂ）の輝度ヒストグラムである。図４（ｅ）は出力画像を模式的に示した図であり、図４（ｆ）は図４（ｅ）の輝度ヒストグラムである。図４（ａ）および図４（ｂ）は視点が異なる像のため、被写体距離に応じて像面上の位置が変化しているが、図４では位置合わせがなされた後であるとして説明をする。

図４（ａ）において４０１ａは像の中の明るい領域を、４０２ａは像の中の暗い領域を、図４（ｂ）において４０１ｂは像の中の明るい領域を、４０２ｂは像の中の暗い領域をそれぞれ示している。図４の構図では室内と窓の外が同時に撮影されているので、被写体のダイナミックレンジが広い状態にある。

図４（ｃ）は図４（ａ）の輝度ヒストグラムであるが、ここで注目するのは、４０３で示した部分である。４０４ｃでは、輝度の最大値部を指したが、この部分の頻度が０でない。つまり飽和が発生している画素信号が存在していることを示している。図４（ａ）の像の中の明るい領域４０１ａである窓の外に対応する画素が飽和しているとする。一方で、４０３ｃでは輝度の最小値部を指したが、この部分の頻度はほぼ０になっている。つまり黒潰れは発生せず、像の中の暗い領域４０１ｂを含む室内の被写体に対しては適当な条件で露光できている。

一方で、図４（ｄ）は図４（ｂ）の輝度ヒストグラムであるが、ここで注目するのは、４０４で示した部分である。４０３ｄでは、輝度の最小値部を指したが、この部分の頻度が０でない。つまり黒潰れが発生している画素が存在していることを示している。図４（ｂ）の像の中の暗い領域４０２ｂである室内の影に対応する画素が黒潰れしているとする。（黒潰れがあった場合取得像は黒で表現することが正しいが、図４では被写体の対応を明確にするために中間調で記載している。）一方で、４０４ｄでは輝度の最大値部を指したが、この部分の頻度はほぼ０になっている。つまり飽和は発生せず、像の中の明るい領域４０１ａである窓の外などに対しては適当な条件で露光できている。

図４（ａ）から図４（ｄ）を用いた説明から明らかなように、被写体の明るい領域は図４（ｂ）に示した開口率の低い視点の像から、被写体の暗い領域は図４（ａ）に示した開口率の高い視点の像から得ればよい。この処理が図３から（ｃ）のフローチャートではステップＳ３０６でなされる。画素の輝度に応じて開口率を見ながら適当な視点の像から出力画像に用いる値が選択される。さらに開口率を考慮しながら画像を統合することで図４（ｅ）のような出力像を得ることが出来る。統合の方法はステップＳ３０７の説明として前述した。

図４（ｅ）では、４０１ｅは像の中の明るい領域を、４０２ｅは像の中の暗い領域を、示しているがいずれの場所でも飽和および黒潰れが発生していない。その結果図４（ｅ）の輝度ヒストグラムである図４（ｆ）でも輝度の最小値部４０３ｆおよび輝度の最大値部４０４ｆの頻度はほぼ０になっている。

以上のように、本実施形態では、撮影光学系と画素の間のＭＬＡの各ＭＬからの光束を複数の画素で受光する撮像素子によって、複数の視点の異なる像を同時に取得可能でかつその像ごとのケラレの状態の違いに基づいてＨＤＲ合成を行うことができる。

上述した実施形態において、ＭＬによるケラレではなく像高に応じたケラレの影響を軽減するために、予め像高に応じた補正ゲインが記憶された補正テーブル等を用いて、ステップＳ３０１の画像取得時に周知のシェーディング補正がなされていてよい。

（第２の実施形態）
本実施形態では、撮影光学系３の絞りを調節することで、各視点の画像の開口率を制御して、各画像の露出および画像間の露出段差を制御することを特徴とする。

図５（ａ）は本実施形態における撮像装置１の撮影記録動作を示すフローチャートである。本フローにおける各処理はカメラシステム制御回路５あるいはカメラシステム制御回路５の指示により各部で実行される。また、本フローは撮像装置１の電源ＯＮや撮像装置１への撮影開始指示を操作検出手段１０が検出することなどにより動作を開始する。図５で図３と同じ動作をするステップについては同じ番号を付した。同じ機能の箇所に関しては説明を割愛して異なる部分に限って述べる。

図３の処理ではステップＳ３０１の前にステップＳ１０１、Ｓ５０２が設けられている。

ステップＳ５０１は、カメラシステム制御回路５の指示により撮像素子６あるいは不図示の測光センサによって測光を行う。測光は様々な方法が活用できるが、ここでは撮像素子６を本撮影に先立って露光する方法について述べる。（測光用の露光と呼ぶことにする）撮像素子６を適当な条件で露光してその信号レベルを観察することで画像に含まれる被写体のダイナミックレンジを知ることができる。

ステップＳ５０２では、カメラシステム制御回路５の指示によって撮影光学系３の絞りを動作させる。図１のレンズ駆動部１３を活用してレンズユニット２に備えた絞りを動作させる。どの程度絞り込むことが適切かについては後述する。

測光用の露光の結果、いずれの画素も適当なレンジ内にある場合は被写体の輝度は平坦（輝度ムラが小さい）であり、特にダイナミックレンジ拡張を行う必要はない。一方で、飽和（白飛び）や黒潰れ（露光に伴う電子の飛び出しがほとんどないと考えられる領域）が存在する場合にはダイナミックレンジが足りていないまたは露出条件があっていないことを示している。測光用の露光において、適当に露出条件を調整しても飽和と黒潰れが画面内で同時に発生する場合には撮像素子６のダイナミックレンジよりも被写体の輝度差が大きくダイナミックレンジ拡張を行う価値が高い被写体であることがわかる。前述のように、適当に露出条件を調整しても飽和と黒潰れが生じるような場合において、よりアンダー（露光量が小さい）およびオーバー（露光量が多い）の条件で露光する。その結果、飽和および黒潰れが解消される条件を探ることで被写体を十分に表現するために必要なダイナミックレンジ（被写体のダイナミックレンジと定義する）を知ることができる。

飽和（白飛び）および黒潰れを解消するためには、被写体のダイナミックレンジを包含するように露出を変化させた条件で画像を取得できれば良い。時分割的に異なる条件で露光を行って画像合成を行うような装置においては、±１段、±２段、±３段というように被写体のダイナミックレンジに応じて露出条件を決定して複数の画像を取得し、画像処理を施す。一方で本発明に示す装置においては時分割や多眼カメラのように、像ごとに露光量を制御することが簡単ではない。図１（ｂ）の例はそこに着目して提案された処理の例である。

つまり、ステップＳ５０１で測光したのちステップＳ５０２で光学系を絞ることによって、光線が差し込む量の比率（最も明るい視点と最も暗い視点の輝度の比率）を変化させる。すると異なる視点の画像間の開口率の比が変わり、被写体のダイナミックレンジを包含するような露出条件を達成することができる。絞り込みと光線が差し込む量の比率の変化の関係について図５（ｂ）図５（ｂ）を用いて説明する。

図５（ｂ）は、図１（ｄ）の状態から撮影光学系の絞りを動作させた場合を示した図である。絞りを動作させた後の対応する射出瞳の外径を４０で示した。

図５（ｂ）から明らかなように、絞りを動作させると、外側の画素からケラレが大きくなり開口率は急激に低下する。例えば図３（ｂ）が絞り開放状態で絞りによるケラレがない状態であるとして、この例から開口を５％程度小さくするだけで画素２０−ｎの開口率は半分以下になる。一方で、中央付近の画素２０−ｂ、２０−ｃ、２０−ｄの開口率は１００％のままである。その結果、画素２０−ｎに対応する視点の像の明るさと、画素２０−ｂ、２０−ｃ、２０−ｄに対応する視点の像に対して明るさの差がより大きくなる（露出段差が大きくなる）。図１（ｂ）を用いて前述したように被写体のダイナミックレンジに応じて適当に絞りを動作させることで、より適切に被写体情報を捉えることが可能となる。また、露出条件の決め方として、どの画素を測光結果に基づく適正露出の画素とするかは適宜決定できる。

以上のように、本実施形態では、撮影光学系と画素の間のＭＬＡの各ＭＬからの光束を複数の画素で受光する撮像素子によって、複数の視点の異なる像を同時に取得可能でかつその像ごとのケラレの状態の違いに基づいてＨＤＲ合成を行うことができる。その際に、測光値に応じて絞りを制御することで各視点の画像の露出段差を制御することが可能となる。

（第３の実施形態）
本実施形態では、第１の実施形態に対して、視点の異なる複数の像が開口率の違いからボケ状態に差があることと、合成画像についてはＨＤＲ合成処理に伴って、ボケ状態が変化することに着目して、ボケ状態を調整する補正をさらに施すことを特徴とする。

図６のフローチャートを説明する。図６で図３と同じ動作をするステップについては同じ番号を付した。同じ機能の箇所に関しては説明を割愛して異なる部分に限って述べる。図６は特にボケ状態に着目した処理の例であり、後述するステップＳ６０１は視点の異なる複数の像の間のボケ状態の差に、ステップＳ６０２はダイナミックレンジ拡張処理にともなうボケ状態の変化に着目したものである。

図６の処理ではステップＳ３０３とＳ３０４の間にステップＳ６０１が、ステップＳ３０７とＳ３０８の間にステップＳ６０２が設けられている。

ステップＳ６０１は、開口率補正を行うステップである。ここでいう開口率補正とは、各画素のケラレ状態に基づいて視点の異なる複数の像に対して領域ごとに平滑化フィルタを施すことを指している。開口率の違いは、視点の異なる複数の像が異なるＦナンバーで撮影されたことに対応している。さらにはＦナンバーが大きくなりすぎた場合は回折の影響を受けて、回折によるボケが生じている。そのため、視点の異なる複数の像はそれぞれボケ状態が異なる。そこでステップＳ３０ではケラレ状態に応じて平滑化フィルタを施して同じボケ状態にする。もっとも開口率が高い画素に対応する始点の像を基準にして、他の視点の異なる像に対して平滑化フィルタを施すことで、画像の類似度を上げることができる。これにより次ステップＳ３０４での画像のマッチングが容易かつ適切に行うことが可能となる。

ステップＳ６０２ではステップＳ３０６で得られたＨＤＲ合成後の画像全体に対して平滑化処理を行う。ここでいう平滑化処理とは、平滑化フィルタを施すことを指している。前述したように、ステップＳ３０６のダイナミックレンジ拡張処理においては、明るさに応じて１つ以上視点数以下の画素を選択する処理がなされる。この処理を施すと、従来の出力像の生成方法であるすべての像を加算する方法に比べて像のボケが小さくなる。これは、視点の異なる複数の像は対応する瞳領域を分割して対応するようにしているため、１つの像に着目すると、Ｆナンバーを大きくして（絞って）撮影された状態となっているためである。そのため視点の異なる複数の像の１つの像に着目すると、焦点深度が深くボケの小さい像となっている。１つ以上視点数以下の画素を選択して加算処理した場合、すべての像を加算する場合に比べてボケが小さい画像が出力される。そこで、ステップＳ６０２で位置合わせ手段の出力に応じて出力画像に平滑化フィルタを施し、適当なボケを付与した画像を出力として得る。前述したように、ステップＳ３０４では位相差ＡＦと同じ物理量を観察しているので、ここで被写体までの距離を知ることが出来る。そこで、本実施形態では、ステップＳ３０４にて像ずれ量だけでなく、像ずれ量に基づき各領域の被写体の物体側での被写体距離を算出しておき、この被写体距離に応じてボケを付与する。つまりフォーカスがあっている領域はボケを付与せずに、フォーカス位置からの像面上での位置が遠い被写体はより平滑になるように処理を施せば良い。

この処理により、従来同様のボケが得られ、ユーザーの意図に応じた出力像を得ることができる。さらには、出力像の設定に応じてステップＳ６０２で施す平滑化処理の程度を調整してもよい。すなわち、ボケが小さい像が得たい場合には平滑化処理を弱く施し、ボケが大きい像が得たい場合には平滑化処理を強く施せば良い。

以上のように、本実施形態では、撮影光学系と画素の間のＭＬＡの各ＭＬからの光束を複数の画素で受光する撮像素子によって、複数の視点の異なる像を同時に取得可能でかつその像ごとのケラレの状態の違いに基づいてＨＤＲ合成を行うことができる。その際に、視点の異なる複数の像が開口率の違いからボケ状態に差があること、合成画像についてはＨＤＲ合成処理に伴って、ボケ状態が変化することに着目して、ボケ状態を調整する補正をさらに施す。これにより、撮影ごと、あるいは領域ごとのボケ状態を適切に調整することが可能となる。

（第４の実施形態）
本実施形態では、第１の実施形態に対してさらに、同一開口率のものを加算することで露出差を作り上げ、ＨＤＲ合成処理を可能にすることを特徴とする。

図７（ａ）は本実施形態の処理を示したフローチャートである。各ステップはカメラシステム制御回路５あるいはカメラシステム制御回路５の指示により各部で行われる。

図７（ｂ）は画素加算の動作を模式的に示した図である。図７（ａ）において図１と同じ機能のブロックには同じ番号を付した。

本実施形態では、各画素の信号が飽和するとレンジ拡張効果が得られないので、図７（ａ）のステップＳ５０１における測光では、画素の飽和が少なくなるように各視差像がアンダー条件で露光されるように設定する。撮像装置１においては、測光値から求めたＥｖ値に対して、センサのダイナミックレンジを有効に活用できるように、プログラム線図などによって絞り、シャッター速度を設定している。この条件を適露光条件とする。前記の条件に対して絞りを絞るまたはシャッター速度を速くすることによって撮像素子６に届く光の量を減らすことが出来る。このような露光条件をアンダーな露光条件と呼ぶ。アンダー露光することで視差像としては暗い状態にあるが、飽和する画素を低減することが出来る。図７（ｃ）にプログラム線図の例を示した。（この線図はレンズの種類等によって変化する。）この図に従うとＥｖ値が１２の場合には点線１２０に沿って露光条件が決められ、Ｆナンバー３．５、シャッター速度１／３２０ｓで撮影が行われる。アンダー露光にするときは白抜き文字の位置を参照して、点線１２１に沿って露光条件が決められる。その結果、Ｆナンバー４．０、シャッター速度１／５００ｓで撮影が行われる。

ステップＳ７０１は加算合成を行うステップである。ステップＳ３０５で対応付けされた画素の輝度を加算する。この動作の具体的なイメージは図７（ｂ）に示したので後述する。

図７（ａ）におけるステップＳ３０６では、ステップＳ７０１で得られる加算後の信号については、加算によって信号のレベルは大きくなるので、出力画像のダイナミックレンジに合わせて変換する。その後、領域ごとの基準画素の明るさに応じて、他の実施形態と同様に出力画素信号を選択的に出力し、ＨＤＲ合成を行う。

図７（ｂ）を用いて画素加算手段の動作について説明する。図７（ｂ）の上段に示したグラフは縦軸が輝度、横軸が瞳領域に対応している。図７（ｂ）の上段に示した棒グラフは同一物体に対応してかつ通過した瞳領域が異なる画素の信号のレベルを示している。例えば図２（ｃ）において２０−ａ、２０−ｂ、…、２０−ｅのそれぞれを通過した光束であって、同じ物体に対応するものを集めたものである。図２に示した光学系においては、レンズ２によって物体とマイクロレンズ２０が共役な位置にあるとき（＝従来のカメラであればピントがあっている状態にあるとき）は同一マイクロレンズ下にある画素が通過する瞳領域が異なりながら、同じ物体に対応している。このような場合には２０−ａ、２０−ｂ、・・・、２０−ｅの信号をグラフ化したものになっている。レンズ２によって物体とマイクロレンズ２０が共役な位置にない場合は、通過する瞳領域が異なり同じ物体に対応する画素は、別のマイクロレンズ下に存在している。これらの関係は図７（ａ）のステップＳ１４およびＳ１５で関係づけられている。つまりステップＳ３０５で対応付けされた画素の輝度を並べたものが図７（ｂ）の上段のグラフになっている。図７（ｂ）の例では異なる瞳を通過した信号のレベルをそれぞれ２０１、２０２、２０３、２０４として示した。

図７（ｂ）下段のグラフは縦軸が輝度に対応している。また、図７（ｂ）上段のグラフを加算したものを示している。加算された信号２１０は異なる瞳を通過した信号のレベル２０１、２０２、２０３、２０４を縦に積み重ねたものとなる。図７（ｂ）から明らかなように、１画素単位で考えた飽和レベルを超える信号レベルとなっている。各画素の信号をそのまま寄せ集めた画像（図７（ａ）のステップＳ３０２で生成する視差像がこれにあたる）に比べて、高輝度側にレンジが拡張されているといえる。

次に図８を用いて信号のばらつきと低輝度の被写体の取得状況について説明する。図８（ａ）および（ｂ）は図７（ｂ）に対応する図であり、中程度の輝度を持つ被写体の信号の取得状態を示している。図８（ｃ）および（ｄ）は標記の仕方は図８（ａ）および（ｂ）と同じであるが、低輝度の被写体の信号の取得状態を示している。

図８（ａ）および（ｃ）の縦軸は輝度であり、左右に横軸を通過した瞳領域としたグラフと頻度としたグラフを並べて標記した。図８（ｂ）および（ｄ）は図８（ａ）および（ｃ）それぞれの加算信号を示すグラフであり、縦軸は輝度を示している。

図８（ａ）において通過する瞳領域が異なり同じ物体に対応する画素の信号レベル２０１、２０２、２０３、２０４は全く同一ではなく多少のずれをもって標記した。これは各画素の信号レベルは確率的な過程を得て取得されていることを表現したものである。撮像素子６のＰＤ面に到達した光子が生成する自由電子の数を捉えたものである。このとき自由電子の生成は確率的な過程に支配されておりポアソン分布に支配される。つまり、同じ数の光子がＰＤ面に到達しても必ずしも同じ数の自由電子が生成されるわけではなくある確率分布に従うことになる。事象の数が多ければポアソン分布は正規分布に近づくことになる。これを確率密度関数の形で表現したのが図８（ａ）の右側のグラフ２０５である。被写体の明るさによって決まる平均値を中心としてある分布をもって広がっている。

通過する瞳領域が異なる信号２０１、２０２、２０３、２０４を加算すると図８（ｂ）のようになる。信号レベル２１０は加算された値になり、分布は分散が加算された値になる。これをグラフ２１５として表現した。上段の２０５に対してやや裾が広い分布として図示した。このままであればばらつきが大きくなったように感じるが、信号レベルは加算数に比例して増加するのに対し、分散が加算される＝標準偏差はその平方根でしか増えないためにＳ／Ｎという観点では加算によりばらつきが抑えられる。

次に図８（ｃ）および（ｄ）を用いて低輝度の被写体について説明する。図８の例は特に各画素の最小分解能の信号レベルが５０％の確率で得られるような状況を示している。図８（ｃ）の例では２２１、２２３で示した瞳領域を通過した光束に対応する画素は最小分解能の信号レベルが出力されており、２２２、２２４で示した瞳領域を通過した光束に対応する画素は信号０（＝いわゆる黒潰れ）だった場合を示している。このような場合のポアソン分布は２２５に示すように片側の軸に張り付いて裾を片側に引くような形となる。

この場合の信号を加算すると、信号２３０が得られる。２３０のレベルは加算により最小分解能の信号レベルよりも大きな値が得られており、確率分布も２３５のようになる。加算する瞳領域が多ければ確率分布２３５が０になる確率は小さくなってき、黒潰れの発生は抑制される。結果として低輝度側に対してもレンジが拡張されていることが分かる。

次に図９を用いて飽和時の信号の振る舞いについて説明する。図９（ａ）および（ｂ）標記の仕方は図８（ａ）および（ｂ）と同じであるが、画素が飽和するような被写体の信号の取得状態を示している。

図８で説明したように図９で示すような被写体を撮影した場合は、確率分布２４５に従って画素の信号レベルが分布するはずである。しかし、１画素の飽和レベルを超えているために図９（ａ）の２４１、２４２、２４３、２４４で示すように飽和レベルで打ち切られてしまう。これを図９（ｂ）のように加算した場合ｎ個の画素を加算した信号２５０はｎ画素の飽和レベルと等しくなる。飽和が無いとした場合の加算信号のレベルよりも低い値しか得ることが出来ず、正確な明るさや色を描画できない。この場合はレンジ拡張の効果が得られていないといえる。

一般的な撮影条件においては、いわゆる適露光で露光した場合に飽和するような画素は十分に明るい輝点として表現されていれば問題がない場合も多い。一方で、本実施例のレンジ拡張効果を十分に得たい場合や、星空のように輝点そのものを正確に取得したい場合などはアンダーな露光条件で露光することで飽和を防ぐことが有効となる。図７（ａ）に示した動作の例ではステップＳ５０１でアンダー条件で露光されるようにした。

（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

また、本発明はデジタルカメラのような撮影を主目的とした機器にかぎらず、携帯電話、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型など）、ゲーム機など、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「撮像装置」は、撮像機能を備えた任意の電子機器を包含することが意図されている。

１ 撮像装置
２ レンズユニット
３ 撮影光学系
５ カメラシステム制御回路
６ 撮像素子
７ 画像処理回路
８ メモリ制御部
９ 表示部
２０ マイクロレンズアレイ

Claims (16)

1. 撮影光学系と画素の間にマイクロレンズアレイを有し、前記マイクロレンズアレイの各マイクロレンズからの光束をそれぞれ複数の画素で受光して画像信号を出力する撮像素子と、
   前記撮像素子からの画像信号において、被写体が対応する、視点の異なる複数の画素信号から、画素信号の明るさと当該複数の画素信号を出力した画素の各マイクロレンズに対する位置に基づいて画素信号を選択して出力画像を生成する生成手段と、
   を備えたことを特徴とする撮像装置。
2. 前記撮像素子からの画像信号から視点の異なる複数の視点の画像信号を生成する視差像生成手段を有し、
   前記生成手段は、前記視点の異なる複数の像の画像信号において、当該複数の画像信号の間で対応する複数の画素信号から、基準とする視点の画像信号の画素信号の明るさと、当該複数の画素信号を出力した画素の各マイクロレンズに対する位置に基づいて画素信号を選択して、選択された画素信号を合成することを特徴とする請求項１に記載の撮像装置。
3. 前記撮像素子からの画像信号から視点の異なる複数の視点の画像信号を生成する視差像生成手段を有し、
   前記生成手段は、画素信号の明るさに応じて、当該複数の視点の画像信号の間で対応する複数の画素信号を加算した画素信号を用いて前記出力画像を生成することを特徴とする請求項１または２に記載の撮像装置。
4. 前記撮像素子上の各画素からの出力である各画素信号に対して、前記各画素の各マイクロレンズに対する位置に基づいて輝度を補正する輝度補正手段を備えたことを特徴とする請求項１乃至３のいずれか１つに記載の撮像装置。
5. 前記撮像素子上の各画素の前記各マイクロレンズに対する位置に基づいて、前記視点の異なる複数の像の画像信号に対して平滑化フィルタを施すフィルタ手段を有することを特徴とする請求項２に記載の撮像装置。
6. 前記撮像素子による撮像の露出条件を決定するための測光手段を備え、
   前記測光手段の出力に基づいて前記撮像素子上の画素の間の露出段差を決定し、当該露出段差に基づいて絞りを駆動して前記画像信号を取得することを特徴とする請求項１乃至５のいずれか１つに記載の撮像装置。
7. 前記視点の異なる複数の像の画像信号について各像における被写体の位置を合わせる位置合わせ手段を有し、
   前記生成手段は、該位置合わせ手段で位置合わせされた前記視点の異なる複数の像において、領域ごとに対応する複数の画素信号から画素信号を選択して合成することで出力画像を生成することを特徴とする請求項２に記載の撮像装置。
8. 前記位置合わせ手段は、前記視点の異なる複数の像の画像信号のうちの基準となる視点の画像信号と他の視点の画像信号とを比較することで領域ごとの像ずれ量を算出し、
   前記像ずれ量に基づいて前記領域ごとに位置合わせを行うことを特徴とする請求項７に記載の撮像装置。
9. 前記位置合わせ手段により算出される像ずれ量に基づいて画像信号に平滑化フィルタを施す第２のフィルタ手段を有することを特徴とする請求項７または８に記載の撮像装置。
10. 前記生成手段において前記基準とする画素は、各マイクロレンズに対応する複数の画素の中で、マイクロレンズから入射される光束の画素における面積が所定範囲の大きさである画素を基準とすることを特徴とする請求項１乃至９のいずれか１つに記載の撮像装置。
11. 前記マイクロレンズアレイは前記撮影光学系の光軸から見て２次元に配列され、さらに前記撮像素子上の画素は各マイクロレンズに対して光軸から見て２次元に配列されていることを特徴とする請求項１乃至１０のいずれか１つに記載の撮像装置。
12. 前記撮像素子上の画素は、前記マイクロレンズアレイの対応するマイクロレンズが同じ画素には同じカラーフィルタを用いていることを特徴とする請求項１乃至１１のいずれか１つに記載の撮像装置。
13. 前記撮像素子上の画素は画素単位でＢａｙｅｒ配列を呈し、各マイクロレンズに対応する複数の画素は縦、横共に奇数個の単位で配列されていることを特徴とする請求項１乃至１２のいずれか１つに記載の撮像装置。
14. 撮影光学系と画素の間にマイクロレンズアレイを有し、前記マイクロレンズアレイの各マイクロレンズからの光束を複数の画素で受光して画像信号を出力する撮像素子を有する撮像装置の制御方法であって、
    前記撮像素子からの画像信号において被写体が対応する、視点の異なる複数の画素信号を特定するステップと、
    画素信号の明るさと、当該複数の画素の各マイクロレンズに対する位置に基づいて画素信号を選択する選択ステップと、
    前記選択された画素信号を用いて出力画像を生成する生成ステップと、
    を備えたことを特徴とする撮像装置の制御方法。
15. 請求項１４に記載の撮像装置の制御方法のステップが記述されたコンピュータで実行可能なプログラム。
16. コンピュータに、請求項１４に記載の撮像装置の制御方法の各ステップを実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。

Images