JP2015220600A - 撮像装置、駆動制御装置、制御方法及びプログラム - Google Patents

Abstract

【課題】所望の被写体距離の範囲に合焦させる再構成画像を生成できる光線空間情報を取得する。【解決手段】撮像装置は、各マイクロレンズに入射した光束を複数の光電変換素子に結像するマイクロレンズアレイについて、各マイクロレンズに入射する光量を制限する。また該マイクロレンズアレイを、撮像光学系の光軸方向に進退させ、複数の被写体距離に合焦させた再構成画像を生成可能な画像信号を出力する。撮像装置は、画像信号から生成される再構成画像について、合焦させることが可能な被写体距離の範囲を設定し、該被写体距離の範囲に応じて、マイクロレンズアレイの移動及びマイクロレンズの遮光を制御する。【選択図】図１

Description

本発明は、撮像装置、駆動制御装置、制御方法及びプログラムに関し、特に撮影後に複数種類の被写体距離に合焦させた画像を生成可能な画像処理技術に関するものである。

デジタルカメラ等の撮像装置の中には、撮影時に光の強度分布と進行方向の情報（光線空間情報）を記録するものがある。非特許文献１では、マイクロレンズアレイを用いて撮像レンズの異なる分割瞳領域を通過した光束を撮像素子の各画素（光電変換素子）に結像させることで、様々な方向から入射した光を分離して光線空間情報を記録している。また非特許文献１には、このようにして得られた光線空間情報から所望の被写体距離に合焦（リフォーカス）した画像（再構成画像）を生成する方法（Light Field Photography）が開示されている。具体的にはLight Field Photographyによれば、所望の被写体距離に対応する再構成面を規定し、該面における各画素位置を通過する光束に対応する光線空間情報の画素値を総和することで、再構成画像の各画素の画素値を得ることができる。

Ren.Ng、外７名著、「Light Field Photography with a Hand-Held Plenoptic Camera」、Stanford Tech Report CTSR 2005-02

ところで、再構成画像の生成において定義することができる再構成面には、撮像装置における光学設計に依存した範囲が存在する。つまり、光線空間情報に含まれない、即ち撮像光学系を介して入射していない方向からの光束を使用するような再構成画像の生成はできないため、原理的に合焦させることが可能な被写体距離の範囲は限定的となる。故に、例えば撮影時に異なる深度位置に存在する複数の被写体を撮影した場合に、得られた光線空間情報からは、被写体の各々に合焦させた再構成画像を生成することができない場合があった。

本発明は、上述の問題点に鑑みてなされたものであり、所望の被写体距離の範囲に合焦させる再構成画像を生成できる光線空間情報を取得可能な撮像装置、駆動制御装置、制御方法及びプログラムを提供することを目的とする。

前述の目的を達成するために、本発明の撮像装置は、複数の光電変換素子を有し、複数の被写体距離に合焦させた再構成画像を生成可能な画像信号を出力する撮像手段と、複数のマイクロレンズで構成されるマイクロレンズアレイであって、撮像光学系を介して各マイクロレンズに入射した光束を、撮像手段の対応する複数の光電変換素子に結像するマイクロレンズアレイと、複数のマイクロレンズの各々に入射する光量を制限する遮光手段と、マイクロレンズアレイを、撮像光学系の光軸方向に進退させる駆動手段と、画像信号から生成される再構成画像について、合焦させることが可能な被写体距離の範囲を設定する設定手段と、設定手段により設定された被写体距離の範囲に応じて、駆動手段及び遮光手段の動作を制御する制御手段と、を有することを特徴とする。

このような構成により本発明によれば、所望の被写体距離の範囲に合焦させる再構成画像を生成できる光線空間情報を取得することが可能となる。

本発明の実施形態に係るデジタルカメラ１００の機能構成を示したブロック図 本発明の実施形態に係る遮光部１０２、マイクロレンズアレイ１０３及び撮像素子の配置関係を説明するための図 本発明の実施形態に係るデジタルカメラ１００で実行される記録処理を例示したフローチャート 本発明の実施形態に係る遮光部１０２の遮光状態の変化を説明するための図 本発明の実施形態に係る撮像素子における光束の受光範囲の変化を説明するための図 本発明の実施形態に係る遮光部１０２及びマイクロレンズ１０３の制御に用いられるパラメータを管理するためのテーブル 再構成可能範囲の長さの算出方法を説明するための図 本発明の適用例を説明するための図 本発明の実施形態に係る撮像素子の有効画素領域周辺部における処理を説明するための図 本発明の実施形態に係る遮光部１０２の遮光状態の制御例を説明するための図 本発明の変形例に係る遮光部１０２の構成を説明するための図

［実施形態］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、撮像装置あるいは駆動制御装置の一例としての、撮影により光線空間情報である画像信号を出力可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、撮影により光線空間情報である画像信号を出力することが可能な任意の機器、あるいは該機器に接続し、マイクロレンズアレイ及び遮光制御部の動作制御を行うことが可能な任意の機器に適用可能である。

また、本明細書において「光線空間情報」とは、上述したように撮像装置において撮影した際に入射光の入射方向及び強度分布の情報を記録した画像であり、撮影後に複数の被写体距離の各々に合焦させた再構成画像を生成することが可能な画像信号である。また「再構成画像」とは、合焦させる被写体距離が設定された際に、光線空間情報に画素並び替え、画素値加算処理等の所定の画像処理（再構成処理）を適用することで得られる画像である。

《デジタルカメラ１００の構成》
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。

制御部１０１は、例えばＣＰＵ等であり、デジタルカメラ１００が有する各ブロックの動作を制御する。具体的には制御部１０１は、不図示のＲＯＭ等の記録装置に記録された各ブロックの動作プログラムを読み出し、ＲＡＭ等の作業領域に展開して実行することにより各ブロックの動作を制御する。

撮像部１０４は、例えばＣＣＤやＣＭＯＳセンサ等の複数の光電変換素子を有する撮像素子である。撮像部１０４は、不図示の撮像光学系を介してデジタルカメラ１００に入射した光束を光電変換し、アナログ画像信号を出力する。本実施形態のデジタルカメラ１００では、撮像光学系の光軸上、撮像光学系の射出瞳と撮像部１０４との間には複数のマイクロレンズが２次元に配列されたマイクロレンズアレイ１０３が設けられている。

マイクロレンズアレイ１０３は、駆動部１０７により駆動可能に構成され、光軸方向に進退する。マイクロレンズアレイ１０３は、光軸上の基準位置において、図２（ａ）に示されるように全てのマイクロレンズを通過して撮像部１０４の撮像面に結像される光束のクロストークがなく構成される。つまり、撮像素子の各光電変換素子が、２以上のマイクロレンズにより結像された光束を受光しないように構成されている。図２（ａ）では、光軸方向がｚ軸で示され、ｚ軸と直交する面が撮像面と平行な面を規定し、該面上において水平方向をｘ軸、鉛直上向き方向をｙ軸として示している。またマイクロレンズアレイ１０３が基準位置にある場合には、各マイクロレンズは同数の光電変換素子に割り当てられており、撮像面に結像される光束は各々割り当てられた光電変換素子に結像される。基準位置は、例えば各マイクロレンズにより光束が結像された場合に、撮像素子の有効画素の全ての画素に光束が受光するように定められてよい。即ち、隣接するマイクロレンズにより結像される光束は、図２（ａ）に示されるように、各々の光束が結像される範囲の一部の画素が撮像素子上において隣接する。

なお、本マイクロレンズアレイ１０３により、各マイクロレンズの位置に入射した光束は複数の光電変換素子に結像されるため、入射した光束をその入射方向に分割して記録することができるため、瞳分割を実現する。即ち、１つのマイクロレンズに対応付けられた複数の光電変換素子の各々では、各々異なる瞳位置を通過した光束が受光されることになる。

本実施形態のデジタルカメラ１００では、さらにマイクロレンズアレイ１０３の各マイクロレンズの光量を制御する遮光部１０２が備えられている。本実施形態では遮光部１０２は、マイクロレンズ単位で入射する光束の光量を制御可能に構成される。遮光部１０２は、例えば液晶素子で構成され、遮光制御部１０５により各マイクロレンズに対応する素子への印加電圧が制御されて偏向状態（極性）が変更されることで、マイクロレンズに光束が入射するか否かを制御することができる。なお、本実施形態ではマイクロレンズアレイ１０３と遮光部１０２は連動するように駆動ユニット１０８内に構成され、駆動部１０７によって光軸方向に進退する。

画像処理部１０６は、撮像部１０４により出力されたアナログ画像信号に対して、Ａ／Ｄ変換処理等の種々の画像処理を適用することで、デジタル画像信号である光線空間情報を生成する。光線空間情報は、上述したように被写体距離に対応する再構成面を規定することで、該被写体距離に合焦した再構成画像を生成可能な情報である。また画像処理部１０６は、光線空間情報に対して符号化処理等の記録用の処理を適用することで、光線空間情報を、メモリカード等の不図示の記録装置に記録する形式のファイルに変換することができる。

範囲設定部１０９は、生成される光線空間情報について、再構成画像を生成する際に再構成面を規定可能な被写体距離の範囲（再構成可能範囲：撮影時の深度方向の範囲）を設定する。範囲設定部１０９は、デジタルカメラ１００が有する不図示のユーザインタフェースを介して入力された該範囲を設定するための情報に基づいて、再構成可能範囲を設定する。また再構成可能範囲の情報は制御部１０１にも伝送される。なお、本実施形態では再構成可能範囲は、該範囲における被写体距離の最短距離から最長距離までの長さｄに基づいて設定されるものとして説明する。しかしながら、本発明の実施はこれに限られるものではなく、再構成可能範囲は例えば範囲に含めたい被写体をユーザが選択することにより設定されるものであってもよいし、撮影時の構図を判断して範囲設定部１０９が設定するものであってもよい。また、コントラスト検出方式や位相差検出方式のＡＦ機能を利用して撮影範囲に存在する被写体の深度方向における分布を検出し、範囲設定部１０９は再構成可能範囲を定めるものであってもよい。

《記録処理》
このような構成をもつ本実施形態のデジタルカメラ１００において光線空間情報を記録するための記録処理について、図３のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭに記憶されている対応する処理プログラムを読み出し、ＲＡＭに展開して実行することにより実現することができる。本記録処理は、例えばデジタルカメラ１００が光線空間情報を撮影可能なモードに設定された、あるいは該モードで起動された際に開始されるものとして説明する。

Ｓ３０１で、範囲設定部１０９は、再構成可能範囲を変更する操作入力がなされたか否かを判断する。範囲設定部１０９は、再構成可能範囲を変更する操作入力がなされたと判断した場合は処理をＳ３０２に移し、なされていないと判断した場合は処理をＳ３１１に移す。

Ｓ３０２で、範囲設定部１０９は、再構成可能範囲の情報である該範囲の長さｄの情報を取得し、制御部１０１に伝送する。制御部１０１はＳ３０３で、長さｄが予め定められた長さ閾値ｄ１以下であるか否かを判断する。ここで、閾値ｄ１はマイクロレンズアレイ１０３が基準位置にある場合に対応可能な再構成可能範囲の長さの上限値、あるいはマイクロレンズアレイ１０３を基準位置に配置して撮影を行うものとして予め定められた再構成範囲の長さの上限値であってよい。制御部１０１は、長さｄが閾値ｄ１以下であると判断した場合は処理をＳ３０４に移し、ｄ１を上回ると判断した場合は処理をＳ３０６に移す。

Ｓ３０４で、駆動部１０７は制御部１０１の制御の下、駆動ユニット１０８をマイクロレンズアレイ１０３が基準位置に配置されるように駆動ユニット１０８を駆動する。基準位置は、例えば図２（ａ）に示されるように撮像素子の撮像面とマイクロレンズのレンズ主点との距離により規定されていればよく、駆動部１０７は該距離の計測値に基づいて駆動ユニット１０８の駆動制御を行う。

Ｓ３０５で、遮光制御部１０５は制御部１０１の制御の下、マイクロレンズアレイ１０３の全てのマイクロレンズについて入射する光束を制限しないように遮光部１０２の遮光状態を制御する。具体的には遮光制御部１０５は、例えばマイクロレンズアレイ１０３の５行×５列に二次元配列されたマイクロレンズ群の遮光状態が図４（ａ）の状態となるように、即ち入射した光束が全てのマイクロレンズを通過するように遮光部１０２の遮光状態を制御する。このとき、各マイクロレンズを通過した光束は、図２（ａ）に示したようにｙ軸方向に３画素（ｘ軸方向にも３画素）に展開される場合、図５（ａ）に示されるように９つの光電変換素子により受光される。

なお、本実施形態のデジタルカメラ１００では、後述するように再構成可能範囲の長さｄがいずれの距離範囲に含まれるか否かにより、３種類の位置にマイクロレンズアレイ１０３を配置して撮影を行うよう制御が行われる。またその際のマイクロレンズアレイ１０３の配置位置の情報及び遮光部１０２による各マイクロレンズの遮光状態の情報は、例えば図６のようなテーブルとして不図示の記録装置に格納されていればよい。この場合、制御部１０１は該テーブルを参照し、駆動部１０７及び遮光制御部１０５の動作を制御する。なお、再構成可能範囲の長さの閾値となる各値は、図７に示されるように１つのマイクロレンズを通過した光束を瞳分割して記録する場合の角度分解能Δθ、角度分割数Ｎ_θ、画素ピッチΔｘにより
として算出することができる。

一方、Ｓ３０３において長さｄが閾値ｄ１を上回ると判断した場合、制御部１０１はＳ３０６で、長さｄが予め定められた長さ閾値ｄ２（＞ｄ１）以下であるか否かを判断する。ここで、閾値ｄ２は図２（ｂ）に示されるようにマイクロレンズを通過した光束がｙ軸方向の６画素に展開されて結像されることにより記録された光線空間情報で対応可能な再構成可能範囲に基づいて定められる値であるとする。即ち、図２（ａ）の場合よりも角度分解能が各軸方向について倍となった場合に記録された光線空間情報で対応可能な再構成範囲である。制御部１０１は、長さｄが閾値ｄ２以下であると判断した場合は処理をＳ３０７に移し、ｄ２を上回ると判断した場合は処理をＳ３０９に移す。

Ｓ３０７で、駆動部１０７は制御部１０１の制御の下、図２（ｂ）に示されるようにマイクロレンズアレイ１０３が撮像面からの距離がＬ２の位置に配置されるように駆動ユニット１０８を駆動する。Ｌ２の位置は、制御部１０１が図６のテーブルを参照することで、閾値ｄ２に関連付けて定められた撮像面からの距離の情報を取得して駆動部１０７に伝送すればよい。

Ｓ３０８で、遮光制御部１０５は制御部１０１の制御の下、マイクロレンズアレイ１０３の予め定められた一部のマイクロレンズについて入射する光束のみを制限するように遮光部１０２の遮光状態を制御する。具体的には遮光制御部１０５は、例えばマイクロレンズアレイ１０３の５行×５列に二次元配列されたマイクロレンズ群の遮光状態が図４（ｂ）の状態となるように遮光部１０２の遮光状態を制御する。図４（ｂ）においてハッチングで示したマイクロレンズは入射した光束を通過させないように、遮光部１０２の対応位置の遮光状態が制御されていることを示しており、図ではｘ軸方向ｙ軸方向に１つ置きのマイクロレンズが遮蔽された状態となっている。このとき、光束を通過する状態となっているマイクロレンズを通過した光束は、図２（ｂ）に示したようにｙ軸方向に６画素に展開される場合、図５（ｂ）に示されるように３６の光電変換素子により受光される。

一方、Ｓ３０６において長さｄが閾値ｄ２を上回ると判断した場合、Ｓ３０９で駆動部１０７は制御部１０１の制御の下、図２（ｃ）に示されるようにマイクロレンズアレイ１０３が撮像面からの距離Ｌ３の位置に配置されるように駆動ユニット１０８を駆動する。Ｌ３の位置は、制御部１０１が図６のテーブルを参照することで、長さｄ３（＞ｄ２）に関連付けて定められた撮像面からの距離の情報を取得して駆動部１０７に伝送すればよい。

Ｓ３１０で、遮光制御部１０５は制御部１０１の制御の下、マイクロレンズアレイ１０３の予め定められた一部のマイクロレンズについて入射する光束のみを制限するように遮光部１０２の遮光状態を制御する。具体的には遮光制御部１０５は、例えばマイクロレンズアレイ１０３の５行×５列に二次元配列されたマイクロレンズ群の遮光状態が図４（ｃ）のように１つのマイクロレンズのみが光束を通過させる状態に遮光部１０２の遮光状態を制御する。このとき、光束を通過する状態となっているマイクロレンズを通過した光束は、図２（ｃ）に示したようにｙ軸方向に１２画素に展開される場合、図５（ｃ）に示されるように１４４の光電変換素子により規定される領域で受光される。

Ｓ３１１で、制御部１０１は、撮影指示に係る操作入力がなされたか否かを判断する。制御部１０１は、撮影指示に係る操作入力がなされたと判断した場合は処理をＳ３１２に移し、なされていないと判断した場合は処理をＳ３０１に戻す。

Ｓ３１２で、制御部１０１は、現在のマイクロレンズアレイ１０３の配置及び遮光部１０２の遮光状態で撮像部１０４に撮影を行わせ、光線空間情報を出力させる。そして制御部１０１は、画像処理部１０６に該光線空間情報に所定の画像処理を適用させ、得られた記録形式の光線空間情報ファイルを記録装置に記録して本記録処理を完了する。

このようにすることで、本実施形態のデジタルカメラ１００では、設定された再構成可能範囲に応じて好適なマイクロレンズアレイ１０３の配置及び遮光部１０２の遮光状態に制御することができる。該制御が行われた後に撮影を行うことで、設定された再構成可能範囲の被写体距離に合焦させた再構成画像を生成可能な光線空間情報を得ることができる。

例えば、図８（ａ）に示されるように、被写体Ａ、Ｂ、Ｃが撮影範囲の深度方向に存在していた場合を考える。このとき、マイクロレンズアレイ１０３が基準位置に配置されている状態で得られる光線空間情報は、上述したように長さｄ１の再構成可能範囲の被写体距離に合焦させることができる。従って、適切に光学系の設定を行うことで、図８（ａ）に示されるように光線空間情報から被写体Ａ、Ｂ、Ｃの各々に合焦させた再構成画像を生成することができる。一方で、図８（ａ）の状態から被写体Ｃのみが無限遠方向に移動し、被写体Ａ〜Ｃ間の距離が長さｄ１よりも離れて図８（ｂ）のような状態となった場合を考える。このような場合、マイクロレンズアレイ１０３が固定位置にある従来の撮像装置では、光学系の設定を変更して複数回の撮影を行って得られた光線空間情報を合成することで、全ての被写体に合焦させた再構成画像を生成可能に構成する方式が提案されている。しかしながら、該方式では被写体が移動体であった場合に、複数回の撮影において被写体の移動が生じることで好適な合成結果が得られない可能性があった。しかしながら、本実施形態のようにマイクロレンズアレイ１０３の配置や遮光部１０２の遮光状態を動的に変更することで、動体が存在していたとしても、再構成可能範囲を好適に変更することができる。

なお、マイクロレンズアレイ１０３の配置位置を変更した場合、撮像素子の有効画素領域の周辺部において、図９に示されるように一部のマイクロレンズにより光束が結像された範囲に有効画素領域外の画素を含む、あるいは光電変換素子が存在しない場合がある。即ち、１つのマイクロレンズによる光束が結像される光電変換素子の数が、一部の領域で減少する状況が発生し得る。つまり、得られた光線空間情報から再構成画像を生成する場合に、参照できない情報が存在しないために対応する再構成画像の画素において輝度の低下等が発生し得る。このような場合、例えば周辺部に対応するマイクロレンズによる光束を受光した画素数の情報を光線空間情報に関連付けて記憶しておき、輝度補正や画素値算出における画素総和数の調整等、再構成画像の生成に使用すればよい。あるいは、周辺部において、１つのマイクロレンズによる光束を受光する光電変換素子の数は、マイクロレンズアレイ１０３と撮像面との距離の比によって算出することができるため、これらの情報を光線空間情報に関連付けるようにしてもよい。

また、本実施形態では設定された再構成可能範囲の長さに応じて、１つの軸方向についての角度分解能が順次倍となるように定められた３種類の再構成可能範囲の長さうちのいずれかを有する光線空間情報が撮影可能なように制御が行われるものとして説明した。しかしながら、本発明の実施において再構成可能範囲の長さを分類する数は３種類に限られないことは容易に理解されよう。また該分類する長さは、一部のマイクロレンズに光束を通過させないようにした場合であっても、通過可能な状態にある隣り合ったマイクロレンズの各々により光束が結像される一部の画素が、撮像素子上において隣接するように設定されるものとした。しかしながら、本発明の実施はこれに限られるものではなく、マイクロレンズアレイ１０３の移動によってマイクロレンズにより結像される光束がクロストークを生じないように遮光部１０２の遮蔽状態が制御されるものであればよい。即ち、一部のマイクロレンズに光束を通過させないようにした場合、通過可能な状態にある複数マイクロレンズにより光束が結像される範囲が、撮像素子の有効画素の全体を隙間なく包含するように構成する必要はない。つまり、設定された再構成可能範囲の長さに応じて、該範囲を実現可能な角度分解能が選択されればよく、該角度分解能に合わせて遮光部１０２の遮光状態が制御される構成としてもよい。従って、マイクロレンズアレイ１０３の位置によっては撮像素子上に光束が結像されない画素が生じうる構成であってもよい。なお、この場合のマイクロレンズアレイ１０３の配置位置の決定や遮光部１０２の遮光状態の設定は、図６に示したようなテーブルに予め定められてもよいし、所定の計算式により算出されるものであってもよい。

また、光量が制限されないマイクロレンズにより光束が結像される範囲が、撮像素子上で同条件で光束が結像される他の範囲と隣接しない場合、以下のようにしてもよい。例えば、光量が制限されるマイクロレンズに一部の光束が入射するように遮光部１０２を制御し、光量が制限されないマイクロレンズによる光束が結像されない範囲に光束を結像させるようにしてもよい。この場合、遮光部１０２は絞り等のように、開口量の大きさを制御可能に構成された開口を有する、図１０のような光学部材として設けられていればよい。図１０の例では、光量が制限されないマイクロレンズ１００１、１００３、１００５は、撮像素子のｙ軸方向において隣接しない４画素分の範囲１０１１、１０１３、１０１５に光束を結像している。そして光量が一部制限されるマイクロレンズ１００２、１００４はそれぞれ、範囲１０１１と範囲１０１３の中間、範囲１０１３と範囲１０１５の中間に存在するｙ軸方向において２画素分の範囲１０１２、１０１４に光束を結像している。このようにすることで、１回の撮影において撮像素子の有効画素を有効利用することができる。即ち、撮像に利用されない光電変換素子を低減することができる。

なお、マイクロレンズアレイ１０３の配置位置を変更することで得られた光線空間情報は、角度分解能が高くなり再構成可能範囲が拡がる反面、基準位置に配置されていた場合に得られる光線空間情報よりも生成される再構成画像の解像度が低くなりうる。一方で、図１０のような遮光部１０２の遮光状態で撮影された場合、光量が制限されるマイクロレンズにおいても一部の入射方向の光束は光線空間情報に出力されるため、該方向の光束を使用する一部の再構成画像の生成においては、再構成画像の解像度を高くすることができる。

以上説明したように、本実施形態の撮像装置によれば、所望の被写体距離の範囲に合焦させる再構成画像を生成できる光線空間情報を取得することができる。具体的には撮像装置は、各マイクロレンズに入射した光束を複数の光電変換素子に結像するマイクロレンズアレイについて、各マイクロレンズに入射する光量を制限する。また該マイクロレンズアレイを、撮像光学系の光軸方向に進退させ、複数の被写体距離に合焦させた再構成画像を生成可能な画像信号を出力する。撮像装置は、画像信号から生成される再構成画像について、合焦させることが可能な被写体距離の範囲を設定し、該被写体距離の範囲に応じて、マイクロレンズアレイの移動及びマイクロレンズの遮光を制御する。

［変形例］
上述した実施形態では、遮光部１０２は設定された再構成可能範囲に応じて動的に遮光状態を制御されるものとして説明したが、本発明の実施はこれに限られるものではない。例えば遮光部１０２は、予め定められた遮光するマイクロレンズの情報に応じて設計された板状の部材、即ち予め光束を通過させる領域が確定している部材により構成されていてもよい。該部材は、例えば光を反射しない性質をもつ金属や合成樹脂からなる薄板によって構成されてよい。

この場合、例えば図１１（ａ）のように、マイクロレンズアレイ１０３が基準位置にある場合には光束を遮らないように収納されており、マイクロレンズアレイ１０３が所定の位置に移動した場合に図１１（ｂ）のように光軸に挿入される構成としてもよい。

なお、上述した実施形態及び本変形例において図示した遮光部１０２の遮光パターンは例示を目的としたものであり、本発明の実施はこれらの遮光パターンに限らず、適宜選択されてよいことは容易に理解されよう。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００：デジタルカメラ、１０１：制御部、１０２：遮光部、１０３：マイクロレンズアレイ、１０４：撮像部、１０５：遮光制御部、１０６：画像処理部、１０７：駆動部、１０８：駆動ユニット、１０９：範囲設定部

Claims (12)

1. 複数の光電変換素子を有し、複数の被写体距離に合焦させた再構成画像を生成可能な画像信号を出力する撮像手段と、
   複数のマイクロレンズで構成されるマイクロレンズアレイであって、撮像光学系を介して各マイクロレンズに入射した光束を、前記撮像手段の対応する複数の光電変換素子に結像するマイクロレンズアレイと、
   前記複数のマイクロレンズの各々に入射する光量を制限する遮光手段と、
   前記マイクロレンズアレイを、前記撮像光学系の光軸方向に進退させる駆動手段と、
   前記画像信号から生成される再構成画像について、合焦させることが可能な被写体距離の範囲を設定する設定手段と、
   前記設定手段により設定された前記被写体距離の範囲に応じて、前記駆動手段及び前記遮光手段の動作を制御する制御手段と、を有する
   ことを特徴とする撮像装置。
2. 前記制御手段は、前記被写体距離の範囲が広いほど、前記マイクロレンズアレイを前記撮像手段から離すことを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記被写体距離の範囲が広いほど、光量を制限するマイクロレンズの数を多くするように前記遮光手段の動作を制御することを特徴とする請求項１または２に記載の撮像装置。
4. 前記制御手段は、各光電変換素子において２以上のマイクロレンズにより結像された光束が受光されないように、前記遮光手段により光量を制限するマイクロレンズを決定することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記遮光手段は、複数の種類の開口量のいずれかを有する開口を通過させることで前記複数のマイクロレンズの各々に入射する光量を制限することを特徴とする請求項４に記載の撮像装置。
6. 前記遮光手段は、開口量の変更により前記複数のマイクロレンズの各々に入射する光量を制限し、
   前記制御手段は、前記複数のマイクロレンズの各々に対応する前記遮光手段の開口量を制御する
   ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記制御手段は、前記遮光手段により前記複数のマイクロレンズの各々に光束を入射させるか否かを制御することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記駆動手段は、前記マイクロレンズアレイと連動して前記遮光手段を前記撮像光学系の光軸方向に進退させることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記遮光手段を前記撮像光学系の光軸上に配置する配置手段をさらに有し、
   前記制御手段は、前記被写体距離の範囲に応じて前記配置手段を制御することにより前記遮光手段を制御することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
10. 複数の光電変換素子を有し、複数の被写体距離に合焦させた再構成画像を生成可能な画像信号を出力する撮像手段と、複数のマイクロレンズで構成されるマイクロレンズアレイであって、撮像光学系を介して各マイクロレンズに入射した光束を、前記撮像手段の対応する複数の光電変換素子に結像するマイクロレンズアレイと、前記複数のマイクロレンズの各々に入射する光量を制限する遮光手段と、前記マイクロレンズアレイを、前記撮像光学系の光軸方向に進退させる駆動手段と、を有する撮像装置に接続される駆動制御装置であって、
    前記画像信号から生成される再構成画像について、合焦させることが可能な被写体距離の範囲を設定する設定手段と、
    前記設定手段により設定された前記被写体距離の範囲に応じて、前記駆動手段及び前記遮光手段の動作を制御する制御手段と、を有する
    ことを特徴とする駆動制御装置。
11. 複数の光電変換素子を有し、複数の被写体距離に合焦させた再構成画像を生成可能な画像信号を出力する撮像手段と、複数のマイクロレンズで構成されるマイクロレンズアレイであって、撮像光学系を介して各マイクロレンズに入射した光束を、前記撮像手段の対応する複数の光電変換素子に結像するマイクロレンズアレイと、前記複数のマイクロレンズの各々に入射する光量を制限する遮光手段と、前記マイクロレンズアレイを、前記撮像光学系の光軸方向に進退させる駆動手段と、を有する撮像装置の制御方法であって、
    設定手段が、前記画像信号から生成される再構成画像について、合焦させることが可能な被写体距離の範囲を設定する設定工程と、
    制御手段が、前記設定工程において設定された前記被写体距離の範囲に応じて、前記駆動手段及び前記遮光手段の動作を制御する制御工程と、を有する
    ことを特徴とする撮像装置の制御方法。
12. コンピュータに、請求項１１に記載の撮像装置の制御方法の各工程を実行させるためのプログラム。