JP2010067624A - 撮像素子および撮像装置 - Google Patents

Abstract

【課題】撮像エレメントとマイクロレンズアレイとの位置合わせ精度を緩和することが可能な撮像素子および撮像装置を提供する。
【解決手段】撮像装置１は、撮像レンズ１１と撮像データを取得する撮像エレメント１３との間に、撮像エレメントの複数の画素に対して１つのマイクロレンズが割り当てられたマイクロレンズアレイ１２を備える。マイクロレンズアレイ１２には、基板１２０の一面に複数のマイクロレンズ１２１が設けられており、このマイクロレンズ１２１の表面形状に沿って、マイクロレンズ１２１単位で色分けされた３原色のカラーフィルタ１２２が形成されている。実装時などに、マイクロレンズアレイ１２と撮像エレメント１３との間に位置ずれが生じた場合であっても、混色が生じにくくなる。
【選択図】図２

Description

本発明は、マイクロレンズアレイを用いた撮像素子および撮像装置に関する。

従来、様々な撮像装置が提案され、開発されている。また、撮像して得られた撮像データに対し、所定の画像処理を施して出力するようにした撮像装置も提案されている。

例えば、特許文献１，２および非特許文献１には、「Light Field Photography」と呼ばれる手法を用いた撮像装置（Light Field camera）が提案されている。この撮像装置は、撮像レンズと、マイクロレンズアレイと、複数の撮像画素を有する撮像エレメントとから構成され、撮像エレメントから得られる撮像データが、受光面における光の強度分布に加えてその光の進行方向の情報をも含むようになっている。また、このような撮像データに対し、所定の画像処理を施すことにより、例えば任意の視野における画像（視差画像）や任意の焦点における画像（リフォーカス画像）を生成することができる。他にも、インテグラル方式と呼ばれる表示手法を用いた３次元ディスプレイへの応用も可能である。

このようなマイクロレンズアレイは、複数のマイクロレンズを２次元配置して構成されており、一つのマイクロレンズに対して、撮像エレメントの複数の画素、例えば２×２ピクセル（Pixel）以上の画素が割り当てられている。この割り当て画素数は、上記した視差画像やリフォーカス画像および３次元画像における奥行き方向の分解能となる。一方、２次元配置されたマイクロレンズの数は、これらの画像の画素数（２次元解像度）となる。このため、生成される画像の奥行き方向の分解能と２次元解像度とは、トレードオフの関係となっている。

国際公開第０６／０３９４８６号パンフレット 国際公開第０８／０６９０７７号パンフレット Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02

他方、撮像エレメントの受光面には、フルカラーの撮像画像を取得するべく、例えばＲ（Red：赤），Ｇ（Green：緑），Ｂ（Blue：青）の３原色のカラーフィルタが、所定の配列で塗り分けられている。ここで、上記のような撮像装置では、撮像エレメントにおいて、各マイクロレンズに割り当てられた画素（以下、画素領域という）ごとに、撮像対象物の像が結像する。このように、撮像エレメントにおいては、画素領域ごとに画像が取得されるため、その受光面に形成されるカラーフィルタは、画素領域ごとに、すなわちマイクロレンズごとに色分けがなされている。

従って、マイクロレンズアレイと撮像エレメントとを貼り合わせて、撮像装置へ実装する際には、ｓｋｅｗ調整（回転方向の調整）に加え、各マイクロレンズを各色カラーフィルタに対して精密に位置合わせする必要がある。マイクロレンズとカラーフィルタとの位置合わせにおいて、位置ずれが生じた場合には、隣り合う画素領域同士の間で、色のコンタミネーション（Contamination）が発生し、撮像画像の画質の低下を招くからである。

本発明はかかる問題点に鑑みてなされたもので、その目的は、撮像エレメントとマイクロレンズアレイとの位置合わせ精度を緩和することが可能な撮像素子およびこれを用いた撮像装置を提供することにある。

本発明の撮像素子は、受光した光に基づいて撮像データを取得する撮像エレメントと、撮像エレメントの受光面側に配置され、撮像エレメントの複数の画素に対して１つのマイクロレンズが割り当てられたマイクロレンズアレイと、マイクロレンズアレイと一体的に形成されると共に、マイクロレンズ単位で色分けされた複数色のカラーフィルタとを備えたものである。

本発明の撮像装置は、撮像レンズと、受光した光に基づいて撮像データを取得する撮像エレメントと、撮像レンズとエレメントとの間に配置され、撮像エレメントの複数の画素に対して１つのマイクロレンズが割り当てられたマイクロレンズアレイと、マイクロレンズアレイと一体的に形成されると共に、マイクロレンズ単位で色分けされた複数色のカラーフィルタとを備えたものである。

本発明の撮像素子および撮像装置では、マイクロレンズ単位で色分けされた複数色のカラーフィルタが、マイクロレンズアレイと一体的に形成されていることにより、実装時などに、マイクロレンズアレイと撮像素子との間で位置ずれが生じた場合であっても、混色が生じにくい。

本発明の撮像素子および撮像装置によれば、マイクロレンズ単位で色分けした複数色のカラーフィルタが、マイクロレンズアレイと一体的に形成されるようにしたので、実装時などにおいて、撮像エレメントとマイクロレンズアレイとの位置合わせ精度を緩和することが可能となる。これにより、撮像装置では、色のコンタミネーションの発生を抑制した撮像画像を取得することができる。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る撮像装置（撮像装置１）の全体構成を表したものである。撮像装置１は、撮像対象物２を撮像して撮像データを取得すると共に、この撮像データに基づいて画像処理データＤoutを生成するものである。この撮像装置１は、撮像レンズ１１と、マイクロレンズアレイ１２と、撮像エレメント１３と、画像処理部１４と、撮像素子駆動部１５と、制御部１６とから構成されている。なお、マイクロレンズアレイ１２と撮像エレメント１３とが、本発明の「撮像素子」に対応している。

撮像レンズ１１は、撮像対象物を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的な撮像レンズにより構成される。

マイクロレンズアレイ１２は、複数のマイクロレンズが２次元配列したものであり、撮像レンズ１１の焦点面（図中の符号ｆ１は、撮像レンズ１１の焦点距離を表している）に配置されている。なお、このマイクロレンズアレイ１２の詳細な構成については、後述する。

撮像エレメント１３は、マイクロレンズアレイ１２からの光を受光して撮像データを取得するものであり、マイクロレンズアレイ１２の焦点面（図中の符号ｆ２は、マイクロレンズアレイ１２の焦点距離を表している）に配置されている。この撮像エレメント１３は、例えば、マトリクス状に配列された複数のＣＣＤ（Charge Coupled Device；電荷結合素子）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などにより構成されている。なお、この撮像エレメント１３の詳細な構成については、後述する。

画像処理部１４は、撮像エレメント１３で得られた撮像データに対して所定の画像処理を施し、撮像データＤoutとして出力するものである。例えば、画像処理部１４は、「Light Field Photography」と呼ばれる手法を用いたリフォーカス（Refocusing）演算処理により、任意の焦点に設定された観察画像（リフォーカス画像）を生成するものである。

撮像素子駆動部１５は、撮像エレメント１３を駆動してその受光動作の制御を行うものである。

制御部１６は、画像処理部１４および撮像素子駆動部１５の動作を制御するものであり、例えばマイクロコンピュータなどにより構成されている。

ここで、図２および図３を参照して、マイクロレンズアレイ１２および撮像エレメント１３の詳細な構成について説明する。図２は、マイクロレンズアレイ１２と撮像エレメント１３の断面構成を表したものである。図３は、撮像エレメント１３と、この撮像エレメント１３に結像する撮像対象物の像を模式的に表した平面図である。

マイクロレンズアレイ１２は、ガラスなどの透明な基板１２０の一面、例えば光出射側（撮像エレメント１３の側）の面に、複数のマイクロレンズ１２１が２次元配列したものである。このマイクロレンズアレイ１２には、３原色のカラーフィルタ１２２Ｒ，１２２Ｇ，１２２Ｂからなるカラーフィルタ１２２が一体的に形成されている。

マイクロレンズ１２１は、例えばガラスやプラスチックなどにより構成された固定焦点型のレンズである。なお、液体レンズ、液晶レンズおよび回折レンズなどで構成されていてもよい。各マイクロレンズ１２１には、撮像エレメント１３上の複数の画素、例えば２×２＝４ピクセル以上の画素が割り当てられている。但し、ここでは、各マイクロレンズ１２１に３×３＝９ピクセルが割り当てられた構成を示す。また、以下では、各マイクロレンズ１２１に割り当てられた複数の画素によって形成される領域を、単に画素領域という。

カラーフィルタ１２２Ｒ，１２２Ｇ，１２２Ｂは、例えば誘電体多層膜などの無機材料などより構成されている。これらのカラーフィルタ１２２Ｒ，１２２Ｇ，１２２Ｂは、マイクロレンズ１２１の表面形状に沿ってそれぞれ形成され、マイクロレンズ１２１ごとに色分けされている。このうち、カラーフィルタ１２２Ｒ，１２２Ｇ，１２２Ｂはそれぞれ、赤色、緑色および青色の波長領域の光を選択的に透過させ、それ以外の波長領域の光を吸収するものである。これらのカラーフィルタ１２２Ｒ，１２２Ｇ，１２２Ｂは、例えば感光性を有する有機材料により構成され、厚みは例えば２００ｎｍ〜１０００ｎｍである。

上記カラーフィルタ１２２Ｒ，１２２Ｇ，１２２Ｂは、例えば次のようにして形成することができる。すなわち、まず、基板１２０上に複数のマイクロレンズ１２１を例えば樹脂成形などの手法により形成する。こののち、複数のマイクロレンズ１２１の表面に、例えば印刷などの手法により、上述した材料よりなるカラーフィルタ１２２Ｒ，１２２Ｇ，１２２Ｂをそれぞれ選択的な領域にパターニング形成する。あるいは、基板１２０上のマイクロレンズ１２１が形成された全面に渡って、上述した各カラーフィルタ材料をコーティングしたのち、フォトレジストを用いたフォトリソグラフィ法により、露光、現像およびエッチングを経て、選択的な領域を除去するようにしてもよい。

このようなカラーフィルタ１２２Ｒ，１２２Ｇ，１２２Ｂは、例えばＲ：Ｇ：Ｂ＝１：２：１の存在比となるようなベイヤー（Bayer）配列により、規則的に２次元配置されている。但し、図２の断面図では、便宜上、Ｒ，Ｇ，Ｂ，Ｒ…の順で並列した構成を示している。

撮像エレメント１３は、例えばシリコン（Ｓｉ）などよりなる基板１３０上に、複数の画素（撮像画素）Ｐがマトリクス状に配置されてなるものである。各画素Ｐは、光センサ１３１の光入射側に、この光センサ１３１に向けて受光光線を効率良く集光させるためのオンチップレンズ１３２を有している。光センサ１３１とオンチップレンズ１３２との間には、各種配線を積層してなる配線層１３３が設けられている。このような画素Ｐを有する撮像エレメント１３としては、具体的には、Super-ＨＡＤ-ＣＣＤ（登録商標：ソニー株式会社）などを用いることができる。

次に、図１〜図７を参照して、本実施の形態の撮像装置１の作用および効果について説明する。図４および図５は、画像処理部１４におけるリフォーカス演算処理を説明するための模式図である。図６（Ａ），（Ｂ）は、比較例に係る撮像装置のマイクロレンズアレイ１０２および撮像エレメント１０３の断面構成を表すものである。図７は、撮像装置１におけるマイクロレンズアレイ１２および撮像エレメント１３の位置合わせについて説明するための断面図である。

撮像装置１では、撮像レンズ１１と撮像エレメント１３との間に、マイクロレンズアレイ１２が設けられていることにより、撮像対象物２の像は、撮像エレメント１３上にマイクロレンズ１２１ごとに結像する。すなわち、図３に示したように、撮像エレメント１３上には、マイクロレンズ１２１の２次元座標に対応して、撮像対象物２の像が画素領域１３Ｄごとに結像（ユニット像Ｕ１）する。なお、各ユニット像Ｕ１の平面形状は、撮像レンズ１１の開口絞り（図示せず）の開口形状と相似形となる。そして、撮像素子駆動部１５の駆動動作に応じて、撮像対象物２の撮像データが取得される。

このようにして取得された撮像データは、画像処理部１４へ入力される。画像処理部１４は、制御部１６の制御に応じて、上記撮像データに対して所定の画像処理、例えば、リフォーカス演算処理を施すことにより、任意の焦点に設定されたリフォーカス画像を生成し、画像処理データＤoutとして出力する。

ここで、図４および図５を参照して、画像処理部１４による画像処理の一例（リフォーカス演算処理）について詳細に説明する。まず、図４に示したように、撮像レンズ１１の撮像レンズ面上において直交座標系（ｕ，ｖ）を、撮像エレメント１３の撮像面上において直交座標系（ｘ，ｙ）をそれぞれ想定する。また、撮像レンズ１１の撮像レンズ面から撮像エレメント１３の撮像面までの距離をＦとすると、図中に示したような撮像レンズ１１および撮像エレメント１３を通る光線は、４次元関数Ｌ_Ｆ（ｘ，ｙ，ｕ，ｖ）で表される。すなわち、撮像エレメント１３では、光線の位置情報に加え、光線の進行方向が保持された状態で撮像データが取得される。

従って、図５に示したように、撮像レンズ面１１０、撮像面１３０およびリフォーカス面１２０間の位置関係を設定（Ｆ’＝αＦとなるようにリフォーカス面１２０を設定）した場合、リフォーカス面１２０上の座標（ｓ，ｔ）の撮像面１３０上における検出強度Ｌ_Ｆ’は、以下の（１）式のように表される。また、リフォーカス面１２０で得られるイメージＥ_Ｆ’（ｓ，ｔ）は、上記検出強度Ｌ_Ｆ’をレンズ口径に関して積分したものとなるので、以下の（２）式のように表される。よって、この（２）式から、上記撮像データに基づいてリフォーカス演算処理を行うことにより、任意の焦点に設定されたリフォーカス画像を生成する。

なお、画像処理部１４では、必要に応じて他の画像処理、例えば欠陥補正処理、クランプ処理、ノイズ低減処理、輪郭強調処理、ホワイトバランス調整処理およびガンマ補正処理などを施すようにしてもよい。

続いて、マイクロレンズアレイ１２および撮像エレメント１３の位置関係と、色のコンタミネーションについて、比較例と比較しつつ説明する。まず、図６（Ａ），（Ｂ）を参照して、比較例に係る撮像装置について説明する。図６（Ａ）に示したように、比較例においては、マイクロレンズアレイ１０２は、基板１０２０の光出射側の面に複数のマイクロレンズ１０２１を２次元配置して構成されている。また、撮像エレメント１０３は、基板１０３０上に複数の画素Ｐ１０をマトリクス状に配置して構成されている。各画素Ｐ１０では、マイクロレンズアレイ１０２の側から順に、オンチップレンズ１０３１、カラーフィルタ１０３２、配線層１０３３および光センサ１０３４が設けられている。すなわち、比較例においては、カラーフィルタ１０３２が、撮像エレメント１０３の受光面に形成されている。このカラーフィルタ１０３２は、画素領域１０３Ｄごとに色分けされており、３原色のカラーフィルタ１０３２Ｒ，１０３２Ｇ，１０３２Ｂにより構成されている。このような構成により、撮像対象物の像は、撮像エレメント１０３上にマイクロレンズ１０２１ごとに結像する。

上記比較例の撮像装置では、例えば実装時などに、図６（Ｂ）に示したように、カラーフィルタ１０３２Ｒ，１０３２Ｇ，１０３２Ｂと、各マイクロレンズ１０２１との間で、１ピクセル分（ｄｐ）の位置ずれが生じた場合、撮像対象物のユニット像は、画素領域１０３Ｄからずれた画素領域１０３Ｄ１に結像する。ところが、カラーフィルタ１０３２Ｒ，１０３２Ｇ，１０３２Ｂは、画素領域１０３Ｄごとに設けられているため、隣り合う画素領域１０３Ｄ１同士、すなわちユニット像同士の間で、混色が生じてしまう。

このため、マイクロレンズアレイ１０２と撮像エレメント１０３との間で位置ずれが生じないように、実装時などには精密な位置合わせ工程を行う必要がある。すなわち、撮像エレメント１０３上の画素領域１０３Ｄの中心位置と、マイクロレンズ１０２１の中心位置とが精確に合うようにしなければならない。

これに対し、本実施の形態では、例えば実装時などに、図７に示したように、マイクロレンズ１２１と画素領域１３Ｄとの間で位置ずれｄｐが生じた場合、ユニット像Ｕ１は、画素領域１３Ｄからずれた画素領域１３Ｄ１に結像する。このとき、マイクロレンズ１２１ごとに色分けされたカラーフィルタ１２２が、マイクロレンズアレイ１２に一体的に形成されていることにより、画素領域１３Ｄ１同士、すなわちユニット像Ｕ１同士の間で、混色が生じにくい。

以上説明したように、本実施の形態では、撮像レンズ１１と撮像エレメント１３との間に、マイクロレンズアレイ１２を設けるようにしたので、撮像エレメント１３上に、撮像対象物２のユニット像Ｕ１をマイクロレンズ１２１ごとに結像して、光線の位置および進行方向の情報を含む撮像データを取得することができる。このような撮像データに対して、画像処理部１４において、例えばリフォーカス演算処理を施すようにしたので、任意の焦点に設定されたリフォーカス画像を生成することができる。ここで、マイクロレンズ１２１ごとに色分けされたカラーフィルタ１２２が、マイクロレンズアレイ１２と一体的に形成されるようにしたので、例えば実装時などに、マイクロレンズアレイ１２と撮像エレメント１３との間で位置ずれが生じた場合にも、ユニット像Ｕ１同士の間で混色が生じることを抑制することができる。よって、マイクロレンズアレイ１２と撮像エレメント１３との位置合わせ精度を緩和することが可能となる。また、これにより取得された撮像画像において、色のコンタミネーションの発生を抑制することが可能となる。

さらに、各マイクロレンズ１２１に対する割り当て画素数が多くなる程、上記位置ずれによって色のコンタミネーションへの影響は小さくなる。このため、割り当て画素数を多くした場合には、位置合わせ精度を大幅に緩和することができる。具体的には、割り当て画素数を１２×１２ピクセルとした場合、マイクロレンズ１２１と画素領域１３Ｄとの位置合わせを行うことなく、ｓｋｅｗ調整のみを行って取得した画像の画質に、実用上問題はなかった。

続いて、上記第１の実施の形態のマイクロレンズアレイの変形例（変形例１〜３）について説明する。以下では、上記と同様の構成要素については、同一の符号を付し、適宜説明を省略する。

（変形例１）
図８は、変形例１に係るマイクロレンズアレイ１９と撮像エレメント１３の断面構成を表すものである。本変形例のマイクロレンズアレイ１９は、各マイクロレンズ１２１同士の境界付近に、遮光膜１９０が設けられたものであり、この遮光膜１９０以外の構成は、上記第１の実施の形態のマイクロレンズアレイ１２と同様となっている。

遮光膜１９０は、光吸収性を有する材料、例えばアルミニウム（Ａｌ）やクロム（Ｃｒ）材料などより構成されている。この遮光膜１９０は、例えば、カラーフィルタ１２２Ｒ，１２２Ｇ，１２２Ｂを成膜したのちに、各カラーフィルタ１２２Ｒ，１２２Ｇ，１２２Ｂ同士の境界付近の領域に、例えばフォトリソグラフィ法などにより形成することができる。このように、各マイクロレンズ１２１同士の境界付近に遮光膜１９０を設けることにより、外光や迷光などのレンズのＦ値を超えて斜め方向から入射する想定外の光を遮断することができる。よって、撮像対象物２のイメージの劣化を抑制することが可能となる。

（変形例２，３）
図９は、変形例２に係るマイクロレンズアレイ１７と撮像エレメント１３の断面構成を表すものである。マイクロレンズアレイ１７は、複数のマイクロレンズ１７１を基板１７０の光入射側（撮像レンズ１１の側）に２次元配置したものである。この場合も、マイクロレンズ１７１の表面形状に沿って、カラーフィルタ１７２（１７２Ｒ，１７２Ｇ，１７２Ｂ）が形成されている。

また、図１０は、変形例３に係るマイクロレンズアレイ１８の断面構成を表すものである。マイクロレンズアレイ１８は、複数のマイクロレンズ１８１Ａ，１８１Ｂをそれぞれ、基板１８０の光入射側および光出射側に２次元配置したものである。この場合も、マイクロレンズ１８１Ａの表面形状に沿って、カラーフィルタ１８２（１８２Ｒ，１８２Ｇ，１８２Ｂ）が、マイクロレンズ１８１Ｂの表面形状に沿って、カラーフィルタ１８３（１８３Ｒ，１８３Ｇ，１８３Ｂ）がそれぞれ形成されている。

上記のように、マイクロレンズアレイにおいて、マイクロレンズは基板の光入射側および光出射側のいずれに配置してもよく、また両方の側に設けるようにしてもよい。また、変形例２，３の構成において、変形例１の遮光膜１９０を、各マイクロレンズ同士の境界付近に形成するようにしてもよい。このように構成した場合であっても、上記第１の実施の形態と同等の効果を得ることができる。

［第２の実施の形態］
図１１は、本発明の第２の実施の形態に係る撮像装置におけるマイクロレンズアレイ２０および撮像エレメント１３の断面構成を表すものである。本実施の形態では、マイクロレンズアレイ２０の構成以外は、上記第１の実施の形態と同様の構成であるため、同一の構成要素には同一の符号を付し、適宜説明を省略する。

マイクロレンズアレイ２０は、上記第１の実施の形態のマイクロレンズアレイ１２と同様、撮像レンズ１１と撮像エレメント１３との間に配置され、透明な基板２００の一面、例えば光出射側（撮像エレメント１３の側）の面に、複数のマイクロレンズ２０１が２次元配列したものである。マイクロレンズ２０１は、上記第１の実施の形態のマイクロレンズ１２１と同様のレンズにより構成され、撮像エレメント１３上の画素領域１３Ｄ（ここでは、３×３ピクセル）が割り当てられている。

このマイクロレンズアレイ２０には、上記第１の実施の形態と同様、カラーフィルタ２０２が一体的に形成されている。カラーフィルタ２０２は、３原色のカラーフィルタ２０２Ｒ，２０２Ｇ，２０２Ｂからなり、それぞれが、マイクロレンズ２０１単位で設けられている。但し、本実施の形態では、これらのカラーフィルタ２０２Ｒ，２０２Ｇ，２０２Ｂが、基板２００とマイクロレンズ２０１との間に形成されている。

カラーフィルタ２０２は、上記第１の実施の形態のカラーフィルタ１２２と同様の材料および厚みによって構成されている。但し、本実施の形態のカラーフィルタ２０２Ｒ，２０２Ｇ，２０２Ｂは、マイクロレンズ２０１を形成する前に、基板２００上に成膜するようにする。すなわち、基板２００上に、上述のカラーフィルタ材料を上述の手法によりパターニング形成したのち、形成したカラーフィルタ２０２Ｒ，２０２Ｇ，２０２Ｂ上に、マイクロレンズ２０１を、例えば樹脂成形などの手法により形成する。

本実施の形態では、上記第１の実施の形態と同様にして、撮像エレメント１３において撮像データが取得されると、この撮像データは画像処理部１４へ入力される。画像処理部１４では、撮像データに基づいて所定の画像処理がなされ、画像処理データＤoutが出力される。ここで、実装時などに、マイクロレンズアレイ２０と撮像エレメント１３との間に位置ずれが生じた場合、撮像対象物の像（ユニット像）は、画素領域１３Ｄからずれた位置に結像する。このような場合であっても、マイクロレンズ２０１単位で色分けされたカラーフィルタ２０２が、マイクロレンズアレイ２０と一体的に形成されているので、ユニット像同士の間で、混色が生じにくい。よって、上記第１の実施の形態と同様の効果を得ることができる。

続いて、上記第２の実施の形態のマイクロレンズアレイの変形例（変形例４〜６）について説明する。以下では、上記第２の実施の形態と同様の構成要素については、同一の符号を付し、適宜説明を省略する。

（変形例４）
図１２は、変形例４に係るマイクロレンズアレイ２３と撮像エレメント１３の断面構成を表すものである。本変形例のマイクロレンズアレイ２３は、各マイクロレンズ２０１同士の境界付近に、遮光膜２３０が設けられたものであり、この遮光膜２３０以外の構成は、上記第２の実施の形態のマイクロレンズアレイ２０と同様となっている。遮光膜２３０は、上記第１の実施の形態の変形例１に係る遮光膜１９０と同様の材料により構成され、同様の手法により形成することができる。このような遮光膜２３０を設けることにより、上記第２の実施の形態と同様の効果を得ることができると共に、上記変形例１と同様の効果を得ることができる。

（変形例５）
図１３は、変形例５に係るマイクロレンズアレイ２１と撮像エレメント１３の断面構成を表すものである。マイクロレンズアレイ２１は、複数のマイクロレンズ２１１を基板２１０の光入射側（撮像レンズ１１の側）に２次元配置したものである。また、基板２１０と各マイクロレンズ２１１との間には、カラーフィルタ２１２（２１２Ｒ，２１２Ｇ，２１２Ｂ）が形成されている。

このように、マイクロレンズアレイ２１において、マイクロレンズ２１１は基板２１０の光入射側に配置されていてもよい。また、図示はしないが、マイクロレンズを基板の両方の側に設けるようにしてもよい。このように構成した場合であっても、上記第２の実施の形態と同等の効果を得ることができる。

（変形例６）
図１４は、変形例６に係るマイクロレンズアレイ２２と撮像エレメント１３の断面構成を表すものである。マイクロレンズアレイ２２は、基板２２０の光出射側に複数のマイクロレンズ２２１を、光入射側にカラーフィルタ２２２（２２２Ｒ，２２２Ｇ，２２２Ｂ）をそれぞれ配置したものである。

このように、マイクロレンズアレイ２２において、マイクロレンズ２２１とカラーフィルタ２２２Ｒ，２２２Ｇ，２２２Ｂとを、基板２２０の別々の面に設けるようにしてもよい。このように構成した場合であっても、上記第２の実施の形態と同等の効果を得ることができる。

なお、これらの変形例５，６の構成において、上記変形例４の遮光膜２３０を、各マイクロレンズ同士の境界付近に形成するようにしてもよい。

次に、上記第１および第２の実施の形態に係る撮像レンズおよびマイクロレンズアレイの変形例（変形例７，８）として、マイクロレンズアレイと撮像レンズとを一体化した構成について説明する。なお、図１５に、上記第１の実施の形態における撮像レンズ１１、マイクロレンズアレイ１２および撮像エレメント１３の実装例について模式的に示す。

（変形例７）
図１６は、変形例７に係るマイクロレンズアレイ２４と撮像エレメント１３との実装例を模式的に表すものである。本変形例では、撮像レンズとして機能するレンズパターン２４Ａがマイクロレンズアレイ２４に一体的に形成されている。

マイクロレンズアレイ２４は、上記第１の実施の形態のマイクロレンズアレイ１２と同様、基板２４０の光出射側に複数のマイクロレンズと、このマイクロレンズ単位で色分けされたカラーフィルタ（いずれも図１７には図示せず）とを有している。この基板２４０の光入射側の面には、レンズパターン２４Ａが形成されている。レンズパターン２４Ａとしては、例えば同心円状に溝が彫られたフレネルレンズ状のパターンなどが挙げられる。このようなレンズパターン２４Ａは、基板２４０の光入射側の面を、例えば切削などの手法によりパターニングすることにより形成することができる。

本変形例のように、マイクロレンズアレイ２４の基板２４０に所定のレンズパターン２４Ａを一体的に形成することにより、レンズパターン２４Ａを撮像レンズとして機能させることも可能である。このように構成した場合、上記第１の実施の形態と同等の効果を得ることができると共に、部品点数を減らすことができる。

（変形例８）
図１７は、変形例８に係るマイクロレンズアレイ２５，２６と撮像エレメント１３との実装例を模式的に表すものである。本変形例では、２枚のマイクロレンズアレイ２５，２６が撮像エレメント１３に実装されており、マイクロレンズアレイ２５，２６には、それぞれ撮像レンズとして機能するレンズパターン２５Ａ，２６Ａが形成されている。

マイクロレンズアレイ２５は、例えば、上記第１の実施の形態のマイクロレンズアレイ１２、変形例１のマイクロレンズアレイ１９および第２の実施の形態のマイクロレンズアレイ２０などの光入射面と光出射面との両面にレンズパターン２５Ａが形成されたものである。

マイクロレンズアレイ２６は、撮像エレメント１３と上記マイクロレンズアレイ２５との間に設けられている。このマイクロレンズアレイ２６では、上記変形例７のマイクロレンズアレイ２４と同様、基板２６０の光出射側に複数のマイクロレンズとカラーフィルタ（いずれも図１８には図示せず）とを有し、光入射側の面に、レンズパターン２６Ａが形成されている。

このように、レンズパターン２５Ａ，２６Ａをそれぞれ一体的に形成した２枚のマイクロレンズアレイ２５，２６を、撮像エレメント１３に対して実装することにより、上記第１の実施の形態と同等の効果を得ることができると共に、上記変形例７よりも撮像レンズとしての性能を高めることが可能となる。

以上、実施の形態および変形例を挙げて本発明を説明したが、本発明は上記実施の形態等に限定されるものではなく、種々の変形が可能である。例えば、上記実施の形態等では、撮像エレメント１３において取得した撮像データに対して、リフォーカス演算処理を施すことにより、リフォーカス画像を生成する場合を例に挙げて説明したが、本発明の撮像データは上記以外の用途にも適用され得る。例えば、撮像データを用いて複数の視差画像を生成するようにしてもよい。この場合には、画像処理部において、撮像データのうち、各マイクロレンズに割り当てられた画素領域のうち同一の位置に配置された画素の画素データをそれぞれ抽出し、これらを合成する処理を行うようにする。

あるいは、上記撮像データを用いて、いわゆるインテグラル方式の３次元表示を行うようにしてもよい。但し、この場合には、ディスプレイの表示面よりも観察者の側に表示用のマイクロレンズアレイを配置して、表示を行うようにする。これにより、観察者には、３次元の立体画像として認識される。

また、上記実施の形態等では、画像処理部１４を撮像装置の構成要素の一つとして説明したが、この画像処理部１４は、特に設けられていなくともよい。さらに、必ずしもこの画像処理部が撮像装置の内部に設けられている必要はなく、画像処理部を、撮像装置とは別の装置、例えばＰＣ（Personal Computer：パーソナルコンピュータ）などに設けておき、撮像装置で得られた撮像データをＰＣへ転送し、ＰＣにおいて画像処理を施すようにすることも可能である。

本発明の第１の実施の形態に係る撮像装置の全体構成を表す図である。 図１に示したマイクロレンズアレイと撮像エレメントの断面図である。 図１に示した撮像エレメントの平面構成の模式図である。 図１に示した画像処理部の画像処理動作を説明するための図である。 図１に示した画像処理部の画像処理動作を説明するための図である。 比較例に係る撮像装置のマイクロレンズアレイと撮像エレメントの断面図である。 図１に示したマイクロレンズアレイと撮像エレメントとの位置合わせについて説明するための図である。 変形例１に係るマイクロレンズアレイと撮像エレメントの断面図である。 変形例２に係るマイクロレンズアレイと撮像エレメントの断面図である。 変形例３に係るマイクロレンズアレイと撮像エレメントの断面図である。 本発明の第２の実施の形態に係る撮像装置におけるマイクロレンズアレイと撮像素子の断面図である。 変形例４に係るマイクロレンズアレイと撮像エレメントの断面図である。 変形例５に係るマイクロレンズアレイと撮像エレメントの断面図である。 変形例６に係るマイクロレンズアレイと撮像エレメントの断面図である。 図１に示した撮像レンズ、マイクロレンズアレイおよび撮像エレメントの配置構成の模式図である。 変形例７に係るマイクロレンズアレイと撮像エレメントの実装例を表す模式図である。 変形例８に係るマイクロレンズアレイと撮像エレメントの実装例を表す模式図である。

符号の説明

１…撮像装置、１１…撮像レンズ、１２，１７〜２６…マイクロレンズアレイ、１２０，１７０，１８０，２００，２１０，２２０，２４０，２５０，２６０…基板、１２１…マイクロレンズ、１２２，１７２，１８２，１８３，２０２，２１２，２２２…カラーフィルタ、１９０，２３０…遮光膜、１３…撮像エレメント、１４…画像処理部、１５…撮像素子駆動部、１６…制御部、２…撮像対象物、ｆ１，ｆ２…焦点距離、Ｄout…画像処理データ。

Claims (7)

1. 受光した光に基づいて撮像データを取得する撮像エレメントと、
   前記撮像エレメントの受光面側に、前記撮像エレメントの複数の画素に対して１つのマイクロレンズが割り当てられるように配置されたマイクロレンズアレイと、
   前記マイクロレンズアレイと一体的に形成されると共に、前記マイクロレンズ単位で色分けされた複数色のカラーフィルタと
   を備えた撮像素子。
2. 前記マイクロレンズアレイは、
   基板と、
   前記基板の少なくとも一面に形成された複数のマイクロレンズと
   を有する請求項１に記載の撮像素子。
3. 各カラーフィルタは、各マイクロレンズの表面に沿って形成されている
   請求項２に記載の撮像素子。
4. 各カラーフィルタは、各マイクロレンズと前記基板との間に形成されている
   請求項２に記載の撮像素子。
5. 前記複数色のカラーフィルタ同士の境界付近に遮光膜
   を備えた請求項１に記載の撮像素子。
6. 撮像レンズと、
   受光した光に基づいて撮像データを取得する撮像エレメントと、
   前記撮像レンズと前記撮像エレメントとの間に、前記撮像エレメントの複数の画素に対して１つのマイクロレンズが割り当てられるように配置されたマイクロレンズアレイと、
   前記マイクロレンズアレイと一体的に形成されると共に、前記マイクロレンズ単位で色分けされた複数色のカラーフィルタと
   を備えた撮像装置。
7. 前記マイクロレンズアレイの少なくとも一面に、前記撮像レンズとして機能するレンズパターンが形成されていることにより、前記撮像レンズと前記マイクロレンズアレイとが一体的に形成されている
   請求項６に記載の撮像装置。
   
   

Images