JP2009105717A

JP2009105717A - 撮像装置

Info

Publication number: JP2009105717A
Application number: JP2007276341A
Authority: JP
Inventors: Yukio Watanabe; 由紀夫渡邉; Tetsuo Kamiyama; 徹男上山
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2007-10-24
Filing date: 2007-10-24
Publication date: 2009-05-14

Abstract

【課題】低コストなレンズを用いた場合でも、収差の発生が少なく、かつ、高い奥行き分解能を有するリフォーカス像が得られる撮像装置を提供する。
【解決手段】撮像装置１０は、物体面からの光を集光する撮像レンズ１と、撮像レンズ１からの光を受ける複数のマイクロレンズ２ｍが配置されたマイクロレンズアレイ２と、複数のマイクロレンズ２ｍからの光に基づいて複数の焦点面画像を生成する撮像素子３とを備える。マイクロレンズ２ｍの焦点距離ｆｍは、撮像装置１０に必要な奥行き分解能ｒと、撮像レンズ１の縦倍率β²との積よりも小さくなるように設定される。
【選択図】図１

Description

この発明は、撮像装置に関し、特に、マイクロレンズを用いた撮像装置に関する。

非特許文献１において、プレノプティックカメラの原理を用いて、取得した画像データを再構成して、リフォーカシングさせるライトフィールドカメラが提案されている。

図４は、非特許文献１で用いられている従来のプレノプティックカメラ１００の光学系の構成を示した図である。図４を参照して、従来のプレノプティックカメラ１００は、撮像レンズ１１と、マイクロレンズ１２ａ，１２ｂ，１２ｃ,・・・を有するマイクロレンズアレイ１２と、撮像素子１３とを含む。

マイクロレンズアレイ１２上には、二次元平面状にマイクロメータオーダのピッチでマイクロレンズ１２ａ，１２ｂ，１２ｃ,・・・が規則的に配置されている。撮像レンズ１１は、物体像をマイクロレンズアレイ１２近傍で結像する。撮像素子１３は、マイクロレンズアレイ１２を通して得られる物体像を取得する。

次に、プレノプティックカメラ１００で得られる画像の特徴を、図４〜７を用いて説明する。

図４において、物体面Ａｋと撮像レンズ１１との間の距離と、撮像レンズ１１とマイクロレンズアレイ１２との間の距離とは、結像関係にあるとする。物体面Ｂｋは、物体面Ａｋの位置よりも撮像レンズ１１側に位置している。物体面Ｃｋは、撮像レンズ１１から見て物体面Ａｋよりも遠い距離に位置している。

物体面Ａｋ上にある点光源から出た光線は、マイクロレンズアレイ１２上で結像する。図４では、物体面Ａｋ上の点光源から出た光線は、撮像レンズ１１を通過後、マイクロレンズアレイ１２の１つのマイクロレンズ１２ａに集光する。マイクロレンズ１２ａに集光した光は、その後広がって、マイクロレンズアレイ１２の直後に配置されている撮像素子１３上の一部の領域に広がって検出される。

図５は、マイクロレンズアレイ１２に集光した光が撮像素子１３上の一部の領域に広がって検出される状態を示した図である。図５の（ａ）は、図４において点光源が物体面Ａｋ上に位置する場合を示す。図５の（ｂ）は、図４において点光源が物体面Ｂｋ上に位置する場合を示す。

図５（ａ）に示すように、点光源が物体面Ａｋにある場合、撮像素子１３の斜線部の画素１３０においてマイクロレンズアレイ１２からの光が検出される。このように、点光源が物体面Ａｋにある場合、マイクロレンズ１２ｍ（ｍ＝ａ，ｂ，ｃ，・・・）に対応する撮像素子１３の画素領域は決まっている。

一方、物体面Ｂｋ上にある点光源から出た光線は、マイクロレンズアレイ１２上でスポットの広がった分布となる。図４では、物体面Ｂｋ上の点光源から出た光線は、撮像レンズ１１を通過後、マイクロレンズアレイ１２の複数のマイクロレンズ１２ａ〜１２ｅに入射する。マイクロレンズ１２ａ〜１２ｅに入射した光は、その後個々に収束または発散して、マイクロレンズアレイ１２の直後に配置されている撮像素子１３上の複数の一部領域において検出される。

図５（ｂ）に示すように、点光源が物体面Ｂｋにある場合、撮像素子１３の斜線部の複数の画素１３１〜１３５においてマイクロレンズアレイ１２からの光が検出される。このように、点光源が物体面Ｂｋにある場合、マイクロレンズ１２ｍ（ｍ＝ａ〜ｅ）に対応する撮像素子１３の画素全てで光が検出されるわけではなく、対応する画素のうち、一部の画素領域にのみ光は入射する。

図６は、マイクロレンズ１２ａ，１２ｂ，１２ｄ上での集光状態および撮像素子１３に光が入射する画素の状態を示した図である。図６では、１マイクロレンズあたり、１０×１０の画素が割り当てられている。図６の（ａ）〜（ｃ）は、図４の物体面の位置と光の入射する画素との関係を示す。

図６（ｂ）は、結像位置にある物体面Ａｋ上の点光源から出た光線がマイクロレンズ１２ａを通って撮像素子１３に入射する様子を示す。図６（ｂ）に示すように、物体面Ａｋ上の点光源から出た光線は、マイクロレンズ１２ａに対応する円形領域１４４の中の画素で検出される。

図６（ａ）は、結像位置から撮像レンズ１１側の物体面Ｂｋ上の点光源から出た光線がマイクロレンズ１２ａ，１２ｂ，１２ｄを通って撮像素子１３に入射する様子を示す。図６（ａ）に示すように、物体面Ｂｋ上の点光源から出た光線は、マイクロレンズ１２ａに対応する方形領域１４１の他に、マイクロレンズ１２ｂ，１２ｄに対応する領域１４２，１４３の中の画素で検出される。

図６（ｃ）は、撮像レンズ１１から見て物体面Ａｋよりも距離の遠い物体面Ｃｋ上の点光源から出た光線がマイクロレンズ１２ａ，１２ｂ，１２ｄを通って撮像素子１３に入射する様子を示す。図６（ｃ）に示すように、物体面Ｃｋ上の点光源から出た光線は、マイクロレンズ１２ａに対応する方形領域１４５の他に、マイクロレンズ１２ｂ，１２ｄに対応する領域１４６，１４７の中の画素で検出される。

図６（ａ）と図６（ｃ）とを比較すると、物体面Ｂｋでの領域１４２，１４３は方形領域１４１に近い側に分布するのに対し、物体面Ｃｋでの領域１４６，１４７は方形領域１４５から遠い側に分布することが分かる。このように、マイクロレンズアレイ１２の共役面である物体面Ａｋから近いか遠いかで、撮像素子１３上で検出される光の分布の状態が変化する。

図７は、マイクロレンズアレイ１２に垂直方向および斜め方向から光線が入射した場合の撮像素子１３上の画素の状態を示した図である。

図６で説明したように、プレノプティックカメラ方式による撮像装置では、撮像素子１３の各画素は、光線の輝度値だけではなく、光線の方向の情報を備えている。たとえば、図７の画素１３０ａ，１３０ｂは、それぞれ、実線の光線Ｌａおよび破線の光線Ｌｂの方向からマイクロレンズ１２ａに入射する光線の輝度値を記録していると考えることができる。それぞれの画素によって検出される光は、撮像素子１３上の点と、マイクロレンズアレイ１２上の点とを結ぶ直線（ベクトル）として記述される。

被写体である物体からの構成が撮像素子１３上のどの位置の画素に入射するかは、プレノプティックカメラ１００の光学系のパラメータによって決定される。したがって、当該光学系のパラメータ情報が既知であれば、各画素で検出される光の方向を決めることができる。これにより、プレノプティックカメラ１００のマイクロレンズアレイ１２の位置以外の焦点面（仮想焦点面）での画像を、画素配列の再構成によって一意的に取得することが可能となる。
レン・Ｎｇ（Ren Ng）外５名、「携帯型プレノプティックカメラを備えた光電界写真技術（Light Field Photography with a Hand-held Plenoptic Camera）」、スタンフォード・テクニカルレポート（Stanford Tech Report）、ＣＴＳＲ２００５−０２

従来のプレノプティックカメラ１００によって奥行き方向に狭い間隔でリフォーカシング画像を得るためには、プレノプティックカメラ１００の奥行き方向の高分解能化を図る必要がある。

上記の奥行き方向の高分解能化は、より広い角度からの光線を検出することによって得られる。そのため、従来のプレノプティックカメラ１００では、マイクロレンズのＦナンバーを大きくすることによって分解能の改善が図られていた。

しかしながら、Ｆナンバーを大きくするためにマイクロレンズの焦点距離を短くすると、発生する収差が増大し、得られる画像にぼけが発生する。また、マイクロレンズの径を広げてＦナンバーを大きくすると、得られる画像の解像度が悪くなる。

上記のように画像情報がぼけてしまうと、画像によって特定される光線の情報があいまいになるため、リフォーカス像が非鮮明になったり、正しいリフォーカス像が得られなくなったりするという問題が生じる。特に、点光源からの光が多数のマイクロレンズに入射するような、マイクロレンズアレイ１２との間隔が広い焦点面のリフォーカス像を再構成する場合に影響が大きくなる。その結果、リフォーカス範囲を狭める要因となる。

非球面のレンズ形状によって収差を抑制し、マイクロレンズのＦナンバーを大きくすることは理論上は可能である。しかしながら、マイクロレンズアレイ１２上の数万個のマイクロレンズの非球面形状を高精度で制御することは難しく、高コストにもつながるという問題がある。

それゆえに、この発明の目的は、低コストなレンズを用いた場合でも、収差の発生が少なく、かつ、高い奥行き分解能を有するリフォーカス像が得られる撮像装置を提供することである。

この発明のある局面によれば、物体の複数の焦点面画像を画像処理により生成する撮像装置であって、物体からの光を集光する撮像レンズと、撮像レンズからの光を受ける、片側の面に球面形状の複数のマイクロレンズが形成されたマイクロレンズアレイと、マイクロレンズの焦点距離の位置に配置され、複数の画素を含む撮像素子とを備える。マイクロレンズの焦点距離は、撮像装置に必要な奥行き分解能の２倍と、撮像レンズの縦倍率との積よりも小さくなるように設定される。

好ましくは、マイクロレンズのＦナンバー（ＦＮｍ）と、マイクロレンズの１ピッチ内に含まれる撮像素子の画素数（ｎ）と、マイクロレンズの各々のレンズ形状で決まる球面収差の係数（η）と、撮像レンズに入射する光線の光軸に対する入射角度で決まる係数（Θ）とは、次の関係式（１６／（ｎ・η）−６Θ²）ＦＮｍ² − Θ・ＦＮｍ −１＞０を満たすように設定される。

好ましくは、マイクロレンズアレイのレンズ形成面は、撮像レンズ側に配置されている。

この発明によれば、低コストなレンズを用いた場合でも、収差の発生が少なく、かつ、高い奥行き分解能を有するリフォーカス像が得られる。

以下、この発明の実施の形態について図面を参照して詳しく説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。

図１は、この発明の実施の形態による撮像装置１０の光学系の概略的な構成を示した図である。撮像装置１０は、プレノプティックカメラの構成を基本としている。

図１を参照して、この発明の実施の形態の撮像装置１０は、撮像レンズ１と、マイクロレンズ２ｍ（ｍ＝ａ，ｂ，ｃ，・・・）を有するマイクロレンズアレイ２と、撮像素子３とを含む。図１において、物体面Ａｋと撮像レンズ１との間隔をＤとし、撮像レンズ１とマイクロレンズアレイ２との間隔をＧとする。物体面Ａｋとマイクロレンズアレイ２との位置は共役関係にあり、物体像はマイクロレンズアレイ２上で結像する。撮像レンズ１の焦点距離をｆとすると、結像関係の式から次の関係が成り立つ。

１／Ｄ＋１／Ｇ＝１／ｆ（１）
マイクロレンズアレイ２には、２次元平面状にマイクロメータオーダのピッチでマイクロレンズ２ｍ（ｍ＝ａ，ｂ，ｃ，・・・）が規則的に配置されている。撮像装置１０は、撮像レンズ１およびマイクロレンズアレイ２を通した像を撮像素子３によって取得する。撮像素子３は、マイクロレンズアレイ２においてレンズ形状が形成されている面から、マイクロレンズ２ｍの焦点距離だけ離れた位置に配置される。

各マイクロレンズ２ｍのレンズ径をＨｍとし、各マイクロレンズ２ｍのＦナンバーをＦＮｍとする。このとき、各マイクロレンズ２ｍの焦点距離ｆｍは、以下のような関係式で表わされる。

ｆｍ＝Ｈｍ・ＦＮｍ（２）
図２は、マイクロレンズ２ｍのＦナンバーＦＮｍと撮像レンズ１のＦナンバーＦＮとの関係について説明するための図である。

図２の（ａ）は、マイクロレンズ２ｍのＦナンバーＦＮｍが撮像レンズ１のＦナンバーＦＮよりも小さい（ＦＮｍ＜ＦＮ）場合を示した図である。この場合、図２（ａ）に示すように、撮像素子３上の一部の画素において、隣り合うマイクロレンズを通過してきた光が重なり合ってしまう。

具体的には、図２（ａ）の撮像素子３は、斜線部３１，３２の画素において、異なるマイクロレンズ２ｍからの光が重なって検出される。前述したように、撮像素子３のそれぞれの画素は、特定方向の光を検出する役割を果たす。しかしながら、上記のように光が重なって検出される場合、異なる２つの方向から入射する光線を同時に検出することになり、光線の情報を特定することができなくなる。

図２の（ｃ）は、マイクロレンズ２ｍのＦナンバーＦＮｍが撮像レンズ１のＦナンバーＦＮよりも大きい（ＦＮｍ＞ＦＮ）場合を示した図である。この場合、図２（ａ）のように光が重なって検出されるのは避けることができる。しかしながら、図２（ｃ）の場合、撮像素子３上の一部の画素に光が入射しなくなる。

具体的には、図２（ｃ）の撮像素子３は、斜線部４１，４２の画素において、マイクロレンズ２ｍからの光が入射しない。この場合、撮像素子３の画素を有効に利用できていないことになる。

図２の（ｂ）は、被写体の物体が有限の距離にある場合において、マイクロレンズ２ｍのＦナンバーＦＮｍが撮像レンズ１の像側ＦナンバーＦＮと等しい（ＦＮｍ＝ＦＮ）場合を示した図である。この場合、図２（ｂ）に示すように、撮像素子３上の一部の画素において光が重なったり入射しなかったりすることがない。このとき、撮像素子３の画素を最も有効に使うことができる。

再び図１を参照して、撮像レンズ１の倍率をβ＝Ｇ／Ｄとする。このとき、撮像レンズ１の主点と瞳面との位置差が物体までの距離に比べて無視できるという条件下では、撮像レンズ１の実効的なＦナンバーは、ＦＮ（１＋β）と表わされる。

図１において、撮像レンズ１の実効的なＦナンバーＦＮ（１＋β）とマイクロレンズ２ｍのＦナンバーＦＮｍとが一致していると仮定する。また、マイクロレンズアレイ２上に隣接して配置されている各マイクロレンズ２ｍにおいて、レンズ径Ｈｍとレンズピッチｐとが等しいと仮定する。このような条件のもとで、マイクロレンズ２ｍの焦点距離ｆｍは、式（２）から以下のように表わされる。

ｆｍ＝Ｈｍ・ＦＮｍ
＝ｐ・ＦＮ（１＋β）（３）
この発明の実施の形態の撮像装置１０では、上記の式（３）を満たすようにマイクロレンズ２ｍの焦点距離ｆｍを設定する。その上で、撮像素子３をマイクロレンズアレイ２から当該焦点距離ｆｍだけ離して配置する。これにより、撮像素子３の画素を有効に利用することができる。

［マイクロレンズアレイ２の収差について］
次に、マイクロレンズアレイ２に球面の平凸マイクロレンズ２ｍを用いた場合の収差について説明する。

図１を参照して、撮像装置１０のマイクロレンズアレイ２は、片側の面にマイクロレンズ２ｍのレンズ形状が形成され、それと反対側の面は平面になっている。マイクロレンズアレイ２は、たとえばガラス基板や樹脂材料を用いて作製できる。

マイクロレンズ２ｍのレンズ形状は、設計、作製、および公差の制御の観点から、球面レンズが望ましい。しかし、球面レンズの場合、収差を完全になくすことはできない。特に、画角またはレンズの口径が大きくなる条件では、収差が大きくなる。そこで、収差を許容値以下に収めるためのマイクロレンズアレイ２の形状が問題となる。

マイクロレンズアレイ２において、画素に入射する光に重なりがある場合のほか、マイクロレンズ２ｍの収差も、撮像素子３の画素の情報にぼけが発生する要因となる。画素情報がぼけてしまうことで、画素によって特定される光線の情報があいまいとなる。このことは、リフォーカシング像のぼけのみならず、そのリフォーカシングの範囲を狭めてしまう要因ともなり、問題となる。

上記の問題を避けるため、この発明の実施の形態の撮像装置１０では、光学系のパラメータが所定の条件を満たすように設定する。以下、この所定の条件について説明する。

図３は、この発明の実施の形態による撮像装置１０において収差を表わす量を説明するための図である。

まず、マイクロレンズ２ｍの収差によって発生する軸外光線の変位量を３次の収差を基に考える。図３の（ａ）において、物体側の主平面ＢＣ上での入射瞳Ｐｕの半径をＲとし、軸外から主平面ＢＣに入る主光線ＭＬの入射角をωとする。また、屈折率を１とする。このとき、図３の（ｂ）を参照して、画質の悪化を引き起こす収差による変位量Δｘは、ザイデルの収差係数η，ε，ξを用いて、以下のように表わされる。

Δｘ＝−γ（η・Ｒ³ｃｏｓφ／ｆｍ³ ＋ ε・Θ・Ｒ²（２＋ｃｏｓφ）／ｆｍ²
＋ ξ・Θ²・Ｒｃｏｓφ／ｆｍ）（４）
ザイデルの収差係数η，ε，ξは、レンズの形状によって決まる。収差係数ηは、球面収差に関係する係数である。収差係数εは、コマ収差に関係する係数である。収差係数ξは、非点収差および像面湾曲に関係する係数である。なお、収差係数η，ε，ξは、図１のマイクロレンズ２ｍの焦点距離ｆｍで規格化されている。

入射角度の係数Θは、主光線ＭＬの入射角ωを用いてｔａｎωと表わされる。また、式（４）の全体にかかる係数γは、γ〜ｆｍ／２となる。球面収差は、レンズ径にのみ依存する。コマ収差、非点収差および像面湾曲は、レンズ径のほかに画角にも依存する。角度φは、入射瞳Ｐｕ内の座標に対する主光線ＭＬの角度である。

この発明の実施の形態の撮像装置１０では、マイクロレンズ２ｍの収差係数ηとして、平凸レンズのものを用いることができる。マイクロレンズ２ｍの厚さが０と見なせるような条件においては、マイクロレンズ２ｍの入射側が凸形状の場合、収差係数ε〜η／７となり、収差係数ξ〜３η／２となる。式（４）を参照して、撮像装置１０の撮像素子３において良好な画像特性を得るには、撮像素子３上での変位量Δｘが画素の大きさΔｄよりも小さい（｜Δｘ｜＜Δｄ）ことが条件となる。

図１に戻って、撮像素子３の画素の大きさΔｄは、マイクロレンズ２ｍのピッチｐおよび当該ピッチｐ内に含まれる画素数ｎを用いて、Δｄ＝ｐ／ｎと表わされる。この画素の大きさΔｄの式、変位量｜Δｘ｜＜Δｄの関係、入射瞳半径Ｒ〜ｐ／２、マイクロレンズ２ｍの焦点距離ｆｍを表わす式（３）などから、式（４）はマイクロレンズ２ｍのＦナンバーＦＮｍに関する下記の二次不等式となる。なお、収差の影響が大きくなる条件として、入射瞳Ｐｕ内における主光線ＭＬの角度φ＝０とした。

まず、式（４）に、γ〜ｆｍ／２、Ｒ〜ｐ／２、φ＝０を代入すると、以下のような式となる。

Δｘ＝−ｆｍ／２（η（ｐ／２）³／ｆｍ³ ＋ ε・Θ（ｐ／２）²（２＋１）／ｆｍ²
＋ ξ・Θ²（ｐ／２）／ｆｍ）
＝−ｆｍ／２（η・ｐ³／８ｆｍ³ ＋３ε・Θ・ｐ²／４ｆｍ²
＋ ξ・Θ²・ｐ／２ｆｍ）（５）
一方、変位量｜Δｘ｜＜ΔｄにΔｄ＝ｐ／ｎを代入すると、以下のようになる。

｜Δｘ｜＜Δｄ＝ｐ／ｎ（６）
式（６）に式（５）を代入すると、以下のように計算される。

ｆｍ／２（η・ｐ³／８ｆｍ³ ＋３ε・Θ・ｐ²／４ｆｍ²
＋ ξ・Θ²・ｐ／２ｆｍ）＜ｐ／ｎ
η（ｐ／ｆｍ）²／１６＋３ε・Θ（ｐ／ｆｍ）／８
＋ ξ・Θ²／４＜１／ｎ（７）
式（７）に、式（３）のｆｍ＝ｐ・ＦＮｍ、ε〜η／７、ξ〜３η／２を代入すると、以下のようになる。

η（１／ＦＮｍ）²／１６＋３（η／７）・Θ（１／ＦＮｍ）／８
＋（３η／２）・Θ²／４＜１／ｎ
１＋（６／７）Θ・ＦＮｍ
＋６Θ²・ＦＮｍ² ＜１６ＦＮｍ²／（ｎ・η）（８）
式（８）について、第２項の係数６／７を１に近似した上で、マイクロレンズ２ｍのＦナンバーＦＮｍについて解くと、以下のようになる。

（１６／（ｎ・η）−６Θ²）ＦＮｍ² − Θ・ＦＮｍ −１＞０
ＦＮｍ＞（Θ／ｔ）（１＋√（１＋４ｔ／Θ²））／２（９）
式（９）において、ｔ＝（１６／（ｎ・η）−６Θ²）である。撮像素子３の１辺の長さをＷとすると、係数Θは、撮像レンズ１とマイクロレンズアレイ２との間隔Ｇを用いて、Θ〜Ｗ／２Ｇと表わされる。

前述したように、撮像レンズ１の実効的なＦナンバーＦＮ（１＋β）と、マイクロレンズ２ｍのＦナンバーＦＮｍとは、一致していると仮定することができる。よって、撮像装置１０において、マイクロレンズ２ｍのＦナンバーＦＮｍを式（９）に従った値に設定することで、収差による変位の影響の少ない、画質特性の良好な撮像装置１０を実現することができる。

式（９）は、１つのマイクロレンズ２ｍあたりの画素数ｎ、マイクロレンズ２ｍへの最大入射角度ω、ザイデルの収差係数η，ε，ξ等によって規定される。たとえば、ｎ＝１３、ω＝０．２２（Ｗ＝７ｍｍ、Ｇ＝１６ｍｍ）とし、マイクロレンズ２ｍが平凸レンズであって、撮像レンズ１側にマイクロレンズ２ｍのレンズ部分が形成されている場合（η〜７／３）には、式（９）の右辺は約２．５となる。よって、マイクロレンズ２ｍのＦナンバーをＦＮｍ＞２．５となるように設定する。

以上のように、式（９）に従ってマイクロレンズ２ｍのＦナンバーＦＮｍの条件を決めることで、撮像素子３を介して画質特性の良好な画像を得ることができる。その結果、撮像装置１０は、ぼけの少ないリフォーカス像の再構成像を取得でき、リフォーカス範囲の低下を抑制することができる。

［奥行き方向の分解能と光学系のパラメータとの関係］
次に、撮像装置１０の奥行き方向の分解能と光学系のパラメータとの関係について、以下に説明する。

図１を参照して、光軸上にあり物体面Ａｋの１点から出た光は、前述したように、マイクロレンズアレイ２に入射する。マイクロレンズアレイ２を通過した当該光は、図６（ｂ）で説明したように、マイクロレンズアレイ２の光軸上のマイクロレンズ２ｍに対応する全ての画素領域に入射する。

図１において、物体面Ｂｋは、結像位置にある物体面Ａｋから撮像レンズ１側にΔＤだけ離れた位置にある。光軸上にあり物体面Ｂｋの１点から出た光は、前述したように、マイクロレンズアレイ２上で結像せず、マイクロレンズアレイ２上では広がった領域にスポットを形成する。

ここで、マイクロレンズアレイ２がない場合に物体面Ｂｋから出た光が結像する面をＥｋとし、この面を仮想焦点面と呼ぶことにする。また、撮像レンズ１の焦点距離はｆである。このとき、撮像レンズ１と仮想焦点面Ｅｋとの間隔をＧｘとすると、結像関係の式から次の関係が成り立つ。

１／（Ｄ−ΔＤ）＋１／Ｇｘ＝１／ｆ（１０）
また、物体面Ｂｋから出た光のマイクロレンズアレイ２上での広がりをＭＸとし、撮像レンズ１の直径をＨとする。このとき、マイクロレンズアレイ２上での光の広がりＭＸは、幾何学的な関係から以下のように表わされる。

ＭＸ＝（Ｈ／２）（Ｇｘ−Ｇ）／Ｇｘ（１１）
被写体である物体の奥行き情報とは、物体面Ａｋから出た点光源の光と物体面Ｂｋから出た点光源の光とを区別することを意味する。物体の奥行き情報を取得するためには、マイクロレンズアレイ２上に広がる光のスポット径の変化に応じて、物体面Ｂｋから出た光の一部が、マイクロレンズアレイ２に形成された異なるマイクロレンズ２ｍに入射することが必要となる。

上述したマイクロレンズアレイ２上での広がりＭＸが、マイクロレンズ２ｍの半ピッチｐ／２に等しいと仮定する。このとき、撮像レンズ１と仮想焦点面Ｅｋとの間隔Ｇｘは、式（１１）により以下のように表わされる。

ｐ／２＝（Ｈ／２）（Ｇｘ−Ｇ）／Ｇｘ
（ｐ／Ｈ）＝（Ｇｘ−Ｇ）／Ｇｘ（１２）
したがって、物体の奥行き情報を取得できる最小の変化量ΔＤは、式（１）、（１０）および（１２）を用いて、以下のように表わすことができる。最小の変化量ΔＤは、光学系のパラメータから決まる原理的な奥行き情報の分解能を意味する。

１／（Ｄ−ΔＤ）＋１／Ｇｘ＝１／Ｄ＋１／Ｇ
１／（Ｄ−ΔＤ） − １／Ｄ＝（Ｇｘ−Ｇ）／（Ｇｘ・Ｇ）
ΔＤ／（Ｄ（Ｄ−ΔＤ））＝（ｐ／Ｈ）（１／Ｇ）
ΔＤ・Ｈ・Ｇ＝Ｄ・ｐ（Ｄ−ΔＤ）
ΔＤ＝Ｄ²・ｐ／（Ｈ・Ｇ＋Ｄ・ｐ）（１３）
ここで、式（１３）の右辺の分子および分母にＧ／Ｈ・Ｄ²を掛け、α＝ｐ／Ｈ、撮像レンズ１の倍率β＝Ｇ／Ｄを代入すると、以下のようになる。

ΔＤ＝（ｐ／Ｈ）Ｇ／（（Ｇ／Ｄ）²＋（ｐ／Ｈ）（Ｇ／Ｄ））
＝ α・Ｇ／（β²＋α・β）（１４）
α・β〜β²という条件を適用すると、式（１４）は以下のようになる。

ΔＤ＝ α・Ｇ／２β² （１５）
一方、マイクロレンズ２ｍの焦点距離ｆｍは、撮像レンズ１の焦点距離ｆ＝Ｈ・ＦＮ、前述のα＝ｐ／Ｈ、撮像レンズ１の倍率β＝Ｇ／Ｄ、および式（１）の関係を用いて、式（３）を変形していくと、以下のように計算される。

ｆｍ＝Ｈｍ・ＦＮｍ
＝ｐ・ＦＮ（１＋β）
＝ｐ・（ｆ／Ｈ）（１＋（Ｇ／Ｄ））
＝ α・ｆ（１＋（Ｇ／Ｄ））
＝ α（ＤＧ／（Ｄ＋Ｇ））（（Ｄ＋Ｇ）／Ｄ）
＝ α・Ｇ（１６）
上記により、マイクロレンズ２ｍのＦナンバーＦＮｍは、レンズ径Ｈｍとレンズピッチｐとが等しい条件に加え、式（２）、（１５）および（１６）を用いると、以下のように計算される。

ＦＮｍ＝ｆｍ／Ｈｍ
＝（α・Ｇ）／ｐ
＝（ΔＤ・２β²）／ｐ（１７）
この発明の実施の形態の撮像装置１０において、最小変化量ｒで物体の奥行き情報を取得するには、式（１７）のマイクロレンズ２ｍのＦナンバーＦＮｍを、ｒ＞ΔＤを満たす条件で設定すればよい。具体的には、以下のようになる。

ＦＮｍ＝ ΔＤ・２β²／ｐ＜２ｒ・β²／ｐ（１８）
上述したように、マイクロレンズ２ｍのＦナンバーＦＮｍは、撮像レンズ１の実効的なＦナンバーＦＮ（１＋β）と等しくなる。また、式（３）より、マイクロレンズ２ｍの焦点距離ｆｍは、マイクロレンズ２ｍのピッチｐと、撮像レンズ１の実効的なＦナンバーＦＮ（１＋β）との積となる。式（３）を用いると、式（１８）はマイクロレンズ２ｍの焦点距離ｆｍの式として、以下のように表わされる。

ｆｍ＜２ｒ・β² （１９）
式（１９）において、β²は撮像レンズ１の縦倍率を表わす。また、最小変化量ｒは、撮像装置１０に必要な奥行き方向の分解能を意味する。この発明の実施の形態の撮像装置１０では、式（１９）に従い、マイクロレンズ２ｍの焦点距離ｆｍを、上記分解能ｒの２倍と縦倍率β²との積よりも小さくなるように設定する。

以上により、この発明の実施の形態の撮像装置１０において、所定の奥行き分解能を保ち、かつ良好なリフォーカス画像を得るためには、式（９）および（１８）の範囲で決まるように光学系パラメータを設定すればよい。具体的には、マイクロレンズ２ｍのＦナンバーＦＮｍ、マイクロレンズ２ｍのレンズピッチｐ、撮像レンズ１の倍率βなどを、式（９）および（１８）の範囲で設定すればよい。撮像レンズ１の倍率β＝Ｇ／Ｄは、撮像レンズ１とマイクロレンズアレイ２との間隔Ｇと、物体面Ａｋと撮像レンズ１との間隔Ｄとを設定することにより定められる。

例えば、マイクロレンズ２ｍのＦナンバーＦＮｍ＝３、マイクロレンズ２ｍのレンズピッチｐ＝５０（μｍ）で、撮像装置１０に必要な奥行き分解能ｒが５ｍｍ以下を実現するには、倍率β〜０．１２となるように撮像装置１０の光学系パラメータを決定すればよい。マイクロレンズ２ｍのＦナンバーＦＮｍ＝３は、平凸レンズで撮像レンズ１側にレンズ形状が形成されている場合の式（９）のＦナンバーの条件を満たしている。そのため、上記パラメータ設定によって、良好なフォーカシング画像を得ることができる。

マイクロレンズアレイ２の平凸レンズに対してレンズが形成されている面から光を入射する方が、発生する収差を小さく抑えられる。そのため、マイクロレンズアレイ２のレンズ形状が形成されている面を撮像レンズ１側に向けて配置することにより、収差が抑えられたフォーカシング画像を得ることができる。

以上のように、この発明の実施の形態によれば、式（９）および（１８）の範囲で決まるように、片側の面が球面形状の平凸レンズ形状を有するマイクロレンズを用いた撮像装置の光学系パラメータを設定することにより、マイクロレンズによって発生する収差の影響の少ない撮像特性の良好な撮像装置を実現することができる。

上記により、所定の奥行き分解能を満たし、かつ広範囲で良好なリフォーカス像が取得できる撮像装置を実現できる。また、単一画像から画素の再配置によって再構成されたリフォーカス像の画質を向上させることができる。さらに、単一画像から画素の再配置によって再構成できる範囲が縮小するのを抑制することができる。

今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

この発明の実施の形態による撮像装置１０の光学系の概略的な構成を示した図である。マイクロレンズ２ｍのＦナンバーＦＮｍと撮像レンズ１のＦナンバーＦＮとの関係について説明するための図である。この発明の実施の形態による撮像装置１０において収差を表わす量を説明するための図である。非特許文献１で用いられている従来のプレノプティックカメラ１００の光学系の構成を示した図である。マイクロレンズアレイ１２に集光した光が撮像素子１３上の一部の領域に広がって検出される状態を示した図である。マイクロレンズ１２ａ，１２ｂ，１２ｄ上での集光状態および撮像素子１３に光が入射する画素の状態を示した図である。マイクロレンズアレイ１２に垂直方向および斜め方向から光線が入射した場合の撮像素子１３上の画素の状態を示した図である。

符号の説明

１，１１撮像レンズ、２，１２マイクロレンズアレイ、２ｍ，１２ａ〜１２ｅ，１２ｍマイクロレンズ、３，１３撮像素子、１０撮像装置、１００プレノプティックカメラ。

Claims

物体の複数の焦点面画像を画像処理により生成する撮像装置であって、
前記物体からの光を集光する撮像レンズと、
前記撮像レンズからの光を受ける、片側の面に球面形状の複数のマイクロレンズが形成されたマイクロレンズアレイと、
前記マイクロレンズの焦点距離の位置に配置され、複数の画素を含む撮像素子とを備え、
前記マイクロレンズの焦点距離は、前記撮像装置に必要な奥行き分解能の２倍と、前記撮像レンズの縦倍率との積よりも小さくなるように設定される、撮像装置。
前記マイクロレンズのＦナンバー（ＦＮｍ）と、前記マイクロレンズの１ピッチ内に含まれる前記撮像素子の画素数（ｎ）と、前記マイクロレンズの各々のレンズ形状で決まる球面収差の係数（η）と、前記撮像レンズに入射する光線の光軸に対する入射角度で決まる係数（Θ）とは、以下の関係式
（１６／（ｎ・η）−６Θ²）ＦＮｍ² − Θ・ＦＮｍ −１＞０
を満たすように設定される、請求項１に記載の撮像装置。
前記マイクロレンズアレイのレンズ形成面は、前記撮像レンズ側に配置されている、請求項１または２に記載の撮像装置。