JP2015138263A - レンズモジュール及び撮像モジュール並びに撮像装置 - Google Patents

Abstract

【課題】メインレンズの結像面上での位置による焦点のずれを低減させることができるレンズモジュール及び撮像モジュール並びに撮像装置を提供する。【解決手段】レンズモジュールを、メインレンズと、メインレンズの結像面に対してメインレンズの光軸方向に間隔をあけて設けられており、メインレンズを透過して入射する被写体光を入射方向ごとに結像させる複数のレンズを有するレンズアレイとにより構成する。予め取得されたメインレンズの結像面上での位置による焦点のずれに応じて、焦点のずれを補正可能に複数のレンズの結像特性を複数のレンズごとに調整する。【選択図】図７

Description

本発明は、メインレンズとレンズアレイを備えるレンズモジュール、及びこのレンズモジュールを備える撮像モジュール、並びにこの撮像モジュールを備える撮像装置に関する。

近年、「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ」を用いて、被写体面上での２次元的な光の強度分布と視差情報（合わせて「ライトフィールド」という。）を同時に取得するプレノプティックカメラ（Ｐｌｅｎｏｐｔｉｃ ２．０ Ｃａｍｅｒａ）が良く知られている（特許文献１から３参照）。プレノプティックカメラは、メインレンズと、このメインレンズとイメージセンサとの間であってかつメインレンズの結像面に対してメインレンズの光軸方向に間隔をあけて設けられたレンズアレイと、を有している。

レンズアレイには、メインレンズの光軸に対して垂直な面に２次元状にマイクロレンズが配列されている。各マイクロレンズは、メインレンズを透過した被写体光（メインレンズにより集光される被写体光）をその入射方向ごとにイメージセンサのセンサ受光面に結像させる。プレノプティックカメラは、マイクロレンズごとにイメージセンサのセンサ受光面に結像された被写体のサブイメージを再配置して被写体像を生成する。

また、特許文献１から３に記載のプレノプティックカメラでは、被写体距離（近景、遠景等）に応じて焦点距離の異なる複数種類のマイクロレンズによりレンズアレイを構成することで、より広い距離の範囲にわたって高精細な被写体像を得ている。

特開２０１３−１９８０１６号公報 特開２０１３−１９８０１５号公報 特表２０１２−５２５０２８号公報

ところで、プレノプティックカメラのメインレンズとして用いられる理想的なレンズでは平面物体の像面が平面となるが、現実のレンズでは像面は必ずしも平面とはならずに像面が湾曲する像面湾曲が発生する。また、現実のレンズでは、レンズの光軸に対する被写体光の角度が大きくなると非点収差も問題となる。ここで非点収差とは、レンズの放射方向と同心円方向とで合焦位置が一致せずに像が点にならない現象をいう。レンズには、放射状のサジタル焦線と同心円状のメリジオナル焦線という２つの焦線があるが、この２つの焦線によってつくられる像面はそれぞれ平面でなく、放射方向と同心円方向とで異なる曲面となっている。

このような像面湾曲や非点収差を低減させるため、上記特許文献１から３に記載のプレノプティックカメラにおいても、メインレンズを多数のレンズの組み合わせにより構成しているのが通常である。このため、メインレンズを構成するレンズの枚数が多くなるので、メインレンズが大きく重くなるという問題が発生する。

本発明の目的は、メインレンズを多数のレンズの組み合わせにより構成することなく像面湾曲や非点収差などのメインレンズの結像面上での位置による焦点のずれを低減可能なレンズモジュール、及びこのレンズモジュールを備える撮像モジュール、並びにこの撮像モジュールを備える撮像装置を提供することにある。

本発明の目的を達成するためのレンズモジュールは、メインレンズと、メインレンズの結像面に対してメインレンズの光軸方向に間隔をあけて設けられたレンズアレイであって、メインレンズを透過して入射する被写体光を入射方向ごとに結像させる複数のレンズを有するレンズアレイと、を備え、レンズアレイは、予め取得されたメインレンズの結像面上での位置による焦点のずれに応じて、焦点のずれを補正可能に複数のレンズの結像特性が複数のレンズごとに調整されている。

本発明によれば、メインレンズの結像面上での位置による焦点のずれをレンズアレイにより補正することができる。

レンズアレイは、複数のレンズのレンズパワーが複数のレンズごとに調整されていることが好ましい。これにより、メインレンズの結像面上での位置による焦点のずれ、特に像面湾曲を補正することができる。

レンズアレイは、複数のレンズの個々のレンズパワーが、メインレンズのサジタル方向とメリジオナル方向とで異なることが好ましい。これにより、メインレンズの結像面上での位置による焦点のずれ、特に非点収差を補正することができる。

レンズアレイは、複数のレンズの光軸方向の位置または厚みが複数のレンズごとに調整されていることが好ましい。これにより、メインレンズの結像面上での位置による焦点のずれ、特に像面湾曲を補正することができる。

メインレンズは、レンズアレイの位置に対しメインレンズに向かう方向とは反対方向側にずれた位置に被写体光を結像させる結像特性を有することが好ましい。メインレンズの結像面上での位置による焦点のずれをレンズアレイにより補正することができる。

メインレンズは、メインレンズとレンズアレイとの間の位置に被写体光を結像させる結像特性を有することが好ましい。メインレンズの結像面上での位置による焦点のずれをレンズアレイにより補正することができる。

本発明の目的を達成するための撮像モジュールは、上記のレンズモジュールと、複数のレンズごとに結像される被写体光を撮像して被写体の部分ごとの撮像信号を取得するイメージセンサと、を備える。

本発明の目的を達成するための撮像装置は、上記の撮像モジュールと、イメージセンサで取得された撮像信号に基づき、被写体像を生成する画像生成部と、を備える。

画像生成部は、撮像信号に基づき、複数のレンズごとに結像される部分画像を構成する画素を再配置して被写体像を生成することが好ましい。これにより、個々の部分画像から被写体像を生成することができる。

画像生成部は、再配置した部分画像の重なり合う画素同士を合成することが好ましい。これにより、個々の部分画像から被写体像を生成することができる。

本発明のレンズモジュール及び撮像モジュール並びに撮像装置は、メインレンズの結像面上での位置による焦点のずれをレンズアレイにより低減させることができる。

撮像装置の正面斜視図である。 撮像装置の背面斜視図である。 撮像装置の電気的構成を示すブロック図である。 撮像装置の撮像光学系の概略図である。 メインレンズの像面湾曲を説明するための説明図である。 メインレンズの非点収差を説明するための説明図である。 本発明のレンズアレイによる像面湾曲や非点収差の低減を説明するための説明図である。 レンズアレイの正面図である。 マイクロレンズを同心円状に配列させた別実施例のレンズアレイの正面図である。 マイクロレンズのレンズパワーを均一化させている比較例を説明するための説明図である。 画像生成部による画像データ生成処理を説明するための説明図である。 マイクロレンズの光軸方向の位置を調整している他実施形態１を説明するための説明図である。 マイクロレンズの光軸方向の厚みを調整している他実施形態１の変形例を説明するための説明図である。 メインレンズが異なる他実施形態２を説明するための説明図である。 他実施形態２における像面湾曲や非点収差の低減を説明するための説明図である。 スマートフォンの斜視図である。 スマートフォンの電気的構成を示すブロック図である。

［撮像装置の全体構成］
図１及び図２は、いわゆるプレノプティックカメラ（Ｐｌｅｎｏｐｔｉｃ ２．０ Ｃａｍｅｒａ）である撮像装置２の正面斜視図、背面斜視図である。撮像装置２の前面には、プレノプティックカメラの撮像光学系を有するレンズ鏡筒３、ストロボ発光部５などが設けられている。また、撮像装置２の上面には、シャッタボタン６及び電源スイッチ７などが設けられている。

撮像装置２の背面には、表示部８及び操作部９などが設けられている。表示部８は、撮影モード時には電子ビューファインダとして機能することで、ライブビュー画像（スルー画ともいう）を表示する。また、画像再生時の表示部８には、メモリカード１０に記録されている画像データに基づき画像が再生表示される。

操作部９は、モード切替スイッチ、十字キー、実行キーなどから構成されている。モード切替スイッチは、撮像装置２の動作モードを切り替える際に操作される。撮像装置２は、被写体を撮像して被写体像を得る撮影モード、撮像済みの被写体像を再生表示する再生モードなどを有する。

十字キーや実行キーは、表示部８にメニュー画面や設定画面を表示したり、これらメニュー画面や設定画面内に表示されるカーソルを移動したり、撮像装置２の各種設定を確定したりする際などに操作される。

撮像装置２の底面には、図示は省略するが、メモリカード１０が装填されるカードスロットと、このカードスロットの開口を開閉する装填蓋とが設けられている。

図３に示すように、撮像装置２のＣＰＵ１１は、操作部９からの制御信号に基づき、ＥＥＰＲＯＭ１２から読み出した各種プログラムやデータを逐次実行して、撮像装置２の各部を統括的に制御する。メモリ１３は、ＣＰＵ１１が処理を実行するためのワークメモリや、各種データの一時保管先として機能する。

撮像装置２には、撮像モジュール１６が組み込まれている。撮像モジュール１６は、レンズ鏡筒３に組み込まれたレンズモジュール１８と、イメージセンサ１９とにより構成されている。なお、本明細書でいう「撮像モジュール１６」には、レンズモジュール１８とイメージセンサ１９とが一体化しているタイプ、及び両者が別体に設けられているタイプの両方を含むものとする。従って、イメージセンサ１９は、レンズ鏡筒３及び撮像装置２の本体のいずれに設けられていてもよい。

レンズモジュール１８は、「Ｐｌｅｎｏｐｔｉｃ２．０ Ｃａｍｅｒａ」の撮像光学系を構成するものであり、メインレンズ２１とレンズアレイ２２と図示しないメカシャッタとを備えている。メインレンズ２１は、被写体ＯＢ（図４参照）からの被写体光をイメージセンサ１９に向かう方向に集光させる。なお、メインレンズ２１は、図示しないフォーカス機構によりメインレンズ２１の光軸Ｌ１に沿って前後移動される。

レンズアレイ２２は、メインレンズ２１とイメージセンサ１９との間に配置されており、光軸Ｌ１に対して垂直な平面に２次元状（略２次元状を含む）に配列された複数のマイクロレンズ２２ａを有している。これら複数のマイクロレンズ２２ａは、本発明の複数のレンズに相当するものであり、例えば凸レンズが用いられる。各マイクロレンズ２２ａは、メインレンズ２１を透過した被写体光をイメージセンサ１９のセンサ受光面に結像させる。詳しくは後述するが、「Ｐｌｅｎｏｐｔｉｃ ２．０ Ｃａｍｅｒａ」のレンズアレイ２２は、マイクロレンズ２２ａごとに被写体像の一部分を切り出したようなサブイメージＰｓ（小画像ともいう、図４及び図１１参照）をイメージセンサ１９のセンサ受光面に結像させる。なお、サブイメージＰｓは本発明の部分画像に相当する。

メカシャッタは、イメージセンサ１９への被写体光の入射を阻止する閉じ位置と、被写体光の入射を許容する開き位置との間で移動する可動部を有する。メカシャッタは、可動部を各位置に移動させることにより、イメージセンサ１９に入射する被写体光の光路を開放／遮断する。また、メカシャッタには、イメージセンサ１９に入射する被写体光の光量を制御する絞りが含まれている。メカシャッタやフォーカス機構は、ＣＰＵ１１によって動作制御される。

イメージセンサ１９は、マイクロレンズ２２ａごとに結像される被写体光（サブイメージＰｓ）を撮像して、これら複数のサブイメージＰｓの集合体であるライトフィールド画像の撮像信号を出力する。このイメージセンサ１９としては、ＣＣＤ（Charge Coupled Device）型イメージセンサ、ＭＯＳ（Metal Oxide Semiconductor）型イメージセンサなどの各種類のイメージセンサ（撮像素子）を用いることができるが、本実施形態ではＣＣＤ型のイメージセンサ１９を用いる。センサ制御部２５は、ＣＰＵ１１の制御の下でイメージセンサ１９の駆動を制御する。イメージセンサ１９から出力された撮像信号は、相関二重サンプリング処理等が施され、増幅された後にＡ／Ｄ変換器２７に入力される。

Ａ／Ｄ変換器２７は、イメージセンサ１９から入力される撮像信号をデジタルの撮像信号に変換して画像入力コントローラ２８に出力する。なお、ＭＯＳ型のイメージセンサではＡ／Ｄ変換器が内蔵されているものがあり、この場合にはイメージセンサ１９からデジタルの撮像信号が直接出力される。

画像入力コントローラ２８は、Ａ／Ｄ変換器２７から入力される撮像信号をデジタル信号処理部２９へ出力する。

デジタル信号処理部２９は、画像入力コントローラ２８から入力される撮像信号に対して、オフセット処理、ホワイトバランス補正及び感度補正を含むゲイン・コントロール処理、ガンマ補正処理、ＹＣ処理等の所定の信号処理を行い、ライトフィールド画像の画像データを生成する。デジタル信号処理部２９は、信号処理済みの画像データを画像生成部３０へ出力する。

画像生成部３０は、詳しくは後述するが、デジタル信号処理部２９から入力されるライトフィールド画像の画像データ、すなわち、複数のサブイメージＰｓの画像データを構成する画素を再配置（再構成）して再構成画像である被写体像の画像データを生成する。画像生成部３０は、被写体像の画像データをＶＲＡＭ３２へ出力する。

ＶＲＡＭ３２は、例えば連続した２フィールド画分を記憶するライブビュー画像用のメモリエリアを有しており、画像生成部３０から入力される画像データを逐次上書き格納する。

ＡＥ検出部３３は、シャッタボタン６の第１段階の押下（半押し）があると、Ａ／Ｄ変換器２７から出力される撮像信号を取り込んだ後、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ１１に出力する。ＣＰＵ１１は、ＡＥ検出部３３から入力する積算値より被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影Ｅｖ値に基づいて前述の絞り（図示せず）の絞り値及びイメージセンサ１９の電子シャッタ（シャッタスピード）を所定のプログラム線図に従って決定する。そして、ＣＰＵ１１は、決定した絞り値に基づいて絞りを制御すると共に、決定したシャッタスピードに基づいてセンサ制御部２５を介してイメージセンサ１９での電荷蓄積時間を制御する。

ＡＥ動作が終了し、シャッタボタン６の第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２７から出力される撮像信号が画像入力コントローラ２８からメモリ１３に入力され、一時的に記憶される。メモリ１３に一時的に記憶された撮像信号は、デジタル信号処理部２９及び画像生成部３０により適宜読み出され、ここで輝度データ及び色差データの生成処理（ＹＣ処理）を含む所定の信号処理が行われて被写体像の画像データが生成される。この画像データ（ＹＣデータ）は、再びメモリ１３に記憶される。

圧縮伸長処理部３５は、シャッタボタン６が全押し操作されたときに、メモリ１３に格納された被写体像の画像データに対して圧縮処理を施す。また、圧縮伸長処理部３５は、メディアＩ／Ｆ３６を介してメモリカード１０から得られた圧縮画像データに対して伸長処理を施す。メディアＩ／Ｆ３６は、メモリカード１０に対する画像データの記録及び読み出しなどを行う。

表示制御部３８は、撮影モード時にはＶＲＡＭ３２に格納された画像データを読み出して表示部８へ出力する。これにより、ライブビュー画像が表示部８に表示される。また、表示制御部３８は、再生モード時には圧縮伸長処理部３５で伸長された画像データを表示部８へ出力する。

［メインレンズ及びレンズアレイの構成］
次に、図４を用いてメインレンズ２１及びレンズアレイ２２について説明を行う。メインレンズ２１は、レンズアレイ２２及びイメージセンサ１９の位置に対しメインレンズ２１に向かう方向とは反対方向側にずれた位置（すなわち、レンズアレイ２２及びイメージセンサ１９の位置よりも図中右側の位置）に被写体光を結像させる結像特性（光学特性ともいう）を有している。ここで図中の符号「Ｍａ」は、レンズアレイ２２及びイメージセンサ１９が配置されていないと仮定した場合にメインレンズ２１により結像される被写体像（虚像）であり、メインレンズ２１の結像面の位置を示す。また、図中の「＋」及び「×」は、被写体ＯＢの任意の一点を示すものである。また、図中の符号「Ｑ」は、後述の図１１において拡大表示される部分を示すものである。

図５に示すように、メインレンズ２１としては、例えば、下記表１に示すレンズデータで設計されているダブレットレンズが用いられる。下記表１における「ガラス欄」の空欄は空気を示している。なお、メインレンズ２１として用いるレンズの種類やレンズデータは特に限定されるものではない。

上記表１で示したレンズデータで設計されているメインレンズ２１（ダブレットレンズ）を単体で用いた場合には、メインレンズ２１の結像面上での位置による焦点のずれ、具体的には図５に示すような像面湾曲や図６に示すような非点収差が発生する。例えばメインレンズ２１の最終面とイメージセンサ１９のセンサ受光面の位置との間隔を９７．２ｍｍとした場合に、被写体光（入射光線）に対して以下の角度（０°、１０°、２０°）におけるメインレンズ２１の結像面上での位置による焦点（メインレンズ２１の最終面からの合焦位置、すなわち像面位置）のずれは下記の表２に示される。

ここで図６に示すように、上記表２における（Ｘ）はサジタル方向（サジタル焦線方向ともいう）を示し、（Ｙ）はメリジオナル方向（メリジオナル焦線方向ともいう）を示す。なお、図中の符号「Ｌ２」は主光線を示し、符号「ＭＸ」はサジタル像面を示し、符号「ＭＹ」はメリジオナル像面を示す。また、上記表２における「ずれ量」は、角度０°のサジタル方向及びメリジオナル方向の像面位置（９７．２（Ｘ）、９７．２（Ｙ））をそれぞれ基準とした場合における、角度ごとのサジタル方向の像面位置のずれ量、並びに角度ごとのメリジオナル方向の像面位置のずれ量である。

上記表２に示すように、被写体光の角度ごとのサジタル方向の像面位置、及び被写体光の角度ごとのメリジオナル方向の像面位置にそれぞれずれが生じている。このため、メインレンズ２１には、図５中の曲線Ｃｆで示したような像面湾曲が発生している。また、メインレンズ２１の光軸Ｌ１を通る角度０°の被写体光ではサジタル方向とメリジオナル方向とで像面位置が同じ値になるが、他の角度（１０°及び２０°）ではサジタル方向及びメリジオナル方向とで像面位置が異なっている。すなわち、サジタル方向とメリジオナル方向とで像面位置が一致していないので、メインレンズ２１には非点収差が発生している。

図４に戻って、レンズアレイ２２は、メインレンズ２１の結像面に対してメインレンズ２１の光軸方向（光軸Ｌ１に平行な方向）かつメインレンズ２１側に間隔をあけて設けられている。レンズアレイ２２の各マイクロレンズ２２ａは、被写体ＯＢからメインレンズ２１を透過して入射する被写体光を入射方向ごとにイメージセンサ１９のセンサ受光面に結像させる。これにより、イメージセンサ１９のセンサ受光面には、被写体像の部分的な縮小像（縮小された実像）であるサブイメージＰｓがマイクロレンズ２２ａごとに結像される。この際に、マイクロレンズ２２ａごとに結像されるサブイメージＰｓの撮像範囲は一部重複している。その結果、イメージセンサ１９は、撮影視点と撮像範囲の異なる複数のサブイメージＰｓが並んだ画像（ライトフィールド画像）を撮像することができる。なお、サブイメージＰｓ同士の重なり度合は、マイクロレンズ２２ａの焦点距離、口径、密度等で調整可能である。

各マイクロレンズ２２ａは、前述の像面湾曲や非点収差などの予め取得されたメインレンズ２１の結像面上での位置による焦点のずれ（以下、単に「焦点のずれ」という）に応じて、この焦点のずれを補正可能な結像特性を有している。ここでいう結像特性とはレンズパワーであり、レンズアレイ２２では、焦点のずれを補正可能に各マイクロレンズ２２ａのレンズパワーが個別に調整されている。具体的には、各マイクロレンズ２２ａのレンズパワーを、均一にせず、像面湾曲の程度やレンズアレイ２２内でのマイクロレンズ２２ａの位置などに応じて適宜異ならせることにより、マイクロレンズ２２ａごとのレンズパワーを不均一化させている。なお、レンズパワーは、マイクロレンズ２２ａの曲率半径や屈折率を変更することで調整することができる。

図７に示すように、例えばメインレンズ２１に前述の図５で示したような像面湾曲が発生している場合に、各マイクロレンズ２２ａのレンズパワーを、レンズアレイ２２の中心位置（光軸Ｌ１が通る位置）から離れた位置に配置されているマイクロレンズ２２ａほど弱くする。これにより、レンズアレイ２２の端側に位置するマイクロレンズ２２ａほど焦点距離が長くなる。このため、メインレンズ２１及びレンズアレイ２２との合成光学系であるレンズモジュール１８では像面が平面状になり、レンズモジュール１８により結像される像（ライトフィールド画像）をイメージセンサ１９のセンサ受光面上に位置させることができる。その結果、像面湾曲を補正（低減）することができる。

また、メインレンズ２１に非点収差が発生している場合に、サジタル方向とメリジオナル方向とでの像面位置のずれを補正可能に対応するマイクロレンズ２２ａごとのレンズパワーを、メインレンズ２１のサジタル方向とメリジオナル方向とで異ならせている。これにより、サジタル方向とメリジオナル方向とで像面位置を一致させられるため、非点収差を補正（低減）することができる。

例えばメインレンズ２１について、上記表２に示したような予め取得された被写体光の角度ごとの像面位置及び像面位置のずれ量に基づき、被写体光の角度ごとの像面位置のずれ量、サジタル方向及びメリジオナル方向の像面位置のずれ量がそれぞれ最小となるマイクロレンズ２２ａのサジタル方向及びメリジオナル方向の曲率半径が求められる。下記表３に、最適なマイクロレンズ２２ａのサジタル方向及びメリジオナル方向の曲率半径の値を示す。

図８に示すように、上記表３に示した結果に基づき、角度０°、１０°、２０°の被写体光が透過する位置にあるマイクロレンズ２２ａのサジタル方向（Ｘ）、メリジオナル方向（Ｙ）の曲率半径が決定される。また、角度０°、１０°、２０°の中間位置に位置するマイクロレンズ２２ａのサジタル方向（Ｘ）及びメリジオナル方向（Ｙ）の曲率半径については、上記ずれ量が最小となる値を個々に算出してもよい。さらに、上記中間位置に位置するマイクロレンズ２２ａや他の位置に位置するマイクロレンズ２２ａのサジタル方向（Ｘ）及びメリジオナル方向（Ｙ）の曲率半径については、上記表３に示した結果から補間した値を用いてもよい。

ここで、上記図８ではレンズアレイ２２を構成するマイクロレンズ２２ａが２次元マトリックス状に配列されている場合について説明したが、上記表３では角度０°、１０°、２０°の被写体光が透過する位置にあるマイクロレンズ２２ａの曲率半径が求められている。従って、例えば図９に示すように、レンズアレイ２２を構成するマイクロレンズ２２ａを同心円状に配列させてもよい。なお、マイクロレンズ２２ａの配列パターンは図８及び図９に示したパターンに限定されるものでなく、「Ｐｌｅｎｏｐｔｉｃ ２．０ Ｃａｍｅｒａ」に採用可能な各種パターンをとり得る。

上記メインレンズ２１及びレンズアレイ２２により構成されるレンズモジュール１８にて被写体光の角度ごとの像面位置を測定すると、下記表４に示すように、被写体光の角度ごとの像面位置のずれ量、サジタル方向及びメリジオナル方向の像面位置のずれ量が大幅に低減（ほぼゼロ）される。

これに対して比較例を示す図１０のように、レンズアレイ２２の代わりに、各マイクロレンズ２２ａのレンズパワーを均一（サジタル方向及びメリジオナル方向の曲率半径をＲ＝２．７０５）にしたレンズアレイ４０を配置した場合の被写体光の角度ごとの像面位置の測定結果を下記表５に示す。下記表５に示すように、被写体光の角度ごとの像面位置のずれ、及び同一角度におけるサジタル方向及びメリジオナル方向の像面位置のずれが発生している。すなわち、比較例では像面湾曲（図１０中の曲線Ｃｆで表示）及び非点収差が発生している。

このような比較例に対して、本発明では、マイクロレンズ２２ａごとのレンズパワーを均一にせず、被写体光の角度ごとの像面位置のずれ、及び同一角度におけるサジタル方向及びメリジオナル方向の像面位置のずれを補正可能に各々調整している（すなわち、マイクロレンズ２２ａごとのレンズパワーを不均一化している）ので、像面湾曲や非点収差を大幅に低減することができる。

［画像生成部による画像データの生成処理］
次に、図１１を用いて画像生成部３０による被写体像の画像データＰｍの生成処理について説明を行う。イメージセンサ１９は、上記構成のマイクロレンズ２２ａごとに結像される被写体光（サブイメージＰｓ）を撮像して、これら複数のサブイメージＰｓの集合体（サブイメージＡ、サブイメージＢ、サブイメージＣ、・・・）であるライトフィールド画像の撮像信号を出力する。このライトフィールド画像の撮像信号は、Ａ／Ｄ変換器２７、画像入力コントローラ２８、デジタル信号処理部２９を経て、ライトフィールド画像の画像データとして画像生成部３０に入力される。

画像生成部３０は、ライトフィールド画像の画像データ、すなわち、マイクロレンズ２２ａごとのサブイメージＰｓの画像データを構成する画素を再配置（再構成）する。具体的に画像生成部３０は、撮像範囲が一部重複するサブイメージＰｓ（ここではサブイメージＡ、Ｂ、Ｃ）同士を、各々のサブイメージＰｓ内の同一画素が重なるようにずらしながら重ね合せるとともに、各サブイメージＰｓの重なり合う画素同士を合成する。なお、図中では１次元方向のみにずらしているが、実際には２次元方向でずらしている。また、画素合成方法としては、例えば、加算平均、重み付け加算平均、代表画素の選択などの各種方法が用いられる。これにより、再構成された被写体像の画像データＰｍが得られる。上述したように本発明のレンズモジュール１８では像面湾曲や非点収差が大幅に低減されているので、良好な被写体像の画像データＰｍが得られる。なお、画素を再配置する方法は特に限定されるものではなく各種方法が用いられる。

［本発明の効果］
以上の通り、本発明の撮像装置２（レンズモジュール１８、撮像モジュール１６）は、予め取得されたメインレンズ２１の焦点のずれ（像面湾曲や非点収差）に応じて、この焦点のずれを補正可能にレンズアレイ２２を構成する各マイクロレンズ２２ａの結像特性（レンズパワー）を調整しているので、レンズアレイ２２により像面湾曲や非点収差を大幅に低減することができる。その結果、像面湾曲や非点収差を低減させるためメインレンズを多数のレンズの組み合わせにより構成している従来の撮像装置と比較して、メインレンズを構成するレンズの枚数を少なくすることができる。すなわち、メインレンズを小型化・軽量化することができる。

［他実施形態１］
次に、図１２を用いて本発明の他実施形態１について説明を行う。この他実施形態１は、レンズアレイ２２の代わりにレンズアレイ４２が設けられている点を除けば上記実施形態と基本的に同じであるので、上記実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。

上記実施形態のレンズアレイ２２では、予め取得されたメインレンズ２１の焦点のずれ（像面湾曲や非点収差）に応じて、この焦点のずれを補正可能に各マイクロレンズ２２ａのレンズパワーを調整している。これに対して、レンズアレイ４２では、マイクロレンズ２２ａごとのレンズパワーは均一にしているが、個々のマイクロレンズ２２ａのレンズ面の光軸方向（光軸Ｌ１に平行な方向）の位置Ｔｈを調整している。この位置Ｔｈは、例えばメインレンズ２１の最終面からのマイクロレンズ２２ａのレンズ面の位置である。位置Ｔｈを調整することでマイクロレンズ２２ａごとの焦点位置を光軸方向に調整することができるので、位置Ｔｈは、本発明の結像特性に相当するものである。

なお、各マイクロレンズ２２ａのレンズ面の位置Ｔｈを調整する場合には、マイクロレンズ２２ａごとのレンズパワーを調整する上記実施形態と同様に像面湾曲を補正可能であるが、サジタル方向（Ｘ）及びメリジオナル方向（Ｙ）の像面湾曲の両方を完全に補正することはできず、いずれか一方だけを完全に補正することができる。

例えば、上記表２に示したような予め取得された被写体光の角度ごとの像面位置及び像面位置のずれ量に基づき、下記表６に示すように、サジタル方向（Ｘ）の像面湾曲が補正されるような被写体光の角度ごとの最適なマイクロレンズ２２ａのレンズ面の光軸方向の位置Ｔｈが求められる。

このように、予め取得されたメインレンズ２１の焦点のずれ（像面湾曲）に応じて、この焦点のずれを補正可能にマイクロレンズ２２ａごとのレンズ面の光軸方向の位置Ｔｈを調整することによっても、像面位置のずれを補正することができる。その結果、像面湾曲を低減することができるので、上記実施形態とほぼ同様の効果が得られる。

［他実施形態１の変形例］
上記他実施形態１のレンズアレイ４２ではマイクロレンズ２２ａのレンズ面の光軸方向の位置Ｔｈを調整しているが、位置Ｔｈの調整を行う代わりに、図１３に示すレンズアレイ４４のようにマイクロレンズ２２ａごとの光軸方向の厚みを調整してもよい。マイクロレンズ２２ａごとの光軸方向の厚みを調整することで、マイクロレンズ２２ａごとの焦点距離を個別に調整することができる。従って、マイクロレンズ２２ａの光軸方向の厚みも本発明の結像特性に相当するものであり、メインレンズ２１の焦点のずれ（像面湾曲）に応じて個々の厚みを個別に調整することで、上記他実施形態１と同様の効果が得られる。なお、上記各実施形態で説明したマイクロレンズ２２ａのレンズパワーの調整と、マイクロレンズ２２ａの光軸方向の位置の調整と、マイクロレンズ２２ａの光軸方向の厚みの調整とを適宜組み合わせてもよい。

［他実施形態２］
次に、図１４を用いて本発明の他実施形態２について説明を行う。この他実施形態２は、上記実施形態のレンズモジュール１８の代わりに、レンズモジュール５０が設けられている点を除けば上記実施形態と基本的に同じであるので、上記実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。

レンズモジュール５０は、上記実施形態のメインレンズ２１の代わりに、メインレンズ５１を用いている。メインレンズ５１は、このメインレンズ５１とレンズアレイ２２との間に被写体光を結像させる結像特性を有している。なお、図中の符号「Ｍｂ」は、メインレンズ５１により結像される被写体像（実像）であり、メインレンズ５１の結像面を示す。従って、レンズモジュール５０のレンズアレイ２２は、メインレンズ５１の結像面に対してメインレンズ５１の光軸方向かつイメージセンサ１９側に間隔をあけて設けられている。

レンズモジュール５０は、「Ｐｌｅｎｏｐｔｉｃ ２．０ Ｃａｍｅｒａ」の撮像光学系を構成している点では、上記実施形態のレンズモジュール１８と本質的に同じである。従って、図１５に示すように、上記実施形態と同様にメインレンズ５１の焦点のずれ（像面湾曲や非点収差）に応じて、この焦点のずれを補正可能に各マイクロレンズ２２ａの結像特性（レンズパワー）を調整することで、像面湾曲や非点収差を大幅に低減することができる。その結果、上記実施形態と同様の効果が得られる。

なお、各マイクロレンズ２２ａのレンズパワーを調整する代わりに又はレンズパワーの調整に加えて、上記他実施形態１及びその変形例で説明したように、マイクロレンズ２２ａの光軸方向の位置や厚みを調整してもよい。

［その他］
上記図８及び図９に示したレンズアレイ２２は、図面の煩雑化を防止するため、マイクロレンズ２２ａの数を間引くと共にマイクロレンズ２２ａの径を大きめに示しているが、実際には径の小さいマイクロレンズ２２ａを多数配置して、個々の曲率半径を最適なものとしてもよい。また、レンズアレイ２２内でのマイクロレンズ２２ａの位置に応じてマイクロレンズ２２ａの径を異ならせてもよい。これにより、複雑に変化する像面湾曲や非点収差を低減することができる。

また、レンズアレイ２２を構成するマイクロレンズ２２ａのレンズパワーは固定であるが、例えば液体レンズなどのレンズパワーを可変可能な複数のレンズにより構成されるレンズアレイを用いてもよい。これにより、使用するメインレンズ２１の種類や特性に応じて個々のレンズのレンズパワーを最適に調整することができる。さらに、上記他実施形態１で説明したレンズアレイ４２において、レンズアレイ４２自体を変形（例えば湾曲）させることで、各マイクロレンズ２２ａのレンズ面の光軸方向の位置を調整してもよい。

上記実施形態では、レンズアレイ２２により像面湾曲や非点収差が低減される場合について説明を行ったが、メインレンズ２１の結像面上での位置による焦点のずれに起因して発生する各種の収差を低減させることができる。

上記実施形態や他実施形態では、マイクロレンズ２２ａのレンズパワー、マイクロレンズ２２ａの光軸方向の位置または厚みを個別に調整しているが、他のマイクロレンズ２２ａの結像特性に係るパラメータ（例えば、屈折率、分散値、レンズ枚数、レンズ口径、レンズ形状（非球面含む）など）を調整してもよい。

上記実施形態では、本発明のメインレンズとしてダブレットレンズを例に挙げて説明を行ったが、各種レンズをメインレンズとして用いてもよい。また、複数のレンズにより構成されるレンズ群を本発明のメインレンズとして用いてもよい。

上記各実施形態では、デジタルカメラ型の撮像装置２に用いられるレンズモジュール１８や撮像モジュール１６を例に挙げて説明を行ったが、各種の撮像装置に用いられるレンズモジュールや撮像モジュールに本発明を適用することができる。

上記実施形態では、レンズモジュール１８によりイメージセンサ１９のセンサ受光面にライトフィールド画像を結像させているが、イメージセンサ以外の各種センサ（フィルムを含む）にライトフィールド画像を結像させる各種撮像装置にも本発明を適用することができる。

［スマートフォンの適用例］
上記各実施形態では本発明の撮像装置としてデジタルカメラ型の撮像装置２を例に挙げて説明を行ったが、例えば、撮影機能を有する携帯電話機やスマートフォン、ＰＤＡ(Personal Digital Assistants)、タブレット端末、携帯型ゲーム機にも本発明を適用することができる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。

図１６は、スマートフォン５００の外観を示すものである。スマートフォン５００は、平板状の筐体５０１を有している。筐体５０１の一方の面には、表示入力部５０２と、スピーカ５０３と、マイクロホン５０４、操作部５０５と、カメラ部５０６とを備えている。なお、筐体５０１の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成、折り畳み構造やスライド機構を有する構成を採用することもできる。また、カメラ部５０６は、筐体５０１の他方の面にも設けられている。

表示入力部５０２は、画像（静止画像及び動画像）や文字情報などを表示する。また、表示入力部５０２は、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネル構造を有している。この表示入力部５０２は、表示パネル５１０と、操作パネル５１２とで構成されている。

表示パネル５１０は、ＬＣＤ(Liquid Crystal Display)、ＯＥＬＤ(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル５１２は、光透過性を有しており、表示パネル５１０の表示面上に載置されている。この操作パネル５１２は、ユーザの指や尖筆によって操作される一又は複数の座標を検出（例えば表示面上の一点を押下するタップ操作等が行われた場合には一の座標を検出し、表示面上で指や尖筆により軌跡を描くようなジェスチャ操作が行われた場合には複数の座標を検出）するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号をスマートフォン５００のＣＰＵに出力する。ＣＰＵは、受信した検出信号に基づいて、表示パネル５１０上の操作位置（座標）を検出する。このような操作パネル５１２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられる。

図１７に示すように、スマートフォン５００は、表示入力部５０２、スピーカ５０３、マイクロホン５０４、操作部５０５、カメラ部５０６、ＣＰＵ５０７、表示処理部５０８の他に、無線通信部５１５と、通話部５１６と、記憶部５１７と、外部入出力部５１８と、ＧＰＳ（Global Positioning System）受信部５１９と、モーションセンサ部５２０と、電源部５２１とを備える。

操作部５０５は、例えば押しボタン式のスイッチや十字キーなどを用いたハードウェアキーであり、ユーザからの指示を受け付ける。この操作部５０５は、例えば筐体５０１の表示部の下部や筐体５０１の側面に搭載される。

カメラ部５０６は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型のイメージセンサやＣＣＤ（Charge-Coupled Device）型のイメージセンサなどの各種イメージセンサを用いて電子撮影を行う撮像装置であり、上記実施形態の撮像装置２と基本的に同じ構成である。このカメラ部５０６により得られた画像データは、各種の圧縮画像データに変換して記憶部５１７に記録させたり、外部入出力部５１８や無線通信部５１５を通じて出力させたりすることができる。

表示処理部５０８は、ＣＰＵ５０７の指示に従って、表示入力部５０２に画像や文字情報を表示させる。

無線通信部５１５は、ＣＰＵ５０７の指示に従って、移動通信網に収容された基地局装置に対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

通話部５１６は、スピーカ５０３やマイクロホン５０４を備えている。通話部５１６は、マイクロホン５０４を通じて入力されたユーザの音声を音声データに変換してＣＰＵ５０７に出力したり、無線通信部５１５等で受信された音声データを復号してスピーカ５０３から出力したりする。

記憶部５１７は、ＣＰＵ５０７の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータなどを記憶し、またストリーミングデータなどを一時的に記憶する。また、記憶部５１７は、スマートフォン内蔵の内部記憶部５１７ａと着脱自在な外部メモリスロットを有する外部記憶部５１７ｂにより構成される。なお、内部記憶部５１７ａと外部記憶部５１７ｂとしては、フラッシュメモリタイプ、ハードディスクタイプなどの公知の各種記憶媒体が用いられる。

外部入出力部５１８は、スマートフォン５００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等により直接的または間接的に接続するためのものである。

ＧＰＳ受信部５１９は、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン５００の緯度、経度、高度からなる位置を検出する。この検出結果はＣＰＵ５０７に出力される。

モーションセンサ部５２０は、例えば、３軸の加速度センサなどを備えており、スマートフォン５００の物理的な動きを検出する。これにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果はＣＰＵ５０７に出力される。また、電源部５２１は、図示しないバッテリに蓄えられた電力をスマートフォン５００の各部に供給する。

ＣＰＵ５０７は、記憶部５１７から読み出した制御プログラムや制御データに従って動作し、スマートフォン５００の各部を統括して制御する。また、ＣＰＵ５０７は、表示パネル５１０に対する表示制御、操作部５０５や操作パネル５１２を通じたユーザ操作を検出する操作検出制御などを実行する。

表示制御の実行により、ＣＰＵ５０７は、アプリケーションソフトウェアを起動するためのアイコン、スクロールバーなどのソフトウェアキーを表示、あるいは電子メールを作成するためのウィンドウなどを表示パネル５１０に表示させる。なお、スクロールバーとは、表示パネル５１０の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、ＣＰＵ５０７は、操作部５０５を通じたユーザ操作を検出したり、操作パネル５１２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

さらに、操作検出制御の実行によりＣＰＵ５０７は、操作パネル５１２に対する操作位置が、表示パネル５１０に重なる重畳部分（表示領域）か、それ以外の表示パネル５１０に重ならない外縁部分（非表示領域）かを判定し、操作パネル５１２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、ＣＰＵ５０７は、操作パネル５１２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することができる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

上記構成のスマートフォン５００のカメラ部５０６は、上記実施形態の撮像装置２と基本的に同じ構成であるので、上記実施形態と同様の効果が得られる。

２…撮像装置，１６，５０…撮像モジュール，１８，４２，４４…レンズモジュール，１９…イメージセンサ，２１，５１…メインレンズ，２２…レンズアレイ，２２ａ…マイクロレンズ，３０…画像生成部，Ｐｓ…サブイメージ

Claims (10)

1. メインレンズと、
   前記メインレンズの結像面に対して前記メインレンズの光軸方向に間隔をあけて設けられたレンズアレイであって、前記メインレンズを透過して入射する被写体光を入射方向ごとに結像させる複数のレンズを有するレンズアレイと、を備え、
   前記レンズアレイは、予め取得された前記メインレンズの結像面上での位置による焦点のずれに応じて、前記焦点のずれを補正可能に前記複数のレンズの結像特性が前記複数のレンズごとに調整されているレンズモジュール。
2. 前記レンズアレイは、前記複数のレンズのレンズパワーが前記複数のレンズごとに調整されている請求項１記載のレンズモジュール。
3. 前記レンズアレイは、前記複数のレンズの個々の前記レンズパワーが、前記メインレンズのサジタル方向とメリジオナル方向とで異なる請求項２記載のレンズモジュール。
4. 前記レンズアレイは、前記複数のレンズの光軸方向の位置または厚みが前記複数のレンズごとに調整されている請求項１から３のいずれか１項に記載のレンズモジュール。
5. 前記メインレンズは、前記レンズアレイの位置に対し前記メインレンズに向かう方向とは反対方向側にずれた位置に前記被写体光を結像させる結像特性を有する請求項１から４のいずれか１項に記載のレンズモジュール。
6. 前記メインレンズは、当該メインレンズと前記レンズアレイとの間の位置に前記被写体光を結像させる結像特性を有する請求項１から４のいずれか１項に記載のレンズモジュール。
7. 請求項１から６のいずれか１項に記載のレンズモジュールと、
   前記複数のレンズごとに結像される前記被写体光を撮像して被写体の部分ごとの撮像信号を取得するイメージセンサと、
   を備える撮像モジュール。
8. 請求項７記載の撮像モジュールと、
   前記イメージセンサで取得された前記撮像信号に基づき、被写体像を生成する画像生成部と、
   を備える撮像装置。
9. 前記画像生成部は、前記撮像信号に基づき、前記複数のレンズごとに結像される部分画像を構成する画素を再配置して前記被写体像を生成する請求項８記載の撮像装置。
10. 前記画像生成部は、前記再配置した前記部分画像の重なり合う画素同士を合成する請求項９記載の撮像装置。

Images