JP2012054668A - 撮像モジュールおよび撮像装置 - Google Patents

Abstract

【課題】視差が比較的に小さい画像を提供すること。
【解決手段】撮像モジュールは、第１光学系と、第１光学系とは異なる位置に光軸を持ち、予め定められた物点距離の範囲内に位置する物点からの光の波面を変調することにより当該物点からの光を物点距離によらず略同一の広さに広げ、当該物点からの光の波面を物点距離に応じた傾きに変調する第２光学系と、第１光学系および第２光学系のそれぞれを通じて被写体をそれぞれ撮像する撮像部とを備え、第２光学系は、予め定められた物点距離の範囲内に位置する物点からの光の波面を、第１光学系の光軸側に傾ける。
【選択図】図１

Description

本発明は、撮像モジュールおよび撮像装置に関する。

デフォーカス量を異ならせて複数の画像を撮像して、複数の画像内の同一被写体の像位置に基づき、被写体距離を特定する技術が知られている（例えば、特許文献１参照。）。また、複数の開口を通じて撮像した複数の画像に位置補正をして合成映像を得る技術が知られている（例えば、特許文献２参照。）。
特許文献１ 特開２０１０−８７８５６号公報
特許文献２ 特開２００２−２０４４６２号公報

複数の視点から撮像された画像には、視点位置のズレによる視差ズレが含まれる。立体撮影用、測距用等のように視差ズレを積極的に利用する場合を除けば、大きな視差ズレが存在することは不都合な場合がある。

上記課題を解決するために、本発明の一態様においては、撮像モジュールであって、第１光学系と、第１光学系とは異なる位置に光軸を持ち、予め定められた物点距離の範囲内に位置する物点からの光の波面を変調することにより当該物点からの光を物点距離によらず略同一の広さに広げ、当該物点からの光の波面を物点距離に応じた傾きに変調する第２光学系と、第１光学系および第２光学系のそれぞれを通じて被写体をそれぞれ撮像する撮像部とを備え、第２光学系は、予め定められた物点距離の範囲内に位置する物点からの光の波面を、第１光学系の光軸側に傾ける。

第２光学系は、より近い物点からの光の波面を、第１光学系の光軸側により大きく傾けてよい。

第１光学系は、予め定められた物点距離の範囲内に位置する物点からの光の波面を変調することにより当該物点からの光を物点距離によらず略同一の広さに広げ、当該物点からの光の波面を物点距離に応じた傾きに変調し、第１光学系は、より近い物点からの光の波面を、第２光学系の光軸側により大きく傾けてよい。

第１光学系を通じて撮像された第１画像に、第１光学系の点広がり関数の逆関数による点広がり補正を施し、第２光学系を通じて撮像された第２画像に、第２光学系の点広がり関数の逆関数による点広がり補正を施す補正部をさらに備えてよい。

補正部により補正された第１画像と第２画像とを重ね合わせて出力画像を生成する画像生成部をさらに備えてよい。

第２光学系は、物点からの光の位相分布を、光軸からの位置に関する２次より大きい次数の多項式で近似される位相分布にすることにより、物点からの光を物点までの距離によらず略同一の広さに広げてよい。

第２光学系は、物点からの光の位相分布を、デフォーカス量に応じた位相分布を表す２次の項を含む多項式で近似される位相分布にしてよい。

第２光学系は、物点からの光の位相分布を、３次以上の奇数次の項、および、デフォーカス量に応じた２次の項を含む多項式で近似される位相分布にしてよい。

第２光学系は、物点からの光の位相分布を、３次の項、および、デフォーカス量に応じた２次の項を含む多項式で近似される位相分布にしてよい。

第２光学系は、被写体光を結像する結像レンズと、被写体光の位相を変調する光変調部とを有し、第２光学系は、物点からの光の位相分布を、光変調部の位相変調による３次以上の奇数次の項、および、結像レンズによるデフォーカス量に応じた２次の項を含む多項式で近似される位相分布にしてよい。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

撮像装置１０のブロック構成の一例を示す図である。 光変調部による瞳面における位相分布の一例を示す図である。 デフォーカス量の変化の一例を示す図である。 物点距離に対する像位置のシフト量の依存関係の一例を示す図である。 ２次元の像面上で生じる像位置のシフトを示す図である。 レンズ、受光部および光変調部の位置関係を示す図である。 画像生成部１５０における画像処理を模式的に示す図である。 レンズ、受光部および光変調部の他の位置関係を模式的に示す図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、撮像装置１０のブロック構成の一例を模式的に示す。本実施形態に係る撮像装置１０は、視差が比較的に小さい画像を提供することを一つの目的とする。撮像装置１０は、第１撮像系１０１、第２撮像系１０２、画像信号生成部１７０、および、記録部１８０を備える。第１撮像系１０１および第２撮像系１０２は、撮像光軸が互いに異なる撮像系である。第１撮像系１０１と第２撮像系１０２とは、互いに異なる視点から同一の被写体を撮像する。

第１撮像系１０１は、第１光学系１１５および第１受光部１１９を有する。第１受光部１１９は、被写体からの光を第１光学系１１５を通じて受光し撮像する。第１光学系１１５は、第１レンズ１１０、および、被写体光の位相を変調する第１光変調部１１４を含む。第２撮像系１０２は、第２光学系１２５および第２受光部１２９を有する。第２受光部１２９は、被写体からの光を第２光学系１２５を通じて受光し撮像する。第２光学系１２５は、第２レンズ１２０、および、被写体光の位相を変調する第２光変調部１２４を含む。第１レンズ１１０および第２レンズ１２０は、結像レンズとする。このように、第２光学系１２５は、第１光学系１１５とは異なる位置に光軸を持つ。本図の第１撮像系１０１および第２撮像系１０２のブロック構成は、第１レンズ１１０および第２レンズ１２０の光軸を含む断面の模式断面図とする。

ここで、第１光変調部１１４および第２光変調部１２４が存在しないとして、Ｐ１およびＰ２の位置の物点からの光を例に挙げて、物点像が形成される位置を説明する。位置Ｐ１の物点からの光は、第１レンズ１１０および第２レンズ１２０にそれぞれ入射して、点線で示す向きで像面に入射する。位置Ｐ２の物点からの光は、一点破線で示す向きで像面に入射する。第１撮像系１０１側の像面では、撮像装置１０に対してより近い位置のＰ２からの光は、第２レンズ１２０の光軸位置からより離れた位置に入射する。第２撮像系１０２側の像面では、Ｐ２からの光は、第１レンズ１１０の光軸位置からより離れた位置に入射する。このため、物点までの距離が小さいほど、大きな視差が生じる。

次に、第１光変調部１１４および第２光変調部１２４が存在する場合について説明する。第１光変調部１１４は、予め定められた物点距離の範囲内に位置する物点からの光の波面を、物点距離に応じた傾きに変調する。この傾きにより生じる波面の向きは、第２光学系１２５の光軸側となる。すなわち、第１光変調部１１４は、当該物点からの光の波面を、第２光学系１２５の光軸側に傾ける。より具体的には、第１光学系１１５は、より近い物点からの光の波面を、第２光学系１２５の光軸側により大きく傾ける。第１光変調部１１４により変調された光の波面の進行方向を、本図の光線５１で模式的に示す。第１光変調部１１４による波面の傾きについては、後に説明する。

第２光変調部１２４も、第１光変調部１１４と同様の波面変調特性を有するが、波面を傾ける向きが第１光変調部１１４とは異なる。具体的には、第２光変調部１２４は、予め定められた物点距離の範囲内に位置する物点からの光の波面を、物点距離に応じた傾きに変調する。この傾きにより生じる波面の向きは、第１光学系１１５の光軸側となる。すなわち、第２光変調部１２４は、当該物点からの光の波面を、第１光学系１１５の光軸側に傾ける。より具体的には、第２光学系１２５は、より近い物点からの光の波面を、第１光学系１１５の光軸側により大きく傾ける。第２光変調部１２４により変調された光の波面の進行方向を、本図の光線５２で模式的に示す。

このように、第１光変調部１１４および第２光変調部１２４は、第１光変調部１１４および第２光変調部１２４が存在しない場合と比較して、物点までの距離に応じた視差を低減することができる。

第１撮像系１０１が備える第１受光部１１９について説明する。第１受光部１１９は、第１カラーフィルタアレイ１１６および第１撮像素子アレイ１１８を備える。第１カラーフィルタアレイ１１６は、予め定められた波長域の光を選択的に透過する複数のカラーフィルタを含む。第１カラーフィルタアレイ１１６は、当該複数のカラーフィルタが予め定められたパターンで配列されて形成される。例えば、第１カラーフィルタアレイ１１６は、当該複数のカラーフィルタがマトリクス状に配列されて形成される。各カラーフィルタが透過する波長域は、撮像目的に応じて設計すればよい。全カラーフィルタが特定波長域の光を選択的に透過してよく、互いに異なる波長域の光を選択的に透過する複数種類のカラーフィルタを含んでよい。

第１撮像素子アレイ１１８は、被写体からの光を第１光学系１１５を通じて受光する複数の撮像素子を含む。第１撮像素子アレイ１１８が含む複数の撮像素子は、第１カラーフィルタアレイ１１６が含む複数のカラーフィルタに対応して設けられる。各撮像素子は、第１カラーフィルタアレイ１１６に入射した被写体光のうち、対応するカラーフィルタを透過した光を受光する。各撮像素子は、受光した光の量に応じた強度の撮像信号を出力する。このように、第１撮像素子アレイ１１８は、第１光学系１１５を通じて被写体を撮像する複数の撮像素子を有する。

第２撮像系１０２が備える第２受光部１２９について説明する。第２受光部１２９は、第２カラーフィルタアレイ１２６および第２撮像素子アレイ１２８を備える。第２撮像系１０２において、第２カラーフィルタアレイ１２６は、予め定められた波長域の光を選択的に透過する複数のカラーフィルタを含む。第２カラーフィルタアレイ１２６は、当該複数のカラーフィルタが予め定められたパターンで配列されて形成される。例えば、第２カラーフィルタアレイ１２６は、当該複数のカラーフィルタがマトリクス状に配列されて形成される。各カラーフィルタが透過する波長域は、撮像目的に応じて設計すればよい。全カラーフィルタが特定波長域の光を選択的に透過してよく、互いに異なる波長域の光を選択的に透過する複数種類のカラーフィルタを含んでよい。

第２撮像素子アレイ１２８は、被写体からの光を第２光学系１２５を通じて受光する複数の撮像素子を含む。第２撮像素子アレイ１２８が含む複数の撮像素子は、第２カラーフィルタアレイ１２６が含む複数のカラーフィルタに対応して設けられる。各撮像素子は、第２カラーフィルタアレイ１２６に入射した被写体光のうち、対応するカラーフィルタを透過した光を受光する。各撮像素子は、受光した光の量に応じた強度の撮像信号を出力する。このように、第２撮像素子アレイ１２８は、第２光学系１２５を通じて被写体を撮像する複数の撮像素子を有する。

なお、第１レンズ１１０と第２レンズ１２０とは、互いに異なる光学特性を有してよい。ここで、光学特性とは、結像特性、明るさ特性などを例示することができる。光学特性を示す指標として、焦点距離、Ｆ値、有効口径などを例示することができる。また、第１受光部１１９と第２受光部１２９とは、受光特性が異なってもよい。例えば、第１カラーフィルタアレイ１１６と第２カラーフィルタアレイ１２６とは、選択的に透過する光の波長域が互いに異なってよい。例えば、第１カラーフィルタアレイ１１６が緑の波長域の光を選択的に透過するカラーフィルタを有してよい。そして、第２カラーフィルタアレイ１２６が、赤および青の波長域の光を選択的に透過するカラーフィルタを有してよい。また、第１カラーフィルタアレイ１１６と第２カラーフィルタアレイ１２６とは、カラーフィルタの配列パターンが異なってよい。また、第１撮像素子アレイ１１８と第２撮像素子アレイ１２８とは、配列された撮像素子のピッチが異なってよい。このように、第１撮像系１０１と第２撮像系１０２とは、異なる撮像特性を有してよい。

第１受光部１１９および第２受光部１２９の構成について説明する。第１受光部１１９および第２受光部１２９がそれぞれ有する複数の撮像素子は、同一平面上に設けられる。例えば、第１撮像素子アレイ１１８が有する複数の撮像素子、および、第２撮像素子アレイ１２８が有する複数の撮像素子は、同一基板上に形成される。例えば、第１撮像素子アレイ１１８が有する複数の撮像素子、および、第２撮像素子アレイ１２８が有する複数の撮像素子は、同一プロセスで同一基板の一面に同時に形成される。また、第１カラーフィルタアレイ１１６が有する複数のカラーフィルタおよび第２カラーフィルタアレイ１２６が有する複数のカラーフィルタも、対応する撮像素子の上部に同一プロセスで同時に形成される。これにより、第１受光部１１９および第２受光部１２９を一体に含む１つの撮像部１０９が製造される。第１受光部１１９の撮像面および第２受光部１２９の撮像面は、当該受光部が持つ撮像面の部分領域となる。なお、第１撮像素子アレイ１１８および第１カラーフィルタアレイ１１６を持つ第１受光部１１９と、第２撮像素子アレイ１２８および第２カラーフィルタアレイ１２６を持つ第２受光部１２９とは、互いに別個に製造して組み付けられてもよい。

各撮像系が備える複数の撮像素子は実質的に同時に露光される。各撮像素子が露光されると、読み出し部１７４は、当該複数の撮像素子から、撮像信号を読み出す。読み出し部１７４は、複数の撮像素子と同一基板上に形成された読み出し回路を有してよい。当該読み出し回路は、各撮像系に対して１つ設けられ、１つの読み出し回路が、各撮像系が備える複数の撮像素子から、撮像信号を順次に読み出してよい。なお、当該読み出し回路は、各撮像系に対してそれぞれ別個に設けられてよい。

各撮像系が備える複数の撮像素子は、ＭＯＳ型撮像素子であってよい。各撮像素子が同一プロセスで同一基板の一面に形成されたＭＯＳ型撮像素子である場合、読み出し部１７４は、各撮像系が備える光学系毎に、部分的に読み出すことができる。各撮像系が含む撮像素子は、ＭＯＳ型撮像素子の他、ＣＣＤ型撮像素子などの固体撮像素子で実装することもできる。

このように、撮像部１０９は、第１光学系１１５および第２光学系１２５のそれぞれを通じて被写体をそれぞれ撮像する。そして、読み出し部１７４が各撮像系が備える撮像素子から読み出した撮像信号は、補正部１７６に供給される。補正部１７６は、第１光学系１１５を通じて撮像された第１画像に、第１光学系１１５の点広がり関数の逆関数による点広がり補正を施す。また、補正部１７６は、第２光学系１２５を通じて撮像された第２画像に、第２光学系１２５の点広がり関数の逆関数による点広がり補正を施す。特に、補正部１７６は、第１光変調部１１４の点広がり関数の逆関数による点広がり補正を第１画像に施す。補正部１７６は、第２光変調部１２４の点広がり関数の逆関数による点広がり補正を第２画像に施す。

画像生成部１５０は、第１画像および第２画像から出力画像を生成する。画像生成部１５０は、補正部１７６により補正された第１画像と第２画像とを重ね合わせて、出力画像を生成する。画像生成部１５０は、出力画像を示す画像信号を記録部１８０に出力する。上述したように、第１光変調部１１４および第２光変調部１２４が存在することによって、視差が像面上で低減されている。このため、第１画像と第２画像とを単に重ね合わせるだけでも、視差ズレが小さい出力画像を提供することができる。

記録部１８０は、画像生成部１５０が生成した画像信号を記録する。記録部１８０は、画像生成部１５０から供給された画像信号が示す画像を、不揮発性メモリに記録してよい。当該不揮発性メモリは、記録部１８０が有してよい。また、当該不揮発性メモリは、撮像装置１０に対して着脱可能に設けられた外部メモリであってよい。記録部１８０は、撮像装置１０の外部に画像を出力してもよい。

撮像装置１０は、カメラ機能付きの携帯電話、デジタルカメラなどの撮像機器であってよい。第１撮像系１０１、第２撮像系１０２、および、画像信号生成部１７０を有する撮像モジュールは、これらの撮像機器用のカメラモジュールとして提供することができる。

図２は、第１光変調部１１４および第２光変調部１２４による瞳面における位相分布の一例を示す。ここでは、第１光変調部１１４および第２光変調部１２４は、一実施形態において同様の瞳関数を与える。このため、ここでは第１光変調部１１４および第２光変調部１２４を「光変調部」と総称する。また、対応する第１レンズ１１０および第２レンズ１２０を「レンズ」と総称する。また、対応する「光変調部」および「レンズ」を備える光学要素を「光学系」と総称する。

光変調部は、光軸を原点とする直交座標系に属する座標系の各座標値に関して、３次式で表される曲面形状を光学作用面に有するとする。光変調部によって、レンズの光軸対して直交する面内の直交する２軸をそれぞれＸおよびＹとしたとき、光変調部による波面収差は（Ｘ^３＋Ｙ^３）に比例する。このため、光変調部は、被写体光の位相を変調することとなる。

この波面収差によって、予め定められた物点距離の範囲内に位置する物点からの光は、物点距離によらず略同一の広さに広げられる。すなわち、光学系は、予め定められた物点距離の範囲内に位置する物点からの光の波面を変調することにより当該物点からの光を物点距離によらず略同一の広さに広げることができる。具体的には、予め定められた物点距離の範囲内に位置する物点からの光に対しては、光学伝達関数が略一定となる。つまり、物点距離に対する光学伝達関数の依存性が比較的に小さくなるとする。

物点からの光に対して波面変調効果を持たないレンズが像面上で結ぶ像を錯乱円と呼ぶこととすると、予め定められた物点距離の範囲内に位置する物点からの光を物点距離によらず略同一の広さに広げるとは、物点距離の差に応じて生じる錯乱円の大きさの差よりも、光の広がりの差を小さくすることを意味する。すなわち、予め定められた物点距離の範囲内に位置する物点に対して、光学系は、光の波面を変調することによって、光の波面を変調しない場合と比較して、物点からの光の広がりの差を小さくすることができる。物点距離の差に応じて生じる錯乱円の大きさの差よりも、光の広がりの差が小さくなるという効果を奏する程度であれば、光学系による光の広がりが完全に同一である必要はない。錯乱円の大きさの差よりも光の広がりの差が小さくなれば、物点像に点広がり補正をすることで、物点像の大きさを予め定められた許容値以下にすることができるという効果を奏する。

光変調部の存在により、物点からの光束の広がり幅は光軸方向に比較的に依存しなくなるが、その物点像はぼけを伴うこととなる。補正部１７６は、ぼけを伴う物点像を実質的に点像に復元する復元処理を施す。復元処理として、ぼけ像を点像に復元する復元フィルタを例示することができる。復元フィルタとして、光変調部によるぼけをキャンセルするデコンボリューションフィルタを例示することができる。デコンボリューションフィルタとしては、光学系によるぼけ像を点像に復元するべく光学系の光学伝達関数の逆変換をするものであってよい。復元フィルタは、逆フィルタ法に基づくデジタルフィルタなどで実装することができる。

なお、光変調部は、予め設計された波面収差を与える光学素子であればよく、上記の３次式曲面形状の光学作用面を持つ光学素子に限られない。光変調部の他の例として、屈折率変化により波面変調する屈折率分布型の波面変調レンズ、光の位相分布を変調する液晶素子等の波面変調素子等を例示することができる。

光変調部による波面の傾きについて説明する。光変調部およびレンズを含む光学系全体による位相分布には、レンズによるデフォーカスの効果が加えられる。デフォーカスの効果を分かり易く説明するために、Ｘ方向の一次元で説明する。デフォーカス量ｄとして、レンズ全体による一次元の位相分布φ（Ｘ）は、φ（Ｘ）＝Ｘ^３＋ｄＸ^２で表される。すなわち、光学系は、物点からの光の位相分布を、光軸からの位置に関する２次より大きい次数の多項式で近似される位相分布にする。

位相分布φ（ｘ）は、φ（ｘ）＝（ｘ＋ｄ／３）^３−（ｄ^２／３）ｘ−ｄ^３／２７と変形できる。変形後の式の第１項は、光変調部全体の位置シフトを表しており、この項による結像への影響は比較的に小さい。第２項は、波面の傾きを表しており、この項の影響が像位置のずれとして現れる。第３項は、定数の位相ずれを表しており、結像特性には影響しない。このように、光学系によると、デフォーカス量に応じて像位置にずれが生じる。

本図では、デフォーカス量が０の場合の位相分布の一例が位相分布２００に示されている。位相分布２１０および位相分布２２０は、デフォーカス量が正および負の場合の位相分布を示す。位相分布２１０の全体の傾きに注意すると、位相分布２１０の全体の傾きは、位相分布２００全体を負の向きに傾けた形に近いことがわかる。同様に、位相分布２２０全体の形も、位相分布２００全体を負の向きに傾けた形に近いことがわかる。このため、光学系は、物点からの光の波面を、デフォーカス量に応じて異なる傾きに変調することがわかる。デフォーカス量は物点距離に依存するので、光学系は、物点からの光の波面を、物点距離に応じて異なる傾きに変調するといえる。このデフォーカス量に応じた傾きが、像面上の像位置に影響する。

このように、光学系は、物点からの光の位相分布を、デフォーカス量に応じた位相分布を表す２次の項を含む多項式で近似される位相分布にする。具体的には、光学系は、物点からの光の位相分布を、３次以上の奇数次の項、および、デフォーカス量に応じた２次の項を含む多項式で近似される位相分布にしてよい。より具体的には、光学系は、物点からの光の位相分布を、３次の項、および、デフォーカス量に応じた２次の項を含む多項式で近似される位相分布にしてよい。なお、光学系は、物点からの光の位相分布を、光変調部の位相変調による３次以上の奇数次の項、および、レンズによるデフォーカス量に応じた２次の項を含む多項式で近似される位相分布にしてよい。

図３は、は、デフォーカス量の変化の一例を模式的に示す。軸上の位置Ｚ０の物点からの光は、結像レンズ３００によって、位置Ｚ０に対応する焦点面３１０と光軸との交点で結像する。物点の軸上の位置がＺ'に変わると、結像位置も光軸上でシフトする。したがって、位置Ｚ０の物点と位置Ｚ'の物点との間では、図示したデフォーカスの分だけデフォーカス量が変化する。

物点が結像レンズからより遠い位置にあるほど、その位置からの物点位置の変化に対するデフォーカス量の変化量は小さくなる。したがって、物点が位置Ｚ０よりも結像レンズ３００により近いほど、デフォーカス量はより大きく変化する。図２に関連して説明したように、光変調部による波面の傾き量は、（ｄ^２／３）に従って大きくなる。このため、遠距離の物点に対してデフォーカス量が小さく、近距離物点ほどデフォーカス量が大きくなるように結像関係を設定すると、光変調部は、より近い物点からの光の波面を、より大きく傾けることができるようになる。例えば、無限遠でデフォーカス量が実質的に０となるように設定してよい。また、波面の傾きの方向を逆向きにするには、位相差φ（Ｘ）の符号を逆とすればよい。図１で模式的に示したように、第１光変調部１１４と第２光変調部１２４とを対称に配置すれば、互いの方向に波面を傾けることができる。

図４は、物点距離と像位置のシフト量との間の依存関係の一例を模式的に示す。本グラフの横軸は、物点位置の光軸方向の変化量ΔＺを示す。Ｚ軸の正方向は、物点までの距離とする。物点距離が小さくなるほど、ΔＺは小さくなる。縦軸は、像面におけるＸ方向の像位置のシフト量ΔＸを示す。シフト量ΔＸは、デフォーカス量が０の場合の像位置を基準とする。

図３に関連して説明したように、物点距離が大きくなるほどデフォーカス量の変化量は小さくなる。また、光変調部による波面の傾き量は、（ｄ^２／３）に従って大きくなる。このため、デフォーカス量が０となる物点の位置を基準とした場合に、物点が遠方になるほどΔＸの増加量は小さくなり、物点が近方になるほどΔＸの増加量は大きくなる。図１で例示した位置Ｐ１が、デフォーカス量が０となる物点の位置よりも、ΔＺ１だけ撮像装置１０に近い位置にあるとする。この場合、位置Ｐ１の物点の像位置は、Ｘ方向にΔ１のシフト量が生じる。また、位置Ｐ２は、デフォーカス量が０となる物点の位置よりも、ΔＺ２だけ撮像装置１０に近い位置にあるとする。この場合、位置Ｐ２の物点の像位置は、Ｘ方向に、Δ１より大きいΔ２のシフト量が生じる。

以上、図３および図４において、Ｘ方向のシフト量を説明した。光変調部が与える波面収差が（Ｘ^３＋Ｙ^３）で表される場合、Ｙ方向にもＸ方向と同様のシフト量が生じることとなる。

図５は、２次元の像面上で生じる像位置のシフトを示す。図４に関連して説明したように、像位置のシフトは、Ｙ方向にもＸ方向と同様に生じる。このため、物点像は、Ｘ軸に関して正の傾きを持つ直線上に位置する。物点像の直線上の位置は、デフォーカス量に応じて、したがって物点距離に応じて、変化する。ＸＹ座標系の原点に対する像位置のシフト量は、近距離の物点ほど大きくなる。

図６は、レンズ、受光部および光変調部の位置関係を模式的に示す。本図は、被写体側から見た場合の位置関係を示す。ここで、第１レンズ１１０の光軸位置と第２レンズ１２０の光軸位置とが離間している方向をｘ方向とする。具体的には、第２レンズ１２０の光軸位置は、第１レンズ１１０の光軸位置よりも、ｘ軸の正方向に位置しているとする。この場合、第１光変調部１１４は、より近距離の物点の像をｘ軸の正方向へとより大きくシフトさせるべく、（Ｘ_１ ^３＋Ｙ_１ ^３）の波面収差を与える。一方、第２光変調部１２４は、より近距離の物点の像をｘ軸の負方向へとより大きくシフトさせるべく、（Ｘ_２ ^３＋Ｙ_２ ^３）の波面収差を与える。Ｘ_２Ｙ_２座標系は、Ｘ_１Ｙ_１座標系を１８０°回転させた座標系である。具体的には、第１光変調部１１４として実装する光変調素子を、光軸に垂直面内で１８０°回転させた向きの光変調素子を用いて、第２光変調部１２４を実装することができる。

図７は、画像生成部１５０における画像処理を模式的に示す。第１補正画像７１０は、第１レンズ１１０を通じて撮像された画像であり、補正部１７６による点広がり補正後の画像であるとする。第２補正画像７２０は、第２レンズ１２０を通じて撮像された画像であり、補正部１７６による点広がり補正後の画像であるとする。

ここで、ｘ方向を左右方向として、ｙ方向を上下方向とする。具体的には、撮像装置１０から被写体に向かって見た場合に、第１レンズ１１０は第２レンズ１２０の右側に位置しているとする。第１撮像系１０１は、右視点からの画像を撮像する撮像系であり、第２撮像系１０２は、左視点からの画像を撮像する撮像系となる。

第１補正画像７１０および第２補正画像７２０には、比較的に遠距離に位置する遠距離被写体の像が、それぞれ遠距離オブジェクト７１２および遠距離オブジェクト７２２として含まれる。また、第１補正画像７１０および第２補正画像７２０には、比較的に近距離に位置する近距離被写体の像が、それぞれ近距離オブジェクト７１４および近距離オブジェクト７２４として含まれる。

仮想位置７１１は、第１光変調部１１４が存在しない場合に、第１撮像系１０１において遠距離被写体の像が形成されるべき位置であるとする。仮想位置７２１は、第２光変調部１２４が存在しない場合に、第２撮像系１０２において遠距離被写体の像が形成されるべき位置であるとする。第１撮像系１０１および第２撮像系１０２は、それぞれ右視点および左視点から撮像する撮像系であるので、第１光変調部１１４および第２光変調部１２４が存在しない場合は、仮想位置７１１は、画像領域内で仮想位置７２１よりも左側に位置することとなる。このため、いわゆる視差ズレが現れる。しかしながら、第１光変調部１１４および第２光変調部１２４が存在することによって、遠距離被写体の像は、第１撮像系１０１で撮像した画像領域では右側にシフトするとともに、第２撮像系１０２で撮像した画像領域では左側にシフトする。これにより、視差ズレが低減される。

仮想位置７１３は、第１光変調部１１４が存在しない場合に、第１撮像系１０１において近距離被写体の像が形成されるべき位置であるとする。仮想位置７２３は、第２光変調部１２４が存在しない場合に、第２撮像系１０２において近距離被写体の像が形成されるべき位置であるとする。第１光変調部１１４および第２光変調部１２４が存在しない場合は、仮想位置７１３は、画像領域内で仮想位置７２３よりも左側に位置することとなる。また、近距離被写体の視差ズレ量は、遠距離被写体の視差ズレ量と比較して、大きなものとなる。しかしながら、第１光変調部１１４および第２光変調部１２４が存在することによって、近距離被写体の像は、第１撮像系１０１で撮像した画像領域では右側にシフトするとともに、第２撮像系１０２で撮像した画像領域では左側にシフトする。しかも、それぞれのシフト量は、遠距離被写体の像のシフト量よりも大きい。したがって、第１光変調部１１４および第２光変調部１２４が存在することによって、近距離被写体について生じる比較的に大きな視差ズレを、より強く低減することができる。

画像生成部１５０は、第１補正画像７１０と第２補正画像７２０とを合成することで、出力画像７３０を生成する。例えば、画像生成部１５０は、第１補正画像７１０と第２補正画像７２０とを重ね合わせて出力画像７３０を生成する。第１光変調部１１４および第２光変調部１２４が存在することによって像面で既に視差ズレが低減されている。このため、画像生成部１５０は、視差ズレに関する演算処理をすることなく、比較的に像ブレのない遠距離オブジェクト７３２および近距離オブジェクト７３４を生成することができる。

上述したように、第１光変調部１１４および第２光変調部１２４による波面変調効果と、補正部１７６による点広がり補正処理によって、比較的に広い距離範囲にわたって存在する被写体を撮像した場合でも、比較的に鮮明な画像を得ることができる。また、第１撮像系１０１と第２撮像系１０２との間で撮像特性を異ならせることで、各撮像特性がそれぞれ持つ特有の画質向上効果を利用することができる。例えば、レンズの明るさを異ならせれば、比較的にダイナミックレンジの高い出力画像を得ることができる。また、レンズの焦点距離を異ならせれば、少なくとも特定画像領域で空間解像度が高い出力画像を得ることができる。また、撮像光の波長域を異ならせれば、色信号の空間解像度が高い出力画像を得ることができる。

図８は、レンズ、受光部および光変調部の他の位置関係を模式的に示す。図６では、２つの撮像系として第１撮像系１０１および第２撮像系１０２が備える光学要素の位置関係を例示した。本例では、４つの撮像系を備える系での各光学要素の位置関係を例示する。

本例において、第１撮像系１０１および第２撮像系１０２が備える光学要素、具体的には第１レンズ１１０、第１光変調部１１４、第２レンズ１２０および第２光変調部１２４は、図６で説明した位置関係と同じ位置関係で配置されるとする。このため、ここでは具体的な説明は省略する。また、本例においても、撮像部１０９の位置関係は、図６の例と同様の位置関係とする。このため、他の光学要素の位置関係を明確にすべく、図示を省略した。

本例では、第３撮像系の一部としての第３レンズ１３０および第３光変調部１３４、および、第４撮像系の一部としての第４レンズ１４０および第４光変調部１４４が、図６で示した例に追加される。

第３レンズ１３０の光軸位置と第４レンズ１４０の光軸位置とは、ｙ方向に離間しているとする。具体的には、第３レンズ１３０の光軸位置は、第４レンズ１４０の光軸位置よりも、ｙ軸の正方向に位置しているとする。この場合、第３光変調部１３４は、より近距離の物点の像をｙ軸の負方向へとより大きくシフトさせるべく、（Ｘ_３ ^３＋Ｙ_３ ^３）の波面収差を与える。一方、第４光変調部１４４は、より近距離の物点の像をｙ軸の正方向へとより大きくシフトさせるべく、（Ｘ_４ ^３＋Ｙ_４ ^３）の波面収差を与える。Ｘ_４Ｙ_４座標系は、Ｘ_３Ｙ_３座標系を１８０°回転させた座標系である。具体的には、第３光変調部１３４として実装する光変調素子を、光軸に垂直面内で１８０°回転させた光変調素子を用いて、第４光変調部１４４を実装することができる。

上記において、２つの撮像系および４つの撮像系を有する形態を例に挙げて、撮像装置１０の機能および動作を説明した。撮像装置１０が有する撮像系の数は、２または４に限られない。撮像装置１０は、撮像系を２以上備えることができる。

なお、上記の例では、撮像装置１０が備える全ての撮像系が、光変調部を有するとしたが、全ての撮像系が光変調部を有しなくてもよい。例えば、第１撮像系１０１は第１光変調部１１４を有さず、第２撮像系１０２が第２光変調部１２４を有する構成を採用することができる。また、図８に例示した例では、第３撮像系が第３光変調部１３４を有さず、第４撮像系が第４光変調部１４４を有する構成を採用することができる。視差ズレの相殺効果は比較的に小さくなる場合があるが、この構成でも上述の効果と同様の効果を奏することは明らかである。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ 撮像装置
５１、５２ 光線
１０１ 第１撮像系
１０２ 第２撮像系
１０９ 撮像部
１１０ 第１レンズ
１１４ 第１光変調部
１１５ 第１光学系
１１６ 第１カラーフィルタアレイ
１１８ 第１撮像素子アレイ
１１９ 第１受光部
１２０ 第２レンズ
１２４ 第２光変調部
１２５ 第２光学系
１２６ 第２カラーフィルタアレイ
１２８ 第２撮像素子アレイ
１２９ 第２受光部
１３０ 第３レンズ
１３４ 第３光変調部
１４０ 第４レンズ
１４４ 第４光変調部
１７０ 画像信号生成部
１７４ 読み出し部
１７６ 補正部
１５０ 画像生成部
１８０ 記録部
２００、２１０、２２０、 位相分布
３００ 結像レンズ
３１０ 焦点面
７１０ 第１補正画像
７１１、７１３、７２１、７２３ 仮想位置
７１２、７２２ 遠距離オブジェクト
７２０ 第２補正画像
７１４、７２４ 近距離オブジェクト
７３０ 出力画像
７３２ 遠距離オブジェクト
７３４ 近距離オブジェクト

Claims (11)

1. 第１光学系と、
   前記第１光学系とは異なる位置に光軸を持ち、予め定められた物点距離の範囲内に位置する物点からの光の波面を変調することにより当該物点からの光を物点距離によらず略同一の広さに広げ、当該物点からの光の波面を物点距離に応じた傾きに変調する第２光学系と、
   前記第１光学系および前記第２光学系のそれぞれを通じて被写体をそれぞれ撮像する撮像部と
   を備え、
   前記第２光学系は、前記予め定められた物点距離の範囲内に位置する物点からの光の波面を、前記第１光学系の光軸側に傾ける
   撮像モジュール。
2. 前記第２光学系は、より近い物点からの光の波面を、前記第１光学系の光軸側により大きく傾ける
   請求項１に記載の撮像モジュール。
3. 前記第１光学系は、予め定められた物点距離の範囲内に位置する物点からの光の波面を変調することにより当該物点からの光を物点距離によらず略同一の広さに広げ、当該物点からの光の波面を物点距離に応じた傾きに変調し、
   前記第１光学系は、より近い物点からの光の波面を、前記第２光学系の光軸側により大きく傾ける
   請求項２に記載の撮像モジュール。
4. 前記第１光学系を通じて撮像された第１画像に、前記第１光学系の点広がり関数の逆関数による点広がり補正を施し、前記第２光学系を通じて撮像された第２画像に、前記第２光学系の点広がり関数の逆関数による点広がり補正を施す補正部
   をさらに備える請求項３に記載の撮像モジュール。
5. 前記補正部により補正された前記第１画像と前記第２画像とを重ね合わせて出力画像を生成する画像生成部
   をさらに備える請求項４に記載の撮像モジュール。
6. 前記第２光学系は、物点からの光の位相分布を、光軸からの位置に関する２次より大きい次数の多項式で近似される位相分布にすることにより、物点からの光を物点までの距離によらず略同一の広さに広げる
   請求項１から５のいずれかに記載の撮像モジュール。
7. 前記第２光学系は、物点からの光の位相分布を、デフォーカス量に応じた位相分布を表す２次の項を含む前記多項式で近似される位相分布にする
   請求項６に記載の撮像モジュール。
8. 前記第２光学系は、物点からの光の位相分布を、３次以上の奇数次の項、および、前記デフォーカス量に応じた前記２次の項を含む前記多項式で近似される位相分布にする
   請求項７に記載の撮像モジュール。
9. 前記第２光学系は、物点からの光の位相分布を、３次の項、および、前記デフォーカス量に応じた前記２次の項を含む前記多項式で近似される位相分布にする
   請求項８に記載の撮像モジュール。
10. 前記第２光学系は、
    被写体光を結像する結像レンズと、
    被写体光の位相を変調する光変調部と
    を有し、
    前記第２光学系は、物点からの光の位相分布を、前記光変調部の位相変調による３次以上の奇数次の項、および、前記結像レンズによる前記デフォーカス量に応じた前記２次の項を含む前記多項式で近似される位相分布にする
    請求項８に記載の撮像モジュール。
11. 請求項１から１０のいずれかに記載の撮像モジュールを備え、前記撮像モジュールにより前記被写体を撮像する撮像装置。

Images