JP2012080363A

JP2012080363A - 撮像モジュール、撮像装置および製造方法

Info

Publication number: JP2012080363A
Application number: JP2010224240A
Authority: JP
Inventors: Yoshihiro Nishihata; 純弘西畑
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2010-10-01
Filing date: 2010-10-01
Publication date: 2012-04-19

Abstract

【課題】像面倒れによる結像特性への影響を低減すること。
【解決手段】撮像モジュールは、光軸位置が同一直線上にない３以上のレンズを少なくとも含む複数のレンズを有するレンズ部と、複数のレンズがそれぞれ被写体像を形成する同一の撮像平面上の受光領域に、それぞれ複数の受光素子が形成された受光部と、３以上のレンズの光軸に対する撮像平面の傾きに基づく画像処理パラメータを用いて、複数のレンズの少なくともいずれかを通じて撮像された撮像画像に、撮像平面の傾きに応じた画像処理を施す画像処理部とを備える。
【選択図】図１

Description

本発明は、撮像モジュール、撮像装置および製造方法に関する。

傾けて設置された撮像素子から出力される画像のひずみを、傾き角度に応じて補正してエッジ像補正を行う技術が知られている（例えば、特許文献１参照。）。また、複数の光学系に一対一に対応して複数の撮像領域が配置された撮像装置が知られている（例えば、下記特許文献２参照。）。また、レンズアレイの検査方法に関して、下記特許文献３に記載の技術が知られている。
特許文献１特開２００８−０２８５９１号公報
特許文献２国際公開第２００５/４１５６２号明細書
特許文献３特許第３８２６５７１号明細書

複数の光学系を用いた撮像装置において像面倒れがあると、各光学系の結像特性が変わってしまうという課題があった。

上記課題を解決するために、本発明の第１の態様においては、撮像モジュールであって、光軸位置が同一直線上にない３以上のレンズを少なくとも含む複数のレンズを有するレンズ部と、複数のレンズがそれぞれ被写体像を形成する同一の撮像平面上の受光領域に、それぞれ複数の受光素子が形成された受光部と、３以上のレンズの光軸に対する撮像平面の傾きに基づく画像処理パラメータを用いて、複数のレンズの少なくともいずれかを通じて撮像された撮像画像に、撮像平面の傾きに応じた画像処理を施す画像処理部とを備える。

３以上のレンズにより受光領域にそれぞれ形成された画像の結像状態と３以上のレンズの結像特性とに基づいて算出された画像処理パラメータを記憶する記憶部をさらに備え、画像処理部は、記憶部が記憶している画像処理パラメータを用いて、撮像画像のボケを補正してよい。

３以上のレンズは、略等しい焦点距離を持ち、記憶部は、撮像平面の傾きにより生じる被写体像のボケを補正する画像処理パラメータを記憶してよい。

画像処理部による画像処理が施された撮像画像を少なくとも含む、複数のレンズを通じて撮像された撮像画像を合成する画像合成部をさらに備えてよい。

レンズ部は、３以上のレンズの光軸のいずれからも略等しい距離離間した光軸を持つ中央レンズを有し、３以上のレンズに対応する受光領域にそれぞれ形成された複数の受光素子は、第１波長域の光により被写体を撮像し、中央レンズに対応する受光領域に形成された複数の受光素子は、第１波長域を含み第１波長域より広い波長域の光により被写体を撮像してよい。

中央レンズに対応する受光領域に形成された複数の受光素子は、Ｒの波長域、Ｇの波長域およびＢの波長域にわたる波長域の光により被写体を撮像し、３以上のレンズに対応する受光領域にそれぞれ形成された複数の受光素子は、Ｒの波長域、Ｇの波長域およびＢの波長域のいずれかの波長域の光により被写体を撮像してよい。

受光部は、Ｒの波長域、Ｇの波長域およびＢの波長域のうち第１波長域とは異なる第２波長域の光を受光する複数の受光領域にそれぞれ形成された複数の受光素子を有し、レンズ部は、中央レンズの光軸から略等しい距離離間した光軸をそれぞれ持ち、第２波長域の光を受光する複数の受光領域にそれぞれ被写体像を形成する複数のレンズを有してよい。

本発明の第２の態様においては、受光ユニットおよび受光ユニットで形成された画像を補正する画像処理パラメータを記憶する記憶部を備える撮像モジュールの製造方法であって、光軸位置が同一直線上にない３以上のレンズを少なくとも含む複数のレンズを有するレンズ部と、複数のレンズがそれぞれ被写体像を形成する同一の撮像平面上の受光領域にそれぞれ複数の受光素子が形成された受光部とを組み付けて、撮像モジュールが備える受光ユニットを組み立てる段階と、３以上のレンズのそれぞれを通じて、対応する受光領域にそれぞれ形成された複数の受光素子で撮像する段階と、３以上のレンズのそれぞれを通じて撮像された画像に基づいて、３以上のレンズの光軸に対する撮像平面の傾きを算出する段階と、撮像平面の傾きおよび３以上のレンズの光軸位置に基づいて、複数のレンズを通じてそれぞれ撮像された撮像画像に対する異なる画像処理パラメータを算出する段階と、記憶部に、画像処理パラメータを記憶させる段階とを備える。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

撮像装置１０の構成の一例を模式的に示す図である。撮像装置１０が備えるレンズ部１００の一例を模式的に示す図である。画像処理パラメータ算出装置３００のブロック構成の一例を模式的に示す図である。像面倒れの算出処理の一例を模式的に示す図である。スポット画像から撮像画像を補正するまでの処理を模式的に示す図である。画像処理パラメータを記録するまでの処理フローの一例を示す図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、撮像装置１０のブロック構成の一例を模式的に示す。本実施形態に係る撮像装置１０は、像面倒れの影響が低減された画像を提供することを目的とする。撮像装置１０は、受光ユニット１５０、画像信号生成部１７０、画像合成部１７２および記録部１８０を備える。画像信号生成部１７０は、読み出し部２１０、出力部２２０、画像処理部２４０および記憶部２３０を有する。受光ユニット１５０および画像信号生成部１７０は、撮像装置１０に組み込まれる撮像モジュールとして機能する。

受光ユニット１５０は、第１光学系１１５ａ、第２光学系１２５ａ、第３光学系１３５ａおよび受光部１０９を含む。第１光学系１１５ａ、第２光学系１２５ａ、第３光学系１３５ａは、互いに平行な光軸を持つ。第１光学系１１５ａ、第２光学系１２５ａ、第３光学系１３５ａは、光軸に垂直な面内で、互いに光軸の位置を異ならせて設けられる。本実施形態では、光軸に沿う方向をｚ軸方向とした場合に、第１光学系１１５ａ、第２光学系１２５ａ、第３光学系１３５ａの光軸は、ｘ方向に離間して設けられるとする。

第１光学系１１５ａは、第１レンズ１１０ａおよび第１絞り部１１２ａを持つ。第２光学系１２５ａは、第２レンズ１２０ａおよび第２絞り部１２２ａを持つ。第３光学系１３５ａは、第３レンズ１３０ａおよび第３絞り部１３２ａを持つ。第１レンズ１１０、第２レンズ１２０および第３レンズ１３０は、それぞれ結像レンズとする。

第１絞り部１１２ａは、第１光学系１１５ａを通過する光の量を調整する。第１光学系１１５ａを通過する光は、第１絞り部１１２ａの開口部を通過するものに制限される。第１光学系１１５を通過する光は、第１レンズ１１０および第１絞り部１１２を通過して、受光部１０９に形成された第１受光領域１１９ａに結像される。

第１受光領域１１９ａには、第１カラーフィルタアレイ１１６ａおよび第１受光素子アレイ１１８ａが形成される。第１カラーフィルタアレイ１１６ａは、予め定められた波長域の光をそれぞれ通過する複数のカラーフィルタを含む。第１カラーフィルタアレイ１１６ａは、複数のカラーフィルタがマトリクス状に配列されて形成される。本例において、第１カラーフィルタアレイ１１６ａは、緑の波長域に属するＧ光を選択的に透過する波長フィルタとする。

第１受光素子アレイ１１８ａは、被写体からの光を第１光学系１１５を通じて受光する複数の受光素子を含む。第１受光素子アレイ１１８ａが含む複数の受光素子は、第１カラーフィルタアレイ１１６ａが含む複数のカラーフィルタに対応して設けられる。各受光素子は、被写体光のうち第１カラーフィルタアレイ１１６ａを通過したＧ光を受光する。各受光素子は、受光した光の量に応じた強度の撮像信号を出力する。

第２光学系１２５ａおよび第３光学系１３５ａも、第１光学系１１５ａと同様の光学要素を持つ。第２光学系１２５ａが有する第２レンズ１２０ａおよび第２絞り部１２２ａは、それぞれ第１レンズ１１０ａおよび第１絞り部１１２ａに対応する光学要素である。第２光学系１２５ａを通過する光は、第２レンズ１２０および第２絞り部１２２を通過して、受光部１０９に形成された第２受光領域１２９ａに結像される。第２光学系１２５ａが有する光学要素は、青の波長域の光であるＢ光について光学設計されている点を除いて、第１光学系１１５ａが有する光学要素と略同一の機能を有するので、更なる説明を省略する。

第２受光領域１２９ａには、第２カラーフィルタアレイ１２６ａおよび第２受光素子アレイ１２８ａが形成される。第２カラーフィルタアレイ１２６ａは、予め定められた波長域の光をそれぞれ通過する複数のカラーフィルタを含む。第２カラーフィルタアレイ１２６ａは、複数のカラーフィルタがマトリクス状に配列されて形成される。本例において、第２カラーフィルタアレイ１２６ａは、Ｂ光を選択的に透過する波長フィルタとする。

第２受光素子アレイ１２８ａは、被写体からの光を第２光学系１２５を通じて受光する複数の受光素子を含む。第２受光素子アレイ１２８ａが含む複数の受光素子は、第２カラーフィルタアレイ１２６ａが含む複数のカラーフィルタに対応して設けられる。各受光素子は、被写体光のうち第２カラーフィルタアレイ１２６ａを通過したＢ光を受光する。各受光素子は、受光した光の量に応じた強度の撮像信号を出力する。

第３光学系１３５ａが有する第３レンズ１３０ａおよび第３絞り部１３２ａは、それぞれ第１レンズ１１０ａおよび第１絞り部１１２ａに対応する光学要素である。第３光学系１３５ａを通過する光は、第３レンズ１３０および第３絞り部１３２を通過して、受光部１０９に形成された第３受光領域１３９ａに結像される。第３光学系１３５ａが有する光学要素は、赤の波長域の光であるＲ光について光学設計されている点を除いて、第１光学系１１５ａが有する光学要素と略同一の機能を有するので、更なる説明を省略する。

第３受光領域１３９ａには、第３カラーフィルタアレイ１３６ａおよび第３受光素子アレイ１３８ａが形成される。第３カラーフィルタアレイ１３６ａは、予め定められた波長域の光をそれぞれ通過する複数のカラーフィルタを含む。第３カラーフィルタアレイ１３６ａは、複数のカラーフィルタがマトリクス状に配列されて形成される。本例において、第３カラーフィルタアレイ１３６ａは、Ｒ光を選択的に透過する波長フィルタとする。

第３受光素子アレイ１３８ａは、被写体からの光を第３光学系１３５を通じて受光する複数の受光素子を含む。第３受光素子アレイ１３８ａが含む複数の受光素子は、第３カラーフィルタアレイ１３６ａが含む複数のカラーフィルタに対応して設けられる。各受光素子は、被写体光のうち第３カラーフィルタアレイ１３６ａを通過したＢ光を受光する。各受光素子は、受光した光の量に応じた強度の撮像信号を出力する。

このように、受光部１０９には、複数のカラーフィルタと複数の受光素子が形成されている。第１レンズ１１０ａ、第２レンズ１２０ａ、第３レンズ１３０ａを通過した被写体光は、それぞれ第１受光領域１１９ａ、第２受光領域１２９ａおよび第３受光領域１３９ａに形成された複数の受光素子によって受光される。ここで、第１受光領域１１９ａおよび第２受光領域１２９ａがそれぞれ有する複数の受光素子は、同一平面上に設けられる。すなわち、受光部１０９には、複数のレンズがそれぞれ被写体像を形成する同一の撮像平面上の受光領域に、それぞれ複数の受光素子が形成されている。

具体的には、第１受光素子アレイ１１８ａが有する複数の受光素子、第２受光素子アレイ１２８ａが有する複数の受光素子および第３受光素子アレイ１３８ａが有する複数の受光素子は、同一基板上に形成される。例えば、各受光素子アレイが含む複数の受光素子は、同一プロセスで同一基板の一面に同時に形成される。また、第１カラーフィルタアレイ１１６ａ、第２カラーフィルタアレイ１２６ａおよび第３カラーフィルタアレイ１３６ａが有する複数のカラーフィルタも、対応する受光素子の上部に同一プロセスで同時に形成される。これにより、受光素子およびカラーフィルタを含む１つの受光部１０９が製造される。したがって、第１受光領域１１９ａ、第２受光領域１２９ａおよび第３受光領域１３９ａの撮像面は、受光部１０９が持つ撮像面の部分領域となる。

受光部１０９に形成された複数の受光素子は実質的に同時に露光される。各受光素子が露光されると、読み出し部２１０は、各受光素子から撮像信号を読み出す。読み出し部２１０は、受光部１０９を形成する基板と同一基板上に形成された読み出し回路を有してよい。当該読み出し回路は、第１受光領域１１９ａ、第２受光領域１２９ａおよび第３受光領域１３９ａに対して１つ設けられ、１つの読み出し回路が各受光部にそれぞれ含まれる複数の受光素子から、撮像信号を順次に読み出してよい。

受光部１０９に形成される複数の受光素子は、ＭＯＳ型撮像素子を形成してよい。ＭＯＳ型撮像素子である場合、読み出し部２１０は、例えば第１光学系１１５ａを通過した被写体光が入射する撮像面に形成された受光素子と、第２光学系１２５ａを通過した被写体光が入射する撮像面に形成された受光素子とを、個別に読み出すことができる。受光部１０９に形成される受光素子は、ＭＯＳ型撮像素子の他、ＣＣＤ型撮像素子などの固体撮像素子を形成してもよい。

読み出し部２１０が読み出した撮像信号は、出力部２２０および画像処理部２４０に供給される。出力部２２０は、撮像信号を撮像装置１０の外部に出力することができる。出力部２２０から出力された撮像信号については、後述する。

第１受光領域１１９に属する複数の受光素子から読み出した撮像信号は、第１光学系１１５を通じて撮像された被写体の画像を示す。第２受光領域１２９に属する複数の受光素子から読み出した撮像信号は、第２光学系１２５を通じて撮像された被写体の画像を示す。第３受光領域１３９に属する複数の受光素子から読み出した撮像信号は、第３光学系１３５を通じて撮像された被写体の画像を示す。画像処理部２４０は受光部１０９の受光面の像面倒れを補正する画像処理を、第１レンズ１１０ａ、第２レンズ１２０ａおよび第３レンズ１３０の各レンズに対応する撮像信号に対して施す。このとき、画像処理部２４０は、記憶部２３０に記憶された画像処理パラメータを用いて、画像処理を施す。

例えば、各レンズが略等しい焦点距離を持つ場合、撮像平面が傾いているとボケ度合いいが異なる像が得られる場合がある。記憶部２３０は、撮像平面の傾きにより生じる被写体像のボケを補正する画像処理パラメータを記憶する。これにより、撮像平面の傾きによって生じるボケを低減することができる場合がある。

なお、記憶部２３０は、不揮発性メモリなどの読み出し専用媒体であってよい。記憶部２３０は、フラッシュメモリなどの不揮発性の半導体メモリであってもよい。記憶部２３０が記憶する画像処理パラメータおよび画像処理部２４０の具体的な処理内容については後述する。

画像処理部２４０は、画像処理が施された画像信号を、被写体の画像として画像合成部１７２に出力してよい。画像合成部１７２は、画像処理部２４０による画像処理が施された撮像画像を少なくとも含む、受光ユニット１５０が有する複数のレンズを通じて撮像された撮像画像を合成する。画像合成部１７２は、異なる波長域の光で得られた撮像画像に対して色合成処理を施してよい。画像合成部１７２は、合成して得られた画像を記録部１８０に出力する。

記録部１８０は、画像合成部１７２が生成した画像を記録する。記録部１８０は、画像処理部２４０から供給された画像を、不揮発性メモリに記録してよい。当該不揮発性メモリは、記録部１８０が有してよい。また、当該不揮発性メモリは、撮像装置１０に対して着脱可能に設けられた外部メモリであってよい。

撮像装置１０は、カメラ機能付きの携帯電話、デジタルカメラなどの撮像機器であってよい。第１光学系１１５ａ、第２光学系１２５ａ、第３光学系１３５ａおよび画像信号生成部１７０を有する撮像モジュールは、これらの撮像機器用のカメラモジュールとして提供することができる。本例の撮像装置１０によれば、受光部１０９の像面倒れの影響が低減された画像を提供することができる。

図２は、撮像装置１０が備えるレンズ部１００の一例を模式的に示す。本図は、物体側からレンズ部１００を見た場合のレンズ配置例とする。レンズ部１００は、レンズ鏡筒２００、第１レンズ１１０ａ〜ｄ、第２レンズ１２０ａ〜ｃ、第３レンズ１３０ａ〜ｃおよび第４レンズ１４０を有する。第１レンズ１１０ａ〜ｃ、第２レンズ１２０ａ〜ｃ、第３レンズ１３０ａ〜ｃおよび第４レンズ１４０は、レンズ鏡筒２００の内側に設けられる。なお、第１レンズ１１０ａ〜ｃを、第１レンズ１１０と総称する場合がある。同様に、複数の光学要素を、符号の添え字を省略することで総称する場合がある。

第１レンズ１１０ｂおよびｃは、それぞれ光軸に垂直な面内に光軸を離間して設けられる点を除いて、第１レンズ１１０ａと同様の構成を持つ。第１レンズ１１０は、Ｇ光をそれぞれ結像する結像レンズとして機能する。第２レンズ１２０ｂは、光軸に垂直な面内に光軸を離間して設けられる点を除いて、第２レンズ１２０ａと同様の構成を持つ。第２レンズ１２０は、Ｂ光をそれぞれ結像する結像レンズとして機能する。第３レンズ１３０ｂは、光軸に垂直な面内に光軸を離間して設けられる点を除いて、第３レンズ１３０ａと同様の構成を持つ。第３レンズ１３０は、Ｒ光をそれぞれ結像する結像レンズとして機能する。第４レンズ１４０は、青の波長域、緑の波長域および赤の波長域にわたる波長域の光を結像する結像レンズとして機能する。

なお、図１では、受光部１０９が第１レンズ１１０ａ、第２レンズ１２０ａおよび第３レンズ１３０ａにそれぞれ対応する受光領域を有するとしたが、受光部１０９は、レンズ部１００が有する全てのレンズに対応する受光領域を有する。各受光領域には、撮像に利用する上記波長域の光を通過するカラーフィルタが設けられることはいうまでもない。例えば、第４レンズ１４０に対応して、青の波長域、緑の波長域および赤の波長域にわたる波長域の光を通過するカラーフィルタが設けられる。したがって、第４レンズ１４０に対応する受光領域に形成された複数の受光素子は、緑の波長域を含み緑の波長域より広い波長域の光により被写体を撮像する。具体的には、第４レンズ１４０に対応する受光領域に形成された複数の受光素子は、Ｒの波長域、Ｇの波長域およびＢの波長域にわたる波長域の光により被写体を撮像する。

レンズ部１００では、光軸に垂直な面内において、第１レンズ１１０ａ〜ｃは光軸位置が同一直線上に存在していない。すなわち、レンズ部１００は、光軸位置が同一直線上にない３以上のレンズを少なくとも含む複数のレンズを有する。例えば、４個の第１レンズ１１０は、光軸位置が同一直線上に存在しない。これらのレンズを用いて、後述するように像面倒れを算出することができる。なお、本例では、３以上のレンズに対応する第１受光領域１１９にそれぞれ形成された複数の受光素子はＧ光を受光するとしたが、撮像に用いる光はＧ光に限られない。Ｇ光の他、Ｒ光およびＢ光のいずれの光で被写体を撮像してもよい。

なお、レンズ部１００は、３以上の第１レンズ１１０の光軸のいずれからも略等しい距離離間した光軸を持つ第４レンズ１４０を有する。本例では、第１レンズ１１０ａおよび第１レンズ１１０ｄは、第４レンズ１４０に対して対称の位置に光軸を持つ。また、第１レンズ１１０ｃおよび第１レンズ１１０ｂは、第４レンズ１４０に対して対称の位置に光軸を持つ。第１レンズ１１０ａおよび第１レンズ１１０ｄは、同一の焦点距離を有してよい。また、第１レンズ１１０ｂおよび第１レンズ１１０ｃは、同一の焦点距離を有してよい。第１レンズ１１０ａと第１レンズ１１０ｃとは焦点距離が異なってよい。また、焦点距離が異なる更なる他の第１レンズ１１０を有してもよい。焦点距離が異なる第１レンズ１１０を複数有することで、撮像画像から結像状態の違いを特定して、結像状態の違いに基づいて、被写体を測距することができる。また、最も合焦した画像を選択して画像合成部１７２での合成処理に用いることができる。また、最も合焦した画像を領域毎に選択して合成処理に用いることができる。

また、レンズ部１００は、可視光の比較的に広い波長域の光を撮像光とする第４レンズ１４０を有する。第４レンズ１４０によれば、解像度の高い輝度データを取得することができる。また、画像合成部１７２は、ＬＲＧＢ合成により高画質な画像を提供することができる。

また、上述したように、受光部１０９は、Ｇの波長域とは異なるＢの波長域光を受光する複数の第２受光領域１２９にそれぞれ形成された複数の受光素子を有する。レンズ部１００は、第４レンズ１４０の光軸から略等しい距離離間した光軸をそれぞれ持ち、Ｂ光を受光する複数の第２受光領域１２９にそれぞれ被写体像を形成する複数の第２レンズ１２０を有する。また、レンズ部１００は、第４レンズ１４０の光軸から略等しい距離離間した光軸をそれぞれ持ち、Ｒ光を受光する複数の第３受光領域１３９にそれぞれ被写体像を形成する複数の第３レンズ１３０を有する。このように、レンズ部１００によれば、各波長域の光を結像するレンズが、中央に位置する第４レンズ１４０に対して対称の位置に設けられる。このため、結像状態の差異を比較的容易に検出することができる場合がある。

図３は、画像処理パラメータ算出装置３００のブロック構成の一例を模式的に示す。画像処理パラメータ算出装置３００は、受光ユニット１５０および画像信号生成部１７０を備える撮像モジュール用の画像処理パラメータを算出して、撮像モジュールに画像処理パラメータを記憶させる。具体的には、画像処理パラメータ算出装置３００は、撮像装置１０が備える出力部２２０から撮像信号を取得して、図２に関連して説明した画像処理パラメータを算出する。画像処理パラメータ算出装置３００は、算出した画像処理パラメータを、撮像装置１０が備える記憶部２３０に記憶させる。

画像処理パラメータ算出装置３００は、測光画像取得部３１０、合焦ズレ量算出部３２０、組み付け情報算出部３３０、画像処理パラメータ算出部３４０、記録制御部３５０およびレンズデータ記憶部３６０を有する。レンズデータ記憶部３６０は、レンズ部１００が備える各レンズのレンズパラメータを格納するレンズ設計データベース３９０から、当該レンズパラメータを取得して記憶する。

測光画像取得部３１０は、受光ユニット１５０が有する各レンズを通じて撮像された画像を出力部２２０から取得する。合焦ズレ量算出部３２０、組み付け情報算出部３３０および画像処理パラメータ算出部３４０の機能ブロックは、レンズデータ記憶部３６０に記憶されたレンズパラメータを用いて、画像処理パラメータを算出する。記録制御部３５０は、算出された画像処理パラメータを記憶部２３０に記憶させる。例えば記憶部２３０がメモリデバイスである場合、記録制御部３５０は、メモリ書き込みによって画像処理パラメータを記憶させる。画像処理パラメータ算出装置３００が備える各機能ブロックの具体的な機能および動作は、図４から図６に関連して説明される。

図４は、像面倒れの算出処理の一例を模式的に示す。ここでは、説明を簡略化することを目的として、第１レンズ１１０ａ、第２レンズ１２０ａおよび第３レンズ１３０ａを通じてスポット光を撮像して得られたスポット画像に基づいて、一次元方向の像面の傾きを算出する処理の一例を説明する。具体的には、光軸方向をｚ方向にとり、第１レンズ１１０ａ、第２レンズ１２０ａおよび第３レンズ１３０ａが並ぶ方向をｘ方向とした場合、ｘｚ平面による像面４００の切断線の傾きを算出する。また、スポット光は、点光源からの光として扱うことができるとする。

測光画像取得部３１０は、第１レンズ１１０ａ、第２レンズ１２０ａおよび第３レンズ１３０ａを通じてスポット光が撮像されたスポット画像を取得する。合焦ズレ量算出部３２０は、例えばスポット画像における画素値の分布に基づいて、スポット像の大きさを示すスポット径を算出する。そして、合焦ズレ量算出部３２０は、スポット画像から算出したスポット径に基づいて、実際の結像位置に対する像面位置のズレ量を示す合焦ズレ量を算出する。

本図に模式的に示すように、像面４００が傾いている場合、各レンズの焦点距離および像面４００の傾きに応じて異なるスポット径が得られる。したがって、スポット径を、合焦ズレ量を表す指標とすることができる。

例えば、スポット光を発する光源までの距離が分かっている場合、スポット径と合焦ズレ量との間の相関関係は、レンズパラメータからシミュレーション等で算出することができる。レンズ設計データベース３９０は、当該相関関係をレンズ毎に記憶しておく。レンズデータ記憶部３６０は、レンズ設計データベース３９０から相関関係データを取得して記憶する。相関関係データとしては点像のデフォーカス依存性を例示することができる。

合焦ズレ量算出部３２０は、レンズデータ記憶部３６０に記憶された相関関係データを参照して、スポット画像から算出したスポット径に対応する合焦ズレ量を算出する。組み付け情報算出部３３０は、合焦ズレ量算出部３２０が算出した合焦ズレ量に基づいて、組み付け情報を算出する。組み付け情報としては、像面４００の傾き角度および像面４００のｚ座標を例示することができる。

像面４００のｚ座標は、各レンズの組み付け位置のｚ座標と合焦ズレ量との和から算出することができる。また、像面４００の傾き角度は、第１レンズ１１０ａ、第２レンズ１２０ａおよび第３レンズ１３０ａのそれぞれのｘ座標と、像面４００のｚ座標とから算出することができる。例えば、像面４００が平面であるとすれば、像面４００のｚ座標は、レンズのｘ座標の関数ｚ＝Ａｘ＋Ｂで表すことができる。像面４００の傾きは、本関数のＡで示される。ここでｉ番目のレンズのｘ座標をｘ_ｉとし、ｉ番目のレンズ位置における像面４００のｚ座標をｚ_ｉとすれば、ｚ_ｉ＝Ａｘ_ｉ＋Ｂが満たされる。

したがって、ｚ_ｉ＝Ａｘ_ｉ＋Ｂを満たすＡおよびＢを、フィッティングによって算出することができる。これにより、像面４００のｚ座標を、レンズのｘ座標の関数で表すことができる。したがって、他のレンズの光軸位置に対応する像面４００のｚ座標は、当該関数と当該レンズの光軸のｘ座標から算出することができる。

以上の一次元の処理を２次元に拡張すれば、一直線上にない３以上のレンズによるスポット光に基づいて、像面の傾き角を算出することができる。また、像面のｚ座標を、レンズの光軸位置のｘ座標およびｙ座標の関数として得ることができる。このため、他のレンズの光軸位置に対応する像面のｚ座標は、当該関数と当該レンズの光軸のｘ座標およびｙ座標から算出することができる。組み付け情報算出部３３０は、受光部１０９の像面の傾き角、および、各レンズの光軸位置に対応する像面のｚ座標を、組み付け情報として画像処理パラメータ算出部３４０に出力する。画像処理パラメータ算出部３４０は、組み付け情報に基づいて、像面倒れによるボケを復元する画像処理パラメータを算出する。画像処理パラメータ算出部３４０が画像処理パラメータを算出する具体的な処理については、図５に関連して説明する。

図５は、スポット画像から撮像画像を補正するまでの処理を模式的に示す。測光画像取得部３１０は、出力部２２０から４個のスポット画像５１０−１〜４を取得する。スポット画像５１０−１〜４は、緑に属する波長域のスポット光を用いて４個の第１レンズ１１０ａ〜ｄを通じて撮像された画像である。スポット画像５１０−１およびスポット画像５１０−４には、スポット光により形成されたスポット像を黒丸で模式的に例示した。合焦ズレ量算出部３２０は、スポット画像５１０に含まれるスポット像に基づいて、スポット径を算出する。

レンズ設計データベース３９０は、点像データ５００を予め格納しているとする。例えば、レンズ設計データベース３９０は、複数のデフォーカス値のそれぞれに対応づけて、レンズパラメータを用いてシミュレーション等で算出された点像を予め格納している。第１レンズ１１０−１〜４が互いに異なる結像特性を有する場合、レンズ設計データベース３９０は、第１レンズ１１０のそれぞれに対応づけて、複数のデフォーカス値にそれぞれ対応する点像データを格納している。そして、画像処理パラメータ算出装置３００は、レンズ設計データベース３９０から点像データを取得して、レンズデータ記憶部３６０に記憶する。

合焦ズレ量算出部３２０は、スポット径および点像データ５００に基づいて、合焦ズレ量を算出する。具体的には、合焦ズレ量算出部３２０は、第１レンズ１１０−１〜４に対応する点像データの中から、スポット画像５１０から算出されたスポット径に最も一致する径を持つ点像データを特定する。そして、特定した当該点像データに対応するデフォーカス値を、合焦ズレ量として特定する。

組み付け情報算出部３３０は、合焦ズレ量および第１レンズ１１０−１〜４のｚ座標から、第１レンズ１１０−１〜４の光軸の座標（ｘ_ｉ，ｙ_ｉ）における像面のｚ座標（ｚ_ｉ）を算出する（ただし、ｉ＝１〜４）。本図では、得られた像面のｚ座標を像面位置座標５２０として例示した。組み付け情報算出部３３０は、像面位置座標５２０に基づき、図４に関連して説明したフィッティングによって、受光部１０９の撮像平面を表す関数式を算出する。そして、組み付け情報算出部３３０は、当該関数式に基づき、撮像平面の傾きを算出する。また、組み付け情報算出部３３０は、第１レンズ１１０、第２レンズ１２０、第３レンズ１３０、第４レンズ１４０のそれぞれの光軸位置に対応する像面のｚ座標（ｚ_１〜ｚ_９）を、当該関数式および各レンズの光軸の座標を用いて算出する。本図では、撮像平面の傾きを表すθｘおよびθｙとｚ座標（ｚ_１〜ｚ_９）とを、組み付け情報５３０として例示した。

画像処理パラメータ算出部３４０は、組み付け情報５３０に基づいて画像処理パラメータ５４０を算出する。具体的には、画像処理パラメータ算出部３４０は、組み付け情報５３０に対応する点像のボケを復元する画像処理パラメータを算出する。原理的には、組み付け情報５３０を用いて像面を定め、レンズパラメータを用いて当該像面に対するＰＳＦ（Ｐｏｉｎｔｓｐｒｅａｄｆｕｎｃｔｉｏｎ）等の光学応答を算出して、当該光学応答の逆関数を用いて画像処理パラメータを生成することができる。

より簡便には、像面角度および像面距離の予め定められた複数の組み合わせについてレンズパラメータを用いて光学応答を算出し、得られた光学応答に対応する画像処理パラメータをパラメータ算出用データ５５０としてレンズ設計データベース３９０に格納しておく。そして、画像処理パラメータ算出装置３００は、レンズ設計データベース３９０から、画像処理パラメータを読み出してレンズデータ記憶部３６０に記憶する。そして、画像処理パラメータ算出部３４０は、組み付け情報５３０に最も適合する像面角度および像面距離の組を特定して、当該組に対応する画像処理パラメータを、画像処理パラメータ５４０として選択する。

他にも、画像処理パラメータ算出部３４０は、組み付け情報５３０で定められる像面に対するボケの大きさおよび形状を幾何学的に推定して、推定されたボケを点像に復元する画像処理パラメータを算出してもよい。画像処理パラメータの算出方法は本例で例示した方法に限定されない。なお、画像処理パラメータ５４０としては、デコンボリューションフィルタなどの画像フィルタを定義するパラメータを例示することができる。画像フィルタは、幾何平均フィルタなど種々の形式で実装することができる。画像処理パラメータ算出部３４０が算出した画像処理パラメータ５４０は、記録制御部３５０によって記憶部２３０に書き込まれる。

撮像装置１０において画像処理部２４０は、各レンズを通じて撮像された撮像画像５６０−１〜９に、記憶部２３０が記憶している画像処理パラメータを用いて画像処理を施す。本図では、撮像平面の傾きによって生じたボケ像を含む撮像画像５６０−１が、鮮明な補正画像５７０−１として出力される様子を模式的に例示した。本例で説明したように、記憶部２３０は、撮像平面の傾きにより生じる被写体像のボケを補正する画像処理パラメータを記憶する。具体的には、記憶部２３０は、３以上のレンズにより受光領域にそれぞれ形成された画像の結像状態と３以上のレンズの結像特性とに基づいて算出された画像処理パラメータを記憶する。そして、画像処理部２４０は、記憶部２３０が記憶している画像処理パラメータを用いて、撮像画像のボケを補正する。

本例では、４つの第１レンズ１１０を用いて撮像平面の傾きを算出するとした。撮像平面の傾きを算出するには、同一直線上にない結像特性が分かっているレンズが３以上あればよい。画像処理部２４０は、当該３以上のレンズの光軸に対する撮像平面の傾きに基づく画像処理パラメータを用いて、複数のレンズの少なくともいずれかを通じて撮像された撮像画像に、撮像平面の傾きに応じた画像処理を施すことができる。

図６は、レンズ設計から画像処理パラメータを記録するまでの処理フローの一例を示す。Ｓ６００において、コンピュータなどのレンズ設計装置を用いて、撮像装置１０用のレンズ設計を行い、レンズデータをレンズ設計データベース３９０に格納する。また、上述したように、レンズ設計データベース３９０は、レンズデータに基づいて予め算出された画像処理パラメータを格納してもよい。

Ｓ６１０において、設計データに従って複数セットのレンズを製造して複数のレンズ部１００を製造する。そして、製造されたレンズ部１００と受光部１０９を組み付けて受光ユニット１５０を組み立てて、撮像モジュールを複数製造する（Ｓ６２０）。すなわち、光軸位置が同一直線上にない３以上のレンズを少なくとも含む複数のレンズを有するレンズ部１００と、複数のレンズがそれぞれ被写体像を形成する同一の撮像平面上の受光領域にそれぞれ複数の受光素子が形成された受光部１０９とを組み付けて、撮像モジュールが備える受光ユニット１５０を組み立てる。

そして、製造された複数の撮像モジュールのうち少なくとも一つの撮像モジュールを選択する（Ｓ６３０）。選択した撮像モジュールでスポット光を撮像する（Ｓ６４０）。すなわち、撮像モジュールにおいて３以上のレンズのそれぞれを通じて、対応する受光領域にそれぞれ形成された複数の受光素子で撮像する。

そして、選択された撮像モジュール用の画像処理パラメータを算出する（Ｓ６５０）。具体的には、図３から図５に関連して述べた方法により、画像処理パラメータを算出する。すなわち、３以上のレンズのそれぞれを通じて撮像された画像に基づいて、３以上のレンズの光軸に対する撮像平面の傾きを算出する。そして、撮像平面の傾きおよび３以上のレンズの光軸位置に基づいて、複数のレンズを通じてそれぞれ撮像された撮像画像に対する異なる画像処理パラメータを算出する。

そして、撮像モジュールが備える記憶部２３０に、画像処理パラメータを記憶させる（Ｓ６６０）。そして、検査対象となる他の撮像モジュールが存在するか否かを判断する（Ｓ６７０）。検査対象となる他の撮像モジュールが存在しない場合、処理を終了する。検査対象となる他の撮像モジュールが存在する場合、Ｓ６３０に処理を移行させる。

なお、撮像装置１０は、９個のレンズを備えるとしたが、光軸が一直線上に並んでいない３以上のレンズを少なくとも備えていれば、レンズをいくつ備えてもよい。また、スポット光を撮影した場合に、１直線上にない３以上のレンズを通じて結像したとみなすことができる最小のスポット径が得られた場合、光源の位置、当該３以上のレンズの位置、および、当該３以上のレンズの焦点距離に基づいて、撮像平面を定義する３以上の点を特定することができる。したがって、当該最小のスポット径が得られた場合には、組み付け情報５３０を速やかに算出することができる場合がある。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０撮像装置
１００レンズ部
１０９受光部
１１０第１レンズ
１１２第１絞り部
１１５第１光学系
１１６第１カラーフィルタアレイ
１１８第１受光素子アレイ
１１９第１受光領域
１２０第２レンズ
１２２第２絞り部
１２５第２光学系
１２６第２カラーフィルタアレイ
１２８第２受光素子アレイ
１２９第２受光領域
１３０第３レンズ
１３２第３絞り部
１３５第３光学系
１３６第３カラーフィルタアレイ
１３８第３受光素子アレイ
１３９第３受光領域
１４０第４レンズ
１５０受光ユニット
１７０画像信号生成部
１７２画像合成部
１８０記録部
２００レンズ鏡筒
２１０読み出し部
２２０出力部
２３０記憶部
２４０画像処理部
３００画像処理パラメータ算出装置
３１０測光画像取得部
３２０合焦ズレ量算出部
３３０組み付け情報算出部
３４０画像処理パラメータ算出部
３５０記録制御部
３６０レンズデータ記憶部
３９０レンズ設計データベース
４００像面
５００点像データ
５１０スポット画像
５２０像面位置座標
５３０組み付け情報
５４０画像処理パラメータ
５５０パラメータ算出用データ
５６０撮像画像
５７０補正画像

Claims

光軸位置が同一直線上にない３以上のレンズを少なくとも含む複数のレンズを有するレンズ部と、
前記複数のレンズがそれぞれ被写体像を形成する同一の撮像平面上の受光領域に、それぞれ複数の受光素子が形成された受光部と、
前記３以上のレンズの光軸に対する前記撮像平面の傾きに基づく画像処理パラメータを用いて、前記複数のレンズの少なくともいずれかを通じて撮像された撮像画像に、前記撮像平面の傾きに応じた画像処理を施す画像処理部と
を備える撮像モジュール。
前記３以上のレンズにより前記受光領域にそれぞれ形成された画像の結像状態と前記３以上のレンズの結像特性とに基づいて算出された前記画像処理パラメータを記憶する記憶部
をさらに備え、
前記画像処理部は、前記記憶部が記憶している画像処理パラメータを用いて、前記撮像画像のボケを補正する
請求項１に記載の撮像モジュール。
前記３以上のレンズは、略等しい焦点距離を持ち、
前記記憶部は、前記撮像平面の傾きにより生じる被写体像のボケを補正する前記画像処理パラメータを記憶する
請求項２に記載の撮像モジュール。
前記画像処理部による画像処理が施された撮像画像を少なくとも含む、前記複数のレンズを通じて撮像された撮像画像を合成する画像合成部
をさらに備える請求項１から３のいずれかに記載の撮像モジュール。
前記レンズ部は、前記３以上のレンズの光軸のいずれからも略等しい距離離間した光軸を持つ中央レンズを有し、
前記３以上のレンズに対応する前記受光領域にそれぞれ形成された前記複数の受光素子は、第１波長域の光により被写体を撮像し、
前記中央レンズに対応する前記受光領域に形成された前記複数の受光素子は、前記第１波長域を含み前記第１波長域より広い波長域の光により被写体を撮像する
請求項１から４のいずれかに記載の撮像モジュール。
前記中央レンズに対応する前記受光領域に形成された前記複数の受光素子は、Ｒの波長域、Ｇの波長域およびＢの波長域にわたる波長域の光により被写体を撮像し、
前記３以上のレンズに対応する前記受光領域にそれぞれ形成された前記複数の受光素子は、Ｒの波長域、Ｇの波長域およびＢの波長域のいずれかの波長域の光により被写体を撮像する
請求項５に記載の撮像モジュール。
前記受光部は、Ｒの波長域、Ｇの波長域およびＢの波長域のうち前記第１波長域とは異なる第２波長域の光を受光する複数の受光領域にそれぞれ形成された複数の受光素子を有し、
前記レンズ部は、前記中央レンズの光軸から略等しい距離離間した光軸をそれぞれ持ち、前記第２波長域の光を受光する前記複数の受光領域にそれぞれ被写体像を形成する複数のレンズを有する
請求項６に記載の撮像モジュール。
請求項１から７のいずれかに記載の撮像モジュールを備え、前記撮像モジュールで前記被写体を撮像する撮像装置。
受光ユニットおよび前記受光ユニットで形成された画像を補正する画像処理パラメータを記憶する記憶部を備える撮像モジュールの製造方法であって、
光軸位置が同一直線上にない３以上のレンズを少なくとも含む複数のレンズを有するレンズ部と、前記複数のレンズがそれぞれ被写体像を形成する同一の撮像平面上の受光領域にそれぞれ複数の受光素子が形成された受光部とを組み付けて、前記撮像モジュールが備える受光ユニットを組み立てる段階と、
前記３以上のレンズのそれぞれを通じて、対応する前記受光領域にそれぞれ形成された前記複数の受光素子で撮像する段階と、
前記３以上のレンズのそれぞれを通じて撮像された画像に基づいて、前記３以上のレンズの光軸に対する前記撮像平面の傾きを算出する段階と、
前記撮像平面の傾きおよび前記３以上のレンズの光軸位置に基づいて、前記複数のレンズを通じてそれぞれ撮像された撮像画像に対する異なる画像処理パラメータを算出する段階と、
前記記憶部に、前記画像処理パラメータを記憶させる段階と
を備える製造方法。