JP2009017079A

JP2009017079A - 撮像装置及び撮像方法

Info

Publication number: JP2009017079A
Application number: JP2007174898A
Authority: JP
Inventors: Takashi Nakao; 敬中尾
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2007-07-03
Filing date: 2007-07-03
Publication date: 2009-01-22
Anticipated expiration: 2027-07-03
Also published as: JP4730347B2

Abstract

【課題】簡易な構成、構造で、例えば、ライト・フィールド・フォトグラフィー技術に基づく撮像モード及び通常の高解像度の撮像モードの２つの撮像モードの切り替えを容易に行うことが可能な撮像装置を提供する。
【解決手段】撮像装置１は、撮像レンズ１１、撮像レンズの焦点面に配置された第１の撮像素子１２、第２の撮像素子１４、及び、結像手段１３を備えており、第１の撮像モード及び第２の撮像モードによって撮像がなされ、第１の撮像モードによる撮像時、撮像レンズ１１を通過した光は、第１の撮像素子１２の撮像面上に結像し、第２の撮像モードによる撮像時、撮像レンズ１１を通過した光は、第１の撮像素子１２を通過し、且つ、結像手段１４によって第２の撮像素子１３の撮像面上に到達する。
【選択図】図１

Description

本発明は、撮像装置及び撮像方法に関し、より具体的には、例えば、ライト・フィールド・フォトグラフィー（Light Field Photography）技術に基づく撮像モード、及び、通常の高解像度の撮像モードの２つの撮像モードを切り替えて撮像することを可能とする撮像装置及び撮像方法に関する。

従来から、様々な撮像装置が提案され、開発されている。また、撮像して得られた撮像信号に対して、所定の画像処理を施して出力するようにした撮像装置も提案されている。例えば、特許文献１及び非特許文献１には、ライト・フィールド・フォトグラフィーと呼ばれる手法を用いた撮像装置が提案されている。この撮像装置は、撮像レンズと、マイクロレンズアレイと、受光素子と、画像処理部とから構成されており、受光素子から得られる撮像信号は、受光素子の受光面における光の強度に加えて、その光の進行方向の情報をも含んでいる。そして、このような撮像信号に基づき、画像処理部において、任意の視点や方向からの観察画像が再構築される。

国際公開第０６／０３９４８６号パンフレット Ren.Ng, et al, "Light Field Photography with a Hand-Held Plenoptic Camera", Stanford Tech Report CTSR 2005-02

ところで、ライト・フィールド・フォトグラフィー技術を利用した撮像装置において、ライト・フィールド・フォトグラフィー技術を用いない通常の高解像度の撮像モード（第１の撮像モードと呼ぶ）と、ライト・フィールド・フォトグラフィー技術に基づく撮像モード（第２の撮像モードと呼ぶ）とを、適宜切り替えて使用することが考えられる。ところが、このように２つの撮像モードを切り替えるには、マイクロレンズアレイを機械的に動かす必要がある。即ち、第１の撮像モードでは、マイクロレンズアレイは不要なので、マイクロレンズアレイを光軸上から移動させて、光軸上から除く必要がある。一方、第２の撮像モードでは、マイクロレンズアレイを光軸上に配置させる必要がある。よって、２つの撮像モードを切り替えて用いることを試みた場合、撮像装置の構成、構造が複雑となり、撮像装置全体が大型化してしまうといった問題がある。

従って、本発明の目的は、簡易な構成、構造で、例えば、ライト・フィールド・フォトグラフィー技術に基づく撮像モード及び通常の高解像度の撮像モードの２つの撮像モードの切り替えを容易に行うことが可能な撮像装置、及び、係る撮像装置を用いた撮像方法を提供することにある。

上記の目的を達成するための本発明の撮像装置は、
（Ａ）撮像レンズ、
（Ｂ）撮像レンズの焦点面に配置された第１の撮像素子、
（Ｃ）第２の撮像素子、及び、
（Ｄ）結像手段、
を備えており、
第１の撮像モード及び第２の撮像モードによって撮像がなされ、
第１の撮像モードによる撮像時、撮像レンズを通過した光は、第１の撮像素子の撮像面上に結像し、
第２の撮像モードによる撮像時、撮像レンズを通過した光は、第１の撮像素子を通過し、且つ、結像手段によって第２の撮像素子の撮像面上に到達することを特徴とする。

上記の目的を達成するための本発明の撮像方法は、本発明の撮像装置、即ち、
（Ａ）撮像レンズ、
（Ｂ）撮像レンズの焦点面に配置された第１の撮像素子、
（Ｃ）第２の撮像素子、及び、
（Ｄ）結像手段、
を備えた撮像装置を用いた撮像方法であって、
第１の撮像モードによる撮像時、撮像レンズを通過した光を、第１の撮像素子の撮像面上に結像させ、
第２の撮像モードによる撮像時、撮像レンズを通過した光を、第１の撮像素子を通過させ、且つ、結像手段によって第２の撮像素子の撮像面上に到達させることを特徴とする。

本発明の撮像装置あるいは撮像方法にて用いられる撮像装置（以下、これらを総称して、『本発明の撮像装置等』と呼ぶ）において、結像手段は、第１の撮像素子に備えられたマイクロレンズアレイ部から成る構成とすることができる。尚、このような構成を、便宜上、第１の構成と呼ぶ。ここで、マイクロレンズアレイ部が第１の撮像素子に備えられているが、具体的には、マイクロレンズアレイ部を第１の撮像素子と一体的に設けてもよいし、マイクロレンズアレイ部と第１の撮像素子とを別々に作製した後、マイクロレンズアレイ部と第１の撮像素子とを一体化（例えば、接着）してもよい。そして、この第１の構成にあっては、マイクロレンズアレイ部は、撮像レンズに面していてもよいが（即ち、撮像レンズ側から、マイクロレンズアレイ部、第１の撮像素子の順に配されていてもよいが）、第２の撮像素子に面していることが（即ち、撮像レンズ側から、第１の撮像素子、マイクロレンズアレイ部の順に配されていることが）、設計の自由度を高くすることができるので、より好ましい。尚、マイクロレンズアレイ部が撮像レンズに面している場合でも、撮像レンズを通過した光を第１の撮像素子の撮像面上に結像させたとき、マイクロレンズアレイ部によって及ぼされる影響は無視できる程度に小さい。但し、場合によっては、後述する画像処理部において、マイクロレンズアレイ部によって及ぼされる影響を取り除く処理を行ってもよい。あるいは又、この第１の構成にあっては、第２の撮像素子は複数の受光素子（便宜上、第２の受光素子と呼ぶ）から構成されており、マイクロレンズアレイ部は複数のマイクロレンズから構成されており、１つのマイクロレンズに第２の撮像素子を構成する第２の受光素子の複数が対応していることが好ましい。１つのマイクロレンズに対応する第２の撮像素子を構成する第２の受光素子の数として、４乃至４０９６を例示することができる。尚、マイクロレンズは平凸レンズから構成されていることが望ましいが、これに限定するものではなく、両凸レンズとしてもよい。マイクロレンズを平凸レンズから構成する場合、平凸レンズの凸部が、第２の撮像素子に面していてもよいし、撮像レンズに面していてもよい。マイクロレンズアレイ部を構成するマイクロレンズにおいて、撮像レンズ側の表面の曲率（ｒ₁）よりも、第２の撮像素子側の表面の曲率（ｒ₂）の方が大きいことが好ましい。ここで、曲率は、マイクロレンズの光軸とマイクロレンズの表面とが交わる点における値である。尚、マイクロレンズを、このように、球面レンズあるいは非球面レンズとすることができるが、これに限定するものではなく、その他、例えば、ゾーンプレート、ホログラフィックレンズ、キノフォームレンズ、バイナリー光学素子で例示される回折レンズとすることもできる。また、１つのマイクロレンズに対応する第１の撮像素子を構成する受光素子（便宜上、第１の受光素子と呼ぶ）の数として、４乃至４０９６を例示することができる。

あるいは又、本発明の撮像装置等において、結像手段は、第１の撮像素子に設けられている複数のピンホールから成る構成とすることができる。尚、このような構成を、便宜上、第２の構成と呼ぶ。そして、この第２の構成にあっては、第２の撮像素子は複数の第２の受光素子から構成されており、１つのピンホールに第２の撮像素子を構成する第２の受光素子の複数が対応していることが好ましい。１つのピンホールに対応する第２の撮像素子を構成する第２の受光素子の数として、４乃至４０９６を例示することができる。また、１つのピンホールに対応する第１の撮像素子を構成する第１の受光素子の数として、４乃至４０９６を例示することができる。

以上に説明した好ましい構成を含む本発明の撮像装置等において、第１の撮像素子は、特定の波長（例えば、赤外線）を有する光のみを通過させる形態とすることもできる。そして、この場合には、第２の撮像素子は、第１の撮像素子を通過した特定の波長に対して感度を有する形態とすればよい。このような形態において、第１の撮像素子をカラーフィルターを備えた撮像素子とし、第２の撮像素子をカラーフィルターを取り除いた撮像素子とすれば、第２の撮像素子における解像度の低下を低減することが可能となる。特定の波長（例えば、赤外線）を有する光のみを通過させるために、第１の撮像素子の手前に赤外線をカットする赤外カットフィルタを設ける場合、第１の撮像素子の光透過部を透過する光に対しては赤外線がカットされないよう、第１の撮像素子に近接して、且つ、第１の撮像素子の光透過部以外を覆うように赤外カットフィルタを設けると共に、第１の撮像素子と第２の撮像素子の間に、赤外線のみを選択的に通過させる赤外透過フィルタを設ければよい。また、第１の撮像素子を通過した特定の波長に対して感度を有する構成とするためには、例えば赤外線の場合には、第２の撮像素子として、ＣＣＤ（Charge Coupled Device；電荷結合素子）等の赤外線に対して感度を有する撮像素子を用いればよい。

更には、以上に説明した好ましい構成、形態を含む本発明の撮像装置等にあっては、
第２の撮像素子からの信号に対して所定の画像処理を施すための画像処理部を更に備えており、
第１の撮像モードによる撮像時、画像処理部による画像処理が停止され、
第２の撮像モードによる撮像時、画像処理部による画像処理が行われる構成とすることができる。

以上に説明した好ましい各種の構成、形態を含む本発明の撮像装置等における撮像レンズとして、ビデオカメラやスチルカメラ等で使用される一般的な撮像レンズを挙げることができる。また、第１の撮像素子（第１の撮像手段）は、例えば、２次元マトリクス状に配列された複数のＴＦＴ（Thin Film Transistor；薄膜トランジスタ）と、各ＴＦＴに組み合わされた第１の受光素子から構成することができる（例えば、特許公報第２７８８８１８号あるいは特許公報第２８３７５７８号参照）。あるいは又、第１の撮像素子と結像手段との組合せとして、２次元マトリクス状に配列された複数のＣＣＤやＣＭＯＳセンサー（第１の受光素子）と、各ＣＣＤやＣＭＯＳセンサーに組み込まれたピンホールを挙げることができる。第２の撮像素子（第２の撮像手段）として、２次元マトリクス状に配列された複数のＣＣＤやＣＭＯＳセンサー（第２の受光素子）を挙げることができる。あるいは又、第２の撮像素子として、特開平５−４８０６０号に開示された構成を有する、カラーフィルター機能を液晶によって達成する固体撮像素子を用いることもできる。

マイクロレンズアレイ部を構成する材料として、ポリメタクリル酸メチル樹脂（ＰＭＭＡ）、ポリカーボネート樹脂（ＰＣ）、ポリアリレート樹脂（ＰＡＲ）、ポリエチレンテレフタレート樹脂（ＰＥＴ）、アクリル系樹脂、ＡＢＳ樹脂といったプラスチックを挙げることができるし、また、ガラスを挙げることができ、周知の方法で作製することができる。マイクロレンズアレイ部は、複数のマイクロレンズが２次元マトリクス状に配列されて成る。マイクロレンズアレイ部を複数の領域に区画し、区画毎にマイクロレンズの焦点距離を変えてもよいし、マイクロレンズの径を代えてもよい。１つのマイクロレンズあるいはピンホールに対して複数の第２の受光素子が対応しているが、係る複数の第２の受光素子を一種ブロック化（セグメント化）して、ブロック化された第２の受光素子から得られた撮像情報に基づき撮像データを生成してもよい。１つのマイクロレンズあるいはピンホールから出射した光は、係るマイクロレンズあるいはピンホールに隣接したマイクロレンズあるいはピンホールに対応する第２の受光素子には入射しない構造とすることが望ましい。

本発明の撮像装置等にあっては、第１の撮像モード時（及び、所望に応じて第２の撮像モードによる撮像時）、撮像レンズによる像が第１の撮像素子上に結像されるが、このような結像状態は、撮像レンズにおける合焦点動作の最適化によって容易に行うことができる。具体的には、例えば、オート・フォーカス処理において、第１の撮像モード（及び、第２の撮像モード）による撮像時における合焦点動作（処理）の最適化を図ればよい。

本発明の撮像装置あるいは撮像方法によれば、第１の撮像モードによる撮像時（通常の高解像度の撮像モードによる撮像時）、撮像レンズを通過した光は、第１の撮像素子の撮像面上に結像し、第２の撮像モードによる撮像時（例えば、ライト・フィールド・フォトグラフィー技術に基づく撮像モードによる撮像時）、撮像レンズを通過した光は、第１の撮像素子を通過し、且つ、結像手段によって第２の撮像素子の撮像面上に到達するので、第１の撮像素子や、第２の撮像素子、結像手段を何ら移動させること無く、第１の撮像モードと第２の撮像モードとの間での撮像モードの切り替えを行うことができる。また、これらの２つの撮像モード間で同じ撮像光学系を用いるので、撮像装置の構成、構造が複雑になることもない。

以下、図面を参照して、実施例に基づき本発明を説明する。

実施例１は、本発明の撮像装置及び撮像方法に関する。より具体的には、実施例１の撮像装置は第１の構成を有する。実施例１の撮像装置１の概念図を図１に示す。

実施例１の撮像装置１は、撮像対象物を撮像して撮像データＤ_outを出力するものであり、
（Ａ）撮像レンズ１１、
（Ｂ）撮像レンズの焦点面に配置された第１の撮像素子（第１の撮像手段）１２、
（Ｃ）第２の撮像素子（第２の撮像手段）１４、及び、
（Ｄ）結像手段、
を備えている。

そして、実施例１の撮像装置１にあっては、第１の撮像モード（通常の高解像度の撮像モード）及び第２の撮像モード（ライト・フィールド・フォトグラフィー技術に基づく撮像モード）によって撮像がなされ、第１の撮像モードによる撮像時、撮像レンズ１１を通過した光は、第１の撮像素子１２の撮像面上に結像し、第２の撮像モードによる撮像時、撮像レンズ１１を通過した光は、第１の撮像素子１２を通過し、且つ、結像手段によって第２の撮像素子１４の撮像面上に到達する。

ここで、実施例１において、結像手段は、第１の撮像素子１２に備えられたマイクロレンズアレイ部１３から成る。そして、マイクロレンズアレイ部１３は、第１の撮像素子１２において、第２の撮像素子１４に面して一体的に設けられている。また、第２の撮像素子１４は複数の第２の受光素子から構成されており、マイクロレンズアレイ部１３は、複数のマイクロレンズ１３’から構成されており、１つのマイクロレンズ１３’に第２の撮像素子１４を構成する第２の受光素子の複数が対応している。具体的には、１つのマイクロレンズに対応する第２の撮像素子１４を構成する第２の受光素子の数は、例えば４乃至４０９６である。マイクロレンズ１３’は平凸レンズから構成されている。即ち、マイクロレンズアレイ部１３を構成するマイクロレンズ１３’において、撮像レンズ１１側の表面の曲率（ｒ₁）よりも、第２の撮像素子側の表面の曲率（ｒ₂）の方が大きい。更には、マイクロレンズ１３’は、非球面レンズから構成されている。また、１つのマイクロレンズ１３’に対応する第１の撮像素子１２を構成する第１の受光素子の数は、例えば、４乃至４０９６である。

実施例１の撮像装置１にあっては、第２の撮像素子１４からの信号に対して所定の画像処理を施すための画像処理部１５を更に備えており、画像処理部１５を制御する制御部１７を更に備えている。そして、第１の撮像モードによる撮像時、画像処理部１５による画像処理が停止され、第２の撮像モードによる撮像時、画像処理部１５による画像処理が行われる。

実施例１、あるいは、後述する実施例２において、撮像レンズ１１は、撮像対象物を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的な撮像レンズから構成されている。第１の撮像素子１２は、２次元マトリクス状に配列された複数のＴＦＴと、各ＴＦＴに組み合わされたＭＩＳダイオードから成る第１の受光素子から構成されている。そして、第１の撮像素子１２は、撮像レンズ１１の合焦点状態にも依るが、撮像レンズ１１の焦点面に配置されている。尚、図中の符号ｆ₁は、撮像レンズ１１の中心から第１の撮像素子１２の結像面までの距離を表す。第１の撮像モードによる撮像時、第１の撮像素子１２においては、撮像レンズ１１から出射された光を受光して、第１の撮像信号が生成され、第１の撮像信号は、画像処理部１５に送られる。また、マイクロレンズアレイ部１３は、複数のマイクロレンズ１３’が２次元マトリクス状に配列されて成る。

第２の撮像素子１４は、例えば、２次元マトリクス状に配列された複数のＣＣＤ（第２の受光素子）から構成されている。第２の撮像モードによる撮像時、第２の撮像素子１４においては、マイクロレンズアレイ部１３から出射された光を受光して、第２の撮像信号が生成され、画像処理部１５に送られ、画像処理が施される。第２の撮像素子１４は、マイクロレンズアレイ部１３の焦点面に配置されている。尚、図中の符号ｆ₂は、マイクロレンズアレイ部１３の中心から第２の撮像素子１４の撮像面までの距離（マイクロレンズ１３’の焦点距離）を表す。

撮像素子駆動手段１６によって、第１の撮像素子１２が駆動され、第１の撮像素子１２の受光動作の制御が行われ、更には、第２の撮像素子１４が駆動され、第２の撮像素子１４の受光動作の制御が行われる。制御部１７は、画像処理部１５及び撮像素子駆動手段１６の動作を制御する。具体的には、制御部１７は、撮像素子駆動手段１６の駆動動作を適宜制御すると共に、第１の撮像モード及び第２の撮像モードの２つの撮像モードに応じて、画像処理部１５の動作を制御する。制御部１７は、マイクロコンピュータから構成されている。

実施例１、あるいは、後述する実施例２において、第２の撮像モードにあっては、画像処理部１５において画像処理が施される。画像処理部１５は、第２の撮像モードにおいて、第２の撮像素子１４で得られた信号（第２の撮像信号）に対して所定の画像処理を施し、撮像データＤ_outとして出力する。具体的には、ライト・フィールド・フォトグラフィー技術に基づくリフォーカス（Refocusing）演算処理が行われる。そして、これによって、任意の視点や方向からの観察画像を再構築することができるし、画像の３次元情報を取得することができる。リフォーカス演算処理については後述する。

実施例１におけるマイクロレンズアレイ部１３の模式的な一部断面図を図２に示す。ここで、図２は、マイクロレンズアレイ部１３のレンズ効果を説明するための模式的な一部断面図である。マイクロレンズアレイ部１３を構成するマイクロレンズ１３’において、撮像レンズ１１側の表面の曲率（ｒ₁）よりも、第２の撮像素子１４側の表面の曲率（ｒ₂）の方が大きい。具体的には、実施例１にあっては、ｒ₁／ｒ₂＝０である。そして、マイクロレンズアレイ部１３を構成するマイクロレンズ１３’は、第２の撮像素子側に凸の平凸レンズである。尚、参照番号１３”は、マイクロレンズアレイ部１３の基部を指す。

実施例１の撮像装置１のように、様々な波長領域の光を含んだ自然光を撮像に利用する場合には、マイクロレンズ１３’の第２の撮像素子１４側の表面を非球面とし、マイクロレンズ１３’を非球面レンズとすることが好ましい。球面レンズで構成した場合と比べて、曲率を大きくすることができる結果、光学設計が容易になる。また、マイクロレンズ１３’を回折レンズで構成した場合と比較すると、入射光を屈折させる際の波長依存性が無くなるため、軸上色収差等の発生を回避することができ、様々な波長領域の光を含んだ自然光による撮像に適した構成とすることができる。尚、単色光を用いたイメージング用途等の場合には、波長依存性や軸上色収差の問題が無いため、マイクロレンズ１３’を回折レンズで構成した方が、非球面レンズで構成した場合と比べて、優れた光学特性を得ることができる場合がある。

図１、図２、図３の（Ａ）及び（Ｂ）を参照して、実施例１の撮像装置１の動作について詳細に説明する。

実施例１の撮像装置１にあっては、第１の撮像モード時（通常の高解像度の撮像モード）、撮像レンズ１１を通過した光を、第１の撮像素子１２の撮像面上に結像させる。即ち、撮像レンズ１１による撮像対象物の像は、マイクロレンズアレイ部１３によって何らの影響を受けること無く、第１の撮像素子１２上に結像する。こうして、撮像素子駆動手段１６の制御下、第１の撮像素子１２から第１の撮像信号が得られる。

一方、第２の撮像モード時（ライト・フィールド・フォトグラフィー技術に基づく撮像モード）、撮像レンズ１１を通過した光を、第１の撮像素子１２を通過させ、且つ、結像手段であるマイクロレンズアレイ部１３を構成するマイクロレンズ１３’によって第２の撮像素子１４の撮像面上に到達させる。こうして、撮像素子駆動手段１６の制御下、第２の撮像素子１４から第２の撮像信号が得られる。即ち、第２の撮像モードにあっては、図２に示すように、マイクロレンズ１３’に入射した入射光Ｌ₁₁は、マイクロレンズ１３’において屈折され、光軸Ｌ₀上の焦点である画素ＰＬ₁₁に集光される。このように、第２の撮像モードによる撮像時、マイクロレンズ１３’上に結像された撮像レンズ１１による像を、第２の撮像素子１４上に再結像（集光、収束）させることができる。

尚、実際には、同時に２つの撮像モード（通常の高解像度の撮像モード及びライト・フィールド・フォトグラフィー技術に基づく撮像モード）に基づく情報を得ることができるので、撮像モードの切り替えは、実質的には必要でない。即ち、２つの撮像モードの切り替えを積極的に行う必要は無く、２つの撮像モードの切り替えは、実際のところは、画像処理部１５における画像処理の切り替えが相当する。

図２に示すように、マイクロレンズアレイ部１３への入射光Ｌ₁₁（実線で示す）は、第２の撮像素子１４上の点（画素）ＰＬ₁₁に結像し、マイクロレンズアレイ部１３への入射光Ｌ₁₂（点線で示す）は、第２の撮像素子１４上の点（画素）ＰＬ₁₂に結像し、マイクロレンズアレイ部１３への入射光Ｌ₁₃（一点鎖線で示す）は、第２の撮像素子１４上の点（画素）ＰＬ₁₃に結像する。即ち、マイクロレンズアレイ部１３への入射光の入射方向が異なると、第２の撮像素子１４上の異なる点（異なる画素）上に結像（集光）される。

このような結像状態は、撮像レンズ１１における合焦点動作の最適化によって容易に行うことができ、例えば、オート・フォーカス処理において、第１の撮像モードによる撮像時と第２の撮像モードによる撮像時における合焦点動作（処理）の最適化を図ればよい。即ち、第１の撮像モードによる撮像時にあっても第２の撮像モードによる撮像時にあっても、例えば、第１の撮像素子１２の撮像面上に撮像レンズ１１を通過した光を結像させればよい。後述する実施例２においても同様である。

第１の撮像素子１２で得られた第１の撮像信号、第２の撮像素子１４で得られた第２の撮像信号は、画像処理部１５へ送出される。そして、画像処理部１５では、制御部１７の制御下、この撮像信号に対して所定の画像処理が施され、撮像データＤ_outとして出力される。具体的には、第１の撮像モードにあっては、制御部１７の制御下、画像処理部１５による画像処理を停止させる結果、入力した第１の撮像信号がそのまま撮像データＤ_outとして出力される。一方、第２の撮像モードにあっては、制御部１７の制御下、画像処理部１５による画像処理（リフォーカス演算処理）がなされる結果、入力した第２の撮像信号に対して所定の画像処理が施され、撮像データＤ_outとして出力される。

ここで、図３の（Ａ）及び（Ｂ）を参照して、画像処理部１５における画像処理のリフォーカス演算処理について詳細に説明する。このリフォーカス演算処理は、後述する実施例２に対しても同様に適用される。

図３の（Ａ）に示すように、撮像レンズ１１の撮像レンズ面１１Ａ上において直交座標系（ｕ，ｖ）を想定し、第２の撮像素子１４の撮像面１４Ａ上において直交座標系（ｘ，ｙ）を想定する。撮像レンズ１１の撮像レンズ面と第２の撮像素子１４の撮像面との間の距離をｆとすると、図３の（Ａ）に示すような撮像レンズ１１及び第２の撮像素子１４を通る光線Ｌ₁₄は、４次元関数Ｌ_F（ｘ，ｙ，ｕ，ｖ）で表すことができる。従って、光線Ｌ₁₄の位置情報に加え、光線Ｌ₁₄の進行方向の情報を得ることができる。そして、この場合、図３の（Ｂ）に示すように撮像レンズ面１１Ａ、撮像面１４Ａ及びリフォーカス面（撮像レンズ１１による像が結像される第１の撮像素子１２の撮像面あるいはマイクロレンズアレイ部１３の結像面）１３Ａ間の位置関係を設定した場合、即ち、ｆ’＝α・ｆとなるようにリフォーカス面１３Ａを設定した場合、リフォーカス面１３Ａ上の座標（ｓ，ｔ）の撮像面１４Ａ上における検出光強度Ｌ_F'（ｓ，ｔ，ｕ，ｖ）は、以下の式（１）で表すことができる。また、リフォーカス面１３Ａで得られるイメージＥ_F'（ｓ，ｔ）は、検出光強度Ｌ_F'（ｓ，ｔ，ｕ，ｖ）をレンズ口径に関して積分したものであるので、以下の式（２）で表すことができる。従って、式（２）に基づきリフォーカス演算を行うことによって、ライト・フィールド・フォトグラフィー技術に基づく撮像データＤ_outにより、任意の視点や方向からの観察画像を再構築することができるし、画像の３次元情報を取得することができる。

このように、実施例１にあっては、第１の撮像モードによる撮像時（通常の高解像度の撮像モードによる撮像時）、撮像レンズ１１を通過した光は、第１の撮像素子１２の撮像面上に結像し、第２の撮像モードによる撮像時（ライト・フィールド・フォトグラフィー技術に基づく撮像モードによる撮像時）、撮像レンズ１１を通過した光は、第１の撮像素子１２を通過し、且つ、結像手段１３によって第２の撮像素子１４の撮像面上に到達する。従って、簡素な構成、構造により、第１の撮像モードと第２の撮像モードとの間での撮像モードの切り替えを容易に行うことができる。また、同時に２つの撮像モードに基づく情報を得ることができるし、撮像モードの実質的な切り替えが必要ないため、機械的に撮像モードを切り替える場合と比べて、撮像モード切替え動作時の信頼性を向上させることができる。更には、マイクロレンズ１３’を非球面レンズから構成すれば、球面レンズから構成した場合と比較して、曲率を大きくすることができるので、光学設計を容易にすることが可能となる。

尚、場合によっては、図４に撮像装置の概念図を示すように、マイクロレンズアレイ部１３を、第１の撮像素子１２において、撮像レンズ１１に面して設けてもよい。

実施例２は、実施例１の変形であり、第２の構成に関する。図５に概念図を示し、第１の撮像素子及び結像手段の一部分を拡大した模式的な一部断面図を図６に示すように、実施例２における撮像装置２にあっては、結像手段は、第１の撮像素子（第１の撮像手段）１１２に設けられた複数のピンホール１１３から成る。そして、実施例２にあっても、第２の撮像素子（第２の撮像手段）１４は複数の第２の受光素子から構成されており、１つのピンホール１１３に第２の撮像素子１４を構成する第２の受光素子の複数が対応している。具体的には、１つのピンホール１１３に対応する第２の撮像素子１４を構成する第２の受光素子の数として、４乃至４０９６を例示することができる。尚、実施例２にあっては、第１の撮像素子１１２を、２次元マトリクス状に配列された複数のＣＣＤから構成している。この第１の撮像素子１１２におけるＣＣＤは、図６に模式的な一部断面図を示すように、より具体的には、受光部１２０、転送路１２１及び遮光部１２２から構成されている。そして、ＣＣＤが設けられていない領域に、ピンホール１１３が設けられている。また、１つのピンホール１１３に対応する第１の撮像素子１２を構成する第１の受光素子の数は、例えば、４乃至４０９６である。

実施例２の撮像装置２にあっても、第１の撮像モードによる撮像時（通常の高解像度の撮像モードによる撮像時）、撮像レンズ１１を通過した光は、第１の撮像素子１１２の撮像面上に結像する。一方、第２の撮像モードによる撮像時（ライト・フィールド・フォトグラフィー技術に基づく撮像モードによる撮像時）、撮像レンズ１１を通過した光は、第１の撮像素子１１２を通過し、且つ、結像手段であるピンホール１１３によって第２の撮像素子１４の撮像面上に到達する。

以上の点を除き、実施例２の撮像装置２の構成、構造は、実施例１の撮像装置１の構成、構造と同じとすることができるので、詳細な説明は省略する。

以上、本発明を好ましい実施例に基づき説明したが、本発明はこれらの実施例に限定するものではなく、種々の変形が可能である。実施例にあっては、画像処理部１５における画像処理方法として、ライト・フィールド・フォトグラフィー技術に基づくリフォーカス演算処理について説明したが、画像処理部１５における画像処理方法は、これに限られず、他の画像処理方法（例えば、視野を振るといった画像処理や、マイクロレンズアレイ部及び撮像素子を一種のステレオ・カメラとして機能させることで得られる距離算出といった画像処理）としてもよい。

実施例１におけるマイクロレンズアレイ部を、液晶レンズアレイから構成してもよいし、エレクトロウェッティング現象（電気毛管現象）を利用した液体マイクロレンズアレイ部から構成してもよい。また、第１の撮像素子１２，１１２は、ＴＦＴに組み合わされた受光素子やＣＣＤに限定されず、光を透過若しくは通過させることができ、しかも、受光した光を電気信号に変換できる機能を有するものであれば、如何なる形式の撮像素子をも使用することができる。例えば、特許公報第２７８８８１８号あるいは特許公報第２８３７５７８号に開示された技術に基づき液晶レンズを構成すれば、マイクロレンズアレイ部と第１の撮像素子とを一体化することができる。

また、第１の撮像素子１２，１１２は、特定の波長（例えば、赤外線）を有する光のみを通過させる形態とすることもできる。そして、この場合には、第２の撮像素子１４は、第１の撮像素子１２，１１２を通過した特定の波長に対して感度を有する形態とすればよい。具体的には、第１の撮像素子１２，１１２を、第１の撮像素子の光透過部を透過する光に対しては赤外線がカットされないよう、第１の撮像素子に近接して、且つ、第１の撮像素子の光透過部以外を覆うように赤外カットフィルタを配置したＣＣＤと、第１の撮像素子と第２の撮像素子の間に設けた、第１の撮像素子を透過した光のうち赤外線のみを選択的に通過させる赤外透過フィルタから構成すればよいし、第２の撮像素子１４を赤外線に対して感度を有するＣＣＤ等の撮像素子から構成すればよい。このように、２つの撮像素子で使用する波長を分けることで、第２の撮像素子１４にて効率良く光を受光することが可能となる。更には、第２の撮像素子を、カラーフィルターを取り除いたモノクロ型の撮像素子とすれば、カラー検出のために配分した画素分の高解像化を実現することができる。

図１は、実施例１の撮像装置の概念図である。図２は、マイクロレンズアレイ部のレンズ効果を説明するための、マイクロレンズアレイ部を拡大した模式的な一部断面図である。図３の（Ａ）は、第２の撮像モード時の画像処理を説明するための撮像レンズ等の概念図であり、図３の（Ｂ）は、第２の撮像モード時の画像処理を説明するための図である。図４は、実施例１の撮像装置の変形例の概念図である。図５は、実施例２の撮像装置の概念図である。図６は、第１の撮像素子及びピンホールを拡大した模式的な一部断面図である。

符号の説明

１，２・・・撮像装置、１１・・・撮像レンズ、１１Ａ・・・撮像レンズ面、１２，１１２・・・第１の撮像素子、１３・・・マイクロレンズアレイ部、１３’・・・マイクロレンズ、１３Ａ・・・リフォーカス面、１１３・・・ピンホール、１４・・・第２の撮像素子、１４Ａ・・・撮像面、１５・・・画像処理部、１６・・・撮像素子駆動手段、１７・・・制御部、１２０・・・受光部、１２１・・・転送路、１２２・・・遮光部

Claims

（Ａ）撮像レンズ、
（Ｂ）撮像レンズの焦点面に配置された第１の撮像素子、
（Ｃ）第２の撮像素子、及び、
（Ｄ）結像手段、
を備えており、
第１の撮像モード及び第２の撮像モードによって撮像がなされ、
第１の撮像モードによる撮像時、撮像レンズを通過した光は、第１の撮像素子の撮像面上に結像し、
第２の撮像モードによる撮像時、撮像レンズを通過した光は、第１の撮像素子を通過し、且つ、結像手段によって第２の撮像素子の撮像面上に到達することを特徴とする撮像装置。
結像手段は、第１の撮像素子に備えられたマイクロレンズアレイ部から成ることを特徴とする請求項１に記載の撮像装置。
マイクロレンズアレイ部は第２の撮像素子に面していることを特徴とする請求項２に記載の撮像装置。
第２の撮像素子は、複数の受光素子から構成されており、
マイクロレンズアレイ部は、複数のマイクロレンズから構成されており、
１つのマイクロレンズに、第２の撮像素子を構成する受光素子の複数が対応していることを特徴とする請求項２に記載の撮像装置。
結像手段は、第１の撮像素子に設けられた複数のピンホールから成ることを特徴とする請求項１に記載の撮像装置。
第２の撮像素子は、複数の受光素子から構成されており、
１つのピンホールに、第２の撮像素子を構成する受光素子の複数が対応していることを特徴とする請求項５に記載の撮像装置。
第１の撮像素子は、特定の波長を有する光のみを通過させることを特徴とする請求項１に記載の撮像装置。
第２の撮像素子は、第１の撮像素子を通過した特定の波長に対して感度を有することを特徴とする請求項７に記載の撮像装置。
（Ａ）撮像レンズ、
（Ｂ）撮像レンズの焦点面に配置された第１の撮像素子、
（Ｃ）第２の撮像素子、及び、
（Ｄ）結像手段、
を備えた撮像装置を用いた撮像方法であって、
第１の撮像モードによる撮像時、撮像レンズを通過した光を、第１の撮像素子の撮像面上に結像させ、
第２の撮像モードによる撮像時、撮像レンズを通過した光を、第１の撮像素子を通過させ、且つ、結像手段によって第２の撮像素子の撮像面上に到達させることを特徴とする撮像方法。