JP2013187914A - 本体および取り外し可能なプレノプティック撮像部品を備えたプレノプティック撮像システム - Google Patents

Abstract

【課題】多種多様な１次レンズ、フィルター・モジュール、マイクロレンズ・アレイおよび／またはセンサー・アレイを交換可能に使用することができるプレノプティック撮像システムを実現する。
【解決手段】プレノプティック撮像システム内の様々な構成部品を取り外し可能な形で互いに嵌め合わせることができるモジュール化された構造として、当該撮像システムを構成する。
【選択図】図１

Description

本発明は、一般的には、プレノプティック撮像システムに関係し、より具体的には、本体及びこれと取り外し可能な部品を備えたプレノプティック撮像システムに関係する。

プレノプティック撮像システムは、最近になってますます注目されるようになって来ている。当該システムは、撮像されたプレノプティック画像に対するデジタル処理に基づいて、撮影対象物に対する異なる焦点または視点を再計算するのに使用され得る。さらに、プレノプティック撮像システムは、瞳孔開口部の平面内におけるマルチモーダル・フィルター配列を使用して、マルチモーダル撮像におけるアプリケーションをも発見する。各フィルターはセンサー位置において結像され、その結果、当該フィルターの平面内にある各画像モダリティーに関して撮影対象物の多重化された画像を効果的に生成する。プレノプティック撮像システムのその他のアプリケーションには、フィールド撮像の多様に変化する深さや高度なダイナミック・レンジ撮像などが含まれる。

しかしながら、従来型のプレノプティック撮像システムは、典型的には、設計を変更することができない。プレノプティック撮像システムは、まず設計され、続いて、一体化されたユニットとして構成される。プレノプティック撮像システムが一旦構成された後は、当該システム内における主要な部品を変更することは困難である。しかしながら、異なる状況に応じて、異なる設計のプレノプティック撮像システムが必要とされるだろう。例えば、目標とする設計仕様（所望の解像度、視野、深さレンジ）が異なれば、SLRカメラ内において複数の異なる１次レンズを使用することが必要とされるだろう。さらに、１次レンズの各々は、当該１次レンズの各々と整合する異なるレンズレット配列を必要とする可能性がある。従って、設計がモジュール化されており、野外において設計を再構成することが可能なプレノプティック撮像システムに対する需要が存在する。

本発明は、プレノプティック撮像システムの様々な部品を取り外すことが可能となるように設計がモジュール化されているプレノプティック撮像システムを実現することによって様々な制限を克服する。このようにして、本発明においては、多種多様な複数の１次レンズ、複数のフィルター・モジュール、複数のマイクロレンズ・アレイおよび／または複数のセンサー・アレイが交換されることが可能となる。

本発明の一実施態様においては、様々なプレノプティック撮像部品の組み合わせを収容するために、一つの共通の本体が使用される。本体自身は、さらに追加の機能を実装することが可能であり、このような追加の機能としては、例えば、ユーザ制御入力部、可搬型メディア又は通信プロトコルのためのインターフェースおよび／またはプレノプティック撮像部品に電力を供給する機能等がある。本体とプレノプティック撮像部品とは、互いに対応する電気的インターフェースを有することが可能であり、当該インターフェースは、本体とプレノプティック撮像部品とが相互に接続される際に、両者を嵌め合せる。

本発明の一つの変形実施例においては、本体は従来式の撮像用途にも使用することが可能である。例えば、多種多様なプレノプティック撮像部品は、標準化された構造を有するカメラ本体と共に機能するように設計されることも可能である。

本発明の他の実施態様は、上述した概念および上述した用途に対応する方法、装置およびシステムを含む。

本発明が有する技術的優位性と技術的特徴とは、添付図面を参照しながら、本発明に関する以下の説明および特許請求の範囲記載の請求項を理解することにより、一層明らかとなる。

プレノプティック撮像システムの簡略化されたブロック図 プレノプティック画像からの撮影対象物の再構成を図示するブロック図 撮影対象物の推定誤差に基づくフィードバックを使用する複数の異なるモードを図示するブロック図 撮影対象物の推定誤差に基づくフィードバックを使用する複数の異なるモードを図示するブロック図 撮影対象物の推定誤差に基づくフィードバックを使用する複数の異なるモードを図示するブロック図 実体検出のために使用されるPIF反転を図示するブロック図 深さ推定のために使用されるPIF反転を図示するブロック図 プレノプティック撮像ユニットに接続されたカメラ本体の前方斜視図 プレノプティック撮像ユニットから取り外されたカメラ本体の前方斜視図 プレノプティック撮像ユニットの背面図 プレノプティック撮像ユニットがどのようにカメラ本体に接続されるかを図示する底面図 カメラ本体とプレノプティック撮像ユニットの対応する板金部材同士の嵌め合せの様子を示す図 カメラ本体とプレノプティック撮像ユニットの対応する板金部材同士の嵌め合せの様子を示す図 プレノプティック撮像ユニットとカメラ本体との間の電気的接続を示す図 さらに別のプレノプティック撮像ユニットとカメラ本体との間の電気的接続を示す図 交換可能性の異なる類型を図示するブロック図 交換可能性の異なる類型を図示するブロック図 交換可能性の異なる類型を図示するブロック図 交換可能性の異なる類型を図示するブロック図

本明細書に添付された図面は、単なる例示目的のために本発明の実施形態を図示する。当該技術分野における当業者は、本明細書に記載された発明の基本原理から逸脱することなく、本明細書中で例示された構造や方法に代わる代替的な実施形態を採用可能であることを、直ちに理解するだろう。

添付された図面及び以下の説明は、単なる例示の手段として本発明に係る好適な実施形態と関係している。以下の説明より、特許請求の範囲に記載された発明から逸脱することなく、本明細書中で例示された構造や方法に代わる代替的な実施形態が実施可能な代替例として採用可能であることに留意されたい。

図１は、プレノプティック撮像システムの簡略化されたブロック図である。当該システムは、１次的な撮像サブシステム１１０（図１において単一のレンズ（１次レンズ１１０）として示されている）、２次的な撮像システム１２０（図１においてレンズレットの配列として示されている）、およびセンサー・アレイ１３０を含んでいる。これらの構成要素は、互いに重なり合う２つの撮像サブシステムを形成し、図１においては、これら２つのサブシステムを指してそれぞれ、サブシステム１およびサブシステム２と呼んでいる。プレノプティック撮像システムは、センサー・アレイ１３０と共益な位置に配置されたフィルター・モジュール１２５をオプションとして具備することも可能である。当該フィルター・モジュールは、多数の空間的に多重化されたフィルター・セルを含んでおり、これらのセルは、図１において、１〜３とラベル付けされている。例えば、当該複数のセルは、撮影対象物の内部における複数の異なるモダリティーに対応することが可能であろう。

図１において、複数の異なる部品は、その各々が単一平面上に位置する単一の構成要素によって表現されている。このような図示は、単に説明を明確にする目的でなされている。当該複数の異なる部品は、図示されているものよりも一層複雑である可能性があることを理解されたい。例えば、「１次レンズ１１０」は、複数個のレンズ、複数個のミラーおよびこれらの組み合わせ等を含む複数の構成要素から成る多種多様な組み合わせであり得る。同様に、２次的な撮像アレイ１２０は、マイクロレンズ・アレイに限らず、ピンホール・アレイや反射アレイである可能性もある。

今とりあえず、フィルター・モジュール１２５の存在を無視するとするならば、撮像サブシステム１において、撮影対象物１５０は「１次レンズ１１０」により撮像され、以下において「主たる画像」と呼ばれる一枚の画像が生成される。この「１次レンズ１１０」は、カメラの撮影レンズであっても良く、顕微鏡に使用されるレンズまたは何らかの撮影システムに使用されるその他のレンズであっても良い。レンズレット・アレイ１２０は、「主たる画像」の位置と概ね同じ位置に配置される。さらに、レンズレットの各々は、１次レンズの瞳孔をセンサー平面上に結像する。これは、撮像サブシステム２であり、当該撮像サブシステム２は、撮像サブシステム１と部分的に重なり合っている。センサー・アレイ１３０において生成された画像は、「主たる画像」との混同を避けるために、「プレノプティック画像」と呼ぶことにする。当該プレノプティック画像が、それぞれが複数のレンズレットの各々に対応する複数の部分画像の配列に分割することが可能である。しかしながら、当該複数の部分画像は、撮像サブシステム１の瞳孔の画像であり、撮影対象物１５０の画像ではないことに留意されたい。プレノプティック画像および複数の部分画像は、図１においてA１〜C3とラベル付けされている。フィルター・モジュール１２５内のフィルター・セル１によるフィルタリング結果に従って、A1は、一般的には、撮影対象物１５０の「部分A」に対応する。

センサー・アレイ１３０によってキャプチャされたプレノプティック画像は従来式の画像と同じ様には見えない。しかしながら、フィルター・モジュール１２５によるフィルタリング結果に従って、当該画像は、撮影対象物および撮影対象物によって生成された光場に関する情報を含んでいる。この情報は、複数の異なるタイプの画像を復元し、又はその他の目的を達成するために、様々な技法を使用して処理されることが可能である。図１においては、プロセッサ１４０が当該処理を実行する。複数の異なるタイプのアプリケーションと処理の具体例は、例えば、2012年２月16日付けで出願された米国特許出願13/398,815“Spatial reconstruction of plenoptic images（docket 19823）”、2012年２月17日付けで出願された米国特許出願13/399,476“Resolution-enhanced plenoptic imaging system（docket 19820）”、2011年１月17日付けで出願された米国特許出願13/007,901“Multi-imaging system with interleaved images（docket 17757）”および2009年９月30日付けで出願された米国特許出願12/571,010“Adjustable multimode lightfield imaging system having an actuator for changing position of a non-homogeneous filter module relative to an image-forming optical module（docket 15987）”等に開示されている。上記において列挙した全ての先行技術文献の開示内容は、参照により本明細書中に組み込まれる。幾つかの例示的実施形態が図２〜図４を使用して以下のとおりに説明される。

図２は、プレノプティック画像からの撮影対象物の再構成を図示するブロック図である。撮影対象物１５０は、プレノプティック画像２２０をキャプチャするプレノプティック撮像システム上への入射光２１０である。プレノプティック撮像システムに関する画像キャプチャ過程は、瞳孔イメージ関数（PIF: Pupil Image Function）応答特性によって記述される。本来の撮影対象物の推定画像２５０を取得するために、信号処理２３０が使用され、この画像キャプチャ過程が反転させられる。フィルター・モジュールの場合、当該モジュール内の各フィルターは、当該撮影対象物の異なる構成部分をフィルタリング出力し、当該PIF反転過程２３０は、撮影対象物の各構成部分の推定画像２５０を生成することができる。例えば、当該撮影対象物の複数の構成部分は、当該撮影対象物内における複数の異なる波長帯域を表すことが可能である。他の構成部分は、例えば、偏光、減衰、撮影対象物の照度もしくは深さなどに基づくことが可能である。PIF反転過程の具体例は、2012年２月16日付けで出願された米国特許出願13/398,815“Spatial reconstruction of plenoptic images（docket 19823）”、および、2012年２月17日付けで出願された米国特許出願13/399,476“Resolution-enhanced plenoptic imaging system（docket 19820）”において説明されており、これらの先行技術文献の記載内容は、その全体が参照により本明細書中に組み込まれる。

図２に示すモデルは、多数のモードにおいて使用することが可能である。上述した説明は、（較正モード、検査モードまたはその他のモード等とは反対に）プレノプティック撮像システムの操作的なモードに関している。プレノプティック画像がキャプチャされると、目指す目標は、当該キャプチャされたプレノプティック画像から本来の撮影対象物（またはその構成部分）の高品質な画像を再構成することである。これはまた、再構成モードと呼ばれても良い。

図３Aは、同一のPIFモデルに基づくけれども異なる方法で使用されるモデルのブロック図である。ここで、撮影対象物１５０は既知（独立に推定されている）であり、当該推定された撮影対象物２５０は、実際の撮影対象物と対比される。誤差の尺度３１０が計算され、プレノプティック撮像システム２１０および／または反転過程２３０を修正するためのフィードバック３３０として使用される。

この一般的なモデルは、複数の異なる目的で使用することが可能である。例えば、当該モデルは、図３Bに示すようなオフライン状態の下での較正モードにおいて使用することが可能である。このモードにおいては、プレノプティック撮像システムは、まず設計され、構築され、そして較正が実行中の状態にある。このような事は、工場の中又は野外において生起し得る。この例においては、撮影対象物１５０は、既知の較正目標となる。誤差の尺度３１０は、既に構築済みのプレノプティック撮像システム２１０および／または信号処理２３０を較正する（図３B中の３３４）ために使用される。調整動作の具体例としては、物理的な位置および部品間の離間間隔や方向の調整、タイミング、利得、フィルター重みまたは他の電子的属性の調整などがある。

図３Cにおいては、フィードバック・ループの動作がリアルタイムに、かつ、自動的に発生するという点を除けば、フィードバック・ループの構成は図３Bに示すものと同様である。これは、プレノプティック撮像システム上で自動調整機能を実行する場合に相当する。

最後のバリエーションにおいて、図３A〜図３Cは、推定された撮影対象物２５０と実際の撮影対象物とを対比する尺度に基づいている。しかしながら、図４A〜図４Bに示すとおり、撮影対象物の性質を推定するための他の尺度を使用することもまた可能である。加えて、当該PIFモデルは、推定された撮影対象物を明確に計算しなくても、使用することが可能である。

図４Aにおいて、実行すべきタスクは、複数の異なるスペクトル成分の解析に基づいて特定の実体が存在するか否かを判定することである。例えば、PIFモデルは、これらの異なるスペクトル成分に基づく事が可能であり、プレノプティック撮像システム内において、対応するフィルター・モジュールが使用される。概念的には、PIF反転過程は各スペクトル成分を推定するのに使用されることが可能であり、続いてこれらはさらに解析され、その結果、実体が存在するか否かが判定される。しかしながら、その最終的な目的は実体の検出であり、実際の撮影対象物の構成部分を推定する動作は、中間的な動作ステップである。幾つかの場合においては、撮影対象物の構成部分を直接的に推定すること無しに、実体の検出のために計算４５０を実行することが可能である。図４Aに示した過程は、図３に示す多種多様なモダリティにおいて使用することもまた可能である。例えば、当該システムは、（撮影対象物の推定における誤差とは反対に）実体の検出における誤差を減らすために、較正され、および／または調整されることが可能である。誤差は、例えば、正の誤検出（実体が無いにもかかわらず実体が有るとシステムが表示する場合）の比率および負の誤検出（実体が有るにもかかわらず実体が無いとシステムが表示する場合）の比率によって測定することが可能である。撮影対象物の分類のために使用することが可能な２つの例示的な尺度としては、Fisherの弁別比およびBhattacharyyaの距離などがある。

図４はさらに別の具体例である深さ推定の例を与える。ここで実行すべきタスクは、様々な撮影対象物までの深さを判定することである。撮影対象物の複数の構成部分は、当該撮影対象物に関してそれぞれ異なる深さに位置する複数の部分である。続いて、直接的にあるいは間接的にPIF反転過程が使用され、構成部分毎にそれぞれ異なる深さが推定され、その結果、深さの推定結果を得ることができる。この尺度もまた、複数の異なるモダリティーにおいて使用することが可能である。図４Aおよび図４Bは２つの具体例を与えるだけである。他の具体例は自明である。

図１に戻ると、プレノプティック撮像システム内の複数の構成部品は１次的な撮像サブシステム１１０、２次的な撮像アレイ１２０、センサー・アレイ１３０およびオプションとしてフィルター・モジュール１２５を含んでいる。本発明に従うならば、プレノプティック撮像システムは、モジュール化された態様で構成され、その結果、共通の本体と共に、複数の異なるプレノプティック撮像部品を使用することが可能となり、および／またはプレノプティック撮像システム内における複数の異なる構成部品の交換可能性を実現することが可能となる。

図５〜図７は、カメラに基づく具体例を示し、これらの例では、取り外し可能なプレノプティック撮像ユニット２を備えたカメラ本体１を使用している。図５は、プレノプティック撮像ユニット２がカメラ本体１に接続されている様子を示している。図６は、プレノプティック撮像ユニット２がカメラ本体１から取り外されている様子を示している。図７は、当該プレノプティック撮像ユニットの背面図を示す。プレノプティック撮像ユニット２は、１次的な撮像サブシステム１１０、２次的な撮像アレイ１２０およびセンサー・アレイ１３０を含んでいる。これらの図においては、プレノプティック撮像ユニットは単一のユニットとして示されているけれども、以下において後述するとおり、当該ユニット自身は、取り外し可能な複数個の構成部品によりモジュール化された形で構成されていても良い。プレノプティック撮像ユニット２は取り外し可能であるので、同一のカメラ本体１と共に別異のプレノプティック撮像部品を使用することが可能である。

この具体例においては、プレノプティック撮像ユニット２は、立方体形状を有する筐体２Ａを有する。筐体２Ａは、その前面２ａの上にレンズ用のバレル３を有している。レンズ用のバレル３は、ガイド用シリンダー３ａおよび可動バレル部３ｂを含んでいる。可動バレル部３ｂは、ガイド用シリンダー３ａ上に配置され、その結果、光軸Ｏが伸びている方向に沿って、可動バレル部３ｂが前進したり後退したりすることが出来るようになる。この可動バレル部３ｂ上において、ズーム・レンズまたはこれと同様の機能を有するレンズのようなレンズ・システムが実現される。

Ｚ軸方向は、１次的な撮像サブシステムの光軸と平行であり、以下の説明において「前後方向」と呼ばれる。Ｘ軸方向は、当該光軸に対して垂直の向きであり、以下の説明において「左右方向」と呼ばれる。Ｙ軸方向は、以下の説明において「上下方向」と呼ばれる。

図８は、プレノプティック撮像ユニットがどのようにカメラ本体に接続されるかを図示する底面図である。プレノプティック撮像ユニット２は、当該ユニット２をＺ軸上の負の方向に動かすことにより、カメラ本体１の背面部１Ｂから見て反対側に配置される。続いて、プレノプティック撮像ユニット２は、左方向（Ｘ軸上の負の方向）に動かされ、その結果、カメラ本体のコネクタ１２とプレノプティック撮像ユニットのコネクタ１１とが嵌め合わされる。さらに、カメラ本体のコネクタ１２の特徴部分１２ａおよび１２ｂが図６に示されている。プレノプティック撮像ユニットのコネクタ１１はこれと対応する特徴部分を具備している。２つのコネクタ１１および１２が嵌め合わされた際に、両者は、カメラ本体１とプレノプティック撮像ユニット２との間の電気的インターフェースを提供する。

カメラ本体１は、板金部材４を補強するための本体後背の壁面部を有する。プレノプティック撮像ユニット２は、板金部材１０を補強するために当該ユニット後背に壁面部を有している。これら２つの部材４と１０とは、互いに嵌め合わされ、カメラ本体１とプレノプティック撮像ユニット２との間の接続状態を保持する。部材２と部材１０との間の嵌め合せ状態は図９Ａおよび図９Ｂに示されている。図９Ａおよび図９Ｂは、上記２つの部材４および１０のみを図示し、カメラ本体１とプレノプティック撮像ユニット２の残りの部分は図示していない。図９Ａにおいては、２つの部材４と１０とは途中まで嵌め合わされている。図９Ｂにおいては、２つの部材４と１０とは完全に嵌め合わされている。これら２つの部材４と１０の追加の特徴部分４*と１０*もまた図中に示されている。プレノプティック撮像ユニット２が一旦嵌め合わされた後は、ロック機構が当該ユニットを同じ位置に固定して保持する。当該２つの部材を分離するには、プレノプティック撮像ユニット２はロック解除され、右方向（Ｘ軸上の正の方向）に動かされる。更なる詳細な説明（電気的インターフェースに関する説明を含む）は、2010年11月１日付けで出願された米国特許出願12/916,948“Camera body and imaging unit attachable to and detachable from camera body, and imaging apparatus”において開示され、この開示内容は、参照により本明細書中に組み込まれる。

図１０および図１１は、プレノプティック撮像ユニット２とカメラ本体１との間の電気的接続を示すブロック図である。図１０および図１１の両者において、カメラ本体１は同一であるが、プレノプティック撮像ユニット２は異なっている。カメラ本体１は、リチウム・イオン電池２０４、ストロボ光照射部２０７、電子式ファインダー・デバイス２０９、ディスプレイ部としての表示面を有する液晶表示デバイス（LCD）２１１、ハイビジョン・テレビ接続端子のインターフェース（HDMIIF）２１２、映像音声出力端子（AVOUT）２１３、ＵＳＢインターフェース（USBIF）２１４、ＳＤカード・インターフェース（SD card）２１５、音声コーデック回路（Audio Codec）２１６、スピーカー２１７、マイクロフォン２１８、画像データを記憶する記録媒体としてのフラッシュＲＯＭ（Flash ROM）２１９、ＤＤＲ−ＳＤＲＡＭ２２１、画像データを受信するための受信部としても機能するメインＣＰＵ２０８、撮像指令を与えるための手動操作スイッチ２２５および２２８、手動操作スイッチ２２５から撮像指示を受信する撮像指令受信部として機能するサブＣＰＵ２０５、ＤＣ／ＤＣ電力変換回路２０３、スイッチ要素２０２、およびコネクタ端子１２を含む。代替的な設計においては、カメラ本体１はメインＣＰＵ２０８に加えてさらに、ＧＰＵを含むことが可能であり、あるいは、メインＣＰＵ２０８自体をＧＰＵとしても良い。上述した特徴的構成の中の多くは、多種多様なタイプの電気的インターフェースであり、例えば、データを取り外し可能記憶メディアへと転送したり、通信プロトコルを使用して転送したりするために装備されるものである。

プレノプティック撮像ユニット２は、１次的な撮像サブシステムとしての撮影レンズ・ユニット１１０、２次的な撮像アレイとしてのマイクロレンズ・アレイ１２０、およびセンサー・アレイ１３０を含んでいる。当該ユニットはさらに、ＡＦＥ回路１０９、ホール要素（Hall Element）１０４、駆動コイル（Coil）１０５、ジャイロ・センサー（Gyro Sensor）１０６、モーター駆動回路（Motor Driver）と駆動モーター（Ｍ）１１１、加速度検知センサー１１２、Ｔｅｌｅ／Ｗｉｄｅ検出スイッチ１１３、およびコネクタ端子１１を含んでいる。コネクタ端子１１は、カメラ本体上にあるコネクタ端子１２に対するインターフェースを提供する。画像データは、典型的には、このインターフェースの上で伝送される。この具体例においては、図１に示すプロセッサ１４０が担う機能は、典型的には、メインＣＰＵ２０８によって実行され、さもなければ、プレノプティック撮像システム全体の外部に存在するプロセッサによって実行される。

図１１に示す具体例は、プレノプティック撮像ユニット２が自分自身の固有のＣＰＵ１０３および／またはＧＰＵを含んでいる点を除いて、図１０に示す例と同様である。ＤＣ／ＤＣ電力変換回路１０１、サブＣＰＵ１０２、メインＣＰＵ１０３、フラッシュＲＯＭ１１４およびＤＤＲ−ＳＤＲＡＭ１１５がプレノプティック撮像ユニット２の中に提供されている。本発明に係る一実施形態においては、メインＣＰＵ１０３は、図１においてプロセッサ１４０が担うべき機能（場合によってはＰＩＦ反転を含む）の一部又は全てを実行し、処理後の信号は、コネクタ端子１１および１２を介してメインＣＰＵ２０８へと転送される。このようなアプローチと採用することの一つの利点は、この特定のプレノプティック撮像ユニットに固有の処理を実行するようにＣＰＵ１０３をプログラミングすることが可能であると言う点である。代替的なアプローチにおいては、メインＣＰＵ１０３は、圧縮処理を実行し、圧縮された画像データをコネクタ端子１１および１２を介してメインＣＰＵ２０８へと転送する。さらに、メインＣＰＵ１０３は、他のタイプの完結した処理又は部分的な処理を実行することも可能である。

プレノプティック撮像ユニットのローカルなデータ・ストレージ（例えば、フラッシュＲＯＭ１１４など）は、プレノプティック撮像ユニットを特性記述する複数のパラメータ（例えば、マイクロレンズ・アレイおよび／またはセンサー・アレイに関するパラメータ）を記憶することもまた可能である。これらのパラメータはＣＰＵ１０３によって使用され、あるいは、情報処理機能をサポートするために本体１に向けて通信されることが可能である。図１０に示すアーキテクチャは、インターフェース１１および１２を介してプレノプティック撮像ユニット２が読み取ることが可能なローカル・データ・ストレージを含むように修正されることが可能である。

コネクタ端子１１および１２によって形成される電気的インターフェースは、他の目的のために使用されることも可能である。例えば、インターフェース１１および１２を介してプレノプティック撮像ユニット２に対してカメラ本体１から電源が供給されることが可能である。当該カメラ本体は、様々なユーザ制御入力部（例えば、ズーム制御用のコントロール）をも含んでおり、これらに対応する制御指令が電気的インターフェース１１および１２を介して当該プレノプティック撮像ユニットを制御するために供給される。

図５〜図１１は一つの具体例を示す。本発明はこの具体例だけに限定はされない。図１２ａは、図５〜図１１に示す具体例の一つの表現である。この表現は、以下の基本的な構成部品を示す。すなわち、１次的な撮像サブシステム１１０、２次的な撮像アレイ１２０、センサー・アレイ１３０および本体１である。図中の実線は複数の構成部品の何れが一体化されたユニットとして構成されるかを示す。図１２ａにおいて、プレノプティック撮像ユニットは、１次的な撮像サブシステム１１０、２次的な撮像アレイ１２０およびセンサー・アレイ１３０を含む一体化されたユニットとして構成される。

図１２ｂ〜図１２ｄは、モジュール化の度合いを異ならせた場合の様々なバリエーションを示す。図１２ｂにおいて、１次的な撮像サブシステム１１０は、プレノプティック撮像ユニットの残りの部分から取り外すことが可能である。プレノプティック撮像ユニットの残りの部分（２次的な撮像アレイ１２０およびセンサー・アレイ１３０）は、プレノプティック・センサー・ユニット１２１０と呼ばれる。図１２ｂにおいては、異なるプレノプティック・センサー・ユニット１２１０に対して、異なる「１次レンズ１１０」を取り付けることが可能である。

図１２ｃにおいては、プレノプティック・センサー・ユニットはさらにモジュール化される。２次的な撮像アレイ１２０およびセンサー・アレイ１３０もまた相互に取り外すことが可能である。例えば、これに続いて、異なるマイクロレンズ・アレイが同一のプレノプティック・センサーに取り付けられることが可能である。このような機能は、複数の異なるサイズのマイクロレンズの使用をサポートするのに利用することができる。一つのアプリケーションにおいては、一枚のマイクロレンズがＫ個のセンサー画素をカバーすることが望ましい一方で、他のアプリケーションにおいては、一枚のマイクロレンズがＮ個のセンサー画素をカバーすることが望ましい場合がある。図１２ｃに示すアーキテクチャはマイクロレンズ・アレイ（又はその他の２次的な撮像アレイ）の交換を容易にする。マイクロレンズ・アレイ１２０とセンサー・アレイ１３０とは、典型的には、物理的に相互に近接しているため、これらの間で近接した離間間隔を保持しながら取り外し可能なものを製造することは相応の工夫を必要とするかも知れない。両者の間の離間間隔に関するこのような機構上の要件を緩和するために、マイクロレンズ・アレイ又はセンサー・アレイのいずれか一方に対して光学リレーを一体化する形で取り付けることが可能である。

図１２ｄにおいては、フィルター・モジュール１２５がさらに別の取り外し可能な構成部品として追加される。この具体例においては、２次的な撮像アレイ１２０およびセンサー・アレイ１３０は一体化された形で相互に接続されて単一のユニットを形成するが、フィルター・モジュール１２５および１次的な撮像サブシステム１１０は、それぞれ別個の取り外し可能ユニットとして実装される。この場合も上記と同様に、離間間隔に関する要件を緩和するために、光学リレーを使用することが可能である。

他のバリエーションは自明であろう。例えば、ＳＬＲカメラにおいては、１次レンズ１１０は、ガイド用シリンダー内の可動バレル部によって実現されるズーム機構を有することが可能である。図５〜図７中の構成部品３ｂおよび３ａを参照されたい。同様に、複数の構成部品の様々に異なる組み合わせが使用される際に、それら構成部品間の相対的なｚ軸上の位置を柔軟に変更することを可能にするために、図１２ａ〜図１２ｄに図示する１次レンズ、レンズレット・アレイ／２次的な撮像アレイおよび／またはセンサー・アレイは、それぞれ同様の機構を具備している。

本明細書における発明の詳細な説明は、多くの特定実施例を含んでいるけれども、これらは、本発明の技術的範囲を限定するものと解釈されるべきではなく、本発明に係る複数の異なる具定例と実施態様を単に例示しているだけであると解釈されるべきである。本発明の技術的範囲は、上述した説明において詳細に検討しなかった他の実施形態を含み得ることが理解されるべきである。例えば、上述した詳細な具体例は、カメラ本体を使用していたけれども、本発明の技術的範囲はカメラを使用する場合に限られない。本発明は、顕微鏡を含む他の撮像システムに対して適用することもまた可能である。顕微鏡に関して言えば、１次レンズは、異なる撮影対象向けレンズに切り替えることにより変更することが可能である。他の撮像システムの具体例は、魚眼レンズの光学系を有するシステム、全方位型カメラ、セキュリティ・カメラ（これらのシステムでは、一部の制御動作がリモートに実行可能であるならば、より簡略化された本体部分を使用可能である）、リモート・センシング用カメラおよび動画撮影カメラなどを含む。特許請求の範囲記載の請求項によって定義される本発明の基本的考え方と技術的範囲から逸脱することなく、本明細書中で開示された本発明の構成、動作および方法と装置の詳細において、当該技術分野の当業者にとって自明である他の様々な修正、変形およびバリエーションが実施可能である。従って、本発明の技術的範囲は、特許請求の範囲記載の請求項およびそれらの法上の均等物によって決定されるべきである。

請求項中の記載において、単数形で記載された要素への言及は、明確に断らない限り「一つだけのもの」を意味するようには意図されず、むしろ「一つであっても２つ以上であっても良いもの」を意味する。加えて、複数の請求項によって包括されるために、本明細書中で開示された方法及び装置は、本発明の互いに異なる実施形態によってそれぞれ解決可能な課題の全てに対処することを要さない。

Claims (20)

1. モジュール化されたプレノプティック撮像システムであって：
   本体；および、
   前記本体に取り外し可能な形で取り付けられるプレノプティック・センサー・ユニットであって、前記取り外し可能な形で取り付けられるプレノプティック・センサー・ユニットは、２次的な撮像アレイおよびセンサー・アレイを含み、前記２次的な撮像アレイは、１次的な撮像サブシステムの瞳孔部分を前記センサー・アレイ上に結像する、プレノプティック・センサー・ユニット、
   を備えるプレノプティック撮像システム。
2. 前記１次的な撮像サブシステムは、前記プレノプティック・センサー・ユニットに取り外し可能な形で取り付けられることができることを特徴とする、請求項１記載のモジュール化されたプレノプティック撮像システム。
3. 前期２次的な撮像アレイと前記センサー・アレイとは互いに取り外し可能であることを特徴とする、請求項１記載のモジュール化されたプレノプティック撮像システム。
4. フィルター・モジュールをさらに備えることを特徴とする、請求項１記載のモジュール化されたプレノプティック撮像システム。
5. 前記フィルター・モジュールは、前記プレノプティック・センサー・ユニットから取り外し可能であることを特徴とする、請求項６記載のモジュール化されたプレノプティック撮像システム。
6. 前記フィルター・モジュールは、前記１次的な撮像サブシステムから取り外し可能であることを特徴とする、請求項６記載のモジュール化されたプレノプティック撮像システム。
7. 前記フィルター・モジュールに一体化された形で取り付けられた光学リレーをさらに備えることを特徴とする、請求項６記載のモジュール化されたプレノプティック撮像システム。
8. 前記フィルター・モジュールは、スペクトル・フィルターを含むことを特徴とする、請求項６記載のモジュール化されたプレノプティック撮像システム。
9. 前記フィルター・モジュールは、実体の検出動作に適合したスペクトル・フィルターを含むことを特徴とする、請求項６記載のモジュール化されたプレノプティック撮像システム。
10. 前記本体および前記取り外し可能な形で取り付けられるプレノプティック・センサー・ユニットの各々は、前記プレノプティック・センサー・ユニットが前記本体に取り付けられる際に、電気的インターフェースを提供する電気的コネクタをそれぞれ有することを特徴とする、請求項１記載のモジュール化されたプレノプティック撮像システム。
11. 前記取り外し可能な形で取り付けられるプレノプティック・センサー・ユニットは、前記電気的インターフェースを介して前記本体と通信するプロセッサを含むことを特徴とする、請求項１０記載のモジュール化されたプレノプティック撮像システム。
12. 前記プロセッサは、前記センサー・アレイによってキャプチャされたデータに基づいて、ＰＩＦ反転過程を実行することを特徴とする、請求項１１記載のモジュール化されたプレノプティック撮像システム。
13. 前記取り外し可能な形で取り付けられるプレノプティック・センサー・ユニットは、前記プレノプティック・センサー・ユニットを特性記述するパラメータを記憶するローカルなデータ・ストレージをさらに含むことを特徴とする、請求項１１記載のモジュール化されたプレノプティック撮像システム。
14. 前記本体は、第２の電気的インターフェースをさらに含むことを特徴とする、請求項１０記載のモジュール化されたプレノプティック撮像システム。
15. 前記第２の電気的インターフェースは、取り外し可能記憶媒体にデータを転送するためのものであることを特徴とする、請求項１４記載のモジュール化されたプレノプティック撮像システム。
16. 前記第２の電気的インターフェースは、通信プロトコルを使用してデータを転送するためのものであることを特徴とする、請求項１４記載のモジュール化されたプレノプティック撮像システム。
17. 前記プレノプティック・センサー・ユニットは、前記電気的インターフェースを介して前記本体から電源の供給を受けることを特徴とする、請求項１０記載のモジュール化されたプレノプティック撮像システム。
18. 前記本体は、ユーザ制御入力部を含み、前記ユーザ制御入力部を介して受け取られた入力は、前記電気的インターフェースを介して前記プレノプティック・センサー・ユニットを制御することを特徴とする、請求項１０記載のモジュール化されたプレノプティック撮像システム。
19. 前記本体はカメラ本体であることを特徴とする、請求項１記載のモジュール化されたプレノプティック撮像システム。
20. 撮像システム本体に取り外し可能な形で取り付けられるプレノプティック・センサー・ユニットであって、前記取り外し可能な形で取り付けられるプレノプティック・センサー・ユニットは、２次的な撮像アレイおよびセンサー・アレイを含み、前記２次的な撮像アレイは、１次的な撮像サブシステムの瞳孔部分を前記センサー・アレイ上に結像する、プレノプティック・センサー・ユニット。
    

Images