JP2015089131A - プレノプティック・カラー撮像システム - Google Patents

Abstract

【課題】プレノプティック撮像システムのみによって捕捉されたものよりも高い解像度を有するカラー画像をもたらす。
【解決手段】スペクトル符号化されたプレノプティック撮像システムによって捕捉されたカラー・プレノプティック画像を、通常の撮像システムによって捕捉された高解像度画像と組み合わせる。
【選択図】図３

Description

本発明は一般にプレノプティック撮像システムに関する。

プレノプティック・カメラはライトフィールドの複数の画像を同時に集めることが可能である。別々のカラー・フィルタが主レンズの瞳面に挿入された場合、プレノプティック・カメラは複数のカラー画像を同時に捕捉することが可能である。しかし、プレノプティック・システムの解像度は、再構成された画像の解像度がマイクロレンズ・アレイ内のレンズレットの数によって定まることが理由で削減される。解像度を向上させるために種々の補間手法を使用することが可能であるが、エイリアス、ぼけ、及びエッジ・ハローなどの一部のアーチファクトがみられることが多い。

よって、プレノプティック・カメラによって捕捉されたカラー画像の解像度を増加させるための改良手法に対する必要性が存在している。

本発明は、通常の撮像システムによって捕捉された高解像度画像と、スペクトル符号化プレノプティック撮像システムによって捕捉されたカラー・プレノプティック画像を組み合わせ、それにより、プレノプティック撮像システムのみによって捕捉されたものよりも高い解像度を有するカラー画像がもたらされる。

スペクトル符号化プレノプティック撮像システム及び高解像度撮像システムを種々のやり方で組み合わせることが可能である。一手法では、２つを組み合わせたデュアルモード・システムは別個のカメラを使用する。例えば、スペクトル符号化プレノプティック・カメラ一式、及び別個のグレースケール・カメラ一式は、ビームスプリッタの使用により、それらの視野を光学的に整合させ得る。このようにして、スペクトル符号化プレノプティック・カメラはオブジェクトのカラー・プレノプティック画像を捕捉し、グレースケール・カメラは同じオブジェクトの高解像度グレースケール画像を捕捉する。別の手法では、プレノプティック撮像システム及び高解像度撮像システムは、撮像光学系を共有するが、別個のセンサ・アレイを有する。共有撮像光学系からの光は、例えば、（回転チョッパなどの）時間多重化装置又はビームスプリッタ装置によって分割し、別個のセンサ・アレイに誘導し得る。更に別の手法では、プレノプティック撮像システム及び高解像度撮像システムは撮像光学系及びセンサ・アレイを共有し、システムは、スペクトル符号化プレノプティック撮像システムとして、かつ、高解像度撮像システムとして動作するよう交互に再構成し得る。

本発明の他の局面は、方法、装置、構成部分、システム、アプリケーション、並びに、上記に関する他の改良及び実現形態を含む。

スペクトル符号化プレノプティック撮像システムを示す図である。 スペクトル符号化プレノプティック撮像システムを示す図である。 高解像度グレースケール撮像システムを示す図である。 本発明による、スペクトル符号化プレノプティック撮像システムを高解像度撮像システムと組み合わせたデュアルモード・システムを示す図である。 別個のカメラを使用したデュアルモード・システムを示すブロック図である。 共有された光学系を使用するが、別個のセンサ・アレイを使用するデュアルモード・システムを示すブロック図である。 共有された光学系を使用するが、別個のセンサ・アレイを使用するデュアルモード・システムを示すブロック図である。 共有された光学系を使用するが、別個のセンサ・アレイを使用するデュアルモード・システムを示すブロック図である。 共有された光学系を使用するが、別個のセンサ・アレイを使用するデュアルモード・システムを示すブロック図である。 共有された光学系を使用するが、別個のセンサ・アレイを使用するデュアルモード・システムを示すブロック図である。 クリア・フィルタを備えていないカラー・フィルタ・モジュールの使用を示す図である。 クリア・フィルタを備えていないカラー・フィルタ・モジュールの使用を示す図である。 クリア・フィルタを備えたカラー・フィルタ・モジュールの使用を示す図である。 クリア・フィルタを備えたカラー・フィルタ・モジュールの使用を示す図である。 共有された光学系及び共有されたセンサ・アレイを使用したデュアルモード・システムを示すブロック図である。 デュアルモード・システムのシミュレーションからのカラー・プレノプティック画像及びグレースケール画像を示す図である。 デュアルモード・システムのシミュレーションからのカラー・プレノプティック画像及びグレースケール画像を示す図である。 標準的なプレノプティック画像再構成手法を使用して再構成された別々のカラー構成の画像を示す図である。 標準的なプレノプティック画像再構成手法を使用して再構成された別々のカラー構成の画像を示す図である。 標準的なプレノプティック画像再構成手法を使用して再構成された別々のカラー構成の画像を示す図である。 本発明によって再構成された別々のカラー構成の画像を示す図である。 本発明によって再構成された別々のカラー構成の画像を示す図である。 本発明によって再構成された別々のカラー構成の画像を示す図である。 本発明によって再構成されたフル・カラー画像を示す図である。

本発明は、添付図面とともに解されると本発明の以下の詳細な説明及び特許請求の範囲から更に明らかとなるであろう他の利点及び構成を有する。

図は、例証の目的のみで本発明の実施例を表す。本明細書及び特許請求の範囲記載の本発明の原理から逸脱しない限り、本明細書及び特許請求の範囲に例証した構造及び方法の別の実施例を使用することができるということを当業者は以下の記載から容易に認識するであろう。

図及び以下の説明は、例証の目的のみで、好ましい実施例に関する。本発明及び特許請求の範囲記載の構造及び方法の別の実施例は、特許請求の範囲記載の原理から逸脱しない限り、使用し得る妥当な代替策として容易に認識されるであろう。

図１Ａ及び図１Ｂは、スペクトル符号化プレノプティック撮像システムの例を示す図である。スペクトル符号化プレノプティック撮像システム１１０は、（図１Ａにおいて単一のレンズによって表された）一次撮像光学系１１２と、二次撮像光学系１１４（画像形成エレメント・アレイ１１５）と、センサ・アレイ１８０とを含む。二次撮像アレイ１１４はマイクロ撮像アレイとして表し得る。二次撮像アレイ１１４及びセンサ・アレイ１８０はともに、プレノプティック・センサ・モジュールとして表し得る。前述の構成部分は、図１Ａにおいてサブシステム１及びサブシステム２として示す重なる２つの撮像サブシステムを形成する。

便宜上、撮像光学系１１２は、図１Ａにおいて単一の対物レンズとして表すが、複数のエレメントを含み得る。対物レンズ１１２は、画像平面ＩＰにおいてオブジェクト１５０の光学画像１５５を形成する。マイクロ撮像アレイ１１４は、画像平面ＩＰに配置される。システムはその全体において、センサ平面ＳＰにおいて、多重化され、インタリーブされた光学画像１７０を形成する。マイクロ撮像アレイ１１４の例には、マイクロレンズ・アレイ、ピンホール・アレイ、マイクロミラー・アレイ、チェッカボード・グリッド、及び導波管／チャネル・アレイが含まれる。マイクロ撮像アレイ１１４は、矩形アレイ、六角形アレイ、又は他のタイプのアレイであり得る。センサ・アレイ１８０は図１Ａにも示す。

カラー・フィルタ・モジュール１２５は、センサ平面ＳＰと共役な平面ＳＰ’に配置されている。実際の物理位置は、撮像光学系１１２の前、後、又は中にあり得る。カラー・フィルタ・モジュールはいくつかの空間多重化フィルタ１２７Ａ乃至Ｄを含む。この例では、図１Ａの下部分に示すように矩形フィルタ・アレイ１２７を含む。

図１Ａの下部分には、更なる詳細を記載している。前述の図では、オブジェクト１５０は、１乃至９が付された３×３領域アレイに分けられる。カラー・フィルタ・モジュール１２５は、２×２の矩形の個々のフィルタのアレイ１２７Ａ乃至Ｄである。例えば、各フィルタＡ乃至Ｄは、別々のスペクトル応答を有し得る。センサ・アレイ１８０は６×６矩形アレイとして示す。

図１Ｂは、空間多重化光学画像１７０Ａ乃至Ｄがセンサ・アレイ１８０においてどのようにして生成され、インタリーブされるかを概念的に示す。フィルタ１２７Ａによって捕捉され、フィルタリングされた場合、オブジェクト１５０は光学画像１５５Ａを生成する。オブジェクトのフィルタリングされていない画像と、フィルタリングされた光学画像１５５Ａとを区別するために、３×３領域にはサフィックスＡを付している（１Ａ乃至９Ａ）。同様に、フィルタ１２７Ｂ、Ｃ、Ｄによってフィルタリングされたオブジェクト１５０は、１Ｂ乃至９Ｂ、１Ｃ乃至９Ｃ、及び１Ｄ乃至９Ｄを付した３×３領域を備えた対応する光学画像１５５Ｂ、Ｃ、Ｄを生成する。前述の４つの光学画像１５５Ａ乃至Ｄはそれぞれ、フィルタ・モジュール１２５内の別々のフィルタ１２７Ａ乃至Ｄによってフィルタリングされるが、全て、プレノプティック撮像システム１１０によって同時に生成される。

４つの光画像１５５Ａ乃至Ｄは図１Ｂに示すように、センサ平面においてインタリーブされて形成される。例として画像１５５Ａを用いれば、光学画像１５５Ａからの３×３領域１Ａ乃至９Ａは、光学画像１７０内の３×３ブロックにおいて連続していない。むしろ、別々の４つの光学画像からの領域１Ａ、１Ｂ、１Ｃ、及び１Ｄは光学画像１７０の左上において２×２で配置される（話を明瞭にするために画像１７０の反転は無視している）。領域１乃至９は同様に配置される。よって、光学画像１７０Ａを構成する領域１Ａ乃至９Ａは、他の光学画像１７０Ｂ乃至Ｄの部分で離間した複合光学画像１７０にわたって分散している、別の言い方では、センサが個々のセンサ・エレメントの矩形アレイである場合、アレイ全体は、センサ・エレメントの矩形サブアレイ１７１（１）乃至（９）に分けることが可能である（図１Ｂには一サブアレイ１７１（１）のみを示している）。領域１乃至９毎に、フィルタリングされた画像それぞれからの対応する画像が全て、サブアレイ上に撮像される。例えば、領域１Ａ、１Ｂ、１Ｃ、及び１Ｄが全て、サブアレイ１７１（１）上に撮像される。フィルタ・モジュール１２５及びセンサ・アレイ１８０は共役平面に配置されるので、アレイ１１４における撮像エレメント１１５はそれぞれ、センサ平面ＳＰにおいてフィルタ・モジュール１２５の画像を形成する。複数の撮像エレメント１１５が存在しているので、フィルタ・モジュール１２５の複数の画像１７１が形成される。

多重化画像１７０は、オブジェクトの所望の画像を再構成するために処理モジュール１９０によって処理することが可能である。処理はデインタリーブ及び逆多重化であり得る。更に、より高度な画像処理を含み得る。前述の例では、所望の画像は、オブジェクト１５０のカラー画像（例えば、ＲＧＢカラー画像又はＸＹＺカラー画像）である。一実現形態では、カラー・フィルタ・モジュール１２５は、別々のカラー構成に一致したスペクトル応答をフィルタ１２７が有するように企図される。

図１は、下にある概念を例証するよう単純にしている。例えば、オブジェクト１５０は、全体の撮像機能をより容易に説明するためにアレイに意図的に分けている。本発明は、アレイ化されたオブジェクトに限定されるものでない。別の例として、最も実用的なシステムは、特にセンサ・アレイにおいて、かつ、場合によっては、更にフィルタ・モジュールにおいて、かなり大きなアレイを使用する。更に、センサ平面における６×６領域と、センサ・アレイ内の下にあるセンサ・エレメントとの間には１：１の関係がなくてもよい。各領域は例えば、複数のセンサ・エレメントに対応し得る。最後の例として、オブジェクト内で１を付した領域、フィルタリングされた画像１５５Ａ内で１Ａを付した領域、及び複合画像１７０内で１Ａを付した領域は互いに、まさにその画像でなければならない訳ではない。一部の設計では、画像１７０内の領域１Ａは、概ね、オブジェクト１５０における領域１から、フィルタリングされたエネルギを捕捉し得るが、実際に、領域１の画像でないことがあり得る。よって、画像１７０の領域１Ａにおけるセンサ・エレメントによって集められたエネルギは、その領域におけるオブジェクトの幾何学的再生を表すよりも、オブジェクト１５０における領域１内の画像（又は画像の特定の変換）を積分し、サンプリングし得る。更に、パララックス、口径食、回折、光伝搬などの作用は、何れの画像形成にも影響を及ぼし得る。

図１に示す手法はいくつかの利点を有する。第一に、複数の光画像１７０Ａ乃至Ｄがセンサ平面において同時に捕捉される。第二に、捕捉された画像はそれぞれ、カラー・フィルタ・モジュール１２５内のフィルタ１２７Ａ乃至Ｄによってフィルタリングされ、各フィルタ１２７は、別々のフィルタリング関数を実現するよう企図し得る。便宜上、センサ・アレイ１８０に入射する光分布はカラー・プレノプティック画像１７０として表し、カラー・フィルタ・モジュールの作用はスペクトル符号化として表し得る。よって、システム１１０はスペクトル符号化プレノプティック撮像システムにして表す。更に、カラー・フィルタ・モジュール１２５が、実際のセンサ平面ＳＰでなく、共役平面ＳＰ’に配置され、このことは通常、カラー・フィルタ・モジュールが、センサ平面において必要になるものよりもずっと大きくなることを意味しており、カラー・フィルタ・モジュールの公差及び他の機械的な要件が緩和される。このことは、センサ平面に配置された場合（例えば、センサ・アセンブリに取り付けられた場合）と比較して、カラー・フィルタ・モジュールを操作することをより簡単にする。

図２は、通常の撮像システムの例を示す図である。ここでは、カラー・フィルタ・モジュール２２５を無視する。撮像システム２１０は、（図２に単一のレンズとして表す一次撮像光学系２１２、及びセンサ・アレイ２８０を含む。便宜上、撮像光学系２１２は、単一の対物レンズとして図２に表すが、複数のエレメントを含み得る。対物レンズ２１２は、画像平面ＩＰにおいてオブジェクト１５０の光学画像２５５を形成する。センサ・アレイ２８０は、画像平面ＩＰに配置され、光学画像２５５を捕捉する。図２では、センサ平面ＳＰ及び画像平面ＩＰは、同じである一方、図１では異なる。

図２の下部分は、図１のスペクトル符号化プレノプティック撮像システムとの比較を容易にするために記載している。図１に示すように、オブジェクト１５０は１乃至９を付した３×３領域アレイに分けられ、センサ・アレイ２８０は６×６矩形アレイとして示す。撮像システム２１０は、センサ平面ＩＰにおいてオブジェクト１５０の光学画像２５５を形成する。オブジェクトの領域１は、破線の方形で表す４つのセンサ上に撮像される。より具体的には、オブジェクトの領域１は、サブ領域ｗ、ｘ、ｙ、ｚに分けられ、それらはそれぞれ、やはりｗ、ｘ、ｙ、ｚで表す対応するセンサ上に撮像される。

次に、カラー・フィルタ・モジュール２２５の作用を検討する。その位置が理由で、カラー・フィルタ・モジュール２２５は、スペクトル符号化プレノプティック撮像システム１１０の場合のような別個のカラー画像の生成をもたらさない。むしろ、光学画像２５５に対して全体的なスペクトル・フィルタリングを提供する。例えば、カラー・フィルタ・モジュール２２５がＲ、Ｇ、及びＢカラー・フィルタを含んでいる場合、Ｒフィルタを通過する光はＲフィルタによってフィルタリングされ、Ｇフィルタを通過する光はＧフィルタによってフィルタリングされ、Ｂフィルタを通過する光はＢフィルタによってフィルタリングされる。しかし、プレノプティック撮像システム１１０の場合と違って、各センサはフィルタ全てを通過する光を受け取り、よって別個のＲ、Ｇ、Ｂ画像は存在しない。前述のシステムの場合、通常、カラー・フィルタ・モジュール２２５を使用しないことが好ましい。しかし、後述する組み合わせたシステムでは、カラー・フィルタ・モジュール２２５は、プレノプティック撮像に使用し、更に、高解像度撮像に有効であり得る。前述の場合、全体の光スループットを増加させるためにカラー・フィルタ・モジュール２２５にクリア・フィルタを含めることが効果的であり得る。

他が全て等しい場合、図２の撮像システムによって捕捉された通常の画像２５５は、図１のスペクトル符号化プレノプティック撮像システムによって捕捉されたカラー・プレノプティック画像１５５よりも高い解像度を有する。図１及び図２の何れにおいても、センサ・アレイ１８０、２８０は６×６である。しかし、通常の撮像システムが６×６グレースケール画像を捕捉する一方、スペクトル符号化プレノプティック撮像システムは４つのカラー画像を捕捉するが、各カラー画像は３×３に過ぎない。プレノプティック・カメラの一利点は、別々のカラー画像を同時に捕捉することが可能であることである。しかし、一欠点は、これが、解像度の低下という代償で得られることである。

図３は、スペクトル符号化プレノプティック撮像システム１１０を高解像度撮像システム２１０と組み合わせたデュアルモード・システムのブロック図である。プレノプティック・カメラ１１０によって捕捉されたカラー・プレノプティック画像１７０を、通常のカメラ２１０によって捕捉された高解像度グレースケール画像２５５と組み合わせて、元のカラー・プレノプティック画像よりも高い解像度を有するカラー画像３７０を生成する。処理モジュール３１０は、別々の画像を組み合わせる。図３に示す手法は、別々のやり方で物理的に実現することが可能である。図４乃至図６は一部の例を示す。話を明瞭にするために、処理モジュール３１０は前述の図から割愛している。

図４は、別個の撮像システムを使用したデュアルモード・システムのブロック図である。図４中のシステムは、スペクトル符号化プレノプティック・カメラ一式１１０及び別個のグレースケール・カメラ一式２１０を含む。２つのカメラは、例えばビームスプリッタ４３０によって光学的に整合させている。前述の手法の一利点は、前述の構成における使用のために何れの撮像システムも修正しなくてよいということである。むしろ、市販のカメラを購入し、図４のシステムに組み立てることが可能である。一欠点は、システムが、他の手法よりも多くの構成部分を必要とすることである。

図５Ａ乃至図５Ｅは、プレノプティック撮像システム１１０及び高解像度撮像システム２１０が前面開口部（、及び撮像光学系の一部又は全て）を共有しているが、別個のセンサ・アレイを有している例を示す。図５Ａでは、両方の撮像システムの撮像光学系が共有される。すなわち、単一の撮像光学系５１２の組が、スペクトル符号化プレノプティック撮像システム１１０の撮像光学系１１２として、かつ、更に、高解像度撮像システム２１０の撮像光学系２１２として動作する。この例では、ビームスプリッタ装置５３０は、共有撮像光学系５１２の下流の光路を分割する。光の一部はプレノプティック・センサ・モジュール１１４、１８０に進み、その他の部分はセンサ・アレイ２８０に進む。別々のビームスプリッタ装置（ニュートラル・デンシティ・ビームスプリッタ、ある程度の波長依存性を有するビームスプリッタ、偏光ビームスプリッタ等）を使用することが可能である。

図５Ａでは、カラー・フィルタ・モジュール５２５は、センサ・アレイ１８０、２８０の何れによって捕捉された光にも影響を及ぼすようにプレノプティック撮像システム及び高解像度撮像システムの光路内にある。この場合、高解像度撮像システムによって捕捉された光の量を増加させるために少なくとも１つのクリア・フィルタを備えたカラー・フィルタ・モジュールを使用することが有用であり得る。フィルタは、完全にクリアでなくてはならない訳ではなく、例えば、ニュートラル・デンシティ・フィルタ又は偏光フィルタであり得る。図６Ａは、クリア・フィルタなしの（すなわち、フィルタ全てがカラー・フィルタである）カラー・フィルタ・モジュール５２５及び撮像光学系５１２の例を示す。図６Ｂは、カラー・テスト・チャートの対応するグレースケール画像を示す。図６Ｃは、図６Ａと同じであるが、クリア・フィルタを有するカラー・フィルタ・モジュール５２５を含む。図６Ｄは、ずっと明るい対応するグレースケール画像を示す。カラー・フィルタが狭帯域カラー・フィルタである場合に特に有用である。

図５Ｂは、カラー・フィルタ・モジュール１２５が何れのカメラの光路内にもないデュアルモード・システムを示す。前述の例では、ビームスプリッタ５３０は、撮像光学系５１２の下流にあるが、カラー・フィルタ・モジュール１２５はビームスプリッタ５３０の下流に配置される。例えば、中継光学系を、このことを実現するために使用することが可能である。図５Ｃは、ビームスプリッタ５３０が撮像光学系５１２内に配置されるが、カラー・フィルタ・モジュール１２５の上流に配置される別の代替策である。前述の図では、撮像光学系は、２つの半分部分５１２Ａ（ビームスプリッタの上流）及び５１２Ｂ（ビームスプリッタの下流）に分けられている。下流部分５１２Ｂは、撮像システム毎に複製されている。

図５Ｄでは、入ってくる光は、プレノプティック・センサ・モジュール１１４、１８０、及びセンサ・アレイ２８０に交互に誘導される。この例では、時間多重化装置は、光路の内外に交互に移動させるフリップ・ミラーである。ミラーが光路外にある場合、光はプレノプティック・センサ・モジュール１１４、１８０に誘導され、システムはスペクトル符号化プレノプティック・カメラとして動作する。ミラーが（図５Ｄに示す）光路内にある場合、光はセンサ・アレイ２８０に誘導され、システムはグレースケール・カメラとして動作する。他のタイプの時間多重化装置には、回転チョッパ、及び他のタイプの可動ミラーが含まれる。前述の手法では、カラー・フィルタ・モジュール１２５は更に、光路の内外に移動させる（すなわち、カラー・プレノプティック動作の場合は光路内に移動させ、グレースケール撮像動作の場合は光路外に移動させる）ことが可能である。

図５Ｅでは、機械機構が２つのセンサ・アレイを移動させる。プレノプティック・センサ・モジュール１１４、１８０が光路内に配置されている場合、システムはスペクトル符号化プレノプティック・カメラとして動作する。センサ・アレイ２８０が、（図５Ｅに示すように）光路内に配置されている場合、システムはグレースケール・カメラとして動作する。

図７は、共有光学系７１２及び共有センサ・アレイ７８０を使用したデュアルモード・システムのブロック図である。前述の例では、二次撮像アレイ１１４は、システムの内外に移動させている。他の構成部分も移動させ得る。例えば、二次撮像アレイ１１４を所定の位置に移動させた場合、共有センサ・アレイ７８０は、プレノプティック構成の正しい間隔を維持するためにもう一度移動させ得る。あるいは、センサ・アレイ７８０に対する画像平面の位置を移動させるよう共有撮像光学系７１２を調節し得る。カラー・フィルタ・モジュール１２５は更に、所定の位置の内外に動作させ得る。一実現形態では、マイクロレンズ・アレイ１１４の移動は、フリップ・ミラーを使用することによって実現される。

図８乃至図１０はデュアルモード・システムのシミュレートされた動作を示す。カラー・プレノプティック画像は、一次レンズの開口部内に配置された狭帯域スペクトル・フィルタを備えたスペクトル符号化プレノプティック・カメラを使用して捕捉されている。スペクトル・フィルタは６５０ｎｍ、５４０ｎｍ、及び４６０ｎｍでセンタリングされている。スペクトル符号化プレノプティック・カメラによって捕捉された未処理プレノプティック・カラー画像１７０を図８Ａに示す。これは、未処理データが、処理され、別個のカラー画像に分離される前である。グレースケール・カメラによって捕捉された高解像度グレースケール画像は図８Ｂに示す。

図８Ａのカラー・プレノプティック画像に基づいて、低解像度スペクトル画像の組が、図９Ａ乃至図９Ｃに示すように別々の３つの波長において再構成されている。図９Ａは６５０ｎｍにおける画像であり、図９Ｂは５４０ｎｍにおける画像であり、図９Ｃは４６０ｎｍにおける画像である。再構成画像の解像度は、プレノプティック・カメラ内のマイクロレンズの数である４１×４１である。

次いで、図９の低解像度カラー構成を図８Ｂの高解像度グレースケール画像と組み合わせて、画像統合手法に基づいて解像度を向上させることが可能である。前述の例では、スペクトル・フィルタが狭帯域ＲＧＢフィルタであるので、ＲＧＢカラー画像処理において通常使用されている単純な手法を使用している。再構成された低解像度カラー構成がまず、ＨＳＶカラー空間に変換される。ヒストグラム等化が、高解像度グレースケール及び変換されたＨＳＶ画像の輝度間で行われる。ヒストグラム等化後、輝度がグレースケール画像で置き換えられ、ＨＳＶ画像がもう一度、ＲＧＢ空間に変換される。再構成されたカラー構成を図１０Ａ乃至図１０Ｃに示す。上記カラー構成は向上させた解像度４００×４００を有する。解像度の増加は明らかである。図１１は、図１０の３つの高解像度カラー構成を組み合わせることによって再構成されたフル・カラー構成を示す。ＨＳＶ手法は、例として使用しているに過ぎない。

他の画像統合手法も利用可能である。例には、主成分分析、ウェーブレット分解、マルチスペクトル画像用の高度なＨＳＶモデル、ハイパス変調、及びブロービー（Ｂｒｏｖｅｙ）変換が含まれる。

詳細な説明は多くの詳細を含んでいるが、これらは本発明の範囲を限定するものと解されるべきでない一方、本発明の別々の例及び局面を例証しているに過ぎないと解されるべきである。本発明の範囲は、詳細に上述していない他の実施例を含む。例えば、高解像度画像は、グレースケール撮像システムでなく、カラー撮像システムによって捕捉することが可能である。ＲＧＢセンサが使用された場合、高解像度画像は輝度情報に基づき得る。

上記手法は、別々の多くの適用分野にも適用することが可能である。例示的なシステムには、ビューファインダを第２のセンサとして備えるプレノプティック・オトスコープ（耳鏡）があり、ストリーミング輝度又はカラー画像は、オブジェクト（被検体）（例えば、鼓膜）に対する撮像システムの位置を医療専門家が評価するための下検分としても機能する。前述のシステムでは、目的は、高解像度画像再構成を予め見ることである。２つのセンサ・アレイの特性は非常に異なり得る。一センサ・アレイは、波長フィルタリングされた信号を検知するために、より大きな画素を有し得、他のセンサ・アレイは、輝度又は高解像度カラー画像を検知するために、より小さい画像を有し得る。プレノプティック・オトスコープの例は、本明細書及び特許請求の範囲にその内容を参照によって援用する「プレノプティック・オトスコープ」と題する米国特許出願第１３／８９６９２４号に記載されている。

特許請求の範囲記載の本発明の趣旨及び範囲から逸脱しない限り、当業者に明らかとなる種々の他の修正、変更、及び変形を、本明細書及び特許請求の範囲記載の本発明の方法及び装置の構成、動作、及び詳細において行い得る。したがって、本発明の範囲は、特許請求の範囲、及びその法的な均等物によって定められるべきである。

Claims (20)

1. プレノプティック・カラー撮像システムであって、
   オブジェクトのカラー・プレノプティック画像を捕捉するスペクトル符号化プレノプティック撮像システムと、
   前記オブジェクトの通常の画像を捕捉する高解像度撮像システムであって、前記高解像度撮像システム及び前記スペクトル符号化プレノプティック撮像システムは同じオブジェクトの画像を捕捉するよう光学的に整合させており、前記捕捉された通常の画像は前記捕捉されたカラー・プレノプティック画像よりも高い解像度を有する高解像度撮像システムと、
   前記捕捉された高解像度画像及び前記捕捉されたカラー・プレノプティック画像を前記オブジェクトのカラー画像に組み合わせる処理モジュールであって、前記カラー画像が前記捕捉されたカラー・プレノプティック画像よりも高い解像度を有する処理モジュールとを備えるプレノプティック・カラー撮像システム。
2. 請求項１記載のプレノプティック・カラー撮像システムであって、
   前記高解像度撮像システム及び前記スペクトル符号化プレノプティック撮像システムは前面開口部を共有し、
   前記高解像度撮像システムは第１の撮像光学系及び第１のセンサ・アレイを備え、前記第１の撮像光学系は前記オブジェクトの光学画像を形成し、前記第１のセンサ・アレイは前記光学画像を捕捉し、
   前記スペクトル符号化プレノプティック撮像システムは、第２のセンサ・アレイ及び二次撮像アレイを有するプレノプティック・センサ・モジュール、カラー・フィルタ・モジュール、及び第２の撮像光学系を備え、前記第２の撮像光学系、前記カラー・フィルタ・モジュール、及び前記二次撮像アレイは前記オブジェクトのスペクトル符号化プレノプティック画像を形成し、前記第２のセンサ・アレイは前記スペクトル符号化プレノプティック画像を捕捉し、
   前記第１の撮像光学系及び前記第２の撮像光学系は前記前面開口部を共有する一方、前記第１のセンサ・アレイ及び前記プレノプティック・センサ・モジュールは別々の物理構成部分によって実現されるプレノプティック・カラー撮像システム。
3. 請求項２記載のプレノプティック・カラー撮像システムであって、前記第１の撮像光学系及び前記第２の撮像光学系は共有撮像光学系によって物理的に実現されるプレノプティック・カラー撮像システム。
4. 請求項３記載のプレノプティック・カラー撮像システムであって、
   前記共有された撮像光学系の下流に配置されたブームスプリッタ装置を更に備え、前記ビームスプリッタ装置は、前記第１のセンサ・アレイと前記プレノプティック・センサ・モジュールとの間で、前記共有された撮像光学系からの光を分割するプレノプティック・カラー撮像システム。
5. 請求項４記載のプレノプティック・カラー撮像システムであって、前記ビームスプリッタ装置がニュートラル・デンシティ・ビームスプリッタであるプレノプティック・カラー撮像システム。
6. 請求項４記載のプレノプティック・カラー撮像システムであって、前記ビームスプリッタ装置がダイクロイック・ビームスプリッタであるプレノプティック・カラー撮像システム。
7. 請求項４記載のプレノプティック・カラー撮像システムであって、前記ビームスプリッタ装置が偏光ビームスプリッタであるプレノプティック・カラー撮像システム。
8. 請求項３記載のプレノプティック・カラー撮像システムであって、
   前記共有された撮像光学系の下流に配置された時間多重化装置を更に備え、前記時間多重化装置は、前記第１のセンサ・アレイと前記プレノプティック・センサ・モジュールとの間で、前記共有された撮像光学系からの光を交互に誘導するプレノプティック・カラー撮像システム。
9. 請求項８記載のプレノプティック・カラー撮像システムであって、前記時間多重化装置がチョッパであるプレノプティック・カラー撮像システム。
10. 請求項８記載のプレノプティック・カラー撮像システムであって、前記時間多重化装置は、前記第１のセンサ・アレイと前記プレノプティック・センサ・モジュールとの間で、前記共有された撮像光学系からの光を交互に誘導するよう移動させることが可能な可動ミラーであるプレノプティック・カラー撮像システム。
11. 請求項３記載のプレノプティック・カラー撮像システムであって、更に、
    前記共有された撮像光学系からの光を受け取るために前記第１のセンサ・アレイ及び前記プレノプティック・センサ・モジュールを交互に配置させる機械機構を備えるプレノプティック・カラー撮像システム。
12. 請求項１記載のプレノプティック・カラー撮像システムであって、
    前記高解像度撮像システムは第１の撮像光学系及び第１のセンサ・アレイを備え、前記第１の撮像光学系は前記オブジェクトの光学画像を形成し、前記第１のセンサ・アレイは前記光学画像を捕捉し、
    前記スペクトル符号化プレノプティック撮像システムは、第２のセンサ・アレイ及び二次撮像アレイを有するプレノプティック・センサ・モジュール、カラー・フィルタ・モジュール、及び第２の撮像光学系を備え、前記第２の撮像光学系、前記カラー・フィルタ・モジュール、及び前記二次撮像アレイは前記オブジェクトのスペクトル符号化プレノプティック画像を形成し、前記第２のセンサ・アレイは前記スペクトル符号化プレノプティック画像を捕捉し、
    前記第１の撮像光学系及び前記第２の撮像光学系は、共有された撮像光学系によって物理的に実現され、前記第１のセンサ・アレイ及び前記第２のセンサ・アレイは共有されたセンサ・アレイによって物理的に実現されるプレノプティック・カラー撮像システム。
13. 請求項１２記載のプレノプティック・カラー撮像システムであって、更に、
    前記共有された撮像光学系と前記共有されたセンサ・アレイとの間で前記二次撮像アレイを交互に位置付け、前記共有された撮像光学系と前記共有されたセンサ・アレイとの間から前記二次撮像アレイを除去するための機械機構を更に備え、前記共有されたセンサ・アレイは、前記共有された撮像光学系と前記共有されたセンサ・アレイとの間に前記二次撮像アレイが配置されている場合に、前記スペクトル符号化されたプレノプティック画像を捕捉し、前記共有されたセンサ・アレイは、前記共有された撮像光学系と前記共有されたセンサ・アレイとの間から前記二次撮像アレイが除去された場合に前記光学画像を捕捉するプレノプティック・カラー撮像システム。
14. 請求項１３記載のプレノプティック・カラー撮像システムであって、前記機械機構は、前記共有された撮像光学系と前記共有されたセンサ・アレイとの間の位置の内外で、前記二次撮像アレイを切り替えるプレノプティック・カラー撮像システム。
15. 請求項１３記載のプレノプティック・カラー撮像システムであって、更に、
    前記カラー・フィルタを、交互に、前記共有された撮像光学系の光路内の位置に配置し、前記共有された撮像光学系の光路内の位置から除去するための第２の機械機構を備えるプレノプティック・カラー撮像システム。
16. 請求項１記載のプレノプティック・カラー撮像システムであって、前記カラー・フィルタ・モジュールは、少なくとも２つのカラー・フィルタと、クリア・フィルタ、ニュートラル・デンシティ・フィルタ、及び偏光フィルタを含む群から選択された少なくとも１つのフィルタとを備えるプレノプティック・カラー撮像システム。
17. 請求項１記載のプレノプティック・カラー撮像システムであって、
    前記高解像度撮像システムは第１の撮像光学系及び第１のセンサ・アレイを備え、前記第１の撮像光学系は前記オブジェクトの光学画像を形成し、前記第１のセンサ・アレイは前記光学画像を捕捉し、
    前記スペクトル符号化プレノプティック撮像システムは、第２のセンサ・アレイ及び二次撮像アレイを有するプレノプティック・センサ・モジュール、カラー・フィルタ・モジュール、及び第２の撮像光学系を備え、前記第２の撮像光学系、前記カラー・フィルタ・モジュール、及び前記二次撮像アレイは前記オブジェクトのスペクトル符号化プレノプティック画像を形成し、前記第２のセンサ・アレイは前記スペクトル符号化プレノプティック画像を捕捉し、
    前記高解像度撮像システム及び前記スペクトル符号化されたプレノプティック撮像システムは各撮像システムの開口部の上流で光学的に整合させている一方、前記第１の撮像光学系及び前記第２の撮像光学系は別々の物理構成部分で実現されるプレノプティック撮像システム。
18. 請求項１記載のプレノプティック・カラー撮像システムであって、前記オブジェクトの前記通常の画像は前記オブジェクトのグレースケール画像であるプレノプティック・カラー撮像システム。
19. 請求項１記載のプレノプティック・カラー撮像システムであって、前記オブジェクトの前記通常の画像は前記オブジェクトのカラー画像であり、前記処理モジュールは、前記捕捉されたカラー画像及び前記捕捉されたカラー・プレノプティック画像の輝度成分を組み合わせるプレノプティック・カラー撮像システム。
20. カラー画像を生成する方法であって、前記方法は、
    オブジェクトのカラー・プレノプティック画像を捕捉する工程と、
    前記オブジェクトの通常の画像を捕捉する工程であって、前記捕捉された通常の画像は、前記捕捉されたカラー・プレノプティック画像よりも高い解像度を有する工程と、
    前記捕捉された高解像度画像及び前記捕捉されたカラー・プレノプティック画像を前記オブジェクトのカラー画像に組み合わせる工程であって、前記カラー画像が前記捕捉されたカラー・プレノプティック画像よりも高い解像度を有する工程とを含む方法。