JP2015070612A - プレノプティックｘｙｚ画像化システム用カラーフィルタモジュールのデザイン - Google Patents

Abstract

【課題】プレノプティックＸＹＺ画像化システムにおいて用いられるカラーフィルタモジュールを設計する方法を提供する。
【解決手段】フィルタセルへの候補空間パーティションを含むフィルタモジュールを有するプレノプティックＸＹＺ画像化システムの動作をモデル化し、ＣＩＥ（国際照明委員会）標準で確定されたデルタＥ（ΔＥ）のばらつきをモデル化された動作の関数として計算する。フィルタセルの候補空間パーティションは、計算されたばらつきに基づいて修正される。
【選択図】図２

Description

本発明は、概して、プレノプティックＸＹＺ画像化システムのカラーフィルタモジュールのデザインに関する。

カラーフィルタは、カラー画像化をするためによく用いられる。例えば、バイエルフィルタは、ＲＧＢ画像化システムを作るためにセンサアレイ上に直接配置される、赤、緑及び青のフィルタのありふれた配列である。ＣＩＥ ＸＹＺカラー空間は、より一般的に使われているＲＧＢカラー空間より有利な色の定式化である。ＸＹＺフィルタを用いた画像化システムの利点は、Ｘ、Ｙ及びＺフィルタのスペクトル感度が、従来のＲＧＢ画像化システムで使われるＲ、Ｇ及びＢフィルタのスペクトル感度より、ＣＩＥ標準オブザーバカラーマッチング関数（平均的な人間の色応答を表す赤、緑及び青の曲線）にずっと近いことである。結果として、ＸＹＺ画像化システムは、従来のＲＧＢ画像化死すｓてむよりこれらのＸＹＺ値をより正確に再生できる。しかし、よいＸＹＺフィルタを作るのは難しく、センサアレイ上に置けるサイズとパターンのＸＹＺカラーフィルタを作るのはもっと難しい。結果として、ＸＹＺ画像化システムは、ＸＹＺカラー空間の利点にもかかわらず、あまり一般的ではない。

さらにまた、比色アプリケーションの場合、カラー画像化システムの好適な評価メトリックを確定することが重要である。色の正確性は、ＣＩＥ（国際照明委員会）標準で確定されたデルタＥ（ΔＥ）を用いて評価される。しかし、センサアレイにより生じるノイズや光学系の製造組み立てにおけるばらつきのため、ΔＥメトリックの利用だけではカラー画像化システムの性能を評価するのに適当ではない。逆に、ΔＥメトリックのみに基づきデザインしたカラー画像化システムは、最適ではない可能性がある。

よって、カラー画像化システムのデザインを改良する必要がある。

本発明は、ΔＥのばらつきに基づき、プレノプティックＸＹＺ画像化システムにおいて用いるカラーフィルタモジュールをデザインするアプローチを提供することにより、先行技術の限界を克服する。

プレノプティック画像化システムの利用により、センサアレイ上に配置するＸＹＺカラーフィルタを生産するいくつかの困難性を解消する。プレノプティックＸＹＺ画像化システムは２つの重複する画像化システム、すなわち主画像化サブシステムと副画像化アレイ（例えば、マイクロレンズアレイ）とを含む。副画像化アレイは、主画像化サブシステムの画像平面に配置される。センサアレイは、副画像化アレイの画像平面に配置される。カラーフィルタモジュールは、センサアレイの共役平面に配置される。センサアレイは、次に、カラーフィルタモジュールによりフィルタされた、オブジェクトの多重ＸＹＺ画像をキャプチャする。カラーフィルタモジュールはセンサアレイの共役平面に配置されるので、より大きくでき、それゆえ製造と組み立てがより容易になる。

一態様では、カラーフィルタモジュールは次のようにデザインされる。プレノプティックＸＹＺ画像化システムにより画像化されるオブジェクトのモデルを受け取る。カラーフィルタモジュールの候補デザインも受け取る。候補デザインは、フィルタモジュールのフィルタセルへの候補空間パーティションを含む。フィルタセルは、好ましくは、Ｘ、Ｙ及びＺフィルタ応答をインプリメントする。候補フィルタモジュールを有するプレノプティックＸＹＺ画像化システムの動作をモデル化する。ΔＥのばらつき（例えば、ｖａｒ（ΔＥ））を、モデル化された動作の関数として計算する。フィルタセルの候補空間パーティションは、計算されたばらつきに基づいて修正される。

他の態様は、カラーフィルタモジュールの空間的パーティションの異なるジオメトリと、計算されたばらつきに基づきカラーフィルタモジュールをデザインする異なるアプローチとを含む。一デザインアプローチでは、オブジェクトは異なる色を含み、ｖａｒ（ΔＥ）が異なる色Ｘ、Ｙ及びＺに対して計算され、フィルタセルの候補空間的パーティションが異なる色に対して計算されたｖａｒ（ΔＥ）の平均に基づいて修正される。他の一態様では、フィルタセルの候補空間的パーティションは、反復的最適化により修正される。

本発明の他の態様は、これらの方法をインプリメントするデバイス、システム及びコンピュータ読み取り可能媒体、及びこれらの方法を用いるようにデザインされたデバイス及びシステムを含む。

本特許または特許出願のファイルは、少なくともカラーの一図面を含む。この特許または特許出願公開のカラー図面を含むコピーは、特許庁に要求し必要な料金を支払えば提供される。

本発明には他の利点と特徴があり、これらは添付した図面を参照して以下の本発明の詳細な説明と添付した請求項から容易に明らかになるであろう。

本発明によるプレノプティックＸＹＺ画像化システムを示す図である。 本発明によるプレノプティックＸＹＺ画像化システムを示す図である。

本発明によるプレノプティックＸＹＺ画像化システムのデザイン方法の一例を示すフロー図である。

ＸＹＺカラーフィルタモジュールの空間的パーティションとパラメータ化のいろいろな例を示す図である。 ＸＹＺカラーフィルタモジュールの空間的パーティションとパラメータ化のいろいろな例を示す図である。 ＸＹＺカラーフィルタモジュールの空間的パーティションとパラメータ化のいろいろな例を示す図である。 ＸＹＺカラーフィルタモジュールの空間的パーティションとパラメータ化のいろいろな例を示す図である。 ＸＹＺカラーフィルタモジュールの空間的パーティションとパラメータ化のいろいろな例を示す図である。 ＸＹＺカラーフィルタモジュールの空間的パーティションとパラメータ化のいろいろな例を示す図である。 ＸＹＺカラーフィルタモジュールの空間的パーティションとパラメータ化のいろいろな例を示す図である。

ＬＥＤソースのスペクトル応答を示すグラフである。

２４個の異なるカラーパッチを有するカラーテストチャートを示す図である。

ストリップされたカラーフィルタモジュールを用いて、カラーパッチ＃１に対するシミュレーションされた画像を示す図である。 ストリップされたカラーフィルタモジュールを用いて、カラーパッチ＃２４に対するシミュレーションされた画像を示す図である。

Ｔ字路型カラーフィルタモジュールを用いて、カラーパッチ＃１に対するシミュレーションされた画像を示す図である。 Ｔ字路型カラーフィルタモジュールを用いて、カラーパッチ＃２４に対するシミュレーションされた画像を示す図である。

パイチャートカラーフィルタモジュールを用いて、カラーパッチ＃１に対するシミュレーションされた画像を示す図である。 ストリップされたカラーフィルタモジュールを用いて、カラーパッチ＃２４に対するシミュレーションされた画像を示す図である。

計算されたｖａｒ（ΔＥ）に基づきフィルタセルの空間的パーティション最適化の一例を示す図である。

図面は、本発明の実施例を例示のみを目的として示している。当業者には以下の説明から言うまでもないことであるが、ここに例示した構成と方法の別の実施形態を、ここに説明する本発明の原理から逸脱することなく、利用することができる。

図面と下記の説明は、単なる例としての好ましい実施形態に関する。留意点として、下記の説明から、ここに開示の構成及び方法の代替的な実施形態は、特許請求の範囲に記載したものの原理から逸脱することなく利用できる実行可能な代案であると容易に認識される。

システムの概要

図１Ａ及び図１Ｂは、本発明によるプレノプティックＸＹＺ画像化システムを示す図である。プレノプティックＸＹＺ画像化システム１１０は、（図１Ａにおいて１つのレンズで表す）主画像化サブシステム１１２と、（画像形成要素１１５のアレイで表す）副画像化サブシステム１１４と、センサアレイ１８０とを含む。副画像化アレイ１１４はマイクロ画像化アレイとも呼ばれる。これらは、２つの重なり合う画像化サブシステムを形成する。図１Ａにおいてサブシステム１とサブシステム２として示した。

便宜上、光学画像化グループ１１２は、図１Ａにおいて１つの対物レンズとして示されているが、言うまでもなく、複数の要素を含んでいてもよい。対物レンズ１１２は、画像平面ＩＰにおけるオブジェクト１５０の光学画像１５５を形成する。マイクロ画像化アレイ１１４は画像平面ＩＰにある。本システムは全体として、センサ平面ＳＰにおいて、空間的に多重化されインターリーブされた光学画像１７０を構成する。マイクロ画像化アレイ１１４の例には、マイクロレンズアレイ、ピンホールのアレイ、マイクロミラーアレイ、チェッカーボードグリッド及び導波／チャンネルアレイを含む。マイクロ画像化アレイ１１４は、四角形アレイ、六角形アレイ、その他のタイプのアレイであってもよい。センサアレイ１８０も図１Ａに示した。

カラーフィルタモジュール１２５は、センサ平面ＳＰに共役な平面ＳＰ’に配置される。実際の物理的な場所は、光学画像化グループ１１２の前、後、またはその中であり得る。カラーフィルタモジュールは、複数の空間的に多重化されたフィルタセル１２７Ａ−Ｄを含む。この例では、カラーフィルタモジュール１２５は、図１Ａの下部に示したように、四角形のフィルタセルアレイ１２７を含む。

図１Ａの下部に、より詳細を示す。この図では、オブジェクト１５０は３×３領域アレイに分割されており、これは１−９とラベル付けされている。カラーフィルタモジュール１２５は、四角形の個々のフィルタセルのアレイ１２７Ａ−Ｄである。例えば、角フィルタ１２７Ａ−Ｄは異なるスペクトル応答を有する。センサアレイ１８０は６×６四角形アレイとして示した。

図１Ｂは、空間的に多重化された光学画像１７０Ａ−Ｄが、センサアレイ１８０において、どのように生成され、インターリーブされるかを概念的に示す図である。オブジェクト１５０は、フィルタセル１２７Ａによりキャプチャされフィルタされると、光学画像１５５Ａを生じる。光学画像１５５Ａをオブジェクトの未フィルタ画像と区別するため、３×３領域は添え字Ａ：１Ａ−９Ａでラベル付けされる。同様に、フィルタセル１２７Ｂ、Ｃ、Ｄによりフィルタされたオブジェクト１５０は、１Ｂ−９Ｂ、１Ｃ−９Ｃ、及び１Ｄ−９Ｄとラベル付けされた３×３領域に対応する光学画像１５５Ｂ、Ｃ、Ｄを生じる。これらの４つの光学画像１５５Ａ−Ｄは、それぞれ、フィルタモジュール１２５内の異なるフィルタセル１２７Ａ−Ｄによりフィルタされるが、画像化システム１１０によりすべて同時に生成される。

４つの光学画像１５５Ａ−Ｄは、図１Ｂに示すように、センサ平面においてインターリーブされて構成される。画像１５５Ａを例として用いると、光学画像１５５Ａの３×３領域１Ａ−９Ａは、光学画像１７０内の３×３ブロック内で連続していない。むしろ、異なる４つの光学画像の領域１Ａ、１Ｂ，１Ｃ及び１Ｄは、光学画像１７０の左上に２×２で構成されている（画像１７０の逆像は説明をわかりやすくするため無視する）。領域２−９は同様に構成される。このように、光学画像１７０Ａを構成する領域１Ａ−９Ａは、他の光学画像１７０Ｂ−Ｄの部分により隔てられて、合成光学画像１７０にわたって広がる。言い換えると、センサが個々のセンサ要素の正方形アレイであるとき、アレイ全体はセンサアレイの正方形サブアレイ１７１（１）−（９）に分割できる（図１Ｂにはサブアレイ１７１（１）のみを示す）。各領域１−９について、各フィルタ画像の対応画像はすべてサブアレイ上に画像化される。例えば、領域１Ａ，１Ｂ，１Ｃ及び１Ｄはすべてサブアレイ１７１（１）上に画像化される。フィルタモジュール１２５とセンサアセンブリ１８０は、共役平面に位置し、アレイ１１４の各画像化要素１１５は、センサ平面ＳＰにおいてフィルタモジュール１２５の画像を構成する。複数の画像化要素１１５があるので、フィルタモジュール１２５の複数画像１７１が構成される。

多重化画像１７０は、処理モジュール１９０により処理され、オブジェクトの所望の画像を再構成する。処理は逆インターリーブ（deinterleave）と逆多重化（demultiplex）であり得る。処理にはより高度な画像処理が含まれていてもよい。この例では、所望の画像はオブジェクト１５０のＸＹＺカラー画像である。図１Ａは、標準で確定されたＸＹＺスペクトル応答を示す図を含む。図１Ａに示したように、各スペクトル感度曲線は、対応するフィルタの透過率対波長を示す。例えば、Ｙスペクトル応答とＺスペクトル応答は、それぞれのスペクトル透過率に一ピークを有するが、Ｘスペクトル応答は２つのスペクトル透過率ピークを有する。一実施形態では、カラーフィルタモジュール１２５は、各フィルタセル１２７がＸ、ＹまたはＺ応答を有するように設計されている。他の一アプローチでは、Ｘ応答は、２つのピークに対して１つずつ、２つのフィルタセル１２７を用いてインプリメントされる。

留意点として、図１は基礎的なコンセプトを示すため簡略化してある。例えば、オブジェクト１５０は、画像化関数全体の説明を容易にするため、人工的にアレイに分割されていた。本発明はアレイ化されたオブジェクトに限定されない。他の一例として、実際のほとんどのシステムは、特にセンサアセンブリにおいて、及び場合によってはフィルタモジュールにおいても、十分に大きなアレイを用いる。また、センサ平面上の６×６領域と、センサアレイ中のセンサ要素との間には、１対１関係はなくてもよい。各領域は、例えば、複数のセンサ要素に対応する。最後の例として、オブジェクトで１とラベルされた領域と、フィルタ画像１５５Ａ中で１Ａとラベルされた領域と、合成画像１７０中で１Ａとラベルされた領域とは、互いの正確な画像でなくてもよい。幾つかのデザインでは、画像１７０内の領域１Aは、おおよそオブジェクト１５０内の領域１からフィルタされたエネルギーをキャプチャするが、実際には領域１の画像ではなくてもよい。このように、画像１７０の領域１Aのセンサ要素により集められたエネルギーは、オブジェクト１５０中の領域１中の画像（またはその画像の幾つかの変換）を集積及びサンプリングするが、その領域におけるオブジェクトのジオメトリ的再生を表すのではない。また、視差、口径食、回折、及び光伝搬が画像形成に影響する。

図１に示すアプローチには幾つかの利点がある。第１に、複数の光学画像１７０Ａ−Ｄがセンサ平面で同時にキャプチャされる。第２に、キャプチャされた各画像は、カラーフィルタモジュール１２５内のフィルタセル１２７Ａ−Ｄによりフィルタされ、各フィルタセル１２７は異なるフィルタ関数をインプリメントするように設計され得る。さらにまた、カラーフィルタモジュール１２５は、実際のセンサ平面ＳＰではなく共役平面ＳＰ’にあり、これは一般的にカラーフィルタモジュールがセンサ平面で必要となるものよりも非常に大きいことを意味するので、許容誤差その他の機械的要件がゆるくなる。これにより、（例えば、センサアセンブリに取り付けて）センサ平面にある場合と比較して、カラーフィルタモジュールの操作が容易になる。

デザインアプローチの概要

複数の画像１７０は（インターリーブされて）センサ１８０において空間的に多重化され、各画像１７０は異なるフィルタセル１２７Ａ−Ｄによりフィルタされる。フィルタリングは実際のセンサ平面ではなく共役センサ平面（すなわち、開口部）において適用される。このアプローチの欠点の１つは、共役平面ＳＰ’がセンサ平面ＳＰに完全にはイメージされないことである。歪み、視差、（幾何及び色の両方の）収差などの効果により、センサ平面における隣接する多重化画像間のクロストークが生じる。図１Ｂを参照して、イメージが完全ではないので、少なくとも境界において、画像１Ａと１Ｂが混ざり合ってしまう。正味効果として、センサ１８０によりキャプチャされる混ざり合った画像は、フィルタＡのみ、またはフィルタＢのみによりフィルタされたオブジェクトを表すのではなく、フィルタＡとフィルタＢのある組み合わせによりフィルタされたオブジェクトを表す。フィルタＡとＢの間のこのクロストークは、通常好ましくない。

フィルタ間のクロストーク、ノイズ、製造と組み立てのばらつきなどのシステム特性は、カラーフィルタモジュールの設計時に考慮する重要な要因である。図２は、これらのシステム特性を説明する、プレノプティックＸＹＺ画像化システムのデザイン方法の一例を示すフロー図である。カラーフィルタモジュールをパラメータ化する（２１０）。カラーフィルタモジュールの候補デザインに基づき（２１０）、コンピュータシステムは、ＸＹＺプレノプティック画像化システムによるプレノプティック画像形成全般をモデル化する（２２０）。これには、一般的に、オブジェクトのモデルと、（カラーフィルタモジュールを含む）プレノプティック画像化システムの記述とが両方含まれる。これを用いて、ΔＥとそのばらつきとを計算する。これはカラーフィルタモジュールのデザインを改善するフィードバックとして用いられる（２４０）。

図２は、より一般的なアプローチのより具体的な例も示している。この具体例では、カラーフィルタモジュールは、既知のスペクトル応答を有するフィルタセルのセットとしてモデル化される。具体的に、フィルタセルはＸ，Ｙ及びＺフィルタ応答をインプリメントし、フィルタモジュールのフィルタセルへの空間的分割がパラメータ化され、最適化される。すなわち、フィルタセル間の境界がデザインされる。

カラーフィルタモジュールの候補デザインに基づき（２１０）、コンピュータシステムは、ＸＹＺプレノプティック画像化システムの画像形成をモデル化する（２２０）。これは一般的に、ソース、光学系を通した伝搬、検出器の振る舞い（例えば、センサのスペクトル感度）、及びその後の処理のモデル化を含む。オブジェクトモデルは、照明及び反射の両方の特性を含み得る。例えば、これらの目的に対する共通のオブジェクトは、ソースにより照明されたカラーテストチャートである。この場合、ソース照明のスペクトル特性はテストチャートのカラー応答と同じくらい重要である。光学系を通る伝搬は異なる方法でモデル化できる。波動伝搬とレイトレーシングが２つのアプローチである。一アプローチでは、シミュレーションに非近軸レイトレーシングを用いる。カラーフィルタモジュールのスペクトル応答が、レイの入射角の主因である。これはＸＹＺフィルタにとって重要である。ＸＹＺフィルタは、入射角に依存するスペクトル応答を有する干渉フィルタとして構成されるからである。伝搬のモデル化とカラーフィルタモジュールの最適化の詳細及びアプローチは、米国特許出願第１３／０４０，８０９（発明の名称「Design of filter modules for aperture-coded, multiplexed imaging systems」）に記載されている。この文献はここに参照援用する。

得られたモデルを用いて性能メトリックを計算する（２３０）。この例では、性能メトリックは少なくとも部分的にｖａｒ（ΔＥ）に基づく。図２はステップ２３０の実装例を示す。レイトレーシングに基づくセンサデータのモデルは

として表すことができる。ここで、ｂはセンサによる測定データであり、Φはシステムの光学応答であり、ｒはオブジェクトモデルであり、ｎはノイズ（主にセンサにより生じるノイズ）である。光学応答は、製造のばらつきとアライメントのばらつき（シフト、チルト、軸上、軸外）などを含み得る。

一実施形態では、光学応答は行列Φとしてモデル化される。これに対しては、Φの疑似逆行列Φ^−１とのかけ算により表せる疑似逆演算を実行できる。ＸＹＺカラー値は

として再構成される（２３２）。このステップ２３２はスペクトル逆多重化（spectral demultiplexing）とも呼ばれる。

再構成されたＸＹＺデータは、ＣＩＥ１９７６色空間を用いてＣＩＥＬＡＢに変換される（２３４）：

。Ｘ，Ｙ，Ｚはオブジェクトの三刺激値であり、Ｘ_ｎ，Ｙ_ｎ，Ｚ_ｎは白色オブジェクトカラー刺激の三刺激値である。

ステップ２３６において、Ｌ，ａ，ｂ（Ｌａｂ）の平均と分散を計算する。例えば、センサにおいて推定されるＸＹＺ値が共分散行列Σ_Ｗを有するランダム変数であると仮定すると、Ｌａｂ値[Ｌ，ａ，ｂ]^Ｔの共分散は共分散行列Σ_Ｌａｂ：

により与えられる。Ｌａｂの平均値は同様に計算できる。共分散Σ_Ｌａｂは信号の（すなわちノイズによる）ばらつき、及び製造やアライメントなどのばらつきによるものである。

Ｌａｂの計算された平均と共分散を用いて、ΔＥとその分散を計算する（２３８）。概して、ΔＥはＬ，ａ，ｂの予測の正確性を表し、絶対色差を定量化するものである。一実施形態では、ΔＥは

として計算される。ここで、Ｌ，ａ，ｂはプレノプティックＸＹＺ画像化システムからの予測測定値であり、Ｌ’，ａ’，ｂ’はＣＩＥ標準（Ｄ６５標準光源、１９３１ＣＩＥ標準オブザーバー）に基づいて測定したＣＩＥＬＡＢ基準値である。言い換えると、値Ｌ’，ａ’，ｂ’が「真値（the truth）」であると考えられる。式（５）により、ＣＩＥ７６標準によるΔＥ値を計算する。ＣＩＥ９４やＣＩＥＤＥ２０００など他の標準を用いることもできる。基準値Ｌ’，ａ’，ｂ’は、異なる光源、例えばＤ５０やＤ５５に対しても測定することができる。ＣＩＥ１９３１以外の標準オブザーバーを用いることもできる。

上記の通り、ΔＥの分散は、ノイズ、製造上のばらつき、カラーフィルタモジュール位置のばらつきなどによるものである。ΔＥの分散は次の通り計算される。単純化のため、ｇを用いてΔＥ関数を表す。すなわち、ΔＥ＝ｇ（ｖ_１，ｖ_２，ｖ_３）である。ここで、ｖ_１＝Ｌ−Ｌ’，ｖ_２＝ａ−ａ′，ｖ_３＝ｂ−ｂ′は平均μ_１，μ_２，μ_３と、共分散行列ΣＬａｂとを有するランダム変数である。変数ｖ_１，ｖ_２，ｖ_３はそれぞれΔＬ，Δａ，Δｂとも呼ぶ。ｇを線形近似

で近似する。これはＤＬ，Ｄａ及びＤｂに関する１次テイラー級数展開である。すると、ｇの分散は

としてｈの分散により近似される。ここで、σ_Ｌ，σ_ａ，及びσ_ｂはそれぞれ変数ｖ_１，ｖ_２，ｖ_３に関連する標準偏差を表す。ｖ_１＝Ｌ−Ｌ′，ｖ_２＝ａ−ａ′，ｖ_３＝ｂ−ｂ′であるから、

が得られる。

計算されたｖａｒ（ΔＥ）は、プレノプティックＸＹＺ画像化システムの性能メトリックに影響し、カラーフィルタモジュールを最適化するのに用いることができる。一実施形態では、候補の空間的パーティションの修正は、ｖａｒ（ΔＥ）に基づき候補の空間的パーティションを反復的に最適化することにより、行われる。かかる反復的最適化は、フィルタセル境界の摂動により行える。例えば、ｖａｒ（ΔＥ）が最低になったときに最適化が達成され、ｖａｒ（ΔＥ）の最低値に対応するカラーフィルタモジュールの空間的パーティションが最適な空間的パーティションである。

他の一実施形態では、候補の空間的パーティションの修正は網羅的検索により行われる。例えば、カラーフィルタモジュールの空間的パーティションのデザイン空間をサンプリングする。デザイン空間における各サンプルのｖａｒ（ΔＥ）を計算する。候補の空間的パーティションは、計算されたｖａｒ（ΔＥ）に基づいて選択される。例えば、サンプリングされたすべての点のうち最小のｖａｒ（ΔＥ）に対応する空間的パーティションが、カラーフィルタモジュールの最適化された空間的パーティションとして、選択される。

他の一実施形態では、分散に替わって、または分散に加えて、ΔＥ値の推定平均を最適化に用いる。ΔＥの平均は、推定されたＬａｂの正確さを記述し、センサ上の２つの隣接するフィルタセルの画像間のクロストークを推定するために用いることができる。

図３Ａ−３Ｇは、カラーフィルタモジュールの空間的パーティションとパラメータ化のいろいろな例を示す。図３Ａにおいて、フィルタモジュールは、境界により分離されたフィルタセルを含む。境界はすべて互いに平行である。すなわち、フィルタセルは平行ストライプである。パーティションはそれぞれＸ，Ｙ，Ｚカラーフィルタである。２つのパラメータｄ１とｄ２を用いてパーティションを特徴付ける。図３Ａに示した例では、ｄ１とｄ２は両方とも、図中に矢印で示したように、フィルタの中心から測られる。フィルタセルはサイズが同じである必要はないことに留意されたい。これは「ストライプ」パーティションと呼ぶこともある。

図３Ｂにおいて、フィルタモジュールは、境界により分離されたフィルタセルを含む。境界はすべて互いに平行であるか、または垂直である。図示した例は、２つの境界線がＴ字を構成するので、「Ｔ字路型」パーティションと呼ばれる。このパーティションも２つのパラメータｄ１とｄ２によりパラメータ化される。両方ともフィルタの中心から測られる。

図３Ａにおいて、フィルタモジュールは、境界により分離されたフィルタセルを含む。境界はすべて互いに平行である。これは「パイチャート」パーティションと呼ばれる。この例では、共通点はフィルタの中心である。他の場合には、共通点はフィルタ内の任意の点であり得る。図３Ｃに示したパーティションも２つのパラメータｄ１とｄ２を有する。これらはそれぞれＸフィルタとＹフィルタに対する角度である。図３Ｄは、フィルタセルの「チェックフラグ（Czech flag）」を有する四角形フィルタモジュールを示す。これは基本的にパイチャートパーティションであるが、四角形の外側ボーダーを有している。四角形の外側ボーダーは、他のパーティションとともに使うこともできる。

図３Ｅ−３Ｇは、４つのフィルタセルを有するさらに別のいくつかの例を示している。これらの例では、Ｘスペクトル応答は２つのフィルタセルＸ１とＸ２により実装される。これらはＸスペクトル応答の下ローブと上ローブをインプリメントする。図３Ｅは４フィルタ「ストライプ」パーティションを示す。図３Ｆはマンハッタンジオメトリ境界を用いた４フィルタパーティションを示す。図３Ｇはセンタをオフセットした４フィルタ「パイチャート」を示す。他の空間的パーティションも可能である。フィルタモジュールの外側境界はこの例では四角形または円形として示したが、他の形状（例えば、楕円形）でもよい。

フィルタモジュールのフィルタセルへの空間的パーティションは、他の方法でもパラメータ化できる。例えば、パラメータ化は、フィルタモジュール内でのフィルタセルの位置及び／またはサイズの修正ができるように設計できる。例えば、フィルタモジュール全体のスケーリングなど、グローバルな修正もすることができる。フィルタセルの数も可変である。複数のＸ，ＹまたはＺフィルタセルがあってもよい。フィルタの順序を最適化することができる。例えば、Ｘ，Ｙ，ＺをＹ，Ｘ，Ｚと構成することもできる。こうするとクロストークが減少することがある。

幾つかの場合には、フィルタセルの光学的特性はアプリオリに決定できる。この場合、空間的パーティションの決定がフィルタモジュールのデザインにおける主要なタスクとなる。一例は、あるスペクトル応答（例えば、オブジェクトのＸ，Ｙ及びＺ成分の検出）が望ましい場合、またはあるスペクトル応答が製造可能である場合である。他の場合には、空間的パーティショニングに加えて、フィルタセルの光学特性を繰り返しても良い。残りのＸＹＺプレノプティック画像化システムについても同様である。すなわち、幾つかの場合には、残りの画像化システム（または画像化システム内のあるコンポーネント）も性能メトリックに基づいて繰り返しできる。

フィルタ最適化：例

この欄では、ｖａｒ（ΔＥ）メトリックを用いたプレノプティックＸＹＺ画像化システムのフィルタ最適化の一例を説明する。この例では、オブジェクト１５０はＬＥＤにより照明されたカラーテストチャートである。図４ＡはＬＥＤのスペクトル応答を示す。これはほぼ４００−７６０ｎｍの範囲にまたがる約３６０ｎｍ幅を有する。図４ｂはカラーテストチャートを示す。これは異なる２４個のカラーパッチを有する２次元チェッカーボードである。各カラーパッチは予め確定されたスペクトル応答を有する。例えば、カラーパッチ＃１はブラウンであり、カラーパッチ＃２はピンクであり、カラーパッチ＃２４は黒である等である。他のアプリケーションでは、異なるカラーテストチャートやソースを用いることもできる。

図５乃至７は、ノイズの効果をデモンストレーションするためにシミュレーションしたセンサデータを示す。この例では、このタイプのシミュレーションしたセンサデータは、カラーフィルタモジュールの評価と最適化には用いない。むしろ、デザインプロセスはプレノプティック画像化システムの光学応答と、オブジェクトモデル（例えば、照明パワーとスペクトル、反射率の値など）とに基づく。センサ動作の実際のシミュレーションではなく、センサ応答及びノイズのモデルを用いる。このアプローチの一利点は、実際のセンサデータのシミュレーションが必要ないことである。

図５Ａと５Ｂは、ストリップされたカラーフィルタモジュールを用いて、図３Ａに示したストライプカラーフィルタモジュールを用いて、（Ａ）カラーパッチ＃１と（Ｂ）カラーパッチ＃２４に対するシミュレーションされたセンサ画像を示す。図５Ｂの画像は図５Ａの画像よりノイズが多い。これは、カラーパッチ＃２４が黒であり、それゆえブラウンであるカラーパッチ＃１よりも少ない量の光を通すからである。シミュレーションは信号依存のノイズを考慮するので、図５Ａの信号対雑音比は、図５Ｂのそれより高い。図６Ａと６Ｂ、及び図７Ａと７Ｂについても同様である。具体的に、図６Ａと６Ｂは、図３Ｂに示したように、Ｔ字路型カラーフィルタモジュールを用いて、（Ａ）カラーパッチ＃１及び（Ｂ）カラーパッチ＃２４に対するシミュレーションされた画像を示す。図７Ａと７Ｂは、図３Ｃに示したパイチャートカラーフィルタモジュールを用いて、（Ａ）カラーパッチ＃１と（Ｂ）カラーパッチ＃２４に対するシミュレーションされた画像を示す。

この例では、各カラーパッチについてｖａｒ（ΔＥ）を計算する。一実施形態では、フィルタセルの候補空間的パーティションの修正は、各色に対して計算されたｖａｒ（ΔＥ）の平均に基づく。例えば、かかる平均はｖａｒ（ΔＥ）の重み付け平均である。他の一実施形態では、フィルタセルの候補空間的パーティションの修正は、各色に対して計算されたｖａｒ（ΔＥ）の最悪値に基づく。

図８は、計算されたｖａｒ（ΔＥ）に基づきフィルタセルの空間的パーティション最適化の一例を示す図である。この例では、カラーフィルタモジュールはＴ接合デザインである。図８、最適化前後のフィルタレイアウトのｖａｒ（ΔＥ）（実際には、ｓｔｄ（ΔＥ））をプロットしたものである。２４組のバーはそれぞれ、２４カラーパッチの１つのｓｔｄ（ΔＥ）を示す。左側のバーは最適化前のｓｔｄ（ΔＥ）であり、右側のバーは最適化後のｓｔｄ（ΔＥ）である。この最適化には、各カラーパッチに対して性能メトリックとして計算されたｓｔｄ（ΔＥ）の平均を用い、網羅的検索によりそのメトリックの最小値を見つける。

詳細な説明には具体的事項が多数含まれているが、これらは本発明の範囲を限定するものではなく、本発明の異なる実施例と態様を例示することのみを目的としたものと解釈しなければならない。言うまでもなく、本発明の範囲はここで詳細に説明していない他の実施形態も含む。その他の様々な修正、変更、変形が、当該技術分野の当業者には明らかである。添付した請求項に記載した本発明の精神と範囲から逸脱することなく、ここに開示した本発明の方法と装置の構成、動作、詳細に対して、こうした様々な修正、変更、変形をすることが可能である。それゆえ、本発明の範囲は特許請求の範囲及びその均等物により決定されるべきである。

Claims (18)

1. オブジェクトのＸＹＺ画像をキャプチャするプレノプティックＸＹＺ画像化システムにおいて用いるカラーフィルタモジュールを設計する、コンピュータにより実施される方法であって、前記プレノプティックＸＹＺ画像化システムは主画像化サブシステムと副画像化アレイとセンサアレイとを有し、前記センサアレイは前記オブジェクトの多重化画像をキャプチャし、前記カラーフィルタモジュールは前記センサアレイに対する共役平面に配置され前記多重化画像のスペクトルフィルタリングをし、
   前記コンピュータにより実施される方法は、コンピュータシステムが、
   前記プレノプティックＸＹＺ画像化システムにより画像化されるオブジェクトのモデルを受け取るステップと、
   前記カラーフィルタモジュールの候補デザインを受け取るステップであって、前記カラーフィルタモジュールの候補デザインは前記カラーフィルタモジュール内のフィルタセルの候補空間的パーティションを含み、前記フィルタセルはＸフィルタ応答、Ｙフィルタ応答及びＺフィルタ応答をインプリメントする、ステップと、
   前記候補カラーフィルタモジュールを有する前記プレノプティックＸＹＺ画像化システムの動作をモデル化するステップと、
   ΔＥのばらつきを前記モデル化された動作の関数として計算するステップと、
   前記計算されたΔＥのばらつきに基づき、前記フィルタセルの空間的パーティションを修正するステップと
   を有する、方法。
2. 前記フィルタモジュールは境界により分離されたフィルタセルを含み、前記境界はすべて互いに平行である、請求項１に記載のコンピュータにより実施される方法。
3. 前記フィルタモジュールは境界により分離されたフィルタセルを含み、前記境界はすべてある共通点から放射状に広がる、請求項１に記載のコンピュータにより実施される方法。
4. 前記フィルタモジュールは境界により分離されたフィルタセルを含み、前記境界はすべて互いに平行または垂直である、請求項１に記載のコンピュータにより実施される方法。
5. 前記フィルタモジュールは、Ｘフィルタ応答を有するフィルタセルと、Ｙフィルタ応答を有する他のフィルタセルと、Ｚフィルタ応答を有するさらに他のフィルタセルとを含む、請求項１に記載の方法。
6. 前記フィルタモジュールは、Ｙフィルタ応答を有するフィルタセルと、Ｚフィルタ応答を有する他のフィルタセルと、共にＸフィルタ応答をインプリメントする二以上のフィルタセルとを含む、請求項１に記載の方法。
7. 前記オブジェクトは異なる色を有し、異なる色に対してｖａｒ（ΔＥ）が計算され、前記フィルタセルの候補空間的パーティションを修正するステップは、異なる色に対して計算されたｖａｒ（ΔＥ）の平均に基づく、請求項１に記載の方法。
8. 前記オブジェクトは異なる色を有し、異なる色に対してｖａｒ（ΔＥ）が計算され、前記フィルタセルの候補空間的パーティションを修正するステップは、異なる色に対して計算されたｖａｒ（ΔＥ）の最悪値に基づく、請求項１に記載の方法。
9. ΔＥのばらつきはノイズにより生じる、請求項１に記載の方法。
10. ΔＥのばらつきは製造のばらつきにより生じる、請求項１に記載の方法。
11. ΔＥのばらつきは前記カラーフィルタモジュールの位置のばらつきにより生じる、請求項１に記載の方法。
12. ｖａｒ（ΔＥ）はＤＬ、Ｄａ及びＤｂの関数として計算される、請求項１に記載の方法。
13. ｖａｒ（ΔＥ）はＤＬ、Ｄａ及びＤｂに関するテイラー級数展開として計算される、請求項１２に記載の方法。
14. 前記オブジェクトのモデルは、カラーテストチャートのスペクトル応答のモデルと、前記カラーテストチャートを照明する光源のモデルとを含む、請求項１に記載の方法。
15. 前記プレノプティックＸＹＺ画像化システムの動作をモデル化するステップは、前記カラーフィルタモジュールのスペクトル応答を入射角の関数としてモデル化するステップを含む、請求項１に記載の方法。
16. 前記候補空間的パーティションを修正するステップは、
    前記カラーフィルタモジュールの空間的パーティションのデザイン空間をサンプリングするステップと、
    前記デザイン空間の各サンプルに対してｖａｒ（ΔＥ）を計算するステップと、
    前記計算されたｖａｒ（ΔＥ）に基づいて候補空間的パーティションを選択するステップとを有する、
    請求項１に記載の方法。
17. 前記候補空間的パーティションを修正するステップは、ｖａｒ（ΔＥ）に基づいて前記候補空間的パーティションを反復的に最適化するステップを有する、請求項１に記載の方法。
18. コンピュータシステムにおいて実行されたとき、前記コンピュータシステムに、オブジェクトのＸＹＺ画像をキャプチャするプレノプティックＸＹＺ画像化システムにおいて用いられるカラーフィルタモジュールを設計する方法を実行させるソフトウェア命令を含む有体のコンピュータ読み取り可能媒体であって、前記プレノプティックＸＹＺ画像化システムは主画像化サブシステムと副画像化アレイとセンサアレイとを有し、前記センサアレイは前記オブジェクトの多重化画像をキャプチャし、前記カラーフィルタモジュールは前記センサアレイに対する共役平面に配置され前記多重化画像のスペクトルフィルタリングを供給し、
    前記方法は、
    前記プレノプティックＸＹＺ画像化システムにより画像化されるオブジェクトのモデルを受け取るステップと、
    前記カラーフィルタモジュールの候補デザインを受け取るステップであって、前記カラーフィルタモジュールの候補デザインは前記カラーフィルタモジュール内のフィルタセルの候補空間的パーティションを含み、前記フィルタセルはＸフィルタ応答、Ｙフィルタ応答及びＺフィルタ応答をインプリメントする、ステップと、
    前記候補カラーフィルタモジュールを有する前記プレノプティックＸＹＺ画像化システムの動作をモデル化するステップと、
    ΔＥのばらつきを前記モデル化された動作の関数として計算するステップと、
    前記計算されたΔＥのばらつきに基づき、前記フィルタセルの空間的パーティションを修正するステップと
    を有する、コンピュータ読み取り可能媒体。

Images