JP2008527944A - 符号化レンズ結像技術を用いて静止画像及び映像を取り込むための装置及び方法 - Google Patents

Abstract

【課題】符号化レンズ技術を用いて静止画像及び映像を取り込むための装置及び方法を提供する。
【解決手段】画像を取り込むための装置。一実施形態では、装置は、符号化パターンに配置された複数のレンズを含み、かつレンズを含まないアレイ要素を不透明材料が塞いでいる符号化レンズアレイと、符号化レンズアレイに連結され、かつ符号化レンズアレイの背後の特定の距離に位置決めされた光感応半導体センサとを含み、光感応センサは、符号化レンズアレイ内のレンズを透過した光を感知するように構成されている。
【選択図】図１

Description

優先権の主張
本出願は、２００５年１月１８日出願の「符号化開口技術を用いて静止画像及び映像を取り込むための装置及び方法」という名称の現在特許出願中の米国特許出願第１１／０３９，０２９号の一部継続出願であり、２００５年７月２０日出願の「符号化レンズ結像技術を用いて静止画像及び映像を取り込むための装置及び方法」という名称の米国特許仮出願第６０／７０１，４３５号の恩典を主張するものである。その出願は、その全内容が引用により組み込まれている。

本発明の分野
本発明は、一般的に画像取込及び画像処理の分野に関する。より具体的には、本発明は、符号化レンズ技術を用いて静止画像及び映像を取り込むための装置及び方法に関する。

写真撮像は、一般的に、写真フィルム又はＣＣＤ及びＣＭＯＳセンサを含む半導体センサのような光を感知する検出器の前に置かれた単一のガラスレンズを使用して、光景からの光を集束させることにより行われる。

Ｘ線又はガンマ線のような高エネルギ放射線を撮像するためには、このような放射線は、ガラスレンズを使用して回折させることができないので、他の技術を用いなければならない。単一ピンホールカメラ及び多孔コリメータシステムを含むいくつかの技術が提案されてきた。特に有益な技術は、「符号化開口結像法」であり、そこでは、透明及び不透明要素の適切に選択されたパターンから成る構造化された開口が、撮像される放射線に感応する検出器の前に配置されている。開口パターンが適切に選択されると、撮像された光景は、検出器信号からデジタル方式で再構成することができる。符号化開口結像法は、高い空間分解能を高い光効率と結合させるという利点を有する。矩形又は六角形要素の構造化されたアレイを使用するＸ線及びガンマ線放射線の符号化開口結像法は、Ｒ．Ｈ．ＤＩＣＫＥ著「Ｘ線及びガンマ線のための散乱孔カメラ」、「ＡＳＴＲＯＨＹＳ．Ｊ．」、１５３：Ｌ１０１−Ｌ１０６、１９６８年（以下、「Ｄｉｃｋｅ」）から公知であり、天体撮像及び核医学に広く応用されている。

符号化撮像システムの特に有用な部類は、Ｅ．Ｅ．Ｆｅｎｉｍｏｒｅ及びＴ．Ｍ．Ｃａｎｎｏｎ著「均一冗長アレイによる符号化開口結像法」、「Ａｐｐｌ．Ｏｐｔ．」、１７：３３７−３４７、１９７８年（以下「Ｆｅｎｉｍｏｒｅ」）から公知である。この部類のシステムでは、基本の開口パターンは、開口パターンが基本パターンの２×２のモザイクになるように循環的に繰り返される。検出器は、少なくとも基本開口パターンと同じ大きさを有する。このようなシステムでは、「完全に符号化されたＦＯＶ」（「ＦＯＶ」は、本明細書で「視野」のことを指して使用する）とは、ＦＯＶ内の区域として定義され、その内部では、点光源が、開口上に基本開口パターンの循環シフトバージョンの完全な影を落とすと考えられる。同様に、「一部符号化されたＦＯＶ」とは、ＦＯＶ内の区域として定義され、その内部では、点光源が、開口上に単に基本開口パターンの一部の影を落とすと考えられる。Ｄｉｃｋｅによれば、コリメータを検出器の前に置き、これが、ＦＯＶを完全符号化ＦＯＶに限定し、従って、検出器信号からの光景の明瞭な再構成を可能にする。

Ｊ．Ｇｕｎｓｏｎ及びＢ．Ｐｏｌｙｃｈｒｏｎｏｐｕｌｏｓ著「ロケット用途のための符号化マスクＸ線望遠鏡の最適設計」、「ＭＯＮ．ＮＯＴ．Ｒ．ＡＳＴＲＯＮ．ＳＯＣ．」、１７７：４８５−４９７、１９７６年（以下「Ｇｕｎｓｏｎ」）から、開口自体がコリメータとして働き、かつＦＯＶを完全符号化ＦＯＶに限定するように、開口の不透明要素に有限厚を与えることが更に公知である。このような「自己平行化開口」により、検出器の前の別のコリメータを省くことができる。

ＦＯＶを限定することに加えて、コリメータは、光軸に対して厳密に平行である光だけを減衰なしで透過させるという望ましくない特性を有することに注意すべきである。コリメータを通過するどの軸外の光も減衰され、この減衰は、ＦＯＶの限界の方向に増大する。ＦＯＶの限界では、減衰は１００％であり、すなわち、光は、このような角度ではコリメータを通過することができない。この影響は、本明細書では、以下に「コリメータ減衰」として表す。ｘ方向及びｙ方向の両方で、コリメータ減衰は、光と光軸の間の角度の正接に比例する。

符号化開口結像システムでセンサ信号から画像を再構成した後に、光度的に正しい画像を取得するために、コリメータ減衰の影響を逆転させる必要がある場合がある。これは、各個々のピクセル値にそのピクセルが関連する方向から来た光が減衰された係数の逆数を掛けることを伴っている。ＦＯＶの限界近くでは、減衰、特にコリメータ減衰が非常に高く、すなわち、この係数はゼロに近づくことに注意すべきである。この場合、コリメータ減衰を逆転させることは、ピクセル値をＦＯＶの限界で無限大に近づく非常に大きい係数によって増幅することを伴っている。再構成におけるあらゆるノイズもこの係数によって増幅されることになるので、ＦＯＶの限界付近のピクセルは、ノイズが非常に大きくなるか、又は使用不能になる場合さえある。

Ｆｅｎｉｍｏｒｅ又はＧｕｎｓｏｎによる符号化開口システムでは、基本開口パターンは、０と１の「開口アレイ」によって特徴付けることができ、ここで、１は、透明な開口要素を表し、０は、不透明な開口要素を表す。更に、ＦＯＶ内の光景は、２次元アレイとして特徴付けることができ、各アレイ要素は、ＦＯＶ内の単一ピクセルから発せられた光度を含んでいる。光景が開口から無限遠の距離にある場合、センサ信号は、ＦＯＶアレイと開口アレイの間の２次元の周期的な相互相関関数として特徴付けることができることが公知である。センサ信号それ自体は、撮像されている光景と似ていないということに注意すべきである。しかし、開口アレイに適する２次元の周期的な逆フィルタを計算することにより、「再構成フィルタ」を設計することができる。この２次元周期的逆フィルタは、開口アレイと逆フィルタの２次元周期的相互相関関数の全てのサイドローブが０になる方法で構成された２次元アレイである。センサ信号と再構成フィルタの２次元周期的相互相関関数を計算することにより、元の光景の画像をセンサ信号から再構成することができる。

いわゆる「均一冗長アレイ」（ＵＲＡ）を開口アレイとして使用することは、Ｆｅｎｉｍｏｒｅから公知である。ＵＲＡは、サイドローブ値が全て同一である２次元周期的相互相関関数を有する。ＵＲＡは、一定のオフセット及び一定の倍率を除き、ＵＲＡそのものと同じ構造を有する逆フィルタを有する。このような再構成フィルタは、センサ信号内のあらゆるノイズが、再構成フィルタリング中に可能な最低の増幅を受けることになるという意味では最適である。しかし、ＵＲＡは、ごく少数の大きさを除いて代数学的に構成することが不可能である。

更に、ｐが奇素数である時に全ての大きさｐ×ｐに対して存在する「修正均一冗長アレイ」（ＭＵＲＡ）と呼ばれる修正された部類の開口アレイを使用することが、Ｓ．Ｒ．Ｇｏｔｔｅｓｍａｎ及びＥ．Ｅ．Ｆｅｎｉｍｏｒｅ著「符号化開口結像法のための新しいバイナリアレイ群」、「ＡＰＰＬ．ＯＰＴ．」、２８：４３４４−４３５２、１９８９年（以下「Ｇｏｔｔｅｓｍａｎ」）から公知である。従って、ＭＵＲＡは、ＵＲＡよりも多くの大きさに対して存在する。これらの相関特性及びノイズ増幅特性は、最適に近く、ＵＲＡの特性と殆ど同様に良好である。ＭＵＲＡは、単一行及び単一列を除き、それらが、アレイに対して一方が列指数のみの関数で他方が行指数のみの関数である２つの１次元数列の積として表すことができるという付加的な利点を有する。同様に、単一行及び単一列を除き、これらの逆フィルタもまた、２つの１次元数列の積として表すことができる。この特性により、２次元逆フィルタリングを一連の２つの１次元フィルタリング演算に置換することが可能になり、再構成処理の計算が遥かに効率的になる。

更に、ｓ＝０，１，２．．．及びｒ＝１，２，３．．．である時に、全ての大きさ３^S２^r×３^S２^r及び全ての大きさ３^S２^r-1×３^S２^r+1に対して存在するいわゆる「完全バイナリアレイ」（ＰＢＡ）を使用することが、Ａ．Ｂｕｓｂｏｏｍ著「ＡＲＲＡＹＳ ＵＮＤ ＲＥＫＯＮＳＴＲＵＫＴＩＯＮＳＡＬＧＯＲＩＴＨＭＥＮ ＦＵＥＲ ＢＩＬＤＧＥＢＥＮＤＥ ＳＹＳＴＥＭＥ ＭＩＴ ＣＯＤＩＥＲＴＥＲ ＡＰＥＲＴＵＲ」、「ＶＤＩ ＶＥＲＬＡＧ」、ＤＵＥＳＳＥＬＤＯＲＦ、１９９９年、ＩＳＢＮ３−１８−３５７２１０−９（以下「Ｂｕｓｂｏｏｍ」）から公知である。従って、ＰＢＡはまた、多くの大きさ、特に、偶数の列及び行を有する多くの正方形の大きさに対しても存在する。これらの相関特性及びノイズ増幅特性は、ＵＲＡと同じくらい良好である。

光景が開口から有限距離にある場合、センサ画像の幾何学的拡大が発生する。ｏが光景と開口の間の距離、かつａが開口とセンサの間の距離である時に、光景の点光源は、実際の開口の大きさに比べて係数ｆ＝（ｏ＋ａ）／ｏだけ拡大された開口パターンの影をセンサ上に落とすと考えられることに注意すべきである。従って、光景が有限距離にある場合、センサ画像は、適宜拡大したバージョンの再構成フィルタでフィルタに掛ける必要がある。

光景が開口に非常に近い場合、いわゆる近視野効果が発生する。「近視野」とは、センサの大きさ、開口の大きさ、又は開口とセンサの間の距離のうちでその量が最大のものの１０倍に満たない範囲として定義される。被写体が近視野にある場合には、センサ画像は、もはや光景と開口アレイの間の２次元相互相関として表すことができない。これは、逆フィルタリングを使用して光景を再構成しようと試みる時にアーチファクトを引き起こす。Ｌａｎｚａ他の米国特許出願第６，７３７，６５２号には、このような近視野アーチファクトを低減する方法が開示されている。これらの方法は、第２の開口アレイが第１の開口アレイの逆となっている（すなわち、透明要素が不透明要素と置換され、逆も同様）２つの別々の符号化開口を使用して光景を撮像することを伴っている。再構成は、次に、近視野アーチファクトが２つのセンサ画像を結合する処理で低減されるような方法で、２つの異なる開口で得られた２つのセンサ信号から計算される。

今日までの符号化開口結像法は、主としてＸ線又はガンマ線放射を用いた産業上、医療上、及び科学的応用に限定されており、今日まで開発されたシステムは、それぞれ、特定の制約を受けた環境の中で機能するように設計されている。例えば、既存の符号化開口結像システムは、それぞれ、特定の視野深度で（例えば、天文学用に事実上無限遠で、又は核又はＸ線撮像用に特定の距離範囲で）設計されている。第２に、今日まで、符号化開口結像法は、制御された放射線源（例えば、核、Ｘ線、又は産業用の撮像）又は比較的安定していて事実上無限遠である天体の放射線源を用いて使用されてきた。その結果、既存の符号化開口システムは、例えば、レンズを使用する典型的な写真用カメラとはかなり異なって、制約された環境の中で作動するという利点を有してきた。単レンズを使用する（すなわち、センサ又はフィルムフレームにつき１つの単一のレンズ、ステレオカメラは２枚のレンズを有するが、レンズ毎に別のセンサ又はフィルムフレームを利用する）典型的な写真用カメラは、近距離から事実上無限遠距離までの様々な距離の３次元被写体を包含する光景の撮像を同時に処理するように設計され、かつ不明の起源、角度、及び大きく変化する強度の複数の環境放射線源を反射、拡散、吸収、屈折、又は逆反射する被写体を撮像するように設計されている。単レンズを有する莫大な数の写真用カメラが日常扱っているこの種の制約のない撮像環境を扱うことができる符号化開口システムは、これまでに設計されていない。

単レンズを使用した光学スペクトルの写真撮像には、いくつかの不都合及び制限がある。単レンズ写真撮影の主な制限は、特に大きな開口の設定でのその有限被写界深度（ＤＯＦ）である。限定されたＤＯＦの光景のみに、単レンズ画像において焦点を合わすことができ、一方、ＤＯＦよりもカメラに近いか又は離れているあらゆる被写体は、画像内でぼやけて見えることになる。

更に、単レンズカメラは、画像を取り込む前に手動又は自動で焦点を合わせる必要がある。これは、特に短いＤＯＦを有する大きい開口では、スポーツ写真又は子供又は動物の写真のような速いか又は予期せぬ動きをする被写体を撮像する時に不都合である。このような状況では、焦点を合わせる十分な時間がなかったか又は画像を取得する時に被写体が予期せぬ動きをしたために、画像の焦点が合っていない場合がある。単レンズ写真撮影は、画像を取得した状態では、撮影者が遡及的に焦点を変更することを許さない。

更に、単レンズのカメラの焦点を合わせることは、１つ又はそれよりも多くのレンズとセンサとの間の距離を調節することを伴っている。これには、単レンズカメラが機械的可動部を含む必要があるが、これは、機械の故障を起こしやすくする。液体レンズのようなガラスレンズの様々な代替物（例えば、Ｂ．Ｈｅｎｄｒｉｋｓ及びＳｔｅｉｎ Ｋｕｉｐｅｒ著「レンズを通してはっきりと」、「ＩＥＥＥ ＳＰＥＣＴＲＵＭ」、１２月、２００４年を参照）が、ガラスレンズの機械的制限を緩和しようという努力で提案されてきたが、このような代替物が設計の複雑さと潜在的な制限（例えば、作動温度範囲及び開口の大きさ）を加えた割には、これらは、依然として限られた焦点範囲の制約を受けている。

更に、単レンズカメラは、そのセンサ（フィルム又は半導体センサ）が限られたダイナミックレンジを有する結果として、限られたダイナミックレンジを有する。これは、非常に明るい区域と非常に暗い区域を共に含む光景を撮像する時に深刻な制限になる。一般的に、暗い区域が十分なコントラストを有しながら、明るい区域が露出過度に見え、又は明るい区域が十分なコントラストを有しながら、暗い区域が露出不足に見えることになるかのいずれかである。この問題に対処するために、画像の様々な明るさの領域に適合させるように画像センサの各ピクセルが各々固有の利得でサンプリングされることを可能にする専門の半導体画像センサ（例えば、カリフォルニア州マウンテンビュー所在の「Ｐｉｘｉｍ Ｉｎｃ．」製Ｄ１０００）が開発された。しかし、このような画像センサは、従来のＣＣＤ又はＣＭＯＳ画像センサよりも遥かに高価であり、従って、大量市場の一般的写真撮影を含む多くの用途に対してコスト優位性がない。

焦点を合わせる要件により、単レンズは、レンズと被写体の間の距離の概算値を提供することができる。しかし、大部分の写真撮影用途は、同時焦点の範囲ができるだけ長くなるように設計されたレンズを必要とするために、距離の推定に焦点を利用することは、きわめて不正確である。単レンズは、一度に１つの距離範囲に焦点を合わせることしかできないために、レンズは、高々所定の時間に１つの被写体範囲までの距離の推定をもたらすことになる。

「符号化開口結像法（ＣＡＩ）」（１／１８／０５出願の「符号化開口技術を用いて静止画像及び映像を取り込むための装置及び方法」という名称の現在特許出願中の米国特許出願出願番号第１１／０３９，０２９号、以下「ＣＡＩ出願」に開示されている）は、単レンズカメラの制約の多くに対処するものである。単レンズカメラに比べて、ＣＡＩは、より薄いカメラ、より軽いカメラ、より大きいダイナミックレンジを有するカメラ、及び同じく光景内の広範囲の深度にわたって焦点の合った画像を再構成することができるカメラを作ることを可能にする。

「ＣＡＩ出願」に説明した一実施形態に従った可視光符号化開口カメラを図１に示している。図示の実施形態は、光感応グレースケール又はカラー半導体センサ１０４の前に配置された符号化開口１０１を含む。符号化開口１０１は、円形、正方形、六角形、矩形、又は他のタイル状要素のパターンであり、その中には可視光を通すもの（例えば、要素１０２）と、通さないもの（例えば、要素１０３）がある。図を分かりやすくするために、符号化開口１０１には、透明要素が殆どないことに注意されたい。典型的な符号化開口は、かなり多くの透明要素を有する場合がある（例えば、５０％）。２次元又は３次元の光景１００（周囲又は人工照明で照らされる場合がある）からの可視光は、符号化開口１０１を通って画像センサ１０４上に投射される。このカメラは、ＦＯＶをセンサ上に投影される完全符号化ＦＯＶに限定することができる。一実施形態では、これは、自動平行化符号化開口１０１を使用することにより実施される（以下に説明するように、平行化のためのバッフルを使用して）。符号化開口とセンサの間の空間は、遮光ハウジング１０５（その概略図のみを図１に示す）で遮蔽され、符号化開口の開口要素を通過する以外、いかなる光もセンサに到達させない。

カメラは、更に、画像センサ１０４へのインタフェース１０９を備えた画像センサ読み出しサブシステム１１０（従来の符号化開口システムに使用されるものと同様とすることができる）を含む。読み出しサブシステムは、画像センサ１０４からアナログ画像信号を刻時して出力し、特定の画像センサに必要とされるアナログバファリング、増幅、及び／又はフィルタリングを適用する。Ａ／Ｄ１２０も組み込んだこのような読み出しサブシステム１１０の一例は、カリフォルニア州サニーベール所在の「ＮｕＣｏｒｅ Ｔｅｃｈｎｏｌｏｇｙ、Ｉｎｃ．」製「ＮＤＸ−１２６０ ＣｌｅａｎＣａｐｔｕｒｅ 画像処理プロセッサ」である。読み出しサブシステム１１０によって読み取られたアナログピクセル値に対してゼロオフセット１１２及び利得１１１を調節する機能は（例えば、少なくとも１つの演算増幅器（オペアンプ）を使用して）、取り込まれた画像のダイナミックレンジを増大させることになるが、画像センサが、ゼロオフセット及び利得調節なしで望ましい画質に対して十分なダイナミックレンジを有する場合は、必ずしも重要ではない。

一実施形態では、読み出しサブシステム１１０の出力は、アナログ出力をデジタル化する少なくとも１つのアナログ−デジタル変換器（Ａ／Ｄ）１２０にインタフェース１１３を通じて接続される。Ａ／Ｄの出力は、インタフェース１２１により、一実施形態では「デジタル信号プロセッサ（ＤＳＰ）」１３２及び「ランダムアクセスメモリ（ＲＡＭ）」１３１を内蔵している画像再構成プロセッサ１３０に接続される。インタフェース１２１からのデジタル化された画像は、ＲＡＭ１３１に記憶され、ＤＳＰ１３２は、元の光景１０１をグレースケール又はカラー画像に再構成するようにこの画像を後処理する。別の実施形態によると、画像再構成プロセッサ１３０は、例えば、インテル・コーポレーション製「Ｐｅｎｔｉｕｍ ４（登録商標）」のような汎用ＣＰＵ又は同様の汎用プロセッサを内蔵している。更に別の実施形態では、画像再構成プロセッサ１３０は、専用のデジタル構造内で再構成処理の一部又は全部を実施する「特定用途向け集積回路（ＡＳＩＣ）」を内蔵している。再構成プロセッサ１３０によって再構成されたこのグレースケール又はカラー画像は、インタフェース１３３を通じて出力され、表示装置１４０上に表示される。

しかし、ＣＡＩの１つの限界は、再構成画像の解像度である。ＣＡＩカメラの解像度は、（ａ）開口アレイの次数、及び（ｂ）回折により起こる投影画像のゆがみの２つの主な要因のうちの大きい方に限定される。これについては、以下の段落で更に説明する。

図２は、「次数」１０１、６１、及び３１のＭＵＲＡのいくつかの代表的な符号化開口アレイパターンを示している（ＣＡＩ用途でより詳細に説明）。図２はまた、次数８及び２４のＰＢＡの符号化開口アレイパターンを示している。（ＰＢＡ８及び２４は、それらのパターンをより良く示すために、ＭＵＲＡに比べて拡大して示している。）符号化開口アレイパターンは、水平方向に２回、及び垂直方向に２回繰り返された正方形アレイ（特定の次数の水平及び垂直寸法を有する）で形成されていることに注意されたい。従って、例えば、ＭＵＲＡ１０１パターンは、２０２×２０２の全体の大きさを有する。また、アレイの開口要素の各々は、同じ大きさのものであることにも注意されたい。開口の一部は、他より大きく見えるが、これは、単に隣接する開口が結合してより大きい開口のように見えるものを作り出しているためである。ＣＡＩカメラは、その符号化開口アレイの次数よりも高い解像度の画像を解像することができない。例えば、ＭＵＲＡ１０１のＣＡＩカメラは、１０１×１０１ピクセルよりも高い解像度の画像を解像することができない。

説明のために、図３は、図１に示す可視光符号化開口カメラの一実施形態を示している。図３に示す実施形態は、再構成画像の解像度が僅か３×３ピクセルであるために多くの用途で使用できないが、図１に示すようなカメラが機能する方法を説明するのに役立つものである。ＭＵＲＡ次数３（ＭＵＲＡ３）開口アレイ３０１は、開放開口３０２のような１６の開放開口と閉鎖開口３０３のような２０の閉鎖開口とを収容する。カラー又はグレースケールセンサ３０４は、ＭＵＲＡ３開口アレイ３０１の１象限（すなわち、１つの３×３の開口ブロック）と同じ大きさであり、この実施形態では、それは、ＭＵＲＡ３開口アレイ３０１に対して中心に位置決めされている。

図３の正投影図３２０は、カメラの構造のより多くを明らかにしている。バッフル（「ＣＡＩ用途」では「コリメータ」と呼ぶ）３１５は、開放開口３０２のような開放開口を通過する光を平行にする働きをする。これは、カラー又はグレースケールセンサ３０４上への各開口の投影のＦＯＶを制限する。閉鎖開口３０３のような閉鎖開口は、不透明なカバーで覆われ、従って、光が通過できないようになっている。センサ３０４は、開放開口の各々からの重なり合う投影の空間を可能にするようにＭＵＲＡ３開口アレイ３０１及びバッフル３１７から離されている。ユニット全体は、遮光カメラ本体３１６の中に入っており、これは、説明のために透明な状態で示している。この特定の例では、例えセンサ３０４が非常に高解像度のセンサであっても、３×３ピクセル画像しか再構成することができないことに注意されたい。

図４は、光がＭＵＲＡ３開口アレイを通して投影される方法を示している。説明図４００は、例示的な開放開口４０２及び閉鎖開口４０３と共に、黒い実線で示したＭＵＲＡ３開口アレイ４０１を示している。カラー又はグレースケールセンサ４０４の位置は、点線で描かれている。開放開口４０５は、破線で描かれている。開口４０５を通過する光は、グレーの正方形４０６として示したセンサ面上の正方形区域に投影する。開口アレイ４０１が説明図４００では投影の上に重なるように示されているために、投影４０６の大部分は、閉鎖開口によって遮られていることに注意されたい。それでも、グレーの実線で描かれている投影４０６の周囲は、見ることができる。

この実施形態では、投影４０６は、開口４０５の約９倍の大きさで開口４０５上に中心がある正方形である。開口アレイに対してセンサ４０４がどのくらい近いか又は遠いかにより、この投影は、広いか又は狭いＦＯＶに対応することができる。開口４０５の周りのバッフル（この説明図には示していないが、図３では、バッフル３１７として見ることができる）は、この実施形態では、投影４０６の範囲を開口４０５の大きさの約９倍に限定するために使用されている。

この実施形態では、投影４０６の面積のごく僅かな割合がセンサ４０４に重なっていることに注意されたい。この重なりの一部は、開放開口４０９を通して可視であり、その一部は、閉鎖開口４０８によって覆い隠されている。

説明図４１０は、開口アレイ４０１の右上の象限からの４つの投影を重ね合わせたものを示している。（分かりやすくするために、説明図４１０及び４２０では、ＭＵＲＡ３開口アレイ４０１の外形のみを示している。）右上象限にある４つの開放開口４１５は、破線で描かれている。これら４つの開口からの４つの投影４１６は、重なり合うグレーの区域として示されている。説明図４００に示す投影４０６のような各投影は、その開口の約９倍の大きさの正方形であり、その開口上に中心があり、グレーの実線で描かれている。センサ面の各区域の重なり合った投影の数を示すために、グレースケールの階調を変えることを利用して各区域を埋めている。最も明るいグレーは、１つの投影を示し、次に暗いものは、２つの投影の重なりを示し、次に暗いものは、３つの投影の重なりを示し、最後に最も暗いものは、４つの投影の重なりを示している。

説明図４２０は、開口アレイ４０１全体からの１６の投影全ての重なりを示している。１６の開放開口４２５は、破線で描かれている。説明図４００に示す投影４０６のような各投影は、その開口の約９倍の大きさでその開口に中心がある正方形であり、グレーの実線で描かれている。センサ面の各区域の重なり合った投影の数を示すために、前の段落で説明したように、グレースケールの階調を変えることを利用する。この実施形態では、センサ４０４の各区域は、４つの重なり合った投影で覆われて示されていることに注意されたい。実際には、センサ区域の大部分にわたって４つの重なり合った投影が存在することになるというのは正しいが、許容誤差の変動、回折効果、及び観測される光景内の被写体までの変動する距離のために、図４１１のグレーの実線で示す投影の境界付近により少ないか又はより多い重なり合う投影が存在する場合がある。

また、ＭＵＲＡ３開口アレイ４０１に当たる光の大部分は、センサ４０４の縁部を超えて投影され、その結果、この光は、再構成に使用されないことに注意されたい。ＭＵＲＡ３開口アレイ４０１の最右列の区域を無視する場合（この列にある開口は全て閉じているために、それは、カメラへのいかなる光にも寄与せず、画像の再構成に影響を与えることなくシステムから取り除くことができる）、ＭＵＲＡ３開口アレイ４０１の残りの区域に当たる光の約１３％が、実際にセンサ４０４上に投影される。従来のｆ／２．８単レンズは、レンズに当たる光の約１２．７％を通し、従って、このＭＵＲＡ３符号化開口アレイカメラの１３％の光透過性能は、従来のｆ／２．８レンズに同等のものとして見ることができる。

一般的に、ｆ／２．８は、写真用レンズには優れた光透過性能であり、従って、最後の数段落のＭＵＲＡ３符号化開口カメラの説明は、潜在的に望ましい光透過特性を有するカメラを特徴付けたものである。残念ながら、説明したシステムでは、僅か３×３ピクセル画像しか再構成できない。

ＣＡＩカメラの各要素は、幾何学的には、ピンホールカメラのピンホールのように作用する。各開口を通過する光は、ピンホールカメラの場合と同様に、センサ上に投影を作る。また、ピンホールカメラのように、ＣＡＩカメラは、ピンホールを通過する光の回折効果を受ける。ピンホールでは、これらの回折効果は、一般的に「エアリー円盤」として公知の点光源投影パターンを作り出す。エアリー円盤の１次ローブは、所定のピンホールカメラの投影から最小の解像可能なスポットサイズをほぼ形成する。ピンホールからセンサまでの所定の距離においては、ピンホールの大きさが減少する時にエアリー円盤の大きさが増大する。幾何学的観点から、ピンホールカメラからの画像の解像度（すなわち、最小の点光源投影のスポットサイズ）もまた、ピンホールが小さくなる時に増大する。従って、ピンホールからセンサまでのあらゆる所定の距離に対して、点光源投影のスポットサイズがエアリー円盤の第１のローブの大きさと等しくなる最適のピンホールの大きさがある。ピンホールが、この最適サイズよりも小さく作られた場合、エアリー円盤の大きさが増大するために解像度は低下する。ピンホールがこの最適サイズよりも大きく作られた場合、点光源投影のスポットサイズが増大するために解像度は低下する。ピンホールカメラの解像度の特徴付けは主観的であるために、最適のピンホール直径を計算するために、様々な公式が提案されてきた。このような公式の１つが、Ａ＝ＳＱＲＴ（５５Ｆ）であり、ここで、Ａは、１０００分の１インチ単位のピンホール直径、Ｆは、インチ単位のカメラの焦点距離、及びＳＱＲＴ（）は、平方根関数である。

ピンホールカメラの実現可能な解像度は、カメラの焦点距離が増大する時に増大することに注意されたい。残念ながら、カメラの物理的大きさは、一般的に焦点距離に比例して増大し、その結果、高解像度のピンホール画像には、非常に大きいカメラが必要になる。例えば（公式Ａ＝ＳＱＲＴ（５５Ｆ）を用いて）、１”の焦点距離（すなわち、１”の厚み）のピンホールカメラの最適なピンホールサイズは、約０．００７”である。約５３°の「通常の」視角に対して、これは、約１３４．８ピクセルの対角寸法、又は約９５×９５ピクセルの解像度画像になる。１０”の焦点距離（すなわち、１０”の厚み）ピンホールカメラの最適なピンホールサイズは、約０．０２３”である。５３°の視角を用いて、これは、約４２６．４の対角解像度、又は約３０１×３０１の解像度画像になる。（様々な撮影者が、ピンホールカメラの解像可能な解像度を評価する際に、様々な主観的な基準を使用することになることに注意されたい。本明細書で計算する解像度は、解像可能な解像度の１つの解釈に基づいている。他の解釈は、より高いか又はより低い解像度の評価を導くであろうが、通常は、本明細書に示す数字の２倍の範囲以内で高く又は低くなることになる。）

ピンホールカメラのように、可視光ＣＡＩカメラも、解像度／サイズの妥協点をもたらす場合がある回折効果を受ける。開口パターンが複雑であるために、回折パターンは、ピンホールの回折パターンよりも複雑であり、従って、画像解像度及び／又はカメラサイズ要件への影響を判断することは、より複雑である。しかし、ＣＡＩ画像のピクセル解像度は、開口アレイの次数よりも高くならない可能性があるので、高解像度の画像を獲得するには、低次の開口アレイよりも潜在的に悪い回折効果を示す可能性がある高次の開口アレイを利用するか、又は代替的に、これらの回折効果を緩和するために、より長い焦点距離（及び、結果としてより大きいカメラサイズ）を要求することが必要である。

デジタルカメラのレンズシステムの性能を改善する別の手法は、プレノプティックカメラである。プレノプティックカメラの基本概念は、米国特許第５，０７６，６８７号に説明されている。「プレノプティック」という言葉は、この特許には使用されていないが、この特許で参照される装置は、その発明者によりこのカメラについて説明したウェブページ：ｈｔｔｐ：／／ｗｗｗ−ｂｃｓ．ｍｉｔ．ｅｄｕ／ｐｅｏｐｌｅ／ｊｙａｗａｎｇ／ｄｅｍｏｓ／ｐｌｅｎｏｐｔｉｃ／ｐｌｅｎｏｐｔｉｃ．ｈｔｍｌで「プレノプティックカメラ」と呼ばれている。２００５年には、スタンフォード大学の研究者が、従来のｆ／２２レンズのＤＯＦを達成しながら、ｆ／４レンズで集められると考えられる同等な光を光景から取り込むプレノプティックカメラ実装の応用を説明した論文（「Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ」、ＣＴＳＲ２００５−０２）を公開した。残念ながら、この集光機能の増加は、画像解像度の理論上線形の犠牲で達成される。このチームにより構成された試作品は、理論上の解像度の損失を越えて約２倍の損失をもたらし、従って、４０００×４０００ピクセルのセンサを用いて、彼らは、ｆ／４の光取込でｆ／２２のＤＯＦを示す僅か２９６×２９６の画像を再構成することしかできなかった（すなわち、１６メガピクセルのセンサが、９０キロピクセルの画像を生成した）。このようなシステムは、ある一定の特定用途には有用かもしれないが、センサ解像度の非常に大きい損失は、このようなシステムを一般の写真用途に対して優位性のないものにする可能性が高いと思われる。

米国特許出願第１１／０３９，０２９号 米国特許仮出願第６０／７０１，４３５号 米国特許出願第６，７３７，６５２号 米国特許第５，０７６，６８７号 Ｒ．Ｈ．ＤＩＣＫＥ著「Ｘ線及びガンマ線のための散乱孔カメラ」、「ＡＳＴＲＯＨＹＳ．Ｊ．」、１５３：Ｌ１０１−Ｌ１０６、１９６８年 Ｅ．Ｅ．Ｆｅｎｉｍｏｒｅ及びＴ．Ｍ．Ｃａｎｎｏｎ著「均一冗長アレイによる符号化開口結像法」、「Ａｐｐｌ．Ｏｐｔ．」、１７：３３７−３４７、１９７８年 Ｊ．Ｇｕｎｓｏｎ及びＢ．Ｐｏｌｙｃｈｒｏｎｏｐｕｌｏｓ著「ロケット用途のための符号化マスクＸ線望遠鏡の最適設計」、「ＭＯＮ．ＮＯＴ．Ｒ．ＡＳＴＲＯＮ．ＳＯＣ．」、１７７：４８５−４９７、１９７６年 Ｓ．Ｒ．Ｇｏｔｔｅｓｍａｎ及びＥ．Ｅ．Ｆｅｎｉｍｏｒｅ著「符号化開口結像法のための新しいバイナリアレイ群」、「ＡＰＰＬ．ＯＰＴ．」、２８：４３４４−４３５２、１９８９年 Ａ．Ｂｕｓｂｏｏｍ著「ＡＲＲＡＹＳ ＵＮＤ ＲＥＫＯＮＳＴＲＵＫＴＩＯＮＳＡＬＧＯＲＩＴＨＭＥＮ ＦＵＥＲ ＢＩＬＤＧＥＢＥＮＤＥ ＳＹＳＴＥＭＥ ＭＩＴ ＣＯＤＩＥＲＴＥＲ ＡＰＥＲＴＵＲ」、「ＶＤＩ ＶＥＲＬＡＧ」、ＤＵＥＳＳＥＬＤＯＲＦ、１９９９年、ＩＳＢＮ３−１８−３５７２１０−９ Ｂ．Ｈｅｎｄｒｉｋｓ及びＳｔｅｉｎ Ｋｕｉｐｅｒ著「レンズを通してはっきりと」、「ＩＥＥＥ ＳＰＥＣＴＲＵＭ」、１２月、２００４年 論文、「Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ」、ＣＴＳＲ２００５−０２ ウェブページ：ｈｔｔｐ：／／ｗｗｗ−ｂｃｓ．ｍｉｔ．ｅｄｕ／ｐｅｏｐｌｅ／ｊｙａｗａｎｇ／ｄｅｍｏｓ／ｐｌｅｎｏｐｔｉｃ／ｐｌｅｎｏｐｔｉｃ．ｈｔｍｌ ウェブページ：ｈｔｔｐ：／／ｗｗｗ．ｄｏｆｍａｓｔｅｒ．ｃｏｍ／ｄｏｆｊｓ．ｈｔｍｌ

画像を取り込むための装置及び方法について説明する。一実施形態では、装置は、符号化パターンに配置された複数のレンズを含み、かつレンズを含まないアレイ要素を不透明材料が塞いだ符号化レンズアレイと、符号化レンズアレイに接続され、かつ符号化レンズアレイの背後の特定の距離に位置決めされた光感応半導体センサとを含み、光感応センサは、符号化レンズアレイのレンズを透過した光を感知するように構成されている。

本発明は、図面と関連した次の詳細説明からより良く理解することができる。

符号化レンズ撮像技術を使用して静止画像及び映像を取り込むシステム及び方法について以下に説明する。説明では、説明の目的で、本発明を十分に理解するために多くの特定の詳細を示している。しかし、本発明は、これら特定の詳細の一部がなくても実行することができることは、当業者には明らかであろう。他の例では、公知の構造及び装置をブロック図の形態で示し、本発明の根本的な原理が曖昧にならないようにする。

カメラシステムの構成
本発明の一実施形態により、読み出し電子機器とディスプレイとを含むシングルショット画像又は連続（例えば、ビデオ）画像のための可視光符号化レンズアレイカメラを図５に示している。図示の実施形態は、光感応グレースケール又はカラー半導体センサ５０４の前に配置された符号化レンズアレイ５０１を含む。符号化レンズアレイ５０１は、円形、正方形、六角形、又は矩形のパターン（又は、平面にタイル張りされることが可能なあらゆるパターン）の開口であり、その一部は、可視光を通し（すなわち、「開放」）（例えば、要素５０３）、その一部は、可視光を通さないものである（すなわち、「閉鎖」）（例えば、要素５０３）。５０２のような各開放開口は、５０８のようなレンズで覆われ（又はレンズを含み）、事実上開放開口を通過する光の全てがレンズを通過するようになっている。典型的な符号化レンズアレイは、約５０％の各々レンズが付いた透明な開口を有する。図示の符号化レンズアレイパターンは、透明開口の不透明開口に対する比が４／５であるＭＵＲＡ次数３である。２次元又は３次元の光景５００（周囲又は人工照明で照らされることが可能）からの可視光は、符号化開口アレイ５０１のレンズ及び開放開口を通って画像センサ５０４上に投射される。（このカメラは、センサ上に投影されたＦＯＶを完全符号化ＦＯＶに限定することができる。この完全符号化ＦＯＶの重なり合う投影の光の寄与は、図６の説明図６２０に示されている。）一実施形態では、これは、自動平行化符号化レンズアレイ５０１を使用することにより達成される（自動平行化は、符号化レンズアレイ５０１の背後のバッフル５１７により達成され、これについては以下に説明する）。符号化レンズアレイとセンサの間の空間は、遮光ハウジング５１６（その概略図のみを図５に示す）で覆われ、符号化レンズアレイ５０１のレンズ及び開放開口を通過する以外の光がセンサに到達しないようにする。

カメラは、更に、画像センサ５０４へのインタフェース５０９を有する画像センサ読み出しサブシステム５１０を含む。読み出しサブシステムは、画像センサ５０４からのアナログ画像信号を刻時して出力し、特定の画像センサに必要とされるようにバファリング、増幅、及び／又はフィルタリングを行う。Ａ／Ｄ５２０も組み込んだ読み出しサブシステム５１０の一例は、カリフォルニア州サニーベール所在の「Ｎｕｃｏｒｅ Ｔｅｃｈｎｏｌｏｇｙ、Ｉｎｃ．」製「ＮＤＸ−１２６０ＣｌｅａｎＣａｐｔｕｒｅ画像処理プロセッサ」である。読み出しサブシステム５１０によって読み取られたアナログのピクセル値に対してゼロオフセット５１２及び利得５１１を調節する機能は（例えば、少なくとも１つの演算増幅器（オペアンプ）を用いて）、取り込まれた画像のダイナミックレンジを増大させるが、画像センサが、ゼロオフセット及び利得調節なしで望ましい画質に十分なダイナミックレンジを有する場合は、必ずしも重要ではない。

一実施形態では、読み出しサブシステム５１０の出力は、アナログ出力をデジタル化する少なくとも１つのアナログ−デジタル変換器（Ａ／Ｄ）５２０にインタフェース５１３を通じて接続される。Ａ／Ｄの出力は、インタフェース５２１により、一実施形態では「デジタル信号プロセッサ（ＤＳＰ）」５３２及び「ランダムアクセスメモリ（ＲＡＭ）」５３１を内蔵している画像再構成プロセッサ５３０に接続される。インタフェース５２１からのデジタル画像は、ＲＡＭ５３１に記憶され、ＤＳＰ５３２は、元の光景５００をグレースケール又はカラー画像に再構成するようにこの画像を後処理する。別の実施形態により、画像再構成プロセッサ５３０は、例えば、インテル・コーポレーション製「Ｐｅｎｔｉｕｍ ４（登録商標）」のような汎用ＣＰＵ又は同様の汎用プロセッサを内蔵している。更に別の実施形態では、画像再構成プロセッサ５３０は、専用のデジタル構造において再構成処理の一部又は全部を行う「特定用途向け集積回路（ＡＳＩＣ）」を内蔵している。再構成プロセッサ５３０によって再構成されたこのグレースケール又はカラー画像は、インタフェース５３３を通じて出力されて表示装置５４０に表示される。

図６は、図５に示す可視光の符号化レンズアレイカメラの一実施形態を示している。ＭＵＲＡ次数３（ＭＵＲＡ３）レンズアレイ６０１は、開放開口６０２のような開放開口と閉鎖開口６０３のような閉鎖開口２０とを含む。６０２のような各開放開口は、１つのレンズを含む。図示の実施形態では、レンズは円形であるが、別の実施形態では、レンズは、開放開口６０２の区域を完全に占める他の形状（例えば、正方形又は六角形）とすることができる。しかし、この実施形態では、レンズ６０８の形状に関わらず、レンズ６０８で塞がれていない開放開口６０２の残りの区域は、不透明又はほぼ不透明でなければならない。カラー又はグレースケールセンサ６０４は、説明図６１０に示すように、ＭＵＲＡ３開口アレイ６０１の１象限（すなわち、１つの３×３の開口ブロック）であり、この実施形態では、ＭＵＲＡ３開口アレイ６０１に対して中心に位置決めされている。（説明図６１０は、ＭＵＲＡ３レンズアレイ６０１の背後のセンサ６０４の設置位置を、レンズの形状を示す円を通してそれを示すことにより示している。単に説明のためにこのようにしたが、観察者がレンズを通して見る場合には、レンズの屈折の影響により実際のシステムの目視検査で見えるものは、こうではない場合がある。）

図６の正投影図６２０は、カメラの構造のより多くを明らかにしている。バッフル（「ＣＡＩ用途」では「コリメータ」と呼ぶ）６１７は、開放開口６０２及びレンズ６０８のようなレンズ及び開放開口を通過する光を平行にする働きをする。これは、カラー又はグレースケールセンサ６０４上への各開口の投影のＦＯＶを制限する。閉鎖開口６０３のような閉鎖開口は、不透明なカバーで覆われ、光が通過できないようになっている。センサ６０４は、開放開口の各々からの重なり合う投影の空間を与えるようにＭＵＲＡ３開口アレイ６１１及びバッフル６１７から離されている。ユニット全体は、説明のために透明な状態で示す遮光カメラ本体６１６の中に入っている。

図７は、光がＭＵＲＡ３符号化レンズアレイ７０１から投影される方法を示している。説明図７００は、例示的な開放開口及びレンズ７０２と閉鎖開口７０３とを有するＭＵＲＡ３符号化レンズアレイ７０１を示している。符号化レンズアレイ７０１の背後に位置決めされるカラー又はグレースケールセンサ７０４の位置は、点線で示している。レンズ７０５は、破線で描かれている。レンズ７０５を通過した光は、グレーの正方形７０６として示したセンサ面上の正方形区域の上に投影する。開口アレイ７０１は、説明図７００では投影の上に重なるように示されているために、投影７０６の大部分が閉鎖開口により遮られていることに注意されたい。それにも関わらず、投影７０６の周囲は、グレーの実線で示されて見ることができる。

この実施形態では、投影７０６は、レンズ７０５を囲む開放開口の正方形の約９倍の大きさでレンズ７０５上に中心がある正方形である。センサ７０４が開口アレイにどのくらい近いか又は離れているかにより、この投影は、より広いＦＯＶ又はより狭いＦＯＶに対応することができる。開口７０５の周りのバッフル（この説明図には示していないが、図６では、バッフル６１７として見ることができる）は、この実施形態では、投影７０６の範囲をレンズ７０５の大きさの約９倍までに限定するために使用されている。

この実施形態では、投影７０６の区域のごく僅かな割合がセンサ７０４に重なっていることに注意されたい。この重なりの一部は、開放開口７０９のレンズから見え（図では見えるが、物理的には必ずしも見えない）、その一部は、閉鎖開口７０８及び開放開口７０９のレンズを囲む区域によって遮られている（説明的に）。

説明図７１０は、開口アレイ７０１の右上の象限からの４つの投影を重ね合わせたものを示している。（分かりやすくするために、説明図７１０及び７２０では、ＭＵＲＡ３符号化開口アレイ７０１のみを示している。）右上象限にある開放開口７１５の４つのレンズは、破線で描かれている。これら４つのレンズからの４つの投影７１６は、重なり合うグレー区域として示されている。説明図７００に示す投影７０６のような各投影は、そのレンズを囲む開放開口の正方形の約９倍の大きさの正方形であり、そのレンズに中心があり、グレーの実線で描かれている。センサ面の各区域の重なり合う投影の数を示すために、各区域は、様々な階調のグレースケールで埋められている。最も明るいグレーは１つの投影を示し、次に暗いものは、２つの投影の重なりを示し、次に暗いものは、３つの投影の重なりを示し、最も暗いものは、４つの投影の重なりを示している。

説明図７２０は、開口アレイ７０１全体からの１６の投影全ての重なりを示している。全ての開放開口７２５の１６のレンズは、破線で描かれている。説明図７００に示す投影７０６のような各投影は、そのレンズを囲む開放開口の正方形の約９倍の大きさの正方形であり、そのレンズに中心があり、グレーの実線で描かれている。センサ面の各区域の重なり合った投影の数を示すために、前の段落で説明したように、グレースケールの階調を変えることを利用する。この実施形態では、センサ７０４の各区域は、４つの重なり合った投影で覆われて示されていることに注意されたい。実際には、センサ区域の大部分にわたって４つの重なり合った投影が存在することになるというのは正しいが、許容誤差の変化、回折効果、レンズ収差、及び観測される光景にある被写体までの変動する距離のために、図７２０のグレーの実線で示す投影の境界付近の重なり合う投影は、より少ないか又はより多い場合がある。

また、ＭＵＲＡ３符号化レンズアレイ７０１に当たる光の大部分は、センサ７０４の縁部を超えて投影され、その結果、この光は再構成に使用されないことにも注意されたい。ＭＵＲＡ３符号化レンズアレイ７０１の最右列の区域を無視する場合（この列にある全ての開口は閉じているために、それは、カメラへのいかなる光にも寄与せず、画像の再構成に影響を与えることなく装置から取り除くことができる）、ＭＵＲＡ３開口アレイ７０１の残りの区域に当たる光の約１０．２％（この実施形態では円形レンズを使用しているためであり、代替的な実施形態で正方形のレンズを使用した場合、この数字は、約１３％になる）が実際にセンサ７０４に投影される。従来のｆ／３．１単レンズは、レンズに当たる光の約１０．２％を通し、従って、このＭＵＲＡ３符号化開口アレイカメラの１０．２％の光透過性能は、従来のｆ／３．１レンズに同等のものとして見ることができる。

一般的に、ｆ／３．１は、写真用レンズには優れた光透過性能であり、従って、最後の数段落でのＭＵＲＡ３符号化レンズアレイカメラの説明は、潜在的に望ましい特性を有するカメラの特徴を説明したものである。再構成において３×３ピクセルの解像度に限定されている図３及び４に示すようなＭＵＲＡ３符号化開口アレイカメラと違い、図５、６、及び７に示すＭＵＲＡ３符号化レンズアレイカメラは、少なくともＭＵＲＡ３符号化レンズアレイのレンズの各々の回折限界近くまで画像を再構成することができる。例えば、３６ｍｍの焦点距離及び５３度のＦＯＶを有する１２ｍｍのレンズの場合、回折限界内で２０００×２０００の解像度（４メガピクセル）が達成することができる。

先に示す例は、符号化レンズアレイの大きさとして１象限の大きさ（すなわち、各方向の２分の１の大きさ）にほぼ等しいとしてセンサの大きさを示している。これは、典型的な構成であるが、一実施形態では、センサの寸法は、符号化レンズアレイの大きさとは無関係であり、ただし、システムは、センサが符号化レンズアレイの１象限の大きさに一致し、かつ本明細書で説明した符号化レンズカメラ構成のような適切な間隔及び焦点距離を有したとすれば投影されたであろうパターンと同等なパターンを符号化レンズアレイがセンサ上に投影するような方法で構成される。言い換えれば、本明細書に説明した技術を使用した画像の再構成は、センサに対する符号化レンズアレイの特定の構成にではなく、センサ上に投影された光景の画像の重なり合うパターンの構成に依存し、本明細書に説明したものとは異なる符号化レンズアレイの構成がセンサに同様の重なり合うパターンをもたらすことができる場合には、画像の再構成は同じになる。例えば、ＭＵＲＡ３パターンの望遠レンズをセンサから遠くに配置するが、各々の光路はセンサ上に投影されるパターンが図７に示すパターンと同じになるような角度に合わせられる場合、画像は、同じく正しく再構成することができる。

図５に示すシステムの一実施形態により、再構成プロセッサからの結果として生じる出力５３３は、カメラのＦＯＶ内の光景を表すグレースケール又はカラーピクセルの２次元アレイである。一実施形態では、ピクセルデータは、デジタル変換器を通ってコンピュータ（又は他の画像処理装置）へ転送される。従って、符号化開口カメラの出力は、付属装置には従来のデジタルカメラの出力であるように見える。再構成画像データを転送するデジタルインタフェースは、例えば、「ＩＥＥＥ １３９４」（ＦｉｒｅＷｉｒｅ）インタフェース又は「ＵＳＢ ２．０」インタフェース（これは、現在のスチールカメラ及びビデオカメラの用途に適する）のような必要とされる用途のためにカメラからの帯域幅を処理することができるデジタルインタフェースであればよい。勿論、本発明の基本原理は、いかなる特定のデジタルインタフェースにも限定されない。カメラは、再構成画像を撮影者に見せるディスプレイ５４０（例えば、ＬＣＤ又はＯＬＥＤディスプレイ）を含むことが好ましいが、この実施形態では、表示装置５４０及びインタフェース５３３は任意的である。

一実施形態によると、カメラは、再構成プロセッサ５３０を含まない。代替的に、Ａ／Ｄ変換器５２０からのデジタル化された画像データは、インタフェース５２１を通じて出力バッファに結合され、ここで画像データは、デジタルインタフェースを通じて出力されるようにパケット化され、フォーマット設定される。デジタルインタフェースは、典型的にパーソナルコンピュータのような外部コンピュータ手段に接続され、直ちに処理されて再構成されるか、又は大容量記憶媒体（例えば、磁気又は光ディスク、半導体メモリなど）に記憶されて後で処理及び再構成される。外部コンピュータ装置は、再構成画像を撮影者に見せるディスプレイを有することが好ましい。代替的に又はそれに加えて、デジタルインタフェースは、大容量記憶媒体（例えば、磁気又は光ディスク、半導体メモリなど）に直接接続される。再構成画像データを転送するデジタルインタフェースは、必要とされる用途のためにカメラからの帯域幅を処理することができるデジタルインタフェース（例えば、「ＩＥＥＥ １３９４」（ＦｉｒｅＷｉｒｅ）インタフェース又は「ＵＳＢ ２．０」インタフェース）であればよい。

符号化レンズアレイパターン構成
本発明の一実施形態によれば、符号化レンズアレイ５０１は、「修正均一冗長アレイ（ＭＵＲＡ）」パターンである。本発明の別の実施形態によれば、符号化レンズアレイ５０１は、「完全バイナリアレイ（ＰＢＡ）」パターンである。本発明の別の実施形態によれば、符号化レンズアレイ５０１は、「均一冗長アレイ（ＵＲＡ）パターンである。また、本発明の更に別の実施形態によれば、符号化レンズアレイ５０１は、ランダムパターンである（ただし、一般的に、ランダムパターンでは、装置の性能は、ＭＵＲＡ、ＰＢＡ、又はＵＲＡの場合ほど最適ではない）。典型的に、基本の開口パターンは、センサと同じ大きさであり、符号化レンズアレイ全体は、この基本の開口パターンの２×２のモザイクになる。アレイの各透明開口は、レンズを含む。３つの例示的なＭＵＲＡパターン及び１つのＰＢＡパターンを図２に示している。ＭＵＲＡ１０１は、１０１×１０１の要素のパターンであり、ＭＵＲＡ６１は、６１×６１の要素のパターンであり、ＭＵＲＡ３１は、３１×３１の要素のパターンである。ＰＢＡ８は、８×８の要素のパターンであり、ＰＢＡ２４は、２４×２４の要素のパターンである。ＰＢＡパターンは、ＭＵＲＡパターンに比べて拡大して示している。各パターンでは、各黒い区域が不透明であり、各白い区域が透明であって（開放）レンズを含む。

符号化レンズアレイの製造
一実施形態では、符号化開口は、スイスの「Ｓｕｓｓ Ｍｉｃｒｏ−ｏｐｔｉｃｓ ｏｆ Ｎｅｕｃｈａｔｅｌ」が製造するようなマイクロレンズアレイから成る。マイクロレンズアレイは、典型的に直線又は六角形の格子で製造された典型的に平凸レンズのアレイである。一実施形態では、マイクロレンズアレイは、レンズを格子の各位置に備える符号化レンズアレイに使用されるが、「閉鎖」開口位置にあるこれらのレンズは、不透明の塗料を塗装されるか、又は「閉鎖」開口位置に不透明材料が平板印刷で被覆されるであろう。

別の実施形態では、マイクロレンズアレイは、符号化レンズアレイの「開放」開口の位置のレンズのみで製造される。符号化レンズアレイの「閉鎖」開口位置は、不透明塗料を塗装されるか、又は不透明材料が「閉鎖」開口位置に平板印刷で被覆されるであろう。

バッフル、カメラのＦＯＶ、及び光減衰
本発明により、符号化レンズアレイとセンサ面の間の距離は、個々のレンズの投影の各々について焦点が合うように選択される。無限遠にある被写体を撮像するには、センサ面は、レンズの焦点面に配置される。有限距離にある被写体を撮像するには、センサ面はレンズの焦点面よりも僅かに後ろに配置され、望ましい距離で焦点を合わせる。符号化開口結像の場合と異なり、符号化レンズアレイとセンサ面の間の距離は、従って、任意に選択されてはならず、焦点距離、結像面からセンサ面までの距離、及び結像される被写体の距離の間の制約は守られるべきである。

このカメラの一実施形態は、ＦＯＶ（ＦＯＶ）を完全符号化ＦＯＶ（ＦＣＦＯＶ）に限定する技術を用いる。代替的に、ＦＯＶを限定する技術は、ＦＯＶがＦＣＦＯＶよりも僅かに大きくなるような、すなわち、ＦＯＶがＦＣＦＯＶに部分符号化ＦＯＶ（ＰＣＦＯＶ）の小部分を加えて構成されるような寸法にすることができる。このようにして、符号化レンズカメラのＦＯＶは、画質の非常に軽微な劣化だけを犠牲にして増大することができる。

一実施形態によれば、ＦＯＶの限定は、光線が符号化レンズアレイを通過してセンサに到達することができる最大角度を限定するためにレンズの前又は背部にバッフルを配置することにより達成される。

バッフルの長さにより、ＦＯＶの大きさが判断されることに注意されたい。バッフルが長くなる時に、符号化レンズカメラのＦＯＶは狭くなる。

図８は、ＭＵＲＡ３符号化レンズカメラのレンズの各々の投影されたＦＯＶの側面図を示している。この例では、バッフル８０１は、レンズ８０２の背部、すなわち、センサ８０４に面したレンズの側に配置される。しかし、バッフルは、レンズの前、すなわち、光景に面したレンズの側に配置することも可能であることに注意すべきである。

しかし、バッフルをレンズの背部に配置することは、このレンズシステムの射出瞳８０３がセンサ面の方へより近く移動されるという利点を有する。このように、各レンズにより起こる回折パターンの大きさは縮小され、それによって撮像システム全体の実現可能な解像度が増大する。

更に、図８は、レンズの縁部を通過して反対側のバッフルの縁部の側ぎりぎりを通る周囲光線８０５によって各レンズのＦＯＶが判断される方法を示している。ｌは、バッフルの長さを示し（図８では、ｌ＝１８ｍｍ）、更に、ｄは、単レンズの直径を示している。この時、図８から分るように、視野角αは、以下のように与えられる。
ｔａｎα／２＝ｄ／ｌ、又は
α＝２ａｔａｎ（ｄ／ｌ）

ｄ＝１２ｍｍ及びｌ＝１８ｍｍである図８に示す例では、視野角α＝６７．３８°という結果になる。

図８の右側の説明図８１０は、個々のレンズにより生じる投影がセンサ面で重なる方法を示している。各レンズは、同じ視野角を有する。しかし、レンズが互いに変位しているために、有限距離の被写体には視差が生じる。従って、全体的な撮像システムの視野は、個々のレンズの視野とほぼ同じであるが、有限距離の被写体については、この視差の影響により僅かに大きくなる場合がある。

図８は、レンズが揃った列を示していることに注意すべきである。しかし、符号化レンズ撮像システムでは、各列の位置の一部は、いかなるレンズも含まずに塞がれることになる。図は、説明のために、レンズが揃った列を示しているに過ぎない。符号化レンズアレイのレンズの様々な列は、様々な位置にレンズを含む。一般的に、各位置は、少なくとも１つの列にレンズを含むために、視野全体は、図８に示すようになる可能性がある。

バッフルを使用すると、光軸と並行に符号化レンズアレイを通過する光が減衰されない。しかし、光軸に対してある角度をなして符号化レンズアレイを通過する光は、バッフルにより一部遮られる。

その結果、符号化レンズカメラで光景を撮像して再構成した後は、カメラの感度は、バッフルの減衰により、ＦＯＶの縁部（光軸に対してよりも大きい角度）よりもＦＯＶの中心（光軸と並行な光）で高くなる。従って、一定の強度プロフィールの表面を撮像する場合、再構成は、画像の中心で明るく、縁部に向って徐々に暗くなる。従って、本発明の一実施形態では、再構成画像の各ピクセルに、ピクセルが受けたバッフルの減衰の逆数を掛けることにより、バッフルの減衰を補正する。バッフルの減衰は、レンズとバッフルの配置から公知である。このようにして、ノイズがない場合には、一定の強度プロフィールの表面は、一定の強度プロフィールの画像に再構成される。

しかし、バッフルの減衰を逆転させることは、再構成の中のノイズを信号と同じ率で増幅させることにもなることに注意すべきである。従って、再構成画像のＳＮ比（ＳＮＲ）は、画像の中心で最も高く、画像の縁部に向って減少し、ＦＯＶの縁部でゼロの値になる。

本発明の一実施形態により、この問題は、再構成画像の中心領域のみを使用し、再構成画像の周囲部を捨てることにより緩和される。別の実施形態により、この問題は、更に、再構成画像の周囲部の画像データにノイズ低減平滑化フィルタを利用することにより緩和される。

文献から、ウィーナーフィルタは、ウィーナーフィルタに対する入力信号のＳＮ比が既知であることを考えると、最適なノイズ低減平滑化フィルタであることが公知である。符号化レンズカメラの再構成画像では、ＳＮ比は、画像の全域で変化する。ＳＮＲは、再構成画像の各ピクセル又は各領域に関して既知である。一実施形態により、ノイズ低減は、既知のＳＮＲ変化により再構成画像の各ピクセル又は各領域によって変化するフィルタの特性と共に、局所的なウィーナーフィルタリング演算を利用することにより行われる。

符号化レンズアレイのＤＯＦ
全ての光景の被写体の距離で焦点が合った画像を投影する符号化開口カメラとは違い、符号化レンズカメラは、符号化レンズアレイのレンズの焦点の制限を受ける。一般的に、従来の単レンズカメラでは、カメラの被写界深度（ＤＯＦ）（すなわち、近い焦点から遠い焦点までの範囲）は、カメラの集光機能に反比例する。これは、レンズの開口を狭めてセンサに達する光景からの光を低減することにより、典型的にＤＯＦが増大するからである。

符号化レンズカメラは、焦点の制限を有するが、従来の単レンズカメラに優る符号化レンズカメラの第１の利点は、ＤＯＦを増大させるために有効レンズ口径を狭める時、光景からセンサに到達する光の量が実質的に減少しないということである。

次のことを考慮する：すなわち、符号化レンズアレイは、典型的に、約５０％のレンズを備えた透明開口と、５０％の不透明開口とを有し、従って、典型的に光景からの光の５０％が、符号化レンズ開口を通過する。符号化レンズアレイの重なり合う投影は、一般的にセンサ区域の４倍の区域の上に投影し、従って、投影された光の約２５％がセンサに当たる。そこで、全体では、一般的に符号化レンズアレイに入射する光景からの光の２５％^*５０％＝１２．５％がセンサに到達する。（勿論、正方形のレンズの代わりに円形のレンズを使用すること、バッフル、レンズの欠陥、及び収差からの減衰により、より少ない光が通過する場合があり、また、所定の開口パターンが閉鎖開口よりも多くの開放開口を有することがあるために、よりも多くの光が通過する場合もあるが、幾何学的には、１２．５％は、５０％の開放開口を有する正方形の開口の平均的な光の透過を表し、符号化レンズシステムに関する合理的な概算である。）１２．５％の光透過率は、単レンズのｆ／２．８口径（１２．７％の光透過率を有する）とほぼ等しい。

典型的な単レンズシステムでは、ｆ／２．８口径は、非常に広い口径の設定である。５０ｍｍのレンズでは、ｆ／２．８は、１７．９ｍｍの口径に相当する。５０ｍｍレンズを備えた「Ｎｉｋｏｎ Ｄ１００」６メガピクセルカメラについて考える。２５’（２５フィート）の距離にある被写体にレンズの焦点を合わせる場合、近い焦点の限界は、約２１．３’であり、遠い焦点の限界は、約３０．２’である（全ＤＯＦは、３０．２’−２１．３’＝８．８２’）。（注：焦点の限界は、主観的なものであり、撮影者毎に変わるが、この段落で考える様々な状況には同じ基準を用いており、従って、結果は、互いに相対的なものと考えることができる。これらの計算は、ｈｔｔｐ：／／ｗｗｗ．ｄｏｆｍａｓｔｅｒ．ｃｏｍ／ｄｏｆｊｓ．ｈｔｍｌにある被写界深度オンライン計算器を用いて行った。）近い焦点よりも近いか又は遠い焦点よりも遠くの光景にある被写体は、鮮明さが減少することがある。８．８２’は、浅いＤＯＦであるが、ｆ／２．８設定は、光景からの光の約１２．７％を通す。

次に、５０ｍｍレンズを備えた同じ「Ｎｉｋｏｎ Ｄ１００」にｆ／１６の設定を考える。この時、口径は、僅かに３．１ｍｍであり、光景からの光の僅か０．４％がセンサに到達する。２５’の距離にある被写体にレンズの焦点を合わせる場合、近い焦点の限界は、約１３’、遠い焦点の限界は約８０５’である。従って、１３’から８０５’までの光景の中の全ての焦点が合う７９２’のＤＯＦになる。明らかに、これは、ｆ／２．８における８．８２’のＤＯＦからＤＯＦが著しく改善している。しかし、これは、光透過率を著しく犠牲にすることになり、ｆ／１６は、ｆ／２．８により透過される光の０．４％／１２．７％＝３％を通すにすぎず、従って、これは、非常に明るい光景に使用することしかできない。

同じ「Ｎｉｋｏｎ Ｄ１００」であるが、従来の５０ｍｍ単レンズを使用する代わりに５０ｍｍ四方のＰＢＡ８符号化レンズアレイを使用し、同じく２５’の距離にある被写体に焦点を合わせたものを考える。図２に示すＰＢＡ８パターンは、レンズをＰＢＡ８の各透明（すなわち、白色として示す）開口に配置して利用される。ＰＢＡ８は、１６×１６の開口アレイであり、この実施形態では各辺の長さが５０ｍｍであるために、各レンズの直径は、約３．１ｍｍになり、これは、ｆ／１６まで絞った従来の５０ｍｍ単レンズとほぼ同じ直径である。その結果、ＰＢＡ８符号化レンズアレイのＤＯＦは、ｆ／１６まで絞った従来の５０ｍｍレンズのＤＯＦと大体同じになる。しかし、符号化レンズアレイは光景からの光の約１２．５％を透過するために、光透過率は、ｆ／２．８と同様である。従って、この符号化レンズアレイの実施形態は、ｆ／２．８の従来のレンズの光透過率特性を備えたｆ／１６の従来のレンズに同等のＤＯＦを有する。

別の実施形態では、前の段落に説明した同じ符号化レンズアレイを「Ｎｉｋｏｎ Ｄ１００」カメラで使用するが、この符号化レンズアレイは、２５’ではなく２６’の距離にある被写体に焦点を合わせる。この場合、近い焦点の限界は、１２．９’であり、遠い焦点の限界は無限である。ある距離から無限までの全ての焦点が合うために、符号化レンズアレイは、焦点距離を「過焦点距離」に設定した「過焦点レンズ」として機能している。この構成は、光景の被写体の全てが少なくとも１２．９’離れている一定の用途に有用であり、次に、符号化レンズアレイのレンズは、固定焦点に設定することができ、調節する必要がない。光景の被写体が１２．９’よりも僅かに近い場合でも、それは、依然として有用に撮像することができることに注意されたい。それは、単に、最高の解像度では取り込まれことにならず、被写体が１２．９’よりも近づき続ける時に、次第にぼやけていく（すなわち、低解像度になる）。従って、１２．９’よりも近い被写体に対して高解像度を要求する用途では、符号化レンズアレイのレンズの焦点を合わせる手段が必要になることになる。

符号化レンズアレイの収差補正及び焦点合わせ
説明を分かりやすくするために、図の大部分に示す符号化レンズアレイは、各透明開口にただ１つのレンズ要素を有する。これは、一部の用途には十分であると考えられるが、幾何学歪み、コマ、及び色収差のような画像収差を補正するために複数のレンズ要素を使用することが好ましい用途もある。一世紀にわたってレンズ業界全体は、多要素レンズを設計することに専念してレンズの収差問題に対処してきたが、この従来技術の研究の莫大な文献については、本明細書で繰り返さない。あえて言うならば、一般的に、写真品質の撮像には、３つ又はそれ以上の要素が必要であり、更に、一般的に、カメラが固定焦点ではない場合は、焦点を合わせるために、これらの要素のうちの１つ又はそれよりも多くを光軸上で前後に移動させる必要がある。このような前後の動きは、レンズの一部又は全部を囲むカラーを回転させる回転機構によって行われることが多く、カラーは、次に、レンズ要素の１つ又はそれよりも多くを光軸にそって移動させるネジ山に係合する。

図１４は、３つの要素のレンズを備えた符号化レンズアレイの側面図を示している。図示のレンズ形状は、単に説明のためのものであり、実際のレンズ形状には、膨大な数の従来技術の写真レンズ設計を用い、かつ望ましい光学特性により変動する。各開口は、１つ又はそれよりも多くの同心円筒内のスタックにこのような３つのレンズを有する。バッフルは、投影のＦＯＶを限定するために、最後のレンズの背後でセンサの方へ張り出すであろう。各開口位置は、この図では、レンズのスタックを含んで示されていることに注意されたい。実際には、不透明開口は、レンズを含まないか、又は光を通過させないように覆われている。

図１５は、符号化レンズアレイ内の中心が中空になった歯車の配置を示し、各歯車は、レンズの周りを回転しているか（その位置が透明開口の場合）、又はレンズのない不透明開口の上で回転している。（説明のために、隣接する歯車の歯は、互いに接触していないが、実際には、これらは、通常互いに緊密に嵌っているであろう。）歯車１５０１は、手動で制御されるか、又は自動焦点機構により制御される電動機の軸に連結される。電動機が回転すると、歯車１５０１を回転させ、次に、この回転運動を符号化レンズアレイの全歯車に伝える。一例として、歯車１５０１が時計回りに回転する場合、これは、次に、歯車１５０２を反時計回りに回転させ、その後、歯車１５０３及び１５０４を共に時計回りに回転させ、次に、歯車１５０３及び１５０４が共に歯車１５０５を反時計回りに回転させる。この例を拡張すると、歯車１５０１の動きにより、各々の水平方向又は垂直方向にある次に続く歯車が反対方向に回転し、符号化レンズアレイ内の歯車の全てを回転させることが公知である。

図１６は、図１５に示す歯車システムを利用した３要素符号化レンズアレイの側面図を示している。説明のために、全てのレンズアレイ位置にレンズを付けて示している。実際には、不透明レンズアレイ位置にはレンズがなく、その開口は光を遮るように閉鎖されている。この実施形態では、各レンズアレイ位置には、２つの固定レンズ１６０１及び１６０２と、光軸に沿って前後に移動する１つのレンズ１６０３とを有する。

電動機１６２０は、手動又は自動焦点手段によって作動され、これが歯車１６２１を回転させ、次に、この歯車は、図１５で上述のように、図１６の歯車１６０４を含む符号化レンズアレイの他の歯車を移動させる。歯車１６０４は、中空シリンダ１６０５を回転させ、これが、次に、レンズ１６０３が入った中空シリンダ１６０６を移動させる。中空シリンダ１６０６は、光軸に沿って前後に（図１６では左右に）移動することができるような方法で中空シリンダ１６０５と連結されている。中空シリンダ１６０６は、その外面にネジ山１６０７を有し、このネジ山は、構造体１６０９に固定されたピン１６０８のようなピンを切れ込みで固定する。中空シリンダ１６０６が回転すると、ネジ山１６０７により、このシリンダは、光軸に沿って前後に移動する。

図１５で分るように、符号化レンズアレイ内の各次の歯車は、反対方向に回転する。その結果、レンズが入った各次の中空シリンダには、反対の傾斜のネジ山を付けられ、例えば、ねじ山１６１０は、ネジ山１６０７の反対の傾斜を有する。このようにして、レンズアレイの真ん中のレンズは、互いの歯車位置が反対方向に回転しているという事実にも関わらず、電動機１６２０が歯車１６２１を作動させると、全て同じ方向に動く。

この実施形態では、レンズアレイ機構を保持するこの同じ構造体１６０９は、レンズの背後に延びてバッフルを形成する。このような構造体１６０９は、アルミニウムのような金属、プラスチック、又は他の十分に頑丈であるが遮光性の材料で作ることができる。図１６は側面図を示すが、実際には、バッフルは、各透明開口の周囲を囲むボックスを形成し、センサ１６３０の上に投影する各レンズスタックからの投影のＦＯＶを限定する働きをすることに注意されたい。

センサピクセルの大きさ及びレンズの大きさ
センサピクセルの大きさと開口要素の大きさが典型的に同じ大きさになるように選択された符号化開口の撮像と異なり、符号化レンズの撮像では、個々のレンズは、センサピクセルの大きさよりも遥かに大きくすることができる。

一実施形態では、センサピクセルの大きさは、符号化レンズアレイの解像度と同じマグニチュードになるように選択される。この解像度は、個々のレンズの回折パターンに依存するということに注意すべきである。センサピクセルの大きさが回折パターンの大きさよりもかなり大きく選択された場合、撮像システムの解像度が無駄になる。他方では、センサピクセルの大きさが回折パターンの大きさよりもかなり小さく選択された場合、付加的な使用可能な情報は何も得られない。

レンズの大きさの選択に関しては、回折パターンと達成可能なＤＯＦとの兼ね合いがあることに注意すべきである。小さいレンズが選択される時に、回折パターンは、より大きく、ＤＯＦはより深くなる。しかし、特定の用途の解像度とＤＯＦとの最良の妥協点を獲得するために、レンズの大きさの選択に自由度があるということに注意することが重要である。しかし、符号化開口の撮像には、この自由度が存在しない。それどころか、符号化開口の撮像では、センサピクセルの大きさと開口要素の大きさとは、大体同じであるように強いられる。

カメラセンサ及びセンサ出力の調節
一実施形態によると、図５のセンサ５０４は、ＣＣＤセンサである。より具体的には、「バイエル」パターンの別名でも公知のカラーフィルタアレイ（ＣＦＡ）を使用するカラーＣＣＤセンサが、カラー撮像のために使用されている。ＣＦＡは、各センサのピクセルの前に配置された赤、緑、及び青色のフィルタのモザイクパターンであり、各センサのピクセルが、３つの色平面を読み取ることを可能にする（モノクロＣＣＤセンサに比べて減少した空間解像度で）。図９は、例示的なＲＧＢ「バイエルパターン」を示している。各ピクセルクラスター９００は、４ピクセル９０１〜９０４から成り、各ピクセル上に緑（Ｇ）、赤（Ｒ）、又は青（Ｂ）色のカラーフィルタを有する。「バイエル」パターンの各ピクセルクラスターは、２つの緑色のピクセル（９０１及び９０４）と、１つの赤色のピクセル（９０２）と、１つの青色のピクセル（９０３）とを有することに注意されたい。ピクセルクラスターは、一般的に、密に詰まってＣＦＡ全体を作り出すアレイ９０５になっている。しかし、本発明の基本原理は、「バイエル」パターンに限定されないことに注意すべきである。

代替的な実施形態では、多層カラー画像センサを使用する。カラーセンサは、画像センサの半導体材料の後続層が様々な周波数の光を吸収すると同時に、他の周波数の光を透過させるという事実を利用することにより、カラーフィルタなしで達成することができる。例えば、カリフォルニア州サンタクララの「Ｆｏｖｅｏｎ、Ｉｎｃ．」は、この多層構造を有する「Ｆｏｖｅｏｎ Ｘ３」画像センサを販売している。これは、図１０に示しており、図中、半導体層１００１は、青色に反応するピクセルのアレイであり、層１００２は、緑色に反応するピクセルのアレイであり、層１００３は、赤色に反応するピクセルである。信号は、これらの層から個々に読み取られ、様々な色平面を取り込むことができる。この方法は、色平面間に空間移動がないという利点を有する。例えば、ピクセル１０１１〜１０１３は、互いの上に直接付着しており、赤、緑、及び青の値は、これらの間で水平又は垂直の空間移動がない。

本発明の一実施形態によると、３つのＲＧＢ色平面の各々は、カラー画像センサ（ＣＦＡ又は多層）から読み取られ、個々に再構成される。一実施形態では、以下に詳細を説明する再構成アルゴリズムが、３つの色平面の各々に１つずつ使用され、再構成画像の３つの別々の色平面を生成する。これらは、その後１つのＲＧＢカラー画像に結合することができる。

図１１ａに示すように、画像センサ１１０１のアナログ出力信号は、デジタル画像の再構成及び後処理を可能にするためにアナログ−デジタル変換器（Ａ／Ｄ）によってデジタル化される。Ａ／Ｄ１１０４の最大のダイナミックレンジを有効に使用するために、センサの出力は、Ａ／Ｄに送り込まれる前にまずオペアンプ１１００により増幅される。オペアンプ１１００は、画像センサ１１０１の出力信号に一定のゼロオフセットｚ（１１０２）及び利得ｇ（１１０３）を適用する。Ａ／Ｄ１１０４への入力信号は、ｓを画像センサ１１０１の出力信号とすると、ｓ’＝ｇ（ｓ−ｚ）になる。一実施形態では、オフセット１１０２及び利得１１０３は、Ａ／Ｄの最大のダイナミックレンジを有効に使えるように、すなわち、可能な最低のセンサ信号値ｓ_minがゼロに相当し、可能な最高のセンサ信号値ｓ_maxが、Ａ／Ｄ１１０４が飽和状態になることなくＡ／Ｄの入力信号に許容された最大に相当するように選択される。

図１２は、得られたシステムの特性を表している。上述のように、光景のダイナミックレンジは、符号化レンズの撮像により圧縮され、従って、ゼロオフセット及び利得は、単レンズを用いる従来の撮像よりも高くなる場合があるということに注意されたい。一実施形態では、ゼロオフセット及び利得は、図１１ｂの流れ図に示す以下の組の作動に従って符号化レンズカメラにより最適な方法で自動的に選択される。

１１１０において、初期ゼロオフセットを可能な最大のゼロオフセットとして選択し、このゼロオフセットに対して比較的大きい初期ステップサイズを選択する。１１１１において、初期利得を可能な最大の利得として選択し、比較的大きい初期ステップサイズをその利得に対して選択する。

１１１２において、現在の設定を用いて画像を取得し、１１１３において、Ａ／Ｄ出力にゼロ値を有するピクセルがあるか否かを判断する。ゼロ値を有するピクセルがある場合には、１１１４において、現在のゼロオフセットから現在のゼロオフセットのステップサイズを差し引き、処理は、段階１１１２に戻る。

そうでなければ、ゼロ値を有するピクセルがない場合には、１１１５において、現在のゼロオフセットのステップサイズが最小限のステップサイズであるか否かを検査する。そうでない場合には、１１１６ａにおいて、可能な最大のゼロオフセットを超えないようにしながら、現在のゼロオフセットのステップサイズを現在のゼロオフセットに加える。現在のゼロオフセットのステップサイズは、その後、１１１６ｂにおいて縮小され（例えば、１０分割することにより）、処理は、１１１２に戻る。

そうでなければ、段階１１１７において、現在の設定を用いて画像を取得する。１１１８において、Ａ／Ｄ出力に最大出力値（例えば、８ビットのＡ／Ｄで２５５）を有するピクセルがあるか否かに関して判断を行う。最大値を有するピクセルがある場合には、現在の利得のステップサイズを１１１９において現在の利得から差し引き、処理は１１１７に戻る。

そうでなければ、１１２０において、現在の利得のステップサイズが最小限のステップサイズであるか否かに関して判断する。そうでない場合は、１１２１ａにおいて、可能な最大の利得を超えないようにしながら、現在の利得のステップサイズを現在の利得に加える。現在の利得のステップサイズは、次に、１１２１ｂにおいて縮小され（例えば、１０分割することにより）、処理は、１１１７に戻る。そうでなければ、処理は、現在のゼロオフセット及び利得の設定で終了する。

再構成アルゴリズムを利用する前に、ゼロオフセット及び利得の影響を逆転させるべきである。一実施形態では、これは、Ａ／Ｄ出力信号ｓ”から補正センサ信号ｓ^*をデジタル処理で計算することにより行われ、ここで、ｓ”は、Ａ／Ｄの入力信号ｓ’に対するＡ／Ｄの出力であり、ｓ^*＝ｓ”／ｇ＋ｚである。オペアンプ１１００にノイズがなく、量子化誤差がない場合には、ｓ^*は、元のアナログセンサの出力信号ｓに等しくなるということに注意されたい。

符号化レンズの撮像では、各センサのピクセルは、光景の別々のピクセルから発せられ、符号化レンズアレイ内の別々のレンズを通ってセンサのピクセルに到達した光に露出される。符号化レンズの撮像に使用される再構成アルゴリズムは、センサ画像が、各個々のレンズがセンサ上に投影した全てのセンサ画像の線形和であると仮定する。従って、一実施形態では、センサの出力信号ｓは、露光時間中に各センサのピクセルに当たる光子の数ｐの正確に線形関数である。各センサのピクセルの実際の光子の数からセンサの出力信号の従属関係を説明する関数は、「伝達特性」と呼ばれている。ＣＣＤ画像センサは、広範囲の強度で線形の伝達特性を有し、一方、ＣＭＯＳ画像センサは、対数の伝達特性を有する。典型的なＣＭＯＳ及びＣＣＤ画像センサの伝達特性を示すグラフを図１３に示している。センサの伝達特性ｓ＝ｆ（ｐ）が分ると、ルックアップテーブルによってこれを補うことができる。すなわち、ＬＵＴがセンサの伝達特性の非線形作用を補うルックアップテーブルである時、再構成に値ｓ^*を使用する代わりに、値ＬＵＴ（ｓ^*）＝ＬＵＴ（ｓ”／ｇ＋ｚ）を使用する。上述の演算を完了した状態で、調節されたセンサ画像は、画像再構成のためにカメラのＤＳＰ、ＡＳＩＣ、又は他のタイプの画像再構成プロセッサ５３０に保存される。

符号化レンズの写真撮影では、センサ信号のダイナミックレンジは、撮像される光景のダイナミックレンジとは異なる場合があることに注意すべきである。各センサのピクセルがＦＯＶにわたって複数の光景のピクセルに露出されているために、符号化レンズアレイは、強度プロフィールの範囲に平均的影響を与える。高ダイナミックレンジを有する光景（例えば、暗い前景の被写体と明るい背景の被写体）でも、低ダイナミックレンジを有するセンサ信号を作り出す。画像再構成の処理では、元の光景のダイナミックレンジは、画像センサのダイナミックレンジとは無関係に再構成される。更に、正確には、画像センサの限定されたダイナミックレンジ（量子化ビットの有限数）は、量子化誤差につながり、これがセンサ画像にノイズとして形に表れる場合がある。この量子化ノイズはまた、再構成のノイズの原因になる。このノイズは、上述のように再構成画像の縁部近くでより顕著になるが、これは、バッフルの減衰を補正するためにこれらの区域に高い乗数を付加する必要があるからである。その結果、低ダイナミックレンジを有する画像センサで強度プロフィールの高ダイナミックレンジを有する光景を撮像することにより、再構成画像をよりノイズが多いが、低ダイナミックレンジではないものにする。これは、画像センサのダイナミックレンジが撮像可能な光景の最大ダイナミックレンジを直接限定する従来の単レンズの写真撮影と対照的である。

光景の再構成
以下の演算の組は、本発明の一実施形態では、上述のように取り込まれて調節されたセンサ画像から光景を再構成するために用いられる。Ｇｏｔｔｅｓｍａｎによれば、ＭＵＲＡレンズアレイは、次のように組み立てられる。最初に、ｐを奇素数とする時、長さｐのルジャンドル数列を考える。ｉ＝０，１，．．．，ｐ−１とする時、ルジャンドル数列ｌ（ｉ）は、次のように定められる。
ｌ（０）＝０、
ｌ（ｉ）＝＋１、あらゆるｋ＝１，２，．．．，Ｐ−１に対して、ｋ² ｍｏｄ ｐ＝ｌの関係が満たされる場合、
ｌ（ｉ）＝−１、それ以外の場合。
次に、サイズｐ×ｐのＭＵＲＡであるａ（ｉ，ｊ）は、次のように求められる。
ａ（０，ｊ）＝０、ｊ＝０，１，．．．，ｐ−１の場合、
ａ（ｉ，０）＝１、ｉ＝１，２，．．．，ｐ−１の場合、
ａ（ｉ，ｊ）＝（ｌ（ｉ）^*ｌ（ｊ）＋１）／２、ｉ＝１，２，．．．，ｐ−１及びｊ＝１，２，．．．，ｐ−１の場合。

このＭＵＲＡアレイでは、１は、レンズを表し、０は、符号化レンズアレイ内の不透明要素を表している。このＭＵＲＡの単一周期のレンズの数は、Ｋ＝（ｐ²−１）／２である。このＭＵＲＡに関連する周期的逆フィルタｇ（ｉ，ｊ）は、次のように求められる。
ｇ（０，０）＝＋１／Ｋ、
ｇ（ｉ，ｊ）＝（２ａ（ｉ，ｊ）−１）／Ｋ、ｉ＞０又はｊ＞０の場合。

ａ（ｉ，ｊ）とｇ（ｉ，ｊ）の間の周期的な相互相関関数ｐｈｉ（ｎ，ｍ）は、ｎ＝０及びｍ＝０に対して１、他の場合は０であることが公知である。従って、ＭＵＲＡに関連する周期的逆フィルタは、一定のオフセット及び一定の倍率を除き、また元のＭＵＲＡに対して反転されたただ１つの要素を除いて、ＭＵＲＡ自体と同じ構造を有する。図２は、様々な大きさのＭＵＲＡレンズアレイパターンを示している。

同様の方法で、ＢｕｓｂｏｏｍによるＰＢＡをレンズアレイとして使用することができる。この周期的逆フィルタは、一定のオフセット及び一定の倍率を除いて、ＰＢＡ自体と厳密に同じ構造を有する。ＰＢＡを発生する公式及びアルゴリズムは、Ａ．Ｂｕｓｂｏｏｍ著「ＡＲＲＡＹＳ ＵＮＤ ＲＥＫＯＮＳＴＲＵＫＴＩＯＮＳＡＬＧＯＲＩＴＨＭＥＮ ＦＵＥＲ ＢＩＬＤＧＥＢＥＮＤＥ ＳＹＳＴＥＭＥ ＭＩＴ ＣＯＤＩＥＲＴＥＲ ＡＰＥＲＴＵＲ」、「ＶＤＩ Ｖｅｒｌａｇ」、Ｄｕｅｓｓｅｌｄｏｒｆ、１９９９年、ＩＳＢＮ３−１８−１５７２１０−９、５２〜５６ページに見つけることができる。次数８及び２４のＰＢＡは、図２に示している。これらは、ＭＵＲＡパターンに比べて拡大されている。

一定の距離にある被写体を符号化レンズアレイで撮像する時、センサ画像は、その符号化レンズアレイに関する被写体の関数の周期的な相互相関関数により、上述のように幾何学倍率ｆにより拡大されて求められる。元の被写体を再構成するために、周期的逆フィルタを適切に拡大したものを用いて測定されたセンサ画像の周期的な相互相関関数を計算する。測定されたセンサ画像にノイズ及び他の誤りがない場合には、結果は、元の被写体の関数と等しくなる。

逆フィルタリングを行うことは、次に、以下の演算の組から成る。
１．符号化レンズアレイパターンに関連する周期的逆フィルタを計算する。
２．逆フィルタの２つの隣接する要素間の距離がセンサ面における２つの隣接するレンズの光景の投影の隔離距離と等しくなるように、逆フィルタを幾何学的に拡大したものを計算する。逆フィルタを拡大したものは、２つのフィルタ要素間の全ての値をゼロで埋め、フィルタ要素が非ゼロのピークを表し、各々が単一ピクセルの大きさを有するようにして、センサの解像度によって再サンプリングされる。本発明の一実施形態によると、２つの隣接するレンズの投影間の距離がピクセルサイズの整数の倍数である場合には、逆フィルタを拡大したものを計算するために、信号処理から公知である標準的な補間法を用いる。この場合、各フィルタ要素は、１ピクセルよりも多くに広がる場合がある。２つの隣接するレンズの投影間の隔離距離は、符号化レンズカメラからの被写体の距離により変化することに注意すべきである。従って、様々な距離の被写体を再構成するために、様々な逆フィルタが使用される場合がある。
３．段階（２）に従ってセンサの解像度に対して再サンプリングされたセンサ画像と逆フィルタの間の２次元周期的相互相関関数を計算する。
４．３．の結果の各ピクセルをＫ、すなわち、ＭＵＲＡ又はＰＢＡ又は他のレンズアレイパターンの単一周期内のレンズの数で割る。

既知の距離に１つの被写体を有する光景の再構成
上述のように、一実施形態では、センサ信号からの光景の再構成は、カメラに内蔵されたデジタル信号プロセッサ（ＤＳＰ）（例えば、ＤＳＰ１３２）又はカメラ外部のコンピュータ装置で行われる。一実施形態では、光景の再構成は、以下の演算シーケンスから成る。
１．センサの出力信号の伝達特性を線形にし、各センサの線形にされた出力信号がセンサのピクセル毎に数えられた光子の数に比例するようにする。
２．符号化レンズアレイに関連する適切に拡大された周期的な逆フィルタとセンサ信号を周期的に相関付ける。
３．その結果を負でないピクセル値まで低減する。
４．適切な増幅係数で各ピクセルを拡大することにより、バッフルの減衰を補正する。
５．任意的に、（４）の間に結果の中央部分よりもノイズ増幅を受けやすい結果の軸外部分を平滑化する。

開口アレイがＭＵＲＡである場合には、演算（２）の逆フィルタリングは、一連の２つの１次元フィルタ演算に分解することができ、その一方は、画像の横列毎に行われ、他方は、画像の縦列毎に行われるということに注意すべきである。この分解は、大きいアレイ次数の場合に（２）の計算の複雑性を軽減することができる。

図１７ａは、前の段落で説明した手順を用いた既知の距離にある３つの単調な光景の投影及び再構成の３つの例を示している。この例では、レンズアレイ（１７００）に３×３のＭＵＲＡパターンを使用した。アレイの２つの隣接するレンズ間の距離（ピッチ）は、３ｍｍであった。各々のレンズは、５ｍｍの焦点距離を有しており、これは、レンズアレイとセンサの間の距離でもあった。センサは、３０×３０ｕｍの正方形のピクセルを有する１０×１０ｍｍのセンサであった。光景１７０１は、３０７×３０７ピクセルの平坦な（２次元の）テストパターンである。これは、３×３要素のＭＵＲＡレンズアレイ１７００を通って画像センサに投影され、センサ画像１７１１になる。センサ画像１７１１は、上述の処理によって調節されて再構成され、再構成１７２１になる。再構成１７２１の最端コーナ１７３０は、正確に再構成されていないことに注意されたい。これは、画像の最縁部でバッフルを通って投影中に光が減衰することによる。同様に、単調な３０７×３０７ピクセルの画像１７０２は、レンズアレイ１７００を通して投影されてセンサ画像１７１２になり、処理されて再構成１７２２になる。同様に、単調な３０７×３０７ピクセルの画像１７０３は、レンズアレイ１７００から投影されてセンサ画像１７１３になり、処理されて再構成１７２３になる。

図１７ｂは、図１７ａと同様の３つの例を示している。しかし、図１７ｂでは、レンズアレイパターン（１７５０）として、２４×２４ＰＢＡパターンを使用した。レンズは、０．３９ｍｍのピッチを有し、レンズアレイの全体の大きさが図１７ａのものと同様になるようにしたものである（図１７ｂでは、１８．７２×１８．７２ｍｍ及び図１７ａでは、１８×１８ｍｍ）。図１７ａの例と同じセンサを使用した。レンズは、この場合も５ｍｍの焦点距離であった。光景１７０１は、２４×２４要素のＰＢＡレンズアレイ１７５０を通って画像センサに投影され、センサ画像１７３１になる。センサ画像１７３１は、上述の処理によって調節されて再構成され、再構成１７４１になる。同様に、単調な３０７×３０７ピクセルの画像１７０２は、レンズアレイ１７５０から投影されてセンサ画像１７３２になり、処理されて再構成１７４２になる。同様に、単調な３０７×３０７ピクセルの画像１７０３は、レンズアレイ１７５０から投影されてセンサ画像１７３３になり、処理されて再構成１７４３になる。２つの例のセンサ画像（１１７１〜１７１３及び１７３１〜１７３３）から、レンズアレイの次数を増すと、センサ画像のコントラストが下がるということを観察することができる。図１７ｂのセンサ画像１７３１〜１７３３では、もはや元の光景の詳細は認識できない。しかし、再構成画像１７４１〜１７４３から分るように、このセンサ画像は、同じく元の光景を再構成するために必要なあらゆる情報を含んでいる。

上述のように、センサ画像１７１１〜１７１３及び１７３１〜１７３３は、１ピクセル当たり所定のビット数（例えば、８）で量子化することができるが、再構成画像１７２１〜１７２３及び１７４１〜１７４３に、１ピクセル当たりのより高いビット数（例えば、１０）に同等の有用なダイナミックレンジ有する画像を生じる場合があることが分る。

未知の距離に１つの被写体を有する光景の再構成
一実施形態では、正確な被写体の距離が不明確であるか又は未知である時に、「既知の距離に１つの被写体を有する光景の再構成」の節で説明した演算シーケンスのうちの演算（２）が、様々な予想される被写体の距離ｏで繰り返される。この技術により、同じセンサ信号から１組の複数の再構成が得られる。この再構成の組の中で、予想される被写体の距離が本当の被写体の距離と一致するか又はこれに最も近いものが、実際の光景の最も厳密な再構成になり、予想される距離と本当の距離とが一致しない再構成は、アーチファクトを含むことになる。これらのアーチファクトは、再構成の中で横線又は縦線の模様のような高周波アーチファクト、又は再構成の縁部付近の共鳴アーチファクトとして見られる。

本発明の一実施形態によると、この再構成の組のうちから手動又は自動でアーチファクトが最も少ない再構成を選択する。それによって予めカメラの焦点を合わせる必要がなく、また、特に従来の単レンズカメラでは必要であったようなカメラの一部を機械的に移動させる、すなわち、予想される被写体の距離を予め選択する必要がなく、再構成の距離を変更することができる。更に、それによってユーザは、画像を取得した後に（すなわち、遡及的に）再構成の望ましい距離を判断することができるようになる。好ましくは、再構成の距離は、最も少ない量の高周波アーチファクト及び最も滑らかな強度プロフィールを有する再構成を識別することにより、再構成の組から自動的に選択される。

符号化レンズカメラの「焦点を合わせる」ため、すなわち、１組の再構成画像から正確な距離を判断するための単純であるが非常に有効な基準は、各再構成の濃淡値の平均ｍ及び標準偏差σを計算することである。更に、各再構成に対して比率ｍ／σを計算する。この比率が最大値になる再構成が、最適な再構成として、すなわち、「焦点が合った」再構成として選択される。光景の被写体の焦点が個々の投影の各々で合っている場合、この技術は、最善の結果をもたらす。

図１８は、光景が１組の様々な距離で再構成される方法を示している。図１８の生成には、図１７ｂと同様のシステムの再構成を用い、すなわち、２４×２４ＰＢＡパターンを投影に使用した。元の光景は、１，０００ｍｍの距離で撮像された図１７ｂからの試験画像１７０１であった。再構成は、５００ｍｍ（１８０１）、８００ｍｍ（１８０２）、１，０００ｍｍ（１８０３）、及び５，０００ｍｍ（１８０４）の仮定距離で結果として生じたセンサ画像から計算された。図では、１，０００ｍｍの正しい距離の左下隅の再構成が「鮮明」であるように見え、他の距離の再構成は、非常に強い高周波アーチファクトを含むことが明確に分る。図１８はまた、４つの再構成の各々の濃淡値の標準偏差（ｓｔｄｄｅｖ）を示している。更に、図１８は、４つの再構成の各々について、濃淡値標準偏差で割った濃淡値平均の商（ｍ／ｓ）を示している。この値は、５００ｍｍの仮定距離における０．０９７７に始まり、その後、連続的に増大して１，０００ｍｍの正しい距離で２．０の最大値になり、その後、連続的に減少して５，０００ｍｍの仮定距離で０．１０７５の値に到達する。この例は、商ｍ／ｓが最大値になる再構成を選択することにより、光景の本当の距離を１組の再構成から容易に計算することができる方法を示している。

未知の距離にある１つの被写体を有する光景の再構成の最適化
一実施形態によると、様々な予想される被写体距離ｏを用い、画像の一部の部分的再構成のみを計算する。部分的再構成は、再構成画像の全てのピクセルの部分集合について、単に「既知の距離に１つの被写体を有する光景の再構成」の節の演算（２）の周期的な相互相関関数を求めることによって計算され、従って、再構成の計算の複雑性を軽減する。このピクセルの部分集合は、画像の２段抽出バージョン、画像の隣接領域、又はピクセルの他の適切な部分集合とすることができる。次に、２つの１次元の周期的なフィルタリング演算は、単に再構成画像の横列及び／又は縦列の部分集合について数値を求めればよい。部分的再構成の組から、本当の距離ｏを特定するために、高周波アーチファクトが最も少なく、かつ最も滑らかな強度プロフィールのものが識別される。識別された本当の被写体距離ｏについて、次に、完全な再構成を行う。このようにして、本当の被写体距離ｏを自動的に測定しながら光景の再構成を行うという計算の複雑性を軽減することができる。

未知の距離に複数の被写体を有する光景の再構成
一実施形態により、様々な被写体距離ｏの１組の完全な画像再構成が計算される。光景の様々な部分の被写体は、様々な距離にある場合があるために、再構成は、いくつかの領域に分解される。各領域について、高周波アーチファクトが最も少なく、最も滑らかな強度プロフィールをもたらす被写体距離ｏを識別する。最終的な再構成は、領域毎にまとめられるが、各領域について最適な被写体距離ｏを有する再構成を選択する。このようにして、ＦＯＶの無限深度（クローズアップから無限まで）を有する画像を単一のセンサ信号から再構成することができる。

組み合わされた再構成は、単調な光景、すなわち、単一の距離に単一の被写体を有する光景の単調な再構成よりも質が落ちる。光景の中に「焦点が外れて」いる他の領域があることにより、焦点の外れた領域が再構成において質を落とすだけでなく、焦点の外れた領域は、再構成にアーチファクトを含む。言い換えれば、焦点の外れた領域と焦点の合った領域の間に「クロストーク」がある。このクロストーク及びこれを抑える技術について次に説明する。

未知の距離に複数の被写体を有する光景を再構成する際の「クロストーク」の低減
前に説明した通り、距離ｏ₁での領域ｒ₁の「単調な」再構成は、光景全体が一定の距離ｏ₁であった場合にのみ正確なものになるであろう。しかし、他の領域が様々な距離の場合には、領域ｒ₁の再構成に影響を与える「クロストーク」が発生する。従って、一実施形態により、反復的再構成手順を用い、様々な距離の光景の様々な領域間のこのクロストークを低減する。本発明の一実施形態に従った反復的再構成手順は、以下の演算の組から成る。
１．「単調な」再構成、すなわち、光景にわたって均一の距離を仮定する再構成を１組の距離ｏ₁、ｏ₂、．．．、ｏ_nにおいて計算する。
２．このように取得した単調な再構成を用いて、光景をいくつかの連続的な領域ｒ₁、ｒ₂、．．．、ｒ_m及び対応する距離ｏ₁、ｏ₂、．．．、ｏ_mに分解する。この分解は、各領域について距離ｏ_iの再構成ｒ_iが「より良く」なる、すなわち、同じ領域の他の距離での全ての再構成よりも高周波アーチファクトが少なく、滑らかな強度プロフィールを有するように行われる。
３．再構成された領域ｒ_i（ｉ＝１，２，．．．，ｍ）の各々について、センサ画像への寄与量ｓ_iを計算する。これは、レンズアレイパターンを用いてｒ_iの２次元周期的相互相関関数を計算することにより行う。全ての領域の再構成が完全であった場合には、全てのセンサ画像の寄与量の合計は、測定されたセンサ画像ｓと等しくなるということに注意されたい。
４．再構成された領域ｒ_i（ｉ＝１，２，．．．，ｍ）の各々に対して、測定されたセンサ画像から全ての他の領域のセンサ画像の寄与量を引く、すなわち、次のようにする。

各Δｓ_i（ｉ＝１，２，．．．，ｍ）は、この時点で領域ｒ_iだけに関連するセンサ画像を含み、他の全ての領域ｒ_i、ｊ≠ｉの寄与量は殆ど低減されていることに注意されたい。他の領域の再構成が完全ではなく、再構成の誤差を含むために、クロストークがいくらか残存しており、すなわち、Δｓ_iは、他の領域からの残存している寄与量をいくらか含む。しかし、このクロストークは、異なるセンサ画像の計算をしないクロストークよりも非常に低い。
５．Δｓ_i（ｉ＝１，２，．．．，ｍ）を利用して、距離ｏ_iの各領域について正確な再構成ｒ’_iを計算する。任意的に、距離の推定ｏ_iを正確にするためにも、最初の距離ｏ_j前後のいくつかの様々な距離でこの段階を繰り返すことができる。この場合、各領域について最も少ない高周波アーチファクト及び最も滑らかな強度プロフィールを有する再構成及び距離を選択する。
６．任意的に、各領域を更に精巧にするために演算（３）に戻る。

再構成された光景内の被写体の距離の判断
一実施形態によると、符号化レンズカメラの出力信号は（２次元の画像情報に加えて）、高周波アーチファクトが最も少なくかつ最も滑らかな強度プロフィールを有する各領域の被写体距離ｏを見つけることから判断された各画像ピクセル又はいくつかの画像領域に対する距離情報も含む。従って、画像内に再構成された各ピクセルに対して、単一強度値（グレースケールの可視光、赤外線、紫外線、又は他の単一周波数放射線に対して）又は赤、緑、青色の可視光線に対する３つの強度値を引き出す再構成に加えて、再構成は、画像内のそのピクセル位置でのカメラから被写体までの距離を示すｚ値を割り当てる。このようにして、単一の２次元センサ信号から３次元画像データを取得することができる。更に、距離データは、カメラ、外部撮像操作システム、又は画像操作アプリケーション又はシステムを利用するユーザが、光景の前景内の被写体を光景の後景から分離するなど、２次元画像を光景の様々な部分に関連する様々な領域に容易に分割することを可能にする。

距離情報を用いてブルー／グリーンスクリーンの必要性を排除する
クロマキー法は、映像及び写真の製作で前景画像を無地の背景色から切り離すために一般的に使用される技術である。一般的に、「ブルースクリーン」又は「グリーンスクリーン」が使用され、これは、背景がビデオテープ又はフィルム上に撮影される又は取り込まれる間に演者又は被写体の背後に配置される非常に注意深く着色され、かつ照らされたスクリーンである。リアルタイムで又は後処理により、ハードウエア又はソフトウエアシステムは、前景画像を異なる背景に合成することができるように、恐らくは独特の色をした前景画像をかなり一様に着色された背景画像から切り離す。例えば、一般的にＴＶニュース番組の天気予報士は、ブルー又はグリーンスクリーンに対してクロマキー処理され、その後天気図の上に合成される。

このようなブルー又はグリーンスクリーンは、製造が極めて面倒である。これらは、大きくて嵩張り、注意深い照明が必要であり、非常にきれいに保たねばならず、また、前景の被写体の縁部にブルー又はグリーンの光の「余波」を生み出さないように、前景の被写体の背後に十分離して設けられるべきである。前の段落の実施形態の原理を用いると、ブルー又はグリーンスクリーンなしで画像を取り込むことができ、各ピクセルに与えられたｚ値は、前景の被写体を背景から切り離すために十分な情報を合成システムに提供する（すなわち、光景のどのピクセルがより近い被写体の画像を含み、最終的な画像に維持されるべきか、また、光景のどのピクセルが被写体から遠い画像を含み、最終的な画像から低減されるべきかを識別することによる）。これは、写真、映像、映画製作、及び消費者の用途（例えば、様々な写真の家族を各写真の背景から切り離して数人の家族が一緒のグループ写真に合成することができるようにする）を含む多くの用途においてかなり有益であろう。

図２０は、背景の山２００２を写真から除去した城２００２のような異なる背景の光景に図１９からの人物１９０１を容易に配置することができる方法を示している。これは、単に、人物１９０１のｚ値よりも大きいｚ値を有する図１９から再構成された画像の全てのピクセルを城２００２の画像からのピクセルと置換することにより完成される。ここでもまた、ｚ値の処理は、例えば、ＤＳＰ、ＡＳＩＣ、又は汎用プロセッサを含む事実上あらゆるタイプの画像処理プロセッサを用いて実行することができる。

距離情報を用いて光学運動捕獲システムを改良する
一実施形態のピクセル毎の測距機能はまた、光学性能運動捕獲（ｍｏｃａｐ）において用途を有する。「ｍｏｃａｐ」は、現在、テレビゲーム（例えば、カリフォルニア州レッドウッド・シティー所在の「Ｅｌｅｃｔｒｏｎｉｃ Ａｒｔｓ」が提供する「ＮＢＡ Ｌｉｖｅ ２００５」）及び映画（例えば、ニューヨーク州ニューヨーク所在の「Ｔｉｍｅ Ｗａｒｎｅｒ、Ｉｎｃ．」の一部門である「Ｃａｓｔｌｅ Ｒｏｃｋ Ｅｎｔｅｒｔａｉｎｍａｎｅｔ」によりリリースされた「ポーラー・エクスプレス」）を含むＣＧアニメーションの人物、動物、及び小道具の動きを取り込むのに使用されている。このような「ｍｏｃａｐ」システム（例えば、英国オックスフォード所在の「Ｖｉｃｏｎ Ｍｏｔｉｏｎ Ｓｙｓｔｅｍｓ、Ｌｔｄ．」製のもの）は、一般的に、舞台を取り囲むいくつかの単レンズビデオカメラを用いる。逆反射マーカ（又は、他の特徴的なマーク付け）が、演者の体及び小道具全体に配置される。ビデオカメラは、各々が遮られていないＦＯＶ内のマーカを取り込みながら、同時にマーカの画像を取り込む。最後に、ソフトウエアが、ビデオフレームの全てを分析し、三角法によって３Ｄ空間の各マーカの位置の識別を試行する。

図２１は、例示的な運動捕獲セッションの写真である。３つの明るい光の輪は、ビデオカメラ２１０１〜２１０３の単レンズの周りのＬＥＤの輪である。演者は、体に密着した黒いスーツを着ている。スーツの灰色の点は、逆反射マーカであり、これは、カメラのレンズに赤いＬＥＤ光を反射して戻し、マーカが周囲の環境に対して明るく目立つようにする。左の演者の膝に付いたこのような４つの逆反射マーカは、２１１１〜２１１４で特定されている。

マーカの全ては、カメラ画像の中で同じに見えるために、「ｍｏｃａｐ」システムが直面する課題の１つは、どのマーカ画像が光景のどのマーカ（又は、複数のマーカ）に対応するかを特定し、その後、演者又は小道具が動く時にフレーム毎にマーカを追跡することである。一般的に、演者は、マーカを体（又は小道具）のほぼ既知の位置に配置し、ほぼ既知の位置に立つ。カメラは、全てが最初のフレームを取り込み、ソフトウエアは、演者及び演者に付いたマーカの位置がほぼ既知であるために、各マーカを識別することができる。演者が動くと、マーカは、カメラの視野から出たり入ったりして動き、演者が動き回ると、頻繁に１台、数台、又は全てのカメラからよく見えなくなることがある。このために「ｍｏｃａｐ」システムがマーカを識別して追跡し続ける機能が不確かなものになる。

例えば、所定のビデオカメラのフレームが、所定の（ｘ，ｙ）ピクセル位置に集中したマーカを示す場合、その画像は、実際は２つのマーカが前後に並んでいることを示している可能性が高い。次のフレームでは、演者の動きがマーカを異なる（ｘ，ｙ）位置に分離することがあるが、前のフレームにおいていずれのマーカが前方のマーカであっていずれが背後のマーカであったかを特定することは困難である場合がある（例えば、離れたマーカは、僅かに小さく見える場合があるが、その大きさの違いは、カメラに可能な解像度よりも小さい場合がある）。別の例としては、演者が床に転がって、マーカの全てを一方に隠す場合がある。演者が立ち上がると、多くのマーカがカメラの画像に突然に現れ、どのマーカがどれであるかを識別するのは困難である場合がある。このマーカ識別処理を改良するために、いくつかのアルゴリズムが開発されたが、依然として典型的な運動捕獲セッションでは、人間のオペレータがフレーム毎に間違ったマーカの識別を手動で訂正することにより取り込んだデータを「整える」べきであるという問題がある。このような作業は、退屈で時間を消費し、更に「ｍｏｃａｐ」製作のコストを増大させる。

本発明の一実施形態では、単レンズのビデオカメラを本明細書に説明した符号化レンズ技術を用いたビデオカメラと取り替える。符号化レンズカメラは、マーカの画像を取り込むだけでなく、各マーカのおおよその深度もまた取り込む。これは、取込の連続したフレームの中で「ｍｏｃａｐ」システムがマーカを識別する機能を改善する。単レンズカメラは、マーカの有用な（ｘ，ｙ）位置情報を提供するのみであるが、符号化レンズカメラは、（上述のように）マーカの（ｘ，ｙ，ｚ）位置情報を提供する。例えば、最初に一方のマーカが他方のマーカの前にあり、その後、次のフレームでこれらのマーカが分かれた場合、いずれのマーカがより近く、いずれがより離れているかを識別することは、符号化レンズカメラには容易なことである（すなわち、ｚ値を利用する）。この情報は、次に、一方のマーカが他方のマーカの背後に隠れる前のフレームのマーカの位置と相関付けられ、両方のマーカが見えた時にいずれのマーカがいずれであるかを識別する。

更に、時には１つのマーカが１つの「ｍｏｃａｐ」カメラのみで見え、他の全ての「ｍｏｃａｐ」カメラからは見えない場合がある（例えば、演者の体に隠れて）。単レンズの「ｍｏｃａｐ」カメラでは、１つのカメラのみで三角法を用いることはできず、従って、マーカの（ｘ，ｙ，ｚ）位置を計算することができない。しかし、符号化レンズカメラを用いると、マーカまでの距離が分り、その結果、その（ｘ，ｙ，ｚ）位置を容易に計算することができる。

距離情報を用いてロボット視覚システムを改良する
別の実施形態では、符号化レンズカメラをロボット視覚システムに使用する。例えば、製造用途において、従来のレンズカメラは、ロボット電機子に距離情報を提供して組立てにおいてそれが持ち上げて挿入する必要がある部品の（ｘ，ｙ，ｚ）位置を特定することはできないが、符号化レンズカメラは、それが可能である。

増大したダイナミックレンジ及び（距離）測距情報を用いて防犯カメラシステムを改良する
一実施形態では、符号化レンズカメラを防犯システムに用いる。これらは、低ダイナミックレンジのセンサを使用して高ダイナミックレンジの光景を取り込む機能を有するために、従来の単レンズカメラでは通常は画像をぼやけさせる逆光照明がある状況において、使用可能な画像を提供することができる。例えば、侵入者が入口から入ってくる場合に、入口の外に明るい昼の光があった場合は、従来の単レンズカメラは、入口の外側でも入口の内側でも有用な画像を解像することはできないが、符号化レンズカメラは、それが可能である。

本発明の実施形態は、上の説明のように様々な段階を含むことがある。これらの段階は、汎用プロセッサ又は専用プロセッサにある一定の段階を実行させる機械実行可能な命令に組み込むことができる。例えば、上述の様々な演算は、パーソナルコンピュータで実行されるか、又はパーソナルコンピュータ内のＰＣＩカードに組み込まれたソフトウエアとすることができる。代替的に又はそれに加えて、演算は、ＤＳＰ又はＡＳＩＣによって実施することができる。更に、本発明の関連のある態様を分りにくくすることを避けるために、コンピュータメモリ、ハードドライブ、入力装置などのような本発明の基本原理に関連しない様々な構成要素は、図及び説明を省略している。

本発明の要素はまた、機械実行可能命令を格納する機械可読媒体として提供することができる。機械可読媒体は、以下に限定されるものではないが、フラッシュメモリ、光ディスク、ＣＤ−ＲＯＭ、「ＤＶＤ ＲＯＭ」、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気又は光カード、伝播媒体、又は電子命令を格納するのに適切な他のタイプの機械可読媒体を含むことができる。例えば、本発明は、コンピュータプログラムとしてダウンロードすることができ、これは、通信リンク（例えば、モデム又はネットワーク接続）を通じて、搬送波又は他の伝播媒体の中に組み込まれたデータ信号により、リモートコンピュータ（例えば、サーバ）から、要求しているコンピュータ（例えば、クライアント）に転送することができる。

上述の説明を通して、本発明のシステム及び方法を十分に理解するために、説明の目的で多くの特定の詳細を示した。しかし、本発明のシステム及び方法は、これら特定の詳細の一部がなくても実施することができることは、当業者には明らかであろう。例えば、本発明の実施形態は、「カメラ」との関連において上述したが、本発明の基本原理は、以下に限定されるものではないが、ＰＤＡ、携帯電話、及びノート型コンピュータを含む事実上あらゆる種類の装置内に実施することができる。従って、本発明の範囲及び精神は、特許請求の範囲によって判断されるべきである。

本発明の一実施形態による可視光符号化開口カメラを示す図である。 本発明の基本原理に従って用いられる３つの例示的なＭＵＲＡパターンと２つの例示的なＰＢＡパターンを示す図である。 本発明の一実施形態に従ったＭＵＲＡ次数３符号化開口アレイ、バッフル、センサ、及びカメラ本体の構成を示す図である。 本発明の一実施形態に従ったＭＵＲＡ３符号化開口アレイの透明開口からの光の投影を示す図である。 本発明の一実施形態による符号化レンズカメラを示す図である。 本発明の一実施形態に従ったＭＵＲＡ次数３符号化レンズアレイ、バッフル、センサ、及びカメラ本体の構成を示す図である。 本発明の一実施形態に従ったＭＵＲＡ３符号化レンズアレイの透明開口からの光の投影を示す図である。 本発明の一実施形態に従ったＭＵＲＡ次数３符号化レンズカメラの側面図である。 本発明の一実施形態に用いられる例示的なＲＧＢ「バイエルパターン」を示す図である。 多層構造として実装され、本発明の一実施形態に使用される画像センサを示す図である。 デジタル画像の再構成及び後処理を可能にするために出力信号がアナログ−デジタル変換器（Ａ／Ｄ）によってデジタル化される本発明の一実施形態を示す図である。 本発明の一実施形態に従ってゼロオフセット及び利得を選択する手順を示す図である。 符号化レンズの結像特性及び典型的なレンズの結像特性を示す図である。 典型的なＣＭＯＳ及びＣＣＤ画像センサの伝達特性を示すグラフである。 本発明の一実施形態に従った多要素レンズを備えたＭＵＲＡ次数３符号化レンズカメラの側面図である。 本発明の一実施形態に従った符号化レンズアレイ内のレンズの全ての焦点を同時に合わせる歯車配置を示す図である。 本発明の一実施形態に従った符号化レンズアレイの全レンズの焦点を同時に合わせるための歯車システムを備えた多要素符号化レンズシステムの側面図である。 本発明の一実施形態に従ったＭＵＲＡ３符号化レンズアレイを使用した既知の距離にある３つの単調な光景の投影及び再構成の３つの例を示す図である。 本発明の一実施形態に従ったＰＢＡ２４符号化レンズアレイを使用した既知の距離にある３つの単調な光景の投影及び再構成の３つの例を示す図である。 本発明の一実施形態に従って正しい距離を識別するための様々な距離における画像の再構成を示す図である。 人物がカメラ近くに立ち、この人物のはるか後方に山がある画像を示す図である。 図１９の人物を異なる背景を有する光景に容易に置くことができる方法を示す図である。 例示的な運動捕獲セッションの写真を示す図である。

符号の説明

１００ 光景
１０１ 符号化開口
１０４ 光感応グレースケール又はカラー半導体センサ３

Claims (27)

1. 互いに連結されて符号化パターンを形成する複数のレンズを含む符号化レンズアレイ、
   を含むことを特徴とする、画像を符号化するための装置。
2. 前記符号化レンズアレイに連結され、かつ該符号化レンズアレイの背後の特定の距離に位置決めされた光感応半導体センサ、
   を更に含み、
   前記光感応センサは、前記符号化レンズアレイ内の前記レンズを透過した光を感知するように構成されている、
   ことを特徴とする請求項１に記載の装置。
3. 前記レンズを透過して前記光感応センサにより感知された前記光を使用して、前記符号化レンズアレイの前に位置決めされた被写体の画像を表す画像データを発生させる画像再構成論理、
   を更に含むことを特徴とする請求項２に記載の装置。
4. 前記符号化パターンは、「均一冗長アレイ（ＵＲＡ）」パターンであることを特徴とする請求項１に記載の装置。
5. 前記符号化パターンは、「修正均一冗長アレイ（ＭＵＲＡ）」パターンであり、
   請求項１に記載のパターンは、ＰＢＡである、
   ことを特徴とする請求項１に記載の装置。
6. 前記符号化パターンは、ランダムパターンであることを特徴とする請求項１に記載の装置。
7. レンズを含まないアレイ要素を塞ぐ不透明材料が存在することを特徴とする請求項１に記載の装置。
8. 前記光感応半導体センサから画像データを受け取り、かつ該画像データのピクセル値のゼロオフセット及び／又は利得を調節するように通信的に連結された画像センサ読み出しサブシステム、
   を更に含むことを特徴とする請求項２に記載の装置。
9. 前記符号化レンズアレイと前記光感応半導体センサの間に構成されて、該符号化レンズアレイと該光感応半導体センサの間を通過する光を平行化する複数のバッフル、
   を更に含むことを特徴とする請求項２に記載の装置。
10. 画像を符号化する方法であって、
    複数のレンズを符号化パターンに配置する段階、
    を含むことを特徴とする方法。
11. 前記符号化レンズアレイの背後の特定の距離に、該符号化レンズアレイ内の前記レンズを透過した光を感知するように構成された光感応半導体センサを位置決めする段階、
    を更に含むことを特徴とする請求項１０に記載の方法。
12. 前記レンズを透過して前記光感応センサによって感知された前記光を使用して、前記符号化レンズアレイの前に位置決めされた被写体の画像を表す画像データを発生させる段階、
    を更に含むことを特徴とする請求項１１に記載の方法。
13. 前記符号化パターンは、「均一冗長アレイ（ＵＲＡ）」パターンであることを特徴とする請求項１０に記載の方法。
14. 前記符号化パターンは、「修正均一冗長アレイ（ＭＵＲＡ）」パターンであり、
    請求項１に記載のパターンは、ＰＢＡである、
    ことを特徴とする請求項１０に記載の方法。
15. 前記符号化パターンは、ランダムパターンであることを特徴とする請求項１０に記載の方法。
16. レンズを含まないアレイ要素を塞ぐ不透明材料を更に含むことを特徴とする請求項１０に記載の方法。
17. 前記光感応半導体センサから画像データを受け取り、該画像データのピクセル値のゼロオフセット及び／又は利得を調節する段階、
    を更に含むことを特徴とする請求項１１に記載の方法。
18. 前記符号化レンズアレイと前記光感応半導体センサとの間を通過する光を平行化する段階、
    を更に含むことを特徴とする請求項１１に記載の方法。
19. 符号化パターンに配置された複数のレンズを含む符号化レンズアレイ手段、
    を含むことを特徴とする装置。
20. 前記符号化レンズアレイに連結され、かつ該符号化レンズアレイの背後の特定の距離に位置決めされた光感応センサ手段、
    を更に含み、
    前記光感応センサ手段は、前記符号化レンズアレイ内の前記レンズを透過した光を感知するように構成されている、
    ことを特徴とする請求項１９に記載の装置。
21. 前記レンズを透過して前記光感応センサ手段によって感知された前記光を使用して、前記符号化レンズアレイの前に位置決めされた被写体の画像を表す画像データを発生させる画像再構成手段、
    を更に含むことを特徴とする請求項２０に記載の装置。
22. 前記符号化パターンは、「均一冗長アレイ（ＵＲＡ）」パターンであることを特徴とする請求項１９に記載の装置。
23. 前記符号化パターンは、「修正均一冗長アレイ（ＭＵＲＡ）」パターンであり、
    請求項１に記載のパターンは、ＰＢＡである、
    ことを特徴とする請求項１９に記載の装置。
24. 前記符号化パターンは、ランダムパターンであることを特徴とする請求項１９に記載の装置。
25. レンズを含まないアレイ要素を塞ぐ不透明材料を更に含むことを特徴とする請求項１９に記載の装置。
26. 前記光感応半導体センサから画像データを受け取り、かつ該画像データのピクセル値のゼロオフセット及び／又は利得を調節するように通信的に連結された画像センサ読み出し手段、
    を更に含むことを特徴とする請求項２０に記載の装置。
27. 前記符号化レンズアレイと前記光感応半導体センサの間に構成されて、該符号化レンズアレイと該光感応半導体センサの間を通過する光を平行化するバッフル手段、
    を更に含むことを特徴とする請求項２０に記載の装置。