JP2005519361A - 波面符号化イメージングシステムの最適化された画像処理 - Google Patents

Abstract

画像処理方法は、光学像を形成する波面を波面符号化するステップと、光学像をデータストリームに変換するステップと、波面符号化の影響を逆転し、最終画像を生成するために、フィルタカーネルを用いてデータストリームを処理するステップとを含む。たとえば、フィルタセットカーネルを、縮小フィルタセットカーネルまたはカラー固有カーネルとすることができる。色および空間情報を別々のチャネルに分離することによるなど、カラー画像を処理する方法およびシステムも開示する。本明細書の方法およびシステムは、たとえば、縮小された光−機械、光−電子、および処理の複雑さまたはコストを有する電子デバイスを形成するのに有用である。

Description

本願は、参照によって本明細書に組み込まれる、２００２年２月２７日出願の米国特許出願第６０／３６０１４７号の優先権を主張するものである。

波面符号化（ｗａｖｅｆｒｏｎｔ ｃｏｄｉｎｇ）は、特殊化された非球面オプティックス、検出、および信号処理の組である。従来技術では、信号処理は、波面符号化によって引き起こされる空間的ブラー（ｂｌｕｒ）を除去するように、非球面オプティックスによって決定される。非球面オプティックスによって、波面が「符号化」され、その結果、サンプリングされた画像は、ミスフォーカス（ｍｉｓｆｏｃｕｓ）関連収差に比較的鈍感になる。符号化された波面からの中間像（すなわち、検出器によってサンプリングされる画像）は、鮮明でなく、明瞭でない。信号処理によって、検出器からのデータが処理されて、非球面オプティックスによって引き起こされる空間的ブラーが除去されて、波面符号化が「復号」される。

たとえば、図１に、従来技術の波面符号化光イメージングシステム１００を示す。システム１００に、協同して検出器１２０で中間像を形成するオプティックス１０１および波面符号化非球面光学要素１１０が含まれる。要素１１０は、システム１００内で波面を符号化するように動作する。検出器１２０からのデータストリーム１２５が、画像処理セクション１４０によって処理されて、波面が復号され、最終画像１４１が作られる。ディジタルフィルタ（「フィルタカーネル」）１３０が、画像処理セクション１４０によって実施される。

フィルタカーネル１３０は、フィルタタップまたは「重み」からなり、この重みは、たとえば１２８ビット拡張浮動小数点演算、実数数学、および整数値のスケーリング／切捨などの処理ハードウェアおよびソフトウェアの制限に起因する最大ダイナミックレンジを有する実数値または整数値である。スケーリングに、たとえば、部分積の計算および累算の一般的な系列が含まれる。

従来技術で、光学要素１１０および検出器１２０は、画像処理セクション１４０の使用可能処理能力と必ずしも一致せず、したがって、最終画像１４１での画像劣化が示される場合がある。光学要素１１０および検出器１２０が、使用可能な処理能力とマッチされる場合に、検出器の機能、要素１１０の光学設計、および／または画像処理セクション１４０に関連するコンピュータ処理アーキテクチャに関する非常に複雑でコストのかかるハードウェア実施形態が必要になる可能性がある。

下で説明するように、非球面オプティックスおよびエレクトロニクスを連帯的に最適化する波面符号化イメージングシステムを開示する。一例で、オプティックスおよびエレクトロニクスが、収差を制御する、物理的なレンズ個数を最小にする、機械的公差を緩和するなど、所望の光学特性および／または機械的特性について連帯的に最適化される。もう１つの例では、オプティックスおよびエレクトロニクスが、ハードウェア処理に必要なシリコンおよび／またはメモリの量を減らすために、電子パラメータを目標を定めて強調して連帯的に最適化され、これは、理想的でない検出器の存在のもとでの画像品質を最適化し、かつ／または固定されたハードウェア処理解決策（たとえば低コスト解決策）を用いて画像品質を最適化するように働く。

電子処理の最適化に関する強調は、たとえば、高いユニット品質および専用ハードウェア処理を伴うイメージング応用例で重要である。そのような応用例の例に、携帯電話、ビデオ会議、およびパーソナル通信デバイスの小型カメラが含まれる。オプティックスおよび機械系を電子パラメータを用いて連帯的に最適化することによって、物理的構成要素、アセンブリ、および画像処理に関して安価な高品質イメージングシステムが作られる。

したがって、ある態様で、最適化されたイメージング処理を有する波面符号化イメージングシステムを開示する。一態様で、画像処理が、ハードウェアによる実施形態について最適化され、ディジタルフィルタが、整数の特殊化された縮小セットであるフィルタタップ値を有する。これらの整数が、処理ハードウェアに影響して、複雑さ、サイズ、および／またはコストを減らす。そのような縮小セットフィルタタップ値の例に、「２のべき」値、２つのべきの和および差の値と、隣接フィルタ値の差が２のべきであるフィルタが含まれる。この例の縮小セットに関連する制限は、画像処理に関連する乗算（または一般化された部分積合計）を減らすように働く。

フィルタタップ値に、フィルタカーネルの空間的位置を関連付けることができる。フィルタタップ値のダイナミックレンジも、光学要素と波面符号化要素の位置に関する空間的位置の関数とすることができる。一例で、フィルタカーネルの幾何学的中心に近い値が、より大きいダイナミックレンジを有し、フィルタカーネルの縁に近い値が、より小さいダイナミックレンジを有し、波面符号化応答が、光軸からの距離が増えるに連れて小さい値に向かうカバレッジを有する傾向がある時に有用である。フィルタタップ値は、検出器または人間の目によって処理される時に、異なる波長帯が異なる形で応答するので、マルチカラーイメージングチャネル応答の関数にすることもできる。

たとえば、波面符号化される、本明細書の系最適化に適するオプティックスの２つの説明が簡単な光学的形に、分離可能なべきの加重合計ｐ（ｘ、ｙ）＝Ｓｕｍ ａｉ ［ｓｉｇｎ（ｘ）｜ｘ｜＾ｂｉ ＋ ｓｉｇｎ（ｙ）｜ｙ｜＾ｂｉ］およびコサイン波形ｐ（ｒ、θ）＝Ｓｕｍ ａｉ ｒ＾ｂｉ×ｃｏｓ（ｃｉ×θ＋φ）を含めることができる。

一態様で、光学像を形成する波面を波面符号化するステップと、光学像をデータストリームに変換するステップと、波面符号化の効果を逆転し、最終画像を生成するために縮小セットフィルタカーネルを用いてデータストリームを処理するステップとを含む、画像処理方法を提供する。

処理のステップに、光学像のＭＴＦと相補的なフィルタカーネルを使用するステップを含めることができる。

波面符号化、変換、および処理のステップは、ＭＴＦが、縮小セットフィルタカーネルを用いるデータストリームの数学的処理に空間的に相関するように行うことができる。

一態様で、この方法に、コンスタントパスプロファイルオプティックス（ｃｏｎｓｔａｎｔ ｐａｔｈ ｐｒｏｆｉｌｅ ｏｐｔｉｃｓ）を介する波面の位相修正から生じる光学像のＭＴＦへの縮小セットフィルタカーネルの策定ステップが含まれる。

この方法に、少なくとも１つの領域が０値を有する複数の領域からなる縮小セットフィルタカーネルを用いてデータを処理するステップを含めることができる。

波面符号化のステップに、ＰＳＦの情報のかなりの量が、最終画像内にある、光学像のＰＳＦが縮小セットフィルタカーネルの領域に空間的に相関するように波面を波面符号化すステップを含めることができる。

もう１つの態様で、この方法に、波面符号化、変換、および処理のステップの１つを修正し、波面符号化、変換、および処理のステップの他の１つを最適化し、繰り返す（設計ループ内で）ステップが含まれる。たとえば、処理するステップに、重み付き行列を用いて縮小セットフィルタカーネルを使用することを含めることができる。

もう１つの態様で、光学像を形成する波面を波面符号化するステップと、光学像をデータストリームに変換するステップと、波面符号化の効果を逆転し、最終画像を生成するためにカラー固有フィルタカーネルを用いてデータストリームを処理するステップを含む画像処理方法を提供する。

もう１つの態様で、光学像を形成する波面を波面符号化するステップと、光学像をデータストリームに変換するステップと、データストリームを色空間変換するステップと、色空間変換されたデータストリームの空間情報および色情報を１つまたは複数の別々のチャネルに分離するステップと、空間情報および色情報の一方または両方をブラー除去するステップと、ブラー除去された空間情報とブラー除去された色情報を再組合せするためにチャネルを再組合せするステップと、出力画像を生成するために再組合せされたブラー除去された空間情報および色情報を色空間変換するステップとを含む画像処理方法を提供する。この方法に、データストリームから雑音をフィルタリングする第１ステップを含めることができる。一態様で、この方法は、雑音をフィルタリングする第１ステップとの空間相関が存在するように、光学像のＭＴＦを生成する。雑音をフィルタリングする第２ステップを、再組合せされたブラー除去された空間情報および色情報を処理することによって行うことができる。この雑音フィルタリングの第２ステップに、光学像のＭＴＦの相補するものを使用するステップを含めることができる。

もう１つの態様で、光学像を生成する光イメージングシステムを提供する。波面符号化要素が、光学像を形成する波面を符号化する。検出器が、光学像をデータストリームに変換する。イメージプロセッサが、波面符号化の効果を逆転し、最終画像を生成するために、縮小セットフィルタカーネルを用いてデータストリームを処理する。フィルタカーネルは、光学像のＰＳＦに対して空間的に相補的とすることができる。フィルタカーネルの空間周波数領域版を、光学像のＭＴＦに相補的とすることができる。

もう１つの態様で、（ａ）カメラ内で光学像を形成する波面を位相修正する波面符号化要素と、（ｂ）光学像をデータストリームに変換する検出器と、（ｃ）波面符号化の効果を逆転し、最終画像を生成するために、縮小セットフィルタカーネルを用いてデータストリームを処理するイメージプロセッサとを有するカメラを含む電子デバイスを提供する。この電子デバイスは、たとえば、携帯電話および電子会議装置の１つとすることができる。

もう１つの態様で、画像処理方法に、光学像を形成するコンスタントパスプロファイルオプティックスを用いて波面を波面符号化するステップと、光学像をデータストリームに変換するステップと、波面符号化の効果を逆転し、最終画像を生成するためにデータストリームを処理するステップとが含まれる。

図２に、最適化された画像処理を有する波面符号化光イメージングシステム２００の１つを示す。システム２００には、協力して検出器２２０で中間像を形成するオプティックス２０１および波面符号化非球面光学要素２１０が含まれる。要素２１０は、システム２００内で波面を符号化するように動作する。たとえば、要素２１０は、波面の位相を修正する位相マスクである。検出器２２０からのデータストリーム２２５が、画像処理セクション２４０によって処理されて、波面が復号され、最終画像２４１が作られる。システム２００は、画像処理セクション２４０の特定の画像処理実施形態に最適に一致するフィルタカーネル値の縮小セットを有するフィルタカーネル２３０を有する。フィルタカーネル２３０は、システム２００の最終画像２４１がシステム１００の最終画像１４１と実質的に同等になるように、カーネル値の縮小セットを用いて構成し、配置することができる。下で詳細に説明するように、フィルタカーネル２３０と共に使用するのに適するカーネル値（すなわちタップ値または重み値）の縮小セットの例に、（ｉ）２のべき、（ｉｉ）２のべきの和および差、（ｉｉｉ）２のべきに制限された隣接タップ間の差、および（ｉｖ）処理される画像の空間的位置または色によって指定される値の範囲を有するタップが含まれる。

図３に、もう１つの最適化された画像処理を有する波面符号化光イメージングシステム３００を示す。システム３００に、協同して検出器３２０で中間像を形成するオプティックス３０１および波面符号化非球面光学要素３１０が含まれる。要素３１０は、システム３００内で波面を符号化するように動作する。検出器３２０からのデータストリーム３２５が、画像処理セクション３４０によって処理されて、波面が復号され、最終画像３４１が作られる。画像処理セクション３４０は、フィルタカーネル３３０を使用してデータストリーム３２５を処理する。検出器３２０、データストリーム３２５、フィルタカーネル３３０、および画像処理セクション３４０は、複雑さ、サイズ、および／またはコストに関して、システム３００を最適化するように構成され、配置される。最終画像３４１は、図１の最終画像１４１と実質的に同等とすることができる。下で詳細に説明するように、検出器３２０およびデータストリーム３２５に、後者の対角線再構成のための対角線読出および／またはカラーフィルタアレイ検出器のためのマルチチャネル読出を含めることができる。対角線再構成は、多数の色補間アルゴリズムが画像内の対角成分に作用するので、カラーフィルタアレイで処理を実行する時に有用である。カラー固有フィルタカーネルおよび処理によって、すべての色の均等な処理と比較して、低いコストおよび改善された性能が提供される。フィルタカーネル３３０は、図２のフィルタカーネル２３０と同一とすることができるが、当業者は、フィルタカーネル２３０に、下で説明するものなどの色および向き（たとえば対角線）畳み込みの効果を含めることができることを諒解するであろう。

図４に、最適化された画像処理を有するもう１つの波面符号化光イメージングシステム４００を示す。システム４００には、協同して検出器４２０で中間像を形成するオプティックス４０１および波面符号化非球面光学要素４１０が含まれる。要素４１０は、システム４００内で波面を符号化するように動作する。検出器４２０からのデータストリーム４２５が、画像処理セクション４４０によって処理されて、波面が復号され、最終画像４４１が作られる。画像処理セクション４４０は、フィルタカーネル４３０を使用してデータストリーム４２５を処理する。画像処理セクション４４０は、最終画像４４１が図１の最終画像１４１と実質的に同等になるように最適化することができる。オプティックス４０１および画像処理セクション４４０は、より低いコスト、サイズなどでのより高い性能を容易にする、対角線処理またはカーネル値の縮小セットを用いる処理など、代替再構成アルゴリズムについて連帯的に最適化される。

図５に、フィルタカーネル５３０および画像処理セクション５４０の一実施形態を示す。カーネル５３０およびセクション５４０は、たとえば、上のシステム２００〜４００のある実施形態と共に使用することができる（たとえば、図４のフィルタカーネル４３０および画像処理セクション４４０として動作するために）。図からわかるように、上の検出器２２０、３２０、および４２０と同様に、検出器５２０が、光学系の中間像を取り込み、上のデータストリーム２２５、３２５、および４２５と同様にデータストリーム５２５が、画像処理セクション５４０に入力される。フィルタカーネル５３０は、｛−２^Ｎ、…、−４、−２、１、０、１、２、４、…、２^Ｎ｝などの、２のべき（０を含む）である絶対値に制限された値を有する縮小セットフィルタカーネルである。下で詳細に説明するように、画像処理セクション５４０は、図示のようにシフトだけを介するフィルタカーネル５３０の乗算を実施するが、この動作だけが使用されるのは、フィルタカーネル５３０が２のべきに制限されているからである。一実施形態で、フィルタカーネル５３０を、指数またはこれと同等にその係数のシフトによって表すことができる。

具体的に言うと、ディジタルフィルタリングは、線形フィルタリングおよび非線形フィルタリングの両方に関する積の和である。図５の例では、フィルタカーネル５３０が、検出器５２０によってサンプリングされたブラーのある中間像に適用される。フィルタカーネル５３０およびブラーのある中間像を、別々の２次元物体と考え、フィルタカーネル５３０が、検出器５２０から出力される特定の画像画素にセンタリングされると考えられたい。画像画素とオーバーラップするすべてのカーネルで、関連するフィルタカーネル値と画像画素の積が作られ、この積が合計される。線形フィルタリングの場合に、この和が、最終的なフィルタリングされた画像画素である。完全な畳み込みのために、フィルタカーネル５３０が、同様に、画像全体の各他の画素にセンタリングされて、画素ごとに同様の値が作られる。したがって、Ｎ×Ｎ２次元フィルタカーネルを用いる線形フィルタリングのために、各フィルタリングされた画像画素は、Ｎ^２個の積とＮ^２−１個の積の和を有する。したがって、波面符号化光イメージングシステム２００、３００、および４００を、画像処理セクションの特定のハードウェアの実施形態に一致するめいめいのオプティックスおよびフィルタカーネルに関して最適化して、乗算および和の数、ならびに関連する実装コストを減らすことができる。０のカーネル値は、保管だけを必要とし、したがって、カーネル内のまばらさを制御することによっても、実装コストが減ることに留意されたい。

図６Ａおよび図６Ｂに、それぞれ、一般セットフィルタカーネルの概略図、および縮小セットフィルタカーネル（２のべきに基づく）の概略図を示す。図６Ａでは、一般セットフィルタカーネルが、２のべきである係数に制限されておらず、したがって、図示のように、各フィルタ係数（すなわちカーネル値）と画像画素の積を実行するのに、一般化された算術論理ユニット（ＡＬＵ５５０）が必要である。一般化されたＡＬＵ５５０は、中間論理（部分積５５２と称する）の拡張された系列および中間結果の累算（アキュムレータ５５４で）を実行して、最終結果（画素出力）を形成する。その一方で、図６Ｂでは、２のべきのカーネル値を有する縮小セットフィルタカーネルが実装されるので、積を形成するのに使用される算術論理を、シフタ５６０とすることができる。各画像画素のシフトされるビットの量は、２つのフィルタ値のべきの指数によって決定される。たとえば、縮小セットフィルタカーネルが、２つのカーネル値Ｔの２のべきの和からなる場合に、２つのシフタと１つの加算器だけが、算術論理内で使用される。すべてのシフタ５６０の累算によって、最終結果（画素出力）がもたらされる。したがって、図６Ｂの実施形態は、図６Ａの一般化されたＡＬＵ５５０に匹敵する。というのは、シフト論理および加算論理が、一般化された部分積の合計ではなく、シフト−加算シーケンスとして事前に定義されるからである。

当業者は、図６Ｂの算術論理が、他の乗算実施形態または一般化されたスケーリング実施形態と比較して好ましい可能性があることを諒解する。１つの例が、整数ベースのルックアップテーブル（ＬＵＴ）乗算である。短いビット深さのＡＬＵによって、しばしば、ＬＵＴ内のスカラオペランドが実施されて、命令セットの速度が改善され、命令セットが単純化される。というのは、一連の部分積合計が、ＬＵＴリソースと比較してより多くの時間およびレジスタ空間を消費する可能性があるからである。したがって、一般的な部分積アキュムレータ乗算器と同様に、ＬＵＴ乗算器によって、一般化されたスケーリング動作のリソースが割り振られる。その一方で、図６Ｂの算術論理では、２つの係数のべきを使用するビットシフト論理を介するスケーリング動作の縮小セットが使用される。したがって、図６Ｂの算術論理は、一般化されたフィルタカーネル値を処理するのに必要な一般化されたＡＬＵ５５０より何倍も小さく高速である。

図７Ａ、図７Ｂ、および図７Ｃに、線形フィルタの各タップで使用される一般化された算術論理機能および特殊化された算術論理機能を比較するために、図６Ａおよび図６Ｂの算術論理のさらなる詳細を示す。図７Ａに、一般化されたＡＬＵ５５０を概略的に示し、図７Ｂおよび図７Ｃに、特殊化されたＡＬＵ５６０の代替構成を示す。この例では、１と１２８の間の正の整数値にわたる範囲の、一般化されたフィルタセットカーネルおよび縮小セットフィルタカーネルを検討されたい。一般化されたセットフィルタカーネルは、１と１２８の間のすべての値を有することができる。縮小セットフィルタカーネルは、この範囲内の、２のべきである値すなわち、１、２、４、８、１６、３２、６４、および１２８だけを有することができる。次に、画像画素ｐと７の値の一般化されたセットフィルタカーネルの積を検討されたい。一般化されたＡＬＵ５５０を使用すると、３回のシフトすなわち（４＋２＋１）×ｐまたは図７ＡのＱ＝３が必要である。この３つのシフトは、係数４（２つのシフト）、２（１つのシフト）、および１（シフトなし）の部分積を形成するのに必要である。したがって、１２７の値を有する一般化されたセットフィルタカーネルの実施形態は、７つのシフトおよび５つの中間和を必要とする。

これと比較して、２のべきの値を有する縮小セットフィルタカーネルを使用する、ＡＬＵ５６０Ａは、１つのシフトだけを有する。ベクタマシンまたはパイプラインデバイスなどの一般化されたＡＬＵ５７０のより洗練された実施形態であっても、そのような単一シフトより多くのリソースを必要とする可能性が高い。

図７Ｃのもう１つの特殊化されたＡＬＵ５６０Ｂに、知られている２のべき以外の係数のシフト−減算シーケンスを示す。前の例を続けると、係数が、画素値ｐについて１２７である場合に、１２７×ｐの２のべきの実施形態の和は、６４＋３２＋１６＋８＋４＋２＋１＝１２７である。したがって、ＡＬＵ５６０Ｂでは、論理によって、減算が行われ、２の負のべきの合計を１２８−１＝１２７として進めることが可能になり、最終結果（画素出力）を作るために、シフトと１つの減算だけが必要になる。

図８に、１つの縮小セットフィルタカーネルに関する１つの波面符号化光イメージングシステム８００を示す。システム８００には、協同して検出器８２０で中間像を形成するオプティックス８０１および波面符号化非球面光学要素８１０が含まれる。要素８１０は、システム８００内で波面を符号化するように動作する。検出器８２０からのデータストリーム８２５が、画像処理セクション８４０によって処理されて、波面が復号され、最終画像８４１が作られる。画像処理セクション８４０は、フィルタカーネル８３０を使用してデータストリーム８２５を処理する。値および空間的位置の関数として、フィルタカーネル８３０内のフィルタカーネルの組を縮小することによって、画像処理セクション８４０のハードウェア実施形態を、オプティックス８０１、波面符号化非球面光学要素８１０、および検出器８２０に最適化することができる。フィルタカーネル８３０の領域Ａ、Ｂ、Ｃ、およびＤに、縮小された幾何セットが示されている。この例では、フィルタカーネル８３０の値が、領域ＡおよびＤでは０値に制限され、領域Ｂでは適度な範囲の値（またはダイナミックレンジ）に制限され、領域Ｃでは大きい範囲の値に制限される。指定された範囲内の特定のカーネル値のすべてが、２のべきの値、２のべきの値の和および差などから効率的に実施される。

したがって、波面符号化光イメージングシステム８００は、ハードウェアで実施されるフィルタカーネルの縮小幾何セットに最適化される（たとえば、フィルタカーネル８３０および画像処理セクション８４０を介して）。縮小幾何セットカーネルは、特殊化されたハードウェアプロセッサが、さまざまな異なる波面符号化オプティックスおよび検出器と共に使用されるか、波面符号化ズームオプティックスに似た、特性が変化するオプティックスと共に使用されるシステムで、特に重要である。たとえば、オプティックス８０１および光学要素８１０によって、被写界深度が調整され、カーネルサイズ内でスケーリングも調整される。したがって、指定されたダイナミックレンジは、フィルタカーネル８３０の係数値を適当な空間位置に位置決めすることによって達成される。スケーリングされたカーネル値が適当なダイナミックレンジの領域内にあるようにオプティックス８０１および光学要素８１０を設計することによって、画像処理セクション８４０が、最大のカーネルの制約の下で、そのようなオプティックス８０１および要素８１０に最適化される。異なるフィルタカーネルが、幾何領域Ａ〜Ｄ内で異なる値を有するので、値の配置が、画像処理セクション８４０の機能に関して最適化される。たとえば、要素８１０の回転（たとえば４５°の）によって、カーネルの同等の回転が指定されるが、これは許可されない。というのは、Ｂ領域が、Ｂ領域係数の適度なダイナミックレンジではなく、０に近い係数値だけを有する処理空間に入るからである。回転は、処理空間とカーネル空間の両方が回転される場合に限って許可される。

図９Ａに、検出器およびデータストリーム読出に関して最適化された１つの波面符号化光イメージングシステム９００Ａを示す。システム９００Ａには、協同して検出器９２０Ａで中間像を形成するオプティックス９０１Ａおよび波面符号化非球面光学要素９１０Ａが含まれる。要素９１０Ａは、システム９００Ａ内で波面を符号化するように動作する。検出器９２０Ａからのデータストリーム９２５Ａが、画像処理セクション９４０Ａによって処理されて、波面が復号され、最終画像９４１Ａが作られる。画像処理セクション９４０Ａは、フィルタカーネル９３０Ａを使用してデータストリーム９２５Ａを処理する。この実施形態では、検出器９２０Ａおよびデータストリーム９２５Ａが、通常の行および列の形では読み出されず、出力フォーマットは、たとえば対角線読出である。そのような対角線読出フォーマットでは、画像フォーマットが行および列に基づくものではないので、画像処理セクション９４０Ａは、直線処理（たとえば、四角形に分割可能な処理またはランクＮの処理）を使用しない。データフォーマットが対角線である場合に、オプティックス９０１Ａおよび波面符号化非球面光学要素９１０Ａは、点オブジェクト（またはその点像分布関数）の結果の画像に、データストリーム対角線と同等の形で対角線に沿った実質的にすべての情報が含まれるように配置される。対応するフィルタカーネル９３０Ａおよび画像処理セクション９４０Ａは、図示のように、対角線フォーマットで画像データ９２５Ａに最適に作用し、一方または両方の対角線を処理することができる。一実施形態で、対角線が、行−列順序に再写像され、直線の形で操作され、その後、対角線順序の出力シーケンスに再写像される。一実施形態で、オプティックス９０１Ａおよび光学要素９１０Ａが、画像処理セクション９４０Ａと共に最適化されて、コストを下げる幾何学的方位で情報を供給する。１つの例が、データストリーム読出９２５Ａの対角線角度に対応する形で回転された光学要素９１０Ａである。

図９Ｂに、検出器およびデータストリーム読出に関して最適化された１つの波面符号化光イメージングシステム９００Ｂを示す。システム９００Ｂには、協同して検出器９２０Ｂで中間像を形成するオプティックス９０１Ｂおよび波面符号化非球面光学要素９１０Ｂが含まれる。要素９１０Ｂは、システム９００Ｂ内で波面を符号化するように働く。検出器９２０Ｂからのデータストリーム９２５Ｂが、画像処理セクション９４０Ｂによって処理されて、波面が復号され、最終画像９４１Ａが作られる。画像処理セクション９４０Ｂは、フィルタカーネル９３０Ｂを使用してデータストリーム９２５Ｂを処理する。検出器９２０Ｂおよびデータストリーム９２５Ｂは、通常の直線の設計ではなく、通常の行および列のフォーマットで読み出されない。そうではなく、出力フォーマットは、たとえば、対数−極検出器からの環状または放射状をベースとする読出である。この読出フォーマットでは、画像フォーマットが行および列に基づかないので、画像処理セクション９４０Ｂが、やはり直線処理（たとえば四角形に分割可能な処理またはランクＮの処理）を使用しない。データフォーマットが円形または環状である場合に、オプティックス９０１Ｂおよび波面符号化非球面光学要素９１０Ｂは、点オブジェクト（またはその点像分布関数）の結果の画像に、データストリーム９２５Ｂと同等の形で環状領域または放射状領域に沿った実質的にすべての情報が含まれるように配置される。対応するフィルタカーネル９３０Ｂおよび画像処理セクション９４０Ｂは、図示のように円形フォーマットで画像データ９２５Ｂに最適に作用する。一実施形態で、同心円状のリングが、行−列順序に再写像され、直線の形で操作され、その後、円形順序の出力シーケンスに再写像される。一実施形態で、オプティックス９０１Ｂおよび要素９１０Ｂを、画像処理セクション９４０Ｂと共に最適化して、コストを下げる幾何学的方位で情報を供給することができる。

図１０に、カラーイメージングについて最適化された１つの波面符号化光イメージングシステム１０００を示す。システム１０００には、協同して検出器１０２０で中間像を形成するオプティックス１００１および波面符号化非球面光学要素１０１０が含まれる。要素１０１０は、システム１０００内で波面を符号化するように動作する。検出器１０２０からのデータストリーム１０２５が、画像処理セクション１０４０によって処理されて、波面が復号され、最終画像１０４１が作られる。画像処理セクション１０４０は、データストリーム１０２５の処理に、カラー固有カーネルフィルタ１０３０を使用する。オプティックス１００１、非球面光学要素１０１０、検出器１０２０、データストリーム１０２５、フィルタカーネル１０３０、および画像処理セクション１０４０は、各色チャネルが、最終画像１０４１を作る際に別々の特性を有するように協同する。たとえば、色の関数として、波面符号化光イメージングシステム１０００は、人間の目が各色を異なって「見る」という事実を利用する。人間の目は、緑の光りに最も敏感であり、青の光に最も鈍感である。したがって、青チャネルのフィルタカーネル１０３０および画像処理セクション１０４０の空間解像度、空間帯域幅、およびダイナミックレンジを、人間によって見られる時の画像１０４１の知覚される画像の劣化なしで、緑チャネルよりはるかに小さくすることができる。色の関数として要件を下げることによって、システム１０００の光−機械実施形態または光−電気実施形態は、すべての色チャネルを同等に扱うことと比べてさらに最適化される。

図１１Ａから１１Ｄに、特殊化されたフィルタリング（すなわち画像処理セクション１１４０内で）によって、最適化された波面符号化光イメージングシステム１１００の関連する実施形態を示す。各システム１１００Ａ〜１１００Ｄには、協同して検出器１１２０で中間像を形成するオプティックス１１０１および波面符号化非球面光学要素１１１０が含まれる。要素１１１０は、システム１１００内で波面を符号化するように動作する。検出器１１２０からのデータストリーム１１２５が、画像処理セクション１１４０によって処理されて、波面が復号され、最終画像１１４１が作られる。画像処理セクション１１４０は、フィルタカーネル１１３０を用いてデータストリーム１１２５を処理する。オプティックス１１０１、非球面光学要素１１１０、検出器１１２０、およびデータストリーム１１２５は、フィルタカーネル１１３０が特殊化されたフィルタリングを使用し、画像処理セクション１１４０が特殊化されたタップ１１４５を使用するように協同し、所望のコスト節約および／または設計特性を提供する。

具体的に言うと、図１１Ａから１１Ｄの光学システムに、所与の係数または係数のサブグループを考慮に入れて特定の構成を最もよく実施する４つの別々の最適化を示す。図１１Ａから１１Ｄの実施形態の組合せを、効率的な画像処理セクションと共に実施することができる。

図１１Ａに、グラディエントフィルタリング（ｇｒａｄｉｅｎｔ ｆｉｌｔｅｒｉｎｇ）動作の一実施形態を特に示す。オプティックス１１０１Ａ、非球面光学要素１１１０Ａ、検出器１１２０Ａ、およびデータストリーム１１２５Ａは、フィルタカーネル１１３０Ａがグラディエントフィルタリングを使用し、画像処理セクション１１４０Ａが特殊化された差動タップ１１４５Ａを使用するように協同する。フィルタカーネル１１３０Ａの縮小セットフィルタカーネルは、隣接する係数の間の差が効率的な実施形態をサポートするようになっている。たとえば、フィルタカーネル１１３０Ａおよび画像処理セクション１１４０Ａは、第１タップと第２タップの間の差、第２タップと第３タップの間の差、第３タップと第４タップの間の差などが、すべて２のべき（あるいは別の効率的に実施される値または値の組）になるように構成することができる。フィルタカーネル１１３０Ａの各差が、２のべき値の縮小セットである場合に、各実施されるフィルタタップのジオメトリは、差動タップ１１４５Ａである。差動フィルタタップ１１４５Ａは、カーネル１１３０Ａ内のすべての係数値について単一の和だけが必要になるので、効率的な実施形態である。ＦＩＲタップ遅延線によって使用されるものなどの従来技術の線形フィルタリングでは、元の画像画素値だけが次のタップに伝搬され、前のスケーリングされた値は、次のステージでは使用不能である。差動タップ１１４５Ａでの前にスケーリングされた値１１４６Ａの回復によって、単一の加算または減算で次の値を生成できるようになる。前の結果１１４６Ａが、次のタップに伝搬されるので、画像処理セクション１１４０Ａのハードウェア実施形態のサイズおよびコストのさらなる節約が実現される。加算および減算の他の組合せを、差動タップ１１４５Ａ内で組み合わせることができ、差動タップ１１４５Ａは、単一の加算（または減算）に制限されず、当業者は、加算および減算の任意の組合せを、前の結果１１４６Ａを前進させることと共に使用できることを諒解でき、最適の解決策を作成する能力を提供するのは、差動タップの特定の選択された設計ではなく、この前進動作１１４６Ａである。

数値によって、単一加算器差動タップのより明瞭な例が提供される。係数シーケンス［３、−５、１１、７、−１、０］を検討されたい。入力画素値がｐである場合に、第１タップは３ｐを生成する。次のタップは、−５ｐを生成するか、その代わりに、前のステップからの３ｐを使用して、−８ｐを生成し、２つの値を加算して３ｐ−８ｐ＝−５ｐを生成する。係数１１は、同様に、１６ｐを加算することによって前の−５ｐから得られる。この場合に、単一シフト（ｐから１６ｐ）および単一加算によって、１１倍のスケーリングファクタが達成されるが、部分積に基づく１１倍の従来の実施形態は、８＋２＋１または２つのシフトと２つの和を必要とすることに留意されたい。この例は、７ｐ＝（１１ｐ−４ｐ）および−１ｐ＝（７ｐ−８ｐ）によって継続される。いくつかの場合に、差を０とすることができ、その場合に、グラディエントカーネルは、図１１Ｂで説明するスケーリングカーネルの詳細になる。

図１１Ｂに、スケールフィルタリング動作の実施形態を示す。オプティックス１１０１Ｂ、非球面光学要素１１１０Ｂ、検出器１１２０Ｂ、およびデータストリーム１１２５Ｂは、フィルタカーネル１１３０Ｂがスケールドフィルタリング（ｓｃａｌｅｄ ｆｉｌｔｅｒｉｎｇ）を使用し、画像処理セクション１１４０Ｂが特殊化されたスケーリングタップ１１４５Ｂを使用するように協同する。フィルタカーネル１１３０Ｂの縮小セットフィルタカーネルは、隣接する係数の間のスケールファクタが効率的な実施形態をサポートするようになっている。たとえば、フィルタカーネル１１３０Ｂおよび画像処理セクション１１４０Ｂは、第１タップと第２タップの間、第２タップと第３タップの間、第３タップと第４タップの間などのスケールファクタが、すべて２のべき（あるいは別の効率的に実施される値または値の組）になるように構成することができる。隣接フィルタカーネル係数の各スケールファクタが、たとえば２のべきの値の縮小セットである場合に、各実施されるフィルタタップのジオメトリは、スケーリングタップ１１４５Ｂであり、２進コンピュータの単純なシフトを用いて実施することができる（他のスケールファクタは、他のデバイスによって２のべきより効率的な形で効率的に実施することができる）。選択されるスケールファクタと無関係に、スケーリングタップ１１４５Ｂは、いずれかのタップの画像画素のスケーリングされた値だけが、次のタップおよびカーネルアキュムレータに渡されるので、効率的な実施形態である。ＦＩＲタップ遅延線によって使用されるものなどの従来技術の線形フィルタリングでは、元の画像画素値が次のタップに伝搬され、スケーリングされた値も、アキュムレータに伝搬される。２つの値（遅延された画素値とスケーリングされた画素値）の保管に、２つのレジスタが必要である。図１１Ｂでは、フィルタカーネル１１３０Ｂのスケールドフィルタリングのゆえに、スケーリングされた画素値（前のタップからスケーリングされる）を保管する１つのレジスタだけが必要である。元の画像画素情報は、すべての後続タップに伝搬されないので、画像処理セクション１１４０Ｂのハードウェア実施形態のサイズおよび／またはコストの節約がさらに実現される。隣接画素間のスケーリングが２のべきのファクタであるフィルタカーネルの例が、［３、−１２、６、０、−３、０］である。

図１１Ｃに、分配算術プロパティフィルタリング動作の実施形態を示す。オプティックス１１０１Ｃ、非球面光学要素１１１０Ｃ、検出器１１２０Ｃ、およびデータストリーム１１２５Ｃは、フィルタカーネル１１３０Ｃが算術フィルタリングの分配プロパティを使用し、画像処理セクション１１４０Ｃが特殊化された分配算術タップ１１４５Ｃを使用するように協同する。タップ１１４５Ｃは、スケーリングされた値の累算を実行する。フィルタカーネル１１３０Ｃの縮小セットフィルタカーネルは、すべての係数の分配が効率的な実施形態をサポートするようになっている。たとえば、フィルタカーネル１１３０Ｃおよび画像処理セクション１１４０Ｃは、実施されるスケールファクタまたは乗数が２つだけになり、再構成に使用可能な５つの別個の係数を提供する（２つの係数の正と負の値および０係数を考慮することによって５つ）ように構成することができる。スケーリングフィルタタップ１１４５Ｃは、単一のタップを「オーバークロック」して多数の画素をサービスすることができるので、効率的な実施形態をサポートする。ある実施形態では、１１４５Ｃ内の乗算器のオーバークロックが選ばれ、ある実施形態では、図１１Ｄの１１４５Ｄなどのアキュムレータのオーバークロックが選ばれる。ＦＩＲタップ遅延性によって使用されるものなどの従来技術の線形フィルタリングでは、画素および係数のそれぞれについて別々の別個の演算子が必要であった。

図１１Ｄに、分配算術プロパティフィルタリング動作の実施形態を示す。オプティックス１１０１Ｄ、非球面光学要素１１１０Ｄ、検出器１１２０Ｄ、およびデータストリーム１１２５Ｄは、フィルタカーネル１１３０Ｄが分配算術フィルタリングを使用し、画像処理セクション１１４０Ｄが特殊化された分配算術タップ１１４５Ｄを使用するように協同する。タップ１１４５Ｄは、累算された値のスケーリングを実行する。フィルタカーネル１１３０Ｄの縮小セットフィルタカーネルは、すべての係数の分配が効率的な実施形態をサポートするようになっている。たとえば、フィルタカーネル１１３０Ｄおよび画像処理セクション１１４０Ｄは、実施されるスケールファクタまたは乗数が２つだけになり、再構成に使用可能な５つの別個の係数を提供する（２つの係数の正と負の値および０係数を考慮することによって５つ）ように構成することができる。図１１Ｃと同様に、スケーリングフィルタタップ１１４５Ｄは、単一のタップを「オーバークロック」して多数の画素をサービスすることができるので、効率的な実施形態をサポートする。ある実施形態で、１１４５Ｄ内などのアキュムレータのオーバークロックが選択される場合がある。ＦＩＲタップ遅延性によって使用されるものなどの従来技術の線形フィルタリングでは、画素および係数のそれぞれについて別々の別個の演算子が必要であった。

ある波面符号化非球面光学要素（たとえば図１１Ａ〜Ｄの別個の要素１１１０）およびあるフィルタカーネル（たとえば図１１Ａ〜Ｄの別個のカーネル１１３０）を設計する方法の１つで、画像処理をターゲットとする複数の重み付き行列が使用される。画像品質、収差に対する感度などの他のシステム設計目標も、関連する重み行列を有することができる。設計および最適化プロセスの一部として、重み付き行列を最適に結合して、選択された目標を達成することができる。オプティックスおよび信号処理を、連帯的に最適化できるので、たとえばオプティックスまたは信号処理の１つだけが最適化される場合に、他の形では理解が困難または不可能である多数のタイプの解決策が到達可能である。

たとえば、一般化された整数フィルタ（たとえば図６Ａの論理によって使用される）の１つの重み付き行列が、可能なすべての整数値について０の値を有する。対照的に、２のべきの縮小セットフィルタカーネル（たとえば図６Ｂの論理によって使用される）の重み付き行列は、２のべきである整数についてのみ０の値を有する。整数０は、実施が自明なので、０の重み値を有する。他の整数は、これより大きい重み値を有する。重み値が、２のべきでないが０より大きい整数に関するものである時に、オプティックス、フィルタカーネル、画像処理、および採集画像の間の最適化を行って、０を超える適当な重み値をセットすることによって、コストと性能を交換することができる。

１つの例で、２のべきの和を使用する縮小セットフィルタカーネルで、重み付き行列が、２のべきである整数について０の値、２つの２のべきの値の和または差から構成される整数（６＝４＋２または７＝８−１など）についてより大きい値、３つの２のべきの値から構成される整数（１１＝８＋２＋１または１１＝８＋４−１など）についてさらに大きい値を有する。２のべきの正と負の両方の値が使用される時に、７＝８−１なので、７などの整数の重みが減らされる。対照的に、一般的な実施形態（たとえば図６Ａ）は、３つの合計すなわち、７＝４＋２＋１を必要とする。

重み付き行列を使用して、グラディエントフィルタ（たとえば図１１Ａのフィルタ１１３０Ａ）またはスケーリングフィルタ（たとえば図１１Ｂのフィルタ１１３０Ｂ）を最適化することもできる。隣接する整数値に、その差またはグラディエントあるいはスケールファクタに基づく重みを与えることができる。１つの例で、整数値の各対に、その差またはスケールが２のべきである場合に０の値、そうでない場合に大きい値が割り当てられる。係数のペアリングは、画素の読出にも依存する。というのは、読出モードによって、隣接する画素の近接規則が決定され、読出およびカーネル方位の両方が、重み付き行列に含まれるからである。当業者は、他のグラディエントカーネルフィルタによって、整数の差が２のべきの和である時に小さい値を割り当てることができることを諒解する。

図１２に、図１のシステム１００によって処理された最終画像１２０１および図２のシステム２００によって処理された最終画像１２０２を例として示す。この例では、システム１００および２００の両方が、同一のオプティックス１０１および２０１ならびに同一の検出器１２０および２００を有するが、異なるフィルタカーネルおよび画像処理セクションを有する（四角形に分離可能な処理内でめいめいの１次元カーネルフィルタを実施する）。画像１２０１は、一般化された整数フィルタであるフィルタカーネル１３０を用いて形成された。画像１２０２は、２のべきの値を使用する縮小セットフィルタカーネルであるフィルタカーネル２３０を用いて形成された。図からわかるように、画像１２０１および１２０２の両方が、類似するが、画像１２０２が、改善されたコントラストを有する。さらに、比較すると、縮小セットフィルタカーネル２３０は、フィルタカーネル１３０の一般化された整数フィルタより小さく、よりコストの低い実施形態を有する。

図１３に、図１のシステム１００によって処理された最終画像１３０１および図２のシステム２００によって処理された最終画像１３０２を例として示す。図１２では、システム１００および２００の両方が、同等のオプティックス１０１および２０１ならびに検出器１２０および２２０を有するが、異なるフィルタカーネルおよび画像処理セクションを有する（四角形に分離可能な処理内でめいめいの１次元カーネルフィルタを実施する）。システム２００では、図２のフィルタカーネル２３０として、図１１Ａのカーネルフィルタ１１３０Ａが使用される。システム１００では、カーネルフィルタ１３０として、一般化された整数フィルタが使用され、したがって、画像１３０１は、一般化された整数フィルタを用いて形成された。画像１３０１および１３０２の両方が、画像１３０２がより低いコントラストを有することを除いて、類似する。コントラストは、１つの可能なイメージング目標でもあるので、減らされたコントラストをセットして、この目標を満たすことができる。さらに、画像１３０２を処理するのに使用された縮小セットグラディエントフィルタカーネルは、一般化された整数フィルタよりも小さく、実施のコストが低いものとすることができる。

図１４に、図１２および図１３で使用された３つのディジタルフィルタの周波数応答を示す。各フィルタは、わずかに異なる周波数応答および異なる実施形態を有する。あるイメージング応用例で、ある周波数応答が好まれ、別の応用例で、異なる周波数応答が好まれる。特定の縮小セット２のべき（たとえば、図２のフィルタカーネル２３０で使用される）の周波数応答が、最も高いコントラストを有する。一般化された整数の周波数応答が、次に高いコントラストを有し、縮小セットグラディエント２のべきフィルタカーネル１１３０が、この例では最も低い周波数応答を有する。これが、一般的な事例である必要はない。したがって、応用例に応じて、適当な応答が選択される。フィルタカーネルが、フィルタカーネル値の縮小セットを使用する場合に、減らされたコストおよび複雑さを有する実施形態を作ることができる。

さらに、図１０に関して、カラーに関する画像処理の最適化が、ある利点を有することができる。したがって、図１５に最適化されたカラー画像処理を有するもう１つの光イメージングシステムを示す。システム１５００には、協同して検出器１５２０で中間像を形成するオプティックス１５０１および波面符号化非球面光学要素１５１０が含まれる。要素１５１０は、システム１５００内で波面を符号化するように動作する。検出器１５２０からのデータストリーム１５２５が、一連の処理ブロック１５２２、１５２４、１５３０、１５４０、１５５２、１５５４、および１５６０によって処理されて、波面が復号され、最終画像１５７０が作られる。ブロック１５２２およびブロック１５２４は、雑音減少のためにデータストリーム１５２５を前処理するように動作する。具体的に言うと、ＦＰＮブロック１５２２は、検出器１５１０の固定パターン雑音（たとえば、画素利得およびバイアス、ならびに応答の非線形性）を訂正し、事前フィルタリングブロック１５２４は、波面符号化光学要素１５１０の知識を使用して、データストリーム１５２５からさらに雑音を減らす。色変換ブロック１５３０は、ＲＧＢ色成分（データストリーム１５２５からの）を新しい色空間に変換する。ブラーおよびフィルタリングブロック１５４０は、新しい色空間チャネルの１つまたは複数をフィルタリングすることによって、新しい色空間画像からブラーを除去する。ブロック１５５２およびブロック１５５４は、さらなる雑音低下のために、ブロック１５４０からのデータを後処理するように動作する。具体的に言うと、ＳＣブロック１５５２は、ブロック１５４０内のディジタルフィルタリングの知識を使用して、データの各単一チャネル内の雑音をフィルタリングし、ＭＣブロック１５５４は、ブロック１５４０内のディジタルフィルタリングの知識を使用して、データの複数のチャネルから雑音をフィルタリングする。画像１５７０の前に、もう１つの色変換ブロックによって、色空間画像成分をＲＧＢ色成分に変換する。

図１６Ａに、カラーフィルタアレイ検出器１６０２から最終３色画像１６６０を作る１つのカラー処理システム１６００を例として示す。システム１６００では、オプティックス１６０１を（１つまたは複数の波面符号化光学要素または面と共に）使用して、システム１６００の波面を符号化し、検出器１６０２で中間光学像を作る。したがって、オプティックス１６０１の波面符号化によって、検出器１６０２にブラーのある画像が形成される。この中間像が、ＮＲＰおよび色空間変換ブロック１６２０によって処理される。たとえば、ブロック１６２０の雑音低下処理は、検出器の非線形性および相加性雑音を除去するように機能するが、ブロック１６２０の色空間変換は、合成画像の間の空間的相関を除去して、ブラー除去処理（ブロック１６４２および１６４４での）に必要なシリコンおよび／またはメモリの量を減らすように機能する。ブロック１６２０からのデータは、２つのチャネルすなわち、空間画像チャネル１６３２および１つまたは複数の色チャネル１６３４に分割される。空間画像チャネル１６３２は、色チャネル１６３４より多くの空間的詳細を有する。したがって、支配的な空間チャネル１６３２は、処理ブロック１６４２内のブラー除去の大多数を有する。色チャネルは、処理ブロック１６４４での実質的により少ないブラー除去処理を有する。ブラー除去処理の後に、チャネル１６３２および１６３４が、もう一度組み合わされ、雑音低下処理および色空間変換ブロック１６５０内で処理される。これによって、ブラー除去によって強調された画像雑音がさらに除去され、色空間変換によって、画像が最終画像１６６０のＲＧＢに変換される。

図１７から図２３に、さらに、システム１６００の特定の実施形態の色空間変換処理およびブラー除去処理を示す。検出器１６０２は、Ｂａｙｅｒカラーフィルタアレイを有するＣＣＤ検出器である。図１７に、システム１６００を介するがオプティックス１６０１の波面符号化なし（すなわち、波面符号化オプティックスがオプティックス１６０１に存在しない）でイメージングされた実際の物体の、赤、緑、および青の成分画像１７００、１７０２、および１７０４を示す。画像１７００、１７０２、および１７０４では、各カラー画像が、互いの画像との高い度合の空間的類似性を有することと、画像の多くの部分にブラーがあることが明白である。ブラーのある画像は、下で説明するように、波面符号化なしでは訂正可能でない。

図１８に、波面符号化オプティックス１６０１を有するシステム１６００を介してイメージングされた同一の物体の生の赤、緑、および青の成分画像１８００、１８０２、および１８０４を示す。画像１８００、１８０２、および１８０４は、データストリーム１６２５から導出された、ブロック１６２０による処理の前の画像を表す。各成分画像１８００、１８０２、および１８０４は、やはり、互いの画像にかなり類似し、各画像は、非球面オプティックス１６０１に起因するブラーを有する。

図１９に、ブロック１６４２のブラー除去処理の後の図１８の色成分画像を示す。画像１９００は、ブロック１６４２の後の画像１８００であり、画像１９０２は、ブロック１６４４の後の画像１８０２であり、画像１９０４は、ブロック１６４４の後の画像１８０４である。この例では、処理ブロック１６４４が、何の処理も実行しなかった。やはり、処理ブロック１６２０および１６５０は使用されなかった。各成分画像１９００、１９０２、および１９０４は、鮮明で明瞭であり、３つの成分画像のすべての組合せによって、鮮明で明瞭な３色画像がもたらされる。

図２０に、空間チャネルおよび色チャネル１６３２および１６３４の処理の前の、ＲＧＢからＹＩＱ色空間への色空間変換（ブロック１６２０）の後の成分画像２０００、２００２、および２００４を示す。したがって、成分画像２０００、２００２、および２００４は、ブロック１６２０による、チャネル１６３２およびチャネル１６３４に対する処理の後の、図１８の成分画像を表す。Ｙチャネル画像２０００が、図１８の赤および緑の画像１８００および１８０２に類似することに留意されたい。しかし、Ｉチャネル画像２００２およびＱチャネル画像２００４は、図１８のどのチャネルとも大きく異なる。ＹＩＱ色空間変換（ブロック１６２０）は、空間情報の大部分を含むＹチャネル成分画像２０００をもたらした。Ｉチャネル成分画像２００２には、多少の空間的情報が可視であるが、Ｙチャネルよりはるかに少ない空間情報しか含まない。各画像の右にある輝度スケールの差に留意されたい。Ｑチャネル成分画像２００４は、これらの画像に関して示された輝度スケールでは、本質的に空間情報を有しない。

図２１に、空間チャネル１６３２のブラー除去処理１６４２の後のＹＩＱ波面符号化成分画像２１００、２１０２、および２１０４を示す。Ｉチャネル画像２００２およびＱチャネル画像２００４は、ブロック１６４４でフィルタリングされず、これによって、処理およびメモリスペースが節約される。したがって、画像２１０２および２１０４は、画像２００２および２００４と同一である。当業者は、低分解能で少ビット深さのフィルタを用いてブロック１６４４で画像２００２および２００４をフィルタリングできることを諒解する。図２１のフィルタリングされたＹＩＱ画像がＲＧＢ空間に変換（ブロック１６５０）された後に、最終３色画像１６６０は、図１９に基づく最終画像を作るのに必要なものよりはるかに少ない処理で、鮮明で明瞭である。

ＹＩＱ色空間は、使用可能な多数の線形および非線形の色空間変換の１つである。色空間変換を実行する方法の１つが、画像全体を表す単一の空間を選択することである。波面符号化オプティックスおよびプロセッサは、信号処理の量を減らし、画像品質を改善する、最適の動的な色空間変換を達成できるように協同することができる。たとえば、図１６Ａで、波面符号化システム１６００が、画像全体にまたがって空間的に変化する色空間処理ブロック１６２０を使用することができる。そのような空間変動を、ＤＣＳ（Ｄｙｎａｍｉｃ Ｃｏｌｏｒ Ｓｐａｃｅ）と表すことができる。この空間的に変化する色空間変換１６２０は、１領域で単一の変換を実行し、この領域は、動的であり、閉じたものとして制約されない。たとえば、上半分に青い空、下半分に砂浜がある画像は、次の分割色空間すなわち、画像の上半分の「青空間情報保存」色空間変換および下半分の「反転茶色情報保存」色空間変換によく適する。そのような空間的に変化する領域は、四角形ブロックの順序付きセット、ランダムに割り当てられる画素、または各シーンが変化する際に最適の形で定義される動的に割り振られる輪郭線として定義することができる。変換処理１６２０での動的ブロック割振り方法は、イメージングシステムで望まれる、総計算能力、所望のスループット、および精度のトレードオフに敏感とすることができ、オプティックス１６０１の空間相関効果の知識によって案内または制限することができる。

一般に、ＤＣＳは、組み合わされた雑音低下、色平面アレイ補間、およびコストを減らされた画像ブラー除去を提供することができる。ＤＣＳアルゴリズムは、ソフトウェアベ
ースのシステムおよびハードウェアベースのシステムでのさまざまな処理手法に適当である。ＤＣＳの１バージョンによって、動的線形色空間変換が実施される。ＤＣＳの他のバージョンによって、動的非線形色空間が実施される。ＤＣＳは、処理システムリソースおよびアプリケーション目標に応じて、非線形色空間変換またはＨＳＶなどの他の変換と組み合わせるか、それに続くものとすることができる。

一般的なＤＣＳアルゴリズムは、図１６Ｂの、相関および主成分の分析を介して理解することができる。図１６Ｂは、図１６Ａのブロック１６２０に完全におさまる。Ｂａｙｅｒセンサ１６０２および出力画像１６３２に、関連を強調するために図１６Ａと同一の符号を与えた。ＤＣＳは可逆変換なので、当業者は、正確にまたは近似的にのいずれであれ、逆ＤＣＳ処理が、完全に図１６Ａのブロック１６５０内で行われることを理解する。任意の数の色チャネル（複数）を伴う画素の任意の領域のマルチチャネル画像内の色の推定された相関からの主成分（１つまたは複数の主要な色）の判定によって、その特定の領域に関する最適の（最小二乗の意味で）色空間変換が決定される。言い換えると、ＤＣＳを用いると、図１６Ａのブロック１６２０（および逆ＤＣＳ変換を介して１６５０）を、他のすべての波面符号化システムパラメータと共に連帯的に最適化できるようになる。図１６Ｂの検出器１６０２のＢａｙｅｒ検出器の場合に、色チャネル行列は、サンプリングされた色チャネルを行列１６０３Ａの列に集めることによって形成される。さまざまな方式を使用して、各所望の位置での画像色チャネルの推定をもたらすことができる。領域全体についてすべての画素位置を推定する必要はない。例として、図１６Ｂに、本質的に近くの赤画素値および青画素値をすべての緑画素位置にコピーし、４×４領域の１６画素から８×３行列内のデータの８行を生成するゼロ次ホールド（ｚｅｒｏ−ｏｒｄｅｒ ｈｏｌｄ）法を示す。色チャネル行列１６０３Ａの相関推定１６０３Ｂの主成分分解によって、色空間変換１６０３Ｃがもたらされる。これは、マルチチャネルカラーシステムの色チャネル行列を形成するための値のスタッキングの１つの例にすぎない。当業者は、本明細書の範囲から逸脱せずに、他の配置が可能であることを諒解する。

相関行列１６０３Ｂの主成分１６０３Ｃの推定値は、この特定の領域およびチャネル選択の最適の色空間変換行列を形成する。図１６Ａの空間輝度画像１６３２の入手は、第１主成分を図１６Ｂの色チャネル行列１６０３Ａに適用し、図１６Ａの変換された空間画像１６３２を形成することによって達成される。次に、図１６Ａのブラー除去機能１６４２によって、空間画像１６３２を処理し、画像再構成および同時Ｂａｙｅｒパターン補間を提供する。次に、元の色空間への復帰が、ブロック１６５０で、各領域について決定された色チャネル変換行列１６０３Ｃの逆の形を使用して再構成された空間チャネルを再変換することによって行われ、最終画像１６６０を形成する。色チャネル画像１６３４も、この例では２次および３次の主成分を使用することによって、ＤＣＳから抽出することができる。

しかし、ＤＣＳ変換時に、空間チャネル１６３２だけが空間チャネルブラー除去機能１６４２によって処理されるという保証はない。変換された各ブロックまたは各領域に、それ自体の独自の写像行列が含まれるが、すべての領域が、共通の空間画像１６４２を共有する。多くの場合に、所与の領域の最適の変換は、空間画像１６４２へのすべての空間情報の完全な変換を達成しない。その場合に、色チャネルのブラー除去を、ブラー除去処理ブロック１６４４によって行うことができる。その後、最終画像組立が、色空間変換１６５０のめいめいの行列を使用して動的領域を「彩色」することによって実行される。

図２２に、ＤＣＳアルゴリズムによる色空間変換の後の図１８の成分画像を示す。動的に変化する色空間を用いる変換の後に、本質的に、すべての空間情報がチャネル１（２２００）に含まれる。他の２つの色チャネル２（２２０２）および３（２２０４）は、図示の輝度スケールに関して、本質的に空間情報を有しない。図２３に、画像ブラーを除去するフィルタリングの後のこれらの成分画像を示す。この例では、やはりチャネル２（２３０２）および３（２３０３）の低い解像度に起因して、チャネル１（２３００）だけがフィルタリングされる。ＤＣＳからＲＧＢへの変換（処理ブロック１６５０）の後に、最終画像が、やはり鮮明かつ明瞭であり、図２１の最終画像と比較してより少ない色アーチファクトを有する（および、より厳しくない処理およびメモリの要件を有する）。

本明細書で論ずる波面符号化イメージングシステムは、携帯電話、ビデオ会議装置、および小型カメラなどの電子デバイス内で使用される時に、ある利点を有する。図２４に、そのような利点を示す１つの電子デバイス２４００を示す。デバイス２４００は、図示のように物体空間２４０４からの像をディジタル検出器２４０６（たとえば３色ＣＭＯＳアレイ）に形成する光学レンズ２４０２を有する。検出器２４０６は、像をデータストリーム２４０８に変換する。マイクロプロセッサ２４１０がデータストリームを処理して、最終画像２４１２を生成する。

光学レンズ２４０２は、波面符号化式でもあり、たとえば、レンズ２４０２の一表面２４１４が、波面符号化非球面光学要素である。したがって、光学レンズ２４０２および要素２４０４は、上で述べたオプティックスおよび波面符号化要素（たとえば、図２のオプティックス２０１および要素２１０）として機能することができる。マイクロプロセッサ２４１０は、たとえば、上で述べた処理セクション（たとえば、図２の画像処理セクション２４０）である。マイクロプロセッサ２４１０は、データストリーム２４０８の処理にフィルタカーネルを使用し、これによって、レンズ２４０２による位相操作に起因する波面を復号し、明快な画像２４１２を生成する。画像２４１２は、たとえば、ＬＣＤディスプレイ２４１４または他のディスプレイ画面に表示することができる。

光学レンズ２４０２の波面符号化およびマイクロプロセッサ２４１０による後処理の効果は、たとえば、焦点ずれなどのミスフォーカス関連収差、フィールド湾曲、または製造関連および組立関連のミスフォーカスを減らすように構成し、配置することができる。したがって、電子デバイス２４００は、他の複雑な光学要素の必要なしに、単一の（プラスティック）光学要素２４０２を使用することができる。

さらに、適当なフィルタカーネル（たとえば、２のべきのカーネル値を有する縮小セットフィルタカーネル）および対応する位相マスク（すなわち、表面波面符号化要素２４１４）を選択することによって、マイクロプロセッサ２４１０が、プロセッサ負荷およびメモリ要件を減らされて動作することができる。１つの例で、マイクロプロセッサ２４１０が、図５の画像処理セクション５４０およびカーネル５３０を使用して、そのようなプロセッサ負荷およびメモリ要件を減らす。もう１つの例で、マイクロプロセッサ２４１０が、図６Ｂおよび／または図７の論理アーキテクチャを使用して、そのようなプロセッサ負荷およびメモリ要件を減らす。同様に、マイクロプロセッサ２４１０は、図８で述べた画像処理セクション８４０およびカーネル８３０を使用して、ある他の利点を達成することができる。色処理目標を含む設計上の考慮点に応じて、マイクロプロセッサ２４１０は、たとえば、図１０、図１６Ａ、および／または図１７に関して開示された処理技法を使用することができる。もう１つの例で、電子デバイス２４００が、図９Ａまたは図９Ｂあるいは図１１Ａ〜１１Ｄの１つのイメージングアーキテクチャを実施する光−電子構成要素を使用することができる。処理要件を減らすことによって、電子デバイス２４００を、より安価なプロセッサまたはより少ないメモリを用いて構成することができる。当業者は、メモリ節約が、同様に他のメモリデバイスまたはカード２４１６に変形され、さらなる節約をもたらすことを諒解する。

当業者が諒解するように、電子デバイス２４００に、さらに、たとえば携帯電話の機能性など、他の所望の動作および機能性を組み込むために他のエレクトロニクス２４２０を含めることができる。

したがって、上で説明した波面符号化光イメージングシステムでトレードオフまたは「最適化」を行って、たとえば画像特性目標および／またはコスト目標を達成できることが明白である。たとえば、波面符号化イメージングシステムの構成要素を示す図２５を検討されたい。構成要素オプティックス２５０１は、たとえば図２のオプティックス２０１である。位相マスク２４１０は、たとえば、図２の波面符号化非球面光学要素２１０である。検出器構成要素２５２０は、たとえば、図２の検出器２２０であり、カーネルフィルタ２５３０は、たとえば図２のフィルタカーネル２３０である。画像処理セクション２５４０は、たとえば図２のセクション２４０である。

図２５に、縮小セットフィルタカーネル２５３０（たとえば図８）を使用する３要素最適化２５７０を示す。したがって、最適化２５７０によって、波面符号化オプティックス２５１０、フィルタカーネル２５３０、および画像処理セクション２５４０が（設計において）一緒に結び付けられる。標準的な検出器２５２０およびオプティックス２５０１は、所望の場合に、最適化２５７０では必ずしも最適化されない。もう１つの例で、４要素最適化２５７２では、特定の読み出しフォーマット（たとえば図９Ａ、９Ｂの）を有する検出器２５２０が使用される。したがって、最適化２５７２では、波面符号化オプティックス２５１０、フィルタカーネル２５３０、および画像処理セクション２５４０が、（設計において）一緒に結び付けられる。カラー画像を最適化する一例で（たとえば図１０の）、２要素最適化２５７４に、画像処理セクション２５４０と一緒に結び付けられた（設計において）カラー固有検出器２５２０を含めることができる。当業者が諒解するように、オプティックス２５０１を、最適化２５７０、２５７２、および２５７４のいずれかと共に最適化して、たとえば他の最適化をサポートするイメージング特性を達成することができる。

本明細書のある実施形態では、上で説明したイメージングシステムで使用されるオプティックスおよび光学要素の形も、最適化される。そのような形は、たとえば、ミスフォーカス様収差、高ＭＦＴ、および低雑音利得値に対する低い変化性をもたらす。下で詳細に説明するように、これらのオプティックスおよび光学要素は、顕微鏡、内視鏡、望遠鏡、機械視覚装置、小型カメラ、および携帯電話のカメラ、ビデオカメラ、ディジタルカメラ、バーコードスキャナ、生物測定システムなどのイメージングシステムを構成するか、その一部とすることができる。簡単に説明できる、本明細書のシステム最適化に適する波面符号化オプティックスの２つの例の光学的な形に、分離可能なべきの加重合計ｐ（ｘ、ｙ）＝Ｓｕｍ ａｉ［ｓｉｇｎ（ｘ）｜ｘ｜＾ｂｉ＋ｓｉｇｎ（ｙ）｜ｙ｜＾ｂｉ］と、コサイン波形ｐ（ｒ、θ）＝Ｓｕｍ ａｉ ｒ＾ｂｉ×ｃｏｓ（ｃｉ×θ＋φ）を含めることができる。下で詳細に説明するように、オプティックスに、波面符号化光学要素（たとえば図２の要素２１０）内の位相変動をもたらす特殊化された輪郭面（時々、「コンスタントプロファイルパスオプティックス（ｃｏｎｓｔａｎｔ ｐｒｏｆｉｌｅ ｐａｔｈ ｏｐｔｉｃｓ）」と称する）も含めることができる。やはり、波面符号化光学要素およびオプティックス（たとえば、それぞれ要素２１０およびオプティックス２０１）を、単一の光学要素または光学システムとして組み合わせることができる（たとえば、レンズおよび／または鏡を使用して）。一例で、オプティックスによって、カーネルフィルタと相補的な周波数領域を有するＭＴＦが、光イメージングシステム内で作られ、たとえば、ＭＴＦ内の大出力が、フィルタカーネル内の少出力を暗示する。ＭＴＦおよびフィルタカーネルは、本明細書に記載のように、ある度合の空間的相関（たとえば、フィルタカーネルと波面符号化非球面光学要素の間の）を提供することができる。

上で記載したように、これらの波面符号化イメージングシステムは、従来型でない非球面オプティックスおよび画像処理を有する。そのようなシステムの１つの可能な目標は、ミスフォーカス様収差に実質的に鈍感な最終画像を作ることである。この鈍感さによって、（ａ）大きい被写界深度または焦点深度、（ｂ）たとえばミスフォーカス様収差を作成する製造誤差および／または組立誤差に対する許容量、および／または（ｃ）光学的に生成されるミスフォーカス様収差（たとえば、球面収差、非点収差、ペツバルひずみ、色収差、温度関連ミスフォーカス）がサポートされる。そのようなイメージングシステム内の内部オプティックスは、やはりこれらのミスフォーカス様収差に鈍感とすることができる特殊化されたブラーを有する像を形成する。さらに、コマの影響を、そのような波面符号化光イメージングシステム内で減らすこともできる。検出器（たとえば、図２のディジタルデータストリーム２２５を生成するために中間像を取り込む検出器２２０）による取込の後に、画像処理を動作させて、中間像に関連するブラーを除去して、鮮明で明瞭な、高い信号対雑音比（ＳＮＲ）を有する最終画像を作ることができる。

そのような波面符号化イメージングシステムを可能にする設計プロセスは、光学システムがミスフォーカス様収差に鈍感になり、点像分布関数（ＰＳＦ）のサイズおよび形状が、コンパクトであり、波長、画角、物体位置などの関数として一定になり、結果のＭＴＦが高い値を有するようになるものとすることができる。以下のコンスタントプロファイルパスオプティックスは、そのようなシステムでの使用に関する効率的な設計を提供する。

ある種のコンスタントプロファイルパスオプティックスは、光学的な形のパラメータ的に効率的な記述（たとえば、パラメータ数が少ない）に基づき、そのような形は、たとえば、選択されたイメージング特性および／またはコスト特性を有する高性能光イメージングシステムをサポートすることができる。一般に、このパラメータ的に効率的な形は、必要ではない。すなわち、非球面表面の各部分の表面高さを、設計および最適化で使用される独立変数として指定することができるが、この一般的な事例を最適化する変数の数は、極端に多く、非実用的である。したがって、コンスタントプロファイルパスオプティックスによって、設計および最適化に使用される強力で一般的な光学的な形が容易にされる。

一実施形態で、コンスタントプロファイルパスオプティックスに、非球面光学要素が含まれ、表面高さが、パスに沿って定義され、表面の関数形式またはプロファイルが、パスの正規化された版に沿って同一である。実際の表面高さは、パスごとに異なるが、各パスに沿った関数形式またはプロファイルは、変化しない。光学要素上のそのような表面プロファイルは、光学システム内で波面の位相を修正するように動作し、これらの位相変化によってもたらされる画像は、画像処理で、たとえばフィルタカーネルの動作を介して逆転される。たとえば、あるコンスタントプロファイルパスオプティックスが、光イメージングシステム内で波面位相を修正した時に、中間像（検出器によって取り込まれる）での結果のＭＴＦは、画像処理に使用されるフィルタカーネルの機能的特性および空間的特性に相関する。したがって、コンスタントプロファイルパスオプティックスおよびフィルタカーネルを、互いに相補的として、所望の画像特性を提供することができる。

図２６に、コンスタントプロファイルパスオプティックスの４つの例２６００Ａ〜２６００Ｄを示す。たとえば、プロファイル２６００Ａ内のパスを検討されたい。これらのパスは、オプティックスの正方形の輪郭線に沿ったものである。この光学的な形について、正規化された表面高さは、正方形輪郭線の正規化された版の上で同一である。プロファイル２６００Ｂのパスは、５角形の形状であり、各５角形の正規化された版に沿った表面高さの関数形式は、同一である。プロファイル２６００Ｃおよび２６００Ｄのパスは、それぞれ十字型および星型である。プロファイル２６００Ａおよび２６００Ｂに似て、そのような関数形式は、共通パスに沿った共通の正規化された表面高さを有する。

図２７に、コンスタントプロファイルパスオプティックスの他の変形形態２７００Ａおよび２７００Ｂを示す。プロファイル２７００Ｂは、パストレースが、領域＃１に示されるものなど、閉じた輪郭線を有することができる波面符号化オプティックスを表す。その一方で、プロファイル２７００Ａのパスは、開いた輪郭線をたどる。両方のプロファイルで、領域＃１に、１組の関連するパスが含まれる。領域＃１内の各パスの正規化された版に沿った表面高さの関数形式は、同一である。同じことが、領域２、３、４、および５にあてはまる。各領域内の各パスに沿った実際の表面高さは、異なるものとすることができる。異なる領域での関数形式は、関連してもしなくてもよい。プロファイル２７００Ｂのオプティックスに、開いたパスおよび閉じたパスの組合せが示されており、領域＃１のパスは、閉じた輪郭線をたどり、他の４つの領域のパスは、開いた輪郭線をたどる。したがって、各パスに沿った表面高さの関数形式は、領域ごとに同一とすることができ、なおかつ、実際の表面高さを、領域内で変更することができる。

当業者が諒解するように、図２６および図２７に示されたパスプロファイルの複数の変形形態の１つに、非直線パスを含めることができる。すなわち、図２６および図２７のプロファイルに示されたものなどの直線パスは、パスが曲線の線分からなる他の形をとることができる。たとえば、直線領域に分割されたプロファイル２７００Ａの５角形の形を、その代わりに、パスとして円弧を定義する別々の領域を用いて円形にすることができる。

コンスタントプロファイルパスオプティックスでたどられるパスのタイプは、図２８のように、異なる領域で変更することもできる。プロファイル２８００Ａの外側領域のパスは、閉じた正方形の輪郭線をたどり、その内側領域は、閉じた円形の輪郭線をたどる。この内側領域と外側領域を、プロファイル２８００Ｂに示されているように逆転することができる。２８００Ｂに示されているように、外側領域のパスの一部だけが、閉じている必要がある。

図２９に、オプティックスの少なくとも１つの領域が、コンスタントプロファイルパスオプティックスと共に変更されない２つのプロファイル２９００Ａおよび２９００Ｂを示す。プロファイル２９００Ａおよび２９００Ｂでは、パスが、オプティックスの外側領域だけで輪郭線を形成し、内側領域は、パスを有しておらず、したがって、特殊化された表面形状を有しない。プロファイル２９００Ａおよび２９００Ｂのオプティックスは、プロファイル２６００Ａおよび２６００Ｂに関連するが、内側領域のパスに０の振幅が適用されたオプティックスと考えることができる。

図２６〜図２９の特殊化された表面を記述するパラメータは、２つの成分すなわち１）特定のオプティックスのパスに沿った光学的表面高さのプロファイルを記述するパラメータ、および２）パスを横切る表面高さを記述するパラメータの合成と考えることができる。構成要素の第２組は、たとえば、所与の領域内の各パスの振幅変化を記述することができる。ある領域内のパスの組の振幅に０がセットされる場合に、図２９のオプティックスをもたらすことができる。

一実施形態で、コンスタントプロファイルパスオプティックスの１領域の表面の数学的記述が、
Ｓ（Ｒ、θ、ａ、ｂ）＝Ｃ（ａ）Ｄ（ｂ）
と記述され、ここで、領域内の各パスに沿った光学表面が、Ｃ（ａ）によってパラメータ化され、領域内の特定のパスについて、Ｄ（ｂ）で評価される。パラメータ「ａ」および「ｂ」によって、特定の表面の特性が定義される。Ｃ（ａ）からの寄与は、１領域内のすべてのパスで一定である。Ｄ（ｂ）からの寄与は、領域内のパスごとに変化する。パラメータＣ（ａ）によって、各パスに沿った表面と、Ｄ（ｂ）の領域内のパスの間またはこれを横切って変調される表面全体を定義することができる。コンスタントプロファイルパスオプティックスの光学的表面は、特定のオプティックスのパスに沿う方向およびパスを横切る方向に関して分離可能でもある。

パスによって、正方形の輪郭線の開いた側面が定義される２６００Ａの光学表面を検討されたい。これは、左側、右側、上側、および下側の４つの領域につながる。この４つの領域のパスに沿った表面プロファイルの数学的記述の１つの例が、
Ｃ（ａ）＝ａ_０＋ａ_１ｘ＋ａ_２ｘ^２＋… ｜ｘ｜＜１
である。したがって、パラメータａ_ｉの組によって、オプティックスの４つの領域の正規化されたパスのそれぞれに沿った表面高さの多項式記述が形成される。この場合に、領域内の各パスの長さが１に正規化され、その結果、基本表面プロファイルＣ（ａ）の「ストレッチング」が、各パスに適用される。パス長は、正規化が有用である可能性はあるが、正規化された長さと考える必要はない。

各パスを、各パスに沿った表面の関数形式を変更せずに、利得または定数項によって修正することができる。１領域内のパスを横切って適用される利得の１つの例を、数学的には次のように記述することができる。
Ｄ（ｂ）＝ｂ_０＋ｂ_１（ＰａｔｈＮｕｍｂｅｒ）＋ｂ_２（ＰａｔｈＮｕｍｂｅｒ）^２＋ｂ_３（ＰａｔｈＮｕｍｂｅｒ）^３＋…
ＰａｔｈＮｕｍｂｅｒ＝０、１、２、３、…
ここで、ＰａｔｈＮｕｍｂｅｒパラメータは、領域内のパスの組を記述する値のシーケンスである。領域内のパスの数は、多くなる可能性がある。たとえば、光学中心に最も近い領域＃１（プロファイル２７００Ａ）のパスに、ＰａｔｈＮｕｍｂｅｒ＝０を割り当てることができ、光学中心からわずかに遠い隣接するパスに、ＰａｔｈＮｕｍｂｅｒ＝１を割り当てることができ、次の隣接するパスにＰａｔｈＮｕｍｂｅｒ＝２を割り当てることができ、以下同様である。次に、表面全体は、数学的には「パスに沿った」面記述と「パスを横切る」面記述の積からなる。数学的には、１領域内の表面記述を、次式によって与えることができる。
Ｓ（Ｒ、θ、ａ、ｂ）＝Ｃ（ａ）Ｄ（ｂ）
ここで、光学表面は、パラメータベクトルａおよびｂによってパラメータ化される。

パスに沿った表面の関数形式が、２次以下の多項式である場合には、正規化されたパスに沿った二次導関数は定数である。この特殊な場合に、コンスタントプロファイルパスオプティックスを、たとえば、「コンスタントパワーパスオプティックス（ｃｏｎｓｔａｎｔ ｐｏｗｅｒ ｐａｔｈ ｏｐｔｉｃｓ）」と示すことができる。コンスタントパワーパスオプティックスは、波面符号化オプティックスの特に効果的な形である。光学パラメータに関して、２次多項式Ｃ（ａ）を、次のように記述することができる。
Ｃ（ａ）＝厚さ＋チルト＋光強度
ここで、０次項ａ_０によって、厚さの量が記述され、１次項ａ_１ｘによって、チルトの量が記述され、２次項ａ_２ｘ^２によって、光強度が記述される。より高次の項が使用される場合には、光強度の量または二次導関数を、輪郭線に沿って変更することができる。２次多項式が球の近似なので、高次の項によって、光強度をより正確にモデル化することもできる。

ある光イメージングシステムについて、そのような高次項が重要になり得る。チルトパラメータが非０の場合に、不連続性を有する光学表面が記述される可能性がある。現在自由形式表面を製造できる高い度合の精度に対して、不連続性を有する表面を回避する必要はない。ある光学システムについて、光学表面の中心領域が平坦（またはほぼ平坦）になように、パスを横切る項Ｄが選択される。しばしば、Ｄの傾きが、表面の縁の近くで非常に大きくなる可能性がある。中央領域は、中央領域の外の光線が通常はイメージングシステム内のミスフォーカス効果を引き起こすことから、ミスフォーカス収差を制御するために変更する必要がない光イメージング光線も処理する場合がある。

中央光線は、外側の光線よりもミスフォーカス効果に対する寄与が少ないので、これらの光線に異なる形で影響するように、輪郭線の形状を中央領域および外側領域について変更することができる。これによって、インフォーカスＰＳＦ、アウトオブフォーカスＰＳＦ、高ＭＦＴ、およびディジタルフィルタリングのパワースペクトルのカスタマイズが可能になる。ディジタルフィルタのパワースペクトルによって、フィルタリングの前の相加性雑音のパワースペクトルが修正される。したがって、フィルタリングの後の雑音低下技法は、上で説明したものなど、雑音低下およびイメージングに関してオプティックスとディジタル処理を連帯的に設計することによって、ますます効果的になる。

コンスタントプロファイルパスオプティックスの例
下で説明するあるコンスタントプロファイルパスオプティックスの例は、Ｓ（Ｒ、θ、ａ、ｂ）＝Ｃ（ａ）Ｄ（ｂ）の形に従い、使用される特定のパスが、プロファイル２６００Ａのパスであり、正方形の輪郭線の各辺が、４つの領域の１つを画定する。図３０に、１つの表面プロファイル３０００、そのインフォーカスＭＴＦ３００２、ならびにパスに沿った表面形Ｃ（ａ）３００４およびパスを横切る振幅Ｄ（ｂ）３００６を示す。３次多項式が、パスを横切る振幅３００６に使用され、２次多項式が、パスに沿った表面形３００４に使用された。このタイプのオプティックスは、正規化された正方形パス輪郭線に沿ってほぼ定数の光強度を有する。表面プロファイル３０００およびインフォーカスＭＴＦ３００２は、一定の表面およびＭＴＦ高さの輪郭線を介して描かれた。一定の高さの輪郭が、表面の直径に沿っておおむね円から四角形に変化することに留意されたい。結果のインフォーカスＭＴＦは、おおむね「＋」形に従う非円形輪郭線を有する。パスに沿った波およびパスを横切る振幅の関数形式を、下のグラフ３００４および３００６に示す。光強度の約１つの波が、パスの側面に沿って使用され（最小値２．８波および最大値３．８波によって示される）、振幅変動は、パスを横切って−０．１と−０．４の間である。

コンスタントプロファイルパスオプティックスのもう１つの例を、図３１に示す。多項式形Ｓ（Ｒ、θ、ａ、ｂ）＝Ｃ（ａ）Ｄ（ｂ）が使用され、Ｃ（ａ）は、２次コンスタントオプティカルパワー多項式であり、Ｄ（ｂ）は、３次多項式である。表面プロファイル３１００およびＭＴＦ３１０２が、図３０のそれと非常に異なることに留意されたい。この例のＭＴＦ３１０２は、図３０のＭＴＦ３００２よりコンパクトであり、非対称性も目立たない。約６波の光強度が、３１０４に示されているようにパス輪郭線の辺に沿って使用され、約４の最大値を有する増加する振幅が、パスを横切って使用されている。

図３２に、図３０および図３１の形に従い、２次コンスタントオプティカルパワー多項式がパスに沿った関数形式を記述し、３次多項式がパスを横切る振幅を記述するが、振幅関数の形が平坦な中央領域を可能にするように変更されたもう１つの例を示す。表面プロファイル３２００は、４辺の平坦な中央を有し、その結果のＭＴＦ３２０２は、ほぼ４辺のピラミッド型である。そのようなＭＴＦ形状３２００は、３色Ｂａｙｅｒカラーフィルタアレイ検出器（図１６〜２３参照）の緑チャネルに見られるような、不均一サンプリングに適する。１波未満の光強度が、パスに沿って（３２０４）使用され、０から−９の振幅変動が、パスを横切って（３２０６）使用されている。

図３３に、図２６のプロファイル２６００Ｂなどの５角形パスを有するコンスタントプロファイルパスオプティックスの一例を示す。この例では、表面の関数形式が、５角形パス領域内の各直線線分について同一である。２次多項式によって、パスに沿った表面（３３０４）が記述され、３時多項式によって、パスを横切る振幅（３３０６）が記述される。光学表面（プロファイル３３００）は、１０個の等しくない形状のローブと、かなり平坦な中央領域を有する。対応するＭＴＦ３３０２は、２Ｄ ＭＴＦ平面の中央付近でほぼ円の形を有する。約１．５波の光強度が、パスに沿って３３０４使用され、０から１８の振幅が、パス３３０６を横切って使用されている。

図３４に、波面符号化なしの、焦点ずれ値の範囲に関する図３２の例からのサンプリングされたＰＳＦを示す。各ＰＳＦの各メッシュドローイング内の小さい正方形は、個々の画素サンプルを表す（検出器からの出力）。このＰＳＦを生成するのに使用された物理パラメータは、１０μ照明波長、２５．４μ中心で１００％フィルファクタのグレイスケール画素、オプティックスの動作Ｆ数は１．２４、ミスフォーカス収差係数Ｗ_２０は０から２波まで変化である。したがって、波面符号化なしで、サンプリングされたＰＳＦが、ミスフォーカス効果に起因する不可避的なサイズの大きい変化を有することが明白である。

図３５に、同様に、図３２の例からの、波面符号化ありのサンプリングされたＰＳＦを示す。サンプリングされたＰＳＦ（焦点ずれ値の範囲について）が、鋭いスパイクと、鋭いスパイクからの距離に伴って減少する幅広ペデスタルを有することに留意されたい。ＰＳＦのそれぞれは、類似し、本質的にミスフォーカスと独立である。メッシュドローイングの小さい正方形が、やはり個々の画素を表す。

図３６および図３７に、図３４および図３４からのサンプリングされたＰＳＦを示し、その断面を比較する。図３６および図３７のＰＳＦは、０波と２波の間で均等な間隔の５つのミスフォーカス値を用いて示されている。図３６のサンプリングされたＰＳＦは、一定の体積に正規化され、図３７のＰＳＦは、一定のピーク値に正規化されている。したがって、図３６および図３７に、波面符号化なしのシステムのサンプリングされたＰＳＦの変化と、波面符号化ありのサンプリングされたＰＳＦの変化の欠如が示されている。

図３８に、図３５のサンプリングされたＰＳＦから波面符号化ブラーを除去するのに使用することができる１つの２Ｄディジタルフィルタ（画像としてプロットされ、０ミスフォーカスＰＳＦに基づく）の例を示す。このディジタルフィルタは、たとえば、フィルタカーネルとして画像処理（たとえば図２のセクション２４０）内で使用される。このカーネルが、フィルタの中心近くでのみ高い値を有し、中心からの距離に関して減少する値を有することに留意されたい。このフィルタ、および図３５のサンプリングされたＰＳＦは、空間的にコンパクトである。

図３８の２Ｄフィルタを図３５のサンプリングされたＰＳＦに使用した後に、図３９のＰＳＦがもたらされる。このＰＳＦ（波面符号化のある、画像処理セクション内でのフィルタリングの後のＰＳＦを表す）が、ほぼ理想的な形を有し、本質的にミスフォーカスの範囲にわたって変化しないことに留意されたい。

図４０に、それぞれ図３５および図３８の、インフォーカスのサンプリングされたＰＳＦおよびディジタルフィルタの「ランク」と称する幾何学的概念に含まれるべきの量を示す。Ｐ（ｘ）Ｐ（ｙ）＝ｅｘｐ（ｊ［Ｘ＾３＋Ｙ＾３］）によって記述される３次式などの四角形に分離可能なオプティックスは、ｐ（ｘ）ｐ（ｙ）としてよく近似されるサンプリングされたＰＳＦを形成し、ここで、独立変数ｘおよびｙは、正方形グリッドで定義される水平軸および垂直軸である。この分離可能な性質を用いると、計算的に効率的な四角形に分離可能なフィルタリングが可能になる。四角形に分離可能なオプティックスの短所の１つは、ＰＳＦが、ミスフォーカスに伴って空間的にシフトする可能性があることである。あるコンスタントプロファイルパスオプティックスの有用な特徴の１つが、ＰＳＦの空間的シフトを引き起こさないことである。コンスタントプロファイルパスオプティックスは、低いランクに近似されるＰＳＦ、ＭＴＦ、および対応するディジタルフィルタも作って、さらに効率的な処理を容易にすることができる。図３９の上のプロットに、この特定のサンプリングされたＰＳＦのはっきりと感知できる値を有する２つの幾何学的ランクだけがあることを示す。したがって、このシステムは、ランク２システムによって近似される。この例の対応するディジタルフィルタ（図３９の下側のプロット）も、低いランクであり、少なくともサンプリングされたＰＳＦ程度に低くすることができる。実際には、この例のＰＳＦのフィルタリングは、計算的に効率的な分離可能フィルタリングを用いて達成することができる。

図４１に、フィルタリングの前後の対応するＭＴＦを空間周波数領域で示す。比較のために、波面符号化なしの同一の物理システムのＭＴＦも図示する。両方のシステムが、５ステップで０波から２波までのミスフォーカス値を用いて図示されている。波面符号化なしのシステムのＭＴＦは、ミスフォーカスに伴って劇的に変化することがわかる。フィルタリング前のコンスタントプロファイルパスオプティックスを有するシステムのＭＴＦは、本質的にミスフォーカスに伴って変換しない。フィルタリングされたＭＴＦは、図３８の２Ｄディジタルフィルタによるフィルタリングからもたらされ、そのようなＭＴＦは、最大のミスフォーカス値についてのみ高い値および劣化を有する。当業者が諒解するように、他の形のコンスタントプロファイルパスオプティックスでは、より多くの処理能力および／またはフィルタリング前のより低いＭＴＦを使用することによって、より多くの量のミスフォーカスに対してＭＴＦプロファイルを制御することができる。

図３２の輪郭線オプティックスの数学的な形は、下記とすることができる。４つの領域でのパスに沿った関数形式の多項式表現
Ｃ（ｘ）＝０．４６６１−０．７０１３ｘ＾２、 ｜ｘ｜＜１
パスを横切る振幅の多項式表現は
Ｄ（ｙ）＝−１．８１８２＋０．５１７０ｙ＋２．５２０ｙ＾２−１０．１６５９ｙ＾３、０．２５＜ｙ＜１
＝−１．８１８２、０＜ｙ＜０．２５
である。この例で、パス輪郭線に沿った形は、２次多項式によって与えられ、パスを横切る振幅は、中央領域が比較的平坦になるように形が変化する３次多項式によって与えられる。パスに沿ったおよびパスを横切るより高次の多項式の使用によって、これらの例で示されるものより高い性能がサポートされる。

コンスタントプロファイルパスオプティックスは、大量の収差、口径食、ゆるい公差を有する可能性がある非理想的オプティックスとの最適化を可能にする特殊化された技法を用いて設計することができる。この技法によって、従来の分析的方法によって実践されなかった光学システム設計が可能になる。図４２に、この技法の一部を示す設計プロセス４２００を示す。

プロセス４２００で、図示のように、オプティックスを修正し（設計において）、ループを繰り返すことができる。たとえば、プロセス４２００に、コンスタントプロファイルパスオプティックスを設計するステップ４２０２が含まれる。光学表面のモデルを用いて（ステップ４２０２）、サンプリングされたＰＳＦおよびＭＴＦを正確にシミュレートするために、レンズ収差の影響を（ステップ４２０４）、ディジタル検出器に関する情報に（ステップ４２０６）加えることができる。これらのレンズ収差は、一般に、画角、波長、物体位置、およびズーム位置の関数である。収差は、コンスタントプロファイルパスオプティックスの特定の表面形の関数とすることもできる（ステップ４２０２）。設計プロセスステップ４２０４で検討される収差の１つが、口径食である。口径食は、しばしば、鮮明さに関する集光をトレードオフするために従来のオプティックスの設計で使用されるが、波面符号化オプティックスでの口径食は、光学設計と実際の光学システムの間の悪い一致につながる可能性がある。サンプリングされたＰＳＦにつながる光学表面および収差は、設計されるレンズの速度およびディジタル検出器の空間分解能に依存して、光線ベースの方法またはフーリエ変換法のいずれかを介してシミュレートすることができる。これらのＰＳＦシミュレーション方法の一般的なタイプの両方が、光学シミュレーションの当業者によく知られている。

サンプリングされたＰＳＦおよびＭＴＦをシミュレート（ステップ４２０４、４２０６）した後に、ディジタルフィルタを使用して（ステップ４２０８）、波面符号化ブラーを除去する。このディジタルフィルタは、一般的とすることができ、設計プロセス４２００の繰り返しごとに計算するか、固定された形または制限された形とすることができる。制限された形のディジタルフィルタの例が、四角形に分離可能なフィルタである。ディジタルフィルタが、この形で制限される場合に、分離可能フィルタのランクが、１なので、コンスタントプロファイルパスオプティックスの設計を、最小ランクのＰＳＦおよびＭＦＴについて最適化することができる。他の制限されたディジタルフィルタは、画像処理セクションの実施形態（たとえばハードウェア）を最適化するためにコストが特定のフィルタ値およびフィルタ値のシーケンスに割り当てられるフィルタである。このコストは、設計プロセス４２００の一部として増減することができる。制限されたディジタルフィルタのもう１つの例が、特定のパワースペクトル特性を有するフィルタである。相加性雑音が、ディジタルフィルタのパワースペクトルによって修正されるので、フィルタの特性を制御することによって、ディジタルフィルタリングの後の相加性雑音の特性が制御される。雑音低下技法を、ディジタルフィルタを制限することによって、雑音の特性と連帯して最適化することができる。

サンプリングされたＰＳＦ／ＭＴＦをフィルタリング（ステップ４２０８）した後に、品質査定を実行する（ステップ４２１０）。査定４２１０は、通常はシステムおよび応用例に固有であるが、（ａ）設計範囲の中および外の両方のフィルタリングされたＰＳＦ／ＭＴＦの品質、および／または（ｂ）ディジタルフィルタの特性（および／またはその実施形態および／または雑音効果）を含めることができる。品質査定が、その後、非線形最適化と共に使用されて、オプティックスが修正され、プロセス４２００を介する反復が繰り返される。修正されたオプティックスに、波面符号化を含む特定の表面ならびに他の表面、および／または光学システム内の要素の厚さおよび距離を含めることができる。パスに沿ったおよびパスを横切る振幅の関数形式のパラメータを、同様に最適化することができる。

本明細書の範囲から逸脱せずに、上の方法およびシステムに変更を加えることができる。したがって、上の説明に含まれるか添付図面に示されたものを、制限的な意味ではなく例示と解釈しなければならないことに留意されたい。たとえば、当業者は、波面符号化要素が、しばしば、イメージングシステム内のオプティックスと分離して示された（たとえば、オプティックス２０１と別々の要素２１０）が、たとえば図２４に示されているように、本明細書の範囲から逸脱せずに、これらの構成要素を単一の品目、または品目のグループとして組み合わせることができることを諒解する。請求項は、本明細書に記載の包括的および特定のすべての特徴ならびに本発明の方法およびシステムの範囲のすべての陳述を含むことを意図され、これを、言葉の問題として、その間に含まれると言うことができる。

従来技術の波面符号化光イメージングシステムを示す図である。 最適化された画像処理を有する波面符号化光イメージングシステムの１つを示す図である。 最適化された画像処理を有するもう１つの波面符号化光イメージングシステムを示す図である。 最適化された画像処理を有するもう１つの波面符号化光イメージングシステムを示す図である。 あるフィルタカーネルおよび関連する画像処理セクションを示す概略図である。 一般セットフィルタカーネルを示す図である。 縮小セットフィルタカーネルの１つを示す図である。 一般セットフィルタカーネルの１つの一般化された論理ＡＬＵを示す図である。 縮小セットフィルタカーネルの代替の特殊化された論理を示す図である。 縮小セットフィルタカーネルの代替の特殊化された論理を示す図である。 最適化されたフィルタカーネルを有する１つの波面符号化光イメージングシステムを示す図である。 最適化された画像処理および対角線再構成を使用するフィルタカーネルを有する１つの波面符号化光イメージングシステムを示す図である。 最適化された画像処理および円形再構成を使用するフィルタカーネルを有する１つの波面符号化光イメージングシステムを示す図である。 色最適化された画像処理およびフィルタカーネルを有する１つの波面符号化光イメージングシステムを示す図である。 単一シフト差動タップおよびグラディエントフィルタカーネルを有する最適化された画像処理を有する１つの波面符号化光イメージングシステムを示す図である。 スケーリングタップおよびスケーリングフィルタカーネルを有する最適化された画像処理を有する１つの波面符号化光イメージングシステムを示す図である。 スケーリング累算タップおよび分配法則フィルタカーネルを有する最適化された画像処理を有する１つの波面符号化光イメージングシステムを示す図である。 累算スケーリングタップおよび分配法則フィルタカーネルを有する最適化された画像処理を有する１つの波面符号化光イメージングシステムを示す図である。 図１のシステムによって処理された最終画像および図２のシステムによって処理された最終画像を示す図である。 図１のシステムによって処理された最終画像および図１１のフィルタを使用して図２のシステムによって処理された最終画像を示す図である。 図１２および図１３で使用されたフィルタカーネルの周波数応答曲線を示す図である。 最適化されたカラー画像処理を有する１つの光イメージングシステムを示す図である。 最適化されたカラー画像処理を有する１つの光イメージングシステムを示す図である。 図１６Ａに関連する１つの相関および色成分分析を示す図である。 図１６Ａ内の処理のさまざまなステージを介する画像成分を示す図である。 図１６Ａ内の処理のさまざまなステージを介する画像成分を示す図である。 図１６Ａ内の処理のさまざまなステージを介する画像成分を示す図である。 図１６Ａ内の処理のさまざまなステージを介する画像成分を示す図である。 図１６Ａ内の処理のさまざまなステージを介する画像成分を示す図である。 図１６Ａ内の処理のさまざまなステージを介する画像成分を示す図である。 図１６Ａ内の処理のさまざまなステージを介する画像成分を示す図である。 ある波面符号化イメージング系の特性を使用する１つの電子デバイスを示すブロック図である。 光イメージングシステムを構成するために設計フェーズで連帯的に最適化されるシステムコンポーネントの間の、概略図での選択最適化トレードオフを示す図である。 コンスタントプロファイルパスオプティックスの選択プロファイルを示す図である。 コンスタントプロファイルパスオプティックスの選択プロファイルを示す図である。 コンスタントプロファイルパスオプティックスの選択プロファイルを示す図である。 コンスタントプロファイルパスオプティックスの選択プロファイルを示す図である。 図１６の１プロファイルのパス表面形に沿ったおよびこれを横切る表面プロファイルおよび結果のＭＴＦを示す図である。 パス表面形に沿ったおよびこれを横切る１つの他の表面プロファイルおよびＭＴＦを示す図である。 パス表面形に沿ったおよびこれを横切る１つの他の表面プロファイルおよびＭＴＦを示す図である。 図２６の１プロファイルに関するパス表面フォームに沿ったおよびこれを横切る１つの他の表面プロファイルおよびＭＴＦを示す図である。 図３２の例からの、波面符号化なしのサンプリングされたＰＳＦを示す図である。 図３２の例からの、波面符号化ありのサンプリングされたＰＳＦを示す図である。 図３４および図３５からのサンプリングされたＰＳＦの断面を示し、比較する図である。 図３４および図３５からのサンプリングされたＰＳＦの断面を示し、比較する図である。 １つの２Ｄディジタルフィルタの例を示す図である。 図３８のフィルタを介して処理されたＰＳＦを示す図である。 それぞれ図３５および図３８の、インフォーカスのサンプリングされたＰＳＦおよびディジタルフィルタのランクべきの量を示す図である。 フィルタリングの前後の、空間周波数領域での対応するＭＴＦを示す図である。 オプティックス、検出器、波面符号化オプティックス、ディジタルフィルタ（フィルタカーネル）、および／または画像処理ハードウェアの最適化の１つの設計プロセスを示す図である。

Claims (80)

1. 光学像を形成する波面を波面符号化するステップと、
   光学像をデータストリームに変換するステップと、
   波面符号化の影響を逆転し、最終画像を生成するために、縮小セットフィルタカーネルを用いてデータストリームを処理するステップと
   を含む画像処理方法。
2. 処理のステップが、光学像のＭＴＦに対して相補的なフィルタカーネルを使用するステップを含む請求項１に記載の画像処理方法。
3. 波面符号化、変換、および処理のステップが、ＭＴＦが縮小セットフィルタカーネルを用いるデータストリームの数学的処理と空間的に相関するように行われる請求項２に記載の画像処理方法。
4. 波面符号化のステップが、非球面波面符号化光学要素を使用するステップを含む請求項１に記載の方法。
5. 波面符号化のステップが、コンスタントパスプロファイルオプティックスを用いて波面を波面符号化する請求項１に記載の方法。
6. コンスタントパスプロファイルオプティックスを介する波面の位相修正から生じる光学像のＭＴＦに対して縮小セットフィルタカーネルを策定するステップをさらに含む請求項５に記載の方法。
7. 処理のステップが、画素ごとに、シフタからなるフィルタタップ論理を用いて画像を処理するステップを含む請求項１に記載の方法。
8. 処理のステップが、画素ごとに、シフタおよび加算器からなるフィルタタップ論理を用いて画像を処理するステップを含む請求項１に記載の方法。
9. 処理のステップが、（ａ）２のべきの係数、（ｂ）２のべきの和の係数、および（ｃ）２のべきの差の係数の１つまたは複数からなる縮小セットフィルタカーネルを用いてデータを処理するステップを含む請求項１に記載の方法。
10. 処理のステップが、領域の少なくとも１つが０値を有する複数の領域からなる縮小セットフィルタカーネルを用いてデータを処理するステップを含む請求項１に記載の方法。
11. 波面符号化のステップが、光学像のＰＳＦが縮小セットフィルタカーネルの領域に空間的に相関するように波面を波面符号化するステップを含み、ＰＳＦの情報のかなりの量が最終画像内にある請求項１０に記載の方法。
12. 光学像をデータストリームに変換するステップが、非直線フォーマットの検出器からデータを出力することを含む請求項１に記載の方法。
13. フォーマットが、対角線読出および円形読出の１つを含む請求項１２に記載の方法。
14. 処理のステップが、非直線フォーマットにマッチされた縮小セットフィルタカーネルを用いてデータストリームを処理することを含む請求項１２に記載の方法。
15. データを直線フォーマットに再写像するステップをさらに含む請求項１４に記載の方法。
16. 波面符号化のステップが、検出器の光学像が実質的に検出器の非直線フォーマットと一致するように波面を波面符号化することを含む請求項１２に記載の方法。
17. 処理のステップが、縮小セットグラディエントフィルタカーネルおよび一連の単一シフト差動タップを使用するステップを含む請求項１に記載の方法。
18. 処理のステップが、フィルタカーネルのすべての係数値について単一の合計を処理するステップを含む請求項１７に記載の方法。
19. 波面符号化のステップが、光学像のＰＳＦがフィルタカーネルに対応する空間パターン内の光学像の情報を実質的に含むように波面を波面符号化するステップを含む請求項１７に記載の方法。
20. 処理のステップが、縮小セットスケーリングフィルタカーネルおよび一連のスケーリングタップを使用するステップを含む、請求項１に記載の方法。
21. 処理のステップが、フィルタカーネルのすべての係数値について単一の合計を処理するステップを含む請求項２０に記載の方法。
22. 波面符号化のステップが、光学像のＰＳＦがフィルタカーネルに対応する空間パターン内の情報を実質的に含むように波面を波面符号化するステップを含む請求項２０に記載の方法。
23. 処理のステップが、縮小セット分配フィルタカーネルおよび一連の分配プロパティスケーリング−加算タップを使用するステップを含む請求項１に記載の方法。
24. 処理のステップが、フィルタカーネルのすべての係数値について単一の合計を処理するステップを含む請求項２３に記載の方法。
25. 波面符号化のステップが、光学像のＰＳＦがフィルタカーネルに対応する空間パターン内の光学像の情報を実質的に含むように波面を波面符号化するステップを含む請求項２３に記載の方法。
26. 処理のステップが、縮小セット分配フィルタカーネルおよび一連の分配プロパティ加算−スケーリングタップを使用するステップを含む請求項１に記載の方法。
27. 処理のステップが、フィルタカーネルのすべての係数値について単一の合計を処理するステップを含む請求項２６に記載の方法。
28. 波面符号化のステップが、光学像のＰＳＦがフィルタカーネルに対応する空間パターン内の光学像の情報を実質的に含むように波面を波面符号化するステップを含む請求項２６に記載の方法。
29. 縮小セットフィルタカーネルを選択することによって、最終画像の所望の周波数応答を選択するステップをさらに含む請求項１に記載の方法。
30. 波面符号化、変換、および処理のステップの１つを修正し、波面符号化、変換、および処理のステップの他の１つを最適化し、繰り返すステップをさらに含む請求項１に記載の方法。
31. 処理のステップが、重み付き行列を含む縮小セットフィルタカーネルを使用することを含む請求項３０に記載の方法。
32. 光学像を形成する波面を波面符号化するステップと、
    光学像をデータストリームに変換するステップと、
    波面符号化の影響を逆転し、最終画像を生成するために、カラー固有フィルタカーネルを用いてデータストリームを処理するステップと
    を含む画像処理方法。
33. 光学像をデータストリームに変換するステップが、カラーディジタル検出器から別々のチャネルに色データを出力することを含む請求項３２に記載の方法。
34. 光学像を形成する波面を波面符号化するステップと、
    光学像をデータストリームに変換するステップと、
    データストリームを色空間変換するステップと、
    色空間変換されたデータストリームの空間情報および色情報を１つまたは複数の別々のチャネルに分離するステップと、
    空間情報および色情報の一方または両方のブラーを除去するステップと、
    ブラー除去された空間情報をブラー除去された色情報と再組合せするためにチャネルを再組合せするステップと、
    出力画像を生成するために再組合せされたブラー除去された空間情報および色情報を色空間変換するステップと
    を含む画像処理方法。
35. データストリームから雑音をフィルタリングする第１ステップをさらに含む請求項３４に記載の方法。
36. 波面符号化のステップが、雑音をフィルタリングする第１ステップとの空間的相関が存在するように光学像のＭＴＦを生成することを含む請求項３５に記載の方法。
37. 再組合せされたブラー除去された空間情報および色情報から雑音をフィルタリングする第２ステップをさらに含む請求項３４に記載の方法。
38. 雑音をフィルタリングする第２ステップが、光学像のＭＴＦの相補するものを使用することを含む請求項３７に記載の方法。
39. データストリームを色空間変換するステップが、動的色空間処理を用いて画像データを空間的に変更するステップを含む請求項３４に記載の方法。
40. 光学像を形成する波面を符号化する波面符号化要素と、
    光学像をデータストリームに変換する検出器と、
    波面符号化の影響を逆転し、最終画像を生成するために、縮小セットフィルタカーネルを用いてデータストリームを処理するイメージプロセッサと
    を含む、光学像を生成する光イメージングシステム。
41. フィルタカーネルが、光学像のＰＳＦに対して空間的に相補的である請求項４０に記載の光イメージングシステム。
42. フィルタカーネルの空間周波数領域バージョンが、光学像のＭＴＦに対して相補的である請求項４０に記載の光イメージングシステム。
43. 波面符号化要素、検出器、およびイメージプロセッサが、光学像が縮小セットフィルタカーネルを用いるデータストリームの数学的処理に空間的に相関するように協同する請求項４２に記載の光イメージングシステム。
44. 波面符号化要素が、非球面波面符号化光学要素を含む請求項４０に記載の光イメージングシステム。
45. 波面符号化要素が、コンスタントパスプロファイルオプティックスを含む請求項４０に記載の光イメージングシステム。
46. 縮小セットフィルタカーネルが、コンスタントパスプロファイルオプティックスを介する波面の位相修正から生じる光学像のＰＳＦに対して相補的である請求項４５に記載の光イメージングシステム。
47. イメージプロセッサが、画素ごとに、シフタからなる論理を有するフィルタタップを実施する請求項４０に記載の光イメージングシステム。
48. イメージプロセッサが、画素ごとに、シフタおよび加算器からなる論理を有するフィルタタップを実施する請求項４０に記載の光イメージングシステム。
49. 縮小セットフィルタカーネルが、２のべきの係数からなる請求項４０に記載の光イメージングシステム。
50. 縮小セットフィルタカーネルが、２のべきの和および差の一方または両方の係数からなる請求項４０に記載の光イメージングシステム。
51. 縮小セットフィルタカーネルが、領域の少なくとも１つが０値を含む複数の領域からなる請求項４０に記載の光イメージングシステム。
52. 波面符号化要素が、光学像のＰＳＦが縮小セットフィルタカーネルの領域に対応するように波面を修正し、ＰＳＦの情報のかなりの量が最終画像内にある請求項５１に記載の光イメージングシステム。
53. 検出器が、非直線フォーマットでデータストリーム内にデータを出力する請求項４０に記載の光イメージングシステム。
54. フォーマットが、対角線読出および円形読出の１つを含む請求項５３に記載の光イメージングシステム。
55. 縮小セットフィルタカーネルが、非直線フォーマットにマッチされる請求項５３に記載の光イメージングシステム。
56. イメージプロセッサが、データを直線フォーマットに再写像する請求項５５に記載の光イメージングシステム。
57. 光学像のＰＳＦ内の情報が、実質的に非直線フォーマットに対応する請求項５３に記載の光イメージングシステム。
58. 縮小セットフィルタカーネルが、一連の単一シフト差動タップを有する縮小セットグラディエントフィルタカーネルを含む請求項４０に記載の光イメージングシステム。
59. イメージプロセッサが、フィルタカーネルのすべての係数値について単一の合計を実行する請求項５８に記載の光イメージングシステム。
60. 波面符号化要素が、光学像のＰＳＦに、フィルタカーネルに対応する空間パターン内の実質的にすべての情報が含まれるように波面を修正する請求項５８に記載の光イメージングシステム。
61. 縮小セットフィルタカーネルが、縮小セットスケーリングフィルタカーネルおよび一連のスケーリングタップを含む請求項４０に記載の光イメージングシステム。
62. イメージプロセッサが、フィルタカーネルのすべての係数値について単一の合計を実行する請求項６１に記載の光イメージングシステム。
63. 縮小セットフィルタカーネルが、縮小セット分配フィルタカーネルおよび一連の分配プロパティスケーリング−加算タップを含む請求項４０に記載の光イメージングシステム。
64. イメージプロセッサが、フィルタカーネルのすべての係数値について単一の合計を実行する請求項６３に記載の光イメージングシステム。
65. 縮小セットフィルタカーネルが、一連の分配プロパティ加算−スケーリングタップと共に縮小セット分配フィルタカーネルを含む請求項４０に記載の光イメージングシステム。
66. イメージプロセッサが、フィルタカーネルのすべての係数値について単一の合計を実行する請求項６５に記載の光イメージングシステム。
67. 縮小セットフィルタカーネルが、重み付き行列を含む請求項４０に記載の光イメージングシステム。
68. 光学像を形成する波面を位相修正する波面符号化要素と、
    光学像をデータストリームに変換するカラー検出器と、
    波面符号化の影響を逆転し、最終画像を生成するために、カラー固有フィルタカーネルを用いてデータストリームを処理するイメージプロセッサと
    を含む画像処理システム。
69. イメージプロセッサが、カラーディジタル検出器からのカラーデータを別々のチャネルに分離する手段を含む請求項６８に記載の画像処理システム。
70. 光学像を形成する波面を位相修正する波面符号化要素と、
    光学像をデータストリームに変換する検出器と、
    データストリームを色空間変換する手段と、
    色空間変換されたデータストリームの空間情報および色情報を１つまたは複数の別々のチャネルに分離する手段と、
    空間情報および色情報の一方または両方のブラーを除去する手段と、
    ブラー除去された空間情報をブラー除去された色情報と再組合せするためにチャネルを再組合せする手段と、
    出力画像を生成するために再組合せされたブラー除去された空間情報および色情報を色空間変換する手段と
    を含む画像処理システム。
71. データストリームから雑音をフィルタリングする手段をさらに含む、請求項７０に記載の画像処理システム。
72. 波面符号化要素が、雑音をフィルタリングする手段との空間的相関が存在するように光学像のＭＴＦを生成する請求項７１に記載の画像処理システム。
73. 再組合せされたブラー除去された空間情報および色情報から雑音をフィルタリングする手段をさらに含む請求項７０に記載の画像処理システム。
74. 再組合せされたブラー除去された空間情報および色情報から雑音をフィルタリングする手段が、光学像のＭＴＦの相補するものを使用する請求項７３に記載の画像処理システム。
75. データストリームを色空間変換する手段が、動的色空間処理を含む請求項７０に記載の画像処理システム。
76. 動的色空間処理に基づく雑音フィルタリングの手段をさらに含む請求項７５に記載の画像処理システム。
77. カメラ内で光学像を形成する波面を位相修正する波面符号化要素と、
    光学像をデータストリームに変換する検出器と、
    波面符号化の影響を逆転し、最終画像を形成するために、縮小セットフィルタカーネルを用いてデータストリームを処理するイメージプロセッサと
    を有するカメラを含む電子デバイス。
78. 電子デバイスが、携帯電話および電子会議装置の１つを形成する、請求項７７に記載の電子デバイス。
79. 光学像を形成する波面をコンスタントパスプロファイルオプティックスを用いて波面を波面符号化するステップと、
    光学像をデータストリームに変換するステップと、
    波面符号化の影響を逆転し、最終画像を生成するためにデータストリームを処理するステップと
    を含む画像処理方法。
80. 光学像を形成する波面を符号化するコンスタントパスプロファイルオプティックスと、
    光学像をデータストリームに変換する検出器と、
    波面符号化の影響を逆転し、最終画像を生成するためにデータストリームを処理するイメージプロセッサと
    を含む、光学像を形成する光イメージングシステム。

Images