JP2019507923A - 未較正瞳位相を用いた計算イメージング - Google Patents

未較正瞳位相を用いた計算イメージング Download PDF

Info

Publication number
JP2019507923A
JP2019507923A JP2018541617A JP2018541617A JP2019507923A JP 2019507923 A JP2019507923 A JP 2019507923A JP 2018541617 A JP2018541617 A JP 2018541617A JP 2018541617 A JP2018541617 A JP 2018541617A JP 2019507923 A JP2019507923 A JP 2019507923A
Authority
JP
Japan
Prior art keywords
image
phase plate
uncalibrated
wavefront
light emission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018541617A
Other languages
English (en)
Other versions
JP6676767B2 (ja
Inventor
ジー. クロウ,デヴォン
ジー. クロウ,デヴォン
クネンシルト,カレブ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Raytheon Co
Original Assignee
Raytheon Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Raytheon Co filed Critical Raytheon Co
Publication of JP2019507923A publication Critical patent/JP2019507923A/ja
Application granted granted Critical
Publication of JP6676767B2 publication Critical patent/JP6676767B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J9/00Measuring optical phase difference; Determining degree of coherence; Measuring optical wavelength
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/06Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the phase of light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4069Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by subpixel displacements

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

光学系の瞳面において1つ以上の未較正可変位相板で、受光した放射線波面を修正して、焦点面に大気のようなぼけた画像を生成し、サンプリングパラメータQを効果的に増加させることによって画質を改善するシステムおよび方法が開示されている。次いで、リアルタイム画像復元アルゴリズムを、検出器配列上に形成されたぼけた画像からサンプリングされたデータセットに適用することができる。波面を修正する多数の位相板の実施形態が提供される。

Description

[米国政府の持ち分]
本明細書に記載され請求される発明には、米国政府の所有権その他の持ち分はない。
[技術分野]
本発明は、未較正の位相板と後処理との組合せを用いた計算イメージングに関し、特に超解像度とも呼ばれる焦点面イメージサンプリングパラメータQの計算効率の良い改善のための方法およびシステムに関する。
焦点面検出器配列を用いたイメージングシステムの設計が普及しており、光学系と生の検出器配列データのデジタル処理との間で画像形成の負担が益々共有されている。イメージングシステム解像度、焦点面配列サンプリング、および視野は、イメージングサンプリングパラメータQの関数である。ここで、Q=λ*(焦点比)/(検出器素子サイズ)である。点光源の画像の広がり(ぼかし)の程度は、イメージングシステムの品質の尺度である。現在のプラクティスでは、システムパラメータがQ=1システムによって達成可能なものを超える場合、所望のイメージング性能よりも低いままであり、利用可能な焦点面検出器配列イメージャのピクセル限定画像サンプリング解像度を受け入れることが多い。
Mark NeifeldとAmit Ashokは、検出器素子サイズが制限された光学系(Q<1)において、Qを3倍に改善することによってシステムサンプリングを成功裡に向上させた(非特許文献1に記載され、ここにその内容を参照援用する)。しかし、このアプローチでは、慎重に較正された位相板に合わせて非線形反復アルゴリズムを大幅に調整する必要があり、実際には操作がしにくく、資源を必要とするので、展開されたシステムでの幅広いアプリケーションはまだ見いだされていない。
従って、ピクセル限定性能を克服して光学系による有効サンプリングを増加させ、より高いサンプリングパラメータQを達成する高速(例えば、リアルタイム)のシングルパス位相クロージャー方法および装置が必要とされている。
Mark Neifeld、Amit Ashok著「Pseudorandom Phase Masks for Super−resolution Imaging from Subpixel Shifting」(Applied Optics,2007年5月)
以下に説明される実施例によれば、焦点面サンプリング限定イメージングシステムの解像度を改善する方法およびシステムが開示される。一例では、未較正可変位相板を使用して、光放射波面を修正して、検出器配列上に形成された画像に制御可能なぼかしを意図的に導入する。次に、デジタル信号処理を用いて、ピクセル配列検出器上に形成されたぼけた画像からサブピクセル情報を回復する。
一実施形態では、光学系及びその光学系の使用方法が開示されており、このシステムは、瞳面と、焦点面に配置されたピクセル配列検出器とを含み、このシステムは、最初に画像をアンダーサンプリングする。すなわち、光学系の画質は、よくても回折による限界があり、ナイキスト値の1以下であるサンプリングパラメータQを有し、エイリアシングが懸念される。光学イメージングシステムの入射開口で受光された光放射波面は、瞳面に位置する少なくとも1つの未較正可変位相板まで伝播し、修正される。位相板は、サンプリングパラメータQを効果的に増加させて焦点面上にぼけた画像を生成するように、大気によるぼけに近似するぼかし関数で波面を修正することができる。次に、サンプリングされたデータセットを生成するために、焦点面に配置されたピクセル配列検出器でぼけた画像がサンプリングされ得る。次いで、リアルタイム画像復元アルゴリズムを、サンプルデータセットに適用して、より高い有効サンプリングパラメータQを有するぼけのない画像(unblurred image)を生成する。リアルタイム復元アルゴリズムはバイスペクトル画像復元アルゴリズムまたは同様のアルゴリズムを含み得る。様々な実施形態において、未較正可変位相板は、電子的に変化されるか、または機械的に作動されてもよい。
上記の及びその他の機能、及び特徴と、動作方法と、関連構成要素の機能と、パーツの組み合わせと、生産の経済性とは、本出願の出願書類を構成する、添付した図面を参照して以下の説明と特許請求の範囲を検討すれば明らかになるだろう。図面中、対応するパーツには同じ参照数字を付した。図面によってはラベルを付していないコンポーネントもあるが、これは説明を明りょうにするためである。しかし、言うまでもないが、図面は例示と説明を目的としたものであり、請求項を限定することを意図したものではない。本明細書と特許請求の範囲において、「1つの」、「前記」との記載は別段の記載がなければ、複数の場合も含む。ここに開示の実施形態は、ここに開示の原理の少なくとも1つと一貫性のある方法で、他の実施形態と組み合わせても良い。「一実施形態(an embodiment、an implementation)」、「別の一実施形態(an alternate embodiment)」、「さまざまな実施形態(various embodiments)」、「1つの実施形態(one embodiment)」などと言うとき、必ずしも相互に排他的ではなく、説明するある特徴、構造、または特性が少なくとも1つの実施形態に含まれ得ることを示すことを意図している。かかる用語の使用は必ずしもすべてが同じ実施形態を指すわけではない。
上記やその他の目的、特徴、および利点は、添付した図面に示した例のより具体的な説明から明らかになるであろう。異なる図面において、同じ参照番号は同じパーツを示している。添付の図面では、これは必ずしも寸法通りではないが、実施例の原理を例示するに当たり強調した部分もある。
実施形態による例示的な方法を示すフロー図である。 実施形態による例示的な装置の一部を示す概略図である。 実施形態による、較正されていない可変位相板を用いずに構成された光学システムの一部を示す概略図である。 実施形態による、較正されていない可変位相板を用いて構成された光学システムの一部を示す概略図である。 画像のぼかし(blurring)および復元プロセスを示す高レベルの機能的ブロック図である。 異なる位相板タイプを有する代替的な光学システムの一部を示す概略図である。 異なる位相板タイプを有する代替的な光学システムの一部を示す概略図である。 異なる位相板タイプを有する代替的な光学システムの一部を示す概略図である。 例示的な較正されていない位相板変調及び相関復元プロセスを適用して処理されたテスト画像である。 例示的な較正されていない位相板変調及び相関復元プロセスを適用しないで処理されたテスト画像である。
以下の説明では、同種のコンポーネントには、異なる例に示されているかどうかに係わらず、同じ参照数字を付した。本開示の例を明確かつ簡潔に説明するため、図面は必ずしもスケール通りではなく、ある特徴は概略的に示した。ある例を参照して説明及び/又は例示した特徴は、他の例で、及び/又は他の例の特徴と組み合わせて、又は他の例の特徴に替えて、同一又は同様の方法で用いることができる。
この用語が本明細書で使用されるとき、「大気の歪み」は、屈折率を変動させる乱気流運動から生じる光学的歪みを含む。これらの光学的歪みは、A.N. Kolmogorov, V.I. Tatarskii, and D.L. Fried著「Roggermann and Welsh, Imaging through Turbulence」(CRC Press, Boca Raton, FL, 2006、その内容はここに参照援用する)により開発されたような理論を用いてモデル化及び予測することができる。
態様および実施形態は、イメージングシステムの瞳面における光放射波面を変調することを含む、検出器配列におけるサンプリングパラメータQを改善する方法およびシステムに関する。一実施形態によれば、変調により、レンズの点広がり関数が意図的にぼかし、複数の検出器ピクセルにわたって拡散させる。サブ検出器情報は、以下に、より詳細に説明されるように、相関フィルタリングによって回復されてもよい。
図1および図2を参照すると、光学イメージングシステムのサンプリングパラメータQを改善する方法100およびイメージングシステム200を示すフロー図の例が示されている。電磁放射(例えば、光学的放射)は、源210から放出され(ステップ110)、入射開口220で受け取られる(ステップ120)。放射波面は、イメージングシステム200の瞳面に位置する較正されていない可変位相板によって修正される(ステップ130)前に、他の光学部品230を通過する可能性がある。位相板240は、局所的、空間的に依存する光路長の変化を与える光学素子を表し、これは、波面位相の局所的、空間的に依存する変化に等しい。位相板240は、画像復元アルゴリズムと共に使用するために波面に導入された位相変化のコヒーレント測定を使用する際に完全に特徴付けされる必要がない点で、有利にも較正されていなくてもよい。較正されていない位相板は、一般的には、広い性能仕様で製造され、画像復元アプリケーションでの使用を特徴付けるデータはほとんどない。光放射波面を減衰させないので、位相板240における位相変調が好ましい。次に、修正された光放射波面は進行して、イメージングシステム200の焦点面に配置されたイメージング検出器250を照射する。イメージング検出器250は、焦点面配列検出器、またはその他の素子配列260a,aないし260n,nを有する。配列255中の素子260a,aないし260n,nのそれぞれは、光源210の画像内の1つのピクセルに対応することができる。態様および実施形態は、レンズに関連する点広がり関数を意図的にぼかして、素子260a,aないし260n,nの配列255を有効に分割して、サンプリングパラメータQを回折限界の光学的能力を超えて増加させる(「超解像」とも呼ばれる)方法に関する。
図3Aと図3Bを参照して、サンプリングパラメータQに対する画像ぼかし(image blurring)の効果を説明する。図3Aにおいて、位相修正なしに、妨害されない光学系が、検出器配列255においてアンダーサンプリングされてもよく、検出器素子の中心間の(例えば、配列素子260a、n及び260b、nの中心間の)距離を表すピクセルピッチdはアンダーサンプリングされた点広がり関数の直径ρuよりも大きい。本明細書で説明される装置および方法の実施形態は、検出器配列255における画像に歪みを導入し、点広がり関数をぼかしおよび点広がり関数直径ρdまで拡大する。これはピクセルピッチdと同じまたはそれ以上であり得る。ある実施形態では、入射する光放射波面が、未較正可変位相板240により瞳面でぼかされる(blurred)。これは、レンズの点広がり関数(point spread function)を(点光源パッチ310Aからぼけて広がったパッチ310Bまで)意図的に歪ませ、点広がり関数からの情報は、単一の配列素子260b、b(例えば、ピクセル)に分散されるのではなく、多くの周囲の検出器配列素子にわたって、例えば配列素子260a,aないし260c,cにわたって分散され得る。このアプローチは、任意の所望の配列サイズに拡大することができ、図示のような正方形配列に限定されない。サブピクセル情報、または検出器配列の解像度未満の情報は、以下でさらに説明するように、相関フィルタリングによって復元されてもよい。焦点面で生成されたぼけた画像は、較正されていない可変位相板240によって修正され、「真の」画像が、その較正されていない可変位相板240によって生じるぼかし関数と畳み込まれる。
ぼかし関数(blurring function)は、Friedのよく知られた長時間露出または短時間露出伝達関数(Welsh、Imaging through Turbulence、CRC Press、2006)を用いて表すことができる。これらのモデルでは、ぼかし関数はFriedパラメータroに依存する。Friedパラメータは、位相誤差がその中では1ラジアンのオーダーである円形領域の直径を表す。Friedパラメータは、画像復元アルゴリズムへの入力として使用される。
画像復元アルゴリズムは、フーリエ振幅推定およびスペックル画像位相再構成アルゴリズムに依存する。フーリエ振幅を推定または測定するには、様々な周知技術がある。一実施形態で用いられるのは、パワースペクトルとLabeyrie−Korff伝達関数との比の平方根である(Korff著「Analysis of a method for obtaining near−diffraction−limited information in the presence of atmospheric turbulence」(Journal of the Optical Society of America、1973年8月)参照、この内容は参照援用する)。様々なスペックル画像位相再構成アルゴリズムを利用することができるが、あるリアルタイム実施形態では、Lawrenceらの研究「Speckle imaging of satellites at the U.S. Air Force Maui Optical Station」(Applied Optics, 1992年10月、この内容はここに参照援用する)に記載されているようなバイスペクトラムアルゴリズムが使用される。このアルゴリズムでは、オブジェクトの位相スペクトルは次の式
Figure 2019507923
を解くことによって求められる。ここで、画像のバイスペクトルは
Figure 2019507923
と定義される。上記の式において、uベクトル(訳注:「u」の上に「→」)とvベクトル(訳注:「v」の上に「→」)は2次元の空間周波数ベクトルであり、Oはオブジェクトのフーリエ変換であり、Inは画像セットのn番目のメンバーのフーリエ変換である。
図4は例示的な画像ぼかし(すなわち「劣化」)と復元プロセスのモデルを示し、大きさがX×Yの画像fと、大きさがm×nのぼかし関数hの場合、ぼけた波形は
Figure 2019507923
で表すことができる。ぼかし関数Hは、好ましくは上記のような大気によるぼかしを近似する。トリプル相関バイスペクトル法は、X線結晶学で最初に適用され、その後、大気により劣化した天文学的画像の復元のために開発された。
また、図5Aないし図5Cは、位置依存光路長変化を有する固定された光学素子を回転または平行移動させる高速ステアリングミラーを含む様々な物理系によって実施される、可変の未較正位相板240を示す。別の実施形態では、位相板240は、その空間的範囲にわたってプログラム可能な経路長変化を有する光学素子(例えば、変形可能ミラー、音響光学変調器配列、電気光学変調器配列など)であってもよい。図5Aは、コントローラ410に結合された回転または並進位相板240Aを含む実施例を示す。コントローラ410はまた、検出器配列回路420およびデジタル画像プロセッサ430に結合されて、位相板240Aの機械的作動と検出器250における信号検出との間の同期を達成するようにし得る。光路を通る位相板240Aの機械的作動(回転および/または並進)が比較的迅速に起こることが好ましい場合がある。
図5Bに示す他の実施形態によると、可変位相板240Bは、検出器配列250を通って波面をシフトさせて、ぼけた画像を生成する2次元高速ステアリングミラーとして実現されてもよい。
図5Cに示す別の実施形態では、可変位相板240Cは、プログラム可能な位相板または変形可能なミラーとして実現されてもよい。一例では、コントローラ410は、液晶を光学的に活性な位相板材料として動作させる低電圧スイッチング回路に制御信号を供給する。アクティブ液晶材料の電気的スイッチング技術は、可視および近赤外信号処理分野の当業者には周知である。従来、このような位相板は、2つの透明電極の間に配置された電気光学的に活性な材料を含み、そのうちの少なくとも1つは、電極間に電圧が印加されると、変調板を通る波面に所望の位相変調パターンが生じるようにパターン化される。
再び図1および図5Aを参照すると、ぼかしの結果として、3重相関バイスペクトル復元技術を使用して、任意の単一の検出器260n,nよりはるかに小さい領域から画像情報を回復および解像することができる。いくつかの例では、短い時間で、複数のサンプルデータセットが検出器配列255にわたって生成される(ステップ140)。一例では、瞳面位相板変調の結果、光放射の点光源が、例えば素子260a,aないし260c,cのような適度に大きな検出素子群をカバーする複雑なパターンに広がる。ぼかし関数h(x、y)は、ファーフィールドの単一の点光源からの照明のこの拡張パッチ275として定義されてもよい。ステップ150において、検出器配列255(またはそれに関連する検出器配列回路420)は、画像処理のためのソース波面f(x、y)とぼかし関数h(x、y)との畳み込みから生じるぼけた画像のサンプルデータセットを、デジタル信号プロセッサ430に転送する。一例では、デジタル信号プロセッサ430は、サンプリングされたデータセットに例えば、Carmen J. Carrano著「Speckle imaging over horizontal paths」(High−Resolution Wavefront Control: Methods, Devices and Applications IV, Proceedings of SPIE Vol. 4825 (2002))記載されたもののような大気補正のためのバイスペクトル相関技術を適用する。この文献の内容はここに参照援用する。
デジタル信号プロセッサ430は(ステップ160において)、増加したサンプリングパラメータQで有効にサンプリングされた、ぼけのない画像(unblurred image)からなる画像データ440を出力する(すなわち、サブピクセル検出器情報が得られる)。上記の通り、イメージングシステム解像度、焦点面配列サンプリング、および視野は、イメージングサンプリングパラメータQの関数である。ここで、Q=λ*(焦点比)/(検出器素子サイズ)である。画像のアンダーサンプリングによって生じる画像エイリアシングは、Q=1の回折(ナイキストサンプリング)限界よりも上にサンプリングパラメータQを増加させ、本質的に検出器配列255中のピクセルの数およびサイズにより生じる光学系の回折限界を越えることによって低減または除去することができる。したがって、抽出された画像は、本明細書で開示される意図的な空間的なぼかし(サブピクセルシフト)および相関に基づく画像復元をせずに、システムが他の方法では提供することができるよりも高い解像度(すなわち、最小解像度の画像特徴サイズを縮小する「超解像度」)に、改善することができる。
本開示の利益により、当業者には言うまでもなく、本明細書で説明するデジタル画像処理は本質的に線形である。したがって、ある実施形態によれば、ぼかし関数畳み込み画像は、画像解像度を回復するためにデジタル画像復元プロセッサ430を1回通るだけでよい。この線形性は、従来の計算イメージング技術とは対照的である。従来の技術は、一般的に高解像度画像を回復するためには多くの反復を必要とする。したがって、本明細書で説明する技術の実施形態は、計算上の負担を大幅に低減することができる。
思考実験の証明は、リアルタイムで、すなわち、方法の実行可能性および有効性を実証した1280×720ピクセル配列の高解像度で49フレーム/秒を用いて実行された。図6Aおよび図6Bはそれぞれ、開示された較正されていない位相板変調及び相関復元プロセスを適用して、及び適用せずに処理されたテスト画像である。
位相板コントローラ410、検出器回路420、および/またはデジタル信号プロセッサ430を含む、本明細書に開示されたシステム、方法および構成要素は、デジタル電子回路、コンピュータハードウェア、ファームウェア、および/またはソフトウェアで実施することができる。実装はコンピュータプログラム製品(すなわち、情報キャリア媒体において有体に実施されたコンピュータプログラム)として行える。実装は、例えば、データ処理装置により実行される、またはその動作を制御する機械読み取り可能記憶デバイスで行うこともできる。実装は、例えば、プログラマブルプロセッサ、コンピュータ、及び/又は複数のコンピュータであってもよい。
一例では、コンピュータプログラムは、コンパイラ及び/又はインタプリタ言語を含む、どんな形式のプログラミング言語で記述することもできる。コンピュータプログラムは、ここに説明のさまざまな例の特徴や機能を実行する、スタンドアロンプログラムまたはサブルーチン、エレメント、及び/又は計算環境で用いるその他のユニットを含む、どんな形式で展開することもできる。コンピュータプログラムは1つのコンピュータ上で実行しても、一箇所にある複数のコンピュータ上で実行するように展開することもできる。
方法ステップまたは演算は、コンピュータプログラムを実行して、入力データに作用して出力を生成することによりさまざまな例の機能を実行する一以上のプログラム可能プロセッサによりプロセスとして実行できる。方法ステップは特定用途論理回路により実行することができ、装置は特定用途論理回路として実装することもできる。回路は、例えば、フィールドプログラマブルゲート配列(FPGA)及び/又は特定用途集積回路(ASIC)であってもよい。モジュール、サブルーチン、及びソフトウェアエージェントは、その機能を実装するコンピュータプログラム、プロセッサ、特殊回路、ソフトウェア、及び/又はハードウェアの一部を指すこともある。
位相板コントローラ410、検出器回路420及び/又はデジタル信号プロセッサ430は、コンピュータプログラムの実行に適した一以上のプロセッサを含み、例えば、特定目的及び汎用のマイクロプロセッサと、任意種類のデジタルコンピュータの任意の一以上のプロセッサとを両方とも含む。一般的に、プロセッサは読み取り専用メモリまたはランダムアクセスメモリから命令またはデータまたはその両方を受け取る。コンピュータの要素は、命令を実行するプロセッサと、命令とデータを格納する一以上のメモリデバイスとを有しても良い。一般的に、コンピュータは、(例えば、磁気ディスク、光磁気ディスク、または光ディスクなどの)データを記憶する一以上の大規模ストレージデバイス(例えば、メモリモジュール)を含み、それからデータを受け取り、及び/又はそれにデータを送るように動作可能に結合していてもよい。メモリは、画像を処理するコンピュータ読み取り可能命令を格納した有体、非一時的コンピュータ読み取り可能記憶媒体であってもよい。該命令は、一以上のプロセッサにより実行されたとき、一以上のプロセッサに、ここに説明のさまざまな例の特徴や機能を実行または実装させる。
コンピュータプログラム命令およびデータを利用するのに適した情報キャリアは、例えば、半導体メモリデバイスを含む、すべての形式の不揮発性メモリを含む。情報キャリアは、例えば、EPROM、EEPROM、フラッシュメモリデバイス、磁気ディスク、内部ハードディスク、リムーバブルディスク、光磁気ディスク、CD−ROM、及び/又はDVD−ROMディスクであり得る。プロセッサとメモリは特定用途論理回路により補足され、及び/又はそれに組み込まれてもよい。
ユーザとのインターラクションを提供するため、上記の手法はディスプレイデバイスを有する計算デバイスに実装できる。ディスプレイデバイスは、例えば、陰極線管(CRT)及び/又は液晶ディスプレイ(LCD)モニター及び/又は発光ダイオード(LED)モニターであってもよい。ユーザとのインターラクションは、例えば、ユーザへの情報のディスプレイと、ユーザが計算デバイスに入力をできる(例えば、ユーザインタフェース要素とインターラクトできる)キーボード及びポインティングデバイス(例えば、マウスまたはトラックボール)であり得る。他種類のデバイスを用いてユーザとのインターラクションを提供することもできる。他のデバイスは、例えば、任意形式の感覚的フィードバック(例えば、視覚的フィードバック、聴覚的フィードバック、触覚的フィードバックなど)でユーザに提供されるフィードバックであり得る。ユーザからの入力は、例えば、音響的、発話的、及び/又は触覚的入力を含む任意の形式で受け取ることができる。
「comprise」、「include」との用語及び/又はこれらの複数形は、オープンエンドであり、列挙したものを含み、列挙していないものも含み得る。「及び/又は」は、オープンエンドであり、列挙したもののうち一以上、及び列挙したものの組み合わせを含む。
当業者には言うまでもなく、本発明は、その精神や基本的特性から逸脱することなく、その他の具体的な形式で実施できる。上記の実施形態は、すべての点で例示でありここに説明した発明を限定するものではないと考えなければならない。本発明の範囲は、上記の説明ではなく、添付した請求項に記載されており、請求項の意味と均等物の範囲内での変更はすべてその請求項に含まれる。

Claims (13)

  1. 瞳面と、焦点面に配置されるピクセル配列検出器とを含み、1より小さい焦点面画像のサンプリングパラメータQを有する光学イメージングシステムの画質を改善する方法であって、
    前記光学イメージングシステムの入射開口において光放射波面を受け取ることと、
    前記サンプリングパラメータQが有効に増大して前記焦点面にぼけた画像を生成するように、前記瞳面における少なくとも1つの未較正可変位相板で、前記光放射波面を修正することと、
    前記ぼけた画像を前記ピクセル配列検出器でサンプリングしてサンプルデータセットを生成することと、
    前記サンプルデータセットにリアルタイム画像復元アルゴリズムを適用してぼけていない画像を生成することとを含む、方法。
  2. 前記光放射波面を修正することは、少なくとも1つの可変位相板を電気的に変化させることを含む、
    請求項1に記載の方法。
  3. 前記光放射波面を修正することは、少なくとも1つの可変位相板を起動的に作動させることを含む、
    請求項1に記載の方法。
  4. 前記リアルタイム画像復元アルゴリズムはバイスペクトル画像復元アルゴリズムを含む、
    請求項1に記載の方法。
  5. 前記光放射波面を修正することにより、前記ぼけた画像に大気のようなぼかしが生じる、
    請求項1に記載の方法。
  6. 前記光放射波面を修正することにより、前記サンプリングパラメータが1以上に増加する、
    請求項1に記載の方法。
  7. 光学イメージング装置であって、
    光放射波面を受けるように較正された、光学イメージングシステムの入り口に配置される開口と、
    ピクセルピッチと1未満の焦点面画像サンプリングパラメータQとを有するピクセルの配列を含む、焦点面に配置されたイメージング検出器であって、ここでサンプリングパラメータQは入射光放射波面の波長とシステムの焦点比との積と、ピクセルピッチとの比として定義され、前記入射光放射波面からサンプリングされたデータセットを生成するように構成された前記イメージング検出器と、
    前記開口に光学的に結合され、前記サンプリングパラメータQを効果的に増加させて前記焦点面にぼけた画像を生成するように、前記光放射波面を変更するように構成された、瞳面に配置された少なくとも1つの未較正可変位相板と、
    リアルタイム画像復元アルゴリズムを適用してぼけていない画像を生成するように構成される、前記イメージング検出器に結合したデジタル画像プロセッサとを有する、光学イメージング装置。
  8. 前記少なくとも1つの未較正可変位相板は、前記焦点面において前記光放射波面を2次元でシフトさせる高速ステアリングミラー機構を含む、
    請求項7に記載の光学イメージング装置。
  9. 前記少なくとも1つの未較正可変位相板は機械的に作動される位相板を含む、
    請求項7に記載の光学イメージング装置。
  10. 前記少なくとも1つの未較正可変位相板は電子的に歪められる位相板を含む、
    請求項7に記載の光学イメージング装置。
  11. 前記リアルタイム画像復元アルゴリズムはバイスペクトル画像復元アルゴリズムを含む、
    請求項7に記載の光学イメージング装置。
  12. 前記未較正可変位相板は、前記ぼけた画像に大気のようなぼかしを生じさせる、
    請求項7に記載の光学イメージング装置。
  13. 有効な前記サンプリングパラメータQが1以上に増加する、
    請求項7に記載の光学イメージング装置。
JP2018541617A 2016-04-04 2016-11-18 未較正瞳位相を用いた計算イメージング Active JP6676767B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/090,029 2016-04-04
US15/090,029 US9911180B2 (en) 2016-04-04 2016-04-04 Computational imaging with uncalibrated pupil phase
PCT/US2016/062710 WO2017176317A1 (en) 2016-04-04 2016-11-18 Computational imaging with uncalibrated pupil phase

Publications (2)

Publication Number Publication Date
JP2019507923A true JP2019507923A (ja) 2019-03-22
JP6676767B2 JP6676767B2 (ja) 2020-04-08

Family

ID=57485949

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018541617A Active JP6676767B2 (ja) 2016-04-04 2016-11-18 未較正瞳位相を用いた計算イメージング

Country Status (5)

Country Link
US (1) US9911180B2 (ja)
EP (1) EP3440624A1 (ja)
JP (1) JP6676767B2 (ja)
IL (1) IL261448B (ja)
WO (1) WO2017176317A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7290907B2 (ja) * 2016-03-10 2023-06-14 シスメックス株式会社 光学機器および像の形成方法
US10539783B1 (en) * 2016-10-17 2020-01-21 National Technology & Engineering Solutions Of Sandia, Llc Compressive sensing optical design and simulation tool
CN109379532B (zh) * 2018-10-08 2020-10-16 长春理工大学 一种计算成像系统及方法
US11262480B2 (en) * 2019-06-18 2022-03-01 Raytheon Company Methods and apparatus for reducing specular return from wide field-of-view refractive optics

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5841911A (en) 1995-06-06 1998-11-24 Ben Gurion, University Of The Negev Method for the restoration of images disturbed by the atmosphere
US6373041B1 (en) 2000-02-18 2002-04-16 Godrich Corporation Image tracker having means for eliminating systematic error in centroid determination of reconstructed images
US7616841B2 (en) * 2005-06-17 2009-11-10 Ricoh Co., Ltd. End-to-end design of electro-optic imaging systems
CN101366270B (zh) 2005-11-29 2011-07-13 京瓷株式会社 成像设备和成像方法
JP2008048293A (ja) * 2006-08-18 2008-02-28 Kyocera Corp 撮像装置、およびその製造方法
GB2486369A (en) 2009-09-15 2012-06-13 Univ Sheffield Method and apparatus for retrieving a phase of a wavefield
US20140105515A1 (en) 2012-04-04 2014-04-17 The Regents Of The University Of California Stabilizing and Deblurring Atmospheric Turbulence
US9013590B2 (en) 2012-12-13 2015-04-21 Raytheon Company Pixel multiplication using code spread functions

Also Published As

Publication number Publication date
EP3440624A1 (en) 2019-02-13
IL261448B (en) 2018-12-31
US9911180B2 (en) 2018-03-06
JP6676767B2 (ja) 2020-04-08
US20170287118A1 (en) 2017-10-05
WO2017176317A1 (en) 2017-10-12

Similar Documents

Publication Publication Date Title
Wu et al. An integrated imaging sensor for aberration-corrected 3D photography
Holloway et al. Toward long-distance subdiffraction imaging using coherent camera arrays
DeWeert et al. Lensless coded-aperture imaging with separable Doubly-Toeplitz masks
Kronander et al. A unified framework for multi-sensor HDR video reconstruction
US20150139560A1 (en) Coded image system and method thereof
JP6676767B2 (ja) 未較正瞳位相を用いた計算イメージング
US20200150266A1 (en) Synthetic Apertures for Long-Range, Sub-Diffraction Limited Visible Imaging Using Fourier Ptychography
Lim et al. 74‐1: Image Restoration for Display‐Integrated Camera
US11226293B1 (en) Structured illumination optical inspection platform for transparent materials
Li et al. High-resolution dynamic inversion imaging with motion-aberrations-free using optical flow learning networks
Shi et al. Rapid all-in-focus imaging via physical neural network optical encoding
Li et al. Self-measurements of point-spread function for remote sensing optical imaging instruments
Zhou et al. Wirtinger gradient descent optimization for reducing gaussian noise in lensless microscopy
Delbracio et al. Non-parametric sub-pixel local point spread function estimation
Kim et al. 18‐4: Fast Image Restoration and Glare Removal for Under‐Display Camera by Guided Filter
Wang et al. Megapixel adaptive optics: towards correcting large-scale distortions in computational cameras
Peng et al. Learning to see through dazzle
DeWeert et al. Lensless coded aperture imaging with separable doubly Toeplitz masks
Guo et al. Super-resolution from unregistered aliased astronomical images
JP2020031327A (ja) レンズレス撮像装置
Malik et al. Computational imaging with an extended field of view
Li et al. Backward-link computational imaging using batch learning networks
Zheng et al. Image restoration of hybrid time delay and integration camera system with residual motion
Enguita et al. Multi-kernel deconvolution for contrast improvement in a full field imaging system with engineered PSFs using conical diffraction
Estrada et al. Multi-frame GAN-based machine learning image restoration for degraded visual environments

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180809

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180809

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190820

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200312

R150 Certificate of patent or registration of utility model

Ref document number: 6676767

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250