JP2015535348A - フーリエ・タイコグラフィー撮像システム、装置、及び方法 - Google Patents

フーリエ・タイコグラフィー撮像システム、装置、及び方法 Download PDF

Info

Publication number
JP2015535348A
JP2015535348A JP2015539884A JP2015539884A JP2015535348A JP 2015535348 A JP2015535348 A JP 2015535348A JP 2015539884 A JP2015539884 A JP 2015539884A JP 2015539884 A JP2015539884 A JP 2015539884A JP 2015535348 A JP2015535348 A JP 2015535348A
Authority
JP
Japan
Prior art keywords
fourier
ray
image
resolution
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015539884A
Other languages
English (en)
Other versions
JP2015535348A5 (ja
Inventor
グォアン ツェン
グォアン ツェン
チャングェイ ヤン
チャングェイ ヤン
ホルストマイヤー ローク
ホルストマイヤー ローク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
California Institute of Technology CalTech
Original Assignee
California Institute of Technology CalTech
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by California Institute of Technology CalTech filed Critical California Institute of Technology CalTech
Publication of JP2015535348A publication Critical patent/JP2015535348A/ja
Publication of JP2015535348A5 publication Critical patent/JP2015535348A5/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693Acquisition
    • GPHYSICS
    • G21NUCLEAR PHYSICS; NUCLEAR ENGINEERING
    • G21KTECHNIQUES FOR HANDLING PARTICLES OR IONISING RADIATION NOT OTHERWISE PROVIDED FOR; IRRADIATION DEVICES; GAMMA RAY OR X-RAY MICROSCOPES
    • G21K7/00Gamma- or X-ray microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58Optics for apodization or superresolution; Optical synthetic aperture systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • High Energy & Nuclear Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

フーリエ・タイコグラフィー撮像装置が、照射を複数の入射角から標本に与える可変照明装置と;標本から出る照射をフィルタ処理する光学素子と;光学素子によってフィルタ処理した光に基づいて、標本の可変的照射による複数の低分解能輝度画像を取得する検出器と;フーリエ空間内の重複領域を、可変的照射による低分解能輝度画像で反復的に更新することによって、標本の高分解能画像をコンピュータ計算で再構成するためのプロセッサとを含む。

Description

関連出願のクロスリファレンス
本願は、米国特許仮出願第61/720258号、発明の名称”Breaking the Spatial Product Barrier via Non-Interferometric Aperture-Synthesizing Microscopy (NAM)”, 2012年10月20日出願の非仮出願であり、この米国特許仮出願、及び米国特許仮出願第61/847472号、発明の名称”Fourier Ptychographic Microscopy”、2013年7月17日出願に基づいて優先権を主張する。これらの仮出願は、すべての目的でその全文を参照する形で本明細書に含める。
発明の背景
本発明の好適例は、一般に、広視野・高分解能のデジタル撮像技術に関するものである。より具体的には、特定の好適例は、広視野・高分解能撮像用のフーリエ・タイコグラフィー撮像(FPI:Fourier ptychographic imaging)装置、システム、及び方法に関するものである。
従来の撮像プラットフォーム(例えば、顕微鏡)の性能は、一般に、その光学系によって決まる空間帯域幅積によって制限される。空間帯域幅積とは、光学系が光信号から抽出することができる自由度数(例えば、分解可能な画素(ピクセル)の数)を称し、Lohmann, A. W., Doesch, R. G., Mendlovic, D., Z. & Ferreira, C., “Space-bandwidth product of optical signals and systems”, J. Opt. Soc. Am. A 13, p.470-473 (1996)(非特許文献1)に記載され、この文献は、その全文を参照する形で本明細書に含める。従来型顕微鏡は、一般に、その対物レンズの倍率または開口数(NA:numerical aperture)にかかわらず、10メガピクセルのオーダーの空間帯域幅積で動作する。例えば、NA0.40の20倍対物レンズを有する従来型顕微鏡は、0.8mmの分解能及び直径1.1mmの視野を有し、これは約7メガピクセルの空間帯域幅積に相当する。従来型顕微鏡の空間帯域幅積を増加させる以前の試みは、その対物レンズのスケール依存性の幾何学的収差に惑わされ、こうした幾何学的収差は、画像分解能と視野との妥協を生じさせる。従来の撮像プラットフォームの空間帯域幅積を増加させることは、1)その光学系のスケール依存性の幾何学的収差、2)リレー光学系の固定された機械的長さ、及び対物レンズの固定された同一焦点距離の制約、及び/または、3)ギガピクセルのデジタル記録装置の利用可能性によって制限され得る。
干渉法による合成開口技術を用いて空間帯域幅積を増加させるいくつかの試みは、Di, J. et al., “High resolution digital holographic microscopy with a wide field of view based on a synthetic aperture technique and use of linear CCD scanning”, Appl. Opt. 47, p.5654-5659 (2008)(非特許文献2)、Hillman, T. R., Gutzler, T., Alexandrov, S. A., and Sampson, D. D., “High-resolution, wide-field object reconstruction with synthetic aperture Fourier holographic optical microscopy”, Opt. Express 17, p.7873-7892 (2009)(非特許文献3)、Granero, L., Mico, V., Zalevsky, Z., and Garcia, J., “Synthetic aperture superresolved microscopy in digital lensless Fourier holography by time and angular multiplexing of the object information”, Appl. Opt. 49, p.845-857 (2010)(非特許文献4)、Kim, M. et al., “High-speed synthetic aperture microscopy for live cell imaging”, Opt. Lett. 36, p.148-150 (2011)(非特許文献5)、Turpin, T., Gesell, L., Lapides, J., and Price, C., “Theory of the synthetic aperture microscope”, p.230-240(非特許文献6)、Schwarz, C. J., Kuaznesova, Y., and Brueck, S., “Imaging interferometric microscopy”, Optics Letters 28, p.1424-1426 (2003)(非特許文献7)、Feng, P., Wen, X., and Lu, R., “long-working-distance synthetic aperture Fresnel off-axis digital holography”, Optics express 17, p.5473-5480 (2009)(非特許文献8)、Mico, V., Zalevsky, Z., Garcia-Martinez, P., and Garcia, J., “Synthetic aperture superresolution with multiple off-axis holograms”, JOSA A 23, p.3162-3170 (2006)(非特許文献9)、Yuan, C., Zhai, H., and Liu, H., “Angular multiplexing in pulsed digital holography for aperture synthesis”, Optics Letters 33, p.2356-2358 (2008)(非特許文献10)、Mico, V., Zelevsky, Z., and Garcia, J., “Synthetic aperture microscopy using off-axis illumination and polarization coding”, Optics Communications, p.276, 209-217 (2007)(非特許文献11)、Alexanfrov, S., and Sampson, D., “Spatial information transmission beyond a system’s diffraction limit using optical spectral encoding of the spatial frequency”, Journal of Optics A: Pure and Applied Optics 10, 025304 (2008)(非特許文献12)、Tippe, A. E., kumar, A., and Fienup, J. R., “High-resolution synthetic-aperture digital holography with digital phase and pupil correction”, Opt. Express 19, p.12027-12038 (2011)(非特許文献13)、Gutzler, T., Hillman, T. R., Alexandrov, S. A., and Sampson, D. D., “Coherent aperture-synthesis, wide-field, high-resolution holographic microscopy of biological tissue”, Opt. Lett. 35, p.1136-1138 (2010)(非特許文献14)、及びAlexandrov, S. A., Hillman, T. R., Gutzler, T., and Sampson, D. D., “Synthetic aperture Fourier holographic optical microscopy”, Phil. Trans. R. Soc. Lond. A 339, p.521-553 (1992)(非特許文献15)に記載され、これらの文献は、その全文を参照する形で本明細書に含める。これらの試みの大部分は、オフライン・ホログラフィー及び位相シフト・ホログラフィーのような干渉法によるホログラフィー法を用いる装置を用いて輝度及び位相情報を共に記録する設定を用いている。次に、記録されたデータを、フーリエ領域内で、決定論的方法で合成する。
干渉法による合成開口技術を用いて空間帯域幅積を増加させるこれらの以前の試みには、限界がある。例えば、これらの技術において一般に用いられる干渉法によるホログラフィー記録は、高度にコヒーレントな(可干渉性の)光源を必要とする。このため、再構成された画像は、スペックルノイズ、(ビーム経路中の塵埃粒子及び他の光学的欠陥による回折によって導入される)固定パターンノイズ、及び異なる光学的界面間の複数の干渉のような種々のコヒーレントノイズ源が問題となりやすい。従って、画像品質は、従来型顕微鏡の画像品質と同等でなくなる。他方では、軸外れ(オフアクシス)ホログラフィー法の利用は、画像センサの有効な空間帯域幅積(即ち、総画素数)を犠牲にし、これについては、Schnars, U. and Juptner, W. P. O., “Digital recording and numerical reconstruction of holograms”, Measurement Science and Technology, 13, R85 (2002)(非特許文献16)に見出され、この文献は、その全文を参照する形で本明細書に含める。他の限界は、干渉法による撮像は、異なる測定間で、制御不可能な位相ゆらぎが生じ得ることである。従って、画像復元プロセスにおける基準点(位相指示点としても知られている)を設定するためには、標本位置の先験的で正確な知識が必要になる。他の限界は、前に報告した試みが、試料を回転させるためにも、照射角を変化させるためにも、機械的走査を必要とすることにある。従って、精密な光学的位置合わせ、サブミクロンレベルの機械的制御、及び関連する保守が、これらのシステムにとって必要になる。空間帯域幅積の意味で、これらのシステムは、試料走査及び画像のつなぎ合わせを伴う従来型顕微鏡に比べて利点を呈さない。他の限界は、以前の干渉法による開口合成技術は、大部分の既存の顕微鏡プラットフォームを大幅に変更せずに内蔵させることが困難であることにある。さらに、これらのプラットフォーム上では、カラー撮像能力が実証されていない。カラー撮像能力は、病理学及び組織学用途において極めて重要であることが証明されている。
顕微鏡法では、デジタル病理学、血液学、植物解剖学、免疫組織化学、及び神経解剖学のような生物医学用途向けに、大きな空間帯域幅積が大いに望まれる。生物医学及び神経科学において、非常に多数の組織スライドを分析用にデジタル撮像する強い必要性が、機械走査式顕微鏡システム及びレンズなし顕微鏡装置の開発を促した。一般に、これらのシステムは、作動(アクチュエーション)、光学的位置合わせ(アライメント)、及び動き追跡を制御するために、高い精度及び精密な構成部品を有する複雑な機械的手段を用いて、その空間帯域幅積を増加させている。これらの複雑な構成部品は、製造が高価になり、使いにくくなり得る。
デジタル・インライン・ホログラフィー及び接触撮像顕微鏡法のような以前のレンズなし顕微鏡法は、ある種の欠点ももたらす。例えば、従来のデジタル・インライン・ホログラフィーは、連続した試料に対しては良好に機能せず、接触撮像顕微鏡法は、試料をセンサに近接させることを必要とする。デジタル・インライン・ホログラフィー装置の例は、Denis, L., Lorenz, D., Thiebaut, E., Fournier, C. and Trede, D., “inline hologram reconstruction with sparsity constraints”, Opt. let. 34, p.3475-3477 (2009)(非特許文献17)、Xu, W., Jericho, M., Meinertzhagen, I., and Kreuzer, H., “Digital in-line holography for biological applications”, Proc. Natl Acad. Sci. USA 98, p.11301-11305 (2001)(非特許文献18)、Greenbaum, A. et al., “Increased space-bandwidth product in pixel super-resolved lensfree on-chip microscopy”, Sci. Rep. 3, p.1717 (2003)(非特許文献19)、Zheng, G., Lee, S. A., Antebi, Y., Elowitz, M. B. and Yang, C., “The ePetri dish, an on-chip cell imaging platform based on subpixel perspective sweeping microscopy (SPSM)”, Proc. Natl Acad. Sci. USA 108, p.16889-16894(非特許文献20)、及びZheng, G., Lee, S. A., yang, S. & Yang, C., “Sub-pixel resolving optofluidic microscope for on-chip cell imaging”, Lab Chip 10, p.3125-3129 (2010)(非特許文献21)中に見出すことができ、これらの文献は、その全文を参照する形で本明細書に含める。
国際公開第1999/053469号パンフレット
Lohmann, A. W., Doesch, R. G., Mendlovic, D., Z. & Ferreira, C., "Space-bandwidth product of optical signals and systems", J. Opt. Soc. Am. A 13, p.470-473 (1996) Di, J. et al., "High resolution digital holographic microscopy with a wide field of view based on a synthetic aperture technique and use of linear CCD scanning", Appl. Opt. 47, p.5654-5659 (2008) Hillman, T. R., Gutzler, T., Alexandrov, S. A., and Sampson, D. D., "High-resolution, wide-field object reconstruction with synthetic aperture Fourier holographic optical microscopy", Opt. Express 17, p.7873-7892 (2009) Granero, L., Mico, V., Zalevsky, Z., and Garcia, J., "Synthetic aperture superresolved microscopy in digital lensless Fourier holography by time and angular multiplexing of the object information", Appl. Opt. 49, p.845-857 (2010) Kim, M. et al., "High-speed synthetic aperture microscopy for live cell imaging", Opt. Lett. 36, p.148-150 (2011) Turpin, T., Gesell, L., Lapides, J., and Price, C., "Theory of the synthetic aperture microscope", p.230-240 Schwarz, C. J., Kuaznesova, Y., and Brueck, S., "Imaging interferometric microscopy", Optics Letters 28, p.1424-1426 (2003) Feng, P., Wen, X., and Lu, R., "long-working-distance synthetic aperture Fresnel off-axis digital holography", Optics express 17, p.5473-5480 (2009) Mico, V., Zalevsky, Z., Garcia-Martinez, P., and Garcia, J., "Synthetic aperture superresolution with multiple off-axis holograms", JOSA A 23, p.3162-3170 (2006) Yuan, C., Zhai, H., and Liu, H., "Angular multiplexing in pulsed digital holography for aperture synthesis", Optics Letters 33, p.2356-2358 (2008) Mico, V., Zelevsky, Z., and Garcia, J., "Synthetic aperture microscopy using off-axis illumination and polarization coding", Optics Communications, p.276, 209-217 (2007) Alexanfrov, S., and Sampson, D., "Spatial information transmission beyond a system’s diffraction limit using optical spectral encoding of the spatial frequency", Journal of Optics A: Pure and Applied Optics 10, 025304 (2008) Tippe, A. E., kumar, A., and Fienup, J. R., "High-resolution synthetic-aperture digital holography with digital phase and pupil correction", Opt. Express 19, p.12027-12038 (2011) Gutzler, T., Hillman, T. R., Alexandrov, S. A., and Sampson, D. D., "Coherent aperture-synthesis, wide-field, high-resolution holographic microscopy of biological tissue", Opt. Lett. 35, p.1136-1138 (2010) Alexandrov, S. A., Hillman, T. R., Gutzler, T., and Sampson, D. D., "Synthetic aperture Fourier holographic optical microscopy", Phil. Trans. R. Soc. Lond. A 339, p.521-553 (1992) Schnars, U. and Juptner, W. P. O., "Digital recording and numerical reconstruction of holograms", Measurement Science and Technology, 13, R85 (2002) Denis, L., Lorenz, D., Thiebaut, E., Fournier, C. and Trede, D., "inline hologram reconstruction with sparsity constraints", Opt. let. 34, p.3475-3477 (2009) Xu, W., Jericho, M., Meinertzhagen, I., and Kreuzer, H., "Digital in-line holography for biological applications", Proc. Natl Acad. Sci. USA 98, p.11301-11305 (2001) Greenbaum, A. et al., "Increased space-bandwidth product in pixel super-resolved lensfree on-chip microscopy", Sci. Rep. 3, p.1717 (2003) Zheng, G., Lee, S. A., Antebi, Y., Elowitz, M. B. and Yang, C., "The ePetri dish, an on-chip cell imaging platform based on subpixel perspective sweeping microscopy (SPSM)", Proc. Natl Acad. Sci. USA 108, p.16889-16894 Zheng, G., Lee, S. A., yang, S. & Yang, C., "Sub-pixel resolving optofluidic microscope for on-chip cell imaging", Lab Chip 10, p.3125-3129 (2010) Zheng, G., Horstmeyer, R., and Yang, C., "Wide-field, high-resolution Fourier ptychographic microscopy", Nature Photonics (2013年7月) Colomb, T. et al., "Automatic procedure for aberration compensation in digital holographic microscopy and applications to specimen shape compensation", Appl. Opt. 45, p.851-863 (2006) Wang, Z., tangella, K., Balla, A. and Popescu, G., "Tissue refractive index as marker of disease", Journal of Biomedical Optics 16, 116017-116017 (2011) Lue, N. et al., "Live Cell Refractometry Using Hilbert Phase Microscopy and Confocal Reflectance Microscopy", The Journal of Physical Chemistry A, 113, p.13327-13330 (2009) Mir, M. et al., "Optical measurement of cycle-dependent cell growth", Proceedings of the National Academy of Sciences 108, p.13124-13129 (2011) Mir, M. et al., "Blood screening using diffraction phase cytometry", Journal of Biological Optics 15, p.027016-027014 (2010) Rodenburg, J. M. and Bates, R. H. T., "The theory of super-resolution electron microscopy via Wigner-distribution deconvolution", Phil. Trans. R. Soc. Lond. A 339, p.521-553 (1992) H. M. L. and Rodenburg, J. M., "Movable aperture lensless transmission microscopy, a novel phase retrieval algorithm", Phys. Rev. Lett. 93, 023903 (2004) Rodenburg, J. M. et al., "Hard-X-ray lensless imaging of extended objects", Phys. Rev. Lett. 98, 034801 (2007) Thibault, P. et al., "High-resolution scanning X-ray diffraction microscopy", Science 321, p.379-382 (2008) Dierolf, M. et al., "Ptychographic coherent diffractive imaging of weakly scattering specimens", New J.Phys. 12, 035017 (2010) Maiden, A. M., Rodenburg, J. M. and Humphry, M. J., "Optical ptychography: a practical implementation with useful resolution", Opt. let. 35, p.2585-2587 (2010) Humphry, M., Kraus, B., Hurst, A., Maiden, A. and Rodenburg, J., "Ptychographic electron microscopy using high-angle dark-field scattering for sub-nanometric resolution imaging", Nat. Commun. 3, 730 (2012) Chao, W., Harteneck, B., Liddle, A., Anderson, E., and Attwood, D., "Soft-X-ray microscopy at a spatial resolution better than 15nm", nature, Vol. 435 (2005年6月30日)
発明の概要
本発明の好適例は、例えば、デジタル病理学、血液学、半導体ウェハー検査、及びX線及び電子撮像用の、広視野・高分解能撮像用の、フーリエ・タイコグラフィー撮像(FPI)方法、装置、及びシステムを提供する。PFI装置の例は、フーリエ・タイコグラフィー顕微鏡(FPM:Fourier ptychographic microscope)であり、干渉法によらない開口合成顕微鏡法(NAM:non-interferometric aperture-synthesizing microscopy)を用いるものと称することもできる。
一部の好適例では、FPIシステムが、可変照明装置、光学素子、放射検出器、及びプロセッサを含む。可変照明装置は、N通りの異なる入射角から、異なるサンプル時刻に標本を照射する。光学素子は、標本から出る光をフィルタ処理する。放射検出器は、可変的照射による(遠近法の)複数の低分解能輝度画像を捕捉する。プロセッサは、フーリエ空間内の重複領域の、可変的照射による低分解能画像を反復的につなぎ合わせて、広視野・高分解能の画像を復元する。特定の実施形態では、FPI装置が、収差を補正して、複雑な高分解能画像をデジタル的にリフォーカス(後処理による焦点合わせ)することもでき、このことは、FPIシステムの焦点深度を、その光学素子の物理的限界を超えてデジタル的に拡張することができる。
1つの好適例は、フーリエ・タイコグラフィー撮像装置を提供し、この装置は、複数の入射角から標本の照射を行う可変照明装置、標本から出る照射をフィルタ処理する光学素子、及び光学素子によってフィルタ処理された光に基づいて、標本の可変的照射による複数の低分解能輝度画像を取得する検出器を具えている。このフーリエ・タイコグラフィー撮像装置は、フーリエ空間内の重複領域を、可変的照射による低分解能輝度画像で反復的に更新することによって、標本の高分解能画像をコンピュータ計算で再構成するためのプロセッサも具えている。1つの場合には、上記可変照明装置が発光素子(例えば、発光ダイオード)の二次元マトリクスであり、各発光素子が、複数の入射角のうちの1つから照射を与える。
他の好適例は、フーリエ・タイコグラフィー撮像の方法を提供する。この方法は、撮像する標本を、可変照明装置を用いて複数の入射角から照射し、標本から出る(例えば、標本によって散乱される)光を、光学素子を用いてフィルタ処理する。また、この方法は、標本の可変的照射による複数の低分解能輝度画像を、検出器を用いて捕捉する。また、この方法は、可変的照射による低分解能輝度画像の重複領域を、フーリエ空間内で反復的に更新することによって、標本の高分解能画像を再構成する。1つの場合には、この方法は、現在の高分解能画像をフーリエ空間内で初期化し、現在の高分解能画像の重複領域をフーリエ空間内でフィルタ処理して、上記複数の入射角のうち1つの入射角について低分解能画像を生成し、この低分解能画像の輝度を、ある1つの輝度測定値に置き換え、そして、フーリエ空間内の重複領域を、測定された輝度を有するこの低分解能画像で更新する。この場合、フィルタ処理、置き換え、及び更新のステップは、複数の入射角について実行することができる。他の場合には、この方法は、可変的照射による低分解能輝度画像の各々を、複数の可変的照射による低分解能輝度タイル画像に分割し、タイル毎に、可変的照射による低分解能タイル画像の重複領域を、フーリエ空間内で反復的に更新することによって高分解能画像を復元し、タイルの高分解能画像を組み合わせて、標本の高分解能画像を生成する。
他の好適例は、フーリエ・タイコグラフィー撮像の方法を提供し、この方法は、標本の可変的照射による複数の低分解能輝度画像を受信し、可変的照射による低分解能輝度画像の重複領域を、フーリエ空間内で反復的に更新することによって、標本の高分解能画像をコンピュータ計算で再構成する。1つの場合には、この方法は、可変的照射による低分解能輝度画像の各々を、複数の可変的照射による低分解能輝度タイル画像に分割し、可変的照射による低分解能輝度タイル画像の重複領域を、フーリエ空間内で反復的に更新することによって、タイル毎に高分解能画像を復元し、これらのタイルの高分解能画像を組み合わせる。他の場合には、この方法は、現在の高分解能画像をフーリエ空間内で初期化し、現在の高分解能画像の重複領域をフーリエ空間内でフィルタ処理して、複数の入射角のうち1つの入射角について低分解能画像を生成し、この低分解能画像の輝度を、ある1つの輝度測定値に置き換え、そして、フーリエ空間内の重複領域を、測定した輝度を有するこの低分解能画像で更新する。この場合、フィルタ処理、置き換え、及び更新のステップは、複数の入射角について実行することができる。
特定の好適例は、X線撮像用のFPIシステム及び装置、及びX線撮像のFPIシステム及び装置を用いた方法を提供する。1つの好適例は、フーリエ・タイコグラフィーX線撮像装置を提供し、この装置は、標本の可変的照射による複数の低分解能輝度X線画像を捕捉するアセンブリを具えている。このフーリエ・タイコグラフィーX線撮像装置は、フーリエ空間内の重複領域を、可変的照射による低分解能輝度X線画像で反復的に更新することによって、標本の高分解能X線画像をコンピュータ計算で再構成するプロセッサをさらに具えている。1つの場合には、上記アセンブリがX線光学素子及びX線放射検出器を具え、これらは標本と一緒に剛体的に可動である。X線光学素子は、標本とX線放射検出器との間にある。X線放射検出器は、X線光学素子によって投射されたX線放射に基づいて、複数の低分解能輝度画像を捕捉する。この場合、上記フーリエ・タイコグラフィーX線撮像装置は、静止したX線放射源からのX線放射を、複数の入射角から標本へ指向させるように、上記アセンブリを移動させるためのメカニズムを具えることもできる。
他の好適例は、フーリエ・タイコグラフィーX線撮像の方法を提供する。この方法は、複数の入射角に基づく、標本の可変的照射による複数の低分解能輝度X線画像を取得し、可変的照射による低分解能輝度X線画像の重複領域を、フーリエ空間内で反復的に更新することによって、標本の高分解能X線画像をコンピュータ計算で再構成する。1つの場合には、この方法は、X線光学素子及びX線放射検出器を具えたアセンブリを移動させて、X線放射を複数の入射角から標本に与えるステップをさらに含む。この場合、この方法は、標本から出るX線放射を、X線光学素子を用いてフィルタ処理するステップ、及びX線光学素子によって投射されるX線放射に基づいて、複数の可変的照射による低分解能輝度X線画像を、X線放射検出器で捕捉するステップを、さらに含む。
本発明の実施形態によるFPIシステムの構成要素の概略図である。 図1AのFPI装置の一部の構成要素の概略側面図である。 本発明の実施形態による、100個の発光素子の二次元(10×10)マトリクス形式の可変照明装置を具えたFPI装置の概略図である。 本発明の実施形態による、モジュール形式の構成要素を有するFPIシステムの写真である。 図2BのFPI装置の可変照明装置の発光素子のうち1つの写真である。 本発明の実施形態によるFPI装置の構成要素の概略側面図である。 本発明の実施形態によるFPI装置の構成要素の概略側面図である。 本発明の実施形態によるFPI装置の構成要素の概略側面図である。 本発明の実施形態によるFPI方法の、測定プロセス(中央)及び復元プロセス(右側)の概略表現を含む図である。 図5B(1)、5B(2)、5B(3)、5B(4)、5B(5)、5B(6)、5B(7)、5B(8)、及び5B(9)は、図5Aにおいて紹介したFPI方法によって取得された9つの低分解能の測定結果を示す図であり、図5B(12)は、図5B(1)、5B(2)、5B(3)、5B(4)、5B(5)、5B(6)、5B(7)、5B(8)、及び5B(9)の低分解能の測定結果に関連するフーリエ空間内で更新された領域を示す図であり、図5B(10)及び5B(11)は、図5B(12)の更新から生じた高分解能の輝度及び位相の復元画像を示す図である。 本発明の実施形態によるFPIシステムによって実行されるFPI方法のフローチャートである。 本発明の実施形態による、図6Aのステップ1500のサブステップのフローチャートである。 本発明の実施形態による、LEDマトリクス形式の発光素子を有するFPI装置の構成要素の概略図である。 本発明の実施形態による、LEDマトリクス形式の発光素子を有するFPI装置の構成要素の概略図である。 図6A及び6Bを参照して説明したFPI方法のステップを例示する図ある。 図6A及び6Bを参照して説明したFPI方法のステップを他に例示する図である。 図7A(1)、7A(2)、7A(3)、7A(4)、及び7A(5)は、図6A及び6BのFPI方法を実行して生じた画像である。 図7B(1)、7B(2)、7B(3)、7B(4)、7B(5)、及び7B(6)は、図6A及び6BのFPI方法を、種々の異なる入射角数N(N=5、64、及び137)で実行して生じる画像である。 本発明の実施形態による、タイル撮像によるFPI方法のフローチャートである。 本発明の実施形態による、画像ブレンディングを用いたタイル撮像によるFPI方法を実行した結果の画像である。 本発明の実施形態による、デジタル波面補正付きのFPI方法を示す図である。 本発明の実施形態による、デジタル波面補正付きのFPI方法を実現するFPI装置の概略図である。 本発明の実施形態による、デジタル・リフォーカシング付きのFPI方法とデジタル・リフォーカシングなしのFPI方法とを比較した、数値シミュレーションによる画像である。 図10B(1)〜(16)は、本発明の実施形態によるデジタル・リフォーカシング付きのFPI方法を、図2Bに示すFPI装置100(a)を用いて実行した実験結果を示す図であり、図10B(1)は、一実施形態による、デジタル・リフォーカシング付きのFPI方法を実行するFPI装置の実験設定の概略図であり、図10B(2)〜(16)は、図10B(1)の実験設定による、デジタル・リフォーカシング付きのFPI方法を実行した実験結果の画像である。 図10C(1)〜(7)は、図10B(1)〜10B(16)に関して説明した実験のより詳細な結果を含む図である。 図10D(1)〜(3)は、本発明の実施形態による、デジタル・リフォーカシング付きのFPI方法とデジタル・リフォーカシングなしのFPI方法とを比較して実行した実験結果の画像である。 図10E(1)、10E(2)、10E(3)、10E(4)、10E(5)、10E(6)、10E(7)、及び10E(8)は、本発明の実施形態による、FPIシステムを用いて、血液塗抹標本及び病状スライド中の色収差を補正するデジタル・リフォーカシング付きのFPI方法を実行した代表的な結果を提供する図である。 図10F(1)、10F(2)、10F(3)、10F(4)、10F(5)、10F(6)、及び10E(7)は、本発明の実施形態による、デジタル・リフォーカシング付きのFPI方法を実行するFPIシステムを用いた実験結果を含む図である。 図11A(1)は、従来型顕微鏡の2倍及び20倍の対物レンズの両者について、病状スライドの視野を比較して例示する写真であり、図11A(2)及び11A(3)は、従来型顕微鏡における2倍対物レンズについて開口数を例示する画像であり、図11A(4)及び11A(5)は、従来型顕微鏡における20倍対物レンズについて開口数を例示する画像であり、図11A(6)及び11A(7)は、本発明の実施形態によるFPIシステムの視野及び対応する最大NAを示すカラー画像である。 図11B(1)〜(21)は、本発明の実施形態によるカラー撮像FPIシステムを用いて生じた画像である。 図11C(1)、11C(2)、11C(3)、11C(4)、11C(5)、及び11C(6)は、本発明の実施形態によるカラー撮像FPIシステムの画像品質を、異なる対物レンズ間で比較して示す画像である。 図11D(1)〜(10)は、本発明の実施形態による、FPI方法をカラー撮像FPIシステム10により、病状スライド及び血液塗抹標本の両方に用いて得られた位相及びカラー画像である。 本発明の実施形態によるFPIシステム10内に存在することができるサブシステムのブロック図である。
発明の詳細な説明
以下、本発明の実施形態を、添付した図面を参照しながら説明する。ここでは、FPIシステム、装置、及び方法の実施形態を、可視の光放射による照射に関して説明することがあるが、これらのFPIシステム、装置、及び方法は、例えば音波、テラヘルツ波、マイクロ波、及びX線のような他の放射の形態と共に用いることができる。
一部の実施形態は、可変照明装置、光学素子、放射検出器、及びプロセッサを具えたFPIシステムを含む。可変照明装置は、撮像する標本を、N通りの異なる入射角の平面波で連続的に照射する。光学素子は、標本から出る光をフィルタ処理する。光学素子は、例えば対物レンズとすることができ、この対物レンズは、標本から出る光を、その開口数に基づいて受ける。一部の場合には、光学素子は低開口数の対物レンズとすることができ、この対物レンズは、開口数に対応する狭い受光角及び増加した被写界深度を提供する。放射検出器は、光学素子によってフィルタ処理された光を検出して、N通りの異なる入射角に対応するN個の低分解能輝度画像を捕捉する。プロセッサは、重複する低分解能輝度画像を、フーリエ空間内でつなぎ合わせて、標本の広視野・高分解能画像を復元する。特定の実施形態では、FPI装置は、複雑な高分解能をデジタル的にリフォーカス(後処理による焦点合わせ)して、その光学素子におけるデフォーカス(焦点ぼけ)及び収差を調整することもでき、これにより、FPIシステムの焦点深度を、その光学素子の物理的限界を超えて拡張することができる。
特定の態様では、FPIシステムによって実行されるFPI方法が、測定プロセス、復元プロセス、及び随意的な表示プロセスを含む。測定プロセス中には、標本をN通りの入射角から連続的に照射して、対応する低分解能輝度画像を取得する。復元プロセス中には、低分解能の輝度測定値に基づいて、1つ以上の高分解能・広視野画像を復元する。随意的な表示プロセス中には、復元した画像及び他の出力を、FPIシステムのユーザにディスプレイ上で提供する。
I.FPIシステム及び装置の概論
ここでは、FPI装置及びシステムを、可視の光放射(照射)に関して説明するが、特定の場合には、他の形態の放射(例えば、X線)を用いることができる。
図1Aは、本発明の実施形態によるFPIシステム10の構成要素の概略図である。FPIシステム10は、FPIシステム100、及びFPIシステム100と電子通信するコンピュータ装置200を具えている。図1Aに例示するもののような特定の実施形態では、標本20が、撮像用にFPI装置100に設けられる。FPI装置100は、可変的照射を標本20に与える可変照明装置110、標本20から出る照射をフィルタ処理する光学素子130、及び受光した照射の輝度を検出する放射検出器140を具えている。コンピュータ装置200は、プロセッサ210(例えば、マイクロプロセッサ)、コンピュータ可読媒体(CRM:computer readable medium)220、及びディスプレイ230を具えている。
測定プロセス中には、可変照明装置110が、N通りの入射角からの照射
(外1)
、i=1〜Nを標本20に与える。可変照明装置110からの照射は、FPI装置100に設けた標本20によって変更され得る(例えば、阻止、輝度の低減、波長/位相の変化、偏光の変化、等)。光学素子は、可変照明装置からの光を、例えば標本20から出るものとして受光することができ、そして、受光した光をフィルタ処理することができる。例えば、光学素子130は対物レンズとすることができ、この対物レンズは、その受光角度内の光を受光して、フィルタとして機能する。一部の場合には、光学素子130を、低い開口数(例えば、約0.08のNA)を有する対物レンズとして、開口角に対応する狭い受光角を提供し、被写界深度の増加を可能にする。放射検出器140は、フィルタ処理された光を光学素子130から受光することができ、そして、放射検出器140における輝度分布を、N個のサンプル時刻ti=1〜Nに記録して、標本領域のN個の低分解能二次元輝度画像を捕捉することができる。
図1Aでは、プロセッサ210が放射検出器140と電子通信して、標本領域のN個の低分解能輝度画像に対応する画像データを有する信号を受信し、この輝度画像は、標本20の少なくとも一部分の画像を含むことができる。復元プロセス中には、プロセッサ210が、低分解能輝度画像を、フーリエ空間内で反復的に「つなぎ」合わせて、広視野・高分解能画像を復元することができる。特定の実施形態では、プロセッサ210が、高分解能画像をデジタル的にリフォーカスして、標本のあらゆる焦点ぼけ及び/または光学素子130における色収差を調整することもできる。この能力は、FPIシステム10の焦点深度を、光学素子130の物理的限界を超えてデジタル的に拡張することができる。
プロセッサ210は、CRM220(例えば、メモリ)と電子通信して、画像データを有する信号を送信して、CRM220に画像データを記憶し、CRM220から画像データを検索することを可能にする。プロセッサ210は、ディスプレイ230と電子通信して、画像データ及び命令を送信して、標本領域の画像及び他の出力を、例えば、FPIシステム10のユーザに対して表示することができるように図示している。点線で示すように、可変照明装置110は、随意的に、プロセッサ210と電子通信して、可変照明装置110を制御するための命令を送信する。本明細書で用いる、FPIシステム10の構成要素間の電子通信は、有線形式または無線形式にすることができる。
図1Bは、図1AのFPI装置100の一部の構成要素の概略側面図である。図1Bでは、FPI装置100が、照射面111を有する可変照明装置110、光学素子130、及び検出面142を有する放射検出器140を具えている。放射検出器140は、光学素子130から距離をおいて示しているが、放射検出器140は、随意的に、光学素子130の所に配置することができる。
特定の実施形態では、FPI装置が、合焦面122及び試料面124を具えている。焦点面122とは、対応するFPI装置の光学素子の焦点面を称することができる。FPI装置は、合焦面122内のx軸及びy軸、及び合焦面122に直交するz軸を含む。この合焦面は、z=0におけるx−y平面に規定される。試料面124とは、FPI装置が高分解能・広視野画像をコンピュータ計算で再構成する平面を称することができる。FPI装置は、合焦面122において、上記低分解能画像を捕捉する。一般に、試料面124は合焦面122に平行である。一部の実施形態では、試料面124を合焦面122と一致させることができる。オートフォーカス(自動焦点)の実施形態では、FPIシステム10がFPI方法を実行することができ、このFPI方法は、標本20の位置を測定して、試料面124を標本20の所に置いて、高分解能・広視野画像を標本20の所に焦点合わせすることができる。
図1Bでは、FPI装置100が、合焦面122をz=0の所に含み、試料面をz=z0の所に含む。FPI装置100は、合焦面122内のx軸及びy軸(図示せず)、及び合焦面122に直交するz軸を含む。FPI装置100は、可変照明装置110と試料面124との間の距離dも含む。図示する例では、標本20が、撮像のために、標本面126に配置されている。他の実施形態では、標本20を、撮像目的で他の位置にすることができる。
図1Bでは、測定プロセス中の特定のサンプル時刻tiにおけるFPI装置100を示している。サンプル時刻tiにおいて、可変照明装置110は、試料面124における
(外2)
の入射角に関連する波動ベクトル
(外3)
で入射照射を与える。この図示はx−z平面内の側面図であるので、入射角のx成分
(外4)
のみを示している。
図1Bでは、光学素子130が、標本20から出る光を受光してフィルタ処理する。光学素子130によってフィルタ処理された光は、放射検出器140の検出面142で受光される。放射検出器140は、フィルタ処理された光の輝度分布を検出して、標本領域の低分解能画像を捕捉する。サンプル時刻tiにおけるFPI装置100を示しているが、FPI装置100は、N個のサンプル時刻ti=1〜Nの期間中に動作して、N通りの入射角
(外5)
、i=1〜Nに関連するN個の低分解能二次元輝度画像を捕捉することができる。
可変照明装置とは、N通りの異なる入射角
(外6)
、i=1〜Nからの入射放射を連続して与える装置を称することができる。Nの適切な値は、2〜1000の範囲とすることができる。一部の実施形態では、可変照明装置が、特定サンプル時刻に照射を与える1つ以上の照射源の発光素子を含む。大部分の場合、各発光素子は、平面波の照射を、単一の入射角から標本20に与えるものとして近似される。例えば、図2Aの基準点Pにおける入射角
(外7)
は、法線と、点Pと照射発光素子112とを結ぶ直線との間の角度とすることができ、この角度は、可変照明装置と試料面124との間の距離dに基づく。
上記の照射源または放射源は、通常はコヒーレント(可干渉性の)放射源であるが、インコヒーレント(非干渉性の)放射源も使用することができ、そしてコンピュータ計算による補正を適用することもできる。可視光放射を使用する実施形態では、各放射源が可視光源である。可視光源のいくつかの例は、LCD(liquid crystal display:液晶ディスプレイ)画素及びLED(light emitting diode:発光ダイオード)ディスプレイの画素を含む。他の形態の放射を使用する実施形態では、他の放射源を使用することができる。例えば、X線放射を使用する実施形態では、放射源がX線管及び金属ターゲットを具えることができる。他の例として、マイクロ波放射を使用する実施形態では、放射源が真空管を具えることができる。他の例として、音響放射を使用する例では、放射源を音響アクチュエータとすることができる。他の例として、テラヘルツ放射を使用する例では、放射源をガンダイオードとすることができる。当業者は、他の放射源を考えることができる。
多数の実施形態では、可変照明装置によって種々の異なる入射角
(外8)
、i=1〜Nで与えられる放射の特性(例えば、波長、周波数、位相、振幅、極性、等)が、およそ均一である。他の実施形態では、例えば、測定プロセス中にn個の異なる波長λ1,...,λnを与えることによって、これらの特性を、種々の異なる入射角において変化させることができる。1つの実施形態では、可変照明装置110が、それぞれ赤色、緑色、及び青色に相当する3つの波長λ1、λ2、及びλ3のRGB照射を与えることができる。テラヘルツ放射を使用する実施形態では、可変照明装置110によって与えられる放射の周波数を、0.3〜3THzの範囲の周波数にすることができる。マイクロ波放射を使用する実施形態では、可変照明装置によって与えられる放射の周波数を、100MHz〜300GHzの範囲内にすることができる。X線放射を使用する実施形態では、可変照明装置によって与えられる放射の波長を、0.01nm〜10nmの範囲内にすることができる。音響放射を使用する実施形態では、可変照明装置によって与えられる放射の周波数を、10Hz〜100MHzの範囲内にすることができる。
一部の実施形態では、可変照明装置(例えば、図2Aの可変照明装置110(a))が、N個の静止した発光素子を種々の異なる空間的位置に具えている。これらN個の静止した発光素子は、連続するN個のサンプル時刻に発光して、N通りの入射角
(外9)
、i=1〜Nからの照射を与える。他の実施形態では、可変照明装置が、移動発光素子を具えている(例えば、図3の可変照明装置110(b))。この移動発光素子は、静止状態に保つことができる光学素子及び放射検出器に対して移動する。これらの実施形態では、走査機構のようなメカニズムを用いて、これらの移動発光素子を、N個の異なる空間的位置に移動させることができる。静止した構成要素と発光素子との間の、N個の異なる空間的位置への相対移動に基づいて、これらの発光素子は、N通りの入射角
(外10)
、i=1〜Nからの照射を与えることができる。他の実施形態では、可変照明装置が、静止した発光素子を具え(例えば、図4Aの可変照明装置110(c))、FPI装置の他の構成要素を、N個の異なる空間的位置に移動させる。静止した発光素子とFPI装置の他の構成要素との間の、N個の異なる空間的位置へのこうした相対移動に基づいて、これらの発光素子は、N通りの入射角
(外11)
、i=1〜Nからの照射を与えることができる。
N個の静止した発光素子を具えた可変照明装置を有する実施形態では、これらの発光素子を、一次元アレイ、二次元マトリクス、六角形アレイ、または複数の入射角から照射を与えることができる他の適切な配列の形に配置することができる。静止した発光素子のマトリクスのいくつかの例は、LCDまたはLEDマトリクスである。これらの発光素子は、適切な間隔をおいて設計され、そして、必要に応じて発光して、上記複数の入射角を与えることができる。一部の実施形態では、可変照明装置を、例えば10×10、32×32、100×100、50×10、20×60、等のような大きさを有する二次元マトリクスの形式にすることができる。図示する例として、図2Aは、本発明の実施形態による、100個の発光素子112の二次元(10×10)マトリクス形式の可変照明装置110(a)を具えたFPI装置の概略図である。
移動発光素子を具えた可変照明装置を有する実施形態では、これらの移動発光素子を、N個の位置に移動させることができる。これらN個の空間的位置は、一次元アレイ、二次元マトリクス、六角形アレイ、または複数の入射角から照射を与えることができる他の適切な配列の形に配置することができる。マトリクスの大きさのいくつかの例は、10×10、32×32、100×100、50×10、20×60、等とすることができる。
上記可変照明装置は、複数の入射角
(外12)
、i=1〜Nで標本20に入射する放射を与える。一実施形態では、上記複数の入射角における、隣接する2つの入射角の差が、対物レンズの形態の光学素子の開口数によって定まる受光角の10%〜90%の範囲内の値を有する。一実施形態では、上記複数の入射角における、隣接する2つの入射角の差が、対物レンズの形態の光学素子の開口数によって定まる受光角の33%〜66%の範囲内の値を有する。一実施形態では、上記複数の入射角における、隣接する2つの入射角の差が、対物レンズの形態の光学素子の開口数によって定まる受光角の76%未満である値を有する。一実施形態では、上記複数の入射角における、隣接する2つの入射角の差が、対物レンズの形態の光学素子の開口数によって定まる受光角の約1/3である。一実施形態では、最大入射角と最小入射角との差によって定まる入射角の範囲を、最終的な全視野の高分解能画像の空間分解能に整合する有効開口数に等しくすることができる。
可変照明装置の発光素子は、照射命令によって定められる順序で発光する。一実施形態では、照射命令が、発光素子の二次元マトリクス形式をなす発光素子を発光させる順序を決定する。この実施形態では、照射命令が、まず、中心発光素子を定めることができる。次に、照射命令は、中心発光素子(例えば、LED)を最初に発光させるように命令し、次に、中心発光素子を囲む8つの発光素子を反時計回りに発光させるように命令し、次に、前の発光素子を囲む16個の発光素子を反時計回りに発光させるように命令し、等を、N個の発光素子を、N通りの入射角
(外13)
、i=1〜Nから発光させるまで行うことができる。他の実施形態では、照射命令が発光素子の二次元マトリクス形式をなす発光素子を発光させる他の順序を決定する。この実施形態では、可変照明命令が、このマトリクス内で標本に最も近い発光素子を定めることができる。次に、発光命令は、標本に最も近い発光素子を発光させるように命令し、次に、標本に二番目に近い発光素子を発光させるように命令し、次に、標本にその次に近い発光素子を発光させるように命令し、等を、N個の発光素子を、N通りの入射角
(外14)
、i=1〜Nから発光させるまで行うことができる。
特定の実施形態では、FPI装置が、撮像のためにFPI装置に設けられた標本20の少なくとも一部分を撮像することができる。特定の場合に、標本20は、1つ以上の物体を具えることができる。各物体は、生物学的または無機的な実体とすることができる。生物学的実体の例は、全細胞、細胞成分、バクテリアまたはウィルスのような微生物、蛋白のような細胞成分、薄い組織切片、等を含む。一部の場合には、標本20を、液体のような媒体中でFPI装置に設けることができる。大部分の場合、標本20は静止した標本である。標本20は、FPI装置の、可変照明装置からの照射を受けることができる位置に設けられ、これにより、標本20から出る光が光学素子によって受光される。
特定の実施形態では、FPIシステム10が標本20用の容器を具え、この容器は、標本20を受けるための標本面126を有する。標本面126は、例えば可変照明装置110の表面のように、FPI装置100の構成要素の一部分とすることができる。その代わりに、標本面126は、FPI装置100及び/またはFPIシステム10とは別個の構成要素とすることができる。例えば、標本面126は、スライド(送り台)または皿の表面とすることができる。この容器及び標本面126は、他の実施形態に含めないことができる。
特定の実施形態では、FPI装置によって捕捉した全視野の低分解能画像のうち1つ以上を、1つ以上の低分解能タイル画像に分割することができる。これらの場合、上記プロセッサは、高分解能画像を、タイル毎に独立してコンピュータ計算で再構成し、次に、これらのタイル画像を組み合わせて、全視野の高分解能画像を生成することができる。タイル画像を独立して処理するこうした能力は、並列計算を可能にする。これらの実施形態では、各タイルを二次元領域によって表現することができる。FPIシステム10は、各タイルの全体にわたる平面波照射を仮定するFPI方法を用いる。直線空間座標では、各タイルを矩形領域(例えば、正方形領域)として表現することができる。極空間座標では、各タイルを、円形領域または長円形領域とすることができる。直線空間座標では、全視野の低分解能画像を、タイルの二次元マトリクスの形に分割することができる。一部の実施形態では、タイルの二次元正方形マトリクスの大きさを、放射センサの画素数で表わすと、256×256マトリクス、64×64マトリクス、等のような2のべき乗にすることができる。大部分の場合、このマトリクス内のタイルは、およそ同じ大きさを有する。
上記FPI装置は、ローパス(低域通過)フィルタとして機能する光学素子も具えている。例えば、この光学素子は対物レンズとすることができ、この対物レンズは、その開口数(NA)に基づく入射角の範囲内の光のみを受光する。多数の実施形態では、この光学素子が低NA対物レンズの形態であり、狭い受光角及び高い被写界深度を提供する。一部の実施形態では、この光学素子が低NAの対物レンズであり、約0.08の低いNAを有する。他の実施形態では、この光学素子が低NAの対物レンズであり、約0.01〜約0.1の範囲内の低いNAを有する。図示する特定例の具体例では、この光学素子が2倍対物レンズであり、約0.08のNAを有する。
X線放射を使用する実施形態では、例えば斜入ミラーまたはゾーンプレーンのようなX線光学素子が必要になり得る。音響放射を使用する実施形態では、例えば音響レンズのような特別な光学素子が必要になり得る。テラヘルツ放射を使用する実施形態では、例えばテフロン(登録商標)レンズのような特別な光学素子が必要になり得る。マイクロ波放射を使用する実施形態では、例えばマイクロ波レンズアンテナのような特別な光学素子が必要になり得る。
特定の実施形態では、上記FPI装置が、その光学素子固有の被写界深度に関連する初期焦点深度を有する。実施形態のFPI装置に設けられる標本は、上記試料面が上記光学素子の初期焦点深度内にある際に、焦点が合っているものと考えることができる。逆に、試料面124が初期焦点深度の外側に位置する際には、標本は、焦点が合っていないものと考えることができる。FPI方法を、実施形態のデジタル・リフォーカシング(後処理による焦点合わせ)と共に用いて、FPI装置の焦点深度を、その光学素子固有の焦点深度を超えて拡張することができる。
放射検出器とは、この放射検出器に入射する放射の輝度を検出することができ、かつ、入射する放射の輝度パターンに基づいて、空間画像を記録することができる装置を称することができる。放射検出器は、測定プロセス中に、少なくともN個のサンプル時刻ti=1〜Nを含む持続時間で、画像を記録することができる。可視光放射を使用するFPI装置用には、放射検出器140は、例えば、電荷結合素子(CCD:charge coupled device)、CMOS撮像センサ、アバランシェ・フォトダイオード(APD:avalanche photo-diode)アレイ、フォトダイオード(PD:photo-diode)アレイ、または光電子倍増管(PMT:photomultiplier tube)アレイとすることができる。THz(テラヘルツ)放射を使用するFPI装置用には、放射検出器は、例えば撮像ボロメータとすることができる。マイクロ波放射を使用するFPI装置用には、放射検出器は、例えばアンテナとすることができる。X線放射を使用するFPI装置用には、放射検出器は、例えばX線感光性CCDとすることができる。音響放射を使用するFPI装置用には、放射検出器は、例えば圧電トランスデューサアレイとすることができる。これらの放射検出器及び他のものは、市販されている。特定のカラー撮像の実施形態では、放射検出器は、カラー検出器、例えばRGB検出器とすることができる。他のカラー撮像の実施形態では、放射検出器がカラー検出器である必要はない。特定の実施形態では、放射検出器をモノクロ(単色)検出器とすることができる。
サンプル時刻とは、放射検出器が低分解能画像を捕捉することができる時刻を称することができる。多数の実施形態では、各サンプル時刻ti、及びこれに関連して捕捉した低分解能輝度画像は、特定の入射角
(外15)
に対応する。放射検出器は、あらゆる適切な数N(例えば、10、20、30、50、100、1000、10000、等)の低分解能輝度画像を捕捉することができる。放射検出器は、ある1つのサンプリングレートを有することができ、あるいは、この放射検出器がデータをサンプリングすることができる種々の異なるサンプリングレートを有することができる。一部の場合には、サンプリングを一定レート(速度)にすることができる。他の場合には、サンプリングを可変レートにすることができる。サンプリングレートのいくつかの適切な例は、0.1〜1000フレーム/秒である。
放射検出器は離散した放射検出素子(例えば、画素)を有することができる。これらの放射検出素子は、あらゆる適切なサイズ(例えば、1〜10ミクロン)にすることができ、かつ、あらゆる適切な形状(例えば、円形、長方形、正方形、等)にすることができる。例えば、CMOSまたはCCD素子は1〜10ミクロンにすることができ、APDまたはPMT光検出素子は、1〜4mmくらい大きくすることができる。一実施形態では、放射検出素子が、5.5μmのサイズを有する正方形画素である。
放射検出器は、捕捉した低分解能画像に関係する輝度画像データを測定することができる。例えば、これらの画像データは、ある輝度分布を含むことができる。画像データは、光を捕捉したサンプル時刻、あるいは輝度画像に関係する他の情報を含むこともできる。
フーリエ空間とは、波動ベクトルkx及びkyが張る数学的空間であって、FPIによって生成された空間画像の二次元フーリエ変換が存在する座標空間を称することができる。フーリエ空間とは、波動ベクトルkx及びkyが張る数学的空間であって、放射検出器によって収集された空間画像の二次元フーリエ変換が存在する空間を称することもできる。
放射検出器によって捕捉された低分解能画像の各々が、フーリエ空間内の領域に関連する。フーリエ空間内のこうした領域は、光学素子の近似された光伝達関数によって定義することができ、入射角によって定義することもできる。光学素子が、例えば対物レンズである場合、フーリエ空間内の低分解能画像は、この対物レンズの近似された光伝達関数によって、NA×k0の半径を有する円形瞳孔として定義される円形領域とすることができ、ここにk0は2π/λ(真空中の波数)である。この例では、この領域は、対応する入射角に関連する波動ベクトル(kxi, kyi)を中心とする。この例では、N個の低分解能画像が、フーリエ空間内のN通りの入射角を中心とするN個の領域に関連する。
フーリエ空間内では、隣接する領域が重複領域を共有し、この重複領域全体にわたって、これらの領域は同じフーリエ領域データをサンプリングする。フーリエ空間内で隣接する領域間の重複領域は、これらの領域に対応する入射角の値に基づいて決定される。大部分の実施形態では、上記N通りの入射角は、フーリエ空間内で隣接する領域が、特定量の重複面積だけ重複するように設計される。例えば、N通りの入射角の値は、復元プロセスにおいて高分解能の解により速く収束するための、特定量の重複面積を生成するように設計することができる。一実施形態では、隣接する領域間の重複領域が、一方の領域の面積の2%〜99.5%の範囲内である面積を有することができる。他の実施形態では、隣接する領域間の重複領域が、一方の領域の面積の65%〜75%の範囲内である面積を有することができる。他の実施形態では、隣接する領域間の重複領域が、一方の領域の面積の約65%である面積を有することができる。
図1AのFPIシステム10は、コンピュータ装置200も含み、コンピュータ装置200は、プロセッサ210(例えば、マイクロプロセッサ)、CRM220(例えば、メモリ)、及びディスプレイ230を具えている。画像ディスプレイ230及びCRM220は、プロセッサ210に通信結合されている。他の実施形態では、コンピュータ装置200を、FPIシステム10とは別個の装置にすることができる。コンピュータ装置200は、例えばスマートホン、ラップトップ、デスクトップ、タブレット、等のような種々の形態にすることができる。当業者は、種々の形態のコンピュータ装置を考えることができる。
プロセッサ210(例えば、マイクロプロセッサ)は、CRM220上に記憶された命令を実行して、FPIシステム10の1つ以上の機能を実行することができる。例えば、プロセッサ210は、命令を実行して、FPI方法の復元プロセスの1つ以上のステップを実行することができる。他の例として、プロセッサ210は、照射命令を実行して、可変照明装置の発光素子を発光させることができる。他の例として、プロセッサ210は、CRM220上に記憶された命令を実行して、例えば1)複数の低分解能画像からの画像データを解釈する、2)これらの画像データから高分解能画像を生成する、及び3)FPI方法からの1つ以上の画像及び他の出力を、ディスプレイ230上に表示する、のような、FPIシステム10の他の1つ以上の機能を実行することができる。
CRM(例えば、メモリ)220は、FPIシステム10の機能のいくつかを実行するための命令を記憶することができる。これらの命令は、FPIシステム10のプロセッサ210または他の処理構成要素によって実行可能である。CRM220は、低分解能画像及び高分解能画像、及びFPIシステム10によって生成される他のデータを記憶することもできる。
FPIシステム10は、プロセッサ210と電子通信して、データ(例えば、画像データ)を受信し、出力データ(例えば、画像)をFPIシステム10のオペレータに提供するディスプレイ230も含む。画像ディスプレイ230は、カラーディスプレイまたは白黒ディスプレイとすることができる。これに加えて、ディスプレイ230は、二次元ディスプレイまたは三次元ディスプレイとすることができる。一実施形態では、ディスプレイ230が複数の画面を表示することができる。
本発明の範囲を逸脱することなしに、FPIシステム10またはFPI装置100に対して、変更。追加、または省略を行うことができる。これに加えて、FPIシステム10またはFPI装置100の構成要素は、特定の必要性に応じて、統合または分離することができる。例えば、コンピュータ装置200またはその構成要素を、FPI装置100内に統合することができる。一部の実施形態では、プロセッサ210または他の適切なプロセッサを、FPI装置100の一部分とすることができる。一部の場合には、プロセッサ210を放射検出器140内に統合し、これにより、放射検出器140がプロセッサ210の機能を実行することができる。他の例として、特定の場合に、CRM220及び/またはディスプレイ230を、FPIシステム10から省略することができる。
II.FPI装置の構成
特定の実施形態では、FPI装置(例えば、図2AのFPI装置100(a)及び図3のFPI装置100(b))を、特定種類の放射用に構成することができる。例えば、図2AのFPI装置100(a)は、可視光放射、テラヘルツ放射、及び/またはマイクロ波放射での使用に特に適している。他の例として、図4AのFPI装置100(c)は、X線放射での使用に特に適している。
図2Aは、本発明の実施形態によるFPI装置の構成要素の概略側面図である。FPI装置100(a)は、二次元マトリクス形式に配置されたN個の静止した発光素子を具えた可変照明装置110(a)を具えている。図示する例では、i番目の発光素子112が、入射角
(外16)
から照射を与える。図2Aは、発光素子112の10×10マトリクスを有する可変照明装置110(a)を示しているが、他の実施形態では他の寸法を用いることができる。これに加えて、図2Aは等間隔の発光素子112を示しているが、他の実施形態では他の間隔を用いることができる。可変照明装置110(a)は、x’軸、y’軸(図示せず)、及びz’軸も具えている。図に示すように、静止した発光素子112は、x'方向及びy’方向に延びる。
FPI装置100(a)は、光学素子130(a)(例えば、対物レンズ)、及び検出面142を有する放射検出器140(a)をさらに具えている。放射検出器140は、光学素子130(a)から距離をおいて示しているが、放射検出器140は、随意的に、光学素子130(a)の所に配置することができる。また、FPI装置100(a)は、z=0の所に合焦面122を含み、そしてz=z0の所に試料面124を含む。FPI装置100(a)は、合焦面122内のx軸及びy軸(図示せず)、及び合焦面122に直交するz軸を含む。FPI装置100(a)は、可変照明装置110(a)と試料面124との間の距離dも含む。図示する例では、標本20が、撮像のために標本面126に配置されている。他の実施形態では、標本20を、撮像目的で他の位置にすることができる。
図2Aでは、測定プロセス中の特定のサンプル時刻tiにおけるFPI装置100(a)を示す。サンプル時刻tiには、i番目の発光素子112が、
(外17)
の入射角に関連する波動ベクトル
(外18)
で入射照射を与える。光学素子130(a)は、標本20から出る光を受光してフィルタ処理する。光学素子130(a)によってフィルタ処理された光は、放射検出器140(a)の検出面142で受光される。放射検出器140(a)は、フィルタ処理された光の輝度分布を検出して、低分解能輝度画像を捕捉する。単一のサンプル時刻tiにおけるFPI装置100(a)を示しているが、FPI装置100(a)は、N通りの入射角
(外19)
、i=1〜Nに関連するN個のサンプル時刻ti=1〜Nに動作して、N個の低分解能二次元輝度画像を捕捉することができる。
特定の実施形態では、FPIシステム10の構成要素をモジュール形式にして、従来型顕微鏡または他の従来の撮像装置と通信するように配置して、従来の装置をFPIシステム10に変換することができる。図2Bは、本発明の実施形態による、モジュール形式の構成要素を有するFPIシステム10の写真である。FPIシステム10はFPI装置100(a)を具えている。上面の写真では、FPI装置100(a)が、オリンパス社のBX41型顕微鏡の構成要素と通信するように配置されたモジュール構成要素を具えて、従来型顕微鏡のこれらの構成要素をFPIシステム10に変換する。こうしたモジュール形式の態様の例として、FPI装置100(a)は、照明用に標本ステージの下に配置されたプログラマブルな二次元LEDマトリクスを含む。このプログラマブルな二次元LEDマトリクスは、複数の発光素子112を具えている。図2Cは、図2BのFPI装置100(a)の可変照明装置110(a)の発光素子112のうち1つの写真である。この発光素子112はLEDであり、赤色、緑色、及び青色の照射を与えることができる。図示する例のモジュール形式の態様の他の例として、図2BのFPI装置110(a)は、CCDカメラの形態の放射検出器を具えている。図2Bでは、FPI装置100(a)は、オリンパス社のBX41顕微鏡と共に、0.08NAの2倍対物レンズの形態の光学素子130(a)をさらに具えている。この2倍対物レンズの視野数は26.5である。試料面におけるFPI装置100(a)の視野は、直径13.25mmである。プロセッサ210は、配線201を通して、可変照明装置110(a)及び/または放射検出器140(a)と電子通信することができる。
図2Bでは、標本20が、スライド202上でFPI装置100(a)に設けられている。測定プロセス中に、可変照明装置110(a)の発光素子112、この場合LEDからの赤色、緑色、及び青色の照射を用いて、FPI装置100の放射検出器は、赤色、緑色、及び青色の低分解能輝度画像を取得することができる。コンピュータ装置200は、低分解能の測定値をフーリエ空間内で反復的に組み合わせることによって、標本領域の高分解能・広視野のカラー画像をコンピュータ計算で再構成する。1つの場合には、プロセッサ210は、高分解能・広視野の赤色、緑色、及び青色画像をコンピュータ計算で再構成し、次にこれらの画像を組み合わせてカラー画像を生成することができる。
FPI装置110(a)は、可変照明用の走査メカニズムを必要としない。他の実施形態は、走査メカニズムを含むことができる。例えば、図3のFPI装置110(b)は、走査メカニズムとすることができるメカニズム150を有する。他の例として、図4AのFPI装置110(c)は、走査メカニズムとすることができるメカニズム160を有する。
図3は、本発明の実施形態によるFPI装置100(b)の構成要素の概略側面図である。FPI装置100(b)は、発光素子112を具えた可変照明装置110(b)を具え、発光素子112は、x’方向(x’軸の方向)及びy’方向(y’軸の方向)に、N通りの位置に移動する(例えば、走査される)。可変照明装置110(b)は、x’軸、y’軸、及びz’軸も具えている。図では、発光素子112が、法線入射位置
(外20)
から、
(外21)
における照射を与える位置まで、x’方向に移動している。発光素子122は、メカニズム150(例えば、ラスタースキャナ)を用いて移動する。
FPI装置100(b)は、光学素子130(b)、及び検出面142を有する放射検出器140(b)をさらに具えている。放射検出器140(b)は、光学素子130(b)から距離をおいた所に示しているが、放射検出器140(b)は、随意的に、光学素子130(b)の所に配置することができる。また、FPI装置100(b)は、合焦面122をz=0の所に、試料面をz=z0の所に含む。FPI装置100(b)は、合焦面122内のx軸及びy軸(図示せず)、及び合焦面122に直交するz軸を含む。FPI装置100(b)は、可変照明装置110(b)と試料面124との間の距離dも含む。図示する例では、標本20が、撮像のために、標本面126に配置されている。他の実施形態では、標本20を、撮像目的で他の位置にすることができる。
図3には、発光素子112が、測定プロセス中のサンプル時刻tiにおいて照射を与える様子を示す。光学素子130(b)は、受光した光をフィルタ処理する。光学素子130(b)によってフィルタ処理された光は、放射検出器140(b)の検出面142で受光される。放射検出器140(b)は、フィルタ処理された光の輝度分布を検出して、標本領域の低分解能輝度画像を捕捉する。FPI装置100(b)は、N通りの入射角
(外22)
、i=1〜Nに関連するN個のサンプル時刻ti=1〜Nに動作して、N個の低分解能二次元輝度画像を捕捉することができる。図3に示すFPI装置100(b)をX線放射で使用する実施形態では、発光素子112がX線源を含む。
図4Aは、本発明の実施形態によるFPI装置100(c)の構成要素の概略側面図である。FPI装置100(c)は、静止した発光素子112を有する可変照明装置110(c)、光学素子130(c)、検出面142を有する放射検出器140(c)、及びメカニズム160(例えば、走査メカニズム)を具えている。図示する例では、標本20が、撮像のために、FPI装置100(c)に設けられている。
図4Aでは、メカニズム160が、光学素子130(c)、放射検出器140(b)、及び標本20から成るアセンブリ170を、静止した発光素子112に対して移動させて、N通りの入射角から照射を与える。メカニズム160は、アセンブリ170を平行移動及び/または回転させることができる。例えば、アセンブリ170を、ゴニオメーター(角度計、測角器)台上に装着することができ、このゴニオメーター台は、アセンブリ全体を発光素子112に対して回転させることを可能にする。可変照明装置110(c)は、x’軸、y’軸、及びz’軸も具えている。
放射検出器140(c)は、光学素子130(c)から距離をおいて示しているが、放射検出器140(c)は、随意的に、光学素子130(c)の所に配置することができる。FPI装置100(c)は、合焦面122をz=0の所に含み、試料面をz=z0の所に含む。FPI装置100(c)は、合焦面122内のx軸及びy軸(図示せず)、及び合焦面122に直交するz軸を含む。FPI装置100(c)は、可変照明装置110(c)と試料面124との科の距離dも含む。
図4Aには、発光素子112が、測定プロセス中のサンプル時刻tiにおいて照射を与える様子を示す。光学素子130(c)は、標本20から出る光を受光してフィルタ処理する。光学素子130(c)によってフィルタ処理された光は、放射検出器140(c)の検出面142で受光される。放射検出器140(c)は、フィルタ処理された光の輝度分布を検出して、領域の低分解能輝度画像を捕捉する。単一のサンプル時刻tiにおけるFPI装置100(c)を示しているが、FPI装置100(c)は、N通りの入射角
(外23)
、i=1〜Nに関連するN個のサンプル時刻ti=1〜Nに動作して、N個の低分解能二次元輝度画像を捕捉することができる。
図4Bは、本発明の実施形態によるFPI装置100(d)の構成要素の概略側面図である。FPI装置100(d)は、回転させることによって移動する発光素子112を有する可変照明装置110(d)、光学素子130(b)、及び検出面142を有する放射検出器140(b)を具えている。図示していないが、発光素子112を回転させるメカニズムを含めることもできる。図示する例では、標本20が、撮像のために、FPI装置100(d)に設けられている。一部の場合には、発光素子112をレーザーとすることができる。
図4Bでは、発呼素子112を回転させることによって移動させ、これにより、
(外24)
における照射を与える。図4Bには、発光素子112が、測定プロセス中のサンプル時刻tiにおいて照射を与える様子を示す。光学素子130(b)は、標本20から出る光を受光してフィルタ処理する。光学素子130(b)によってフィルタ処理された光は、放射検出器140(b)の検出面142で受光される。放射検出器140(b)は、フィルタ処理された光の輝度分布を検出して、領域の低分解能輝度画像を捕捉する。単一のサンプル時刻tiにおけるFPI装置100(d)を示しているが、FPI装置100(d)は、N通りの入射角
(外25)
、i=1〜Nに関連するN個のサンプル時刻ti=1〜Nに動作して、N個の低分解能二次元輝度画像を捕捉することができる。
III.好適なFPI方法
実施形態では、FPI方法が、測定プロセス、復元プロセス、及び随意的な表示プロセスを含む。測定プロセスでは、可変照明装置を用いて複数の入射角から標本を照射し、光学素子が、標本から出る光をフィルタ処理し、そして、放射検出器が、フィルタ処理された光に基づいて複数の低分解能輝度画像を捕捉する。復元プロセスでは、フーリエ空間内での高分解能再構成の逆フーリエ変換及びフィルタ処理によって得られた各低分解能画像を、低分解能の輝度測定値に置き換えて、高分解能再構成の対応する領域をフーリエ空間内で反復的に更新する。復元プロセスでは、標本の高分解能画像を、N個の低分解能輝度画像に基づいてコンピュータ計算で再構成する。随意的な表示プロセスでは、画像及び他の出力をディスプレイ220に供給する。
図5Aは、本発明の実施形態によるFPI方法の、測定プロセス(中央)及び復元プロセス(右側)の概略表現を含む。測定プロセス中には、標本を種々の異なる入射角から照射して、これらの入射角に対応する低分解能輝度画像を取得する。複数の低分解能輝度画像の取得は、図5Aの中央部分の画像の配列によって表される。復元プロセス中には、1つ以上の高分解能・広視野画像を、測定プロセスからの低分解能の輝度測定値に基づいて復元する。復元プロセスは、図5Aの右側の2つの画像によって表され、ここでは、高分解能の輝度及び位相の画像データが、低分解能の輝度測定値に基づいて復元される。図5B(1)、5B(2)、5B(3)、5B(4)、5B(5)、5B(6)、5B(7)、5B(8)、及び5B(9)は、図5Aにおいて紹介したFPI方法によって取得された137個の測定値のうち9つの低分解能測定値である。この低分解能画像に関連する、フーリエ空間内の対応する領域を図5B(12)に示す。復元プロセス中には、これらの領域をフーリエ空間内で更新して、全視野(フルFOV:full field-of-view)の高分解能複合画像を再構成する。復元した高分解能の輝度及び位相画像を、図5Aの右側に示し、図5B(10)及び5B(11)にも示す。
特定の実施形態では、FPI方法を、2つの作動領域、即ち空間(x−y)領域及びフーリエ(kx−ky)領域との間で交互させることができ、ここにkは波数を表す。
特定の実施形態では、FPI方法が、斜め入射の概念を用いることができ、この概念は、波動ベクトル
(外26)
を有する斜面波によって標本20を照射することが、フーリエ領域内で画像スペクトルの中心を(kx, ky)だけシフトさせることと等価である、ということをもたらす。斜め入射によれば、フーリエ領域内の低分解能画像が、法線入射から(kx, ky)だけシフトされ、このシフトは、可変照明装置によって加えられる入射角に相当する。
特定実施形態では、FPI方法が、フーリエ空間内での光学素子のフィルタリング関数(即ち、コヒーレントな光学的伝達関数)が、NA×k0の半径を有する円形瞳孔である、ということをもたらし、ここにk0=2π/λは真空中の波数である。即ち、FPI方法は、こうした光学素子のフィルタリング関数によって規定される円形領域を、フーリエ空間内で更新することができる。これらの実施形態では、FPI方法が、こうしたフィルタリング関数を用いて、この領域外の画像データを省略する。
特定の実施形態では、標本20を、z=z0にある試料面124に配置することができ、ここで光学素子の合焦面122はz=0に位置する。換言すれば、捕捉した画像は、標本プロファイル自体における標本画像ではなく、光学素子の合焦面において距離−z0だけ伝播した標本プロファイルである。これらの実施形態では、FPI方法が、標本をz方向に機械的に移動させなければならないことなしに、標本20をデジタル的にリフォーカスして、画像データを距離z0だけ試料面124に戻るように伝播させる。これらの伝播ステップは、フーリエ空間内で位相係数を乗算することによって実行することができる。これらのステップは、FPIシステム10の撮像焦点深度を拡張し、光学素子の色収差を補正することができる。
図6Aは、本発明の実施形態によるFPIシステムによって実行されるFPI方法のフローチャートである。このFPI方法は、測定プロセス(ステップ1100、1200、及び1300)、復元プロセス(ステップ1400及び1500)、及び随意的な表示プロセス(ステップ1600)を含む。図示するFPI方法の例、及びそれに関連する説明では、添え字「h」は高分解能を表し、添え字「l」は低分解能を表し、添え字「f」は焦点位置を表し、添え字「m」は測定値を表し、そして添え字「s」はサンプリングを表す。
ステップ1100では、可変照明装置が、N通りの入射角
(外27)
、i=1...Nから、N個のサンプル時刻に、標本に照射を与える。大部分の場合には、復元プロセスは平面波照明を仮定する。可変照明装置は、照射角の順序を定める照射命令に従って照射を与えることができる。x及びy方向の波動ベクトルは、kxi及びkyiとして表すことができる。特定の場合には、可変照明装置が、異なるサンプル時刻に異なる波長の照射を与えることができる。例えば、可変照明装置110は、カラー撮像の実施形態用に、それぞれ赤色、緑色、及び青色に相当する3つの波長λ1、λ2、及びλ3のRGB照射を与えることができる。
ステップ1200では、光学素子(例えば、低NAの顕微鏡対物レンズ)が、受光した光をフィルタ処理する。例えば、この光学素子は、標本20から出る光をフィルタ処理することができる。この光学素子は、その開口数(NA)に応じた入射角の範囲内の光を受光することによって光をフィルタ処理する対物レンズとすることができる。一部の場合には、この光学素子は、従来型顕微鏡の低NAの対物レンズ(例えば、0.08NAの2倍対物レンズ)とすることができる。
ステップ1300では、放射検出器が、フィルタ処理された光の投射を光学素子から受光して、N個のサンプル時刻ti=1〜Nの各々におけるスナップショットの輝度分布測定値を捕捉して、N個の低分解能輝度画像を取得する。放射検出器によってサンプリングした低分解能輝度画像の各々が、フーリエ空間内のある1つの領域に関連する。多数の実施形態では、可変照明装置が、ステップ1100において、特定入射角から照射を与えて、フーリエ空間内の隣接する領域間に重複領域を生成する。一実施形態では、これらの領域のうち1つの面積の2%〜99.5%の重複領域を隣接する領域間に与えるように、可変照明装置が照射を与える。他の実施形態では、これらの領域のうち1つの面積の2%〜75%の重複領域を隣接する領域間に与えるように、可変照明装置が照射を与える。一実施形態では、これらの領域のうち1つの面積の約5%の重複領域を隣接する領域間に与えるように、可変照明装置が照射を与える。
ステップ1400及び1500では、ステップ1300で捕捉したN個の低分解能輝度分布測定値
(外28)
(照射波動ベクトル
(外29)
でインデックス付けされ、ここにi=1、2...N)から標本領域の高分解能画像をコンピュータ計算で再構成することができる。
ステップ1400では、高分解能画像
(外30)
を空間領域内で初期化し、初期値にフーリエ変換を適用して、初期化したフーリエ変換画像
(外31)
を得る。初期化した高分解能の解を、初期の推定値とすることができる。この初期推定値は、標本が焦点から外れた平面z=z0に配置されているという仮定に基づいて定めることができる。一部の場合には、初期推定値を(輝度及び位相の両者についての)ランダム複素行列として定めることができる。他の場合には、初期推定値を、低分解能輝度測定値のランダム位相による補間として定めることができる。初期推定値の例は、標本領域の任意の低分解能画像から補間したψ=0及びIhである。初期推定値の他の例は、定数値である。初期推定値のフーリエ変換は、フーリエ空間内で広範囲のスペクトルとなり得る。
ステップ1500では、FPIシステム10のプロセッサ210を用いて、低分解能輝度測定値をフーリエ空間内で反復的に組み合わせることによって、標本領域の高分解能画像をコンピュータ計算で再構成する。
ステップ1600では、ディスプレイ230が、
(外32)
の高分解能画像データのような画像データ及び/または他のデータを、プロセッサ210から受信して、これらのデータをディスプレイ230上に表示する。
図6Bは、本発明の実施形態による、図6Aのステップ1500のサブステップのフローチャートである。図示する例では、ステップ1500が、ステップ1510、ステップ1530、ステップ1550、ステップ1560、ステップ1570、ステップ1580、及びステップ1590を含む。ステップ1500は、随意的に、ステップ1520及び1540を含むことができる。随意的なステップ1520及び1540は、標本20が焦点から量z0だけ外れている場合に実行することができる。
ステップ1510では、プロセッサ210が、フーリエ領域内で、高分解能画像
(外33)
のローパスフィルタ処理を実行して、波動ベクトル
(外34)
を有する特定の平面波入射角
(外35)
に対する低分解能画像
(外36)
を生成する。この高分解能画像のフーリエ変換は
(外37)
であり、特定の平面波入射角に対する低分解能画像のフーリエ変換は
(外38)
である。フーリエ領域内では、このFPI方法は、高分解能画像
(外39)
のスペクトル
(外40)
から、ローパス領域をフィルタ処理で選別する。対物レンズの形態の光学素子による場合、この領域は、NA×k0の半径を有する円形開口であり、k0は2π/λ(真空中の波数)に等しく、対物レンズのコヒーレント伝達関数によって与えられる。フーリエ空間内では、この領域の位置が入射角に対応する。波動ベクトル
(外41)
を有する傾斜平面波の入射については、この領域は、
(外42)
のフーリエ領域内の位置
(外43)
を中心とする。
ステップ1520では、プロセッサ210を用いて、低分解能画像
(外44)
を、フーリエ領域内で、光学素子130の合焦面122(z=0)まで伝播させて、焦点位置における低分解能画像
(外45)
を決定する。一実施形態では、低分解能画像
(外46)
をフーリエ変換し、フーリエ領域内で位相係数を乗算し、逆フーリエ変換して、
(外47)
を得ることによって、ステップ1520を実行することができる。他の実施形態では、低分解能画像
(外48)
を、デフォーカス用の点広がり関数で畳み込むことと数学的に等価な演算によって、ステップ1520を実行することができる。他の実施形態では、逆フーリエ変換を実行して
(外49)
を生成する前に、
(外50)
に位相係数を乗算することによって、ステップ1520をステップ1510の随意的なサブステップとして実行することができる。標本20が光学素子の合焦面(z=0)に配置されている場合、随意的なステップ1520を含める必要はない。
ステップ1530では、プロセッサ210を用いて、合焦面における低分解能画像
(外51)
の振幅成分の計算値
(外52)
を、FPI装置の放射検出器によって測定した低分解能輝度測定値の平方根
(外53)
に置き換える。このことは、更新された低分解能ターゲット
(外54)
を形成する。
随意的なステップ1540では、プロセッサ210を用いて、更新された低分解能画像
(外55)
を、試料面(z=z0)まで逆伝播させて、
(外56)
を決定することができる。標本が光学素子の合焦面、即ちz=z0に配置されている場合、随意的なステップ1540を含める必要はない。一実施形態では、更新された低分解能画像
(外57)
のフーリエ変換をとり、フーリエ空間内で位相係数を乗算し、そしてこれを逆フーリエ変換することによって、ステップ1540を実行することができる。他の実施形態では、更新された低分解能画像
(外58)
を、デフォーカスの点広がり関数で畳み込むことによって、ステップ1540を実行することができる。他の実施形態では、更新されたターゲット画像に対するフーリエ変換を実行した後に位相係数を乗算することによって、ステップ1540をステップ1550のサブステップとして実行することができる。
ステップ1550では、プロセッサ210を用いて、試料面
(外59)
に伝播された、更新されたターゲット画像にフーリエ変換を適用し、このデータを、入射波動ベクトル
(外60)
に対応するフーリエ空間内で、高分解能の解
(外61)
の対応する領域内で更新する。
ステップ1560では、プロセッサ210は、すべての入射角についてステップ1510〜1560が完了したか否かを判定する。すべての入射角についてステップ1510〜1560が完了していなければ、次の入射角について、ステップ1510〜1560を反復する。
大部分の実施形態では、フーリエ空間内の隣接する領域が、入射角毎に反復して更新され、互いに重複する。更新された重複領域が重複する領域では、FPIシステム10が同じフーリエ空間全体にわたって多数のサンプリングを有する。上記入射角が、この重複する領域の面積を決定する。一実施形態では、隣接する領域間の重複領域が、隣接する領域の一方の面積の2%〜99.5%である面積を有することができる。他の実施形態では、隣接する領域間の重複領域が、隣接する領域の一方の面積の65%〜75%である面積を有することができる。他の実施形態では、隣接する領域間の重複領域が、隣接する領域の一方の面積の約65%である面積を有することができる。特定の実施形態では、各重複領域が同じ面積を有する。
ステップ1570では、プロセッサ210が、上記高分解能の解が収束したか否か(ステップ1570)を判定する。例えば、プロセッサ210は、上記高分解能の解が自己無撞着解に収束したか否かを判定する。1つの場合、プロセッサ210は、前回の反復または初期推定における前の高分解能の解を現在の高分解能の解と比較し、その差が特定値未満であれば、この解が自己無撞着解に収束したものとする。プロセッサ210が、この解が収束していないものと判定した場合、ステップ1510〜1570を反復する。一実施形態では、ステップ1510〜1560を1回反復する。他の実施形態では、ステップ1510〜1560を2回以上反復する。この解が収束していれば、プロセッサ210は、フーリエ空間内の収束した解を空間領域に変換して、高分解能画像
(外62)
を復元する。ステップ1570において、この解が収束したことをプロセッサ210が判定した場合、プロセスは随意的ステップ1600に進むことができる。
図6Eは、図6A及び6Bを参照して説明したFPI方法のステップを例示する図ある。図6Eの左側の画像は、2つの領域22(a)及び22(b)を含み、これらの領域は、フーリエ空間内で、0.08NAの2倍対物レンズの光伝達関数によって規定される円形ローパスフィルタの形状を有する。領域22(a)は、第1入射角:θx=0;θy=0、i=1なる垂直平面波の入射に関連する円形ローパスフィルタ形状に基づく。領域22(b)は、N番目の平面波の入射角θx=−21°;θy=22°;i=Nに関連する円形ローパスフィルタ形状に基づく。各入射角においてローパスフィルタ処理を実行するために、低分解能画像を生じさせる、フーリエ領域内の上記円形領域外のデータは省略する。斜面波の入射角θx=−21°;θy=22°に基づくフィルタ処理から生じる低分解能画像を、図6Eの右上側に示す。この斜平面波の入射角θx=−21°;θy=22°におけるフィルタ処理から生じる低分解能画像を、図の右下側に示す。これらの入射角の波動ベクトルを、x方向及びy方向に、それぞれkxi及びkyiで表す。この例示では、領域22(a)及び22(b)の寸法は、NA×k0の半径を有する円形瞳孔関数として近似することに基づく0.08NAの2倍対物レンズの光伝達関数によって定められ、ここにk0は2π/λ(真空中の波数)である。
図6Eでは、FPI方法が、図6Bのステップ1550に従い、垂直入射θx=0、θy=0に相当する高分解能再構成の領域22(a)内のデータを更新する。この領域は、更新された輝度測定値
(外63)
を有する低分解能画像データで更新され、ここに、
(外64)
である。図6Eでは、FPI方法は、図6Bのステップ1550に従い、N番目の入射角θx=−21°;θy=22°;i=Nに相当する高分解能再構成の領域22(b)内のデータも更新している。この領域は、更新された輝度測定値
(外65)
を有する低分解能画像データで更新される。
図6Fは、図6A及び6Bを参照して説明したFPI方法のステップを他に例示する図である。この場合、標本20は合焦面にある。この概略図は、例示1605、1606、及び1607を含む。例示1605は、ステップ1400及び補間した輝度から生じた初期のフーリエスペクトルの代表的な画像を含む。例示1606は、ステップ1500の反復部分を表し、この場合ステップ1510、1530、1550を含む。例示1606は、N回の反復を含む。領域22(d)、22(e)、及び22(f)の各々は、高分解能の解のフーリエ空間内の、円形ローパスフィルタの形状である。領域22(a)及び22(b)の寸法は、NA×k0の半径を有する円形瞳孔関数として近似することに基づく0.08NAの2倍対物レンズの光伝達関数によって定められ、ここにk0は2π/λ(真空中の波数)である。1回目の反復(i=1)θx=0;θy=0では、ステップ1550で領域22(d)が更新される。N−1回目の反復(i=N−1)、θx=−22;θy=19では、ステップ1550で領域22(c)が更新される。N回目の反復(i=N)、θx=−22;θy22では、ステップ1550で領域22(f)が更新される。例示1606は、復元された位相画像及び復元された輝度画像を含む。
実施形態では、FPI方法が、随意的なステップ1520及び1540を含めることによるデジタル・リフォーカシングを含む。ステップ1520及び1540のデジタル・リフォーカシングの特徴は、画像を、z=0にある合焦面122からz=z0にある試料面124まで伝播させる。デジタル・リフォーカシングは、光学素子(例えば、対物レンズ)の合焦面122が位置z=0にあるのに対し、標本20が、z=z0にある試料面124に配置されている際に、必要になり得る。換言すれば、デジタル・リフォーカシングは、標本20が量z0だけ焦点から外れている際に必要になり得る。図6C及び6Dは、本発明の実施形態による、LEDマトリクス形式の発光素子を有するFPI装置100(a)の構成要素の概略図である。図6Cでは、標本20が、量z0だけ焦点から外れ、随意的なステップ1520及び1540を用いて、デジタル的にリフォーカスすることができる。図6Dでは、標本20は、合焦面122にある合焦位置に配置されている。この場合、随意的なステップ1520及び1540は不要にすることができる。
一実施形態では、図2Bに示すFPI装置100(a)を有するFPIシステム10を用いて、図6A及び6BのFPI方法を実行し、ここで、標本20は合焦面122に配置した。この例では、発光素子が、斜光照明用の光源としての、137個の赤色LEDであった。再構成された画像の対応する最大NAは、対角方向に〜0.5であった。
図7A(1)、7A(2)、7A(3)、7A(4)、及び7A(5)は、図6A及び6BのFPI方法を実行して生じた画像である。これらの結果は、分解能の改善を示す。図7A(1)は、標本領域の全視野低分解能輝度画像である。図7A(2)は、放射検出器によって捕捉した図7A(1)の低分解能画像の選択部分のズームイン(部分拡大)画像であり、(5.5μmを倍率で除算した)2.75μmの画素サイズを有する。図7A(3)は、図7A(2)の画像のズームイン画像である。図7A(4)及び7A(5)は、コンピュータ計算で再構成した高分解能画像であり、画素サイズは0.275μmである。
一実施形態では、図2Bに示すFPI装置100(a)を有するFPIシステム10を用いて、図6A及び6BのFPI方法を実行し、ここでは、標本20を合焦面122に配置し、複数の異なるLED光源(即ち、N通りの異なる入射角)及びこれらに対応する、異なる最大NAを有する高分解能の再構成が、フーリエ空間を再構成でカバーした。第1の場合には、5つの低分解能画像(フレーム)が、5通りの入射角(i=1〜5)で取得された。図7B(1)は、これら5つのフレーム再構成から生じた高分解能画像を示す。図7B(2)は、これら5つのフレーム再構成の、0.13の最大合成NAにわたるフーリエ空間内でのスペクトル全体を示す。第2の場合には、64個の低分解能画像(フレーム)が、64通りの入射角(i=1〜64)で取得された。図7B(3)は、64個の再構成から生じた高分解能画像を示す。図7B(4)は、これら64個のフレーム再構成の、0.3の最大合成NAにわたるフーリエ空間内でのスペクトルを示す。第3の場合には、137個の低分解能画像が、137通りの入射角(i=1〜137)で取得された。図7B(5)は、これら137個のフレーム再構成から生じた高分解能画像を示す。図7B(6)は、これら137個のフレーム再構成の、0.5の最大合成NAにわたるフーリエ空間内でのスペクトルを示す。図7B(2)、7B(4)、及び7B(6)中の小さい円の各々は、1つの低分解能輝度測定値に対応するスペクトル領域を表す。これらの結果は、FPI方法を用いて、光学系の分解能から視野を切り離すことができ、これにより、広視野と高分解能とを同時に達成することを示す。
A.タイル画像によるFPI方法
一部の実施形態では、タイル撮像によるFPI方法が、捕捉した低分解能画像を、複数の低分解能タイル画像に分割し、タイル毎に独立して高分解画像を取得し、そして、これらの高分解能タイル画像を組み合わせて、全視野の高分解能画像を生成する。一部の場合には、高分解能タイル画像を、画像ブレンディング(画像融合)プロセスにより組み合わせることができる。画像ブレンディング・プロセスの例は、アルファ・ブレンディングであり、国際公開第1999/053469号パンフレット(特許文献1)、発明の名称”A system and method for performing blending using an over sampled buffer”、1999年4月7日出願に見出すことができ、この文献は、その全文を参照する形で本明細書に含める。タイルの高分解能画像を独立して取得することができるので、FPI方法は、並列計算を可能にすることができ、このことは、計算時間を低減することができ、そして、必要メモリも低減することができる。さらに、各発光素子からの光を、タイル毎に、平面波として正確に処理することができる。タイル毎の入射波動ベクトルは、次式のように表現することができ:
ここに、(xc, yc)は、全視野低分解能画像の各タイルの中心位置であり、(xi, yi)は、i番目の発光素子の位置であり、hは、照明装置と標本との間の距離である。さらに、一部の場合には、FPI方法は、特定の収差補正瞳孔関数を各タイルに適用することができる。
一実施形態では、FPIシステム10が、パーソナルコンピュータの形態のコンピュータ装置200を具え、コンピュータ装置200は、インテル(登録商標)i7CPUの形態のプロセッサ210を有する。1つの実験では、FPIシステム10が、FPI方法を、低分解能画像を196×196画素のタイルに分割するタイル撮像により実行する。1つの場合には、小画像毎の(196×196個の原画素を1960×1960画素に変換する)処理時間は、Matlab(登録商標)を使用して約3.75秒である。この場合、全視野のギガピクセル画像を生成するための処理時間は、上記CPUの4コアを使用して並列計算すると、約10分である。他の実施形態では、FPIシステム10が、GPUユニットの形態のプロセッサを有することができ、このプロセッサは、処理時間を10分の1に低減することができる。他の実施形態では、プロセッサ210が、C++のような他のプログラミング言語を用いて、FPI方法のステップを実行することができ、これにより処理時間を低減することができる。こうしたFPIシステムの例は、Zheng, G., Horstmeyer, R., and Yang, C., “Wide-field, high-resolution Fourier ptychographic microscopy”, Nature Photonics (2013年7月)(非特許文献22)に見出すことができ、この文献は、その全文を参照する形で本明細書に含める。
図8Aは、本発明の実施形態による、タイル撮像によるFPI方法のフローチャートである。このFPI方法は、FPIシステム10によって実行することができる。並列処理能力を活用するために、FPIシステム10は、例えばGPUユニット、あるいは複数コア(即ち、独立した複数の中央演算装置)のような並列処理能力を有するプロセッサ210を含む。このFPI方法は、測定プロセス(ステップ1100、1200、及び1300)、復元プロセス(ステップ1350、2400(1〜M)、2500(1〜M)、2590)、及び随意的な表示プロセス(ステップ1600)を含む。測定プロセス(ステップ1100、1200、及び1300)、及び表示プロセス(ステップ)1600は、図6Aを参照して説明している。
ステップ1350では、プロセッサ210は、全視野を、例えばタイルの二次元マトリクスのような複数のタイルに分割する。タイルの二次元正方形マトリクスは、例えば256×256マトリクス、64×64マトリクス、等のような2のべき乗にすることができる。一例では、プロセッサは、5280×4380画素の全視野を、150×150画素の面積を有する複数のタイルに分割することができる。
次に、プロセッサ210は、高分解能画像
(外66)
を、空間領域内で、並列計算(ステップ2400(1)...2400(M))を用いて、タイル(1〜M)毎に独立して初期化する。この初期推定値にフーリエ変換を適用する。一部の場合には、初期推定値を(輝度及び位相の両者について)ランダム複素行列として定めることができる。他の場合には、初期推定値を、低分解能輝度測定値のランダム位相による補間として定めることができる。初期推定値の例は、標本領域のあらゆる低分解能画像のψ=0及びIhrである。初期推定値の他の例は、定数値である。初期推定値のフーリエ変換は、フーリエ領域内の広域スペクトルとすることができる。
ステップ2500(1)...ステップ2500(M)では、プロセッサ210が、各タイル(1〜M)の高分解能画像を、並列計算を用いて独立して、コンピュータ計算で再構成する。プロセッサ210は、図6Bに示すステップ1510、1530、1550、1560、及び1570を参照して説明したように、低分解能輝度画像をフーリエ空間内で反復的に組み合わせることによって、各タイルの高分解能画像をコンピュータ計算で再構成する。標本が焦点から外れている場合、ステップ1520及び1540を含めることができる。
ステップ2590では、プロセッサ210が、高分解能タイル画像を組み合わせて、全視野の高分解能画像にする。一部の場合には、タイル画像を組み合わせることが、例えばアルファ・ブレンディングのような画像ブレンディング・プロセスを含む。
図8Bは、本発明の実施形態による、画像ブレンディングを用いたタイル撮像によるFPI方法を実行した結果の画像である。この例では、FPI方法が、5320×4370画素の各低分解能画像を、150×150画素のサイズのタイルに分割した。左側の画像は、隣接する2つの高分解能タイル画像である。右側の画像は、これら2つの高分解能タイル画像を、ブレンディングを用いて組み合わせた画像である。ブレンディングでは、FPI方法がブレンディング領域を生成し、このブレンディング領域が、高分解能全視野画像内で隣接するタイル画像のエッジ領域を置き換える。この例示では、ブレンディング領域の幅が50画素であった。他の実施形態では、ブレンディング領域が、例えば6画素のような他の幅を有する。ブレンディングにより、ブレンディング領域内には目に付く境界が存在しない。
ステップ1600では、標本領域の復元した高分解能二次元画像を、ディスプレイ230上に表示する。
一実施形態では、タイル撮像によるFPI方法が、異なるタイル間の入射角の差を、これらのタイルと各発光素子との間の距離に基づいて明確にする手順を、さらに含むことができる。
B.デジタル・リフォーカシング付きのFPI方法
従来の高NA顕微鏡の他の限界は、限られた被写界深度である。例として、0.4NAの20倍対物レンズを有する従来型顕微鏡の被写界深度は、約6μmである。従来型顕微鏡によれば、その被写界深度が限られていることにより、標本が合焦面122から離れるに連れて分解能が劣化する。従来型顕微鏡を用いて最適な分解能を達成するためには、オペレータがステージを移動させて、標本を機械的に合焦状態に戻す必要がある。この関係では、従来型顕微鏡では、標本をサブミクロン精度で合焦位置にもっていくために、精密な機械式ステージが必要になる。
特定の実施形態では、FPIシステム10は、標本を機械的ではなくデジタル的にリフォーカスすることができるFPI方法を実現する。これらの場合、FPI方法は、復元プロセス中に、焦点から外れた標本20をコンピュータ計算でリフォーカスする。デジタル・リフォーカシングを用いて、FPIシステム10は、その被写界深度を、その光学素子の物理的限界を超えて拡張することができる。
図10Aは、本発明の実施形態による、デジタル・リフォーカシング付きのFPI方法とデジタル・リフォーカシングなしのFPI方法とを比較した、数値シミュレーションによる画像である。これらの画像は、このFPI方法を用いて生じた高分解能再構成が、標本のデフォーカスに対して不変であることを示している。図10Aでは、各行が、−150μm、−50μm、50μm、及び150μmの、z方向の異なるデフォーカス量を表す。列1は、捕捉した低分解能画像である。列2及び3は、デジタル・リフォーカシング付きで復元した高分解能の輝度及び位相プロファイルである。列4及び5は、デジタル・リフォーカシングなしで復元した高分解能の輝度及び位相プロファイルである。
図10B(1)は、実施形態による、デジタル・リフォーカシング付きのFPI方法を実行するFPI装置100(a)の実験設定の概略図である。図10B(2)〜(16)は、図10B(1)の実験設定による、デジタル・リフォーカシング付きのFPI方法を実行した実験結果の画像である。この実験では、図10B(1)の概略図に示すように、標本を、−300μm〜+300μmの範囲のデフォーカス距離を有する種々の異なるz位置に移動させた。(LEDマトリクスの137個の異なるLEDに対応する)低分解能画像を、これらのデフォーカス位置のすべてについて取得した。代表的な低分解能画像を、図10B(2)、(3)、(4)、(5)、及び(6)に示す。図6Bのステップ1520及び1540を伴う復元プロセスに続いて、標本の高分解能プロファイルをコンピュータ計算で再構成した。これらの高分解能プロファイルを、図10B(7)、(8)、(9)、(10)、及び(11)に示す。図10C(1)〜(7)は、図10B(1)〜10B(16)に関して説明した実験のより詳細な結果を含む。図10C(7)は、図10C(4)、(5)、及び(6)中の最小の特徴についての、線トレースのグラフである。図10B及び10C中の再構成した画像によって示すように、デジタル・リフォーカシング付きのFPI方法は、0.3mmの分解能不変の撮像深度を達成することができる。
図10D(1)〜(3)は、本発明の実施形態による、デジタル・リフォーカシング付きのFPI方法とデジタル・リフォーカシングなしのFPI方法とを比較して実行した実験結果の画像である。図10(2)及び10(3)には、実施形態のFPI方法を用いた結果の画像再構成を、デジタル・リフォーカシング付き(例えば、ステップ1520及び1540)とデジタル・リフォーカシングなしとを比較して示す。図10D(1)は、z=−150μmにおける原データの低分解能画像である。図10D(2)は、デジタル・リフォーカシング付きで再構成した高分解能画像であり、図10D(3)は、デジタル・リフォーカシングなしで再構成した高分解能画像である。
FPI方法によるデジタル・リフォーカシングは、従来型顕微鏡に対する他の大きな改善を示す。デジタル・リフォーカシングは:1)標本が視野全体に対して完全に位置合わせされていない場合を補正することができ、かつ2)(異なるデフォーカス距離を異なる色に割り当てて)色収差をデジタル的に補正することができる。
図10E(1)、10E(2)、10E(3)、10E(4)、10E(5)、10E(6)、10E(7)、及び10E(8)は、本発明の実施形態による、FPIシステム10を用いて、血液塗抹標本及び病状スライド中の色収差を補正するデジタル・リフォーカシング付きのFPI方法を実行した代表的な結果を提供する。FPIシステム10は、図2BのFPI装置100(a)を含む。図10E(1)は、FPIシステム10によって取得した血液塗抹標本の代表的な低分解能画像である。図10E(2)は、FPIシステム10によって取得した病状スライドの代表的な低分解能画像である。図10E(3)は、デジタル・リフォーカシング付きで、コンピュータ計算で再構成した血液塗抹標本の高分解能画像である。図10E(4)は、デジタル・リフォーカシング付きで、コンピュータ計算で再構成した病状スライドの高分解能画像である。図10E(5)は、デジタル・リフォーカシングなしで、コンピュータ計算で再構成した血液塗抹標本の高分解能画像である。図10E(6)は、デジタル・リフォーカシングなしで、コンピュータ計算で再構成した病状スライドの高分解能画像である。図10E(7)及び10E(8)は、それぞれ血液塗抹標本及び病状スライドの、20倍対物レンズによる従来の顕微鏡画像であり、比較用である。
C.デジタル・オートフォーカス付きのFPI方法
FPIシステム10の動作中には、標本20のz位置を先験的に知り得ないことがある。特定実施形態では、FPI方法が、標本20のz位置を測定し、このz位置を用いてデジタル的にリフォーカスするステップを含むことができる。例えば、図6BのFPI方法は、ステップ1520中またはその前に、標本20のz位置を計算するステップをさらに含むことができる。FPIシステム10は、プロセッサ210を用いることによって、デジタル・リフォーカシングを実行して、計算した標本のz位置を用いて、図6B中のステップ1520及び1540を実行することができる。標本20のz位置を計算するために、FPI方法は、オートフォーカス(自動焦点)指数パラメータを決定する。オートフォーカス指数は、次式によって定義される:
ここに、
(外67)
は、ローパスフィルタ処理からの振幅画像であり、
(外68)
は、実際の低分解能測定値であり、”abs”は絶対値を表す。
式2中の総和は、すべての斜め入射角について計算する。FPI方法が、標本20の推定z位置を計算した後に、FPI方法は、この推定z位置にデジタル的にリフォーカスすることができる。一部の場合には、正確なz位置を用いる際に、より良好に収束するための、高分解能画像の解が見出されている。
図10F(1)、10F(2)、10F(3)、10F(4)、10F(5)、10F(6)、及び10E(7)は、本発明の実施形態による、デジタル・リフォーカシング付きのFPI方法を実行するFPIシステム10を用いた実験結果を含む。このFPI方法は、標本のz位置を自動計算するために、オートフォーカス指数を計算する。第1の場合には、標本をz0=−150μmに配置した。図10F(1)、10F(2)、及び10F(3)は、z0=−150μmにある標本について再構成した画像である。第2の場合には、標本を、FPI装置のz0=−50μmに配置した。図10F(4)、10F(5)、及び10F(6)は、z=−50μmにある標本について再構成した画像である。FPI方法を用いて、FPIシステム10は、式2に基づいて、種々の異なる位置についてオートフォーカス指数を計算した。図10F(7)は、種々の異なるz位置について計算したオートフォーカス指数のグラフである。オートフォーカス指数の最大値が、標本のz位置の推定値を示す。図に示すように、計算したオートフォーカス指数の最大値に基づく推定位置は、標本の実際位置に近い。推定位置を用いて、FPI方法はオートフォーカスして、画像を推定位置に伝播させることができる。
D.デジタル波面補正付きのFPI方法
FPI方法は、位相情報を入力として必要としないが、特定実施形態のFPI方法は、反復的な再構成中に位相を調整する。これらの実施形態では、数値的方策を用いて、焦点深度を対物レンズの焦点深度を超えて拡張して、瞳孔関数における収差を補償することができる。こうした収差補償方策の例は、非特許文献14、及びColomb, T. et al., “Automatic procedure for aberration compensation in digital holographic microscopy and applications to specimen shape compensation”, Appl. Opt. 45, p.851-863 (2006)(非特許文献23)に見出すことができ、これらの文献は、その全文を参照する形で本明細書に含める。このデジタル補正プロセスは、位相マップをコヒーレント光伝達関数にデジタル的に導入して、反復的な画像復元プロセス中に、瞳孔面における収差を補償する。
図9Aは、本発明の他の実施形態による、図6AのFPI方法のステップ1550のサブステップのフローチャートである。この例では、FPI方法がデジタル波面補償を含む。このFPI方法は、デジタル波面補償を、2つの乗算ステップ1605及び1645中に含める。具体的には、ステップ1605は、実際の標本プロファイルと捕捉した輝度データ(収差を含む)との関係を、プロセッサ210によって、瞳孔関数
(外69)
との乗算によりモデル化する。ステップ1645は、こうした関係を逆にして、収差のない再構成画像を実現する。標本のデフォーカスは、デフォーカス位相係数を瞳孔面に導入すること(即ち、デフォーカス収差)と本質的に等価である:
ここに、kx及びkyは瞳孔面における波数であり、z0はデフォーカス距離であり、NAは光学素子の開口数である。
ステップ1605では、プロセッサ210がフーリエ領域内で位相係数
(外70)
を乗算する。
ステップ1610では、プロセッサ210が、フーリエ領域内で高分解能画像
(外71)
のローパスフィルタ処理を実行して、特定の平面波入射角
(外72)
について、波動ベクトル
(外73)
により低分解能画像
(外74)
を生成する。高分解能画像のフーリエ変換は
(外75)
であり、特定の平面波入射角についての、低分解能画像のフーリエ変換は
(外76)
である。フーリエ領域内では、FPI方法が、低分解能画像
(外77)
のスペクトル
(外78)
からのローパス領域を、フィルタ処理で選別する。対物レンズの形態の光学素子の場合、この領域は、NA×k0の半径を有する円形開口であり、k0は2π/λ(真空中の波数)に等しく、対物レンズのコヒーレント伝達関数によって与えられる。フーリエ空間内では、この領域の位置が入射角に対応する。波動ベクトル
(外79)
を有する斜面波の入射については、この領域は、
(外80)
のフーリエ領域内の位置
(外81)
を中心とする。
ステップ1630では、プロセッサ210を用いて、合焦面
(外82)
低分解能画像の振幅成分
(外83)
の計算値を、FPI装置の放射検出器によって測定した輝度測定値の平方根
(外84)
に置き換える。これにより、更新した低分解能ターゲット
(外85)
が形成される。
ステップ1645では、プロセッサ210が、フーリエ領域内で、位相係数
(外86)
を乗算する。
ステップ1650では、プロセッサ210を用いて、更新して試料面
(外87)
まで伝播させた、更新されたターゲット画像にフーリエ変換を適用し、このデータを、入射波動ベクトル
(外88)
に対応するフーリエ空間内の、高分解能の解
(外89)
の対応する領域内で更新する。
ステップ1660では、プロセッサ210が、すべての入射角についてステップ1605〜1650を完了したか否かを判定する。すべての入射角について、ステップ1605〜1650を完了していなければ、次の入射角について、ステップ1605〜1650を反復する。
大部分の実施形態では、入射角毎に反復して更新された、フーリエ空間内で隣接する領域が互いに重複する。更新した重複領域どうしの間で重複する領域では、FPIシステム10が、同じフーリエ空間全体にわたって多数のサンプリングを有する。上記複数の入射角が、この重複する領域の面積を決定する。一実施形態では、隣接する領域間の重複領域が、隣接する領域の一方の面積の2%〜99.5%である面積を有することができる。他の実施形態では、隣接する領域間の重複領域が、隣接する領域の一方の面積の65〜75%である面積を有することができる。他の実施形態では、隣接する領域間の重複領域が、隣接する領域の一方の面積の約65%である面積を有することができる。特定の実施形態では、各重複領域が同じ面積を有する。
ステップ1670では、プロセッサ210が、高分解能の解が収束したか否かを判定する。例えば、プロセッサ210は、高分解能の解が自己無撞着解に収束したか否かを判定する。1つの場合には、プロセッサ210は、前回の反復または初期推定における前の高分解能の解を、現在の高分解能の解と比較し、その差が特定値未満であれば、この解が自己無撞着解に収束したものとする。プロセッサ210が、この解が収束していないものと判定した場合、ステップ1605〜1670を反復する。一実施形態では、ステップ1605〜1670を1回反復する。他の実施形態では、ステップ1605〜1670を2回以上反復する。この解が収束していれば、プロセッサ210は、フーリエ空間内の収束した解を空間領域に変換して、高分解能画像
(外90)
を復元する。ステップ1570において、この解が収束したことをプロセッサ210が判定した場合、プロセスは随意的ステップ1600に進むことができる。
図9Bは、本発明の実施形態による、デジタル波面補正付きのFPI方法を実現するFPI装置の概略図である。図に示すように、ステップ1605及び1645においてデジタル瞳孔関数を導入して、実際の標本プロファイルと捕捉した輝度データとの関係をモデル化し、捕捉した輝度データは、デフォーカスによって生じた収差を示すことがある。デジタル波面補正付きのFPI方法を用いて、光学素子(例えば、対物レンズ)の空間的に変化する収差を補正することもできる。
デフォーカス距離が未知である場合、FPI方法は、式4によるオートフォーカス指数の計算に基づいて、「z」パラメータを種々の異なる値にデジタル的に調整する。次に、FPI方法は、対応する画像を再構成して、最も尖鋭な画像を選択する。このやり方を拡張して、傾斜した試料を撮像することもできる。この場合、FPI方法は、「z」パラメータをデジタル的に調整して、画像全体の傾斜領域毎に尖鋭さを達成し、焦点が合った領域どうしを組み合わせて、十分に焦点が合った全視野画像を形成することができる。
他の実施形態では、代わりのデジタル乗算可能な位相係数を、乗算ステップ1605及び1645に含めて、これらの係数が使用中の光学系を適正にモデル化する限り、種々の収差を補正することができる。
E.復元プロセスの推定計算コスト
放射検出器によって検出した低分解能画像がn個の画素を含み、N個の異なる発光素子を照明用に使用するものと仮定すれば、図6Bの例示する例の復元プロセスの計算コストは、ステップ1510、1550、及び1570の計算コストによって近似することができる。復元プロセスのステップ1510では、二次元高速フーリエ変換(FFT:fast Fourier transformation)を実行して、低分解能画像
(外91)
を生成し、対応する計算コストはn2・log(n)となる。ステップ1550では、他のフーリエ変換を実行して、
(外92)
のフーリエ空間の対応する領域を更新し、対応する計算コストはn2・log(n)となる。ステップ1560では、上記の計算を、すべての入射角について1回反復し、従って、計算コストはN・2・n2・log(n)となる。ステップ1570を1回反復すれば、計算コストは2・N・2・n2・log(n)となる。復元プロセス中の他のステップは、以上の値に比べれば無視できる。要約すれば、図6BのFPI方法の計算の複雑性は4・N・n2・log(n)であり、ここにNは斜め入射角の総数であり、nは低分解能画像の画素の総数である。
IV.カラー撮像及び/または位相撮像を行う好適なFPIシステム
A.カラー撮像
カラー撮像能力は、病理学及び組織学において極めて重要である。特定の実施形態では、カラー撮像ができるFPIシステム10が、LEDを有する可変照射装置を具え、このLEDは、赤色、緑色、及び青色の照射を与えることができる発光素子を有する。上記FPI方法は、赤色、緑色、及び青色LED照明から生じる高分解能画像を組み合わせて、対応する各カラーチャネルにして、最終的な高分解能カラー画像を形成する。赤色、緑色、及び青色に対応する3つの画像が生成され、これらを組み合わせて高分解能カラー画像を形成する。
デジタル病理学用途向けのこうしたFPIシステム10の実現を例証するために、このカラー撮像システムを用いて、病状スライド(人間の胸部の腺癌、カロライナ)のカラー高分解能画像を取得した。図11A(1)は、従来型顕微鏡の2倍及び20倍の対物レンズの両者について、病状スライドの視野を比較して例示する写真である。2倍対物レンズの場合については、図11A(2)及び11A(3)の画像に示すように、従来型顕微鏡におけるFOV(視野)は直径〜13.25mmであり、NAは0.08である。他方では、20倍対物レンズについては、図11A(4)及び11A(5)に示すように、この20倍対物レンズのNAは0.4であり、2倍対物レンズのNAよりもずっと大きいのに対し、FOV(視野)は直径1,1mmしかない。実施形態の2倍対物レンズを有するカラー撮像FPIシステム10を用いれば、視野は2倍の場合と同じである(即ち、直径13.25mm)のに対し、最大NAは〜0.5であり、ナイキスト(Nyquist)速度による画像全体にわたって1.8ギガピクセル以上を生じさせる。図11A(6)及び図11A(7)は、本発明の実施形態による、FPIシステム10の視野及び対応する最大NAを示すカラー画像である。
図11Bは、本発明の実施形態によるカラー撮像FPIシステム10を用いて生じた画像を含む。図11B(1)〜(18)に相当する図面の行は、それぞれ、赤色、緑色、及び青色の照射について再構成した画像に関連する。図11B(19)は、元のカラー画像である。図11B(20)は、コンピュータ計算で再構成したカラー画像であり、FPIシステム10によるデジタル・リフォーカシング付きである。図11B(21)は、40倍対物レンズ及びカラー画像センサによって捕捉した比較用の画像である。図11C(1)、11C(2)、11C(3)、11C(4)、11C(5)及び11C(6)は、上記カラー撮像FPIシステム10と、種々の異なる対物レンズとで画像品質を比較して示すカラー画像である。図11C(6)は、FPIシステム10によってコンピュータ計算で再構成した画像である。図11C(1)、11C(2)、11C(3)、11C(4)、及び11C(5)は、それぞれ、2倍、4倍、10倍、20倍、及び40倍の対物レンズによって捕捉した画像の比較である。
B.位相撮像
位相撮像は、多数の用途において有用である。例えば、組織病状スライドのプロファイルは、細胞組織の分子スケール組織についての情報を含み得るし、Wang, Z., tangella, K., Balla, A. and Popescu, G., “Tissue refractive index as marker of disease”, Journal of Biomedical Optics 16, 116017-116017 (2011)(非特許文献24)に記載されているように、癌診断用の固有マーカーとして用いることができ、この文献は、その全文を参照する形で本明細書に含める。他の例として、試料の情報を用いて、細胞または細胞小器官の光路長を測定して、細胞培養の成長パターンを測定するか、血液検査を実行することができ、これについては、Lue, N. et al., “Live Cell Refractometry Using Hilbert Phase Microscopy and Confocal Reflectance Microscopy”, The Journal of Physical Chemistry A, 113, p.13327-13330 (2009)(非特許文献25)、Mir, M. et al., “Optical measurement of cycle-dependent cell growth”, Proceedings of the National Academy of Sciences 108, p.13124-13129 (2011)(非特許文献26)、及びMir, M. et al., “Blood screening using diffraction phase cytometry”, Journal of Biological Optics 15, p.027016-027014 (2010)(非特許文献27)に記載され、これらの文献は、その全文を参照する形で本明細書に含める。
従来の全視野位相撮像技術の大部分は、干渉分光法を利用し、干渉分光法は、精巧で良好に設計された光学的位置合わせ(アライメント)を必要とする。これらの従来技術に比べて、実施形態のFPI方法は、研究者及び臨床医が、現有する顕微鏡システムに位相撮像機能を組み入れるための容易で費用効果的な解決策である。図11Dは、本発明の実施形態による、FPI方法をカラー撮像FPIシステム10により、病状スライド及び血液塗抹標本の両方に用いて得られた位相及びカラー画像を含む。図11D(1)及び11D(2)は低分解能画像である。図11D(3)及び11D(4)は高分解能輝度画像である。図11D(5)及び11D(6)は高分解能位相画像である。図11D(7)及び11D(8)は高分解能カラー画像である。図11D(9)及び11D(10)は、20倍対物レンズを有する従来型顕微鏡による画像であり、比較用である。この位相画像は、複素高分解能画像の位相角をとることによって生成される。
V.追加的なシミュレーション結果
本発明の実施形態による、FPI方法を実行するFPIシステムの数値シミュレーションのいくつかの結果を、本節、及び本開示中の他の箇所に提供する。多数の実施形態では、このFPIシステムが、FPI方法を用いて、低NAレンズの使用により高分解能画像を再構成する。
例として、図5Aに、本発明の実施形態による、FPI方法を用いたFPIシステムの数値シミュレーションによる結果を例示する。図5Aは、シミュレーションによる標本の輝度プロファイルI(x, y)及び位相プロファイルψ(x, y)を表す2つの画像を(左側に)含む。これら2つの入力プロファイルの画素サイズは275mmであり、シミュレーションによる入射の波長は632nmである。このシミュレーションでは、この方法を、複数の静止した発光素子を発光素子の二次元アレイ形式で有するFPI装置100(a)を用いて実行した。測定プロセス中には、標本を平面波によって、137通りの異なる入射角で照射し、2倍対物レンズ(0.08NA)によってフィルタ処理し、そして5.5μmの画素サイズを有する画像センサによって捕捉した。このシミュレーションでは、試料が対物レンズの合焦位置(即ち、合焦面122)に配置されているものと仮定している。1%のランダムなスペックルノイズが加わった結果的な低分解能画像を、図5Aの中央部に示す。これらの低分解能画像を基に、復元プロセスを用いて、0.5の最大NAを有する高分解能画像を、フーリエ空間内で再構成した。復元プロセスでは、ローパスフィルタ処理した画像の輝度を、実際の低分解能測定値に置き換えて、高分解能再構成のフーリエ空間が相応に更新される。再構成された高分解能画像の輝度及び位相プロファイルを、図5Aの右側に示す。データ取得測定プロセスに位相測定を含めることなしに、標本の高分解能画像を復元することができる。
図5B(1)、5B(2)、5B(3)、5B(4)、5B(5)、5B(6)、5B(7)、5B(8)、5B(9)、5B(10)、5B(11)、及び5B(12)は、図5Aに関して説明した実施形態による、FPI方法を用いるFPIシステムの数値シミュレーションによる追加的な結果を例示する。図5B(1)、5B(2)、5B(3)、5B(4)、5B(5)、5B(6)、5B(7)、5B(8)、及び5B(9)は、このシミュレーション中に得た137個のうち9つの、低分解能の測定結果の画像を示す。図5B(10)及び5B(11)は、それぞれ、コンピュータ計算で復元した高分解能の輝度及び位相画像である。図5B(12)は、復元画像のフーリエ空間である。低分解能画像の対応する領域を協調している。
VI.性能向上率
元の低分解能画像の最大画素サイズと、高分解能画像の最大画素サイズとの比率に基づいて、FPIシステムを用いた向上率を次式のように表現することができる:
向上率=2・NAsyn/NAobj (式3)
向上率が大きいほど、システム性能も高い。
特定の実施形態では、FPIシステム10が、特定のサンプリング条件を有して、特定の向上率をもたらすことができる。一般に、このサンプリング条件は、次の2つの質問、即ち:1)与えられた対物レンズのNAの下で、低分解能輝度画像を取得するために用いることができる最大画素サイズはどの程度か;2)与えられた再構成画像の合成NAの下で、再構成された輝度画像を表現するために用いることができる最大画素サイズはどの程度か。実施形態のFPI方法は、輝度及び位相情報を共に復元することができるので、質問1の答は、コヒーレント光学系用の条件と同じ:λ/(2・NAobj)である。質問2については、合成NAは、(振幅及び位相を有する)電界E用である。他方では、最終的な再構成は、輝度プロファイルI(I=E・E*、ここに「」は複素共役を表す)用である。空間領域内でのこうした電界の乗算は、フーリエ領域内での畳み込み演算に相当する。このため、再構成された輝度画像の通過帯域は、フーリエ領域内での通過帯域の2倍である。従って、再構成された輝度画像を表現するために用いることができる最大画素サイズは、試料面ではλ/(4・NAobj)である。
特定実施形態では、FPI装置100(a)が、0.08NAの2倍対物レンズの形態の光学素子、及び5.5μmの画素サイズを有する画像センサの形態の放射検出器を含む。質問2の答より、像平面において用いることができる最大画素サイズは、青色については2・λ/(2・NAobj)=5.88μmである。従って、画像センサの5.5μmの画素サイズは、こうしたサンプリング条件に合わせている。他方では、質問2の答に基づいて、(同じ平面における)再構成画像の画素サイズは、赤色、緑色、及び青色波長用に、それぞれ0,34μm、0.30μm、及び0.28μmである。簡単のため、実現では、0.275μmの再構成画素サイズを、これら3つの波長用に使用した。
VII.FPIシステムの利点
本発明の実施形態は、次の技術的利点のうち1つ以上を提供することができる。これらの利点のいくつかの例を以下に提供する。
1.フーリエ領域内のオブジェクト・サポート
1つの態様では、FPI方法が、オブジェクト・サポートの制約をフーリエ領域内に課し、このことは、大きなFOV(視野)、及び(焦点調節素子による)より高い信号対雑音比を、機械的走査なしに提供する。従来のタイコグラフィーシステムでは、オブジェクト・サポートを、空間領域内に閉じ込められた照明によって行う。これらの従来システムでは、所望の視野全体を通して、標本を機械的に走査しなければならない。
2.位相測定なし
大部分の実施形態では、FPI方法が、標本の位相測定を必要としない。従来の干渉法による合成開口顕微鏡は、その検出スキーム(方式)において位相測定を必要とし、これについては、Rodenburg, J. M. and Bates, R. H. T., “The theory of super-resolution electron microscopy via Wigner-distribution deconvolution”, Phil. Trans. R. Soc. Lond. A 339, p.521-553 (1992)(非特許文献28)、H. M. L. and Rodenburg, J. M., “Movable aperture lensless transmission microscopy, a novel phase retrieval algorithm”, Phys. Rev. Lett. 93, 023903 (2004)(非特許文献29)、Rodenburg, J. M. et al., “Hard-X-ray lensless imaging of extended objects”, Phys. Rev. Lett. 98, 034801 (2007)(非特許文献30)、Thibault, P. et al., “High-resolution scanning X-ray diffraction microscopy”, Science 321, p.379-382 (2008)(非特許文献31)、Dierolf, M. et al., “Ptychographic coherent diffractive imaging of weakly scattering specimens”, New J.Phys. 12, 035017 (2010)(非特許文献32)、Maiden, A. M., Rodenburg, J. M. and Humphry, M. J., “Optical ptychography: a practical implementation with useful resolution”, Opt. let. 35, p.2585-2587 (2010)(非特許文献33)、Humphry, M., Kraus, B., Hurst, A., Maiden, A. and Rodenburg, J., “Ptychographic electron microscopy using high-angle dark-field scattering for sub-nanometric resolution imaging”, Nat. Commun. 3, 730 (2012)(非特許文献34)に記載されていると言える。これらの文献は、その全文を参照する形で本明細書に含める。測定された位相情報を必要としないので、FPIシステムは、従来の干渉法による検出スキーム(方式)に関連する設計上の挑戦をなくす。
3.光学素子の物理的限界を超える空間帯域幅積
1つの利点は、特定実施形態のFPIシステムが、従来型装置により空間帯域幅を増加させる以前の試みの欠点を回避しつつ、空間帯域幅積を、単純かつ費用効果的な方法で、当該FPIシステムの光学系の物理的限界を超えて増加させることができることにある。これらのシステムは、FPI方法を用いて、光学系の分解能から視野を切り離し、このことは、これらのシステムが低NAレンズで高分解能画像を生成することを可能にする。従って、これらのFPIシステムの性能は、その光学系の空間的帯域幅積によって制限されない。1つの好適な実施形態では、0.5の最大NA、120mm2の視野、及び分解能不変の0.3mmの撮像深度を有する1.6ギガピクセルのシステムを形成するFPIシステムが実現された。
4.スケーラブルな性能
前述したように、実施形態のFPIシステムでは、分解能とFOV(視野)とが結び付かない。一実施形態では、特定のNAを有する対物レンズを使用することによって、かつ特定数N個の照明を使用することによって、FPIシステムを所望の性能向けにスケーリングすることができる。例えば、対物レンズのNAを低減することによって、及び/または、照明の数Nを増加させることによって、FPIシステムの性能を増加させることができる。一実施形態では、FPIシステムが、機械的走査及び/または位相測定の利用なしに、既存の明視野顕微鏡よりも2桁高い性能を提供する。
5.従来型顕微鏡に実装することができるモジュール形式
特定の場合には、FPIシステムの構成要素をモジュール形式にして、従来型顕微鏡または他の従来型撮像装置に容易に実装することができる。これらの実装は、デジタル病理学、血液学、免疫化学、及び法医学の写真撮影に広く影響を与える可能性を有し得る。例えば、FPIシステムのモジュール構成要素は、可変照明装置(例えば、単純な発光ダイオード(LED)マトリクス)、及びFPI方法を実行するための命令を有するプロセッサを含むことができる。
6.機械的走査なし
特定の実施形態では、FPI方法が機械的走査を必要としない。従来の合成開口及び走査ベース広視野顕微鏡技術とは異なり、実施形態のFPI方法は、機械的走査を必要としない。このため、実施形態のFPI方法は、プラットフォーム設計を簡略化し、関連するコストを低減し、そしてより高い性能限界を可能にする。
7.カラー撮像ができる
他の利点は、特定実施形態のFPIシステムを用いてカラー画像を生成することができる、ということであり、このことは、病理学及び組織学用途において極めて重要である。実施形態では、FPIシステムが、種々の異なる色の照射を与える可変照明装置(例えば、カラーLEDマトリクス)を有することによって、カラー撮像をすることができる。デジタル・リフォーカシングを実装すれば、コンピュータ計算で再構成した画像は、光学系の色収差がないままにすることができる。
8.デジタル・リフォーカシング及び拡張された焦点深度
従来型顕微鏡において最適な分解能を達成するためには、ステージを使用して、焦点から外れた標本を機械的に焦点にもっていかなければならない。特定実施形態では、FPI方法が、機械的ではなくコンピュータ計算で画像をデジタル的にリフォーカスすることができる。この態様は、標本が全視野にわたって完全に位置合わせされていない場合にとって、特に有用である。デジタル・リフォーカシングを用いて、FPIシステムは、焦点深度を、光学素子の光学的限界を超えて拡張することができる。例えば、一実施形態のFPI方法を用いて、従来型顕微鏡の対物レンズの焦点深度を、約80μmから約0.3mmまで拡張することができる。このように増加した焦点深度は、顕微鏡スライドの配置誤差に大きな許容範囲をもたらし、このことは、従来型システムに対して精度を改善する。
9.位相撮像能力
生体試料のプロファイルは、試料の分子スケール組織の情報を含み、固有のマーカーとして種々の異なる用途に用いることができる。位相撮像をする能力は、細胞分離及び細胞計数のようなデジタル画像処理にとっても重要である。従来の全視野位相撮像技術は、相当精巧であり、かつ良好に設計された光学的位置合わせ(アラインメント)を必要とする。特定の実施形態では、FPI方法が、研究者及び臨床医が現有する顕微鏡システムに位相撮像機能を組み入れるための容易で費用効果的な解決策を提供する。このFPI方法は、試料の複素画像を再構成することができる。特定の実施形態では、FPI方法が、複素画像の位相角をとることによって位相画像を生成することができる。
10.X線及びTHz(テラヘルツ)用途
特定の実施形態では、FPI方法を、テラヘルツ及びX線撮像用途に拡張することができ、この用途では、レンズが貧弱であり、かつ非常に限られた開口数のものである。
VIII.X線撮像用のFPIシステム
特定の実施形態では、FPIシステム10を、X線撮像用に構成することができる。これらの実施形態では、フーリエ・タイコグラフィーX線撮像システム10が、X線放射源(例えば、X線管及び金属ターゲット)付きのFPI装置を具えている。
一実施形態では、フーリエ・タイコグラフィーX線撮像システム10が、図4Aに示すFPI装置100(c)を含み、その構成要素はX線放射用に構成されている。この実施形態では、FPI装置110(c)が、剛体アセンブリとしてステージ(例えば、ゴニオメーター・ステージ)上に装着することができるアセンブリ170を具え、このステージは、X線放射を指向させる静止した発光素子112に対して、アセンブリ170を平行移動及び/または回転させて、X線放射をN通りの入射角から標本20に与える。FPI装置100(c)は、アセンブリ170を発光素子112に対して平行移動及び/または回転させるためのメカニズム160を具えている。このメカニズム170は、静止した基盤(ベース)に固定することができる。FPI装置100(c)は、光学素子130(c)及び放射検出器140(c)も具えている。これらの構成要素は、共にX線放射用に設計され、即ち、X線光学素子及びX線放射検出器である。X線光学素子は、例えば、マイクロ・ゾーンプレートまたは斜入射ミラーである。マイクロ・ソーンプレートは、全視野画像をX線放射検出器に投射することができる。X線放射検出器は、例えば、X線感光CCDとすることができる。マイクロ・ゾーンプレート及びX線感光CCDは、Chao, W., Harteneck, B., Liddle, A., Anderson, E., and Attwood, D., “Soft-X-ray microscopy at a spatial resolution better than 15nm”, nature, Vol. 435 (2005年6月30日)(非特許文献35)に見出すことができ、この文献は、その全文を参照する形で本明細書に含める。この実施形態では、発光素子112が静止したX線放射源を具えることができる。
他の実施形態では、フーリエ・タイコグラフィーX線撮像システム10が、図4Bに示すFPI装置100(d)を含むことができ、その構成要素はX線放射用に構成されている。この実施形態では、FPI装置110(d)が発光素子112を具え、発光素子112は、X線放射をN通りの入射角から標本20に指向させる。例えば、発光素子112は、1つ以上の軸線の周りに旋回することができる。FPI装置100(d)は、光学素子130(b)及び放射検出器140(b)も具えている。この実施形態では、光学素子130(b)及び放射検出器140(b)をX線放射用に設計することができ、即ち、これらは、それぞれX線光学素子(例えば、マイクロ・ゾーンプレートまたは斜入射ミラー)及びX線放射検出器(例えば、X線感光CCD)とすることができる。この実施形態では、発光素子112がX線放射源を具えることができる。
上記フーリエ・タイコグラフィーX線撮像システム10は、図6Aに関して説明したFPI方法を実行することができる。ステップ1100では、FPI方法が、X線放射を指向させる静止した発光素子112に対して、アセンブリ170を平行移動及び/または回転移動させることによって、照射をN通りの入射角から標本領域に与える。
X線撮像を実現することによって、これらのフーリエ・タイコグラフィーX線撮像システム10は、追加的能力を提供する。例えば、これらのシステムは、標本内へのより大きな貫通深度をもたらすことができる。他の例として、X線撮像は、元素及び化学物質の同定を、10nm以下のスケールで可能にすることができる。
IX.サブシステム
図12は、実施形態によるFPIシステム10内に存在することができるサブシステムのブロック図である。例えば、FPIシステム10はプロセッサ210を含む。一部の場合には、プロセッサ210をFPI装置100の構成要素とすることができる。一部の場合には、プロセッサ210を放射検出器140の構成要素とすることができる。
前に図面中に記載した種々の構成要素を、1つ以上のサブシステムを用いて動作させて、本明細書に記載した機能を促進することができる。図面中のあらゆる構成要素は、あらゆる適切な数のサブシステムを用いて、本明細書に記載した機能を促進することができる。こうしたサブシステム及び/または構成要素を図12に示す。図12に示すサブシステムは、システムバス2425を介して相互接続することができる。プリンタ2430、キーボード2432、固定ディスク2344(または、コンピュータ可読媒体を含む他の記憶装置)、ディスプレイ・アダプタ2438に結合されたにディスプレイ230、及び他のもののような追加的サブシステムを示す。I/O(入出力)コントローラ2440に結合される周辺装置及び入力/出力(I/O)は、シリアルポート2442のような現在技術において既知の任意数の手段によって接続することができる。例えば、シリアルポート2442または外部インタフェース2444を用いて、コンピュータ装置200を、インターネットのようなワイドエリア・ネットワーク、マウス入力装置、またはスキャナに接続することができる。システムバス2445を介した相互接続は、プロセッサ210が、各サブシステムと通信して、システムメモリ2446または固定ディスク2434からの命令の実行、並びにサブシステム間の情報の交換を可能にする。一部の場合には、システムメモリ2446及び/または固定ディスク2434が、CRM220を具体化することができる。これらの要素のいずれも、前述した特徴中に存在することができる。
一部の実施形態では、FPIシステム10のプリンタ2430またはディスプレイ230のような出力装置が、種々の形式のデータを出力することができる。例えば、FPIシステム10は、2D(二次元)のカラー/モノクロ(単色)画像(輝度及び/または位相)、これらの画像に関連するデータ、あるいはFPIシステム10によって実行した分析に関連するデータを出力することができる。
本発明の範囲を逸脱することなしに、上述したFPI方法及びそれに関連する特徴のいずれにも、例えば、図6A及び6B、及び他の図示に関して説明した特徴に対して、変形、追加、または省略を行うことができる。本発明の範囲を逸脱することなしに、上述したFPI方法のいずれも、より多数の特徴、より少数の特徴、あるいは他の特徴を含むことができる。これに加えて、本発明の範囲を逸脱することなしに、上述した特徴のステップは、あらゆる適切な順序で実行することができる。
上述した本発明は、コンピュータ・ソフトウェアをモジュール様式または統合様式で用いる制御論理回路の形式で実現することができることは明らかである。本明細書に提供する開示及び教示に基づいて、当業者は、ハードウェア及びハードウェアとソフトウェアの組合せを用いて本発明を実現するための他のやり方または方法を知り、認識する。
本願中に記載したあらゆるソフトウェア・コンポーネントまたは機能は、プロセッサによって、あらゆる適切なコンピュータ言語を用いて実行されるソフトウェアコードとして実現することができ、これらのコンピュータ言語は、例えば従来技術またはオブジェクト指向技術を用いる、例えばJava(登録商標)、C++、またはPerl(登録商標)である。これらのソフトウェアコードは、一連の命令またはコマンドとしてCRM上に記憶することができ、CRMは、例えばランダムアクセスメモリ(EAM:random access memory)、読出し専用メモリ(ROM:read only memory)、ハードディスク・ドライブまたはフロッピー(登録商標)ディスクのような磁気媒体、あるいはCD−ROM(compact-disc read only memory)のような光媒体である。あらゆるこうしたCRMが、単一のコンピュータ装置上または装置内に存在することができ、そして、システムまたはネットワーク内の異なる計算装置上または装置内に存在することができる。
以上に開示した実施形態は、理解を促進するために多少詳しく説明してきたが、説明した実施形態は例示的なものであり限定的なものではない。添付した特許請求の範囲内で、一定の変更及び変形を実施することができることは、当業者にとって明らかである。
本発明の範囲を逸脱することなしに、あらゆる実施形態からの1つ以上の特徴を、他のあらゆる実施形態の1つ以上の特徴と組み合わせることができる。さらに、本発明の範囲を逸脱することなしに、あらゆる実施形態に対して、変形、追加、または省略を行うことができる。本発明の範囲を逸脱することなしに、あらゆる実施形態の構成要素を、特定の必要に応じて統合または分離することができる。

Claims (51)

  1. 複数の入射角から標本に照射を与える可変照明装置と;
    前記標本から出る照射をフィルタ処理する光学素子と;
    前記光学素子によってフィルタ処理された光に基づいて、前記標本の可変的照射による低分解能輝度画像を取得する検出器と;
    フーリエ空間内の重複領域を、前記可変的照射による低分解能輝度画像で反復的に更新することによって、前記標本の高分解能画像をコンピュータ計算で再構成するためのプロセッサと
    を具えていることを特徴とするフーリエ・タイコグラフィー撮像装置。
  2. 前記光学素子が、低開口数の対物レンズであることを特徴とする請求項1に記載のフーリエ・タイコグラフィー撮像装置。
  3. 前記低開口数の対物レンズが、約0.02〜0.13の開口数を有することを特徴とする請求項2に記載のフーリエ・タイコグラフィー撮像装置。
  4. 前記低開口数の対物レンズが、約0.08の開口数を有することを特徴とする請求項2に記載のフーリエ・タイコグラフィー撮像装置。
  5. 前記複数の入射角における隣り合った2つの入射角どうしの差が、前記低開口数の対物レンズの開口数に対応する受光角の10%〜90%であることを特徴とする請求項2に記載のフーリエ・タイコグラフィー撮像装置。
  6. 前記複数の入射角における隣り合った2つの入射角どうしの差が、前記低開口数の対物レンズの開口数に対応する受光角の33%〜66%であることを特徴とする請求項2に記載のフーリエ・タイコグラフィー撮像装置。
  7. 前記複数の入射角における隣り合った2つの入射角どうしの差が、前記低開口数の対物レンズの開口数に対応する受光角の76%未満であることを特徴とする請求項2に記載のフーリエ・タイコグラフィー撮像装置。
  8. 前記可変照明装置が、発光素子の二次元マトリクスを具え、前記発光素子の各々が、前記複数の入射角のうちの1つから照射を与えることを特徴とする請求項1に記載のフーリエ・タイコグラフィー撮像装置。
  9. 前記発光素子の各々が、1つ以上の発光ダイオードの組であることを特徴とする請求項8に記載のフーリエ・タイコグラフィー撮像装置。
  10. 前記発光素子の各々が、3つの準単色光源であり、
    前記プロセッサが、前記3つの準単色光源に対応する高分解能画像をコンピュータ計算で再構成し、当該高分解能画像どうしを組み合わせて、カラー高分解能画像を生成することを特徴とする請求項8に記載のフーリエ・タイコグラフィー撮像装置。
  11. 前記可変照明装置が、発光素子の六角形アレイを具え、前記発光素子の各々が、前記複数の入射角のうちの1つから照射を与えることを特徴とする請求項1に記載のフーリエ・タイコグラフィー撮像装置。
  12. 前記発光素子の各々が、1つ以上の発光ダイオードの組であることを特徴とする請求項11に記載のフーリエ・タイコグラフィー撮像装置。
  13. 前記重複領域どうしは、20%〜90%の面積がオーバラップすることを特徴とする請求項1に記載のフーリエ・タイコグラフィー撮像装置。
  14. 前記重複領域どうしは、2%〜99.5%の面積がオーバラップする
    ことを特徴とする請求項1に記載のフーリエ・タイコグラフィー撮像装置。
  15. 前記重複領域どうしは、約66%の面積がオーバラップすることを特徴とする請求項1に記載のフーリエ・タイコグラフィー撮像装置。
  16. 前記プロセッサは、さらに、前記標本の合焦面に向けて自動的にリフォーカスすることを特徴とする請求項1に記載のフーリエ・タイコグラフィー撮像装置。
  17. 前記プロセッサが、前記検出器の一部分であることを特徴とする請求項1に記載のフーリエ・タイコグラフィー撮像装置。
  18. 前記高分解能画像を表示するディスプレイをさらに具えていることを特徴とする請求項1に記載のフーリエ・タイコグラフィー撮像装置。
  19. フーリエ・タイコグラフィー撮像の方法であって、
    可変照明装置を用いて、複数の入射角から標本を照射するステップと;
    光学素子を用いて、前記標本から出る光をフィルタ処理するステップと;
    検出器を用いて、前記標本の可変的照射による複数の低分解能輝度画像を捕捉するステップと;
    前記可変的照射による低分解能輝度画像の重複領域を、フーリエ空間内で反復的に更新することによって、前記標本の高分解能画像をコンピュータ計算で再構成するステップと
    を含むことを特徴とするフーリエ・タイコグラフィー撮像方法。
  20. 前記重複領域の各々が、前記光学素子の近似された光伝達関数に対応することを特徴とする請求項19に記載のフーリエ・タイコグラフィー撮像方法。
  21. 前記可変的照射による低分解能輝度画像の重複領域を、フーリエ空間内で反復的に更新することによって、前記標本の高分解能画像をコンピュータ計算で再構成するステップが:
    前記可変的照射による低分解能輝度画像の各々を、複数の可変的照射による低分解能輝度タイル画像に分割するステップと;
    前記可変的照射による低分解能輝度タイル画像の重複領域を、フーリエ空間内で反復的に更新することによって、前記タイル毎に高分解能画像を復元するステップと;
    前記タイルの高分解能画像どうしを組み合わせるステップと
    を含むことを特徴とする請求項19に記載のフーリエ・タイコグラフィー撮像方法。
  22. 前記高分解能画像をリフォーカスするステップをさらに含むことを特徴とする請求項19に記載のフーリエ・タイコグラフィー撮像方法。
  23. 前記高分解能画像を自動でリフォーカスするステップをさらに含むことを特徴とする請求項19に記載のフーリエ・タイコグラフィー撮像方法。
  24. 前記可変的照射による低分解能輝度画像の重複領域を、フーリエ空間内で反復的に更新することによって、前記標本の高分解能画像をコンピュータ計算で再構成するステップが:
    (a) 現在の高分解能画像をフーリエ空間内で初期化するステップと;
    (b) 前記現在の高分解能画像の重複領域をフーリエ空間内でフィルタ処理して、前記複数の入射角のうち1つの入射角について低分解能画像を生成するステップと;
    (c) 前記低分解能画像の輝度を、輝度測定値に置き換えるステップと;
    (d) フーリエ空間内の前記重複領域を、測定された輝度を有する前記低分解能画像で更新するステップと
    を含むことを特徴とする請求項19に記載のフーリエ・タイコグラフィー撮像方法。
  25. 前記複数の入射角について、ステップ(b)、(c)、及び(d)を実行することを特徴とする請求項24に記載のフーリエ・タイコグラフィー撮像方法。
  26. 前記現在の高分解能画像が収束するまで、ステップ(b)、(c)、及び(d)を反復することを特徴とする請求項24に記載のフーリエ・タイコグラフィー撮像方法。
  27. 位相係数を導入するステップをさらに含むことを特徴とする請求項19に記載のフーリエ・タイコグラフィー撮像方法。
  28. フーリエ・タイコグラフィー撮像の方法であって、
    標本の可変的照射による複数の低分解能輝度画像を受けるステップと;
    前記可変的照射による低分解能画像の重複領域を、フーリエ空間内で反復的に更新することによって、高分解能画像をコンピュータ計算で再構成するステップと
    を含むことを特徴とするフーリエ・タイコグラフィー撮像方法。
  29. 前記重複領域の各々が、光学素子の近似された光伝達関数に対応することを特徴とする請求項28に記載のフーリエ・タイコグラフィー撮像方法。
  30. 前記可変的照射による低分解能画像の重複領域を、フーリエ空間内で反復的に更新することによって、高分解能画像をコンピュータ計算で再構成するステップが:
    前記可変的照射による低分解能輝度画像の各々を、複数の可変的照射による低分解能輝度タイル画像に分割するステップと;
    前記可変的照射による低分解能輝度タイル画像の重複領域を、フーリエ空間内で反復的に更新することによって、高分解能画像をタイル毎に復元するステップと;
    前記タイルの高分解能画像を組み合わせるステップと
    を含むことを特徴とする請求項28に記載のフーリエ・タイコグラフィー撮像方法。
  31. 前記可変的照射による低分解能画像の重複領域を、フーリエ空間内で反復的に更新することによって、高分解能画像をコンピュータ計算で再構成するステップが:
    (a) 現在の高分解能画像をフーリエ空間内で初期化するステップと;
    (b) 前記現在の高分解能画像の重複領域を、フーリエ空間内でフィルタ処理して、複数の入射角のうち1つの入射角について低分解能画像を生成するステップと;
    (c) 前記低分解能画像の輝度を、輝度測定値に置き換えるステップと;
    (d) フーリエ空間内の前記重複領域を、測定された輝度を有する前記低分解能画像で更新するステップと
    を含むことを特徴とする請求項28に記載のフーリエ・タイコグラフィー撮像方法。
  32. ステップ(b)、(c)、及び(d)を、前記複数の入射角について実行することを特徴とする請求項31に記載のフーリエ・タイコグラフィー撮像方法。
  33. 前記現在の高分解能画像が収束するまで、ステップ(b)、(c)、及び(d)を反復することを特徴とする請求項31に記載のフーリエ・タイコグラフィー撮像方法。
  34. 標本の可変的照射による複数の低分解能輝度X線画像を捕捉するアセンブリと;
    フーリエ空間内の重複領域を、前記可変的照射による低分解能輝度X線画像で反復的に更新することによって、前記標本の高分解能X線画像をコンピュータ計算で再構成するためのプロセッサと
    を具えていることを特徴とするフーリエ・タイコグラフィーX線撮像システム。
  35. 前記アセンブリが、X線光学素子及びX線放射検出器を具え、当該X線光学素子及びX線放射検出器は、前記標本と共に剛体的に可動であり、
    前記X線光学素子が、前記標本と前記X線放射検出器との間にあり、
    前記X線放射検出器は、前記X線光学素子によって投射されるX線放射に基づいて、前記標本の前記複数の低分解能輝度X線画像を捕捉することを特徴とする請求項34に記載のフーリエ・タイコグラフィーX線撮像システム。
  36. 前記アセンブリを移動させて、静止したX線放射源からのX線放射を、前記複数の入射角から前記標本に指向させるためのメカニズムをさらに具えていることを特徴とする請求項35に記載のフーリエ・タイコグラフィーX線撮像システム。
  37. 前記アセンブリを装着するためのステージをさらに具え、
    前記メカニズムが、前記アセンブリを回転させて前記複数の入射角からX線放射を指向させるように、前記ステージを移動させることを特徴とする請求項36に記載のフーリエ・タイコグラフィーX線撮像システム。
  38. 前記X線光学素子がゾーンプレートであることを特徴とする請求項34に記載のフーリエ・タイコグラフィーX線撮像システム。
  39. 前記X線光学素子が斜入ミラーであることを特徴とする請求項34に記載のフーリエ・タイコグラフィーX線撮像システム。
  40. 前記重複領域は、40%〜60%の面積が重複していることを特徴とする請求項34に記載のフーリエ・タイコグラフィーX線撮像システム。
  41. 前記重複領域は、約66%の面積が重複していることを特徴とする請求項34に記載のフーリエ・タイコグラフィーX線撮像システム。
  42. 前記プロセッサは、さらに、前記標本を自動的にリフォーカスすることを特徴とする請求項34に記載のフーリエ・タイコグラフィーX線撮像システム。
  43. 前記高分解能X線画像を表示するディスプレイをさらに具えていることを特徴とする請求項34に記載のフーリエ・タイコグラフィーX線撮像システム。
  44. フーリエ・タイコグラフィーX線撮像の方法であって、
    標本の可変的照射による複数の低分解能輝度X線画像を、複数の入射角に基づいて取得するステップと;
    前記可変的照射による低分解能輝度X線画像の重複領域を、フーリエ空間内で反復的に更新することによって、前記標本の高分解能画像をコンピュータ計算で再構成するステップと
    を含むことを特徴とするフーリエ・タイコグラフィーX線撮像方法。
  45. X線光学素子及びX線放射検出器を具えたアセンブリを移動させて、X線放射を複数の入射角から前記標本に与えるステップと;
    前記標本から出るX線放射を、前記X線光学素子を用いてフィルタ処理するステップと;
    前記X線光学素子によって投射されるX線放射に基づいて、前記可変的照射による複数の低分解能X線画像を、前記X線放射検出器で捕捉するステップと
    をさらに含むことを特徴とする請求項44に記載のフーリエ・タイコグラフィーX線撮像方法。
  46. 前記標本の可変的照射による複数の低分解能輝度X線画像を、複数の入射角に基づいて取得するステップが、前記複数の可変的照射による低分解能輝度X線画像を、前記X線光学素子によって伝播されるX線放射に基づいて捕捉するステップを含むことを特徴とする請求項44に記載のフーリエ・タイコグラフィーX線撮像方法。
  47. 前記可変的照射による低分解能輝度X線画像の重複領域を、フーリエ空間内で反復的に更新することによって、前記標本の高分解能画像をコンピュータ計算で再構成するステップが、
    前記可変的照射による低分解能輝度X線画像を、複数の可変的照射による低分解能輝度タイルX線画像に分割するステップと;
    前記可変的照射による低分解能輝度タイルX線画像の重複領域を、フーリエ空間内で反復的に更新することによって、前記タイル毎に高分解能X線画像を復元するステップと;
    前記タイルのうち2つ以上の前記高分解能画像を組み合わせるステップと
    を含むことを特徴とする請求項44に記載のフーリエ・タイコグラフィーX線撮像方法。
  48. 前記可変的照射による低分解能輝度X線画像の重複領域を、フーリエ空間内で反復的に更新することによって、前記標本の高分解能画像をコンピュータ計算で再構成するステップが、
    (a) 現在の高分解能X線画像を、フーリエ空間内で初期化するステップと;
    (b) 前記現在の高分解能X線画像の重複領域を、フーリエ空間内でフィルタ処理して、前記複数の入射角のうち1つの入射角について、低分解能X線画像を生成するステップと;
    (c) 前記低分解能X線画像の輝度を、輝度測定値に置き換えるステップと;
    (d) フーリエ空間内の前記重複領域を、測定された輝度を有する前記低分解能X線画像で更新するステップと
    を含むことを特徴とする請求項44に記載のフーリエ・タイコグラフィーX線撮像方法。
  49. ステップ(b)、(c)、及び(d)を、前記複数の入射角について実行することを特徴とする請求項48に記載のフーリエ・タイコグラフィーX線撮像方法。
  50. 前記現在の高分解能X線画像が収束するまで、ステップ(b)、(c)、及び(d)を反復することを特徴とする請求項48に記載のフーリエ・タイコグラフィーX線撮像方法。
  51. X線放射を、複数の入射角から標本に与えるべく旋回するように構成された発光素子と;
    X線光学素子と;
    前記X線光学素子からのX線放射に基づいて、前記標本の可変的照射による複数の低分解能輝度X線画像を捕捉するX線放射検出器と;
    フーリエ空間内の重複領域を、前記可変的照射による低分解能輝度X線画像で反復的に更新することによって、前記標本の高分解能X線画像をコンピュータ計算で再構成するためのプロセッサと
    を具えていることを特徴とするフーリエ・タイコグラフィーX線撮像システム。
JP2015539884A 2012-10-30 2013-10-28 フーリエ・タイコグラフィー撮像システム、装置、及び方法 Pending JP2015535348A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261720258P 2012-10-30 2012-10-30
US61/720,258 2012-10-30
US201361847472P 2013-07-17 2013-07-17
US61/847,472 2013-07-17
PCT/US2013/067068 WO2014070656A1 (en) 2012-10-30 2013-10-28 Fourier ptychographic imaging systems, devices, and methods

Publications (2)

Publication Number Publication Date
JP2015535348A true JP2015535348A (ja) 2015-12-10
JP2015535348A5 JP2015535348A5 (ja) 2016-01-28

Family

ID=50546739

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015539884A Pending JP2015535348A (ja) 2012-10-30 2013-10-28 フーリエ・タイコグラフィー撮像システム、装置、及び方法

Country Status (9)

Country Link
US (4) US10679763B2 (ja)
EP (1) EP2915180B1 (ja)
JP (1) JP2015535348A (ja)
CN (2) CN108761752A (ja)
AU (1) AU2013338193A1 (ja)
CA (1) CA2889495A1 (ja)
SG (1) SG11201503293VA (ja)
TW (1) TW201428339A (ja)
WO (1) WO2014070656A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017117462A (ja) * 2015-12-21 2017-06-29 キヤノン株式会社 フーリエタイコグラフィによって取得された画像の物理レジストレーション
KR20210032252A (ko) * 2019-09-16 2021-03-24 주식회사 스몰머신즈 능동 가변 스펙클 조명 대면적 고해상도 영상 기기 및 이를 이용한 이미징 방법

Families Citing this family (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10652444B2 (en) 2012-10-30 2020-05-12 California Institute Of Technology Multiplexed Fourier ptychography imaging systems and methods
CN108761752A (zh) 2012-10-30 2018-11-06 加州理工学院 傅立叶重叠关联成像系统、设备和方法
US9864184B2 (en) 2012-10-30 2018-01-09 California Institute Of Technology Embedded pupil function recovery for fourier ptychographic imaging devices
CA2919985A1 (en) 2013-07-31 2015-02-05 California Institute Of Technology Aperture scanning fourier ptychographic imaging
AU2014308673A1 (en) 2013-08-22 2016-03-03 California Institute Of Technology Variable-illumination Fourier ptychographic imaging devices, systems, and methods
WO2015104763A1 (ja) * 2014-01-07 2015-07-16 ソニー株式会社 分析システム、分析プログラム及び分析方法
US9483869B2 (en) * 2014-01-17 2016-11-01 Intel Corporation Layered reconstruction for defocus and motion blur
US11468557B2 (en) 2014-03-13 2022-10-11 California Institute Of Technology Free orientation fourier camera
US9817224B2 (en) 2014-04-30 2017-11-14 University Of Connecticut Methods and systems for Fourier ptychographic imaging
US10162161B2 (en) 2014-05-13 2018-12-25 California Institute Of Technology Ptychography imaging systems and methods with convex relaxation
EP3146501B1 (en) * 2014-05-19 2020-09-09 The Regents of the University of California Fourier ptychographic microscopy with multiplexed illumination
DE102014109687B4 (de) * 2014-07-10 2020-03-19 Carl Zeiss Microscopy Gmbh Positionsbestimmung eines Objekts im Strahlengang einer optischen Vorrichtung
DE102014110302B3 (de) * 2014-07-22 2015-09-03 Carl Zeiss Ag Verfahren und Vorrichtung zum Abbilden eines Objekts
CN104181686B (zh) * 2014-08-25 2016-08-17 清华大学深圳研究生院 基于fpm的光场显微方法
DE102014112242A1 (de) * 2014-08-26 2016-03-03 Carl Zeiss Ag Phasenkontrast-Bildgebung
JP2016052116A (ja) * 2014-08-28 2016-04-11 パナソニックIpマネジメント株式会社 画像処理装置、画像処理方法およびコンピュータプログラム
DE102014112648A1 (de) * 2014-08-29 2016-03-03 Carl Zeiss Ag Bildaufnahmevorrichtung und Verfahren zur Bildaufnahme
KR102058453B1 (ko) 2014-10-14 2019-12-23 나노트로닉스 이미징, 인코포레이티드 명시야 암시야 대물렌즈를 이용한 고유의 비스듬한 조명 기술 및 그에 관련한 이미징 방법
WO2016067508A1 (ja) * 2014-10-27 2016-05-06 パナソニックIpマネジメント株式会社 画像形成システム、画像形成方法、撮像素子、およびプログラム
WO2016090331A1 (en) * 2014-12-04 2016-06-09 California Institute Of Technology Multiplexed fourier ptychography imaging systems and methods
WO2016106379A1 (en) * 2014-12-22 2016-06-30 California Institute Of Technology Epi-illumination fourier ptychographic imaging for thick samples
AU2014280894A1 (en) 2014-12-23 2016-07-07 Canon Kabushiki Kaisha Illumination systems and devices for Fourier Ptychographic imaging
AU2014280898A1 (en) * 2014-12-23 2016-07-07 Canon Kabushiki Kaisha Reconstruction algorithm for Fourier Ptychographic imaging
JP2018508741A (ja) 2015-01-21 2018-03-29 カリフォルニア インスティチュート オブ テクノロジー フーリエ・タイコグラフィー・トモグラフィー
JP2018511815A (ja) 2015-01-26 2018-04-26 カリフォルニア インスティチュート オブ テクノロジー アレイレベルのフーリエ・タイコグラフィ撮像
JP6528264B2 (ja) * 2015-01-27 2019-06-12 国立研究開発法人理化学研究所 イメージング装置及び方法
US10410398B2 (en) * 2015-02-20 2019-09-10 Qualcomm Incorporated Systems and methods for reducing memory bandwidth using low quality tiles
EP3262401B1 (en) 2015-02-27 2021-01-27 Brigham and Women's Hospital, Inc. Imaging systems and methods of using the same
CA2979392A1 (en) 2015-03-13 2016-09-22 California Institute Of Technology Correcting for aberrations in incoherent imaging system using fourier ptychographic techniques
US9993149B2 (en) 2015-03-25 2018-06-12 California Institute Of Technology Fourier ptychographic retinal imaging methods and systems
DE102015107517B3 (de) 2015-05-13 2016-06-23 Carl Zeiss Ag Vorrichtung und Verfahren zur Bildaufnahme mit erhöhter Schärfentiefe
US10228550B2 (en) 2015-05-21 2019-03-12 California Institute Of Technology Laser-based Fourier ptychographic imaging systems and methods
EP3106862B1 (en) * 2015-06-18 2019-01-16 FEI Company Method of ptychographic imaging
EP3350643B1 (en) * 2015-09-16 2023-04-05 Technion Research & Development Foundation Limited Ptychography system
WO2017081541A1 (en) * 2015-11-11 2017-05-18 Scopio Lab Ltd. Microscope having a refractive index matching material
CN108351504A (zh) * 2015-11-11 2018-07-31 斯科皮奥实验室有限公司 用于在不同照射条件下生成图像的计算显微镜及方法
WO2017081540A1 (en) * 2015-11-11 2017-05-18 Scopio Lab Ltd. Scanning microscope with real time response
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
US10648924B2 (en) * 2016-01-04 2020-05-12 Kla-Tencor Corp. Generating high resolution images from low resolution images for semiconductor applications
CN109196560B (zh) * 2016-01-14 2023-07-04 棱镜传感器公司 用于x射线检测器的测量电路和相应的方法与x射线成像系统
EP3420560B1 (en) 2016-02-26 2023-05-10 Shenzhen Xpectvision Technology Co., Ltd. Methods of data output from semiconductor image detector
WO2017181044A1 (en) * 2016-04-15 2017-10-19 The Regents Of The University Of California Optical phase retrieval systems using color-multiplexed illumination
DE102016116309A1 (de) * 2016-05-02 2017-11-02 Carl Zeiss Microscopy Gmbh Beleuchtungsmodul für winkelselektive Beleuchtung
US11092795B2 (en) 2016-06-10 2021-08-17 California Institute Of Technology Systems and methods for coded-aperture-based correction of aberration obtained from Fourier ptychography
US10568507B2 (en) 2016-06-10 2020-02-25 California Institute Of Technology Pupil ptychography methods and systems
CN106127767B (zh) * 2016-06-24 2019-06-07 南京理工大学 一种针对傅立叶叠层显微成像技术的位置校正方法
US10048132B2 (en) * 2016-07-28 2018-08-14 Kla-Tencor Corporation Simultaneous capturing of overlay signals from multiple targets
CN106199941A (zh) * 2016-08-30 2016-12-07 浙江大学 一种移频光场显微镜以及三维超分辨微观显示方法
CN109923579B (zh) * 2016-09-28 2024-01-26 港大科桥有限公司 扫描成像中像素分辨率的恢复
US10539783B1 (en) * 2016-10-17 2020-01-21 National Technology & Engineering Solutions Of Sandia, Llc Compressive sensing optical design and simulation tool
US10558029B2 (en) 2016-10-27 2020-02-11 Scopio Labs Ltd. System for image reconstruction using a known pattern
WO2018078447A1 (en) 2016-10-27 2018-05-03 Scopio Labs Ltd. Digital microscope which operates as a server
CN106371201B (zh) * 2016-11-03 2018-11-09 清华大学 基于计算鬼成像的傅里叶重叠关联成像系统及方法
EP3538941A4 (en) 2016-11-10 2020-06-17 The Trustees of Columbia University in the City of New York METHODS FOR FAST IMAGING OF HIGH RESOLUTION LARGE SAMPLES
CN110140348B (zh) * 2016-12-27 2020-12-25 富士胶片株式会社 摄像装置及摄像模块
CN106767534B (zh) * 2016-12-30 2018-12-11 北京理工大学 基于fpm的立体显微系统和配套三维面形高分重构方法
DE102017201252A1 (de) * 2017-01-26 2018-07-26 Universität Ulm Verfahren und Vorrichtung zur Untersuchung von Zellen
CN106875338B (zh) * 2017-02-16 2020-05-08 清华大学深圳研究生院 一种基于群组稀疏处理的图像超分辨率处理方法
DE102017106984B4 (de) 2017-03-31 2022-02-10 Carl Zeiss Microscopy Gmbh Lichtmikroskop und Verfahren zum Betreiben eines Lichtmikroskops mit optimierter Beleuchtungsgeometrie
WO2019017501A1 (ko) * 2017-07-17 2019-01-24 주식회사 스몰머신즈 표적물질의 정량 분석 방법 및 이를 이용한 표적물질의 정량 분석 디바이스
CN107290846B (zh) * 2017-08-04 2019-06-21 南京理工大学 基于环状可编程led照明的定量相位显微成像方法
DE102017121291A1 (de) 2017-09-14 2019-03-14 Carl Zeiss Microscopy Gmbh Bestimmung von Aberrationen mittels Winkel-variabler Beleuchtung
EP3460585B1 (en) * 2017-09-25 2021-07-14 Imec Vzw An imaging device for in-line holographic imaging of an object
US10754140B2 (en) 2017-11-03 2020-08-25 California Institute Of Technology Parallel imaging acquisition and restoration methods and systems
WO2019102272A1 (en) * 2017-11-24 2019-05-31 Sigtuple Technologies Private Limited Method and system for reconstructing a field of view
CN108362643B (zh) * 2018-02-10 2020-06-16 北京工业大学 一种双高度照明傅里叶叠层显微成像方法
US10247910B1 (en) * 2018-03-14 2019-04-02 Nanotronics Imaging, Inc. Systems, devices and methods for automatic microscopic focus
US10692184B2 (en) * 2018-07-05 2020-06-23 SVXR, Inc. Super-resolution X-ray imaging method and apparatus
US20200137380A1 (en) * 2018-10-31 2020-04-30 Intel Corporation Multi-plane display image synthesis mechanism
WO2020110309A1 (ja) * 2018-11-30 2020-06-04 日本電気株式会社 画像照合装置、画像照合方法、プログラム
EP3899500A4 (en) 2018-12-18 2022-09-21 Pathware Inc. COMPUTER ASSISTED MICROSCOPY BASED SYSTEM AND PROCEDURE FOR AUTOMATIC IMAGING AND ANALYSIS OF PATHOLOGICAL SPECIMENS
CN110286482A (zh) * 2019-05-24 2019-09-27 北京理工大学 一种分组式傅里叶叠层显微重建方法
US11523046B2 (en) * 2019-06-03 2022-12-06 Molecular Devices, Llc System and method to correct for variation of in-focus plane across a field of view of a microscope objective
CN112051239B (zh) * 2019-06-05 2024-04-12 中国科学院上海光学精密机械研究所 基于动态散射系统的在探测面积受限情况下的成像方法
JP7322549B2 (ja) * 2019-06-28 2023-08-08 セイコーエプソン株式会社 画像処理方法および画像処理装置
CN110378981B (zh) * 2019-07-19 2022-11-15 中国科学院长春光学精密机械与物理研究所 基于神经网络的傅里叶叠层显微镜光瞳恢复方法
US11854281B2 (en) * 2019-08-16 2023-12-26 The Research Foundation For The State University Of New York System, method, and computer-accessible medium for processing brain images and extracting neuronal structures
EP3796067A1 (de) 2019-09-18 2021-03-24 Siemens Aktiengesellschaft Aufnahmeeinrichtung zum erzeugen eines hochaufgelösten bildes eines sich durch einen aufnahmebereich bewegenden objekts sowie verfahren
CN110942423B (zh) * 2019-10-08 2023-04-28 杭州电子科技大学 一种基于傅里叶叠层成像的远场超分辨率重建方法
CN112666697B (zh) * 2019-10-15 2022-06-10 南京理工大学 基于彩色复用照明的单帧差分相衬定量相位成像方法
US11640657B2 (en) * 2020-02-03 2023-05-02 Arizona Board Of Regents On Behalf Of The University Of Arizona System and method for measuring distorted illumination patterns and correcting image artifacts in structured illumination imaging
KR102432435B1 (ko) * 2020-05-04 2022-08-17 주식회사 스몰머신즈 발광소자 어레이를 이용한 영상 획득 방법 및 장치
US11689821B2 (en) 2020-08-07 2023-06-27 The Government Of The United States Of America, As Represented By The Secretary Of The Navy Incoherent Fourier ptychographic super-resolution imaging system with priors
CN112255776B (zh) * 2020-11-10 2022-08-02 四川欧瑞特光电科技有限公司 一种点光源扫描照明方法及检测装置
CN112946373B (zh) * 2021-02-01 2024-02-09 北京邮电大学 一种基于紧缩场系统的无相位测量方法及装置
WO2022183078A1 (en) * 2021-02-25 2022-09-01 California Institute Of Technology Computational refocusing-assisted deep learning
CN113341553B (zh) * 2021-05-27 2022-09-20 杭州电子科技大学 一种傅里叶叠层显微彩色成像方法
CN113671682B (zh) * 2021-08-23 2023-05-23 北京理工大学重庆创新中心 一种基于傅里叶叠层显微成像的频域光源位置精确校正方法
TWI787134B (zh) * 2022-05-26 2022-12-11 國立臺灣大學 一種用於快速雜訊抑制對比度增強的資料處理方法及包含其的影像採集和處理系統
WO2024013161A1 (en) * 2022-07-15 2024-01-18 Asml Netherlands B.V. Obtaining high resolution information from low resolution images

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110075928A1 (en) * 2009-09-25 2011-03-31 Jeong Hwan J High-resolution, common-path interferometric imaging systems and methods

Family Cites Families (158)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5475527A (en) 1994-09-26 1995-12-12 The Regents Of The University Of California Fourier plane image amplifier
JP3973231B2 (ja) * 1995-03-16 2007-09-12 エフ イー アイ カンパニ 粒子−光学機器内における粒子波の再構築方法
KR19980075050A (ko) 1997-03-28 1998-11-05 윤종용 주사 전자 현미경의 가변어퍼쳐
US6144365A (en) 1998-04-15 2000-11-07 S3 Incorporated System and method for performing blending using an over sampling buffer
US6154196A (en) 1998-06-08 2000-11-28 Wacom Co., Ltd. Coordinate input device convertible between right-handed and left-handed modes
US6320648B1 (en) 1998-10-12 2001-11-20 Steven R. J. Brueck Method and apparatus for improving pattern fidelity in diffraction-limited imaging
DE19949029C2 (de) 1999-10-11 2002-11-21 Innovatis Gmbh Verfahren und Vorrichtung zur Charakterisierung einer Kulturflüssigkeit
US6320174B1 (en) 1999-11-16 2001-11-20 Ikonisys Inc. Composing microscope
US20010055062A1 (en) 2000-04-20 2001-12-27 Keiji Shioda Operation microscope
JP3710704B2 (ja) * 2000-11-28 2005-10-26 日本電信電話株式会社 画像パターンの回転角度検出誤差低減方法及びこの方法の実行プログラムを記録した記録媒体
US6856457B2 (en) 2001-03-27 2005-02-15 Prairie Technologies, Inc. Single and multi-aperture, translationally-coupled confocal microscope
DE10128476C2 (de) 2001-06-12 2003-06-12 Siemens Dematic Ag Optische Sensorvorrichtung zur visuellen Erfassung von Substraten
GB0115714D0 (en) * 2001-06-27 2001-08-22 Imperial College Structure determination of macromolecules
US6747781B2 (en) 2001-06-25 2004-06-08 Silicon Light Machines, Inc. Method, apparatus, and diffuser for reducing laser speckle
US6741730B2 (en) 2001-08-10 2004-05-25 Visiongate, Inc. Method and apparatus for three-dimensional imaging in the fourier domain
US6870165B2 (en) 2001-10-19 2005-03-22 Biocal Technology, Inc. Multi-color multiplexed analysis in a bio-separation system
WO2003062744A1 (en) 2002-01-16 2003-07-31 Faro Technologies, Inc. Laser-based coordinate measuring device and laser-based method for measuring coordinates
US6759949B2 (en) 2002-05-23 2004-07-06 Visteon Global Technologies, Inc. Image enhancement in far infrared camera
US7130115B2 (en) 2002-09-23 2006-10-31 Dhetrix, Inc. Multi-mode scanning imaging system
JP4360817B2 (ja) 2002-10-18 2009-11-11 株式会社日立メディコ 放射線断層撮影装置
JP4565192B2 (ja) 2003-03-31 2010-10-20 オムニビジョン テクノロジーズ, インコーポレイテッド 画像システムにおける収差を生じる影響を最小化するための、システムおよび方法
JP4377171B2 (ja) 2003-07-15 2009-12-02 Tdk株式会社 空間光変調器
US7738095B2 (en) 2003-07-18 2010-06-15 Chemimage Corporation Method and apparatus for compact spectrometer for detecting hazardous agents
US7823783B2 (en) 2003-10-24 2010-11-02 Cognex Technology And Investment Corporation Light pipe illumination system and method
US8271251B2 (en) * 2004-02-09 2012-09-18 Wisconsin Alumni Research Foundation Automated imaging system for single molecules
US7173256B2 (en) 2004-03-26 2007-02-06 Fox John S Fluorescent image calibration step wedge, and use thereof in illumination for fluorescent imaging and automatic exposure
DE102004017232A1 (de) 2004-04-05 2005-10-20 Bosch Gmbh Robert Interferometrische Messvorrichtung
EP1769743A4 (en) 2004-06-16 2010-09-29 Hitachi Medical Corp RADIOTOMOGRAPHE
US7436503B1 (en) 2004-08-03 2008-10-14 Kla-Tencor Technologies Corp. Dark field inspection apparatus and methods
CN101432593A (zh) 2004-08-09 2009-05-13 克拉西菲耶有限公司 用于3d指纹识别的非接触式光学装置和方法
US7545571B2 (en) 2004-09-08 2009-06-09 Concurrent Technologies Corporation Wearable display system
US20060173313A1 (en) 2005-01-27 2006-08-03 Siemens Medical Solutions Usa, Inc. Coherence factor adaptive ultrasound imaging
US7653232B2 (en) * 2005-01-28 2010-01-26 University Of Massachusetts Phase based digital imaging
US8654201B2 (en) 2005-02-23 2014-02-18 Hewlett-Packard Development Company, L.P. Method for deblurring an image
EP1866616B1 (en) 2005-04-05 2013-01-16 The Board Of Trustees Of The Leland Stanford Junior University Optical image processing using minimum phase functions
CN101203790A (zh) 2005-06-03 2008-06-18 博奥生物有限公司 一种微阵列芯片激光扫描仪光学系统
JP2007071803A (ja) 2005-09-09 2007-03-22 Hitachi High-Technologies Corp 欠陥観察方法及びその装置
JP4696890B2 (ja) * 2005-12-12 2011-06-08 富士ゼロックス株式会社 ホログラム記録方法及びホログラム記録装置
JP4727517B2 (ja) 2006-01-11 2011-07-20 富士フイルム株式会社 光源装置および光断層画像化装置
WO2007084959A1 (en) 2006-01-20 2007-07-26 The General Hospital Corporation Systems and methods for providing mirror tunnel microscopy
JP4822925B2 (ja) * 2006-04-28 2011-11-24 日本電子株式会社 透過型電子顕微鏡
US7460248B2 (en) 2006-05-15 2008-12-02 Carestream Health, Inc. Tissue imaging system
US8980179B2 (en) 2006-05-17 2015-03-17 University Of Maryland, Baltimore County Angular-dependent metal-enhanced fluorescence
JP5174810B2 (ja) 2006-06-16 2013-04-03 カール・ツァイス・エスエムティー・ゲーエムベーハー マイクロリソグラフィ投影露光装置の投影対物器械
MX2009001136A (es) * 2006-08-03 2009-02-10 Univ California Metodos iterativos para reduccion de dosis y mejoramiento de imagen en tomografia.
US7838302B2 (en) 2006-08-07 2010-11-23 President And Fellows Of Harvard College Sub-diffraction limit image resolution and other imaging techniques
CN100385275C (zh) 2006-09-29 2008-04-30 李志扬 主动光学位相共轭方法及装置
JP4690379B2 (ja) 2006-12-05 2011-06-01 韓國電子通信研究院 偏光板と高速フーリエ変換を用いたナノ線感知用光学顕微鏡システム
CN101681016A (zh) 2007-03-20 2010-03-24 致茂电子股份有限公司 光源
US8313031B2 (en) 2007-03-30 2012-11-20 Symbol Technologies, Inc. Adaptive aperture for an imaging scanner
US8279329B2 (en) 2007-04-10 2012-10-02 University Of Rochester Structured illumination for imaging of stationary and non-stationary, fluorescent and non-fluorescent, objects
US8624968B1 (en) 2007-04-25 2014-01-07 Stc.Unm Lens-less digital microscope
CN101743519B (zh) 2007-05-16 2013-04-24 视瑞尔技术公司 全息显示装置
KR101467010B1 (ko) 2007-06-13 2014-12-01 가부시키가이샤 니콘 검사 장치, 검사 방법 및 프로그램
US8848199B2 (en) 2007-07-10 2014-09-30 Massachusetts Institute Of Technology Tomographic phase microscopy
US7929142B2 (en) 2007-09-25 2011-04-19 Microsoft Corporation Photodiode-based bi-directional reflectance distribution function (BRDF) measurement
EP2232306A2 (en) 2007-11-23 2010-09-29 Koninklijke Philips Electronics N.V. Multi-modal spot generator and multi-modal multi-spot scanning microscope
US8115992B2 (en) 2007-12-31 2012-02-14 Stc.Unm Structural illumination and evanescent coupling for the extension of imaging interferometric microscopy
US9239455B2 (en) 2007-12-31 2016-01-19 Stc.Unm Structural illumination and evanescent coupling for the extension of imaging interferometric microscopy
CN101408623B (zh) 2008-01-23 2011-01-19 北京航空航天大学 宽带综合孔径上变频成像系统
JP2010012222A (ja) 2008-06-06 2010-01-21 Olympus Medical Systems Corp 医療装置
US8184279B2 (en) 2008-06-16 2012-05-22 The Regents Of The University Of Colorado, A Body Corporate Fourier domain sensing
US7787588B1 (en) * 2008-07-21 2010-08-31 Xradia, Inc. System and method for quantitative reconstruction of Zernike phase-contrast images
WO2010035775A1 (ja) 2008-09-26 2010-04-01 株式会社堀場製作所 粒子物性測定装置
US8019136B2 (en) 2008-12-03 2011-09-13 Academia Sinica Optical sectioning microscopy
GB0822149D0 (en) 2008-12-04 2009-01-14 Univ Sheffield Provision of image data
EP2373725A4 (en) 2008-12-22 2017-07-26 3M Innovative Properties Company Multilayer optical films having side-by-side mirror/polarizer zones
US8836948B2 (en) 2009-01-29 2014-09-16 The Regents Of The University Of California High resolution structured illumination microscopy
CN101872033B (zh) 2009-04-24 2014-04-30 鸿富锦精密工业(深圳)有限公司 遮光片阵列、遮光片阵列制造方法及镜头模组阵列
CA2778284C (en) 2009-10-20 2018-04-24 The Regents Of The University Of California Incoherent lensfree cell holography and microscopy on a chip
US20140152801A1 (en) 2009-10-28 2014-06-05 Alentic Microscience Inc. Detecting and Using Light Representative of a Sample
WO2011066275A2 (en) 2009-11-25 2011-06-03 Massachusetts Institute Of Technology Actively addressable aperture light field camera
DE102009047361B4 (de) 2009-12-01 2013-02-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zur optischen Abbildung
JP5717296B2 (ja) * 2010-01-27 2015-05-13 国立大学法人北海道大学 回折顕微法
US8324574B2 (en) 2010-02-10 2012-12-04 Mochii, Inc. Aberration-correcting dark-field electron microscopy
JP5538936B2 (ja) 2010-02-10 2014-07-02 キヤノン株式会社 解析方法、プログラム、記憶媒体、x線位相イメージング装置
CN102947864B (zh) 2010-06-21 2015-08-12 皇家飞利浦电子股份有限公司 用于执行低剂量ct成像的方法和系统
US9129371B2 (en) 2010-06-25 2015-09-08 Cireca Theranostics, Llc Method for analyzing biological specimens by spectral imaging
GB2481589B (en) 2010-06-28 2014-06-11 Phase Focus Ltd Calibration of a probe in ptychography
US9668705B2 (en) 2010-07-13 2017-06-06 Takara Telesystems Corp. X-ray tomogram imaging device
US8599367B2 (en) 2010-08-04 2013-12-03 Alliant Techsystems Inc. Apparatus and methods for obtaining multi-dimensional spatial and spectral data with LIDAR detection
WO2012037182A1 (en) 2010-09-14 2012-03-22 Applied Precision, Inc. Oblique-illumination systems and methods
WO2012035170A1 (en) 2010-09-17 2012-03-22 Lltech Inc. Optical tissue sectioning using full field optical coherence tomography
CN101957183B (zh) 2010-09-26 2012-03-21 深圳大学 一种结构光投影的高速三维测量系统
US9569664B2 (en) 2010-10-26 2017-02-14 California Institute Of Technology Methods for rapid distinction between debris and growing cells
EP2633267A4 (en) 2010-10-26 2014-07-23 California Inst Of Techn MICROSCOPE SYSTEM WITHOUT PROJECTION LENS AND SCAN
GB201020516D0 (en) 2010-12-03 2011-01-19 Univ Sheffield Improvements in providing image data
JP2014503822A (ja) 2010-12-21 2014-02-13 ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア 携帯デバイスにおける小型かつ広視野の蛍光画像化
US9411144B2 (en) 2011-01-12 2016-08-09 Ge Healthcare Bio-Sciences Corp. Systems for fluorescence illumination using superimposed polarization states
WO2012102887A2 (en) 2011-01-24 2012-08-02 The Board Of Trustees Of The University Of Illinois Computational adaptive optics for interferometric synthetic aperture microscopy and other interferometric imaging
CN102652680A (zh) * 2011-03-01 2012-09-05 贺宁 基于非均匀傅里叶变换的超声层析成像方法
US8866063B2 (en) 2011-03-31 2014-10-21 The Regents Of The University Of California Lens-free wide-field super-resolution imaging device
US8841591B2 (en) 2011-04-04 2014-09-23 The Board Of Trustees Of The Leland Stanford Junior University Grating-enhanced optical imaging
GB201107053D0 (en) 2011-04-27 2011-06-08 Univ Sheffield Improvements in providing image data
US8761533B2 (en) 2011-05-05 2014-06-24 Mitsubishi Electric Research Laboratories, Inc. Method for performing image processing applications using quadratic programming
WO2013019640A1 (en) * 2011-07-29 2013-02-07 The Regents Of The University Of California Lensfree holographic microscopy using wetting films
US20140347672A1 (en) 2011-07-29 2014-11-27 Ecole Polytechnique Federale De Lausanne (Epfl) Apparatus and method for quantitive phase tomography through linear scanning with coherent and non-coherent detection
US9285303B2 (en) 2011-09-06 2016-03-15 Koninklijke Philips N.V. Optical biosensor with a plurality of sensor regions and a detector having a detector plane wherein at least one primary image is mapped onto the whole detector plane
US20190097524A1 (en) 2011-09-13 2019-03-28 Fsp Technology Inc. Circuit having snubber circuit in power supply device
US20130093871A1 (en) 2011-10-18 2013-04-18 Andreas G. Nowatzyk Omnidirectional super-resolution microscopy
US9599805B2 (en) 2011-10-19 2017-03-21 National Synchrotron Radiation Research Center Optical imaging system using structured illumination
US9324133B2 (en) 2012-01-04 2016-04-26 Sharp Laboratories Of America, Inc. Image content enhancement using a dictionary technique
GB201201140D0 (en) 2012-01-24 2012-03-07 Phase Focus Ltd Method and apparatus for determining object characteristics
US20150044098A1 (en) 2012-01-30 2015-02-12 Scanadu Incorporated Hyperspectral imaging systems, units, and methods
CN102629371A (zh) * 2012-02-22 2012-08-08 中国科学院光电技术研究所 基于实时盲图像复原技术的视频像质改善系统
CN102608597B (zh) 2012-03-19 2014-07-23 西安电子科技大学 基于非完全数据解卷积的实孔径前视成像方法
CN103377746B (zh) 2012-04-14 2015-12-02 中国科学技术大学 实现显微镜系统超分辨成像的方法
EP2690648B1 (en) 2012-07-26 2014-10-15 Fei Company Method of preparing and imaging a lamella in a particle-optical apparatus
US9091862B2 (en) 2012-07-24 2015-07-28 Trustees Of Boston University Partitioned aperture wavefront imaging method and system
US9552658B2 (en) 2012-07-26 2017-01-24 William Marsh Rice University Methods and systems for video compressive sensing for dynamic imaging
US20140085629A1 (en) 2012-09-27 2014-03-27 Bodkin Design & Engineering, Llc Active Hyperspectral Imaging Systems
DE102012020240A1 (de) 2012-10-12 2014-04-17 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren zur SPIM Mikroskopie
CN108761752A (zh) 2012-10-30 2018-11-06 加州理工学院 傅立叶重叠关联成像系统、设备和方法
US10652444B2 (en) 2012-10-30 2020-05-12 California Institute Of Technology Multiplexed Fourier ptychography imaging systems and methods
US9864184B2 (en) 2012-10-30 2018-01-09 California Institute Of Technology Embedded pupil function recovery for fourier ptychographic imaging devices
AU2012258412A1 (en) 2012-11-30 2014-06-19 Canon Kabushiki Kaisha Combining differential images by inverse Riesz transformation
US9400169B2 (en) 2012-12-06 2016-07-26 Lehigh University Apparatus and method for space-division multiplexing optical coherence tomography
CA2919985A1 (en) 2013-07-31 2015-02-05 California Institute Of Technology Aperture scanning fourier ptychographic imaging
AU2014308673A1 (en) 2013-08-22 2016-03-03 California Institute Of Technology Variable-illumination Fourier ptychographic imaging devices, systems, and methods
WO2015051344A1 (en) 2013-10-03 2015-04-09 Flir Systems, Inc. Durable compact multisensor observation devices
US11468557B2 (en) 2014-03-13 2022-10-11 California Institute Of Technology Free orientation fourier camera
US10162161B2 (en) 2014-05-13 2018-12-25 California Institute Of Technology Ptychography imaging systems and methods with convex relaxation
EP3146501B1 (en) 2014-05-19 2020-09-09 The Regents of the University of California Fourier ptychographic microscopy with multiplexed illumination
JP6394367B2 (ja) 2014-05-30 2018-09-26 ソニー株式会社 流体分析装置、流体分析方法、プログラム及び流体分析システム
CN104200449B (zh) 2014-08-25 2016-05-25 清华大学深圳研究生院 一种基于压缩感知的fpm方法
CN104181686B (zh) 2014-08-25 2016-08-17 清华大学深圳研究生院 基于fpm的光场显微方法
AU2015328220B2 (en) 2014-10-07 2020-01-02 Tactile Systems Technology, Inc. Self-contained portable positionable oscillating motor array
AU2015331579A1 (en) 2014-10-17 2017-05-25 Cireca Theranostics, Llc Methods and systems for classifying biological samples, including optimization of analyses and use of correlation
WO2016090331A1 (en) 2014-12-04 2016-06-09 California Institute Of Technology Multiplexed fourier ptychography imaging systems and methods
WO2016106379A1 (en) 2014-12-22 2016-06-30 California Institute Of Technology Epi-illumination fourier ptychographic imaging for thick samples
AU2014280898A1 (en) 2014-12-23 2016-07-07 Canon Kabushiki Kaisha Reconstruction algorithm for Fourier Ptychographic imaging
AU2014280894A1 (en) 2014-12-23 2016-07-07 Canon Kabushiki Kaisha Illumination systems and devices for Fourier Ptychographic imaging
US20160202460A1 (en) 2015-01-13 2016-07-14 University Of Connecticut 3D Microscopy With Illumination Engineering
JP2018508741A (ja) 2015-01-21 2018-03-29 カリフォルニア インスティチュート オブ テクノロジー フーリエ・タイコグラフィー・トモグラフィー
JP2018511815A (ja) 2015-01-26 2018-04-26 カリフォルニア インスティチュート オブ テクノロジー アレイレベルのフーリエ・タイコグラフィ撮像
WO2016123508A1 (en) 2015-01-29 2016-08-04 The Regents Of The University Of California Patterned-illumination systems adopting a computational illumination
CA2979392A1 (en) 2015-03-13 2016-09-22 California Institute Of Technology Correcting for aberrations in incoherent imaging system using fourier ptychographic techniques
US9993149B2 (en) 2015-03-25 2018-06-12 California Institute Of Technology Fourier ptychographic retinal imaging methods and systems
US10228550B2 (en) 2015-05-21 2019-03-12 California Institute Of Technology Laser-based Fourier ptychographic imaging systems and methods
WO2017066198A1 (en) 2015-10-12 2017-04-20 The Regents Of The University Of California Spectroscopy imaging and analysis of live cells
WO2017081541A1 (en) 2015-11-11 2017-05-18 Scopio Lab Ltd. Microscope having a refractive index matching material
WO2017081540A1 (en) 2015-11-11 2017-05-18 Scopio Lab Ltd. Scanning microscope with real time response
CN108351504A (zh) 2015-11-11 2018-07-31 斯科皮奥实验室有限公司 用于在不同照射条件下生成图像的计算显微镜及方法
US10176567B2 (en) 2015-12-21 2019-01-08 Canon Kabushiki Kaisha Physical registration of images acquired by Fourier Ptychography
US10568507B2 (en) 2016-06-10 2020-02-25 California Institute Of Technology Pupil ptychography methods and systems
US11092795B2 (en) 2016-06-10 2021-08-17 California Institute Of Technology Systems and methods for coded-aperture-based correction of aberration obtained from Fourier ptychography
US20180078447A1 (en) 2016-07-01 2018-03-22 Victor Viner Heated Rolling Massager
US10228283B2 (en) 2016-08-12 2019-03-12 Spectral Insights Private Limited Spectral imaging system
US10558029B2 (en) 2016-10-27 2020-02-11 Scopio Labs Ltd. System for image reconstruction using a known pattern
US10477097B2 (en) * 2017-01-03 2019-11-12 University Of Connecticut Single-frame autofocusing using multi-LED illumination
CN106896489B (zh) 2017-02-13 2019-11-22 清华大学 基于波长复用的频域拼贴显微系统及其方法
DE102017120823A1 (de) 2017-09-08 2019-03-14 Vemag Maschinenbau Gmbh Verfahren und Vorrichtung zum gruppierten Anordnen und Ausrichten und Verpacken von individuellen Lebensmittel-Produkten, insbesondere Patty-Stapel
DE102017217132B3 (de) 2017-09-26 2019-01-31 Bender Gmbh & Co. Kg Schaltnetzteil mit elektrischer Schaltungsanordnung zur Eingangsschutzbeschaltung
US10754140B2 (en) 2017-11-03 2020-08-25 California Institute Of Technology Parallel imaging acquisition and restoration methods and systems
US20200351454A1 (en) * 2019-04-30 2020-11-05 William Marsh Rice University Wish: wavefront imaging sensor with high resolution
WO2020227000A1 (en) * 2019-05-03 2020-11-12 California Institute Of Technology Metasurface imager for quantitative phase gradient detection
US11237059B1 (en) * 2020-12-14 2022-02-01 Gerchberg Ophthalmic Dispensing, PLLC Totagraphy: Coherent diffractive/digital information reconstruction by iterative phase recovery using special masks
KR102638985B1 (ko) * 2021-02-18 2024-02-20 연세대학교 산학협력단 푸리에 타이코그래피 이미지 획득을 위한 스마트폰 및 스마트폰을 이용한 푸리에 타이코그래피 이미지 획득 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110075928A1 (en) * 2009-09-25 2011-03-31 Jeong Hwan J High-resolution, common-path interferometric imaging systems and methods

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SARAH J. HAIGH ET AL.: "Atomic Structure Imaging Beyond Conventional Resolution Limits in the Transmission Electron Microsc", PHYSICAL REVIEW LETTERS, vol. Vol. 103, Issue 12, JPN6017037884, 18 September 2009 (2009-09-18), pages p. 126101-1 - 126101-4 *
VINCENTE MICO ET AL.: "Synthetic aperture superresolution with multiple off-axis holograms", JOURNAL OF THE OPTICAL SOCIETY OF AMERICA, vol. Vol. 23, Issue 12, JPN6017037882, 1 December 2006 (2006-12-01), pages p. 3162-3170 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017117462A (ja) * 2015-12-21 2017-06-29 キヤノン株式会社 フーリエタイコグラフィによって取得された画像の物理レジストレーション
KR20210032252A (ko) * 2019-09-16 2021-03-24 주식회사 스몰머신즈 능동 가변 스펙클 조명 대면적 고해상도 영상 기기 및 이를 이용한 이미징 방법
KR102278782B1 (ko) * 2019-09-16 2021-07-20 주식회사 스몰머신즈 능동 가변 스펙클 조명 대면적 고해상도 영상 기기 및 이를 이용한 이미징 방법

Also Published As

Publication number Publication date
SG11201503293VA (en) 2015-05-28
US9892812B2 (en) 2018-02-13
CN104885187B (zh) 2018-06-29
EP2915180A1 (en) 2015-09-09
CA2889495A1 (en) 2014-05-08
CN104885187A (zh) 2015-09-02
EP2915180B1 (en) 2018-12-05
US20140126691A1 (en) 2014-05-08
TW201428339A (zh) 2014-07-16
US20140118529A1 (en) 2014-05-01
WO2014070656A1 (en) 2014-05-08
AU2013338193A1 (en) 2015-05-21
US20220254538A1 (en) 2022-08-11
CN108761752A (zh) 2018-11-06
US20210082595A1 (en) 2021-03-18
US10679763B2 (en) 2020-06-09
EP2915180A4 (en) 2016-04-27

Similar Documents

Publication Publication Date Title
US20220254538A1 (en) Fourier ptychographic imaging systems, devices, and methods
CN110262026B (zh) 孔径扫描傅立叶重叠关联成像
US10419665B2 (en) Variable-illumination fourier ptychographic imaging devices, systems, and methods
US10401609B2 (en) Embedded pupil function recovery for fourier ptychographic imaging devices
US8946619B2 (en) Talbot-illuminated imaging devices, systems, and methods for focal plane tuning
Jiang et al. Resolution-enhanced parallel coded ptychography for high-throughput optical imaging

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151125

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161003

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170814

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171017

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180109

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20181120