JP2016530567A - 可変照明フーリエタイコグラフィー撮像装置、システム、及び方法 - Google Patents

可変照明フーリエタイコグラフィー撮像装置、システム、及び方法 Download PDF

Info

Publication number
JP2016530567A
JP2016530567A JP2016536489A JP2016536489A JP2016530567A JP 2016530567 A JP2016530567 A JP 2016530567A JP 2016536489 A JP2016536489 A JP 2016536489A JP 2016536489 A JP2016536489 A JP 2016536489A JP 2016530567 A JP2016530567 A JP 2016530567A
Authority
JP
Japan
Prior art keywords
fourier
sample
imaging system
light
light emitting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016536489A
Other languages
English (en)
Inventor
シャオゾア オウ
シャオゾア オウ
ホルストマイヤー ロアーク
ホルストマイヤー ロアーク
グォアン ジュヨン
グォアン ジュヨン
チャングェイ ヤン
チャングェイ ヤン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
California Institute of Technology CalTech
Original Assignee
California Institute of Technology CalTech
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by California Institute of Technology CalTech filed Critical California Institute of Technology CalTech
Publication of JP2016530567A publication Critical patent/JP2016530567A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • G02B21/08Condensers
    • G02B21/082Condensers for incident illumination only
    • G02B21/084Condensers for incident illumination only having annular illumination around the objective
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • G02B21/08Condensers
    • G02B21/086Condensers for transillumination only
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • G02B21/08Condensers
    • G02B21/12Condensers affording bright-field illumination
    • G02B21/125Condensers affording bright-field illumination affording both dark- and bright-field illumination
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/1066Beam splitting or combining systems for enhancing image performance, like resolution, pixel numbers, dual magnifications or dynamic range, by tiling, slicing or overlapping fields of view
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58Optics for apodization or superresolution; Optical synthetic aperture systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/32Transforming X-rays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/30Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from X-rays

Landscapes

  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Measurement Of Radiation (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

本願開示の特定の態様は、フーリエタイコグラフィー撮像システム、装置、及び方法に関連するのであり、例えば、高NAフーリエタイコグラフィー撮像システムや反射モードNAフーリエタイコグラフィー撮像システム等に関する。

Description

背景
本明細書にて説明される特定の実施形態は、一般的に撮像手法に関する。より具体的には、特定の側面は、例えば病理学、血液学、半導体ウエハー検査並びにX線及び電子線イメージング等の高分解能撮像用途に用いることのできる可変照明フーリエタイコグラフィー撮像(variable-illumination Fourier ptychographic imaging)システム、装置及び方法に関する。
関連出願への相互参照
本願は、米国仮特許出願第61/899,715号(名称:「フーリエタイコグラフィー顕微鏡法によって乾式対物素子の開口数の値を1に増大させること」、出願日:2013年11月4日)、米国仮特許出願第61/868,967号(名称:「フーリエタイコグラフィー顕微鏡法のための代替的光学的構成」、出願日:2013年8月22日)及び米国仮特許出願第62/000,722号(名称:「フーリエタイコグラフィー顕微鏡法による超高NA顕微鏡」、出願日:2014年5月20日)の利益を主張しており、これらはいずれも全体において及び全ての目的において参照によって取り込まれる。
連邦政府によって支援された研究又は開発
国立衛生研究所によって付与された助成第OD007307号の下での政府支援を伴って、この発明はなされた。政府は、本発明に関して特定の権利を有する。
顕微鏡対物レンズや人工衛星搭載型カメラ等の多岐にわたるイメージング用レンズは、解像することができる総フィーチャー個数に関して物理的に制限されている。これらの制限は、結像系の点広がり関数(PSF、point-spread function)のサイズ及び結像面視野(FOV、field of view)上での固有の収差に関しての関数である。この物理的制限は、空間帯域幅積(space-bandwidth product)と称され、レンズの寸法とスケールするのであり、拡大係数又は開口数(NA、numerical aperture)によらず通常は10メガピクセルのオーダーである。従来的な結像系の空間帯域幅積に関しての記述は、非特許文献1にあり、該文献は本願明細書に参照により取り込まれる。従来的な結像系は10メガピクセルまで解像できるが、典型的にはPSFとFOVとの間でトレードオフが生じる。例えば、特定の従来的な顕微鏡対物レンズは、鮮明なPSF(例えば、0.5μm)を狭いFOV(例えば、1mm)にわたってもたらすことができ、広角レンズを備える他の結像系は、ぼやけたPSF(例えば、5μm)という代償の下で広いFOV(例えば、10mm)をもたらすことができる。
空間帯域幅積を増大させようとする幾つかの干渉法による合成開口技術は、非特許文献2〜15に記載されており、これらの文献全ては空間帯域幅積を増大させようとする試みとの関係で参照によって取り込まれる。上述の干渉法合成開口技術の多くは、オフラインホログラフィーや位相シフトホログラフィー等の干渉法ホログラフィーを用いて輝度及び位相情報を共に記録する設定を含む。干渉法ホログラフィーには限界がある。例えば、干渉法ホログラフィー記録は、通常は高度にコヒーレントな光源を用いる。このため、構成された画像は、スペックルノイズ、(ビーム経路中の塵埃粒子及び他の光学的欠陥による回折によって導入される)固定パターンノイズ、及び異なる光学的界面間の複数の干渉等のコヒーレントノイズ源の悪影響を通常は受ける。したがって、画像品質は、従来型顕微鏡のそれに劣る。他方、オフアクシスホログラフィー法の利用は、画像センサの空間帯域幅積を犠牲にする(即ち、総画素数を減少させる)。オフアクシスホログラフィー法の幾つかは非特許文献16に記載されており、該文献は本記述との関係で参照によって取り込まれる。また、干渉法による撮像手法においては、異なる測定間で制御不可能な位相揺らぎがもたらされる場合がある。したがって、画像復元プロセスにおける基準点を設定するためには標本位置についての先験的で正確な知識が必要になる。これらの干渉法による撮像システムにおける他の限界としては、試料を回転させるために機械的走査が必要とされることがあり、また、精密な光学的位置合わせ、サブミクロンレベルの機械的制御、及び関連する保守が、これらのシステムにとって必要となる。空間帯域幅積の観点からは、これらの干渉法による撮像システムは従来的な顕微鏡に対して何も優位性をもたらさないか僅かな優位性しかもたらさない。
インラインホログラフィーや接触撮像顕微鏡法等の以前のレンズレス顕微鏡法も欠点をもたらす。例えば、従来のデジタルインラインホログラフィーは、連続した試料に対しては良好に機能せず、接触撮像顕微鏡法は、試料をセンサに近接させることを必要とする。幾つかのデジタルインラインホログラフィー装置については、非特許文献17〜19に記載されており、これらは本記述との関係で参照によって取り込まれる。幾つかの接触撮像顕微鏡法の例については、非特許文献20〜21に記載されており、これらは本記述との関係で参照によって取り込まれる。
病理学、血液学、植物解剖学、免疫組織化学、及び神経解剖学のような生物医学用途においては、大きな空間帯域幅積が大いに望まれる。例えば、生物医学及び神経科学においては、非常に多数の組織スライドを分析用に撮像する強い必要性がある。この必要性が洗練された機械走査顕微鏡システム及びレンズレス顕微鏡システムの開発を促した。これらのシステムは、アクチュエーション、光学的アラインメント、及びモーショントラッキングを高精度で制御する複雑な機構を用いて空間帯域幅積を増大させている。これらの複雑な機構は製造が高価となり、その使用及び維持が困難となりがちである。
米国特許出願第14/065,280号 米国特許出願第14/065,305号 国際公開公報第WO1999053469号
Lohmann, A. W., Dorsch, R. G., Mendlovic, D., Zalevsky, Z. & Ferreira, C., "Space-bandwidth product of optical signals and systems," J. Opt. Soc. Am. A. 13, pages 470-473 (1996) Di, J. et al., "High resolution digital holographic microscopy with a wide field of view based on a synthetic aperture technique and use of linear CCD scanning," Appl. Opt. 47, pp. 5654-5659 (2008) Hillman, T. R., Gutzler, T., Alexandrov, S. A., and Sampson, D. D., "High-resolution, wide-field object reconstruction with synthetic aperture Fourier holographic optical microscopy," Opt. Express 17, pp. 7873-7892 (2009) Granero, L., Mico, V., Zalevsky, Z., and Garcia, J., "Synthetic aperture superresolved microscopy in digital lensless Fourier holography by time and angular multiplexing of the object information," Appl. Opt. 49, pp. 845-857 (2010) Kim, M. et al., "High-speed synthetic aperture microscopy for live cell imaging," Opt. Lett. 36, pp. 148-150 (2011) Turpin, T., Gesell, L., Lapides, J., and Price, C., "Theory of the synthetic aperture microscope," pp. 230-240 Schwarz, C. J., Kuznetsova, Y., and Brueck, S., "Imaging interferometric microscopy," Optics letters 28, pp. 1424-1426 (2003) Feng, P., Wen, X., and Lu, R., "Long-working-distance synthetic aperture Fresnel off-axis digital holography," Optics Express 17, pp. 5473-5480 (2009) Mico, V., Zalevsky, Z., Garcia-Martinez, P., and Garcia, J., "Synthetic aperture superresolution with multiple off-axis holograms," JOSA A 23, pp.3162-3170 (2006) Yuan, C., Zhai, H., and Liu, H., "Angular multiplexing in pulsed digital holography for aperture synthesis," Optics Letters 33, pp. 2356-2358 (2008) Mico, V., Zalevsky, Z., and Garcia, J., "Synthetic aperture microscopy using off-axis illumination and polarization coding," Optics Communications, pp. 276, 209-217 (2007) Alexandrov, S., and Sampson, D., "Spatial information transmission beyond a system's diffraction limit using optical spectral encoding of the spatial frequency," Journal of Optics A: Pure and Applied Optics 10, 025304 (2008) Tippie, A.E., Kumar, A., and Fienup, J.R., "High-resolution synthetic-aperture digital holography with digital phase and pupil correction," Opt. Express 19, pp. 12027-12038 (2011) Gutzler, T., Hillman, T.R., Alexandrov, S.A., and Sampson, D.D., "Coherent aperture-synthesis, wide-field, high-resolution holographic microscopy of biological tissue," Opt. Lett. 35, pp. 1136-1138 (2010) Alexandrov, S.A., Hillman, T.R., Gutzler, T., and Sampson, D.D., "Synthetic aperture Fourier holographic optical microscopy," Phil. Trans. R. Soc. Lond. A 339, pp. 521-553 (1992) Schnars,U. and Juptner,W.P.O., "Digital recording and numerical reconstruction of holograms," Measurement Science and Technology, 13, R85 (2002) Denis, L., Lorenz, D., Thiebaut, E., Fournier, C. and Trede, D., "Inline hologram reconstruction with sparsity constraints," Opt. Lett. 34, pp. 3475-3477 (2009) Xu, W., Jericho, M., Meinertzhagen, I., and Kreuzer, H., "Digital in-line holography for biological applications," Proc. Natl Acad. Sci. USA 98, pp. 11301-11305 (2001) Greenbaum, A. et al., "Increased space-bandwidth product in pixel super-resolved lensfree on-chip microscopy," Sci. Rep. 3, page 1717 (2013) Zheng, G., Lee, S. A., Antebi, Y., Elowitz, M. B. and Yang, C., "The ePetri dish, an on-chip cell imaging platform based on subpixel perspective sweeping microscopy (SPSM)," Proc. Natl Acad. Sci. USA 108, pp. 16889-16894 (2011) Zheng, G., Lee, S. A., Yang, S. & Yang, C., "Sub-pixel resolving optofluidic microscope for on-chip cell imaging," Lab Chip 10, pages 3125-3129 (2010) G. Zheng, R. Horstmeyer and C. Yang, "Wide-field, high-resolution Fourier ptychographic microscopy," Nature Photonics, 2013
本願明細書にて説明される特定の実施形態は、一般的には撮像手法に関する。より具体的には、幾つかの観点においては、例えば病理学、血液学、半導体ウエハー検査並びにX線及び電子線イメージング等の高分解能撮像用途において使用されることができる可変照明フーリエタイコグラフィー撮像システム、装置、及び方法に関連する。
特定の実施形態は、超高NAフーリエタイコグラフィー撮像システムであって、可変照明装置と光学系と放射検出器とを備える、システムに向けられている。可変照明装置は、異なる時刻において複数の入射角で試料を照射するように構成されている。光学系は、高NAであるレンズを備え、レンズは試料から出る光をフィルタするように構成されている。1つの例では、高いNAは約0.50とすることができ、別の例では高いNAは約0.40から約0.50等の範囲内とすることができる。複数の入射角及び高NAは、1.0より大きい拡張NAを包括するフーリエドメイン(Fourier domain)内の複数の重複領域に対応する。1つの例では、複数の重複領域の隣り合う重複領域は、重複領域の一方の面積の少なくとも約20%から約90%になる重複面積を有することができる。別の例では、隣り合う重複領域は、重複領域の一方の面積の少なくとも約70%になる重複面積を有することができる。別の例では、隣り合う重複領域は、重複領域の一方の面積の少なくとも約75%になる重複面積を有することができる。別の例では、隣り合う重複領域は、重複領域の一方の面積の少なくとも約2%から約99.5%になる重複面積を有することができる。放射検出器は、複数の輝度画像を取得するように構成されており、各輝度画像は複数の入射角の異なる入射角に対応する。一部の態様では、超高NAフーリエタイコグラフィー撮像システムは、フーリエドメイン内の重複領域を輝度画像測定値で反復的に更新することによって輝度画像の分解能よりも高い分解能を有する画像を生成するように構成されたプロセッサをさらに備える。1つの態様では、レンズは、その受光角度内にて受光された光を通過させることによって試料からの光をフィルタするように構成されている。1つの態様では、レンズは、その受光角度内にて受光された光を通過させることによって試料からの光をフィルタするように構成されている。1つの態様では、光学系は試料から反射された光を受光するように構成された集光光学素子を備え、可変照明装置及び集光光学素子は落射照明モードにおいて試料との関係で同じ側に位置している。1つの態様では、レンズは試料から反射された光を受光するように構成されており、可変照明装置及びレンズ光学素子は落射照明モードにおいて試料との関係で同じ側に位置している。
特定の態様では、本願にて説明する超高NAフーリエタイコグラフィー撮像システムは、発光素子の円形環を1以上備える可変照明装置をさらに備えることができる。1つの態様では、各アウター環は、直径がより小さい隣の環よりも多くの発光素子を有することができる。1つの態様では、各同心環は、少なくとも6個の発光素子を有する。1つの態様では、各同心環の発光素子は少なくとも約30°離されている。1つの態様では、各同心環は約20mmより大きい直径を有する。1つの態様では、各同心環は約40mmより大きい直径を有する。
特定の実施形態は、可変照明装置と光学系と放射検出器とを備える反射モードフーリエタイコグラフィー撮像システムに向けられている。可変照明装置は、落射照明モードで異なる時刻において複数の入射角で試料を照射するように構成されている。光学系は、フィルタリング機能を有するフィルタリング光学素子を備える。光学系は試料から反射された光を受光し及びフィルタリング光学素子を用いて試料から反射された光をフィルタするように構成されており、複数の入射角及びフィルタリング機能はフーリエドメイン内の重複領域に対応する。放射検出器は複数の輝度画像を取得するように構成されており、各輝度画像は複数の入射角の異なる入射角に対応する。1つの態様では、反射モードフーリエタイコグラフィー撮像システムは、フーリエドメイン内の重複領域を輝度画像測定値で反復的に更新することによって輝度画像の分解能よりも高い分解能を有する画像を生成するように構成されたプロセッサをさらに備える。1つの態様では、フィルタリング光学素子はその受光角度内にて受光された光を通過させることによって光をフィルタするように構成されているレンズである。1つの態様では、可変照明装置はフィルタリング光学素子の中心軸にセンタリングされた発光素子の円形環の第1のセットを備える。1つの態様では、光学系はフィルタリング光学素子の後ろ45°の角度で配置されたビームスプリッタをさらに備え、フィルタリング光学素子は試料から出た光をフィルタするように構成されており、ビームスプリッタはフィルタリング光学素子によってフィルタされた光を受光するように構成されており及びフィルタされた光の半分を放射検出器へと通過させる。1つの実施形態では、光学系はセカンダリレンズをさらに備える。この場合、セカンダリレンズは複数の入射角で可変照明装置からの照射を受光するように構成されており及び照射をビームスプリッタへと通過させ、ビームスプリッタは照射の半分をフィルタリング光学素子を通して試料へと通過させるように構成されている。
特定の態様では、反射モードフーリエタイコグラフィー撮像システムは、フィルタリング光学素子の中心軸にセンタリングされた発光素子の円形環の第1のセットを備える可変照明装置を備える。1つの態様では、光学系は、45°の角度で及び前記フィルタリング光学素子の後ろに配置されており並びに入射光の約半分を通過させ及び入射光の約半分を反射するように構成されたビームスプリッタをさらに備え、可変照明装置はビームスプリッタによって反射された照射をフィルタリング光学素子を通して試料にもたらすように配置された発光素子の円形環の第2のセットをさらに備える。別の態様では、光学系は、45°の角度で及び前記フィルタリング光学素子の後ろに配置されており並びに入射光の約半分を通過させ及び入射光の約半分を反射するように構成されたビームスプリッタをさらに備え、可変照明装置はビームスプリッタによって反射された照射をフィルタリング光学素子を通して試料にもたらすように配置された発光素子の円形環の第2のセットをさらに備える。
これらの特徴及び他の特徴は、添付の図面への参照を伴って以下詳述される。
可変照明フーリエタイコグラフィー撮像システムの構成要素についてのブロック図である。 徹照モードの可変照明フーリエタイコグラフィー撮像装置の構成要素についての概略側面図である。 円形可変照明装置を有する超高NA可変照明フーリエタイコグラフィー撮像装置の構成要素についての概略図である。 図3Aに示す超高NA構成についてのフーリエドメイン内での展開を示す図である。 図3Aに示す超高NA構成についてのフーリエドメイン内での展開を示す図である。 図3Aに示す超高NA構成であって、2つの同心環を有する円形可変照明装置を有するように改造された超高NA構成についてのフーリエドメイン内での展開を示す図である。 図3Aに示す超高NA構成であって、2つの同心環を有する円形可変照明装置を有するように改造された超高NA構成についてのフーリエドメイン内での展開を示す図である。 長方形配列可変照明装置を有する超高NA可変照明フーリエタイコグラフィー撮像装置の構成要素についての概略図である。 落射照明モードの可変照明フーリエタイコグラフィー撮像装置の構成要素についての概略図である。 落射照明モードの可変照明フーリエタイコグラフィー撮像装置の構成要素についての概略図である。 落射照明モードの可変照明フーリエタイコグラフィー撮像装置の構成要素についての概略図である。 落射照明モードの可変照明フーリエタイコグラフィー撮像装置の構成要素についての概略図である。 可変照明フーリエタイコグラフィー撮像方法についてのフローチャートである。 図8の方法のあるステップの特定のサブステップの例についてのフローチャートである。 図8の方法のあるステップの特定のサブステップの例についてのフローチャートである。 徹照モードの可変照明フーリエタイコグラフィー撮像装置の構成要素についての概略図である。 徹照モードの可変照明フーリエタイコグラフィー撮像装置の構成要素についての概略図である。 図8及び図10Aを参照して説明される可変照明フーリエタイコグラフィー撮像方法の特定のステップについての図 タイル撮像を伴う可変照明フーリエタイコグラフィー撮像方法についてのフローチャートである。 可変照明フーリエタイコグラフィー撮像システム内に含まれ得るサブシステムについてのブロック図である。
本願にて説明する特定の実施形態は、可変照明フーリエタイコグラフィー撮像システム、装置、及び方法に関する。
I. 可変照明フーリエタイコグラフィー撮像システム
特定の態様では、可変照明フーリエタイコグラフィー撮像システムは可変照明装置と光学系と放射検出器とを備える。一部の場合では、システムはプロセッサと通信可能とされ又はプロセッサ(例えば、マイクロプロセッサ)をさらに備える。可変照明装置は、撮像される試料を(例えば、平面波照射を用いて)複数の入射角から照射することができる。光学系は、試料から出る光を受光して放射検出器へと伝播することができる。光学系は、通常はその受光角度に基づいて光を「フィルタ」できる少なくとも1つのフィルタリング光学素子を備える。放射検出器は、光学系からのフィルタされた光を受光し、光の輝度分布を測定して試料についての異なる入射角に対応する複数の輝度画像をキャプチャする。各輝度画像はフーリエ空間内の領域に関連付けられている。フィルタリング光学素子がレンズとされる場合、直径はレンズのNAに対応し、領域の中心はそのサンプル時刻における照射の入射角に対応する。フーリエタイコグラフィー撮像システムの構成要素(例えば、可変照明装置及びフィルタリング光学素子)は、フーリエ空間内の重複する円形領域に対応する空間ドメイン内の輝度画像を取得して特定の範囲で重複するように及び/又はより大きな領域をカバーする(例えば、より高い周波数をカバーする)ように構成されている。例えば、フィルタリング光学素子のNA並びに可変照明装置の個別の発光素子の個数及び位置は、フーリエ空間内の円形瞳孔領域が特定量の重複を有するように設計されることができる。1つの場合では、これらの構成要素は、隣り合う入射角に関連付けられている円形領域がフーリエ空間内で特定の百分率(例えば、約70%、約80%、約90%等)をもって重複するように設計されることができる。フーリエ空間内の重複する画像データは、反復的にスティッチングされて試料についてのより高い分解能の画像を生成することができる。一部の場合では、可変照明フーリエタイコグラフィー撮像システムは、例えばより高分解能の画像に対しての再合焦等のシステム内諸収差に対する修正をも行うことができる。
特定の態様では、可変照明フーリエタイコグラフィー撮像システムは、試料について広視野角(例えば、直径13mm)を得るために低NAフィルタリング光学素子(例えば、2X0.08レンズ)を有する光学系を備える。低NA光学素子が試料から出る光をフィルタリングするが故に、このシステムは比較的に低い分解能の輝度画像を取得する。これらの輝度画像は、より高いNAの光学素子が用いられた場合にもたらされるフーリエ空間内円形領域よりも小さいフーリエ空間内円形領域に対応する。特定の量(例えば、70%、75%等)をもってこれらのより小さいフーリエ空間内円形領域を重複させるために、このシステム内の可変照明装置は、隣り合う入射角の間の間隔が比較的に短間隔(例えば、0.05rad)となる照射をもたらすように構成されている。低NAフィルタリング光学素子を有する広視野角用の可変照明フーリエタイコグラフィー撮像システムの例は、特許文献1〜2及び非特許文献22に記載されており、これらのシステムの詳細についてこれら文献の全体は参照によって取り込まれる。
他の態様では、超高NA(例えば、1.0より大きいNA)可変照明フーリエタイコグラフィー撮像システムは、試料画像についてより高い分解能を達成するように構成されている。これらの態様では、超高NAフーリエタイコグラフィー撮像システムは、総合したシステム全体のNAについて向上をもたらす光学系であって、高NAフィルタリング光学素子(例えば、0.5のNAを有する20倍レンズ)とより高い照射NAとを伴う、光学系を備える。より高いNAのフィルタリング光学素子は、これらのシステムが上述の低NAシステムよりも高い分解能の輝度画像をキャプチャできるようにする。より低いNAのフィルタリング光学素子を用いてキャプチャされた輝度画像に比して、これらの輝度画像は、フーリエ空間内のより大きい領域に対応する。より大きい領域が包括されるため、可変照明装置は、隣り合う入射角間の間隔がより減じられて、かつ、入射角の個数Nが減じられたものとして構成されることができる。低NAフィルタリング光学素子を用いるシステムに比して、これらのシステムでは、同様の又はより高い分解能を生成するためにより少ない輝度画像が要求されることで足り得る。より少ない輝度画像が必要とされ得るので、イメージ取得に要する時間はより短く、また、低NAシステムと同様又はそれよりも高い分解能の画像を生成するためにより少ない量のリソースが要求され得る。また、入射角の個数Nは減じられているが故により少ない発光素子が照射をもたらすために必要とされるため、可変照明装置はより単純な設計(例えば、より粗なLEDマトリクス)とすることができる。一部の場合では、可変照明装置は、上述の低NAシステムと比較して、極端な入射角の間の差がより大きくなるように(即ち、照射NAがより高くなるように)構成されることができる。即ち、より高い照射NAによって、フーリエ空間のアウター領域にて高周波データをキャプチャできるようになり、これは最終画像の分解能を向上させさえする。したがって、増大させた照射NA及び/又は増大させた光学系NAを有するこれら可変照明フーリエタイコグラフィー撮像システムは、画像分解能を向上させることができる増大されたシステムNAをもたらすことができる。即ち、これらのシステムは、より大きなフーリエ空間内の重複領域及びより高い周波数のデータをカバーする画像の取得を可能とする入射角から試料を照射することを可能とし得る。これらの重複するより大きい領域が組み合わされると、特定の場合においては、合成されたNAが1に近いものとなる大システムNA領域が、もたらされ得る。特定の場合においては、これらのシステムは、長い作動距離を維持しながら、並びに、液浸媒質を使用することなく及び必要とせずに高い合成システムNAをもたらす(例えば、フィルタリング光学素子の本来的NAがより低いもの(例えば約0.75)である場合に1に近いNAをもたらす)。
従来的な顕微鏡に関しては、達成可能な最高NAは、幾何学的原理(即ち、最大で試料からの上半球光円錐の全部が集光される)及びレンズ設計技術によって制限され、その結果、乾式顕微鏡に関しては上限が〜0.95であり、オイル液浸顕微鏡に関しては上限は〜1.40である。屈折率が1より大きい液浸媒質が試料からの光の集光を向上させる場合、一部の従来的な水液浸又はオイル液浸対物レンズはNA>0.9をもたらし得る。しかし、液浸対物レンズは、一部の用途において不適切となり得る幾つかの短所を有する。第1に、試料は媒質に液浸される必要があり、作動距離は極めて短い(0.1〜0.2mm)のであり、試料に対してのマイクロマニュピレーションについて障害を呈する。第2に、通常の液浸媒質は本来的にスペクトルの紫外線域(<375nm)及び近赤外線域(>700nm)において高い吸収特性を有しており、この領域における明視野液浸顕微鏡法及び蛍光液浸顕微鏡法において幾何かの問題をもたらす。オイル液浸とNAとの関係に関する説明は http://www.olympusmicro.com/primer/anatomy/immersion.html にて見出すことができ、該記載は本願明細書との関係で参照によって取り込まれる。
特定の場合、本願にて説明した可変照明フーリエタイコグラフィー撮像システムは、徹照(trans-illumination)モード(即ち、光源からの照射を、試料を通して集光光学素子へと導くモード)及び/又は落射照明(epi-illumination)モード(即ち、光源からの照射を、試料に向かってかつ集光光学素子から遠ざけるように導くモード)で作動するように構成されることができる。落射照明モードでは、集光光学素子は試料の表面から反射された光を受光する。落射照明モードで作動するためには、照明光源(例えば、可変照明装置の照明素子)は、集光光学素子が配置されている側と同じ側から試料へと照射を導くように構成されていることができる。落射照明モードで作動する可変照明フーリエタイコグラフィー撮像装置についての幾つかの例は、図5、図6及び図7A〜図7Bに示してある。徹照モードでは、集光光学素子によって反射光がキャプチャされないこととなり得るのであり、試料を通過した光のみが集光されるということになり得る。したがって、厚い及び/又は不透明な試料に関しては、徹照モードよりも落射照明モードのほうが効果的であり得る。落射照明モードで作動する可変照明フーリエタイコグラフィー撮像システムは、通常、試料の反射面を撮像する。可変照明フーリエタイコグラフィー撮像システムを落射照明モード用に構成するのは、例えば金属又は半導体の表面検査用途に関して特に有用たり得るのであり、他の用途もあるが例えば半導体ウエハー、チップ及び/又は電子回路基板の検査が含まれる。落射照明モード用に構成されたこれらフーリエタイコグラフィー撮像システムのための幾つかの用途には、改造されたフラッシュシステムが搭載された手持ちカメラや人工衛星撮像に関する用途が含まれることができる。
図1は、特定の実施形態による、可変照明フーリエタイコグラフィー撮像システム10の構成要素についてのブロック図である。可変照明フーリエタイコグラフィー撮像システム10は、可変照明フーリエタイコグラフィー撮像装置100と可変照明フーリエタイコグラフィー撮像装置100と電子通信する(破線で図示された)随意的なコンピュータ装置200とを備える。図1等に示された図示された特定の例では、画像測定プロセスのために、可変照明フーリエタイコグラフィー撮像装置に試料が設置された様子が示されている。試料は装置の必須構成要素ではないと理解されるのであり、装置の動作を例示するために図示されている。随意的なコンピュータ装置200は、例えばスマートフォン、ラップトップ、デスクトップ、タブレット、等のような種々の形態にすることができる。当業者は、種々の形態のコンピュータ装置を考えることができる。
可変照明フーリエタイコグラフィー撮像装置100は、可変照明装置110と、光学系130と、放射検出器140とを備える。可変照明装置110は、(θxi,j, θyi,j),i=1〜n,j=1〜mとなるN通りの複数の入射角から照射を試料20へともたらすように構成されている。可変照明装置110は、徹照モード及び/又は落射照明モードで試料20を照射するように構成されている。徹照モードでは、可変照明装置110は、照射を試料20を通して、光学系130の集光光学素子へと導く。落射照明モードでは、可変照明装置110は、照射を試料20へとかつ光学系130の集光光学素子から遠ざけるように導く。
光学系130は、試料20から出る光を受光してそれを放射検出器140へと伝播する構成要素を備える。光学系130の集光光学素子は、標本20から出た光を受光する。集光光学素子又は光学系130の別の光学素子が、それが受光する光をフィルタする。例えば、このフィルタリング光学素子は、対物レンズの形式であることができ、その受光角度内の光を受光してフィルタとして作用する。光学系130はフィルタされた光を放射検出器140へと伝播し、それは放射検出器140にてM回のサンプル時刻、tq=1〜M、において輝度分布を測定して(例えば、記録して)、試料についての複数たるM個の輝度画像をキャプチャする。特定の場合では、M=Nとなり、即ち輝度測定値が各入射角に対応する。
図1では、随意的なコンピュータ装置200は、プロセッサ210(例えば、マイクロプロセッサ)と、プロセッサ210と通信可能なコンピュータ可読媒体(CRM:computer readable medium)220と、プロセッサ210と通信可能なディスプレイ230とを備える。プロセッサ210は、放射検出器140と電子通信可能であり、M個の輝度画像に対応する画像データを有する信号を受信する。画像データは、例えば、輝度分布や関連する取得時刻等を含むことができる。輝度画像は、試料20及び/又は試料20の周辺部分についての輝度画像である。
プロセッサ210は、CRM220(例えば、メモリ)と電子通信して、画像データを有する信号を送信して、CRM220に画像データを記憶し、CRM220から画像データを検索することを可能にする。プロセッサ210は、ディスプレイ230と電子通信して、画像データ及び命令を送信して、画像及び他の出力を、例えばシステム10のユーザに対して表示することができる。点線で示すように、可変照明装置110は、随意的に、プロセッサ210と電子通信して、可変照明装置110を制御するための命令を送信する。例えば、特定の態様では、これらの制御命令は、実行されることによって、異なる入射角に関しての照射時刻を放射検出器140のサンプル時刻と同期することができる。本明細書で説明するシステム10の構成要素間の電子通信は、有線形式または無線形式にすることができる。
プロセッサ210は、CRM220上に格納された命令を受信して、それら命令を実行して可変照明フーリエタイコグラフィー撮像システム10の1以上の機能を実行することもできる。例えば、プロセッサ210は、命令を実行して可変照明フーリエタイコグラフィー撮像方法の1以上のステップを実行することができる。別の例としては、プロセッサ210は、可変照明装置110の発光素子を照射させるための命令を実行することができる。別の例としては、プロセッサ210は、CRM220上に格納された命令を実行してシステムの1以上の機能を実行することができ、例示するならば、1)複数の輝度画像からの画像データについて解釈を行うこと、2)画像データからより高い分解能の画像を生成すること、及び3)可変照明フーリエタイコグラフィー撮像方法からの1以上の画像又は他の出力をディスプレイ230上に表示すること等である。
CRM(例えば、メモリ)220は、システム10の特定の機能を行うための命令を格納することができる。これらの命令は、プロセッサ210又はシステム10の他の処理コンポーネントによって実行可能である。CRM220は、(より低分解能な)輝度画像及びより高分解能な画像データ、並びにシステム10によってもたらされる他のデータを、格納することもできる。
可変照明フーリエタイコグラフィー撮像システム10は、プロセッサ210と電子通信して、データ(例えば、画像データ)を受信し、表示データを可変照明フーリエタイコグラフィー撮像システム10のオペレータに提供するディスプレイ230も含む。ディスプレイ230は、カラーディスプレイまたは白黒ディスプレイとすることができる。これに加えて、ディスプレイ230は、二次元ディスプレイまたは三次元ディスプレイとすることができる。一実施形態では、ディスプレイ230が複数の画面を表示することができる。
1つの作動例では、可変照明フーリエタイコグラフィー撮像システム10は、測定プロセスと復元プロセスと随意的な表示プロセスとを含む方法を行う。測定プロセスでは、可変照明装置110を用いてN通りの複数の入射角(θxi,j,θyi,j)、i=1〜n、j=1〜m、(N=nxm)から試料を照射する。光学系130は、試料から出る光をフィルタするフィルタリング光学素子を有する。光学系130は、フィルタされた光を放射検出器140へと伝播する。放射検出器140はフィルタされた光を受光してM個の複数の輝度画像即ちIk,l、k=1〜o及びj=1〜p、ここでM=oxpを取得する。特定の場合、MはNたり得る。可変照明装置110は、特定の量で重複するフーリエ空間内の画像データを生成する入射角での照射を発生するように構成されている。復元プロセスでは、M個の輝度画像はフーリエ空間内で反復的に組み合わされてより高い分解能の(輝度及び/又は位相)画像データを生成する。随意的な表示プロセスでは、画像(例えば、高分解能画像、既取得画像、等)及び/又は他の出力をディスプレイ230上に提示することができる。特定の態様では、システム10内の任意の収差について補正を行うことができ、これにはより高い分解能の画像に対して行うリフォーカスも含まれる。1つの場合では、システム10は、より高い分解能の画像を1以上の平面へ伝播させることもできる。異なる平面にあるこれら伝播された画像からの画像データは、3次元的画像を生成するために用いることができる。特定の態様では、システム10は、異なる照射波長(RGB)からの画像を生成してカラー画像を生成することもできる。
本願開示の範疇から逸脱せずに特定の改造、追加、又は省略を可変照明フーリエタイコグラフィー撮像システム10に対して施すことができる。また、本願にて開示する可変照明フーリエタイコグラフィー撮像システム10の構成要素や可変照明フーリエタイコグラフィー撮像装置の構成要素は、具体的な必要性に即して統合されたり分解されたりすることができる。例えば、コンピュータ装置200又はその構成要素は、可変照明フーリエタイコグラフィー撮像装置100に統合されることができる。特定の実施形態においては、プロセッサ210又は他の適切なプロセッサを可変照明フーリエタイコグラフィー撮像装置100の一部とすることができる。一部の場合では、プロセッサ210を放射検出器に統合してプロセッサ210の機能を放射検出器が果たすようにすることができる。別の例では、CRM220及び/又はディスプレイ230は、特定の場合において、可変照明フーリエタイコグラフィー撮像システム100から省略されることができる。
特定の態様では、可変照明フーリエタイコグラフィー撮像システム及び装置は、試料面にて試料を受けるためのレセプタクルをさらに備えることができる。試料面は構成要素の一部であるか又はシステム及び装置の別個の構成要素であることができる。
特定の態様では、可変照明フーリエタイコグラフィー撮像システム10によってキャプチャされた1以上の全視野輝度画像は、1以上のタイル画像に分割されることができる。これらの場合では、プロセッサは、各タイルについて独立的により高い分解能の複素画像を構成して、そしてタイル画像を組み合わせて全視野画像を生成することができる。タイル画像を独立的に処理できるというこの機能は、並列コンピューティングを可能とする。これらの態様では、各タイルは2次元領域として表されることができる。極空間座標では、各タイルを、円形領域または長円形領域とすることができる。直線空間座標では、全視野の低分解能画像を、矩形領域となるタイルの二次元マトリクスの形に分割することができる。一部の実施形態では、タイルの二次元正方形マトリクスの大きさを、放射検出器の画素数で表わすと、256×256マトリクス、64×64マトリクス、等のような2のべき乗にすることができる。
図2は、特定の実施形態による、徹照モードの可変照明フーリエタイコグラフィー撮像装置100(a)の構成要素についての概略側面図である。可変照明フーリエタイコグラフィー撮像装置100(a)は、図1との関係で説明された可変照明フーリエタイコグラフィー撮像装置100についての一構成例である。
図2では、可変照明フーリエタイコグラフィー撮像装置100(a)は、可変照明装置110と光学系130とセンシング面142を有する放射検出器140とを備える。可変照明装置110は、発光素子112と面111を備える。可変照明装置110は、光源が提供される近似平面を表す平面におけるx’軸及びy’軸(不図示)並びにz’軸をも備える。図2は可変照明装置110が単一の発光素子112を備えるものとして図示しているが、可変照明装置110は異なる位置に追加の発光素子を有していることができ、複数の入射角において入射光を提供することができる。放射検出器140は光学系130から距離をおいて配置されているように図示されているが、随意的には、放射検出器140は光学系130にて配置されていてもよい。
図示の例では、測定プロセスのために、試料20は標本面126にもたらされている。発光素子112は、徹照モードで照射114を試料20を通してもたらしており、測定プロセスに関して照射114は波動ベクトルkxi,j, kyi,jを有している。また、z=0における合焦平面122及びz=zにおける試料面124も図示されている。可変照明フーリエタイコグラフィー撮像装置100(a)は、合焦平面122におけるx軸及びy軸(不図示)並びに合焦平面122に対して直交するz軸をさらに備える。また、可変照明装置110と試料面124との間の距離d及び試料20と光学系130との間の作動距離dも示されている。一般に、作動距離dは、試料20と光学系130の集光光学素子との間の距離を指す。
図2では、発光素子112が、測定プロセス中の単一のサンプル(取得)時刻において、照射114をもたらしている様子が示されている。光学系130は、試料20から出る光を受光及びフィルタする。光学系130によってフィルタされた光は、放射検出器140のセンシング面142にて受光される。放射検出器140は、センシング面142にて受光された入射光の輝度分布を測定し、また、サンプル時刻における輝度画像を取得する。可変照明フーリエタイコグラフィー撮像装置100(a)については単一のサンプル時刻においての様子が図示されているが、装置100(a)はN個の発光素子112を含むことができ、これらは例えばN通りの入射角(θxi,j, θyi,j)、i=1〜n、j=1〜m、N=nxmから照射をもたらすことができる。この場合、放射検出器140はM個たる複数の輝度画像Ik,l、k=1〜o、j=1〜pをM個のサンプル時刻にて取得することができ、各輝度画像はN通りたる複数の入射角のうちの異なる入射角に照射がある際に取得されることができる(θxi,j, θyi,j)。入射角(θxi,j, θyi,j)は、z=zにて試料面と直交し、点Pを通る軸との間で相対的に測定した角度である。図2の側面概略図によると、x−z平面内の入射角のθxi,j成分のみが示されている。
可変照明装置とは、被撮像試料に対して、異なる入射角で、M個の画像取得時刻において、入射放射をもたらすように構成されることができる装置を一般に指す。多くの場合、可変照明装置は、N通りの入射角(θxi,j, θyi,j)、i=1〜n、j=1〜mから入射放射を提供するように設計されている。一般に、Nは2〜1000の範囲内の値を取る。各入射角は、フーリエ空間内での対応する取得画像データの場所に対応するものである。空間ドメインで隣り合う入射角は、フーリエ空間内での近隣領域に対応する。特定の態様では、可変照明装置は、フーリエ空間内の画像データについて重複領域となる近隣領域をもたらす入射角で照射を提供するように設計されており、重複領域は少なくとも特定の最小量とされる(例えば、75%の重複、70%の重複、80%の重複等)。フーリエ空間内のネイバリング領域におけるこの最小重複量をもたらすために、可変照明装置は、N通りの複数の入射角の隣り合う入射角の間の差が特定の最大角度差未満となるように構成されることができる。即ち、可変照明装置は、隣り合う入射角間の最大差について設定されることによって、フーリエ空間内での重複が最小量となって提供されるようにすることができる。例えば、2X0.08NA対物レンズについては、最大角度差は、約0.05radとすることができる。別の場合では、最大角度差を約 .1radとすることができる。
特定の場合では、可変照明フーリエタイコグラフィー撮像システムは、受光角度を有するレンズ形式のフィルタリング光学素子を含むことができる。この受光角度は、フーリエ空間内の円形瞳領域の直径に対応する。これらの場合では、可変照明装置は、レンズの受光角度によって規定された値に相当する角度によって離された隣り合う入射角を有するものとして構成されることができる。1つの場合では、複数の入射角のうちの2つの隣り合う入射角間の差の値は対物レンズ形式のフィルタリング光学素子の受光角度の約10%から約90%となる範囲内となるようにすることができる。別の場合では、複数の入射角のうちの2つの隣り合う入射角間の差の値は対物レンズ形式のフィルタリング光学素子の受光角度の約33%から約66%となる範囲内となるようにすることができる。別の場合では、複数の入射角のうちの2つの隣り合う入射角間の差の値は対物レンズ形式のフィルタリング光学素子の受光角度の約76未満となるようにすることができる。別の場合では、隣り合う入射角間の差は、対物レンズ形式のフィルタリング光学素子の受光角度の約3分の1として規定されることができる。別の場合では、最大の入射角と最小の入射角との間の差として規定される入射角レンジは、最終的なより高い分解能の画像の空間分解能とコンシステントである開口数に大体等しくされることができる。1つの場合では、受光角度は約−0.08radから約0.08radの範囲内であり、隣り合う入射角は0.05radである。
可変照明装置は、1以上の放射源を備える。放射源は通常はコヒーレントな放射源であるが、一部の場合ではインコヒーレントな放射源を用いることもでき、演算的な補正を適用することができる。放射源は、可視光又は他の放射を発することができる。可視光を用いる場合では、放射源は可視光源である。可視光を発する放射源の例には、液晶ディスプレイ(LCD)の画素及び発光ダイオード(LED)の画素が含まれる。他の種類の放射を用いる場合、他の放射源を用いることができる。例えば、X線放射を使用する実施形態では、放射源がX線管及び金属ターゲットを備えることができる。別の例としては、マイクロ波放射を使用する実施形態では、放射源が真空管を備えることができる。他の例として、音響放射を使用する例では、放射源を音響アクチュエータとすることができる。他の例として、テラヘルツ放射を使用する例では、放射源をガンダイオードとすることができる。当業者は、他の放射源を考えることができる。テラヘルツ放射を使用する実施形態では、可変照明装置によって与えられる放射の周波数を、約0.3〜約3THzの範囲の周波数にすることができる。マイクロ波放射を使用する実施形態では、可変照明装置によって与えられる放射の周波数を、約100MHz〜約300GHzの範囲内にすることができる。X線放射を使用する実施形態では、可変照明装置によって与えられる放射の波長を、約0.01nm〜約10nmの範囲内にすることができる。音響放射を使用する実施形態では、可変照明装置によって与えられる放射の周波数を、約10Hz〜約100MHzの範囲内にすることができる。
特定の場合では、可変照明装置は個別の複数の発光素子を備えることができ、各発光素子は少なくとも1つの放射源を備えることができる。例えば、可視光を与えるように構成されている可変照明装置は、通常複数の発光素子を含む。可視光を発する発光素子の例には、LCDの画素及びLEDの画素が含まれる。多くの場合、各発光素子によって与えられる照射は、試料における単一の入射角からの平面波照射として近似されることができる。例えば、図2の発光素子112は、x−z平面内において成分θxi,jを含む入射角にて照射114をもたらす。
特定の場合では、各取得時刻における、可変照明装置の発動された放射源からの照射の特性(例えば、波長、周波数、位相、振幅、極性、等)は、およそ均一であることができる。一部の場合では、全ての取得時刻における全ての入射角における、発動された放射源からの照射は、およそ均一であることができる。他の場合では、特性は、異なる入射角ごとに異なることができ、例えば、測定プロセス中においてn個の異なる波長λ,...,λが提供されることができる。別の場合では、可変照明装置は、それぞれ赤色、緑色、及び青色に相当する3つの波長λ、λ、及びλのRGB照射を与えることができる。テラヘルツ放射を使用する実施形態では、可変照明装置によって与えられる放射の周波数を、約0.3〜約3THzの範囲の周波数にすることができる。マイクロ波放射を使用する実施形態では、可変照明装置によって与えられる放射の周波数を、約100MHz〜約300GHzの範囲内にすることができる。X線放射を使用する実施形態では、可変照明装置によって与えられる放射の波長を、約0.01nm〜約10nmの範囲内にすることができる。音響放射を使用する実施形態では、可変照明装置によって与えられる放射の周波数を、約10Hz〜約100MHzの範囲内にすることができる。
一部の場合では、可変照明装置は、異なる空間的位置に存する個別のN個の複数の静止した発光素子を有している(例えば、図3Aの可変照明装置110(a))。これらのN個の静止した発光素子は、単独的に又は1以上の群をなして集合的に、異なるサンプル時刻において(例えば、逐次的に)照射を行ってN通りの複数の入射角から照射を与えることができる。他の場合では、可変照明装置は移動する発光素子を備えることができる。移動する発光素子は、光学系・試料・放射検出器との関係で相対的に移動することができ、それは静止したままとされ得る。これらの場合では、移動する発光素子は、ラスタスキャナ等の機構を用いてN個の異なる複数の空間的位置に移動されることができる。静止した構成要素と移動する発光素子との間の相対移動に基づいて、発光素子は、N通りの複数の入射角から照射を与えることができる。他の場合では、可変照明装置は、静止した発光素子を備え、相対的移動を得るためにシステムの他の構成要素が異なる空間的位置へと移動される。静止した発光素子とシステムの他の構成要素との間の相対的移動に基づいて、発光素子は、N通りの複数の入射角から照射を与えることができる。
複数の発光素子を備える可変照明装置を有する場合では、線状グリッド、矩形グリッド、1以上の同心円(環)、6角形グリッド、曲線グリッド、又は複数の入射角から照射を与えることができる他の適切な配列等様々な配列に基づいて発光素子が配置されることができる。単一の環の形式で発光素子が配列された円形可変照明装置110(b)の例は、図3Aに示されている。発光素子についての矩形グリッドの形式をとっている矩形可変照明装置110(c)の例は、図4に示されている。一部の例では、発光素子は、LCDの画素及びLEDの画素である。発光素子の配置は素子間の離隔距離によって構成されることができ、また、フーリエ空間内の重複領域に対応する複数の入射角での照射を作動時において与えることができる具体的な位置によって構成されることができ、一部の場合では重複量は特定の量とされる。
複数の発光素子を伴う場合では、発光素子の位置は1次元配列又は2次元配列で表されることができる(例えば、1×9配列、3×6配列、10×10配列、15×15配列、32×32配列、100×100配列、50×10配列、20×配列、又は他の2次元配列)。一部の場合では、かような2次元配列はnxmの規模とされ、発光素子の位置はXi,j(r,θ)又はXi,j(x,y)、i=1〜n、j=1〜mとされる。
特定の態様では、可変照明装置は、個別の発光素子を備え、それらは異なる取得時刻において照射され、例えば照射命令に基づいた順序で照射される。例えば、順序は個別発光素子からなる2次元配列の個々の発光素子又は発光素子群の照射時刻を規定することができる。発光素子についての2次元マトリクスが矩形配列である場合、中心発光素子を定めることができる。照射命令は、中心発光素子を最初に発光させるように命令し、次に、中心発光素子を囲む8つの発光素子を反時計回りに発光させるように命令し、次に、前の発光素子を囲む16個の発光素子を反時計回りに発光させるように命令し、以後同様にし、N通りの複数の入射角(θxi,j, θyi,j)、i=1〜Nから可変照明装置が照射を与えるまで行うことができる。別の例では、発光素子の2次元配列が1以上の同心環等の極形式マトリクスである場合、照射命令は、最小半径にある発光素子を最初に(例えば、時計回り、反時計回り、又はランダムな順序で)発光させるように命令し、次により大きい半径にある任意の発光素子を照射させ、以後同様にし、N通りの複数の入射角(θxi,j, θyi,j)、i=1〜Nから可変照明装置が照射を与えるまで行うことができる。発光素子の2次元配列が矩形又は極形式配列の別の例では、標本に最も近い発光素子を決定することができる。照射命令は、標本に最も近い発光素子を発光させるように命令し、次にその次に標本に近い発光素子を発光させ、そしてその次にその次に標本に近い発光素子を発光させ、以後同様にし、N通りの複数の入射角でN個の発光素子が照射されるまで行うことができる。別の例では、発光素子はランダムな順序で照射されることができる。別の例では、逐次的なコラム毎の順序に従うことができるのであり、例えば、(X,Y),(X,Y),(X,Y),..(X,Y),(X,Y),(X,Y),(X,Y),..(X,Y),..(X,Y)とできる。代替的には、行毎の順序に従うことができる。
特定の態様では、本願にて説明される可変照明装置の特定のシステムは、落射照明モード及び/又は徹照モードを提供することができる。落射照明モードで動作するには、可変照明装置は、通常は試料との関係で光学系の集光光学素子と同じ側に位置している。徹照モードで作動するためには、可変照明装置は、通常は試料との関係で光学系の集光光学素子と反対側に位置している。
本願にて説明される可変照明フーリエタイコグラフィー撮像システムによって撮像される試料は、1以上の物体を備えることができ及び/又は物体の1以上の部分を備えることができる。各物体は、生物学的な実体や無機的な実体等とすることができる。撮像されることができる生物学的な実体の例には、全細胞、細胞成分、バクテリア又はウィルスのような微生物、蛋白のような細胞成分、等が含まれる。撮像されることができる無機的な実体の例には、半導体ウエハーが含まれる。特定の態様では、本願にて説明される特定のフーリエタイコグラフィー撮像システムによって厚い及び/又は不透明な試料について撮像を行うことができる。試料は液体等の媒質内に入れて提供されることができる。
ルミネッセンス撮像の例では、試薬(例えば、蛍光/リン光染料)を試料と混合して調査部位をフルオロフォアでマーク又はタッグすることができる。フルオロフォアは、分子を蛍光的に又はリン光的に発光させる分子の構成要素を指すことができる。フルオロフォアは、特定の波長の励起光からのエネルギーを吸収することができ、エネルギーを別の波長で再放射することができる。ルミネッセンス撮像の例では、照射源は、既定の波長の励起光(例えば、ブルー色の光り)をもって試料を照射することができ、試料内のフルオロフォアを活性化させることができる。これに応答して、フルオロフォアは異なる波長の放射(例えば、赤色の光)を放つ。
光学系130は、例えばレンズ、ビームスプリッタ、対物レンズ、筒状レンズ、波長フィルタ、絞り要素(例えば、対物レンズ、物理的な瞳、等)及び類する要素の1以上の他の構成要素を備える。ルミネッセンス撮像の例の場合、光学系130は、例えば、フィルタ(例えば、放射を通すが励起光をブロックする材料)等を受光光学素子と放射検出器との間に含んで励起光をフィルタアウトして放射を通すことができる。光学系130は、例えば、特定の光学顕微鏡の構成要素又はカメラの光学構成要素を含むことができる。一般に、光学系130は、試料20から出る光を集光する集光光学素子又は第1光学素子を備える。光学系130は、試料から出る光をフィルタリングするためのフィルタリング光学素子をも備える。フィルタリング光学素子は、集光光学素子であることができる。特定の場合では、フィルタリング光学素子はレンズ(例えば、対物レンズ)であることができる。特定の超高NA事例においては、レンズの高NAは、約0.50とすることができる。別の超高NA事例においては、レンズの高NAは、約0.50から約0.75の範囲内とすることができる。別の超高NA事例においては、レンズの高NAは、約0.60とすることができる。
本願にて説明する特定の可変照明フーリエタイコグラフィー撮像システムにおいては、放射検出器(例えば、図1の放射検出器140)は、検出器平面で特定のサンプル(取得)時刻において入射放射の輝度分布を測定/記録することによって試料について複数の輝度画像を取得するように構成されている。例えば、画像測定プロセス中においては、放射検出器は、M個たる複数の輝度画像をM個のサンプル時刻tq=1〜Mにおいて取得することができる。可視光放射が測定されている場合、放射検出器はCCD、CMOS撮像センサ、アバランシュ光ダイオード(APD)アレイ、光ダイオード(PD)アレイ、光電子増倍管(PMT)アレイ等の形式とすることができる。テラヘルツ放射を用いる場合、放射検出器は、例えば、撮像ボロメーターとすることができる。マイクロ波放射を用いる場合、放射検出器は、例えばアンテナとすることができる。X線放射を用いる場合、放射検出器は、例えばx線に感度のあるCCDとすることができる。音響放射を用いる場合、放射検出器は例えば圧電変換器アレイとすることができる。これらの放射検出器及び他のものは商業的に入手可能である。一部の場合では、放射検出器はカラー検出器例えばRGB検出器であることができる。他の場合では、放射検出器はカラー検出器でなくてもよい。特定の場合においては、放射検出器は単色検出器であってよい。
特定の態様では、可変照明フーリエタイコグラフィー撮像システムは、N通りの照射入射角から試料を照射するように構成された可変照明装置と、N通りの入射角のうちの異なる入射角に基づいてM個たる複数の輝度画像をキャプチャするように構成された放射検出器とを備える。特定の場合では、N=M(即ち、各照射角毎に輝度画像が取得される)とされる。
特定の態様では、放射検出器は離散素子(例えば、画素)を有することができる。離散検出素子は、あらゆる適切なサイズ(例えば、1〜10ミクロン)にすることができ、かつ、あらゆる適切な形状(例えば、円形、長方形、正方形、等)にすることができる。例えば、CMOS又はCCD素子は1〜10ミクロンにすることができ、APD又はPMT光検出素子は、1〜4mmくらい大きくすることができる。1つの例では、放射検出素子が、5.5μmのサイズを有する正方形画素である。
サンプル時刻又は取得時刻は、放射検出器130が試料の輝度画像をキャプチャする時刻を指すことができる。本願にて説明する特定の画像測定プロセス中においては、放射検出器は、M個たる複数の輝度画像をキャプチャする(例えば、M=1, 2, 5, 10, 20, 30, 50, 100, 1000, 10000,等)。輝度画像がキャプチャされる各サンプル時刻tでは、N通りの複数の入射角のうちの異なる入射角から光が試料へと与えられる。特定の場合では、サンプリングレートは0.1〜1000フレーム/秒の範囲とすることができる。
フーリエ空間とは、波動ベクトルkx及びkyが張る数学的空間であって、アパチュア走査フーリエタイコグラフィー撮像システムによって生成された空間画像の二次元フーリエ変換が存在する座標空間を称することができる。フーリエ空間とは、波動ベクトルkx及びkyが張る数学的空間であって、放射センサによって収集された空間画像の二次元フーリエ変換が存在する空間を称することもできる。
測定プロセス中においては、放射検出器130は、M個たる複数の輝度画像を含む画像データをキャプチャする。放射検出器130は、サンプル時刻又は他の関連するサンプルデータ等の他の画像データを生成することもできる。放射検出器によってキャプチャされたM個たる複数の輝度画像の各々は、フーリエ空間内の領域と関連付けられる。フーリエ空間内では、隣り合う領域は重複領域を共有し、この重複領域にわたってこれらの領域は同じフーリエドメインデータをサンプリングする。フーリエ空間内のこの重複領域は、可変照明装置によって与えられた照射の隣り合う入射角の重複領域に対応する。特定の態様では、可変照明装置は、フーリエドメインデータ内で特定量の重複領域を提供するように離された複数の入射角での照射をもたらすように構成されている。1つの場合では、可変照明装置は、複数の入射角での照射をもたらして、一方の領域の面積の約2%から約99.5%の範囲内の重複領域をフーリエドメインデータ内において生成するように構成されている。別の場合では、隣り合う領域の重複領域は、一方の領域の面積の約65%から約75%の範囲内である面積を有することができる。別の場合では、隣り合う領域の重複領域は、一方の領域の面積の約65%である面積を有することができる。別の場合では、隣り合う領域の重複領域は、一方の領域の面積の約70%である面積を有することができる。別の場合では、隣り合う領域の重複領域は、一方の領域の面積の約75%である面積を有することができる。
システム10のジオメトリに基づいて、可変照明装置は、フーリエ空間内の重複領域間に特定量の重複エリアをもたらす入射角での照射を生成するように構成されることができる。例えば、発光素子間の距離は特定の間隔(例えば、1mm、0.5mm、等)とすることができる。図10Bでは、発光素子間の間隔は4mmである。
本願にて説明する特定の可変照明フーリエタイコグラフィー撮像システムは、ルミネッセンス撮像(例えば、蛍光、リン光、ケムルミネッセンス、生物発光等の事象を伴う撮像)に用いられることができる。例えば、特定のシステムは、照射源へ向けて戻ってくる放射を収集するように適応されていることができる。蛍光撮像及び他のルミネッセンス撮像用途においては、試料内のフルオロフォアは、照射源からの特定波長の励起照射によって励起され、異なる波長の光を放射する(放射)。これらの放射は、励起光に比べて弱い信号である傾向があり、集光効率は重要となり得る。特定のシステムにおいては、落射照明を提供するように構成することができ、放射検出器が、試料からの放射及び/又は試料から照射源へと反射された光を、受光する。これらのシステムは、試料へと励起光を向かわせ、かつ、システムの次の素子からは背けるように励起照射を導く照射源を受容するような光学配置を有する。このようにして、システムを通しての励起照射の伝播は実質的に回避することができる。
超高NA構成
図3Aは、特定の実施形態による、可変照明フーリエタイコグラフィー撮像装置100(b)の構成要素についての概略図である。可変照明フーリエタイコグラフィー撮像装置100(b)は、図1との関係で説明したシステム10の可変照明フーリエタイコグラフィー撮像装置についての超高NA構成についての例である。
図3Aでは、可変照明フーリエタイコグラフィー撮像装置100(b)は、円形可変照明装置110(b)と、対物レンズ134(例えば、顕微鏡対物レンズ)と筒状レンズ132を有する光学系130(b)と、放射検出器140(b)とを備える。この例示においては、対物レンズ134は、光学系130の集光(第1)光学素子である。対物レンズ132は、比較的に高いNAを有する(例えば、約0.60から約0.75の範囲内のNA)。可変照明フーリエタイコグラフィー撮像装置100(b)に提供された状態での標本面126上の試料20が示されている。
図3Aでは、可変照明フーリエタイコグラフィー撮像装置100(b)は、単一の環に配置された個別の9つの発光素子112(b)を有する円形可変照明装置110(b)を備える。他の場合では、円形可変照明装置110(b)は、複数の同心環の形式又は他の配置であることができる。図示の例においては、隣り合う発光素子間の角度間隔は40°であり、環の直径は40mmである。他の場合では、隣り合う発光素子間(例えば、LED)の角度間隔は約2°とすることができる。他の場合では、隣り合う発光素子間(例えば、LED)の角度間隔は約2°から約40°の範囲内とすることができる。他の場合では、環の直径は約20mmから約40mmの範囲内とすることができる。
特定の態様では、可変照明フーリエタイコグラフィー撮像システムは、1以上(例えば、1,2,3、等)の同心環に配置された発光素子を有する円形可変照明装置を、含むことができる。図3Aでは、例えば円形可変照明装置110(b)は、単一の環の形式に配置された発光素子を備える。複数の環を備える配置の直径は、約10mmから約60mmの範囲内であることができる。多くの場合では、各環内の発光素子は、等間隔に配置(隣り合う発光素子間において等しい角度間隔をおいて離れているように配置)されているが、別の間隔も用いられることができる。多くの場合では、各環は異なる個数の発光素子を有する。別の場合では、各環は、同じ個数の発光素子を有する。
1以上の同心円に配置された発光素子を有する円形可変照明装置(例えば、等間隔に配置された発光素子を有する円形可変照明装置)を用いることによって重複情報の均質性を向上させ得る。この均質性は、他の発光素子配置を用いる可変照明装置を用いるシステムの画像に比して向上した画像品質をもたらし得る。例えば、矩形アレイ可変照明装置が素子について矩形状のグリッド配列を有する場合、フーリエ空間内の展開領域は半径方向においてそれほど均質でない場合がある。発光素子に関しての矩形状のグリッド配列からのフーリエ空間内展開領域の例は、図10Dに示されている。同心環状に配置された発光素子を用いるシステムと関連付けられている図3B及び図3Cから分かるように、フーリエドメイン内の展開領域280は実質的に円形であり、半径方向で外側に向かって関連付けられる高周波内の情報は実質的に均質となる。これに比較して、図10Dの発光素子についての矩形配置に関連する展開領域は、実質的には矩形であり、より高い周波数での情報はそれほど均質にはならない。
図3Aでは、各発光素子112(b)は、LEDとして図示されているが、他の種類の発光素子を用いることもできる。この例では、各発光素子112(b)は、照射するときに放射を発する放射源を有する。点線によって示されているように、各発光素子112(b)は、逐次的にかつ個別的に発光状態に入り、波動ベクトル(kx,ky)を有する照射114を提供する。この場合では、試料20は、9個の発光素子112(b)の各々によって提供される照射によって9通りの異なる入射角から照射されることができる。1つの運用例では、試料20は異なる取得時刻において9通りの異なる入射角から照射され、光学系130(b)は照射された試料20から出る光を集光し、対物レンズ134はその受光角度に基づいて試料から出る光をフィルタし、筒状レンズはフィルタされた光を放射検出器140(b)にフォーカスし、放射検出器140(b)は9個の輝度画像を取得時刻においてキャプチャする。
図3Aでは、徹照モード、即ち試料20を通るように照射114が向けられるモードにて照射114が提供されるように円形可変照明装置110(b)は配置される。別の場合では、落射照明モードで可変照明装置110(b)は配置されることができ、この場合該装置は試料20との関係で対物レンズ134と同じ側に配置されている。
特定の態様では、可変照明装置からの入射角における照射は、平面波照射を近似する。波動ベクトル(kx,ky)を有する斜面波による照射は、一般に、試料スペクトルの中心をフーリエドメイン内で(kx,ky)だけシフトさせることと等価である。ここで、kx = k0・cosx(照射波動ベクトルとx軸間の角度のコサイン);ky = k0・cosy(照射波動ベクトルとy軸間の角度のコサイン);及び
である。フィルタリング光学素子(例えば、図3Aの対物レンズ134)のフーリエ空間内の瞳孔関数(即ち、コヒーレントな光学的伝達関数)は、円形かつローパスかつ半径はNAobj・k0であると記述されることができ、この場合
であり、NAobjはフィルタリング光学素子に関する。したがって、可変照明装置からの波動ベクトル(kx,ky)を有する近似平面波照射に基づいて放射検出器によって取得された各輝度画像は、フーリエドメインで(kx,ky)あたりに中心を有する試料スペクトル情報を含む。照射が(kx,ky)又は(k・cosx,k・cosy)の波動ベクトルを有する場合、システムによってキャプチャされる画像は
に達する高さまでの空間周波数情報を含み、ここで
は照射の開口数である。システムの合成NAは、NAsyn=NAobj+NAillとして記述されることができる。
可変照明フーリエタイコグラフィー撮像システムにおいてNAsysを1を超えるものとするため、NAobj+NAillが1より大きい総和をもたらすように構成要素を構成する。例えば、図3Aの超高NA構成を、9個の発光素子(例えば、LED)の円形環を有するNAill=0.70の円形可変照明装置と共に、並びに、対物レンズ形式のNAobj=0.75のフィルタリング光学素子(例えば、40X, 0.75NAの顕微鏡対物レンズ)と共に、用いることによって結果として得られる乾式対物システムはNAsyn=1.45を達成しつつ対物レンズの視野及び作動距離を保持する別の例としては、図3Aの超高NA構成を、画像取得のための100X 1.4NA対物レンズを有するオイル液浸構成と共に、並びに、(対物レンズの後焦点面にある発光素子について撮像することによって用いる)別の照射のため100X 1.4NAのものと共に、用いることによってNAsysは2.8もの高さを達成し得る。
一部の態様では、反復的復元プロセスを用いることができ、複数の入射角に関連するこれらの領域の各々での情報をスティッチングして、情報をフーリエドメイン内にて展開して、外側領域での高周波情報をキャプチャして、均質的に重複し及びより広い情報についての領域についてキャプチャを行うことができ、これによって結果として試料についてより高い分解能の画像がもたらされ得る。フィルタリング光学素子についてのこの本来的NAobjの拡張は、システムについて拡張された合成NAを生成し得る。
本願にて説明する特定の超高NA可変照明フーリエタイコグラフィー撮像システムにおいては、フィルタリング光学素子は比較的に高いNAを有することができ、これによってフーリエドメイン内の各入射角についてのより広い円形領域に対応する各々の入射角についてより高い周波数についての情報をキャプチャすることができ、これによって約400nmよりも良好な分解能を有する画像が結果としてもたらされ得る。例えば、図3Aの可変照明フーリエタイコグラフィー撮像装置110(b)を伴う可変照明フーリエタイコグラフィー撮像システムは、超高NA構成とされている。この例では、対物レンズ134は比較的に高いNAを有し、例えば約0.6から約0.75の範囲内とすることができる。また、可変照明装置110(b)は、9個の発光素子(LED)の環を有する。図3Bは、1つの実施形態による、図3Aに示すこの超高NA構成のためのフーリエドメイン内での展開を示す図である。図3Cは、特定の詳細事項を明確化するために図3Bの図示内容を白色背景上に示したものである。
本願にて説明する特定の可変照明フーリエタイコグラフィー撮像システムは、角度的に変化のある照射を用いて試料についての高周波情報を取得する。図3Aの超高NA構成を有するシステムのような場合においては、システムは、より高いNAのフィルタリング光学素子を用いること及び/又は可変照明装置によって使用される入射角の範囲を増大させること、によって高周波情報を取得する。反復的復元プロセス(例えば、反復的位相復元プロセス)を用いることによって図3B〜図3C及び図3D〜図3Eの場合のように試料についての高周波情報に対してフーリエドメイン内にて「スティッチング」を行うことができ、これは拡張合成NA及びより緻密な分解能が空間ドメイン内にて生成されたことを意味する。
図3B及び図3Cにおいては、中心円形領域250は、対物レンズ134(例えば、NA=0.60)によってキャプチャされることのできる情報の範囲を表している。重複する9つの円形領域260の各々は、斜角照射で同じ対物レンズ134によってキャプチャされた情報の範囲を表している。重複する円形領域260の各々は、9通りの異なる入射角の1つに対応する。円形領域280は、対物レンズ134によって異なる9通りの入射角でキャプチャされた情報の範囲を示す。円形領域270は、NAを1とした対物レンズによってキャプチャされた情報の範囲を参考のために示している。図示のように、9通りの入射角で対物レンズ134によってキャプチャされた情報の範囲についての円形領域280は、NAを1とした対物レンズについての円形270よりも大きいのであり、即ち図3Bに示す構成のNAは1.0よりも大きい。即ち、フーリエ空間内で円形領域を重複させることによって、組み合わされた領域は1.0よりも大きいNAをもたらし得る。対物レンズ134の本来的NAが0.6よりも低くなり得る構成では、より多くのLEDを(円形配列又は正方形配列で)配列して十分な入射角をもたらしてフーリエドメイン内でNA=1.0内の領域が完全に占有されるようにすることができる。このような配列の例は図3Dと図3Eにおいて説明されている。
オイル液浸技術を用いれば、従来的な顕微鏡は1.0の最大NAを達成することができる。図3Aの可変照明フーリエタイコグラフィー撮像装置100(b)等の超高NA構成とされる可変照明フーリエタイコグラフィー撮像システムを用いる場合、フィルタリング光学素子のNAは比較的に高いのであり、結果として得られるシステムについての拡張されたNAは1.0を超えると示されている。
図3Dは、1つの実施形態による、図3Aのものに似ているが、発光素子に関しての2つの同心円(環)(インナー環には4個の発光素子があり、また、アウター環には12個の発光素子がある)を有し、かつ、NAが0.50の対物レンズを有するという点で該図3Aのものとは異なる、超高NA構成についてのフーリエドメイン内での拡張の様子を示している。インナー環は4個の発光素子を有し、アウター環は12個の発光素子を有する。特定の詳細事項を明確化するために図3Eの図示内容を白色背景上に示したものである。
図3D及び図3Eにおいては、中心の円形領域252は、NA=0.50の対物レンズによってキャプチャされることのできる情報の範囲を表す。(可変照明装置のインナー環に対応する)4個の重複する円形領域262は、NA=0.50の対物レンズによって4通りの対応する入射角での斜角照射でキャプチャされた情報の範囲を表す。重複する円形領域262の各々は、異なる4通りの入射角の1つに対応する。(可変照明装置のアウター環に対応する)12個の重複する円形領域264は、NA=0.50の対物レンズによって12通りの対応する入射角での斜角照射でキャプチャされた情報の範囲を表す。重複する円形領域264の各々は、異なる12通りの入射角の1つに対応する。
円形領域282は、NAが0.50の対物レンズ134によって16通りの異なる入射角でキャプチャされた拡大された情報の範囲を表す。NAが1の対物レンズによってキャプチャされた情報の範囲を示して参考とするために、円形領域270が図示されている。図示されているように、対物レンズによって16通りの異なる入射角でキャプチャされた拡大された情報の範囲についての円形領域282は、NAが1の対物レンズの円270よりも大きい。
図4は、特定の実施形態による可変照明フーリエタイコグラフィー撮像装置100(c)の構成要素についての概略図である。可変照明フーリエタイコグラフィー撮像装置100(c)は、図1との関係で説明されたシステム10についての可変照明フーリエタイコグラフィー撮像装置についての超高NA構成の例である。
図4の可変照明フーリエタイコグラフィー撮像装置100(c)は、矩形アレイ可変照明装置110(c)と、対物レンズ134(例えば、顕微鏡対物レンズ)及び筒状レンズ132を有する光学系130(c)と、放射検出器140(c)とを備える。この例示においては、対物レンズ134は、光学系130の(第1の)集光光学素子である。対物レンズ132は、比較的に高いNAを有している(例えば、約0.50から約0.75の範囲内のNA)。試料20は標本面126上で可変照明フーリエタイコグラフィー撮像装置100(c)に提供される。
図4では、矩形アレイ可変照明装置110(c)は、徹照モードで照射114をもたらすように配置されており、即ち照射114は試料20を通過するようにされる。別の場合では、可変照明装置110(c)は落射照明モードで照射をもたらすように配置されており、即ち試料20との関係で対物レンズ134と同じ側に配置されている。
図4の可変照明フーリエタイコグラフィー撮像装置100(c)は、15×15の正方形アレイに対応する225個の等間隔配置発光素子を有する正方形グリッド配列にされた発光素子112(c)を有する可変照明装置110(c)を、備える。発光素子についての他の個数や配置を用いることもできる。この例示された例では、発光素子112(c)間の間隔は、約2°から約40°の範囲内である。
図4では、各発光素子112(c)は、LEDとして表されているが、他の種類の発光素子を使うこともできる。この例では、各発光素子112(c)は、照射されると放射を発する放射源を有する。作動中は、各発光素子112(c)は、逐次的にかつ個別的に発光して波動ベクトル(kx,ky)を有する照射114をもたらす。この場合試料20は、225個の発光素子112(c)の各々によってもたらされる225通りの異なる入射角によって照射されることができる。1つの運用例では、試料20は225個の異なる取得時刻において225通りの異なる入射角から照射され、光学系130(c)は試料20から出る光を集光し、対物レンズ134はその受光角度に基づいて試料から出る光をフィルタし、筒状レンズはフィルタされた光を放射検出器140(c)にフォーカスし、放射検出器140(c)は225個の取得時刻において225個の輝度画像をキャプチャする。
図5、6、7A〜7Bは、図1との関係で説明されたシステム10の可変照明フーリエタイコグラフィー撮像装置の反射モード構成(落射照明モードの構成)の構成要素についての概略側面図である。図5、6、7A〜7Bの可変照明フーリエタイコグラフィー撮像装置の各々は、撮像光学系と同じ平面に(例えば、図5の場合)、又は、該平面の後ろに(例えば、図6、7A〜7Bの場合)可変照明装置を配置するように構成されている。これら図示されている装置は落射照明モードのものとして示されている。落射照明モードのこのような装置を有するシステムのための主要な用途の幾つかには他の用途もあるが、半導体ウエハー、チップ、及び/又は電子回路基板検査等を含む金属又は半導体の表面検査が含まれる。2次的な用途は、図1の可変照明フーリエタイコグラフィー撮像システム10を、落射照明モードで、改造されたフラッシュシステムを有する手持ちカメラ、又は人工衛星撮像等のシナリオを含む任意のシナリオを含むように拡張し得る。図5、6、7A〜7Bに示されている例は、超高NAシステムのために構成された構成要素を含むことができる。例えば、図7A〜7Bの対物レンズのNAは、約0.50のNAを有することができる。
図5は、特定の実施形態による、可変照明フーリエタイコグラフィー撮像装置100(d)の構成要素についての概略側面図である。可変照明フーリエタイコグラフィー撮像装置100(d)は、円形可変照明装置110(d)と、撮像レンズ137の形式とされているフィルタリング光学素子を備える光学系130(d)と、検出平面142を有する放射検出器140(d)とを備える。可変照明フーリエタイコグラフィー撮像装置100(d)に提供された状態での標本面126上の試料20が示されている。
図5の撮像レンズ137に関しては、焦点距離がfであり、半径がrであり、及び、受光角度は2θである。撮像レンズ137は、約0.60から約0.75の範囲内のNAを有することができる。図示の例においては、撮像レンズ137は大型カメラレンズに類似させて作動距離dを大きく取るようにすることができ、例えば約10〜20cm等にすることができる。他の例では、例えば顕微鏡レンズ等のより小型のレンズを用いることができ、その場合作動距離dはより短くなり例えば約2〜3cmとなる。
図5の円形アレイ可変照明装置110(d)は、発光素子112(例えば、LED)であって、該発光素子は12個の同心環(例えば、LEDの円形環)に配置されており、該環は等間隔に設けられ、該環は中心軸の及び撮像レンズ137の周辺にセンタリングされている、発光素子を備えている。他の場合では、他の個数の同心環を用いることができ、例えば1,2,3,4,5,6,等とすることができる。図示の例では、発光素子112は撮像レンズ137の試料面上に位置している。他の場合では、発光素子はオフセットされた平面に設けられていることができつつも試料20との関係で撮像レンズ137と同じ側に位置して落射照明モードを提供することができる。図示の例では、環は相互に等間隔をもって離されており、半径方向の間隔はΔrとして定義されている。この図示された例では、可変照明フーリエタイコグラフィー撮像装置100(d)は、試料20の上方に向かって作動距離dに等しい距離に位置している可変照明装置110(d)を有しており、これにより落射照明モードを提供する。
図5では、単一の照射時刻及び/又は取得時刻における、分解能可変照明フーリエタイコグラフィー撮像装置100(d)の様子が示されている。この時刻においては、可変照明装置110(d)の単一の発光素子112がアクティベートされて入射角がθであり波動ベクトルが(kx,ky)である照射114がもたらされる。別の時刻においては、別の発光素子112が照射をもたらしていることができる。可変照明フーリエタイコグラフィー撮像装置100(d)の可変照明装置を備えるシステムの運用例においては、可変照明装置110(d)は、N通りの複数の入射角から試料20への照射114を発生する。撮像レンズ137は、その受光角度内の試料20からの光を受光して光をフィルタする。光学系はフィルタされた光を放射検出器140(d)へと伝播し、それは輝度分布を測定して異なる入射角における輝度画像をキャプチャする。
図示の例では次の寸法が含まれる:撮像レンズ137と放射検出器140(d)との間の距離たる距離d、及び、撮像レンズ137と試料との間の作動距離たる作動距離d。1つの例では、フーリエタイコグラフィー撮像装置100(d)は、次の相対的寸法を有していることができる:f=5cm、d=7.02cm、d=17.3cm、r=0.25cm、θ=30°、及びθ=3°。
図5の可変照明フーリエタイコグラフィー撮像装置100(d)は、撮像レンズ137が位置する中心には発光素子を有さない可変照明装置110(d)を含む。発光素子が中心にないため、照明装置110(d)を有する装置110(d)によって生成される画像は、低い空間周波数を含まない。例えば、低速で変化する位相物体の特徴付けを要する場合、又は、物体表面の全体の反射率についての正確な知識が必要とされる場合等の一部の用途においては、この低い空間周波数の情報が重要たり得る。図5の構成は、大きな作動距離を有し、また、少ない点数の構成要素を伴う単純な設計を有している。この構成例は低い空間周波数の情報を収集しないため、この構成例は高分解能フィーチャーや高分解能欠陥を撮像するために好適であり、例えばチップ検査用途がこれにあたる。
図6は、特定の実施形態による、可変照明フーリエタイコグラフィー撮像装置100(e)の構成要素についての概略図である。可変照明フーリエタイコグラフィー撮像装置100(e)の特定の構成要素は図5の可変照明フーリエタイコグラフィー撮像装置100(d)のそれに類似している。図6では、可変照明フーリエタイコグラフィー撮像装置100(e)は、図5の構成例によって除外され得る低い空間周波数をキャプチャするように構成されている。この可変照明フーリエタイコグラフィー撮像装置100(e)は、低い空間周波数をキャプチャするように構成されており、このためにビームスプリッタ139と発光素子112(2)の第2のより小さい同心環110(e)(2)とを備えており、該環は撮像レンズ138(撮像光学素子)の反対側に配置されておりこれにより発光素子112(2)は撮像光学素子の撮像面へ向けられていることになる。発光素子の第2のセット112(2)は、撮像光学素子を通してフォーカスされて試料面で平面波によって試料を照射する。特定の場面においては、図6の構成は図5のものより大きな開口を含む。図6の構成は大きな作動距離をもたらし得る。
図6では、可変照明フーリエタイコグラフィー撮像装置100(e)は、第1のセットの同心環110(e)(1)と第2のセットの同心環110(e)(2)とを含む可変照明装置と、撮像レンズ138とビームスプリッタ139とを含むか備える光学系と、検出面142を有する放射検出器140とを備える。可変照明フーリエタイコグラフィー撮像装置100(e)に提供された状態で、標本面126上に試料20が配置されている。図示の例は、撮像レンズ138と試料20との間の作動距離dを示す。図示の例は、撮像レンズ138と放射検出器140との間の距離dも示す。
ビームスプリッタ139は、ビームスプリッタ139に45°で入射しかつビームスプリッタ139によって吸収されない照射の半分を通過させるように構成されている。(吸収されていない)入射した照射の残部たる半分はビームスプリッタ139によって反射される。例えば、ビームスプリッタ139は、適切に光を調節できるように設計されたコーティングを付されたガラス板又は他の基板であることができる。別の例としては、ビームスプリッタは反射する材料(例えば、金属)の連続的な薄いコーティングを施された半透鏡とされることができる。別の例では、スイスチーズビームスプリッタがあり、これは穴がある非連続的なコーティングを有しておりこれによって所望の反射対通過比が得られる。
撮像レンズ138に関しては、焦点距離がfであり、半径がrであり、及び、受光角度は2θである。図示の例では、撮像レンズ138は、その受光角度たる2θ内の光を受光することによって光をフィルタするように構成されている。図示の例で用いることのできる数値例としては:f=6cm、r=1cm、θ=5°がある。他の焦点距離、半径及び受光角度を用いることができる。レンズと試料との間の距離を大きく維持するために、撮像レンズ138は約0.1から約0.3となる比較的低いNAを有している。図示の例では、撮像レンズ138は約0.16のNAを有しており、これは比較的低いNAである(例えば、約0.08、約0.09、約0.10、約0.07から約0.20の範囲内、等)。
図示の例では、撮像レンズ138は、例えば、焦点距離fが6cmであり半径rが2cmである大型カメラレンズであることができる。大型カメラレンズを用いる場合、可変照明フーリエタイコグラフィー撮像装置100(e)は相応な大きな作動距離dを有することになり、例えば約10〜20cmとなる。他の例では、顕微鏡レンズ等のより小型なレンズを用いることができ、この場合作動距離dはより小さくなり、例えば2〜3cmとなる。図示の例では、d=12cmであり、d=12cmとなるが他の値も使用可能である。
図6では、ビームスプリッタ139と同心環110(e)(2)の第2のセットとの間の光路距離はbとして表記され、ビームスプリッタ139と撮像レンズ138との間の光路距離はaとして表記される。図示の例では、撮像レンズ138が、同心環110(e)(2)の第2のセットから総光路距離a+b=fほど離されるように配置される。
図6では、可変照明フーリエタイコグラフィー撮像装置100(e)は、発光素子の同心環(例えば、円形LEDアレイ)を2セット備えるのであり、第1のセットは12個の等間隔の同心環110(e)(1)(例えば、第1のLEDアレイ)であり、第2のセットは8個の等間隔の同心環110(e)(2)(例えば、第2のLEDアレイ)である。他の場合に用いることのできる同心環の個数には1,2,3,4,5,6,等が含まれる。同心環110(e)(1)の第1のセットは、撮像レンズ138の平面上に配置されかつ撮像レンズ138との関係でセンタリングされている発光素子112(1)を備える。他の場面では、発光素子112(1)は、試料20との関係で撮像レンズ138と同じ側のオフセットされた平面にあることができ、これによって落射照明モードによる照射のために構成されることができる。同心環110(e)(1)の第1のセットは、半径方向の間隔をΔrとして等間隔で配置されている。同心環110(e)(1)の第2のセットは、半径方向の間隔をΔrとして等間隔で配置されている。同心環110(e)(1)の第1のセットは試料20の上方に向かって作動距離dに等しい距離に位置している。
この図示された例では、同心環110(e)(1)の第1のセットは、撮像レンズ138の中心軸の周辺にセンタリングされており、第1のセットの発光素子112(1)が撮像レンズ138の中心にまたがらないようにしてある。同心環110(e)(1)の第1のセットについての第2のセットは、ビームスプリッタ139によって反射された照射を撮像レンズ138を通してもたらすように構成されている発光素子112(2)を有している。同心環110(e)(2)の第2のセットは、撮像レンズ138から焦点距離fとなる総光路(a+b)ほど離された平面上に位置する発光素子112(2)を備える。
図6では、単一の照射時刻及び/又は取得時刻における可変照明フーリエタイコグラフィー撮像装置100(e)が示されている。この時刻においては、同心環110(e)(1)の第1のセットからの単一の発光素子112(1)が波動ベクトル(kx,ky)を有する入射角θの照射114をもたらしている様子が示されている。別の時刻においては、他の発光素子112(1)又は112(2)が照射をもたらしていることができる。発光素子112(2)の1つが照射している場合、ビームスプリッタ139は入射光を受光する。ビームスプリッタ139にて受光された(かつ吸収されていない)入射光の半分は撮像レンズ138へと反射されこれが照射を試料20へと伝播する。特定の態様では、ビームスプリッタ139は入射した照射の半分を通過させるため、同心環110(e)(2)の第2のセットの発光素子112(2)の各々は、同心環110(e)(1)の第1のセットの発光素子112(1)の各々の光源の約2倍(2x)の輝度の光源を有している。特定の場合では、発光素子112(2)の輝度を調整して、発光素子112(1)によってもたらされる入射する照射とおよそ同じ輝度を有する入射する照射を試料20にてもたらすことができる。
可変照明フーリエタイコグラフィー撮像装置100(e)の可変照明装置を備えるシステムの1つの運用例では、可変照明装置の発光素子112(1)及び112(2)が複数たるN通りの入射角で試料へ向けられた照射を生成する。試料20によって反射された光は、撮像レンズ138で受光される。撮像レンズ138はその受光角度内の光を受光して光をフィルタする。撮像レンズ138は入射光をビームスプリッタ138へと伝播する。撮像レンズ138からの入射光の半分はビームスプリッタ138を通して送られて放射検出器140(e)へと伝播され、該検出器は異なる取得時刻において輝度分布を測定して、異なる入射角における複数の輝度画像をキャプチャする。
図7A及び7Bは、特定の実施形態による、可変照明フーリエタイコグラフィー撮像装置100(f)の構成要素についての概略図である。図7Aは可変照明フーリエタイコグラフィー撮像装置100(f)の照射スキームを表し、図7Bは可変照明フーリエタイコグラフィー撮像装置100(f)の集光スキームを表す。可変照明フーリエタイコグラフィー撮像装置100(f)の特定の構成要素は、他の図の可変照明フーリエタイコグラフィー撮像装置の構成要素に類似している。
図7A及び図7Bでは、可変照明フーリエタイコグラフィー撮像装置100(f)は、発光素子112の同心環110(e)(1)を12個備える可変照明装置110(f)と、光学系と、検出面142を有する放射検出器140(e)とを備える。可変照明装置110(f)は発光素子112の同心環110(e)(1)を12個備える。他の個数の同心環を用いることができ、例えば1,2,3,4,5,6,7,8,9,...13,14,15,等とすることができる。最も外側の同心環は幅がwである。光学系は、焦点距離がfである対物レンズ134(例えば、顕微鏡対物レンズ)と、筒状レンズ132と、セカンダリレンズ138と、ビームスプリッタ139とを備える。ここでは対物レンズ134が顕微鏡対物レンズとして例示されているが、別の対物レンズを用いることもできる。可変照明フーリエタイコグラフィー撮像装置100(f)に提供された状態での標本面126上の試料20が示されている。図示の例は、対物レンズ134と試料20との間の作動距離dを示す。図示の例では、顕微鏡対物レンズを用いることができ、該構成の作動距離は例えば2〜3cmといった短いものとなる。0.08NAの2倍対物レンズとした場合、1つの作動域としては作動距離〜2cmがあり得る。別のものとしては、0.5NAの20倍対物レンズとしたうえで作動距離〜2mmがあり得る。
図示の構成では、可変照明装置110(f)(例えば、LEDアレイ)全体が対物レンズ134(プライマリ撮像光学素子)の後ろに配置されており、可変照明装置110(f)を対物レンズの後焦点面へとイメージングするのにセカンダリレンズ130が用いられる。図7A及び図7Bでは、ビームスプリッタ139とセカンダリレンズ138との間の光路距離はdi1であり、セカンダリレンズ138間の光路距離はdであり、ビームスプリッタ139と対物レンズ134の後焦点面との間の光路距離はdi2である。図7Aでは、可変照明装置110(f)のイメージ136が、対物レンズ134の後ろから焦点距離Fの光路距離ほど離れた後焦点面135にて示されている。対物レンズ134の後焦点面135に可変照明装置110(f)のイメージが形成されるのを確実にするため、光路距離が次の関係式を満たすように光学系の構成要素が配置される:1/f=1/d+1/(di1+di2)。図7Bは、筒状レンズ132から放射検出器140(f)への光路距離d、及び、筒状レンズ132から対物レンズ134の後ろへの光路距離dを示してもいる。図示の例は、2倍の顕微鏡レンズである対物レンズ134を含む。他の例では、他の対物レンズを用いることができる。例示される構成で用いることのできる値の例としては、w=10cm、d=20cm、di1+di2=2cm、及び、f=1.9cmがある。他の値も使用可能である。
ビームスプリッタ139は、ビームスプリッタ139に対して45°で入射して、かつ、ビームスプリッタ139によって吸収されていない照射の半分を通過させるように構成されている。(吸収されていない)入射した照射の残部たる半分はビームスプリッタ139によって反射される。例えば、ビームスプリッタ139は、適切に光を調節できるように設計されたコーティングを付されたガラス板又は他の基板であってもよい。別の例としては、ビームスプリッタは反射する材料(例えば、金属)の連続的な薄いコーティングを施された半透鏡であってもよい。別の例では、スイスチーズビームスプリッタがあり、これは穴がある非連続的なコーティングを有しておりこれによって所望の反射対通過比が得られる。
図7Aでは、単一の照射時刻における分解能可変照明フーリエタイコグラフィー撮像装置100(f)が示されている。この時刻において、可変照明装置110(f)の単一の発光素子112がアクティベートされて、波動ベクトル(kx,ky)を有する入射角θでの照射がもたらされる。別の時刻においては、他の発光素子112が他の入射角での照射をもたらしていてもよい。発光素子112の各々は、試料20に対して特定の入射角で照射(例えば、平面波照射)をもたらすことができる光源を含む。
図7Aに示すように、可変照明フーリエタイコグラフィー撮像装置100(f)の可変照明装置を備えるシステムの作動中においては、可変照明装置110(f)の異なる発光素子112が異なる時刻において照射される。セカンダリレンズ138は、照射する発光素子112から照射を受け、照射をビームスプリッタ139へと伝播する。ビームスプリッタ139は、入射光の半分を通過させ、また、入射光の半分を反射する。対物レンズ134は入射光を試料へと伝播して異なる時刻においてN通りの複数の入射角でそれを照射する。図7Bに示すように、システムの作動中においては、試料20から出る光は、光学系のフィルタリング光学素子として機能する対物レンズ134によって受光される。対物レンズ134は、光をビームスプリッタ139へと伝播し、それは吸収されていない光の半分を通過させ、また残部を反射する。筒状レンズ132は、ビームスプリッタ139を通過する光を受光して、光を放射検出器140(f)へと伝播する。放射検出器140(w)は、異なる取得時刻における輝度分布を測定して複数の入射角での複数の輝度画像をキャプチャする。
II. 可変照明フーリエタイコグラフィー撮像方法
特定の態様では、可変照明フーリエタイコグラフィー撮像方法は、測定プロセスと、復元プロセスと、随意的な表示プロセスとを備える。測定プロセスにおいては、試料は、N通りの複数の入射角((θxi,j,θyi,j)、i=1〜n、j=1〜m、(N=nxm))から照射され、このために可変照明装置を用いる。このプロセスでは、光学系が照射された試料から出る光をフィルタしてフィルタされた光を放射検出器へと伝播し、また、放射検出器がフィルタされた光を受光してM個の複数の輝度画像を取得する(Ik,l、k=1〜o及びj=1〜p、ここでM=oxp)。特定の場合では、各入射角において輝度画像がキャプチャされる。特定の態様では、可変照明装置は、フーリエドメイン内で特定量重複しかつ外側高周波領域を包括する領域に対応する輝度データを生成させるような特定の入射角からの照射を、生成するように設計されていることができる。復元プロセスでは、M個の輝度画像は、フーリエドメイン内で反復的に組み合わされてより高い分解能の画像データ(輝度及び/又は位相)が生成される。各反復回において、特定の平面波入射角についてフーリエドメイン内でフィルタが適用され、逆フーリエ変換が適用されてより低い分解能の画像が生成され、より低い分解能の画像の輝度が放射検出器からの輝度測定値で置き換えられ、フーリエ変換が適用され、フーリエ空間内の対応する領域が更新される。随意的な表示プロセスでは、画像(例えば、より高い分解能の画像、取得された輝度画像、等)及び/又は他の出力をディスプレイ上にもたらすことができる。一般的に、これらの方法は二つのワーキングドメインの間を行き来する:即ち、空間(x−y)ドメイン及びフーリエ(kx−ky)ドメインであり、ここでkは波数を表す。
特定の態様では、可変照明フーリエタイコグラフィー撮像方法は、角度的多様性を用いて複素サンプルイメージを復元する位相復元手法を備えることができる。復元プロセスは、空間ドメインで取得された既知の画像データのエンフォースメントと、フーリエドメイン内での固定化された制約との間を行き来する。この位相復元手法は様々な方法を用いて実現することができ、例えば、交互投射手順、問題についての凸な再構成、又は、任意の凸でない中間的バリアント等がある。試料を水平に変換する必要がなく(即ち、変換における多様性)、可変照明フーリエタイコグラフィー撮像システムでは、フーリエドメイン内のスペクトル制約を変化させる方法であって、単一のキャプチャ画像を超えてフーリエパスバンドを拡張してより高い分解能の資料画像を復元する方法が用いられる。
一部の場合では、可変照明フーリエタイコグラフィー撮像方法は、随意的な収差補正プロセスを備えることもできる。収差補正プロセスの例としては、リフォーカス(伝播)プロセスがある。このようなリフォーカスプロセスは、光学素子の合焦面が位置z=0にある場合において、試料がz=zにある試料面に配置された場合に有用となり得る。即ち、試料についてキャプチャされた画像は試料面における画像ではなく、キャプチャされた画像は光学素子の合焦面から距離−z伝播された試料プロファイルである。これらの場合では、距離zについて試料面へ戻すように画像データを伝播することによって、試料をz方向に機械的に移動させずに、該方法が試料についてリフォーカスを行うことができる。リフォーカス(伝播)のステップは、フーリエ空間内で位相係数を乗算することによって行うことができる。
特定の図示例に言及するに、添え字「h」はより高い分解能を指し、添え字「l」はより低い分解能を指し、添え字「f」は合焦位置を指し、添え字「m」は測定されたことを指し、添え字「s」はサンプルされたことを指す。
図8は、特定の実施形態による、可変照明フーリエタイコグラフィー撮像方法のステップを示す図である。この方法は、例えば図1との関係で説明されたシステム10等の可変照明フーリエタイコグラフィー撮像システムによって行われる。可変照明フーリエタイコグラフィー撮像方法は、測定プロセス(ステップ1100、1200、及び1300)と、復元プロセス(ステップ1400及び1500)と、随意的な表示プロセス(ステップ1600)とを備える。
ステップ1100では、可変照明装置は、N個のサンプル時刻においてN通りの複数の入射角(θxi,j, θyi,j)から試料への照射をもたらす(i=1〜n,j=1〜m)。一部の場合では、可変照明装置は、照射命令に基づいて試料へもたらされる照射を制御する。商社命令は、照射角の順序及び関連する照射の時間を規定することができる。波動ベクトルは、x及びy方向において次のように記述されることができる:波動ベクトルkxi,j, kyi,j
特定の態様では、可変照明装置は、異なる波長の照射を異なるサンプル時刻においてもたらすことができる。例えば、カラー撮像実施形態においては、可変照明装置はλ、λ、及びλからなる3波長RGB照射をもたらすことができ、これらは各々赤色、緑色、青色に対応し、異なるサンプル時刻でもたらされることができる。
一部の場合では、可変照明装置は平面波の照射をもたらすように構成されている。空間ドメインにおける波動ベクトルkx、kyを有する平面波照射は、フーリエドメインにおいて撮像スペクトルの中心を(kx、ky)シフトすることと等価である。この点では、フーリエドメインにおける輝度画像データは、直角入射角画像データから(kx、ky)シフトされるのであり、これは可変照明装置によって適用される入射角(θx,θy)に対応する。
ステップ1200では、光学系は試料20から出る光を集光して放射検出器へと伝播させる。光学系は、光をフィルタするフィルタリング光学素子を備える。例えば、フィルタリング光学素子は、照射された試料から出る光を集光する対物レンズであることができる。この場合、対物レンズは、そのNA内の範囲内角度での光のみを受光することによって試料から出る光をフィルタする。フーリエ空間では、例えば対物レンズのようなフィルタリング光学素子のフィルタリング機能は、半径NAxkとする円形瞳孔によって表されることができ、ここで、k=2π/λは真空中の波数である。即ち、可変照明フーリエタイコグラフィー撮像方法は、フーリエ空間においてこのフィルタリング機能及び異なる入射角によって定義された円形領域を更新することができる。特定の場合では、フィルタリング光学素子及びそれに関連付けられているフィルタリング機能は、円形瞳孔領域外のデータを除外する。
ステップ1300では、放射検出器は、光学系によって伝播された光を受光し、サンプル時刻t,k=1〜Mの各々でスナップショット輝度分布測定値をキャプチャして異なる入射角と関連付けられている複数のM個の輝度画像Ik,l,k=1〜oかつj=1〜pを取得する。放射検出器によってサンプルされた各輝度画像は、フーリエ空間内の領域と関連付けられる。多くの態様では、可変照明装置は、フーリエ空間内の重複する近隣の(隣り合う)領域(例えば、円形瞳孔領域)を生成する入射角から照射をもたらすように構成されている。1つの態様では、可変照明装置は、一方の領域の2%から99.5%になる隣り合う領域間での重複領域をもたらすように設計されている。別の態様では、可変照明装置は、一方の領域の65%から75%になる隣り合う領域間での重複領域をもたらすように設計されている。1つの態様では、可変照明装置は、一方の領域の約65%になる隣り合う領域間での重複領域をもたらすように設計されている。
ステップ1400及び1500では、ステップ1300で取得したM個の輝度分布測定値から試料についてのより高い分解能の画像を生成することができる。M個の輝度画像Ik,l,k=1〜oかつj=1〜pは、照射波動ベクトルkxi,j, kyi,j(ここで、i=1〜n,j=1〜m)によってインデックスされる異なる入射角に対応する。ステップ1400では、より高い分解能の画像:
が空間ドメインにおいて初期化され、また、初期値に対してフーリエ変換を適用して初期化されたフーリエ変換された画像
を取得する。初期化されたより高い分解能の解は初期推定値であることができる。この初期推定値は、試料が焦点から外れた平面z=zに位置しているとの仮定に基づいて決定されることができる。一部の場合には、初期推定値を(輝度及び位相の両者についての)ランダム複素行列として定めることができる。他の場合には、初期推定値を、低分解能輝度測定値のランダム位相による補間として定めることができる。初期推定値の例は、試料領域のより低い分解能の任意の画像から補完したφ=0及びIである。初期推定値の他の例は、定数値である。初期推定値のフーリエ変換は、フーリエドメイン内で広範囲のスペクトルとなり得る。ステップ1500では、より低い分解能の輝度測定値をフーリエ空間内で反復的に組み合わせることによって試料のより高い分解能の画像を再構成する。多くの場合では、ステップ1500の様々な部分をプロセッサ(例えば、システム10のプロセッサ210)を用いて実現することができる。
随意的なステップ1600では、より高い分解能の画像データ及び/又はプロセッサからの他のデータ等の画像データを受信することができ、また、データをディスプレイ(例えば、図1内のディスプレイ230)上に表示することができる。
収差の補正
特定態様では、復元プロセスのステップ1500は、フィルタリング関数に位相マップを導入して反復的画像復元プロセスにおいて瞳孔平面上での収差を補正する収差補正プロセスを備えることができる。図9は、図8の可変照明フーリエタイコグラフィー撮像方法のステップ1500のサブステップの例を示すフローチャートであり、特定の態様によると、それは随意的には収差補正プロセスを備えることができる。図示のフローチャートでは、随意的な収差補正プロセスは、2つの乗算ステップ1610及び1645にて補償を含めることを伴う。ステップ1610では、瞳孔関数:
との乗算によって、実際の試料プロファイルとキャプチャされた(収差を含む)輝度データとの間の相関性をモデリングする。ステップ1645では、そのような相関を逆転して収差のない再構成画像を取得する。例えば、収差補正によって試料のデフォーカスを補正することができる。特定の場合では、試料のデフォーカスは、以下のデフォーカス位相係数を瞳孔面に導入すること(即ち、デフォーカス収差)と本質的に等価たり得る:
ここで、kx及びkyは瞳孔面における波数であり、z0はデフォーカス距離であり、NAはフィルタリング光学素子の開口数である。
ステップ1605では、より高い分解能の画像
についてプロセッサがフーリエドメイン内でフィルタリングを行ってより低い分解能の画像
を、波動ベクトル(kxi,j,kyi,j)を有する特定の平面波入射角(θ ,θ )について生成する。より高い分解能の画像のフーリエ変換は
であり、特定の平面波入射角についてのより低い分解能の画像のフーリエ変換は
である。フーリエドメインでは、該方法は、より高い分解能の画像
のスペクトル
から領域をフィルタする。対物レンズ形式のフィルタリング光学素子の場合、この領域はNAxk0の半径を有する円形瞳孔開口であり、k0は2π/λ(真空中の波数)に等しく、対物レンズのコヒーレント伝達関数によって与えられる。フーリエ空間内では、この領域の位置(例えば、円形領域の中心の位置)が対応する入射角に対応する。波動ベクトル(kxi,j, kyi,j)を有する斜面波の入射については、該領域は位置(kxi,j, kyi,j)との関係で
のフーリエドメイン内を中心とする。
随意的ステップ1610では、収差補償の一環として、プロセッサはフーリエドメイン内で位相係数
で乗算することができる。
ステップ1625では、逆フーリエ変換を行ってより低い分解能の画像領域
を生成する。
ステップ1630では、合焦面
でのより低い分解能の画像領域の算出された振幅成分
は、放射検出器によってキャプチャされたより低分解能輝度測定値たる
と置き換えられる。これにより更新されたより低い分解能の画像:
が形成される。そして、更新されたより低い分解能の画像データに対してはフーリエ変換が適用される。
随意的なステップ1645では逆位相係数
がフーリエドメイン内で適用される
ステップ1650では、入射波動ベクトル(kx,ky)に対応するフーリエドメイン内のより高い分解能の解
の対応する領域が更新されたより低い分解能の画像データで更新される。
ステップ1660では、ステップ1605から1650までが、キャプチャされた画像と関連付けられている異なる入射角について完了されたか否かが決定される。これらの異なる入射角についてステップ1605から1650までが完了されていないのであれば、次の入射角についてステップ1605から1650までが繰り返される。次の入射角は、通常は、次に隣り合う角度である。特定の態様では、近隣の(隣り合う)領域は、フーリエ空間内で重複しており、反復的に更新される(例えば、隣り合う入射角の各々についてステップ1605から1650までを反復する等して更新される。)。隣り合う領域の重複領域には、同じフーリエ空間上の複数のサンプリングに基づくデータが存在する。可変照明装置からの照射の入射角が、領域間の重複領域を決定する。1つの例では、隣り合う領域間の重複領域は、対応する隣り合う領域の一方の面積の約2%から約99.5%の範囲内となる。別の例では、隣り合う領域間の重複領域は、対応する隣り合う領域の一方の面積の約65%から約75%の範囲内となる。別の例では、隣り合う領域間の重複領域は、対応する隣り合う領域の一方の面積の約65%となる。別の例では、隣り合う領域間の重複領域は、対応する隣り合う領域の一方の面積の約70%となる。別の例では、隣り合う領域間の重複領域は、対応する隣り合う領域の一方の面積の約75%となる。特定の実施形態では、重複領域の各々は、同じ面積を有する。
ステップ1670では、より高い分解能の画像データが収束したか否かを決定する。例えば、より高い分解能の画像データが自己無撞着解に収束したか否かをプロセッサが決定することができる。1つの場合では、プロセッサが、前回の反復または初期推定における前のより高い分解能の画像データを現在のより高い分解能のデータと比較し、その差が特定値未満であれば、画像データは自己無撞着解に収束したものとし得る。画像データが収束していないと決定された場合、ステップ1605から1670が反復される。1つの場合では、ステップ1605から1670は、一度反復される。他の場合では、ステップ1605から1670は2回以上反復される。
画像データが収束した場合、フーリエ空間内の収束した画像データは、逆フーリエ変換で空間ドメインへと変換されてより高い分解能の画像
が復元される。ステップ1670において解が収束したのであると決定された場合、該方法は随意的なステップ1600へと進むことができ、又は該方法は終了することができる。
図10Aは、ある実施形態による、図8に示すステップ1500のサブステップの例を示すフローチャートである。これらのサブステップは、デフォーカスを修正する随意的な収差補正プロセスを備える。図10では、ステップ1500は、ステップ1510、ステップ1530、ステップ1550、ステップ1560、ステップ1570、ステップ1580、及びステップ1590、を備える。収差補正を伴う実施形態においては、ステップ1500は、随意的な乗算ステップ1520及び1540にて行われる補正をさらに含むことができる。例えば、随意的なステップ1520及び1540は、焦点から量zだけ外れている試料に対してフォーカスを行うのに使用することができる。
ステップ1510では、プロセッサが、フーリエドメイン内でより高い分解能の画像
についてフィルタリングして、波動ベクトル(kxi,j,kyi,j)を有する特定の平面波入射角(θxij,θyij)に対するより低い分解能の画像
を生成する。より高い分解能の画像のフーリエ変換は
であり、特定の平面波入射角についてのより低い分解能の画像のフーリエ変換は
である。フーリエドメインでは、該方法は、より高い分解能の画像
のスペクトル
から領域をフィルタする。対物レンズ形式のフィルタリング光学素子の場合、この領域はNA*k0の半径を有する円形瞳孔開口であり、k0は2π/λ(真空中の波数)に等しく、対物レンズのコヒーレント伝達関数によって与えられる。フーリエ空間内では、この領域の位置(例えば、円形領域の中心の位置)が対応する入射角に対応する。波動ベクトル(kxi,j, kyi,j)を有する斜面波の入射については、該領域は位置(kxi,j, kyi,j)との関係で
のフーリエドメイン内を中心とする。
随意的なステップ1520では、低分解能画像
を、フーリエ領域内で、z=0にある光学系の合焦面まで伝播させて、焦点位置におけるより低い分解能の画像
を決定する。1つの場合では、低分解能画像
をフーリエ変換し、フーリエドメイン内で位相係数を乗算し、逆フーリエ変換して、
を得ることによって、随意的なステップ1520を行うことができる。別の場合では、低分解能画像
を、デフォーカス用の点広がり関数で畳み込むことと数学的に等価な演算によって、ステップ1520を行うことができる。他の場合では、逆フーリエ変換を実行して
を生成する前に、フーリエドメイン内で
に位相係数を乗算することによって、ステップ1520をステップ1510の随意的なサブステップとして行うことができる。特定の場面においては、試料がフィルタリング光学素子の合焦面(z=0)に配置されている場合、随意的なステップ1520を含める必要はない。
ステップ1530では、合焦面
でのより低い分解能の画像の算出された振幅成分
は、放射検出器によって測定された低分解能輝度測定値の平方根たる
と置き換えられる。これにより更新された低分解能ターゲット:
が形成される。
随意的なステップ1540では、更新された低分解能画像
を、試料面(z=z)まで逆伝播させて、
を決定することができる。特定の場面においては、試料がフィルタリング光学素子の合焦面に位置している場合、即ちz=0の場合、随意的なステップ1540を含める必要はない。1つの場合では、更新された低分解能画像
のフーリエ変換をとり、フーリエ空間内で位相係数を乗算し、そしてこれを逆フーリエ変換することによって、ステップ1540を行うことができる。別の場面においては、更新された低分解能画像
を、デフォーカスの点広がり関数で畳み込むことによって、ステップ1540を行うことができる。別の場面においては、更新されたターゲット画像に対するフーリエ変換を実行した後に位相係数を乗算することによって、ステップ1540をステップ1550のサブステップとして行うことができる。
ステップ1550では、試料面
に伝播された、更新されたターゲット画像にフーリエ変換を適用し、このデータを、入射波動ベクトル(kxi,j,kyi,j)に対応するフーリエ空間内のより高い分解能の解
の対応する領域内で更新する。
ステップ1560では、ステップ1510から1560までが、キャプチャされた画像と関連付けられている異なる入射角について完了されたか否かが決定される。これらの異なる入射角についてステップ1605から1650までが完了されていないのであれば、次の入射角についてステップ1510から1560までが繰り返される。次の入射角は、通常は、次に隣り合う角度である。特定の態様では、近隣の(隣り合う)領域は、フーリエ空間内で重複しており、反復的に更新される(例えば、隣り合う入射角の各々についてステップ1510から1560までを反復する等して更新される。)。隣り合う領域の重複領域には、同じフーリエ空間上の複数のサンプリングに基づくデータが存在する。可変照明装置からの照射の入射角が、領域間の重複領域を決定する。1つの例では、隣り合う領域間の重複領域は、対応する隣り合う領域の一方の面積の約2%から約99.5%の範囲内となる。別の例では、隣り合う領域間の重複領域は、対応する隣り合う領域の一方の面積の約65%から約75%の範囲内となる。別の例では、隣り合う領域間の重複領域は、対応する隣り合う領域の一方の面積の約65%となる。別の例では、隣り合う領域間の重複領域は、対応する隣り合う領域の一方の面積の約70%となる。別の例では、隣り合う領域間の重複領域は、対応する隣り合う領域の一方の面積の約75%となる。特定の実施形態では、重複領域の各々は、同じ面積を有する。
ステップ1570では、より高い分解能の画像データが収束したか否かを決定する。例えば、より高い分解能の画像データが自己無撞着解に収束したか否かをプロセッサが決定することができる。1つの場合では、プロセッサが、前回の反復または初期推定における前のより高い分解能の画像データを現在のより高い分解能のデータと比較し、その差が特定値未満であれば、画像データは自己無撞着解に収束したものとし得る。画像データが収束していないと決定された場合、ステップ1510から1560が反復される。1つの場合では、ステップ1510から1560は、一度反復される。他の場合では、ステップ1510から1560は2回以上反復される。画像データが収束した場合、フーリエ空間内の収束した画像データは、逆フーリエ変換で空間ドメインへと変換されてより高い分解能の画像
が復元される。ステップ1570において解が収束したのであると決定された場合、該方法は随意的なステップ1600へと進むことができ、又は該方法は終了することができる。
特定の態様では、図8との関係で説明された可変照明フーリエタイコグラフィー撮像方法は、図9又は図10Aとの関連で説明される随意的な収差補正プロセスを備えることができる。1つの態様では、可変照明フーリエタイコグラフィー撮像方法は、図1のリフォーカスを行うための随意的なステップ1520及び1540にて説明された随意的なリフォーカス用収差補正プロセスを含む。随意的なステップ1520及び1540のリフォーカス機能によって画像は合焦面z=0から試料面z=zへと伝播される。試料が試料面z=zに位置しており、他方で、フィルタリング光学素子(例えば、対物レンズ)の合焦面がz=0に位置している場合に、リフォーカスが必要となり得る。即ち、試料が焦点から量zだけ外れている場合にリフォーカスが必要となり得る。
図10B及び図10Cは、1つの実施形態による、徹照モードの可変照明フーリエタイコグラフィー撮像装置100(a)の構成要素についての概略図である。フーリエタイコグラフィー撮像装置100(a)は、発光素子の2次元マトリクス型(例えば、LEDマトリクス)とされる可変照明装置110(b)を備える図10B及び図10Cでは、図示のサンプル時刻において、Xi,j(x’,y’)に位置する可変照明装置110(b)の単一の発光素子112が照射中の様子が示されている。フーリエタイコグラフィー撮像装置100(a)は、光学系130をさらに備える。
図10Cでは、試料20は量zだけアウトオブフォーカス状態として図示してあり、随意的なステップ1520及び1540(ここでは矢印として図示されている。)は、試料20を合焦面122にデジタル的にリフォーカスするために使用することができる(合焦面122への点線で図示。)。図6Dでは、試料20は合焦面122に配置されている。この場合、随意的なステップ1520及び1540は不要となり得る。
図10Dは、1つの実施形態による、図8及び図10Aとの関係で説明した可変照明フーリエタイコグラフィー撮像方法のステップを示すものである。図6Eの左側の画像は、より高い分解能の画像を生成するために用いられるフーリエ空間内の2つの円形領域22(a)及び22(b)を含む。円形領域22(a)及び22(b)は、フィルタリング光学素子のNAに基づいて定められることができ、これはNA*kの半径を有する円形瞳孔関数として近似することに基づき、ここでkは2π/λ(真空中の波数)である。例えば、各円形領域22(a)及び22(b)は、0.08NAの2倍対物レンズの光伝達関数によって定められることができる。図10Dでは、領域22(a)は、平面波入射角:θ=0;θ=0;i=1、と関連付けられている円形ローパスフィルタ形状であり、また、領域22(b)は、平面波入射角:θ=−21°;θ=22°、と関連付けられている円形ローパスフィルタ形状である。各入射角でフィルタリングを行うためにフーリエドメイン内の円形領域の外側のデータが除外され、結果として低分解能データが生じる。θ=−21°;θ=22°の平面波入射角に基づくフィルタリングによって結果的に生じる低分解能画像は、図10Dの右上に示されている。θ=−21°;θ=22°の平面波入射角に基づくフィルタリングによって結果的に生じる低分解能画像は、図10Dの右下に示されている。入射角のx方向及びy方向の波動ベクトルは、それぞれkx及びkyとして表されている。
図10Aの更新ステップ1550又は図9の更新ステップ1650を実行する際には、方法は、垂直入射θ=0、θ=0に対応する高分解能再構成22(c)の領域22(a)内のデータを更新する。方法は、第n入射角θ=−21°;θ=22°に対応する高分解能再構成の領域22(b)内のデータをも更新する。領域は、低分解能画像測定データで更新される。
タイル撮像
特定の態様では、可変照明フーリエタイコグラフィー撮像方法は、タイル撮像を行ってキャプチャした輝度画像を複数のタイル画像に分割するステップと、タイル毎に独立して高分解画像を取得するステップと、そして、高分解能タイル画像を組み合わせて全視野のより高い分解能の画像を生成するステップとを含むことができる。一部の場合には、高分解能タイル画像を、画像ブレンディング(画像融合)プロセスにより組み合わせることができる。画像ブレンディングプロセスの例には、アルファブレンディングがあり、特許文献3に見出すことができ、この文献は、その全文を参照する形で本明細書に含める。タイルについてより高い分解能の画像を独立して取得することができるので、この方法は並列コンピューティングに適しているといえるのであり、計算時間を低減し得るのであり、また、必要メモリをも減じ得る。さらに、各発光素子からの光を、タイル毎に、平面波として正確に処理することができる。タイル毎の入射波動ベクトルは、次式のように表現することができる:
ここで、(x,y)は、全視野低分解能画像の各タイルの中心位置であり、(x,y)はi番目の発光素子の位置であり、hは可変照明装置と試料との間の距離である。さらに、一部の場合には、この方法は、特定の収差補正瞳孔関数を各タイルに適用することができる。
図11は、本発明の実施形態による、タイル撮像を伴う可変照明フーリエタイコグラフィー撮像方法を示すフローチャートである。この方法は、例えば図1に示されたシステム10等の可変照明フーリエタイコグラフィー撮像システムによって実行されることができる。並列処理能力を活用するために、システムのプロセッサは並列処理能力を有するように構成されているべきであり、例えば複数コア(即ち、独立した中央演算装置)を有するGPUユニットやプロセッサ等がこれにあたる。
図11では、可変照明フーリエタイコグラフィー撮像方法は、測定プロセス(ステップ1100、1200、及び1300)、復元プロセス(ステップ1350、2400(i−M)、2500(i−M)、2590)、及び随意的な表示プロセス(ステップ1600)を含む。測定プロセス(ステップ1100、1200、及び1300)、及び随意的な表示プロセス(ステップ1600)は、図8を参照して説明している。
ステップ1350では、プロセッサは、全視野を、例えばタイルの二次元マトリクスのような複数のタイルに分割する。タイルの二次元正方形マトリクスは、例えば256×256マトリクス、64×64マトリクス、等のような2のべき乗にすることができる。1つの例では、プロセッサは5,280×4,380画素の全視野を、150×150画素の面積を有するタイルに分割することができる。
次に、プロセッサは、より高い分解能の画像
を、空間ドメイン内で並列コンピューティング(ステップ2400(1)...2400(T))を用いて、タイル(1〜T)毎に独立して初期化する。この初期推定値にフーリエ変換を適用する。一部の場合には、初期推定値を(輝度及び位相の両者について)ランダム複素行列として定めることができる。他の場合には、初期推定値を、低分解能輝度測定値のランダム位相による補間として定めることができる。初期推定値の例は、試料領域のあらゆる低分解能画像のφ=0及びIk,lである。初期推定値の他の例は、定数値である。初期推定値のフーリエ変換は、フーリエドメイン内の広域スペクトルとすることができる。
ステップ2500(1)...ステップ2500(T)では、プロセッサが、各タイル(1〜T)のより高い分解能の画像を、並列コンピューティングを用いて独立的に再構成する。図6Bに示すステップ1510、1530、1550、1560、及び1570を参照して説明したように、低分解能輝度画像をフーリエ空間内で反復的に組み合わせることによって、各タイルのより高い分解能の画像を再構成する。試料が焦点から外れている場合、ステップ1520及び1540を含めることができる。
ステップ2590では、プロセッサ210が、高分解能タイル画像を組み合わせて、全視野のより高い分解能の画像にする。一部の場合には、タイル画像を組み合わせることが、例えばアルファブレンディングのような画像ブレンディングプロセスを含む。
随意的ステップ2600では、試料領域の復元されたより高い分解能の2次元画像の画像データは、ディスプレイ(例えば、ディスプレイ230)に表示される。1つの態様ではタイル撮像を伴う方法は、タイル間及び各発光素子間の距離に基づいて異なるタイル間の入射角の差異を考慮に入れる手順をさらに含むことができる。
リフォーカス及びオートフォーカス
従来的な高NA顕微鏡及び他の撮像装置は、通常、限定的な焦点深度を有する。例えば、0.4NAの20倍対物レンズを有する従来的な顕微鏡の焦点深度は、約5μmである。従来的な顕微鏡においては、その焦点深度が限定的であるが故に、試料が合焦平面から遠ざかるにつれて分解能が劣化する。従来的な顕微鏡を用いる場合において分解能を向上させるためには、運用を行う者は、通常、ステージを機械的に移動させて試料をフォーカス状態に戻す。この点との関係では、サブミクロン精度で試料をフォーカス位置に移動させるために正確な機械的ステージが必要となる。
特定の態様では、可変照明フーリエタイコグラフィー撮像システムは、試料を機械的に移動させずにして試料に対してリフォーカスすることができる。例えば、可変照明フーリエタイコグラフィー撮像方法は、復元プロセス中にフォーカス外の試料に対してリフォーカスを行うステップを含むことができる。このリフォーカス手順によって、可変照明フーリエタイコグラフィー撮像システムは、そのフィルタリング光学素子の物理的限界を超えて焦点深度を拡張することができる。特定の場合では、可変照明フーリエタイコグラフィー撮像システムは、試料に対してオートフォーカスを行うことができる。
可変照明フーリエタイコグラフィー撮像システムの動作中には、試料面のz位置を先験的に知り得ないことがある。特定の態様では、可変照明フーリエタイコグラフィー撮像方法は、試料面のz位置を決定し、また、このz位置を用いて試料に対してデジタル的にリフォーカスする1以上のオートフォーカスステップを含むことができる。例えば、図10Aとの関係で説明した可変照明フーリエタイコグラフィー撮像方法は、ステップ1520中又はその前に、試料面のz位置を計算するステップをさらに含むことができる。可変照明フーリエタイコグラフィー撮像システムは、プロセッサを用いることによって、計算した試料のz位置を用いて図10Aのステップ1520及び1540を実行することによってオートフォーカスを実行することができる。試料面のz位置を計算するために、方法はオートフォーカス指数パラメータを決定することができる。オートフォーカス指数は、次式によって定義される:
ここで、
はローパスフィルタリングからの振幅画像であり、
は実際の低分解能測定値である。
式4中の総和は全ての斜め入射角に関するものである。可変照明フーリエタイコグラフィー撮像方法が、試料面の推定z位置を計算した後に、可変照明フーリエタイコグラフィー撮像方法は、この推定z位置にデジタル的にリフォーカスすることができる。一部の場合には、正確なz位置を用いると、より高い分解能の画像の解がより良好に収束することが見出されている。
III. サブシステム
図12は、本願明細書にて説明する可変照明フーリエタイコグラフィー撮像システムの幾つかに存在するサブシステムに関するブロック図である。例えば、可変照明フーリエタイコグラフィー撮像システムは、プロセッサを含むことができる。一部の場合においては、プロセッサは可変照明フーリエタイコグラフィー撮像システムの構成要素たり得る。一部の場合においては、プロセッサは放射検出器の構成要素たり得る。
前に図面中に記載した種々の構成要素を、1つ以上のサブシステムを用いて動作させて、本明細書に記載した機能を促進することができる。図面中のあらゆる構成要素は、あらゆる適切な数のサブシステムを用いて、本明細書に記載した機能を促進することができる。こうしたサブシステム及び/又は構成要素を図12に示す。図12に示すサブシステムは、システムバス2425を介して相互接続することができる。プリンタ2430、キーボード2432、固定ディスク2434(又は、コンピュータ可読媒体を含む他の記憶装置)、ディスプレイ・アダプタ2438に結合されたにディスプレイ230、及び他のもののような追加的サブシステムを示す。I/O(入出力)コントローラ2440に結合される周辺装置及び入力/出力(I/O)装置は、シリアルポート2442のような現在技術において既知の任意数の手段によって接続することができる。例えば、シリアルポート2442又は外部インタフェース2444を用いて、コンピュータ装置200を、インターネットのようなワイドエリア・ネットワーク、マウス入力装置、又はスキャナに接続することができる。システムバス2425を介した相互接続は、プロセッサが、各サブシステムと通信して、システムメモリ2446又は固定ディスク2434からの命令の実行、並びにサブシステム間の情報の交換を可能にする。一部の場合には、システムメモリ2446及び/又は固定ディスク2434が、CRM220を具体化することができる。これらの要素のいずれも、前述した特徴中に存在することができる。
一部の実施形態では、開口走査フーリエタイコグラフィーシステムのプリンタ2430又はディスプレイ230等の出力装置は、様々な形式のデータを出力することができる。例えば、開口走査フーリエタイコグラフィーシステムは、2次元カラー/モノクロ画像(輝度及び/又は位相)、これらの画像に関連するデータ、又は開口走査フーリエタイコグラフィーシステムによって行われた分析に関連する他のデータを出力することができる。
本願開示の範囲を逸脱することなしに、上述の実施形態に対して、変形、追加、又は省略を行うことができる。本願開示の範囲を逸脱することなしに、どの実施形態も、より多数の特徴、より少数の特徴、あるいは他の特徴を含むことができる。また、本願開示の範囲を逸脱することなしに、上述した特徴のステップは、あらゆる適切な順序で実行することができる。
本願開示の実施形態の幾つかの特徴は、コンピュータソフトウェアをモジュール様式又は統合様式で用いる制御ロジックの形式で実現することができるものであると理解されるべきである。本願明細書に提供する開示及び教示に基づいて、当業者は、ハードウェア及びハードウェアとソフトウェアの組合せを用いて幾つかの特徴を実現するための他の手法及び/又は方法を知り、認識するであろう。
本願中に記載したあらゆるソフトウェアコンポーネント又は機能は、プロセッサによって、あらゆる適切なコンピュータ言語を用いて実行されるソフトウェアコードとして実現することができ、これらのコンピュータ言語は、例えば従来技術又はオブジェクト指向技術を用いる、例えばJava(登録商標)、C++、又はPerl(登録商標)である。これらのソフトウェアコードは、一連の命令又はコマンドとしてCRM上に記憶することができ、CRMは、例えばランダムアクセスメモリ(RAM)、読出し専用メモリ(ROM)、ハードディスクドライブ又はフロッピー(登録商標)ディスクのような磁気媒体、あるいはCD−ROMのような光媒体である。あらゆるこうしたCRMが、単一のコンピュータ装置上又は装置内に存在することができ、また、システム又はネットワーク内の異なる計算装置上又は装置内に存在することができる。
以上に開示した実施形態は、理解を促進するために多少詳しく説明してきたが、説明した実施形態は例示的なものであり限定的なものではない。添付した特許請求の範囲内で、一定の変更及び変形を実施することができることは、当業者にとって明らかである。
本願開示の範囲を逸脱することなしに、あらゆる実施形態からの1つ以上の特徴を、他のあらゆる実施形態の1つ以上の特徴と組み合わせることができる。さらに、本願開示の範囲を逸脱することなしに、あらゆる実施形態に対して、変形、追加、又は省略を行うことができる。本願開示の範囲を逸脱することなしに、あらゆる実施形態の構成要素を、特定の必要に応じて統合又は分離することができる。

Claims (25)

  1. 超高NAフーリエタイコグラフィー撮像システムであって、
    異なる時刻において複数の入射角で試料を照射するように構成された可変照明装置と、
    高NAであるレンズを備える光学系であって、前記レンズは前記試料から出る光をフィルタするように構成されており、前記複数の入射角及び前記高NAは1.0より大きい拡張NAを包括するフーリエドメイン内の複数の重複領域に対応する、光学系と、
    複数の輝度画像を取得するように構成されている放射検出器であって、各輝度画像は前記複数の入射角の異なる入射角に対応する、放射検出器と
    を備える、システム。
  2. フーリエドメイン内の前記重複領域を輝度画像測定値で反復的に更新することによって前記輝度画像の分解能よりも高い分解能を有する画像を生成するように構成されたプロセッサをさらに備える、請求項1に記載の超高NAフーリエタイコグラフィー撮像システム。
  3. 前記レンズはその受光角度内にて受光された光を通過させることによって前記試料からの光をフィルタするように構成されている、請求項1に記載の超高NAフーリエタイコグラフィー撮像システム。
  4. 前記フィルタリング光学素子の前記高NAは約0.50である、請求項1に記載の超高NAフーリエタイコグラフィー撮像システム。
  5. 前記フィルタリング光学素子の前記高NAは約0.40から約0.50の範囲内である、請求項1に記載の超高NAフーリエタイコグラフィー撮像システム。
  6. 前記可変照明装置は発光素子の円形環を1以上備える、請求項1に記載の超高NAフーリエタイコグラフィー撮像システム。
  7. 前記可変照明装置は等間隔に配された発光素子の同心環を複数備える、請求項1に記載の超高NAフーリエタイコグラフィー撮像システム。
  8. 各アウター環は直径がより小さい隣の環よりも多くの発光素子を有する、請求項7に記載の超高NAフーリエタイコグラフィー撮像システム。
  9. 各同心環は少なくとも6個の発光素子を有する、請求項7に記載の超高NAフーリエタイコグラフィー撮像システム。
  10. 各同心環の発光素子は少なくとも約30°離されている、請求項7に記載の超高NAフーリエタイコグラフィー撮像システム。
  11. 各同心環は約20mmより大きい直径を有する、請求項7に記載の超高NAフーリエタイコグラフィー撮像システム。
  12. 各同心環は約40mmより大きい直径を有する、請求項7に記載の超高NAフーリエタイコグラフィー撮像システム。
  13. 前記光学系は前記試料から反射された光を受光するように構成された集光光学素子を備え、
    前記可変照明装置及び前記集光光学素子は落射照明モードにおいて前記試料との関係で同じ側に位置している、
    請求項1に記載の超高NAフーリエタイコグラフィー撮像システム。
  14. 前記レンズは試料から反射された光を受光するように構成されており、
    前記可変照明装置及び前記レンズ光学素子は落射照明モードにおいて前記試料との関係で同じ側に位置している、
    請求項1に記載の超高NAフーリエタイコグラフィー撮像システム。
  15. 前記複数の重複領域の隣り合う重複領域は、前記重複領域の一方の面積の少なくとも約20%から約90%になる重複面積を有する、請求項1に記載の超高NAフーリエタイコグラフィー撮像システム。
  16. 前記複数の重複領域の隣り合う重複領域は、前記重複領域の一方の面積の少なくとも約70%になる重複面積を有する、請求項1に記載の超高NAフーリエタイコグラフィー撮像システム。
  17. 前記複数の重複領域の隣り合う重複領域は、前記重複領域の一方の面積の少なくとも約75%になる重複面積を有する、請求項1に記載の超高NAフーリエタイコグラフィー撮像システム。
  18. 前記複数の重複領域の隣り合う重複領域は、前記重複領域の一方の面積の少なくとも約2%から約99.5%になる重複面積を有する、請求項1に記載の超高NAフーリエタイコグラフィー撮像システム。
  19. 反射モードフーリエタイコグラフィー撮像システムであって、
    落射照明モードで異なる時刻において複数の入射角で試料を照射するように構成された可変照明装置と、
    フィルタリング機能を有するフィルタリング光学素子を備える光学系であって、前記光学系は前記試料から反射された光を受光し及び前記フィルタリング光学素子を用いて前記試料から反射された光をフィルタするように構成されており、前記複数の入射角及び前記フィルタリング機能はフーリエドメイン内の重複領域に対応する、光学系と、
    複数の輝度画像を取得するように構成されている放射検出器であって、各輝度画像は前記複数の入射角の異なる入射角に対応する、放射検出器と
    を備える、システム。
  20. フーリエドメイン内の前記重複領域を輝度画像測定値で反復的に更新することによって前記輝度画像の分解能よりも高い分解能を有する画像を生成するように構成されたプロセッサをさらに備える、請求項19に記載の反射モードフーリエタイコグラフィー撮像システム。
  21. 前記フィルタリング光学素子はその受光角度内にて受光された光を通過させることによって光をフィルタするように構成されているレンズである、請求項19に記載の反射モードフーリエタイコグラフィー撮像システム。
  22. 前記可変照明装置は前記フィルタリング光学素子の中心軸にセンタリングされた発光素子の円形環の第1のセットを備える、請求項19に記載の反射モードフーリエタイコグラフィー撮像システム。
  23. 前記光学系はビームスプリッタであって、45°の角度で及び前記フィルタリング光学素子の後ろに配置されており並びに入射光の約半分を通過させ及び入射光の約半分を反射するように構成された、ビームスプリッタをさらに備え、
    前記可変照明装置は発光素子の円形環の第2のセットであって、前記ビームスプリッタによって反射された照射を前記フィルタリング光学素子を通して前記試料にもたらすように配置された、発光素子の円形環の第2のセットをさらに備える、
    請求項22に記載の反射モードフーリエタイコグラフィー撮像システム。
  24. 前記光学系はビームスプリッタであって、前記フィルタリング光学素子の後ろ45°の角度で配置された、ビームスプリッタをさらに備え、
    前記フィルタリング光学素子は前記試料から出た光をフィルタするように構成されており、
    前記ビームスプリッタは、前記フィルタリング光学素子によってフィルタされた光を受光するように構成されており及び前記フィルタされた光の半分を前記放射検出器へと通過させる、
    請求項19に記載の反射モードフーリエタイコグラフィー撮像システム。
  25. 前記光学系はセカンダリレンズをさらに備え、
    前記セカンダリレンズは、複数の入射角で前記可変照明装置からの照射を受光するように構成されており及び前記照射を前記ビームスプリッタへと通過させ、
    前記ビームスプリッタは前記照射の半分を前記フィルタリング光学素子を通して前記試料へと通過させるように構成されている、
    請求項19に記載の反射モードフーリエタイコグラフィー撮像システム。
JP2016536489A 2013-08-22 2014-08-22 可変照明フーリエタイコグラフィー撮像装置、システム、及び方法 Pending JP2016530567A (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201361868967P 2013-08-22 2013-08-22
US61/868,967 2013-08-22
US201361899715P 2013-11-04 2013-11-04
US61/899,715 2013-11-04
US201462000722P 2014-05-20 2014-05-20
US62/000,722 2014-05-20
PCT/US2014/052351 WO2015027188A1 (en) 2013-08-22 2014-08-22 Variable-illumination fourier ptychographic imaging devices, systems, and methods

Publications (1)

Publication Number Publication Date
JP2016530567A true JP2016530567A (ja) 2016-09-29

Family

ID=52480026

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016536489A Pending JP2016530567A (ja) 2013-08-22 2014-08-22 可変照明フーリエタイコグラフィー撮像装置、システム、及び方法

Country Status (7)

Country Link
US (4) US9497379B2 (ja)
EP (1) EP3036753B1 (ja)
JP (1) JP2016530567A (ja)
CN (2) CN105765690B (ja)
AU (1) AU2014308673A1 (ja)
CA (1) CA2921372A1 (ja)
WO (1) WO2015027188A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102162424B1 (ko) * 2019-07-31 2020-10-07 김해산업진흥의생명융합재단 다중파장광원을 기반으로 다중 형광 영상 동시 관측이 가능하고 시야면적 조절이 가능한 형광 영상장치용 광조사장치
US10859809B2 (en) 2014-12-23 2020-12-08 Canon Kabushiki Kaisha Illumination systems and devices for Fourier Ptychographic imaging
KR20210016969A (ko) 2019-08-06 2021-02-17 한국표준과학연구원 Fpm에서 켈리브레이션 그레이팅을 이용한 회절격자 위상 측정시스템 및 측정방법
KR20210105711A (ko) 2020-02-19 2021-08-27 한국표준과학연구원 파라볼릭 미러를 이용한 반사형 fpm
KR102315016B1 (ko) 2020-06-12 2021-10-22 한국표준과학연구원 조각거울과 가림막을 이용한 반사형 fpm
KR20220028816A (ko) 2020-08-31 2022-03-08 한국표준과학연구원 정렬오차 보정이 가능한 반사형 fpm 및 이를 이용한 보정방법
KR20220072100A (ko) 2020-11-24 2022-06-02 한국표준과학연구원 Led어레이를 이용한 반사형 비결맞음 조명 현미경
KR20220141945A (ko) 2021-04-13 2022-10-21 한국표준과학연구원 튜닝이 가능한 fpm
KR20230120171A (ko) 2022-02-07 2023-08-17 한국표준과학연구원 플렉시블 led 어레이를 이용한 반사형 fpm

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6273276B2 (ja) 2012-07-25 2018-01-31 セラノス, インコーポレイテッドTheranos, Inc. 生物学的サンプルの画像分析および測定
CN108761752A (zh) 2012-10-30 2018-11-06 加州理工学院 傅立叶重叠关联成像系统、设备和方法
US9864184B2 (en) 2012-10-30 2018-01-09 California Institute Of Technology Embedded pupil function recovery for fourier ptychographic imaging devices
US10652444B2 (en) 2012-10-30 2020-05-12 California Institute Of Technology Multiplexed Fourier ptychography imaging systems and methods
EP3028088B1 (en) 2013-07-31 2022-01-19 California Institute of Technology Aperture scanning fourier ptychographic imaging
EP3036753B1 (en) 2013-08-22 2022-10-05 California Institute of Technology Variable-illumination fourier ptychographic imaging devices, systems, and methods
EP3076219B1 (en) * 2014-01-07 2020-04-08 Sony Corporation Analysis system, analysis program, and analysis method
US11468557B2 (en) 2014-03-13 2022-10-11 California Institute Of Technology Free orientation fourier camera
US9817224B2 (en) 2014-04-30 2017-11-14 University Of Connecticut Methods and systems for Fourier ptychographic imaging
US10162161B2 (en) 2014-05-13 2018-12-25 California Institute Of Technology Ptychography imaging systems and methods with convex relaxation
WO2015199067A1 (ja) * 2014-06-24 2015-12-30 株式会社ニコン 画像解析装置、撮像システム、手術支援システム、画像解析方法、及び画像解析プログラム
DE102014110302B3 (de) * 2014-07-22 2015-09-03 Carl Zeiss Ag Verfahren und Vorrichtung zum Abbilden eines Objekts
JP2016052116A (ja) * 2014-08-28 2016-04-11 パナソニックIpマネジメント株式会社 画像処理装置、画像処理方法およびコンピュータプログラム
WO2016106379A1 (en) 2014-12-22 2016-06-30 California Institute Of Technology Epi-illumination fourier ptychographic imaging for thick samples
AU2014280898A1 (en) * 2014-12-23 2016-07-07 Canon Kabushiki Kaisha Reconstruction algorithm for Fourier Ptychographic imaging
WO2016118761A1 (en) 2015-01-21 2016-07-28 California Institute Of Technology Fourier ptychographic tomography
CN109507155B (zh) 2015-01-26 2021-08-24 加州理工学院 阵列级傅立叶重叠关联成像
US10410398B2 (en) * 2015-02-20 2019-09-10 Qualcomm Incorporated Systems and methods for reducing memory bandwidth using low quality tiles
US10684458B2 (en) 2015-03-13 2020-06-16 California Institute Of Technology Correcting for aberrations in incoherent imaging systems using fourier ptychographic techniques
US9993149B2 (en) 2015-03-25 2018-06-12 California Institute Of Technology Fourier ptychographic retinal imaging methods and systems
WO2016187591A1 (en) 2015-05-21 2016-11-24 California Institute Of Technology Laser-based fourier ptychographic imaging systems and methods
JPWO2017060954A1 (ja) 2015-10-05 2018-07-19 オリンパス株式会社 撮像装置
US20180373016A1 (en) * 2015-11-11 2018-12-27 Scopio Labs Ltd. Microscope having a refractive index matching material
EP3374817B1 (en) * 2015-11-11 2020-01-08 Scopio Labs Ltd. Autofocus system for a computational microscope
US10176567B2 (en) * 2015-12-21 2019-01-08 Canon Kabushiki Kaisha Physical registration of images acquired by Fourier Ptychography
DE102015122712B4 (de) 2015-12-23 2023-05-04 Carl Zeiss Microscopy Gmbh Vorrichtung und Verfahren zur Bildaufnahme
DE102016103736A1 (de) 2016-03-02 2017-09-07 Carl Zeiss Microscopy Gmbh Verfahren zur Bestimmung einer Höhenlage eines Objekts
WO2017172819A1 (en) 2016-03-30 2017-10-05 Optical Wavefront Laboratories, Llc Multiple camera microscope imaging with patterned illumination
US11092795B2 (en) 2016-06-10 2021-08-17 California Institute Of Technology Systems and methods for coded-aperture-based correction of aberration obtained from Fourier ptychography
US10568507B2 (en) 2016-06-10 2020-02-25 California Institute Of Technology Pupil ptychography methods and systems
US10048132B2 (en) * 2016-07-28 2018-08-14 Kla-Tencor Corporation Simultaneous capturing of overlay signals from multiple targets
US10768105B1 (en) * 2016-07-29 2020-09-08 Labrador Diagnostics Llc Image analysis and measurement of biological samples
US10558029B2 (en) 2016-10-27 2020-02-11 Scopio Labs Ltd. System for image reconstruction using a known pattern
AU2016433865B2 (en) * 2016-12-30 2022-05-26 Barco Nv System and method for 3D reconstruction
CN106707486B (zh) * 2017-01-24 2019-07-26 清华大学 基于fpm的宽视场显微成像方法及系统
CN106980175B (zh) * 2017-05-10 2019-05-14 暨南大学 基于环形离轴照明焦面共轭的非荧光成像光切片方法和装置
WO2019090149A1 (en) 2017-11-03 2019-05-09 California Institute Of Technology Parallel digital imaging acquisition and restoration methods and systems
CN107966801A (zh) * 2017-12-29 2018-04-27 南京理工大学 一种基于环形照明的高速傅立叶叠层成像装置及重构方法
FR3077641B1 (fr) * 2018-02-07 2020-02-21 TiHive Systeme d'imagerie terahertz a reflexion
CN109242808B (zh) * 2018-06-28 2022-10-14 南京邮电大学 一种基于分数阶傅里叶变换的关联成像方法
US11347046B2 (en) 2018-12-18 2022-05-31 Pathware Inc. Computational microscopy based-system and method for automated imaging and analysis of pathology specimens
DE102019208858A1 (de) * 2019-06-18 2020-12-24 Carl Zeiss Microscopy Gmbh Beleuchtungseinheit für Mikroskope
JP7383429B2 (ja) * 2019-09-10 2023-11-20 株式会社ミツトヨ 画像検出装置、パルス照明装置、およびパルス照明方法
WO2021053374A1 (en) * 2019-09-19 2021-03-25 Siemens Healthcare Diagnostics Inc. Ptychographic imaging system and method for generating images
CN112666697B (zh) * 2019-10-15 2022-06-10 南京理工大学 基于彩色复用照明的单帧差分相衬定量相位成像方法
CN110988003B (zh) * 2019-11-27 2021-08-13 中科晶源微电子技术(北京)有限公司 用于半导体器件的电子束检测设备、和电子束检测组件
US20230005185A1 (en) * 2019-12-10 2023-01-05 Siemens Healthcare Diagnostics Inc. Method and system for generating a chromatically modified image of components in a microscopic slide
JP7412166B2 (ja) * 2019-12-25 2024-01-12 浜松ホトニクス株式会社 撮像装置および撮像方法
US11544838B2 (en) * 2020-03-21 2023-01-03 Kla Corporation Systems and methods of high-resolution review for semiconductor inspection in backend and wafer level packaging
CN111610623B (zh) * 2020-04-29 2022-05-27 南京理工大学 基于傅里叶叠层的显微成像方法
US11362481B2 (en) 2020-05-01 2022-06-14 Mesa Photonics, LLC Method and apparatus for measuring optical pulses
US20220206279A1 (en) * 2020-12-28 2022-06-30 University Of Central Florida Research Foundation, Inc. Microscopy illumination apparatus, methods, and applications
CN112882216A (zh) * 2021-01-29 2021-06-01 中国科学院长春应用化学研究所 高分辨荧光辅助傅里叶叠层双模态显微成像系统
TWI810565B (zh) * 2021-05-14 2023-08-01 國立清華大學 可攜式觀察微流道用環型螢光光路系統及其運作方法
CN113607092B (zh) * 2021-07-21 2022-07-15 中国科学技术大学 一种光线小角度测量方法及系统
EP4276737A1 (de) * 2022-05-12 2023-11-15 Siemens Aktiengesellschaft Fourier-ptychografische erzeugung eines bilds
CN115032196B (zh) * 2022-08-11 2022-12-13 中国科学院西安光学精密机械研究所 一种全划片高通量彩色病理成像分析仪器及方法
US11950000B2 (en) * 2022-09-07 2024-04-02 Microsoft Technology Licensing, Llc Resolution enhancement in spatial-frequency space

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0868942A (ja) * 1994-08-29 1996-03-12 Olympus Optical Co Ltd 光学顕微鏡用照明装置
JP2001154103A (ja) * 1999-11-30 2001-06-08 Mitsutoyo Corp 光学器械の照明装置
JP2003075725A (ja) * 2001-09-04 2003-03-12 Olympus Optical Co Ltd 透過照明装置
JP2003315678A (ja) * 2002-04-22 2003-11-06 Mitsutoyo Corp リング照明装置
JP2004529383A (ja) * 2001-04-03 2004-09-24 ベルス・メステヒニーク・ゲーエムベーハー 照明装置及び物体の照明のための方法
US20040190132A1 (en) * 2003-03-19 2004-09-30 Axel Laschke Control unit for mixed light illumination, especially for microscopy
JP2006209035A (ja) * 2005-01-31 2006-08-10 Tokyoto Igaku Kenkyu Kiko 生物顕微鏡及びそれに用いる暗視野照明装置

Family Cites Families (135)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5475527A (en) 1994-09-26 1995-12-12 The Regents Of The University Of California Fourier plane image amplifier
KR19980075050A (ko) 1997-03-28 1998-11-05 윤종용 주사 전자 현미경의 가변어퍼쳐
US6144365A (en) 1998-04-15 2000-11-07 S3 Incorporated System and method for performing blending using an over sampling buffer
US6154196A (en) 1998-06-08 2000-11-28 Wacom Co., Ltd. Coordinate input device convertible between right-handed and left-handed modes
US6320648B1 (en) 1998-10-12 2001-11-20 Steven R. J. Brueck Method and apparatus for improving pattern fidelity in diffraction-limited imaging
DE19949029C2 (de) 1999-10-11 2002-11-21 Innovatis Gmbh Verfahren und Vorrichtung zur Charakterisierung einer Kulturflüssigkeit
US6320174B1 (en) 1999-11-16 2001-11-20 Ikonisys Inc. Composing microscope
US20010055062A1 (en) 2000-04-20 2001-12-27 Keiji Shioda Operation microscope
US6856457B2 (en) 2001-03-27 2005-02-15 Prairie Technologies, Inc. Single and multi-aperture, translationally-coupled confocal microscope
DE10128476C2 (de) * 2001-06-12 2003-06-12 Siemens Dematic Ag Optische Sensorvorrichtung zur visuellen Erfassung von Substraten
GB0115714D0 (en) 2001-06-27 2001-08-22 Imperial College Structure determination of macromolecules
US6747781B2 (en) 2001-06-25 2004-06-08 Silicon Light Machines, Inc. Method, apparatus, and diffuser for reducing laser speckle
US6741730B2 (en) 2001-08-10 2004-05-25 Visiongate, Inc. Method and apparatus for three-dimensional imaging in the fourier domain
US6870165B2 (en) 2001-10-19 2005-03-22 Biocal Technology, Inc. Multi-color multiplexed analysis in a bio-separation system
EP2275775B1 (en) 2002-01-16 2015-09-23 Faro Technologies, Inc. Laser-based coordinate measuring device and laser-based method for measuring coordinates
US7130115B2 (en) 2002-09-23 2006-10-31 Dhetrix, Inc. Multi-mode scanning imaging system
JP4360817B2 (ja) 2002-10-18 2009-11-11 株式会社日立メディコ 放射線断層撮影装置
WO2004090581A2 (en) 2003-03-31 2004-10-21 Cdm Optics, Inc. Systems and methods for minimizing aberrating effects in imaging systems
JP4377171B2 (ja) 2003-07-15 2009-12-02 Tdk株式会社 空間光変調器
US7738095B2 (en) * 2003-07-18 2010-06-15 Chemimage Corporation Method and apparatus for compact spectrometer for detecting hazardous agents
US7823783B2 (en) * 2003-10-24 2010-11-02 Cognex Technology And Investment Corporation Light pipe illumination system and method
US8271251B2 (en) 2004-02-09 2012-09-18 Wisconsin Alumni Research Foundation Automated imaging system for single molecules
US7173256B2 (en) 2004-03-26 2007-02-06 Fox John S Fluorescent image calibration step wedge, and use thereof in illumination for fluorescent imaging and automatic exposure
DE102004017232A1 (de) 2004-04-05 2005-10-20 Bosch Gmbh Robert Interferometrische Messvorrichtung
EP1769743A4 (en) 2004-06-16 2010-09-29 Hitachi Medical Corp RADIOTOMOGRAPHE
US7436503B1 (en) 2004-08-03 2008-10-14 Kla-Tencor Technologies Corp. Dark field inspection apparatus and methods
KR20070107655A (ko) 2004-08-09 2007-11-07 클래시프아이 엘티디. 3d 지문 인식을 위한 비접촉 광학 수단 및 방법
US7545571B2 (en) 2004-09-08 2009-06-09 Concurrent Technologies Corporation Wearable display system
EP1640706A1 (en) * 2004-09-22 2006-03-29 Eldim Sa Wavelength and incidence angle resolved ellipsometer or reflectometer
US20060173313A1 (en) 2005-01-27 2006-08-03 Siemens Medical Solutions Usa, Inc. Coherence factor adaptive ultrasound imaging
US7653232B2 (en) 2005-01-28 2010-01-26 University Of Massachusetts Phase based digital imaging
WO2006107795A1 (en) 2005-04-05 2006-10-12 The Board Of Trustees Of The Leland Stanford Junior University Optical image processing using minimum phase functions
CN101203790A (zh) 2005-06-03 2008-06-18 博奥生物有限公司 一种微阵列芯片激光扫描仪光学系统
JP2007071803A (ja) * 2005-09-09 2007-03-22 Hitachi High-Technologies Corp 欠陥観察方法及びその装置
JP4696890B2 (ja) 2005-12-12 2011-06-08 富士ゼロックス株式会社 ホログラム記録方法及びホログラム記録装置
JP4727517B2 (ja) 2006-01-11 2011-07-20 富士フイルム株式会社 光源装置および光断層画像化装置
US20070171430A1 (en) 2006-01-20 2007-07-26 The General Hospital Corporation Systems and methods for providing mirror tunnel micropscopy
US8271521B2 (en) 2006-03-20 2012-09-18 Blue Nile, Inc. Computerized search technique, such as an internet-based gemstone search technique
JP4822925B2 (ja) 2006-04-28 2011-11-24 日本電子株式会社 透過型電子顕微鏡
US7460248B2 (en) 2006-05-15 2008-12-02 Carestream Health, Inc. Tissue imaging system
KR101379096B1 (ko) 2006-06-16 2014-03-28 칼 짜이스 에스엠티 게엠베하 마이크로 리소그라피 투사 노광 장치의 투사 대물렌즈
US7838302B2 (en) 2006-08-07 2010-11-23 President And Fellows Of Harvard College Sub-diffraction limit image resolution and other imaging techniques
CN100385275C (zh) 2006-09-29 2008-04-30 李志扬 主动光学位相共轭方法及装置
JP4690379B2 (ja) 2006-12-05 2011-06-01 韓國電子通信研究院 偏光板と高速フーリエ変換を用いたナノ線感知用光学顕微鏡システム
EP2135128A2 (en) 2007-03-20 2009-12-23 Chroma Technology Corporation Light source
US8313031B2 (en) 2007-03-30 2012-11-20 Symbol Technologies, Inc. Adaptive aperture for an imaging scanner
US8279329B2 (en) 2007-04-10 2012-10-02 University Of Rochester Structured illumination for imaging of stationary and non-stationary, fluorescent and non-fluorescent, objects
US8624968B1 (en) 2007-04-25 2014-01-07 Stc.Unm Lens-less digital microscope
CN101743519B (zh) 2007-05-16 2013-04-24 视瑞尔技术公司 全息显示装置
JP5083315B2 (ja) 2007-06-13 2012-11-28 株式会社ニコン 検査装置、検査方法およびプログラム
WO2009009081A2 (en) 2007-07-10 2009-01-15 Massachusetts Institute Of Technology Tomographic phase microscopy
US7929142B2 (en) 2007-09-25 2011-04-19 Microsoft Corporation Photodiode-based bi-directional reflectance distribution function (BRDF) measurement
EP2232306A2 (en) 2007-11-23 2010-09-29 Koninklijke Philips Electronics N.V. Multi-modal spot generator and multi-modal multi-spot scanning microscope
US8115992B2 (en) 2007-12-31 2012-02-14 Stc.Unm Structural illumination and evanescent coupling for the extension of imaging interferometric microscopy
US9239455B2 (en) * 2007-12-31 2016-01-19 Stc.Unm Structural illumination and evanescent coupling for the extension of imaging interferometric microscopy
CN101408623B (zh) 2008-01-23 2011-01-19 北京航空航天大学 宽带综合孔径上变频成像系统
JP2010012222A (ja) 2008-06-06 2010-01-21 Olympus Medical Systems Corp 医療装置
US8184279B2 (en) * 2008-06-16 2012-05-22 The Regents Of The University Of Colorado, A Body Corporate Fourier domain sensing
US7787588B1 (en) 2008-07-21 2010-08-31 Xradia, Inc. System and method for quantitative reconstruction of Zernike phase-contrast images
WO2010035775A1 (ja) 2008-09-26 2010-04-01 株式会社堀場製作所 粒子物性測定装置
US8019136B2 (en) 2008-12-03 2011-09-13 Academia Sinica Optical sectioning microscopy
GB0822149D0 (en) 2008-12-04 2009-01-14 Univ Sheffield Provision of image data
WO2010075373A1 (en) 2008-12-22 2010-07-01 3M Innovative Properties Company Multilayer optical films suitable for bi-level internal patterning
US8836948B2 (en) 2009-01-29 2014-09-16 The Regents Of The University Of California High resolution structured illumination microscopy
CN101872033B (zh) 2009-04-24 2014-04-30 鸿富锦精密工业(深圳)有限公司 遮光片阵列、遮光片阵列制造方法及镜头模组阵列
US8559014B2 (en) * 2009-09-25 2013-10-15 Hwan J. Jeong High-resolution, common-path interferometric imaging systems and methods
KR20120071405A (ko) 2009-10-20 2012-07-02 더 리전트 오브 더 유니버시티 오브 캘리포니아 단일 칩 상에서의 비간섭성 무렌즈 세포 홀로그래피 및 검경
US20140152801A1 (en) 2009-10-28 2014-06-05 Alentic Microscience Inc. Detecting and Using Light Representative of a Sample
US8497934B2 (en) 2009-11-25 2013-07-30 Massachusetts Institute Of Technology Actively addressable aperture light field camera
DE102009047361B4 (de) 2009-12-01 2013-02-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zur optischen Abbildung
JP5717296B2 (ja) * 2010-01-27 2015-05-13 国立大学法人北海道大学 回折顕微法
JP5538936B2 (ja) 2010-02-10 2014-07-02 キヤノン株式会社 解析方法、プログラム、記憶媒体、x線位相イメージング装置
JP2013519980A (ja) 2010-02-10 2013-05-30 モチイ,インコーポレイテッド(ディービーエー ヴォクサ) 収差補正暗視野電子顕微鏡
WO2011161558A1 (en) 2010-06-21 2011-12-29 Koninklijke Philips Electronics N.V. Method and system for performing low- dose ct imaging
US9129371B2 (en) 2010-06-25 2015-09-08 Cireca Theranostics, Llc Method for analyzing biological specimens by spectral imaging
GB2481589B (en) * 2010-06-28 2014-06-11 Phase Focus Ltd Calibration of a probe in ptychography
US9668705B2 (en) 2010-07-13 2017-06-06 Takara Telesystems Corp. X-ray tomogram imaging device
US20130170024A1 (en) * 2010-09-14 2013-07-04 Applied Precision, Inc. Oblique-illumination systems and methods
US9185357B2 (en) 2010-09-17 2015-11-10 Lltech Management Optical tissue sectioning using full field optical coherence tomography
CN101957183B (zh) 2010-09-26 2012-03-21 深圳大学 一种结构光投影的高速三维测量系统
US9569664B2 (en) 2010-10-26 2017-02-14 California Institute Of Technology Methods for rapid distinction between debris and growing cells
CN103154662A (zh) 2010-10-26 2013-06-12 加州理工学院 扫描投影无透镜显微镜系统
GB201020516D0 (en) 2010-12-03 2011-01-19 Univ Sheffield Improvements in providing image data
KR20130131408A (ko) 2010-12-21 2013-12-03 더 리전트 오브 더 유니버시티 오브 캘리포니아 모바일 장치 상의 콤팩트한 와이드­필드 형광 이미징
US9411144B2 (en) 2011-01-12 2016-08-09 Ge Healthcare Bio-Sciences Corp. Systems for fluorescence illumination using superimposed polarization states
US8731272B2 (en) 2011-01-24 2014-05-20 The Board Of Trustees Of The University Of Illinois Computational adaptive optics for interferometric synthetic aperture microscopy and other interferometric imaging
US8866063B2 (en) 2011-03-31 2014-10-21 The Regents Of The University Of California Lens-free wide-field super-resolution imaging device
US8841591B2 (en) * 2011-04-04 2014-09-23 The Board Of Trustees Of The Leland Stanford Junior University Grating-enhanced optical imaging
GB201107053D0 (en) 2011-04-27 2011-06-08 Univ Sheffield Improvements in providing image data
US8761533B2 (en) 2011-05-05 2014-06-24 Mitsubishi Electric Research Laboratories, Inc. Method for performing image processing applications using quadratic programming
WO2013018024A1 (en) 2011-07-29 2013-02-07 Ecole Polytechnique Federale De Lausanne (Epfl) Apparatus and method for quantitative phase tomography through linear scanning with coherent and non-coherent detection
WO2013019640A1 (en) 2011-07-29 2013-02-07 The Regents Of The University Of California Lensfree holographic microscopy using wetting films
JP2014528060A (ja) 2011-09-06 2014-10-23 コーニンクレッカ フィリップス エヌ ヴェ 複数のセンサ領域を持つ光学バイオセンサ
US20130093871A1 (en) 2011-10-18 2013-04-18 Andreas G. Nowatzyk Omnidirectional super-resolution microscopy
US9599805B2 (en) 2011-10-19 2017-03-21 National Synchrotron Radiation Research Center Optical imaging system using structured illumination
US9324133B2 (en) 2012-01-04 2016-04-26 Sharp Laboratories Of America, Inc. Image content enhancement using a dictionary technique
GB201201140D0 (en) 2012-01-24 2012-03-07 Phase Focus Ltd Method and apparatus for determining object characteristics
CN102608597B (zh) 2012-03-19 2014-07-23 西安电子科技大学 基于非完全数据解卷积的实孔径前视成像方法
CN103377746B (zh) 2012-04-14 2015-12-02 中国科学技术大学 实现显微镜系统超分辨成像的方法
EP2690648B1 (en) 2012-07-26 2014-10-15 Fei Company Method of preparing and imaging a lamella in a particle-optical apparatus
WO2014018584A1 (en) 2012-07-24 2014-01-30 Trustees Of Boston University Partitioned aperture wavefront imaging method and system
US9552658B2 (en) 2012-07-26 2017-01-24 William Marsh Rice University Methods and systems for video compressive sensing for dynamic imaging
US20140085629A1 (en) 2012-09-27 2014-03-27 Bodkin Design & Engineering, Llc Active Hyperspectral Imaging Systems
DE102012020240A1 (de) 2012-10-12 2014-04-17 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren zur SPIM Mikroskopie
US9864184B2 (en) 2012-10-30 2018-01-09 California Institute Of Technology Embedded pupil function recovery for fourier ptychographic imaging devices
US10652444B2 (en) 2012-10-30 2020-05-12 California Institute Of Technology Multiplexed Fourier ptychography imaging systems and methods
CN108761752A (zh) 2012-10-30 2018-11-06 加州理工学院 傅立叶重叠关联成像系统、设备和方法
AU2012258412A1 (en) 2012-11-30 2014-06-19 Canon Kabushiki Kaisha Combining differential images by inverse Riesz transformation
US9400169B2 (en) 2012-12-06 2016-07-26 Lehigh University Apparatus and method for space-division multiplexing optical coherence tomography
EP3028088B1 (en) 2013-07-31 2022-01-19 California Institute of Technology Aperture scanning fourier ptychographic imaging
EP3036753B1 (en) 2013-08-22 2022-10-05 California Institute of Technology Variable-illumination fourier ptychographic imaging devices, systems, and methods
US11468557B2 (en) 2014-03-13 2022-10-11 California Institute Of Technology Free orientation fourier camera
US10162161B2 (en) 2014-05-13 2018-12-25 California Institute Of Technology Ptychography imaging systems and methods with convex relaxation
JP6394367B2 (ja) 2014-05-30 2018-09-26 ソニー株式会社 流体分析装置、流体分析方法、プログラム及び流体分析システム
CN104181686B (zh) 2014-08-25 2016-08-17 清华大学深圳研究生院 基于fpm的光场显微方法
CN104200449B (zh) 2014-08-25 2016-05-25 清华大学深圳研究生院 一种基于压缩感知的fpm方法
KR20170118032A (ko) 2014-10-17 2017-10-24 시레카 테라노스틱스, 엘엘씨 분석의 최적화 및 상관관계의 사용을 포함하는 생체 시료들을 분류하기 위한 방법 및 시스템
CN107111125B (zh) 2014-12-04 2020-12-01 加州理工学院 多路复用傅立叶重叠关联成像的系统和方法
WO2016106379A1 (en) 2014-12-22 2016-06-30 California Institute Of Technology Epi-illumination fourier ptychographic imaging for thick samples
AU2014280898A1 (en) 2014-12-23 2016-07-07 Canon Kabushiki Kaisha Reconstruction algorithm for Fourier Ptychographic imaging
AU2014280894A1 (en) 2014-12-23 2016-07-07 Canon Kabushiki Kaisha Illumination systems and devices for Fourier Ptychographic imaging
US20160202460A1 (en) 2015-01-13 2016-07-14 University Of Connecticut 3D Microscopy With Illumination Engineering
WO2016118761A1 (en) 2015-01-21 2016-07-28 California Institute Of Technology Fourier ptychographic tomography
CN109507155B (zh) 2015-01-26 2021-08-24 加州理工学院 阵列级傅立叶重叠关联成像
WO2016123508A1 (en) 2015-01-29 2016-08-04 The Regents Of The University Of California Patterned-illumination systems adopting a computational illumination
US10684458B2 (en) 2015-03-13 2020-06-16 California Institute Of Technology Correcting for aberrations in incoherent imaging systems using fourier ptychographic techniques
US9993149B2 (en) 2015-03-25 2018-06-12 California Institute Of Technology Fourier ptychographic retinal imaging methods and systems
WO2016187591A1 (en) 2015-05-21 2016-11-24 California Institute Of Technology Laser-based fourier ptychographic imaging systems and methods
US11054367B2 (en) 2015-10-12 2021-07-06 The Regents Of The University Of California Spectroscopy imaging and analysis of live cells
WO2017081540A1 (en) 2015-11-11 2017-05-18 Scopio Lab Ltd. Scanning microscope with real time response
EP3374817B1 (en) 2015-11-11 2020-01-08 Scopio Labs Ltd. Autofocus system for a computational microscope
US10176567B2 (en) 2015-12-21 2019-01-08 Canon Kabushiki Kaisha Physical registration of images acquired by Fourier Ptychography
US10568507B2 (en) 2016-06-10 2020-02-25 California Institute Of Technology Pupil ptychography methods and systems
CN106896489B (zh) 2017-02-13 2019-11-22 清华大学 基于波长复用的频域拼贴显微系统及其方法
WO2019090149A1 (en) 2017-11-03 2019-05-09 California Institute Of Technology Parallel digital imaging acquisition and restoration methods and systems

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0868942A (ja) * 1994-08-29 1996-03-12 Olympus Optical Co Ltd 光学顕微鏡用照明装置
JP2001154103A (ja) * 1999-11-30 2001-06-08 Mitsutoyo Corp 光学器械の照明装置
JP2004529383A (ja) * 2001-04-03 2004-09-24 ベルス・メステヒニーク・ゲーエムベーハー 照明装置及び物体の照明のための方法
JP2003075725A (ja) * 2001-09-04 2003-03-12 Olympus Optical Co Ltd 透過照明装置
JP2003315678A (ja) * 2002-04-22 2003-11-06 Mitsutoyo Corp リング照明装置
US20040190132A1 (en) * 2003-03-19 2004-09-30 Axel Laschke Control unit for mixed light illumination, especially for microscopy
JP2006209035A (ja) * 2005-01-31 2006-08-10 Tokyoto Igaku Kenkyu Kiko 生物顕微鏡及びそれに用いる暗視野照明装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GUOAN ZHENG: "Wide-field ,high-resolution Fourier ptychographic microscopy", NATURE PHOTONICS(ONLINE), JPN6018022513, 28 July 2013 (2013-07-28), US, ISSN: 0003966042 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10859809B2 (en) 2014-12-23 2020-12-08 Canon Kabushiki Kaisha Illumination systems and devices for Fourier Ptychographic imaging
KR102162424B1 (ko) * 2019-07-31 2020-10-07 김해산업진흥의생명융합재단 다중파장광원을 기반으로 다중 형광 영상 동시 관측이 가능하고 시야면적 조절이 가능한 형광 영상장치용 광조사장치
KR20210016969A (ko) 2019-08-06 2021-02-17 한국표준과학연구원 Fpm에서 켈리브레이션 그레이팅을 이용한 회절격자 위상 측정시스템 및 측정방법
KR20210105711A (ko) 2020-02-19 2021-08-27 한국표준과학연구원 파라볼릭 미러를 이용한 반사형 fpm
KR102315016B1 (ko) 2020-06-12 2021-10-22 한국표준과학연구원 조각거울과 가림막을 이용한 반사형 fpm
KR20220028816A (ko) 2020-08-31 2022-03-08 한국표준과학연구원 정렬오차 보정이 가능한 반사형 fpm 및 이를 이용한 보정방법
KR20220072100A (ko) 2020-11-24 2022-06-02 한국표준과학연구원 Led어레이를 이용한 반사형 비결맞음 조명 현미경
KR20220141945A (ko) 2021-04-13 2022-10-21 한국표준과학연구원 튜닝이 가능한 fpm
KR20230120171A (ko) 2022-02-07 2023-08-17 한국표준과학연구원 플렉시블 led 어레이를 이용한 반사형 fpm

Also Published As

Publication number Publication date
AU2014308673A1 (en) 2016-03-03
US10419665B2 (en) 2019-09-17
CA2921372A1 (en) 2015-02-26
CN110082900B (zh) 2022-05-13
US20160320605A1 (en) 2016-11-03
US20200186705A1 (en) 2020-06-11
CN110082900A (zh) 2019-08-02
EP3036753A4 (en) 2017-03-22
US20150054979A1 (en) 2015-02-26
US9497379B2 (en) 2016-11-15
CN105765690B (zh) 2019-01-18
EP3036753B1 (en) 2022-10-05
EP3036753A1 (en) 2016-06-29
US20180316855A1 (en) 2018-11-01
US9998658B2 (en) 2018-06-12
CN105765690A (zh) 2016-07-13
WO2015027188A1 (en) 2015-02-26

Similar Documents

Publication Publication Date Title
US10419665B2 (en) Variable-illumination fourier ptychographic imaging devices, systems, and methods
US20220254538A1 (en) Fourier ptychographic imaging systems, devices, and methods
US10401609B2 (en) Embedded pupil function recovery for fourier ptychographic imaging devices
US10606055B2 (en) Aperture scanning Fourier ptychographic imaging
US8946619B2 (en) Talbot-illuminated imaging devices, systems, and methods for focal plane tuning

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170606

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180619

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190205