JP2018509622A - フーリエタイコグラフィ手法を用いるインコヒーレント撮像システムにおける収差補正 - Google Patents
フーリエタイコグラフィ手法を用いるインコヒーレント撮像システムにおける収差補正 Download PDFInfo
- Publication number
- JP2018509622A JP2018509622A JP2017547995A JP2017547995A JP2018509622A JP 2018509622 A JP2018509622 A JP 2018509622A JP 2017547995 A JP2017547995 A JP 2017547995A JP 2017547995 A JP2017547995 A JP 2017547995A JP 2018509622 A JP2018509622 A JP 2018509622A
- Authority
- JP
- Japan
- Prior art keywords
- image
- incoherent
- sample
- aberration
- coherent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 287
- 238000003384 imaging method Methods 0.000 title claims abstract description 194
- 230000004075 alteration Effects 0.000 title claims abstract description 103
- 238000012937 correction Methods 0.000 title claims description 13
- 230000001427 coherent effect Effects 0.000 claims abstract description 145
- 210000001747 pupil Anatomy 0.000 claims abstract description 116
- 230000008569 process Effects 0.000 claims abstract description 109
- 230000003287 optical effect Effects 0.000 claims abstract description 107
- 238000012546 transfer Methods 0.000 claims abstract description 21
- 238000011084 recovery Methods 0.000 claims abstract description 17
- 230000006870 function Effects 0.000 claims description 152
- 238000005286 illumination Methods 0.000 claims description 137
- 230000005855 radiation Effects 0.000 claims description 79
- 230000005284 excitation Effects 0.000 claims description 78
- 238000002073 fluorescence micrograph Methods 0.000 claims description 37
- 239000007850 fluorescent dye Substances 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 12
- 230000000903 blocking effect Effects 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims 1
- 241001502050 Acis Species 0.000 description 173
- 238000000627 alternating current impedance spectroscopy Methods 0.000 description 173
- 238000001228 spectrum Methods 0.000 description 31
- 238000012545 processing Methods 0.000 description 20
- 210000004027 cell Anatomy 0.000 description 13
- 238000009826 distribution Methods 0.000 description 13
- 238000000799 fluorescence microscopy Methods 0.000 description 13
- 230000000644 propagated effect Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 239000011324 bead Substances 0.000 description 6
- 238000000386 microscopy Methods 0.000 description 6
- 238000010606 normalization Methods 0.000 description 6
- 230000003595 spectral effect Effects 0.000 description 6
- 238000003491 array Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- FWBHETKCLVMNFS-UHFFFAOYSA-N 4',6-Diamino-2-phenylindol Chemical compound C1=CC(C(=N)N)=CC=C1C1=CC2=CC=C(C(N)=N)C=C2N1 FWBHETKCLVMNFS-UHFFFAOYSA-N 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 108010043121 Green Fluorescent Proteins Proteins 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000012632 fluorescent imaging Methods 0.000 description 3
- 230000001678 irradiating effect Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000012292 cell migration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000004005 microsphere Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 241000894006 Bacteria Species 0.000 description 1
- 208000005443 Circulating Neoplastic Cells Diseases 0.000 description 1
- 241001198066 Solanum aethiopicum Species 0.000 description 1
- 235000018650 Solanum gilo Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 230000001580 bacterial effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012984 biological imaging Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 210000000170 cell membrane Anatomy 0.000 description 1
- 230000008045 co-localization Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000004624 confocal microscopy Methods 0.000 description 1
- 230000021953 cytokinesis Effects 0.000 description 1
- 230000003583 cytomorphological effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- MHMNJMPURVTYEJ-UHFFFAOYSA-N fluorescein-5-isothiocyanate Chemical compound O1C(=O)C2=CC(N=C=S)=CC=C2C21C1=CC=C(O)C=C1OC1=CC(O)=CC=C21 MHMNJMPURVTYEJ-UHFFFAOYSA-N 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000011278 mitosis Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0072—Optical details of the image generation details concerning resolution or correction, including general design of CSOM objectives
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0056—Optical details of the image generation based on optical coherence, e.g. phase-contrast arrangements, interference arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/008—Details of detection or image processing, including general computer control
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Microscoopes, Condenser (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
試料について一連のコヒーレント画像及びインコヒーレント画像を取得し、エンベデッド瞳孔関数リカバリプロセスをフーリエタイコグラフィ手法と共に実施して一連のコヒーレント画像を用いて解像度を向上させた画像と撮像システムの瞳孔関数を構築し、推定された瞳孔関数に基づいて光学的伝達関数を決定し、デコンボリューションプロセスを用いてインコヒーレント画像から収差を除去して収差補正インコヒーレント画像を生成することができる、収差補正インコヒーレント撮像方法及びシステムを、開示する。
Description
本願にて説明する特定の態様は、一般的に撮像方法及びシステムに関するのであり、より具体的には、フーリエタイコグラフィ手法を用いるインコヒーレント撮像システムにおける収差補正方法に関する。
一般的には、結像レンズは設計上において不完全である。通常は、様々な形状及び特性を有する複数のレンズを複雑に結像レンズ内で組み合わせて理想的なレンズからの偏差を補償するが、この場合代償として製造費の増大及びそれに関連したレンズ設計の複雑度の増大を伴う。市場で入手可能なレンズの大部分は、視野の中心付近では良好に改造された像をもたらすが、中心から離れた位置では解像力が劣っている。したがって、試料について良好に解像された像を取得するためには、試料に対してラスタ走査を行って、中心から離れた領域を破棄しつつスキャンされた像の中心領域を保持していくことを要する。
明視野イメージングは、最も人気がある顕微鏡撮画手段の1つである。明視野顕微鏡は、通常、試料を白色光で照らして透過光による像をキャプチャする。明視野イメージ位相差では、試料の構造に関する情報がもたらされる。位相差手法と組み合わせることによって、試料のアブゾープション、厚み、及び分散に関して定量的に測定し得る。生物学の分野においては、重要性が増してきている別の顕微鏡撮画手段として蛍光画像がある。蛍光色素分子を用いて適切にラベリングすることによって、蛍光現象は、分子レベルでの化学成分及び構造の可視化を支援し得る。タグ付けされた試料を蛍光色素分子の励起光で照射して蛍光色素分子の放射波長にて撮像することによって、生物学者は、興味対象とされる化学的性質を示す領域を容易に識別することができる。明視野と蛍光画像とを組み合わせることによって、試料の基本的な構造との関係で蛍光発光している領域を位置付けることができる。
関連出願への相互参照
本願は、米国仮特許出願第62/133,130号(名称:「フーリエタイコグラフィ顕微鏡法を介したインコヒーレント撮像システムにおける収差補正」、出願日:2015年3月13日)の利益及び優先権を主張しており、これは全体において及び全ての目的において参照によって取り込まれる。
本願は、米国仮特許出願第62/133,130号(名称:「フーリエタイコグラフィ顕微鏡法を介したインコヒーレント撮像システムにおける収差補正」、出願日:2015年3月13日)の利益及び優先権を主張しており、これは全体において及び全ての目的において参照によって取り込まれる。
G. Zheng, R. Horstmeyer and C. Yang, "Wide-field, high-resolution Fourier ptychographic microscopy," Nature Photonics, 2013
X. Ou, G. Zheng and C. Yang, "Embedded pupil function recovery for Fourier ptychographic microscopy," Optics Express, 2014
X. Ou, R. Horstmeyer, C. Yang, and G. Zheng, "Quantitative phase imaging via Fourier ptychographic microscopy," Opt. Lett. 38(22), 4845-4848 (2013)
S. Dong, K. Guo, P. Nanda, R. Shiradkar, and G. Zheng, "FPscope: a field-portable high-resolution microscope using a cellphone lens," Biomed. Opt. Express 5(10), 3305-3310 (2014)
K. Guo, S. Dong, P. Nanda, and G. Zheng, "Optimization of sampling pattern and the design of Fourier ptychographic illuminator," Opt. Express 23(5), 6171-6180 (2015)
S. Dong, R. Shiradkar, P. Nanda, and G. Zheng, "Spectral multiplexing and coherent-state decomposition in Fourier ptychographic imaging," Biomed. Opt. Express, 5(6), 1757-1767 (2014)
L. Tian, X. Li, K. Ramchandran, and L. Waller, "Multiplexed coded illumination for Fourier Ptychography with an LED array microscope," Biomed. Opt. Express 5(7), 2376-2389 (2014)
A. Williams, J. Chung, X. Ou, G. Zheng, S. Rawal, Z. Ao, R. Datar, C. Yang, and R. Cote, "Fourier ptychographic microscopy for filtration-based circulating tumor cell enumeration and analysis," J. Biomed. Opt. 19(6), 066007 (2014)
G. Zheng, X. Ou, R. Horstmeyer, and C. Yang, "Characterization of spatially varying aberrations for wide field of-view microscopy," Opt. Express 21(13), 15131-15143 (2013)
J. R. Fienup, "Phase retrieval algorithms: a comparison," Appl. Opt. 21(15), 2758-2769 (1982)
V. Elser, "Phase retrieval by iterated projections," J. Opt. Soc. Am. A 20(1), 40-55 (2003)
P. Godard, M. Allain, V. Chamard, and J. Rodenburg, "Noise models for low counting rate coherent diffraction imaging," Opt. Express 20(23), 25914-25934 (2012)
C. Yang, J. Qian, A. Schirotzek, F. Maia, and S. Marchesini, "Iterative Algorithms for Ptychographic Phase Retrieval," http://arxiv.org/abs/1105.5628
R. Horstmeyer, R. Y. Chen, X. Ou, B. Ames, J. A. Tropp, and C. Yang, "Solving ptychography with a convex relaxation," New J. Phys. 17(5), 053044 (2015)
Wiener, N., "The Extrapolation, Interpolation and Smoothing of Stationary Time Series," The MIT Press, 1949)
R. C. Gonzalez and R. E. Woods, Digital Image Processing (Prentice Hall, 2002)
J. C. Russ, The Image Processing Handbook, Fifth ed. (CRC Press, 2007)
M. Bertero and P. Boccacci, Introduction to Inverse Problems in Imaging (Taylor & Francis, 1998)
G. M. P. Kempen and V. L. J. Vliet, "A quantitative comparison of image restoration methods for confocal microscopy," J. Microsc. 185(3), 354-365 (1997)
X. Ou, R. Horstmeyer, G. Zheng, and C. Yang, "High numerical aperture Fourier ptychography: principle, implementation and characterization," Opt. Express 23(3), 3472-3491 (2015)
D. Kundur and D. Hatzinakos, "Blind image deconvolution," IEEE Signal Process. Mag. 13(3), 43-64 (1996)
L. Yuan, J. Sun, L. Quan, and H.-Y. Shum, "Progressive inter-scale and intra-scale non-blind image deconvolution," ACM Trans. Graph. 27(3), 1-10 (2008)
J. H. Lee and Y.S. Ho, "High-quality non-blind image deconvolution with adaptive regularization," J. Vis. Commun. Image Represent, 22(7), 653-663 (2011)
特定の態様は、フーリエタイコグラフィ手法を用いるインコヒーレント撮像システムにおける収差補正方法(ACIS方法、aberration correction in incoherent imaging systems)及びこれらの方法を実施するインコヒーレント撮像システム(ACISシステム)に関する。
特定の態様は、収差補正インコヒーレント撮像方法に関するのであり、該方法は、異なる角度からのコヒーレント平面波照明を試料に逐次的に投射している間に試料についての一連のコヒーレント画像を取得するステップであって、コヒーレント画像の各々は角度の1つからコヒーレント平面波照明を試料へともたらしている間に取得される、ステップを含む。方法は、試料から発せられるインコヒーレント光に基づいて試料についてのインコヒーレント画像を取得するステップをさらに含む。方法は、取得された一連の画像を用いて解像度を向上させた画像を構築し及び撮像システムの瞳孔関数を推定するためにエンベデッド瞳孔関数リカバリプロセスを実施するステップをさらに含む。方法は、推定された瞳孔関数に基づいて撮像システムの光学的伝達関数を決定するステップと、デコンボリューションプロセスを用いて取得されたインコヒーレント画像から収差を除去して収差補正インコヒーレント画像を生成するステップとをさらに含む。方法においてデコンボリューションプロセスは、取得された一連の画像を用いて推定された瞳孔関数から決定された撮像システムの光学関数を用いるプロセスである。
特定の態様は、異なる斜めの角度からのコヒーレント平面波照明で試料を逐次的に照らすように構成された可変コヒーレント光源を備える撮像システムに関する。また、システムは、試料に対して第1の波長バンドをもたらすように構成されている励起光源であって、第1の波長バンドは試料内の蛍光色素分子を活性化して第1の蛍光放射セットを伴った光を放射させるように構成されている、励起光源を備える。また、システムは、光学系及び1以上のイメージセンサを備える。光学系は、試料から発せられる光を集光するための集光光学系を有する光学系であって、光学系は励起光源が第1の波長バンドを試料にもたらしている間は放射フィルタを含んでおり、放射フィルタは第1の蛍光放射セットを通過させ及び他の波長を遮断するためのものであり、光学系は光を1以上のイメージセンサへと伝播させるように構成されている。1以上のイメージセンサは、可変コヒーレント光源が試料を異なる斜めの角度からのコヒーレント平面波照明で逐次的に照らしている間に試料についての一連のコヒーレント画像を取得するように構成されており、1以上のイメージセンサは、インコヒーレント照明に基づいて試料についてのインコヒーレント画像を取得するようにさらに構成されている。システムは、1以上のイメージセンサと電気通信可能な、一連のコヒーレント画像及びインコヒーレント画像についての画像データを受信するための1以上のプロセッサをさらに備えている。また、1以上のプロセッサは、エンベデッド瞳孔関数リカバリプロセスをもって解像度を向上させた画像を構築し、及び同時に、エンベデッド瞳孔関数リカバリプロセスを取得された一連のコヒーレント画像についての画像データと共に用いて撮像システムの瞳孔関数を推定するステップを行わせるためのメモリ内に格納された命令を実行するように構成されている。また、1以上のプロセッサは、推定された瞳孔関数に基づいて撮像システムの光学的伝達関数を決定するステップを行わせるためのメモリ内に格納された命令を実行するように構成されている。また、1以上のプロセッサは、デコンボリューションプロセスを用いて取得されたインコヒーレント画像から収差を除去することによって収差補正インコヒーレント画像を生成するステップであって、デコンボリューションプロセスは取得された一連の画像を用いて推定された瞳孔関数から決定された撮像システムの光学関数を用いるプロセスである、ステップを行わせるためのメモリ内に格納された命令を実行するように構成されている。
これら及び他の特徴に関しては、添付の図面を参照しつつ以下詳述する。
添付の図面を参照して本願開示の実施形態を以下説明する。
I. 序論
近時においては、フーリエタイコグラフィ(FP、Fourier ptychographic)手法と共にエンベデッド瞳孔関数リカバリ(EPRY、embedded pupil function recovery)方法が開発されている。標準的なEPRY方法においては、レンズの空間的に変化する収差を特徴付けし、及び、コヒーレント撮像セットアップのためにキャプチャされた画像を演算的に補正する。この標準的なEPRY方法の詳細は非特許文献1〜2に記されており、これらはいずれもその全体が参照によって取り込まれる。また、このEPRY方法の詳細は、特許文献1(発明の名称:フーリエタイコグラフィ撮像装置用のエンベデッド瞳孔関数リカバリ、出願日2014年12月16日)にも記されており、その全体が参照によって取り込まれる。このフーリエタイコグラフィ(FP)手法の詳細は特許文献2(発明の名称:フーリエタイコグラフィ撮像システム・装置・方法、出願日2013年10月28日)及び特許文献3(発明の名称:可変照明フーリエタイコグラフィ撮像装置・システム・方法、出願日:2014年8月22日)に記されており、これらの全体が参照によって取り込まれる。
近時においては、フーリエタイコグラフィ(FP、Fourier ptychographic)手法と共にエンベデッド瞳孔関数リカバリ(EPRY、embedded pupil function recovery)方法が開発されている。標準的なEPRY方法においては、レンズの空間的に変化する収差を特徴付けし、及び、コヒーレント撮像セットアップのためにキャプチャされた画像を演算的に補正する。この標準的なEPRY方法の詳細は非特許文献1〜2に記されており、これらはいずれもその全体が参照によって取り込まれる。また、このEPRY方法の詳細は、特許文献1(発明の名称:フーリエタイコグラフィ撮像装置用のエンベデッド瞳孔関数リカバリ、出願日2014年12月16日)にも記されており、その全体が参照によって取り込まれる。このフーリエタイコグラフィ(FP)手法の詳細は特許文献2(発明の名称:フーリエタイコグラフィ撮像システム・装置・方法、出願日2013年10月28日)及び特許文献3(発明の名称:可変照明フーリエタイコグラフィ撮像装置・システム・方法、出願日:2014年8月22日)に記されており、これらの全体が参照によって取り込まれる。
もっとも、一部の撮像モダリティは、インコヒーレント光を用いて実現される。例えば、生物学者によって良く用いられる蛍光画像法では、サンプルからのインコヒーレント放射が頼りとされる。キャプチャされた蛍光画像内の空間的に変化する収差を補正するために、標準的なEPRY方法を直接的に用いることはできない。なぜならば、標準的なEPRY方法は、主としてコヒーレント撮像システムのために設計されているからである。本願明細書にて説明するACIS方法では、キャプチャされた蛍光画像や他のインコヒーレント画像内の空間的に変化する収差を補正することができる。
特定の態様によれば、ACIS方法は、標準的なEPRY方法で決定された瞳孔関数を用いてインコヒーレント撮像システム内の収差を補正するオペレーションを、FP手法と共に、含む。ACIS方法では、始めに、複数の照明角度(特定の実施形態では一般的に斜めからの角度)からの逐次的な照明を可変コヒーレント光源が提供している間にサンプルについて一連の明視野コヒーレント画像をキャプチャする。また、ACIS方法では、サンプルの視野についての1以上のインコヒーレント画像を取得する。例えば、サンプル内の蛍光色素分子が励起光源によって活性化された際には蛍光放射(信号)を撮像することができる。ACIS方法では、取得された一連の明視野コヒーレント画像をもって、標準的なEPRY方法をFP手法と共に用いて、コヒーレント撮像システムの空間的に変化する収差(一般的には、「瞳孔関数」という。)を特徴付ける。ACIS方法では、コヒーレント撮像システムの瞳孔関数を、蛍光画像からデコンボリューションによって導出できるインコヒーレント光学的伝達関数へと変換して、撮像システムの視野全域にわたって良好に解像された収差補正済み蛍光画像を実現する。
撮像システムの空間的に変化する収差を特徴付けるために、ACIS方法では、FP手法を用いてサンプルの視野についての複素振幅及び位相関数を再構築するのであって、このために位相復元方法を用いて異なる角度からの逐次的な照明にてキャプチャされた一連の明視野原画像を縫い合わせる。図2には、LED配列の1以上の異なるLEDセットから逐次的に異なる照明角度にてコヒーレント照明を提供している間にサンプルの明視野コヒーレント画像のセットをキャプチャするように構成されている例示的な撮像システムが、示されている。
既述のように、ACIS方法はFP手法の枠内にてEPRY方法を実施するものであり(FP−EPRY再構築)、これによって複素サンプル関数(振幅及び位相)を回復するのみならず、コヒーレント撮像システムの瞳孔関数をも決定する。決定された瞳孔関数は、コヒーレント撮像システムのコヒーレント伝達関数でありこれには撮像システムの収差が含まれる。キャプチャされた画像の異なる領域において収差関数が異なり得るが故に、特定の実施形態では、FP−EPRY再構築の前にサンプルのフル視野画像をより小さい領域にタイル分割するのであって、各タイル内の収差が大体同じとなるようにタイル分割する。ACIS方法で撮像システムのインコヒーレント光学的伝達関数(OTF、optical transfer function)を取得するためには、決定された瞳孔関数について、自己との畳み込みを周波数ドメイン内で行うか、又は、空間ドメイン内で絶対値を2乗する。ACIS方法では、サンプル内の蛍光色素分子を例えば励起LED等の励起光源からの励起光で照射することによって、インコヒーレント画像を取得する。上述したのと同様な態様で画像はタイルされ、各タイルは、対応するOTFをもって周波数ドメイン内でデコンボリューションプロセス(例えば、ウィーナーフィルタ)によってデコンボルブされる。
特定の実施形態では、ACIS方法は、撮像システムの視野(FOV、field-of-view)の広範囲にわたって、高解像度のコヒーレント明視野画像及び/又は収差補正蛍光画像を生成することができる。ACIS方法では、フーリエタイコグラフィ(FP、Fourier ptychographic)手法を用いて明視野画像の解像度を向上させることができるのであり、FP手法とは、近時に開発された演算手法であり、角度に関して可変な照明下で取得された一連の画像を処理する手法である。FP手法の詳細は、非特許文献1において論じられており、該文献の全体は参照によって取り込まれる。FP手法では、位相取り出しプロセスにおいてサンプルの視野の位相情報を回復するのであり、また、追加的には、EPRY方法を用いて撮像システムの収差を推定することができる。位相取り出しプロセスに関する一部の詳細は、非特許文献3にあり、該文献の全体は参照によって取り込まれる。撮像システムの収差を推定できる標準的なEPRYプロセスの詳細は、非特許文献2にあり、該文献の全体は参照によって取り込まれる。また、ACIS方法では、同じシステムを用いて蛍光画像をキャプチャすることができ、また、FP−EPRYプロセス中に推定された収差マップを用いてその収差を補正することができる。具体的には、FPプロセスは空間的に変化する瞳孔関数の形でコンプレックス収差マップを出力し、ACIS方法がこれを受けて撮像システムの空間的に変化するインコヒーレント点広がり関数(PSF、point spread function)を算出し、収差除去のための蛍光画像デコンボリューションに用いられる。
物理的なレンズ設計の制約故に、撮像システムは、FOV内の位置によって変化する収差を有している傾向にある。広角FOV撮像装置に関しては、FOV境界付近にて収差がかなりの画質劣化をもたらす。広角FOV撮像装置の例としては、非特許文献4〜8において説明されているFP手法を用いたギガピクセル級イメージング用に設計された顕微鏡が挙げられる。したがって、収差補正は、サンプルの特徴を結像面にわたって解像するために有益であり、このことは非特許文献9において論じられており、該文献の全体が参照によって取り込まれる。上述したように、コヒーレント撮像の枠組みにおけるコンプレックスであり空間的に変化する収差を演算的に考慮するために、標準的なEPRY方法を用いることができる。標準的なEPRY方法の出力としては、サンプルの振幅及び位相についての高分解推定と、撮像システムの瞳孔関数についての推定とが得られる。蛍光イメージングを向上させるために標準的なEPRY方法を直接的に適用することはできない。なぜならば、FP手法及びEPRY方法の双方がコヒーレント撮像枠組みに基づいているからである。換言すれば、蛍光放射がインコヒーレントである故に、角度的に可変な照明に対して直接応答的に放射が変化しない。
特定の実施形態では、ACIS方法は、収差除去プロセスを含んでおり、該プロセスは例えばTikhonov正規化を用いての関連付けられたインコヒーレント点広がり関数(PSF)とのデコンボリューションオペレーションを含んでいる。コヒーレント明視野及び蛍光画像の双方が同じ撮像システムから間髪を入れずに逐次的に取得されており動きは微少であるか無いため、瞳孔関数とインコヒーレントPSFとの間には直接的な関連がある。デコンボリューションオペレーションは、撮像システム内の不完全性に起因する蛍光画像内の収差を補正し、収差補正蛍光画像をもたらす。1つの例では、デコンボリューションオペレーションによって、撮像システムの回折限界に達した収差補正蛍光画像がもたらされる。
ACIS方法のデコンボリューションオペレーションは、サンプル構造に関してのアプリオリな知識を要する超解像デコンボリューション方法とは、異なる。ACIS方法のデコンボリューションオペレーションでは、サンプル構造に関してアプリオリな仮定を設けない。特定の実施形態によれば、ACIS方法では、大きなFOV限度に関して収差補正蛍光画像と高解像度明視野画像とを生成することができる。この機能故に、蛍光タギングされたバクテリアを計数したり、細胞移動ダイナミクスを分析したり、細胞系統を追跡したりする等の用途に際してACIS方法は特に有用となる。
特定の実施形態によれば、ACIS方法では、標準的なEPRY方法及びFP手法のオペレーションを実施することによって、インコヒーレント撮像システム内における収差を特徴付けることができる。標準的なEPRY方法及びFP手法についての詳細は非特許文献1〜2に記載されており、これら文献は全体が参照によって取り込まれる。一般的に述べれば、FP手法では、可変コヒーレント光源からの可変平面波照明下で一連の(低解像度)原画像をキャプチャする。可変コヒーレント光源の例としては、興味対象となるサンプルの後方かなりの距離(例えば、直径2mmのLED素子に関しては80mm離れた所)に設置されたLEDアレイが挙げられる。LEDアレイを用いる実施形態では、N個の異なるLEDについて1個ずつLEDをシステムが点灯し、各照明態様毎に固有の画像をキャプチャすることができる。別の実施形態では、撮像システムは、LEDを固有なパターンで点灯していき、一連の原画像を逐次的にキャプチャする。このような多重化例は特許文献4(発明の名称:多重化されたフーリエタイコグラフィ撮像システム及び方法、出願日:2015年12月4日)に記載されており、該文献の全体が参照によって取り込まれる。薄いサンプルに関しては、可変コヒーレント光源によってもたらされる可変平面波照明が側方方向へシフトするサンプルスペクトル(即ち、複素サンプルについてのフーリエ変換)を生成するのであり、これはACIS撮像システムの集光光学系の後焦点面に生成される。この後焦点面では、(レンズNAに対応する)開口絞りの有限な広がりがローパスフィルタとして機能する。集光光学系として従来的な無限遠補正顕微鏡対物レンズを用いる例においては、開口絞りの広がりがカットオフ空間周波数を規定し、そしてこれが結像面において分解できる最小の構造物を決する。可変平面波照明を介してサンプルスペクトルを側方へシフトすること及び一連のより低解像度原画像を取得することによって、FP取得オペレーションでは、単一の原画像によって与えられるものに比してより広いスペクトルを有する画像を再構築するのに十分な情報を含むデータセットを取得する。
サンプルスペクトルがコンプレックスであり、また、撮像センサシステムは一般に光の強度しか記録しないため、N個の取得されたコヒーレント画像を用いてサンプルスペクトルを集光光学系のバンドパスを超えて拡張することは、直接的でない。逆の問題を解くためにACIS方法では、FP手法を用いて位相回復再構築プロセスを適用することができる。位相回復再構築プロセスの例は、非特許文献10〜11に記されており、位相回復再構築プロセスの例との関係でこれらは参照によって取り込まれる。交互投影に基づく標準的な非線形ソルバー等のソルバーの例は、周知であり、例えば非特許文献12〜14に記されている。特定の実施形態によれば、FP画像取得プロセスでは、サンプルスペクトルの一意的にウインドウ化されたエリアに対応する隣接画像がフーリエドメイン内で所定量オーバーラップするように照明角度を変化させることによって、所定量の冗長性を有する一連のコヒーレント明視野画像を取得する。1つの例では、重複量はフーリエドメイン内で少なくとも約65%である。別の例では、重複量はフーリエドメイン内で少なくとも約70%である。別の例では、重複量はフーリエドメイン内で少なくとも約77%である。別の例では、重複量はフーリエドメイン内で少なくとも約60%である。FP再構築プロセスは位相回復の適用を伴うのであり、これによって絞りバンドパスを拡張する。一部の例では、FP再構築プロセスによって撮像システムのNAを実効的に増大させることができ、照明NAは最大照明角度によって定義される。
ACIS方法は、標準的なEPRY方法を用いて撮像システムの瞳孔関数を決定する。特定の実施形態では、標準的なEPRY方法を用いることによって、ACIS方法を用いて複素サンプル再構築と瞳孔関数を(例えば、並列処理を活用することによって)同時に決定することができる。1つの例では、ACIS方法は、反復的FP更新プロセスを2つのステップに分割する。第1のステップでは、ACIS方法が標準的なEPRYプロセスを実施して、画像データ及び現在瞳孔関数推定を用いて、偶数回目の反復全てについてサンプルスペクトル推定を更新する。第2に、ACIS方法はEPRYプロセスを実施して、画像データ及び現在スペクトル推定を適用して、奇数回目の反復全てについて瞳孔関数推定を更新する。システムのFOVにわたって空間的に変化する収差を考慮するため、キャプチャされた画像はより小さなタイルへとセグメント化される。各タイル内については、収差は空間的に不変であるものとみなすことができる。1つの場合においては、ACIS方法は、全体のサンプルエリアよりも小さいが結像面に投影された場合にセンサのピクセルにして約20×20よりも大きいタイルエリアを、選択するのであり、これによって再構築時における数値的なアーチファクトの緩和が支援される。EPRYプロセスは各タイルに適用され、システムFOVの各タイル領域について固有な収差関数が決定される。
特定の実施形態によれば、ACIS方法は、標準的なEPRY方法を用いて、撮像システムのタイル毎に固有な瞳孔関数を決定する。EPRY方法によって得られたタイル毎に固有な瞳孔関数は、撮像システムのコヒーレント伝達関数についての正確な物理モデルを提供する。ACIS方法は、決定されたタイル毎に固有な瞳孔関数に基づいてインコヒーレント撮像枠組みの収差を、決定する。式1によって、ACIS方法は、インコヒーレント(蛍光)画像PSFを、瞳孔関数のフーリエ変換の絶対値の2乗として決定することができる。
(式1)
ここで、(x,y)は結像面における空間座標を表し、(fx,fy)は絞り平面内の座標を表し(即ち、空間座標のフーリエ共役であり)、hm(x,y)はインコヒーレントPSFであり、Pm(fx,fy)はCTFであり、F−1は逆フーリエ変換演算である。
ここで、(x,y)は結像面における空間座標を表し、(fx,fy)は絞り平面内の座標を表し(即ち、空間座標のフーリエ共役であり)、hm(x,y)はインコヒーレントPSFであり、Pm(fx,fy)はCTFであり、F−1は逆フーリエ変換演算である。
収差除去オペレーションにおいては、ACIS方法は、取得された蛍光画像から収差を除去する。特定の実施形態では、ACIS方法は、FP再構築プロセスにおいて使用されたのと同じタイル割になるように取得された蛍光画像をセグメント化して、EPRYから取得された収差マップが蛍光画像内の同じサブ領域に対応することを確実にする。蛍光画像の第m番目のタイルom(x,y)が撮像システムによって撮像されると、イメージセンサに達する前に、空間的に変化しているかもしれないインコヒーレントPSFたるhm(x,y)によって劣化される。検出された画像強度im(x,y)は、サンプルの背景信号、ショットノイズ及び検出器ノイズから発生するノイズnm(x,y)によってさらに破損される。一般に、撮像プロセスは下記の式2で表される。
(式2)
収差除去オペレーションの目的は、破損した画像信号im(x,y)からオブジェクトom(x,y)を回復することである。フーリエドメイン内では、式2は下記の式3として表される。
(式3)
ここで、Im(fx,fy)、Hm(fx,fy)、Om(fx,fy)及びNm(fx,fy)はそれぞれim(x,y)、Hm(x,y)、Om(x,y)及びNm(x,y)についてのフーリエ変換である。
ここで、Im(fx,fy)、Hm(fx,fy)、Om(fx,fy)及びNm(fx,fy)はそれぞれim(x,y)、Hm(x,y)、Om(x,y)及びNm(x,y)についてのフーリエ変換である。
コヒーレント伝達関数と異なって、光学的伝達関数(OTF、optical transfer function)とも呼ばれるHm(fx,fy)は、数多くの零を自己のバンドパス内に有することができ、バンドパスのエッジ付近においてはその値は極めて低くなる。即ち、これらの空間周波数ではノイズのせいでサンプル情報が失われたり圧倒され得ることをこれは意味する。OTFの性質故に、式3を反転させてOm(fx,fy)について解こうとするのは不良設定問題たり得る。この情報欠損に対応するために様々な反転方法が開発されており、典型的には正規化パラメータにこれらは依存している。ウィーナーデコンボリューション方法は、元のオブジェクト信号Om(fx,fy)についての推定
を決定するのであり、そのために次式に従う:
(式4)
ここで、Gm(fx,fy)は次のように定義される逆フィルタである:
(式5)
ウィーナーデコンボリューション方法の詳細は非特許文献15に記されており、ウィーナーデコンボリューション方法の詳細に関して該文献は参照によって取り込まれる。
を決定するのであり、そのために次式に従う:
ここで、Gm(fx,fy)は次のように定義される逆フィルタである:
ウィーナーデコンボリューション方法の詳細は非特許文献15に記されており、ウィーナーデコンボリューション方法の詳細に関して該文献は参照によって取り込まれる。
Nm(fx,fy)が白色ガウス雑音であると仮定することは合理的であるが、サンプルの空間的分布について幾らかの先験的な知識を有していないとOm(fx,fy)を決することは困難といえる。簡便性のために、|Nm(fx,fy)|2/|Om(fx,fy)|2は定数Kとして設定し、Gm(fx,fy)をTikhonov正規化アルゴリズムに実質的に変換する。定数Kの例は非特許文献16〜17に記されており、定数Kの例に関してこれらの文献は参照によって取り込まれる。Tikhonov正規化アルゴリズムの例は非特許文献18に記されており、アルゴリズムに関して該文献は参照によって取り込まれる。
Kは正規化する作用を発揮するのであり、より小さなKはキャプチャされる画像中のノイズを増幅しつつより鮮明なディテールをもたらすのであり、より大きなKはディテールを犠牲にしつつアルゴリズムをノイズに対してより堅牢なものとする。この値は視覚的に決定されるのであり、デコンボリューションによってバックグラウンドノイズを最小化しつつ最終的画像において回復されるディテールが最大となるようにする。最終的に、元の蛍光オブジェクトについての最終推定は次式によって与えられる:
(式6)
式6は、仮定されたノイズ及びサンプル分布モデルを伴ったTikhonov正規化の後に結果としてもたらされる画像を出力する。高いS/N比について長い露光時間を使って画像がキャプチャされる場面に関しては、ガウスノイズを撮像システムのノイズとすることは合理的な仮定といえる。もっとも、ポアソンノイズが深刻かつ支配的になるフォトン制限的な場面においては、ポアソン撮像プロセスを仮定するRichardson-Lucyデコンボリューション等の最大蓋然性デコンボリューション方法がより適切になる。Richardson-Lucyデコンボリューション演算の詳細は非特許文献19に記されており、Richardson-Lucyデコンボリューション演算に関して該文献は参照によって取り込まれる。ACIS方法は、式6を全てのタイルに適用してフルFOV収差補正蛍光画像を取得する。
特定の実施形態では、ACIS方法は、従来的なEPRY方法を実施して、一連のコヒーレント画像の代わりに、試料についての1つのインコヒーレント画像若しくは一連のインコヒーレント画像を用いることができる。これらの実施形態では、可変照明ソースは、LEDアレイ等の角度可変なコヒーレント放射をもたらすものの代わりに、インコヒーレント放射を複数の波長及び/又は複数の角度で提供するインコヒーレント放射源を含む。これらの具体的な場合においては(インコヒーレントソースについて厳格な条件及び仮定が課されており何らのインコヒーレント照明があってはならないとする)、従来的なEPRY方法は、キャプチャされたシーケンスのインコヒーレント画像をFP−EPRY再構築オペレーションのためのコヒーレント画像入力データへと演算的に処理するオペレーションを、含む。そして、FP−EPRY再構築プロセスでは、位相及び振幅を決定し、また、コヒーレント画像入力データを用いて瞳孔関数を同時に決定することができる。
II. ACIS撮像システム
図1は、幾つかの実施形態による、ACIS方法を実施可能なACIS撮像システム100についてのブロック図である。高い抽象レベルからみれば、ACIS撮像システム100は、異なる照明角度からサンプルを照射して一連の明視野原画像をキャプチャするように構成されているかそのように構成可能とされているのであり、また、サンプルからの蛍光放射等のインコヒーレント光に基づいてサンプルのFOVの1以上の原画像をキャプチャするように構成されているかそのように構成可能とされる。例えば、ACIS撮像システム100は、次のように構成されているか同じように構成可能とされる:励起光をサンプルに照射して、蛍光放射を生成するサンプル内の蛍光色素分子を活性化して、蛍光放射の測定に基づいてサンプルのFOVの1以上の蛍光画像をキャプチャする。図示されているACIS撮像システム100のコンポーネント間通信は、有線形式及び/又は無線形式とすることができる。
図1は、幾つかの実施形態による、ACIS方法を実施可能なACIS撮像システム100についてのブロック図である。高い抽象レベルからみれば、ACIS撮像システム100は、異なる照明角度からサンプルを照射して一連の明視野原画像をキャプチャするように構成されているかそのように構成可能とされているのであり、また、サンプルからの蛍光放射等のインコヒーレント光に基づいてサンプルのFOVの1以上の原画像をキャプチャするように構成されているかそのように構成可能とされる。例えば、ACIS撮像システム100は、次のように構成されているか同じように構成可能とされる:励起光をサンプルに照射して、蛍光放射を生成するサンプル内の蛍光色素分子を活性化して、蛍光放射の測定に基づいてサンプルのFOVの1以上の蛍光画像をキャプチャする。図示されているACIS撮像システム100のコンポーネント間通信は、有線形式及び/又は無線形式とすることができる。
特定の実施形態では、ACIS撮像システムによって撮像される領域は、より小さな領域又はタイルに分割される。ACIS撮像システムは、複数のタイルを並列的に処理するための並列処理機能を含むことができる。例えば、ACIS撮像システム100は、各タイルのコヒーレント原画像を処理して、複数のタイルについて並列的に位相及び振幅データ並びに瞳孔関数を再構築することができる。また、ACIS撮像システム100は、各タイルの原画像を処理して、複数のタイルについて並列的に収差補正インコヒーレント(蛍光)画像を生成することができる。
図1に戻るに、ACIS撮像システム100は、照明システム102、光学系106、及びイメージセンサシステム108を含む。コントローラ110は、メモリ内に格納された命令及び/又はACIS撮像システム100のオペレーションによって提供された命令に基づいて、ACIS撮像システム100のオペレーションを制御する。コントローラ110はイメージセンサシステム108と電気的に通信可能であり、イメージセンサシステム108からの原画像データを受信可能である。(点線によって示されているように)随意的には、コントローラ110は照明システム102と電気的に通信可能であり、当該システムからの照明を制御可能であり、例えば、イメージセンサシステム108による原画像(明視野及び/又は蛍光画像)取得に際して照明が露光時間と同期するようにできる。コントローラ110又は別のプロセッサが、照明システム102の光源からの照明を制御するのであり、例えば、様々な画像取得露光場面において特定の時刻について特定の期間にわたって、選択的に通電したり、或いは特定の光源若しくは光源の特定のサブセットのみを通電することによって様々な照明パターンを生じさせたりすることができる。幾つかの実施形態では、ACIS撮像方法の一部として行われるオペレーション等の原画像データに対しての処理オペレーションを行わせる命令を実行するように、コントローラ110はさらに構成されている。
イメージセンサシステム108は光学系106と通信可能であり、光学系106からの光を受信でき、また、原画像をキャプチャすることができ、各原画像は露光時間をかけてキャプチャされる。照明システム102は光学系106と通信可能であり、被撮像サンプルに対して照明を提供することができ、サンプルによって散乱された光又は他の態様でサンプルから発せられる光が光学系106を通じてイメージセンサシステム108へと伝播されるのであり、そこにて原画像がキャプチャされる。
特定の実施形態では、照明システム102は、異なる照明角度から照明を逐次的にサンプルにもたらすための可変コヒーレント照明源と、サンプル内の蛍光色素分子を活性化するための励起光を提供するための励起光システムとを含む。可変コヒーレント照明源からの照明がサンプルにもたらされると、サンプルによって散乱された光又は他の態様でサンプルから発せられる光が光学系106を通じてイメージセンサシステム108へと伝播されるのであり、そこにて明視野原画像がキャプチャされる。励起光源からの照明がサンプルにもたらされると、活性化のための光を受光したことに応答してサンプル内の蛍光色素分子が光りを放出(放射)するのであり、蛍光放射は光学系106を通じてイメージセンサシステム108へと伝播されるのであり、そこにて蛍光画像が露光時間中にキャプチャされる。特定の実施形態では、異なる波長の励起光による照明が施されている間に複数の蛍光画像がキャプチャされる。
明視野画像取得時においては、可変コヒーレント照明源によって生成された光が、異なる照明角度からサンプルを逐次的に照らす。光がサンプルを通過するに際して、サンプルに入射する光がサンプルの物理的な構造によって散乱される。蛍光画像取得時においては、サンプル内の蛍光色素分子(例えば、特殊なタンパク質)を励起する特定の波長の励起光を励起光源にて生成得する。蛍光画像取得プロセスにおいては、入射した励起光が蛍光色素分子にエネルギーを与えるのであり、蛍光色素分子が光をより低いエネルギーの波長で放射する。散乱光又は放射光の一部が光学系106の集光光学系(レンズ又はレンズのセット)へと通過する。光学系106の集束光学系がサンプルからの散乱光又は放射光をイメージセンサシステム108の1以上のイメージセンサに集束させる。
イメージセンサシステム108は1以上のイメージセンサを有している。特定の実施形態によれば、イメージセンサは、光をキャプチャして、イメージセンサの特定位置にて受光された光の強度を表すイメージデータを含むデータ信号を出力するように構成されている(本願においては、「光強度分布」、「強度分布」、又は単に「イメージ」若しくは「イメージフレーム」ともいう。)。各イメージセンサによって出力された画像データは、例えばコントローラ等のプロセッサへと転送(或いは「送信」若しくは「伝達」)される。ACISシステムのイメージセンサは、明視野画像取得プロセス中にN個の明視野強度原画像からなるシーケンスを取得することができ、また、1以上のインコヒーレント(蛍光)画像を各インコヒーレント(蛍光)画像取得プロセス中に取得することができる。各イメージセンサは、露光時間中にイメージセンサのセンシングエリアに入射した光の強度分布を測定することによって原画像を取得する。適切なイメージセンサの例としては、CMOSセンサ、電荷結合素子(CCD)、及び、他の類似の撮像装置が挙げられる。1つの例では、イメージセンサは、Prosilica GX6600イメージセンサ等のピクセルサイズが5.5μmであるCCDである。特定の実施形態では、ACISシステム内の1以上のイメージセンサは単色光検出器である。
コントローラ110は、自己の明視野及びインコヒーレント(蛍光)画像取得プロセスからの原画像データを解釈及び処理して処理済み画像データを生成するように構成されている。幾つかの実施形態では、コントローラ110は、一連の明視野強度画像の原画像データに対してFP処理オペレーションを行うように構成されているかユーザによってそのように構成できるようにされている。これらの場合においては、コントローラ110は、取得された一連の明視野強度画像からの画像データを解釈して、比較的低解像度な画像データフレームをフーリエ空間へと変換し、変換された原画像データを組み合わせて、振幅及び位相データを再構築するのであり、サンプルのFOVについて単一の高解像度画像がもたらされる。幾つかの場合では、コントローラ110は、振幅及び位相データを用いてACIS撮像システム100についての収差を決定する。また、一般的には、コントローラ110は、各画像取得プロセス中にキャプチャされたインコヒーレント画像からの原画像データを解釈及び処理して収差補正インコヒーレント画像を生成する機能を有している。
特定の実施形態によれば、コントローラ110は並列画像処理を行うことができるのであり、例えば、複数のタイルについて並列で位相及び振幅データを再構築するためにFP手法を用いて複数のタイル画像を処理する場合にそのような処理をなし得る。並列画像処理を行うために、一般にコントローラ110は、少なくとも1つのプロセッサ(或いは「処理ユニット」)を含む。プロセッサの例としては、以下のものがある:1以上の汎用プロセッサ(CPU)、特定用途向け集積回路(ASIC)、FPGA等のプログラマブルロジック装置(PLD)、又は1以上のCPU、ASIC、PLD、メモリ、様々なインターフェースを含むシステムオンチップ(SoC)。コントローラ110は、少なくとも1つの内部メモリ装置と通信可能でもある。内部メモリ装置120は、画像データに対して様々なアルゴリズム又はオペレーションを遂行するための本願にて説明された様々な機能やオペレーションを行うためにプロセッサによって読み出されるプロセッサ実行可能コード(或いは「命令」)を格納するための不揮発性メモリアレイを、含むことができる。内部メモリ装置120は、rawな画像データ及び/又は処理された画像データ(これには、FP再構築された画像及び収差補正蛍光画像が含まれる)を格納することができる。幾つかの実施形態では、内部メモリ装置120又は別個のメモリ装置は、実行されるべきコードや処理・格納・表示されるべき画像データを一時的に格納するための揮発性メモリアレイを追加的に又は代替的に含むことができる。幾つかの実施形態では、コントローラ110それ自体が揮発性メモリや一部の場合においては不揮発性メモリを含むことができる。
幾つかの実施形態では、コントローラ110は原画像データ又は処理済み画像データを(例えばFP画像処理後に)通信インターフェース112を介してディスプレイ114で表示するために出力するように構成されているかユーザによってそのように構成できるようにされている。幾つかの実施形態では、コントローラ110は原画像データや処理済み画像データを(例えばFP画像処理後に)通信インターフェース116を介して外部コンピューティング装置又はシステム118へと出力するように構成されているかユーザによってそのように構成できるようにされている。実際、幾つかの実施形態では、1以上のACISオペレーションを、このような外部コンピューティング装置118にて行うことができる。幾つかの実施形態では、コントローラ110は原画像データや処理済み画像データを通信インターフェース122を介して外部メモリ装置又はシステム124にて格納するために出力するように構成されているかユーザによってそのように構成できるようにされている。幾つかの実施形態では、コントローラ110は原画像データや処理済み画像データを(例えばFP画像処理後に)ネットワーク通信インターフェース126へと出力してそれによって外部ネットワーク128(例えば、有線又は無線ネットワーク)へ伝達するように構成されているかユーザによってそのように構成できるようにされている。ネットワーク通信インターフェース126は、ソフトウェア更新やファームウェア更新やコントローラ110によってダウンロードされるべき他のデータ等の情報を受信するためにも、用いることができる。幾つかの実施形態では、ACIS撮像システム100は、例えば様々なUSBインターフェースや他の通信インターフェース等の1以上の他のインターフェースをさらに含む。このような追加的インターフェースは、例えば、有線キーボードやマウス等の様々な周辺機器や入出力(I/O)装置を接続するために用いたり、又は、様々な無線によって実現される周辺機器を無線で接続するためのドングルを接続するために用いたりすることができる。このような追加的インターフェースには、例えばリボンケーブルに接続するためのインターフェース等のシリアルインターフェースを含めることができる。1以上の可変コヒーレント照明源、インコヒーレント照明源、及びイメージセンサシステム108をコントローラ110と通信できるようにするために電気的に結合することが可能であることに留意されたいのであり、該通信は、例えばUSBインターフェースやケーブル、リボンケーブル、イーサネットケーブル、或いは他の適切なインターフェースやケーブル等の1以上の種類の適切なインターフェースやケーブル上で、なされることができる。
イメージセンサシステム108のイメージセンサによって出力されるデータ信号は、幾つかの実施形態では、コントローラ110へと伝達される前に、マルチプレクサ、シリアライザ又はイメージセンサシステムの他の電気的コンポーネントによって多重化、直列化、又は他の態様で組み合わされることができる。特定の実施形態では、コントローラ110は、画像フレームがコントローラ110によって並列的に処理できるようにするために各イメージセンサからの画像データを分離するための、又は、各タイルの一連の明視野画像フレームがコントローラ110によって並列的に処理できるようにするために各タイルの画像データを分離するためのデマルチプレクサ、デシリアライザ又は他の装置若しくはコンポーネントをさらに含むことができる。
ACIS撮像システムは照明システムを含むのであり、該照明システムは一般に可変コヒーレント照明源を含むのであり、該照明源は次のように構成されているかそのように構成可能とされているコンポーネントを有している:撮像されるサンプルに対して、複数たるN通りの照明角度から逐次的に(即ち、異なる画像取得時刻において)コヒーレント照明(例えば、平面波照明)をもたらすこと。Nは典型的には、2から1000の範囲内の値を取る。1つの場合では、N=100である。別の場合では、N=200である。別の場合では、Nは2〜100の範囲内の値を取る。別の場合では、Nは2〜200の範囲内の値を取る。別の場合では、Nは100〜200の範囲内の値を取る。個別に番地指定可能な光源間のピッチは、例えば、1mm、2mm、3mm、4mm、5mm等とすることができる。一般的には、可変コヒーレント照明源は、斜めの照明をもたらすように設計されている。
特定の実施形態では、コヒーレント照明源は、個別的に番地指定可能なコヒーレント光源のアレイを含む。1つの実施形態では、可変コヒーレント照明源はLED(発光ダイオード)アレイであり、各光源は1以上のLEDを含む。典型的には、コヒーレント光源は可視光を提供する。可視光を提供することのできるコヒーレント光源の例としては、LCD(液晶ディスプレイ)のピクセルやLEDが挙げられる。個別的に番地指定可能なコヒーレント光源のアレイを有する可変コヒーレント照明源を伴う実施形態では、光源は様々な配列に配されていることができ、例えば、線状アレイ、矩形アレイ(1×9アレイ、3×6アレイ、10×10アレイ、15×15アレイ、32×32アレイ、100×100アレイ、50×10アレイ、20×60アレイ、又は他の2次元アレイ)、1以上の同心円(リング配列)、六角形アレイ、曲線アレイ、又は複数の照明角度からコヒーレント照明をもたらし得る他の適切な配列とすることができる。特定の実施形態では、個別的に番地指定可能なコヒーレント光源の総数に対してのサブセットを用いて明視野画像取得プロセスを行う。
可変コヒーレント照明源は、異なる角度のコヒーレント照明を逐次的にもたらすように構成されている。異なる照明角度からの照明を用いてキャプチャされた一連の画像からの画像データは、フーリエ空間内で重複している領域に対応する。一部の場合においては、可変コヒーレント照明源は、フーリエ空間に関して、重複面積が所定の下限量に少なくとも達するような画像データについての隣接領域間での重複エリアをもたらす照明角度を有する照明を、提供する(例えば、65%重複、75%重複、70%重複、80%重複、10%〜65%の範囲内の重複、65%〜75%の範囲内の重複等)。このようなフーリエ空間内における隣接領域間での最低限重複量をもたらすためには、隣接する照明角度間の差が所定の最大角度差未満となるように可変コヒーレント照明源を構成することができる。例えば、最大角度差は、例えば約(sin^−1(0.65*NA)=0.065rad、NA=0.1の場合)radとすることができる。別の場合では、最大角度差は、NA=0.5の場合、約0.33とすることができる。
本願にて説明した例は典型的には、可視光を提供する可変コヒーレント照明源を論じるものの、本願開示はそこまで限定されるものではない。例えば、他の放射源を用いることができる。例えば、X線放射が用いられる場合、可変コヒーレント照明源はX線管と金属ターゲットとを備えることができる。別の例としては、マイクロ波放射を用いる場合があり、この場合可変コヒーレント照明源は真空管とすることができる。別の例としては、音響放射を用いる場合があり、この場合可変コヒーレント照明源は音響アクチュエータとすることができる。別の例としては、テラヘルツ放射を用いる場合があり、この場合可変コヒーレント照明源はGunnダイオードとすることができる。当業者は他の放射源を想起することもできる。テラヘルツ放射を用いる場合では、可変コヒーレント照明源によって提供される放射の周波数は約0.3〜3THzの範囲内とすることができる。マイクロ波放射を用いる1つの場合では、可変コヒーレント照明源によって提供される放射の周波数は約100MHz〜300GHzの範囲内とすることができる。X線放射を用いる1つの場合では、可変コヒーレント照明源によって提供される放射の波長は約0.01〜10nmの範囲内とすることができる。音響放射を用いる1つの場合では、可変コヒーレント照明源によって提供される放射の周波数は約10Hz〜100MHzの範囲内とすることができる。音響放射関係の実施形態については、集束光学系及び撮像装置としては、音響ビームを集束させるための水中に配置されたアルミニウムの凹レンズや波面を測定するためのトランスデューサが含まれ得る。
特定の実施形態では、異なる光源からのコヒーレント照明の特性(例えば、波長、周波数、位相、振幅、極性等)が実質的に均質である。他の場合、異なる取得時刻に応じて波長が変化し得る。例えば、可変コヒーレント照明源は、異なる取得時刻において3つの波長(λ1,λ2,λ3)からなるRGB照明を提供し得るのであり、それぞれが赤色、緑色、ブルー色に対応する。可変コヒーレント照明源の光源によって提供される照明の周波数範囲は放射の種類に依存する。テラヘルツ放射を用いる例では、可変コヒーレント照明源によって提供される放射の周波数は約0.3〜3THzの範囲内にあって良い。マイクロ波放射を用いる例では、可変コヒーレント照明源によって提供される放射の周波数は約100MHz〜300GHzの範囲内にあって良い。X線放射を用いる例では、可変コヒーレント照明源によって提供される放射の波長は約0.01〜10nmの範囲内にあって良い。音響放射を用いる例では、可変コヒーレント照明源によって提供される放射の周波数は約10Hz〜100MHzの範囲内にあって良い。
ACIS撮像システムの照明システムは、サンプルのFOVについての1以上のインコヒーレント原画像を生成するために用いられるインコヒーレント光のソースを含む。例えば、照明システムは励起光システムを含むことができ、該励起光システムはサンプル内の蛍光色素分子を活性化してインコヒーレント蛍光(放射)を放出させるための励起光を提供するように構成されたか構成可能なものである。マルチカラー(マルチバンド)蛍光撮像の例に関しては、各励起光システムは1以上の光源からなるセットを複数有しており、各セットは撮像される複数のバンドについてのあるバンド(波長又は波長に関しての範囲)のための励起光を提供するためのものである。幾つかの場合においては、励起光システムの各光源は、1以上の(例えば、高出力LED等の)高出力光源と、ある範囲内の波長の励起光を通過させ他の波長を遮断するための励起フィルタとを含む。1つの例では、6個の高出力LEDが用いられる。1つの例では、1個の高出力LEDが用いられる。単色(単バンド)蛍光撮像の場合、励起光システムは、高出力光源(例えばLED)と特定範囲の波長の励起光を通過させかつ他の波長を遮断するための励起フィルタとを有する少なくとも1つの高出力蛍光照明源を有している。マルチバンド(マルチチャンネル)蛍光撮像の場合、励起光システムは、蛍光チャンネルの個数に等しい個数の、高出力光源とフィルタとのセットを有している。各蛍光チャンネル毎に異なる高出力蛍光照明源が用いられる。各高出力蛍光照明源は、異なる取得時刻に照射されるのであり、各チャンネル毎に単色蛍光画像が別個に取得される。プロセッサによって、単色蛍光画像をカラー蛍光画像に変換するための命令を実施することができる。マルチカラー実施形態では、複数色蛍光撮像からの画像データを重ね合わせることによってマルチカラー蛍光画像をプロセッサに生成させることができる。例えば、ブルー蛍光画像と緑蛍光画像とからの画像データを重ね合わせることによってブルー-緑蛍光画像をプロセッサに生成させることができる。
特定の実施形態によれば、蛍光撮像を伴う例においては、励起光を提供するための励起光源がサンプルの側方に配置されている。この側方配置によって、側方からサンプルへと直接的に励起光を励起光源が照射することができ、コヒーレント光源からの光路を遮蔽する。一般に、サンプルの中央に向かって励起光源を傾けられるように励起光源が構成されているか、そのように構成可能である。
ACISシステム100は光学系106を有するのであり、該光学系はサンプルから発せられた光を1以上のイメージセンサへと伝播させる1以上のレンズを一般的に有している。1つの実施形態では、光学系106は集光光学系と、絞りと、フィルタと、集束レンズとを含む。
本願にて説明した例は徹照モードで動作する可変コヒーレント光源への言及を伴うが、他の例では落射照明モード、徹照モード、又は落射照明モード及び徹照モードの両モードを適用することができる。落射照明モードで作動するためには、可変コヒーレント光源は典型的には、サンプルとの関係では、光学システムの集光光学素子が配置されている側と同じ側に配置されている。徹照モードで動作するためには、可変コヒーレント光源は典型的には、サンプルとの関係では、光学システムの集光光学素子が配置されている側とは反対側に配置されている。
図2は実施形態による例示的なACISシステム200の概略図であり、該システムは統合型FP−蛍光撮像のためのACIS方法を実施するように構成されている。ACIS撮像システム200のコンポーネントは、図1に示したACIS撮像システム100との関係で説明したものと類似している。
ACIS撮像システム200は照明システムを含むのであり、該照明システムは2つの照明源を備えるのであり、それぞれが1つの撮像モダリティに該当するのであり、LEDアレイ210としての可変コヒーレント光源及び励起光源220(例えば、1以上のLEDとフィルタ)が含まれる。励起光源220はサンプル201の横方向の側方に配置されており、励起光を集光光学系230から離れるように向けられており、これによって直接的な励起光の受光を回避している。LEDアレイ210は、2次元の32×32配列とされた225個の個別的に番地指定可能なLED212からなるものであり、明視野画像取得プロセスにおいては15×15のセグメント(図示されている)のみを使用して225個の画像をキャプチャする。他の例では、LEDアレイ210のより大きい又はより小さいセグメントを使うことができる。個別的に番地指定可能なLED212間のピッチは、例えば、1mm、2mm、3mm、4mm、5mm等とすることができる。撮像システム200は、試料201を受け入れるためのレセプタクル225をも備えている。図2に示されている時点において、即ち明視野画像取得プロセス中に単一のLED212が照射される。LEDアレイ210には256個のLEDがあるも、簡略化のため、図中においては、矢印が1つのLED212に伸びており、これが照らされており、コヒーレント光214をサンプル201へと提供している。
ACIS撮像システム200は光学系をも含んでおり、該光学系は(例えば、カメラレンズ等の)集光光学系230を備えており、これは少なくとも1つのレンズと、光学配置の後焦点面にある絞り240と、フィルタ250と、(例えば、チューブレンズ等の)集束光学系260とを有している。フィルタ250が図示されているも、一般的には、蛍光撮像プロセス中又は蛍光放射と同じカラーチャンネルにおける明視野撮像プロセス中においてのみフィルタ250を含める。フィルタ250は、撮像されている蛍光放射についての1以上の波長範囲を実質的に通過させ、また、励起光源220からの励起光を実質的に遮断するように構成されている。また、ACIS撮像システム200は、光学系を介して伝播された光に基づいた原画像をキャプチャするためのイメージセンサ270を有するイメージセンサシステムを、含む。
図2に示されている時点において、単一のLED212が照らされており、コヒーレント光214をサンプル201に提供している。サンプル201に入射する光が、サンプル201を通過していく過程で、サンプル201の物理的な構造によって散乱される。集光光学系230はサンプル201を通過する光を受光する。絞り240は集光光学系230によって伝播された光を受光し、瞳孔エリアに入射した光を通過させる。瞳孔エリア付近の絞り240のエリアに入射した光は実質的に遮断される。蛍光画像取得プロセス中であるか、蛍光放射と同じカラーチャンネルについて明視野撮像プロセス中である場合にはフィルタ250は定位置についており、これらの場合、フィルタ250は絞り240からの光を受光し、撮像されている蛍光放射の1以上の範囲を通過させ、他の波長を遮断する。集束光学系260はフィルタ250が定位置にあるか絞り240によって通された場合にフィルタ250によって通された入射光を受光し、光をイメージセンサ270に合焦させる。
蛍光画像取得プロセスでは、励起光源220を有効化して励起光を提供する。マルチバンドの場合、励起光源220は異なる時刻に有効化されるのであり、複数の蛍光画像をキャプチャするために異なる範囲の波長の励起光を提供する。サンプル201に入射する励起光は蛍光色素分子を活性化して蛍光放射を生成する。サンプル201を通過する光及びサンプル201内の活性化された蛍光色素分子からの蛍光放射を集光光学系230が受光する。絞り240は集光光学系230によって伝播された光を受光し、瞳孔エリアに入射した光を通過させる。瞳孔エリア付近の絞り240のエリアに入射した光は実質的に遮断される。フィルタ250は光を受光し、蛍光放射を通過させ、他の波長を遮断する。集束光学系260はフィルタ250によって通された蛍光放射を受光し、蛍光放射をイメージセンサ270へと合焦させるのであり、これが撮像されている各バンドについての蛍光画像をキャプチャする。
ACISシステムの集光光学系(例えば、カメラレンズ)は、一般的に1以上レンズを備えており、サンプルによって散乱されたかサンプルから発せられる光を集光するように設計されている。例えば、集光光学系は、f=50mmのニコン(登録商標)レンズを備えることができる(例えば、f/1.8D AF Nikkor(登録商標))。別の例としては、集光光学系は:4xのオリンパス(登録商標)Plan Achromat対物レンズ、0.10NA;CFI Plan Achromatの10x対物レンズ、NA0.25;Valumaxの対物レンズ5x、0.10NA等とすることができる。
ACISシステムの特定の実施形態では、絞りが光学系の集光光学系の後焦点面に配置されている。絞りとは、円形アパチュアであって直径を調節して光学系によって集光される光量を制限するためのものである。直径を減じて光りの外側領域を遮断することは、集光光学系のNAを減じることと等価であり、空間周波数に関してサンプルの高周波情報を遮断することを意味する。ACIS方法の用途との関係で検出された画像においてエイリアシングを防止する等のために、撮像システムのNAを正確に定義することをユーザが望んでいる場合、絞りを配置することは有用である。絞りのサイズ及び形状を制御するためには異なる方法がある。1つの例では、機械式絞りを使うことができ、この場合直径はスライダ(例えば、リングによって作動されるThorlabs社のSM2絞りダイアフラム)で調整することができる。別の例では、絞りを透過性の液晶ディスプレイ(LCD)とすることができ、ピクセル要素のコントラストを調整してアパチュアを作出できる。絞りシステムの別の例としては、光をSLM又はDMDへと導いて、SLM又はDMDの異なる要素をアクティベートすることによってビームの一部のみをシステムの光路に反射で戻す、という構成もある。LCD、SLM、DMDを用いる場合には、絞りの形状は円形に限定されない。なぜならば、任意の離散的な形状をこれらのディスプレイに表示することができ、したがって形状及びサイズはユーザの所望に従って定義できるからである。
特定の実施形態では、絞りとACISシステムの光学系の集束光学系との間の光路内にフィルタが配置されている。フィルタは、ACISシステムによって撮像されている蛍光放射を通過させ、及び、他の波長を遮断するように設計された放射フィルタである。幾つかの場合では、フィルタは、単一の波長範囲内にある光のみ通過させるシングルバンドパスフィルタである。他の場合においては、フィルタは、複数の波長範囲を通過させるマルチバンドフィルタである。フィルタは吸収性フィルタ又は干渉フィルタ(ダイクロイックフィルタ)であることができる。吸収性フィルタは、所望の波長を通過させるが他の波長を吸収する基材で作る。干渉フィルタは、異なる屈折率の層が複数コーティングされたものであり、所望の波長に対しては建設的干渉を起こして通過を可能としつつ不要の波長に対しては相殺的干渉を起こして反射によって拒絶する。ダイクロイックフィルタの例を挙げる:Thorlabs 社のFITC Dichroic Filter MD499、Edmundoptics 社の50mm Square Blue Dichroic Filter。
特定の実施形態では、ACISシステムの光学系は、光学系のフィルタ及び/又は絞りから入射する光を受光できるように配置された集束光学系を有しており、これによって光をイメージセンサへと合焦させる。集束光学系は1以上のレンズを有する。1つの例では、集束光学系はチューブレンズ(例えば、Thorlabs ITL200 tube lens等のf=200mmのチューブレンズ)を含む。
ACIS撮像システム200はACIS撮像方法を実施するのであり、該方法は、明視野画像取得プロセスと蛍光画像取得プロセスとを含む。明視野FP画像取得プロセス中においては、LEDアレイ210が1以上のLEDからなる固有なセットを点灯させて、斜めの角度からのコヒーレント照明をもって異なる照明角度から逐次的にサンプル201を照らす。それぞれの取得時刻において、LEDアレイ210は1以上のLEDからなる固有なセットを点灯させて、露光時間中においてサンプル201を照らすのであり、イメージセンサ270が単一の明視野画像をキャプチャする。1つの態様では、単一のLEDを、各露光時間において点灯させる。別の態様では、固有なパターンに配した複数のLEDを各露光時間において点灯させる。サンプル201に入射する光が、サンプル201を通過していく過程で、サンプル201の物理的な構造によって散乱される。明視野FP画像取得プロセス中においては、ACIS撮像システム200の光学系を介して伝播された光に基づいて、イメージセンサ270が一連の明視野原画像をキャプチャする。蛍光画像取得プロセス中においては、ACIS撮像システム200が励起光220をサンプル201へと提供する。サンプル201に入射した励起光は、蛍光色素分子を活性化させて蛍光放射を生成する。蛍光画像取得プロセス中においては、ACIS撮像システム200の光学系を介して伝播された蛍光放射に基づいて、イメージセンサ270が1以上の蛍光原画像をキャプチャする。
III. ACIS撮像方法
本願にて説明したACIS撮像システム(例えば、図1及び図2のACIS撮像システム100及び200)はFOVに関してコヒーレント画像取得及びインコヒーレント画像取得を行い得る。コヒーレント画像は、インコヒーレント画像とは異なる時刻に取得される。幾つかの実施形態では、撮像されるFOVがタイルに分割されてACIS撮像システムが複数のタイル画像に関して画像データを処理する。1つの例では、ACIS撮像システムは、複数のタイル画像について並列的に画像データを処理できる複数のプロセッサを含む。一般に、画像(サンプル)取得時刻とは、1以上のイメージセンサの露光時間中の時刻を指しており、光の強度分布を測定してFOVの強度原画像をキャプチャする。
本願にて説明したACIS撮像システム(例えば、図1及び図2のACIS撮像システム100及び200)はFOVに関してコヒーレント画像取得及びインコヒーレント画像取得を行い得る。コヒーレント画像は、インコヒーレント画像とは異なる時刻に取得される。幾つかの実施形態では、撮像されるFOVがタイルに分割されてACIS撮像システムが複数のタイル画像に関して画像データを処理する。1つの例では、ACIS撮像システムは、複数のタイル画像について並列的に画像データを処理できる複数のプロセッサを含む。一般に、画像(サンプル)取得時刻とは、1以上のイメージセンサの露光時間中の時刻を指しており、光の強度分布を測定してFOVの強度原画像をキャプチャする。
ACIS方法は一般的にコヒーレント画像取得プロセスとインコヒーレント画像プロセスとを含む。特定の実施形態では、コヒーレント画像取得プロセスは、異なる照明角度からの逐次的な照射中になされる一連の明視野輝度原画像を取得するためのオペレーションを含み、インコヒーレント画像取得プロセスは、1以上の蛍光画像を取得するためのオペレーションを含む。マルチバンドの実施形態では、異なる波長範囲と関連付けられた複数の蛍光画像が取得される。
図3は、本願にて実施形態との関係で説明するACIS撮像システムによって実施可能な例示的ACIS撮像方法に関しての単一の撮像過程のオペレーションを示すフローチャート300を表している。オペレーション310でACIS撮像方法が開始される。ACIS撮像方法はコヒーレント画像取得プロセスとインコヒーレント画像プロセスとを含む。
オペレーション320では、ACIS撮像方法が、コヒーレント画像取得プロセスを行って、撮像される試料のFOV領域についての一連のコヒーレント原画像を取得する。可変コヒーレント照明源がN個の照明角度からコヒーレント照明を逐次的に撮像中の試料に対して提供している間に、一連のコヒーレント原画像が1以上のイメージセンサによって逐次的にキャプチャされる。各コヒーレント原画像は、露光時間中に光りの強度分布を測定することによって取得される。
オペレーション320では、N個の照明角度からの平面波照明を伴って可変コヒーレント光源(例えば、LEDアレイ)が逐次的に試料を照らす。1つの例では、可変照明源の独立的に制御可能な個別的発光素子(例えば、LED)の点灯の順序を規定する照射指示に基づいて可変コヒーレント光源は、逐次的な照明を提供する。ACISシステムの光学系は、試料から発せられる光を集光して、それを1以上のイメージセンサへと伝播させる。N個の照明角度に関してなされる逐次的な照射中においては、1以上のイメージセンサが、異なる照明角度に関連付けられているN個の一意的に照らされた強度測定(画像)についての画像データを取得する。1以上のイメージセンサは、一連のコヒーレント画像についての画像データを有する信号をプロセッサへと送る。
特定の実施形態では、ACISシステムの光学系は、集光光学系と、絞りと、放射フィルタと、集束光学系とを有する。この例としては、図2に示したACISシステム200が挙げられる。集光光学系は、試料によって散乱された光又は試料から他の態様で発せられている光を集光するように構成された1以上のレンズを有しており、集光は、可変コヒーレント光源で試料が照らされている間又は励起光源によって試料が照らされている間になされる。絞りは、集光光学系によって絞りの中心領域を介して伝播された光を通すように、及び他の光を遮断するように構成されている。また、光学系は、絞りを通過した光を受光するように構成された放射フィルタを有する。放射フィルタは、励起光によって活性化された蛍光色素分子からの蛍光放射を通過させ、及び、励起光を遮断するように設計されている。また、光学系は、絞り及び/又はフィルタから1以上のイメージセンサへと伝播された光を受光するための集光光学系を、有している。集光光学系は、そのNA内の入射角の範囲内の光を通過させる。絞りは、その中心領域内の光を通過させるのであって、絞りの物理的な寸法が故に、集光光学系によって通された入射角の範囲に対して更なる制限を加える場合がある。フーリエ空間内においては、集光光学系及び/又は絞りのフィルタリング機能は、一部の場合においては、円形瞳孔として表されることができ、ここで半径はNA×k0であり、k0=2π/λでありこれが真空中の波数である。1つの場合では、可変コヒーレント光源からのコヒーレント照明は、放射フィルタによって通される波長の範囲内にある。この場合、放射フィルタは、コヒーレント画像取得プロセス中に外される必要は無い。他の場合、放射フィルタは外される。
一般にACIS方法は一連のコヒーレント画像を取得するためのコヒーレント画像取得プロセスを含むが、特定の実施形態では代わりに一連のインコヒーレント画像を取得することができる。これらの実施形態では、ACIS方法は従来的なEPRY方法を実施して一連のコヒーレント画像の代わりに試料についての1つ又は一連のインコヒーレント画像を用いることができる。これらの実施形態では、可変照明源は、LEDアレイ等からの角度に変化が設けられたコヒーレントラジエーションの代わりに、複数の波長にて及び/又は複数の角度にてインコヒーレントラジエーションをもたらすインコヒーレントラジエーション源を、含む。これらの具体的な場合においては(インコヒーレントソースについて厳格な条件及び仮定が課されており何らのインコヒーレント照明があってはならないとする)、従来的なEPRY方法は、キャプチャされたシーケンスのインコヒーレント画像をFP−EPRY再構築オペレーションのためのコヒーレント画像入力データへと演算的に処理するオペレーションを、含む。そして、FP−EPRY再構築プロセスでは、位相及び振幅を決定し、また、コヒーレント画像入力データを用いて瞳孔関数を同時に決定することができる。
オペレーション330では、ACIS撮像方法は、インコヒーレント画像取得プロセスを行って、試料のFOV領域についての1以上のインコヒーレント原画像を1以上のイメージセンサで取得する。各インコヒーレント原画像は、露光時間中に光の強度分布を測定することによって、取得する。ACISシステムの光学系は、試料から発せられる光を集光してそれを1以上のイメージセンサへと伝播させる。
蛍光撮像の実施形態では、インコヒーレント画像は蛍光画像である。これらの実施形態では、励起光源が被撮像試料に対してある範囲内の波長の励起光を提供している間に、ACISシステムが各蛍光画像を取得する。一般的に、励起光源は、高出力光源(例えば、高出力LED)と、ある範囲内の波長の励起光を通過させ他の波長を遮断するための励起フィルタとを含む。試料内の蛍光色素分子は、励起光によって活性化されて別の範囲の波長(例えば、ブルー、緑、又は赤の光)の光(放射光)を発する。通常は、励起光のほうが放射よりも強いため、励起光源は、光学系の集光光学系から背くように向きが通常構成される。励起光源が試料に励起光をもたらしている間に光学系によって伝播された入射してくる蛍光放射を、1以上のイメージセンサが受光する。各取得時刻において、1以上のイメージセンサが単色の蛍光強度画像を取得する。単色蛍光画像の画像データは、カラー蛍光画像に変換することができる。
特定の蛍光撮像実施形態では、ACISシステムは、集光光学系と、絞りと、放射フィルタと、集束光学系とを備える光学系を有しており、例えば図3にて説明されているものが該当する。これらの場合では、集光光学系は、試料が励起光源によって照らされている間に試料から発せられる光を集光するように構成されている。絞りは集光光学系によって絞りの中心領域を介して伝播された光を通すように、及び他の光を遮断するように構成されている。光学系は放射フィルタを有するのであり、該放射フィルタは、絞りを通過した光を受光し、蛍光放射を通過させ、及び、励起光を遮断するように構成されている。また、光学系は、フィルタによって通された蛍光放射を1以上のイメージセンサへと合焦させるための集束光学系を、有している。
マルチバンド蛍光撮像の場合、異なる取得時刻において異なる波長範囲の励起光が試料にもたらされる。複数の波長範囲は、同じ励起光源又は複数の光源によって提供されることができる。これらの場合では、システム内の放射フィルタはマルチバンド放射フィルタであり、蛍光放射の複数の波長範囲を遮断するように構成されている。各取得時刻において、励起光によって活性化された蛍光色素分子が蛍光放射を生成し、1以上のイメージセンサが1以上のイメージセンサに入射する蛍光放射の強度分布を測定して、単色蛍光画像を取得する。インコヒーレント画像取得プロセス中においては、ACISシステムは、複数の単色蛍光画像を、蛍光放射についての異なる波長範囲に関連付けられた異なる取得時刻においてキャプチャする。複数の単色蛍光画像からの画像データは、マルチカラー蛍光画像に変換することができる。デュアルバンド実施形態では、ACISシステムは例えば、第1の波長範囲における励起光を提供するように構成された第1の励起光源と、第2の波長範囲における励起光を提供するように構成された第2の励起光源とを有することができる。このデュアルバンド実施形態では、放射フィルタはデュアルバンドフィルタであり、第1の波長範囲及び第2の波長範囲の励起光を遮断するものである。集束光学系は放射を受光し、1以上のイメージセンサへと合焦させる。イメージセンサは、集束光学系から放射を受光し、異なる取得時刻において第1及び第2の単色蛍光強度画像を取得する。第1及び第2の単色蛍光画像からの画像データは、デュアルカラー蛍光画像に変換することができる。
フローチャートでは、コヒーレント画像取得プロセスのオペレーション320が、インコヒーレント画像取得プロセスのオペレーション330の前に示されているが、他の実施形態ではこれらのオペレーションは逆順で行われることもできる。一般的には、オペレーション330はオペレーション370の前なら任意の時に行われることができ、オペレーション320はオペレーション340の前なら任意の時に行われることができる。例えば、1つの実施形態では、図3のオペレーションは次の順序で行われても良い:オペレーション320、オペレーション340、オペレーション350、オペレーション360、オペレーション330、オペレーション370。別の例として、1つの実施形態では、オペレーションは次の順序で行われても良い:オペレーション330、オペレーション320、オペレーション340、オペレーション350、オペレーション360、オペレーション370。
オペレーション340では、ACISシステムのプロセッサ(例えば、コントローラ)が、コヒーレント画像取得プロセス中にイメージセンサによってキャプチャされており取得された一連のコヒーレント画像の画像データを内包した信号を1以上のイメージセンサから受信する。オペレーション340では、プロセッサがEPRYプロセスを実施する命令を実行して反復的プロセスにおいて試料のフーリエスペクトルとACISシステムの推定瞳孔関数とを両方同時的に決定する。EPRYプロセスの詳細は特許文献1に記されており、該文献の全体が参照によって取り込まれる。EPRYプロセスの例は、図4との関係で詳細に説明されている。
特定の実施形態によれば、ACIS方法では、EPRY方法を用いてACIS撮像システムのタイル毎に固有な瞳孔関数をも決定する。これらの実施形態では、キャプチャされた原画像はより小さなタイルにセグメントされてFOVにわたって空間的に変化する収差を考慮するようにする。各タイル内においては、収差は空間的に不変のものであるとみなすことができる。この観点によれば、ACIS方法はEPRYプロセスを各タイルについて個別的に実施して、各タイル領域に関して固有な収差関数が決定される。EPRYプロセスで得られたタイル毎の瞳孔関数は、ACIS撮像システムのコヒーレント伝達関数についての正確な物理モデルをもたらし得る。一般的に、タイルはFOVよりも遙かに小さいが、小さすぎるタイルを選定した場合に再構築の際に生じ得る数値的アーチファクトを緩和するために、キャプチャされた撮像面内の約20×20ピクセルよりも大きいものとされる。
オペレーション350では、プロセッサが、推定瞳孔関数に基づいてACISシステムの光学的伝達関数を決定するための命令を実行する。推定瞳孔関数は、インコヒーレント画像取得プロセス中にキャプチャされた1以上のインコヒーレント画像についての収差情報を含んでいる。
ACISシステムのタイル固有の瞳孔関数を決定するのにEPRY方法を用いる実施形態によれば、ACIS方法では、決定されたタイル固有の瞳孔関数に基づいてインコヒーレント画像の収差をさらに決定する。ACIS方法では、式1に従って、インコヒーレント画像のPSFを、瞳孔関数のフーリエ変換の絶対値の2乗として決定することができる。
収差除去オペレーション360では、ACIS方法は取得されたインコヒーレント画像の各々から収差を除去する。この収差除去オペレーション360では、オペレーション350で決定された光学的伝達関数とのデコンボリューションを介して1以上のインコヒーレント画像から収差を除去するための命令を、プロセッサに実行させる。プロセッサは、1以上の収差補正インコヒーレント画像及び/又はオペレーション340で生成された明視野画像を向上させたものと共に画像データを出力する。特定の態様では、1以上の収差補正インコヒーレント画像は単色蛍光画像である。これらの態様では、プロセッサが収差補正単色蛍光画像を組み合わせて収差補正カラー蛍光画像にする。
蛍光撮像の実施形態においては、ACIS方法の収差除去オペレーション360によって、取得された蛍光画像の各々から収差が除去される。特定の実施形態では、ACIS方法は、取得された蛍光画像又はその他のインコヒーレント画像の各々をセグメント化するのであり、この際オペレーション340にてコヒーレント画像のために用いたのと同じタイル割にして、EPRYプロセスにて取得された収差マップが蛍光画像内の同じタイル領域に対応することを保証する。蛍光画像のm番目のタイルom(x,y)がACIS撮像システムによって撮像されると、イメージセンサに到達する以前に空間的に変化するかもしれないインコヒーレントPSFであるhm(x,y)によって劣化する。検出された画像強度im(x,y)は、サンプルの背景信号、ショットノイズ、及び検出器ノイズに由来するノイズnm(x,y)によってさらに崩される。一般的に、撮像プロセスは式2として表される。収差除去オペレーション360の目的は、破損した画像信号im(x,y)からオブジェクトom(x,y)を回復することである。フーリエドメインにおいては、式2は式3として表される。コヒーレント伝達関数とは違い、光学的伝達関数(OTF)としても知られるHm(fx,fy)はバンドパス内に多数のゼロを有するかもしれないのであり、バンドパスのエッジ付近では値がとても低い。即ち、これらの空間周波数においては、サンプル情報が失われたり、ノイズによって圧倒されたりし得る。OTFの性質故に、式3を反転させてOm(fx,fy)について解こうとするのは不良設定問題たり得る。この情報欠損に対応するために様々な反転方法が開発されており、典型的には正規化パラメータにこれらは依存している。ウィーナーデコンボリューション方法は、元のオブジェクト信号Om(fx,fy)についての推定
を決定するのであり、式4に従う。
を決定するのであり、式4に従う。
Nm(fx,fy)がフラットであると仮定すること自体は合理的であるも、サンプルの空間的分布について何らかの先験的知識がないとガウスノイズOm(fx,fy)について決定することは困難である。簡便性のために、|Nm(fx,fy)|2/|Om(fx,fy)|2は定数Kとして設定し、Gm(fx,fy)をTikhonov正規化アルゴリズムに実質的に変換する。Kは正規化する作用を発揮するのであり、より小さなKはキャプチャされる画像中のノイズを増幅しつつより鮮明なディテールをもたらすのであり、より大きなKはディテールを犠牲にしつつアルゴリズムをノイズに対してより堅牢なものとする。この値は視覚的に決定されるのであり、デコンボリューションによってバックグラウンドノイズを最小化しつつ最終的画像において回復されるディテールが最大となるようにする。最終的に、元の蛍光オブジェクトについての最終推定は式6によって与えられる。式6は、仮定されたノイズ及びサンプル分布モデルを伴ったTikhonov正規化の後に結果としてもたらされる画像を出力する。高いS/N比について長い露光時間を使って画像がキャプチャされる場面に関しては、ガウスノイズを撮像システムのノイズとすることは合理的な仮定といえる。もっとも、ポアソンノイズが深刻かつ支配的になるフォトン制限的な場面においては、ポアソン撮像プロセスを仮定するRichardson-Lucyデコンボリューション等の最大蓋然性デコンボリューション方法がより適切になる。ACIS方法は、式6を全てのタイルに適用してフルFOV収差補正蛍光画像を取得する。
特定の実施形態では、フローチャート300に示されたオペレーションを繰り返すことができる。例えば、新たな試料についてオペレーションを繰り返したり、同じ試料についての追加の撮像過程についてオペレーションを繰り返したりすることができ、長期的な分析又はタイムラプス撮像においてこれらが有用たり得る。例えば、ACIS撮像方法は、フローチャート300のオペレーションを規則的な間隔で繰り返すことができるのであり、例えば、1時間間隔、2時間間隔1日間隔等とすることができる。ACIS撮像方法は、一定期間(例えば、1週間、2週間、1ヶ月、2ヶ月等)にわたって、各撮像過程を規則的に繰り返すことができ、又は、ACIS撮像方法に対してオペレータが停止コマンドを発令するまで実行し続けることができる。一部の場合においては、ACIS撮像システムは、複数回の撮像過程の最中は、インキュベータ内に配置することができる
特定の態様では、オペレーション360からの出力は複数の収差補正カラー蛍光画像を含む。プロセッサは、オペレーション360からの複数の収差補正カラー蛍光画像を重ね合わせることによってマルチバンド収差補正蛍光画像を生成させる命令を実行することができる。
1つの態様では、オペレーション360の後、ACIS撮像方法では、プロセッサからの表示用データを伴う信号をディスプレイへと送るステップをさらに含めるのであり、これによって解像度を向上させた明視野画像や収差補正蛍光画像やACIS撮像方法によって生成された他のデータを表示することができる。
特定の実施形態では、ACIS方法は、撮像されるFOVをタイルに分割するステップ、並びに、複数のタイル画像及び/又はタイル瞳孔関数についてのデータを、例えば並列処理を行える複数のプロセッサを用いて並列的に処理するステップをさらに含む。これらの実施形態では、ACIS撮像方法はオペレーション340,350,360の任意のオペレーションを各タイルについて並列的に実施して、オペレーションの終わりにおいて、FOVに関してデータを組み合わせる。例えば、ACIS撮像方法は、オペレーション340において推定瞳孔関数を各タイルについて並列的に決定するのであり、そして、各タイルについてのデータを組み合わせてFOVに関する瞳孔関数を生成する。別の例としては、ACIS撮像方法がオペレーション340,350,360の全てを各タイルについて並列的に実施することができる。もっとも、各タイルについてオペレーション340,350,360をシーケンスに従って実行することを要する。
特定の実施形態では、可変コヒーレント照明源は個別の光素子を備えており、各素子は、例えば照明命令に基づいて異なる取得時間及び何らかの順序を前提として点灯される。例えば、順序は、個別の発光素子の照射時間を定義したり、又はLEDアレイ等の個別発光素子からなる2次元配列における発光素子のパターンを定義したりできる。発光素子の2次元アレイが矩形アレイとされる1つの例では、中央発光素子を決定することができる。照射命令は、まず中央発光素子の照射を指示し、そして中央発光素子の周りの8個の発光素子を反時計回りに照射させ、そして以前の発光素子の周りの16個の発光素子を反時計回り照射させ、以後同様にして、可変コヒーレント照明源が複数たるN個の照明角度((θxi,j,θyi,j),i=1からN)から照明を提供するまで続行することができる。1以上の同心円等の発光素子の2次元アレイが極座標的なアレイとされる別の例では、照射命令は、まず最小半径にある発光素子の照射を(例えば、時計回り、反時計回り、又はランダムな順序で)指示し、そしてより大きな半径にある発光素子を照射させ、以後同様にして、可変コヒーレント照明源の全部が複数たるN個の照明角度((θxi,j,θyi,j),i=1からN)から照明を提供するまで続行することができる。別の例では、発光素子の2次元アレイが矩形又は極座標的である場合、サンプルに最も近い発光素子を決定することができる。照射命令は、サンプルに最も近い発光素子の照射を指示し、そしてサンプルに次に近い発光素子を照射させ、そしてそのさらに次順位に近い発光素子を照射させ、以後同様にして、複数たるN個の照明角度からN個の発光素子が照射されるまで続行することができる。別の例では、発光素子をランダムな順序で照射することができる。別の例では、シーケンシャルなカラム毎の順序に従うことができるのであり、例えば(X1,Y1),(X1,Y2),(X1,Y3),..(X1,Yn),(X2,Y1),(X1,Y2),(X1,Y3),..(X2,Yn),..(Xm,Yn)とする。代替的には、行毎の順序に従うことができる。
・EPRYプロセスの例の詳細
コヒーレント画像取得プロセスにおいては、試料はN通りの変化させた角度(θxi,j,θyi,j)からの斜行平面波によって照射されるのであり、N個のコヒーレント原画像のシーケンスがキャプチャされる。このコヒーレント画像取得プロセスは、一般的には複素乗算として表すことができる:e(r)=s(r)exp(iUM・r);ここで、s(r)は波動ベクトルを有する斜行平面波で照らされた薄いサンプルからの出射波であり、r=(x,y)は空間ドメイン内での座標であり、u=(kx,ky)は空間周波数ドメイン(フーリエドメイン)内での座標である。放射検出器へと伝播する光波は、出射波とFP撮像システムの空間的に不変なPSFたるp(r)との畳み込みであり、強度は次のように記録される:
。フーリエドメイン内では、次のように表される:
(式7)
ここで、
S(u)=F{s(r)}はサンプルのフーリエスペクトルであり、
P(u)=F{p(r)}は撮像システムの瞳孔関数である。
コヒーレント画像取得プロセスにおいては、試料はN通りの変化させた角度(θxi,j,θyi,j)からの斜行平面波によって照射されるのであり、N個のコヒーレント原画像のシーケンスがキャプチャされる。このコヒーレント画像取得プロセスは、一般的には複素乗算として表すことができる:e(r)=s(r)exp(iUM・r);ここで、s(r)は波動ベクトルを有する斜行平面波で照らされた薄いサンプルからの出射波であり、r=(x,y)は空間ドメイン内での座標であり、u=(kx,ky)は空間周波数ドメイン(フーリエドメイン)内での座標である。放射検出器へと伝播する光波は、出射波とFP撮像システムの空間的に不変なPSFたるp(r)との畳み込みであり、強度は次のように記録される:
。フーリエドメイン内では、次のように表される:
ここで、
S(u)=F{s(r)}はサンプルのフーリエスペクトルであり、
P(u)=F{p(r)}は撮像システムの瞳孔関数である。
幾つかの場合では、画像再構築プロセスは、測定されたN個の強度画像の全てについて式7を満たすS(u)及びP(u)を回復する。ここで、P(u)は瞳孔関数分布を表し、S(u)はサンプル フーリエ スペクトル分布(ここよりも前のセクションでは
ともいう。)を表し、s(r)はサンプル空間分布を表し、Nはキャプチャされた画像の個数を表し、Bは実行されたアウターループの個数を表し、aはインナーループ指数変数を表し、bはアウターループ指数変数を表す。
ともいう。)を表し、s(r)はサンプル空間分布を表し、Nはキャプチャされた画像の個数を表し、Bは実行されたアウターループの個数を表し、aはインナーループ指数変数を表し、bはアウターループ指数変数を表す。
図4は、実施形態による例示的なEPRYプロセスのオペレーションを示している。オペレーション410では、サンプルスペクトル及び瞳孔関数がそれぞれS0(u)及びP0(u)として初期化される。また、アウターループ指数変数bは1とされ(第1回目の反復)、インナーループ指数変数aは0とされる。アウターループ指数変数bは再構築プロセスの反復回数に関して加算される指数であり、インナーループ指数変数aは入射角をインクリメントする指数である。インナーループのサイクルにおいては、N個のキャプチャされた画像がシーケンス(IUa(r),a=0からN−1)でアドレスされるのであって、ここで、Nはキャプチャされた画像の個数であり、それぞれが瞳孔関数及びサンプルスペクトルについて順次考慮されるのでありループ毎に更新される。
1つの実施形態では、まず空間ドメインでサンプル画像を初期化して、そしてフーリエ変換を適用してフーリエドメイン内の初期化されたサンプルスペクトルを得ることによって、初期サンプルスペクトルS0(u)を決定することができる。一部の場合においては、初期推測は、(強度及び位相の両方に関して)ランダムな複素行列として決定することができる。他の場合においては、初期推測は、低解像度強度測定値についてランダム位相をもって補間したものとして決定することができる。S0(u)についての初期推測の例としては、キャプチャされた強度画像の1つについて補間を行うことができる。初期推測の別の例としては、定数値がある。初期推測のフーリエ変換は、フーリエドメイン内の広域スペクトルとすることができる。
一部の実施形態では、初期瞳孔関数推測P0(u)は円形ローパスフィルタとすることができ、ここで、全ての1はパスバンド内であり、ゼロはパスバンド外であり、零位相は均一である。1つの例では、パスバンドの半径はNA×2π/λであり、NAはフィルタリング光学素子(例えば、対物レンズ)の開口数であり、λは照明光の波長である。初期瞳孔関数推測の例としては、システムには収差がなく、位相=0であると仮定する場合が考えられる。
オペレーション412では、b=1であるか、即ちアウターループの第1回目の反復回であるか、を決定する。第1回目の反復回ではないと決定された場合、オペレーション414において、フーリエドメイン内で初期瞳孔関数及びサンプルスペクトルが、インナーループの最後のサイクルにて決定されたデータによって設定される:S0(u)=SM−1(u)及びP0(u)=PM−1(u)。第1回目の反復回であると決定された場合、EPRYプロセスはオペレーション416へと進む。
インナーループの第a番目サイクルにおいて、インナーループの以前のサイクルからの再構築されたSa(u)及びPa(u)について知っている場合、波動ベクトルUnによってサンプルが照射されている際の瞳孔平面における出射波動は、φa(u)=Pa(u)Sa(u−Un)をもって再現されることができるのであり、ここで、Sa(u)及びPa(u)は以前のサイクルからのものである。オペレーション416では、プロセッサがサンプルスペクトルを照明角度に従ってシフトし、また、φa(u)=Pa(u)Sa(u−Un)に従って瞳孔関数をもって乗算する。瞳孔関数は、振幅及び位相に関する係数を両方備える。瞳孔関数の位相係数は、一般的には、デフォーカス又は光学系と関連付けられた他の収差と関連付けられている。瞳孔関数の振幅は、通常、光学系の対物レンズの絞り形状と関連付けられている。フーリエドメイン内でサンプルスペクトルを瞳孔関数で乗算することによって、プロセッサは、瞳孔関数の絶対値(算出された振幅成分)で乗算することによって解像度を向上させた解をフィルタリングするのであり、また瞳孔関数の位相係数によっても乗算する。サンプルスペクトルを絶対値で乗算することによって、解像度を向上させた画像がフーリエドメイン内でフィルタリングされるのであり、これは波動ベクトルUa=(kx,ky)を有する特定の平面波入射角(θx a,θy a)についてなされる。第a番目の照明入射角に基づいた照明Uaを用いてキャプチャされた画像は、このセクションでは、IUa(r)と呼ぶ。サンプルスペクトルを絶対値で乗算することによって、プロセッサは、フーリエドメイン内で領域をサンプルスペクトルS(u)からフィルタリングする。対物レンズの形式のフィルタリング光学素子が関与する場合においては、この領域は円形瞳孔アパチュアとなり、半径はNA*k0であり、k0は2π/λ(真空中の波数)に等しいのであり、対物レンズのコヒーレント伝達関数によって与えられる。フーリエ空間における円形領域の中心は、インナーループの当該第a番目のサイクルに関連付けられた照明入射角に対応する。波動ベクトルUa=(kx,ky)を有する斜行平面波の入射に関しては、領域はフーリエドメイン内の位置(kx,ky)にてセンタリングされている。
オペレーション418では、プロセッサが次のようにして逆フーリエ変換をなす:φa(r)=F−1{φa(u)}。オペレーション420では、プロセッサが強度制約を強制する。このオペレーション420では、フーリエ空間内で再現された領域の絶対値(演算された振幅成分)が、照明波動ベクトルUaと関連付けられた放射検出器によってキャプチャされた低解像度強度測定値IUa(r)によって代替される。演算された振幅成分は、真の強度測定値IUa(r)の平方根で代替されるのであり、次式に従う:
これによって、更新されたより低い解像度の画像が形成される。
オペレーション422では、更新されたより低い解像度の画像に対してフーリエ変換が適用される。このオペレーションでは、次式によるフーリエ変換を介して更新された出射波動が算出される:
オペレーション3070では、プロセッサは解像度を向上させた解のフーリエスペクトル推測をリフレッシュするのであり、このために出射波データが更新され、また、フーリエドメインの対応する領域内のデータが入射波動ベクトルUn=(kx,ky)と関連付けられた更新された出射波データとして置換される。プロセッサは、サンプルスペクトル更新関数を用いて、出射波データを更新する。サンプルスペクトル更新関数の例は次式によって与えられる:
(式6)
このようなスペクトル更新関数を用いることによって、2つの出射波の差分からサンプルスペクトルの更新された値を抽出することができるのであり、このために現在瞳孔関数を除算して外す。式6及び式7を用いて共役で乗算することによって、サンプルスペクトルを瞳孔関数から分離することができ、これによってサンプルスペクトルを瞳孔関数とは別個にリフレッシュすることができる。一部の場合においては、サンプルスペクトル推測に修正値を加算するのであり、重み付けは現在瞳孔関数推定の強度に比例する。定数αが更新のステップサイズを調節する。1つの例では、α=1である。インナーループのサイクル中においては、フーリエドメイン内の重複する領域としてデータが更新される。
このようなスペクトル更新関数を用いることによって、2つの出射波の差分からサンプルスペクトルの更新された値を抽出することができるのであり、このために現在瞳孔関数を除算して外す。式6及び式7を用いて共役で乗算することによって、サンプルスペクトルを瞳孔関数から分離することができ、これによってサンプルスペクトルを瞳孔関数とは別個にリフレッシュすることができる。一部の場合においては、サンプルスペクトル推測に修正値を加算するのであり、重み付けは現在瞳孔関数推定の強度に比例する。定数αが更新のステップサイズを調節する。1つの例では、α=1である。インナーループのサイクル中においては、フーリエドメイン内の重複する領域としてデータが更新される。
オペレーション424と平行して、オペレーション426では、プロセッサがフーリエドメイン内の瞳孔関数推測をPa+1(u)としてリフレッシュする。ここで用いることのできる瞳孔更新関数の例は次式によって表される:
(式7)
定数βは瞳孔関数更新のステップサイズを調節するのであり、本稿ではβ=1が使用される。この瞳孔更新関数を用いて、現在サンプルスペクトル推定を除算して外すことによって2つの出射波の間の差分として瞳孔関数の補正値を抽出するのであり、また、これを現在瞳孔関数推定に加算するのであり、重み付けは現在サンプルスペクトル推定の強度に比例する。式7を用いて共役で乗算することによって、瞳孔関数をサンプルスペクトルから分離することができ、また、別個にリフレッシュすることができる。
定数βは瞳孔関数更新のステップサイズを調節するのであり、本稿ではβ=1が使用される。この瞳孔更新関数を用いて、現在サンプルスペクトル推定を除算して外すことによって2つの出射波の間の差分として瞳孔関数の補正値を抽出するのであり、また、これを現在瞳孔関数推定に加算するのであり、重み付けは現在サンプルスペクトル推定の強度に比例する。式7を用いて共役で乗算することによって、瞳孔関数をサンプルスペクトルから分離することができ、また、別個にリフレッシュすることができる。
オペレーション428では、プロセッサは、更新された瞳孔関数に対して瞳孔関数制約を強制する。瞳孔関数制約を強制することによって、ノイズが抑制され得る。顕微鏡システムの例においては、物理的な円形アパチュアストップを設定してNAを定義することができ、従ってストップに対応する瞳孔関数内のエリアは常に零であるべきである。ストップに対応する領域内の更新された瞳孔関数内の零ではないポイントは、画像取得の際のノイズに起因しており、零に設定することによってノイズを除去する。
方法のインナーループは、シーケンスたるIUa(r)内のN個のキャプチャされた画像全てが、瞳孔及びサンプルスペクトルの更新のために使用されるまでサイクルされ続けるのであり、これが起きるとアウターループの反復が完了することになる。サイクルはa=0からN−1まで行われる。オペレーション430では、プロセッサがa=N−1であるかを決定する。プロセッサがaはN−1に等しくないと決定した場合、キャプチャされたN個の画像全てが使い切られていないことになる。この場合、ループ指数aはオペレーション432で加算されるのであり、別の入射角と関連付けられたキャプチャされた画像に基づいて、方法はオペレーション416へと戻る。
プロセッサがaはN−1に等しいと決定した場合、方法はオペレーション434へと進む。プロセッサがaはN−1に等しくないと決定した場合、方法はオペレーション432へと進む。オペレーション432では、アウターループ指数がa=a+1として加算されて次の入射角へと進む。そして、方法は戻ってオペレーション416で新たなサイクルを開始する。
オペレーション434では、プロセッサがb=Bであるか否かを決定する。プロセッサがbはBに等しくないと決定した場合、オペレーション436にてループ指数bはb=b+1として加算されるのであって、ループ指数aは0にリセットされる。そして、方法は戻ってオペレーション3010で新たな反復を開始する。
プロセッサがbはBに等しいと決定した場合、反復は終わるのであり、方法はオペレーション438へと進む。オペレーション438では、サンプルスペクトルに対して逆フーリエ変換を施して空間ドメインに戻して試料についての解像度を向上させた画像のための画像データを生成する。試料についての解像度を向上させた画像及び瞳孔関数のための画像データの両方が、EPRYプロセスから出力される。オペレーションの終了時(即ち、b=B)に残されている瞳孔関数が、再構築された瞳孔関数とされる出力である。
オペレーション350では、光学的伝達関数(OTF)とも呼ばれるインコヒーレント伝達関数が、オペレーション340からの推定された瞳孔関数に基づいて決定される。OTFを得るために、推定された瞳孔関数は、周波数ドメイン内において自己との畳み込みによって処理されるか、又は、空間ドメイン内において絶対値の2乗化によって処理される。
オペレーション330では、例えば励起光で試料内の蛍光色素分子を照射することによってインコヒーレント画像を得る。特定の実施形態では、オペレーション320で取得された一連のコヒーレント画像のコヒーレント画像がタイルされるのと同様な態様でインコヒーレント画像がタイルされる。オペレーション360では、各タイルは、対応するOTFをもって周波数ドメイン内でデコンボリューションプロセス(例えば、ウィーナーフィルタ)によってデコンボルブされて収差が除去される。図5は、実施形態に関するものであり、OTFを収差が乗っているインコヒーレント画像からデコンボルブするオペレーション360を概略的に表す等式として示された画像セットを、含む。この例示においては、収差が乗っている画像(左の画像)及び点広がり関数(中央の画像)に対してフーリエ変換を施すのであり、実効的にはデコンボリューションプロセスを通じて「除算」(「÷」として表記。)されて収差補正画像(右側)がもたらされる。
一部の実施形態では、合計FP原画像取得時間(即ち、N個の角度についての画像データを得るのに要する時間)を削減するために多重化アプローチを用いることができる。1つの多重化実施形態では、各原画像のキャプチャに際して、同時刻に複数の別個のコヒーレント光源を固有のパターンで点灯することができる。多重化プロセスを用いることによって、各照明角度に関連付けられている強度データを、キャプチャされた原画像から分離することができる。このようにして、N回よりも少ないスキャンで済む。多重化プロセスの例は特許文献4(発明の名称:多重化されたフーリエタイコグラフィ撮像システム及び方法、出願日:2015年12月4日)に記載されており、その全体が参照によって取り込まれる。
IV. ACISシステムについてのデモ
特定の側面によれば、図2に示したACIS撮像システム200の光学系は変更された4fセットアップを有しており、サンプル201は集光光学系230の前焦点面に位置しており、絞り240は集光光学系230の後焦点面に位置しており、イメージセンサ270はサンプル平面に配置されている。1つの実施形態では、光学系は、f=200mmのチューブレンズの形式の集束光学系260(例えば、Thorlabs(登録商標)のITL200チューブレンズ)並びにf=50mmのニコンレンズ(例えば、f/1.8D AF Nikkor)の形式の集光光学系230を有する。この光学系は、NAcollection=0.085であり、倍率はM=3.87である。この実施形態では、ACIS撮像システム200はイメージセンサ270をも有しており、これはCCD検出器(例えば、画素サイズが5.5μmであるProsilica GX6600なるCCD検出器)の形式とされており、これは6.2mm×9.3mmのFOV領域の各原画像をサンプル平面にてキャプチャするように構成されており、これはイメージセンサ270の大きさによって定義される。この実施形態では、ACIS撮像システム200は、サンプル201の後方約80mmに配置されたLEDアレイ210をも有している。この実施形態では、LEDアレイ210は32×32個の個別的に番地指定可能な要素を備えており、明視野画像取得プロセスに際しては15×15のセグメントだけを使用して225個の画像をキャプチャする。個別的に番地指定可能なLED間のピッチは4mmである。LEDによってもたらされるNAの増大はNAillum=0.33である。全体的なシステムNAはNAsys=NAcollection+NAillum=0.085+0.33=0.415であり、単一の平面波照明を有する4fセットアップに比べて係数として4.9の解像度上昇である。この実施形態では、ACIS撮像システム200は、LEDを備える励起光源220と絞り240の後方の光路にある適切な放射フィルタ250とを有している。一連のFP明視野原画像及び蛍光画像は、個別的に異なる取得時刻においてキャプチャされる。この例では、蛍光画像の取得時及び蛍光放射と同じカラーチャンネルに属する任意のFP明視野原画像の取得時のみにおいて、放射フィルタ250が登場しているのであり、これによって同じスペクトル範囲が撮像されることが保証される。
特定の側面によれば、図2に示したACIS撮像システム200の光学系は変更された4fセットアップを有しており、サンプル201は集光光学系230の前焦点面に位置しており、絞り240は集光光学系230の後焦点面に位置しており、イメージセンサ270はサンプル平面に配置されている。1つの実施形態では、光学系は、f=200mmのチューブレンズの形式の集束光学系260(例えば、Thorlabs(登録商標)のITL200チューブレンズ)並びにf=50mmのニコンレンズ(例えば、f/1.8D AF Nikkor)の形式の集光光学系230を有する。この光学系は、NAcollection=0.085であり、倍率はM=3.87である。この実施形態では、ACIS撮像システム200はイメージセンサ270をも有しており、これはCCD検出器(例えば、画素サイズが5.5μmであるProsilica GX6600なるCCD検出器)の形式とされており、これは6.2mm×9.3mmのFOV領域の各原画像をサンプル平面にてキャプチャするように構成されており、これはイメージセンサ270の大きさによって定義される。この実施形態では、ACIS撮像システム200は、サンプル201の後方約80mmに配置されたLEDアレイ210をも有している。この実施形態では、LEDアレイ210は32×32個の個別的に番地指定可能な要素を備えており、明視野画像取得プロセスに際しては15×15のセグメントだけを使用して225個の画像をキャプチャする。個別的に番地指定可能なLED間のピッチは4mmである。LEDによってもたらされるNAの増大はNAillum=0.33である。全体的なシステムNAはNAsys=NAcollection+NAillum=0.085+0.33=0.415であり、単一の平面波照明を有する4fセットアップに比べて係数として4.9の解像度上昇である。この実施形態では、ACIS撮像システム200は、LEDを備える励起光源220と絞り240の後方の光路にある適切な放射フィルタ250とを有している。一連のFP明視野原画像及び蛍光画像は、個別的に異なる取得時刻においてキャプチャされる。この例では、蛍光画像の取得時及び蛍光放射と同じカラーチャンネルに属する任意のFP明視野原画像の取得時のみにおいて、放射フィルタ250が登場しているのであり、これによって同じスペクトル範囲が撮像されることが保証される。
特定の実施形態では、ACIS撮像システム200の光学系は、カメラレンズである集光光学系を含む(例えば、f=50mmのニコンレンズ(例えば、f/1.8D AF Nikkor))。これらの実施形態では、ACISシステムのユーザは、カメラレンズを調整してNAを制御することができるのであり、即ちユーザ制御可能なNAを実現する。
変更された4fセットアップを有する上述したACIS撮像システム200の実施形態は、図3にて説明されたACIS撮像方法を行うために利用されたのであり、撮像されたのは、Fisher Scientific社等から入手可能な10μmの緑色蛍光性マイクロ球体及び15μmの非蛍光性マイクロ球体の両方を含むサンプルスライドである。コヒーレント画像取得プロセスにおいては、ACIS撮像システム200は、可変LED照明下で、約3秒より少ない平均露光時間の下、225個のフルFOV低解像度画像を取得した。
図6Aは、実施形態による、ACIS撮像方法の実行中の実験結果のフローについての概略を表す図である。この実施形態では、LEDアレイの緑色LEDのみが照射された。図6Aに示されているタイル画像は、画像FOVの中心から3.8mm離れたところに位置する360μm×360μmの領域に対応する。LEDアレイからの可変角度の緑色照明下でキャプチャされた225個の低解像度コヒーレント緑色画像のセットは、上部のボックス内の表示によって表されている。図中の上から2段目のボックスにあるように、ACIS撮像方法を実行して、EPRYプロセスを50回反復して適用して(各タイルについて5秒)、サンプルの強度及び位相を再構築して、サンプルについての高解像度な複素画像を生成して、撮像システムの瞳孔関数の特徴付けを行った。決定された瞳孔関数はこの特定の他画像タイルのみについて有効であり、また、解像度向上及び収差除去故に再構築された複素画像は原画像に比べて遙かに鮮明である。図中の下から2段目のボックスにあるように、ACIS方法を実行して、ブルー色の励起LED(470nm、Thorlabs社)で2分間の露光時間にわたってサンプルを照射して緑色蛍光画像をキャプチャする。FPM画像及び蛍光画像のいずれもが、絞りの後方に配された緑色バンドパスフィルタ(530nm、パスバンドは43nm)を用いてキャプチャされる。キャプチャされた原蛍光画像は著しくボケている。なぜならば、該画像は撮像システムのFOVの縁部周辺でキャプチャされているからである。また、ACIS方法を行って、EPRYプロセスによって決定された瞳孔関数Pm(fx,fy)は、式1に従って、蛍光画像のボケhm(x,y)を特徴付けるインコヒーレントPSFへと変換される。また、ACIS方法を行って、式6を用いてPSFによって誘発されたボケを蛍光画像からデコンボルブするのであり、これによって図中の再下段のボックス内の鮮明な画像が作成される。このデコンボリューションオペレーションは、1タイルあたり1秒未満を要した。デコンボリューションによって、レンズによって誘発される収差の悪影響の多くを除去することができる。例えば、原画像内においては分解するのが困難な4つの蛍光ビーズは、デコンボリューション後においては明確に区別できるようになっている。
図6Bは、ある態様に関する、強度 対 位置のプロットである。プロットはrawデータ及びデコンボルブドデータの両方についてであり、2つの隣接するビーズ間の1次元的プロファイルに関する。デコンボリューションが画像コントラストを向上させるということのみならず、デコンボリューションによって各ビーズの図心をより高い精度をもって位置決めできるということが、このプロットによって強調される。具体的には、低い方のピークと各ピーク間の谷との間の比は、原画像については0.946であるのに対して、デコンボルブされた結果については0.526である。原画像によれば、ビーズ間の離隔距離は8.5μmであり、これはビーズの直径である10μmの15%引きの値である。デコンボルブされた画像によれば、離隔は9.9μmであり、これはビーズの製造仕様にて示された5%の許容値内にある。システムの収差によって起こされた側方偏位は、図示されているピーク間の谷のシフトによって表されているように、デコンボリューション結果にて補正されている。このことは、高解像度FPM画像と蛍光サンプル画像との間での正しい空間的対応を識別するために重要たり得る。実施形態によれば、図6Cは2つの画像を含み、左方の画像は高解像度明視野画像とコンボリューション前の原蛍光画像との重畳画像であり、右方の画像は高解像度明視野画像とデコンボリューション後の収差補正蛍光画像との重畳画像である。
・HeLa細胞の撮像
変更された4fセットアップを有する上述したACIS撮像システム200を用いてACIS撮像方法を行ってHeLa細胞を撮像したのであり、該HeLa細胞に対しては、Fisher Scientific社のPROTOCOL Hema 3のWrigth氏ステインでステイニングしてあり、また、Life Technologies社のDAPIで蛍光タギングしてある。サンプルは、固定及び染色された90%融合性のHeLa細胞を有する顕微鏡スライドである。まず、FPM再構築のためにサンプルを撮像するのであり、LEDアレイ内の225個のLEDの赤色、緑色、ブルー色のチャンネルで逐次的に照射を行う。バンドパスフィルタ(460nm、バンドは80nm)を系に挿入して、DAPIの蛍光放射と同じスペクトル範囲内のブルー色照明画像をキャプチャする。ACIS撮像方法を行ってブルー蛍光画像をキャプチャするのであり、このためにDAPIの励起波長に合ったUV LED(365nm、Thorlabs社)でサンプルを照射する。サンプルは、21分間露光される。EPRY方法を異なる画像タイルについて反復することによって高解像度FPM画像を空間的に変化する瞳孔関数と共に再構築する。蛍光画像の各タイルをデコンボルブするために式6を適用するのであり、このためにもACIS方法を行う。
変更された4fセットアップを有する上述したACIS撮像システム200を用いてACIS撮像方法を行ってHeLa細胞を撮像したのであり、該HeLa細胞に対しては、Fisher Scientific社のPROTOCOL Hema 3のWrigth氏ステインでステイニングしてあり、また、Life Technologies社のDAPIで蛍光タギングしてある。サンプルは、固定及び染色された90%融合性のHeLa細胞を有する顕微鏡スライドである。まず、FPM再構築のためにサンプルを撮像するのであり、LEDアレイ内の225個のLEDの赤色、緑色、ブルー色のチャンネルで逐次的に照射を行う。バンドパスフィルタ(460nm、バンドは80nm)を系に挿入して、DAPIの蛍光放射と同じスペクトル範囲内のブルー色照明画像をキャプチャする。ACIS撮像方法を行ってブルー蛍光画像をキャプチャするのであり、このためにDAPIの励起波長に合ったUV LED(365nm、Thorlabs社)でサンプルを照射する。サンプルは、21分間露光される。EPRY方法を異なる画像タイルについて反復することによって高解像度FPM画像を空間的に変化する瞳孔関数と共に再構築する。蛍光画像の各タイルをデコンボルブするために式6を適用するのであり、このためにもACIS方法を行う。
変更された4fセットアップを有する上述したACIS撮像システム200の実施形態は、ACIS撮像方法を行うために利用されたのであり、光学系のFOV内の異なる2つの位置へとシフトされた同じサンプルリージョンオブインタレスト(ROI、region of interest)の2つの蛍光画像をキャプチャした。実施形態によれば、図7Aは、光軸から4.63mmズレるようにシフトされた具体的なサンプルROIの原画像及び回復されたPSF即ちhm(x,y)を含んでいる。図7Aでは、EPRY方法から回復されたPFTは画像からデコンボルブされて収差が除去される。実施形態によれば、図7Bがデコンボリューションの結果画像である。図7Cは、同じサンプルROIを光軸にセンタリングしてキャプチャした原画像を示す。図7Cに示されている画像は、画像FOVの中心に配置された(即ち、光軸上の)ROIでキャプチャされている。この領域内では、撮像システムの収差の影響は最小限となっている。図7Aの画像は、中心から側方方向へ4.63mmサンプルを移動させた場合のROIと同じROIによっている。DAPI染色された核のぼやけた輪郭が示しているように、レンズ収差は光軸から外れた位置の画質に対してより著しい影響を及ぼすことが明白である。また、小さいサブ画像は、FPM画像キャプチャ及び同一の画像タイルについてのポストプロセッシングによって見出されたインコヒーレントPSFを用いてなされたデコンボリューションの結果を、表している。デコンボリューションによって、核のコントラストが増大し、並びに、核の形状及びそれらの間の離隔ギャップ等の左図たる原蛍光画像内にて視認不可な要素が強調される。図7Bのデコンボリューション結果の精度を確認するために、これを、図7C内に示された同じROIの収差の掛かり具合が最小限となっている画像と比較する。図7B及び図7Cの画像を比較するに際しては次の事項が見出される:デコンボルブされた画像要素間には緊密な一致関係があり、明らかなアーチファクトは少ない。図7Aのrawでありボケた画像内において白いドット又は黒いドットとして視認される「ホット」なピクセルは、デコンボリューション後にそれぞれの周辺にリング状のアーチファクトを誘発するものの、これらの存在がデコンボリューション画像の画質を劇的に劣化させるわけではない。
図8は、実施形態による、変更された4fセットアップを有するACIS撮像システム200を用いて行われたACIS方法の結果として得られる高解像度FPM画像及び収差補正蛍光画像を示しており、これらの画像は、大きな画像FOVの異なる領域にある完全画像FOVの随所に関するものである。画像780は、完全FOV蛍光画像内のズームインされた領域たるa,b,cを示している。
図8は、画像780内でラベル付けされている大きな画像FOVの領域「a」における画像702,704,706,708,710を含む。図8はまた、画像780内でラベル付けされている大きな画像FOVの領域「b」における画像712,714,716,718,720を含む。図8はまた、画像780内でラベル付けされている大きな画像FOVの領域「c」における画像722,724,726,728,730を含む。FOVの縁部付近にてキャプチャされている故に、低解像度カラー画像702,712,722は深刻な収差を有している。ACIS方法を用いて高解像度であり収差が補正されたフルカラーなFPM画像704,714,724を再構築したのであり、これによって次のような鮮明な画像特徴を明瞭にした:HeLa細胞の細胞核内にある核小体や、再構築された位相を介しての細胞形態学的観点や、異なる細胞間の境界等。完全FOV画像780を生成できるようにするために、ACIS方法では、EPRY方法及びデコンボリューション方法を、個々のタイルに個別的に適用した。1つの例では、タイルあたり5秒として、約2200タイルをEPRY方法にて用いた。図8は、原蛍光画像706,716,726及びACIS方法のデコンボリューションオペレーションによって結果的にもたらされた収差補正蛍光画像708,718,728を含む。特定の実施形態では、重ね合わせ710,720,730に示されているように、EPRY方法からの位相勾配データを収差補正蛍光画像と共に重ね合わせることができる。また、領域「a」、「b」、「v」における瞳孔関数740,750,760も示されている。重ね合わせ710,720,730内の位相勾配データは細胞の構造情報を説明するのに役立ち、HeLa細胞の蛍光している領域はまさしく細胞核であることが示される。また、細胞の有糸分裂に関して、終期にある細胞(画像730内の矢印によって示されているもの)と、細胞質分裂段階にある細胞(画像720内の矢印によって示されているもの)とを区別することも可能であり、位相勾配画像内の細胞膜形態を検討することによってこれをなす。FPM及び蛍光撮像における収差は同じ瞳孔関数から導出された関数によって補正されるため、それぞれの撮像モダリティ間において画像は正確な空間的対応(即ち、アラインメント)を示す。
特定の実施形態において、デコンボリューション方法から得られる結果の質は、特定の最低値よりも大きな露光時間を用いて原蛍光画像をキャプチャすることによって向上させることができる。露光時間が減少されると、信号対ノイズ比(SNR)が悪化し、デコンボリューション方法の有効性が損なわれ得る。信号対ノイズ比が特定の要件を超えるように、露光時間を調整する。最適なデコンボリューションのために要する信号対ノイズ比は、使用されるデコンボリューションアルゴリズムに応じて変わる。1つの実施形態では、ACIS方法はSNRが18以上であることを要する。このようなSNRの場合、一部の蛍光色素分子に関しては、必要とされる露光時間は21分間である。1つの実施形態では、ACIS方法は、最低値たる1分間よりも大きい露光時間を用いて原蛍光画像をキャプチャする。1つの実施形態では、ACIS方法は、最低値たる2秒間よりも大きい露光時間を用いて原蛍光画像をキャプチャする。1つの実施形態では、ACIS方法は、最低値たる100msよりも大きい露光時間を用いて原蛍光画像をキャプチャする。必要とされる最低露光時間は、NA、蛍光色素分子の強度、検出器のピクセルサイズ及び効率、並びに倍率に依存する。
特定の実施形態によれば、ACIS方法を行うACISシステムは、高解像度FP画像との関係で正しい空間的対応を有する広視野収差補正蛍光画像を生成することができる。一般的に、ACIS方法では、EPRY方法からの空間的に変化する瞳孔関数を活用して、原蛍光画像内の収差を補正する。特定の実施形態では、結果として得られるカラー強度画像、位相画像、及び蛍光画像を組み合わせて、サンプルの形態・化学的性質・機能についての多層化された情報を提供することができる。広視野FOV蛍光画像及び高解像度明視野画像は、様々な生物学的撮像分析に関して有益となり得るのであり、例えば、細胞系統追跡やバクテリア計数や細胞移動等に関して有益となり得る。
1つの実施形態では、ACISシステムは高NA対物レンズを備えており、LEDアレイからサンプルへの距離は非特許文献20にて説明されているようにより鋭角な照明角度を可能とするように調整されているのであり、該文献の全体は参照によって取り込まれる。
特定の実施形態では、ACIS方法は、従来的なデコンボリューション方法との比較で1以上の技術的優位性を有している。例えば、ACIS方法ではEPRY方法によって取得されたPSFによるデコンボリューションが用いられるのであり、それによって高解像度コヒーレント画像が生成され、それによってACIS方法は蛍光画像と高解像度コヒーレント画像との適切な重ね合わせを可能とする。この適切な重ね合わせは、2つの画像を重畳する際に重要たり得るのであり、特に瞳孔関数がFOVの異なる領域内において大きな非対称収差を有している場合に尚更である。非対称収差は、画像内において目立った側方への偏位をもたらし得る。提示されたデコンボリューション方法はEPRYから取得された瞳孔関数から直接的に決定されたインコヒーレントPSFを用いるが故に、蛍光画像及び高解像度コヒーレント画像の両方について、同じ量の側方への偏位を伴う収差に関して補正することができる。FP手法によって特徴付けられる瞳孔関数を用いない他のデコンボリューション方法は、適切な側方への偏位を伴った補正画像を生成することができない。なぜならば、これらの方法は画像の絶対的位置を考慮しないのであり、つまりデコンボリューションされた画像が無作為な側方偏位量を解として有し得ることになるからである。画像の絶対的位置を考慮しないブラインド画像型デコンボリューション方法の例は、非特許文献21に示されている。FPM及び蛍光画像の側方への偏位が同じでないことによって、直接画像を重畳してもそれらの間で正しい空間的対応関係がもたらされることにはならない。非ブラインド型デコンボリューション方法の幾つかの例は、非特許文献22及び23に示されており、これらはこれらの方法に関して参照によって取り込まれる。ブラインド型デコンボリューションでは、再構築されるべき画像についてのポジティビティや有限サポート制約等の物理的特性についての部分的な知識を伴った上で、収差が乗った画像のPSFを探そうとする(D. Kundur et. alを参照。)。アルゴリズムは再構築された画像内における側方への偏位には影響されない(即ち、再構築された画像は無作為な値の分だけx−yにおいてシフトされているにもかかわらず、ブラインド型デコンボリューション問題の最適解であり続け得る)。蛍光画像及び明視野画像の重ね合わせが望まれている場合においてこれは望ましくない。なぜならば、デコンボリューション済み蛍光画像が明視野画像との関係で任意の側方への偏位を有し得るのであり、何らかのコロカリゼーションアルゴリズムを用いて修正することが必要となるからである。他方でACIS方法では、このコロカリゼーション問題は悪影響を及ぼさない。なぜならば、収差及び側方への偏位についての情報を含む同じ瞳孔関数が、明視野画像及び蛍光画像の両者の改良のために使用されるからである。両画像が同じ側方への偏位を受けているため、更なる処理を要せずにこれらは共局在化される。
特定の実施形態では、ACIS方法はEPRYプロセス及びインコヒーレントデコンボリューションプロセスを用いるのであり、これによって従来的手法に比して1以上の利点がもたらされる。ACIS方法は明視野及び蛍光画像の画像フィーチャ間のコロカリゼーションを自動的に達成するのであり、これを達成するために、蛍光画像内での収差補正及び明視野画像内での解像度向上の両面に関して同じ瞳孔関数を用いる。
当業者であれば本願明細書にて説明した実施形態に対して様々な変更を容易に想起できるのであり、本願にて定義した汎用的原理は本願開示の核心又は範疇から逸脱せずに他の実施形態にも適用されることができる。したがって、特許請求の範囲は上述した実施形態に限定はされることは意図されておらず、むしろ本願開示・開示された諸原理・開示された新規な特徴に合致する最も広範な範囲で解されるべきである。
また、別個の実施形態の文脈で本願にて説明された特定の特徴は、組み合わせて又は単独の実施形態にて実施されることができる。反対に、単独の実施形態の文脈にて説明された様々な特徴は、複数の実施形態にて個別的に又は任意の適切なサブコンビネーションとして実施されることもできる。さらに、上述の特徴は特定のコンビネーション内にて作用しているものとして説明されたりそのようなものとして権利付与請求されていたりするかもしれないが、一部の場合においては、コンビネーションから権利付与請求されたコンビネーションの1以上の特徴を取り除くこともでき、また、権利付与請求されたコンビネーションについてそのサブコンビネーション又はサブコンビネーションのバリエーションを権利付与請求の対象とすることができる。
同様に、様々なオペレーション(本願にては、「ブロック」ともいう。)を図中に特定の順序で示しているが、このことから、望ましい結果を得るためにはそのようなオペレーションを図示の順序で行ったり、逐次的な順序で行ったり、図示されたオペレーションを全て行うことが要求されていると解されてはならない。さらに、図は、1以上の例示的プロセスをフロー図として概略的に描写し得る。もっとも、不図示の他のオペレーションは、概略的に示された例示的プロセス内に組み込まれていることができる。例えば、1以上の追加的なオペレーションを、図示の任意のオペレーションとの関係で事前に・事後に・同時に又は図示の任意のオペレーションの間に、行うことができる。さらに、上述の実施形態において様々なシステムコンポーネントが分離されているからといって、全ての実施形態においてそのような分離が必要とされていると解されてはならない。また、他の実施形態も添付の特許請求の範囲に含まれる。一部の場合においては、特許請求の範囲にて記載された行為は、異なる順序にて行われても望ましい結果が依然として達成され得る。
上述した様々な機能・オペレーション・プロセス・モジュール・コンポーネントは、コンピュータソフトウェアをモジュール様式または統合様式で用いる制御ロジックの形式で実現することができるということを当業者は理解するであろう。本明細書にて提供する開示及び教示に基づいて、当業者は、ハードウェア及びハードウェアとソフトウェアとの組合せを用いて本発明を実現するための他のやり方及び/又は方法を知り、認識するに至るであろう。
本願中に記載したあらゆるソフトウェアコンポーネント又は機能は、プロセッサによって、あらゆる適切なコンピュータ言語を用いて実行されるソフトウェアコードとして実現することができ、これらのコンピュータ言語は、例えば従来技術又はオブジェクト指向技術を用いる、例えばJava(登録商標)、C++、又はPerl(登録商標)である。これらのソフトウェアコードは、一連の命令又はコマンドとしてCRM上に記憶することができ、CRMは、例えばランダムアクセスメモリ(RAM)、読出し専用メモリ(ROM)、ハードディスクドライブ又はフロッピー(登録商標)ディスクのような磁気媒体、あるいはCD−ROMのような光媒体である。あらゆるこうしたCRMが、単一のコンピュータ装置上又は装置内に存在することができ、また、システム又はネットワーク内の異なる計算装置上又は装置内に存在することができる。
Claims (18)
- 撮像システムによって実行される収差補正インコヒーレント撮像方法であって、
(a)異なる角度からのコヒーレント平面波照明を試料に逐次的に投射している間に試料についての一連のコヒーレント画像を取得するステップであって、前記コヒーレント画像の各々は前記角度の1つからコヒーレント平面波照明を前記試料へともたらしている間に取得される、ステップと、
(b)前記試料から発せられるインコヒーレント光に基づいて前記試料についてのインコヒーレント画像を取得するステップと、
(c)前記取得された一連の画像を用いて解像度を向上させた画像を構築し及び前記撮像システムの瞳孔関数を推定するためにエンベデッド瞳孔関数リカバリプロセスを実施するステップと、
(d)前記推定された瞳孔関数に基づいて前記撮像システムの光学的伝達関数を決定するステップと、
(e)デコンボリューションプロセスを用いて前記取得されたインコヒーレント画像から前記収差を除去して収差補正インコヒーレント画像を生成するステップであって、前記デコンボリューションプロセスは、前記取得された一連の画像を用いて推定された前記瞳孔関数から決定された前記撮像システムの前記光学関数を用いるプロセスである、ステップ
とを含む、方法。 - 前記試料からの前記インコヒーレント光は蛍光放射であり、
前記インコヒーレント画像は単色蛍光画像である、
請求項1に記載の収差補正インコヒーレント撮像方法。 - 前記単色蛍光画像をカラー蛍光画像に変換するステップをさらに含む、請求項2に記載の収差補正インコヒーレント撮像方法。
- 前記取得された画像の視野を複数のタイル領域に分割するステップと、
一連のタイル画像を各タイル領域について生成するステップと、
インコヒーレントタイル画像を各タイル領域について生成するステップと、
各タイル領域について、前記生成された一連のタイル画像を用いて解像度を向上させたタイル画像を構築し及び瞳孔関数を推定するために前記エンベデッド瞳孔関数リカバリプロセスを実施するステップ
とをさらに含む、請求項1に記載の収差補正インコヒーレント撮像方法。 - 前記解像度を向上させたタイル画像は各タイルについて並列的に構築され、また、前記瞳孔関数は各タイル領域について並列的に推定される、請求項4に記載の収差補正インコヒーレント撮像方法。
- 各タイル領域について、前記推定されたタイル瞳孔関数に基づいてタイル光学的伝達関数を決定するステップと、
各タイル領域について、前記インコヒーレントタイル画像から収差を除去して、前記デコンボリューションプロセスを用いて及び前記決定されたタイル光学的伝達関数を伴って収差補正インコヒーレントタイル画像を生成するステップと、
前記収差補正インコヒーレントタイル画像を前記複数のタイル領域について組み合わせることによって前記収差補正インコヒーレント画像を生成するステップ
とをさらに含む、請求項4に記載の収差補正インコヒーレント撮像方法。 - 前記解像度を向上させた画像の構築と前記瞳孔関数の推定とが同時に起こる、請求項1又は5に記載の収差補正インコヒーレント撮像方法。
- 前記取得された一連の画像を用いて前記解像度を向上させた画像を構築するために前記エンベデッド瞳孔関数リカバリプロセスを実施するステップは、前記解像度を向上させた画像の振幅及び位相データを回復することを含む、請求項1に記載の収差補正インコヒーレント撮像方法。
- 前記照明角度は、被撮像試料を有している前記撮像システムの平面との関係で斜角をなしている、請求項1に記載の収差補正インコヒーレント撮像方法。
- 前記試料について少なくとも1つの追加のインコヒーレント画像を取得するステップと、
各追加のインコヒーレント画像について前記ステップ(c)、(d)及び(e)を行って収差補正インコヒーレント画像を生成するステップ
とをさらに含む、請求項1に記載の収差補正インコヒーレント撮像方法。 - 請求項10に記載の収差補正インコヒーレント撮像方法であって、各収差補正インコヒーレント画像は単色であり、該方法は、
各単色蛍光画像をカラー蛍光画像に変換するステップと、
前記カラー収差補正蛍光画像を重畳して前記試料についてのマルチカラー蛍光画像を生成するステップ
とをさらに含む、方法。 - 前記ステップ(b)が前記ステップ(a)の前に起こる、請求項1に記載の収差補正インコヒーレント撮像方法。
- 前記ステップ(b)が前記ステップ(c)の後に又は前記ステップ(d)の後に起こる、請求項1に記載の収差補正インコヒーレント撮像方法。
- 請求項1に記載の収差補正インコヒーレント撮像方法であって、該方法は、
第1の蛍光放射セットをもたらす蛍光色素分子を活性化させるように構成された第1の波長バンドの励起光で前記試料を照らすステップをさらに含み、
前記第1の波長バンドの励起光で前記試料が照らされている間に光路内に放射フィルタを導入するステップをさらに含み、
前記取得されたインコヒーレント画像は、前記第1の蛍光放射セットに基づいている前記試料についての蛍光画像である、
方法。 - 撮像システムであって、該システムは、
異なる斜めの角度からのコヒーレント平面波照明で試料を逐次的に照らすように構成された可変コヒーレント光源と、
前記試料に対して第1の波長バンドをもたらすように構成されている励起光源であって、前記第1の波長バンドは前記試料内の蛍光色素分子を活性化して第1の蛍光放射セットを伴った光を放射させるように構成されている、励起光源と、
前記試料から発せられる光を集光するための集光光学系を有する光学系であって、前記光学系は前記励起光源が第1の波長バンドを前記試料にもたらしている間は放射フィルタを含んでおり、前記放射フィルタは前記第1の蛍光放射セットを通過させ及び他の波長を遮断するためのものであり、前記光学系は光を1以上のイメージセンサへと伝播させるように構成されている、光学系
とを備えるのであって、
前記1以上のイメージセンサは、前記可変コヒーレント光源が前記試料を異なる斜めの角度からのコヒーレント平面波照明で逐次的に照らしている間に前記試料についての一連のコヒーレント画像を取得するように構成されており、前記1以上のイメージセンサは、インコヒーレント照明に基づいて前記試料についてのインコヒーレント画像を取得するようにさらに構成されており、
該システムは、
前記1以上のイメージセンサと電気通信可能な、前記一連のコヒーレント画像及び前記インコヒーレント画像についての画像データを受信するための1以上のプロセッサ
をさらに備えており、前記1以上のプロセッサは、
エンベデッド瞳孔関数リカバリプロセスをもって解像度を向上させた画像を構築し、及び同時に、エンベデッド瞳孔関数リカバリプロセスを前記取得された一連のコヒーレント画像についての前記画像データと共に用いて前記撮像システムの瞳孔関数を推定するステップと、
前記推定された瞳孔関数に基づいて前記撮像システムの光学的伝達関数を決定するステップと、
デコンボリューションプロセスを用いて前記取得されたインコヒーレント画像から収差を除去することによって収差補正インコヒーレント画像を生成するステップであって、前記デコンボリューションプロセスは前記取得された一連の画像を用いて推定された前記瞳孔関数から決定された前記撮像システムの前記光学関数を用いるプロセスである、ステップ
とを行わせるためのメモリ内に格納された命令を実行するように構成されている、システム。 - 前記励起光源は前記光学系の集光光学系から離れる方向へ向けられている、請求項15に記載の撮像システム。
- 前記可変コヒーレント光源は個別発光素子の円形アレイ又は個別発光素子の矩形アレイである、請求項15に記載の撮像システム。
- 前記可変コヒーレント光源はLEDアレイである、請求項15に記載の撮像システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562133130P | 2015-03-13 | 2015-03-13 | |
US62/133,130 | 2015-03-13 | ||
PCT/US2016/022116 WO2016149120A1 (en) | 2015-03-13 | 2016-03-11 | Correcting for aberrations in incoherent imaging system using fourier ptychographic techniques |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018509622A true JP2018509622A (ja) | 2018-04-05 |
Family
ID=56887670
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017547995A Pending JP2018509622A (ja) | 2015-03-13 | 2016-03-11 | フーリエタイコグラフィ手法を用いるインコヒーレント撮像システムにおける収差補正 |
Country Status (7)
Country | Link |
---|---|
US (1) | US10684458B2 (ja) |
EP (1) | EP3268769A4 (ja) |
JP (1) | JP2018509622A (ja) |
CN (1) | CN107407799B (ja) |
AU (1) | AU2016233588A1 (ja) |
CA (1) | CA2979392A1 (ja) |
WO (1) | WO2016149120A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102082747B1 (ko) * | 2019-01-23 | 2020-02-28 | 연세대학교 산학협력단 | 초점거리 조절이 가능한 led 어레이 기반 3차원 이미징 장치 및 방법 |
WO2022014579A1 (ja) * | 2020-07-14 | 2022-01-20 | 国立研究開発法人情報通信研究機構 | 光学収差補正プログラム及び光学波面推定プログラム |
WO2022059442A1 (ja) * | 2020-09-18 | 2022-03-24 | 株式会社Screenホールディングス | 撮像装置および撮像方法 |
KR20240009242A (ko) * | 2022-07-13 | 2024-01-22 | 중앙대학교 산학협력단 | 푸리에 타이코그래픽 현미경 |
Families Citing this family (58)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SG11201503293VA (en) | 2012-10-30 | 2015-05-28 | California Inst Of Techn | Fourier ptychographic imaging systems, devices, and methods |
US10652444B2 (en) | 2012-10-30 | 2020-05-12 | California Institute Of Technology | Multiplexed Fourier ptychography imaging systems and methods |
US9864184B2 (en) | 2012-10-30 | 2018-01-09 | California Institute Of Technology | Embedded pupil function recovery for fourier ptychographic imaging devices |
CN110262026B (zh) | 2013-07-31 | 2022-04-01 | 加州理工学院 | 孔径扫描傅立叶重叠关联成像 |
JP2016530567A (ja) | 2013-08-22 | 2016-09-29 | カリフォルニア インスティチュート オブ テクノロジー | 可変照明フーリエタイコグラフィー撮像装置、システム、及び方法 |
US11468557B2 (en) | 2014-03-13 | 2022-10-11 | California Institute Of Technology | Free orientation fourier camera |
US10162161B2 (en) | 2014-05-13 | 2018-12-25 | California Institute Of Technology | Ptychography imaging systems and methods with convex relaxation |
JP6351419B2 (ja) * | 2014-07-17 | 2018-07-04 | 株式会社ミツトヨ | 球形状測定方法及び装置 |
DE102014112242A1 (de) * | 2014-08-26 | 2016-03-03 | Carl Zeiss Ag | Phasenkontrast-Bildgebung |
EP3238135B1 (en) | 2014-12-22 | 2020-02-05 | California Institute Of Technology | Epi-illumination fourier ptychographic imaging for thick samples |
AU2016209275A1 (en) | 2015-01-21 | 2017-06-29 | California Institute Of Technology | Fourier ptychographic tomography |
AU2016211635A1 (en) | 2015-01-26 | 2017-06-29 | California Institute Of Technology | Multi-well fourier ptychographic and fluorescence imaging |
US10684458B2 (en) | 2015-03-13 | 2020-06-16 | California Institute Of Technology | Correcting for aberrations in incoherent imaging systems using fourier ptychographic techniques |
US9993149B2 (en) | 2015-03-25 | 2018-06-12 | California Institute Of Technology | Fourier ptychographic retinal imaging methods and systems |
US10228550B2 (en) | 2015-05-21 | 2019-03-12 | California Institute Of Technology | Laser-based Fourier ptychographic imaging systems and methods |
WO2017181044A1 (en) * | 2016-04-15 | 2017-10-19 | The Regents Of The University Of California | Optical phase retrieval systems using color-multiplexed illumination |
US11092795B2 (en) | 2016-06-10 | 2021-08-17 | California Institute Of Technology | Systems and methods for coded-aperture-based correction of aberration obtained from Fourier ptychography |
US10568507B2 (en) | 2016-06-10 | 2020-02-25 | California Institute Of Technology | Pupil ptychography methods and systems |
US10823945B2 (en) * | 2017-01-10 | 2020-11-03 | Tsinghua University | Method for multi-color fluorescence imaging under single exposure, imaging method and imaging system |
SE543211C2 (en) | 2017-06-29 | 2020-10-27 | Mabtech Production Ab | Method and system for analyzing Fluorospot assays |
US10733419B2 (en) * | 2017-08-29 | 2020-08-04 | Georgia Tech Research Corporation | Systems and methods for cell membrane identification and tracking, and technique automation using the same |
DE102017121291A1 (de) * | 2017-09-14 | 2019-03-14 | Carl Zeiss Microscopy Gmbh | Bestimmung von Aberrationen mittels Winkel-variabler Beleuchtung |
WO2019090149A1 (en) | 2017-11-03 | 2019-05-09 | California Institute Of Technology | Parallel digital imaging acquisition and restoration methods and systems |
CN107966801A (zh) * | 2017-12-29 | 2018-04-27 | 南京理工大学 | 一种基于环形照明的高速傅立叶叠层成像装置及重构方法 |
WO2019191061A1 (en) * | 2018-03-26 | 2019-10-03 | Georgia Tech Research Corporation | Cell imaging systems and methods |
CN108535863B (zh) | 2018-03-30 | 2020-10-27 | 武汉华星光电技术有限公司 | 一种盖板的处理方法、控制器、盖板处理装置及存储介质 |
US10755892B2 (en) * | 2018-05-23 | 2020-08-25 | Kla-Tencor Corporation | Reflection-mode electron-beam inspection using ptychographic imaging |
WO2020041936A1 (zh) * | 2018-08-27 | 2020-03-05 | 深圳大学 | 一种图像重构方法、装置、电子设备和存储介质 |
EP3624047B1 (en) * | 2018-09-14 | 2022-08-10 | Leica Microsystems CMS GmbH | Deconvolution apparatus and method using a local signal-to-noise ratio |
EP3643239B8 (en) * | 2018-10-22 | 2024-02-21 | Siemens Healthineers AG | Method and system for controlling an x-ray projection imaging device |
CN109375358B (zh) * | 2018-11-28 | 2020-07-24 | 南京理工大学 | 一种基于最优照明模式设计下的差分相衬定量相位显微成像方法 |
CN113939728A (zh) | 2018-12-18 | 2022-01-14 | 帕斯维尔公司 | 用于病理样本自动化成像和分析的基于计算显微镜的系统和方法 |
WO2020150634A1 (en) * | 2019-01-17 | 2020-07-23 | KM Labs Inc. | Quantum-limited extended ultraviolet / x-ray coherent diffraction imaging |
US10724956B1 (en) * | 2019-02-01 | 2020-07-28 | Essen Instruments, Inc. | Spectral unmixing |
CN110068973B (zh) * | 2019-04-15 | 2020-11-13 | 中国科学院光电技术研究所 | 一种基于反卷积神经网络的液晶像差校正方法 |
US11523046B2 (en) * | 2019-06-03 | 2022-12-06 | Molecular Devices, Llc | System and method to correct for variation of in-focus plane across a field of view of a microscope objective |
CN112051239B (zh) * | 2019-06-05 | 2024-04-12 | 中国科学院上海光学精密机械研究所 | 基于动态散射系统的在探测面积受限情况下的成像方法 |
JP7452544B2 (ja) * | 2019-07-09 | 2024-03-19 | ソニーグループ株式会社 | 情報処理装置およびプログラム |
CN110441983B (zh) * | 2019-07-24 | 2022-09-09 | 成都仲伯科技有限公司 | 基于光学传递函数的x光高分辨率成像方法 |
CN110411983B (zh) * | 2019-07-26 | 2022-05-27 | 南方科技大学 | 一种高分辨率衍射成像方法及装置 |
US12073541B2 (en) | 2019-08-09 | 2024-08-27 | The Board Of Regents Of The University Of Texas System | Methods for high-performance electron microscopy |
CN110676149B (zh) * | 2019-09-30 | 2021-06-22 | 南京大学 | 一种电子显微成像系统及成像方法 |
CN110855901B (zh) * | 2019-11-28 | 2021-06-18 | 维沃移动通信有限公司 | 摄像头的曝光时间控制方法及电子设备 |
CN111062889B (zh) * | 2019-12-17 | 2023-10-24 | 北京理工大学 | 一种用于傅里叶叠层显微成像技术的光强校正方法 |
CN111260556B (zh) * | 2020-01-16 | 2021-09-28 | 中国科学院长春光学精密机械与物理研究所 | 一种基于深度卷积神经网络的傅里叶叠层显微重建方法 |
EP4010753A1 (en) * | 2020-02-04 | 2022-06-15 | Google LLC | Systems, devices, and methods for directing and managing image data from a camera in wearable devices |
CN111307759A (zh) * | 2020-04-12 | 2020-06-19 | 北京工业大学 | 一种连续太赫兹波傅里叶叠层显微成像系统和方法 |
CN113917683A (zh) * | 2020-07-09 | 2022-01-11 | 菁眸生物科技(上海)有限公司 | 一种即时仿真测量矫正人眼高阶像差的方法及系统 |
US11689821B2 (en) * | 2020-08-07 | 2023-06-27 | The Government Of The United States Of America, As Represented By The Secretary Of The Navy | Incoherent Fourier ptychographic super-resolution imaging system with priors |
CN114119856B (zh) * | 2020-08-27 | 2024-04-26 | 哈尔滨工业大学 | 一种遥感成像图像仿真方法及系统 |
DE102020123668A1 (de) * | 2020-09-10 | 2022-03-10 | Carl Zeiss Microscopy Gmbh | Verfahren zur Bildauswertung für die SIM-Mikroskopie und SIM-Mikroskopieverfahren |
EP4006613A1 (en) * | 2020-11-25 | 2022-06-01 | PreciPoint GmbH | Digital microscope and method of operating a digital microscope |
US20220206279A1 (en) * | 2020-12-28 | 2022-06-30 | University Of Central Florida Research Foundation, Inc. | Microscopy illumination apparatus, methods, and applications |
CN112882216A (zh) * | 2021-01-29 | 2021-06-01 | 中国科学院长春应用化学研究所 | 高分辨荧光辅助傅里叶叠层双模态显微成像系统 |
CN113379596B (zh) * | 2021-04-30 | 2022-09-09 | 长春理工大学 | 基于dmd的超分辨成像光学系统公差分析方法 |
CN114693828B (zh) * | 2022-04-07 | 2023-01-31 | 中国科学院西安光学精密机械研究所 | 基于交替方向乘子法的傅里叶叠层成像重建方法 |
US12002348B2 (en) * | 2022-08-07 | 2024-06-04 | Andrew Magdy Kamal | Computing method |
CN115980989B (zh) * | 2023-01-09 | 2024-08-06 | 南开大学 | 基于微透镜阵列的单帧定量相位层析成像系统及方法 |
Family Cites Families (154)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5475527A (en) | 1994-09-26 | 1995-12-12 | The Regents Of The University Of California | Fourier plane image amplifier |
KR19980075050A (ko) | 1997-03-28 | 1998-11-05 | 윤종용 | 주사 전자 현미경의 가변어퍼쳐 |
US6144365A (en) | 1998-04-15 | 2000-11-07 | S3 Incorporated | System and method for performing blending using an over sampling buffer |
US6154196A (en) | 1998-06-08 | 2000-11-28 | Wacom Co., Ltd. | Coordinate input device convertible between right-handed and left-handed modes |
US6320648B1 (en) | 1998-10-12 | 2001-11-20 | Steven R. J. Brueck | Method and apparatus for improving pattern fidelity in diffraction-limited imaging |
DE19949029C2 (de) | 1999-10-11 | 2002-11-21 | Innovatis Gmbh | Verfahren und Vorrichtung zur Charakterisierung einer Kulturflüssigkeit |
US6320174B1 (en) | 1999-11-16 | 2001-11-20 | Ikonisys Inc. | Composing microscope |
US20010055062A1 (en) | 2000-04-20 | 2001-12-27 | Keiji Shioda | Operation microscope |
US6856457B2 (en) | 2001-03-27 | 2005-02-15 | Prairie Technologies, Inc. | Single and multi-aperture, translationally-coupled confocal microscope |
DE10128476C2 (de) | 2001-06-12 | 2003-06-12 | Siemens Dematic Ag | Optische Sensorvorrichtung zur visuellen Erfassung von Substraten |
GB0115714D0 (en) | 2001-06-27 | 2001-08-22 | Imperial College | Structure determination of macromolecules |
US6747781B2 (en) | 2001-06-25 | 2004-06-08 | Silicon Light Machines, Inc. | Method, apparatus, and diffuser for reducing laser speckle |
US6741730B2 (en) | 2001-08-10 | 2004-05-25 | Visiongate, Inc. | Method and apparatus for three-dimensional imaging in the fourier domain |
US6870165B2 (en) | 2001-10-19 | 2005-03-22 | Biocal Technology, Inc. | Multi-color multiplexed analysis in a bio-separation system |
EP1466136B1 (en) | 2002-01-16 | 2011-08-03 | Faro Technologies, Inc. | Laser-based coordinate measuring device and laser-based method for measuring coordinates |
US6759949B2 (en) | 2002-05-23 | 2004-07-06 | Visteon Global Technologies, Inc. | Image enhancement in far infrared camera |
WO2004034121A2 (en) | 2002-09-23 | 2004-04-22 | Dmetrix, Inc. | Multi-mode scanning imaging system |
JP4360817B2 (ja) | 2002-10-18 | 2009-11-11 | 株式会社日立メディコ | 放射線断層撮影装置 |
CN1768346B (zh) | 2003-03-31 | 2010-11-17 | Cdm光学有限公司 | 用于最小化成像系统中的光程差效应的系统和方法 |
JP4377171B2 (ja) | 2003-07-15 | 2009-12-02 | Tdk株式会社 | 空間光変調器 |
US7738095B2 (en) | 2003-07-18 | 2010-06-15 | Chemimage Corporation | Method and apparatus for compact spectrometer for detecting hazardous agents |
US7823783B2 (en) | 2003-10-24 | 2010-11-02 | Cognex Technology And Investment Corporation | Light pipe illumination system and method |
US8271251B2 (en) | 2004-02-09 | 2012-09-18 | Wisconsin Alumni Research Foundation | Automated imaging system for single molecules |
US7173256B2 (en) | 2004-03-26 | 2007-02-06 | Fox John S | Fluorescent image calibration step wedge, and use thereof in illumination for fluorescent imaging and automatic exposure |
DE102004017232A1 (de) | 2004-04-05 | 2005-10-20 | Bosch Gmbh Robert | Interferometrische Messvorrichtung |
US7505550B2 (en) | 2004-06-16 | 2009-03-17 | Hitachi Medical Corporation | Radiotomography apparatus |
ATE520050T1 (de) * | 2004-06-21 | 2011-08-15 | Koninkl Philips Electronics Nv | Aberrationskorrektur für die spektroskopische analyse |
US7436503B1 (en) | 2004-08-03 | 2008-10-14 | Kla-Tencor Technologies Corp. | Dark field inspection apparatus and methods |
WO2006016359A2 (en) | 2004-08-09 | 2006-02-16 | Classifeye Ltd. | Non-contact optical means and method for 3d fingerprint recognition |
US7545571B2 (en) * | 2004-09-08 | 2009-06-09 | Concurrent Technologies Corporation | Wearable display system |
US20060173313A1 (en) * | 2005-01-27 | 2006-08-03 | Siemens Medical Solutions Usa, Inc. | Coherence factor adaptive ultrasound imaging |
US7653232B2 (en) | 2005-01-28 | 2010-01-26 | University Of Massachusetts | Phase based digital imaging |
US8654201B2 (en) | 2005-02-23 | 2014-02-18 | Hewlett-Packard Development Company, L.P. | Method for deblurring an image |
WO2006107795A1 (en) | 2005-04-05 | 2006-10-12 | The Board Of Trustees Of The Leland Stanford Junior University | Optical image processing using minimum phase functions |
WO2006127967A2 (en) * | 2005-05-25 | 2006-11-30 | Massachusetts Institute Of Technology | Multifocal scanning microscopy systems and methods |
WO2006128325A1 (en) | 2005-06-03 | 2006-12-07 | Capitalbio Corporation | Optical systems for microarray scanning |
JP2007071803A (ja) | 2005-09-09 | 2007-03-22 | Hitachi High-Technologies Corp | 欠陥観察方法及びその装置 |
JP4696890B2 (ja) | 2005-12-12 | 2011-06-08 | 富士ゼロックス株式会社 | ホログラム記録方法及びホログラム記録装置 |
JP4727517B2 (ja) | 2006-01-11 | 2011-07-20 | 富士フイルム株式会社 | 光源装置および光断層画像化装置 |
WO2007084959A1 (en) | 2006-01-20 | 2007-07-26 | The General Hospital Corporation | Systems and methods for providing mirror tunnel microscopy |
JP4822925B2 (ja) | 2006-04-28 | 2011-11-24 | 日本電子株式会社 | 透過型電子顕微鏡 |
US7460248B2 (en) | 2006-05-15 | 2008-12-02 | Carestream Health, Inc. | Tissue imaging system |
US8980179B2 (en) | 2006-05-17 | 2015-03-17 | University Of Maryland, Baltimore County | Angular-dependent metal-enhanced fluorescence |
JP5174810B2 (ja) | 2006-06-16 | 2013-04-03 | カール・ツァイス・エスエムティー・ゲーエムベーハー | マイクロリソグラフィ投影露光装置の投影対物器械 |
US7838302B2 (en) | 2006-08-07 | 2010-11-23 | President And Fellows Of Harvard College | Sub-diffraction limit image resolution and other imaging techniques |
CN100385275C (zh) | 2006-09-29 | 2008-04-30 | 李志扬 | 主动光学位相共轭方法及装置 |
JP4690379B2 (ja) | 2006-12-05 | 2011-06-01 | 韓國電子通信研究院 | 偏光板と高速フーリエ変換を用いたナノ線感知用光学顕微鏡システム |
WO2008116070A2 (en) | 2007-03-20 | 2008-09-25 | Chroma Technology Corporation | Light source |
US8313031B2 (en) | 2007-03-30 | 2012-11-20 | Symbol Technologies, Inc. | Adaptive aperture for an imaging scanner |
WO2008124832A1 (en) * | 2007-04-10 | 2008-10-16 | University Of Rochester | Structured illumination for imaging of stationary and non-stationary, fluorescent and non-flourescent objects |
US8624968B1 (en) | 2007-04-25 | 2014-01-07 | Stc.Unm | Lens-less digital microscope |
CN101743519B (zh) | 2007-05-16 | 2013-04-24 | 视瑞尔技术公司 | 全息显示装置 |
JP5083315B2 (ja) | 2007-06-13 | 2012-11-28 | 株式会社ニコン | 検査装置、検査方法およびプログラム |
US8848199B2 (en) | 2007-07-10 | 2014-09-30 | Massachusetts Institute Of Technology | Tomographic phase microscopy |
US7929142B2 (en) | 2007-09-25 | 2011-04-19 | Microsoft Corporation | Photodiode-based bi-directional reflectance distribution function (BRDF) measurement |
CN101868740B (zh) | 2007-11-23 | 2012-10-10 | 皇家飞利浦电子股份有限公司 | 多模式光斑发生器和多模式多光斑扫描显微镜 |
US8115992B2 (en) | 2007-12-31 | 2012-02-14 | Stc.Unm | Structural illumination and evanescent coupling for the extension of imaging interferometric microscopy |
US9239455B2 (en) | 2007-12-31 | 2016-01-19 | Stc.Unm | Structural illumination and evanescent coupling for the extension of imaging interferometric microscopy |
CN101408623B (zh) | 2008-01-23 | 2011-01-19 | 北京航空航天大学 | 宽带综合孔径上变频成像系统 |
JP2010012222A (ja) | 2008-06-06 | 2010-01-21 | Olympus Medical Systems Corp | 医療装置 |
US8184279B2 (en) | 2008-06-16 | 2012-05-22 | The Regents Of The University Of Colorado, A Body Corporate | Fourier domain sensing |
US7787588B1 (en) | 2008-07-21 | 2010-08-31 | Xradia, Inc. | System and method for quantitative reconstruction of Zernike phase-contrast images |
CN102159934A (zh) | 2008-09-26 | 2011-08-17 | 株式会社堀场制作所 | 颗粒物性测量装置 |
US8019136B2 (en) | 2008-12-03 | 2011-09-13 | Academia Sinica | Optical sectioning microscopy |
GB0822149D0 (en) | 2008-12-04 | 2009-01-14 | Univ Sheffield | Provision of image data |
CN102317820B (zh) | 2008-12-22 | 2013-11-20 | 3M创新有限公司 | 使用空间选择性双折射减少的内部图案化多层光学膜 |
US8660312B2 (en) * | 2009-01-21 | 2014-02-25 | California Institute Of Technology | Quantitative differential interference contrast (DIC) devices for computed depth sectioning |
US8836948B2 (en) | 2009-01-29 | 2014-09-16 | The Regents Of The University Of California | High resolution structured illumination microscopy |
CN101872033B (zh) | 2009-04-24 | 2014-04-30 | 鸿富锦精密工业(深圳)有限公司 | 遮光片阵列、遮光片阵列制造方法及镜头模组阵列 |
US20160156880A1 (en) | 2009-06-03 | 2016-06-02 | Flir Systems, Inc. | Durable compact multisensor observation devices |
US8559014B2 (en) | 2009-09-25 | 2013-10-15 | Hwan J. Jeong | High-resolution, common-path interferometric imaging systems and methods |
EP3671176B1 (en) | 2009-10-20 | 2022-04-13 | The Regents of the University of California | Incoherent lensfree cell holography and microscopy on a chip |
US20140152801A1 (en) | 2009-10-28 | 2014-06-05 | Alentic Microscience Inc. | Detecting and Using Light Representative of a Sample |
US8497934B2 (en) | 2009-11-25 | 2013-07-30 | Massachusetts Institute Of Technology | Actively addressable aperture light field camera |
DE102009047361B4 (de) | 2009-12-01 | 2013-02-07 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung zur optischen Abbildung |
US8994811B2 (en) | 2010-01-27 | 2015-03-31 | National University Corporation Hokkaido University | Diffraction microscopy |
JP5538936B2 (ja) | 2010-02-10 | 2014-07-02 | キヤノン株式会社 | 解析方法、プログラム、記憶媒体、x線位相イメージング装置 |
TW201137923A (en) * | 2010-02-10 | 2011-11-01 | Halcyon Molecular Inc | Aberration-correcting dark-field electron microscopy |
RU2571564C2 (ru) | 2010-06-21 | 2015-12-20 | Конинклейке Филипс Электроникс Н.В. | Способ и система для выполнения визуализации методом низкодозовой компьютерной томографии |
US9129371B2 (en) | 2010-06-25 | 2015-09-08 | Cireca Theranostics, Llc | Method for analyzing biological specimens by spectral imaging |
GB2481589B (en) | 2010-06-28 | 2014-06-11 | Phase Focus Ltd | Calibration of a probe in ptychography |
US9668705B2 (en) | 2010-07-13 | 2017-06-06 | Takara Telesystems Corp. | X-ray tomogram imaging device |
US8599367B2 (en) | 2010-08-04 | 2013-12-03 | Alliant Techsystems Inc. | Apparatus and methods for obtaining multi-dimensional spatial and spectral data with LIDAR detection |
US20130170024A1 (en) | 2010-09-14 | 2013-07-04 | Applied Precision, Inc. | Oblique-illumination systems and methods |
WO2012035170A1 (en) | 2010-09-17 | 2012-03-22 | Lltech Inc. | Optical tissue sectioning using full field optical coherence tomography |
CN101957183B (zh) | 2010-09-26 | 2012-03-21 | 深圳大学 | 一种结构光投影的高速三维测量系统 |
US9426429B2 (en) | 2010-10-26 | 2016-08-23 | California Institute Of Technology | Scanning projective lensless microscope system |
US9569664B2 (en) | 2010-10-26 | 2017-02-14 | California Institute Of Technology | Methods for rapid distinction between debris and growing cells |
GB201020516D0 (en) | 2010-12-03 | 2011-01-19 | Univ Sheffield | Improvements in providing image data |
KR20130131408A (ko) | 2010-12-21 | 2013-12-03 | 더 리전트 오브 더 유니버시티 오브 캘리포니아 | 모바일 장치 상의 콤팩트한 와이드필드 형광 이미징 |
US9411144B2 (en) | 2011-01-12 | 2016-08-09 | Ge Healthcare Bio-Sciences Corp. | Systems for fluorescence illumination using superimposed polarization states |
WO2012102887A2 (en) | 2011-01-24 | 2012-08-02 | The Board Of Trustees Of The University Of Illinois | Computational adaptive optics for interferometric synthetic aperture microscopy and other interferometric imaging |
US8866063B2 (en) | 2011-03-31 | 2014-10-21 | The Regents Of The University Of California | Lens-free wide-field super-resolution imaging device |
US8841591B2 (en) | 2011-04-04 | 2014-09-23 | The Board Of Trustees Of The Leland Stanford Junior University | Grating-enhanced optical imaging |
GB201107053D0 (en) | 2011-04-27 | 2011-06-08 | Univ Sheffield | Improvements in providing image data |
US8761533B2 (en) | 2011-05-05 | 2014-06-24 | Mitsubishi Electric Research Laboratories, Inc. | Method for performing image processing applications using quadratic programming |
US20140347672A1 (en) | 2011-07-29 | 2014-11-27 | Ecole Polytechnique Federale De Lausanne (Epfl) | Apparatus and method for quantitive phase tomography through linear scanning with coherent and non-coherent detection |
US20140160236A1 (en) | 2011-07-29 | 2014-06-12 | The Regents Of The University Of California | Lensfree holographic microscopy using wetting films |
WO2013035009A1 (en) | 2011-09-06 | 2013-03-14 | Koninklijke Philips Electronics N.V. | Optical biosensor with a plurality of sensors regions |
US20190097524A1 (en) | 2011-09-13 | 2019-03-28 | Fsp Technology Inc. | Circuit having snubber circuit in power supply device |
US20130093871A1 (en) | 2011-10-18 | 2013-04-18 | Andreas G. Nowatzyk | Omnidirectional super-resolution microscopy |
US9599805B2 (en) * | 2011-10-19 | 2017-03-21 | National Synchrotron Radiation Research Center | Optical imaging system using structured illumination |
US9324133B2 (en) | 2012-01-04 | 2016-04-26 | Sharp Laboratories Of America, Inc. | Image content enhancement using a dictionary technique |
GB201201140D0 (en) | 2012-01-24 | 2012-03-07 | Phase Focus Ltd | Method and apparatus for determining object characteristics |
WO2013116316A1 (en) | 2012-01-30 | 2013-08-08 | Scanadu Incorporated | Hyperspectral imaging systems, units, and methods |
CN102608597B (zh) | 2012-03-19 | 2014-07-23 | 西安电子科技大学 | 基于非完全数据解卷积的实孔径前视成像方法 |
CN103377746B (zh) | 2012-04-14 | 2015-12-02 | 中国科学技术大学 | 实现显微镜系统超分辨成像的方法 |
US9715098B2 (en) * | 2012-05-31 | 2017-07-25 | The Board Of Trustees Of The University Of Illinois | Sparse deconvolution spatial light microscopy in two and three dimensions |
EP2690648B1 (en) | 2012-07-26 | 2014-10-15 | Fei Company | Method of preparing and imaging a lamella in a particle-optical apparatus |
WO2014018584A1 (en) | 2012-07-24 | 2014-01-30 | Trustees Of Boston University | Partitioned aperture wavefront imaging method and system |
US9552658B2 (en) | 2012-07-26 | 2017-01-24 | William Marsh Rice University | Methods and systems for video compressive sensing for dynamic imaging |
US20140085629A1 (en) | 2012-09-27 | 2014-03-27 | Bodkin Design & Engineering, Llc | Active Hyperspectral Imaging Systems |
DE102012020240A1 (de) | 2012-10-12 | 2014-04-17 | Carl Zeiss Microscopy Gmbh | Mikroskop und Verfahren zur SPIM Mikroskopie |
US10652444B2 (en) | 2012-10-30 | 2020-05-12 | California Institute Of Technology | Multiplexed Fourier ptychography imaging systems and methods |
US9864184B2 (en) | 2012-10-30 | 2018-01-09 | California Institute Of Technology | Embedded pupil function recovery for fourier ptychographic imaging devices |
SG11201503293VA (en) | 2012-10-30 | 2015-05-28 | California Inst Of Techn | Fourier ptychographic imaging systems, devices, and methods |
US9279972B2 (en) | 2012-11-01 | 2016-03-08 | California Institute Of Technology | Spatial frequency swept interference illumination |
AU2012258412A1 (en) | 2012-11-30 | 2014-06-19 | Canon Kabushiki Kaisha | Combining differential images by inverse Riesz transformation |
US9400169B2 (en) | 2012-12-06 | 2016-07-26 | Lehigh University | Apparatus and method for space-division multiplexing optical coherence tomography |
CN110262026B (zh) | 2013-07-31 | 2022-04-01 | 加州理工学院 | 孔径扫描傅立叶重叠关联成像 |
JP2016530567A (ja) | 2013-08-22 | 2016-09-29 | カリフォルニア インスティチュート オブ テクノロジー | 可変照明フーリエタイコグラフィー撮像装置、システム、及び方法 |
US11468557B2 (en) | 2014-03-13 | 2022-10-11 | California Institute Of Technology | Free orientation fourier camera |
US10162161B2 (en) | 2014-05-13 | 2018-12-25 | California Institute Of Technology | Ptychography imaging systems and methods with convex relaxation |
EP3146501B1 (en) | 2014-05-19 | 2020-09-09 | The Regents of the University of California | Fourier ptychographic microscopy with multiplexed illumination |
CN104101993B (zh) * | 2014-07-10 | 2017-04-19 | 深圳职业技术学院 | 傅立叶显微镜装置及信息共享系统及其信息共享方法 |
CN104200449B (zh) | 2014-08-25 | 2016-05-25 | 清华大学深圳研究生院 | 一种基于压缩感知的fpm方法 |
CN104181686B (zh) | 2014-08-25 | 2016-08-17 | 清华大学深圳研究生院 | 基于fpm的光场显微方法 |
US10874581B2 (en) | 2014-10-07 | 2020-12-29 | International Biophysics Corporation | Method of clearing a biological airway using a self-contained portable positionable oscillating motor array |
EP3207499A4 (en) | 2014-10-17 | 2018-09-19 | Cireca Theranostics, LLC | Methods and systems for classifying biological samples, including optimization of analyses and use of correlation |
CA2969432A1 (en) | 2014-12-04 | 2016-06-09 | Roarke W. Horstmeyer | Multiplexed fourier ptychography imaging systems and methods |
EP3238135B1 (en) | 2014-12-22 | 2020-02-05 | California Institute Of Technology | Epi-illumination fourier ptychographic imaging for thick samples |
AU2014280894A1 (en) | 2014-12-23 | 2016-07-07 | Canon Kabushiki Kaisha | Illumination systems and devices for Fourier Ptychographic imaging |
AU2014280898A1 (en) | 2014-12-23 | 2016-07-07 | Canon Kabushiki Kaisha | Reconstruction algorithm for Fourier Ptychographic imaging |
US20160202460A1 (en) | 2015-01-13 | 2016-07-14 | University Of Connecticut | 3D Microscopy With Illumination Engineering |
AU2016209275A1 (en) | 2015-01-21 | 2017-06-29 | California Institute Of Technology | Fourier ptychographic tomography |
AU2016211635A1 (en) | 2015-01-26 | 2017-06-29 | California Institute Of Technology | Multi-well fourier ptychographic and fluorescence imaging |
WO2016123508A1 (en) | 2015-01-29 | 2016-08-04 | The Regents Of The University Of California | Patterned-illumination systems adopting a computational illumination |
US10684458B2 (en) | 2015-03-13 | 2020-06-16 | California Institute Of Technology | Correcting for aberrations in incoherent imaging systems using fourier ptychographic techniques |
US9993149B2 (en) | 2015-03-25 | 2018-06-12 | California Institute Of Technology | Fourier ptychographic retinal imaging methods and systems |
US10228550B2 (en) | 2015-05-21 | 2019-03-12 | California Institute Of Technology | Laser-based Fourier ptychographic imaging systems and methods |
WO2017066198A1 (en) | 2015-10-12 | 2017-04-20 | The Regents Of The University Of California | Spectroscopy imaging and analysis of live cells |
CN108351506B (zh) | 2015-11-11 | 2020-12-04 | 斯科皮奥实验室有限公司 | 用于计算显微镜的自动聚焦系统 |
US20180373016A1 (en) | 2015-11-11 | 2018-12-27 | Scopio Labs Ltd. | Microscope having a refractive index matching material |
US20180348500A1 (en) | 2015-11-11 | 2018-12-06 | Scopio Labs Ltd. | Scanning microscope with real time response |
US10176567B2 (en) | 2015-12-21 | 2019-01-08 | Canon Kabushiki Kaisha | Physical registration of images acquired by Fourier Ptychography |
US11092795B2 (en) | 2016-06-10 | 2021-08-17 | California Institute Of Technology | Systems and methods for coded-aperture-based correction of aberration obtained from Fourier ptychography |
US10568507B2 (en) | 2016-06-10 | 2020-02-25 | California Institute Of Technology | Pupil ptychography methods and systems |
US20180078447A1 (en) | 2016-07-01 | 2018-03-22 | Victor Viner | Heated Rolling Massager |
US10228283B2 (en) | 2016-08-12 | 2019-03-12 | Spectral Insights Private Limited | Spectral imaging system |
US10558029B2 (en) | 2016-10-27 | 2020-02-11 | Scopio Labs Ltd. | System for image reconstruction using a known pattern |
CN106896489B (zh) | 2017-02-13 | 2019-11-22 | 清华大学 | 基于波长复用的频域拼贴显微系统及其方法 |
DE102017120823A1 (de) | 2017-09-08 | 2019-03-14 | Vemag Maschinenbau Gmbh | Verfahren und Vorrichtung zum gruppierten Anordnen und Ausrichten und Verpacken von individuellen Lebensmittel-Produkten, insbesondere Patty-Stapel |
DE102017217132B3 (de) | 2017-09-26 | 2019-01-31 | Bender Gmbh & Co. Kg | Schaltnetzteil mit elektrischer Schaltungsanordnung zur Eingangsschutzbeschaltung |
WO2019090149A1 (en) | 2017-11-03 | 2019-05-09 | California Institute Of Technology | Parallel digital imaging acquisition and restoration methods and systems |
-
2016
- 2016-03-11 US US15/068,389 patent/US10684458B2/en active Active
- 2016-03-11 AU AU2016233588A patent/AU2016233588A1/en not_active Abandoned
- 2016-03-11 CN CN201680014898.5A patent/CN107407799B/zh active Active
- 2016-03-11 JP JP2017547995A patent/JP2018509622A/ja active Pending
- 2016-03-11 CA CA2979392A patent/CA2979392A1/en not_active Abandoned
- 2016-03-11 WO PCT/US2016/022116 patent/WO2016149120A1/en active Application Filing
- 2016-03-11 EP EP16765505.9A patent/EP3268769A4/en active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102082747B1 (ko) * | 2019-01-23 | 2020-02-28 | 연세대학교 산학협력단 | 초점거리 조절이 가능한 led 어레이 기반 3차원 이미징 장치 및 방법 |
WO2022014579A1 (ja) * | 2020-07-14 | 2022-01-20 | 国立研究開発法人情報通信研究機構 | 光学収差補正プログラム及び光学波面推定プログラム |
WO2022059442A1 (ja) * | 2020-09-18 | 2022-03-24 | 株式会社Screenホールディングス | 撮像装置および撮像方法 |
JP7476067B2 (ja) | 2020-09-18 | 2024-04-30 | 株式会社Screenホールディングス | 撮像装置および撮像方法 |
KR20240009242A (ko) * | 2022-07-13 | 2024-01-22 | 중앙대학교 산학협력단 | 푸리에 타이코그래픽 현미경 |
KR102640598B1 (ko) | 2022-07-13 | 2024-02-27 | 중앙대학교 산학협력단 | 푸리에 타이코그래픽 현미경 |
Also Published As
Publication number | Publication date |
---|---|
EP3268769A4 (en) | 2018-12-05 |
AU2016233588A1 (en) | 2017-10-26 |
US10684458B2 (en) | 2020-06-16 |
WO2016149120A1 (en) | 2016-09-22 |
EP3268769A1 (en) | 2018-01-17 |
US20160266366A1 (en) | 2016-09-15 |
CN107407799B (zh) | 2020-09-18 |
CA2979392A1 (en) | 2016-09-22 |
CN107407799A (zh) | 2017-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2018509622A (ja) | フーリエタイコグラフィ手法を用いるインコヒーレント撮像システムにおける収差補正 | |
Mandracchia et al. | Fast and accurate sCMOS noise correction for fluorescence microscopy | |
Chen et al. | Superresolution structured illumination microscopy reconstruction algorithms: a review | |
US10652444B2 (en) | Multiplexed Fourier ptychography imaging systems and methods | |
US11562584B2 (en) | Systems and methods to reduce scattering in temporal focusing multiphoton microscopy | |
US10580128B2 (en) | Whole slide multispectral imaging systems and methods | |
EP3227741A1 (en) | Multiplexed fourier ptychography imaging systems and methods | |
US11022731B2 (en) | Optical phase retrieval systems using color-multiplexed illumination | |
CN111656246B (zh) | 用于定位显微的方法和系统、计算机可读存储介质 | |
WO2017152702A1 (zh) | 一种结构光照明显微镜的成像方法及装置 | |
EP3657784B1 (fr) | Procédé d'estimation d'un défaut d'un système de capture d'images et systèmes associés | |
US11854162B2 (en) | Microscopy with near-ideal sCMOS camera | |
Bai et al. | Imaging enhancement of light-sheet fluorescence microscopy via deep learning | |
CN107667310B (zh) | 荧光成像系统 | |
CA2996231A1 (en) | Scan-based imaging with variable scan speed using predictions of region-of-interest positions | |
Lin et al. | Multi-focus microscope with HiLo algorithm for fast 3-D fluorescent imaging | |
KR102561360B1 (ko) | 보정을 사용하지 않고 파이버스코프 이미지를 처리하는 방법 및 이를 수행하는 파이버스코프 시스템 | |
Prigent et al. | SPITFIR (e): a supermaneuverable algorithm for fast denoising and deconvolution of 3D fluorescence microscopy images and videos | |
US20230092749A1 (en) | High throughput snapshot spectral encoding device for fluorescence spectral microscopy | |
Prigent et al. | SPITFIR (e): A supermaneuverable algorithm for restoring 2D-3D fluorescence images and videos, and background subtraction | |
JP6534294B2 (ja) | 撮像装置および方法並びに撮像制御プログラム | |
Woo et al. | High-throughput high-dynamic range imaging by spatiotemporally structured illumination | |
Hazelwood et al. | Entering the portal: understanding the digital image recorded through a microscope | |
Xue et al. | Parameter-free clear image deconvolution (CLID) technique for single-frame live-cell super-resolution imaging | |
Wang | Deep Learning-enabled Cross-modality Image Transformation and Early Bacterial Colony Detection |