CN110262026B - 孔径扫描傅立叶重叠关联成像 - Google Patents

孔径扫描傅立叶重叠关联成像 Download PDF

Info

Publication number
CN110262026B
CN110262026B CN201910181199.5A CN201910181199A CN110262026B CN 110262026 B CN110262026 B CN 110262026B CN 201910181199 A CN201910181199 A CN 201910181199A CN 110262026 B CN110262026 B CN 110262026B
Authority
CN
China
Prior art keywords
aperture
ptychographic imaging
fourier
sample
fourier ptychographic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910181199.5A
Other languages
English (en)
Other versions
CN110262026A (zh
Inventor
罗克·霍斯特迈耶
郑国安
欧肖泽
杨昌辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
California Institute of Technology CalTech
Original Assignee
California Institute of Technology CalTech
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by California Institute of Technology CalTech filed Critical California Institute of Technology CalTech
Publication of CN110262026A publication Critical patent/CN110262026A/zh
Application granted granted Critical
Publication of CN110262026B publication Critical patent/CN110262026B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008—Details of detection or image processing, including general computer control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/20—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by using diffraction of the radiation by the materials, e.g. for investigating crystal structure; by using scattering of the radiation by the materials, e.g. for investigating non-crystalline materials; by using reflection of the radiation by the materials
    • G01N23/205—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by using diffraction of the radiation by the materials, e.g. for investigating crystal structure; by using scattering of the radiation by the materials, e.g. for investigating non-crystalline materials; by using reflection of the radiation by the materials using diffraction cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01T—MEASUREMENT OF NUCLEAR OR X-RADIATION
    • G01T1/00—Measuring X-radiation, gamma radiation, corpuscular radiation, or cosmic radiation
    • G01T1/16—Measuring radiation intensity
    • G01T1/185—Measuring radiation intensity with ionisation chamber arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01T—MEASUREMENT OF NUCLEAR OR X-RADIATION
    • G01T3/00—Measuring neutron radiation
    • G01T3/008—Measuring neutron radiation using an ionisation chamber filled with a gas, liquid or solid, e.g. frozen liquid, dielectric
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036—Scanning details, e.g. scanning stages
    • G02B21/0048—Scanning details, e.g. scanning stages scanning mirrors, e.g. rotating or galvanomirrors, MEMS mirrors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0056—Optical details of the image generation based on optical coherence, e.g. phase-contrast arrangements, interference arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/006—Optical details of the image generation focusing arrangements; selection of the plane to be imaged
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/46—Systems using spatial filters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems

Abstract

本申请涉及孔径扫描傅立叶重叠关联成像。某些方面涉及孔径‑扫描傅立叶重叠关联成像设备，其包括可以产生在光学装置的中间平面上的不同位置处的孔径的孔径扫描仪和可以获取对于不同孔径位置的较低分辨率的强度图像的检测器，以及其中，较高分辨率的复合图像可以通过用所获取的较低分辨率的图像迭代地更新在傅立叶空间中的区域来进行构建。

Description

孔径扫描傅立叶重叠关联成像
本申请是申请日为2014年07月31日，申请号为201480054301.0，发明名称为“孔径扫描傅立叶重叠关联成像”的申请的分案申请。
相关申请的交叉引用
本国际申请要求标题为“Generalized Ptychographic Imaging with OpticalTransfer Function Modulation”并且于2013年7月31日提交的美国临时专利申请号61/860786和标题为“Alternative Optical Implementations for Fourier PtychographicMicroscopy”并且于2013年8月22日提交的美国临时专利申请号61/868967的利益，这两者以它们的整体并且针对全部目的而通过引用在此并入。
发明背景
本文中所描述的某些实施例总体上涉及成像技术，并且更具体地，涉及用于傅立叶重叠关联成像(Fourier ptychographic imaging)的方法、设备和系统。某些实施例可以被在诸如，例如，显微术和/或摄影术的应用中使用。
范围从显微镜物镜到基于卫星的摄像机的成像透镜在物理上受限于它们可以解析的特征的总数。这些限制是成像系统的点扩散函数(PSF)大小和整个它的图像平面视场(FOV)的固有像差的函数。被称为空间带宽积，物理限制随透镜的尺寸缩放，但通常是以一千万像素的阶而不管放大倍率或数值孔径(NA)。传统的成像系统的空间带宽积的讨论可以在Lohmann,A.W.,Dorsch,R.G.,Mendlovic,D.,Zalevsky,Z.&Ferreira,C.的“Space–bandwidth product of optical signals and systems”，J.Opt.Soc.Am.A.13，第470–473页(1996年)中找到，该文献通过对于本讨论的引用在此并入。尽管传统的成像系统可以能够解析高达一千万像素，典型地有在PSF和FOV之间的折衷。例如，某些常规的显微镜物镜可以提供穿过狭窄的FOV(例如，1mm)的轮廓鲜明的PSF(例如，0.5微米)，而其它具有宽角度透镜的成像系统以模糊的PSF(例如，5微米)的代价来提供宽的FOV(例如，10mm)。
尝试增加空间带宽积的某些干涉合成孔径技术在Di,J.等人的“High resolutiondigital holographic microscopy with a wide field of view based on a syntheticaperture technique and use of linear CCD scanning”，Appl.Opt.47，第5654-5659页(2008)；Hillman,T.R.,Gutzler,T.,Alexandrov,S.A.和Sampson,D.D.的“High-resolution,wide-field object reconstruction with synthetic aperture Fourierholographic optical microscopy”，Opt.Express17，第7873-7892页(2009)；Granero,L.,Micó,V.,Zalevsky,Z.和García,J.的“Synthetic aperture superresolved microscopyin digital lensless Fourier holography by time and angular multiplexing ofthe object information”，Appl.Opt.49，第845-857页(2010)；Kim,M.等人的“High-speedsynthetic aperture microscopy for live cell imaging”，Opt.Lett.36，第148-150页(2011)；Turpin,T.,Gesell,L.,Lapides,J.和Price,C.的“Theory of the syntheticaperture microscope”，第230-240页；Schwarz,C.J.,Kuznetsova,Y.和Brueck,S.的“Imaging interferometric microscopy”，Optics letters28，第1424至1426页(2003年)；Feng,P.,Wen,X.和Lu,R.的“Long-working-distance synthetic aperture Fresnel off-axis digital holography”，Optics Express17，第5473-5480页(2009年)；Mico,V.,Zalevsky,Z.,García-Martínez,P.和García,J.的“Synthetic aperturesuperresolution with multiple off-axis holograms”，JOSA A23，第3162-3170页(2006)；Yuan,C.,Zhai,H.和Liu,H.的“Angular multiplexing in pulsed digitalholography for aperture synthesis”，Optics Letters33，第2356至2358页(2008年)；Mico,V.,Zalevsky,Z.和García,J.的“Synthetic aperture microscopy using off-axisillumination and polarization coding”，Optics Communications，第276，209-217页(2007年)；Alexandrov,S.和Sampson,D.的“Spatial information transmission beyonda system's diffraction limit using optical spectral encoding of the spatialfrequency”，Journal of Optics A:Pure and Applied Optics10,025304(2008年)；Tippie,A.E.,Kumar,A.和Fienup,J.R.的“High-resolution synthetic-aperturedigital holography with digital phase and pupil correction”，Opt.Express 19,第12027-12038页(2011年)；Gutzler,T.,Hillman,T.R.,Alexandrov,S.A.和Sampson,D.D.的“Coherent aperture-synthesis,wide-field,high-resolution holographicmicroscopy of biological tissue”，Opt.Lett.35，第1136至1138页(2010年)；以及Alexandrov,S.A.,Hillman,T.R.,Gutzler,T.和Sampson,D.D.的“Synthetic apertureFourier holographic optical microscopy”，Phil.Trans.R.Soc.Lond.A 339，第521-553页(1992年)中进行描述，所有这些文献都通过对于试图增加空间带宽的讨论的引用在此并入。大多数的上述干涉合成孔径技术包括使用诸如离线全息之类的干涉全息和相移全息来记录强度和相位信息两者的设置。干涉全息有其局限性。例如，干涉全息记录典型地使用高相干光源。这样，所构建的图像典型地遭受相干噪声源，诸如斑点噪声、固定图案噪声(由来自尘埃颗粒的衍射和在光束路径中的其它光学缺陷引起)以及在不同的光学接口之间的多重干涉。因此，图像质量典型地比来自常规的显微镜的更糟。另一方面，使用离轴全息牺牲了图像传感器的空间带宽积(即，降低了总的像素数)。某些离轴全息方法的讨论可以在Schnars,U.和Jüptner,W.P.O.的“Digital recording and numerical reconstructionof holograms”测量科学与技术，13，R85(2002年)中找到，该文献通过对于本讨论的引用在此并入。此外，干涉成像技术可以受到在不同的测量之间的不可控的相位波动。因此，可能需要样本位置的准确的先验知识，以设置在图像恢复过程中的参考点。另一个限制是，这些干涉成像系统中的许多系统需要机械扫描以旋转该样本并且因此精确的光学对准、在亚微米级别的机械控制和相关联的维护为这些系统所需要。在空间带宽积方面，这些干涉成像系统与传统的显微镜相比可能几乎不呈现优势。
先前的诸如数字同轴全息和接触成像显微镜之类的无透镜显微镜也存在缺点。例如，传统的数字同轴全息没有很好地用连续的样本来工作并且接触成像显微镜需要紧密靠近传感器的样本。某些数字同轴全息器件的讨论可以在Denis,L.,Lorenz,D.,Thiebaut,E.,Fournier,C.和Trede,D.的“Inline hologram reconstruction with sparsityconstraints”，Opt.Lett.34,第3475–3477页(2009年)；Xu,W.,Jericho,M.,Meinertzhagen,I.和Kreuzer,H.的“Digital in-line holography for biologicalapplications”，Proc.Natl Acad.Sci.美国98，第11301-11305页(2001年)；以及Greenbaum,A.等人的“Increased space–bandwidth product in pixel super-resolvedlensfree on-chip microscopy”，Sci.Rep.3,第1717页(2013)中找到，这些文献通过对于本讨论的引用在此并入。某些接触成像显微镜的讨论可以在Zheng,G.,Lee,S.A.,Antebi,Y.,Elowitz,M.B.和Yang,C.的“The ePetri dish,an on-chip cell imaging platformbased on subpixel perspective sweeping microscopy(SPSM)”，Proc.Natl Acad.Sci.美国108，第16889-16894页(2011年)；以及Zheng,G.,Lee,S.A.,Yang,S.&Yang,C.的“Sub-pixel resolving optofluidic microscope for on-chip cell imaging”，Lab Chip 10，第3125-3129页(2010年)中找到，这些文献通过对于本讨论的引用在此并入。
高空间带宽积在用于诸如数字病理学、血液学、植物解剖学、免疫组织化学和神经解剖学之类的生物医学应用的显微镜中是非常可取的。例如，在生物医学和神经科学中有来以数字方式对大量的组织学载玻片进行成像用于评估的强烈需要。这一需求已经促使了精密的机械扫描和无透镜显微镜系统的发展。这些系统使用具有高精度的复杂的机构来增加空间带宽积，以控制致动、光学对准和运动跟踪。这些复杂的机构往往制造很昂贵并且难于使用和维护。
发明概述
本公开的各方面涉及成像技术，并且更具体地，涉及用于傅立叶重叠关联成像的方法、设备和系统，其可以被在诸如，例如，显微术和摄影术的应用中使用。
某些方面涉及孔径-扫描傅立叶重叠关联成像设备，其包括光学元件、可以产生在光学元件的中间平面上的多个位置处的孔径的孔径扫描仪和可以获取对于不同孔径位置的较低分辨率的强度图像的检测器，以及其中，较高分辨率的复合图像可以通过用所获取的较低分辨率的图像迭代地更新在傅立叶空间中的区域来进行构建。
在一些方面，孔径-扫描傅立叶重叠关联成像设备包括第一光学元件和第二光学元件，其中第一光学元件被配置成接收来自样本的光。该设备还包括被配置成产生在中间平面中的多个孔径位置处的孔径的孔径扫描仪，所述孔径被配置成将来自第一光学元件的在所述孔径处的入射光传递至第二光学元件。该设备还包括被配置成接收来自第二光学元件的光并且获取与不同孔径位置相关联的多个强度图像的辐射检测器。该设备还包括被配置成通过用所获取的强度图像迭代地更新在傅立叶空间中的区域来构建样本的复合图像的处理器。
在一些方面，孔径-扫描傅立叶重叠关联成像方法包括照射样本，在第一光学元件处接收来自所述样本的入射光，产生在中间平面上的多个位置处的孔径，将来自所述第一光学元件的在所述孔径处的入射光传递至所述第二光学元件。该方法还包括使用接收来自第二光学元件的光的检测器来获取多个强度图像，以及通过用所述多个强度图像迭代地更新在傅立叶空间中的区域来构建所述样本的复合图像。
本申请提供了如下内容：
1)一种孔径-扫描傅立叶重叠关联成像设备，包括：
第一光学元件，其被配置成接收来自样本的光；
第二光学元件；
孔径扫描仪，其被配置成产生在中间平面中的多个孔径位置处的孔径，所述孔径被配置成将来自所述第一光学元件的在所述孔径处的入射光传递至所述第二光学元件；
光检测器，其被配置成接收来自所述第二光学元件的光，并且获取与不同的孔径位置相关联的多个强度图像；以及
处理器，其被配置成通过用所获取的强度图像迭代地更新在傅立叶空间中的区域，来构建所述样本的复合图像。
2)根据1)所述的孔径-扫描傅立叶重叠关联成像设备，其中，所述中间平面是与样本平面相关联的傅立叶平面。
3)根据1)所述的孔径-扫描傅立叶重叠关联成像设备，其中，由所述光检测器获取的所述多个强度图像中的每个唯一地对应于所述多个孔径位置中的不同的孔径位置。
4)根据1)所述的孔径-扫描傅立叶重叠关联成像设备，其中，所述孔径扫描仪还被配置成产生在所述中间平面上的附加的孔径，以在每个获取时间期间形成多个孔径。
5)根据1)所述的孔径-扫描傅立叶重叠关联成像设备，还包括在所述多个孔径位置中的相邻孔径位置之间的孔径的重叠。
6)根据5)所述的孔径-扫描傅立叶重叠关联成像设备，其中，所述重叠为所述孔径的面积的至少约70％。
7)根据5)所述的孔径-扫描傅立叶重叠关联成像设备，其中，所述重叠为所述孔径的面积的至少约75％。
8)根据5)所述的孔径-扫描傅立叶重叠关联成像设备，其中，所述重叠介于所述孔径的面积的20％和90％之间。
9)根据1)所述的孔径-扫描傅立叶重叠关联成像设备，其中，所述第一光学元件和/或所述第二光学元件是透镜。
10)根据1)所述的孔径-扫描傅立叶重叠关联成像设备，其中，所述第一光学元件和所述第二光学元件处于4f配置中。
11)根据1)所述的孔径-扫描傅立叶重叠关联成像设备，
其中，所述第一光学元件具有第一焦距，并且位于距所述样本平面的所述第一焦距处，
其中，所述第二光学元件具有第二焦距，并且位于距所述中间平面的所述第二焦距处，以及
其中，所述中间平面位于远离所述第一光学元件的第一焦距处并且位于远离所述第一光学元件的所述第一焦距处。
12)根据11)所述的孔径-扫描傅立叶重叠关联成像设备，其中，所述光检测器位于距所述第二光学元件的所述第二焦距处。
13)根据1)所述的孔径-扫描傅立叶重叠关联成像设备，其中，所述孔径扫描仪是被配置成将所述孔径显示为反射元件的空间光调制器。
14)根据13)所述的孔径-扫描傅立叶重叠关联成像设备，其中，所述空间光调制器包括硅显示器上的液晶以用于显示所述反射元件。
15)根据1)所述的孔径-扫描傅立叶重叠关联成像设备，其中，所述孔径扫描仪包括数字微镜器件。
16)根据15)所述的孔径-扫描傅立叶重叠关联成像设备，其中，所述孔径包括被以第一角度定向以将入射光反射至所述第二光学元件的一个或多个微镜，其中，围绕所述孔径的区包括被以第二角度定向以将入射光反射远离所述第二光学元件的一个或多个微镜。
17)一种孔径-扫描傅立叶重叠关联成像方法，包括：
照射样本；
在第一光学元件处接收来自所述样本的入射光；
产生在中间平面上的多个位置处的孔径；
将来自所述第一光学元件的在所述孔径处的入射光传递至第二光学元件；
使用接收来自所述第二光学元件的光的检测器来获取多个强度图像；以及
通过用所述多个强度图像迭代地更新在傅立叶空间中的区域来构建所述样本的复合图像。
18)根据17)所述的孔径-扫描傅立叶重叠关联成像方法，其中，所述中间平面是与样本平面相对应的傅立叶平面。
19)根据17)所述的孔径-扫描傅立叶重叠关联成像方法，还包括产生在所述中间平面上的附加的孔径，以在每个获取时间期间形成在所述中间平面上的多个孔径。
20)根据17)所述的孔径-扫描傅立叶重叠关联成像方法，其中，产生所述孔径包括在空间光调制器的显示器上显示一个或多个反射元件。
21)根据17)所述的孔径-扫描傅立叶重叠关联成像方法，其中，产生所述孔径包括定向一个或多个微镜，以将入射光反射至所述第二光学元件。
22)根据17)所述的孔径-扫描傅立叶重叠关联成像方法，其中，由所述检测器捕获的所述多个强度图像唯一地对应于所述多个孔径位置中的不同的孔径位置。
23)根据17)所述的孔径-扫描傅立叶重叠关联成像方法，其中，在所述多个孔径位置中的相邻孔径位置处存在孔径的重叠。
24)根据17)所述的孔径-扫描傅立叶重叠关联成像方法，其中，所述孔径的重叠为所述孔径的面积的至少约70％。
25)根据17)所述的孔径-扫描傅立叶重叠关联成像方法，还包括将所述复合图像传播至一个或多个平面。
26)根据17)所述的孔径-扫描傅立叶重叠关联成像方法，其中，通过用所述多个强度图像迭代地更新在傅立叶空间中的区域来构建所述样本的复合图像包括：
(a)初始化在傅立叶空间中的当前较高分辨率的图像；
(b)对在傅立叶空间中的所述当前较高分辨率的图像的重叠区域进行过滤，以产生对于所述多个孔径位置中的孔径位置的强度图像；
(c)用强度测量结果替换所述强度图像的强度；以及
(d)用具有所测量的强度的所述强度图像来更新在傅立叶空间中的所述重叠区域。
这些和其它特征在下面参照有关的附图更详细地进行描述。
附图简述
图1示出傅立叶重叠关联成像系统的组件的示意图，带有在中间平面上的光学传递函数调制。
图2A和2B是孔径-扫描傅立叶重叠关联成像系统的组件的示意图。
图3A是孔径-扫描傅立叶重叠关联成像系统的组件的示意图。
图3B是可以在某些孔径-扫描傅立叶重叠关联成像系统中被实现的空间光调制器的显示的横截面视图的示意图。
图4是包括了DMD阵列的孔径-扫描傅立叶重叠关联成像系统的组件的示意图。
图5是包括了DMD阵列的孔径-扫描傅立叶重叠关联成像系统的组件的示意图。
图6是包括了LCOS阵列的孔径-扫描傅立叶重叠关联成像系统的组件的视图的示意图。
图7是孔径-扫描傅立叶重叠关联成像系统的组件的示意图。
图8是由孔径-扫描傅立叶重叠关联成像系统执行的孔径-扫描傅立叶重叠关联成像方法的流程图。
图9A是图8的方法的一个或多个步骤的子步骤的一个示例的流程图。
图9B是图8的方法的一个或多个步骤的子步骤的另一示例的流程图。
图10是根据某些方面的带有贴片成像的孔径扫描傅立叶重叠关联成像方法的流程图。
图11是可以存在于孔径-扫描傅立叶重叠关联成像系统的子系统的框图。
发明详述
本发明的实施例将在下面参照附图进行描述。在附图中所示出的特征可以不是按比例绘制的。
I.简介
傅立叶重叠关联成像实现了使用角度分集来恢复复合样本图像的相位复原技术。该恢复过程包括在空间域中的已知样本信息的交替执行和在傅立叶域中的固定约束。相位复原恢复可以被使用交替的投影算法的任何变型、该问题的凸的改写或者在二者之间的任何非凸的变型来实现。不是对样本进行横向移位(即应用平移分集)，傅立叶重叠关联成像使用在傅立叶域中的扫描频谱约束，来将傅立叶通带扩展到单个所捕获的图像的通带以外，以恢复增强分辨率的复合样本图像。
某些可变角度光照傅立叶重叠关联成像系统使用可变光照源(例如，LED阵列)来对被从不同的照射角度连续地成像的样本进行照射。诸如低数值孔径的物镜透镜之类的光学元件对来自样本的光进行过滤。一种辐射检测器接收来自该光学元件的经过滤的光，并且在每个照射角度捕获样本的强度图像。多分辨率图像可以被迭代地在傅立叶域中拼接在一起，以恢复该图像的较高分辨率的图像。一些可变角度光照傅立叶重叠关联成像系统、设备以及方法的细节可以在题为“Fourier Ptychographic Imaging Systems,Devices,andMethods”并且于2013年10月28日提交的美国专利申请序列号14/065280中和在题为“Fourier Ptychographic X-ray Imaging Systems,Devices,and Methods”的美国专利申请序列号14/065305中找到，这些文献通过对于这些细节的引用在此并入。
在一些方面，本文中所描述的某些傅立叶重叠关联成像系统包括孔径扫描仪，其可以生成在光学装置的中间平面上的数量为N的多个孔径位置处的孔径。例如，孔径可以在与样本平面共轭的傅立叶平面上被产生。在一些情况下，辐射检测器接收来自样本的由在不同位置处的孔径所调制的光，并且获取对应于不同的孔径位置的数量为M的多个强度图像。M个强度图像可以被在频域中合成以恢复样本的复合的、增强分辨率的图像。在一个方面，在光学系统中的光学像差和不对准可以被通过模拟退火来估计并且校正。
在某些方面，孔径扫描傅立叶重叠关联成像系统包括孔径扫描仪，其可以在光学装置的中间平面(例如，傅立叶平面)中在不同时间产生在数量为N的多个孔径位置处的孔径。在其它方面，孔径扫描傅立叶重叠关联成像系统包括孔径扫描仪，其可以在光学装置的中间平面中在不同时间产生被作为整体移位至数量为N的多个位置的多个孔径。这样的多个孔径可以是以图案的形式(例如，棋盘形图案)，或者以随机的顺序。
如本文中所使用的，孔径可以指在平面中的允许入射光传递至在光学装置中的下一个光学元件的区。在一些情况下，围绕着在该平面上的孔径的区可以阻止/反射入射光或以其它方式防止入射光传递至下一个光学元件。在某些方面，孔径可以是光学透明的或基本上光学透明的区。在这些方面，围绕的区可以反射或吸收入射光。例如，孔径可以是在不透明板中的透光区域(例如，孔洞)。在其它方面，孔径可以是反射区(例如，在显示器中的一个或多个微镜或一个或多个反射像素)，其将入射光反射至下一个光学元件。在这些方面，围绕的区可以要么吸收入射光要么将入射光反射远离下一个光学元件。在一个示例中，孔径可以由被以将入射光反射至下一个光学元件的角度定向的一个或多个微镜组成。在这个示例中，在围绕的区中的一个或多个微镜可以被以将光反射远离下一个光学元件的不同角度定向。在一些情况下，孔径位置可以对应于孔径的区的质心。
在某些方面，孔径-扫描傅立叶重叠关联成像系统可以包括基于机械方式的孔径扫描仪和/或基于显示器的孔径扫描仪。某些基于机械方式的孔径扫描仪可以以机械方式将孔径移位至不同的孔径位置。在一种情况下，基于机械方式的孔径扫描仪包括X-Y平移级，其可以平移/旋转具有该孔径的结构(例如，具有以诸如在板中的孔洞之类的透光区域的形式的孔径的不透明材料板)，以将该孔径移动至在中间平面中的多个孔径位置。某些基于显示器的孔径扫描仪可以以数字方式产生在不同位置处的孔径，例如，通过在显示器上显示孔径和围绕的区。基于显示器的孔径扫描仪的一些示例包括空间光调制器(SLM)，其产生在SLM显示器上的孔径和围绕的区。SLM显示器可以是，例如，硅上液晶(LCoS)显示器或数字微镜器件(DMD)。
本文中所描述的某些孔径-扫描傅立叶重叠关联成像系统以及方法可以提供一个或多个技术优点。这些系统的一个优点在于，它们可以被用于厚的和/或非透射的样本的成像。这些系统的另一个优点在于,它们可以适于发光(例如，荧光、磷光、化学发光、生物发光等)成像。
本文中所描述的某些孔径-扫描傅立叶重叠关联成像系统可以适于发光(例如，荧光、磷光、化学发光、生物发光等)成像。例如，某些系统可以被调整以收集被引导回朝向光照源的发射。
在透照成像配置中，光检测器可以获取关于通过样本所发射的光的光数据。例如，光照源可以将光照引导朝向光检测器，其中该样本位于光检测器和光照源之间。在这些透照成像配置中，被反射回朝向光照源或由该样本在光照源的方向上发出的光可以不由光检测器所接收。
在荧光成像和其它发光成像应用中，在样本中的荧光团是通过来自光照源的一定波长的激发照射和不同波长(发射)的发光进行激发。这些发射倾向于具有相比于激发光更弱的信号，使得收集效率可以是重要的。
在一些方面，某些孔径-扫描傅立叶重叠关联成像系统可以被配置，使得光检测器可以接收来自样本的发射和/或被从样本反射回朝向光照源的光。这些系统具有可以容纳将激发照射引导至样本并且远离在系统中的下一个元件的光照源的光学装置。以这种方式，通过系统的激发照射的传播可以被基本上避免。
在一些方面，某些孔径-扫描傅立叶重叠关联成像系统可以被用来对厚的和/或不透明的样本进行成像。在这些系统中，单一的任意图案相干照射光束可以被用来从任何方向照射样本。对于这些系统，有在强度图像和用于厚的和非透明的样本两者的2D样本频谱的不同的通带中的每个之间的一对一的关系。因此，恢复过程可以准确地强加平移频谱约束以恢复厚的和/或不透明的样本的较高分辨率(即增强分辨率)的复合图像。
II.在重叠关联傅立叶成像中的光学传递函数调制
在成像系统中，样本可以通过光场来照射并且从样本表面出现的光学场E1(x,y)可以被在总体上描述为：
Figure GDA0002057845820000121
某些重叠关联傅立叶成像系统可以被用来表征E1(x,y)并且确定关于样本的幅度和相位数据的像差-自由集。在某些方面，重叠关联傅立叶成像系统可以被用来确定光学场E1(x,y)的相位和幅度分布，以随着样本被成像而同时对在系统中的光学像差和/或不对准进行校正。
光学场E1(x,y)可以被通过光学系统发射，以产生光学场E2(x,y)＝O(E1(x,y))，其中O()表示由光学系统在光场上执行的光学传递函数。O()可以被通过任何数量的不同操作来表示。例如，O()可以被表示为傅立叶变换(例如，如果系统是简单的透镜且样本处于其焦点平面上并且投影屏幕在无穷远处)；它可以是单一的变换(例如，如果系统是完美的4f系统)；或者它可以是复杂的函数。光学像差是可在光学传递函数内表达的。例如，物理光学系统可以不执行完美的傅立叶变换，但它的像差可以被以数学方式描述为它扭曲该变换函数的方式。O()函数可以完全由任何数量的表征方式来表征。典型地，E2(x,y)可以被测量或者在后续测量之前被放置通过附加的光学系统。假设E2(x,y)由一些装置，诸如，例如，光检测器(例如，数码相机)，来测量。所测量的强度值可以被表示为：|E2(x,y)|2。仅此幅度测量，可能无法应用逆函数来获得E1(x,y)。另一方面，如果E2(x,y)的幅度和相位的知识两者是已知的并且函数O()是已知的，则E1(x,y)可以通过采用E2(x,y)的逆O()函数来获得。也就是说，E1(x,y)＝O-1(E2(x,y))。
在某些方面，带有在中间平面上的调制的傅立叶重叠关联成像系统可以被用来确定在样本平面上的光学场E1(x,y)的幅度和相位数据两者。在某些情况下，调制可以由孔径扫描仪来实现。
图1示出根据实施例的带有在中间平面上的光学传递函数调制的傅立叶重叠关联成像系统10的某些组件的示意图。在一个示例中，光学函数调制可以用产生在诸如，例如，光学系统的样本平面的傅立叶平面之类的中间平面上的N个不同位置处的孔径的孔径扫描仪来实现。在一种情况下，孔径扫描傅立叶重叠关联成像系统10可以能够在接近或在由系统10的数值孔径(NA)决定的光学极限的空间分辨率确定光学场E1(x,y)的幅度和相位数据。
在图1中，孔径扫描傅立叶重叠关联成像系统10包括具有光学传递函数OA()的第一光学系统100和具有光学传递函数OB()的第二光学系统200。根据在图1中所示意性地表示的光场，来自样本的光学场E1(x,y)由第一光学系统100接收。所得到的光场函数由E1A(x,y)＝OA(E1(x,y))给出。在一些情况下，第一和第二光学系统100、200的光学传递函数OA()和OB()的粗略的估计分别可以被用作在联合优化过程中的初始起点，以与傅立叶重叠关联恢复算法的运行结合，来确定更精确的复杂的光学传递函数估计，傅立叶重叠关联恢复算法诸如在Xiaoze Ou,Guoan Zheng和Changhuei Yang的“Embedded pupil functionrecovery for Fourier ptychographic microscopy”Optics Express 22(5)，第4960-4972页(2014年)中所描述的，该文献通过对于本说明书的引用在此并入。
如果该系统不具有在中间平面上的调制，来自第一光学系统100的光场将传播至第二光学系统200，这将导致最终的光场函数E1AB(x,y)＝OB(OA(E1(x,y)))。最终光场的强度分布I(x,y)＝|E1AB(x,y)|2可以被在空间上在检测器平面上测量。在这种情况下，所测量的强度分布I(x,y)可以不提供足够的信息来确定的E1(x,y)或E1A(x,y)，因为相位信息不由光检测器(仅幅度)来测量。
在图1中，具有光学传递函数OC1()的孔径函数或其它已知的调制函数被在中间平面上进行应用。在这种情况下，在中间平面上的所调制的光场传播至第二光学系统200，这导致最终光场函数E1A,OC1(x,y)＝OC1(OA(E1(x,y)))。
孔径扫描傅立叶重叠关联成像系统10可以使用傅立叶重叠关联成像方法来确定E1(x,y)的幅度和相位数据两者。首先，E1(x,y)的猜测被做出指定为E1guess(x,y)。接着，孔径函数或其它已知的调制函数被在E1A(x,y)的中间平面上进行应用。这个孔径函数可以是被指定为OC1()的光学传递函数，并且新的E1A,OC1(x,y)＝OC1(OA(E1(x,y)))。新的E1AB,OC1(x,y)＝OB(OC1(OA(E1(x,y))))。|E1AB,OC1(x,y)|2通过获取在检测器平面上的强度分布来确定。接着，E1A,OC1,guess(x,y)＝OB(OC1(OA(E1guess(x,y))))并且|E1AB,OC1,guess(x,y)|2被以计算方式确定，并且|E1AB,OC1(x,y)|2被与|E1AB,OC1,guess(x,y)|2相比较。如果该比较显示差异(即，它们不彼此相等)，则通过基于在E1A,OC1(x,y)和|E1AB,OC1(x,y)|2上的已知限制修改当前E1guess(x,y)来产生新的E1guess(x,y)。用于修改该猜测的一个策略在下面被提供。该E1guess(x,y)的修改的过程通过应用在E1A(x,y)的平面(例如，在OC1()、OC2()、OC3()…)上的不同位置处的孔径和其它已知函数来进行迭代，直到我们已达到收敛，其中对于全部的OCn()函数，其中n＝1,2,3……，|E1AB,OCn(x,y)|2等于(或实质上基于误差函数的措施而等于)|E1AB,OCn,guess(x,y)|2。
III.孔径-扫描重叠关联傅立叶成像
本文中所描述的某些方面涉及孔径-扫描傅立叶重叠关联成像系统、设备和方法。傅立叶重叠关联成像系统包括孔径扫描仪。在某些方面，孔径扫描仪可以在光学装置的中间平面中在不同时间产生在数量为N的多个孔径位置处的孔径。在其它方面，孔径扫描仪可以在光学装置的中间平面中在不同时间产生被作为整体移位至数量为N的多个位置的多个孔径。中间平面可以是，例如，与样本平面共轭的傅立叶平面。傅立叶重叠关联成像系统还包括在检测器平面上的被配置成获取样本的数量为M的多个强度图像的光检测器。
孔径扫描仪可以指一个或多个被配置成产生在中间平面上的数量为N的多个位置处的孔径(或多个孔径)的设备。在某些情况下，由光检测器所获取的数量为M的多个强度图像中的每个强度图像对应于数量为N的多个孔径位置中的不同的孔径位置。孔径位置的数量N和/或强度图像的数量M可以是在1至几千的范围内。在一种情况下，N和/或M可以是在1至1000的范围内的值。在另一种情况下，N和/或M可以是在1至2000的范围内的值。在另一种情况下，N和/或M可以是在1至3000的范围内的值。在一些示例中，N＝M。
尽管本文中参照某些图示所描述的孔径在形状上是具有宽度为l和高度为h的尺寸的矩形，诸如具有半径r的圆形、三角形等的其它形状，也可以被使用。此外，在数量为N的多个孔径位置中的不同位置处的孔径在示例中被描述为是恒定的形状和大小。然而将被理解的是，孔径的大小和形状在不同的孔径位置处可以是变化的。在一种情况下，孔径的面积具有0.5mm×0.5mm的大小。在另一种情况下，孔径的面积具有5mm×5mm的大小。
数量为N的多个孔径位置可以被以一维阵列、二维矩阵、六边形阵列等的形式来描述。在某些情况下，多个孔径位置可以是以直线网格(例如，正方形网格)、曲线网格等的形式的二维矩阵。如果数量为N的多个孔径位置是在具有尺寸m x n的直线网格布置中，则孔径位置可以被指定为(Xi,Yj)，i＝1至m，j＝1至n并且孔径位置的数量N＝m x n。如果这样的直线网格具有n x n的方形尺寸，则孔径位置可以被指定为(Xi,Yj)，i＝1至n，j＝1至n并且N＝n2。
N个孔径位置可以被在图像获取过程期间以任何顺序(例如，顺序，随机，逐行，逐列等)随时间来产生。例如，通过直线网格的顺序的逐列顺序可以是：(X1,Y1),(X1,Y2),(X1,Y3),……(X1,Yn),(X2,Y1),(X1,Y2),(X1,Y3),……(X2,Yn),……(Xm,Yn)，在样本时间ti＝1至M，其中M＝m xn。可替代地，可以使用随机的顺序。
在某些方面，数量为N的多个孔径位置包括在其相邻孔径(即，在相邻的孔径位置处的孔径)中的两个或更多个之间的重叠区。在一个示例中，该重叠区可以为孔径面积的约70％。在另一个示例中，该重叠区可以为孔径面积的约75％。在另一个示例中，该重叠区可以为在孔径面积的2％和90％之间。在一些情况下，m和n的特定值可以被使用，使得相邻的孔径以预先确定的量(例如，70％、75％等)重叠。
在一些方面，基于机械方式的孔径扫描仪可以机械地将孔径移位至不同的孔径位置。例如，基于机械方式的孔径扫描仪可以包括被配置成在物理上平移且/或旋转具有孔径的结构(例如，具有以诸如在板中的孔洞之类的透光区域的形式的孔径的不透明材料板)以产生在不同的孔径位置处的孔径的X-Y平台。在一个示例中，带有孔径的板可以被固定至X-Y平台，并且然后X-Y平台可以在中间平面中平移且/或旋转该板以在相应的获取时间将孔径定位在适当的孔径位置处。在一种情况下，该板可以具有带有被定位与该表面正交的孔径的表面。X-Y平台可以平移/旋转该板，使得该表面保持在中间平面中。
在一些方面，基于显示器的孔径扫描仪可以通过数字方式显示在不同的孔径位置处的孔径。基于显示器的孔径扫描仪的一个示例是空间光调制器或SLM。“空间光调制器”或“SLM”可以指可以在其显示器上生成孔径的设备。在某些情况下，SLM使用来自SLM光源的电和/或光学信号以对光的相位
Figure GDA0002057845820000161
和/或幅度进行调制。在一些情况下，SLM光源可以是准直的光源，诸如激光(例如，
Figure GDA0002057845820000162
532SM)。在其它情况下，SLM光源可以不是准直光。例如，光可以是被在空间上过滤的来自发光二极管(近似1mm的空间相干长度，20nm的频谱带宽)的光，或者来自激光源(例如，532nm准单色激光，多米的空间相干长度)的光。SLM光源可以是孔径-扫描傅立叶重叠关联成像系统的组成部分，或者可以是单独的组件。某些SLM可以是商购的。在某些方面，SLM包括具有多个SLM显示元件的SLM显示器。每个SLM显示元件可以被设置成作为孔径发挥作用(孔径设置)或作为围绕孔径的区发挥作用(场设置)。在一些配置中，在孔径设置中的SLM显示元件是透明的或几乎透明的，以传递入射光，并且在场设置中的显示元件可以阻止/反射或几乎阻止/反射入射光。在其它配置中，某些SLM显示元件可以是反射性的。在这些情况下，在孔径设置中的显示元件被以将入射光反射至在光学装置中的下一个光学元件的(第一)角度定向并且在场设置中的显示元件被以将入射光反射远离下一个光学元件的不同的(第二)角度定向。在这些配置中，SLM显示器可以通过在孔径设置中设置这些显示元件或者在场设置中设置周边显示元件来产生在一个或多个SLM显示元件处的孔径。在不同的获取时间ti，一个或多个显示元件的不同设置是在适当的设置，以产生在相应的孔径位置处的孔径。在一些情况下，SLM显示器可以具有在30每秒至100每秒的范围内的刷新速率。
在包括了以SLM的形式的孔径扫描仪的孔径-扫描傅立叶重叠关联成像系统中，不同类型的SLM显示器可以被使用，诸如，例如，硅上反射液晶(LCoS)显示器、数字微镜器件(DMD)等。硅上反射液晶(LCoS)显示器是具有多个反射显示元件的反射型显示器。市售LCoS显示器的一个示例是反射型
Figure GDA0002057845820000171
SLM，Pluto，仅相位的LCoS，8μm的像素大小，1080x1920像素显示器。DMD可以指在其表面上具有多个微观的微镜的光学半导体芯片。在某些方面，每个微镜可以被单独地转动至角度α。以这种方式，每个微镜可以被转变为要么在角度α的孔径设置，要么在没有旋转的场设置，或反之亦然。尽管这些微镜典型地被以矩形阵列(尺寸o x p)布置，但其它布置可以被使用。在某些方面，DMD的每个微镜可以对应于一个或多个光检测器像素。在一种情况下，在孔径设置中的微镜中的一个或多个可以被定向，使得正交于微镜的表面的光学轴与傅立叶平面成角度α来定向。这种情况的一个示例示于图4和5中。
在包括了以SLM的形式的孔径扫描仪的孔径-扫描傅立叶重叠关联成像系统中，SLM显示器可以被定位，使得其显示平面在中间平面(例如，傅立叶平面)上。在一些情况下，SLM显示器可以是以在显示平面上的显示元件(例如像素)的二维矩阵的形式。该二维矩阵具有Pix1x Pix2的尺寸，其中Pix1是在第一方向上的像素数并且Pix2是在正交于第一方向的第二方向上的像素数。在一个示例中，SLM显示器是1920×1080像素的显示器，其中Pix1为1920并且Pix2为1080。在某些方面，SLM的显示元件被编程以根据照射指示而在不同的获取时间具有特别的设置。
由孔径-扫描傅立叶重叠关联成像系统所成像的样本可以由一个或多个对象或对象的一个或多个部分组成。每个对象可以是生物实体或无机实体。生物实体的示例包括全细胞、细胞成分、微生物如细菌或病毒、细胞成分如蛋白质、薄的组织切片等。在一些情况下，样本可以在诸如液体之类的培养基中被提供。
在发光成像的示例中，试剂(例如，荧光/磷光染料)可以被与样本混合，以用荧光团对调查中的各部分打标记或者打标签。荧光团可以指引起该分子发出荧光或磷光的分子的组成部分。荧光团可以吸收来自特定波长的激发光的能量并且以不同波长重新发出该能量。在发光成像的示例中，光照源以具有预先确定的波长(例如，蓝色光)的激励光照射样本，以激活在样本中的荧光团。作为响应，荧光团释放不同波长(例如，红光)的发射。
在某些方面，光照源提供至由孔径-扫描傅立叶重叠关联成像系统所成像的样本的光照。光照源可以是孔径-扫描傅立叶重叠关联成像系统的组件或与孔径-扫描傅立叶重叠关联成像系统分开。尽管光照源是在某些情况下被描述被定位以将光照引导朝向在光学装置中的第一光学元件，但光照源可以位于其它位置，以将光照引导远离第一光学元件。例如，在发光成像的示例中，光照源可以提供被引导远离在光学装置中的第一光学系统的激发光。在许多情况下，激发照射具有比来自样本的发射更强的信号。通过引导激发照射远离第一光学系统，这样的配置将在由光检测器收集较弱的发射信号时提供帮助。尽管单个光照源被在许多情况下进行了描述，但可以理解的是，多个光照源可以被使用。
在某些情况下，孔径-扫描傅立叶重叠关联成像技术涉及由来自任何方向的单个任意图案的相干照射光束所照射的样本。在许多情况下，光照的角度不在图像获取过程期间变化。在一些情况下，光照可以是单色的。在另一种情况下，光照源可以如下面所讨论的在不同的获取时间提供不同的波长(例如，与RGB相关联的波长)的光照。尽管光照源可以是相干源，非相干源也可以被使用，并且计算校正可以被应用。可见光的源的一些示例包括LCD像素和LED显示器的像素。在使用其它形式的辐射的情况下，其它辐射源也可以被使用。例如，在使用X射线辐射的实施例中，辐射源可以包括X射线管和金属靶。作为另一个示例，在使用微波辐射的情况下，辐射源可以包括真空管。作为另一个示例，在使用声学辐射的情况下，辐射源可以是声学致动器。作为另一个示例，在使用太赫兹辐射的情况下，辐射源可以是耿氏二极管。本领域技术人员会考虑其它辐射源。
在彩色成像实现中，光照源可以提供分别对应于红色、绿色、蓝色的三个波长λ1,λ2和λ3的RGB光照。在一种使用太赫兹辐射的情况下，由光照源所提供的辐射的频率可以是在0.3至3THz的范围内。在一种使用微波辐射的情况下，由可变照射器所提供的辐射的频率可以是在100MHz至300GHz的范围内。在一种使用X射线辐射的情况下，由可变照射器所提供的辐射的波长可以是在0.01nm至10nm的范围内。在一种使用声学辐射的情况下，由可变照射器所提供的辐射的频率可以是在10Hz至100MHz的范围内。
在某些方面，“辐射检测器”或“光检测器”或“检测器”被配置成通过在特定采样(获取)时间测量/记录在检测器平面上的入射辐射的强度分布来获取样本的强度图像。在图像获取过程期间，例如，辐射检测器可以在M个样本时间ti＝1至M获取数量为M的多个强度图像。如果可见光辐射正在被测量，则辐射检测器可以是以电荷耦合器件(CCD)、CMOS成像传感器、雪崩光电二极管(APD)阵列、光电二极管(PD)阵列、光电倍增管(PMT)阵列或类似器件的形式。如果使用太赫兹辐射被检测，则辐射检测器可以是，例如，成像辐射热测量计。如果使用微波辐射被使用，则辐射检测器可以是，例如，天线。如果使用X射线辐射被使用，则辐射检测器可以是，例如，x射线敏感的CCD。如果使用声学辐射被使用，则辐射检测器可以是，例如，压电换能器阵列。辐射检测器和其它检测器的这些示例是市售的。在一些情况下，辐射检测器可以是彩色检测器，例如RGB检测器。在其它情况下，辐射检测器不需要是彩色检测器。在某些情况下，辐射检测器可以是单色检测器。
“样本”或“获取”时间可以指光检测器捕获样本的强度图像的时间。在此处所描述的某些图像获取过程期间，辐射检测器捕获数量为M的多个强度图像(例如，M＝1，2，5，10，20，30，50，100，1000，10000等)。在强度图像被捕获的每个样本时间ti，孔径是在数量为N的多个孔径位置的不同的扫描位置处。在某些情况下，采样速率的范围可以为从0.1至1000帧每秒。
在某些方面，辐射检测器可以具有离散的辐射检测元件(例如，像素)。辐射检测元件可以是任何合适的大小(例如，1-10微米)以及任何合适的形状(例如，圆形、矩形、正方形等)。例如，CMOS或CCD元件可以是1-10微米并且APD或PMT光检测元件可以是1-4mm大。在一个示例中，辐射检测元件是具有5.5微米的大小的正方形像素。
辐射检测器产生包括了数量为M的多个强度图像的图像数据。辐射检测器还可以产生诸如样本时间和其它相关数据之类的其它图像数据。
傅立叶空间可以指由波矢量kx和ky所跨越的数学空间，为坐标空间，在其中由孔径-扫描傅立叶重叠关联成像系统所创建的空间图像的二维傅立叶变换驻留。傅立叶空间也可以指由波矢量kx和ky所跨越的数学空间，在其中由辐射传感器所创建的空间图像的二维傅立叶变换驻留。
由辐射检测器所捕获的数量为M的多个强度图像中的每个与在傅立叶空间中的区域相关联。在傅立叶空间中，相邻区域可以共享在它们在其上采样相同的傅立叶域数据的重叠区。该在傅立叶空间中的重叠区对应于在中间平面中的相邻孔径的重叠区。在某些方面，数量为N的多个孔径位置被设计，使得相邻的孔径位置的重叠区将产生一定的量的在傅立叶域数据中的重叠区。在一种情况下，多个孔径位置被设计，以产生在傅立叶域数据中的在各区域中的一个区域的面积的约2％至约99.5％的范围内的重叠区。在另一个实施例中，相邻区域之间的重叠区可以具有从各区域中的一个区域的面积的65％至75％的范围内的区。在另一个实施例中，相邻区域之间的重叠区可以具有在各区域中的一个区域的面积的约65％的区。
图2A和2B是根据各实施例的孔径-扫描傅立叶重叠关联成像系统11的组件的示意图。在本图示中，光学元件是在4f光学装置中并且孔径扫描是在样本的傅立叶平面上。孔径-扫描傅立叶重叠关联成像系统11包括具有第一焦距f1(其中，f1＝f)的第一光学系统(例如，透镜)101、具有第二焦距f2(其中，f2＝f)的第二光学系统(例如，透镜)201和孔径扫描仪300。孔径-扫描傅立叶重叠关联成像系统11还包括样本平面、检测器平面和样本的傅立叶平面(未示出)。在图像获取期间，被成像的样本位于样本平面上。尽管未被示出，孔径-扫描傅立叶重叠关联成像系统11还包括在检测器平面上的检测器。可选地，孔径-扫描傅立叶重叠关联成像系统11还可以包括用于照射样本的光照源。另外，可选地，孔径-扫描傅立叶重叠关联成像系统11还可以包括计算设备的一个或多个组件，该计算设备包括处理器、与该处理器进行通信的显示器和计算机可读介质。
根据在图2A和2B中所示的4f光学装置，第一光学系统101位于距第二光学系统201等于它们被合并的焦距2f的距离处。样本平面位于距第一光学系统101的第一焦距的光路距离处并且检测器平面位于距第二光学系统201的第二焦距的光路距离处。样本的傅立叶平面位于距第一光学系统101的第一焦距的距离处并且位于距第二光学系统201的第二焦距的光路距离处。
所示出的孔径-扫描傅立叶重叠关联成像系统11还包括孔径310。孔径-扫描傅立叶重叠关联成像系统11还可以包括孔径扫描仪300，其被配置成提供在傅立叶平面中的多个孔径位置处的孔径310。
在本所示出的示例中，孔径被在不同的采样时间显示在两个相邻的孔径位置处。图2A显示在第一孔径位置处的孔径310(a)。图2B显示在第二孔径位置处的孔径310(b)。图2B还以虚线显示孔径310(a)，以示出在两个相邻的孔径位置之间的重叠区域312。
在某些图像获取过程期间，孔径-扫描傅立叶重叠关联成像系统的孔径扫描仪产生在数量为N的多个孔径位置(Xi,Yj)处的孔径，i＝1至n,j＝1至m,M＝nxm。在位于多个孔径位置中的相邻的孔径位置处，有在相邻的孔径位置之间的重叠区域(例如，312)。在检测器平面上，在孔径是在相应的孔径扫描位置处的同时，光检测器获取强度图像。在图像获取过程期间，光检测器获取对应于不同的孔径位置的数量为M的多个强度图像。M个强度图像(即Ii,j,i＝1至o,j＝1至p并且M＝oxp)被在获取时间ti,j在检测器平面上获取，i＝1至o,j＝1至p。由光检测器所获取的强度图像的数量M可以是在1至几千个强度图像的范围内。在某些图像恢复过程期间，孔径-扫描傅立叶重叠关联成像系统从数量为M的多个强度图像中恢复在样本平面上的较高分辨率的、复杂的场E1(x,y)。在某些方面，然后在样本平面上的复杂的场可以被传播至不同的平面(例如，平行于样本平面的平面)。这些所传播的图像可以被用来形成扩展的样本的3D图像。
某些傅立叶重叠关联图像获取和恢复过程的细节可以在下面的第IV节中找到。傅立叶重叠关联图像恢复过程的示例也可以在Guoan Zheng,Roarke Horstmeyer和Changhuei Yang的“Wide-field,high-resolution Fourier ptychographicmicroscopy”，Nature Photonics 6，第739-745页(2013年)中找到，该文献通过引用以其整体在此并入。孔径-扫描傅立叶重叠关联成像系统的某些细节可以在Dong,Siyuan等人的“Aperture-scanning Fourier ptychography for 3D refocusing and super-resolution macroscopic imaging”，第13586-13599页(2014年6月2日)中找到，该文献通过引用以其整体在此并入。
在图2A和2B中的孔径-扫描傅立叶重叠关联成像系统11、图3A中的孔径-扫描傅立叶重叠关联成像系统12、图4中的孔径-扫描傅立叶重叠关联成像系统14、图5中的孔径-扫描傅立叶重叠关联成像系统15、图6中的孔径-扫描傅立叶重叠关联成像系统16和图7中的孔径-扫描傅立叶重叠关联成像系统17的某些组件之间可能有相似性。
图3A是根据各实施例的孔径-扫描傅立叶重叠关联成像系统12的组件的示意图。孔径-扫描傅立叶重叠关联成像系统12包括具有第一焦距f1(其中，f1＝f)的第一光学系统(例如，透镜)102、具有第二焦距f2(其中，f2＝f)的第二光学系统(例如，透镜)202和以空间光调制器的形式的孔径扫描仪302。孔径扫描仪302被配置成在诸如样本50的傅立叶平面之类的中间平面上将孔径310移动至数量为N的多个位置。尽管孔径扫描仪302被以空间光调制器的形式被示出，但将可以理解的是，其它类型的孔径扫描仪可以被使用。该图示显示该系统在与被成像的样本50的图像获取过程期间位于样本平面。孔径-扫描傅立叶重叠关联成像系统12还包括带有在检测器平面上的(作用的)检测表面的检测器500。
使用用于移动孔径的空间光调制器的孔径-扫描傅立叶重叠关联成像系统的某些细节可以在Horstmeyer，Roarke等人的“Overlapped Fourier coding for opticalaberration removal”(2014年)中找到，该文献通过引用以其整体在此并入。
孔径-扫描傅立叶重叠关联成像系统12还包括可选的光照源400，其可以提供到样本50的光照410。光照源400可以提供来自任何方向的单个任意图案的相干照射光束。尽管光照源400在透照配置中在提供朝向光检测器500的光照410的位置处被示出，但是光照源400可以是处于其它位置，以在其它方向上提供光照410，或其它组件(例如，反射元件)可以被用来在其它方向上引导光照，诸如，远离下一个光学元件，例如，第一光学系统102。另外，可选地，孔径-扫描傅立叶重叠关联成像系统11还可以包括计算设备的一个或多个组件，该计算设备包括处理器、与该处理器进行通信的显示器和计算机可读介质。
在图3A中，孔径-扫描傅立叶重叠关联成像系统12是在4f光学布局中，第一光学系统102位于距第二光学系统202等于它们被合并的焦距2f的距离处。样本50的样本平面位于距第一光学系统102的第一焦距(f1＝f)处并且检测器500的检测器平面位于距第二光学系统202的第二焦距(其中f2＝f)的光路距离处。样本的傅立叶平面位于远离第一光学系统102的第一光学系统102的第一焦距(其中f1＝f)的光路距离处并且位于远离第二光学系统202的第二光学系统202的第二焦距(其中f2＝f)的光路距离处。
图3B是可以在本文中所描述的一定的孔径-扫描傅立叶重叠关联成像系统中被实现的空间光调制器303的SLM显示器323的横截面视图的示意图。该横截面视图是在SLM显示器323的显示平面上。图3B包括在显示平面上的x'轴和y'轴。相对于图3B所描述的空间光调制器303可以在一些方面与相对于图3A所描述的孔径扫描仪302类似。
在图3B中，SLM显示器323是具有宽度L和高度H的尺寸的矩形的显示器。空间光调制器303可以被配置(例如经编程)，来以数字方式在其显示器323上产生在数量为N的多个位置处的孔径310。在这个示例中，数量为N的多个孔径位置是以具有等间距(即在相邻的孔径之间间距相等)的位置的2-D直线网格的形式。在其它实施例中，相邻的孔径位置之间的间距可以不是等间距的且/或孔径可以在不同位置具有不同的大小。
在图3B中，显示器303被在获取时间t1进行显示，此时孔径310(1)(以实线被示出)被在SLM显示器323上生成。该图示还包括被在如由虚线所表示的另一获取时间(例如，t2)进行显示以示出在相邻的孔径之间的空间重叠关系的相邻的孔径310(2)(以虚线被示出)。如所示的，相邻的孔径310(1)、310(2)具有在距离c的x'方向上的重叠312。
在某些情况下，重叠312可以为孔径310的面积的至少约70％。在其它情况下，重叠312可以为孔径310的面积的至少约75％。在其它情况下，重叠312可以在孔径310的面积的至少约2-90％之间。显示指令可以由SLM303用来产生在直线网格中的显示器323上的孔径。
在相邻(邻近)的孔径之间的重叠312可以对应于设置n>L/l。例如，如果n＝9，设置L/l＝2.5将产生大于75％的在相邻的孔径之间的重叠。孔径310(1)和310(2)二者具有宽度为l并且高度为h的恒定的矩形形状。在其它实施例中，在不同的位置处所显示的孔径310可以具有不同的大小和/或形状。
在图3B中，SLM显示器303具有带有正方形的尺寸(n x n尺寸)的2-D直线网格。在这种情况下，N个孔径位置被描述为在显示平面中的(Xi,Yj)，i＝1至n,j＝1至n和孔径位置的数量N＝n2。典型地，孔径310可以从该2-D直线网格的原点移位两维矢量cj＝(cxj,cyj)，1<j<n2。在这种配置中，光检测器可以在不同的孔径位置和相应的获取时间来在检测器平面上捕获M个不同的强度图像Ik,l(M＝kxl)。
图4-6是示出参照图3A所描述的孔径-扫描傅立叶重叠关联成像系统12的组件的不同配置的示例的示意图。
图4是根据某些方面的孔径-扫描傅立叶重叠关联成像系统14的组件的示意图。孔径-扫描傅立叶重叠关联成像系统14包括具有第一焦距f1＝f的第一光学系统(例如，透镜)102、具有第二焦距f2＝f的第二光学系统(例如，透镜)202和检测器500。孔径-扫描傅立叶重叠关联成像系统14还包括孔径扫描仪，其包括具有显示器表面322的DMD阵列320和具有反射表面332的一个或多个反射镜330的序列。表面322包括y'轴和正交于y'轴的x'轴(未示出)，二者均在表面322处的平面中。图示的示例被示出，样本50被在样本平面上成像。
孔径-扫描傅立叶重叠关联成像系统14还包括被配置成在如在该图示中所示的图像获取过程期间提供光照410至样本50的可选的光照源400。在该图示的示例中，光照源400被示出被定位(例如，在第一光学系统102和样本50之间)以将光照410引导远离第一光学系统102。在该配置中，第一光学系统102可以接收从样本表面所反射或从样本50发出的光。图示的配置可以被在发光成像应用中使用。在其它示例中，光照源400可以处于其它位置且/或在其它方向上引导光照。尽管单个光照源400被在本示例中示出，但多个光照源可以被使用。
孔径-扫描傅立叶重叠关联成像系统14是在4f光学装置中，第一光学系统102位于距第二光学系统202等于它们被合并的第一和第二焦距2f的光路距离处。样本平面位于距第一光学系统102的第一焦距f1＝f的光路距离处。在该4f光学装置中，检测器平面位于距第二光学系统202的第二焦距f2＝f的光路距离处。DMD阵列320位于距第一光学系统102的第一焦距f1＝f的光路距离处。一个或多个反射镜330的序列位于距DMD阵列320的光路长度b处，并且位于距第二光学系统202的光路长度a处。在DMD阵列320和第二光学系统202之间的被合并的光路距离为a+b＝f。样本的傅立叶平面位于远离第一光学系统102的第一光学系统102的第一焦距f1＝f的光路长度处并且位于距第二光学系统202的被合并的光路长度a+b＝f处。在图4中，被成像的样本50被示出位于样本平面上，检测器被定位，使得作用检测表面是在检测器平面上，并且孔径扫描仪320被定位，使得显示器表面322是在与样本50的样本平面相关联的傅立叶平面上。
DMD阵列320被配置成将孔径移动至在样本50的傅立叶平面上的数量为N的多个孔径位置。DMD阵列320包括多个微镜。DMD阵列320通过旋转DMD阵列320的相应的一组一个或多个微镜来以角度α反射被引导至一个或多个反射镜330的入射光，从而产生在显示表面上的在每个孔径位置处的孔径。在某些情况下，在DMD阵列320中的其它周边微镜被以反射入射光远离一个或多个反射镜330的角度来定向。
在图4中，一个或多个反射镜330被配置成接收通过由DMD阵列320产生的孔径所反射至第二光学系统202的光。在一些方面，一个或多个反射镜330的序列可以被配置成校正在沿y'轴的不同位置至反射镜330的表面的光路长度方面的差异。该图示指示在DMD阵列320的表面322和反射镜330的表面332之间的中心射线b和在反射镜330和第二光学系统202之间的光路长度a。在第一光学系统102和第二光学系统之间的中心射线的被合并的光路为a+b＝f。然而，在反射镜330的序列和DMD阵列320之间的光路距离从这些器件的边缘至边缘是不一样的。为了校正这些差异，一个或多个反射镜330的序列可以具有校正这些差异的位置和/或取向。例如，二元光栅图案(即，闪耀光栅)可以被叠加在被显示在DMD上的子孔径图案的顶部上。可替代地，类似于在Horstmeyer，Roarke等人的“Overlapped Fourier codingfor optical aberration removal”(2014年)中所讨论的模拟退火校正方法的算法，可以被用来发现反射镜的任意形状的图案，以提供优化的校正性能。该参考文献通过引用以其对于这种方法的细节的全部内容在此并入。
尽管未示出，孔径-扫描傅立叶重叠关联成像系统14还可以包括计算设备的一个或多个组件，该计算设备包括处理器、与该处理器进行电通信的显示器和与该处理器进行电通信的计算机可读介质。
图5是根据某些方面的孔径-扫描傅立叶重叠关联成像系统15的组件的示意图。孔径-扫描傅立叶重叠关联成像系统15包括具有第一焦距f1＝f的第一光学系统(例如，透镜)102、具有第二焦距f2＝f的第二光学系统(例如，透镜)202和检测器500。孔径-扫描傅立叶重叠关联成像系统14还包括以具有显示表面322的DMD阵列320的形式的孔径扫描仪。表面322包括y'轴和正交于y'轴的x'轴(未示出)，二者均在表面322处的平面中。图示的示例被用以在样本平面上成像的样本50示出。
孔径-扫描傅立叶重叠关联成像系统15还包括被配置成在如在该图示中所示出的图像获取过程期间提供光照410至样本50的可选的光照源400。例如，光照源400可以提供来自任何方向的单个任意图案的相干照射光束。在该图示的示例中，光照源400被示出被定位(例如，在第一光学系统102和样本50之间)以将光照410引导远离第一光学系统102。在该配置中，第一光学系统102可以接收从样本表面所反射或从样本50发出的光。图示的配置可以被在发光成像应用中使用。在其它示例中，光照源400可以处于其它位置且/或在其它方向上引导光照。尽管单个光照源400被在本示例中示出，但多个光照源可以被使用。
在这种配置中，处于在第一光学系统102和DMD阵列320之间和在第二光学系统202和DMD阵列320之间的中心射线的光路之间的角度θ是小的角度。由于角度θ在此配置中是小的，对于这些中心射线的光路距离可以被近似为平行且等距离的。在一种情况下，角度θ可以是在约1度和约10度之间。在另一种情况下，角度θ为约10度。在另一种情况下，角度θ为约15度。
使用这种上面讨论的近似，孔径-扫描傅立叶重叠关联成像系统14被近似为4f光学装置，第一光学系统102位于距第二光学系统202被近似为等于被合并的第一和第二焦距2f的光路距离处。样本平面位于距第一光学系统102的第一焦距f1＝f处并且检测器平面位于距第二光学系统202的第二焦距fs＝f处。样本的傅立叶平面位于远离第一光学系统102的第一光学系统102的第一焦距f1＝f的光路长度处并且位于远离第二光学系统202的第二光学系统202的近似第二焦距f2＝f的光路长度处。
在图5中，被成像的样本50被示出位于样本平面上并且检测器500被定位，使得作用检测表面近似在检测器平面上。DMD阵列320位于远离第一光学系统102的第一焦距f1＝f的光路长度处并且位于距第二光学系统202的近似第二焦距f2＝f的光路长度处。
DMD阵列320被配置成将孔径移动至在样本50的傅立叶平面上的数量为N的多个孔径位置。DMD阵列320包括多个微镜。DMD阵列320通过旋转DMD阵列320的相应的一组一个或多个微镜来以角度α反射被引导至第二光学系统202的入射光，从而产生在显示表面上的在每个孔径位置处的孔径。在某些情况下，在DMD阵列320中的其它周边微镜被以反射入射光远离第二光学系统202的角度来定向。
尽管未示出，孔径-扫描傅立叶重叠关联成像系统14还可以包括计算设备的一个或多个组件，该计算设备包括处理器、与该处理器进行电通信的显示器和与该处理器进行电通信的计算机可读介质。
图6是根据某些方面的孔径-扫描傅立叶重叠关联成像系统16的组件的视图的示意图。孔径-扫描傅立叶重叠关联成像系统16包括具有第一焦距f1＝f的第一光学系统(例如，透镜)102、具有第二焦距f2＝f的第二光学系统(例如，透镜)202和检测器500。孔径-扫描傅立叶重叠关联成像系统16还包括孔径扫描仪。在此图示的示例中，孔径扫描仪包括光束分离器340、具有显示表面352的LCOS阵列350和反射镜360。表面352包括y'轴和正交于y'轴的x'轴(未示出)。
孔径-扫描傅立叶重叠关联成像系统16还包括被配置成在如在该图示中所示出的图像获取过程期间提供光照410至样本50的可选的光照源400。在该图示的示例中，光照源400被示出被定位(例如，在第一光学系统102和样本50之间)以将光照410引导远离第一光学系统102。在该配置中，第一光学系统102可以接收从样本表面所反射或从样本50发出的光。图示的配置可以被在发光成像应用中使用。在其它示例中，光照源400可以处于其它位置且/或在其它方向上引导光照。尽管单个光照源400被在本示例中示出，但多个光照源可以被使用。
孔径-扫描傅立叶重叠关联成像系统16是在4f光学装置中，第一光学系统102位于距第二光学系统202等于它们被合并的第一和第二焦距2f的光路距离处。样本平面位于距第一光学系统102的第一焦距f1＝f的光路距离处。在该4f光学装置中，检测器平面位于距第二光学系统202的第二焦距f2＝f的光路距离处。DMD阵列350位于远离第一光学系统102的第一焦距f1＝f的光路距离处。
光束分离器340被配置成传递从第一光学系统102接收的第一波长的入射光并且吸收/反射从第一光学系统102接收的第二波长的入射光。例如，光束分离器340可以被配置成传递与从在样本中的荧光团的发射相关联的波长的入射光，该样本通过在荧光成像应用中的激发照射进行照射。光束分离器340还被配置成吸收从LCOS阵列350接收的第二波长的入射光，并且将从LCOS阵列350接收的第一波长的入射光反射至反射镜360。可替代地，常规的光束分离器可以被与添加的被放置在样本和检测器之间的光路中的任何地方的光谱滤波器一起使用，其可以传递与从荧光团的发射相关联的波长的光并且吸收在荧光成像应用中的激发照射。
在图6中，在LCOS阵列350和光束分离器340之间的光路距离被指定为a。在光束分离器340和反射镜360之间的光路距离为b。在反射镜360和第二光学系统202之间的光路距离为c。在LCOS阵列350和第二光学系统202之间的被合并的光路距离为a+b+c＝f。在此光学装置中的样本的傅立叶平面是在距第一光学系统102的第一焦距f1＝f的光路长度处并且位于距第二光学系统202的被合并的光路长度a+b+c＝f处。在图4中，被成像的样本50被示出位于样本平面上，检测器500被定位，使得作用检测表面是在检测器平面上，并且LCOS阵列350的显示表面352位于与样本平面相关联的傅立叶平面上。
该配置的优点可以是，光路在第一和第二光学系统102和202之间是等长的，并且光学元件不需要被以具有挑战性的角度放置。
LCOS阵列350被配置成将孔径移动至在中间平面上的数量为N的多个孔径位置，在该情况下该中间平面为与样本平面相关联的傅立叶平面。LCOS阵列350包括显示器，其由多个可以被设置为反射型的显示元件组成。LCOS阵列350通过将一个或多个显示元件设置为反射型以便将入射光反射回到光束分离器340，来产生在显示表面上的在每个孔径位置处的孔径。在某些情况下，周边元件被设置为基本上透射型或吸收型的。
尽管某些孔径-扫描傅立叶重叠关联成像系统被描述为被配置成产生在中间平面上的孔径，但多个孔径也可以代替被产生。
尽管未示出，孔径-扫描傅立叶重叠关联成像系统16还可以包括计算设备的一个或多个组件，该计算设备包括处理器、与该处理器进行电通信的显示器和与该处理器进行电通信的计算机可读介质。
IV.孔径-扫描傅立叶重叠关联成像系统
在某些方面，孔径扫描傅立叶重叠关联成像系统包括第一光学系统(例如，第一透镜)、被配置成产生在中间平面上的数量为N的多个孔径位置处的孔径的孔径扫描仪、第二光学系统(例如，第二透镜)和被配置成捕获数量为M的多个图像的辐射检测器。可选地，孔径扫描傅立叶重叠关联成像系统还可以包括用于提供光照的光照源和/或处理器。在一些情况下，光照源可以提供来自任何方向的单个任意图案的相干照射光束。在某些方面，第一光学系统、第二光学系统、辐射检测器和样本的样本平面被布置在4-f光学装置中。在图像获取过程期间，光照源照射被放置在样本平面上的样本。第一光学系统接收来自样本的光并且孔径扫描仪产生在样本的傅立叶平面上的多个位置处的孔径。在数量为N的多个孔径位置的某些相邻的位置处的孔径之间存在重叠区域。第二光学系统接收通过孔径的光。辐射检测器接收来自第二光学系统的由在不同的位置处的孔径所调制的光。辐射检测器捕获对应于数量为N的多个孔径位置中的不同的孔径位置的数量为M的多个强度图像。在恢复过程期间，处理器将在傅立叶空间中的M个重叠的强度图像迭代地拼接在一起，以恢复样本的宽场的、复合图像。在某些方面，孔径扫描傅立叶重叠关联成像系统还可以以数字方式调节复合的更高分辨率的图像，以适应散焦并且校正在其光学元件中的像差。在某些情况下，孔径扫描傅立叶重叠关联成像系统也可以以数字方式将复合图像传播至其它平面，例如，以产生三维图像。
尽管该孔径-扫描傅立叶重叠关联成像系统被描述为被配置成产生在中间平面上的孔径，但在另一种情况下该系统可能会产生在中间平面处的多个孔径。
由本文中所描述的孔径扫描傅立叶重叠关联成像系统所执行的孔径扫描傅立叶重叠关联成像方法包括获取过程、恢复过程和可选的显示过程。在采集过程期间，孔径扫描仪产生在数量为N的多个孔径位置处的孔径并且辐射检测器在M个样本时间(ti,i＝1至M)捕获对应于不同的孔径位置的数量为M的多个强度图像。在恢复过程中，一个或多个复合图像被使用数量为M的多个图像来确定。在可选的显示过程期间，所恢复的复合图像以及其它输出被在显示器上提供。在某些情况下，M＝N。
图7是根据各实施例的孔径扫描傅立叶重叠关联成像系统17的组件的示意图。孔径扫描傅立叶重叠关联成像系统17包括孔径扫描傅立叶重叠关联设备700和可选地计算设备800的一个或多个组件。孔径扫描傅立叶重叠关联设备700包括被配置成接收来自样本720的光的第一光学系统730(例如，第一物镜)、被配置成产生在中间平面(例如，样本720的傅立叶平面)中的数量为N的多个孔径位置处的孔径的孔径扫描仪740、用于接收通过孔径的光的第二光学系统750(例如，第二物镜)和用于基于来自第二光学系统750的入射光捕获M个强度图像的检测器760。
孔径扫描傅立叶重叠关联设备700还包括被配置成提供光照至样本720的可选的(由虚线表示的)光照源710。在该图示中，样本720被在获取过程期间提供给孔径扫描傅立叶重叠关联设备700，如由虚线所表示的。在其它情况下，样本720不包括在内。在一些情况下，光照源710可以提供来自任何方向的单个相干照射光束。计算设备800包括处理器810(例如，微处理器)、与处理器810进行电通信的计算机可读介质(CRM)820和与处理器810进行电通信的显示器830。计算设备800的处理器810还与孔径扫描傅立叶重叠关联设备700的检测器760进行电通信。在某些情况下，处理器810还可以与孔径扫描仪740进行电通信。在一种情况下，例如，处理器810可以与孔径扫描仪740和光检测器760进行电通信，以将孔径产生与图像获取同步。计算设备800可以是各种形式，诸如，例如，智能电话、笔记本电脑、台式机、平板电脑等。各种形式的计算设备将由本领域技术人员所预期。
在测量过程期间，孔径扫描仪740产生在平面(例如，光学装置的傅立叶平面)中的数量为N的多个孔径位置(Xi,Yj)处的孔径，i＝1至m,j＝1至n。第一光学系统730接收从样本720的表面传播的入射光。第二光学系统750接收由孔径所调制的光。检测器760接收并且测量由第二光学系统所传播的光的强度分布。探测器760在M(＝oxp)个样本时间捕获或者获取强度分布Ii,j,i＝1至o,j＝1至p,ti＝1至M，以捕获样本720的数量为M的多个强度图像。在一个方面，M个强度图像对应于数量为N的多个孔径位置中的不同的孔径位置。
在某些方面，由本文中所描述的孔径扫描傅立叶重叠关联成像系统捕获的全视场的强度图像中的一个或多个可以被划分成一个或多个贴片图像。在这些情况下，处理器可以为每个贴片图像独立地构建较高分辨率的复合图像，并且然后将贴片图像组合来产生全视场的图像。这种独立地处理贴片图像的能力允许并行计算。在这些方面，每一贴片可以通过二维区来表示。在极空间坐标中，每个贴片可以是圆形区或椭圆形区。在直线空间坐标中，全视场的低分辨率图像可以在矩形区中被划分成贴片的二维矩阵。在一些实施例中，当以辐射传感器的像素数表示时，贴片的二维方阵的尺寸可以为二的幂，诸如，例如，256×256矩阵，64×64矩阵等。
在图7中，处理器810与检测器760进行电子通信，以接收带有对应于M个强度图像的图像数据的信号。该图像数据可以包括，例如，强度分布、相关联的获取时间等。在恢复过程期间，处理器810可以将在傅立叶空间中的数量为M的多个强度图像迭代地“拼接”在一起，以恢复在样本平面上的样本720的宽场的、复合图像。在某些方面，处理器810还可以以数字方式重新聚焦复合图像，以适应在系统中的样本的任何散焦和/或像差。在某些方面，处理器810还可以将复合图像传播至一个或多个平面。来自这些在不同的平面上所传播的复合图像的图像数据可以被用来产生三维图像。在某些方面，处理器810还可以产生以不同的照射波长(RGB)的复合图像，以产生复合的彩色图像。
处理器810与CRM 820(例如，存储器)进行电子通信，以传送带有要存储的图像数据的信号至CRM 820/传送来自CRM 820的图像数据的信号。处理器810被示出与显示器830进行电子通信，以便能够发送图像数据和指令，以显示样本和其它输出的宽场的、复合图像，例如，给孔径扫描傅立叶重叠关联成像系统17的用户。如本文中所使用的，在孔径扫描傅立叶重叠关联成像系统17的组件之间的电子通信可以是以有线或无线的形式。
处理器810(例如，微处理器)也可以执行被存储在CRM 820上的指令，来执行孔径扫描傅立叶重叠关联成像系统的一个或多个功能。例如，处理器810可以执行指令，来执行孔径扫描傅立叶重叠关联成像方法的恢复方法中的一个或多个步骤。作为另一个示例，处理器810可以执行用于产生在多个孔径位置处的孔径的指令。作为另一个示例，处理器810可以执行被存储在CRM 820上的指令，以执行孔径扫描傅立叶重叠关联成像系统的一个或多个其它功能，诸如，例如，1)解译来自多个强度图像的图像数据，2)根据图像数据来产生较高分辨率的复合图像，以及3)在显示器830上显示来自孔径扫描傅立叶重叠关联成像方法的一个或多个图像或其它输出。
CRM(例如，存储器)820可以存储用于执行孔径扫描傅立叶重叠关联成像系统的功能中的一些功能的指令。各指令可由处理器810或孔径扫描傅立叶重叠关联成像系统的其它处理组件执行。CRM 820还可以存储(较低分辨率)强度和较高分辨率的复合图像，以及由孔径扫描傅立叶重叠关联成像系统产生的其它数据。
孔径扫描傅立叶重叠关联成像系统还包括与处理器810进行电子通信的显示器830，以接收数据(例如，图像数据)并且将输出数据(例如，图像)提供给孔径扫描傅立叶重叠关联成像系统的操作者。图像显示器830可以是彩色显示器或黑白显示器。此外，显示器830可以是二维显示器或三维显示器。在一个实施例中，显示器830可以能够显示多个视图。
可以对孔径扫描傅立叶重叠关联成像系统17或孔径扫描傅立叶重叠关联设备700做出修改、添加或省略，而不脱离本公开的范围。此外，孔径扫描傅立叶重叠关联成像系统17的组件或孔径扫描傅立叶重叠关联设备700可以根据具体需要而被集成或分离。例如，计算设备800或其部件可以被集成到孔径扫描傅立叶重叠关联设备700中。在一些实施例中，处理器810或其它合适的处理器可以是孔径扫描傅立叶重叠关联设备700的一部分。在某些情况下，处理器810可以被集成到辐射检测器760中，使得辐射检测器760执行处理器810的功能。作为另一个示例，CRM 820和/或显示器830在某些情况下可以从孔径扫描傅立叶重叠关联成像系统17中被省略。
为简单起见，本文中的某些孔径-扫描傅立叶重叠关联成像系统的第一和第二光学系统(例如第一和第二透镜)被描述为在4f光学装置中具有相同的焦距f。应当理解的是，第一光学系统可以具有与第二光学系统不同的焦距。例如，第一光学系统可以具有与第二光学系统的第二焦距f2不同的第一焦距f1。在这种情况下，样本平面位于距第一光学系统的第一焦距f1的距离处，检测器平面将在距第二光学系统的第二焦距f2的距离处，并且傅立叶平面将在距第一光学系统的f1的距离处和距第二光学系统的f2的距离处。
在本文中所描述的许多方面，孔径可以被产生在处于样本的傅立叶平面中的数量为N的多个孔径位置处。然而，这将被理解的是，孔径可以被产生在与该样本共轭的诸如，例如，复合透镜系统的孔径平面或显微镜物镜的后焦平面之类的另一中间平面中。
在某些方面，孔径扫描傅立叶重叠关联成像系统还可以包括用于在样本表面上接收样本的容器。样本表面可以是孔径扫描傅立叶重叠关联成像系统的组件的一部分或单独的组件。
IV.孔径-扫描傅立叶重叠关联成像方法
在某些方面，孔径扫描傅立叶重叠关联成像方法包括：获取过程、恢复过程和可选的显示过程。在获取过程中，数量为M的多个较低分辨率的强度图像被获取，每个强度图像对应于在孔径扫描傅立叶重叠关联成像系统的中间平面上的不同的孔径位置。每个强度图像是基于在特定的获取时间ti＝1至M在检测器平面上所测量的强度(幅度)分布。光检测器测量从第二光学系统中接收的入射光，该第二光学系统接收来自孔径的光。
在图8、9A和9B及其相关描述中，下标“h”是指较高分辨率的、复合图像，下标“l”是指较低分辨率的强度，下标“f”是指聚焦的位置，下标“m”是指所测量的，并且下标“s”是指所采样的。
图8是由孔径扫描傅立叶重叠关联成像系统执行的孔径扫描傅立叶重叠关联成像方法的流程图。孔径扫描傅立叶重叠关联成像方法包括获取过程(步骤1100、1200和1300)、恢复过程(步骤1400和1500)、可选的传播步骤和可选的显示过程(步骤1600)。
在步骤1100，光照源在M个样本时间ti＝1…M期间提供至样本的照射。第一光学系统接收来自样本的入射光。在某些情况下，光照源可以在不同的样本时间提供不同波长的照射。例如，光照源可以提供分别对应于红色、绿色、蓝色的三个波长λ1,λ2和λ3的RGB光照，用于彩色成像的实现。在发光成像的示例中，光照源可以提供具有用于激发在样本中的荧光团的波长的照射。在这些示例中，光照源可以被定位并且被引导，以提供被引导远离在光学装置中的下一个元件的照射。例如，光照源可以被引导远离第一光学系统。
在步骤1200，孔径扫描仪产生在光学装置的中间(例如，傅立叶)平面中的数量为N的多个孔径位置(Xi,Yj)处的孔径(或多个孔径),i＝1至m,j＝1至n。孔径扫描仪可以基于限定孔径位置的顺序的指令来产生在不同的位置处的孔径。这些指令可以用处理器来实现，并且可以被存储在计算机可读介质上。在x和y方向上的波矢量可以被表示为kxi和kyi。第二光学系统可以接收由孔径所调制的入射光。在一些情况下，在多个孔径位置中的相邻的孔径具有重叠区域。
检测器接收并且测量由接收来自孔径的入射光的第二光学系统所传播的光的强度分布。在步骤1300，辐射检测器在M个样本时间ti＝1至M中的每个时间获取快照的强度分布测量结果，以获取数量为M的多个强度图像Ii,j,i＝1至o,j＝1至p，其中M＝o x p。由光检测器获取的M个强度图像中的每个强度图像对应于数量为N的多个孔径位置中的不同孔径位置。由光检测器获取的M个强度图像中的每个还与在傅立叶空间中的区域相关联。在某些方面，在傅立叶空间中的相邻区域之间存在重叠区。在一个实施例中，相邻区域之间存在的重叠区为区域中的一个的面积的2％至99.5％。在另一个实施例中，相邻区域之间存在的重叠区为在区域中的一个的面积的65％至75％。在另一个实施例中，相邻区域之间存在的重叠区为区域中的一个的面积的约65％。
在步骤1400和1500，样本的较高的(即，增强的)分辨率的、复合图像被基于在步骤1300中捕获的数量为M的多个强度分布测量结果Ii,j来进行恢复，i＝1至o,j＝1。
在步骤1400，较高分辨率的复合图像：
Figure GDA0002057845820000361
被在空间域中初始化，并且傅立叶变换被应用到初始值，以获得初始化的傅立叶变换的图像
Figure GDA0002057845820000362
初始化的较高分辨率的解可以是初始猜测。在一些情况下，初始猜测可以被确定为(对于强度和相位二者的)随机复矩阵。在其它情况下，初始猜测可以被确定为带有随机相位的强度分布测量结果的内插。初始猜测的一个示例是
Figure GDA0002057845820000363
并且Ih被从样本区的任何强度图像进行内插。初始猜测的另一个示例是恒定值。初始猜测的傅立叶变换可以是在傅立叶域中的广谱。
在步骤1500，通过使用可以是孔径扫描傅立叶重叠关联成像系统的部分或者单独的组件的处理器迭代地组合在傅立叶空间中的强度测量结果来以计算方式构建样本区的较高分辨率的图像。
在可选的步骤1600，显示器可以从处理器接收图像数据，诸如较高分辨率的复合图像数据和/或其它数据，并且在显示器上显示该数据。
尽管孔径扫描傅立叶重叠关联成像系统可能无法直接测量相位信息，但孔径扫描傅立叶重叠关联成像系统可以在其恢复过程期间确定该数据。相位数据可以被用来产生样本的复合图像。此外，某些孔径扫描傅立叶重叠关联成像方法可以使用相位信息来用于像差校正。例如，某些孔径扫描傅立叶重叠关联成像方法将相位图引入到相干光学传递函数，以在迭代图像恢复过程期间补偿在光瞳平面处的像差。图像恢复方法的示例被参照在以下各节中所讨论的图9A和9B来进行描述。
A)数字重新聚焦和波前校正
考虑一种情况，其中被成像的样本由光场进行照射。离开样本表面的光学传输包括幅度和相位的空间变化两者。在常规的亮场显微镜中，该光场被收集并且被重新聚焦以在图像平面上形成样本的图像。常规的光传感器和人的眼睛只能检测幅度(强度)的变化，但不能检测相位的变化。
成像平台存在可以收集在图像平面上的幅度和相位的变化两者并且将该数据连接回离开样本表面的光学传输的优势。例如，这组幅度和相位数据可以被用来执行计算重聚焦，这允许在样本表面下的任何给定平面上的成像。作为另一示例，这组幅度和相位数据可以被用来校正在光学成像系统中的光学像差。光学像差呈现物理限制，即可能阻止某些成像系统以它们的由普通光学原理所决定的理论分辨率来执行。例如，带有具有超过1cm直径的视场和约0.4的数值孔径(NA)的50mm镜头的相机(例如，Nikon Nikkor 50mm f/1.2)在理论上应该能够以亚微米光学分辨率来成像，但光学像差限制它至10微米的分辨率。
图9A是示出了子步骤的示例的流程图，各子步骤中的一个或多个可以被包括在图8的孔径扫描傅立叶重叠关联成像方法的步骤1500中。这些步骤中的一个或多个可以由孔径扫描傅立叶重叠关联成像系统的处理器(例如，处理器810)来执行。示出的流程图包括可选的数字波前校正步骤1605和1645。步骤1605提供在实际的样本轮廓和所捕获的强度数据(其可以包括像差)之间的连接，用光瞳函数的乘法运算：
Figure GDA0002057845820000371
步骤1645使该连接反转，以确定样本的无像差重建的复合图像。
样本散焦可以通过将散焦相位因子引入到光瞳平面(即，散焦像差)来实现：
Figure GDA0002057845820000372
其中kx和ky为在光瞳平面上的波数，z0为散焦距离，并且NA为光学元件(例如，第一光学系统和/或第二光学系统)的数值孔径。
在步骤1605，初始的复合的、较高分辨率的傅立叶变换的图像
Figure GDA0002057845820000373
由在傅立叶域中的相位因子
Figure GDA0002057845820000374
或
Figure GDA0002057845820000376
相乘。
在步骤1610，在傅立叶域中的较高分辨率的图像
Figure GDA0002057845820000375
的低通滤波被执行，以产生用于与波矢量(kx i,ky i)相关联的孔径位置的较低分辨率的强度图像
Figure GDA0002057845820000381
或
Figure GDA0002057845820000382
较高分辨率的图像的傅立叶变换为
Figure GDA0002057845820000383
并且对于特定孔径位置的较低分辨率的强度图像的傅立叶变换为
Figure GDA0002057845820000384
在傅立叶域中，孔径扫描傅立叶重叠关联成像方法过滤来自较高分辨率图像
Figure GDA0002057845820000385
的频谱
Figure GDA0002057845820000386
的低通区域。在某些情况下，这种低通区域可以是具有NA*k0的半径的圆形孔径，其中k0等于2π/λ(在真空中的波数)，由光学系统(例如，第一光学系统和/或第二光学系统)的相干光学传递函数给出。在傅立叶空间中，低通区域的位置对应于在空间域中的特定孔径位置。
在步骤1630，在对焦平面
Figure GDA0002057845820000387
上的强度图像的所计算的幅度分量
Figure GDA0002057845820000388
被替换为由孔径扫描傅立叶重叠关联成像系统的光检测器所测量的强度的强度测量结果
Figure GDA0002057845820000389
的平方根。这就形成了更新的较低分辨率的目标：
Figure GDA00020578458200003810
在步骤1645，更新的较低分辨率的目标：
Figure GDA00020578458200003811
由在傅立叶域中的逆相位因子
Figure GDA00020578458200003812
或
Figure GDA00020578458200003815
相乘。
在步骤1650，傅立叶变换被应用到被传播至样本平面的更新的目标图像：
Figure GDA00020578458200003813
并且该数据被更新在对应于对应于入射波矢量(kx i,ky i)的傅立叶空间中的较高分辨率的解
Figure GDA00020578458200003814
的相应区域中。
在步骤1660，确定是否步骤1605至1650已被对于全部孔径N个位置完成。如果步骤1605至1650尚未对于全部孔径N个位置完成，则步骤1605至1650被对于下一个孔径位置进行重复。
在大多数实施例中，在傅立叶空间中的、针对每个孔径位置进行迭代地更新的相邻区域彼此重叠。在所更新的重叠区域之间的重叠区中，孔径扫描傅立叶重叠关联成像系统具有在相同的傅立叶空间上的多个采样。孔径位置确定重叠区的面积。在一个实施例中，相邻区域之间的重叠区可以具有在相邻区域中的一个区域的面积的2％至99.5％之间的面积。在另一个实施例中，相邻区域之间的重叠区可以具有在相邻区域中的一个区域的面积的65％至75％之间的面积。在另一个实施例中，相邻区域之间的重叠区可以具有在相邻区域中的一个区域的面积的约65％的面积。在某些实施例中，每个重叠区域具有相同的面积。
在步骤1670，确定对于较高分辨率的图像的解是否已收敛。例如，如果较高分辨率的复合图像为自洽解，则可以确定收敛。在一种情况下，前一次迭代或初始猜测的前一个较高分辨率的复合图像被与当前较高分辨率的解进行比较，并且如果差异小于一定的值，则该解可以已经收敛至自洽解。如果确定该解还没有收敛，则步骤1605至1670被重复。在一个实施例中，步骤1605至1670被重复一次。在其它实施例中，步骤1605至1670被重复两次或更多次。如果该解已经收敛，则在傅立叶空间中的收敛的解被变换至空间域，以恢复较高分辨率的图像
Figure GDA0002057845820000391
如果在步骤1570确定该解已经收敛，则该方法可以进行到可选的步骤1600，该方法可以结束，或者其它可选的附加步骤可以被执行，诸如附加的散焦或像差校正步骤。
如果散焦距离是未知的，则孔径扫描傅立叶重叠关联成像方法可以基于从方程4的自动聚焦指数的计算将参数“z”以数字方式调整至不同的值。然后孔径扫描傅立叶重叠关联成像方法可以构建相应的图像，并且选择轮廓最鲜明的图像。这种方法也可以被扩展以对平铺的样本进行成像。在这种情况下，孔径扫描傅立叶重叠关联成像方法可以以数字方式调整参数“z”，以实现对于整个图像的每个平铺的区域的锐度并且结合对焦区域来形成全视场的全聚焦图像。
在其它实施例中，可替代的数字乘法相位因子可以被包括在乘法步骤1605和1645中以校正各种像差，只要该因子正确地模拟所采用的光学系统。
常规的高NA显微镜的局限性在于有限的场深度。作为一个示例，带有具有0.4NA的20倍物镜的常规显微镜的场深度为约5微米。用传统显微镜，由于其受限的场深度，随着样本移动远离对焦平面，分辨率降低。为了实现使用常规显微镜的最佳分辨率，操作者典型地需要移动该平台，以机械地将样本带回焦点。在该方面，在传统的显微镜中需要精确的机械平面，以将样本带至具有亚微米精度的对焦位置。
在某些实施例中，孔径扫描傅立叶重叠关联成像系统实现孔径扫描傅立叶重叠关联成像方法，在其中样本可以被以数字方式而不是以机械方式进行重新聚焦。在这些情况下，孔径扫描傅立叶重叠关联成像方法在恢复过程期间以计算方式重新聚焦该失焦样本。使用数字重聚焦，孔径扫描傅立叶重叠关联成像系统还可以将其焦深放大超出其光学元件的物理限制。
在孔径扫描傅立叶重叠关联成像系统的操作期间，样本的z位置可以不是已知的先验。在某些方面，孔径扫描傅立叶重叠关联成像方法可以包括数字自动聚焦步骤，其确定样本的z位置并且使用这个z位置来以数字方式重新聚焦。例如，图8的孔径扫描傅立叶重叠关联成像方法还可以包括在步骤1520期间或之前的计算样本的z位置的步骤。孔径扫描傅立叶重叠关联成像系统可以通过使用处理器执行在图8中的使用样本的计算出的z位置的步骤1520和1540，来执行数字自动聚焦。为了计算样本的z位置，孔径扫描傅立叶重叠关联成像方法确定自动聚焦指数参数。自动聚焦指数可以通过以下方程来定义：
自动聚焦指数：
Figure GDA0002057845820000401
其中：
Figure GDA0002057845820000402
为来自低通滤波的幅度图像，并且
Figure GDA0002057845820000403
为实际的强度测量结果。
在方程2中的总和是对于全部孔径位置。在孔径扫描傅立叶重叠关联成像方法计算出样本的估计的z位置之后，孔径扫描傅立叶重叠关联成像方法可以以数字方式重新聚焦至所估计的z位置。在一些情况下，较高分辨率的图像的恢复的解已经被发现在使用准确的z位置时更迅速地收敛。
B)恢复过程的另一个示例
图9B是描述了图8的步骤1500的可选子步骤的示例的流程图。在这种情况下，步骤1500包括步骤1510、步骤1530、步骤1550、步骤1560、步骤1570、步骤1580和步骤1590。步骤1500可以可选地包括步骤1520和1540。如果样本以量z0离开焦点，则可选的步骤1520和1540可以被执行。在图9B中的子步骤中的一个或多个可以由处理器来执行。
在步骤1510，在傅立叶域中对较高分辨率的图像
Figure GDA0002057845820000404
执行低通滤波，以产生用于与波矢量(kx i,ky i)相关联的特定孔径位置的较低分辨率的图像
Figure GDA0002057845820000405
较高分辨率的图像的傅立叶变换为
Figure GDA0002057845820000406
并且对于特定孔径位置的较低分辨率的图像的傅立叶变换为
Figure GDA0002057845820000411
在傅立叶域中，孔径扫描傅立叶重叠关联成像方法过滤来自较高分辨率的图像
Figure GDA0002057845820000412
的频谱
Figure GDA0002057845820000413
的低通区域。在以物镜的形式的光学元件的情况下，此区域可以是半径为NA*k0的圆形孔径，其中k0等于2π/λ(在真空中的波数)，由物镜的相干传递函数给出。在傅立叶空间中，低通区域的位置对应于孔径位置。该区域可以以在傅立叶域
Figure GDA0002057845820000414
中的位置(-kx i,-ky i)为中心。
在可选的步骤1520，低分辨率的图像
Figure GDA0002057845820000415
被在傅立叶域中传播至光学元件的在z＝0的对焦平面，以确定在聚焦位置处的低分辨率图像：
Figure GDA0002057845820000416
在一个实施例中，步骤1520可以通过对低分辨率图像
Figure GDA0002057845820000417
进行傅立叶变换，由在傅立叶域中的相位因子相乘以及逆傅立叶变换来执行以获得
Figure GDA0002057845820000418
在另一个实施例中，步骤1520可以通过用对于散焦的点扩散函数来卷积低分辨率图像
Figure GDA0002057845820000419
的在数学上等效的操作来执行。在另一个实施例中，步骤1520可以通过在执行逆傅立叶变换来产生
Figure GDA00020578458200004110
之前由在傅立叶域中的相位因子乘以
Figure GDA00020578458200004111
来作为步骤1510的可选的子步骤来执行。可选的步骤1520不需要被包括，如果样本位于光学元件的对焦平面(z＝0)上的话。
在步骤1530，在对焦平面上的低分辨率的图像
Figure GDA00020578458200004112
的所计算的幅度分量
Figure GDA00020578458200004113
被替换为由孔径扫描傅立叶重叠关联成像系统的光检测器所测量的低分辨率强度测量结果
Figure GDA00020578458200004114
的平方根。这就形成了更新的低分辨率的目标：
Figure GDA00020578458200004115
在可选的步骤1540，更新的低分辨率图像
Figure GDA00020578458200004116
可以被反向传播至样本平面(z＝z0)，以确定
Figure GDA00020578458200004117
可选的步骤1540不需要被包括，如果样本位于光学元件的对焦平面上，也就是其中z0＝0的话。在一种情况下，步骤1540可以通过利用更新的低分辨率图像
Figure GDA00020578458200004118
的傅立叶变换以及由相位因子在傅立叶空间中相乘来执行，并且然后对它进行逆傅立叶变换。在另一个实施例中，步骤1540可以通过用对于散焦的点扩散函数来卷积更新的低分辨率图像
Figure GDA00020578458200004119
来执行。在另一种情况下，步骤1540可以通过在执行在更新的目标图像上的傅立叶变换之后由相位因子相乘来作为步骤1550的子步骤执行。
在步骤1550，傅立叶变换被应用到被传播至样本平面的更新的目标图像：
Figure GDA0002057845820000421
并且该数据被更新在对应于对应于入射波矢量(kx i,ky i)的、傅立叶空间中的较高分辨率的解
Figure GDA0002057845820000422
的相应区域中并且与孔径位置关联。
在步骤1560，确定是否步骤1510至1560已对于全部N个孔径位置完成。如果步骤1510至1560尚未对于全部N个孔径位置完成，则步骤1510至1560被对于下一个孔径位置进行重复。
在大多数实施例中，在傅立叶空间中的、对于每个孔径位置进行迭代地更新的相邻区域彼此重叠。在所更新的重叠区域之间的重叠区中，孔径扫描傅立叶重叠关联成像方法系统具有在相同的傅立叶空间上的多个采样。孔径位置确定重叠区的面积。在一个实施例中，相邻区域之间的重叠区可以具有在相邻区域中的一个的面积的2％至99.5％之间的面积。在另一个实施例中，相邻区域之间的重叠区可以具有在相邻区域中的一个的面积的65％至75％之间的面积。在另一个实施例中，相邻区域之间的重叠区可以具有在相邻区域中的一个的面积的约65％的面积。在某些实施例中，每个重叠区域具有相同的面积。
在步骤1570，确定对于较高分辨率的图像的解是否已收敛。例如，如果较高分辨率的复合图像为自洽解，则可以确定收敛。在一种情况下，前一次迭代或初始猜测的前一个较高分辨率的复合图像被与当前较高分辨率的解进行比较，并且如果差异小于一定的值，则该解可以已经收敛至自洽解。如果确定该解还没有收敛，则步骤1510至1570被重复。在一个实施例中，步骤1510至1560被重复一次。在其它实施例中，步骤1510至1560被重复两次或更多次。如果该解已经收敛，则处理器将在傅立叶空间中的收敛的解变换至空间域，以恢复较高分辨率的图像
Figure GDA0002057845820000423
如果处理器确定该解已经在步骤1570收敛，则该方法可以进行到可选的步骤1600，该方法可以结束，或者其它可选的附加步骤可以被执行，诸如附加的散焦或像差校正步骤。
C)贴片成像
在一些实施例中，孔径扫描傅立叶重叠关联成像方法可以包括贴片成像过程，其将所述捕获的强度图像划分成多个强度贴片图像，独立地获取对于贴片中的每个贴片的较高分辨率的图像，并且然后组合较高分辨率的贴片图像以产生全视场的较高分辨率的图像。在一些情况下，较高分辨率的贴片图像可以与图像混合过程进行组合。图像混合过程的一个示例是阿尔法混合，其可以在于1999年4月7日提交的、题为“A system and methodfor performing blending using an over sampled buffer”的PCT公布WO1999053469中找到，该文献通过对于该示例的引用以其整体在此并入。由于贴片的较高分辨率的图像可以被独立地获取，该孔径扫描傅立叶重叠关联成像方法可以允许并行计算，这可以减少计算时间，并且还可以降低存储器要求。而且，来自每个光元件的光可以被精确地视为对于每个贴片的平面波。对于每个贴片的入射波矢量可以被表示为：
Figure GDA0002057845820000431
其中(xc,yc)为全视场强度图像的每个贴片的中心位置，(xi,yi)为第i个光元件的位置，并且h为在照射器和样本之间的距离。此外，该孔径扫描傅立叶重叠关联成像方法可以在某些情况下分配具体的像差校正光瞳函数给每个贴片。
图10是根据某些方面的带有贴片成像的孔径扫描傅立叶重叠关联成像方法的流程图。该孔径扫描傅立叶重叠关联成像方法可以通过孔径扫描傅立叶重叠关联成像系统来执行。为了利用并行处理能力，被用来执行该方法的孔径扫描傅立叶重叠关联成像系统包括具有并行处理能力的处理器，诸如，例如，GPU单元或具有多个核的处理器(即独立的中央处理单元)。在这个示例中，孔径扫描傅立叶重叠关联成像方法包括测量过程(步骤1101，1201和1301)、恢复过程(步骤1351，2401(i-M)，2501(i-M)，2591)和可选的显示过程(步骤1601)。测量过程(步骤1101，1201和1301)和显示过程(步骤1600)是类似于参考图8所描述的那些步骤。
在步骤1351，处理器将该全视场划分成多个贴片，诸如，例如，贴片的二维矩阵。贴片的二维方阵的尺寸可以为二的幂，诸如，例如，256×256矩阵、64×64矩阵等。在一个示例中，处理器可以将5280×4380像素的全视场分割为具有150×150像素的区的贴片。
接着，处理器独立地使用并行计算(步骤2400(1)...步骤2400(M))来在傅立叶空间中对于每个贴片(1至M)初始化较高分辨率的图像：
Figure GDA0002057845820000441
傅立叶变换可以被应用到初始猜测。在一些情况下，初始猜测可以被确定为(对于强度和相位二者的)随机复矩阵。在其它情况下，初始猜测可以被确定为带有随机相位的强度分布测量结果的内插。初始猜测的一个示例是
Figure GDA0002057845820000442
和样本区的任何强度图像的Ihr。初始猜测的另一个示例是恒定值。初始猜测的傅立叶变换可以是在傅立叶域中的广谱。
在步骤2501(1)...步骤2501(M)，处理器独立地使用并行计算来以计算方式构建每个贴片(1至M)的较高分辨率的图像。该处理器通过迭代地组合在傅立叶空间中的强度图像来构建每个贴片的较高分辨率的图像。步骤1521和1541可以被包括，如果样本失焦的话。
在步骤2591，处理器将较高分辨率的贴片图像组合为全视场的较高分辨率的图像。在某些情况下，组合贴片图像包括混合成像过程，诸如，例如，阿尔法混合。
彩色成像能力是在病理和组织学中的关键。在某些实施例中，能够彩色成像的孔径扫描傅立叶重叠关联成像系统10包括光照源，其可以提供红色、绿色和蓝色光照。孔径扫描傅立叶重叠关联成像方法将来自红色、绿色和蓝色LED光照的较高分辨率的图像结果组合到每个相应的颜色通道中，以形成最终的更高分辨率的彩色图像。产生对应于红色、绿色和蓝色的三个图像，它们被组合以形成较高分辨率的彩色图像。
VI.子系统
图11是可以存在于本文中所描述的某些孔径扫描傅立叶重叠关联成像系统中的子系统的框图。例如，孔径扫描傅立叶重叠关联成像系统可以包括处理器。处理器在一些情况下可以是孔径扫描傅立叶重叠关联成像系统的组件。处理器在一些情况下可以是辐射检测器的组件。
先前在图中所描述的各种组件可以使用子系统中的一个或多个来操作，以促进本文中所描述的功能。任何在图中的组件可以使用任何合适数量的子系统，以促进本文中所描述的功能。这样的子系统和/或组件的示例被示于图11中。在图11中所示的子系统被经由系统总线2425互连。诸如打印机2430、键盘2432、固定磁盘2434(或其它存储器，其包括计算机可读介质)、被耦合至显示适配器2438的显示器830和其它设备之类的附加的子系统被示出。耦合至I/O控制器2440的外围设备和输入/输出(I/O)设备可以通过现有技术中已知的任何装置，诸如串行端口2442，来连接。例如，串行端口2442或外部接口2444可以被用来将计算设备200连接到诸如因特网之类的广域网、鼠标输入设备或扫描仪。经由系统总线2425的互连允许处理器与每个子系统进行通信，并且控制来自系统存储器2446或固定磁盘2434的指令的执行，以及在子系统之间的信息交换。系统存储器2446和/或固定磁盘2434在一些情况下可以体现CRM 220。这些元件的任何元件可以存在于先前所描述的特征中。
在一些实施例中，孔径扫描傅立叶重叠关联成像系统的诸如打印机2430或显示器830之类的输出装置可以输出各种形式的数据。例如，孔径扫描傅立叶重叠关联成像系统可以输出2D彩色/单色图像(强度和/或相位)，与这些图像相关联的数据，或者与由孔径扫描傅立叶重叠关联成像系统所执行的分析相关联的其它数据。
可以对上述实施例中的任何实施例做出修改、添加或省略，而不脱离本公开的范围。上述任何实施例中的任何实施例可以包括更多、更少或其它功能，而不脱离本公开的范围。此外，所描述的特征的步骤可以以任何合适的顺序来执行，而不脱离本公开的范围。
但是应当理解的是，如上所述的本发明可以被以使用以模块化或集成的方式的计算机软件的控制逻辑的形式来实现。基于本文所提供的公开和教导，本领域的普通技术人员将知道并且理解使用硬件以及硬件和软件的组合来实现本发明的其它方式和/或方法。
任何在本申请中所描述的软件组件或功能可以被实现为要由处理器使用任何合适的计算机语言，诸如，例如，使用，例如，传统的或面向对象的技术的Java，C++或Perl，来执行的软件代码。软件代码可以被存储为一系列指令，或在CRM上的命令，诸如随机存取存储器(RAM)、只读存储器(ROM)、诸如硬盘驱动器或软盘等磁性介质或者诸如CD-ROM等光学介质。任何这样的CRM可以驻留在单个计算设备之上或之内，并且可以存在于在系统或网络内的不同计算装置之上或之内。
尽管前述所公开的实施例已经被相当详细地进行了描述以便于理解，所描述的实施例应当被认为是说明性的而不是限制性的。对于本领域普通技术人员将明显的是，某些变化和修改可以被在所附权利要求的范围内实践。
来自任何实施例的一个或多个特征可以被与任何其它实施例的一个或多个特征进行组合，而不脱离本公开的范围。此外，可以对任何实施例做出修改、添加或省略，而不脱离本公开的范围。任何实施例的组件可以被根据特定需要进行集成或分离，而不脱离本公开的范围。

Claims (42)

1.一种傅立叶重叠关联成像设备，包括：
第一透镜，其被配置成在操作期间在被成像的样本被光照源照射的同时接收从所述被成像的样本发出的光；
空间光调制器，其被配置成在操作期间在不同的获取时间在多个孔径位置处在中间平面中产生孔径，所述孔径被配置成在操作期间传递从所述第一透镜传播的光，其中所述多个孔径位置的重叠用于在所述傅立叶域中产生重叠区域；
第二透镜，其被配置成在操作期间接收由所述孔径传递的光；以及
辐射检测器，其被配置成在所述不同的获取时间接收由所述第二透镜传递的光并获取多个强度测量结果。
2.根据权利要求1所述的傅立叶重叠关联成像设备，还包括处理器，所述处理器被配置成在操作期间执行用于使用所获取的强度测量结果来构建所述被成像的样本的复合图像的指令。
3.根据权利要求2所述的傅立叶重叠关联成像设备，其中所述复合图像通过在操作期间用来自所述获取的强度测量结果的数据迭代地更新在傅立叶域中的所述重叠区域来构建。
4.根据权利要求1所述的傅立叶重叠关联成像设备，其中所述空间光调制器包括硅上反射液晶显示器或用于提供所述孔径的数字微镜器件。
5.根据权利要求1所述的傅立叶重叠关联成像设备，其中所述中间平面是对于所述被成像的样本的样本平面的傅立叶平面。
6.根据权利要求1所述的傅立叶重叠关联成像设备，其中由所述辐射检测器获取的所述多个强度测量结果中的每个强度测量结果唯一地对应于所述多个孔径位置中的不同的孔径位置。
7.根据权利要求1所述的傅立叶重叠关联成像设备，其中：
所述第一透镜是凸透镜，其具有第一焦距且位于距所述被成像的样本的样本平面的所述第一焦距处，
所述第二透镜是凸透镜，其具有第二焦距且位于距所述中间平面的所述第二焦距处，
所述中间平面位于远离所述第一透镜的所述第一焦距处，以及
所述中间平面位于远离所述第二透镜的所述第二焦距处。
8.根据权利要求7所述的傅立叶重叠关联成像设备，其中所述第一焦距与所述第二焦距近似相等，以形成4f配置。
9.根据权利要求7所述的傅立叶重叠关联成像设备，其中所述辐射检测器位于距所述第二透镜的所述第一焦距处。
10.根据权利要求1所述的傅立叶重叠关联成像设备，
其中，所述空间光调制器还被配置成在操作期间提供附加的孔径，以在所述不同的获取时间中的至少一个形成多个孔径，
其中，所述第二透镜还被配置为在操作期间接收通过在所述不同的获取时间中的至少一个形成的所述多个孔径传递的光，以及
其中所述辐射检测器还被配置为在与通过相对应的多个孔径传递的光相关联的所述不同的获取时间中的至少一个获取一个或多个强度测量。
11.根据权利要求1所述的傅立叶重叠关联成像设备，其中在傅立叶域中的所述重叠区域的相邻区域的重叠量至少为其面积的约70％。
12.根据权利要求1所述的傅立叶重叠关联成像设备，其中在傅立叶域中的所述重叠区域的相邻区域的重叠量为其面积的20％至90％。
13.根据权利要求1所述的傅立叶重叠关联成像设备，其中所述光照源和所述第一透镜在所述被成像的样本的一侧。
14.根据权利要求1所述的傅立叶重叠关联成像设备，其中所述空间光调制器包括位于所述中间平面处的显示器，所述显示器被配置成在操作期间在所述多个孔径位置处显示所述孔径。
15.根据权利要求1所述的傅立叶重叠关联成像设备，其中所述空间光调制器是具有一个或多个反射镜的数字微镜器件，其中所述数字微镜器件被配置成在操作期间旋转所述一个或多个反射镜以将所述一个或多个反射镜定位成使得光通过所述中间平面中的所述孔径传递并在所述中间平面中的其他位置处由所述一个或多个反射镜反射。
16.一种傅立叶重叠关联成像方法，包括：
使孔径在多个获取时间产生于多个孔径位置处，其中所述孔径位于对于被成像的样本的样本平面的傅立叶平面各处，其中所述孔径在操作期间接收从被照射的所述样本发出的通过第一透镜的光，其中所述多个孔径位置的重叠用于在傅立叶域中产生重叠区域；以及
通过用由辐射检测器在所述多个获取时间获得的多个强度测量结果迭代地更新在傅立叶域中的所述重叠区域来构建所述样本的图像，所述多个强度测量结果基于在所述多个获取时间由透镜聚焦的、通过所述孔径传递的光。
17.根据权利要求16所述的傅立叶重叠关联成像方法，还包括产生在所述傅立叶平面处的附加的孔径，以在每个获取时间形成多个孔径。
18.根据权利要求16所述的傅立叶重叠关联成像方法，其中由所述辐射检测器捕获的所述多个强度测量结果唯一地对应于所述多个孔径位置中的不同的孔径位置。
19.根据权利要求16所述的傅立叶重叠关联成像方法，其中在傅立叶域中的所述重叠区域的相邻区域的重叠量至少为其的面积的约70％。
20.根据权利要求16所述的傅立叶重叠关联成像方法，其中构建所述样本的图像包括：
(a)初始化在傅立叶域中的当前图像；
(b)对在傅立叶域中的所述当前图像的重叠区域进行过滤，以产生对于所述多个孔径位置中的相应的孔径位置的强度图像；
(c)用强度测量结果替换所述强度图像的数据；以及
(d)用基于该强度测量结果的所述强度图像更新在傅立叶域中的所述当前图像的所述重叠区域。
21.根据权利要求16所述的傅立叶重叠关联成像方法，其中使所述孔径在所述多个获取时间位于多个孔径位置处包括激活硅上反射液晶显示器的、与各自位置对应的显示元件。
22.根据权利要求16所述的傅立叶重叠关联成像方法，其中使所述孔径在所述多个获取时间位于多个孔径位置处包括将数字微镜器件的一个或多个微镜旋转到与各自位置对应的角度位置。
23.一种傅立叶重叠关联成像设备，包括：
第一光学元件，其被配置成在操作期间接收从被照射的样本传播的光；
孔径扫描仪，其被配置成顺序地在样本平面的傅立叶平面处的多个孔径位置处提供孔径，并被配置成在所述孔径处接收从所述第一光学元件传播的光，其中所述多个孔径位置的重叠用于在傅立叶域中产生重叠区域；
第二光学元件，其被配置成接收由所述孔径扫描仪的孔径从所述第一光学元件传播的光；以及
图像传感器，其被配置成在接收从所述第二光学元件传播的光的同时获得强度图像，每个强度图像在所述孔径位于所述傅立叶平面处的所述多个孔径位置中的一个孔径位置处时被检测。
24.根据权利要求23所述的傅立叶重叠关联成像设备，还包括处理器，所述处理器与所述图像传感器进行通信以接收包括所述强度图像的图像数据，所述处理器被配置成使用所述图像数据构建所述样本的复合图像，所述复合图像具有比所述强度图像高的分辨率。
25.根据权利要求24所述的傅立叶重叠关联成像设备，其中所述处理器还被配置成校正像差，以产生基本上无像差的复合图像。
26.根据权利要求25所述的傅立叶重叠关联成像设备，其中所述处理器被配置成在构建所述复合图像的同时校正像差。
27.根据权利要求23所述的傅立叶重叠关联成像设备，其中所述孔径扫描仪是空间光调制器。
28.根据权利要求23所述的傅立叶重叠关联成像设备，其中所述孔径扫描仪包括不透明材料的板，所述不透明材料的板具有透光区域和用于移动所述不透明材料的板以将所述透光区域移位到所述多个孔径位置的机构。
29.根据权利要求28所述的傅立叶重叠关联成像设备，其中所述透光区域是所述不透明材料的板中的孔洞。
30.根据权利要求23所述的傅立叶重叠关联成像设备，其中所述样本被从多个照射角度连续地照射。
31.根据权利要求23所述的傅立叶重叠关联成像设备，其中所述样本由多个波长连续地照射。
32.根据权利要求23所述的傅立叶重叠关联成像设备，其中在傅立叶域中的所述重叠区域的相邻区域的重叠量至少为其面积的约70％。
33.根据权利要求23所述的傅立叶重叠关联成像设备，其中在傅立叶域中的所述重叠区域的相邻区域的重叠量为其面积的20％至90％。
34.根据权利要求23所述的傅立叶重叠关联成像设备，其中照射所述样本的光照源和所述第一光学元件在被成像的所述样本的一侧。
35.一种傅立叶重叠关联成像方法，包括：
使孔径扫描仪顺序地在样本平面的傅立叶平面处的多个孔径位置处产生孔径，其中所述孔径被配置成接收从被照射的样本传播的光，其中所述多个孔径位置的重叠用于在傅立叶域中产生重叠区域；
使图像传感器在接收由聚焦透镜从所述孔径扫描仪的孔径传播的光的同时获得多个强度测量结果，每个强度测量结果在所述孔径位于所述多个孔径位置的一个孔径位置处时获得；以及
通过用所述多个强度测量结果迭代地更新在傅立叶域中的所述重叠区域来以计算方式构建所述样本的复合图像。
36.根据权利要求35所述的傅立叶重叠关联成像方法，还包括校正像差以构建基本上无像差的复合图像。
37.根据权利要求36所述的傅立叶重叠关联成像方法，还包括在构建所述复合图像的同时校正像差。
38.根据权利要求35所述的傅立叶重叠关联成像方法，还包括在所述图像传感器获得所述多个强度测量结果的同时使光照源照射所述样本。
39.根据权利要求38所述的傅立叶重叠关联成像方法，其中所述样本被从多个照射角度连续地照射。
40.根据权利要求1所述的傅立叶重叠关联成像设备，其中所述多个孔径位置中的相邻孔径具有重叠区域。
41.根据权利要求23所述的傅立叶重叠关联成像设备，其中所述多个孔径位置中的相邻孔径具有重叠区域。
42.根据权利要求35所述的傅立叶重叠关联成像方法，其中所述多个孔径位置中的相邻孔径具有重叠区域。
CN201910181199.5A 2013-07-31 2014-07-31 孔径扫描傅立叶重叠关联成像 Active CN110262026B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201361860786P 2013-07-31 2013-07-31
US61/860,786 2013-07-31
US201361868967P 2013-08-22 2013-08-22
US61/868,967 2013-08-22
PCT/US2014/049297 WO2015017730A1 (en) 2013-07-31 2014-07-31 Aperture scanning fourier ptychographic imaging
CN201480054301.0A CN105659143B (zh) 2013-07-31 2014-07-31 孔径扫描傅立叶重叠关联成像

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201480054301.0A Division CN105659143B (zh) 2013-07-31 2014-07-31 孔径扫描傅立叶重叠关联成像

Publications (2)

Publication Number Publication Date
CN110262026A CN110262026A (zh) 2019-09-20
CN110262026B true CN110262026B (zh) 2022-04-01

Family

ID=52427339

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201480054301.0A Active CN105659143B (zh) 2013-07-31 2014-07-31 孔径扫描傅立叶重叠关联成像
CN201910181199.5A Active CN110262026B (zh) 2013-07-31 2014-07-31 孔径扫描傅立叶重叠关联成像

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201480054301.0A Active CN105659143B (zh) 2013-07-31 2014-07-31 孔径扫描傅立叶重叠关联成像

Country Status (7)

Country Link
US (3) US9426455B2 (zh)
EP (1) EP3028088B1 (zh)
JP (1) JP2016534389A (zh)
CN (2) CN105659143B (zh)
AU (1) AU2014296034A1 (zh)
CA (1) CA2919985A1 (zh)
WO (1) WO2015017730A1 (zh)

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015535348A (ja) 2012-10-30 2015-12-10 カリフォルニア インスティチュート オブ テクノロジー フーリエ・タイコグラフィー撮像システム、装置、及び方法
US9864184B2 (en) 2012-10-30 2018-01-09 California Institute Of Technology Embedded pupil function recovery for fourier ptychographic imaging devices
US10652444B2 (en) 2012-10-30 2020-05-12 California Institute Of Technology Multiplexed Fourier ptychography imaging systems and methods
CA2919985A1 (en) 2013-07-31 2015-02-05 California Institute Of Technology Aperture scanning fourier ptychographic imaging
CN105765690B (zh) 2013-08-22 2019-01-18 加州理工学院 可变照明傅立叶重叠关联成像设备、系统以及方法
US11468557B2 (en) 2014-03-13 2022-10-11 California Institute Of Technology Free orientation fourier camera
US9817224B2 (en) 2014-04-30 2017-11-14 University Of Connecticut Methods and systems for Fourier ptychographic imaging
US10162161B2 (en) 2014-05-13 2018-12-25 California Institute Of Technology Ptychography imaging systems and methods with convex relaxation
DE102014110302B3 (de) * 2014-07-22 2015-09-03 Carl Zeiss Ag Verfahren und Vorrichtung zum Abbilden eines Objekts
CN107111118B (zh) 2014-12-22 2019-12-10 加州理工学院 用于厚样本的epi照明傅立叶重叠关联成像
AU2014280898A1 (en) * 2014-12-23 2016-07-07 Canon Kabushiki Kaisha Reconstruction algorithm for Fourier Ptychographic imaging
AU2014280894A1 (en) 2014-12-23 2016-07-07 Canon Kabushiki Kaisha Illumination systems and devices for Fourier Ptychographic imaging
CA2970063A1 (en) 2015-01-21 2016-07-28 California Institute Of Technology Fourier ptychographic tomography
JP2018504628A (ja) 2015-01-26 2018-02-15 カリフォルニア インスティチュート オブ テクノロジー マルチウェル・フーリエ・タイコグラフィー撮像及び蛍光撮像
CN107407799B (zh) 2015-03-13 2020-09-18 加州理工学院 使用傅里叶叠层成像技术校正不相干成像系统中的像差
US9993149B2 (en) 2015-03-25 2018-06-12 California Institute Of Technology Fourier ptychographic retinal imaging methods and systems
US10228550B2 (en) 2015-05-21 2019-03-12 California Institute Of Technology Laser-based Fourier ptychographic imaging systems and methods
EP3142347B1 (en) * 2015-09-11 2020-10-21 Nintendo Co., Ltd. Method and device for obtaining high resolution images from low resolution image sensors
US10176567B2 (en) 2015-12-21 2019-01-08 Canon Kabushiki Kaisha Physical registration of images acquired by Fourier Ptychography
CN105547944B (zh) * 2016-01-11 2018-04-10 河北工程大学 一种基于层叠衍射的可吸入颗粒物检测方法
US9952422B2 (en) * 2016-01-14 2018-04-24 University Of Vienna Enhancing the resolution of three dimensional video images formed using a light field microscope
CN105717070B (zh) * 2016-02-05 2019-04-02 中国科学院西安光学精密机械研究所 多波长同时照明的非相干叠层衍射成像方法
DE102016103736A1 (de) * 2016-03-02 2017-09-07 Carl Zeiss Microscopy Gmbh Verfahren zur Bestimmung einer Höhenlage eines Objekts
US10012834B2 (en) 2016-03-08 2018-07-03 Microsoft Technology Licensing, Llc Exit pupil-forming display with reconvergent sheet
WO2017172819A1 (en) 2016-03-30 2017-10-05 Optical Wavefront Laboratories, Llc Multiple camera microscope imaging with patterned illumination
US11092795B2 (en) 2016-06-10 2021-08-17 California Institute Of Technology Systems and methods for coded-aperture-based correction of aberration obtained from Fourier ptychography
US10568507B2 (en) 2016-06-10 2020-02-25 California Institute Of Technology Pupil ptychography methods and systems
CN106199941A (zh) * 2016-08-30 2016-12-07 浙江大学 一种移频光场显微镜以及三维超分辨微观显示方法
WO2018059469A1 (en) * 2016-09-28 2018-04-05 Versitech Limited Recovery of pixel resolution in scanning imaging
US10216417B2 (en) * 2016-10-26 2019-02-26 Samsung Electronics Co., Ltd. Method of consolidate data streams for multi-stream enabled SSDs
CN106371201B (zh) * 2016-11-03 2018-11-09 清华大学 基于计算鬼成像的傅里叶重叠关联成像系统及方法
CN106814450B (zh) * 2017-03-16 2019-02-15 北京理工大学 一种基于液体透镜的自适应调焦方法及系统
CN106842880B (zh) * 2017-03-27 2018-09-28 深圳市美誉镜界光电科技有限公司 全息图像生成方法、处理器及全息图像显示装置、设备
US10401294B2 (en) * 2017-03-31 2019-09-03 Robert Alfano OAM microscope for edge enhancement of biomedical and condensed matter samples and objects
FR3069333B1 (fr) * 2017-07-24 2021-05-14 Terahertz Waves Tech Systeme de capture de valeurs ponctuelles pour constituer une image avec des rayonnements terahertz
CN107611755B (zh) * 2017-10-13 2024-02-23 首都师范大学 间距可调的双等离子体产生高强度太赫兹波的系统和方法
US10754140B2 (en) 2017-11-03 2020-08-25 California Institute Of Technology Parallel imaging acquisition and restoration methods and systems
US10175490B1 (en) * 2017-12-20 2019-01-08 Aperture In Motion, LLC Light control devices and methods for regional variation of visual information and sampling
US11366303B2 (en) * 2018-01-30 2022-06-21 Rebus Biosystems, Inc. Method for detecting particles using structured illumination
FR3077641B1 (fr) * 2018-02-07 2020-02-21 TiHive Systeme d'imagerie terahertz a reflexion
US11573304B2 (en) * 2018-04-27 2023-02-07 Liturex (Guangzhou) Co. Ltd LiDAR device with a dynamic spatial filter
US11748863B2 (en) * 2018-11-30 2023-09-05 Nec Corporation Image matching apparatus, image matching method, and program
CN109472842A (zh) * 2018-12-17 2019-03-15 长沙理工大学 一种无透镜成像的相位恢复图像再现方法
DE102018222865A1 (de) 2018-12-21 2020-06-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung mit einer Multiaperturabbildungsvorrichtung zur Erzeugung einer Tiefenkarte
WO2020140004A1 (en) * 2018-12-27 2020-07-02 The Government Of The United States Of America, As Represented By The Secretary Of The Navy Apparatuses and methods for imaging incoherently illuminated objects
CN109683299A (zh) * 2019-01-10 2019-04-26 浙江大学 一种多色多角度照明的高分辨显微成像系统
CN109782432A (zh) * 2019-01-17 2019-05-21 哈尔滨工业大学 基于空间光调制器的汇聚透镜single-shot叠层相位恢复技术
CN110308125B (zh) * 2019-07-11 2020-11-03 清华大学 三维显微层析计算摄像方法及装置
CN110579871B (zh) * 2019-09-05 2021-08-03 杭州电子科技大学 基于傅里叶叠层显微成像的led照明优化方法及装置
EP3796067A1 (de) 2019-09-18 2021-03-24 Siemens Aktiengesellschaft Aufnahmeeinrichtung zum erzeugen eines hochaufgelösten bildes eines sich durch einen aufnahmebereich bewegenden objekts sowie verfahren
US11067449B2 (en) * 2019-09-30 2021-07-20 The Johns Hopkins University Multispectral imager
CN112666697B (zh) * 2019-10-15 2022-06-10 南京理工大学 基于彩色复用照明的单帧差分相衬定量相位成像方法
CN110672610A (zh) * 2019-10-28 2020-01-10 吉林工程技术师范学院 一种基于数字微镜阵列的显微关联成像系统及成像方法
CN110988906A (zh) * 2019-11-22 2020-04-10 湖北三江航天险峰电子信息有限公司 一种太赫兹强度关联探测装置
US11362481B2 (en) 2020-05-01 2022-06-14 Mesa Photonics, LLC Method and apparatus for measuring optical pulses
CN111781733A (zh) * 2020-06-09 2020-10-16 北京理工大学 基于光波调制和相位恢复的多层复数域成像方法和装置
US20220004148A1 (en) * 2020-07-06 2022-01-06 Grimaldi, Inc. Apparatus and method of reproduction of a diffractive pattern
US20220260823A1 (en) * 2021-02-18 2022-08-18 Duke University Re-imaging microscopy with micro-camera array
CN113283789B (zh) * 2021-06-10 2022-10-11 中国人民解放军国防科技大学 空间站运营任务的时间冗余启发式规划方法、装置及设备
CN114252971B (zh) * 2021-12-31 2023-09-05 杭州智微信息科技有限公司 一种用于骨髓涂片的自动对焦方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4873653A (en) * 1986-04-09 1989-10-10 Carl-Zeiss-Stiftung Microscope system for providing three-dimensional resolution
US4917494A (en) * 1987-07-28 1990-04-17 Amherst Process Instruments, Inc. Beam forming apparatus for aerodynamic particle sizing system
CN101372179A (zh) * 2007-08-20 2009-02-25 精工爱普生株式会社 行扫描头以及使用其的图像形成装置

Family Cites Families (152)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5475527A (en) * 1994-09-26 1995-12-12 The Regents Of The University Of California Fourier plane image amplifier
KR19980012222U (ko) 1996-08-24 1998-05-25 양재신 도장용 로봇의 충돌안전구조
KR19980075050A (ko) 1997-03-28 1998-11-05 윤종용 주사 전자 현미경의 가변어퍼쳐
US6144365A (en) 1998-04-15 2000-11-07 S3 Incorporated System and method for performing blending using an over sampling buffer
US6154196A (en) 1998-06-08 2000-11-28 Wacom Co., Ltd. Coordinate input device convertible between right-handed and left-handed modes
US6320648B1 (en) * 1998-10-12 2001-11-20 Steven R. J. Brueck Method and apparatus for improving pattern fidelity in diffraction-limited imaging
DE19949029C2 (de) 1999-10-11 2002-11-21 Innovatis Gmbh Verfahren und Vorrichtung zur Charakterisierung einer Kulturflüssigkeit
US6320174B1 (en) 1999-11-16 2001-11-20 Ikonisys Inc. Composing microscope
US20010055062A1 (en) 2000-04-20 2001-12-27 Keiji Shioda Operation microscope
US6856457B2 (en) * 2001-03-27 2005-02-15 Prairie Technologies, Inc. Single and multi-aperture, translationally-coupled confocal microscope
DE10128476C2 (de) 2001-06-12 2003-06-12 Siemens Dematic Ag Optische Sensorvorrichtung zur visuellen Erfassung von Substraten
GB0115714D0 (en) 2001-06-27 2001-08-22 Imperial College Structure determination of macromolecules
US6747781B2 (en) 2001-06-25 2004-06-08 Silicon Light Machines, Inc. Method, apparatus, and diffuser for reducing laser speckle
US6741730B2 (en) 2001-08-10 2004-05-25 Visiongate, Inc. Method and apparatus for three-dimensional imaging in the fourier domain
US6870165B2 (en) 2001-10-19 2005-03-22 Biocal Technology, Inc. Multi-color multiplexed analysis in a bio-separation system
WO2003062744A1 (en) 2002-01-16 2003-07-31 Faro Technologies, Inc. Laser-based coordinate measuring device and laser-based method for measuring coordinates
US6759949B2 (en) 2002-05-23 2004-07-06 Visteon Global Technologies, Inc. Image enhancement in far infrared camera
AU2003294224A1 (en) 2002-09-23 2004-05-04 Dmetrix, Inc. Multi-mode scanning imaging system
JP4360817B2 (ja) 2002-10-18 2009-11-11 株式会社日立メディコ 放射線断層撮影装置
EP1609112A4 (en) 2003-03-31 2010-03-24 Cdm Optics Inc SYSTEMS AND METHOD FOR MINIMIZING ABERRATION EFFECTS IN PICTURE SYSTEMS
JP4377171B2 (ja) 2003-07-15 2009-12-02 Ｔｄｋ株式会社 空間光変調器
US7738095B2 (en) 2003-07-18 2010-06-15 Chemimage Corporation Method and apparatus for compact spectrometer for detecting hazardous agents
US7823783B2 (en) 2003-10-24 2010-11-02 Cognex Technology And Investment Corporation Light pipe illumination system and method
US8271251B2 (en) 2004-02-09 2012-09-18 Wisconsin Alumni Research Foundation Automated imaging system for single molecules
US7173256B2 (en) 2004-03-26 2007-02-06 Fox John S Fluorescent image calibration step wedge, and use thereof in illumination for fluorescent imaging and automatic exposure
DE102004017232A1 (de) 2004-04-05 2005-10-20 Bosch Gmbh Robert Interferometrische Messvorrichtung
CN1968654B (zh) 2004-06-16 2012-09-26 株式会社日立医药 放射线断层像摄影装置
US7436503B1 (en) * 2004-08-03 2008-10-14 Kla-Tencor Technologies Corp. Dark field inspection apparatus and methods
CA2576528A1 (en) 2004-08-09 2006-02-16 Classifeye Ltd. Non-contact optical means and method for 3d fingerprint recognition
US7545571B2 (en) 2004-09-08 2009-06-09 Concurrent Technologies Corporation Wearable display system
US20060173313A1 (en) 2005-01-27 2006-08-03 Siemens Medical Solutions Usa, Inc. Coherence factor adaptive ultrasound imaging
US7653232B2 (en) 2005-01-28 2010-01-26 University Of Massachusetts Phase based digital imaging
US8654201B2 (en) 2005-02-23 2014-02-18 Hewlett-Packard Development Company, L.P. Method for deblurring an image
WO2006107795A1 (en) 2005-04-05 2006-10-12 The Board Of Trustees Of The Leland Stanford Junior University Optical image processing using minimum phase functions
WO2006128325A1 (en) 2005-06-03 2006-12-07 Capitalbio Corporation Optical systems for microarray scanning
JP2007071803A (ja) 2005-09-09 2007-03-22 Hitachi High-Technologies Corp 欠陥観察方法及びその装置
JP4696890B2 (ja) 2005-12-12 2011-06-08 富士ゼロックス株式会社 ホログラム記録方法及びホログラム記録装置
JP4727517B2 (ja) 2006-01-11 2011-07-20 富士フイルム株式会社 光源装置および光断層画像化装置
WO2007084959A1 (en) 2006-01-20 2007-07-26 The General Hospital Corporation Systems and methods for providing mirror tunnel microscopy
US8271521B2 (en) 2006-03-20 2012-09-18 Blue Nile, Inc. Computerized search technique, such as an internet-based gemstone search technique
JP4822925B2 (ja) 2006-04-28 2011-11-24 日本電子株式会社 透過型電子顕微鏡
US7460248B2 (en) * 2006-05-15 2008-12-02 Carestream Health, Inc. Tissue imaging system
US8980179B2 (en) 2006-05-17 2015-03-17 University Of Maryland, Baltimore County Angular-dependent metal-enhanced fluorescence
CN101467090A (zh) 2006-06-16 2009-06-24 卡尔蔡司Smt股份公司 微平版印刷投影曝光装置的投影物镜
US7838302B2 (en) 2006-08-07 2010-11-23 President And Fellows Of Harvard College Sub-diffraction limit image resolution and other imaging techniques
CN100385275C (zh) 2006-09-29 2008-04-30 李志扬 主动光学位相共轭方法及装置
JP4690379B2 (ja) 2006-12-05 2011-06-01 韓國電子通信研究院 偏光板と高速フーリエ変換を用いたナノ線感知用光学顕微鏡システム
US20080192343A1 (en) * 2007-02-09 2008-08-14 Sony Corporation Three-dimensional image display apparatus
CA2681512A1 (en) 2007-03-20 2008-09-25 Chroma Technology Corporation Light source
US8313031B2 (en) * 2007-03-30 2012-11-20 Symbol Technologies, Inc. Adaptive aperture for an imaging scanner
US8279329B2 (en) 2007-04-10 2012-10-02 University Of Rochester Structured illumination for imaging of stationary and non-stationary, fluorescent and non-fluorescent, objects
US8624968B1 (en) 2007-04-25 2014-01-07 Stc.Unm Lens-less digital microscope
CN101743519B (zh) 2007-05-16 2013-04-24 视瑞尔技术公司 全息显示装置
WO2008152801A1 (ja) 2007-06-13 2008-12-18 Nikon Corporation 検査装置、検査方法およびプログラム
US8848199B2 (en) 2007-07-10 2014-09-30 Massachusetts Institute Of Technology Tomographic phase microscopy
US7929142B2 (en) 2007-09-25 2011-04-19 Microsoft Corporation Photodiode-based bi-directional reflectance distribution function (BRDF) measurement
BRPI0819301A2 (pt) * 2007-11-23 2015-05-12 Koninkl Philips Electronics Nv Gerador de pontos, e , microscópio de varredura de multipontos
US8115992B2 (en) 2007-12-31 2012-02-14 Stc.Unm Structural illumination and evanescent coupling for the extension of imaging interferometric microscopy
US9239455B2 (en) 2007-12-31 2016-01-19 Stc.Unm Structural illumination and evanescent coupling for the extension of imaging interferometric microscopy
CN101408623B (zh) * 2008-01-23 2011-01-19 北京航空航天大学 宽带综合孔径上变频成像系统
JP2010012222A (ja) 2008-06-06 2010-01-21 Olympus Medical Systems Corp 医療装置
US8184279B2 (en) 2008-06-16 2012-05-22 The Regents Of The University Of Colorado, A Body Corporate Fourier domain sensing
US7787588B1 (en) 2008-07-21 2010-08-31 Xradia, Inc. System and method for quantitative reconstruction of Zernike phase-contrast images
CN102159934A (zh) 2008-09-26 2011-08-17 株式会社堀场制作所 颗粒物性测量装置
US8019136B2 (en) 2008-12-03 2011-09-13 Academia Sinica Optical sectioning microscopy
GB0822149D0 (en) 2008-12-04 2009-01-14 Univ Sheffield Provision of image data
KR101689045B1 (ko) 2008-12-22 2016-12-22 쓰리엠 이노베이티브 프로퍼티즈 컴파니 복수의 복굴절성 층을 구비한 내부 패턴화된 다층 광학 필름
WO2010088418A1 (en) 2009-01-29 2010-08-05 The Regents Of The University Of California High resolution structured illumination microscopy
CN101872033B (zh) 2009-04-24 2014-04-30 鸿富锦精密工业（深圳）有限公司 遮光片阵列、遮光片阵列制造方法及镜头模组阵列
US20160156880A1 (en) 2009-06-03 2016-06-02 Flir Systems, Inc. Durable compact multisensor observation devices
US8559014B2 (en) 2009-09-25 2013-10-15 Hwan J. Jeong High-resolution, common-path interferometric imaging systems and methods
US9007433B2 (en) 2009-10-20 2015-04-14 The Regents Of The University Of California Incoherent lensfree cell holography and microscopy on a chip
US20140152801A1 (en) 2009-10-28 2014-06-05 Alentic Microscience Inc. Detecting and Using Light Representative of a Sample
WO2011066275A2 (en) * 2009-11-25 2011-06-03 Massachusetts Institute Of Technology Actively addressable aperture light field camera
DE102009047361B4 (de) 2009-12-01 2013-02-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zur optischen Abbildung
JP5717296B2 (ja) 2010-01-27 2015-05-13 国立大学法人北海道大学 回折顕微法
JP5538936B2 (ja) 2010-02-10 2014-07-02 キヤノン株式会社 解析方法、プログラム、記憶媒体、ｘ線位相イメージング装置
CN103843105A (zh) 2010-02-10 2014-06-04 摩奇有限公司(d/b/aVoxa) 暗视野像差矫正电子显微镜
JP5848759B2 (ja) 2010-06-21 2016-01-27 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 低線量ｃｔイメージングを実行するための方法及びシステム
US9129371B2 (en) 2010-06-25 2015-09-08 Cireca Theranostics, Llc Method for analyzing biological specimens by spectral imaging
GB2481589B (en) 2010-06-28 2014-06-11 Phase Focus Ltd Calibration of a probe in ptychography
CN103096804B (zh) 2010-07-13 2017-03-15 达卡拉通信系统株式会社 X射线断层像摄影装置
US8599367B2 (en) 2010-08-04 2013-12-03 Alliant Techsystems Inc. Apparatus and methods for obtaining multi-dimensional spatial and spectral data with LIDAR detection
WO2012037182A1 (en) 2010-09-14 2012-03-22 Applied Precision, Inc. Oblique-illumination systems and methods
US9185357B2 (en) 2010-09-17 2015-11-10 Lltech Management Optical tissue sectioning using full field optical coherence tomography
CN101957183B (zh) 2010-09-26 2012-03-21 深圳大学 一种结构光投影的高速三维测量系统
US9569664B2 (en) 2010-10-26 2017-02-14 California Institute Of Technology Methods for rapid distinction between debris and growing cells
EP2633267A4 (en) 2010-10-26 2014-07-23 California Inst Of Techn MICROSCOPE SYSTEM WITHOUT PROJECTION LENS AND SCAN
GB201020516D0 (en) * 2010-12-03 2011-01-19 Univ Sheffield Improvements in providing image data
US20120157160A1 (en) 2010-12-21 2012-06-21 The Regents Of The University Of California Compact wide-field fluorescent imaging on a mobile device
US9411144B2 (en) 2011-01-12 2016-08-09 Ge Healthcare Bio-Sciences Corp. Systems for fluorescence illumination using superimposed polarization states
US8731272B2 (en) 2011-01-24 2014-05-20 The Board Of Trustees Of The University Of Illinois Computational adaptive optics for interferometric synthetic aperture microscopy and other interferometric imaging
US8866063B2 (en) 2011-03-31 2014-10-21 The Regents Of The University Of California Lens-free wide-field super-resolution imaging device
US8841591B2 (en) 2011-04-04 2014-09-23 The Board Of Trustees Of The Leland Stanford Junior University Grating-enhanced optical imaging
GB201107053D0 (en) 2011-04-27 2011-06-08 Univ Sheffield Improvements in providing image data
US8761533B2 (en) 2011-05-05 2014-06-24 Mitsubishi Electric Research Laboratories, Inc. Method for performing image processing applications using quadratic programming
EP2736403B1 (en) 2011-07-29 2022-05-18 Ecole Polytechnique Fédérale de Lausanne (EPFL) Apparatus for quantitative phase tomography through linear scanning with coherent and non-coherent detection
US20140160236A1 (en) 2011-07-29 2014-06-12 The Regents Of The University Of California Lensfree holographic microscopy using wetting films
JP2014528060A (ja) 2011-09-06 2014-10-23 コーニンクレッカ フィリップス エヌ ヴェ 複数のセンサ領域を持つ光学バイオセンサ
US20190097524A1 (en) 2011-09-13 2019-03-28 Fsp Technology Inc. Circuit having snubber circuit in power supply device
US20130093871A1 (en) 2011-10-18 2013-04-18 Andreas G. Nowatzyk Omnidirectional super-resolution microscopy
US9599805B2 (en) 2011-10-19 2017-03-21 National Synchrotron Radiation Research Center Optical imaging system using structured illumination
US9324133B2 (en) 2012-01-04 2016-04-26 Sharp Laboratories Of America, Inc. Image content enhancement using a dictionary technique
GB201201140D0 (en) 2012-01-24 2012-03-07 Phase Focus Ltd Method and apparatus for determining object characteristics
US20150044098A1 (en) 2012-01-30 2015-02-12 Scanadu Incorporated Hyperspectral imaging systems, units, and methods
CN102608597B (zh) * 2012-03-19 2014-07-23 西安电子科技大学 基于非完全数据解卷积的实孔径前视成像方法
CN103377746B (zh) 2012-04-14 2015-12-02 中国科学技术大学 实现显微镜系统超分辨成像的方法
EP2690648B1 (en) 2012-07-26 2014-10-15 Fei Company Method of preparing and imaging a lamella in a particle-optical apparatus
US9091862B2 (en) 2012-07-24 2015-07-28 Trustees Of Boston University Partitioned aperture wavefront imaging method and system
US9552658B2 (en) 2012-07-26 2017-01-24 William Marsh Rice University Methods and systems for video compressive sensing for dynamic imaging
US20140085629A1 (en) 2012-09-27 2014-03-27 Bodkin Design & Engineering, Llc Active Hyperspectral Imaging Systems
DE102012020240A1 (de) 2012-10-12 2014-04-17 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren zur SPIM Mikroskopie
US9864184B2 (en) 2012-10-30 2018-01-09 California Institute Of Technology Embedded pupil function recovery for fourier ptychographic imaging devices
US10652444B2 (en) 2012-10-30 2020-05-12 California Institute Of Technology Multiplexed Fourier ptychography imaging systems and methods
JP2015535348A (ja) 2012-10-30 2015-12-10 カリフォルニア インスティチュート オブ テクノロジー フーリエ・タイコグラフィー撮像システム、装置、及び方法
AU2012258412A1 (en) 2012-11-30 2014-06-19 Canon Kabushiki Kaisha Combining differential images by inverse Riesz transformation
US9400169B2 (en) 2012-12-06 2016-07-26 Lehigh University Apparatus and method for space-division multiplexing optical coherence tomography
CA2919985A1 (en) 2013-07-31 2015-02-05 California Institute Of Technology Aperture scanning fourier ptychographic imaging
CN105765690B (zh) 2013-08-22 2019-01-18 加州理工学院 可变照明傅立叶重叠关联成像设备、系统以及方法
US11468557B2 (en) 2014-03-13 2022-10-11 California Institute Of Technology Free orientation fourier camera
US10162161B2 (en) 2014-05-13 2018-12-25 California Institute Of Technology Ptychography imaging systems and methods with convex relaxation
WO2015179452A1 (en) 2014-05-19 2015-11-26 The Regents Of The University Of California Fourier ptychographic microscopy with multiplexed illumination
JP6394367B2 (ja) 2014-05-30 2018-09-26 ソニー株式会社 流体分析装置、流体分析方法、プログラム及び流体分析システム
CN104200449B (zh) 2014-08-25 2016-05-25 清华大学深圳研究生院 一种基于压缩感知的fpm方法
CN104181686B (zh) 2014-08-25 2016-08-17 清华大学深圳研究生院 基于fpm的光场显微方法
US10973734B2 (en) 2014-10-07 2021-04-13 International Biophysics Corporation Flexible vest including a positionable oscillating motor array
AU2015331579A1 (en) 2014-10-17 2017-05-25 Cireca Theranostics, Llc Methods and systems for classifying biological samples, including optimization of analyses and use of correlation
EP3227741B1 (en) 2014-12-04 2020-07-08 California Institute of Technology Multiplexed fourier ptychography imaging systems and methods
CN107111118B (zh) 2014-12-22 2019-12-10 加州理工学院 用于厚样本的epi照明傅立叶重叠关联成像
AU2014280898A1 (en) 2014-12-23 2016-07-07 Canon Kabushiki Kaisha Reconstruction algorithm for Fourier Ptychographic imaging
AU2014280894A1 (en) 2014-12-23 2016-07-07 Canon Kabushiki Kaisha Illumination systems and devices for Fourier Ptychographic imaging
US20160202460A1 (en) 2015-01-13 2016-07-14 University Of Connecticut 3D Microscopy With Illumination Engineering
CA2970063A1 (en) 2015-01-21 2016-07-28 California Institute Of Technology Fourier ptychographic tomography
JP2018504628A (ja) 2015-01-26 2018-02-15 カリフォルニア インスティチュート オブ テクノロジー マルチウェル・フーリエ・タイコグラフィー撮像及び蛍光撮像
WO2016123508A1 (en) 2015-01-29 2016-08-04 The Regents Of The University Of California Patterned-illumination systems adopting a computational illumination
CN107407799B (zh) 2015-03-13 2020-09-18 加州理工学院 使用傅里叶叠层成像技术校正不相干成像系统中的像差
US9993149B2 (en) 2015-03-25 2018-06-12 California Institute Of Technology Fourier ptychographic retinal imaging methods and systems
US10228550B2 (en) 2015-05-21 2019-03-12 California Institute Of Technology Laser-based Fourier ptychographic imaging systems and methods
US11054367B2 (en) 2015-10-12 2021-07-06 The Regents Of The University Of California Spectroscopy imaging and analysis of live cells
US20180373016A1 (en) 2015-11-11 2018-12-27 Scopio Labs Ltd. Microscope having a refractive index matching material
EP3374817B1 (en) 2015-11-11 2020-01-08 Scopio Labs Ltd. Autofocus system for a computational microscope
WO2017081540A1 (en) 2015-11-11 2017-05-18 Scopio Lab Ltd. Scanning microscope with real time response
US10176567B2 (en) 2015-12-21 2019-01-08 Canon Kabushiki Kaisha Physical registration of images acquired by Fourier Ptychography
US10568507B2 (en) 2016-06-10 2020-02-25 California Institute Of Technology Pupil ptychography methods and systems
US11092795B2 (en) 2016-06-10 2021-08-17 California Institute Of Technology Systems and methods for coded-aperture-based correction of aberration obtained from Fourier ptychography
US20180078447A1 (en) 2016-07-01 2018-03-22 Victor Viner Heated Rolling Massager
US10228283B2 (en) 2016-08-12 2019-03-12 Spectral Insights Private Limited Spectral imaging system
US10558029B2 (en) 2016-10-27 2020-02-11 Scopio Labs Ltd. System for image reconstruction using a known pattern
CN106896489B (zh) 2017-02-13 2019-11-22 清华大学 基于波长复用的频域拼贴显微系统及其方法
DE102017120823A1 (de) 2017-09-08 2019-03-14 Vemag Maschinenbau Gmbh Verfahren und Vorrichtung zum gruppierten Anordnen und Ausrichten und Verpacken von individuellen Lebensmittel-Produkten, insbesondere Patty-Stapel
DE102017217132B3 (de) 2017-09-26 2019-01-31 Bender Gmbh & Co. Kg Schaltnetzteil mit elektrischer Schaltungsanordnung zur Eingangsschutzbeschaltung
US10754140B2 (en) 2017-11-03 2020-08-25 California Institute Of Technology Parallel imaging acquisition and restoration methods and systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4873653A (en) * 1986-04-09 1989-10-10 Carl-Zeiss-Stiftung Microscope system for providing three-dimensional resolution
US4917494A (en) * 1987-07-28 1990-04-17 Amherst Process Instruments, Inc. Beam forming apparatus for aerodynamic particle sizing system
CN101372179A (zh) * 2007-08-20 2009-02-25 精工爱普生株式会社 行扫描头以及使用其的图像形成装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
"High resolution digital holographic microscopy with a wide field of view based on a synthetic aperture technique and use of linear CCD scanning";Jianglei Di，等;《APPLIED OPTICS》;20081020;全文 *
"High-resolution, wide-field object reconstruction with synthetic aperture Fourier holographic optical microscopy";Timothy R. Hillman，等;《OPTICS EXPRESS》;20090511;全文 *
"Investigation on the third-order optical nonlinearity of CdS using 4f coherent imaging technique with phase object";LI Zhong-guo，等;《PROCEEDINGS OF SPIE》;20111231;全文 *
"Nonlinear characterization of materials using the D4σ method inside a Z-scan 4f-system";Georges Boudebs, 等;《OPTICS LETTERS》;20130701;全文 *
"基于图像分析的光学传递函数测试技术研究";马卫红;《中国博士学位论文全文数据库（电子期刊）》;20060415;全文 *

Also Published As

Publication number Publication date
US9426455B2 (en) 2016-08-23
EP3028088B1 (en) 2022-01-19
WO2015017730A1 (en) 2015-02-05
EP3028088A1 (en) 2016-06-08
US20150036038A1 (en) 2015-02-05
JP2016534389A (ja) 2016-11-04
US20160320595A1 (en) 2016-11-03
US9983397B2 (en) 2018-05-29
CN105659143A (zh) 2016-06-08
AU2014296034A1 (en) 2016-02-18
US10606055B2 (en) 2020-03-31
CN110262026A (zh) 2019-09-20
CA2919985A1 (en) 2015-02-05
US20180307017A1 (en) 2018-10-25
EP3028088A4 (en) 2017-03-15
CN105659143B (zh) 2019-03-22

Similar Documents

Publication Publication Date Title
CN110262026B (zh) 孔径扫描傅立叶重叠关联成像
US10401609B2 (en) Embedded pupil function recovery for fourier ptychographic imaging devices
US10419665B2 (en) Variable-illumination fourier ptychographic imaging devices, systems, and methods
US20220254538A1 (en) Fourier ptychographic imaging systems, devices, and methods
US11468557B2 (en) Free orientation fourier camera
CN110873957A (zh) 用于厚样本的epi照明傅立叶重叠关联成像

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant