CN108761752A - 傅立叶重叠关联成像系统、设备和方法 - Google Patents

傅立叶重叠关联成像系统、设备和方法 Download PDF

Info

Publication number
CN108761752A
CN108761752A CN201810576437.8A CN201810576437A CN108761752A CN 108761752 A CN108761752 A CN 108761752A CN 201810576437 A CN201810576437 A CN 201810576437A CN 108761752 A CN108761752 A CN 108761752A
Authority
CN
China
Prior art keywords
fpi
sample
image
resolution
fourier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810576437.8A
Other languages
English (en)
Inventor
郑国安
杨昌辉
罗克·霍斯特迈耶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
California Institute of Technology CalTech
Original Assignee
California Institute of Technology CalTech
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by California Institute of Technology CalTech filed Critical California Institute of Technology CalTech
Publication of CN108761752A publication Critical patent/CN108761752A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G21—NUCLEAR PHYSICS; NUCLEAR ENGINEERING
    • G21K—TECHNIQUES FOR HANDLING PARTICLES OR IONISING RADIATION NOT OTHERWISE PROVIDED FOR; IRRADIATION DEVICES; GAMMA RAY OR X-RAY MICROSCOPES
    • G21K7/00—Gamma- or X-ray microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes

Abstract

本申请涉及傅立叶重叠关联成像系统、设备和方法。傅立叶重叠关联成像设备包括用于从多个入射角度向样本提供照射的可变照射器；用于过滤从样本发出的照射的光学元件；用于基于由所述光学元件过滤的光获得所述样本的多个经变化照射的、低分辨率强度图像的检测器；以及通过用所述经变化照射的、低分辨率强度图像迭代更新傅立叶空间中的重叠区域来以计算方式重构样本的高分辨率图像的处理器。

Description

傅立叶重叠关联成像系统、设备和方法
本申请是申请日为2013年10月28日，申请号为201380068831.6，发明名称为“傅立叶重叠关联成像系统、设备和方法”的申请的分案申请。
相关申请的交叉引用
这是一个非临时申请，其要求2012年10月30日提交的名称为“Breaking theSpatial Product Barrier via Non-Interferometric Aperture-SythesizingMicroscopy(NAM)”的申请号为61/720,258的美国临时专利申请和2013年7月17日提交的名称为“Fourier Ptychographic Microscopy”的申请号为61/847,472的美国临时专利申请的优先权。出于全部目的，这些临时申请据此通过引用以其整体并入本文。
技术领域
本公开内容的实施方式总体上涉及宽视场、高分辨率数字成像技术。更具体地，某些实施方式涉及用于宽视场、高分辨率成像的傅立叶重叠关联成像(Fourierptychographic imaging，FPI)设备、系统和方法。
背景
常规成像平台(例如显微镜)的吞吐量通常受到其光学系统限定的空间带宽积的限制。空间带宽积指的是光学系统可从光学信号中提取的自由度的数量(例如，可分辨的像素数量)，如Lohmann A.W.、Dorsch R.G.、Mendlovic D.、Zalevsky Z.和Ferreira C.在J.Opt.Soc.Am.A 13的第470-473页(1996)的“Space–bandwidth product of opticalsignals and systems”中讨论的，其据此通过引用以其整体并入本文。不管常规显微镜的物镜放大因数或的数值孔径(NA)，常规显微镜通常都以千万像素量级的空间带宽积进行操作。例如，具有20倍0.40NA的物镜的常规显微镜具有0.8mm的分辨率和1.1mm的视场直径，其对应于约7百万像素的空间带宽积。先前尝试增加常规显微镜的空间带宽积已经被其物镜的比例相关的几何像差挫败，其导致图像分辨率和视场之间的折衷。增加常规成像平台的空间带宽积可由以下因素限制：1)其光学系统的比例相关的几何像差，2)中继光学器件的固定的机械长度和固定物镜等焦面长度的限制，和/或3)千兆像素数字记录设备的可用性。
使用干涉合成孔径技术增加空间带宽积的一些尝试在以下进行描述，Di,J.等人的“High resolution digital holographic microscopy with a wide field of viewbased on a synthetic aperture technique and use of linear CCD scanning,”Appl.Opt.47,第5654-5659页(2008)；Hillman,T.R.、Gutzler,T.、Alexandrov,S.A.和Sampson,D.D.的“High-resolution,wide-field object reconstruction withsynthetic aperture Fourier holographic optical microscopy,”Opt.Express 17,第7873-7892页(2009)；Granero,L.、MicóV.、Zalevsky,Z.和García,J.的“Syntheticaperture superresolved microscopy in digital lensless Fourier holography bytime and angular multiplexing of the object information,”Appl.Opt.49,第845-857页(2010)；Kim,M等人的“High-speed synthetic aperture microscopy for livecell imaging,”Opt.Lett.36,第148-150页(2011)；Turpin,T.、Gesell,L.、Lapides,J.和Price,C.的“Theory of the synthetic aperture microscope,”第230-240页；Schwarz,C.J.、Kuznetsova,Y.和Brueck,S.的“Imaging interferometric microscopy,”Opticsletters 28,第1424-1426页(2003)；Feng,P.、Wen,X.和Lu,R.的“Long-working-distancesynthetic aperture Fresnel off-axis digital holography,”Optics Express 17,第5473-5480页(2009)；Mico,V.、Zalevsky,Z.、García-Martínez,P.和García,J.的“Synthetic aperture superresolution with multiple off-axis holograms,”JOSA A23,第3162-3170页(2006)；Yuan,C.、Zhai,H.和Liu,H.的“Angular multiplexing inpulsed digital holography for aperture synthesis,”Optics Letters 33,第2356-2358页(2008)；Mico,V.、Zalevsky,Z.和García,J.的“Synthetic aperture microscopyusing off-axis illumination and polarization coding,”Optics Communications,第276、209-217页(2007)；Alexandrov,S.和Sampson,D.的“Spatial informationtransmission beyond a system's diffraction limit using optical spectralencoding of the spatial frequency,”Journal of Optics A:Pure and AppliedOptics 10,025304(2008)；Tippie,A.E.、Kumar,A.和Fienup,J.R.的“High-resolutionsynthetic-aperture digital holography with digital phase and pupilcorrection,”Opt.Express 19,第12027-12038页(2011)；Gutzler,T.、Hillman,T.R.、Alexandrov,S.A.和Sampson,D.D.的“Coherent aperture-synthesis,wide-field,high-resolution holographic microscopy of biological tissue,”Opt.Lett.35,第1136-1138页(2010)；以及Alexandrov,S.A.，Hillman,T.R.、Gutzler,T.和Sampson,D.D.的“Synthetic aperture Fourier holographic optical microscopy,”Phil.Trans.R.Soc.Lond.A 339,第521-553页(1992)，它们据此通过引用以其整体并入本文。这些尝试中的大多数尝试使用设置，其使用干涉全息(诸如离轴(off-line)全息和相移全息)方法记录强度和相位信息两者。所记录的数据然后以确定的方式在傅立叶域中合成。
这些以前使用干涉合成孔径技术以增加空间带宽积的尝试有局限性。例如，通常在这些技术中使用的干涉全息记录需要高相干光源。同样地，重构的图像趋向于遭受各种相干噪声源，诸如斑点噪声、固定图案噪声(由尘埃颗粒的衍射和在光束路径中的其它光学缺陷诱导的)，和不同的光学界面之间的多重干涉。因此，图像质量比不上常规显微镜的图像质量。另一方面，离轴全息方法的使用牺牲了图像传感器的有用的空间带宽积(即，总的像素数)，如可在Schnars,U.和Jüptner,W.P.O的在Measurement Science andTechnology,13,R85(2002)的“Digital recording and numerical reconstruction ofholograms,”中找到，其据此通过引用以其整体并入本文。另一个限制是干涉成像可遭受不同测量之间不可控的相位波动。因此，可能需要样本位置的先验和准确的知识，用于在图像恢复处理中设置参考点(也称为相位参照)。另一个限制是，先前报道的尝试需要机械扫描，无论是用于转动样本或用于改变照射角度。因此，这些系统都需要精确的光学对准、在亚微米级的机械控制、和相关联的维护。关于空间带宽积，这些系统与常规显微镜相比，没有在样本的扫描和图像拼接(stitch)上呈现优势。另一个限制是，前面的干涉合成孔径技术难以在没有实质性的修改的情况下并入大多数现有显微镜的平台。此外，在这些平台上彩色成像能力还没有被证实。彩色成像能力已被证明在病理学和组织学应用中是关键的。
在显微术中，对于生物医学应用(诸如数字病理学、血液学、植物解剖学、免疫组织化学和神经解剖学)非常期望大的空间带宽积。生物医学和神经科学中对用于分析的大量组织学幻灯片的数字成像的强烈需求，促使精密的机械扫描显微镜系统和无透镜显微术设立的发展。通常，这些系统使用具有高精确度和准确的组件的复杂机械装置来增加它们的空间带宽积以控制致动、光学对准和运动跟踪。这些复杂的组件可能是制造昂贵并难于使用的。
先前的无透镜显微术方法(诸如数字同轴(in-line)全息和接触成像显微术)也存在一定的弊端。例如，常规的数字同轴全息无法对连续的样本很好地工作并且接触成像显微术需要样本靠近传感器。数字同轴全息设备的实例可在以下内容中找到，Denis,L.、Lorenz,D.、Thiebaut,E.Fournier,C.和Trede,D.的“Inline hologram reconstructionwith sparsity constraints,”Opt.Lett.34,第3475–3477页(2009)；Xu,W.、Jericho,M.、Meinertzhagen,I.和Kreuzer,H.的“Digital in-line holography for biologicalapplications,”Proc.Natl Acad.Sci.USA 98,第11301–11305页(2001)；以及Greenbaum,A.等人的“Increased space–bandwidth product in pixel super-resolved lensfreeon-chip microscopy,”Sci.Rep.3,第1717页(2013)，它们据此通过引用以其整体并入本文。接触成像显微术的实例可在以下内容中找到，Zheng,G.、Lee,S.A.、Antebi,Y.、ElowitzM.B.和Yang,C.的“The ePetri dish,an on-chip cell imaging platform based onsubpixel perspective sweeping microscopy(SPSM),”Proc.Natl Acad.Sci.USA 108,第16889–16894页(2011)；以及Zheng,G.,Lee,S.A.、Yang,S.&Yang,C.的“Sub-pixelresolving optofluidic microscope for on-chip cell imaging,”Lab Chip 10，第3125–3129页(2010)，它们据此通过应用以其整体并入本文。
概述
本公开内容的实施方式提供了用于如在应用(诸如，例如数字病理学、血液学、半导体晶片的检查、以及X射线和电子成像)中使用的宽视场、高分辨率成像的傅立叶重叠关联成像(FPI)方法、设备和系统。FPI设备的实例是傅立叶重叠关联显微镜(FPM)，其也可称为使用非干涉孔径合成的显微术(NAM)。
在一些实施方式中，FPI系统包括可变照射器、光学元件、辐射检测器以及处理器。可变照射器在不同的采样时间从多个N个不同的入射角度照射样本。光学元件过滤从样本发出的光。辐射检测器捕获多个经变化照射的(透视的)低分辨率的强度图像。处理器迭代地将在傅立叶空间中重叠区域的经变化照射的、低分辨率的图像拼接在一起以恢复宽视场、高分辨率的图像。在某些实施方式中，FPI设备还可校正像差并数字重聚焦复杂的高分辨率图像，其可数字地延长FPI系统的聚焦深度(超出其光学元件的物理限制)。
一个实施方式提供了傅立叶重叠关联成像设备，其包括用于从多个入射角度提供对样本的照射的可变照射器、用于过滤来自样本的照射的光学元件和用于基于由光学元件过滤的光获取样本的多个经变化照射的、低分辨率的强度图像的检测器。傅立叶重叠关联成像设备还包括用于通过用经变化照射的、低分辨率的强度图像迭代地更新傅立叶空间中的重叠区域来以计算方式重构样本的高分辨率图像的处理器。在一种情况下，可变照射器是光元件(例如，发光二极管)的二维矩阵，每个光元件从多个入射角度中的一个提供照射。
其中所述光学元件是低数值孔径物镜。其中所述低数值孔径物镜具有在约0.02和0.13之间的数值孔径。
其中所述数值孔径物镜具有约0.08的数值孔径。其中，在所述多个入射角度中的所述两个最邻近的入射角度之间的差在对应于所述低孔径物镜的数值孔径的接受角的10％和90％之间。其中，在所述多个入射角度中的所述两个最邻近的入射角度之间的差在对应于所述低孔径物镜的数值孔径的接受角的33％和66％之间。其中，在所述多个入射角度中的所述两个最邻近的入射角度之间的差低于对应于所述低孔径物镜的数值孔径的接受角的76％。
其中所述可变照射器包括二维矩阵的光元件，每个光元件从所述多个入射角度之一提供照射。其中，每个光元件是一组一个或多个发光二极管。其中，每个光元件包括三个准单色光源，并且其中，所述处理器以计算方式重构对应于所述三个准单色光源的高分辨率图像，并组合所述高分辨率图像以产生彩色高分辨率图像。
其中所述可变照射器包括六边形阵列的光元件，每个光元件从所述多个入射角度之一提供照射。其中，每个光元件是一组一个或多个发光二极管。
其中所述重叠区域在面积上重叠20％和90％之间。
其中所述重叠区域在面积上重叠2％和99.5％之间。
其中所述重叠区域在面积上重叠约66％。
其中所述处理器还自动重聚焦到所述样本的焦点对准平面。
其中所述处理器是所述检测器的一部分。
所述傅立叶重叠关联成像设备还包括用于显示所述高分辨率图像的显示器。
另一个实施方式提供傅立叶重叠关联成像方法。该方法示出使用可变照射器从多个入射角度进行成像的样本，以及使用光学元件过滤从样本发出(例如，散射的)的光。该方法还使用检测器捕获样本的多个经变化照射的、低分辨率的强度图像。此外，该方法通过迭代地更新在傅立叶空间中经变化照射的、低分辨率的强度图像的重叠区域来以计算方式重构样本的高分辨率图像。在一种情况下，该方法初始化傅立叶空间中的当前高分辨率图像，过滤在傅立叶空间中过滤的当前高分辨率图像的重叠区域，以产生多个入射角度的中的一个入射角度的低分辨率图像，用强度测量结果替换低分辨率图像的强度，并用具有测量的强度的低分辨率图像更新傅立叶空间中的重叠区域。在这种情况下，过滤步骤、替换步骤和更新步骤可针对多个入射角度执行。在这种情况下，迭代所述过滤步骤、替换步骤和更新步骤直到所述当前高分辨率图像收敛。在另一种情况下，该方法将每个经变化照射的、低分辨率的强度图像分割成多个经变化照射的、低分辨率的强度分块(tile)图像，通过迭代更新在傅立叶空间中的经变化照射的、低分辨率的强度分块图像的重叠区域恢复关于每一分块的高分辨率图像，并结合分块的高分辨率图像以产生样本的高分辨率图像。
其中，每个重叠区域对应于所述光学元件的近似光学传递函数。
所述傅立叶重叠关联成像方法还包括重聚焦所述高分辨率图像。
所述傅立叶重叠关联成像方法还包括自动重聚焦所述高分辨率图像。
所述傅立叶重叠关联成像方法还包括引入相位因子。
另一个实施方式提供了傅立叶重叠关联成像方法，其接收样本的多个经变化照射的、低分辨率的强度图像，并通过迭代更新傅立叶空间中的经变化照射的、低分辨率的强度图像的重叠区域来以计算方式重构样本的高分辨率图像。在一种情况下，该方法将每个经变化照射的、低分辨率的强度图像分割成多个经变化照射的、低分辨率的强度分块图像，通过迭代更新在傅立叶空间中的经变化照射的、低分辨率的强度分块图像的重叠区域恢复每个分块的高分辨率图像，并结合分块的高分辨率图像。在另一种情况下，该方法初始化傅立叶空间中的当前高分辨率图像，过滤在傅立叶空间中的当前高分辨率图像的重叠区域，以产生多个入射角度中的一个入射角度的低分辨率图像，用强度测量结果替换低分辨率图像的强度，并用具有测量的强度的低分辨率图像更新傅立叶空间中的重叠区域。在这种情况下，过滤步骤、替换步骤和更新步骤可针对多个入射角度执行。在这种情况下，迭代所述过滤步骤、替换步骤和更新步骤直到所述当前高分辨率图像收敛。
其中，每个重叠区域对应于所述光学元件的近似光学传递函数。
某些实施方式提供用于X射线成像的FPI系统和设备，以及使用用于X射线成像的FPI系统和设备的方法。一个实施方式提供了傅立叶重叠关联X射线成像设备，其包括用于捕获样本的多个经变化照射的、低分辨率的强度X射线图像的组件。傅立叶重叠关联X射线成像设备还包括处理器，其用于通过用经变化照射的、低分辨率的强度X射线图像迭代地更新傅立叶空间中的重叠区域来以计算方式和重构样本的高分辨率X射线图像。在一种情况下，该组件包括X射线光学元件和X射线辐射检测器，它们可与样本严格地一起移动。X射线光学元件在样本和X射线辐射检测器之间。基于由X射线光学元件投射的X射线辐射，X射线辐射检测器捕获样本的多个低分辨率的强度图像。在这种情况下，傅立叶重叠关联X射线成像设备还可包括用于移动该组件以从多个入射角度将来自固定的X射线辐射源的X射线辐射引导到样本的机械装置。
所述傅立叶重叠关联X射线成像系统还包括用于安装所述组件的台子；以及其中所述机械装置移动所述台子以旋转所述组件，从而从所述多个入射角度引导X射线辐射。
其中所述X射线光学元件是波带板。
其中所述X射线光学元件是掠入射反射镜。
其中所述重叠区域在面积上重叠40％和60％之间。
其中所述重叠区域在面积上重叠约66％。
其中所述处理器还自动重聚焦所述样本。
所述傅立叶重叠关联X射线成像系统还包括用于显示所述高分辨率X射线图像的显示器。
另一个实施方式提供傅立叶重叠关联X射线成像方法。这种方法基于多个入射角度获得样本的多个经变化照射的、低分辨率的强度X射线图像，并通过迭代地更新在傅立叶空间中的经变化照射的、低分辨率的强度X射线图像的重叠区域，以计算方式重构样本的高分辨率X射线图像。在一种情况下，该方法还包括移动包括X射线光学元件和X射线辐射检测器的组件，以从多个入射角度提供X射线辐射到样本。在这种情况下，该方法还包括使用X射线光学元件过滤从样本发出的X射线辐射，并基于由X射线光学元件投射的X射线辐射，用X射线辐射检测器捕获多个经变化照射的、低分辨率的强度X射线图像。
其中，基于所述多个入射角度获取所述样本的所述多个经变化照射的、低分辨率的强度X射线图像包括：基于由所述X射线光学元件投射的X射线辐射，用所述X射线辐射检测器捕获所述多个经变化照射的、低分辨率的强度X射线图像。
其中，通过迭代地更新在傅立叶空间中的经变化照射的、低分辨率的强度X射线图像的重叠区域来以计算方式重构所述样本的所述高分辨率X射线图像包括：
将每个经变化照射的、低分辨率的强度X射线图像分割成多个经变化照射的、低分辨率的强度分块X射线图像；
通过迭代地更新在傅立叶空间中的经变化照射的、低分辨率的强度分块X射线图像的重叠区域，恢复每个分块的高分辨率X射线图像；以及
组合所述分块中的两个或多于两个分块的所述高分辨率X射线图像。
其中，通过迭代地更新在傅立叶空间中的经变化照射的、低分辨率的强度X射线图像的重叠区域来以计算方式重构所述样本的所述高分辨率X射线图像包括：(a)初始化傅立叶空间中的当前高分辨率X射线图像；(b)过滤在傅立叶空间中的所述当前高分辨率X射线图像的重叠区域，以针对所述多个入射角度中的入射角度产生低分辨率X射线图像；(c)用强度测量结果替换所述低分辨率X射线图像的强度；以及(d)用具有测量的强度的所述低分辨率X射线图像更新傅立叶空间中的所述重叠区域。
其中针对所述多个入射角度执行所述步骤(b)、(c)和(d)。
其中迭代所述步骤(b)、(c)和(d)直到所述当前高分辨率X射线图像收敛。
另一个实施方式提供一种傅立叶重叠关联X射线成像系统，包括：光元件，其被配置以旋转，从而从多个入射角度向样本提供X射线辐射；X射线光学元件；X射线辐射检测器，其用于基于来自所述X射线光学元件的X射线辐射，捕获所述样本的多个经变化照射的、低分辨率的强度X射线图像；以及处理器，其用于通过用所述经变化照射的、低分辨率的强度X射线图像迭代地更新傅立叶空间中的重叠区域来以计算方式重构所述样本的高分辨率X射线图像。
附图说明
图1A是根据本发明的实施方式的FPI系统的组件的示意图。
图1B是图1A的FPI设备的一些组件的侧视图示意图。
图2A是根据本发明的实施方式的FPI设备的示意图，FPI设备包括以100个光元件的二维(10×10)矩阵形式的可变照射器。
图2B是根据本发明的实施方式的具有以模块化形式的组件的FPI系统的照片。
图2C是图2B的FPI设备的可变照射器的光元件中的一个的照片。
图3是根据本发明的实施方式的FPI设备的组件的侧视图示意图。
图4A是根据本发明的实施方式的FPI设备的组件的侧视图示意图。
图4B是根据本发明的实施方式的FPI设备的组件的侧视图示意图。
图5A根据本发明的实施方式包括FPI方法的测量过程(中)和恢复过程(右手侧)的示意性表示。
图5B(1)、5B(2)、5B(3)、5B(4)、5B(5)、5B(6)、5B(7)、5B(8)和5B(9)是由图5A中引入的FPI方法获得的九个低分辨率测量结果。
图5B(12)是在与图5B(1)、5B(2)、5B(3)、5B(4)、5B(5)、5B(6)、5B(7)、5B(8)和5B(9)的低分辨率测量结果相关联的傅立叶空间中更新的区域。
图5B(10)和5B(11)是来源于图5B(12)的更新的恢复的高分辨率强度和相位图像。
图6A是根据本发明的实施方式的由FPI系统执行的FPI方法的流程图。
图6B是根据本发明的实施方式的图6A的步骤1500的子步骤的流程图。
图6C和6D是根据本发明的实施方式的具有以LED矩阵形式的光元件的FPI设备的组件的示意图。
图6E是参照图6A和6B所描述的FPI方法的步骤的图示。
图6F是参照图6A和6B所描述的FPI方法的步骤的另一个图示。
图7A(1)、7A(2)、7A(3)、7A(4)和7A(5)是来源于执行图6A和6B的FPI方法的图像。
图7B(1)、7B(2)、7B(3)、7B(4)、7B(5)和7B(6)是来源于执行图6A和6B的具有不同的N个入射角(N＝5、64和137)的FPI方法的图像。
图8A是根据本发明的实施方式的具有分块成像的FPI方法的流程图。
图8B是根据本发明的实施方式的来源于执行FPI方法的图像，其中FPI方法利用了使用图像混合的分块成像。
图9A是根据本发明的实施方式的使用数字波前校正的FPI方法。
图9B是根据本发明的实施方式的实现使用数字波前校正的FPI方法的FPI设备的示意图。
图10A是根据本发明的实施方式的来自FPI系统10的数值模拟的图像，其中FPI系统10出于比较使用利用和不利用数字重聚焦的FPI方法。
图10B(1)-(16)根据本发明的实施方式示出来自使用图2B中所示的FPI设备100(a)执行带数字重聚焦的FPI方法的实验结果。
图10B(1)是根据实施方式执行利用数字重聚焦的FPI方法的FPI设备的实验设置的示意图。
图10B(2)-(16)是根据图10B(1)中的实验设置来自执行利用数字重聚焦的FPI方法的实验结果的图像。
图10C(1)-(7)包括来自相对于图10B(1)-10B(16)中描述的实验的更详细的结果。
图10D(1)-(3)是根据本发明的实施方式的来自出于比较执行利用和不利用数字重聚焦的FPI方法的实验结果的图像。
图10E(1)、10E(2)、10E(3)、10E(4)、10E(5)、10E(6)、10E(7)和10E(8)根据本发明的实施方式，提供了来自使用FPI系统执行利用数字重聚焦的用于校正在血液涂片和病理切片中的色差FPI方法的示例性结果。
图10F(1)、10F(2)、10F(3)、10F(4)、10F(5)、10F(6)和10F(7)根据本发明的实施方式包括来自使用FPI系统执行利用数字自动对焦的FPI方法的实验结果。
图11A(1)是用于对比的照片，其针对常规显微镜的2X物镜和20X物镜两者示出病理切片的视场。
图11A(2)和11A(3)示出关于在常规显微镜中的2X物镜的数值孔径的图像。
图11A(4)和11A(5)是示出关于在常规显微镜中的20X物镜的数值孔径的图像。
图11A(6)和图11A(7)是根据本发明的实施方式示出FPI系统的视场和相对应的最大NA的彩色图像。
图11B(1)-(21)是根据本发明的实施方式来源于使用彩色成像FPI系统的图像。
图11C(1)、11C(2)、11C(3)、11C(4)、11C(5)和11C(6)是根据本发明的实施方式示出在彩色成像FPI系统和不同的物镜之间的图像质量的对比的图像。
图11D(1)-(10)是根据本发明的实施方式的、使用FPI方法，用彩色成像FPI系统10的病理切片和血液涂片两者的相位和彩色图像。
具体实施方式
本发明的实施方式将在以下参照附图进行描述。虽然本文可相对于用可见光辐射的照射描述FPI系统、设备和方法的实施方式，但是这些FPI系统、设备和方法也可使用其它形式的辐射，诸如，例如，声波、Terahertz波、微波和X射线。
一些实施方式包括FPI系统，其包括可变照射器、光学元件、辐射检测器、以及处理器。可变照射器依次用平面波在多个N个不同的入射角度照亮正被成像的样本。光学元件过滤从样本发出的光。例如，该光学元件可以是物镜，其根据它的数值孔径接受从样本发出的光。在一些情况下，该光学元件可以是低数值孔径的物镜，其提供相应窄的接收角度和增加的景深。辐射检测器检测由光学元件过滤的光，并捕获对应于N个不同入射角度的多个N个低分辨率强度图像。处理器迭代地将在傅立叶空间中重叠的低分辨率强度图像拼接在一起以恢复样本的宽视场、高分辨率的图像。在某些实施方式中，FPI设备还可数字重聚焦复杂高分辨率图像以适应在其光学元件中的散焦和像差，其可数字地延长FPI系统的聚焦深度(超出其光学元件的物理限制)。
在某些方面，由FPI系统执行的FPI方法包括测量过程、恢复过程和可选的显示过程。在测量过程期间，样本被相继从多个N个入射角度照射，并获得对应的低分辨率强度图像。在恢复过程期间，基于低分辨率强度测量结果，恢复一个或更多个高分辨率、宽视场图像。在可选的显示过程期间，将恢复的图像和其它输出提供给显示器上的FPI系统的用户。
I、FPI系统和设备介绍
虽然本文关于可见光辐射(照射)描述了FPI设备和系统的实施方式，但是其它形式的辐射(例如，X射线)可在某些情况下使用。
图1A是根据本发明的实施方式的FPI系统10的组件的示意图。该FPI系统10包括FPI设备100和与FPI设备100电子通信的计算设备200。在某些实施方式中，诸如在图1A中说明的一个实施方式中，将样本20提供给FPI设备100用于成像。该FPI设备100包括用于将可变照射提供给样本20的可变照射器110、用于过滤从样本20发出的照射的光学元件130、和用于检测接收的照射强度的辐射检测器140。计算设备200包括处理器210(例如，微处理器)、计算机可读介质(CRM)220和显示器230。
在测量过程中，可变照射器110提供从多个N个入射角度((θx i,θy i),i＝1到N)到样本20的照射。可由提供给FPI设备100的样本20改变(例如，阻塞、降低强度、修改波长/相位、修改偏振等)来自可变照射器110的照射。该光学元件可从可变照射器接收光(例如，如从样本20发出的)并能过滤其接收的光。例如，光学元件130可以以物镜的形式，其接受在其接受角度范围内的光以作为滤光器。在一些情况下，光学元件130可以是具有低数值孔径(例如，约0.08的NA)的物镜以提供相应的窄的接收角度并允许增加景深。辐射检测器140可从光学元件130接收经滤波的光，并可记录在N个采样时间(ti＝1到N)的辐射检测器140的强度分布以捕获样本区域的多个N个低分辨率二维强度图像。
在图1A中，处理器210与辐射检测器140进行电子通信，以接收带有对应于样本区域的N个低分辨率强度图像的图像数据的信号，样本区域的强度图像可包括样本20的至少一部分的图像。在恢复过程中，处理器210可迭代将在傅立叶空间中的低分辨率强度图像“拼接”在一起以恢复宽视场、高分辨率的图像。在某些实施方式中，处理器210还可数字重聚焦高分辨率图像，以适应样本的任何散焦和/或在其光学元件130中的色差。这种能力可数字扩展FPI系统10的聚焦深度(超出光学元件130的物理限制)。
处理器210与CRM 220(例如，存储器)电子通信，以便能够发送带图像数据的信号以便存储到CRM 220并从其检索图像数据。处理器210被示出与显示器230电子通信，以便能够发送图像数据和指令，以显示样本区域的宽视场、高分辨率图像和其它输出例如到FPI系统10的用户。如虚线所示，可变照射器110可以可选地与处理器210进行电子通信中以发送用于控制可变照射器110的指令。如本文所用的，FPI系统10的组件之间的电子通信可以以有线或无线形式。
图1B是图1A的FPI设备100的一些组件的侧视图示意图。在图1B中，FPI设备100包括具有照射器表面111的可变照射器110、光学元件130、和具有传感表面142的辐射检测器140。虽然在距离光学元件130一定距离处示出了辐射检测器140，但是辐射检测器140可以可选地位于光学元件130。
在某些实施方式中，FPI设备包括焦点对准平面122和采样平面124。焦点对准平面122可指的是相应的FPI设备的光学元件的焦平面。该FPI设备包括在焦点对准平面122的x轴和y轴，和正交于焦点对准平面122的z轴。焦点对准平面被限定在z＝0的x-y平面。采样平面124可指的是FPI设备可在其上以计算方式重构高分辨率宽视场图像的平面。该FPI设备在焦点对准平面122捕获低分辨率图像。通常，采样平面124平行于焦点对准平面122。在一些实施方式中，采样平面124可与焦点对准平面122一致。在自动聚焦的实施方式中，FPI系统10可执行可确定样本20位置的FPI方法，以在样本20定位采样平面124，以便在样本20聚焦高分辨率宽视场的图像。
在图1B中，FPI设备100包括在z＝0的焦点对准平面122和在z＝z0的采样平面。FPI设备100包括在焦点对准平面122中的x轴和y轴(未示出)和正交于焦点对准平面122的z轴。FPI设备100还包括可变照射器110和采样平面124之间的距离d。在图示的实例中，样本20已经定位在样本表面126用于成像。在其它实施方式中，样本20可在其它位置用于成像目的。
在图1B中，在测量过程中在特定的采样时间ti示出FPI设备100。在采样时间ti，可变照射器110在与在采样平面124的(θx i,θy i)的入射角度相关联的波矢量kx i、ky i提供入射照射。由于图示是在x-z平面的侧视图，故只示出了入射角度θx i的x分量。
在图1B中，光学元件130接收和过滤从样本20发出的光。在辐射检测器140的感测表面142接收由光学元件130过滤的光。辐射检测器140感测经过滤的光的强度分布，并捕获样本区域的低分辨率强度图像。虽然在采样时间ti示出FPI设备100，但是该FPI设备100可在多个N个采样时间(ti＝1到N)期间运行以捕获与N个入射角度((θx i,θy i),i＝1到N)相关联的N个低分辨率二维强度图像。
可变照射器可指的是相继提供从多个N个不同的入射角度((θx i,θy i),i＝1到N)的入射辐射的设备。N的适当值的范围可从2至1000。在大多数实施方式中，可变照射器包括在特定采样时间提供照射的一个或更多个辐射源的光元件。在大多数情况下，每个光元件近似为从单一入射角度提供到样本20的平面波照射。例如，在图2A中参考点P的入射角度θx i可以是在法线和在点P和照射的光元件112之间的直线之间的角度，该角度基于在可变照射器和采样平面124之间的距离d。
尽管一个辐射源或多个辐射源通常是相干辐射源，但是也可使用非相干辐射源并可应用可计算的校正。在使用可见光辐射的实施方式中，每个辐射源是可见光源。可见光源的一些实例包括LCD像素和LED显示器的像素。在使用其它形式的辐射的实施方式中，可使用其它辐射源。例如，在使用X射线辐射的实施方式中，辐射源可包括X射线管和金属靶。作为另一实例，在使用微波辐射的实施方式中，辐射源可包括真空管。作为另一实例，在使用声辐射的实施方式中，辐射源可以是声致动器。作为另一实例，在使用Terahertz辐射的实施方式中，辐射源可以是Gunn二极管。本领域的一个技术人员将预期其它辐射源。
在许多实施方式中，由可变照射器在不同的入射角度((θx i,θy i),i＝1到N)提供的辐射的性质(例如，波长、频率、相位、振幅、极性等)是近似均匀的。在其它实施方式中，性质可在不同的入射角度变化，例如，通过在测量过程中提供n个不同的波长λ1,…,λn。在一个实施方式中，可变照射器110可提供分别对应于红色、绿色、蓝色的三个波长λ1、λ2和λ3的RGB照射。在使用Terahertz辐射的实施方式中，由可变照射器110提供的辐射的频率可在0.3至3THz的范围内。在使微波辐射的实施方式中，由可变照射器提供的辐射的频率可在100MHz至300GHz的范围内。在使X射线辐射的实施方式中，由可变照射器提供的辐射的波长可在0.01nm至10nm的范围内。在使用声辐射的实施方式中，由可变照射器提供的辐射的频率可在10Hz至100MHz的范围内。
在一些实施方式中，可变照射器包括在不同空间位置的多个N个固定的光元件(例如，在图2A中所示的可变照射器110(a))。这些N个固定的光元件在N个采样时间相继照射以提供从多个N个入射角度((θx i,θy i),i＝1到N)的照射。在其它实施方式中，可变照射器包括移动的光元件(例如，在图3中的可变照射器110(b))。该移动的光元件相对于可保持固定的光学元件和辐射检测器移动。在这些实施方式中，移动的光元件可使用机械装置(诸如扫描机械装置)移动到多个N个不同的空间位置。基于在固定部件和N个不同空间位置的光元件之间的这种相对运动，光元件可提供从多个N个入射角度((θx i,θy i),i＝1到N)的照射。在其它实施方式中，可变照射器包括固定的光元件(例如，在图4A中的可变照射器110(c))，并且FPI设备的其它组件移动到N个不同的空间位置。基于在固定光元件和FPI设备的到N个不同空间位置的其它组件之间的这种相对运动，光元件可提供从多个N个入射角度((θx i,θy i),i＝1到N)的照射。
在具有包括多个N个固定的光元件的可变照射器的实施方式中，光元件可以一维列阵、二维列阵、六边形列阵、或其它能够提供来自多个入射角度的照射的合适布置的形式进行布置。固定的光元件矩阵的一些实例是LCD或LED矩阵。光元件被设计具有适当的间距，并被设计以按需要提供多个入射角度的照射。在一些实施方式中，可变照射器可以以二维矩阵形式，该二维矩阵具有诸如例如10×10、32×32、100×100、50×10、20×60等的尺寸。如作为图示实例，图2A是根据本发明的实施方式的FPI设备100(a)的示意图，其包括以100个固定光元件112的二维(10×10)矩阵形式的可变照射器110(a)。
在具有包括移动的光元件的可变照射器的实施方式中，该移动的光元件可移动到多个N个位置。这些N个位置的空间地点可以以一维列阵、二维矩阵、六边形列阵、或能够提供来自多个入射角度的照射的其它合适布置的形式。矩阵维数的一些实例可以是10×10、32×32、100×100、50×10、20×60等。
可变照射器在多个入射角度((θx i,θy i),i＝1到N)提供到样本20的辐射入射。在一个实施方式中，在多个入射角度中的两个相邻的入射角度之间的差值具有由在以物镜形式的光学元件的数值孔径所限定的接受角的10％和90％之间的范围中的值。在一个实施方式中，在多个入射角度中的两个相邻的入射角度之间的差值具有在由以物镜形式的光学元件的数值孔径所限定的接受角的33％和66％之间的范围中的值。在一个实施方式中，在多个入射角度中的两个相邻的入射角度之间的差值具有小于由以物镜
形式的光学元件的数值孔径所限定的接受角的76％的值。在一个实施方式中，在多个入射角度中的相邻的入射角度之间的差值为由以物镜形式的光学元件的数值孔径所限定的接受角度的约1/3。在一个实施方式中，由最大入射角和最小入射角度之间的差值限定的入射角的范围可约等于与最终全视场高分辨率图像的空间分辨率相一致的有效数值孔径。
可变照射器的光元件按照由照射指令定义的顺序照射。在一个实施方式中，照射指令决定照射以光元件的二维矩阵形式的光元件的顺序。在本实施方式中，照射指令可首先定义中心光元件。然后，照射指令可指示首先照射中心光元件(例如，LED)，然后将按逆时针照射围绕中心光元件的8个光元件，然后将按逆时针照射围绕之前光元件的16个光元件等等，直到已经从多个N个入射角度((θx i,θy i),i＝1到N)照射N个光元件。在另一个实施方式中，照射指令决定照射以光元件的二维矩阵形式的光元件的另一顺序。在本实施方式中，可变照明指令可限定在最接近样本的矩阵中的光元件。然后，照射指令可指示照射最接近样本的光元件，且然后照射下一个最接近样本的光元件，且然后照射下一个最接近所述样本的光元件等等，直到已经从多个N个入射角((θx i,θy i),i＝1到N)照射N个光元件。
在某些实施方式中，FPI设备可成像被提供给FPI设备用于成像的样本20的至少一部分。在某些情况下，样本20可包括一个或更多个对象。每个对象可以是生物或无机实体。生物实体的实例包括全细胞、细胞成分、微生物(诸如细菌或病毒)、细胞成分(诸如蛋白质、薄的组织切片)等。在一些情况下，可将样本20提供给在诸如液体的介质中的FPI设备。在大多数情况下，样本20是固定的样本。将样本20提供给在能够从可变照射器接收照射的位置的FPI设备，并使得由光学元件接收从样本20发出的光。
在某些实施方式中，FPI系统10可包括用于样本20的具有用于接收样本20的样本表面126的容器。样本表面126可以是FPI设备100的组件的一部分(诸如例如，可变照射器110的表面)。可替换地，样本表面126可以是来自FPI设备100和/或FPI系统10的单独的组件。例如，样本表面126可以是切片或盘子的表面。该容器和样本表面126可不包括在其它实施方式中。
在某些实施方式中，由FPI设备捕获的全视场低分辨率图像中的一个或多个全视场低分辨率图像可划分成一个或多个低分辨率分块图像。在这些情况下，处理器可独立地以计算方式重构用于每个分块的高分辨率图像，且然后结合该分块图像以产生全视场高分辨率图像。分块图像的独立处理的能力允许并行计算。在这些实施方式中，每个分块可由二维区域来表示。该FPI系统10使用假定平面波照射在每个分块的区域的FPI方法。在直线空间坐标中，每个分块可表示为矩形区域(例如，正方形区域)。在极空间坐标中，每个分块可以是圆形区域或椭圆形区域。在直线空间坐标中，全视场低分辨率图像可划分成分块的二维矩阵。在一些实施方式中，当以辐射传感器的像素数量表示时，分块的二维方阵的尺寸可以是二的幂，诸如，例如，256×256矩阵、64×64矩阵等。在大多数情况下，在矩阵中的分块将具有大致相同的尺寸。
该FPI设备还包括用作低通滤波器的光学元件。例如，光学元件可以是物镜，其基于其数值孔径(NA)只接受在入射角度的范围内的光。在许多实施方式中，光学元件是以低NA物镜的形式，以提供窄的接受角和高的景深。在一个实施方式中，光学元件是低NA的物镜，其具有约0.08的低NA。在另一个实施方式中，光学元件是低NA的物镜，其具有在约0.01和约0.1之间的范围内的低NA。在特定示出的实例的实施方式中，光学元件是带有约0.08的NA的2X物镜。
在使用X射线辐射的实施方式中，可需要X射线光学元件，诸如，例如，掠入射反射镜或晶带面。在使用声辐射的实施方式中，可能需要特定的光学元件，诸如，例如，声透镜。在使用Terahertz辐射的实施方式中，可能需要特定的光学元件，诸如，例如，Teflon透镜。在使用微波辐射的实施方式中，可能需要特定的光学元件，诸如，例如，微波透镜天线。
在某些实施方式中，FPI设备具有与其光学元件的固有景深相关联的聚焦的初始深度。当采样平面在光学元件的聚焦的初始深度内时，提供给实施方式的FPI设备的样本可认为焦点对准。相反地，当采样平面124位于焦点的初始深度之外时，样本可认为焦点没对准。使用带有实施方式的数字重聚焦的FPI方法，FPI设备的聚焦深度可延伸超出其光学元件的固有景深的限制。
辐射检测器可指的是可感知在该辐射检测器上的辐射入射强度并可基于入射辐射的强度图案记录空间图像的设备。辐射检测器可在带包括至少多个N个采样时间ti＝1到N的持续时间的测量过程中记录图像。对于使用可见光辐射的FPI设备，例如，辐射检测器140可以以电荷耦合设备(CCD)、CMOS成像传感器、雪崩光电二极管(APD)阵列、光电二极管(PD)阵列、或光电倍增管(PMT)阵列的形式。对于使用THz辐射的FPI设备，例如，辐射检测器可以是成像辐射热测量计。对于使用微波辐射的FPI设备，例如，辐射检测器可以是天线。对于使用X射线辐射的FPI设备，例如，辐射检测器可以是X射线灵敏CCD。对于使用声辐射的FPI设备，例如，辐射检测器可以是压电转换器阵列。这些检测器和其它的辐射检测器是可商购的。在某些彩色成像实施方式中，辐射检测器可以是颜色检测器(例如RGB检测器)。在其它彩色成像实施方式中，辐射检测器不需要是颜色检测器。在某些实施方式中，辐射检测器可以是单色检测器。
采样时间可指辐射检测器可捕获低分辨率图像的时间。在许多实施方式中，每个采样时间ti以及相关联的捕获的低分辨率强度图像对应于特定的入射角度(θx i,θy i)。辐射检测器可捕获任何合适的数量N(例如，10、20、30、50、100、1000、10000，等)个低分辨率强度图像。辐射检测器可具有采样速率或可以具有辐射检测器以其对数据进行采样的不同的采样速率。在一些情况下，可在恒定速率下采样。在其它情况下，可在可变的速率下采样。采样速率的一些合适的实例的范围从0.1帧每秒到1000帧每秒。
辐射检测器可具有离散的辐射检测元件(例如，像素)。辐射检测元件可以具有任何合适的尺寸(例如，1-10微米)和任何适合的形状(例如，圆形、矩形、正方形等)。例如，CMOS或CCD元件可以是1-10微米，且APD或PMT光检测元件可以大到1-4mm。在一个实施方式中，辐射检测元件是具有5.5um的尺寸的正方形像素。
辐射检测器可决定关于捕获的低分辨率图像的强度图像数据。例如，图像数据可包括强度分布。图像数据也可包括捕获光的采样时间，或关于强度图像的其它信息。
傅立叶空间可指的是由FPI创建的空间图像的二维傅立叶变换驻留其中的作为坐标的空间的由波矢量kx和ky衡量的数学空间。傅立叶空间还可指由辐射传感器收集的空间图像的二维傅立叶变换驻留其中的由波矢量kx和ky衡量的数学空间。
由辐射检测器捕获的低分辨率图像中的每个低分辨率图像与傅立叶空间中的区域相关联。在傅立叶空间中的该区域可由光学元件的近似光学传递函数且还由入射角度来限定。如果光学元件是物镜，则例如，在傅立叶空间中的低分辨率图像可以是由物镜的近似光学传递函数限定的圆形区域，作为具有NA*k0半径的圆形光瞳，其中k0等于2π/λ(真空中的波数)。在这个实例中，该区域以与对应的入射角度相关联的波矢量(kxi，kyi)为中心。在该实例中，多个N个低分辨率图像与以在傅立叶空间中的多个N个入射角度为中心的多个N个区域相关联。
在傅立叶空间中，重叠面积相邻区域可以共享在其上它们对相同的傅立叶域数据进行采样的重叠的区域。在傅立叶空间中的相邻区域之间的重叠面积可基于相应的入射角度的值确定。在大多数实施方式中，设计N个入射角使得在傅立叶空间中的相邻区域由一定量的重叠面积重叠。例如，可设计N个入射角的值以生成一定量的重叠面积，用于在恢复过程中更快收敛到高分辨率的解。在一个实施方式中，相邻区域之间的重叠面积可具有区域之一的面积的2％到99.5％的范围内的面积。在另一个实施方式中，相邻区域之间的重叠面积可具有区域之一的面积的65％到75％的范围内的面积。在另一个实施方式中，相邻区域之间的重叠面积可具有区域之一的面积的约65％的面积。
图1A的FPI系统10还包括计算设备200，其包括处理器210(例如，微处理器)、CRM220(例如，存储器)和显示器230。图像显示器230和CRM 220通信地耦合到处理器210。在其它实施方式中，计算设备200可以是与FPI系统10分离的设备。该计算设备200可以以各种形式，诸如，例如，智能电话、笔记本计算机、台式计算机、平板计算机等。本领域的一个技术人员将预期各种形式的计算设备。
处理器210(例如，微处理器)可执行存储在CRM 220的指令以执行FPI系统10的一个或更多个功能。例如，处理器210可执行指令以执行FPI方法的恢复过程的一个或更多个步骤。作为另一个实例，处理器210可执行用于照射可变照射器的光元件的照射指令。作为另一个实例，处理器210可执行存储在CRM 220上的指令以执行FPI系统的一个或更多个其它功能10，诸如，例如，1)解译来自多个低分辨率图像的图像数据，2)从图像数据产生高分辨率图像，以及3)在显示器230上显示来自FPI方法的一个或更多个图像或其它输出。
CRM(例如，存储器)220可存储用于执行FPI系统10的功能中的一些功能的指令。指令是可由处理器210或FPI系统10的其它处理组件执行的。CRM 220也可存储低分辨率图像和高分辨率的图像以及由FPI系统10产生的其它数据。
FPI系统10还包括与处理器210电子通信的显示器230以接收数据(例如，图像数据)，并提供输出数据(例如，图像)到FPI系统10的操作者。图像显示器230可以是彩色显示器或黑白显示器。此外，该显示器230可以是二维显示器或三维显示器。在一个实施方式中，显示器230可能够显示多个视图。
FPI系统10或FPI设备100可进行修改、添加或省略，而不脱离本公开内容的范围。此外，FPI系统10或FPI设备100的组件可根据特定需要集成或分离。例如，计算设备200或其组件可集成到FPI设备100。在一些实施方式中，处理器210或其它适当的处理器可以是FPI设备100的一部分。在某些情况下，处理器210可集成到辐射检测器140，使得辐射检测器140执行处理器210的功能。作为另一实例，在某些情况下可从FPI系统10省略CRM 220和/或显示器230。
II.FPI设备配置
在某些实施方式中，FPI设备(例如，图2A的FPI设备100(a)和图3的FPI设备100(b))可配置用于使用特定类型的辐射。例如，图2A的FPI设备100(a)可特别适合使用可见光、Terahertz、和/或微波辐射。作为另一实例，图4A的FPI设备100(c)可特别适合使用X射线辐射。
图2A是根据本发明的实施方式的FPI设备100(a)的组件的侧视图示意图。FPI设备100(a)包括可变照射器110(a)，其包括多个N个以二维矩阵格式布置的固定的光元件。在图示的实例中，第i个光元件112提供从入射角度(θx i,θy i)的照射。虽然图2A示出了具有10×10矩阵的光元件112的可变照射器110(a)，但是在其它实施例方案中可使用其它尺寸。此外，虽然图2A示出了等间距的光元件112，但是在其它实施方式中可使用其它间距。可变照射器110(a)还包括x'轴、y'轴(未示出)和z'轴。如图所示，固定的光元件112沿x'方向和y'方向延伸。
FPI设备100(a)还包括光学元件130(a)(例如，物镜)和具有感测表面142的辐射检测器140(a)。虽然在距离光学元件130(a)的一定距离处示出了辐射检测器140，但是辐射检测器140可以可选地位于光学元件130(a)。FPI设备100(a)还包括在z＝0的焦点对准平面122和在z＝z0的采样平面124。FPI设备100(a)包括在焦点对准平面122中的x轴和y轴(未示出)以及正交于焦点对准平面122的z轴。FPI设备100(a)还包括在可变照射器110(a)和采样平面124之间的距离d。在图示的实例中，样本20已经定位在样本表面126用于成像。在其它实施方式中，样本20可在其它位置用于成像目的。
在图2A中，在测量过程中，在特定的采样时间ti示出FPI设备100(a)。在采样时间ti，第i个光元件110在与(θx i,θy i)的入射角度相关联的波矢量kx i、ky i提供入射照射。光学元件130(a)接收和过滤从样本20发出的光。在辐射检测器140(a)的感测表面142接收由光学元件130(a)过滤的光。辐射检测器140(a)感测经过滤的光的强度分布，并捕获低分辨率强度图像。虽然在单一采样时间ti示出FPI设备100(a)，但是该FPI设备100(a)可在与N个入射角度(θx i,θy i)(i＝1到N)相关联的多个N个采样时间ti＝1到N运行，以捕获N个低分辨率二维强度图像。
在某些实施方式中，FPI系统10的组件可以以模块化相识放置与常规显微镜或其它常规成像设备的组件进行通信以将常规设备转变成FPI系统10。图2B是根据本发明的实施方式的带模块化形式组件的FPI系统10的照片。FPI系统10包括FPI设备100(a)。在顶部照片中，FPI设备100(a)包括已放置与BX 41显微镜组件进行通信的模块化组件，以将常规显微镜的这些组件转变为FPI系统10。作为这种模块化方面的实例，FPI设备100(a)包括可编程的二维LED矩阵，其已放置在样本台下面用于照射。可编程二维LED矩阵包括多个光元件112。图2C是图2B的FPI设备100(a)的可变照射器110(a)的光元件112中的一个的照片。该光元件112是LED，其可提供红色、绿色和蓝色照射。作为图示的实例的模块化方面的另一实例，图2B中的FPI设备100(a)包括以CCD照相机形式的辐射检测器140(a)。在图2B中，FPI设备100(a)还包括以2X、0.08的NA物镜的形式的带有BX 41显微镜的光学元件130(a)。2X物镜的视场数是26.5。在采样平面的FPI设备100(a)的视场直径是13.25mm。处理器210可以与可变照射器110(a)进行电子通信和/或通过导线201到辐射检测器140(a)。
在图2B中，已将样本20提供给在切片202上的FPI设备100(a)。使用来自光元件112的红色照射、绿色照射和蓝色照射，在这种情况下，可变照射器110(a)的LED、FPI设备100的辐射检测器可以在测量过程期间获得红色低分辨率强度图像、绿色低分辨率强度图像和蓝色低分辨率强度图像。计算设备200可通过迭代地结合在傅立叶空间中的低分辨率测量结果，以计算方式重构样本区域的高分辨率和宽视场的彩色图像。在一种情况下，处理器210可以计算方式重构高分辨率和宽视场的红色、绿色和蓝色图像，且然后结合图像以产生彩色图像。
FPI设备100(a)不要求用于经变化照射的扫描机械装置。其它实施方式可包括扫描机械装置。例如，图3中的FPI设备100(b)具有机械装置150，其可以是扫描机械装置。作为另一实例，图4A中的FPI设备100(c)具有机械装置160，其可以是扫描机械装置。
图3是根据本发明的实施方式的FPI设备100(b)的组件的侧视图示意图。FPI设备100(b)包括可变照射器110(b)，其包括沿x'方向(沿x'轴的方向)和沿y'方向(沿y'轴的方向)移动(例如，扫描的)到多个N个位置的光元件112。可变照射器110(b)还包括x'轴、y'轴和z'轴。在图示中，光元件112已经从沿x'方向的法向入射位置(θx i＝0,θy i＝0)移动到在(θx i＝-h,θy i＝0)提供照射的位置。使用机械装置150(例如，光栅扫描器)移动光元件112。
FPI设备100(b)还包括光学元件130(b)和具有感测表面142的辐射检测器140(b)。虽然在距离光学元件130(b)的一定距离处示出了辐射检测器140(b)，但是辐射检测器140(b)可任选地位于光学元件130(b)。FPI设备100(b)还包括在z＝0的焦点对准平面122和在z＝z0的采样平面124。FPI设备100(b)包括在焦点对准平面122中的x轴和y轴(未示出)以及正交于焦点对准平面122的z轴。FPI设备100(b)还包括在可变照射器110(b)和采样平面124之间的距离d。在图示的实例中，样本20已经定位在样本表面126用于成像。在其它实施方式中，样本20可在其它位置用于成像目的。
在图3中，在测量过程中在采样时间ti示出光元件112提供照射。光学元件130(b)过滤其接收的光。在辐射检测器140(b)的感测表面142接收由光学元件130(b)过滤的光。辐射检测器140(b)感测经过滤的光的强度分布，并捕获样本区域的低分辨率强度图像。虽然在单一采样时间ti示出FPI设备100(b)，但是该FPI设备100(b)可在与N个入射角度(θx i,θy i)(i＝1到N)相关联的多个N个采样时间ti＝1到N运行以捕获N个低分辨率二维强度图像。在实施方式中，其中在图3中示出的FPI设备100(b)使用X射线辐射，光元件112包括X射线源。
图4A是根据本发明的实施方式的FPI设备100(c)的组件的侧视图示意图。FPI设备100(c)包括具有固定光元件112的可变照射器110(c)、光学元件130(c)、具有感测表面142的辐射检测器140(c)、和机械装置160(例如，扫描机械装置)。在图示的实例中，已经将样本20提供到FPI设备100(c)用于成像。
在图4A中，机械装置160移动组件170，其包括光学元件130(c)、辐射检测器140(b)和相对于固定光元件112的样本20，以从多个N个入射角度提供照射。机械装置160可平移和/或旋转组件170。例如，组件170可安装在测角器上，满足将允许组件作为整体相对于光元件112旋转。可变照射器110(c)还包括x'轴、y'轴和z'轴。
虽然在距离光学元件130(c)的一定距离处示出了辐射检测器140(c)，但是辐射检测器140(c)可任选地位于光学元件130(c)。FPI设备100(c)还包括在z＝0的焦点对准平面122和在z＝z0的采样平面124。FPI设备100(c)包括在焦点对准平面122中的x轴和y轴(未示出)以及正交于焦点对准平面122的z轴。FPI设备100(c)还包括在可变照射器110(c)和采样平面124之间的距离d。
在图4A中，在测量过程中在采样时间ti示出光元件112提供照射。光学元件130(c)接收和过滤从样本20发出的光。在辐射检测器140(c)的感测表面142接收由光学元件130(c)过滤的光。辐射检测器140(c)感测经过滤的光的强度分布，并捕获区域的低分辨率强度图像。虽然在单一采样时间ti示出FPI设备100(c)，但是该FPI设备100(c)可在与N个入射角度(θx i,θy i)(i＝1到N)相关联的多个N个采样时间ti＝1到N运行以捕获N个低分辨率二维强度图像。
图4B是根据本发明的实施方式的FPI设备100(d)的组件的侧视图示意图。FPI设备100(d)包括具有通过转动它来移动的光元件112的可变照射器110(d)、光学元件130(b)和具有传感表面142的辐射检测器140(b)。尽管未示出，也可包括机械装置以旋转光元件112。在图示的实例中，已经将样本20提供到FPI设备100(d)用于成像。在一些情况下，光元件112可以是激光器。
在图4B中，通过旋转它来移动光元件112，其在(θx i,θy i)提供照射。在图4B中，在测量过程中在采样时间ti示出光元件112提供照射。光学元件130(d)接收和过滤从样本20发出的光。在辐射检测器140(b)的感测表面142接收由光学元件130(b)过滤的光。辐射检测器140(b)感测经过滤的光的强度分布，并捕获该区域的低分辨率强度图像。虽然在单一采样时间ti示出FPI设备100(d)，但是该FPI设备100(d)可在与N个入射角度(θx i,θy i)(i＝1到N)相关联的多个N个采样时间ti＝1到N运行以捕获N个低分辨率二维强度图像。
III.示例性的FPI方法
在实施方式中，FPI方法包括测量过程、恢复过程和可选的显示过程。在测量过程中，使用可变照射器从多个入射角度照射样本，光学元件过滤从样本发出的光，且辐射检测器基于经过滤的光捕获多个低分辨率强度图像。在恢复过程中，通过傅立叶逆变换获得的每个低分辨率图像的强度和在傅立叶空间中的高分辨率重构的滤波被低分辨率强度测量替换，并迭代更新在傅立叶空间中的高分辨率重构的相应区域。在恢复过程中，基于多个N个低分辨率强度图像，可以计算方式重构样本的高分辨率图像。在可选的显示过程中，将图像和其它输出提供给显示器220。
图5A根据本发明的实施方式包括FPI方法的测量过程(中)和恢复过程(右手侧)的示意性表示。在测量过程期间，从不同的入射角度照射样本，并获得对应于这些入射角度的低分辨率强度图像。由在图5A的中间部分中的图像的布置来表示多个低分辨率强度图像的获得。在恢复过程期间，基于来自测量过程的低分辨率强度测量结果来恢复一个或更多个高分辨率、宽视场图像。由在图5A的右手边上的两个图像来表示恢复过程，其中基于低分辨率强度测量结果来恢复高分辨率强度图像数据和相位图像数据两者。图5B(1)、5B(2)、5B(3)、5B(4)、5B(5)、5B(6)、5B(7)、5B(8)和5B(9)是由图5A中引入的FPI方法获得137个测量结果的九个低分辨率测量结果。在图5B(12)中示出了在傅立叶空间中与低分辨率图像相关联的对应的区域。在恢复过程期间，这些区域在傅立叶空间中更新以重构全FOV高分辨率复杂图像。在图5A的右手边示出且在图5B(10)和5B(11)中也示出了恢复的高分辨率强度图像和相位图像。
在某些实施方式中，FPI方法可在两个工作域之间交替：空间(x-y)域和傅立叶(kx-ky)域，其中k表示波数。
在某些实施方式中，FPI方法可使用斜入射的概念，其提供了由带波矢量(kx i,ky i)的倾斜平面波照射的样本20(例如，薄的样本)相当于在傅立叶域中通过(kx,ky)移位图像频谱的中心。根据斜入射，在傅立叶域中的低分辨率图像从法向入射偏移(kx,ky)，其对应于由可变照射器施加的入射角度。
在某些实施方式中，FPI方法可提供，在傅立叶空间中的光学元件的滤波函数(即相干光学传递函数)是具有NA×k0半径的圆形光瞳，其中k0＝2π/λ是在真空中的波数。即，FPI方法可在由光学元件的这种过滤函数定义的傅立叶空间圆形区域中更新。在这些实施方式中，FPI方法使用该过滤函数以省略此区域外的图像数据。
在某些实施方式中，样本20可放置在z＝z0的采样平面124，其中光学元件的焦点对准平面122位于z＝0的位置。换句话说，所捕获的图像不是在样本轮廓本身的样本图像；它是由在光学元件的焦点对准平面的-z0距离传播的样本轮廓。在这些实施方式中，FPI方法可通过z0距离返回到采样平面124来数字地重聚焦传播图像数据的样本20，而无需在z方向机械地移动样本。这些传播步骤可通过乘以在傅立叶空间中的相位因子来执行。这些步骤可扩展FPI系统10的焦点的成像深度，并校正光学元件的色差。
图6A是根据本发明的实施方式的由FPI系统10执行的FPI方法的流程图。该FPI方法包括测量过程(步骤1100、1200和1300)、恢复过程(步骤1400和1500)以及可选的显示过程(步骤1600)。在图示的FPI方法的示例及其相关联的描述中，下标“h”指的是高分辨率，下标“l”指的是低分辨率，下标“f”指的是焦点对准位置，下标“m”指的是测量的，且下标“s”指的是采样的。
在步骤1100，可变照射器在N个采样时间提供从多个N个入射角((θx i,θy i)，i＝1...N)到样本区域的照射。在大多数情况下，恢复过程假设了平面波照射。可变照射器可根据定义照射角度顺序的照射指令提供照射。在x方向和y方向的波矢量可表示为kxi和kyi。在某些情况下，可变照射器可在不同的采样时间提供不同波长的照射。例如，针对彩色成像实施方式，可变照射器110可提供分别对应于红色、绿色、蓝色的三个波长λ1、λ2和λ3的RGB照射。
在步骤1200，光学元件(例如，低NA显微镜物镜)过滤其接收的光。例如，光学元件可过滤从样本20发出的光。光学元件可以是物镜，其根据其数值孔径(NA)通过接受在入射角度的范围内的光来过滤光。在一些情况下，该光学元件可以是常规显微镜的低NA物镜(例如，2X、0.08NA物镜)。
在步骤1300，辐射检测器接收来自光学元件的经过滤的光的投影，并捕获在N个采样时间ti＝1到N的每个的快照强度分布测量结果以获得多个N个低分辨率强度图像。由辐射检测器采样的每个低分辨率强度图像与傅立叶空间中的区域相关联。在许多实施方式中，在步骤1100，可变照射器提供从一定入射角度的照射以生成傅立叶空间中邻近区域之间的重叠面积。在一个实施方式中，可变照射器提供照射，以提供区域之一的面积的2％到99.5％的临近区域之间的重叠面积。在另一个实施方式中，可变照射器提供照射，以提供区域之一的面积的65％到75％的临近区域之间的重叠面积。在一个实施方式中，可变照射器提供照射，以提供区域之一的面积的约65％的临近区域之间的重叠面积。
在步骤1400和1500中，可根据在步骤1300捕获的多个N个低分辨率强度分布测量结果Ilm(ki x,ky i)(由它们的照射波矢量kx i、ky i索引,,其中i＝1,2,….N)以计算方式重构样本区域的高分辨率图像。
在步骤1400中，高分辨率图像：在空间域中初始化，且将傅立叶变换应用到初始值，以获得初始化的傅立叶变换的图像初始化的高分辨率的解可以是初始猜测。该初始猜测可基于样本位于离焦点对准平面z＝z0的假设来决定。在一些情况下，可将初始猜测确定为随机复矩阵(对于强度和相位两者)。在其它情况下，可将初始猜测确定为具有随机相位的低分辨率强度测量结果的内插。初始猜测的实例是以及从样本区域的任何低分辨率图像内插的Ih。初始猜测的另一个实例是恒定值。初始猜测的傅立叶变换可以是在傅立叶域中的广谱。
在步骤1500，通过使用FPI系统10的处理器210迭代组合在傅立叶空间中的低分辨率强度测量结果以计算方式重构该样本区域的高分辨率图像。
在可选步骤1600，显示器230可接收图像数据(诸如高分辨率图像数据)到和/或来自处理器210的其它数据，并在显示器230上显示数据。
图6B是根据本发明的实施方式的图6A的步骤1500的子步骤的流程图。在该图示的实例中，步骤1500包括步骤1510、步骤1530、步骤1550、步骤1560以及步骤1570。步骤1500可任选地包括步骤1520和1540。如果样本20焦点没对准的量为z0，则可执行任选的步骤1520和1540。
在步骤1510，处理器210执行在傅立叶域中的高分辨率图像的低通过滤以针对带波矢量(kx i,ky i)的特定平面波入射角度(θx i,θy i)产生低分辨率图像高分辨率图像的傅立叶变换是且针对特定的平面波的入射角度的低分辨率图像的傅立叶变换是在傅立叶域中，FPI方法从高分辨率图像的频谱过滤低通区域。在用以物镜形式的光学元件的情况下，该区域是具有NA*k0的半径圆形孔径，其中k0等于2π/λ(在真空中的波数)(由物镜的相干传递函数给定)。在傅立叶空间中，该区域的位置对应于入射角度。对于具有波矢量(kx i,ky i)的倾斜平面波入射，该区域以的傅立叶域中的位置(-kx i,-ky i)为中心。
在可选步骤1520，使用处理器210，低分辨率图像在傅立叶域中传播到在光学元件130的z＝0的焦点对准平面122，以决定在焦点对准位置的低分辨率图像：在一个实施方式中，可通过乘以在傅立叶域中的相位因子傅立叶变换低分辨率图像和傅立叶逆变换以获得来执行步骤1520。在另一个实施方式中，可通过卷积低分辨率图像与用于散焦的点扩散函数的数学上等效操作来执行步骤1520。在另一个实施方式中，步骤1520可作为步骤1510的可选的子步骤来执行，即在执行傅立叶逆变换之前将乘以在傅立叶域中的相位因子来执行以产生如果样本20位于光学元件的焦点对准平面(z＝0)，则不需要包括可选的步骤1520。
在步骤1530，使用处理器210，在焦点对准平面的低分辨率图像的计算振幅分量被由FPI设备的辐射检测器测得的低分辨率强度测量结果的平方根替代。这形成了更新的低分辨率目标
在可选步骤1540，使用处理器210，更新的低分辨率图像可反向传播到采样平面(z＝z0)以确定如果样本位于光学元件的焦点对准平面，即，其中z0＝0，则不需要包括可选的步骤1540。在一个实施方式中，可通过采取更新的低分辨率图像的傅立叶变换和在傅立叶空间中乘以相位因子的来执行步骤1540，且然后对其傅立叶逆变换。在另一个实施方式中，可通过卷积用散焦的点扩散函数的更新的低分辨率图像来执行步骤1540。在另一个实施方式中，在对更新的目标图像执行傅立叶变化后通过乘以相位因子，步骤1540可以被执行为步骤1550的子步骤。
在步骤1550，使用处理器210，傅立叶变换应用于传播到采样平面的更新的目标图像：且在对应于入射波矢量(kx i,ky i)的傅立叶空间中的高分辨率解的相应区域中更新该数据。
在步骤1560，处理器210确定针对所有的入射角度是否已经完成步骤1510到1560。如果针对所有的入射角度未完成步骤1510到1560，则针对下一个入射角度重复步骤1510到1560。
在大多数实施方式中，针对每个入射角迭代更新的傅立叶空间中的相邻区域彼此重叠。在更新的重叠区域之间的重叠面积中，FPI系统10在相同的傅立叶空间上进行多个采样。入射角度决定重叠面积的面积。在一个实施方式中，相邻区域之间的重叠面积可具有相邻区域之一的面积的2％到99.5％之间的面积。在另一个实施方式中，相邻区域之间的重叠面积可具有相邻区域之一的面积的65％到75％之间的面积。在另一个实施方式中，相邻区域之间的重叠面积可具有相邻区域之一的面积的约65％的面积。在某些实施方式中，每个重叠面积具有相同的面积。
在步骤1570，处理器210决定高分辨率解是否已收敛(步骤1570)。例如，处理器210可确定高分辨率解是否可能已经收敛到自相容的解。在一种情况下，处理器210将前一次迭代或初始猜测的前一次高分辨率解与当前高分辨率解进行比较，且如果差值小于特定值，则解可能已经收敛到自相容的解。如果处理器210确定解还未收敛，则重复步骤1510到1570。在一个实施方式中，重复一次步骤1510到1560。在其它实施方式中，重复两次或两次以上步骤1510到1560。如果解已经收敛，则处理器210转换在傅立叶空间中收敛的解到空间域以恢复高分辨率图像如果处理器210确定解在步骤1570已收敛，则过程可进行到可选的步骤1600。
图6E是参照图6A和6B所描述的FPI方法的步骤的图示。在图6E中的左手边图像包括在高分辨率解的傅立叶空间中的具有圆形的低通滤波器形状的两个区域22(a)和22(b)(由2X物镜0.08NA的光学传递函数来限定)。区域22(a)基于与在第一入射角度(θx＝0；θy＝0,i＝1)的法向平面波入射相关联的圆形低通滤波器形状。区域22(b)基于与第N个平面波入射角度(θx＝-21°；θy＝22°；i＝N)相关联的圆形低通滤波器形状。为了执行在各入射角度的低通滤波，在傅立叶域中的圆形区域之外的数据被省略，其导致低分辨率图像。基于斜平面波入射角度(θx＝-21°；θy＝22°)来源于滤波的低分辨率图像在图6E的顶部右手边示出。来源于在的斜平面波入射角(θx＝-21°；θy＝22°)的滤波的低分辨率图像在底部右手边示出。在x方向和y方向的入射角度的波矢量分别表示为kxi和kyi。在该图示中，基于近似于具有半径NA*k0的圆形光瞳函数由2X物镜0.08NA的光学传递函数来定义区域22(a)和22(b)的尺寸，其中k0等于2π/λ(在真空中的波数)。
在图6E中，根据图6B的步骤1550，FPI方法更新对应于法向入射(θx＝0，θy＝0)的高分辨率重构的区域22(a)内的数据。用具有更新的强度测量结果(Ils(kx 1,ky 1)，其中kx 1＝0，ky 1＝0)的低分辨率图像数据更新区域。在图6E中，根据图6B的步骤1550，FPI方法还更新对应于第n个入射角度(θx＝-21°；θy＝22°；i＝N)的高分辨率重构区域22(b)内的数据。用具有更新的强度测量结果(Ils(kx N,ky N))的低分辨率图像数据更新区域。
图6F是参照图6A和6B所描述的FPI方法的步骤的另一个图示。在这种情况下，样本20在焦点对准平面。该示意图包括图示1605、1606和1607。图示1605包括源于步骤1400的初始傅立叶频谱和内插强度的典型图像。图示1606代表步骤1500的迭代部分，其中在此情况下包括1510、1530、1550。图示1606包括N个迭代。区域22(d)、22(e)和22(f)中的每个是在高分辨率解的傅立叶空间中的圆形低通滤波器的形状。基于近似于具有半径NA*k0的圆形光瞳函数由2X物镜0.08NA的光学传递函数定义区域22(a)和22(b)的尺寸，其中k0等于2π/λ(在真空中的波数)。在第一次迭代((i＝1),θx＝0；θy＝0),在步骤1550更新区域22(d)。在第(N-1)次迭代((i＝N-1),θx＝-22；θy＝19),在步骤1550更新区域22(e)。在第N次迭代((i＝N),θx＝-22；θy＝22),在步骤1550更新区域22(f)。图示1606包括恢复的相位图像和恢复的强度图像。
在实施方式中，通过包括可选步骤1520和1540，FPI方法可包括数字重聚焦。步骤1520和1540的数字重聚焦特征从z＝0的焦点对准平面122传播该图像到在z＝z0的采样平面124。当样本20位于在z＝z0的采用平面124时可能需要数字重聚焦，而光学元件(例如，物镜)的焦点对准平面122位于z＝0的位置。换言之，当样本20的散焦的量为z0时，可能需要数字重聚焦。图6C和6D是根据本发明的实施方式的具有以LED矩阵形式的光元件的FPI设备100(a)的组件的示意图。在图6C中，样本20的散焦的量为-z0，且可选的步骤1520和1540可用于数字重聚焦。在图6D中，样本20位于在焦点对准平面122的焦点对准位置。在这种情况下，可不需要可选的步骤1520和1540。
在一个实施方式中，在图2B中示出的带FPI设备100(a)的FPI系统10被用于执行图6A和6B的FPI方法，其中样本20位于焦点对准平面122。在该实例中，光元件以137个红色LED的形式作为用于斜照射的光源。在对角方向，重构图像的对应的最大的NA为～0.5。
图7A(1)、7A(2)、7A(3)、7A(4)和7A(5)是来源于执行图6A和6B的FPI方法的图像。这些结果示出了改进的分辨率。图7A(1)是样本区域的全视场低分辨率强度图像。图7A(2)是由辐射检测器捕获的具有2.75μm的像素尺寸(5.5μm除以放大因子)的低分辨率图像图7A(1)的选定部分的放大的视图。图7A(3)是图7A(2)中图像的放大视图。图7A(4)和7A(5)是以计算方式重构的高分辨率图像，其中像素大小为0.275um。
在一个实施方式中，在图2B中示出的带FPI设备100(a)的FPI系统10用于执行图6A和6B的FPI方法，其中样本20位于焦点对准平面122，其具有不同数量的LED光源(即不同的N个入射角)和它们的相应的高分辨率重构，其中在傅立叶空间中用该重构覆盖不同的最大NA。在第一种情况下，在五个入射角度(i＝1至5)获得五个低分辨率图像(帧)。图7B(1)示出从五个帧重构获得的高分辨率图像。图7B(2)示出在跨越0.13的最大合成NA的傅立叶空间中的五个帧重构的总频谱。在第二种情况下，在64个入射角度(i＝1至64)获得64个低分辨率图像(帧)。图7B(3)示出从64个帧重构获得的高分辨率图像。图7B(4)示出在跨越0.3的最大合成NA的傅立叶空间中的64个帧重构的频谱。在第三种情况下，在137个入射角度(i＝1至137)获得137个低分辨率图像。图7B(5)示出从137个帧重构获得的高分辨率图像。图7B(6)示出在跨越0.5的最大合成NA的傅立叶空间中的137个帧重构的频谱。在图7B(2)、7B(4)和7B(6)中每个小圈代表对应于一个低分辨率强度测量结果的频谱区域。这些结果表明，可使用FPI方法从光学器件的分辨率解耦视场，且同样地，同时实现宽视场和高分辨率。
A、使用分块成像的FPI方法
在一些实施方式中，具有分块成像的FPI方法将捕获的低分辨率图像划分为多个低分辨率分块图像，针对分块中的每个获得高分辨率图像，并且然后组合高分辨率分块图像以产生全视场高分辨率图像。在一些情况下，高分辨率分块图像可与图像混合过程相结合。图像混合过程的实例是alpha混合，其可在，于1999年4月7日递交的名称为“A systemand method for performing blending using an over sampled buffer”的PCT公布WO1999053469中找到，其据此通过引用以其整体并入本文。因为可独立地获得分块的高分辨率图像，故该FPI方法可允许并行计算，其可减少计算时间，并还可降低存储器要求。此外，来自每个光元件的光可精确地视为针对每个分块的平面波。针对每个分块的入射波矢量可表示为：
其中(xc，yc)是全视场低分辨率图像的每个分块的中心位置，(xi,yi)是第i个光元件的位置，且h是照射器和样本之间的距离。此外，在某些情况下，该FPI方法可分配特定色差校正光瞳函数到每个分块。
在一个实施方式中，FPI系统10包括个人计算机形式的计算设备200，其具有Inteli7CPU形式的处理器210。在一个实验中，该FPI系统10执行的FPI方法具有将低分辨率图像划分为196x 196像素的分块的成像。在一种情况下，每个小图像使用Matlab的处理时间(将196×196的原始像素转换为1960×1960像素)大约为3.75秒。在这种情况下，当使用CPU的所有4个内核并行计算时，创建全视场千兆像素图像的处理时间是大约10分钟。在其它实施方式中，FPI系统10可具有仪GPU单元形式的处理器，其可十倍地减少处理时间。在其它实施方式中，处理器210可使用另一种编程语言(诸如C++)执行FPI方法的步骤，其可减少处理时间。该FPI系统的实例可在Zheng,G.、Horstmeyer,R.和Yang,C.的“Wide-field,high-resolution Fourier ptychographic microscopy”Nature Photonics(2013年七月)中找到，其据此通过引用以其整体并入本文。
图8A是根据本发明的实施方式的具有分块成像的FPI方法的流程图。可由FPI系统10来执行该FPI方法。为利用并行处理能力，FPI系统10包括带并行处理能力的处理器210，诸如例如，具有多个核(即，独立的中央处理单元)的GPU单元或处理器。该FPI方法包括测量过程(步骤1100、1200和1300)、恢复过程(步骤1350、2400(i-M)、2500(i-M)、2590)、和可选的显示过程(步骤1600)。参考图6A描述测量过程(步骤1100、1200和1300)和显示过程(步骤1600)。
在步骤1350，处理器210将全视场分割为多个分块，诸如例如，二维矩阵的分块。分块的二维方阵的尺寸可以是二的幂，诸如，例如，256×256矩阵、64×64矩阵等。在一个实例中，处理器可分割5280×4380像素的全视场为具有150×150像素的面积的分块。
接着，处理器210独立地使用并行计算(步骤2400(1)...步骤2400(M))在空间域中针对每个分块(1至M)初始化高分辨率图像傅立叶变换应用于初始猜测。在一些情况下，可将初始猜测确定为随机复矩阵(对于强度和相位两者)。在其它情况下，可将初始猜测确定为带机相位的低分辨率强度测量结果的内插。初始猜测的实例是以及样本区域的任何低分辨率图像的Ihr。初始猜测的另一个实例是恒定值。初始猜测的傅立叶变换可以是在傅立叶域中的广谱。
在步骤2500(1)...步骤2500(M)，处理器210独立地使用并行计算来以计算方式重构每个分块(1至M)的高分辨率图像。如参照图6B中示出的步骤1510、1530、1550、1560和1570描述的和本文中所描述的，处理器210通过迭代结合在傅立叶空间中的低分辨率强度图像以计算方式重构每个分块的高分辨率图像。如果样本焦点没有对准，则可包括步骤1520和1540。
在步骤2590，处理器210将高分辨率分块图像结合成全视场高分辨率图像。在某些情况下，结合分块图像包括成像混合(诸如例如，alpha混合)过程。
图8B是根据本发明实施方式的来源于执行FPI方法的图像，其中FPI方法具有使用图像混合的分块成像。在该实例中，FPI方法将5320×4370像素的每个低分辨率图像分割成150×150像素大小的分块。在左手边，图像是两个相邻高分辨率分块图像。在右手边上的图像是使用混合来结合两个高分辨率分块图像的高分辨率图像。在混合中，FPI方法产生混合区域，其替代在高分辨率全FOV图像中的相邻分块图像的边缘区域。在图示中，混合区域的宽度为50个像素。在其它实施方式中，混合区域可具有其它宽度(诸如，例如，6个像素)。利用混合，在混合区域中存在不可观察的边界。
在可选步骤1600，样本区域的恢复的高分辨率二维图像的图像数据显示在显示器230上。
在一个实施方式中，带分块成像的FPI方法还可包括基于分块和每个光元件之间的距离解释不同的分块之间的入射角度中的差的程序。
B、利用数字重聚焦的FPI方法
常规高NA显微镜的另一个限制是有限的景深。作为实例，具0.4NA的20X物镜的常规显微镜的景深约为5μm。对于常规的显微镜，由于其有限的景深，分辨率随着样本从焦点对准平面122离开而降低。为了使用常规显微镜实现最佳的分辨率，操作者需要移动工作台以机械地带动样本返回到焦点。在这方面，在常规显微镜中需要精确的机械台以带动样本以亚微米精度进入焦距内的位置。
在某些实施方式中，FPI系统10实现FPI方法，其中样本可数字地而不是机械地重聚焦。在这些情况下，在恢复过程中FPI方法计对散焦的样本20计算重聚焦。使用数字重聚焦，FPI系统10可扩展其景深(超出其光学元件的物理限制)。
图10A根据本发明的实施方式的来自使用具有或不具有用于比较的数字重聚焦的FPI方法的FPI系统10的数值模拟的图像。这些图像示出了来源于使用该FPI方法的高分辨率重构对于样本散焦是不变的。在图10A中，每行代表z方向的-150μm、-50μm、50μm、和150μm的不同的散焦量。列1是捕获的低分辨率图像。列2和3是用数字重聚焦恢复的高分辨率强度和相位轮廓。列4和5是不用数字重聚焦恢复的高分辨率强度和相位轮廓。
图10B(1)是根据实施方式执行带数字重聚焦的FPI方法的FPI设备100(a)的实验设置的示意图。图10B(2)-(16)是根据图10B(1)中的实验设置来源于执行带数字重聚焦的FPI方法的实验结果的图像。在实验中，如图10B(1)的示意图中所示，将样本移动到具有从-300μm至+300μm的散焦的距离范围的不同的z位置。对于所有散焦位置，获得低分辨率图像(对应于LED矩阵的137个不同的LED)。在图10B(2)、(3)、(4)、(5)和(6)中示出典型的低分辨率图像。跟随具有图6B的步骤1520和1540的恢复过程以计算方式重构样本的高分辨率轮廓。在图10B(7)、(8)、(9)、(10)和(11)中示出这些高分辨率轮廓。图10C(1)-(7)包括来自相对于图10B(1)-10B(16)描述的实验的更详细的结果。针对图10C(4)、(5)、(6)中的最小特征，图10C(7)是线的轨迹图。如在图10B和10C中由重构图像示出的，带数字重聚焦的FPI方法可实现0.3mm的分辨率不变的成像深度。
图10D(1)-(3)是根据本发明的实施方式的来自执行具有和不具有数字重聚焦的FPI方法的用于比较的实验结果的图像。在图10D(2)和10D(3)中，示出来源于使用实施方式的FPI方法的具有和不具有数字重聚焦(例如，步骤1520和1540)的用于比较的图像重构。图10D(1)是在z＝-150μm的原始数据的低分辨率图像。为了进行比较，图10D(2)是用数字重聚焦重构的高分辨率图像，且图10D(3)是不用数字重聚焦重构的高分辨率图像。
用FPI方法的数字重聚焦代表了对常规显微镜的另一种显著改善。数字重聚焦可校正：1)其中在整个视场中样本未完全对准的情况，和2)用于色差数字化(针对不同的颜色分配不同的散焦距离)。
图10E(1)、10E(2)、10E(3)、10E(4)、10E(5)、10E(6)、10E(7)和10E(8)根据本发明的实施方式提供了来自使用FPI系统10执行带数字重聚焦的FPI方法的示例性结果，其用于校正在血液涂片和病理切片中的色差。FPI系统10包括图2B的FPI设备100(a)。图10E(1)是如由FPI系统10获得的血液涂片的典型的低分辨率图像。图10E(2)是如由FPI系统10获得的病理切片的典型的低分辨率图像。图10E(3)是如用数字重聚焦计算重构的血液涂片的高分辨率图像。图10E(4)是如用数字重聚焦计算重构的病理切片的高分辨率图像。图10E(5)是如不用数字重聚焦计算重构的血液涂片的高分辨率图像。图10E(6)是如不用数字重聚焦计算重构的病理切片的高分辨率图像。图10E(7)和10E(8)分别是用于比较的血液涂片和病理切片的带20X物镜的常规显微镜图像。
C、利用数字自动聚焦的FPI方法
FPI系统10的操作期间，样本20的z位置可能不是已知先验的。在某些实施方式中，FPI方法可包括数字自动聚焦步骤，其决定样本20的z位置并使用该z位置以数字重聚焦。例如，图6B的FPI方法还可在步骤1520期间或之前包括步骤，其计算样本20的z位置。FPI系统10可以通过使用处理器210执行数字自动聚焦以使用样本的计算的z位置执行图6B中的步骤1520和1540。为了计算样本20的z位置，FPI方法确定的自动聚焦索引参数。通过以下的公式定义自动聚焦索引：
自动聚焦索引：
其中：是来自低通滤波的振幅图像，且
是实际的低分辨率测量结果。
在公式2中的总和针对所有斜入射角度。在FPI方法计算样本20的估计的z位置之后，FPI方法可数字重聚焦于所估计的z位置。在一些情况下，当使用精确的z位置时，已经发现高分辨率图像解收敛更好。
图10F(1)、10F(2)、10F(3)、10F(4)、10F(5)、10F(6)和10F(7)根据本发明的实施方式包括来自使用FPI系统10执行带数字自动聚焦的FPI方法的实验结果。该FPI方法计算自动聚焦索引用于自动计算样本的z位置。在该第一情况下，将样本置于z0＝-150μm处。图10F(1)、10F(2)和10F(3)是样本在z0＝-150μm处的重构的图像。在该第二情况下，将样本置于在FPI设备的z0＝-50μm处。图10F(4)、10F(5)和10F(6)是样本在z0＝-50μm处的重构的图像。使用FPI的方法，FPI系统10基于公式2计算关于不同z位置的自动聚焦索引。图10F(7)是关于不同z位置的计算的自动聚焦索引值的曲线图。自动聚焦索引的最大值表明样本的估计的z位置。如图所示，基于最大计算的自动聚焦索引估计的位置靠近样本的实际位置。使用估计的位置，FPI方法可自动聚焦传播图像到估计的位置。
D、利用数字波前校正的FPI方法
虽然FPI方法不需要作为输入的相位信息，但是某些实施方式的FPI方法在迭代重构期间调节相位。在这些实施方式中，景深可延伸超出使用数值策略的物镜的景深，以补偿在光瞳函数中的像差。这种象差补偿策略的实例可在Gutzler,T.、Hillman,T.R.、Alexandrov,S.A.和Sampson,D.D.的“Coherent aperture-synthesis,wide-field,high-resolution holographic microscopy of biological tissue,”Opt.Lett.35,第1136–1138页(2010),以及Colomb,T.等人的“Automatic procedure for aberrationcompensation in digital holographic microscopy and applications to specimenshape compensation,”Appl.Opt.45,851–863(2006)中找到，它们据此通过引用以其整体并入本文。在迭代图像恢复过程中，数字校正过程将相位图数字地引入到相干光传递函数以补偿在光瞳平面的像差。
图9A是根据本发明的另一实施方式的图6A的FPI方法的步骤1500的子步骤的流程图。在该实例中，FPI方法包括数字波前校正。在两个乘法步骤1605和1645中FPI方法结合数字波前补偿。具体地，步骤1605通过由处理器210乘以光瞳函数来模拟实际样本轮廓和捕获的强度数据(其包括像差)之间的连接。步骤1645反转这种连接，以实现无像差重构图像。样本散焦实质上等同于引入散焦相位因子(即，散焦像差)到光瞳平面：
其中，kx和ky是光瞳平面处的波数，z0为散焦距离，且NA是光学元件的数值孔径。
在步骤1605，处理器210乘以在傅立叶域中的相位因子
在步骤1610，处理器210执行在傅立叶域中的高分辨率图像的低通过滤以针对具有波矢量(kx i,ky i)的特定平面波入射角度(θx i,θy i)产生低分辨率图像高分辨率图像的傅立叶变换是且针对特定的平面波的入射角度的低分辨率图像的傅立叶变换是在傅立叶域中，FPI方法从高分辨率图像的频谱过滤低通区域。在用以物镜形式的光学元件的情况下，该区域是具有半径为NA*k0圆形孔径，其中k0等于由物镜的相干传递函数给定的2π/λ(在真空中的波数)。在傅立叶空间中，该区域的位置对应于入射角度。对于具有波矢量(kx i,ky i)的倾斜平面波入射，该区域以的傅立叶域中的位置(-kx i,-ky i)为中心。
在步骤1630，使用处理器210，在焦点对准平面的低分辨率图像的计算的振幅分量用由FPI设备的辐射检测器测量的低分辨率强度测量结果的平方根替代。这形成了更新的低分辨率目标
在步骤1645，处理器210乘以在傅立叶域中的逆相位因子
在步骤1650，使用处理器210，傅立叶变换应用于传播到采样平面的更新的目标图像并且该数据在对应于入射波矢量(kx i,ky i)的傅立叶空间中的高分辨率解的对应的区域中更新
在步骤1660，处理器210确定步骤1605到1650是否针对所有的入射角度已经完成。如果步骤1605到1650尚未针对所有的入射角度完成，则针对下一个入射角度重复步骤1605到1650。
在大多数实施方式中，针对每个入射角度迭代更新的傅立叶空间中的邻近区域彼此重叠。在更新的重叠区域之间的重叠面积中，FPI系统10在相同的傅立叶空间上进行多次采样。入射角度决定重叠区域的面积。在一个实施方式中，相邻区域之间的重叠面积可具有相邻区域之一的面积的2％到99.5％之间的面积。在另一个实施方式中，相邻区域之间的重叠面积可具有相邻区域之一的面积的65％到75％之间的面积。在另一个实施方式中，相邻区域之间的重叠面积可具有相邻区域之一的面积的约65％的面积。在某些实施方式中，每个重叠区域具有相同的面积。
在步骤1670，处理器210决定高分辨率解是否已收敛。例如，处理器210可确定高分辨率解是否可能已经收敛到自相容的解。在一种情况下，处理器210将前一次迭代或初始猜测的前一次高分辨率解与当前高分辨率解进行比较，且如果差值小于某一值，则解可能已经收敛到自相容的解。如果处理器210确定解还未收敛，则重复步骤1605到1670。在一个实施方式中，重复一次步骤1605到1670。在其它实施方式中，重复两次或两次以上的步骤1605到1670。如果解已经收敛，则处理器210转换在傅立叶空间中收敛的解到空间域以恢复高分辨率图像如果处理器210确定解在步骤1570已收敛，则过程可进行到可选的步骤1600。
图9B是根据本发明的实施方式的实现带数字波前校正的FPI方法的FPI设备100的示意图。如所示，在步骤1605和1645引入数字光瞳函数以模拟在实际的样本轮廓和所捕获的强度数据之间的连接，其可显示由散焦造成的像差。带数字波前校正的FPI方法也可用于校正光学元件(例如，物镜)的空间变化的像差。
如果散焦距离是未知的，则FPI方法基于计算来自公式4的自动聚焦索引可数字地调节“z”参数到不同的值。然后，FPI方法可重构相应的图像，并选择最清晰的图像。这种方法也可扩展以对分块的样本成像。在这种情况下，FPI方法可数字地调节“z”参数以实现对整个图像的每个分块区域的锐度，并结合焦点对准区域以形成全视场的完全聚焦的图像。
在其它实施方式中，只要因子正确模拟所采用的光学器件，则可替换的数字乘法相位因子可包括在乘法步骤1605和1645中，以校正各种像差。E、恢复过程的估计的计算成本
假设由辐射检测器捕获的低分辨率图像包含n个像素且N个不同的光元件被用于照射，图6B的示出的实例的恢复过程的计算成本可通过步骤1510、1550和1570的计算成本来近似。在恢复过程的步骤1510中，执行二维快速傅立叶变换(FFT)以产生低分辨率图像且相应的计算成本为n2·log(n)在步骤1550中，执行另一个FFT以更新的傅立叶空间的相应区域，且相应的计算成本为n2·log(n)。在步骤1560，对于所有入射角度重复一次以上计算，且因此计算成本为N·2·n2·log(n)。如果重复一次步骤1570，则计算成本为2·N·2·n2·log(n)。相比以上的值，可忽略在恢复过程中的其它步骤。总之，图6B的FPI方法的计算复杂度是4·N·n2·log(n)，其中N是斜入射的总数，且n是低分辨率图像的像素总数。
IV、利用彩色成像和/或相位成像的示例性的FPI系统
A、彩色成像
在病理学和组织学中彩色成像能力是关键的。在某些实施方式中，能够彩色成像的FPI系统10包括带具有光元件的LED的可变照射器，其中光元件可提供红色、绿色和蓝色照射。FPI方法将获得自红色、绿色和蓝色LED照射的高分辨率图像组合成每个相应的彩色信道以形成最终的高分辨率彩色图像。产生的对应于红色、绿色和蓝色的三个图像被组合以形成高分辨率的彩色图像。
为了演示用于数字病理学应用的该FPI系统10的实现，将该彩色成像系统用于获取病理切片(人类的乳腺癌部分，卡罗莱纳州)的彩色高分辨率图像。图11A(1)是示出对于用于比较的常规显微镜的2X物镜和20X物镜两者的病理切片的视场。对于2X物镜的情况，如由图11A(2)和图11A(3)的图像所示，常规显微镜中的FOV的直径为～13.25mm，且NA为0.08。另一方面，对于20X物镜，20X物镜的NA为0.4，其比2X物镜的NA高得多，而FOV直径仅为1.1mm，如图11A(4)和11A(5)中所示。使用带实施方式的2X物镜的彩色成像FPI系统10，视场与2X情况(即，直径为13.25mm)相同，而最大NA为～0.5，由Nyquist速率导致全部整个图像超过1.8千兆像素。图11A(6)和图11A(7)是根据本发明的实施方式的示出FPI系统10的视场和相应的最大NA的彩色图像。
图11B根据本发明的实施方式包括使用彩色成像FPI系统10的结果。对应于图11B(1)-(18)的图像的行与分别关于红色、绿色和蓝色照射重构的图像相关联。图11B(19)是原始彩色图像。图11B(20)是由FPI系统10计算重构的带数字重聚焦的彩色图像。图11B(21)是由40X物镜和彩色图像传感器所捕获的用于比较的图像。图11C(1)、11C(2)、11C(3)、11C(4)、11C(5)和11C(6)是示出在彩色成像FPI系统10和不同的物镜之间的图像质量的对比的彩色图像。图11C(6)是由FPI系统10计算重构的图像。图11C(1)、11C(2)、11C(3)、11C(4)和11C(5)是分别由2X、4X、10X、20X和40X物镜捕获的用于比较的图像。B、相位成像
相位成像在众多应用中是有用的。例如，组织病理切片的相位轮廓可包含关于组织的分子尺度组构的信息，并可用作为癌症诊断的固有标记，如在Wang,Z.、Tangella,K.、Balla,A和Popescu,G.的“Tissue refractive index as marker of disease”Journal ofBiomedical Optics 16,116017-116017(2011)中讨论的,其据此通过引用以其整体并入本文。作为另一个实例，样本的相位信息也可用于测量细胞或细胞器的光学路径长度，以决定细胞培养物的生长模式或执行血液筛查，如在Lue,N.等人的“Live Cell RefractometryUsing Hilbert Phase Microscopy and Confocal Reflectance Microscopy”TheJournal of Physical Chemistry A,113,第13327-13330页(2009)，Mir,M.等人的“Optical measurement of cycle-dependent cell growth”Proceedings of theNational Academy of Sciences 108，第13124-13129页(2011)，以及Mir,M.等人的“Bloodscreening using diffraction phase cytometry,”Journal of Biomedical Optics 15，第027016-027014页(2010)中论述的，它们据此通过引用以其整体并入本文。
最常规的全场相位成像技术使用干涉法，其需要精致的和精心设计的光学对准。对比这些常规技术，实施方式的FPI方法是对于研究人员和临床医生将相位成像功能并入他们的当前的显微镜系统的容易和经济高效的解决方案。图11D中的图像根据本发明的实施方式包括来自使用用于病理切片和血液涂片的带彩色成像FPI系统10的FPI方法的相位和彩色图像。图11D(1)和11D(2)是低分辨率图像。图11D(3)和11D(4)是高分辨率强度图像。图11D(5)和11D(6)是高分辨率相位图像。图11D(7)和11D(8)是高分辨率彩色图像。图11D(9)和11D(10)是来自具有20X物镜的常规显微镜的用于比较的图像。通过采用合成的高分辨率图像的相位角度生成相位图像。
V.另外的模拟结果
在该部分和在公开内容中其它部分提供根据本发明的实施方式执行FPI方法的FPI系统的数值模拟的一些结果。在许多实施方式中，FPI系统使用FPI方法以借助于低NA镜头重构高分辨率图像。
作为实例，图5A根据本发明的实施方式示出了来自使用FPI方法的FPI系统的数值模拟的结果。图5A包括两个图像(左手边)，其表示模拟的样本强度轮廓I(x,y)和相位轮廓(x,y)。这两个输入轮廓的像素大小为275nm，且模拟的入射波长为632nm。在该模拟中，使用具有以二维阵列的光元件形式的多个固定光元件的FPI设备100(a)执行该方法。在测量过程中，在137个不同入射角度通过平面波照射样本，并通过2X物镜(0.08NA)进行过滤，且然后由具有5.5μm像素尺寸的图像传感器捕获。在该模拟中，假定样本放置在物镜的焦距内位置(即在焦点对准平面122)。所得到的以1％的随机斑点噪声添加的低分辨率图像示于图5A的中间部分。基于这些低分辨率图像，恢复过程被用来计算重构具有傅立叶空间中的最大NA为0.5的高分辨率图像。在恢复过程中，低通滤波后图像的强度由实际低分辨率测量结果替换，并相应地更新高分辨率重构的相应的傅立叶空间。图5A的右手边中示出重构的高分辨率图像的强度和相位轮廓。可恢复样本的高分辨率图像而不涉及在数据采集测量过程中的相位测量结果。
图5B(1)、5B(2)、5B(3)、5B(4)、5B(5)、5B(6)、5B(7)、5B(8)、5B(9)、5B(10)、5B(11)和5B(12)示出了来自使用根据关于图5A所讨论的实施方式的FPI方法的FPI系统的数值模拟的更多结果。图5B(1)、5B(2)、5B(3)、5B(4)、5B(5)、5B(6)、5B(7)、5B(8)和5B(9)是在该模拟期间获得的137个之外的9个低分辨率测量结果的图像。图5B(10)和5B(11)分别是计算重构的高分辨率强度和相位图像。图5B(12)是恢复图像的傅立叶空间。突出显示低分辨率图像的对应区域。
VI.吞吐量增强因子
基于在原始低分辨率图像的最大象素大小和高分辨率图像的最大像素大小之间的像素大小比率，使用FPI系统的增强因子可表示为：
增强因子＝2·NAsyn/NAobj (公式3)
增强因子越大，系统吞吐量越高。
在某些实施方式中，FPI系统10可具有一定的采样条件以提供特定的增强因子。通常，采样条件可与两个问题相关联：1)给定的物镜NA，其是可用于获取低分辨率强度图像的最大像素的大小；2)给定的重构图像的合成NA，其是可用于表示重构的强度图像的最大像素的大小。由于实施方式的FPI方法可恢复强度和相位信息两者，故问题1的回答与相干光学系统的采样条件相同：λ/(2·NAobj)。对于问题2，合成NA用于电场E(具有振幅和相位)。另一方面，最终的重构用于强度轮廓I(I＝E·E*，其中“*”表示复共轭)。在空间域中电场的这种乘法对应于在傅立叶域中的卷积运算。同样地，重构的强度图像的通频带在傅立叶域中为双倍。因此，在样本平面可用于表示重构的强度图像的最大象素大小为λ/(4·NAobj)。
在某些实施方式中，FPI设备100(a)包括以带0.08NA的2X物镜形式的光学元件和以具有5.5μm像素大小的图像传感器形式的辐射检测器。从对问题2的回答，针对蓝光，在图像平面可使用的最大像素大小为2·λ/(2·NAobj)＝5.88μm。因此，图像传感器的5.5μm的像素大小符合这种采样条件。另一方面，基于对问题2的回答，重构图像的像素大小(在采样平面)针对红色、绿色和蓝色波长是0.34μm、0.30μm和0.28μm。为简单起见，0.275μm的重构的象素大小用于对应于增强因子为10的实施中的这些三个波长。
VII.FPI系统的优点
本发明的实施方式可提供以下技术优点中的一个或更多个。下面提供了这些优点中的一些实例。
1.傅立叶域中的对象支持。
一方面，FPI方法强加在傅立叶域中的对象支持约束，其提供大FOV和更高信噪比(带聚焦元件)而不需要机械扫描。在常规ptychography系统中，由在空间域中限制的照射提供对象支持。在这些常规系统中，样本必须被机械扫描通过期望的视场。
2.无相位测量
在大多数实施方式中，FPI方法不需要样本的相位测量。常规干涉合成孔径显微镜在它们的检测方案中需要相位测量，如可在Rodenburg,J.M.和Bates,R.H.T.的“Thetheory of super-resolution electron microscopy via Wigner-distributiondeconvolution,”Phil.Trans.R.Soc.Lond.A 339,521–553(1992)，H.M.L.和Rodenburg,J.M.的“Movable aperture lensless transmission microscopy,a novel phaseretrieval algorithm,”Phys.Rev.Lett.93,023903(2004)，Rodenburg,J.M.等人的“Hard-X-ray lensless imaging of extended objects,”Phys.Rev.Lett.98,034801(2007)，Thibault,P.等人的“High-resolution scanning X-ray diffraction microscopy,”Science 321,379–382(2008)，Dierolf,M.等人的“Ptychographic coherent diffractiveimaging of weakly scattering specimens,”New J.Phys.12,035017(2010)，Maiden,A.M.、Rodenburg,J.M.和Humphry,M.J.的“Optical ptychography:a practicalimplementation with useful resolution,”Opt.Lett.35,2585–2587(2010),Humphry,M.、Kraus,B.、Hurst,A.、Maiden,A.和Rodenburg J.的“Ptychographic electronmicroscopy using high-angle dark-field scattering for sub-nanometreresolution imaging,”Nat.Commun.3,730(2012)中描述,它们据此通过引用以其整体并入本文。因为需要没有测量的相位信息，故FPI系统排除了与常规干涉检测方案相关联的设计挑战。
3.空间带宽积超过了光学元件的物理限制。
一个优点可以是，即某些实施方式的FPI系统可增加空间带宽积超出其光学器件的物理限制，同时以简单和具有成本效益的方式避免利用常规设备先前尝试这样做的缺点。这些系统使用FPI方法以将视场与光学器件的分辨率解耦，其允许这些系统产生具有低NA镜头的高分辨率图像。因此，这些FPI系统的吞吐量不受其光学器件的空间带宽积的限制。在一个示例性实施方式中，已经实施了FPI系统，其产生具有最大NA为0.5、120mm 2的视场和0.3mm的分辨率不变的成像深度的1.6千兆像素系统。
4.可扩展的吞吐量
如所讨论的，分辨率和FOV在实施方式的FPI系统中没有耦合。在一个实施方式中，FPI系统可通过使用具有特定NA的物镜和通过使用特定数目N的照射扩展为所期望的吞吐量。例如，可通过减小物镜的NA和/或通过增加数量N的照射来增加FPI系统的吞吐量。在一个实施方式示例中，FPI系统提供了比现有的明视场显微镜的吞吐量高两个数量级的吞吐量，而不使用机械扫描和/或相位测量。
5.可容易地用常规显微镜执行的模块化形式。
在某些情况下，FPI系统的组件可以以容易用常规显微镜或其它常规成像设备的组件实现的模块化形式。这些实施可具有广泛影响数字病理学、血液学、植物解剖学、免疫化学和法医摄影的潜力。例如，FPI系统的模块化组件可包括可变照射器(例如，简单的发光二极管(LED)矩阵)和具有用于执行FPI方法的指令的处理器。
6.无机械扫描。
在某些实施方式中，FPI方法不需要机械扫描。不同于常规的合成孔径和基于扫描的宽FOV显微镜技术，对于实施方式的FPI方法不需要机械扫描。因此，其简化了平台设计，降低了相关联的成本，并允许更高的吞吐量限制。
7.能够彩色成像。
另一个优点可以是，某些实施方式的FPI系统可用于产生彩色图像，其在病理学和组织学的应用中是关键的。在实施方式中，FPI系统可通过具有可变照射器能够进行彩色成像，可变照射器提供不同颜色的(例如，彩色LED矩阵)照射。如果实施数字重聚焦，计算重构的图像可保持没有光学器件的任何色差。
8.数字重聚焦和扩展的景深
为实现在常规显微镜中的最佳分辨率，台子必须用于机械地带动离焦的样本到焦点。在某些实施方式中，FPI方法可数字地计算(而不是机械地)重聚焦图像。这方面对于其中在整个FOV样本不完全对准的情况特别有用。使用数字重聚焦，FPI系统可扩展其景深超出其光学元件的光学限制。例如，一个实施方式的FPI方法可用于扩展常规显微镜的物镜的景深从约80μm到约0.3mm。这种增加的景深可提供额外的优点，即提供大的公差给显微镜切片放置误差，其比常规的系统提高了精度。
9.相位成像能力。
生物样本的相位轮廓包含关于样本分子量尺度足够的信息，并可用作关于不同应用的内在标记。进行相位成像的能力对于数字成像过程(诸如细胞分割和细胞计数)也是有用的。常规全场相位成像技术要求相当精致和精心设计的光学对准。在某些实施方式中，FPI方法提供了对于研究人员和临床医生以将相位成像功能并入他们现有显微镜系统的简单和经济高效的解决方案。FPI方法可重构复杂的样本图像。在某些实施方式中，FPI方法可通过采取复合图像的相位角产生相位图像。
10.X射线和THz应用
在某些实施方式中，FPI方法可扩展到其中镜头是差的和具有非常受限的数值孔径的Terahertz和X射线成像应用。
VIII.用于X射线成像FPI系统
在某些实施方式中，FPI系统10可配置用于X射线成像。在这些实施方式中，傅立叶重叠关联的X射线成像系统10包括带X射线辐射源(例如，X射线管和金属靶)的FPI设备。
在一个实施方式中，傅立叶重叠关联的X射线成像系统10可包括在图4A中所示的具有配置用于使用X射线辐射的组件的FPI设备100(c)。在本实施方式中，FPI设备100(c)包括组件170，其可作为刚性组件安装到台子上(例如，测角台)用于相对于引导X射线辐射的固定的光元件112平移和/或旋转组件170，以从多个N个入射角度提供X射线辐射到样本20。FPI设备100(c)包括机械装置160，其用于相对于光元件112平移和/或旋转组件170。机械装置170可附着到固定的底座。FPI设备100(c)也包括光学元件130(c)和辐射检测器140(c)。这两个组件被分别设计为X射线辐射(即X射线光学元件)和X射线检测器。例如，X射线光学元件可以是微波带板或掠入射反射镜。微波带板可投影全场图像到X射线辐射检测器。例如，X射线辐射检测器可以是X射线敏感的CCD。微波带板和X射线敏感的CCD的实例可在Chao,W.、Harteneck,B.、Liddle,A.、Anderson,E.和Attwood,D.的“Soft X-raymicroscopy at a spatial resolution better than 15nm”Nature,卷435，6月30日,2005)中找到，其据此通过引用以其整体并入本文。在本实施方式中，光元件112可包括固定的X射线辐射源。
在另一个实施方式中，傅立叶重叠关联的X射线成像系统10可包括在图4B中所示的具有配置用于使用X射线辐射的组件的FPI设备100(d)。在本实施方式中，FPI设备100(d)包括从多个N个入射角度引导X射线辐射到样本20的光元件112。FPI设备100(d)相对于样本旋转光元件112。例如，光元件112可绕一个或更多个轴旋转。FPI设备100(d)也包括光学元件130(b)和辐射检测器140(b)。在本实施方式中，光学元件130(b)和辐射检测器140(b)可经设计用于X射线辐射，即可分别是X射线光学元件(例如，微波带板或掠入射反射镜)和X射线辐射检测器(例如，X射线敏感的CCD)。在该实施方式中，光元件112可包括X射线辐射源。
傅立叶重叠关联的X射线成像系统10可执行关于图6A描述的FPI方法。在步骤1100，FPI方法通过相对于引导X射线辐射的固定的光元件112平移和/或旋转组件170提供从多个N入射角度到样本区域的照射以提供从多个N个入射角度到样本20的X射线辐射。
通过执行X射线成像，这些傅立叶重叠关联的X射线成像系统10提供附加的能力。例如，这些系统可提供到样本中的较大的穿透深度。作为另一个实例，X射线成像可允许在10nm或更小的尺寸上的元素和化学鉴定。
IX.子系统
根据实施方式，子系统可存在于FPI系统10中。例如，FPI系统10包括处理器210。在一些情况下，处理器210可以是FPI设备100的组件。在某些情况下，处理器210可以是辐射检测器140的组件。
先前在附图中描述的各种组件可使用一个或更多个子系统操作，以促进本文描述的功能。在附图中的任何组件可使用任何适当数量的子系统以促进本文描述的功能。在一个实例中，子系统经由系统总线互连。这种子系统的一些实例包括打印机、键盘、硬盘(或包括计算机可读介质的其它存储器)、可耦合到显示适配器的显示器230和其它的子系统。外部设备和输入/输出(I/O)设备(其可耦合到I/O控制器)可通过任何数量的现有技术中已知的装置(诸如串行端口)进行连接。例如，串行端口或外部接口可用于将计算设备200连接到广域网(诸如，互联网)、鼠标输入设备、或扫描仪。互连经由系统总线允许处理器210与每个子系统进行通信，并控制来自系统存储器或硬盘的指令的执行，以及子系统之间的信息交换。在某些情况下，系统存储器和/或硬盘可体现CRM 220。这些元件中的任何元件可以存在于先前描述的特征中。
在一些实施方式中，输出设备(诸如FPI系统10的打印机或显示器230)能够输出各种形式的数据。例如，FPI系统10可输出2D彩色/单色图像(强度和/或相位)、与这些图像相关联的数据、或与由FPI系统10执行的分析相关联的其它数据。
可对任何以上描述的FPI方法及其相关联的特征(例如，关于图6A和6B以及其它的图示描述的特征)进行修改、添加或省略而不脱离本公开的范围。任何以上描述的FPI方法可包括更多、更少或其它特征，而不脱离本公开的范围。另外，描述的特征的步骤可以以任何合适的顺序执行，而不脱离本公开的范围。
应该理解的是，可以以使用以模块化或集成的方式的计算机软件的控制逻辑的形式实施如以上所述的本发明。基于本文提供的公开内容和教导，本领域的普通技术人员将会知道和理解使用硬件以及硬件和软件的组合来实现本发明的其它方式和/或方法。
本申请中所描述的任何软件组件或功能可以被实施为将由使用任何合适的计算机语言(例如诸如，使用例如常规或面向对象技术的Java、C++、或Perl)的处理器执行的软件代码。软件代码可以被存储为在CRM(例如随机访问存储器(RAM)、只读存储器(ROM))、磁介质(例如硬盘驱动器或软盘)或光学介质(例如CD-ROM)上的一系列指令或命令。任何这样的CRM可以驻留于单个计算机装置上或在其内部，并且可以存在于系统或网络内的不同的计算装置上或在其内部。
虽然在某些细节上已经描述了前述公开的实施方式以便于理解，但是所描述的实施方式应当被认为是说明性的而不是限制性的。对于本技术领域的一个普通技术人员将明显的是，某些变化和修改可在所附权利要求的范围内实施。
来自任何实施方式的一个或更多个特征可与任何其它实施方式的一个或更多个特征组合，而不脱离本公开内容的范围。此外，任何实施方式可以进行修改、添加或省略，而不脱离本公开内容的范围。任何实施方式的组件可根据特定需求进行集成或分离，而不偏离本公开内容的范围。

Claims (10)

1.一种傅立叶重叠关联成像设备，包括：
可变照射器，其用于从多个入射角度向样本提供照射；
光学元件，其用于过滤从所述样本发出的照射；
检测器，其用于基于由所述光学元件过滤的光获取所述样本的多个经变化照射的、低分辨率的强度图像；以及
处理器，其用于通过用所述经变化照射的、低分辨率的强度图像迭代地更新在傅立叶空间中的重叠区域来以计算方式重构所述样本的高分辨率图像。
2.根据权利要求1所述的傅立叶重叠关联成像设备，其中所述光学元件是低数值孔径物镜。
3.根据权利要求2所述的傅立叶重叠关联成像设备，其中所述低数值孔径物镜具有在约0.02和0.13之间的数值孔径。
4.根据权利要求2所述的傅立叶重叠关联成像设备，其中所述数值孔径物镜具有约0.08的数值孔径。
5.根据权利要求2所述的傅立叶重叠关联成像设备，其中，在所述多个入射角度中的所述两个最邻近的入射角度之间的差在对应于所述低孔径物镜的数值孔径的接受角的10％和90％之间。
6.一种傅立叶重叠关联成像方法，包括：
使用可变照射器从多个入射角度照射样本；
利用光学元件过滤从所述样本发出的光；
使用检测器捕获所述样本的多个经变化照射的、低分辨率的强度图像；以及
通过迭代地更新在傅立叶空间中的经变化照射的、低分辨率的强度图像的重叠区域，以计算方式重构所述样本的高分辨率图像。
7.一种傅立叶重叠关联成像方法，包括：
接收样本的多个经变化照射的、低分辨率的强度图像；
通过迭代地更新在傅立叶空间中的经变化照射的、低分辨率的强度图像的重叠区域，以计算方式重构所述样本的高分辨率图像。
8.一种傅立叶重叠关联X射线成像系统，包括：
组件，其用于捕获的样本的多个经变化照射的、低分辨率的强度X射线图像；以及
处理器，其用于通过用所述经变化照射的、低分辨率的强度X射线图像迭代地更新傅立叶空间中的重叠区域而以计算方式重构所述样本的高分辨率X射线图像。
9.一种傅立叶重叠关联X射线成像方法，所述方法包括：
基于多个入射角度，获得样本的多个经变化照射的、低分辨率的强度X射线图像；以及
通过迭代地更新在傅立叶空间中的经变化照射的、低分辨率的强度X射线图像的重叠区域，以计算方式重构所述样本的高分辨率X射线图像。
10.一种傅立叶重叠关联X射线成像系统，包括：
光元件，其被配置以旋转，从而从多个入射角度向样本提供X射线辐射；
X射线光学元件；
X射线辐射检测器，其用于基于来自所述X射线光学元件的X射线辐射，捕获所述样本的多个经变化照射的、低分辨率的强度X射线图像；以及
处理器，其用于通过用所述经变化照射的、低分辨率的强度X射线图像迭代地更新傅立叶空间中的重叠区域来以计算方式重构所述样本的高分辨率X射线图像。
CN201810576437.8A 2012-10-30 2013-10-28 傅立叶重叠关联成像系统、设备和方法 Pending CN108761752A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261720258P 2012-10-30 2012-10-30
US61/720,258 2012-10-30
US201361847472P 2013-07-17 2013-07-17
US61/847,472 2013-07-17
CN201380068831.6A CN104885187B (zh) 2012-10-30 2013-10-28 傅立叶重叠关联成像系统、设备和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201380068831.6A Division CN104885187B (zh) 2012-10-30 2013-10-28 傅立叶重叠关联成像系统、设备和方法

Publications (1)

Publication Number Publication Date
CN108761752A true CN108761752A (zh) 2018-11-06

Family

ID=50546739

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201380068831.6A Active CN104885187B (zh) 2012-10-30 2013-10-28 傅立叶重叠关联成像系统、设备和方法
CN201810576437.8A Pending CN108761752A (zh) 2012-10-30 2013-10-28 傅立叶重叠关联成像系统、设备和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201380068831.6A Active CN104885187B (zh) 2012-10-30 2013-10-28 傅立叶重叠关联成像系统、设备和方法

Country Status (9)

Country Link
US (4) US9892812B2 (zh)
EP (1) EP2915180B1 (zh)
JP (1) JP2015535348A (zh)
CN (2) CN104885187B (zh)
AU (1) AU2013338193A1 (zh)
CA (1) CA2889495A1 (zh)
SG (1) SG11201503293VA (zh)
TW (1) TW201428339A (zh)
WO (1) WO2014070656A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2785213C1 (ru) * 2021-12-03 2022-12-05 федеральное государственное бюджетное образовательное учреждение высшего образования "Донской государственный технический университет" (ДГТУ) Устройство формирования изображения высокого разрешения в безлинзовой камере

Families Citing this family (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9864184B2 (en) 2012-10-30 2018-01-09 California Institute Of Technology Embedded pupil function recovery for fourier ptychographic imaging devices
US9892812B2 (en) 2012-10-30 2018-02-13 California Institute Of Technology Fourier ptychographic x-ray imaging systems, devices, and methods
US10652444B2 (en) 2012-10-30 2020-05-12 California Institute Of Technology Multiplexed Fourier ptychography imaging systems and methods
JP2016534389A (ja) * 2013-07-31 2016-11-04 カリフォルニア インスティチュート オブ テクノロジー 開口走査フーリエタイコグラフィ撮像
CA2921372A1 (en) 2013-08-22 2015-02-26 California Institute Of Technology Variable-illumination fourier ptychographic imaging devices, systems, and methods
EP3076219B1 (en) * 2014-01-07 2020-04-08 Sony Corporation Analysis system, analysis program, and analysis method
US9483869B2 (en) * 2014-01-17 2016-11-01 Intel Corporation Layered reconstruction for defocus and motion blur
US11468557B2 (en) 2014-03-13 2022-10-11 California Institute Of Technology Free orientation fourier camera
US9817224B2 (en) 2014-04-30 2017-11-14 University Of Connecticut Methods and systems for Fourier ptychographic imaging
US10162161B2 (en) 2014-05-13 2018-12-25 California Institute Of Technology Ptychography imaging systems and methods with convex relaxation
WO2015179452A1 (en) * 2014-05-19 2015-11-26 The Regents Of The University Of California Fourier ptychographic microscopy with multiplexed illumination
DE102014109687B4 (de) 2014-07-10 2020-03-19 Carl Zeiss Microscopy Gmbh Positionsbestimmung eines Objekts im Strahlengang einer optischen Vorrichtung
DE102014110302B3 (de) 2014-07-22 2015-09-03 Carl Zeiss Ag Verfahren und Vorrichtung zum Abbilden eines Objekts
CN104181686B (zh) * 2014-08-25 2016-08-17 清华大学深圳研究生院 基于fpm的光场显微方法
DE102014112242A1 (de) * 2014-08-26 2016-03-03 Carl Zeiss Ag Phasenkontrast-Bildgebung
JP2016052116A (ja) * 2014-08-28 2016-04-11 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法およびコンピュータプログラム
DE102014112648A1 (de) * 2014-08-29 2016-03-03 Carl Zeiss Ag Bildaufnahmevorrichtung und Verfahren zur Bildaufnahme
WO2016061070A1 (en) 2014-10-14 2016-04-21 Nanotronics Imaging, Inc. Unique oblique lighting technique using a brightfield darkfield objective and imaging method relating thereto
JP6631886B2 (ja) * 2014-10-27 2020-01-15 パナソニックＩｐマネジメント株式会社 画像形成システム、画像形成方法、撮像素子、およびプログラム
CN107111125B (zh) * 2014-12-04 2020-12-01 加州理工学院 多路复用傅立叶重叠关联成像的系统和方法
CN110873957A (zh) * 2014-12-22 2020-03-10 加州理工学院 用于厚样本的epi照明傅立叶重叠关联成像
AU2014280898A1 (en) * 2014-12-23 2016-07-07 Canon Kabushiki Kaisha Reconstruction algorithm for Fourier Ptychographic imaging
AU2014280894A1 (en) * 2014-12-23 2016-07-07 Canon Kabushiki Kaisha Illumination systems and devices for Fourier Ptychographic imaging
CA2970063A1 (en) * 2015-01-21 2016-07-28 California Institute Of Technology Fourier ptychographic tomography
US9829695B2 (en) 2015-01-26 2017-11-28 California Institute Of Technology Array level Fourier ptychographic imaging
JP6528264B2 (ja) * 2015-01-27 2019-06-12 国立研究開発法人理化学研究所 イメージング装置及び方法
US10410398B2 (en) * 2015-02-20 2019-09-10 Qualcomm Incorporated Systems and methods for reducing memory bandwidth using low quality tiles
WO2016138255A1 (en) 2015-02-27 2016-09-01 Brigham And Women's Hospital, Inc. Imaging systems and methods of using the same
EP3268769A4 (en) 2015-03-13 2018-12-05 California Institute of Technology Correcting for aberrations in incoherent imaging system using fourier ptychographic techniques
US9993149B2 (en) 2015-03-25 2018-06-12 California Institute Of Technology Fourier ptychographic retinal imaging methods and systems
DE102015107517B3 (de) 2015-05-13 2016-06-23 Carl Zeiss Ag Vorrichtung und Verfahren zur Bildaufnahme mit erhöhter Schärfentiefe
WO2016187591A1 (en) * 2015-05-21 2016-11-24 California Institute Of Technology Laser-based fourier ptychographic imaging systems and methods
EP3106862B1 (en) * 2015-06-18 2019-01-16 FEI Company Method of ptychographic imaging
WO2017046793A1 (en) * 2015-09-16 2017-03-23 Technion Research & Development Foundation Limited Pt ycho graph υ system
WO2017081540A1 (en) * 2015-11-11 2017-05-18 Scopio Lab Ltd. Scanning microscope with real time response
US20180373016A1 (en) * 2015-11-11 2018-12-27 Scopio Labs Ltd. Microscope having a refractive index matching material
EP3374816A2 (en) 2015-11-11 2018-09-19 Scopio Labs Ltd. Computational microscopes and methods for generating an image under different illumination conditions
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
US10176567B2 (en) * 2015-12-21 2019-01-08 Canon Kabushiki Kaisha Physical registration of images acquired by Fourier Ptychography
US10648924B2 (en) * 2016-01-04 2020-05-12 Kla-Tencor Corp. Generating high resolution images from low resolution images for semiconductor applications
JP6710759B2 (ja) * 2016-01-14 2020-06-17 プリズマティック、センサーズ、アクチボラグＰｒｉｓｍａｔｉｃ Ｓｅｎｓｏｒｓ Ａｂ Ｘ線検出器用の測定回路、ならびに対応する方法およびｘ線撮像システム
EP3420560B1 (en) 2016-02-26 2023-05-10 Shenzhen Xpectvision Technology Co., Ltd. Methods of data output from semiconductor image detector
WO2017181044A1 (en) * 2016-04-15 2017-10-19 The Regents Of The University Of California Optical phase retrieval systems using color-multiplexed illumination
DE102016116311A1 (de) 2016-05-02 2017-11-02 Carl Zeiss Microscopy Gmbh Winkelselektive Beleuchtung
US10568507B2 (en) 2016-06-10 2020-02-25 California Institute Of Technology Pupil ptychography methods and systems
US11092795B2 (en) 2016-06-10 2021-08-17 California Institute Of Technology Systems and methods for coded-aperture-based correction of aberration obtained from Fourier ptychography
CN106127767B (zh) * 2016-06-24 2019-06-07 南京理工大学 一种针对傅立叶叠层显微成像技术的位置校正方法
US10048132B2 (en) * 2016-07-28 2018-08-14 Kla-Tencor Corporation Simultaneous capturing of overlay signals from multiple targets
CN106199941A (zh) * 2016-08-30 2016-12-07 浙江大学 一种移频光场显微镜以及三维超分辨微观显示方法
US11032494B2 (en) * 2016-09-28 2021-06-08 Versitech Limited Recovery of pixel resolution in scanning imaging
US10539783B1 (en) * 2016-10-17 2020-01-21 National Technology & Engineering Solutions Of Sandia, Llc Compressive sensing optical design and simulation tool
US10935779B2 (en) 2016-10-27 2021-03-02 Scopio Labs Ltd. Digital microscope which operates as a server
US10558029B2 (en) 2016-10-27 2020-02-11 Scopio Labs Ltd. System for image reconstruction using a known pattern
CN106371201B (zh) * 2016-11-03 2018-11-09 清华大学 基于计算鬼成像的傅里叶重叠关联成像系统及方法
EP3538941A4 (en) 2016-11-10 2020-06-17 The Trustees of Columbia University in the City of New York METHODS FOR FAST IMAGING OF HIGH RESOLUTION LARGE SAMPLES
CN110140348B (zh) * 2016-12-27 2020-12-25 富士胶片株式会社 摄像装置及摄像模块
CN106767534B (zh) * 2016-12-30 2018-12-11 北京理工大学 基于fpm的立体显微系统和配套三维面形高分重构方法
DE102017201252A1 (de) * 2017-01-26 2018-07-26 Universität Ulm Verfahren und Vorrichtung zur Untersuchung von Zellen
CN106875338B (zh) * 2017-02-16 2020-05-08 清华大学深圳研究生院 一种基于群组稀疏处理的图像超分辨率处理方法
DE102017106984B4 (de) 2017-03-31 2022-02-10 Carl Zeiss Microscopy Gmbh Lichtmikroskop und Verfahren zum Betreiben eines Lichtmikroskops mit optimierter Beleuchtungsgeometrie
WO2019017501A1 (ko) * 2017-07-17 2019-01-24 주식회사 스몰머신즈 표적물질의 정량 분석 방법 및 이를 이용한 표적물질의 정량 분석 디바이스
CN107290846B (zh) * 2017-08-04 2019-06-21 南京理工大学 基于环状可编程led照明的定量相位显微成像方法
DE102017121291A1 (de) 2017-09-14 2019-03-14 Carl Zeiss Microscopy Gmbh Bestimmung von Aberrationen mittels Winkel-variabler Beleuchtung
EP3460585B1 (en) * 2017-09-25 2021-07-14 Imec Vzw An imaging device for in-line holographic imaging of an object
US10754140B2 (en) 2017-11-03 2020-08-25 California Institute Of Technology Parallel imaging acquisition and restoration methods and systems
US11269172B2 (en) * 2017-11-24 2022-03-08 Sigtuple Technologies Private Limited Method and system for reconstructing a field of view
CN108362643B (zh) * 2018-02-10 2020-06-16 北京工业大学 一种双高度照明傅里叶叠层显微成像方法
US10247910B1 (en) 2018-03-14 2019-04-02 Nanotronics Imaging, Inc. Systems, devices and methods for automatic microscopic focus
US10692184B2 (en) * 2018-07-05 2020-06-23 SVXR, Inc. Super-resolution X-ray imaging method and apparatus
US20200137380A1 (en) * 2018-10-31 2020-04-30 Intel Corporation Multi-plane display image synthesis mechanism
US11748863B2 (en) * 2018-11-30 2023-09-05 Nec Corporation Image matching apparatus, image matching method, and program
WO2020131864A1 (en) 2018-12-18 2020-06-25 Pathware Inc. Computational microscopy based-system and method for automated imaging and analysis of pathology specimens
CN110286482A (zh) * 2019-05-24 2019-09-27 北京理工大学 一种分组式傅里叶叠层显微重建方法
US11523046B2 (en) * 2019-06-03 2022-12-06 Molecular Devices, Llc System and method to correct for variation of in-focus plane across a field of view of a microscope objective
CN112051239B (zh) * 2019-06-05 2024-04-12 中国科学院上海光学精密机械研究所 基于动态散射系统的在探测面积受限情况下的成像方法
JP7322549B2 (ja) * 2019-06-28 2023-08-08 セイコーエプソン株式会社 画像処理方法および画像処理装置
CN110378981B (zh) * 2019-07-19 2022-11-15 中国科学院长春光学精密机械与物理研究所 基于神经网络的傅里叶叠层显微镜光瞳恢复方法
US11854281B2 (en) * 2019-08-16 2023-12-26 The Research Foundation For The State University Of New York System, method, and computer-accessible medium for processing brain images and extracting neuronal structures
KR102278782B1 (ko) * 2019-09-16 2021-07-20 주식회사 스몰머신즈 능동 가변 스펙클 조명 대면적 고해상도 영상 기기 및 이를 이용한 이미징 방법
EP3796067A1 (de) 2019-09-18 2021-03-24 Siemens Aktiengesellschaft Aufnahmeeinrichtung zum erzeugen eines hochaufgelösten bildes eines sich durch einen aufnahmebereich bewegenden objekts sowie verfahren
CN110942423B (zh) * 2019-10-08 2023-04-28 杭州电子科技大学 一种基于傅里叶叠层成像的远场超分辨率重建方法
CN112666697B (zh) * 2019-10-15 2022-06-10 南京理工大学 基于彩色复用照明的单帧差分相衬定量相位成像方法
WO2021158642A1 (en) * 2020-02-03 2021-08-12 Arizona Board Of Regents On Behalf Of The University Of Arizona System and method for measuring distorted illumination patterns and correcting image artifacts in structured illumination imaging
KR102432435B1 (ko) * 2020-05-04 2022-08-17 주식회사 스몰머신즈 발광소자 어레이를 이용한 영상 획득 방법 및 장치
US11689821B2 (en) 2020-08-07 2023-06-27 The Government Of The United States Of America, As Represented By The Secretary Of The Navy Incoherent Fourier ptychographic super-resolution imaging system with priors
CN112255776B (zh) * 2020-11-10 2022-08-02 四川欧瑞特光电科技有限公司 一种点光源扫描照明方法及检测装置
CN112946373B (zh) * 2021-02-01 2024-02-09 北京邮电大学 一种基于紧缩场系统的无相位测量方法及装置
WO2022183078A1 (en) * 2021-02-25 2022-09-01 California Institute Of Technology Computational refocusing-assisted deep learning
CN113341553B (zh) * 2021-05-27 2022-09-20 杭州电子科技大学 一种傅里叶叠层显微彩色成像方法
CN113671682B (zh) * 2021-08-23 2023-05-23 北京理工大学重庆创新中心 一种基于傅里叶叠层显微成像的频域光源位置精确校正方法
TWI787134B (zh) * 2022-05-26 2022-12-11 國立臺灣大學 一種用於快速雜訊抑制對比度增強的資料處理方法及包含其的影像採集和處理系統
WO2024013161A1 (en) * 2022-07-15 2024-01-18 Asml Netherlands B.V. Obtaining high resolution information from low resolution images

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996028751A1 (en) * 1995-03-16 1996-09-19 Philips Electronics N.V. Method for particle wave reconstruction in a particle-optical apparatus
CN102629371A (zh) * 2012-02-22 2012-08-08 中国科学院光电技术研究所 基于实时盲图像复原技术的视频像质改善系统
CN102652680A (zh) * 2011-03-01 2012-09-05 贺宁 基于非均匀傅里叶变换的超声层析成像方法

Family Cites Families (156)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5475527A (en) 1994-09-26 1995-12-12 The Regents Of The University Of California Fourier plane image amplifier
KR19980075050A (ko) 1997-03-28 1998-11-05 윤종용 주사 전자 현미경의 가변어퍼쳐
US6144365A (en) 1998-04-15 2000-11-07 S3 Incorporated System and method for performing blending using an over sampling buffer
US6154196A (en) 1998-06-08 2000-11-28 Wacom Co., Ltd. Coordinate input device convertible between right-handed and left-handed modes
US6320648B1 (en) 1998-10-12 2001-11-20 Steven R. J. Brueck Method and apparatus for improving pattern fidelity in diffraction-limited imaging
DE19949029C2 (de) 1999-10-11 2002-11-21 Innovatis Gmbh Verfahren und Vorrichtung zur Charakterisierung einer Kulturflüssigkeit
US6320174B1 (en) 1999-11-16 2001-11-20 Ikonisys Inc. Composing microscope
US20010055062A1 (en) 2000-04-20 2001-12-27 Keiji Shioda Operation microscope
JP3710704B2 (ja) * 2000-11-28 2005-10-26 日本電信電話株式会社 画像パターンの回転角度検出誤差低減方法及びこの方法の実行プログラムを記録した記録媒体
US6856457B2 (en) 2001-03-27 2005-02-15 Prairie Technologies, Inc. Single and multi-aperture, translationally-coupled confocal microscope
DE10128476C2 (de) 2001-06-12 2003-06-12 Siemens Dematic Ag Optische Sensorvorrichtung zur visuellen Erfassung von Substraten
GB0115714D0 (en) 2001-06-27 2001-08-22 Imperial College Structure determination of macromolecules
US6747781B2 (en) 2001-06-25 2004-06-08 Silicon Light Machines, Inc. Method, apparatus, and diffuser for reducing laser speckle
US6741730B2 (en) 2001-08-10 2004-05-25 Visiongate, Inc. Method and apparatus for three-dimensional imaging in the fourier domain
US6870165B2 (en) 2001-10-19 2005-03-22 Biocal Technology, Inc. Multi-color multiplexed analysis in a bio-separation system
EP1466136B1 (en) 2002-01-16 2011-08-03 Faro Technologies, Inc. Laser-based coordinate measuring device and laser-based method for measuring coordinates
US6759949B2 (en) 2002-05-23 2004-07-06 Visteon Global Technologies, Inc. Image enhancement in far infrared camera
WO2004034121A2 (en) 2002-09-23 2004-04-22 Dmetrix, Inc. Multi-mode scanning imaging system
JP4360817B2 (ja) 2002-10-18 2009-11-11 株式会社日立メディコ 放射線断層撮影装置
JP4565192B2 (ja) 2003-03-31 2010-10-20 オムニビジョン テクノロジーズ， インコーポレイテッド 画像システムにおける収差を生じる影響を最小化するための、システムおよび方法
JP4377171B2 (ja) 2003-07-15 2009-12-02 Ｔｄｋ株式会社 空間光変調器
US7738095B2 (en) 2003-07-18 2010-06-15 Chemimage Corporation Method and apparatus for compact spectrometer for detecting hazardous agents
US7823783B2 (en) 2003-10-24 2010-11-02 Cognex Technology And Investment Corporation Light pipe illumination system and method
US8271251B2 (en) * 2004-02-09 2012-09-18 Wisconsin Alumni Research Foundation Automated imaging system for single molecules
US7173256B2 (en) 2004-03-26 2007-02-06 Fox John S Fluorescent image calibration step wedge, and use thereof in illumination for fluorescent imaging and automatic exposure
DE102004017232A1 (de) 2004-04-05 2005-10-20 Bosch Gmbh Robert Interferometrische Messvorrichtung
US7505550B2 (en) 2004-06-16 2009-03-17 Hitachi Medical Corporation Radiotomography apparatus
US7436503B1 (en) 2004-08-03 2008-10-14 Kla-Tencor Technologies Corp. Dark field inspection apparatus and methods
JP2008517352A (ja) 2004-08-09 2008-05-22 クラシフアイ・リミテッド 非接触光学手段および３ｄ指紋認識方法
US7545571B2 (en) 2004-09-08 2009-06-09 Concurrent Technologies Corporation Wearable display system
US20060173313A1 (en) 2005-01-27 2006-08-03 Siemens Medical Solutions Usa, Inc. Coherence factor adaptive ultrasound imaging
US7653232B2 (en) * 2005-01-28 2010-01-26 University Of Massachusetts Phase based digital imaging
US8654201B2 (en) 2005-02-23 2014-02-18 Hewlett-Packard Development Company, L.P. Method for deblurring an image
US7643952B2 (en) 2005-04-05 2010-01-05 The Board Of Trustees Of The Leland Stanford Junior University Optical image processing using minimum phase functions
CN101203790A (zh) 2005-06-03 2008-06-18 博奥生物有限公司 一种微阵列芯片激光扫描仪光学系统
JP2007071803A (ja) 2005-09-09 2007-03-22 Hitachi High-Technologies Corp 欠陥観察方法及びその装置
JP4696890B2 (ja) * 2005-12-12 2011-06-08 富士ゼロックス株式会社 ホログラム記録方法及びホログラム記録装置
JP4727517B2 (ja) 2006-01-11 2011-07-20 富士フイルム株式会社 光源装置および光断層画像化装置
WO2007084959A1 (en) 2006-01-20 2007-07-26 The General Hospital Corporation Systems and methods for providing mirror tunnel microscopy
JP4822925B2 (ja) 2006-04-28 2011-11-24 日本電子株式会社 透過型電子顕微鏡
US7460248B2 (en) 2006-05-15 2008-12-02 Carestream Health, Inc. Tissue imaging system
US8980179B2 (en) 2006-05-17 2015-03-17 University Of Maryland, Baltimore County Angular-dependent metal-enhanced fluorescence
WO2007144193A1 (en) 2006-06-16 2007-12-21 Carl Zeiss Smt Ag Projection objective of a microlithographic projection exposure apparatus
CN101495038A (zh) * 2006-08-03 2009-07-29 加州大学董事会 层析中剂量减少和图像增强的迭代方法
US7838302B2 (en) 2006-08-07 2010-11-23 President And Fellows Of Harvard College Sub-diffraction limit image resolution and other imaging techniques
CN100385275C (zh) 2006-09-29 2008-04-30 李志扬 主动光学位相共轭方法及装置
JP4690379B2 (ja) 2006-12-05 2011-06-01 韓國電子通信研究院 偏光板と高速フーリエ変換を用いたナノ線感知用光学顕微鏡システム
KR20090126285A (ko) 2007-03-20 2009-12-08 크로마 테크놀러지 코포레이션 광원
US8313031B2 (en) 2007-03-30 2012-11-20 Symbol Technologies, Inc. Adaptive aperture for an imaging scanner
US8279329B2 (en) 2007-04-10 2012-10-02 University Of Rochester Structured illumination for imaging of stationary and non-stationary, fluorescent and non-fluorescent, objects
US8624968B1 (en) 2007-04-25 2014-01-07 Stc.Unm Lens-less digital microscope
CN101743519B (zh) 2007-05-16 2013-04-24 视瑞尔技术公司 全息显示装置
WO2008152801A1 (ja) 2007-06-13 2008-12-18 Nikon Corporation 検査装置、検査方法およびプログラム
WO2009009081A2 (en) 2007-07-10 2009-01-15 Massachusetts Institute Of Technology Tomographic phase microscopy
US7929142B2 (en) 2007-09-25 2011-04-19 Microsoft Corporation Photodiode-based bi-directional reflectance distribution function (BRDF) measurement
CN101868740B (zh) 2007-11-23 2012-10-10 皇家飞利浦电子股份有限公司 多模式光斑发生器和多模式多光斑扫描显微镜
US8115992B2 (en) 2007-12-31 2012-02-14 Stc.Unm Structural illumination and evanescent coupling for the extension of imaging interferometric microscopy
US9239455B2 (en) 2007-12-31 2016-01-19 Stc.Unm Structural illumination and evanescent coupling for the extension of imaging interferometric microscopy
CN101408623B (zh) 2008-01-23 2011-01-19 北京航空航天大学 宽带综合孔径上变频成像系统
JP2010012222A (ja) 2008-06-06 2010-01-21 Olympus Medical Systems Corp 医療装置
US8184279B2 (en) 2008-06-16 2012-05-22 The Regents Of The University Of Colorado, A Body Corporate Fourier domain sensing
US7787588B1 (en) 2008-07-21 2010-08-31 Xradia, Inc. System and method for quantitative reconstruction of Zernike phase-contrast images
CN102159934A (zh) 2008-09-26 2011-08-17 株式会社堀场制作所 颗粒物性测量装置
US8019136B2 (en) 2008-12-03 2011-09-13 Academia Sinica Optical sectioning microscopy
GB0822149D0 (en) 2008-12-04 2009-01-14 Univ Sheffield Provision of image data
US8792165B2 (en) 2008-12-22 2014-07-29 3M Innovative Properties Company Internally patterned multilayer optical films with multiple birefringent layers
WO2010088418A1 (en) 2009-01-29 2010-08-05 The Regents Of The University Of California High resolution structured illumination microscopy
CN101872033B (zh) 2009-04-24 2014-04-30 鸿富锦精密工业（深圳）有限公司 遮光片阵列、遮光片阵列制造方法及镜头模组阵列
US20160156880A1 (en) 2009-06-03 2016-06-02 Flir Systems, Inc. Durable compact multisensor observation devices
US8559014B2 (en) * 2009-09-25 2013-10-15 Hwan J. Jeong High-resolution, common-path interferometric imaging systems and methods
WO2011049965A1 (en) 2009-10-20 2011-04-28 The Regents Of The University Of California Incoherent lensfree cell holography and microscopy on a chip
US20140152801A1 (en) 2009-10-28 2014-06-05 Alentic Microscience Inc. Detecting and Using Light Representative of a Sample
WO2011066275A2 (en) 2009-11-25 2011-06-03 Massachusetts Institute Of Technology Actively addressable aperture light field camera
DE102009047361B4 (de) 2009-12-01 2013-02-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zur optischen Abbildung
EP2530459A4 (en) * 2010-01-27 2017-05-10 National University Corporation Hokkaido University Diffraction microscopy
JP5538936B2 (ja) 2010-02-10 2014-07-02 キヤノン株式会社 解析方法、プログラム、記憶媒体、ｘ線位相イメージング装置
WO2011100434A2 (en) 2010-02-10 2011-08-18 Chistopher Su-Yan Own Aberration-correcting dark-field electron microscopy
WO2011161558A1 (en) * 2010-06-21 2011-12-29 Koninklijke Philips Electronics N.V. Method and system for performing low- dose ct imaging
US9129371B2 (en) 2010-06-25 2015-09-08 Cireca Theranostics, Llc Method for analyzing biological specimens by spectral imaging
GB2481589B (en) 2010-06-28 2014-06-11 Phase Focus Ltd Calibration of a probe in ptychography
US9668705B2 (en) 2010-07-13 2017-06-06 Takara Telesystems Corp. X-ray tomogram imaging device
US8599367B2 (en) 2010-08-04 2013-12-03 Alliant Techsystems Inc. Apparatus and methods for obtaining multi-dimensional spatial and spectral data with LIDAR detection
WO2012037182A1 (en) 2010-09-14 2012-03-22 Applied Precision, Inc. Oblique-illumination systems and methods
EP2615967B1 (en) 2010-09-17 2017-08-16 LLtech Management Optical tissue sectioning using full field optical coherence tomography
CN101957183B (zh) 2010-09-26 2012-03-21 深圳大学 一种结构光投影的高速三维测量系统
WO2012058233A2 (en) 2010-10-26 2012-05-03 California Institute Of Technology Scanning projective lensless microscope system
US9569664B2 (en) 2010-10-26 2017-02-14 California Institute Of Technology Methods for rapid distinction between debris and growing cells
GB201020516D0 (en) 2010-12-03 2011-01-19 Univ Sheffield Improvements in providing image data
JP2014503822A (ja) 2010-12-21 2014-02-13 ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア 携帯デバイスにおける小型かつ広視野の蛍光画像化
US9411144B2 (en) 2011-01-12 2016-08-09 Ge Healthcare Bio-Sciences Corp. Systems for fluorescence illumination using superimposed polarization states
WO2012102887A2 (en) 2011-01-24 2012-08-02 The Board Of Trustees Of The University Of Illinois Computational adaptive optics for interferometric synthetic aperture microscopy and other interferometric imaging
US8866063B2 (en) 2011-03-31 2014-10-21 The Regents Of The University Of California Lens-free wide-field super-resolution imaging device
US8841591B2 (en) 2011-04-04 2014-09-23 The Board Of Trustees Of The Leland Stanford Junior University Grating-enhanced optical imaging
GB201107053D0 (en) 2011-04-27 2011-06-08 Univ Sheffield Improvements in providing image data
US8761533B2 (en) 2011-05-05 2014-06-24 Mitsubishi Electric Research Laboratories, Inc. Method for performing image processing applications using quadratic programming
US20140347672A1 (en) 2011-07-29 2014-11-27 Ecole Polytechnique Federale De Lausanne (Epfl) Apparatus and method for quantitive phase tomography through linear scanning with coherent and non-coherent detection
US20140160236A1 (en) * 2011-07-29 2014-06-12 The Regents Of The University Of California Lensfree holographic microscopy using wetting films
IN2014CN01634A (zh) 2011-09-06 2015-05-08 Koninkl Philips Nv
US20190097524A1 (en) 2011-09-13 2019-03-28 Fsp Technology Inc. Circuit having snubber circuit in power supply device
US20130093871A1 (en) 2011-10-18 2013-04-18 Andreas G. Nowatzyk Omnidirectional super-resolution microscopy
US9599805B2 (en) 2011-10-19 2017-03-21 National Synchrotron Radiation Research Center Optical imaging system using structured illumination
US9324133B2 (en) 2012-01-04 2016-04-26 Sharp Laboratories Of America, Inc. Image content enhancement using a dictionary technique
GB201201140D0 (en) 2012-01-24 2012-03-07 Phase Focus Ltd Method and apparatus for determining object characteristics
US20150044098A1 (en) 2012-01-30 2015-02-12 Scanadu Incorporated Hyperspectral imaging systems, units, and methods
CN102608597B (zh) 2012-03-19 2014-07-23 西安电子科技大学 基于非完全数据解卷积的实孔径前视成像方法
CN103377746B (zh) 2012-04-14 2015-12-02 中国科学技术大学 实现显微镜系统超分辨成像的方法
EP2690648B1 (en) 2012-07-26 2014-10-15 Fei Company Method of preparing and imaging a lamella in a particle-optical apparatus
WO2014018584A1 (en) 2012-07-24 2014-01-30 Trustees Of Boston University Partitioned aperture wavefront imaging method and system
US9552658B2 (en) 2012-07-26 2017-01-24 William Marsh Rice University Methods and systems for video compressive sensing for dynamic imaging
US20140085629A1 (en) 2012-09-27 2014-03-27 Bodkin Design & Engineering, Llc Active Hyperspectral Imaging Systems
DE102012020240A1 (de) 2012-10-12 2014-04-17 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren zur SPIM Mikroskopie
US9892812B2 (en) 2012-10-30 2018-02-13 California Institute Of Technology Fourier ptychographic x-ray imaging systems, devices, and methods
US10652444B2 (en) 2012-10-30 2020-05-12 California Institute Of Technology Multiplexed Fourier ptychography imaging systems and methods
US9864184B2 (en) 2012-10-30 2018-01-09 California Institute Of Technology Embedded pupil function recovery for fourier ptychographic imaging devices
AU2012258412A1 (en) 2012-11-30 2014-06-19 Canon Kabushiki Kaisha Combining differential images by inverse Riesz transformation
US9400169B2 (en) 2012-12-06 2016-07-26 Lehigh University Apparatus and method for space-division multiplexing optical coherence tomography
JP2016534389A (ja) 2013-07-31 2016-11-04 カリフォルニア インスティチュート オブ テクノロジー 開口走査フーリエタイコグラフィ撮像
CA2921372A1 (en) 2013-08-22 2015-02-26 California Institute Of Technology Variable-illumination fourier ptychographic imaging devices, systems, and methods
US11468557B2 (en) 2014-03-13 2022-10-11 California Institute Of Technology Free orientation fourier camera
US10162161B2 (en) 2014-05-13 2018-12-25 California Institute Of Technology Ptychography imaging systems and methods with convex relaxation
WO2015179452A1 (en) 2014-05-19 2015-11-26 The Regents Of The University Of California Fourier ptychographic microscopy with multiplexed illumination
JP6394367B2 (ja) 2014-05-30 2018-09-26 ソニー株式会社 流体分析装置、流体分析方法、プログラム及び流体分析システム
CN104200449B (zh) 2014-08-25 2016-05-25 清华大学深圳研究生院 一种基于压缩感知的fpm方法
CN104181686B (zh) 2014-08-25 2016-08-17 清华大学深圳研究生院 基于fpm的光场显微方法
US10973734B2 (en) 2014-10-07 2021-04-13 International Biophysics Corporation Flexible vest including a positionable oscillating motor array
WO2016061586A1 (en) 2014-10-17 2016-04-21 Cireca Theranostics, Llc Methods and systems for classifying biological samples, including optimization of analyses and use of correlation
CN107111125B (zh) 2014-12-04 2020-12-01 加州理工学院 多路复用傅立叶重叠关联成像的系统和方法
CN110873957A (zh) 2014-12-22 2020-03-10 加州理工学院 用于厚样本的epi照明傅立叶重叠关联成像
AU2014280898A1 (en) 2014-12-23 2016-07-07 Canon Kabushiki Kaisha Reconstruction algorithm for Fourier Ptychographic imaging
AU2014280894A1 (en) 2014-12-23 2016-07-07 Canon Kabushiki Kaisha Illumination systems and devices for Fourier Ptychographic imaging
US20160202460A1 (en) 2015-01-13 2016-07-14 University Of Connecticut 3D Microscopy With Illumination Engineering
CA2970063A1 (en) 2015-01-21 2016-07-28 California Institute Of Technology Fourier ptychographic tomography
US9829695B2 (en) 2015-01-26 2017-11-28 California Institute Of Technology Array level Fourier ptychographic imaging
WO2016123508A1 (en) 2015-01-29 2016-08-04 The Regents Of The University Of California Patterned-illumination systems adopting a computational illumination
EP3268769A4 (en) 2015-03-13 2018-12-05 California Institute of Technology Correcting for aberrations in incoherent imaging system using fourier ptychographic techniques
US9993149B2 (en) 2015-03-25 2018-06-12 California Institute Of Technology Fourier ptychographic retinal imaging methods and systems
WO2016187591A1 (en) 2015-05-21 2016-11-24 California Institute Of Technology Laser-based fourier ptychographic imaging systems and methods
WO2017066198A1 (en) 2015-10-12 2017-04-20 The Regents Of The University Of California Spectroscopy imaging and analysis of live cells
US20180373016A1 (en) 2015-11-11 2018-12-27 Scopio Labs Ltd. Microscope having a refractive index matching material
WO2017081540A1 (en) 2015-11-11 2017-05-18 Scopio Lab Ltd. Scanning microscope with real time response
EP3374816A2 (en) 2015-11-11 2018-09-19 Scopio Labs Ltd. Computational microscopes and methods for generating an image under different illumination conditions
US10176567B2 (en) 2015-12-21 2019-01-08 Canon Kabushiki Kaisha Physical registration of images acquired by Fourier Ptychography
US10568507B2 (en) 2016-06-10 2020-02-25 California Institute Of Technology Pupil ptychography methods and systems
US11092795B2 (en) 2016-06-10 2021-08-17 California Institute Of Technology Systems and methods for coded-aperture-based correction of aberration obtained from Fourier ptychography
US20180078447A1 (en) 2016-07-01 2018-03-22 Victor Viner Heated Rolling Massager
US10228283B2 (en) 2016-08-12 2019-03-12 Spectral Insights Private Limited Spectral imaging system
US10558029B2 (en) 2016-10-27 2020-02-11 Scopio Labs Ltd. System for image reconstruction using a known pattern
US10477097B2 (en) * 2017-01-03 2019-11-12 University Of Connecticut Single-frame autofocusing using multi-LED illumination
CN106896489B (zh) 2017-02-13 2019-11-22 清华大学 基于波长复用的频域拼贴显微系统及其方法
DE102017120823A1 (de) 2017-09-08 2019-03-14 Vemag Maschinenbau Gmbh Verfahren und Vorrichtung zum gruppierten Anordnen und Ausrichten und Verpacken von individuellen Lebensmittel-Produkten, insbesondere Patty-Stapel
DE102017217132B3 (de) 2017-09-26 2019-01-31 Bender Gmbh & Co. Kg Schaltnetzteil mit elektrischer Schaltungsanordnung zur Eingangsschutzbeschaltung
US10754140B2 (en) 2017-11-03 2020-08-25 California Institute Of Technology Parallel imaging acquisition and restoration methods and systems
US20200351454A1 (en) * 2019-04-30 2020-11-05 William Marsh Rice University Wish: wavefront imaging sensor with high resolution
US11385450B2 (en) * 2019-05-03 2022-07-12 California Institute Of Technology Metasurface imager for quantitative phase gradient detection
US11237059B1 (en) * 2020-12-14 2022-02-01 Gerchberg Ophthalmic Dispensing, PLLC Totagraphy: Coherent diffractive/digital information reconstruction by iterative phase recovery using special masks
KR102638985B1 (ko) * 2021-02-18 2024-02-20 연세대학교 산학협력단 푸리에 타이코그래피 이미지 획득을 위한 스마트폰 및 스마트폰을 이용한 푸리에 타이코그래피 이미지 획득 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996028751A1 (en) * 1995-03-16 1996-09-19 Philips Electronics N.V. Method for particle wave reconstruction in a particle-optical apparatus
EP0760109B1 (en) * 1995-03-16 2007-04-11 Fei Company Method for particle wave reconstruction in a particle-optical apparatus
CN102652680A (zh) * 2011-03-01 2012-09-05 贺宁 基于非均匀傅里叶变换的超声层析成像方法
CN102629371A (zh) * 2012-02-22 2012-08-08 中国科学院光电技术研究所 基于实时盲图像复原技术的视频像质改善系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2785212C1 (ru) * 2021-12-01 2022-12-05 федеральное государственное бюджетное образовательное учреждение высшего образования "Донской государственный технический университет" (ДГТУ) Устройство формирования изображения высокого разрешения в безлинзовой камере
RU2785213C1 (ru) * 2021-12-03 2022-12-05 федеральное государственное бюджетное образовательное учреждение высшего образования "Донской государственный технический университет" (ДГТУ) Устройство формирования изображения высокого разрешения в безлинзовой камере

Also Published As

Publication number Publication date
SG11201503293VA (en) 2015-05-28
US10679763B2 (en) 2020-06-09
CA2889495A1 (en) 2014-05-08
TW201428339A (zh) 2014-07-16
CN104885187B (zh) 2018-06-29
CN104885187A (zh) 2015-09-02
EP2915180A1 (en) 2015-09-09
US20210082595A1 (en) 2021-03-18
EP2915180B1 (en) 2018-12-05
EP2915180A4 (en) 2016-04-27
US20220254538A1 (en) 2022-08-11
WO2014070656A1 (en) 2014-05-08
US9892812B2 (en) 2018-02-13
AU2013338193A1 (en) 2015-05-21
JP2015535348A (ja) 2015-12-10
US20140126691A1 (en) 2014-05-08
US20140118529A1 (en) 2014-05-01

Similar Documents

Publication Publication Date Title
CN104885187B (zh) 傅立叶重叠关联成像系统、设备和方法
US11422503B2 (en) Device and method for iterative phase recovery based on pixel super-resolved on-chip holography
Pan et al. High-resolution and large field-of-view Fourier ptychographic microscopy and its applications in biomedicine
CN110262026B (zh) 孔径扫描傅立叶重叠关联成像
CN110082900B (zh) 可变照明傅立叶重叠关联成像设备、系统以及方法
Jiang et al. Resolution-enhanced parallel coded ptychography for high-throughput optical imaging
Zheng et al. Fourier ptychographic microscopy: a gigapixel superscope for biomedicine
US10663750B2 (en) Super-resolution imaging of extended objects
Wang et al. Optical ptychography for biomedical imaging: recent progress and future directions
Guo et al. Deep learning-enabled whole slide imaging (DeepWSI): oil-immersion quality using dry objectives, longer depth of field, higher system throughput, and better functionality
Chen et al. Superresolution microscopy imaging based on full-wave modeling and image reconstruction
EP3722861A1 (en) Observation method using microscope and transmission-type microscopic device
Sun et al. Variable aperture-based ptychographical iterative engine method
Chmelik et al. Quantitative phase imaging in turbid media by coherence controlled holographic microscopy
Zhu et al. sPhaseStation: a whole slide quantitative phase imaging system based on dual-view transport of intensity phase microscopy
Yeh Computational fluorescence and phase super-resolution microscopy
WO2022173848A1 (en) Methods of holographic image reconstruction with phase recovery and autofocusing using recurrent neural networks
Grinbaum Multi-Height-Based Lensfree On-Chip Microscopy for Biomedical Applications
Jiang et al. Optimization of single-beam multiple-intensity reconstruction technique: Select an appropriate diffraction distance
JP2022000667A (ja) 光学顕微鏡観察方法及び光学顕微鏡のデータ処理システム
Huelsnitz Very high numerical aperture three-dimensional imaging with three objectives

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181106