CN107209362A - 傅立叶重叠关联断层摄影 - Google Patents

傅立叶重叠关联断层摄影 Download PDF

Info

Publication number
CN107209362A
CN107209362A CN201680005491.6A CN201680005491A CN107209362A CN 107209362 A CN107209362 A CN 107209362A CN 201680005491 A CN201680005491 A CN 201680005491A CN 107209362 A CN107209362 A CN 107209362A
Authority
CN
China
Prior art keywords
dimensional
fpt
sample
fourier
tomography
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680005491.6A
Other languages
English (en)
Other versions
CN107209362B (zh
Inventor
罗克·W·霍斯特迈耶
杨昌辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
California Institute of Technology CalTech
Original Assignee
California Institute of Technology CalTech
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by California Institute of Technology CalTech filed Critical California Institute of Technology CalTech
Publication of CN107209362A publication Critical patent/CN107209362A/zh
Application granted granted Critical
Publication of CN107209362B publication Critical patent/CN107209362B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/006Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58Optics for apodization or superresolution; Optical synthetic aperture systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Algebra (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Microscoopes, Condenser (AREA)
  • Spectroscopy & Molecular Physics (AREA)

Abstract

某些方面涉及傅立叶重叠关联断层摄影系统以及方法,其用于基于来自不同角度处的平面波照明的穿过厚样品的光来获取多个唯一地照明的强度测量,并且用于通过迭代地确定与唯一地照明的强度测量自相一致的傅立叶域中的三维断层摄影数据,来构建厚样品的三维断层摄影数据。

Description

傅立叶重叠关联断层摄影
相关申请的交叉引用
本申请要求享有于2015年1月21日提交且题为“Ptychographic reconstructionof volumetric samples”的第62/106,133号的美国临时专利申请的优先权和权益,以其整体并且针对全部目的通过引用的方式并入本文。
领域
本文描述的某些实施例通常涉及数字成像。更具体地,某些实施例涉及用于对厚样品进行高分辨率成像的傅立叶重叠关联断层摄影(Fourier ptychographictomography)系统和方法。
背景
傅立叶重叠关联(FP)是最近引入的一种技术,其从在不同照明条件下捕捉的一系列低分辨率强度图像中获取高分辨率样品的幅度和相位测量。常规的FP技术的细节可以在2013年G.Zheng、R.Horstmeyer和C.Yang在Nature Photonics发表的“Wide-field,high-resolution Fourier ptychographic microscopy”中和在2013年10月28日提交且题为“Fourier Ptychographic Imaging Systems,Devices,and Methods”的美国专利申请14/065,280中找到;这两篇文献在此通过引用以其整体并入。
常规的FP系统将位于感兴趣的薄的半透明样品下方的发光二极管(LED)或其他离散化照明源的阵列用作可变照明源。来自每个单独照明的LED的光穿过薄的半透明样品并进入成像透镜(例如,显微镜物镜),以形成由图像传感器获取的每个唯一的FP图像。然后,可以通过相位复原算法将一系列所获取的图像组合成高分辨率复合测量。这些常规的FP技术基于薄样品近似,并且对于沿着轴向尺寸z的厚度多达25μm的薄样品是成功的。
概述
某些方面涉及用于对厚样品进行高分辨率成像的傅立叶重叠关联断层摄影系统和方法。
某些方面涉及傅立叶重叠关联断层摄影系统。在一些方面中,傅立叶重叠关联断层摄影系统包括可变照明源(例如,LED矩阵),该可变照明源被配置成在不同的照明角度处依次向正在被成像的厚样品提供平面波照明。傅立叶重叠关联断层摄影系统还包括光学系统(例如,物镜),该光学系统被配置成收集来自可变照明源的通过厚样品的光,并聚焦所收集的光。傅立叶重叠关联断层摄影系统还包括图像传感器,该图像传感器被配置成接收来自光学系统的聚焦光,并且获取与不同的照明角度相关联的一系列唯一地照明的强度测量。傅立叶重叠关联断层摄影系统还包括处理器,该处理器通过迭代地确定与唯一地照明的强度测量自相一致的傅立叶域中的三维断层摄影数据,来构建厚样品的三维断层摄影数据。在一些情况下,处理器通过采用唯一地照明的强度测量来更新与傅立叶域中的三维样品频谱中重叠的表面区域(例如,重叠至少70%、重叠至少80%、以及重叠至少65%)相交的立体像素,来构建三维断层摄影数据。
某些方面涉及傅立叶重叠关联断层摄影方法。在一些方面中,傅立叶重叠关联断层摄影方法从图像传感器接收多个唯一地照明的强度测量。多个唯一地照明的强度测量是基于来自不同角度处的平面波照明的穿过厚样品的光。该方法还通过迭代地确定与唯一地照明的强度测量自相一致的傅立叶域中的三维断层摄影数据,来构建厚样品的三维断层摄影数据。在一个方面中,通过采用唯一地照明的强度测量来更新与傅立叶域中的三维样品频谱中的重叠表面区域相交的立体像素,来构建三维断层摄影数据。在一个方面中,傅立叶重叠关联断层摄影成像方法还包括对样品频谱进行初始化,并且对于每个唯一地照明的强度测量:(a)选择样品频谱的二维表面;(b)对二维表面进行傅立叶逆变换;(c)对来自于(b)的二维表面施加幅度约束;(d)对来自于(c)的二维表面进行傅立叶变换;以及(e)采用来自唯一地照明的强度测量之一的数据来替换重叠表面区域之一的立体像素。在一个方面中,重叠表面区域遵循三维样品频谱中的圆形路径。
这些和其它特征在下面参照相关联的附图更详细地进行描述。
附图简述
图1是示出用于对薄样品进行成像的常规FP技术的示意图。
图2是示出根据实施例的使用FPT技术对厚样品成像的示意图。
图3是示出在图1中描绘的来自于FP重建的简化输出以及根据实施例在图2中描绘的来自于FPT过程的简化输出的示意图。
图4是根据实施例的FPT系统的部件和由FPT系统执行的FPT成像方法的某些操作的示意图。
图5是根据某些实施例的FPT系统的部件的正交视图。
图6A是根据某些实施例由FPT系统(诸如,参考图4和/或图5描述的FPT系统)使用的FPT成像方法的单次运行的流程图。
图6B是根据某些实施例参考图6A描述的FPT方法的FPT重建过程的流程图。
图7是根据实施例描绘在示例性FPT重建过程中被恢复的电势谱值的带通区域的图示。
图8描绘了根据实施例的由不同的照明NA造成的和用于显微镜物镜NA的各种FPT带通形状。
图9A是根据实施例的使用FPT技术来恢复具有八个微球体的厚样品的幅度和相位数据二者的模拟结果的图示。
图9B是用于恢复在参考图9A描述的模拟结果中的幅度和相位数据的傅立叶域中更新的球形帽区域中的重叠的数量的图示。
图9C是使用常规FP技术恢复的、以及使用根据实施例参考图9A描述的FPT技术恢复的在两个不同深度处的八个微球体的相位图像的图示。
图10是根据实施例由三维FPT成像方法导致的沿kz的高离散化的图示。
图11是根据实施例的可存在于某些FPT系统中的一个或更多个子系统的框图。
详细描述
某些实施例将在下面参照附图进行描述。在附图中所示出的特征可以不是按比例绘制的。
I.傅立叶重叠关联断层摄影(FPT)的介绍
某些方面涉及傅立叶重叠关联断层摄影(FPT)系统和成像方法,其可以重建厚的半透明样品的高分辨率的体积表示。如在本文中所用的,厚样品通常是指沿轴向尺寸z的至少25μm厚的样品。一般来说,对于在其处样品不再符合薄样品近似(即,投影近似)的厚度有不同的解释。例如,为了这个讨论而在此通过引用的方式并入的Lee等人于2013年在OpticsExpress 21上发表的“Synthetic Fourier transform light scattering”中,将薄样品标准设定在其中,是在图像平面处的最大z波矢量,并且t是最大厚度。对于标准的显微镜设置,这大约需要t<2λ≈1.5μm,这是相当有限的。可选地,在为了这个讨论而通过引用的方式并入本文的M.Vulovic等人于2014年在Ultramicroscopy 136上发表的“When to use the projection assumption and the weak-phase objectapproximation in phase contrast cryo-EM”中,将该薄样品近似(即,投影近似)保持的最大厚度设置为实际上,已经发现,假设薄样品近似(也即,投影近似)保持成立的常规FP技术成功地多达25μm的厚度,因此这个值将在本文中被用作从薄样品到厚样品的近似过渡。
FPT技术在其系统部件的设计及其成像操作方面与常规FP技术显著不同。例如,对于在空间(x,y)分辨率中的相同的固定期望改进,与FP技术所需的相比,FPT技术在图像获取过程期间需要在入射照明角度之间更精细的步长。也就是说,对于相等的分辨率改进,FPT技术通常需要FP技术所需的步长的大约一半。例如,在特定的FP技术针对某个分辨率改进而需要相邻的照明角度彼此相差在1.7度到2.0度之内的情况下,具有相同分辨率改进的FPT技术将会需要相邻的入射照明角度彼此相差约1.0度。为了提供更精细的步长,与FP系统相比,FPT系统使用放置在样品下方的更致密的照明源(即,LED)的阵列。例如,某些FPT系统具有n个LED矩阵,其具有的LED是在相同区域中有相同分辨率改进的能力的FP系统的LED矩阵的LED的至少三倍。在一些情况下,FPT图像获取过程可能涉及捕捉与常规FP过程将会获得的数量相比更大数量的样品图像。这可能发生在正在被成像的样品异常厚的情况下。例如,在常规的FP获取过程可以捕捉225个图像,以能够重建某个空间分辨率的薄样品的改进的分辨率图像的情况下,FPT技术将需要1024个图像来捕捉具有相同空间分辨率的非常厚的样品(>200μm的厚度)的体积表示。此外,在FPT成像方法中使用的图像重建过程和常规FP成像方法中使用的图像重建过程之间存在实质性差异,如下所讨论的。
简而言之,根据如在方程式1中表示的该二维复合场的低通滤波强度的多个测量,常规的FP成像方法考虑了重建从样品表面出现的二维复合场U(x,y)的逆问题。
在方程式1中,是样品场U(x,y)的傅立叶变换(即,频谱),是导致由第j个LED引起的在傅立叶(即,透镜孔径)平面处的频谱的移位,并且A是固定孔径函数。通常使用非线性迭代求解器在二维傅立叶平面中解决这个逆问题。非线性迭代求解器的示例在G.Zheng、R.Horstmeyer和C.Yang于2013年在Nature Photonics发表的“Wide-field,high-resolution Fourier ptychographic microscopy”中得到了讨论,该文献在此通过引用以其整体并入。最近引入的凸求解器(convex solver)的示例可以在R.Horstmeyer等人于2014年在Physics Optics发表的“Solving ptychography with aconvex relaxation”中找到,该文献在此通过引用以其整体并入。在任一求解器方法中,二维频谱的初始估计值被强制符合关于FP系统的光学设置的所有已知限制。
另一方面,FPT成像方法基于傅立叶域中的三维k空间中的逆问题。与如同在FP技术中所做的那样求解相反,FPT重建过程求解在三维傅立叶空间中的其中kz是沿着光轴的波矢量(即,变量z(沿着样品的深度轴的空间维度)的傅立叶共轭)。
FP技术通过使用从相关联强度图像的日期更新二维区域,恢复在kx和ky中的二维样品频谱。为了简化某些示例,假设样品沿着一个维度延伸,并且在这些示例中将FP技术描述为更新在kx中的一维样品频谱的移位的窗口区域。
FPT技术采用来自每个唯一地照明的强度测量的数据来更新沿着在傅立叶域中移位球冠(spherical cap)(碗形三维表面)的表面区域的立体像素。FPT技术通过采用n个唯一地照明的强度测量而从不同的重叠球冠区域迭代地更新立体像素,来恢复三维样品频谱。通常,重叠的球冠区域表示在傅立叶域中的数据。对于典型的更新,将二维傅立叶变换应用于每个球冠内的数据,然后将从与球冠的特定位置相关联的图像中测得的幅度替换从当前数据估计出的幅度。此外,每个球冠的位置不是任意的。其中心(即,朝上的碗的底部)通常限定在具有相等尺寸的、但是相对于kz轴具有相反取向的第二球冠上(即,朝下的碗,见图4的右图)。
为了简化某些实例的目的,将球冠区域缩小成圆弧,并且将三维频谱减小到二维频谱,其中没有讨论在ky中的第三维度。在这些示例中,将FPT技术描述为更新在kx和kz中的二维频谱中的这些移位的弧。将理解的是,尽管为了简化而在这些示例中将FPT技术描述为更新移位的弧,然而FPT技术实际上更新在kx、ky和kz中的三维频谱中的三维表面。
FPT重建过程采用来自在图像获取过程期间捕捉的唯一地照明的强度测量的数据,通过沿着球冠的三维表面区域(即,在kx、ky和kz中的碗形表面)更新而恢复三维样品频谱。相比之下,FP重建过程通过更新在kx和ky中的二维频谱中的区域来恢复二维样品频谱。图1、图2和图3是示出在常规的FP重建过程和根据实施例的FPT重建过程之间的原理差异的示意图。为了简单起见,假设样品沿着一个维度延伸并且(与kx和kz正交的)在ky中的第三维度未示出,而产生这些示出的示例。
图1是示出用于对薄样品进行成像的常规FP技术的示意图。如上所讨论的,FP技术通过采用来自由图像传感器获取的每个相关联的强度图像的数据来更新在kx和ky中的频谱的移位的窗口化区域来恢复二维样品频谱。为了简化所示的示例,图1假设样品沿着一个维度延伸并且一维样品频谱被恢复。在该示例中,将FP技术描述为更新在kx中的一维样品频谱的移位的窗口化区域。如所讨论的,将FP技术示出为通过采用来自所获取的每个相关联的图像中的数据来更新在kx中的频谱的移位的窗口化区域来恢复一维样品频谱100。为了简单起见,显示了三个窗口化区域101、102、103,并且显示了在第一区域101和相邻的第二区域102之间的相关联的移位以及在第二区域102和相邻的第三区域103之间的移位。该图显示了采用来自三个所获取的强度图像的数据更新三个移位的窗口化区域101、102、103,以恢复1D样品频谱100。在图像获取过程期间,在以唯一的入射角对样品进行照明的同时,采用来自所获取的图像的数据来更新每个窗口区域。
图2是示出根据实施例的使用FPT技术对厚样品进行成像的示意图。如上所讨论的,FPT重建过程通常通过采用来自由图像传感器获取的相关联的唯一的照明强度图像的数据来更新在kx、ky和kz中的移位的球冠区域的立体像素来恢复三维样品频谱。为了简化所示的示例,图2假设样品沿着一个维度延伸并且示意性地将二维(2D)样品频谱表示为正在恢复。基于该假设,在图2中将FPT技术示出为通过采用来自所获取的每个相关联的图像的数据来更新在kx和kz中的移位的弧来恢复二维样品频谱200。在这个所示出的示例中,FPT重建过程是在2D样品“电势谱”空间(包括沿着kz以及kx的数据)内操作的。与在图1中示出的如在FP重建过程中所完成的更新窗口区域相反,FPT重建过程更新在图2中的2D样品“电势谱”空间中的弧。在该示例中,FPT技术通过采用来自相关联的强度图像的数据来更新在kx和kz中的曲线来恢复2D样品频谱。为了简单起见,五个弧201、202、203、204和205在图2中被示出,如采用来自五个所获取的图像的数据来更新以恢复2D样品谱200。在其他示例中可以使用更多的弧,例如,诸如在从225到1000的范围内的多个弧。在FPT重建过程中,采用来自所获取的每个相关联的图像的数据来更新每个弧内的值。
一般来说,FPT成像方法包括图像获取过程、重建过程和可选的显示过程。如上所讨论的,FPT重建过程通过采用来自由图像传感器获取的相关联的强度图像的数据来更新在不同位置中的立体像素来恢复在kx、ky和kz中的三维样品频谱,该不同位置中的立体像素对于给定的更新来说是在三维空间中的特定表面。相比之下,FP重建过程通过采用来自由图像传感器获取的相关联的强度图像的数据来更新移位的二维区域,恢复在kx和ky中的二维样品频谱。来自FPT成像方法的输出是具有改进的横向分辨率(即,沿x和y的分辨率)以及深度信息(即,沿z的分辨率)的样品的三维重建。相比之下,来自FP成像方法的输出是具有改进的横向分辨率但没有深度信息的二维样品重建。
在图1和图2中示意性地示出的示例中,来自FP重建过程的简化输出是一维样品频谱,并且来自FPT重建过程的简化输出是二维样品频谱。图3是根据实施例示出在图1中描绘的来自FP重建的简化输出以及在图2中描绘的来自FPT过程的简化输出的示意图。在图3中,将来自FPT重建过程的输出描绘为二维区域301。相比之下,将来自FP重建过程的输出描绘为虚线曲线302。通过重叠的实线曲线303来描绘所获取的单个图像。
FPT成像方法的输出是样品的折射和吸收指数V(x,y,z)的三维断层摄影表示。该断层摄影表示包括可用于生成厚样品在不同深度处的二维截面图像和厚样品的三维图像的数据。使用FPT成像方法,V(x,y,z)的空间分辨率可以通过沿(x,y)的重要因数来改进。由FPT成像系统/方法提供的对于样品的折射和吸收指数(V(x,y,z))的横向空间分辨率的改进是FPT系统的光学系统和可变照明源的物理特性的函数。在其中光学系统包括成像透镜并且可变照明源是LED矩阵的FPT系统的示例中,横向空间分辨率的改进是成像透镜数值孔径NA0和来自最远的离轴LED的最大照明角度NA1的函数。在这种情况下,该FPT系统的总的有效NA被给定为总和(NA0+NA1),并且横向空间分辨率改进因数是NA0/(NA0+NA1)。在本文中描述的一个示例中,所描述的FPT系统的改进因数大约为2。在章节II中详细描述了这个FPT系统和FPT系统及其部件的其他示例。
与FP技术不同的是,来自FPT成像方法的输出(V(x,y,z))包含关于样品沿着FPT系统的光轴(即,沿着z)的深度信息。更重要的是,FPT技术并非基于要求每个样品都很薄的假设。因此,FPT技术可以为厚样品(>25um,无上限)提供分辨率改进的图像,并且解析沿光轴的深度信息。同样值得注意的是,不同于FP技术,FPT重建技术对于厚度小于25μm的样品同样有效,并且可以提供关于这种样品的有限量的轴向信息。
V.Laurer于2002年在J.of Microscopy 205发表的“New approach to opticaldiffraction tomography yielding a vector equation of diffraction tomographyand a novel tomographic microscope”中、Choi等人于2007年在Nature Methods 4第9卷发表的“Tomographic phase microscopy”中、以及M.Debailleul等人于2008年在Opt.Lett.34发表的“High-resolution three-dimensional tomographic diffractivemicroscopy of transparent inorganic and biological samples”中描述了已经实现了显微镜内的断层摄影重建的一些常规的成像系统。然而,这些常规系统需要同时测量退出场(the exiting field)的幅度和相位。这个测量需要参考光束和高度相干的光,即全息设置。这两种系统需求对小的未对准或运动高度敏感,并且需要具有许多光学部件的大型光学试验台。通过仅测量幅度(即,在强度图像内)并依赖于FPT重建过程来恢复样品场的相位,FPT成像技术消除了对所有的这种附加光学设备的需要,在一个示例中仅需要在样品下方的配备有LED矩阵的常规显微镜,如章节II中所讨论的。
II.FPT系统
在左面,图4包括根据实施例的FPT系统400的部件的示意图。示意图还显示了由FPT系统400执行的FPT成像方法的某些操作。显示了在成像获取过程期间向FPT系统400提供厚样品20。厚样品20在z方向上以及在z轴上具有厚度t。FPT系统400可以执行章节III中详细描述的FPT成像方法。
FPT系统400包括可变照明源410、光学系统430和图像传感器440。FPT系统400还包括与处理器410、与处理器410通信的计算机可读介质(CRM)420以及与处理器410通信的可选的(由虚线表示的)显示器430。处理器410与图像传感器440通信并且可选地(由虚线表示)与可变照明源410通信。在一个方面中,处理器410、显示器430和CRM 420是计算设备(诸如,智能电话、膝上型计算机、台式机、平板电脑等)的部件。虽然显示了单个处理器,但是应当理解的是,FPT系统400可以包括执行所示处理器的所描述的功能的多个处理器。在FPT系统400的部件之间的电子通信以及在FPT系统400与其他系统之间的电子通信可以是有线和/或无线形式的。
在图4中,可变照明源410被配置为在(θx’z’)处以n个照明角度向厚样品20提供连续平面波照明。可变照明源410包括x'轴、z'轴、以及与x'轴和z'轴正交的y'轴(未示出)。可变照明源410包括在x'轴和y'轴二个方向上的离散光元件(即,离散照明源)的二维矩阵。为了简单起见,将所示的可变照明源410显示为具有沿着x'轴的五个离散光元件412(a)、412(b)、412(c)、412(d)和412(e)。应当理解的是,可变照明源410包括沿着y'轴的离散光元件。此外,应当理解的是,在其他示例中,可变照明源410包括更多个离散光元件412。例如,根据一个方面的可变照明源410包括离散光元件412的32×32矩阵。例如,根据一个方面的可变照明源410包括离散光元件412的25×25矩阵。作为另一个示例,根据一个方面的可变照明源410包括离散光元件412的100×100矩阵。一些其他示例包括一维矩阵或二维矩阵(例如,1×9矩阵、3×6矩阵、10×10矩阵、15×15矩阵、32×32矩阵、100×100矩阵、50×10矩阵、20×60矩阵或具有两个维度的其他矩阵)。可以使用矩阵的其他尺寸。
显示了在特定采样时间处的FPT系统400,在该特定采样时间期间激活单个光元件412(a)以从单个照明角度提供平面波照明414(a)并且捕捉单个强度图像442。在示例性图像获取过程期间,依次照亮五个离散光元件412(a)、412(b)、412(c)、412(d)和412(e),以提供五种不同的平面波,并且五个强度图像被捕捉。
光学系统430包括被配置为收集穿过厚样品20的光并将光传播和/或聚焦到图像传感器440的部件。在n个采样时间中的每个采样时间处,图像传感器440在曝光时间内测量(例如,记录)强度分布,以捕捉厚样品20的多个(n个)强度测量(图像)。当可变照明源正在照亮单个离散光元件412时,每个强度图像被收集。
在一些情况下,光学系统430具有透镜,使得由光学系统430收集的光落在根据透镜的数值孔径(NA)的角度范围内。在一个方面中,光学系统430包括第二光学元件中的第一光学元件。第一光学元件通过根据其数值孔径(NA)在角度范围内接受光来收集和过滤光,并且第二光学元件将光聚焦到图像传感器。在一个示例中,第一光学元件可以是常规显微镜的低NA物镜(例如,2X,0.08NA的物镜)。在另一示例中,第一光学元件可以是具有大约0.40的NA的高NA物镜。在另一示例中,第一光学元件可以是具有在大约0.40到大约0.75的范围中的NA的高NA物镜。在另一示例中,第一光学元件可以是具有大约0.60的NA的高NA物镜。
在右面,图4包括在电势谱的k空间中的厚样品20的表示)454。当由来自单独照明的光元件412(a)、412(b)、412(c)、412(d)和412(e)五种不同的平面波依次照亮时,从该厚样品散射的场沿着球冠451、452、453、455、456和457分布。为了简单起见,图4仅示出了球冠(弧),以表示在其穿过有限透镜孔径函数A(kx,kz)之后的每个场。在傅立叶域中,随着在图像获取过程期间不同的光元件(例如,LED)被打开以用于样品照明,球冠(弧)451、452、453、455、456和457沿着照明弧460移位。在强度图像442和球冠456之间的箭头显示了球冠456表示与强度图像442相关联的电势谱值。沿着第j个球冠(弧)的值的1D傅立叶变换的大小对应于第j个图像内的检测到的大小。
在图1中,处理器410与图像传感器440进行电子通信,以接收具有对应于n个强度图像的图像数据的信号。图像数据可以包括例如强度分布、相关联的获取时间等。强度图像是厚样品20的图像。处理器410与CRM420(例如,存储器)进行电子通信,以便能够发送具有图像数据的信号以便存储到CRM 420并从其取回图像数据。可选地,处理器410与显示器430进行电子通信,以能够例如像FPT系统400的用户发送用于显示图像的显示数据和指令以及其他输出。
如虚线所示,可变照明源410可选地与处理器410进行电子通信,以发送用于控制可变照明源410的指令。在某些方面中,可变照明源410处理器410向可变照明源410发送控制指令,以使特定光元件412的照明与图像传感器440的采样时间和曝光时间同步。
处理器410接收在CRM 420上存储的指令,并执行那些指令以执行FPT系统400的一个或更多个功能。在一个示例中,处理器410执行指令以执行FPT重建过程的操作和/或FET成像方法的其他操作。在另一示例中,处理器410执行用于依次照亮可变照明源410的离散光元件412的指令。在另一示例中,处理器410执行在CRM 420上存储的指令以执行系统的一个或更多个其它功能,诸如,例如,1)解译来自一系列所获取的强度图像的图像数据,2)根据图像数据重建更高分辨率的图像,和/或3)在显示器430上显示根据FPT方法的一个或更多个图像或其它输出。
CRM(例如,存储器)420可存储用于执行FPT系统400的某些功能的指令。这些指令可由处理器420或FPT系统400的其它处理部件执行。CRM 420还可以存储(较低分辨率)强度测量值和与FPT成像方法相关联的其他数据。
可选的显示器430与处理器410进行电子通信,以接收用于在显示器430上向例如FPT系统400的操作者显示的显示数据。在一种情况下,可选的显示器430是彩色显示器或黑白显示器。在一种情况下,可选的显示器430是二维显示器或三维显示器。在一种情况下,可选的显示器430能够显示多个视图。
在一个方面中,FPT系统400还包括用于接收和/或容纳厚样品20的容器。通常,工作距离d0指的是在厚样品20与光学系统430的收集光学元件之间的距离。
可变照明源指的是可以被配置成以n个不同的照明角度依次向正在由FPT系统成像的厚样品提供平面波照明的设备。每个照明角度对应于傅立叶域中对应的球冠数据的位置。在某些方面中,可变照明源被设计成以这样的照明角度提供照明:该照明角度使得在傅立叶域中生成相邻球冠的一定量的重叠。
可变照明源包括离散光元件的二维布置。每个离散光元件可以被激活以向厚样品提供近似的平面波照明。每个离散光元件具有至少一个光源。在一个方面中,每个离散光元件包括红色光源、绿色光源和蓝色光源。虽然通常光源是相干光源,但是在一个方面中,可以使用发射非相干光的具有尺寸有限的有源区域的源。在尺寸有限的源处的不相干的这种光在传播到采样平面时将形成部分相干的场,并且计算校正可以应用于考虑入射照明的部分相干的性质。离散光元件的二维布置是线网格、矩形网格、一个或更多个同心圆(环)、六边形网格和曲线网格中的一个。
在一些方面中,可变照明源提供可见光。提供可见光的可变照明源的示例是发光二极管(LED)矩阵。在该示例中,每个LED是光元件。提供可见光的可变照明源的另一示例是液晶显示器(LCD)。
在使用其它形式的辐射的情况下,其它辐射源也可以被使用。例如,在使用X射线辐射的实施例中,辐射源可以包括X射线管和金属靶。作为另一个示例,在使用微波辐射的情况下,辐射源可以包括真空管。作为另一示例,在使用声辐射的实施例中,辐射源可以是声致动器。作为另一示例,在使用太赫兹辐射的实施例中,辐射源可以是耿氏二极管(Gunndiode)。本领域技术人员将会考虑其它辐射源。在一种使用太赫兹辐射的情况下,由照明源提供的辐射的频率可以在大约0.3到大约3THz的范围内。在一种使用微波辐射的情况下,由可变照明源提供的辐射的频率可以在大约100MHz到大约300GHz的范围内。在一种使用X射线辐射的情况下,由可变照明源提供的辐射的波长可以在大约0.01nm到大约10nm的范围内。在一种使用声辐射的情况下,由可变照明源提供的辐射的频率可以在大约10Hz到大约100MHz的范围内。
在一个方面中,在图像获取过程期间来自依次照亮的光元件中的每个光元件的照明的光性质(例如,波长、频率、相位、幅度、极性等)大致统一。在其他方面中,来自不同光元件的光性质在不同的采样时间处可以不同。例如,在不同的采样时间处,可变照明源可提供光的不同的波长(例如,对应于红色、绿色、蓝色的三个波长λ1、λ2、和λ3)。在使用太赫兹辐射的示例中,由可变照明源提供的辐射的频率可以在大约0.3到大约3THz的范围内。在使用微波辐射的示例中,由可变照明源提供的辐射的频率可以在大约100MHz到大约300GHz的范围内。在使用X射线辐射的示例中,由可变照明源提供的辐射的波长可以在大约0.01nm到大约1nm的范围内。在使用声辐射的示例中,由可变照明源提供的辐射的频率可以在大约10Hz到大约100MHz的范围内。
可变照明源包括在一系列图像获取(采样)时间处依次照明的离散光元件。依次照明的顺序可以是在向可变照明源提供的照明指令中。在一个方面中,该顺序限定了在离散光元件的二维矩阵中的各个光元件的照明时间。
在光元件的二维矩阵为矩形阵列的一个示例中,确定中心光元件。这个示例中,照明指令指示首先照亮中心光元件,然后照亮逆时针围绕中心光元件的8个光元件,然后照亮逆时针围绕先前的中心光元件的16个光元件,依此类推,直到可变照明源都已从数量为n的多个照明角度提供照明为止。在其中光元件的二维矩阵是极矩阵(诸如,一个或更多个同心环)的另一示例中,照明指令指示首先以最小半径照亮光元件(例如,以顺时针顺序、逆时针顺序或随机顺序),然后以更大半径照亮任意的光元件,依此类推,直到所有可变照明源都已从数量为n的多个照明角度提供照明为止。在光元件的二维阵列是矩形阵列或极阵列的另一示例中,可以确定最靠近试样的光元件。照明指令指示照亮最接近试样的光元件,且随后照亮其次最靠近试样的光元件,且随后照亮其次最接近的光元件,依此类推,直到已经从数量为N的多个照明角度中照亮N个光元件为止。在另一示例中,可以以随机顺序照亮光元件。在另一示例中,可以遵循连续逐列的顺序,诸如,例如,(X1,Y1),(X1,Y2),(X1,Y3),...(X1,Yn),(X2,Y1),(X1,Y2),(X1,Y3),..(X2,Yn),..(Xm,Yn)。可选地,可以遵循逐行的顺序。
由在本文中描述的FPT系统成像的厚样品可以由一个或更多个物体和/或物体的一个或更多个部分组成。每个物体可以是例如生物实体、无机实体等。可以成像的生物实体的一些示例包括全细胞、细胞组分、微生物(诸如,细菌或病毒)、以及细胞组分(诸如,蛋白质)。可以成像的无机实体的示例是半导体晶圆。在某些方面中,通过在本文中描述的某些傅立叶重叠关联成像系统可以对厚的和/或不透明的样品进行成像。可以在培养基(诸如,液体)中提供样品。
在本文中描述的某些FPT系统中,图像传感器(例如,图4中的图像传感器440)被配置为通过在曝光时间内测量入射在图像传感器的感测区域上的光的强度分布来获取厚样品的n个唯一地照明的强度图像。在每个采样时间处,图像传感器获取单个强度图像,同时可变照明源从单个照明角度提供平面波照明。在图像获取过程的过程中,图像传感器依次获取与n个照明角度对应的n个唯一地照明的强度图像。如果可见光正在被测量,则图像传感器可以处于电荷耦合器件(CCD)、CMOS成像传感器、雪崩光电二极管(APD)阵列、光电二极管(PD)阵列、光电倍增管(PMT)阵列或类似设备的形式。如果使用THz辐射,则图像传感器可以是例如成像辐射热测量计。如果使用微波辐射,则图像传感器可以是例如天线。如果使用X射线辐射,则图像传感器可以是例如x射线敏感的CCD。如果使用声学辐射,则图像传感器可以是例如压电换能器阵列。图像传感器和其它传感器的这些示例是市售的。在一些情况下,图像传感器可以是彩色检测器,例如,RGB检测器。在其它情况下,图像传感器不需要是彩色检测器。在某些情况下,图像传感器可以是单色检测器。
在某些方面中,图像传感器可以具有离散元素(例如,像素)。离散检测元件元素具有任何合适的大小(例如,1-10微米)以及任何合适的形状(例如,圆形、矩形、正方形等)。例如,CMOS或CCD元件可以有1-10微米,并且APD或PMT光检测元件可以有1-4mm那么大。在一个示例中,辐射检测元素是尺寸为5.5um的正方形像素。
图像获取(采样)时间指的是在图像传感器430的曝光时间期间的时间,在此期间,图像传感器430测量强度分布以捕捉强度图像。在每个图像测量过程期间,图像传感器捕捉n个强度图像(例如,n=1、2、5、10、20、30、50、100、1000、10000等)。在一些情况下,图像传感器具有采样率。在一种情况下,采样率可以在每秒0.1至1000帧的范围中。
在图像获取过程期间,图像传感器430捕捉n个强度图像。图像传感器430还可以生成其它图像数据,诸如采样时间和其它相关采样数据。由图像传感器捕捉的数量为n的多个强度图像中的每个强度图像与在傅立叶空间中的球形区域相关联。在傅立叶空间中,邻近的球形区域可以共享在它们在其上采样相同的傅立叶域数据的重叠区。在某些方面中,可变照明源被配置成以这样的多个照明角度提供照明:该多个照明角度被间隔以在傅立叶域数据中提供在相邻球形区域中的一定量的重叠。在一种情况下,可变照明源被配置成在多个照明角度处提供照明,以生成在傅立叶域数据中的在各区域中的一个区域的面积的大约2%至大约99.5%的范围内的重叠区。在另一情况下,邻近区域之间的重叠区可以具有从各区域中的一个区域的面积的大约65%至大约75%的范围内的面积。在另一情况下,邻近区域之间的重叠区可以具有在各区域中的一个区域的面积的大约65%的面积。在另一情况下,邻近区域之间的重叠区可以具有在各区域中的一个区域的面积的大约70%的面积。在另一情况下,邻近区域之间的重叠区可以具有在各区域中的一个区域的面积的大约75%的面积。
图5是根据某些实施例的FPT系统500的部件的正交视图。FPT系统500的一些部件类似于参考图4所描述的部件。FPT系统500包括可变照明源510、光学系统530和图像传感器540。在该图示中,光学系统530包括物镜534(例如,显微镜物镜)和镜筒透镜532。物镜534是光学系统530的第一个光学元件,并且是集光元件。在一个方面中,物镜532具有在大约0.50至大约0.75范围内的高NA。在厚样品22被提供给FPT设备500时,厚样品22在试样表面526上被显示。
在图5中,可变照明源510采用具有225个等间隔的LED 512的矩形网格布置(15×15正方形阵列)的LED矩阵的形式。在其他示例中,可变照明源510具有较大数量的LED 512。在一个示例中,可变照明源510具有900个等间隔的LED 512的矩形网格布置(30×30正方形阵列)。在另一示例中,可变照明源510具有40×40=1600个等间隔的LED 512的矩形网格布置。
在图像获取操作期间,依次激活n个不同的LED 512以在n个不同的照明角度处提供平面波照明。在一个示例图像获取过程中,厚样品22由可变照明源510的225个不同的LED以LED矩阵的形式从225个不同的照明角度照亮。物镜534收集穿过厚样品20的光,并且基于其NA的接受角度对光进行过滤。镜筒透镜532将过滤后的光聚焦到图像传感器540。在可变照明源510通过225个不同的照明角度将样品22照亮的同时,图像传感器540捕捉225个强度图像。
III.FPT成像方法
根据某些方面,FPT成像方法包括图像获取(数据收集)过程、FPT重建过程和可选的显示过程。在图像获取过程中,FPT成像方法遵循方程式1而获取n个唯一地照明的图像。在图像获取过程期间,使用可变照明源(例如,LED矩阵)从n个不同的照明角度依次照亮样品。光学系统收集穿过试样的光,并将光聚焦到图像传感器。当样品被依次照亮时,图像传感器捕捉一系列对应于n个照明角度的n个唯一地照明的图像。成像获取过程的输出是n个唯一地照明的图像。利用来自每个唯一地照明的图像的数据,FPT重建过程更新了与用于特定样品的在kx、ky和kz中的三维电势谱中的球冠的表面区域相交的立体像素。FPT重建过程通过更新在kx、ky和kz中的三维频谱中的n个球冠表面区域中的每一个来恢复样品的三维电势谱,其中每个球冠表面区域对应于来自在图像获取过程期间由图像传感器获取的n个唯一地照明的图像之一的数据。对于在来自LED j的照明下的样品的第j个图像,具有波矢量(kx(j),ky(j),kz(j))的光照射到样品上,与该第j个图像相关联的第j个球冠表面区域将在立体像素(kx(j),ky(j),kz(j))处的三维频谱中居中。注意,由于对于任何相干场,kz(j)=sqrt(k0 2-ky(j)2-kz(j)2),(即,kz是kx和ky的确定性函数),将会位于中心的每个球冠表面区域的位置将落在第二“照明碗”上,该第二“照明碗”将立体像素限制在可以更新到有限的体积(否则被称为3D带通体积)的电势谱内。FPT重建过程通过采用来自由图像传感器获取的每个相关联的强度图像的数据来更新在kx、ky和kz中的三维频谱中与球冠的表面区域相交的立体像素,来恢复三维样品频谱。
图6A是根据某些实施例由FPT系统(诸如,参考图4和/或图5描述的FPT系统)使用的FPT成像方法的单次运行的流程图。在该FPT成像方法中,图像获取过程包括操作610、620和630。成像获取过程的输出是n个唯一地照明的图像。在该FPT成像方法中,FPT重建过程包括操作640,并且可选的显示过程包括操作650。图6B是根据某些实施例描绘操作640(参考图6A中所示的流程图来描述的FPT方法的FPT重建过程)的双重迭代子操作的流程图。图6A中显示的流程图中描绘的子操作由FPT系统的一个或更多个处理器执行。
FPT成像方法在操作610处开始,通过使用可变照明源,依次在n个不同角度向正在进行成像的样品提供平面波照明。在该操作期间,可变照明源依次在n个照明角度((θx iy i),i=1...n)处向样品提供平面波照明。可变照明源在曝光时间内在每个入射角处提供平面波照明,在该曝光时间期间图像传感器获取与该入射角相关联的单个强度图像的。通过在曝光时间期间测量图像传感器的有源感测区域上的强度分布来捕捉强度图像。对可变照明源的平面波照明角度的排序和图像传感器的采样被定时(例如,同步),使得图像传感器可以获取对应于n个照明角度((θx iy i),i=1...n)的n个唯一地照明的图像。在某些示例中,在x和y方向上的波矢量被表示为kxi和kyi
在一个方面中,可变照明源依次提供不同波长处的照明。在彩色成像示例中,可变照明源依次生成分别对应于红色、绿色、蓝色(即,RGB)的三个波长λ1、λ2和λ3
在操作620处,FPT系统的光学系统收集穿过样品的光并过滤所收集的光。在一个方面中,光学系统包括第一光学元件和第二光学元件。第一光学元件通过根据其数值孔径(NA)在角度范围内接受光来收集和过滤光,并且第二光学元件将光聚焦到图像传感器。在一个示例中,第一光学元件可以是常规显微镜的低NA物镜(例如,2X,0.08NA的物镜)。
根据某些方面,图像传感器在曝光时间期间测量强度分布数据,以获取在图像获取过程期间与唯一照明角度相关联的每个原始强度图像。在操作630处,图像传感器同时获取n个强度图像,同时可变照明源按顺序排列在n个照明角度((θx iy i),i=1...n)处的平面波照明。在图像获取过程期间,图像传感器接收来自FPT系统的光学系统的穿过样品的光。在n个采样时间中的每个采样时间(ti=1ton)处,图像传感器在曝光时间期间测量强度分布数据,以获取低分辨率(原始)强度图像。在图像获取过程期间,图像传感器在与n个不同的照明角度((θx iy i),i=1...n)相关联的n个采样时间(ti=1ton)处获取数量为n的多个低分辨率强度图像。
在一个方面中,FPT系统可以在图像获取过程期间获取多于n个的唯一地照明的图像,并且FPT成像方法将向下选择(downselect)(省略某些图像)到n个在FPT重建过程中将要使用的图像。例如,FPT成像方法可以省略平均强度低于某一最小值的图像。
在操作640处,生成样品的折射和吸收指数(V(x,y,z))的改进的分辨率三维断层摄影表示。在操作640期间,FPT重建过程通过采用n个唯一地照明的强度测量来迭代地更新与傅立叶域中的n个不同的三维球冠区域的表面区域相交的立体像素,来恢复改进的分辨率三维样品频谱。在一些情况下,重建过程迭代以确定与n个唯一地照明的强度测量自相一致的三维样品频谱。以下参考图6B来提供关于操作640的进一步的细节。FPT重建过程是在三维样品“电势谱”空间(包括沿着kz以及kx和ky的数据)内操作的。FPT重建过程更新了与三维“电势谱”空间中的球冠的表面区域相交的立体像素。
在可选的操作650处,FPT系统显示了与改进的分辨率断层摄影数据相关联的图像或者与FPT成像方法相关联的其它数据。在一个方面中,FPT系统包括显示器。该显示器与FPT系统的处理器进行电子通信,以接收来自处理器的显示数据以用于显示图像和其他数据的处理器到显示器。
-FPT重建过程
首先,T.D.Gerke和R.Piestun于2010年在Nature Photonics发表的“Aperiodicvolume optics”中和Born,M.和Wolf,E.于1999年在剑桥出版社出版的光学原理第7版(Principles of Optics 7th edn.)中描述了对于样品的散射势的初步估计;这两篇文献在此通过引用并入以用于这个描述。给出样品的散射势的一个示例形式:
V(x,y,z)=Δn2(x,y,z,λ)/λ2 (方程式2)
其中,n(x,y,z,λ)是样品的复合折射率。给出样品的散射势的另一个示例:
V(x,y,z)=Δn(x,y,z,λ)/λ2-ia(x,y,z,λ) (方程式3)
在此,a是样品的吸收,n是指数的实部。Laurer于2002年在J.of Microscopy 205发表的“New approach to optical diffraction tomography yielding a vectorequation of diffraction tomography and a novel tomographic microscope”中描述了替代形式,该文献在此通过引用并入以用于这个描述。
使用任一形式进行初始估计,当样品被平面波照亮时,通过首先通过以下所给出的方程式计算散射势来确定与散射体样品相距大距离的作为结果的场:
在此,F3D表示三维傅立叶变换。根据第一玻恩近似(Born approximation),由下式给出当由V定义的厚样品受到来自第j个LED的照明时的散射体场
在此,是来自第j个LED的照明平面波的三个波矢量。由于三个波矢量满足关系因此它们的值落在球形壳上。同样,值(kx,ky,kz)也必须服从关系(2π/λ)2=kx 2+ky 2+kz 2),所以它们的值也位于这个三维k空间中的球形壳上。在图4中显示了该球形壳的图示,为了简化起见,在二维上将其显示。T.D.Gerke和R.Piestun于2010年在Nature Photonics发表的“Aperiodic volume optics”中和Born,M.和Wolf,E.于1999年在剑桥出版社发表的光学原理第7版中讨论了第一玻恩近似,这两篇文献在此通过引用献并入以用于这个讨论。
像FP一样,光学系统孔径在场传播到系统图像平面之前调制这些散射场中的每一个,其中图像传感器仅测量场的强度。因此,方程式1可以
被重写以将在这个新的三维k-空间中的每个检测到的图像表示为:
FPT重建过程的主要目标是基于由图像传感器收集的一系列(序列)原始强度图像(Ij(x,y))来构建在一个方面中,G.Zheng、R.Horstmeyer和C.Yang于2013年在Nature Photonics发表的“Wide-field,high-resolution Fourier ptychographicmicroscopy”中概述了以与用于解决在FP重建过程中的逆问题的交替投影(AP)相位复原策略相同的方式解决逆问题,该文献在此通过引用以其整体并入。在另一方面中,使用更先进的凸方法来解决在FPT重建过程中的逆问题,R.Horstmeyer等人于2014年在PhysicsOptics发表的“Solving ptychography with a convex relaxation”中描述的该方法延伸到三维维度,该文献在此通过引用并入。
图6B是根据实施例的FPT重建过程中的操作的示例的流程图。图6B中显示的流程图中描绘的这些操作由FPT系统的一个或更多个处理器执行。参考图6B描述的FPT重建过程是在参照图6A描述的FPT方法的操作640中发生的子操作的示例。
在图6B中,FPT成像方法的FPT重建过程包括两个迭代循环。内部迭代循环重复了由参考图6A描述的FPT成像方法的图像获取过程得出的对于n个唯一地照明的强度图像中的j=1的操作643、644、645、646和647。外部迭代循环重复了操作643、644、645、646、647和648,直到FPT重建过程收敛于FPT成像方法返回到可选的操作650的时候,或者在不执行可选的操作650的情况下则在操作660处结束。
在子操作642处,FPT重建过程初始化样品的散射势谱估计值在一个示例中,在由LED矩阵的中心LED或另一单个照明LED照明期间由图像传感器捕捉的单个图像被用于生成初始化的电势估计值该单个图像的傅立叶变换可以堆叠在其自身上,以形成用于生成的体数据的数据立方体,其沿着z方向是均匀的(例如,10个切片形成数据立方体)。在另一个示例中,可以用全零来对进行初始化。在内部迭代循环的第一次迭代处,将j设置为1。
在子操作643处,FPT重建过程按照公式5选择的第j个二维表面,其对应于频谱该频谱由有限孔径A(kx,ky)调制。如上所述,通过识别与第j个球冠表面区域相交的立体像素,然后使用这些立体像素来形成频谱内的每个像素,来执行这种选择。第j个球冠表面区域的中心将处于立体像素位置(kx(j),ky(j),kz(j)),其中,(kx(j),ky(j),kz(j))表示从LED j发射的光在采样平面上的三维波矢量。类似地,第j个球冠表面区域的横向延伸由有限孔径A(kx,ky)的数值孔径给出。一旦波矢量(kx(j),ky(j),kz(j))和A(kx,ky)的数值孔径用于固定第j个球冠表面区域的位置和大小,则人们可以识别与该表面区域相交的电势谱立体像素,并且随后形成在频谱内的像素。频谱与对应于唯一照明角度的第j个强度测量相关联。例如,在其中j=1的内循环的第一次迭代中,FPT重建过程选择对应于频谱的第一二维表面,其与由成像传感器捕捉的第一强度图像相关联。
在子操作644处,FPT重建过程对应用二维傅立叶逆变换,以形成Uj(x,y),其是当采用LED j照亮样品时在图像平面处得出的场的估计值。
在子操作645处,FPT重建过程对Uj应用幅度约束,以使用方程式7生成U′j
其中,|Uj|是Uj的幅度。
在子操作646处,FPT重建过程对Uj′(x,y)应用二维傅立叶变换,以形成更新的频谱在子操作646处,FPT重建过程将二维傅立叶变换应用于在图像平面处的第j个光场的值,这形成位于沿着第j个对应的球冠“碗”形区域的电势谱的值的缩放版本。
在子操作647处,FPT重建过程利用来自的值来替换与第j个球冠碗区域(也就是说,通过进行数学表示的第j个二维表面)相交的立体像素中的值。注意,这些立体像素最初包含频谱值并且在该步骤中,这些最初的频谱值被未标明日期的频谱值替代。换句话说,FPT重建过程首先利用来自第j个图像的测量的幅度替换来自操作646的作为结果的二维傅立叶变换的幅度保持相位不变。这形成了更新的图像平面场Uj′(x,y)。然后,FPT重建过程对该幅度替换的结果Uj′(x,y)应用二维傅立叶逆变换,并且将作为结果的二维傅立叶逆变换的值沿着它们源自其中的球冠“碗”形区域方放置在散射频谱内。
在子操作647处,FPT重建过程确定子操作643、644、654、646和647是否均已迭代通过与n个照明角度相关联的所有n个图像。如果子操作643、644、645、646和647没有迭代通过所有n个图像,则这些子操作通过递增迭代步骤(j=j+1)对下一个图像重复并且FPT方法返回到步骤643。例如,在内循环的第二次迭代(j=2)中,FPT重建过程移动到散射频谱内的第二二维表面,其对应于截面图像的频谱对于的区域以及所有(j=1到n),FPT重建过程重复选择、傅立叶变换、强制已知幅度和替换的过程,其中n是在图像获取过程期间捕捉的唯一地照明的图像的数量。
在子操作648处,如果子操作643、644、645、646和647已迭代通过所有n个唯一地照明的图像,则FPT重建过程进行子操作649。通过迭代,球冠区域沿着傅立叶域中的圆移位。
在子操作649处,重建过程确定三维断层摄影数据的改进的分辨率解是否已经收敛。在一些情况下,处理器确定改进的分辨率解是否已经收敛到自相一致的解。当处理器确定与n个唯一地照明的强度测量自相一致的三维样品频谱时,会出现自相一致的解。在一种情况下,处理器将先前迭代的或初始猜测的解与当前的解进行比较,如果差小于某个值(例如,在一个示例中小于10%、在一个示例中小于1%、在一个示例中小于5%等),则该解可能已经收敛到自相一致的解。如果处理器确定解没有收敛,则FPT重建过程返回到子操作643,以再次返回到对应于的区域,并且FPT重建过程将整个n个图像内循环重复k次,直到收敛为止。
来自图像获取处理的n个唯一地照明的强度图像中的每一个强度图像将用于FPT重建过程中,以在三维傅立叶空间中沿着三维球冠的表面区域更新立体像素。在某些方面中,FPT重建过程提供了在三维空间内的相邻球冠区域(例如,对应于的区域)重叠一定量,使得三维相位复原过程将会收敛到最初的散射电势的准确估计值在一个示例中,重叠多于60%。根据具有相邻区域的这个示例,还必须选择从第一区域选择的像素的60%,以用于第二区域的更新。这通常是用于FP技术的在二维中(即,在由坐标(kx,ky)组成的二维傅立叶空间内)所需的重叠量。然而,FPT重建可以在它的三维傅立叶空间内(即,在由坐标(kx,ky,kz)组成的傅立叶空间内)以小于60%的重叠成功地收敛。在另一示例中,重叠在从2%至99.5%的范围内。在另一示例中,重叠在从65%至75%的范围内。在另一示例中,重叠多于65%。
如果在子操作649处确定在傅立叶域中解已经收敛到估计值则处理器按照方程式4对估计值进行三维傅立叶逆变换,以恢复样品的折射分布的三维指数V(x,y,z)。然后,FPT成像方法返回到可选的显示操作650,或者结束根据图6A的FPT成像方法的成像运行。
根据多个方面,在FPT重建过程收敛之后,估计固定带通区域内的电势谱值。在这些情况下,FPT成像方法从整个三维电势样品频谱中的小区域中恢复对于电势谱的值的估计。图7是根据实施例描绘具有在示例性FPT重建处理中被恢复的值的电势谱的二维带通区域710的图示。对包含带通区域710的电势谱进行二维傅立叶逆变换产生了在V′(x,z)730中包含的样品的二维折射指数的估计值,它是恢复的近似散射电势。在实践中,电势谱是三维函数其包含的带通量是整个3D电势谱空间的小区域,并且的三维傅立叶逆变换产生了在V′(x,y,z)中包含的样品的三维折射指数的估计值。
不同的FPT系统配置将产生不同形状的带通函数。例如,FPT系统的显微镜物镜NA和照明NA的不同组合将产生不同形状的带通函数。图8描绘了根据实施例从具有不同照明NA(NA照明)的可变照明源得出的FPT带通形状在kx和kz中的四个图。对于三种不同的照明NA(NA照明=0.05、NA照明=0.1、NA照明=0.15、以及NA照明=0.2),四幅图具有重叠的带通形状。照明NA或NA照明指的是来自LED阵列的最大照明角度(即,距光轴最大偏移的LED与光轴之间的角度)的正弦。图8中的所有图假设相同的物镜NAo=0.1。在图8的底部图处是当照明NA和物镜NA匹配(也就是说,NA照明=NAo=0.1)时形成的带通,这导致了关于kx轴对称的形状。当两个NA匹配时,由众所周知的方程式λ/2NA给出沿着x和y轴的预期分辨率,并且由λ/(1-asin(NA))给出预期的z分辨率。当NA不匹配时,预期的分辨率采用了稍稍复杂的形式(见图8,右下)。
在一些方面中,FPT成像方法包括用于改进上述有限带通限制的附加操作。例如,可以应用常规断层摄影的“缺少投影数据问题(missing cone problem)”。例如,在K.C.Tam和V.Perezmendez于1981年在J.Opt.Soc.Am.21发表的“Tomographical imaging withlimited-angle input”中以及在B.P.Medo、W.R.Brody、M.Nassi和A.Macovski于1983年在J.Opt.Soc.Am.73发表的“Iterative convolution backprojection algorithm forimage-reconstruction from limited data”中讨论了“缺少投影数据问题”和用于克服它的操作,其在此通过引用并入以用于这个讨论。可以结合FPT成像方法使用类似的操作来改进3D重建的质量。
图9A是根据实施例的使用FPT技术来恢复具有八个微球的三维样品的幅度和相位数据的模拟结果的图示。对于这些模拟结果,FPT系统具有光学系统,该光学系统具有的显微镜物镜的NA=0.4并且像素尺寸为3μm,照明波长λ为0.5μm并且照明NA为0.3。FPT成像方法捕捉了452张图像,并且重复了k=9次。正在成像的样品包括在周围油介质(折射指数=1.5)中的八(8)个微球(折射指数=1.6)。微球直径为30μm。样品为300x300x300μm。
图9B是用于恢复在参考图9A描述的模拟结果中的幅度和相位数据的傅立叶域中更新的球冠区域中的重叠的数量的图示。
图9C是使用常规FP技术恢复的以及使用根据实施例参考图9A描述的FPT技术恢复的厚样品在两个不同深度(z1=50μm和z2=150μm)的八个微球的相位图像的图示。如所示,FPT成像方法恢复了比常规的FP成像方法更锐化的三维结果。为了公平比较,FP成像方法用于首先恢复从厚样品的表面出现的二维场。然后,将这个场数字传播(也就是说,重新聚焦到不同的轴向平面),以生成在不同深度处的相位图像。
图10是与二维FP成像方法相比,根据实施例由三维FPT成像方法得出的沿kz的高离散化的图示。在此,上图显示了用于FP的恢复的2D频谱,并且底部显示了一个离散化的碗状物,这个离散化的碗状物用于更新FPT的整个3D散射电势。在此,这个碗状物沿着kz被离散化为5个立体像素片段。可经由图8中的方程式获得沿着k空间中的所有三个维度的离散化的特定值。注意,沿kz的离散化的值越高,就会产生越多的重叠,而越小的值将会导致越少的重叠,而沿z轴的总共的分解的切片的数量越多。
IV.子系统
图11是根据实施例的可存在于特定FPT系统中的一个或更多个子系统的框图。在一些情况下,处理器可以是图像传感器的零件。先前在图中所描述的各种部件可以使用这些子系统中的一个或更多个来操作,以促进本文中所描述的功能。在图中的部件中的任一个可以使用这些子系统中的一个或更多个,以促进本文中所描述的功能。在图11中显示了这种子系统的示例。
在图11中所示的子系统经由系统总线925互连。诸如打印机930、键盘932、固定磁盘934(或包括计算机可读介质的其他存储器)、被耦合至显示器适配器938的显示器956和其它设备之类的附加的子系统被示出。耦合至I/O控制器940的外围设备和输入/输出(I/O)设备可以通过现有技术中已知的任何装置(诸如串行端口942)来连接。例如,串行端口942或外部接口944可用于将计算设备的部件连接到广域网(诸如,互联网)、鼠标输入设备或扫描仪。经由系统总线925的互连允许一个或更多个处理器与每个子系统进行通信,并且控制来自系统存储器946或固定磁盘934的指令的执行,以及在子系统之间的信息交换。在一些情况下,系统存储器946和/或固定磁盘934可以使CRM 420具体化。这些元件中的任一个可以存在于先前所描述的特征中。
在一些实施例中,输出设备(诸如,FPT系统的打印机930或显示器956、或显示器430)可以输出各种形式的数据。例如,FPT系统可以输出与由FPT系统执行的分析相关联的图像或其他数据。
可以对上述实施例中的任何实施例做出修改、添加或省略,而不脱离本公开的范围。上述任何实施例中的任何实施例可以包括更多、更少或其它功能,而不脱离本公开的范围。此外,所描述的特征的步骤可以以任何合适的顺序来执行,而不脱离本公开的范围。
应当理解的是,如上所述的本发明可以被以使用以模块化或集成的方式的计算机软件的控制逻辑的形式来实现。基于本文所提供的公开和教导,本领域的普通技术人员将知道并且理解使用硬件以及硬件和软件的组合来实现本发明的其它方式和/或方法。
任何在本申请中所描述的软件部件或功能可以被实现为要由处理器使用任何合适的计算机语言(诸如,例如,使用例如传统的或面向对象的技术的Java,C++或Perl)来执行的软件代码。软件代码可以被存储为一系列指令,或在CRM上的命令,诸如随机存取存储器(RAM)、只读存储器(ROM)、诸如硬盘驱动器或软盘的磁性介质或者诸如CD-ROM的光学介质。任何这样的CRM可以驻留在单个计算装置之上或之内,并且可以存在于在系统或网络内的不同计算装置之上或之内。
尽管前述所公开的实施例已经被相当详细地进行了描述以便于理解,但是所描述的实施例应当被认为是说明性的而不是限制性的。对于本领域普通技术人员将明显的是,某些变化和修改可以在所附权利要求的范围内实践。
来自任何实施例的一个或更多个特征可以与任何其它实施例的一个或更多个特征进行组合,而不脱离本公开的范围。此外,可以对任何实施例做出修改、添加或省略,而不脱离本公开的范围。任何实施例的部件可以根据特定需要进行集成或分离,而不脱离本公开的范围。

Claims (18)

1.一种傅立叶重叠关联断层摄影系统,包括:
可变照明源,所述可变照明源被配置成在不同的照明角度处依次向正在被成像的厚样品提供平面波照明;
光学系统,所述光学系统被配置成收集来自所述可变照明源的穿过所述厚样品的光,并聚焦所收集的光;
图像传感器,所述图像传感器被配置成接收来自所述光学系统的聚焦光,并且获取与所述不同的照明角度相关联的一系列唯一地照明的强度测量;以及
处理器,所述处理器用于通过迭代地确定与所述唯一地照明的强度测量自相一致的在傅立叶域中的三维断层摄影数据,来构建所述厚样品的三维断层摄影数据。
2.根据权利要求1所述的傅立叶重叠关联断层摄影系统,其中,所述处理器通过采用所述唯一地照明的强度测量来更新与所述傅立叶域中的三维样品频谱中的重叠的表面区域相交的立体像素,来构建所述三维断层摄影数据。
3.根据权利要求2所述的傅立叶重叠关联断层摄影系统,其中,所述重叠的表面区域重叠了至少70%。
4.根据权利要求2所述的傅立叶重叠关联断层摄影系统,其中,所述重叠的表面区域重叠了至少80%。
5.根据权利要求1所述的傅立叶重叠关联断层摄影系统,其中,所述可变照明源是LED矩阵。
6.根据权利要求5所述的傅立叶重叠关联断层摄影系统,其中,所述LED矩阵是二维矩阵。
7.根据权利要求5所述的傅立叶重叠关联断层摄影系统,其中,所述LED矩阵包括多个同心环,每个同心环具有多个LED。
8.根据权利要求1所述的傅立叶重叠关联断层摄影系统,其中,所述光学系统是物镜。
9.根据权利要求1所述的傅立叶重叠关联断层摄影系统,还包括用于使用所述三维断层摄影数据显示所述样品的图像的显示器。
10.一种傅立叶重叠关联断层摄影成像方法,包括:
接收来自图像传感器的多个唯一地照明的强度测量,所述多个唯一地照明的强度测量基于来自不同角度处的平面波照明的穿过厚样品的光;以及
通过迭代地确定与所述唯一地照明的强度测量自相一致的傅立叶域中的三维断层摄影数据,来构建所述厚样品的三维断层摄影数据。
11.根据权利要求10所述的傅立叶重叠关联断层摄影成像方法,其中,通过采用所述唯一地照明的强度测量来更新与所述傅立叶域中的三维样品频谱中的重叠的表面区域相交的立体像素,来构建所述三维断层摄影数据。
12.根据权利要求11所述的傅立叶重叠关联断层摄影成像方法,还包括初始化样品频谱。
13.根据权利要求12所述的傅立叶重叠关联断层摄影成像方法,还包括:对于每个唯一地照明的强度测量,
(a)选择所述样品频谱的二维表面;
(b)对所述二维表面进行傅立叶逆变换;
(c)对来自(b)的所述二维表面施加幅度约束;
(d)对来自(c)的所述二维表面进行傅立叶变换;以及
(e)采用来自所述唯一地照明的强度测量之一的数据来替换所述重叠的表面区域之一的立体像素。
14.根据权利要求11所述的傅立叶重叠关联断层摄影成像方法,其中,所述重叠的表面区域遵循所述三维样品频谱中的圆形路径。
15.根据权利要求14所述的傅立叶重叠关联断层摄影方法,其中,所述重叠的表面区域重叠了至少70%。
16.根据权利要求14所述的傅立叶重叠关联断层摄影方法,其中,所述重叠的表面区域重叠了至少80%。
17.根据权利要求14所述的傅立叶重叠关联断层摄影方法,还包括确定所述三维断层摄影数据是否与所述唯一地照明的强度测量自相一致。
18.根据权利要求17所述的傅立叶重叠关联断层摄影方法,还包括将所述三维断层摄影数据与先前迭代的数据进行比较。
CN201680005491.6A 2015-01-21 2016-01-21 傅立叶重叠关联断层摄影 Active CN107209362B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562106133P 2015-01-21 2015-01-21
US62/106,133 2015-01-21
PCT/US2016/014343 WO2016118761A1 (en) 2015-01-21 2016-01-21 Fourier ptychographic tomography

Publications (2)

Publication Number Publication Date
CN107209362A true CN107209362A (zh) 2017-09-26
CN107209362B CN107209362B (zh) 2020-11-06

Family

ID=56408216

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680005491.6A Active CN107209362B (zh) 2015-01-21 2016-01-21 傅立叶重叠关联断层摄影

Country Status (7)

Country Link
US (1) US10665001B2 (zh)
EP (1) EP3248208B1 (zh)
JP (1) JP2018508741A (zh)
CN (1) CN107209362B (zh)
AU (1) AU2016209275A1 (zh)
CA (1) CA2970063A1 (zh)
WO (1) WO2016118761A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108196357A (zh) * 2018-02-13 2018-06-22 成都筋斗云影视传媒有限公司 一种多角度照明光源及基于此光源的傅立叶层叠成像系统
TWI788105B (zh) * 2021-08-09 2022-12-21 筑波醫電股份有限公司 半導體晶圓檢測方法及半導體晶圓檢測裝置

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9864184B2 (en) 2012-10-30 2018-01-09 California Institute Of Technology Embedded pupil function recovery for fourier ptychographic imaging devices
US10652444B2 (en) 2012-10-30 2020-05-12 California Institute Of Technology Multiplexed Fourier ptychography imaging systems and methods
AU2013338193A1 (en) 2012-10-30 2015-05-21 California Institute Of Technology Fourier ptychographic imaging systems, devices, and methods
US9426455B2 (en) 2013-07-31 2016-08-23 California Institute Of Technology Aperture scanning fourier ptychographic imaging
WO2015027188A1 (en) 2013-08-22 2015-02-26 California Institute Of Technoloby Variable-illumination fourier ptychographic imaging devices, systems, and methods
US11468557B2 (en) 2014-03-13 2022-10-11 California Institute Of Technology Free orientation fourier camera
US10162161B2 (en) 2014-05-13 2018-12-25 California Institute Of Technology Ptychography imaging systems and methods with convex relaxation
DE102014112242A1 (de) * 2014-08-26 2016-03-03 Carl Zeiss Ag Phasenkontrast-Bildgebung
US10718934B2 (en) 2014-12-22 2020-07-21 California Institute Of Technology Epi-illumination Fourier ptychographic imaging for thick samples
WO2016118761A1 (en) 2015-01-21 2016-07-28 California Institute Of Technology Fourier ptychographic tomography
AU2016211635A1 (en) 2015-01-26 2017-06-29 California Institute Of Technology Multi-well fourier ptychographic and fluorescence imaging
EP3268769A4 (en) 2015-03-13 2018-12-05 California Institute of Technology Correcting for aberrations in incoherent imaging system using fourier ptychographic techniques
US9993149B2 (en) 2015-03-25 2018-06-12 California Institute Of Technology Fourier ptychographic retinal imaging methods and systems
WO2016187591A1 (en) 2015-05-21 2016-11-24 California Institute Of Technology Laser-based fourier ptychographic imaging systems and methods
US10568507B2 (en) 2016-06-10 2020-02-25 California Institute Of Technology Pupil ptychography methods and systems
US11092795B2 (en) 2016-06-10 2021-08-17 California Institute Of Technology Systems and methods for coded-aperture-based correction of aberration obtained from Fourier ptychography
WO2018049476A1 (en) * 2016-09-15 2018-03-22 La Trobe University Determining complex refractive index values of a sample in three dimensions
CN107576633B (zh) * 2017-08-10 2020-10-02 南京理工大学 利用改进的3pie技术检测光学元件内部缺陷的方法
WO2019090149A1 (en) 2017-11-03 2019-05-09 California Institute Of Technology Parallel digital imaging acquisition and restoration methods and systems
CN108169173B (zh) * 2017-12-29 2020-08-11 南京理工大学 一种大视场高分辨三维衍射层析显微成像方法
CN109580457B (zh) * 2018-11-01 2021-05-04 南京理工大学 基于led阵列编码照明的三维衍射层析显微成像方法
CN111259937B (zh) * 2020-01-09 2022-04-05 中国人民解放军国防科技大学 一种基于改进tsvm的半监督通信辐射源个体识别方法
KR102355140B1 (ko) * 2020-07-28 2022-02-07 주식회사 토모큐브 저간섭성 광원과 다중 패턴 조명을 이용한 3차원 광회절 단층촬영 방법 및 장치
EP4012477A1 (en) * 2020-12-14 2022-06-15 Nanolive SA Optical diffraction tomography microscope
US20220351347A1 (en) * 2021-02-25 2022-11-03 California Institute Of Technology Computational refocusing-assisted deep learning
CN113411142B (zh) * 2021-06-29 2022-09-06 齐鲁工业大学 宽带确定性最大似然测向方法、系统、终端及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1688254A (zh) * 2002-10-18 2005-10-26 株式会社日立医药 X线断层摄影装置
CN1311392C (zh) * 2002-12-02 2007-04-18 维森盖特有限公司 用于在傅立叶域三维成像的方法和装置
CN101014288A (zh) * 2004-07-21 2007-08-08 株式会社日立医药 断层像摄影装置
CN101466313A (zh) * 2006-04-14 2009-06-24 威廉博蒙特医院 扫描狭槽锥形束计算机断层摄影以及扫描聚焦光斑锥形束计算机断层摄影
CN101743519A (zh) * 2007-05-16 2010-06-16 视瑞尔技术公司 全息显示装置
CN102753935A (zh) * 2010-02-10 2012-10-24 佳能株式会社 相位信息的分析方法、相位信息的分析程序、存储介质和x射线成像装置
CN103096804A (zh) * 2010-07-13 2013-05-08 株式会社电视系统 X射线断层像摄影装置
CN103377746A (zh) * 2012-04-14 2013-10-30 中国科学技术大学 实现显微镜系统超分辨成像的方法
WO2014033459A1 (en) * 2012-08-31 2014-03-06 Phase Focus Limited Improvements in phase retrieval from ptychography
US20140118529A1 (en) * 2012-10-30 2014-05-01 California Institute Of Technology Fourier Ptychographic Imaging Systems, Devices, and Methods
CN104181686A (zh) * 2014-08-25 2014-12-03 清华大学深圳研究生院 基于fpm的光场显微方法
CN104200449A (zh) * 2014-08-25 2014-12-10 清华大学深圳研究生院 一种基于压缩感知的fpm算法

Family Cites Families (140)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5475527A (en) 1994-09-26 1995-12-12 The Regents Of The University Of California Fourier plane image amplifier
KR19980075050A (ko) 1997-03-28 1998-11-05 윤종용 주사 전자 현미경의 가변어퍼쳐
US6144365A (en) 1998-04-15 2000-11-07 S3 Incorporated System and method for performing blending using an over sampling buffer
US6154196A (en) 1998-06-08 2000-11-28 Wacom Co., Ltd. Coordinate input device convertible between right-handed and left-handed modes
US6320648B1 (en) 1998-10-12 2001-11-20 Steven R. J. Brueck Method and apparatus for improving pattern fidelity in diffraction-limited imaging
DE19949029C2 (de) 1999-10-11 2002-11-21 Innovatis Gmbh Verfahren und Vorrichtung zur Charakterisierung einer Kulturflüssigkeit
US6320174B1 (en) 1999-11-16 2001-11-20 Ikonisys Inc. Composing microscope
US20010055062A1 (en) * 2000-04-20 2001-12-27 Keiji Shioda Operation microscope
US6856457B2 (en) 2001-03-27 2005-02-15 Prairie Technologies, Inc. Single and multi-aperture, translationally-coupled confocal microscope
DE10128476C2 (de) 2001-06-12 2003-06-12 Siemens Dematic Ag Optische Sensorvorrichtung zur visuellen Erfassung von Substraten
GB0115714D0 (en) 2001-06-27 2001-08-22 Imperial College Structure determination of macromolecules
US6747781B2 (en) 2001-06-25 2004-06-08 Silicon Light Machines, Inc. Method, apparatus, and diffuser for reducing laser speckle
US6870165B2 (en) 2001-10-19 2005-03-22 Biocal Technology, Inc. Multi-color multiplexed analysis in a bio-separation system
ATE519092T1 (de) 2002-01-16 2011-08-15 Faro Tech Inc Lasergestützte koordinatenmessapparatur und lasergestütztes koordinatenmessverfahren
US6759949B2 (en) 2002-05-23 2004-07-06 Visteon Global Technologies, Inc. Image enhancement in far infrared camera
WO2004034121A2 (en) 2002-09-23 2004-04-22 Dmetrix, Inc. Multi-mode scanning imaging system
CN1768346B (zh) 2003-03-31 2010-11-17 Cdm光学有限公司 用于最小化成像系统中的光程差效应的系统和方法
JP4377171B2 (ja) 2003-07-15 2009-12-02 Tdk株式会社 空間光変調器
US7738095B2 (en) 2003-07-18 2010-06-15 Chemimage Corporation Method and apparatus for compact spectrometer for detecting hazardous agents
US7823783B2 (en) 2003-10-24 2010-11-02 Cognex Technology And Investment Corporation Light pipe illumination system and method
US8271251B2 (en) 2004-02-09 2012-09-18 Wisconsin Alumni Research Foundation Automated imaging system for single molecules
US7173256B2 (en) 2004-03-26 2007-02-06 Fox John S Fluorescent image calibration step wedge, and use thereof in illumination for fluorescent imaging and automatic exposure
DE102004017232A1 (de) 2004-04-05 2005-10-20 Bosch Gmbh Robert Interferometrische Messvorrichtung
WO2005122901A1 (ja) 2004-06-16 2005-12-29 Hitachi Medical Corporation 放射線断層像撮像装置
US7436503B1 (en) 2004-08-03 2008-10-14 Kla-Tencor Technologies Corp. Dark field inspection apparatus and methods
US20080101664A1 (en) 2004-08-09 2008-05-01 Asher Perez Non-Contact Optical Means And Method For 3D Fingerprint Recognition
US7545571B2 (en) 2004-09-08 2009-06-09 Concurrent Technologies Corporation Wearable display system
US20060173313A1 (en) 2005-01-27 2006-08-03 Siemens Medical Solutions Usa, Inc. Coherence factor adaptive ultrasound imaging
US7653232B2 (en) 2005-01-28 2010-01-26 University Of Massachusetts Phase based digital imaging
US8654201B2 (en) 2005-02-23 2014-02-18 Hewlett-Packard Development Company, L.P. Method for deblurring an image
WO2006107795A1 (en) 2005-04-05 2006-10-12 The Board Of Trustees Of The Leland Stanford Junior University Optical image processing using minimum phase functions
CN101203790A (zh) 2005-06-03 2008-06-18 博奥生物有限公司 一种微阵列芯片激光扫描仪光学系统
JP2007071803A (ja) 2005-09-09 2007-03-22 Hitachi High-Technologies Corp 欠陥観察方法及びその装置
JP4696890B2 (ja) 2005-12-12 2011-06-08 富士ゼロックス株式会社 ホログラム記録方法及びホログラム記録装置
JP4727517B2 (ja) 2006-01-11 2011-07-20 富士フイルム株式会社 光源装置および光断層画像化装置
US20070171430A1 (en) 2006-01-20 2007-07-26 The General Hospital Corporation Systems and methods for providing mirror tunnel micropscopy
JP4822925B2 (ja) 2006-04-28 2011-11-24 日本電子株式会社 透過型電子顕微鏡
US7460248B2 (en) 2006-05-15 2008-12-02 Carestream Health, Inc. Tissue imaging system
US8980179B2 (en) 2006-05-17 2015-03-17 University Of Maryland, Baltimore County Angular-dependent metal-enhanced fluorescence
EP2030070A1 (en) 2006-06-16 2009-03-04 Carl Zeiss SMT AG Projection objective of a microlithographic projection exposure apparatus
US7838302B2 (en) 2006-08-07 2010-11-23 President And Fellows Of Harvard College Sub-diffraction limit image resolution and other imaging techniques
CN100385275C (zh) 2006-09-29 2008-04-30 李志扬 主动光学位相共轭方法及装置
JP4690379B2 (ja) 2006-12-05 2011-06-01 韓國電子通信研究院 偏光板と高速フーリエ変換を用いたナノ線感知用光学顕微鏡システム
WO2008116070A2 (en) 2007-03-20 2008-09-25 Chroma Technology Corporation Light source
US8313031B2 (en) 2007-03-30 2012-11-20 Symbol Technologies, Inc. Adaptive aperture for an imaging scanner
US8279329B2 (en) 2007-04-10 2012-10-02 University Of Rochester Structured illumination for imaging of stationary and non-stationary, fluorescent and non-fluorescent, objects
US8624968B1 (en) 2007-04-25 2014-01-07 Stc.Unm Lens-less digital microscope
CN101680848B (zh) 2007-06-13 2011-11-23 株式会社尼康 检查装置和检查方法
WO2009009081A2 (en) 2007-07-10 2009-01-15 Massachusetts Institute Of Technology Tomographic phase microscopy
US7929142B2 (en) 2007-09-25 2011-04-19 Microsoft Corporation Photodiode-based bi-directional reflectance distribution function (BRDF) measurement
WO2009066253A2 (en) 2007-11-23 2009-05-28 Koninklijke Philips Electronics N.V. Multi-modal spot generator and multi-modal multi-spot scanning microscope
US8115992B2 (en) 2007-12-31 2012-02-14 Stc.Unm Structural illumination and evanescent coupling for the extension of imaging interferometric microscopy
US9239455B2 (en) 2007-12-31 2016-01-19 Stc.Unm Structural illumination and evanescent coupling for the extension of imaging interferometric microscopy
CN101408623B (zh) 2008-01-23 2011-01-19 北京航空航天大学 宽带综合孔径上变频成像系统
JP2010012222A (ja) 2008-06-06 2010-01-21 Olympus Medical Systems Corp 医療装置
US8184279B2 (en) 2008-06-16 2012-05-22 The Regents Of The University Of Colorado, A Body Corporate Fourier domain sensing
US7787588B1 (en) 2008-07-21 2010-08-31 Xradia, Inc. System and method for quantitative reconstruction of Zernike phase-contrast images
EP2333516A4 (en) 2008-09-26 2017-11-08 Horiba, Ltd. Device for measuring physical property of particle
US8019136B2 (en) 2008-12-03 2011-09-13 Academia Sinica Optical sectioning microscopy
GB0822149D0 (en) 2008-12-04 2009-01-14 Univ Sheffield Provision of image data
WO2010075357A1 (en) 2008-12-22 2010-07-01 3M Innovative Properties Company Internally patterned multilayer optical films using spatially selective birefringence reduction
US8836948B2 (en) 2009-01-29 2014-09-16 The Regents Of The University Of California High resolution structured illumination microscopy
CN101872033B (zh) 2009-04-24 2014-04-30 鸿富锦精密工业(深圳)有限公司 遮光片阵列、遮光片阵列制造方法及镜头模组阵列
US20160156880A1 (en) 2009-06-03 2016-06-02 Flir Systems, Inc. Durable compact multisensor observation devices
US8559014B2 (en) 2009-09-25 2013-10-15 Hwan J. Jeong High-resolution, common-path interferometric imaging systems and methods
EP2491366B1 (en) 2009-10-20 2016-12-28 The Regents of The University of California Incoherent lensfree cell holography and microscopy on a chip
US20140152801A1 (en) 2009-10-28 2014-06-05 Alentic Microscience Inc. Detecting and Using Light Representative of a Sample
WO2011066275A2 (en) 2009-11-25 2011-06-03 Massachusetts Institute Of Technology Actively addressable aperture light field camera
DE102009047361B4 (de) 2009-12-01 2013-02-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zur optischen Abbildung
WO2011093043A1 (ja) 2010-01-27 2011-08-04 国立大学法人北海道大学 回折顕微法
JP2013519980A (ja) 2010-02-10 2013-05-30 モチイ,インコーポレイテッド(ディービーエー ヴォクサ) 収差補正暗視野電子顕微鏡
EP2583250B1 (en) 2010-06-21 2014-12-17 Koninklijke Philips N.V. Method and system for performing low-dose ct imaging
US9129371B2 (en) 2010-06-25 2015-09-08 Cireca Theranostics, Llc Method for analyzing biological specimens by spectral imaging
GB2481589B (en) 2010-06-28 2014-06-11 Phase Focus Ltd Calibration of a probe in ptychography
US8599367B2 (en) 2010-08-04 2013-12-03 Alliant Techsystems Inc. Apparatus and methods for obtaining multi-dimensional spatial and spectral data with LIDAR detection
WO2012037182A1 (en) 2010-09-14 2012-03-22 Applied Precision, Inc. Oblique-illumination systems and methods
WO2012035170A1 (en) 2010-09-17 2012-03-22 Lltech Inc. Optical tissue sectioning using full field optical coherence tomography
CN101957183B (zh) 2010-09-26 2012-03-21 深圳大学 一种结构光投影的高速三维测量系统
US9426429B2 (en) 2010-10-26 2016-08-23 California Institute Of Technology Scanning projective lensless microscope system
US9569664B2 (en) 2010-10-26 2017-02-14 California Institute Of Technology Methods for rapid distinction between debris and growing cells
GB201020516D0 (en) 2010-12-03 2011-01-19 Univ Sheffield Improvements in providing image data
EP2656066A4 (en) 2010-12-21 2017-11-08 The Regents of The University of California Compact wide-field fluorescent imaging on a mobile device
US9411144B2 (en) 2011-01-12 2016-08-09 Ge Healthcare Bio-Sciences Corp. Systems for fluorescence illumination using superimposed polarization states
WO2012102887A2 (en) 2011-01-24 2012-08-02 The Board Of Trustees Of The University Of Illinois Computational adaptive optics for interferometric synthetic aperture microscopy and other interferometric imaging
US8866063B2 (en) 2011-03-31 2014-10-21 The Regents Of The University Of California Lens-free wide-field super-resolution imaging device
US8841591B2 (en) 2011-04-04 2014-09-23 The Board Of Trustees Of The Leland Stanford Junior University Grating-enhanced optical imaging
GB201107053D0 (en) 2011-04-27 2011-06-08 Univ Sheffield Improvements in providing image data
US8761533B2 (en) 2011-05-05 2014-06-24 Mitsubishi Electric Research Laboratories, Inc. Method for performing image processing applications using quadratic programming
US20140347672A1 (en) * 2011-07-29 2014-11-27 Ecole Polytechnique Federale De Lausanne (Epfl) Apparatus and method for quantitive phase tomography through linear scanning with coherent and non-coherent detection
WO2013019640A1 (en) 2011-07-29 2013-02-07 The Regents Of The University Of California Lensfree holographic microscopy using wetting films
CN103782155B (zh) 2011-09-06 2016-11-16 皇家飞利浦有限公司 具有多个传感器区域的光学生物传感器
US20190097524A1 (en) 2011-09-13 2019-03-28 Fsp Technology Inc. Circuit having snubber circuit in power supply device
US20130093871A1 (en) 2011-10-18 2013-04-18 Andreas G. Nowatzyk Omnidirectional super-resolution microscopy
US9599805B2 (en) 2011-10-19 2017-03-21 National Synchrotron Radiation Research Center Optical imaging system using structured illumination
US9324133B2 (en) 2012-01-04 2016-04-26 Sharp Laboratories Of America, Inc. Image content enhancement using a dictionary technique
GB201201140D0 (en) 2012-01-24 2012-03-07 Phase Focus Ltd Method and apparatus for determining object characteristics
WO2013116316A1 (en) 2012-01-30 2013-08-08 Scanadu Incorporated Hyperspectral imaging systems, units, and methods
CN102608597B (zh) 2012-03-19 2014-07-23 西安电子科技大学 基于非完全数据解卷积的实孔径前视成像方法
EP2690648B1 (en) 2012-07-26 2014-10-15 Fei Company Method of preparing and imaging a lamella in a particle-optical apparatus
WO2014018584A1 (en) 2012-07-24 2014-01-30 Trustees Of Boston University Partitioned aperture wavefront imaging method and system
US9552658B2 (en) 2012-07-26 2017-01-24 William Marsh Rice University Methods and systems for video compressive sensing for dynamic imaging
US20140085629A1 (en) 2012-09-27 2014-03-27 Bodkin Design & Engineering, Llc Active Hyperspectral Imaging Systems
DE102012020240A1 (de) 2012-10-12 2014-04-17 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren zur SPIM Mikroskopie
US10652444B2 (en) 2012-10-30 2020-05-12 California Institute Of Technology Multiplexed Fourier ptychography imaging systems and methods
US9864184B2 (en) 2012-10-30 2018-01-09 California Institute Of Technology Embedded pupil function recovery for fourier ptychographic imaging devices
AU2012258412A1 (en) 2012-11-30 2014-06-19 Canon Kabushiki Kaisha Combining differential images by inverse Riesz transformation
US9400169B2 (en) * 2012-12-06 2016-07-26 Lehigh University Apparatus and method for space-division multiplexing optical coherence tomography
US9426455B2 (en) 2013-07-31 2016-08-23 California Institute Of Technology Aperture scanning fourier ptychographic imaging
WO2015027188A1 (en) 2013-08-22 2015-02-26 California Institute Of Technoloby Variable-illumination fourier ptychographic imaging devices, systems, and methods
US11468557B2 (en) 2014-03-13 2022-10-11 California Institute Of Technology Free orientation fourier camera
US10162161B2 (en) 2014-05-13 2018-12-25 California Institute Of Technology Ptychography imaging systems and methods with convex relaxation
WO2015179452A1 (en) 2014-05-19 2015-11-26 The Regents Of The University Of California Fourier ptychographic microscopy with multiplexed illumination
JP6394367B2 (ja) 2014-05-30 2018-09-26 ソニー株式会社 流体分析装置、流体分析方法、プログラム及び流体分析システム
CA2999959C (en) 2014-10-07 2023-04-04 International Biophysics Corporation Self-contained portable positionable oscillating motor array
US10043054B2 (en) 2014-10-17 2018-08-07 Cireca Theranostics, Llc Methods and systems for classifying biological samples, including optimization of analyses and use of correlation
JP2018504627A (ja) 2014-12-04 2018-02-15 カリフォルニア インスティチュート オブ テクノロジー 多重フーリエタイコグラフィイメージングシステム及び方法
US10718934B2 (en) 2014-12-22 2020-07-21 California Institute Of Technology Epi-illumination Fourier ptychographic imaging for thick samples
AU2014280894A1 (en) 2014-12-23 2016-07-07 Canon Kabushiki Kaisha Illumination systems and devices for Fourier Ptychographic imaging
AU2014280898A1 (en) 2014-12-23 2016-07-07 Canon Kabushiki Kaisha Reconstruction algorithm for Fourier Ptychographic imaging
US20160202460A1 (en) 2015-01-13 2016-07-14 University Of Connecticut 3D Microscopy With Illumination Engineering
WO2016118761A1 (en) 2015-01-21 2016-07-28 California Institute Of Technology Fourier ptychographic tomography
AU2016211635A1 (en) 2015-01-26 2017-06-29 California Institute Of Technology Multi-well fourier ptychographic and fluorescence imaging
WO2016123508A1 (en) 2015-01-29 2016-08-04 The Regents Of The University Of California Patterned-illumination systems adopting a computational illumination
EP3268769A4 (en) 2015-03-13 2018-12-05 California Institute of Technology Correcting for aberrations in incoherent imaging system using fourier ptychographic techniques
US9993149B2 (en) 2015-03-25 2018-06-12 California Institute Of Technology Fourier ptychographic retinal imaging methods and systems
WO2016187591A1 (en) 2015-05-21 2016-11-24 California Institute Of Technology Laser-based fourier ptychographic imaging systems and methods
US11054367B2 (en) 2015-10-12 2021-07-06 The Regents Of The University Of California Spectroscopy imaging and analysis of live cells
JP2018537709A (ja) 2015-11-11 2018-12-20 スコピオ ラボズ リミテッド 異なる照明条件下で画像を生成するためのコンピュータ顕微鏡及び方法
US20180348500A1 (en) 2015-11-11 2018-12-06 Scopio Labs Ltd. Scanning microscope with real time response
WO2017081541A1 (en) 2015-11-11 2017-05-18 Scopio Lab Ltd. Microscope having a refractive index matching material
US10176567B2 (en) 2015-12-21 2019-01-08 Canon Kabushiki Kaisha Physical registration of images acquired by Fourier Ptychography
US11092795B2 (en) 2016-06-10 2021-08-17 California Institute Of Technology Systems and methods for coded-aperture-based correction of aberration obtained from Fourier ptychography
US10568507B2 (en) 2016-06-10 2020-02-25 California Institute Of Technology Pupil ptychography methods and systems
US20180078447A1 (en) 2016-07-01 2018-03-22 Victor Viner Heated Rolling Massager
US10228283B2 (en) 2016-08-12 2019-03-12 Spectral Insights Private Limited Spectral imaging system
US10558029B2 (en) 2016-10-27 2020-02-11 Scopio Labs Ltd. System for image reconstruction using a known pattern
CN106896489B (zh) 2017-02-13 2019-11-22 清华大学 基于波长复用的频域拼贴显微系统及其方法
DE102017120823A1 (de) 2017-09-08 2019-03-14 Vemag Maschinenbau Gmbh Verfahren und Vorrichtung zum gruppierten Anordnen und Ausrichten und Verpacken von individuellen Lebensmittel-Produkten, insbesondere Patty-Stapel
DE102017217132B3 (de) 2017-09-26 2019-01-31 Bender Gmbh & Co. Kg Schaltnetzteil mit elektrischer Schaltungsanordnung zur Eingangsschutzbeschaltung
WO2019090149A1 (en) 2017-11-03 2019-05-09 California Institute Of Technology Parallel digital imaging acquisition and restoration methods and systems

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1688254A (zh) * 2002-10-18 2005-10-26 株式会社日立医药 X线断层摄影装置
CN1311392C (zh) * 2002-12-02 2007-04-18 维森盖特有限公司 用于在傅立叶域三维成像的方法和装置
CN101014288A (zh) * 2004-07-21 2007-08-08 株式会社日立医药 断层像摄影装置
CN101466313A (zh) * 2006-04-14 2009-06-24 威廉博蒙特医院 扫描狭槽锥形束计算机断层摄影以及扫描聚焦光斑锥形束计算机断层摄影
CN101743519A (zh) * 2007-05-16 2010-06-16 视瑞尔技术公司 全息显示装置
CN102753935A (zh) * 2010-02-10 2012-10-24 佳能株式会社 相位信息的分析方法、相位信息的分析程序、存储介质和x射线成像装置
CN103096804A (zh) * 2010-07-13 2013-05-08 株式会社电视系统 X射线断层像摄影装置
CN103377746A (zh) * 2012-04-14 2013-10-30 中国科学技术大学 实现显微镜系统超分辨成像的方法
WO2014033459A1 (en) * 2012-08-31 2014-03-06 Phase Focus Limited Improvements in phase retrieval from ptychography
US20140118529A1 (en) * 2012-10-30 2014-05-01 California Institute Of Technology Fourier Ptychographic Imaging Systems, Devices, and Methods
US20140126691A1 (en) * 2012-10-30 2014-05-08 California Institute Of Technology Fourier Ptychographic X-ray Imaging Systems, Devices, and Methods
CN104181686A (zh) * 2014-08-25 2014-12-03 清华大学深圳研究生院 基于fpm的光场显微方法
CN104200449A (zh) * 2014-08-25 2014-12-10 清华大学深圳研究生院 一种基于压缩感知的fpm算法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DIEROLF M,ET AL: "Ptychographic X-ray computed tomography at the nanoscale", 《NATURE》 *
GUOAN ZHENG ET,AL: "Wide-field,high-resolution Fourier ptychographic microscopy", 《NATURE PHOTONICS》 *
张丽等: "直线轨迹扫描断层成像中的图像重建与恢复方法", 《中国体视学与图像分析》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108196357A (zh) * 2018-02-13 2018-06-22 成都筋斗云影视传媒有限公司 一种多角度照明光源及基于此光源的傅立叶层叠成像系统
TWI788105B (zh) * 2021-08-09 2022-12-21 筑波醫電股份有限公司 半導體晶圓檢測方法及半導體晶圓檢測裝置

Also Published As

Publication number Publication date
US20160210763A1 (en) 2016-07-21
CA2970063A1 (en) 2016-07-28
AU2016209275A1 (en) 2017-06-29
EP3248208A4 (en) 2018-10-10
WO2016118761A1 (en) 2016-07-28
JP2018508741A (ja) 2018-03-29
EP3248208B1 (en) 2019-11-27
US10665001B2 (en) 2020-05-26
CN107209362B (zh) 2020-11-06
EP3248208A1 (en) 2017-11-29

Similar Documents

Publication Publication Date Title
CN107209362B (zh) 傅立叶重叠关联断层摄影
Horstmeyer et al. Diffraction tomography with Fourier ptychography
EP3227741B1 (en) Multiplexed fourier ptychography imaging systems and methods
US10652444B2 (en) Multiplexed Fourier ptychography imaging systems and methods
WO2016070771A1 (zh) X射线相衬成像系统与成像方法
Ding et al. Efficient 3-D model-based reconstruction scheme for arbitrary optoacoustic acquisition geometries
CN102221565B (zh) X射线源光栅步进成像系统与成像方法
EP3121287B1 (en) Drug efficacy evaluation method and image processing device for drug efficacy evaluation
JP2019516108A (ja) サンプルの粒子を特徴付けるホログラフィック方法
Guggenheim et al. Multi-modal molecular diffuse optical tomography system for small animal imaging
US20140307261A1 (en) White Light Diffraction Tomography of Unlabeled Live Cells
CN104305957A (zh) 头戴式分子影像导航系统
Edgar et al. Real-time computational photon-counting LiDAR
Davis et al. Interferometric synthetic aperture microscopy: computed imaging for scanned coherent microscopy
Paul et al. A simple algorithm for diffuse optical tomography without Jacobian inversion
WO2006128889A2 (en) Method for tomographic reconstruction
Lee et al. Non-contact small animal fluorescence imaging system for simultaneous multi-directional angular-dependent data acquisition
Presenti et al. CNN-based pose estimation of manufactured objects during inline X-ray inspection
Ledwig et al. Partially coherent broadband 3D optical transfer functions with arbitrary temporal and angular power spectra
Ren et al. Spatial frequency domain imaging technology based on Fourier single-pixel imaging
Baum et al. Three-dimensional surface reconstruction within noncontact diffuse optical tomography using structured light
CN115984952B (zh) 基于球结膜血管图像识别的眼动跟踪系统及其方法
Feldkhun et al. Frequency-mapped focus-free F-BASIS 3D microscopy
Nikutta et al. Hypercat-hypercube of AGN tori
Zhu et al. Synchronous locating and imaging behind scattering medium in a large depth based on deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant