CN107407799A - 使用傅里叶叠层成像技术校正不相干成像系统中的像差 - Google Patents

Abstract

像差校正的不相干成像方法和系统，其可以采集样品的相干图像和不相干图像的序列、结合傅里叶叠层成像技术实现嵌入式光瞳函数恢复过程以使用相干图像的序列构建成像系统的改进的分辨率图像和光瞳函数、基于所估计的光瞳函数确定光学传递函数并使用去卷积过程从不相干图像中去除像差以生成像差校正的不相干图像。

Description

使用傅里叶叠层成像技术校正不相干成像系统中的像差

相关申请的交叉引用

本申请要求在2015年3月13日提交的且题为“Correcting for Aberrations inIncoherent Imaging System via Fourier Ptychographic Microscopy”的美国临时专利申请第62/133,130号的权益和优先权，其通过引用整体并入本文并用于所有目的。

领域

本文描述的某些方面大体涉及成像方法和系统，更具体地，涉及用于使用傅立叶叠层成像技术在不相干成像系统中进行像差校正的方法。

背景

一般来说，成像透镜在设计上是不完美的。各种形状和性质的多个透镜通常在成像透镜中错综复杂地组合以补偿与理想透镜的偏差，但是这会带来高制造成本价格以及相关联的透镜设计的复杂性的增加。市场上可售的大多数透镜都在靠近其视场中心的区域提供了良好分辨率的图像，但在远离中心的区域提供差的分辨率。因此，获得良好分辨率的样本图像需要光栅扫描样本并保持被扫描图像的中心区域同时丢弃远离中心的部分。

明视场成像为最流行的显微镜模态之一。明视场显微镜通常用白光照射样品并捕获透射光的图像。明视场图像相位衬度提供了有关样本结构的信息。结合相位衬度方法，可定量测量样本的吸收率、厚度和色散。生物学中另一个越来越重要的显微镜模态为荧光成像。荧光可以通过用荧光团进行适当的标记来帮助在分子水平处显现化学成分和结构。通过在荧光团的激发光处照射标记的样本并以荧光团的发射波长成像，生物学家可以容易地识别出表现出感兴趣的化学性质的标记区域。结合明视场和荧光图像允许人们相对于样品的底层结构定位荧光区域。

概述

某些方面涉及用于使用傅里叶叠层成像技术在不相干成像系统中进行像差校正的方法(ACIS方法)和实现这些方法的不相干成像系统(ACIS系统)。

某些方面涉及像差校正的不相干成像方法，其包括在连续从不同角度提供入射到样品的相干平面波照明的同时采集样品的相干图像序列，其中，在从角度之一向样品提供相干平面波照明的同时采集相干图像中的每一个。该方法还包括基于从样品发出的不相干光来采集样品的不相干图像。该方法还包括实现嵌入式光瞳函数恢复过程以使用所采集的图像序列来构建改进分辨率的图像并估计成像系统的光瞳函数。该方法还包括基于所估计的光瞳函数来确定成像系统的光学传递函数，并使用去卷积过程从采集的不相干图像中去除像差以生成像差校正的不相干图像。在该方法中，去卷积过程使用成像系统的光学函数，该成像系统的光学函数根据使用所采集的图像序列估计的光瞳函数确定。

某些方面涉及包括可变相干光源的成像系统，该可变相干光源被配置成使用来自不同倾斜角度的相干平面波照明连续照射样本。该系统还包括被配置成向样品提供波长的第一波段的激发光源，该波长的第一波段被配置成激活样品中的荧光团以发射第一组荧光发射的光。该系统也包括光学系统和一个或更多个图像传感器。该光学系统具有用于收集从样品发出的光的收集光学器件，其中该光学系统包括发射滤光片，在激发光源向样品提供波长的第一波段时，该发射滤光片用于使第一组荧光发射通过而阻挡其他波长，光学系统被配置成将光传播到一个或更多个图像传感器。一个或更多个图像传感器被配置成在可变相干光源利用相干平面波照明以不同倾斜角度连续照射样品的同时采集样品的相干图像序列，该一个或更多个图像传感器还被配置成基于不相干照明来采集样品的不相干图像。该系统还包括与一个或更多个图像传感器电气通信的一个或更多个处理器，以接收相干图像的序列和不相干图像的图像数据。一个或更多个处理器也被配置成实现存储在存储器中的指令以利用嵌入式光瞳函数恢复过程来构建改进的分辨率的图像，并且通过利用所采集的相干图像序列的图像数据使用嵌入式光瞳函数恢复过程来估计成像系统的光瞳函数。一个或更多个处理器还被配置成实现存储在存储器中的指令，以基于所估计的光瞳函数来确定成像系统的光学传递函数。一个或更多个处理器还被配置成实现存储在存储器中的指令以通过使用去卷积过程从所采集的不相干图像中去除像差来生成像差校正的不相干图像，其中该去卷积过程使用成像系统的光学函数，该成像系统的光学函数根据使用所采集的图像序列所估计的光瞳函数来确定。

以下参考相关联的附图更详细地描述这些和其他特征。

附图简述

图1为根据一些实施方案的能够实现ACIS成像方法的ACIS成像系统的框图。

图2为根据实施例的被配置成实现用于关节FP荧光成像的ACIS方法的ACIS成像系统的示例的示意图。

图3示出了描绘根据实施方案可以由ACIS成像系统实现的示例性ACIS成像方法的单次成像运行的操作的流程图。

图4示出了根据实施方案的描绘示例性EPRY过程的操作的流程图。

图5包括根据实施方案被示为公式的一组图像，其示意性地表示从畸变不相干图像中去卷积OTF的操作。

图6A为根据实施方案在执行ACIS成像方法期间的实验结果的流程的示意表示。

图6B为根据一个方面的强度vs位置的曲线图。

图6C包括根据实施方案的两个图像，左图像为高分辨率明视场图像和卷积之前的原始荧光图像的重叠图像，以及右图像为高分辨率明视场图像和去卷积后的像差校正荧光图像的重叠图像。

图7A包括根据实施方案从光轴偏移的特定样本ROI的原始图像和恢复的PSF。

图7B为根据实施方案的去卷积所得图像。

图7C为根据实施方案利用以光轴为中心的相同的样本ROI捕获的原始图像。

图8示出了根据实施方案使用具有修改的4f设置的ACIS成像系统执行ACIS方法所产生的大图像FOV的不同区域处遍及整个图像FOV的高分辨率傅里叶叠层成像(FP)图像和像差校正的荧光图像。

详细描述

下面将参考附图描述本公开的实施例。

I.介绍

最近，开发了结合傅里叶叠层成像(FP)技术的嵌入式光瞳函数恢复(EPRY)方法。标准EPRY方法表征透镜的空间变化像差，并且针对相干成像设置通过计算校正所捕获的图像。该标准EPRY方法的细节可以在G.Zheng、R.Horstmeyer和C.Yang于2013年在NaturePhotonics上发表的“Wide-field,high-resolution Fourier ptychographicmicroscopy”和X.Ou、G.Zheng和C.Yang于2014年在Optics Express上发表的“Embeddedpupil function recovery for Fourier ptychographic microscopy”中找到，其全部内容通过引用并入本文。该EPRY方法的细节也可以在2014年12月16日提交的且题为“EMBEDDED PUPIL FUNCTION RECOVERY FOR FOURIER PTYCHOGRAPHIC IMAGING DEVICES”的美国专利申请第14/572,493号中找到，其全部内容通过引用并入本文。此傅立叶叠层成像(FP)技术的细节可以在2013年10月28日提交的题为“FOURIER PTYCHOGRAPHIC IMAGINGSYSTEMS，DEVICES，AND METHODS”的美国专利申请14/065,280和在2014年8月22日提交的题为“VARIABLE-ILLUMINATION FOURIER PTYCHOGRAPHIC IMAGING DEVICES,SYSTEMS,ANDMETHODS”的美国专利申请14/466,481中找到，其全部内容通过引用并入本文。

然而，使用不相干光实现了一些成像模态。例如，生物学家通常使用的荧光成像基于来自样本的不相干发射。标准EPRY方法不能直接用于校正捕获的荧光图像中的空间变化像差，因为标准EPRY方法被设计成主要用于相干成像系统。本文描述的ASIC方法可以校正捕获的荧光图像和其他不相干图像中的空间变化的像差。

根据某些方面，ASIC方法包括使用根据结合FP技术的标准EPRY方法所确定的光瞳函数来校正不相干成像系统中的像差的操作。首先，ACIS方法在可变相干照明源(例如，发光二极管(LED)阵列))提供来自多个照明角度的连续照明的同时捕获样本的明视场相干图像序列，在某些实施方案中，这些照明角度通常为倾斜角度。ACIS方法还采集样本视场的一个或更多个不相干图像。例如，当样本中的荧光团被激发光源激活时，可以成像荧光发射(信号)。利用所采集的明视场相干图像序列，ACIS方法使用结合FP技术的标准EPRY方法来表征相干成像系统的空间变化像差(通常称为“光瞳函数”)。ACIS方法将相干成像系统的光瞳函数转换为不相干光学传递函数，该不相干光学传递函数可以从荧光图像中去卷积以在整个成像系统的视场中实现良好分辨的像差校正的荧光图像。

为了表征成像系统的空间变化像差，ACIS方法使用FP技术以通过使用相位恢复方法来重建样本视场的复振幅和相位函数，以将在不同角度的连续照明下捕获的一系列原始明视场图像拼接在一起。图2中示出了被配置成在以不同照明角度连续从LED阵列的一个或更多个LED的不同组中提供相干照明的同时捕获样本的一组明视场相干图像的成像系统的示例。

如所述，ACIS方法在FP技术(FP-EPRY重建)内实现EPRY方法，其不仅能够恢复复合样本函数(幅度和相位)，而且可以确定相干成像系统的光瞳函数。所确定的光瞳函数是包括成像系统的像差的相干成像系统的相干传递函数。因为对于所捕获图像上的不同区域的像差函数可以是不同的，所以在某些实施方案中，在FP-EPRY重建之前将样本的全视场图像平铺到较小区域中，使得像差在每个图块内大致相同。对于获得成像系统的不相干光学传递函数(OTF)的ACIS方法，所确定的光瞳函数与其自身在频域中卷积或在空间域中进行幅度平方。ACIS方法通过用来自激发光源(例如，激发LED)的激发光照射样本中的荧光团来获得不相干图像。以与上述相同的方式对图像进行平铺，并且通过去卷积过程(例如，维纳滤波器)在频域中对每个图块进行去卷积以去除如图3所示的像差。

在某些实施方案中，ASIC方法可以在宽的成像系统视场(FOV)下生成高分辨率、相干明视场图像和/或像差校正的荧光图像。ASIC方法可以使用傅里叶叠层成像(FP)技术来提高明视场图像分辨率，该傅立叶叠层成像技术为最近开发的计算技术，其处理在角度变化照明下采集的图像序列。傅立叶叠层成像(FP)技术的细节在G.Zheng、R.Horstmeyer和C.Yang于2013年在Nat.Photonics 7(9)第739-745页发表的“Wide-field，high-resolution Fourier ptychographic microscopy”中进行讨论，其全部内容通过引用并入本文。在相位恢复过程中，FP技术恢复样本视场的相位信息，并且可以使用EPRY方法另外估计成像系统的像差。相位恢复过程的一些细节可以在X.Ou、R.Horstmeyer、C.Yang和G.Zheng于2013年在Opt.Lett.38(22)第4845-4848页发表的“Quantitative phaseimaging via Fourier ptychographic microscopy”中找到，其全部内容通过引用并入本文。标准EPRY过程的细节可以在X.Ou、G.Zheng、C.Yang于2014年在Opt.Express 22(5)第4960-4972页发表的“Embedded pupil function recovery for Fourier ptychographicmicroscopy”中找到，其全部内容通过引用并入本文。ASCI方法也可以使用相同的系统捕获荧光图像，并使用在FP-EPRY过程期间所估计的像差图来校正其像差。具体地，FP过程以空间变化的光瞳函数的形式输出复像差图，ASIC方法利用其计算成像系统的空间变化不相干点扩散函数(PSF)，以在用于像差去除的荧光图像去卷积中使用。

由于物理透镜设计的限制，成像系统倾向于表现出在其视场(FOV)上变化的像差。对于宽FOV成像装置，像差显着降低FOV边界附近的图像质量。宽FOV成像装置的示例是被设计用于使用FP技术进行十亿像素成像的显微镜，其在以下文件中进行描述：S.Dong、K.Guo、P.Nanda、R.Shiradkar和G.Zheng于2014年在Biomed.Opt.Express 5(10)第3305-3310页发表的“FPscope:a field-portable high-resolution microscope using a cellphonelens”、K.Guo、S.Dong、P.Nanda和G.Zheng于2015年在Opt.Express 23(5)第6171-6180页发表的“Optimization of sampling pattern and the design of Fourier ptychographicilluminator”、S.Dong、R.Shiradkar、P.Nanda和G.Zheng于2014在Biomed.Opt.Express5(6)第1757-1767页发表的“Spectral multiplexing and coherent-state decompositionin Fourier ptychographic imaging”、L.Tian、X.Li、K.Ramchandran和L.Waller于2014年在Biomed.Opt.Express 5(7)第2376-2389页发表的“Multiplexed coded illuminationfor Fourier Ptychography with a LED array microscope”；以及A.Williams、J.Chung、X.Ou、G.Zheng、S.Rawal、Z.Ao、R.Datar、C.Yang和R.Cote于2014年在J.Biomed.Opt 19(6)，066007发表的“Fourier ptychographic microscopy for filtration-basedcirculating tumor cell enumeration and analysis”。因此，如在G.Zheng、X.Ou、R.Horstmeyer和C.Yang于2013年在Opt.Express 21(13)第15131-15143页发表的“Characterization of spatial varying aberrations for wide field of-viewmicroscopy”中所讨论的，像差校正对于求解整个图像平面上的样本特征是有用的，该文献通过引用以其整体并入。如上所讨论，标准EPRY方法可用于按计算方式考虑相干成像方案中的复杂和空间变化的像差。标准EPRY方法的输出是连同成像系统的光瞳函数的估计的样本的幅度和相位的高分辨率估计。标准EPRY方法不能直接应用于改进荧光成像，因为FP技术和EPRY方法均基于相干成像方案。也就是说，由于荧光发射是不相干的，所以发射不会直接响应于角度变化的照明而改变。

在某些实施方案中，ASIC方法包括像差去除过程，其包括使用例如吉洪诺夫正则化(Tikhonov regularization)利用相关联的不相干点扩散函数(PSF)的去卷积运算。由于相干明视场和荧光图像都是从相同的成像系统以快速连续且几乎没有移动的方式采集，因此在光瞳函数和不相干PSF之间有直接连接。去卷积运算校正由成像系统中的缺陷引起的荧光图像中的像差，以再现像差校正的荧光图像。在一个示例中，去卷积运算以成像系统的衍射极限再现像差校正的荧光图像。

ASIC方法的去卷积运算与需要样本结构的先验知识的超分辨率去卷积方法不同。ASIC方法的去卷积运算对样本结构没有先验的假设。根据某些实施方案，ASIC方法可以在大的FOV容量中生成像差校正的荧光图像和高分辨率明视场图像。该能力使得ASIC方法在诸如计数荧光标记细菌、研究细胞迁移动力学和追踪细胞谱系的应用中特别有用。

根据某些实施方案，ASIC方法可以通过实现标准EPRY方法和FP技术的操作来表征不相干成像系统中的像差。标准EPRY方法和FP技术的细节在G.Zheng、R.Horstmeyer和C.Yang于2013年在Nat.Photonics 7(9)第739-745页发表的“Wide-field，high-resolution Fourier ptychographic microscopy”和X.Ou、G.Zheng和C.Yang于2014年在Opt.Express 22(5)第4960-4972页发表的“Embedded pupil function recovery forFourier ptychographic microscopy”中描述，其在此通过引用以其整体并入。通常，FP技术涉及在可变相干照明源的变化的平面波照明下捕获原始(低分辨率)图像序列。可变相干照明源的示例是在感兴趣样本后面以远距离(例如，距2mm直径的LED元件的距离为80mm)放置的LED阵列。在使用LED阵列的实施方案中，系统对于N个不同的LED可一次打开一个LED，并在每个照明下捕获唯一的图像。在另一实施方案中，成像系统打开独特的LED图案以连续捕获原始图像的序列。此复用示例的细节可以在2015年12月4日提交的且题为“Multiplexed Fourier Ptychography Imaging Systems and Method”的美国专利申请14/960,252中找到，其特此通过引用以其整体并入。对于薄样本，由可变相干照明源提供的变化的平面波照明在ACIS成像系统的收集光学器件的后焦平面中生成横向偏移的样本谱(即，复样本的傅里叶变换)。在该后焦平面上，孔径光阑的有限范围(对应于透镜NA)用作低通滤光片。在使用传统的无穷远校正的显微镜物镜作为收集光学器件的示例中，孔径光阑的范围定义其截止空间频率，其继而指定了其在图像平面处的最小可分辨特征。通过经由变化的平面波照明横向偏移样本谱并采集原始较低分辨率图像的序列，FP采集操作采集了包含足够信息的数据集，以重建具有比单个原始图像所提供的更广的光谱的图像。

由于样本谱是复合的并且图像传感器系统通常只记录光强度，因此使用N个采集的相干图像将样本谱扩展到采集光学器件的带通之外不是直接的。为了解决逆问题，ASIC方法可以使用FP技术来应用相位恢复重建过程。相位恢复重建过程的示例可以在J.R.Fienup于1982年在Appl.Opt.21(15)第2758-2769页发表的“Phase retrievalalgorithms:a comparison”和V.Elser于2003年在J.Opt.Soc.Am.A 20(1)第40-55页发表的“Phase retrieval by iterated projection”中找到，其通过引用并入相位恢复重建过程的示例。包括基于交替投影的标准非线性求解器的求解器的示例是广泛可用的，诸如在P.Godard、M.Allain、V.Chamard和J.Rodenburg于2012年在Opt.Express 20(23)第25914-25934页发表的“Noise models for low counting rate coherent diffractionimaging”、C.Yang、J.Qian、A.Schirotzek、F.Maia和S.Marchesini在http://arxiv.org/abs/1105.5628上的“Iterative Algorithms for Ptychographic Phase Retrieval”以及R.Horstmeyer、R.Y.Chen、X.Ou、B.Ames、J.A.Tropp和C.Yang于2015年在New J.Phys.17(5)，053044发表的“Solving ptychography with a convex relaxation”中讨论的。根据某些实施方案，FP图像采集过程通过改变照明角度获得具有一定量冗余度的相干明视场图像序列，使得对应于样本谱的唯一窗口化区域的相邻图像在傅里叶域中重叠一定量。在一个示例中，在傅立叶域中的重叠至少为约65％。在另一示例中，在傅里叶域中的重叠至少为约70％。在另一示例中，在傅里叶域中的重叠至少为约77％。在另一示例中，在傅里叶域中的重叠至少为约60％。FP重建过程涉及扩展孔径光阑带通的相位恢复的应用。在一些示例中，FP重建过程可以通过由最大照明角度定义的照明NA有效地增加成像系统的NA。

ASIC方法使用标准EPRY方法来确定成像系统的光瞳函数。在某些实施方案中，ASIC方法可以同时(例如，利用并行处理)使用标准EPRY方法确定复合样本重建和光瞳函数。在一个示例中，ASIC方法将迭代FP更新过程分为两个步骤。在第一步骤中，ASIC方法实现标准EPRY过程以使用图像数据和当前光瞳函数估计来更新在所有偶数迭代处的样本谱估计。其次，ASIC方法实现EPRY过程以应用图像数据和当前谱估计来更新在所有奇数迭代处的光瞳函数估计。为了考虑跨系统FOV的空间变化的像差，捕获的图像被分割成较小的图块。在每个图块内像差可以被认为是空间不变的。在一种情况下，ASIC方法选择小于整个样本区域但是大于投影到图像平面上的大约20×20个传感器像素的图块区域，这有助于在重建期间减轻数值伪像。EPRY过程分别应用于每个图块，并且用于系统FOV的每个图块区域的唯一像差函数被确定。

根据某些实施方案，ASIC方法使用标准EPRY方法来确定成像系统的图块特定的光瞳函数。根据EPRY方法所获得的图块特定的光瞳函数提供了成像系统的相干传递函数的精确物理模型。ASIC方法基于所确定的图块特定的光瞳函数来确定不相干成像方案的像差。ASIC方法可以根据公式1将不相干(荧光)图像PSF确定为光瞳函数的傅里叶变换的平方幅度。

h_m(x,y)＝|F^-1[P_m(f_x,f_y)]|² (公式l)

其中，(x,y)表示图像平面的空间坐标，(f_x,f_y)表示孔径平面中的坐标(即，是空间坐标的傅立叶共轭)，h_m(x,y)为不相干PSF，P_m(f_x,f_y)是CTF，以及F^-1是傅立叶逆变换运算。

在像差去除操作中，ASIC方法从所采集的荧光图像中去除像差。在某些实施方案中，ASIC方法将所采集的荧光图像分割成与FP重建过程中使用的相同的图块，以确保从EPRY采集的像差图对应于荧光图像中的相同子区域。当通过成像系统对荧光图像的o_m(x,y)的第m个图块进行成像时，在到达图像传感器之前，其被可能在空间上可变的不相干PSF(h_m(x,y))降级。检测到的图像强度i_m(x,y)进一步被源自样本的背景信号的噪声n_m(x,y)、散粒噪声和检测器噪声破坏。通常，成像过程可以被表示为公式2。

i_m(x,y)＝h_m(x,y)*o_m(x,y)+n_m(x,y) (公式2)

像差去除操作的目标是从被破坏的图像信号i_m(x,y)中恢复对象o_m(x,y)。在傅立叶域中，公式2被表示为公式3。

I_m(f_x,f_y)＝H_m(f_x,f_y)·O_m(f_x,f_y)+N_m(f_x,f_y) (公式3)

其中，I_m(f_x,f_y)、H_m(f_x,f_y)、O_m(f_x,f_y)和N_m(f_x,f_y)分别是i_m(x,y)、H_m(f_x,f_y)、O_m(f_x,f_y)和N_m(f_x,f_y)的傅里叶变换。

与相干传递函数不同，H_m(f_x,f_y)也被称为光学传递函数(OTF)，其在其带通内可以具有多个零，并且其带通边缘附近的值非常低，这意味着样本信息可能会在这些空间频率中被噪声丢失或淹没。由于OTF的性质，反相公式3来求解O_m(f_x,f_y)可能有不适当的问题。已经开发了各种反演方法来解决这种信息丢失，这通常依赖于正则化参数。维纳去卷积方法通过以下公式确定对于原始对象信号O_m(f_x,f_y)的估计

其中，G_m(f_x,f_y)是如下被定义的逆滤波器：

维纳去卷积方法的细节可以在Wiener,N.于1949年在麻省理工出版社(MITPress)发表的“The Extrapolation，Interpolation and Smoothing of Stationary TimeSeries”中找到，其在此通过引用维纳去卷积方法的这些细节并入。

尽管假设N_m(f_x,f_y)为白高斯噪声是合理的，但是在没有样本的空间分布的一些先前知识的情况下，难以确定O_m(f_x,f_y)。为了简单起见，|N_m(f_x,f_y)|²/|O_m(f_x,f_y)|²被设置为常数K，从而基本上将G_m(f_x,f_y)转换为吉洪诺夫正则化算法。常数K的示例可以在R.C.Gonzalez和R.E.Woods的“Digital Image Processing(Prentice Hall，2002)”和J.C.Russ的“The Image Processing Handbook”第五版(CRC Press，2007)”中找到，其通过引用常数K的示例并入。吉洪诺夫正则化算法的示例可以在M.Bertero和P.Boccacci的“Introduction to Inverse Problems in Imaging(Taylor&Francis，1998)”中找到，其通过引用该算法并入。

K的作用就像正则化矩阵(regularizer)：较小的K产生更清晰的细节，同时放大捕获的图像中的噪声，而较大的K以细节为代价使算法对噪声更加鲁棒。视觉上确定该值，使得去卷积最小化背景噪声，同时恢复最终图像中的最多细节。最后，通过以下公式给出原始荧光对象的最终估计：

公式6用假定的噪声和样本分布模型输出吉洪诺夫正则化后的所得图像。高斯噪声是用于成像系统的噪声的合理假设，其中图像以高信噪比长时间曝光来捕获。然而，对于泊松噪声变得严重和主导的光子限制设置，假设泊松成像过程的最大似然去卷积方法将更适合，诸如Richardson-Lucy去卷积。Richardson-Lucy去卷积运算的细节可以在G.M.P.Kempen和V.L.J.Vliet于1997年在J.Microsc.185(3)第354-365页发表的“Aquantitative comparison of image restoration methods for confocal microscopy”中找到，其在此通过引用Richardson-Lucy去卷积运算并入。ASIC方法对所有图块应用公式6以获取全FOV像差校正荧光图像。

在某些实施方案中，ACIS方法可以实现传统的EPRY方法以使用样品的一个不相干图像或不相干图像的序列，而不是相干图像序列。在这些实施方案中，可变照明源包括不相干辐射源，其提供在多个波长和/或多个角度处的不相干辐射，而不是诸如来自LED阵列的变角相干辐射。在这些具体情况下(不相干源所需的严格条件和假设不能是任何不相干照明)，传统的EPRY方法包括将所捕获序列的不相干图像计算处理成对于FP-EPRY重建运算的相干图像输入数据的运算。然后，FP-EPRY重建可以确定相位和幅度，并且使用相干图像输入数据同时确定光瞳函数。

II.ACIS成像系统

图1是根据一些实施方案的能够实现ACIS成像方法的ACIS成像系统100的框图。在高水平处，ACIS成像系统100被配置或可配置成从不同的照明角度照射样本并且捕获原始亮视场图像序列并且被配置成或可配置成基于不相干光(诸如来自样本的荧光发射)捕获样本的视场的一个或更多个原始图像。例如，ACIS成像系统100可被配置或可配置成用激发光照射样本以激活样本中的荧光团，这将生成荧光发射并且基于荧光发射的测量捕获样本的视场的一个或更多个荧光图像。所描述的ACIS系统100的部件之间的通信可以是有线形式和/或无线形式。

在某些实施方案中，由ACIS成像系统成像的区域被划分成更小的区域或图块。ACIS成像系统可以包括并行处理功能以并行处理多个图块。例如，ACIS成像系统100可处理每个图块的原始相干图像以重建相位和幅度数据以及对多个图块并行执行光瞳函数。ACIS成像系统100还可处理每个图块的原始图像以并行生成用于多个图块的像差校正的不相干(例如，荧光)图像。

返回图1，ACIS成像系统100包括照明系统102、光学系统106和图像传感器系统108。控制器110基于存储在存储器中和/或由ACIS成像系统100的操作提供的指令来控制ACIS成像系统100的操作。控制器110与图像传感器系统108电气通信以从图像传感器系统108接收原始图像数据。可选地(由虚线表示)，控制器110与照明系统102电气通信以控制来自该系统的照明，例如，以便在图像传感器系统108采集原始图像期间将照明与曝光时间同步(明视场和/或荧光)。控制器110或另一处理器在各种图像采集曝光期间，例如通过选择性地上电或以其他方式仅允许光源中的特定光源或子集在特定时间处和特定持续时间内形成各种照明模式来控制来自照明系统102的光源的照明。在一些实施方案中，控制器110还被配置成执行指令以对原始图像数据执行处理操作，诸如作为ACIS成像方法的一部分所执行的操作。

图像传感器系统108与光学系统106通信以接收来自光学系统106的光并捕获原始图像，每个原始图像在曝光时间内捕获。照明系统102与光学系统106通信，以向被成像的样本提供照明，使得由样本散射或以其他方式从样本发出的光通过光学系统106传播到捕获原始图像的图像传感器系统108。

在某些实施方案中，照明系统102包括用于以不同的照明角度连续向样本提供照明的可变相干照明源以及用于提供激发光以激活样本中的荧光团的激发光系统。当向样本提供来自可变相干可变照明源的照明时，由样本散射或以其他方式从样本发出的光通过光学系统106传播到图像传感器系统108，该图像传感器系统108捕获明视场原始图像的序列。当向样本提供来自激发光源的照明时，样本中的荧光团响应于接收到激活光而发射光(发射)，并且荧光发射通过光学系统106传播到图像传感器系统108，其在曝光时间期间捕获荧光图像。在某些实施方案中，在照射期间通过不同波长的激发光捕获多个荧光图像。

在明视场图像采集期间，由可变相干照明源生成的光以不同照射角度连续照射样本。当入射到样本上的光通过样本时，其被样本的物理特征散射。在荧光图像采集期间，激发光源生成特定波长的激发光以激发样本中的荧光团(例如，专门的蛋白质)。在荧光图像采集过程中，入射激发光将能量投入到荧光团中，然后荧光团发射较低能量波长的光。然后散射光或发射光的一部分经过光学系统106的收集光学器件(透镜或透镜组)。光学系统106的聚焦光学器件将来自样本的散射或发射光聚焦到图像传感器系统108的一个或更多个图像传感器。

图像传感器系统108具有一个或更多个图像传感器。根据某些实施方案，图像传感器被配置成捕获光并输出包括表示在图像传感器的特定位置处接收到的光的强度的图像数据的数据信号(在本文中称为“光强度分布”、“强度分布”或简称为“图像”或“图像帧”)。由每个图像传感器输出的图像数据被传送(或“发送”或“传达”)到例如控制器的处理器。ACIS系统的图像传感器可以在明视场图像采集过程期间采集N个原始明视场强度图像序列，并且可以在每个不相干(例如荧光)图像采集过程期间采集一个或更多个不相干(例如，荧光)图像。每个图像传感器通过测量在曝光时间期间入射到图像传感器的感测区域的光的强度分布来采集原始图像。合适的图像传感器的一些示例为CMOS传感器、电荷耦合器件(CCD)和其他类似的成像器件。在一个示例中，图像传感器是具有5.5μm像素大小的CCD，诸如Prosilica GX6600图像传感器。在某些实施方案中，ACIS系统中的一个或更多个图像传感器为单色光检测器。

控制器110被配置成从其明视场和不相干(例如，荧光)图像采集处理中解读和处理原始图像数据以生成经处理的图像数据。在一些实施方案中，控制器110由用户配置成或可配置成对明视场强度图像序列的原始图像数据执行FP处理操作。在这些情况下，控制器110从所采集的明视场强度图像序列中解释图像数据、将相对低分辨率的图像数据帧转换到傅立叶空间中、组合经变换的原始图像数据并重建对于样本视场的单个高分辨率图像的幅度和相位数据。在一些情况下，控制器110使用幅度和相位数据来确定对于ACIS成像系统100的像差。控制器110通常还可以包括解释和处理在每个图像采集过程期间所捕获的不相干图像的原始图像数据以生成像差校正的不相干图像的功能。

根据某些实施方案，控制器110可以并行执行图像处理，例如，诸如当使用FP技术处理多个图块图像时，从而并行重建对于多个图块的相位和幅度数据。为了执行并行图像处理，控制器110通常包括至少一个处理器(或“处理单元”)。示例处理器包括例如通用处理器(CPU)、专用集成电路、诸如现场可编程门阵列(FPGA)的可编程逻辑器件(PLD)中的一个或更多个，或包括CPU、专用集成电路、PLD以及存储器和各种接口中的一个或更多个的芯片上系统(SoC)。控制器110还与至少一个内部存储器装置120通信。内部存储器装置120可以包括用于存储处理器可执行代码(或“指令”)的非易失性存储器阵列，该处理器可执行代码由处理器检索以执行本文所述的用于对图像数据执行各种算法或其他运算的各种函数或运算。内部存储器装置120还可以存储原始和/或经处理的图像数据(包括FP重建图像和像差校正的荧光图像)。在一些实施方案中，内部存储器装置120或单独的存储器装置可以另外或可选包括用于临时存储待执行代码以及待处理、存储或显示的图像数据的易失性存储器阵列。在一些实施方案中，控制器110本身可以包括易失性存储器，并且在一些情况下也可以包括非易失性存储器。

在一些实施方案中，控制器110由用户配置成或可配置成通过通信接口112输出原始图像数据或经处理的图像数据(例如，在FP图像处理之后)，以用于在显示器114上显示。在一些实施方案中，控制器110还可以由用户配置成或可配置成通过通信接口116将原始图像数据以及经处理的图像数据(例如，在FP图像处理之后)输出到外部计算装置或系统118。实际上，在一些实施方案中，ACIS操作中的一个或更多个可以由此类外部计算装置118执行。在一些实施方案中，控制器110还可以由用户配置成或可配置成通过通信接口122输出原始图像数据以及经处理的图像数据，以用于存储在外部存储器装置或系统124中。在一些实施方案中，控制器110还可以由用户配置成或可配置成通过网络通信接口126输出原始图像数据以及经处理的图像数据(例如，在FP图像处理之后)，以便通过外部网络128(例如，有线或无线网络)进行通信。网络通信接口126还可用于接收诸如软件或固件更新或其他数据的信息，以供控制器110下载。在一些实施方案中，ACIS成像系统100还包括一个或更多个其他接口，诸如例如各种通用串行总线(USB)接口或其他通信接口。例如，可以使用此类附加接口来连接诸如有线键盘或鼠标的各种外围装置和输入/输出(I/O)装置，或者连接用于无线连接各种无线使能的外围装置的加密狗。此类附加接口还可以包括串行接口，诸如例如连接到带状电缆的接口。还应认识到，可变相干照明源、不相干照明源和图像传感器系统108中的一个或更多个可以通过多种合适的接口和电缆中的一个或更多个(诸如例如，USB接口和电缆、带状电缆、以太网电缆以及其他合适的接口和电缆)电耦合以与控制器110通信。

在一些实施方案中，由图像传感器系统的图像传感器输出的数据信号在被传达到控制器110之前可被多路复用器、串行器或图像传感器系统的其他电气部件复用、串行化或以其他方式组合。在某些实施方案中，控制器110还可以包括用于从图像传感器的每一个中分离图像数据的解复用器、解串器或其他装置或部件，使得图像帧可以由控制器110并行处理或用于从每个图块分离图像数据，使得每个图块的明视场图像帧序列可以由控制器110并行处理。

ACIS成像系统包括照明系统，其通常包括具有如下部件的可变相干照明源，该部件被配置或可配置成向以多个N个照明角度(即，在不同图像采集时间处)连续被成像的样本提供相干照明(例如，平面波照明)。N通常具有在2到1000之间的范围内的值。在一种情况下，N＝100。在另一种情况下，N＝200。在另一种情况下，N具有范围在2到100之间的值。在另一种情况下，N具有范围在2到200之间的值。在另一种情况下，N具有范围在100到200之间的值。可单独寻址的光源之间的间距可为例如1mm、2mm、3mm、4mm、5mm等。通常，可变相干照明源被设计成提供倾斜照明。

在某些实施方案中，相干照明源包括单独可寻址相干光源的阵列。在一个实施方案中，可变相干照明源为(发光二极管)LED阵列，其中每个光源包括一个或更多个发光二极管(LED)。通常，相干光源提供可见光。可以可提供可见光的相干光源的一些示例包括液晶显示器(LCD)像素和LED。在具有单独可寻址的相干光源的阵列的可变相干照明源的实施方案中，光源可以是各种布置，诸如线阵列、矩形阵列(例如，1x9阵列、3×6阵列、10×10阵列、15x15阵列、32x32阵列、100x100阵列、50x10阵列、20x60阵列或具有两个维度的其他阵列)、一个或更多个同心圆(环)、六边形阵列、曲线阵列或能够从多个照明角度提供相干照明的其他合适布置。在某些实施方案中，在明视场图像采集过程期间使用单独可寻址相干光源的总数的子集。

可变相干照明源被配置成连续以不同的角度提供相干照明。来自以不同照明角度的照明捕获的图像序列中的图像数据对应于傅立叶空间中的重叠区域。在一些情况下，可变相干照明源提供照明角度处的照明，该叫明角度提供在傅里叶空间中图像数据的相邻区域的重叠区域，其中重叠区域至少具有一定的最小量(例如，65％重叠、75％重叠、70％重叠、80％重叠、在10％-65％范围内的重叠、在65％-75％范围内的重叠等)。为了在傅立叶空间中提供相邻区域的这种最小量的重叠，可变相干照明源可被配置成使得相邻照明角度之间的差小于特定的最大角度差。例如，最大角度差可约为(例如，对于NA＝0.1，sin^∧-1(0.65*NA)＝0.065拉德)拉德。在另一种情况下，对于NA＝0.5，最大角度差可约为0.33。

尽管本文所述的示例通常讨论提供可见光的可变相干照明源，但是本公开不是如此限制的。例如，可使用其他辐射源。例如，在使用X射线辐射的情况下，可变相干照明源可包括X射线管和金属靶。作为另一示例，在使用微波辐射的情况下，可变相干照明源可包括真空管。作为另一示例，在使用声辐射的实施例中，可变相干照明源可以是声致动器。作为另一示例，在使用太赫兹辐射的实施例中，可变相干照明源可以是耿氏二极管。本领域技术人员应考虑其他辐射源。在使用太赫兹辐射的一种情况下，由可变相干照明源提供的辐射的频率可在约0.3至约3THz的范围内。在使用微波辐射的一种情况下，由可变相干照明源提供的辐射的频率可在约100MHz至约300GHz的范围内。在使用X射线辐射的一种情况下，由可变相干照明源提供的辐射的波长可在约0.01nm至约10nm的范围内。在使用声辐射的一种情况下，由可变相干照明源提供的辐射的频率可在约10Hz至约100MHz的范围内。对于声辐射实施例，聚焦光学器件和成像检测器将包括在水中聚焦声束的铝凹透镜和测量波阵面的换能器。

在某些实施方案中，来自不同光源的相干照明的特性(例如，波长、频率、相位、振幅、极性等)基本上是均匀的。在其他情况下，波长可在不同的采集时间处变化。例如，可变相干照明源可在不同的采集时间处分别提供对应于红色、绿色、蓝色的三种波长λ1、λ2和λ3的RGB照明。由可变相干照明源的光源提供的照明的频率范围取决于辐射的类型。在使用太赫兹辐射的示例中，由可变相干照明源提供的辐射的频率在约0.3至约3THz的范围内。在使用微波辐射的示例中，由可变相干照明源提供的辐射的频率可在约100MHz至约300GHz的范围内。在使用X射线辐射的示例中，由可变相干照明源提供的辐射的波长可在约0.01nm至约10nm的范围内。在使用声辐射的示例中，由可变相干照明源提供的辐射的频率可在约10Hz至约100MHz的范围内。

ACIS成像系统的照明系统包括用于生成样本视场的一个或更多个不相干原始图像的不相干光源。例如，照明系统可包括被配置成或可配置成提供用于激活样本中的荧光团以发射不相干荧光(发射)的激发光的激发光系统。在多色(多波段)荧光成像示例中，每个激发光系统具有一个或更多个光源的多个集合，每个集合用于为被成像的多个波段的波段(波长或波长范围)提供激发光。在一些情况下，激发光系统的每个光源包括一个或更多个高功率光源(例如，高功率LED)和用于通过波长范围内的激发光并阻挡其他波长的激发光的激发滤光片。在一个示例中，使用六(6)个高功率LED。在一个示例中，使用一(1)个高功率LED。对于单色(波段)荧光成像，激发光系统具有至少一个具有高功率光源(例如，LED)的高功率荧光照明源和用于通过一定范围的波长并阻挡其他波长的激发光的激发滤光片。对于多波段(多通道)荧光成像，激发光系统具有与荧光通道数相等的高功率光源和滤光片的集合的数量。对于每个荧光通道使用不同的高功率荧光照明源。每个高功率荧光照明源在不同的图像采集时间处被照射，使得对于每个通道分别采集单色荧光图像。处理器可以实现将单色荧光图像转换成彩色荧光图像的指令。在多色实施例中，处理器可以通过叠加来自多色荧光的图像数据来生成多色荧光图像。例如，处理器可以通过叠加来自蓝色荧光图像和绿色荧光图像的图像数据来生成蓝绿色荧光图像。

在利用荧光成像的示例中，根据某些实施方案，用于提供激发光的激发光源位于样本侧。在这一侧位置处，激发光源可以从阻挡来自相干光源的光路的一侧将激发光直接照射到样本。通常，激发光源被配置成或可配置成朝向样本的中心倾斜。

ASIC系统100具有光学系统106，其通常是将从样本发出的光传播到一个或更多个图像传感器的一个或更多个透镜。在一个实施方案中，光学系统106包括收集光学器件、光圈、滤光片和聚焦透镜。

尽管本文所述的示例讨论了以透照模式操作的可变相干照明源，但是在其他示例中，落射(epi-illumination)模式、透照模式或落射模式和透照模式二者都可以应用。为了能够在落射模式下操作，可变相干照明源通常位于样本的与光学系统的收集光学元件相同的一侧。为了能够在透照模式下操作，可变相干照明源通常位于样本的与光学系统的收集光学元件的相对侧。

图2是根据实施例的被配置成实现用于关节FP荧光成像的ACIS方法的ACIS成像系统200的示例的示意图。ACIS成像系统200的部件类似于关于图1所示的ACIS成像系统100描述的部件。

ACIS成像系统200包括照明系统，其包括两个照明源，每种成像模态中的一种，包括LED阵列210形式的可变相干光源和激发光源220(例如，一个或更多个LED和滤光片)。激发光源220定位成横向于样本201的侧面，以将激发光引导离开收集光学器件230以避免直接接收激发光。LED阵列210是225个单独可寻址的LED 212的二维32×32阵列，其中在明视场图像采集过程期间，仅使用15×15段(示出)来捕获225个图像。在其他示例中，可使用LED阵列210的更大或更小的段。单独可寻址的LED 212之间的间距可以是例如1mm、2mm、3mm、4mm、5mm等。成像系统200还包括用于接纳样品201的容器225。在图2所示的时刻，在明视场图像采集过程期间照射单个LED 212。尽管LED阵列210中有256个LED，但是为了简单起见，该图示出了被点亮并向样本201提供相干光214的一个LED 212的箭头。

ACIS成像系统200还包括光学系统，其包括具有至少一个透镜的收集光学器件(例如，摄像机透镜)230、在光学装备的后焦平面处的光圈240、滤光片250和聚焦光学器件(例如，镜筒透镜)260。尽管被示为具有滤光片250，但是滤光片250通常仅在荧光成像过程期间或在与荧光发射相同的颜色通道的明视场成像过程期间被包括。滤光片250被配置成基本上通过被成像的荧光发射的一个或更多个波长范围并且基本上阻挡来自激发光源220的激发光。ACIS成像系统200还包括图像传感器系统，其具有用于基于通过光学系统传播的光捕获原始图像的图像传感器270。

在图2所示的时刻，单个LED 212被点亮并且向样本201提供相干光214。当入射到样本201上的光通过样本201时，其被样本201的物理特征散射。收集光学器件230接收通过样本201的光。光圈240接收由收集光学器件230传播的光并传递入射其光瞳区域的光。入射光瞳区域周围的光圈240的区域的光基本上被阻挡。当滤光片250在荧光图像采集过程期间或在与荧光发射相同的颜色通道的明视场成像过程期间就位时，滤光片250接收来自光圈240的光并传递被成像的一个或更多个波长范围的荧光发射并阻挡其他波长。当滤光片250就位时，聚焦光学器件260接收由滤光片250传递或光圈240传递的入射光并将该光聚焦到成像传感器270。

在荧光图像采集过程中，激发光源220被激活以提供激发光。在多波段示例中，激发光源220在不同时间处被激活，并且提供激发光的不同波长范围，以便捕获多个荧光图像。入射样本201的激发光激活荧光团以生成荧光发射。收集光学器件230接收通过样本201的光和来自样本201中激活的荧光团的荧光发射。光圈240接收由收集光学器件230传播的光并传递入射到其光瞳区域的光。入射光瞳区域周围的光圈240区域的光基本上被阻挡。滤光片250接收光并传递荧光发射并阻挡其他波长。聚焦光学器件260接收由滤光片250传递的荧光发射、将荧光发射聚焦到成像传感器270，该成像传感器270捕获对于被成像的每个波段的荧光图像。

ACIS系统的收集光学器件(例如，摄像机透镜)通常包括一个或更多个透镜，并且被设计成收集由样本散射或以其他方式从样本发出的光。例如，收集光学器件可包括f＝50mm尼康镜头(例如，f/1.8D AF Nikkor)。作为另一示例，收集光学器件可包括4x奥林巴斯Plan Achromat物镜0.10NA、CFI Plan Achromat 10x物镜NA 0.25、Valumax物镜5x 0.10NA等。

ACIS系统的某些实施方案具有位于光学系统的收集光学器件的后焦平面处的光圈。光圈是指可以调节直径以限制由光学系统收集的光量的圆形孔径。减小直径和阻挡光的外部区域等同于减少收集光学器件的数值孔径，这意味着阻挡样本的高空间频率信息。如果用户想要出于ACIS方法的目的而准确地定义成像系统的数值孔径以防止检测到的图像中的混叠等，则放置光圈是有用的。存在不同的方式来控制光圈的大小和形状。在一个示例中，可以使用其直径可用滑块调节的机械光圈(例如，来自Thorlabs的环形致动SM2可变光阑(iris diaphragm))。作为另一示例，光圈可以是透射型液晶显示器(LCD)，其可以调节其像素元件的对比度以产生孔径。作为光圈系统的另一示例，光可以被引导到SLM或DMD，然后仅通过接通SLM或DMD上的不同元件将光束的一部分反射回系统的光路中。通过使用LCD、SLM和DMD，光圈的形状不限于圆形，因为可以在这些显示器上显示任何离散形状，因此形状和大小可根据用户的需要限定。

在某些实施方案中，滤光片位于光圈与ACIS系统的光学系统的聚焦光学器件之间的光路中。滤光片是发射滤光片，其经设计传递由ACIS系统成像的荧光发射并阻挡其他波长。在一些情况下，滤光片传递具有单个波长范围的光的单个带通滤波器。在其他情况下，滤光片可以是通过多个波长范围的多波段滤波器。滤光片可以是吸收滤光片或二向色滤光片。吸收滤光片由在吸收其他波长的同时允许所需波长通过的基片制成。干涉滤光片涂覆有具有不同折射率的多个层以相长干涉所需的波长并允许所需的波长通过，而相消干涉不需要的波长并将其反射回来。二向色滤光片的一些示例：来自Thorlabs的FITC二向色滤光片MD499，来自Edmundoptics的50mm方形蓝色二向色滤光片。

在某些实施方案中，ACIS系统的光学系统具有聚焦光学器件，其被定位成接收来自光学系统的滤光片和/或光圈的入射光并将光聚焦到图像传感器。聚焦光学器件具有一个或更多个透镜。在一个示例中，聚焦光学器件包括镜筒透镜(例如，f＝200mm镜筒透镜，诸如ITL200镜筒透镜)。

ACIS成像系统200实现包括明视场图像采集过程和荧光图像采集过程的ACIS成像方法。在明视场FP图像采集过程期间，LED阵列210照射一个或更多个LED的独特集合，以利用倾斜相干照明214在不同的照明角度处连续照射样本201。在每个采集时间处，LED阵列210照亮一个或更多个LED的独特集合，以在曝光时间期间照射样本201，并且图像传感器270捕获单个原始明视场图像。在一个方面中，在每个曝光时间期间单个LED被点亮。在另一方面中，在每个曝光时间期间，独特图案中的多个LED被点亮。当入射在样本201上的光通过样本201时，其被样本201的物理特征散射。在明视场FP图像采集过程期间，图像传感器270基于通过ACIS成像系统200的光学系统传播的光捕获明视场原始图像的序列。在荧光图像采集过程期间，ACIS成像系统200向样本201提供激发光220。入射样本201的激发光激活荧光团以生成荧光发射。在荧光图像采集过程期间，图像传感器270基于通过ACIS成像系统200的光学系统传播的荧光发射来捕获一个或更多个原始荧光图像。

III.ACIS成像方法

本文所述的ACIS成像系统(例如，图1和图2的ACIS成像系统100和200)能够对视场进行相干和不相干图像采集。在与不相干图像不同的时间处采集相干图像。在一些实施方案中，成像的视场被划分成图块，以及ACIS成像系统处理对于多个图块图像的图像数据。在一个示例中，ACIS成像系统包括能够并行处理对于多个图块图像的图像数据的多个处理器。图像采集时间(采样)时间通常是指在一个或更多个图像传感器的曝光持续时间期间测量光强分布以捕获视场的原始强度图像的时间。

ACIS成像方法通常包括相干图像采集过程和不相干图像过程。在某些实施方案中，相干图像采集过程包括在不同照明角度处连续照明期间采集明视场原始强度图像的序列的操作，并且不相干图像采集过程包括用于采集一个或更多个荧光图像的操作。在多波段实施方案中，采集与不同波长范围相关联的多个荧光图像。

图3示出了描绘根据实施方案可以由本文所述的ACIS成像系统实现的示例性ACIS成像方法的单次成像运行的操作的流程图300。在操作310处，ACIS成像方法开始。ACIS成像方法包括相干图像采集过程和不相干图像过程。

在操作320处，ACIS成像方法执行相干图像采集过程，以采集被成像的样品的视场区域的原始相干图像的序列。原始相干图像的序列由一个或更多个成像传感器连续捕获，而可变相干照明源从N个照明角度连续向被成像的样品提供相干照明。通过在曝光时间期间测量光强度分布来采集每个原始相干图像。

在操作320处，可变相干光源(例如，LED阵列)利用在N个照明角度处的平面波照明连续照射样品。在一个示例中，可变相干光源基于照明指令提供连续照明，该照明指令定义激活可变照明源的独立可控离散光元件(例如，LED)的次序。ACIS系统的光学系统收集从样品发出的光并将其传播到一个或更多个图像传感器。在通过N个照明角度连续照明期间，一个或更多个图像传感器采集与不同照明角度相关联的N个唯一照明强度测量(图像)的图像数据。一个或更多个图像传感器将具有用于相干图像的序列的图像数据的信号发送给处理器。

在某些实施方案中，ACIS系统的光学系统具有收集光学器件、光圈、发射滤光片和聚焦光学器件。示例为图2所示的ACIS系统200。收集光学器件具有一个或更多个透镜，其被配置成当样品被可变相干光源照射时或当样品被激发光源照射时，收集由样本样品或以其他方式从样品发出的光。光圈被配置成使由收集光学器件传播的光通过光圈的中心区域并阻挡其他光。光学系统还具有被配置成接收通过光圈的光的发射滤光片。发射滤光片被设计成传递由激发光激活的荧光团的荧光发射并阻挡激发光。光学系统还具有用于接收从光圈和/或滤光片传播到一个或更多个图像传感器的光的聚焦光学器件。收集光学器件传递在其数值孔径内的入射角范围内的光。光圈传递在中心区域内的光，可能通过光圈的物理尺寸进一步限制由收集光学器件通过的入射角范围。在傅立叶空间中，收集光学器件和/或光圈的滤光函数在一些情况下可以由半径为NA×k₀的圆形光瞳表示，其中，k₀＝2π/λ为真空中的波数。在一种情况下，来自可变相干光源的相干照明具有将被发射滤光片传递的波长范围。在此情况下，在相干图像采集过程期间不需要去除发射滤光片。在其他情况下，去除发射滤光片。

尽管通常情况下，ACIS方法包括用于采集相干图像的序列的相干图像采集过程，但是某些实施方案可反而采集不相干图像的序列。在这些实施方案中，ACIS方法可以实现传统的EPRY方法，以使用样品的一个不相干图像或不相干图像的序列，而不是相干图像的序列。在这些实施方案中，可变照明源包括不相干辐射源，其提供在多个波长和/或多个角度处的不相干辐射而不是诸如来自LED阵列的变角相干辐射。在这些具体情况下(对于不相干源所需的严格条件和假设不能是任何不相干照明)，传统的EPRY方法包括将捕获序列的不相干图像计算处理成用于FP-EPRY重建运算的相干图像输入数据的运算。然后，FP-EPRY重建可以确定相位和幅度，并且使用相干图像输入数据同时确定光瞳函数。

在操作330处，ACIS成像方法执行不相干图像采集过程，以通过一个或更多个图像传感器采集样品的视场区域的一个或更多个原始不相干图像。通过在曝光时间期间测量光强度分布来采集每个原始不相干图像。ACIS系统的光学系统收集从样品发出的不相干光并将其传播到一个或更多个图像传感器。

在荧光成像实施方案中，不相干图像是荧光图像。在这些实施方案中，ACIS系统在激发光源向被成像的样品提供波长范围的激发光的同时采集每个荧光图像。激发光源通常包括高功率光源(例如，高功率LED)和用于传递波长范围的激发光且阻挡其他波长的激发滤光片。样品中的荧光团被激发光激发，并发射另一波长范围(例如，蓝色、绿色或红色光)的光(发射)。由于激发光通常比发射更强，因此激发光源通常被配置成背离光学系统的收集光学器件。一个或更多个图像传感器在激发光源向样品提供激发光的同时接收由光学系统传播的入射荧光发射。在每个采集时间处，一个或更多个图像传感器采集单色荧光强度图像。单色荧光图像的图像数据可以被转换为彩色荧光图像。

例如，如关于图3所述，在某些荧光成像实施方案中，ACIS系统具有包括收集光学器件、光圈、发射滤光片和聚焦光学器件的光学系统。在这些情况下，收集光学器件被配置成在样品被激发光源照射的同时收集从样品发出的光。光圈被配置成传递由收集光学器件传播的光通过光圈的中心区域并阻挡其他光。光学系统具有被配置成接收通过光圈的光、传递荧光发射并阻挡激发光的发射滤光片。光学系统还具有聚焦光学器件，其用于将由滤光片传递的荧光发射聚焦到一个或更多个图像传感器。

在多波段荧光成像的情况下，在不同的采集时间处向样品提供不同波长范围的激发光。多个波长范围可由相同的激发光源或由多个光源提供。在这些情况下，系统中的发射滤光片是被配置成阻挡荧光发射的多个波长范围的多波段发射滤光片。在每个采集时间处，由激发光激发的荧光团生成荧光发射，以及一个或更多个图像传感器测量入射在一个或更多个图像传感器上的荧光发射的强度分布，以获得单色荧光图像。在不相干图像采集过程期间，ACIS系统在与荧光发射的不同波长范围相关联的不同采集时间处捕获多个单色荧光图像。来自多个单色荧光图像的图像数据可被转换成多色荧光图像。在双波段实施方案中，例如，ACIS成像系统可具有被配置成提供第一波长范围的激发光的第一激发光源和被配置成提供第二波长范围的激发光的第二激发光源。在该双波段实施例中，发射滤光片是阻挡第一波长范围和第二波长范围的激发光的双波段滤光片。聚焦光学器件接收发射并将其聚焦到一个或更多个图像传感器。图像传感器接收来自聚焦光学元件的发射，并在不同的采集时间处采集第一和第二单色荧光强度图像。来自第一和第二单色荧光图像的图像数据可以被转换成双色荧光图像。

尽管示出相干图像采集过程的操作320在流程图中的不相干图像采集过程的操作330之前，但是在其他实施方案中，这些操作可能以相反的顺序发生。通常，操作330可在操作370之前的任何时间处发生，以及操作320可在操作340之前的任何时间处发生。例如，在一个实施方案中，图3所示的操作可按照操作320、操作340、操作350、操作360、操作330和操作370的顺序进行。在另一示例中，在一个实施方案中，操作可按照操作330、操作320、操作340、操作350、操作360和操作370的顺序进行。

在操作340处，ACIS系统的(例如，控制器的)处理器从一个或更多个图像传感器接收具有在相干图像采集过程期间由图像传感器捕获的相干图像的序列所采集的图像数据的信号。在操作340处，处理器执行实现嵌入式光瞳函数恢复(EPRY)过程的指令，以在迭代过程中同时确定样品的傅立叶频谱和ACIS系统的估计的光瞳函数。EPRY过程的细节也可以在2014年12月16日提交的且题为“EMBEDDED PUPIL FUNCTION RECOVERY FOR FOURIERPTYCHOGRAPHIC IMAGING DEVICES”的美国专利申请第14/572,493号中找到，其在此通过引用以其整体并入。针对图4详细讨论EPRY处理的示例。

根据某些实施方案，ASIC方法使用EPRY方法以另外确定ASIC成像系统的图块特定的光瞳函数。在这些实施方案中，所捕获的原始图像被分割成更小的图块，以解决整个视场中的空间变化的像差。每个图块内的像差可以被认为是空间不变的。在这方面，ACIS方法分别对每个图块执行EPRY过程，并确定了对于每个图块区域的唯一像差函数。从EPRY过程所获得的图块特定的光瞳函数可以提供ASIC成像系统的相干传递函数的精确物理模型。图块通常比FOV小得多，并且在捕获的图像平面中大于约20×20像素，以减轻在重建期间由选择太小的图块引起的任何数值伪像。

在操作350处，处理器执行指令以基于所估计的光瞳函数确定ACIS系统的光学传递函数。所估计的光瞳函数包括在不相干图像采集过程期间所捕获的一个或更多个不相干图像的像差信息。

根据使用EPRY方法来确定ASIC成像系统的图块特定的光瞳函数的实施方案，ASIC方法还基于所确定的图块特定的光瞳函数来确定不相干图像的像差。ASIC方法可以根据公式1将不相干图像点扩散函数确定为光瞳函数的傅立叶变换的平方幅度。

在像差去除操作360处，ASIC方法从每个采集的不相干图像中去除像差。在该像差去除操作360中，处理器执行指令以经由利用在操作350处所确定的光学传递函数的去卷积来去除一个或更多个不相干图像中的像差。处理器输出具有一个或更多个像差校正的不相干图像和/或在操作340处生成的改进的明视场图像的图像数据。在某些方面中，一个或更多个像差校正的不相干图像为单色荧光图像。在这些方面中，处理器将像差校正的单色荧光图像组合成像差校正的荧光彩色图像。

在荧光成像实施方案中，ASIC方法的像差去除操作360从每个采集的荧光图像中去除像差。在某些实施方案中，ASIC方法将每个采集的荧光图像或其他不相干图像分割成与在操作340中可用于相干图像的相同的图块，以确保从EPRY过程所采集的像差图对应于荧光图像中的相同图块区域。当通过ACIS成像系统对荧光图像的第m个图块o_m(x,y)进行成像时，在到达图像传感器之前，其被空间上变化的不相干PSF h_m(x,y)降级。检测到的图像强度i_m(x,y)进一步被源自样本的背景信号的噪声n_m(x,y)、散粒噪声和检测器噪声破坏。通常，成像过程可以被表示为公式2。像差去除操作360的目标是从被损坏的图像信号i_m(x,y)中恢复对象o_m(x,y)。在傅立叶域中，公式2被表示为公式3。与相干传递函数不同，H_m(f_x,f_y)也被称为光学传递函数(OTF)，其在其带通内具有多个零，并且其带通边缘附近的值非常低，这意味着样本信息可能会在这些空间频率处被噪声丢失或淹没。由于OTF的性质，求解O_m(f_x,f_y)的反相公式3可能有不适当的问题。已经开发了各种反演方法来解决这种信息丢失，这通常依赖于正则化参数。维纳去卷积方法通过公式4确定对于原始对象信号O_m(f_x,f_y)的估计

尽管假设N_m(f_x,f_y)是平坦的是合理的，但是在没有样本的空间分布的一些先前知识的情况下，难以确定白高斯噪声O_m(f_x,f_y)。为了简单起见，|N_m(f_x,f_y)|²/|O_m(f_x,f_y)|²被设置为常数K，从而基本上将G_m(f_x,f_y)转换为吉洪诺夫正则化算法。K像正规化矩阵一样起作用：较小的K在放大捕获的图像中的噪声的同时产生更清晰的细节，而较大的K以细节为代价使算法对噪声更加鲁棒。视觉上确定该值，使得去卷积最小化背景噪声，同时恢复最终图像中的最多细节。最后，通过公式6给出原始荧光对象的最终估计。公式6用假定的噪声和样本分布模型输出吉洪诺夫正则化后的所得图像。高斯噪声是用于成像系统的噪声的合理假设，其中图像以高信噪比长时间曝光来捕获。然而，对于泊松噪声变得严重和主导的光子限制设置，假设泊松成像过程的最大似然去卷积方法将更适合，诸如Richardson-Lucy去卷积。ASIC方法对所有图块应用公式6以获取全FOV像差校正荧光图像。

在某些实施方案中，可以重复流程图300中所示的操作。例如，可针对新的样品重复操作，或者对于相同的样品进行另外的成像运行，诸如可用于纵向研究或延时成像。例如，ACIS成像方法可以以例如诸如一小时间隔、两小时间隔、一天间隔等的规则间隔重复流程图300所示的操作。ACIS成像方法可以以一组时间段的间隔(例如，一周、两周、一个月、两个月等)连续重复每个成像运行，或者可以运行直到操作者向ACIS成像方法发起停止命令。在某些情况下，ACIS成像系统可以在多次运行成像期间位于孵化器内。

在某些方面中，来自操作360的输出包括多个像差校正的荧光彩色图像。处理器可以执行指令以通过重叠来自操作360的多个像差校正的荧光彩色图像来生成多波段像差校正的荧光图像。

在一方面，在操作360之后，ACIS成像方法还包括将来自处理器的具有显示数据的信号发送给显示器，以显示改进的分辨率明视场图像、像差校正的荧光图像和通过ACIS成像方法生成的其他数据。

在某些实施方案中，ACIS成像方法还包括使用例如能够并行处理的多个处理器将待成像的视场划分成图块并且并行处理用于多个图块图像的数据和/或图块光瞳函数。在这些实施方案中，ACIS成像方法对于每个图块并行实现操作340、350或360中的任一者，然后在操作结束时组合用于视场的数据。例如，在操作340处的ACIS成像方法将并行确定对于每个图块的估计的光瞳函数，并且然后组合对于每个图块的数据以生成用于视场的光瞳函数。作为另一示例，ACIS成像方法对于图块中的每一个可以并行实现所有的操作340、350或360。然而，对于每个图块，操作340、350和360将需要按顺序执行。

在某些实施方案中，可变相干照明源包括以不同采集时间按顺序(例如根据照明指令)照射的离散光元件。例如，顺序可定义在离散光元件的二维阵列中(诸如，在LED阵列中)的各个光元件的照明时间或光元件的图案。在其中光元件的二维阵列是矩形阵列的一个示例中，可确定中心光元件。照明指令可指示首先点亮中心光元件，然后以逆时针点亮中心光元件周围的8个光元件，然后以逆时针点亮在先前光元件周围的16个光元件，并依此类推，直到可变相干照明源已从多个N个照明角度(θx_i,j,θy_i,j)，i＝1到N提供照明。在其中光元件的二维阵列是诸如一个或更多个同心环的极阵列的另一示例中，照明指令可指示首先点亮在最小半径处的光元件(例如，以顺时针、逆时针或随机顺序)，然后点亮在更大半径处的任何光元件，并依此类推直到所有可变相干照明源已从多个N个照明角度(θx_i,j,θy_i,j)，i＝1到N提供照明。在其中光元件的二维阵列是矩形或极阵列的另一示例中，可确定最接近样本的光元件。照明指令可指示点亮最接近样本的光元件，然后点亮下一最接近样本的光元件，且然后点亮下一最接近的光元件，等等，直到N个光元件已从多个N个照明角度被点亮。在另一示例中，光元件可以以随机顺序被点亮。在另一示例中，可遵循逐列的顺序，例如，诸如(X₁,Y₁)、(X₁,Y₂)、(X₁,Y₃)、...(X₁,Y_n)、(X₂,Y₁)、(X₁,Y₂)、(X₁,Y₃)、...(X₂,Y_n)、...(X_m,Y_n)。另选地，可遵循逐行的顺序。

-EPRY过程的示例的细节

在相干图像采集过程期间，用来自N个变化角度(θx_i,j,θy_i,j)的倾斜平面波照射样品，并捕获N个原始相干图像的序列。该相干图像采集过程通常可被表示为复数乘法e(r)＝s(r)exp(iU_m,r)，其中s(r)是来自薄样本的出射光波，其由具有波矢量的倾斜平面波照射，并且其中，r＝(x,y)是空间域中的坐标，以及u＝(k_x,k_y)是空间频域(傅里叶域)中的坐标。传播到辐射检测器的光波是出射波和其中记录强度的傅立叶叠层成像系统的空间不变点扩散函数p(r)的卷积，即在傅立叶域中：

其中：S(u)＝F{s(r)}是样本的傅里叶谱，以及

P(u)＝F{p(r)}是图像系统的光瞳函数。

在一些情况下，图像重建过程恢复对于所有N个测量的强度图像满足公式7的S(u)和P(u)。这里，P(u)是指光瞳函数分布，S(u)是指样本傅立叶频谱分布(也称为前面部分中的)，s(r)是指样本空间分布，N是指捕获图像的数量，B是指执行的外循环的总数，a是指内循环索引变量，以及b是指外循环索引变量。

图4示出了根据实施方案的描绘示例性EPRY过程的操作的流程图400。在操作410处，样本谱和光瞳函数分别被初始化为S_o(u)和P_o(u)。另外，外循环索引变量b被设置为1(第一次迭代)，以及内循环索引变量a被设置为0。外循环索引变量b是递增重建过程迭代的索引，而内循环索引变量a是递增入射角的索引。在内循环的周期中，N个捕获的图像以序列寻址：a＝0到N-1，其中，N为采集图像的数量，并且每个被依次考虑，在每个循环处更新光瞳函数和样本谱。

在一个实施例中，初始样本谱S_o(u)可通过首先在空间域中初始化样本图像，然后应用傅立叶变换来获得傅立叶域中的初始化样本谱来确定。在某些情况下，初始猜测可被确定为随机复矩阵(对于强度和相位二者)。在其他情况下，初始猜测可被确定为具有随机相位的低分辨率强度测量的插值。对于S_o(u)的初始猜测的示例可从捕获的强度图像之一插入。初始猜测的另一示例为恒定值。初始猜测的傅立叶变换可以为傅立叶域中的广谱。

在一些实施例中，初始光瞳函数猜测P_o(u)可以是圆形低通滤波器，其中全部滤波器在通带内，零点在通带之外并且具有均匀的零相位。在一个示例中，通带的半径为NA×2π/λ，其中NA为滤光光学元件(例如物镜)的数值孔径，以及λ为照明波长。初始光瞳函数猜测的示例基于假设系统无像差，相位＝0。

在操作412处，确定是否b＝1，即它是外循环的第一次迭代。如果确定它不是第一迭代，则在操作414处将傅里叶域中的初始光瞳函数和样本谱设置为在内循环的最后循环中确定的数据：S₀(u)＝S_M-1(u)以及P₀(u)＝P_M-1(u)。如果确定它是第一迭代，则EPRY过程进行到操作416。

在内循环的第a个循环中，利用来自内循环的前一循环的重建的S_a(u)和P_a(u)的知识，当样本被波矢量U_n照射时，在光瞳平面处的出射波利用先前循环中的S_a(u)和P_a(u)使用φ_a(u)＝P_a(u)S_a(u-U_n)模拟。在操作416处，处理器根据照明角度偏移样本谱，并根据以下公式乘以光瞳函数：φ_a(u)＝P_a(u)S_a(u-U_n)。光瞳函数包括幅度和相位因子两者。光瞳函数的相位因子通常与散焦或与光学系统相关联的其他像差相关联。光瞳函数的幅度通常与光学系统的物镜孔径形状相关联。通过将样本光谱乘以傅立叶域中的光瞳函数，处理器通过乘以光瞳函数的模量(计算的幅度分量)并且滤除较高分辨率的解并且也乘以光瞳函数的相位因子。对于具有波矢量Ua＝(k_x，k_y)的特定平面波入射角将样本谱乘以模量过滤傅里叶域中的较高分辨率图像。基于第a个照明入射角的利用照明U_a捕获的图像在本节中被称为通过将样本谱乘以模量，处理器在傅立叶域中滤除来自样本谱S(u)的区域。在具有物镜形式的滤光光学元件的情况下，该区域采用半径为NA*k₀的圆形光瞳孔径的形式，其中k₀等于2π/λ(真空中的波数)，其由物镜的相干传递函数给出。傅里叶空间中的圆形区域的中心对应于内循环的第a个循环的相关联的照明入射角。对于具有波矢量U_a＝(k_x，k_y)的倾斜平面波入射，该区域以傅立叶域中的位置(k_x，k_y)为中心。

在操作418处，处理器如下进行傅立叶逆变换：φ_a(r)＝F^-1{φ_a(u)}。在操作420处，处理器施加强度约束。在该操作420中，傅立叶空间中的模拟区域的模量(计算的幅度分量)由与照明波矢量U_a相关联的辐射检测器捕获的低分辨率强度测量值代替。所计算的幅度分量由根据以下公式的真实强度测量值的平方根代替：这形成了更新的较低分辨率图像。

在操作422处，将傅立叶变换应用于更新的较低分辨率图像。在该操作中，根据以下公式经由傅里叶变换计算更新的出射波：φ_a′(u)＝F{φ_a′(r)}。

在操作3070处，处理器通过更新出射波数据并且将傅里叶域的相应区域中的数据替换为与入射波矢量U_n＝(k_x，k_y)相关联的更新出射波数据，来刷新更高分辨率解的傅立叶频谱猜测。处理器使用样本谱更新函数更新出射波数据。样本谱更新函数的示例给出如下：

通过使用此频谱更新函数，可通过划分当前的光瞳函数从两个出射波的差中提取样本谱的更新值。通过使用公式6和公式7乘以共轭，样本谱可以与光瞳函数分离，使得样本谱可以与光瞳函数分开刷新。在一些情况下，用与当前光瞳函数估计的强度成比例的权重对样本谱猜测进行校正。常数α调整更新的步长。在一个示例中，α＝1。在内循环的循环内，数据被更新为傅立叶域中的重叠区域。

与操作424的同时，在操作426处，处理器将傅立叶域中的光瞳函数的猜测刷新为：P_a+1(u)。这里可以使用的光瞳更新函数的示例给出如下：

常数β调整光瞳函数更新的步长，并在本文中使用β＝1。通过使用该光瞳更新函数，通过划分当前样本谱估计，从两个出射波的差中提取光瞳函数的校正，并利用与当前样本谱估计的强度成比例的加权值将其添加到当前的光瞳函数猜测。通过使用公式7乘以共轭，光瞳函数可以与样本谱分离并分开刷新。

在操作428处，处理器对更新的光瞳函数施加光瞳函数约束。施加光瞳函数约束可抑制噪声。在显微镜系统的示例中，可设置物理圆形孔径光阑来限定NA，从而对应于光阑的光瞳函数中的区域应该始终为零。与光阑对应的区域中更新光瞳函数中的非零点由图像采集中的噪声引起，并且被设置为零以消除噪声。

该方法的内循环继续循环，直到序列中的所有N个捕获图像被使用来更新光瞳和样本谱为止，此时外循环的迭代完成。循环从a＝0到N-1运行。在操作430处，处理器确定是否a＝N-1。如果处理器确定a不等于N-1，则不是所有N个捕获的图像都被使用。在此情况下，循环索引a将在操作432处递增，并且该方法将基于与另一入射角相关联的下一捕获图像返回到操作416。

如果处理器确定a等于N-1，则该方法继续操作434。如果处理器确定a不等于N-1，则该方法继续操作432。在操作432处，外循环索引通过a＝a+1被递增到下一入射角。然后，方法将返回以在操作416处开始新的循环。

在操作434处，处理器确定是否b＝B。如果处理器确定b不等于B，则循环索引b将在操作436处递增到b＝b+1，并且循环索引a将被重置为0。然后，方法将在操作3010处返回以开始新的迭代。

如果处理器确定b等于B，则迭代停止，并且该方法继续操作438。在操作438处，将样本谱傅里叶逆变换回空间域，以生成用于改进分辨率的样品图像的图像数据。对于样品的改进分辨率图像和光瞳函数的图像数据是EPRY过程的输出。在操作结束时留下的光瞳函数(即，b＝B)是重建的光瞳函数的输出。

在操作350处，也称为光学传递函数(OTF)的不相干传递函数基于来自操作340的估计的光瞳函数来确定。为获得OTF，所估计的光瞳函数在频域中与其自身进行卷积，或在空间域中进行幅度平方。

在操作330处，例如通过用激发光照射样品中的荧光团获得不相干图像。在某些实施方案中，不相干图像以与在操作320处采集的相干图像的序列的相干图像相同的方式进行平铺。在操作360处，通过去卷积方法(例如，维纳滤光片)，通过频域中的对应OTF对每个图块进行去卷积以去除像差。图5包括根据实施方案显示为示意性地表示从像差不相干图像中去卷积OTF的操作360的公式的一组图像。在该图示中，像差图像(左图像)和点扩散函数(中间图像)被傅立叶变换，并且通过去卷积过程被有效地“除以”(被描绘为“÷”)，以在右侧产生像差校正的图像。

在一些实施方案中，可以使用复用方法来减少总FP原始图像采集时间，获得对于N个角度的图像数据所需的时间。在一个复用实施例中，在捕获每个原始图像期间，可以以独特的图案同时接通多个离散的相干光源。通过使用复用过程，与每个照明角度相关联的强度数据可以与所捕获的原始图像分离。以此方式，需要少于N次的扫描。复用过程的示例可以在2015年12月4日提交的题为“MULTIPLEXED FOURIER PTYCHOGRAPHY IMAGING SYSTEMSAND METHODS”的美国专利申请号14/960,252中找到，其在此通过引用以其整体并入。

IV.ACIS系统演示

根据某些方面，图2所示的ACIS成像系统200的光学系统具有修改的4f设置，其中样本201位于收集光学器件230的前焦平面处，光圈240位于收集光学器件230的后焦平面处，以及图像传感器270被放置在样本平面处。在一个实施方案中，光学系统具有采用f＝200mm形式的聚焦光学器件260、镜筒透镜(例如，ITL200镜筒透镜)、采用f＝50mm尼康镜头形式(例如，f/1.8D AF Nikkor)的收集光学透镜230。该光学系统具有NA_收集＝0.085，其中M＝3.87放大倍率。在该实施方案中，ACIS成像系统200还具有采用CCD检测器(例如，像素大小为5.5μm的CCD检测器，Prosilica GX6600)形式的图像传感器270，其被配置成捕获在样本平面处的6.2mm×9.3mm的视场面积的每个原始图像，样本平面由图像传感器270的大小限定。在该实施方案中，ACIS成像系统200还具有被放置在样本201后面约80mm处的LED阵列210。在该实施方案中，LED阵列210具有32×32个单独可寻址的元件，其中在明视场图像采集过程期间仅使用15×15段来捕获225个图像。单独可寻址LED之间的间距为4mm。由LED提供的NA的增加为NA_照明＝0.33。整个系统的NA为NA_系统＝NA_收集+NA_照明＝0.085+0.33＝0.415，其为具有单个平面波照明的4f设置的4.9分辨率增益的因子。在该实施方案中，ACIS成像系统200还具有激发光源220，其包括LED和在光圈240后面的光路中的适当的发射滤光片250。在不同的采集时间处分别捕获FP明视场原始图像和荧光图像的序列。在该示例中，发射滤光片250仅在采集荧光图像期间以及在采集与荧光发射具有相同颜色通道的任何FP明视场原始图像期间存在，这确保了相同的光谱范围被成像。

在某些实施方案中，ACIS成像系统的光学系统包括摄像机镜头(例如，f＝50mm尼康镜头(例如，f/1.8D AF Nikkor))形式的收集光学器件。在这些实施方案中，ACIS系统的用户可以调节摄像机镜头以控制NA，即允许用户可控的NA。

使用具有修改的4f设置的ACIS成像系统200的上述实施方案以执行关于图3描述的ACIS成像方法，以将包含10μm绿色荧光微球和15μm非荧光微球的样本载片成像，诸如可从Fisher Scientific获得的那些。在相干图像采集过程中，ACIS成像系统200在平均曝光时间小于约3秒的时间内、在可变LED照明下采集225个全FOV低分辨率图像。

图6A是根据实施方案在执行ACIS成像方法期间的实验结果的流程的示意图。在此实施方案中，仅LED阵列的绿色LED被点亮。图6A中所示的图块图像对应于距离图像FOV的中心3.8mm定位的360μm×360μm的区域。在来自LED阵列的可变角度绿色照明下捕获的225个低分辨率相干绿色图像的集合由顶框中的图示表示。执行ACIS成像方法以将EPRY过程应用于50次迭代(每图块5秒)以重建样本的强度和相位，并连同成像系统的光瞳函数的表征生成样本的高分辨率的复图像，如顶框的第二框所示。所确定的光瞳函数仅对该特定图像图块有效，并且由于分辨率改善和像差去除，所重建的复图像比原始图像更清晰。执行ACIS方法以在两分钟曝光时间内用蓝色激发LED(470nm，Thorlabs)照射样本来捕获绿色荧光图像，如底框第二框所示。使用光圈后面的绿色带通滤波器(530nm，43nm通带)捕获FPM图像和荧光图像。捕获的原始荧光图像严重模糊，因为它被捕获在成像系统的FOV的边缘附近。还执行ACIS方法以将通过EPRY过程所确定的光瞳函数P_m(f_x,f_y)转换成按照公式1表征荧光图像模糊的不相干PSFh_m(x,y)。还执行ACIS方法以使用公式6从荧光图像中去卷积PSF诱导的模糊，这形成了在底框中显示的清晰图像。这种去卷积运算每图块花去不到1秒。去卷积消除了透镜引起的像差的许多负面影响。例如，在去卷积之后，对求解原始图像进行挑战的四个荧光珠粒可以清楚区分开。

图6B是根据一个方面的强度vs位置的曲线图。该曲线图具有通过两个相邻珠粒的一维轮廓的原始和去卷积数据。该曲线图突出显示，去卷积不仅可以提高图像对比度，而且还可以更准确地定位每个珠粒的重心。具体地，对于原始图像，下限峰值与每个峰值之间的下降的比值为0.946，并且对于去卷积结果为0.526。原始图像显示珠粒的分离距离为8.5μm，其比珠粒的10μm直径小15％。去卷积图像显示9.9μm的分离距离，其在珠粒的制造规范内指示的5％公差值内。系统像差引起的横向偏移在去卷积结果中得到校正，如峰值间下降的偏移所指示。这对于识别高分辨率FPM图像和荧光样本图像之间的正确空间对应性可能是重要的。图6C包括根据实施方案的两个图像，左侧图像为高分辨率明视场图像和卷积之前的原始荧光图像的重叠图像，以及右图像为高分辨率明视场图像和去卷积后的像差校正荧光图像的重叠图像。

-HeLa细胞的成像

以上讨论的利用改进的4f设置的ACIS成像系统200的实施方案被用于执行ACIS成像方法以对利用来自Fisher Scientific的PROTOCOL Hema 3的瑞式染色剂(Wright’sstain)染色的HeLa细胞的样本进行成像，并用来自Life Technologies的DAPI进行荧光标记。样本为具有固定和染色的90％融合的HeLa细胞的显微镜载玻片。首先通过用LED阵列中的225个LED的红色、绿色和蓝色通道依次点亮样本，对样本进行成像以用于FPM重建。插入带通滤波器(460nm、80nm频带)以从与DAPI的荧光发射相同的光谱范围捕获蓝色照明图像。执行ACIS成像方法以通过在DAPI的激发波长下用UV LED(365nm，Thorlab)照射样本来捕获蓝色荧光图像。样本被暴露21分钟。通过在不同的图像图块上重复EPRY方法，连同空间变化的光瞳函数重建高分辨率FPM图像。还执行ACIS方法以应用公式6以去卷积荧光图像的每个图块。

上述讨论的利用修改的4f设置的ACIS成像系统200的实施方案被用于执行ACIS成像方法以捕获被偏移到光学系统的FOV内的两个不同位置的相同样本感兴趣区域(ROI)的两个荧光图像。图7A包括根据实施方案从光轴偏移4.63mm的特定样本ROI的原始图像和恢复的PSF，h_m(x,y)。从EPRY方法恢复的PFT从图像中去卷积以去除图7A中的像差。图7B是根据实施方案的去卷积所得图像。图7C是利用以光轴为中心的相同样本ROI捕获的原始图像。利用位于图像FOV的中心(即，沿着光轴)的ROI捕获图7C所示的图像。在该区域中，成像系统像差的影响最小。图7A中的图像在将样本距离中心横向平移4.63mm之后具有相同ROI。很清楚，如DAPI染色细胞核的模糊轮廓所示，透镜像差更显着地影响偏离光轴的图像质量。小的子图还显示了去卷积的结果，使用经由FPM图像捕获和相同图像图块的后处理发现的不相干PSF。去卷积增加了细胞核的对比度，并突出显示了在左侧的原始荧光图像中以其他方式不可见的特征，诸如细胞核的形状及其分离间隙。为了确认图7B中的去卷积结果的精度，将其与图7C所示的相同ROI的最小像差图像进行比较。当比较图7B和图7C所示的图像时，去卷积的图像特征与很少的明显伪像之间存在密切的一致性。尽管在图7A中的原始模糊图像内可见为白色或黑色点的一些“热”像素在去卷积之后导致每个周围的振铃伪像，但它们的存在并不会使得去卷积图像的质量显着降级。

图8示出了根据实施方案使用具有修改的4f设置的ACIS成像系统200执行ACIS方法所产生的大图像FOV的不同区域处遍及整个图像FOV的高分辨率FPM图像和像差校正的荧光图像。图像780示出了在全FOV荧光图像中标记的放大区域a、b和c。

图8包括在图像780中标示的大图像FOV的区域“a”处的图像702、704、706、708和710。图8还包括在图像780中标示的大图像FOV的区域“b”处的图像712、714、716、718和720。图8还包括在图像780中标示的大图像FOV的区域“c”处的图像722、724、726、728和730。低分辨率彩色图像702、712和722具有严重的像差，因为它们在FOV的边缘附近被捕获。ACIS方法用于重建高分辨率像差校正的全色FPM图像704、714和724以阐明清晰的图像特征，诸如存在于HeLa细胞核中的核仁、经由重建相的细胞形态和不同细胞之间的界限。为了能够生成全FOV图像780，ACIS方法将EPRY方法和去卷积方法分别应用于各个图块。在一个示例中，在EPRY方法中使用了每图块5秒的约2200个图块。图8包括原始荧光图像706、716和726图像以及由ACIS方法的去卷积运算产生的像差校正的荧光图像708、718和728。在某些实施方案中，来自EPRY方法的相位梯度数据可以与如叠加层710、720和730所示的像差校正的荧光图像重叠。还示出了区域“a”、“b”和“c”处的光瞳函数740、750和760。叠加层710、720和730中的相位梯度数据有助于说明细胞的结构信息以显示HeLa细胞的荧光区域确实是细胞核。通过检查相位梯度图像内的细胞膜形态，也能够区分细胞有丝分裂显示的细胞分裂阶段(图像720中由箭头指示)与末期(图像730中的箭头指示)中的细胞。因为FPM和荧光成像中的像差由从相同光瞳函数导出的函数进行校正，所以图像在每个成像模态之间显示准确的空间对应性(即对准)。

通过在捕获原始荧光图像中的曝光时间大于某些最小值，可以在某些实施方案中改进源自去卷积方法的结果的质量。减少曝光时间可以降低信噪比，这可以使去卷积方法效果更差。调整曝光时间，使得信噪比高于特定要求。用于最佳去卷积的所需信噪比将根据所使用的去卷积算法而变化。在一个实施方案中，ACIS方法要求SNR高于18。对于此SNR，对于一些荧光团所需的曝光时间为21分钟。在一个实施方案中，ACIS方法利用大于1分钟的最小值的曝光时间捕获原始荧光图像。在一个实施方案中，ACIS方法利用大于2秒的最小值的曝光时间捕获原始荧光图像。在一个实施方案中，ACIS方法利用大于100ms的最小值的曝光时间捕获原始荧光图像。最小所需曝光时间取决于NA、荧光团的强度、检测器的像素大小和效率以及放大倍率。

根据某些实施方案，执行ACIS方法的ACIS系统可以生成具有与高分辨率FP图像的正确空间对应关系的宽场、像差校正的荧光图像。通常，ACIS方法利用来自EPRY方法的空间变化光瞳函数来校正原始荧光图像中的像差。在某些实施方案中，可以将所得的颜色强度图像、相位图像和荧光图像组合以提供关于样本的形态、化学性质和函数的多层信息。宽FOV荧光和高分辨率明视场图像可能有益于各种生物成像研究，包括例如细胞谱系追踪、计数细菌和细胞迁移。

在一个实施方案中，ACIS系统具有高NA物镜，并且调整LED阵列到样本的距离，以允许更陡峭的照明角度，如在X.Ou、R.Horstmeyer、G.Zheng和C.Yang于2015年在Opt.Express 23(3)第3472-3491页发表的“High numerical aperture Fourierptychography:principle,implementation and characterization”中讨论的，其在此通过引用以其整体并入。

在某些实施方案中，与常规去卷积方法相比，ACIS方法具有一个或更多个技术优点。例如，ACIS方法使用从EPRY方法所获得的PSF进行去卷积，其生成高分辨率相干图像，使得ACIS方法允许荧光图像和高分辨率相干图像的适当重叠。当重叠两个图像时，特别是当光瞳函数在FOV的不同区域中具有大的不对称像差时，这种适当的重叠可能是重要的。不对称像差可能导致图像中明显的横向偏移。由于所提出的去卷积方法使用根据从EPRY所获得的光瞳函数直接确定的不相干PSF，因此可以校正荧光图像和高分辨率相干图像的具有相同量的横向偏移的像差。不使用由FP技术表征的光瞳函数的其他去卷积方法不能生成具有适当横向偏移的校正图像，因为该方法不考虑图像的绝对位置，这意味着去卷积图像可以具有任意的横向偏移作为其求解。不考虑图像的绝对位置的盲图像去卷积方法的示例可以在D.Kundur和D.Hatzinakos于1996年在IEEE Signal Process.Mag.13(3)第43-64页发表的“Blind image deconvolution”中找到。在对于FPM和荧光图像没有相同的横向偏移的情况下，图像的直接重叠在它们之间将不具有正确的空间对应关系。非盲去卷积方法的一些示例可以在L.Yuan、J.Sun、L.Quan和H.-Y.Shum于2008年在ACM Trans.Graph.27(3)第1-10页发表的“Progressive inter-scale and intra-scale non-blind imagedeconvolution”，以及在J.H.Lee和Y.S.Ho于2011年在J.Vis.Commun.Image Represent 22(7)第653-663页发表的“High-quality non-blind image deconvolution with adaptiveregularization”中找到，其通过引用这些方法并入。盲去卷积试图用待重建的图像的物理性质的部分知识(诸如积极性和有限支持约束[D.Kundur等人]来找到像差图像的点扩散函数。算法对重建图像中的横向偏移不关心(即，重建图像可以在x-y中偏移任意值，并且仍然是盲去卷积问题的最优解)。当希望荧光和明视场图像重叠时这是不可取的，因为去卷积的荧光图像可以相对于明视场图像具有任意的横向偏移，并且必须用某种类型的共定位算法进行校正。然而，ACIS方法不会遇到这种共定位问题，因为使用了包含关于像差和横向偏移的信息的相同光瞳函数来改善明视场和荧光图像。因为两个图像都处于相同的横向偏移之下，所以它们被共定位而无需进一步处理。

在某些实施方案中，ACIS方法使用EPRY过程和不相干去卷积过程，其提供优于常规方法的一个或更多个优点。ACIS方法通过使用相同的光瞳函数在荧光图像中进行像差校正和提高明视场图像中的分辨率，自动实现明视场和荧光图像之间的图像特征的共定位。

在本公开中描述的实施方案的各种修改对于本领域技术人员来说是明显的，并且在不脱离本公开的精神或范围的情况下，本文定义的一般原理可应用于其他实施方案。因此，权利要求不旨在限于本文所示的实施方案，而是符合与本公开、本文公开的原理和新颖特征相一致的最宽范围。

此外，在本说明书中在单独实施方案的上下文中描述的特定特征也可以在单个实施方案中组合地实现。相反，在单个实施方案的上下文中描述的各种特征也可以分开地或以任何合适的子组合在多个实施方案中实现。此外，尽管特征在以上被描述为作为特定组合，并且甚至最初如此要求保护，但要求保护的组合的一个或更多个特征在一些情况下可以从组合中被切除，并且所要求保护的组合可针对子组合或子组合的变型。

类似地，虽然各种操作(在本文中也称为“块”)以特定顺序在附图中示出，但是这不应理解为要求以所示的特定顺序或以连续顺序执行这些操作，或者执行所有所示的操作以实现期望的结果。此外，附图可以以流程图的形式示意性地描绘另一示例性过程。然而，未示出的其他操作可以并入示意性示出的示例过程中。例如，一个或更多个附加操作可以在所示操作之前、之后、同时或之间执行。此外，在上述实施方案中的各种系统部件的分离不应理解为在所有实施方案中需要这样的分离。另外，其他实施方案也在以下权利要求的范围内。在一些情况下，权利要求中所述的动作可以以不同的顺序执行并且仍然实现所需的结果。

本领域普通技术人员还应理解，可以使用计算机软件以模块化或集成的方式以控制逻辑的形式实现上述各种函数、操作、过程、模块或部件。基于本文所提供的公开内容和教导，本领域普通技术人员将知道并认识到使用硬件以及硬件和软件的组合来实现本发明的其他方式和/或方法。

本申请中描述的任何软件部件或功能可被实现为将由处理器使用例如常规或面向对象技术使用任何合适的计算机语言(诸如例如Java、C++或Perl)执行的软件代码。软件代码可被存储为一系列指令或CRM上的命令，诸如随机存取存储器(RAM)、只读存储器(ROM)，诸如硬盘驱动器或软盘的磁介质，或诸如CD-ROM的光学介质。任何这样的CRM可驻留在单个计算装置上或内部，并且可存在于系统或网络内的不同计算装置上或内部。

Claims (18)

1.一种由成像系统实现的像差校正的不相干成像方法，所述方法包括：

(a)在连续从不同角度提供入射到样品的相干平面波照明的同时采集所述样品的相干图像的序列，其中，在从所述角度之一向所述样品提供相干平面波照明的同时采集所述相干图像的每一个；

(b)基于从所述样品发出的不相干光来采集所述样品的不相干图像；

(c)实现嵌入式光瞳函数恢复过程以使用所采集的图像的序列来构建改进的分辨率图像并估计所述成像系统的光瞳函数；

(d)基于所估计的光瞳函数确定所述成像系统的光学传递函数；以及

(e)使用去卷积过程从所采集的不相干图像中去除像差以生成像差校正的不相干图像，其中，所述去卷积过程使用所述成像系统的光学函数，所述成像系统的光学函数根据使用所采集的图像的序列所估计的所述光瞳函数确定。

2.根据权利要求1所述的像差校正的不相干成像方法，其中：

来自所述样品的所述不相干光为荧光发射；以及

所述不相干图像为单色荧光图像。

3.根据权利要求2所述的像差校正的不相干成像方法，还包括将所述单色荧光图像转换为彩色荧光图像。

4.根据权利要求1所述的像差校正的不相干成像方法，还包括：

将所采集的图像的视场划分成多个图块区域；

为每个图块区域生成图块图像的序列；

为每个图块区域生成不相干的图块图像；以及

对于每个图块区域，实现嵌入式光瞳函数恢复过程以使用所生成的图像的序列来构建改进的分辨率图块图像，并估计图块光瞳函数。

5.根据权利要求4所述的像差校正的不相干成像方法，其中，针对每个图块并行构建所述改进的分辨率图块图像，并且并行估计对于每个图块区域的所述图块光瞳函数。

6.根据权利要求4所述的像差校正的不相干成像方法，还包括：

针对每个图块区域，基于所估计的图块光瞳函数确定所述图块光学传递函数；

针对每个图块区域，使用去卷积过程和利用所确定的图块光学传递函数从所述不相干图块图像中去除像差以生成像差校正的不相干图块图像；以及

通过针对所述多个图块区域组合所述像差校正的不相干图块图像来生成所述像差校正的不相干图像。

7.根据权利要求1或5所述的像差校正的不相干成像方法，其中，所述改进的分辨率图像的构建和所述光瞳函数的估计同时发生。

8.根据权利要求1所述的像差校正的不相干成像方法，其中，实现嵌入式光瞳函数恢复过程以使用所采集的图像序列来构建所述改进的分辨率图像包括恢复所述改进的分辨率图像的幅度和相位数据。

9.根据权利要求1所述的像差校正的不相干成像方法，其中，所述照射角度是与所述成像系统的具有被成像的样品的表面的倾斜角度。

10.根据权利要求1所述的像差校正的不相干成像方法，还包括：

采集所述样品的至少一个附加的不相干图像；以及

对每个附加的不相干图像执行(c)、(d)和(e)以生成像差校正的不相干图像。

11.根据权利要求10所述的像差校正的不相干成像方法，其中，每个像差校正的不相干图像为单色的，所述方法还包括：

将每个单色荧光图像转换成彩色荧光图像；以及

重叠彩色的色差校正的荧光图像以生成所述样品的多色荧光图像。

12.根据权利要求1所述的像差校正的不相干成像方法，其中，(b)发生在(a)之前。

13.根据权利要求1所述的像差校正的不相干成像方法，其中，(b)发生在(c)之后或(d)之后。

14.根据权利要求1所述的像差校正的不相干成像方法，

还包括用被配置成激活提供第一组荧光发射的荧光团的波长的第一波段的激发光来照射所述样品，

还包括在用所述波长的第一波段的激发光照射所述样品的同时，在所述光路中引入发射滤光片，以及

其中，所采集的不相干图像是基于所述第一组荧光发射的所述样品的荧光图像。

15.一种成像系统，包括：

可变相干光源，所述可变相干光源被配置成使用来自不同倾斜角度的相干平面波照明连续照射样品；

激发光源，所述激发光源被配置成向所述样品提供波长的第一波段，所述波长的第一波段被配置成激活所述样品中的荧光团以发射第一组荧光发射的光；

光学系统，所述光学系统具有用于收集从所述样品发出的光的收集光学器件，其中，所述光学系统包括发射滤光片，在所述激发光源向所述样品提供波长的第一波段时，所述发射滤光片用于让所述第一组荧光发射通过而阻挡其他波长，所述光学系统被配置成将光传播到一个或更多个图像传感器；

所述一个或更多个图像传感器，所述一个或更多个图像传感器被配置成在所述可变相干光源以不同的倾斜角度的相干平面波照明连续照射所述样品的同时采集所述样品的相干图像的序列，所述一个或更多个图像传感器还被配置成基于不相干照明来采集所述样品的不相干图像；以及

一个或更多个处理器，所述一个或更多个处理器与所述一个或更多个图像传感器电气通信以接收所述相干图像的序列和所述不相干图像的图像数据，所述一个或更多个处理器还被配置成实现存储在存储器中的指令以：

利用嵌入式光瞳函数恢复过程，通过利用所采集的相干图像的序列的图像数据使用嵌入式光瞳函数恢复过程来构建改进的分辨率图像，并且同时估计所述成像系统的光瞳函数；

基于所估计的光瞳函数确定所述成像系统的光学传递函数；以及

通过使用去卷积过程从所采集的不相干图像中去除像差来生成像差校正的不相干图像，其中，所述去卷积过程使用所述成像系统的光学函数，所述成像系统的光学函数根据使用所采集的图像的序列所估计的光瞳函数来确定。

16.根据权利要求15所述的成像系统，其中，所述激发光源被指向为远离所述光学系统的所述收集光学器件。

17.根据权利要求15所述的成像系统，其中，所述可变相干光源是离散光元件的圆形阵列或离散光元件的矩形阵列。

18.根据权利要求15所述的成像系统，其中，所述可变相干光源是LED阵列。