CN114430810A - 用于生成图像的叠层成像系统和方法 - Google Patents

Abstract

本发明涉及一种叠层成像系统，包括适于将光发射到样本位置上的多个光源，其中该光源以预定图案布置；适于控制该多个光源的操作的控制器；其中a)光源的该预定图案和b)多个光源的该控制操作中的至少一个适于补偿由于光源相对于样本位置的布置而引起的几何效应。

Description

用于生成图像的叠层成像系统和方法

技术领域

本发明涉及一种叠层成像系统和一种使用叠层成像系统生成图像的方法。特别地，本发明涉及一种傅里叶叠层成像系统和使用傅里叶叠层成像系统生成图像的方法。

背景技术

给小结构成像需要具有高数值孔径(NA)的光学系统。数字成像和快速计算机系统提供了通过解析地合并低分辨率子图像来生成高分辨率图像的机会。

这些显微成像的计算方法包括通过处理从样本散射的相干干涉图案生成图像的叠层成像术。样本或波场相对于恒定函数诸如照明场或孔径光阑移动。傅里叶叠层成像系统对于具有大视场和高分辨率是有利的。通过不同的数值孔径设置照射大量的单个图像。准准直并且因此(空间)相干照明以大入射角使用。从成像透镜的角度来看，这对应于在高数值孔径设置下具有单个非对称子集的照明系统。

传统的傅里叶叠层成像系统使用发光器件(LED)的平面二维阵列。光源在x和y方向上以相同的间距布置，即在x方向和y方向上相邻LED之间的距离保持恒定。一次打开一个光源并且捕获相应的低分辨率图像。光源相对于样本的位置确定傅里叶谱被测量部分。对于傅里叶叠层成像重构，要求收集具有至少50％重叠的傅里叶谱。

传统的均匀LED阵列具有这样的效果，即由于高入射角，样本平面处的可用功率密度的几何减小变得相关。所述的减小与入射角的余弦成比例，并且在高入射角处具有重要的效果。

另一个效果是远离穿过样本中心光轴的光源提供冗余信息。作为一种可能的解决方案，在Guo等人的“Optimization of sampling pattern and the design of Fourierptychographic illuminator(样本图案优化与傅里叶叠层成像照明器设计)”，Opt.Express 23,6171-6180,2015中提出了非一致采样。

另一种方法涉及如在US 2017/0371141 A1中提出的在极坐标中的规则布置。

此外，已知通过同时使用多个光源捕获低分辨率图像来增加处理量，即减少重构所需的图像数量。例如，US 2017/0146788 A1涉及具有多路复用照明的傅里叶叠层成像显微术。US 2016/0088205 A1涉及多路复用傅里叶叠层成像系统和方法。从Tian等人的“Computational illumination for high-speed in vitro Fourier ptychographicmicroscopy(高速体外傅里叶叠层成像显微术的计算照明)”，Optica 2(10)，904-911，2015中已知另一种方法。

增加处理量的另一种方法是内容自适应照明，如从Bian等人的“Contentadaptive illumination for Fourier ptychography(傅里叶叠层成像的内容自适应照明)”，Opt.Lett.39，6648-6651，2014中已知的。根据该方法，识别相关的傅里叶分量，并选择相应的光源进行扫描。通过仅使用图像的子集，可以在一定程度上减少所需图像的数量。

因为傅里叶叠层成像系统需要在连续的时间点生成多个图像，所以总是需要进一步减少生成使用拼接算法组合的所有子图像所需的时间。同时，图像质量必须保持高水平，即生成子图像的时间减少不应导致图像质量显着劣化。

因此，本发明的目的是提供一种叠层成像系统和一种使用叠层成像系统生成图像的方法，该叠层成像系统在相当短的时间内生成高质量图像。

发明内容

该目的通过独立权利要求的主题来解决。本发明提供一种权利要求1所叙述的叠层成像系统和一种使用权利要求15所叙述的叠层成像系统生成图像的方法。在从属权利要求中阐述了有利的实施例。

因此，根据第一方面，本发明提供了一种具有多个光源和控制器的叠层成像系统。光源将光发射到样本位置上。光源以预定图案布置。控制器控制多个光源的操作。选择光源的预定图案，使得至少部分地补偿由于光源相对于样本位置的布置而引起的几何效应，否则这种几何效应在平面均匀布置中会出现。附加地或可替代地，光源的控制操作适于补偿由于光源相对于样本位置的布置而引起的几何效应。

根据第二方面，提供了一种用于使用叠层成像系统生成图像的方法，包括以预定图案布置的多个光源。多个光源将光发射到包括样本的样本位置上。控制器控制多个光源的操作。光源的预定图案和/或多个光源的控制操作适于补偿由于光源相对于样本位置的布置而引起的几何效应。

与具有一致间距和顺序采集的传统傅里叶叠层成像系统相比，光源的优化布置可以增加叠层成像系统的处理量。对几何效应的补偿可以包括对距离效应和角度效应的补偿，并且可以导致在整个角度谱上更恒定和改善的信噪比性能。重构图像中的整体噪声特性将得到改善。优选的设置可以是在各个重构中组合的所有子图像的恒定噪声和背景等级。

本发明的优点是自适应照明和/或检测设置，例如光源的布置和/或光源亮度，在子图像中提供优化的信噪比。此外，由于优化的照明和曝光控制，可以实现子图像中的优化的图像对比度。叠层成像系统提供了更高的可变性和灵活性。此外，可以有选择地加权和对比不同的衍射角。根据一个实施例，某些结构，特别是小结构和/或边缘和/或过渡区域可以例如通过提供更高的对比度来加强。这种效果对于拍摄由某些系统进一步处理的图片特别有利，例如使用基于人工智能或神经网络的机器学习方法。如果对比度增强，则这些系统工作得更好。在这些情况下，自然外观不太重要或不重要。

优选地，将相对于中心光轴增强更大的衍射角。更大对比度的图像对于例如实验室诊断的应用可能是特别有利的，例如用于能够被多次成像的样本的血液学，例如载玻片上的固定细胞。针对典型用于叠层成像系统的重构图像，本发明提供了具有高工作距离和大景深的高分辨率成像。

如在本发明中所使用的，有待补偿的几何效应可以包括以下各项中的至少一项：

a)光源的角度相关空间发射特性，诸如基于光源相对于样本位置的几何布置的轮廓的角度发射特性。

b)余弦效应，即样本位置处的可用功率密度与入射角余弦的比例关系。光源的入射角或方位角在中心光轴与从光源到样本位置的线即特定光源的光轴之间测量。对于光源的平面布置，光源布置的中心光轴垂直于该平面并穿过样本位置。光源的布置可以相对于中心光轴对称，例如以球形帽的形式。在这种情况下，光源的布置选择中心光轴。

c)由照射所研究目标区域的光源引起的功率水平的下降至少在光轴上的点处通过对光源的适当控制和/或通过其接近光源的球形布置的几何布置而保持恒定。

d)较高的衍射角导致较低的衍射效率。较低衍射效率的补偿可以导致相应重构图像中的小对象特征的较好分辨率和/或较高对比度。与高数值孔径显微术相反，与在具有科勒型照明的标准显微术中使用的具有平面照明轮廓的照明系统相比，叠层成像术提供了更有效地控制这种效应的机会。

如在本发明中所使用的，子图像是指使用特定光源或使用多个光源的特定选择或光源子集所生成的图像。

根据叠层成像系统的另一个实施例，多个光源的预定图案包括光源以围绕穿过样本位置的中心光轴的多个同心环来布置。对于后续的环中的光源，方位角的变化基本上是一致的。对于同一同心环内的相邻光源，极角的变化基本上是一致的。根据该实施例，叠层成像系统包括均匀theta-phi照明器，theta是极角，phi是方位角。与传统照明方法相比，光源的这种特定布置消除了测量的任何可变冗余。每个后续光源在径向和方位方向上提供一致的角间距变化。优选地，选择方位角的变化和极角的变化以在整个傅里叶空间中为所有光源提供一致的50％重叠。所述的布置减少了重构所需图像的数量，从而导致更高的处理量。重构的图像没有由于光源的规则网格布置而生成的伪影。

根据叠层成像系统的另一个实施例，光源的布置是平面的。

根据叠层成像系统的另一个实施例，光源的布置是球形的。根据这种布置，光源和样本位置之间的距离优选是恒定的。这种布置具有为位于边缘的光源提供高动态范围图像的附加优点。这使得重构图像的信噪比更好。这种布置可以校正由方向性和光源与样本之间的距离引起的几何效应。

根据叠层成像系统的另一个实施例，控制器通过同时操作多个光源来控制多个光源的操作。待同时操作的光源的数量受到光源的空间的或角的坐标空间中的给定最大数量和/或最小距离标准的限制。例如，如果叠层成像系统包括多个N个光源，则如果同时使用多个M个光源，则所需的图像数量从N个减少到N/M个。这导致处理量增加M倍。

只要没有丢失相关信息，即如果仍然可以区分傅里叶平面中的不同衍射图案，则多路复用，即操作多个光源以减少所需的帧数可以是有利的。也就是说，应该可以识别傅里叶空间中的结构区域，并将这些区域彼此相对地限制，以将这些区域分配给相应光源。因此，可以从单个帧中分离和提取多个衍射图案。为了确保可分离性，傅里叶空间中的信号或结构必须足够快地衰减，使得不同的信号或结构不在噪声等级以上合并。这可以通过最小角距离，即通过角的坐标空间中的最小距离标准来实现。最小距离标准可以基于待分析对象的结构尺寸来选择。多路复用对于在傅里叶空间中具有快速衰减的振幅分布的弱衍射结构是特别有利的。优选地，考虑到直径相对的光源可能具有重叠的衍射，该距离被最大化。

根据叠层成像系统的另一个实施例，控制器通过选择多个光源中的光源子集并且仅操作子集中的光源来控制多个光源的操作。在傅里叶叠层成像中，不是在空间域中扫描样本，而是在傅里叶域中执行扫描。因此，确定存在哪些傅里叶分量并且识别相应光器件。仅使用识别的光器件扫描样本。因为所有子图像是以连续顺序生成的，所以仅使用光源子集显着地减少生成高分辨率图像所需的时间。

根据叠层成像系统的另一个实施例，基于待观察的样本的特性来选择待操作的光源子集。可以知道，样本仅包含某些元件或结构。哪个傅里叶分量占主导地位取决于元件或结构的尺寸和材料特性。因此，可以基于样本的特性仅选择相关的傅里叶分量，即仅选择相关的光源。例如，如果样本是血液样本，则控制器可以选择与血液样本最相关的光源。

根据叠层成像系统的另一个实施例，基于用户输入来选择待操作的光源子集。用户可以在不同类型的样本之间进行选择。每种样本的光源可以被存储在控制器的存储器中。控制器相应地选择光源子集。为了确定子集，可以确定傅里叶谱的密度。如果在某些区域中傅里叶谱密度较小或不存在傅里叶数据，则相应光源不会被用于测量。因此，叠层成像系统实现内容自适应照明。

根据叠层成像系统的另一个实施例，基于先前的校准来选择待操作的光源子集。校准包括使用所有光源或大多数光源生成样本的校准图像。此外，基于光源对校准图像的贡献来选择光源子集。

根据叠层成像系统的另一个实施例，在捕获子图像集的时候，基于已经在该子图像集中拍摄的子图像的傅里叶空间中信号内容的评估，通过相对于质量标准和/或基于信号强度确定实质信号贡献的面积和/或区域和/或方向，通过选择用于后续图像的与已经测量的实质信号贡献的面积和/或区域和/或方向部分重叠或邻近的光源，动态地选择待操作的光源的子集。

根据叠层成像系统的另一个实施例，通过并行地操作多个光源，在选择待在后续帧中操作的光源并且确定这些光源中的哪些可以在受到光源的空间的或角的坐标空间中给定最大数量和/或最小距离标准的限制同时地操作之前，通过将傅里叶空间中的实质内容分配给操作的各个光源，来拍摄子图像。

根据叠层成像系统的另一个实施例，控制器通过根据光源在光源的布置内的位置调节光源的照明参数来控制多个光源的操作。控制照明参数可以基于光源到样本位置的距离和/或光源的倾斜角。

根据叠层成像系统的另一个实施例，调节照明参数包括调节以下各项中的至少一项：

a)光源的亮度，

b)光源的操作持续时间，

c)衰减滤光器，

d)滤色器，

e)叠层成像系统的检测器的曝光时间，以及

f)叠层成像系统的检测器的增益设置。

可以将照明参数调节到叠层成像系统的检测器的给定信噪比。这意味着控制到样本和/或从样本到检测器的有效光通量，即光的量。例如，控制器可以控制驱动电流振幅、驱动电流的接通时间、光束路径中滤光器的设置；或者可以通过控制增益和/或曝光时间来执行检测器的曝光控制。优选地，控制照明参数，例如参数a)到e)中的至少一个，以达到给定的信噪比。优选地，对于每个照明角度，即对于每个光源，确定照明参数的特定设置。

根据叠层成像系统的另一个实施例，至少一些控制可以通过增益控制来实现，即对叠层成像系统的检测器的灵敏度的控制。

根据叠层成像系统的另一个实施例，控制器根据光源的方位角调节照明参数。

功率密度与入射角(即光源的方位角)的余弦成比例。这意味着用于高角度的光源需要更多的功率。因此，控制器可以取决于光源的方位角来调节照明参数，特别是利用光源的方位角的余弦的倒数来补偿这种角度效应。

根据叠层成像系统的另一个实施例，由叠层成像系统生成的子图像被重新缩放为照明参数的预定标准设置集合。重新缩放考虑了每个照明参数各自的缩放行为，例如，曝光时间的线性缩放、光通量的LED驱动器电流的非线性缩放等。

根据叠层成像系统的另一个实施例，根据光源的预定图案以适配的方式使用补偿。即，补偿取决于光源的几何设置。例如，光源可被布置在具有平行光轴或对于至少一个光源具有单独倾斜光轴的平面中，其中光轴理想地指向样本的视场中心，即样本位置。这种布置减少了相应光源的几何发射轮廓的几何校正量。此外，光源可被布置成球形几何形状，以最小化由光源到样本位置的距离引起的影响。此外，可以使用光源中的至少一个，并将其从一个图像捕捉移动到下一个图像捕捉的不同位置，以便覆盖所需图像设置的整个孔径范围。这种移动可以通过物理地移动各个光源如LED或光纤的远端输出端而直接地操作；或者通过由例如扫描单元如电流计扫描器将来自相应光源的光束重定向而间接地操作。基于光源相对于正确位置的各个几何设置，控制器确定并使用用于校正的自适应设置。

根据叠层成像系统的另一个实施例，控制器控制多个光源的操作以获得不同衍射角(即照明孔径)的不同强度，从而在重构过程中固有地提供对比度增强。

根据该方法的另一个实施例，控制多个光源的操作包括同时操作多个光源的步骤。待同时操作的光源的数量受到光源的空间的或角的坐标空间中的给定最大数量和/或最小距离标准的限制。例如，必须满足操作光源和其相邻操作光源之间的theta-phi空间中的最小距离。

根据该方法的另一个实施例，控制多个光源的操作包括选择多个光源中的光源子集并且仅操作子集中的光源。

附图说明

将参考附图中描绘的示例性实施例更详细地解释本发明。

附图被包括进来以提供对本发明的进一步理解，并且被结合且构成本说明书的一部分。附图示出了本发明的实施例，并与说明书一起用于解释本发明的原理。

本发明的其它实施例和本发明的许多预期优点将通过参考以下详细描述而变得更好理解。相同的附图标记表示相应的相似零件。应当理解的是，为了更容易参考而对方法步骤进行了编号，但是除非另外明确地或隐含地描述，否则所述的编号不一定暗示步骤以该顺序执行。特别地，也可以以与它们的编号所指示的顺序不同的顺序来执行步骤。一些步骤可以同时或以重叠的方式执行。

图1示意性地示出说明根据本发明实施例的叠层成像系统的框图；

图2示意性地示出根据本发明实施例的叠层成像系统；

图3示出光源布置的方位角和间距；

图4示出光源的极角；

图5示出作为沿x轴的位置的函数的光源的平面阵列的照明数值孔径；

图6是根据本发明实施例的光源的布置的顶视图；

图7以侧视图示意性地示出根据图6的光源的布置；

图8示意性地示出用于模拟的测试对象；

图9示出用于基于网格的传统照明的模拟低分辨率图像；

图10示出用于基于网格的传统照明的重构高分辨率图像；

图11示出由根据本发明实施例的叠层成像系统获得的重构高分辨率图像；

图12示出测试对象的示例性傅里叶谱；

图13示出用于叠层成像的示例性光源子集；

图14示出由根据本发明实施例的叠层成像系统获得的重构高分辨率图像；

图15示出由根据本发明另一个实施例的叠层成像系统获得的重构高分辨率图像；

图16示出由根据本发明又一个实施例的叠层成像系统获得的重构高分辨率图像；以及

图17示出根据本发明实施例的使用叠层成像系统生成图像的方法的流程图。

具体实施方式

图1示出说明叠层成像系统1的框图。叠层成像系统1包括多个光源2，尤其是发光器件(LED)，其将光发射到布置在叠层成像系统1的样本位置处的样本上。光源2以预定图案布置。该布置的整体形状可以包括平面阵列或球形帽。

光源2可被布置成围绕中心光轴的多个同心环。在同一同心环内的所有光源2具有在中心光轴与从光源2到样本位置的线之间测量的相同方位角。光源2的方位角可以在相邻的同心环之间表现出恒定的变化。换言之，不同的相邻同心环中的光源2的方位角之间的差异与所考虑的同心环无关。

同样，对于在同一同心环内选择的每两个光源2，极角的变化可以是一致的。换言之，同一同心环中的两个相邻光源的极角之间的差异与所选光源2无关。尤其地，不同同心环中的光源2可以具有基本上相同的极角变化，除了由于在每个同心环中仅可能有整数个光源2而导致的偏差。

叠层成像系统1的控制器3控制光源2的操作。控制器3可以包括中央处理单元(CPU)或图形处理单元(GPU)(如微控制器(μC))、集成电路(IC)、专用集成电路(ASIC)、专用标准产品(ASSP)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)等中的至少一个。控制器3还可以包括或访问存储器。存储器可以是易失性或非易失性数据存储器，例如固态盘、存储卡等。在优选实施例中，控制器可存储待特定时间操作的被选择LED的先前定义子集的序列，并且在捕捉整个子图像集的子图像期间调用序列的这些子集。

控制器3每次激活至少一个光源2以生成相应的子图像。控制器3可以同时操作多个光源2的子集。尤其地，对于每个子图像，控制器3可以选择至少两个光源2来操作。可以根据预定图案选择光源2。

控制器3还可以选择多个光源2的子集。只有选择的光源2被操作用于生成相应子图像。可以选择一个或多个光源2来生成每个子图像。未被选择的光源2不用于生成子图像。控制器3可以根据存储在存储器中的指令来选择光源2。

控制器3可以根据待观察样本的特性来选择待操作的子集。叠层成像系统1可以包括用于从用户接收指令的用户接口。用户可以选择关于样本类型的一个或多个选项。对于每种类型的样本，由控制器3选择光源2的相应子集。

控制器3还可以基于先前的校准来选择光源2。在校准期间，控制器3生成低分辨率子图像。为了生成子图像，使用所有光源2。换言之，在校准阶段没有选择。然后，控制器3可以通过组合低分辨率子图像来生成高分辨率图像。高分辨率图像被认为是校准图像。接着，控制器3可以使用傅里叶分析来分析高分辨率图像，以确定最有贡献的傅里叶分量。例如，只有平均值超过特定阈值的那些分量才可被认为是“最有贡献的”或相关的。多个光源2中的特定光源2对应于相应傅里叶分量。在操作期间，控制器3仅选择对应于在校准阶段期间识别的贡献最大的傅里叶分量的光源2。

控制器3可以适于控制光源2的照明参数。照明参数的值可以取决于光源2在光源2的布置内的位置。尤其地，可以仅根据光源2的方位角来选择照明参数。换言之，对于具有相同方位角的光源2选择相同的照明参数。对于具有不同方位角的光源2，至少一些照明参数不同。照明参数可以包括光源2的亮度、光源2的操作持续时间、衰减滤光器、滤色器、叠层成像系统1的检测器的增益值和/或曝光时间。

图2示出示例性叠层成像系统1。叠层成像系统1包括光源2的阵列。光源2发射(激光)光到具有位于样本位置5处的样本的样本平面4上。样本位置被扩展。然而，由于样本位置的尺寸相对于相邻光源2之间的距离的尺寸较小，所以样本位置可以以良好的近似认为是点状的。样本可以包括固体结构或流体，诸如血液的样本。

由光源2发射的光例如经由吸收、偏转或反射与样本相互作用。由光源2发射的光的至少一部分在样本位置5处穿过样本并进入显微镜物镜6。成像透镜7将光聚焦到实平面成像检测器8上。检测器8生成子图像并将数据存储在例如控制器3的存储器中。检测器8还可以将数据提供给外部处理单元，诸如用于分析数据的外部计算机。

尽管图2示出光源2的均匀的阵列，但是光源2的阵列通常可以具有不同的布置，诸如光源2之间的非一致的间隔。尤其地，该布置可以包括方位角和/或极角的一致的变化。此外，不同的布置还可以包括不同种类的光源可以被安装在叠层照明器内的不同位置。不同类型的光源可以选自但不限于以下类型：单色或单带宽发射或多带宽发射的发光器件(LED)，如RGB LED、S-LED、激光器(尤其是半导体激光器)、热发射器、基于光纤的光源等。光源可以在例如以下特性中的至少一个方面是不同的：波长、谱带宽、空间发射特性、如连续或脉冲操作的时间发射特性、如时间和/或空间相干程度的相干参数、亮度或集光率。

图3示出光源2的布置的方位角

和间距x。方位角

是在穿过中心光源21并延伸到样本位置5的中心光轴与在相应光源22和样本位置5之间延伸的线之间测量的角度。间距x对应于两个相邻光源21、22之间的距离。

图4示出光源2的极角θ。特定光源22的极角θ对应于该光源22和中心光源21之间的线与预定光源23和光源21之间的另一线之间的角度。任意选择预定光源23作为参考。重要的是极角的变化，即同一同心圆内的两个相邻光源22、23的极角之间的差异，其与参考无关。

图5示出取决于沿x轴的位置B的光源2的传统均匀平面阵列的照明数值孔径A。每个光源照明提供傅里叶空间中的分离测量。这种多个分离的测量用于高分辨率高视场图像的重构。为了图像的精确重构，需要在由相邻发光器件2测量的傅里叶谱之间具有至少50％的重叠。在中心，相邻发光器件2之间的重叠可以是大约55％。从图5可以看出，照明数值孔径没有线性增加。这使得相邻光源2的傅里叶谱之间朝向外围的重叠增加。为了解决这个问题，可以选择光源2的特定布置。

图6以顶视图示意性地示出光源2的布置。

图7示意性地示出根据图6的光源2的布置的侧视图。光源2围绕中心光轴布置成同心圆。方位角

的变化被选择为是一致的并且同一同心圆中的光源2之间的极角θ的变化也被选择为基本上一致的。换言之，叠层成像系统1包括均匀theta-phi照明器。

优选地，每个同心环的角度取向是统计地或随机地选择的。换言之，优选地避免附加的对称性以防止出现伪影。例如，如果在包括用于每个同心环的光源2的球体上存在大圆(或子午线)，则可能出现这种伪影。优选地，光源2没有沿子午线布置。

尽管图6和图7示出球形均匀theta-phi照明器，但是光源2也可以布置在平面中，从而提供平面均匀theta-phi照明器。在平面情况下，优选地也避免附加的对称性。因此，不同环的LED没有布置在对应于球形壳体的子午线的直线径向线上。

为了确定这种布置，首先，可以确定极角，使得在径向方向上，连续光源2在傅里叶谱中具有大约50％的重叠。这些极角和预期的最大数值孔径被用于找到光源2的环的数量。每个环将以一致的极角阶梯布置，以确保在径向方向上存在一致的重叠。

例如，用于0.1的数值孔径的理想间距可以是大约5mm。大多数高功率LED具有大约2至3mm的覆盖区。如果高度(即中心光源21和样本位置5之间的距离)被选择为70mm，则在傅里叶谱中存在大约55％的重叠。根据间距x和高度，方位角可以根据以下公式计算：

接着，基于合成孔径要求来确定光源2沿轴的位置。例如，如果合成孔径需要是0.6，照明数值孔径需要是至少大约0.5，通过衍射利用透镜的0.1的数值孔径。最大方位角可以根据以下公式计算：

在下文中，我们将使用

每个圆的半径可以根据以下公式计算：

其中n＝1，2…。最大半径取决于所需的有效数值孔径。为了获得0.5的照明数值孔径，需要由具有附加光源2的7个环围绕的中心光源2。

圆的半径由以下值给出(以mm计)：

4.8949,9.8379,14.8790,20.0722,25.4779,31.1660,37.2197。

位于这些半径处的光源2将保持沿径向的一致重叠。

接着，描述如何在每个圆上找到光源2的方位角位置，使得沿方位角方向存在一致重叠。

首先，对于相邻光源2之间的极角θ的变化，使用以下公式计算第一圆的光源2的数量：

Δθ＝tan^-1(间距/半径)＝45.6°。

因此，第一圆需要360/45＝8个光源2。

同样地，对于相应圆计算方位角变化以具有以下值：

45.6086,26.9414,18.5746,13.9877,11.1031,9.1144,7.6512

光源2的相应数量被计算为

7.8933,13.3623,19.3813,25.7368,

32.4234,39.4981,47.0517,55。

为了不违反光瞳中的重叠标准至少50％，四舍五入到最接近的较大整数给出每个圆n的光源2的数量M：

8,14,20,26,33,40,47,55.

环n的角度步长Δθ_n由以下公式计算：

Δθ_n＝360/M_n

其中M_n表示环n中光源的相应数量M。

可以使用角坐标和半径使用以下公式找到每个光源2的位置：

[x,y]＝[r·cos(m·Δθ_n),r·sin(m·Δθ_n)]。

在该公式中，r表示每个光源2的半径，m在圆n上从1变化到光源2的最大数量M_n。根据用于避免附加对称性的优选实施例，对于每个环n，可以添加(可能不同的)统计角度Δθ_n0，该统计角度可以根据以下公式确定：

Δθ_n0＝Rn·Δθ_n

其中对于所有环Rn表示范围[0；1]内的至少一个随机数，或优选地对于每个环从范围[0；1]的不同随机数。由于Δθ_n的值不同，即使一个随机数也将有助于避免附加的对称性。将由角坐标、角变化和环n的相应半径通过以下公式找到光源2的位置：

[x,y]＝[r·cos(m·Δθ_n+Δθ_n0),r·sin(m·Δθ_n+Δθ_n0)]

对于球形均匀theta-phi阵列的设计，使用类似的步骤来找到极角和方位角。与平面阵列相比的唯一差异是使用以下等式确定光源的坐标：

根据该公式，n从1变化到最大半径数。Δθ_n表示环数n中的方位角步长。m_n表示环数n中的相应光源2的数量，范围从1到m_n。对于优选实施例，可以相应地添加统计角度Δθ_n0。

在先前附图中描述的布置中的光源可以包括以下各项中的至少一项：基于半导体的光源，例如LED、SLED、半导体激光器(例如VCSEL)、气体激光器、白光激光器(例如光纤晶体激光器)、基于荧光或展宽光源(例如白光LED)、热光源(例如卤素灯、弧光灯(例如Xe-Hg灯))、基于光纤的光源，其中前述光源中的任一个可被耦接到光纤中且光纤的输出端可以用作光源。此外，这些光源可以与如准直器或聚焦光学器件之类的光束形成光学元件耦合，以优化辐射到所研究样本区域5上的光展量。准直器光学器件可以选自但不限于以下：透镜、GRIN透镜、衍射光学元件(DOE)、折射光学元件(例如菲涅耳透镜)、计算机生成的全息图。

图8示意性地示出用于模拟的地面真值的测试对象。对于不同的叠层成像系统，包括具有光源2的平面均匀阵列的传统叠层成像系统，模拟生成测试对象的图像。

图9示出具有0.1数值孔径物镜的这种基于网格的传统照明的模拟低分辨率图像。如可以观察到的，质量相对较差并且没有分辨小的结构。

图10示出基于多个低分辨率图像的拼接的基于网格的传统照明的重构高分辨率图像。总共有289个低分辨率图像被组合以获得图10所示的高分辨率图像。

图11示出由具有根据本发明的均匀theta-phi照明器的叠层成像系统1获得的重构高分辨率图像。由于特定的布置，对于与传统成像系统所使用的相同的数值孔径，仅需要较少数量的244个图像来重构高分辨率图像。

在下文中，描述了一种叠层成像系统1，其中控制器3通过选择多个光源2中的光源2的子集并且通过仅操作子集中的所选光源2来操作多个光源2。

图12示出图8所示的测试对象的示例性傅里叶谱。可以看出，测试对象仅沿x轴和y轴具有显著的傅里叶分量。因此，可以限制待操作的光源2的数量而不损失重要信息。

图13示出用于叠层成像的光源2的示例性子集。仅选择沿x轴和沿y轴的光源2来生成相应低分辨率图像。

附加地或可替代地，可以同时使用多个光源2。例如，对于每个低分辨率图像，可以选择并开启两个光源2以捕获相应低分辨率图像。

图14示出由具有根据本发明的均匀theta-phi照明器的叠层成像系统1获得的重构高分辨率图像。使用具有用于每个低分辨率图像的两个光源2的多LED照明从低分辨率图像重构高分辨率图像。高分辨率图像已经通过在叠层重构过程中合并总数为122个低分辨率图像而获得。

图15示出由具有根据本发明的均匀theta-phi照明器的叠层成像系统1获得的重构高分辨率图像。为了生成低分辨率图像，已经采用了光源2的内容自适应选择。因此，只有图13所示的光源2，即只有沿x轴和y轴的光源2被用于生成低分辨率图像。通过拼接总数为31个的低分辨率图像来获得高分辨率图像。

图16示出由具有根据本发明的均匀theta-phi照明器的叠层成像系统1获得的重构高分辨率图像。除了同时使用两个光源2的多LED照明之外，还采用了光源2的内容自适应选择。内容自适应选择可以基于关于对象的先验知识。因此，只有图13所示的光源2，即只有沿x轴和y轴的光源2被用于生成低分辨率图像。因此，叠层成像系统1将多LED照明与光源2的内容自适应选择相结合。通过重构总共19个的低分辨率图像来获得高分辨率图像。

通常，对于给定的对象，分别在光瞳平面中或在图像的傅里叶变换中的傅里叶分量的图案的取向强烈地取决于对象在成像系统的对象空间中的取向或三维姿态。

在图16中，测试图案的轴与成像系统的传感器阵列的x轴和y轴对准。此外，光源的二次网格也相对于对象的x轴和y轴对准，因此，变换后的图像在空间频率域中的傅里叶图案与检测器的x轴和y轴对准，因此，图像帧和待选择光源也被选择为与在成像系统的光轴上相交的光源2的网格的x轴和y轴对准。

表1

表1比较了不同的叠层成像系统1。可以看出，使用均匀theta-phi照明器、多LED照明和内容自适应照明中的每一个都可以帮助减少重构所需的图像数量。如果同时使用所有三个测量，则重构所需的图像数量从289减少到仅19。因此，显着地减少了生成用于重构高分辨率图像的低分辨率图像所需的时间。

通常，如果要基于对象的图像空间频率结构的先验知识来选择光源，则首先确定对象的空间取向或姿态或者首先确定在成像系统的对象空间中表示对象的坐标系的几何主轴是必要的。在连续的步骤中，当将其定位在成像系统的对象空间中时，按照其相对于对象的取向或主轴的角取向，采用在成像过程中待使用光源2的预定子集。

关于光源2的内容自适应选择的另一可替代方法可以基于在第一步骤中拍摄图像和基于在第二步骤中对结合于图像中的傅里叶分量的分析。基于当重构对象时相应光源2对信号的贡献的强度，光源2可以被选择或不被选择为在成像系统中的相同对象或相同种类对象的成像的随后复制中所使用的光源2的子集的一部分。此外，重要的是，当光源2被选择为适应于对象的空间频率内容时，所测量的对象的取向与相同或参考对象的取向相同。在任何未对准的情况下，必须采用如前面部分中针对先验知识的情况所描述的光源2的选择。

内容自适应选择还可以基于迭代地检查对象图像中的较高阶空间频率分量。优选地，第一图像是利用低照明孔径拍摄的，如基于中心光源2的轴照明或来自具有较小环数量n的光源的低孔径照明。当确定该图像或具有低孔径照明的图像子集的空间频率内容时，优选地在那些径向方向上选择下一个较大数量n的环中的光源，其中已经选择了用于较低空间频率的实质傅里叶分量。可以基于适当的度量来判断径向方向是否具有实质傅里叶分量，例如傅里叶分量的绝对强度的阈值，或者与相应区域的相邻区域相比较，或者相对于具有相同径向距离的其它傅里叶分量的平均值，或者对于该径向距离所期望的背景噪声等级。由于该方法不依赖于来自先验知识的参考信息或在第一步骤中拍摄图像，所以当选择光源2并将它们应用于连续图像时不需要进行任何角度校正。另一方面，迭代检查方法对于选择第一对象上的光源2和使用所定义的光源子集对可比较对象进行连续测量可能是有益的。只有当将光源2的这个子集应用于另一对象时，才可以应用针对第二对象的相应取向而选择的光源2的采用角度。

甚至可以在拍摄图像时动态地执行内容自适应选择。开始时，用低照明孔径角捕获第一图像，优选地用于轴上照明。确定该图像的傅里叶变换。在该傅里叶变换中，确定了径向轴中的峰值序列的面积或区域或方向，其中确定了实质信号贡献。由于傅里叶空间选择光源2的重叠标准，选择它们相应照明孔径与径向轴的面积、区域或方向重叠的那些相邻光源2。对于该光源或多个光源拍摄下一图像，其中最大的实质信号贡献在孔径空间的重叠面积中。当应用多个光源2时，可以遵循光源2的空间的或角的坐标空间中的最小距离标准。当拍摄下一图像时，类似于第一图像执行评估。

根据两个图像的经确定的径向轴的面积、区域和/或方向，为该光源或多个光源拍摄下一图像，其中最大实质信号贡献在孔径空间中的重叠面积中。对其它图像进行该过程，直到不再有实质信号贡献为止，或者如果径向轴的所有剩余面积、区域或方向对迄今未使用的附加光源2没有任何实质贡献。这种情况可以被认为是终止标准。在图像子集完成或达到终止标准之后，在该图像子集上应用叠层评估以确定高分辨率图像。

图17示出使用叠层成像系统1生成图像的方法的流程图。该方法可以用任何上述的叠层成像系统1来执行。

叠层成像系统1包括以预定图案布置的多个光源2。光源2可以布置成围绕穿过叠层成像系统1的样本位置5的中心光轴的多个同心环。后续的环中的光源的方位角的变化可以基本上是一致的。此外，同一同心环内的相邻光源的极角变化可以基本上是一致的。光源2的布置可以是平面或球形或任何其它几何形状，以支持应用特定的优化。例如，在平面布置中，光源可以根据它们距光轴的相应距离相对于该平面倾斜。然后，该设置提供单个光源的非均匀网格，每个光源以其相对于光轴的相应角度倾斜，使得实质上所有光源的所有光轴在样本平面中的点或小区域5中相交。这种布置有助于最小化光源2的空间非均匀发射特性的影响，如通常在例如LED、光纤、光纤束、具有慢轴和快轴的激光器或VCSEL的更定向的发射轮廓上看到的。

在第一方法步骤S1中，控制器3向光源2发送控制信号，以便操作光源2将(激光)光发射到叠层成像系统1的样本位置5上的样本上。

控制器3可以通过同时操作多个光源2来控制多个光源2的操作。换言之，通过使用多个光源2生成每个低分辨率图像。例如，可以通过使用两个光源2来获得每个低分辨率图像。

控制器3还可以通过选择多个光源2中的光源2的子集并且通过仅操作子集中的光源2来控制多个光源2的操作。例如，控制器3可以仅沿x轴和y轴选择光源2，如图13所示。光源的选择可以基于待观察或测量的样本的特性。该选择也可以基于用户输入。例如，用户可以在几种类型的样本之间进行选择，并且控制器3选择与所选类型的样本相对应的光源2。为相应类型的样本选择哪些光源2可被存储在叠层成像系统1的存储器中的查找表中。控制器3使用查找表来选择光源2。可以将样本类型特定的查找表作为预设提供给用户。

光源2的子集也可以基于先前的校准来选择。在校准期间，使用一个或多个光源2生成低分辨率图像。所有光源2或至少大部分光源2用于生成相应的低分辨率图像。最后，组合低分辨率图像以生成校准图像。例如使用傅里叶分析来分析校准图像，以便确定光源2的最显著的贡献。例如，仅选择对应于对校准图像的傅里叶谱有贡献并且超过预定阈值的傅里叶分量的光源2。“有用的”光源的这种选择也可以在低分辨率图像的图像捕获过程期间实时动态地执行，以最小化和优化图像捕获，并跳过邻近LED的区域中的照明，在该区域中没有测量到傅里叶分量中的显著贡献，或者该区域中相应的强度相对于背景等级非常低。

控制器3还可以通过取决于光源2在光源2的布置内的位置来调节光源2的照明参数从而控制多个光源2的操作。尤其地，控制器3可以调节光源2的亮度、光源2的操作持续时间、衰减滤光器、滤色器、叠层成像系统1的检测器的增益和/或曝光时间。

可以调节照明参数以减少或消除由于光源2的布置而引起的几何效应。例如，可以取决于光源2的方位角，例如取决于光源2的方位角的余弦来调节照明参数。

在另一个方法步骤S2中，组合由一个或多个光源2生成的多个低分辨率图像，以便生成高分辨率图像。

在另一个方法步骤中，例如为了检测高分辨率图像中的特定分量或结构，可以进一步分析高分辨率图像。该分析可以采用标准图像分析工具。

应当理解，本文描述的所有有利的选择、修改中的变化以及关于根据第一方面的叠层成像系统的实施例的前述变化可以等同地应用于根据第二方面的方法的实施例，反之亦然。

在前面的详细描述中，出于简化本公开的目的，在一个或多个示例中将多种特性组合在一起。应当理解，上面的描述是说明性的，而不是限制性的。其意在涵盖替代、修改和等同物。在阅读上述说明后，许多其它实施例对于本领域技术人员是显而易见的。

附图标记列表

1 叠层成像系统

2 光源

3 控制器

4 样本平面

5 样本位置

6 显微镜物镜

7 成像透镜

8 成像检测器

21-23 光源

A 照明数值孔径

B 位置

x 间距

θ 极角

方位角

S1 第一方法步骤

S2 第二方法步骤。

Claims (17)

1.一种叠层成像系统(1)，包括

多个光源(2)，适于将光发射到样本位置(5)上，其中，所述光源(2)以预定图案布置；以及

控制器(3)，适于控制所述多个光源(2)的操作；

其中，a)所述光源(2)的所述预定图案和b)所述多个光源(2)的控制操作中的至少一个适于补偿由于所述光源(2)相对于所述样本位置(5)的布置而引起的几何效应。

2.根据权利要求1所述的叠层成像系统(1)，其中，所述多个光源(2)的所述预定图案包括所述光源(2)以围绕穿过所述样本位置(5)的中心光轴的多个同心环来布置；

其中，对于后续环中的光源(2)，方位角的变化基本上是一致的，其中，所述光源(2)的方位角是在中心光轴与从所述光源(2)到所述样本位置(5)的线之间测量的；以及

其中，对于同一同心环内的相邻光源(2)，极角的变化基本上是一致的。

3.根据权利要求1或2所述的叠层成像系统(1)，其中，所述光源(2)的所述布置是平面的。

4.根据权利要求1或2所述的叠层成像系统(1)，其中，所述光源(2)的所述布置是球形的。

5.根据前述权利要求中任一项所述的叠层成像系统(1)，其中，所述控制器(3)适于控制所述多个光源(2)的包括同时操作多个光源(2)的步骤的操作，其中，待同时操作的光源(2)的数量受到所述光源(2)的空间的或角的坐标空间中的给定最大数量和/或最小距离标准的限制。

6.根据前述权利要求中任一项所述的叠层成像系统(1)，其中，所述控制器(3)适于控制所述多个光源(2)的包括选择所述多个光源(2)中的光源(2)的子集并且仅操作所述子集中的光源(2)的步骤的操作。

7.根据权利要求6所述的叠层成像系统(1)，其中，基于待观察样本的特性来选择待操作的光源(2)的所述子集。

8.根据权利要求6或7所述的叠层成像系统(1)，其中，基于用户输入来选择待操作的光源(2)的所述子集。

9.根据权利要求6所述的叠层成像系统(1)，其中，基于先前的校准来选择待操作的光源(2)的所述子集，其中，所述校准包括以下步骤：

使用所有光源(2)生成样本的校准图像；以及

基于所述光源(2)对所述校准图像的贡献来选择光源(2)的所述子集。

10.根据权利要求6所述的叠层成像系统(1)，其中，在捕获子图像的集合的时候，基于对已经在所述子图像的集合中拍摄的子图像的傅里叶空间中信号内容的评估，通过相对于质量标准和/或基于信号强度确定实质信号贡献的面积和/或区域和/或方向，通过选择用于后续图像的与已经测量的实质信号贡献的面积和/或区域和/或方向部分重叠或邻近的光源(2)，动态地选择待操作的光源(2)的所述子集。

11.根据权利要求10所述的叠层成像系统(1)，其中，通过并行地操作多个光源(2)，在选择待在后续帧中操作的光源(2)并且确定这些光源(2)中的哪些能够在受到所述光源(2)的空间的或角的坐标空间中给定最大数量和/或最小距离标准的限制的同时而操作之前，通过将傅里叶空间中的实质内容分配给操作的相应光源，来拍摄所述子图像。

12.根据前述权利要求中任一项所述的叠层成像系统(1)，其中，所述控制器(3)适于控制所述多个光源(2)的包括取决于所述光源(2)在光源(2)的所述布置内的位置来调节所述光源(2)的照明参数的步骤的操作。

13.根据权利要求12所述的叠层成像系统(1)，其中，调节所述照明参数包括调节以下各项中的至少一项：所述光源(2)的亮度、所述光源(2)的操作持续时间、衰减滤光器、滤色器、所述叠层成像系统(1)的检测器的增益和曝光时间。

14.根据权利要求12或13中任一项所述的叠层成像系统(1)，其中，所述控制器(3)适于取决于所述光源(2)的方位角来调节所述照明参数。

15.一种用于使用叠层成像系统(1)生成图像的方法，包括以预定图案布置的多个光源(2)，所述方法包括：

由所述多个光源(2)将光发射到包括样本的样本位置(5)上；以及

由控制器(3)控制所述多个光源(2)的操作；

其中，a)所述光源(2)的所述预定图案和b)所述多个光源(2)的控制操作中的至少一个适于补偿由于所述光源(2)相对于所述样本位置(5)的布置而引起的几何效应。

16.根据权利要求15所述的方法，其中，控制所述多个光源(2)的所述操作包括同时操作所述多个光源(2)的步骤，其中，待同时操作的所述光源(2)的数量受到所述光源(2)的空间的或角的坐标空间中给定最大数量和/或最小距离标准的限制。

17.根据权利要求15或16中任一项所述的方法，其中，控制所述多个光源(2)的所述操作包括选择所述多个光源(2)中的光源(2)的子集并且仅操作所述子集中的所述光源(2)的步骤。

Images