CN111189807B - 基于波动的荧光显微术 - Google Patents

Abstract

使用光学操纵装置来影响发射荧光辐射的样品的成像的点扩散函数以使得点发射器在图像平面中成像为具有至少两个图像波瓣的所成像出的点发射器表征图像。图像波瓣的相对位置取决于点发射器相对于焦平面的位置和/或由点发射器发射的荧光辐射的波长。产生比检测器的像素更小且坐落更密集的合成像素。对于每个合成像素，在检测器的像素中定义多对像素组或单独像素，每对像素被指派参数的单独值。在每个帧中对所定义的每个合成像素确定信号相关性并将信号相关性作为图像亮度分配给合成像素。从合成像素产生每个帧的子帧，子帧基于相同的闪烁状态，并且已经相对于点扩散函数的影响进行了校正。随后从子帧产生高分辨率样品图像。

Description

基于波动的荧光显微术

发明领域

本发明涉及一种用于使用基于波动的荧光显微术来产生荧光样品的高分辨率图像的显微术方法。

背景技术

使用显微术检查样品是广泛的技术领域，为此存在各种技术解决方案。从传统光学显微术出发，已经开发了多种多样的显微术方法。

光学显微术用于检查生物制剂的一个传统应用领域是荧光显微术。这里，特定的染料(所谓的荧光团)被用于具体地标记样品，例如，细胞部分。用激发辐射照射样品，并且捕获借此激发的荧光辐射。也有可能测量本身发光(即，不添加标记物质)的样品。

对于超出物理学定律所规定的衍射极限的分辨率，最近已经开发了各种方法。那些显微术方法的特征在于，它们向用户提供比传统显微镜更高的横向光学分辨率。在本说明书中，这样的显微术方法被称为高分辨率显微术方法，因为它们实现了超过光学衍射极限的分辨率。另一方面，衍射极限显微镜被称为传统显微镜。

T.Dertinger等人的“快速、无背景、3D超分辨率光学波动成像(SOFI)(Fast,background-free,3D super-resolution optical fluctuation imaging(SOFI))”(PNAS《美国国家科学院院刊》(2009)，第22287到22292页)；T.Dertinger等人的“利用超分辨率光学波动成像(SOFI)实现提高的分辨率和更多的像素(Achieving increased resolutionand more pixels with Superresolution Optical Fluctuation Imaging(SOFI))”(《光学快讯》(Opt.Express)，30.08.2010，18(18)：18875-85，数字对象标识符：10.1364/IE.18.018875)；和S.Geissbuehler等人的“超分辨率光学波动成像与随机光学重建显微术之间的比较(Comparison between SOFI and STORM)”(《生物医学光学快讯2》(Biomed.Opt.Express 2)，408-420(2011))等出版物公开了一种基于波动的宽场荧光显微术的高分辨率方法。该方法利用了荧光团的闪烁特性。如果样品的荧光团在统计上彼此独立地闪烁，则通过借助于用所谓的累积函数进行适合的滤波来对样品成像，可以实现超过物理上指定的光学分辨率极限的显着分辨率提高。为了产生高分辨率图像，样品被激发并且在宽场中成像。在过程中记录一系列帧，并且然后与累积函数组合以形成具有所述较高分辨率的帧。该方法被称为基于波动的荧光显微术。一些作者已经为基于波动的荧光显微术创造了术语SOFI，这是术语“超分辨率光学波动成像”的缩写。然而，个别研究人员最近也为基于波动的荧光显微术建立了不同的缩写。

详细地，在这些通用的基于波动的荧光显微术方法中执行以下步骤：样品设置有或含有在激发之后以闪烁方式发射荧光辐射的物质。闪烁频率在这里优选地在统计上分布在频率范围上。重要的是在样品中会出现不同的闪烁状态。通过用照明辐射照射，样品被激发以闪烁的方式发射荧光辐射。将样品成像到空间分辨检测器上，从而获得了在样品的闪烁状态方面不同的帧的图像序列。评估图像序列，并且产生高分辨率的样品图像，即，具有增加到超过成像的光学分辨率的空间分辨率的图像。

对于基于波动的荧光显微术，需要具有已经添加到样品或在样品中固有存在的荧光团的尽可能种类的闪烁状态的图像序列。同时，照相机必须能够在提供高空间分辨率的同时暂时捕获所述闪烁。在实现时，有必要确保在帧的记录期间尽可能少的荧光团改变它们的荧光状态，并且确保单独荧光团的波动(即，荧光状态的改变)从一个帧到另一个帧是可检测的。因此，该方法适合用于相对于荧光材料沿着成像的光学轴线几乎没有深度范围的薄样品。

在所谓的定位显微术中，状况有所不同，在定位显微术中，如果可能的话，确保只有与相邻发射分子相距一定距离使得分子可以在显微镜的光学分辨率范围内区分的分子在样品中发射荧光辐射。因此，在光学可分辨性的意义上分离出荧光分子。对于其中PALM方法(正如人们所说的)是已知代表的显微术方法，已经提出以使其变得不对称的方式操纵成像的点扩散函数，其中，不对称性取决于深度(即，随着距成像光学单元的焦平面的距离)而改变。这样的一个示例是将点图像分成两个图像波瓣，它们的相对位置取决于发射分子的深度位置。这样的成像的点扩散函数从根本上不同于衍射极限成像的典型三维高斯形状。有可能从以那种方式失真的点图像的当前相对位置获得针对每个分离分子的深度指示。在定位显微术中，这样的成像影响是可接受的，因为由于单独分子的分离，不存在与不同分子的点图像混淆的危险，或者这样的混淆是可以容忍的，或者对应的图像部分可以被丢弃。当要相对于波长范围(即，发射的荧光辐射的颜色)分析样品时，会出现相同的状况。在这个方面中，操纵成像的点扩散函数使得其不对称地取决于参数也是已知的实践，在这种情况下，相比之下，所述参数是所发射的荧光辐射的波长。

然而，基于波动的荧光显微术不是用光学上分开的(即，分离的)发射体操作，而是用帧的时间序列操作，其中每个帧表示整个样品结构的荧光图像。因此，适合于定位显微术中的点扩散函数的影响将导致针对每个帧的样品的完全失真的所成像出的表征图像，并且因此对于基于波动的荧光显微术将完全不可用。

在传统的共焦显微术中，通过记录在参数(具体地焦平面的深度位置或波长)方面不同的多个图像，实现了用于获得光谱和/或深度信息的不同方法。在深度信息的情况下，因此获得图像堆栈。图像堆栈由一系列不同深度的图像组成，所述图像各自借助于焦平面的单独设置获得。这增加了时间要求——具体地与深度平面的数量成线性关系。在不同光谱通道中获得多个帧的情况下，需要确保光谱上不同的帧以高精度方式组合。这需要以亚像素准确度相互调整光谱通道。同时，通常需要分析在光谱上不同地滤波的通道的多个照相机。这增加了设备方面的费用。由于基于波动的荧光显微术已经需要多个帧以及非常快速并且因此复杂的照相机来获取图像序列，所以这些方法将导致图像记录的不可容忍的延长和/或费用的显着增加。

发明内容

因此，本发明基于指定高分辨率的基于波动的荧光显微术方法的目的，借助于所述方法，不仅可以以高横向分辨率，而且还可以以在至少一个参数，具体地发射器的深度位置和/或所发射的荧光辐射的光谱范围方面分辨的方式对样品成像。

在独立权利要求中定义了本发明。从属权利要求涉及优选的发展。

在显微术方法中，根据已经描述的用于产生样品的高分辨率图像的通用的基于波动的荧光显微术，样品设置有在激发之后以在统计上闪烁的方式发射荧光辐射的物质，或者使用已经含有这样的物质的样品。这表示了方法的步骤a)。

接下来，在步骤b)中，使用照明辐射来照射样品，并且借此激发样品以用于荧光辐射的闪烁发射。

在步骤c)中，对闪烁的样品成像。这是从焦平面到像平面完成的，在像平面中放置了空间分辨并包括像素的检测器。以这种方式，获得了在样品的闪烁状态方面不同的帧的图像序列。取决于至少一个参数，光学地影响发射荧光辐射的样品的成像。所述参数是相对于焦平面的位置和/或所发射的荧光辐射的波长。这种影响导致每个帧中的点发射器被成像为成像的点发射器表征图像，每个表征图像都有其相对位置取决于参数的至少两个像瓣。为此，使用光学操纵装置来影响成像过程的点扩展功能。影响取决于参数，并且以使得图像平面中的每个点发射器不再具有典型的近似高斯成像的点发射器表征图像的方式来实现。相反，所成像出的点发射器表征图像使得其是旋转不对称的并且使得其包括至少两个图像波瓣。所成像出的点发射器表征图像的图像波瓣的相对位置取决于参数，即，取决于相应的点发射器相对于局部平面的位置和/或取决于相应的点发射器发射的荧光辐射的波长。

在步骤d)中，基于取决于所述参数并且在所述参数方面指定的所述影响，为每个帧产生子帧。校正在步骤c)中执行的所述所成像出的表征图像的所述光学影响(即，所述点扩散函数)，使得所述子帧不再受到光学影响。由于所述所成像出的表征图像的影响而本身不可用的帧因为它们是失真的而根据所述参数被划分成未失真的子帧。基于所述子帧而评估所述图像序列，所述子帧不必单独地输出，而是在数据处理阶段中完全可以仅作为虚拟图像存在，以产生不仅具有高横向分辨率而且也可以由所述参数定义的另一个维度中指定的样品图像。如果所述参数包括相对于所述焦平面的所述位置，则产生具有高横向分辨率的样品图像的z堆栈。如果所述参数包括所述波长，则可以产生具有高横向分辨率的所述样品图像的着色或(如果与深度分辨率相结合)具有高横向分辨率的多个样品图像的着色。

以这种方式，所述样品图像在两个空间维度上被进行高分辨(横向)并且在至少一个另外的维度中被分辨，即，由于深度分辨率和/或光谱分辨率，它接收了至少一个另外的维度。以这种方式，基于波动的2D荧光显微术被扩展了至少一个另外的维度(深度和/或颜色)，并且实现了基于波动的3D或甚至4D荧光显微术。如果所述参数是深度信息，则甚至实现了增加超过在z方向上的2D图像堆栈的记录的分辨率。这是由于所成像出的表征图像的所述光学影响(即，所述点扩散函数的所述操纵)与在所述z方向上一起使用传统的近似高斯点扩散函数与2D图像叠层相比在深度方向上准许更高的分辨率。

“高分辨率”在这里被理解为意味着，根据显微术的传统，所述高分辨率样品图像的所述光学分辨率优于发射所述荧光辐射的所述样品的成像所准许的所述空间分辨率。

在步骤d)中，在实施例中执行五个子步骤：

1.为所述参数定义多个离散值。举例来说，这些是z平面或质心波长。为所有帧产生比所述检测器的所述像素更小并且坐落更密集的合成像素。术语“合成像素”意在表明这是由于所述宽场显微镜的所述空间分辨率而小于实际上可准许的像素。

2.对于每个合成像素，在所述检测器的所述像素当中定义了多个n元组的像素组或单独像素。n标示图像波瓣的数量；如果存在两个图像波瓣，则n元组是一对。基于取决于所述参数的所述影响而定义所述n元组的像素组或n元组的单独像素以及因此所述n元组，使得所述n元组中的每一个被指派所述参数的所述离散值中的单独值。这是完全可能的，因为取决于所述参数的所述影响是已知的，并且因此也知道对于所述参数的所述离散值中的特定一个，所述两个图像波瓣将位于所述检测器的哪两个(在n＝2的情况下)表面区域上。这些表面区域对应于像素，所述像素因此被组合以形成一对像素组或一对单独像素，所述一对像素组或一对单独像素被指派给所述参数的所述离散值中的特定一个。因此，两个(在n＝2的情况下)像素组或单独像素位于针对所指派的合成像素在所述参数的相应值处定位所述图像波瓣的所述质心的位置。类似地，这适用于n＝3或更高(n元组而不是成对)。为了描述取决于所述参数的所述影响，可以使用所述成像的点扩散函数。

3.所述合成像素中的每一个被分成多个子像素，其中，每个子像素被指派所述参数的所述离散值中的一个。参考所述帧中的像素分布，所述合成像素表示中间像素。

4.对于每个合成像素，基于为所述合成像素定义的所述n元组的信号相关值而在每个帧中确定所述子像素的亮度。在实施例中，这里有可能执行子像素分配操作，以确定针对每个合成像素的所述子像素的所述亮度。在所述子像素分配操作中，为所述所定义的n元组中的每一个确定信号相关值，并且将所述信号相关值分配给被指派给所述n元组的所述合成像素的所述子像素。实施例使用互相关或累积函数来确定所述信号相关值。

5.基于所述合成像素而产生针对每个帧的所述子帧，所述合成像素已经被划分为子像素。

在优选的发展中，成对的像素组或成对的单独像素相对于中心对称地坐落，所述中心是所述所指派的合成像素的横向坐标。在大多数实施例中，所述中心对应于点发射器图像将在没有光学影响的情况下定位的点。因此，如果所述点扩散函数是旋转对称的，并且不会取决于所述参数而不对称地改变，则它就是样品点将在其处被成像的点。

如果所述点扩散函数的所谓的自相似性较低，则所述图像评估特别简单。已经示出，如果各自具有图像波瓣范围和图像波瓣中心的所述图像波瓣间隔开，使得所述图像波瓣中心之间的距离大于所述图像波瓣范围，则已经满足该条件。特别优选的是因子至少为2，即，所述图像波瓣中心之间的所述距离至少是所述图像波瓣范围的两倍大。

用于取决于所述参数进行影响的所述操纵装置可以特别优选地包括相位元件、各向异性光学单元、空间光调制器、轴锥镜、立方相位掩模和/或环形相位掩模(即，包含其组合)。

本发明的实施例将基于波动的荧光显微术的优点与用于深度分辨和/或光谱分辨显微术的方法相结合，迄今为止，这些方法已经被认为与基于波动的荧光显微术的原理不兼容。由于传统的基于波动的宽场荧光显微术的光束路径的相对简单的改变，基于波动的荧光显微术的二维高分辨率与所述帧的特点评估相结合，被扩展了至少一个另外的维度，具体地深度信息和/或光谱信息。以这种方式，增加了所获得的图像信息，并且有可能执行附加的样品评估。

附图说明

下文将参考附图基于示例性实施例来更详细地解释本发明，附图同样公开了本发明必不可少的特征。这些示例性实施例仅用于说明，并且不应解释为限制性的。以示例方式，对具有多个元件或部件的示例性实施例的描述不应被解释为所有这些元件或部件对于实现目的都是必要的效应。而是，其它示例性实施例还可以含有替代元件和部件、较少的元件或部件或附加的元件或部件。除非另有指示，否则不同示例性实施例的元件或部件可以彼此组合。针对示例性实施例中的一个描述的修改和变化也可以适用于其它示例性实施例。为了避免重复，在不同附图中相同的元件或对应的元件用相同的附图标记指示并且不重复解释。在附图中：

图1示出了用于产生在深度方向上也具有高分辨率的图像的显微术方法的实施例的框图；

图2示出了用于基于高分辨率3D波动的荧光显微术的显微镜的示意性图示，并且

图3到图6示出了用于解释图1的显微镜中的点扩散函数的操纵以及所述操纵的基于评估的使用以获得关于另外的维度的信息的不同的示意性图示。

具体实施方式

图1示出了用于产生图像的显微术方法的实施例的框图，该图像也通过基于波动的荧光显微术在深度方向上和/或光谱上被分辨。

在步骤S1中，样品设置有标签，所述标签是在引言部分中提到的物质，所述物质在激发之后以在统计上闪烁的方式发射特定的荧光辐射。可替选地，选择含有物质的样品。

在随后的步骤S2中，使用照明辐射来照射样品，并且以这种方式激发样品中的物质发射特定荧光辐射。

随后，在步骤S3中，对样品重复成像，并且产生示出样品的不同闪烁状态的帧的图像序列。由于闪烁行为，每个帧都涉及样品的不同闪烁状态。在成像期间，改变成像光学单元的点扩散函数(以下为PSF)，使得点发射器的所成像出的衍射表征图像不像通常那样是高斯的，而是不对称地改变。这里的改变取决于参数，具体地取决于发射器的深度位置和/或发射器在其中发射的光谱通道。在这里，深度位置被理解为意指相对于成像光束路径的焦平面的位置。在下文将深度位置作为参数提到的情况下，这纯粹是示例性的，并且因此仅出于图示性目的而选择。

所成像出的点发射器表征图像的不对称形状使得所成像出的点发射器表征图像具有两个图像波瓣，所述两个图像波瓣的相对位置取决于参数的值，即，举例来说，取决于发射分子的当前深度位置。这适用于对帧有贡献的所有点发射器。该光学影响在步骤S3期间执行，因为它在成像期间举例来说通过将对应的操纵元件布置在显微镜中的成像光束路径中起作用，这将在下文参考图2示以示例方式解释。

随后，在步骤S5中，根据基于波动的荧光显微术的原理，从帧的图像序列中产生高分辨率样品图像，所述高分辨率样品图像在深度和/或光谱通道方面(即，根据至少一个参数)被另外分辨。在实施例中，该步骤由子步骤S6到S9实现。然而，划分为子步骤是可选的，并且同样有可能将子步骤组合成可期望的组合或将它们全部组合。

在子步骤S6中，为帧计算更大密度的合成像素的结构。此外，定义了深度平面(通常为z平面)的数量。深度平面的数量定义了深度平面(即，z位置)之间的距离。举例来说，如果其中z编码的PSF准许指派给深度平面的区域是1.8μm，在具有大NA的物镜中这是可实现的值，并且如果定义了15个深度平面，则这给出了120nm的平面间距。然后，这也将自动成为后续图像的深度分辨率。类似的状况适用于光谱分辨率。根据深度平面的数量，每个合成像素被划分为子像素。结果，每个子像素被指派给参数的单独离散值。

在子步骤S7中，基于所修改的PSF，针对每个合成像素定义成对的像素组或成对的单独像素。由于所修改的PSF，如果发射器位于合成像素的位点处，则每对图像在其被指派的参数值处具有最大图像强度。定义可以通过为每个深度平面定义PSF中哪个单独像素对或像素组对将在图像强度方面具有最大值来手动地实现，或者使用所测量的点扩散函数(举例来说，通过阈值形成)自动地实现。当光学影响导致具有两个图像波瓣的不对称时，成对存在。在更多的图像波瓣的情况下，通常存在n元组而不是成对。为了简单起见，在下文中将提到成对。

在子步骤S6和S7中的这些准备之后(这些准备仅需要执行一次并且作为准备也可以根据需要在步骤S5之前发生)，在子步骤S8中，对于由合成像素的定义产生的过采样图像的每个合成像素，针对每个深度平面并且在每个深度平面中，形成针对所定义对的像素组或所定义对的单个像素的互相关(像素强度的乘积)。对于图像序列的相关联帧中的每个子像素，计算像素对的单独像素或像素组的信号强度的乘积。这是对所有定义的像素对执行的。

子像素从相关值(即，通常是像素强度的乘积)获得其亮度。

由子像素产生子帧，其中，每个子帧由参数的单独值的子像素构成，即，恰好被指派给参数的一个值。以这种方式，在子步骤S8中，从每个帧产生可以各自被解释为单独的图像序列的多个子帧。

然后，在子步骤S9中，对子帧进行用于基于波动的荧光显微术的传统评估。已知实施例中的评估使用所谓的累积函数。对于评估，存在两种根本不同的方法。首先，可以根据参数的单独值将所有子帧组合成子图像序列。因此，子图像序列具有参数的单独并且恒定的值，举例来说，单独深度位置或单独波长说明，或其组合。接下来，可以对每个子图像序列进行用于基于波动的荧光显微术的传统评估。作为这的替代方案，将子帧重新组合成帧，其中，每个合成像素不仅被指派横向坐标，而且被指派另一维度的至少一个坐标，具体地深度信息或光谱信息。然后，结果是仅帧的单个图像序列具有较高维度像素。然而，在这些较高的像素维度中，在评估时将仅需要考虑横向信息。就计算费用而言，该方法更经济，但是具有的缺点是，通常只可以将单个深度和/或光谱值指派给合成像素。在多个深度值和/或光谱值上发光的像素只有在除了x坐标和y坐标之外，还由和参数的不同离散值一样多的坐标来补充单独合成像素的信息时，才能以这种方式被捕获。除了x坐标和y坐标的值外，像素的信息然后还由举例来说第一z平面的图像亮度、第二z平面的图像亮度、第三z平面的图像亮度和第四z平面的图像亮度(在深度信息的四个离散值的情况下)组成。然后，已经以这种方式补充的像素坐标可以被组合成单个帧，结果仅存在一个需要被评估的图像序列。

原则上，这将通常为二维的基于波动的荧光显微术延伸了至少一个另外的维度，具体地是深度维度和/或光谱维度。结果，本发明实现了基于波动的3D或甚至4D荧光显微术。

图2示出了显微镜1，显微镜1可以被用于执行图1的方法。样品2借助于显微镜1经由物镜4和管透镜6成像到检测器8上。焦平面3位于样品中，并且检测器8位于像平面9中。在这种程度上，这对应于已知的宽场显微镜布置。分束器11位于成像的光束路径中，经由分束器11输入照明光束路径，所述照明光束路径经由光束整形装置12、14将来自照明源10的辐射引入到样品2中。

图2的显微镜由控制装置16控制，控制装置16经由未更详细标示的控制线连接到对应的元件。对于实施例来说重要的是，控制装置16读取检测器8。

此外，操纵装置18设置在显微镜中，在所描述的实施例中，所述操纵装置18位于成像光束路径的光瞳平面20中，光瞳平面20经由显微镜4和管透镜6从样品2延伸到检测器8。操纵装置举例来说形成为相位板，如在WO 2014/18068中被用于深度分辨定位显微术那样。在这方面明确引用了该出版物。相位元件确保位于样品2中的点发射器在像平面中不会成像成点状图像，而是成像成具有两个图像波瓣的衍射图像。因此，以示例方式，n＝2。

在图3的左部分中示出了具有两个图像波瓣的该衍射图像24。在这里中心26标示在没有操纵装置18的情况下将产生点发射器图像的点。然而，由于相位板，衍射图像24有两个图像波瓣。它们的相对位置取决于对应发射器相对于焦平面3的位置。图3在平面图中示出了到像平面9上的衍射图像24，图3表示点发射器的不同的可能深度位置，具体地是深度位置z1到z4。在图3中的三部分附图标记标示了点之间的深度平面，并且借助于最后一个元素标示了它是左图像波瓣还是右图像波瓣。

对于第一深度平面z1，将位于中心26的右手侧的右图像波瓣24.z1.r指派给左图像波瓣24.z1.1。在第二深度平面z2中稍微更靠近于焦平面定位的发射器产生图像波瓣24.z2.1.和24.z2.r。在第三深度平面z3中进一步位于上方并且因此布置在焦平面3上方的点发射器将产生图像波瓣24.z3.1和24.z3.r。相比之下，相对于焦平面3对称地位于位置z1的另一侧上并且在第四深度平面z4中的点发射器产生由图像波瓣24.z4.l和24.z4.r组成的衍射图像24。

即使图3的左侧部分示出了针对四个不同深度位置z1、z2、z3和z4的衍射图像24，但是针对荧光发射器的实际衍射图像24当然仅存在于一个深度位置，即，准确地由一对的两个图像波瓣24.x.l和24.x.r组成，其中“x”标示相应的深度平面。所述对相对于中心26是对称的。

在图3中产生衍射图像24的这种效应仅取决于深度平面。这是由于在该实施例中操纵元件18的实现。图4示出了针对四个不同光谱通道λ1、λ2、λ3和λ4的情况。条件在其它方面是相同的。

图3和图4的中心部分示出了衍射图像24如何位于检测器8的检测器表面28上，但是仅针对在单个合成像素36的横向位点处的一个假设的点发射器以具体方式示出。检测器的检测器表面28具有像素30。在位于深度位置z1处的点发射器的情况下，辐射质心入射在像素32.z1.1和32.z1.r上。如果点发射器位于深度平面z2中，则像素32.z2.l和32.z2.r被照射。在发射器处于深度平面z3中的情况下，样品光入射在像素32.z3.1和32.z3.r上。相比之下，如果点发射器位于深度平面z4中，则像素32.z4.1和32.z4.r发射高电信号，因为它们经受强烈照明。所有像素都相对于合成像素36对称地定位，合成像素36表示成对的像素在检测器表面28上的x/y坐标中的横向位置。这对应于中心26。该分布示出，在子步骤S6中，可以为每个合成像素36定义成对的单独像素32.x.l和32.x.r，其中，每个对被指派给参数的不同值(在当前情况下为深度位置)。

与定位显微术相反，在基于波动的荧光显微术中，不是一个分离的荧光发射器发射光，而是样品的闪烁状态含有大量非分离的发光荧光发射器。出于这个原因，规定了适当地处理由像素30构成的帧。为了这个目的，将每个合成像素36划分成子像素36.z1、36.z2、36.z3和36.z4，其中，每个子像素被指派给参数的单独并且离散的值——在当前情况下为深度位置。这在子步骤S8中以示例方式借助于每个像素对的两个部分的互相关来完成。针对每对都计算相关幅度，并且将相关幅度作为亮度值指派给位于被指派给所述对的深度平面中的子像素。所述子像素根据因此确定的其z坐标而被示出在图3的右手侧图示中。每个合成像素的子像素根据互相关性被分配亮度。像素对32.z1.1、32.z1.r的互相关指示当对应的发射器位于z1平面中时子像素32.z1的亮度。在像素对32.z2.l和32.z2.r的情况下获得子像素36.z2的亮度。这类似地适用于像素对32.z3.l和32.z3.r以及子像素36.z3，并且还适用于像素对32.z4.1和32.z4.r以及子像素36.z4。当然，只有针对合成像素，其子像素中仅一个是相关的时，即，对应的发射器仅位于这个深度平面中时，这种状况才会发生。然而，实际上，还存在其中发射器在多个深度平面上方延伸的情况。由于这个原因，从深度平面(通常是离散的参数值)开始(即，基本上从举例来说子像素开始)并且为每个参数值(即，子像素)计算并且累加针对单独对的互相关的过程是优选的。如果发射器仅位于一个深度平面中，则只有一对(具体地对应的深度平面的一对)将贡献于所述总和，而其它对不相关。相比之下，如果发射器在多个z平面上方延伸，则多个对贡献于总和，然后这无疑是有意的。对所有子像素执行该过程，即，针对为合成像素提供的参数的所有离散值执行该过程——并且然后，当然对所有合成像素也执行该过程。以这种方式，在所有合成像素上形成相关图案。

在步骤S8结束时，针对每个帧可获得一组子帧，其中，子帧中的每一个被准确地指派给参数的离散值中的一个单独离散值，即，一个深度位置、一个波长范围或深度位置和波长范围的一个特定组合。因此，举例来说，f帧的图像序列变成f*g帧的图像序列，其中，g是参数的不同离散值的数量。在子步骤S9中，然后对该数量的帧进行用于基于波动的荧光显微术的评估(参见上文)。

图3仅示出了对于可能的深度平面的简化。在实施例中，使用四个以上的可能像素对来区分四个以上的离散参数值(例如，深度平面)。

如已经提到的，图4示出了其中衍射图像4不编码z坐标(即，深度)而是编码光谱通道的替代方案。另外，上述内容类似地适用，尽管在那种情况下所分配的光束参数说明当然不是深度指示，而是光谱通道。由于这个原因，与图3相比，在图4中省略了在图3中指的是深度坐标的右手侧绘图。

如图5中所示，组合同样地是可能的。在这里，借助于操纵元件(当然所述操纵元件也可以由多个部分形成)的对应设计，衍射图像24在两个深度平面z1和z2方面并且在两个光谱通道λ1和λ2方面被编码。另外，附图标记对应于图3中的附图标记。对于每个深度指示，另外获得光谱指示，这意味着图5中的合成像素36.z1和36.z2另外被设置有光谱指示，具体地光谱通道λ1或光谱通道λ2。因此，这导致组合z1z1、z1z2、z2z1、z2z2。这在图5中未示出。

图6示出了其中利用更多数量的对来区分衍射图像24的发展。另外，衍射图像被标记为，在参数变化的情况下，在本例中，纯粹以示例方式，在仅深度坐标z变化的情况下，衍射图像不沿着直线而是沿弧形移动。为此，从S.Parvani等人的“通过使用双螺旋点扩散函数进行超出衍射极限的三维单分子荧光成像(Three-dimensional,single-moleculefluorescence imaging beyond the diffraction limit byusing a double-helixpoint spread function)”(《国家科学院院刊》，106.9，1009，第2995到2999页)的出版物，或者从D.Baddeley等人的“使用物镜瞳孔中的相位斜坡对生物样品进行三维亚100纳米超分辨率成像(Three-dimensional sub-100-nm super-resolution imaging ofbiological samples using a phase ramp in the objective pupil)”(《纳米研究》，4.1，2011年，第589到598页)的出版物，或者从WO 2012/039636 A2知道了对应的操作元件。此外，图6以示例方式示出，在每种情况下，所述对不是由单独像素形成，而是由像素组38形成。否则，图6中的实施例对应于图4中的实施例。

成对的像素组当然可以在所描述的实施例中的每一个中使用，正如配置可以仅针对深度分辨率、仅针对光谱分辨率、或者针对每个实施例的混合深度和光谱分辨率来实现的那样。

在图1中，操纵装置纯粹以示例方式布置在光瞳平面中，因为这在相位掩模的情况下是有利的。在不同设计的操纵装置中，其它位置可能是有利的。如图2中所示，照明辐射也没有必要经过操纵物体20。同样地，有可能以使得操纵元件18不作用于照明辐射的方式输入照明辐射。这个的示例是对换操纵物体18和分束器11，或者在与物镜4相反的一侧上对样品照明。如果在距物镜较远的位置处需要光瞳平面，举例来说，使得光瞳平面20位于在分束器11与检测器8之间，所谓的瞳孔成像可能是适当的，这出于这个目的对于本领域技术人员来说是已知的。当使用对置相位斜坡作为操纵元件18时，在每个相位斜坡都位于光瞳半部中的情况下，另外有可能引入导致景深的扩展的另一个相位函数。以这种方式，z分辨率和可捕获的z区域(可借助于测量得到)可以相对于彼此平衡。这样的附加的相位功能可以通过立方相位掩模或环形掩模来实现。它们可以被设置在操纵元件18之外或者可以集成在其中。特别地，在空间光调制器的情况下，后者是有可能的。

对于计算方法，如果点扩散函数具有低自相似性，则其是有利的。这被理解为意味着图像波瓣24.x.l和24.x.r的中心之间的距离大于图像波瓣的范围，优选地至少两倍大。如果点扩散函数的自相似性潜在地太大，则有可能使用后处理来确定假象。为了这个目的，点扩散函数必须是已知的，所述点扩散函数可以通过传统方式来测量。

为了理解起见，本文有时会提到互相关。使用累积函数是替代方案。

在深度信息的示例中，用于图像采集的算法可以特别地采用以下形式，其中k、l、m、o标示循环：

对于图像序列的每一帧：

k.对帧进行过采样以用于最终分辨率以产生合成像素

l.对于深度平面中的每一个

m.对于每个合成像素

o.对于每个像素对，形成用于互相关的计算的像素值的乘积，

结束o。

结束m。

结束l。

结束k。

该算法首先考虑深度平面，并且然后通过针对每个深度平面的合成像素工作。换句话说，首先处理针对参数的第一值(即，针对它们的子像素)的合成像素，然后处理针对第二值(即，针对其第二子像素)等等的合成像素。这当然可以反转，即，循环l和m的位置可以互换。接下来，对于连续的每个合成像素，对其子像素进行处理。在这两种替代方案当中，可以根据哪一种在实际实施中更容易执行来做出选择。结果是相同的。

Claims (11)

1.一种用于产生样品(2)的高分辨率图像的基于波动的荧光显微术方法，其中，所述方法包括以下步骤：

a)向所述样品(2)提供在激发之后以闪烁方式发射荧光辐射的物质，或者使用含有这样的物质的样品(2)，

b)用照明辐射照射所述样品(2)，并且因此激发所述样品(2)以发射所述荧光辐射，

c)将发射所述荧光辐射的所述样品(2)从焦平面(3)成像到包括像素(30)的空间分辨检测器(8)上，并且产生在所述样品(2)的闪烁状态方面不同的帧的图像序列，和

d)评估所述图像序列，并且产生高分辨率样品图像，

其中，

在步骤c)中，根据参数而光学地影响发射所述荧光辐射的所述样品(2)的成像，其中，所述参数是相对于所述焦平面(3)的位置和/或所发射的荧光辐射的波长，并且所述影响促使每个帧中的点发射器成像为所成像出的点发射器表征图像，该所成像出的点发射器表征图像在每种情况下具有至少两个图像波瓣，所述至少两个图像波瓣的相对位置取决于所述参数，并且

在步骤d)中，基于取决于所述参数的影响而产生每个帧的子帧，所述子帧在所述参数方面被指定，并且基于所述子帧而执行帧的图像序列的评估。

2.根据权利要求1所述的显微术方法，其中，在步骤d)中，执行以下子步骤：

d1)为所述参数定义多个离散值，并且为所有帧产生比所述检测器(8)的像素(30)更小并且坐落更密集的合成像素(36)，

d2)对于每个合成像素(36)，在所述检测器(8)的所述像素(30)中定义多个n元组的像素组或多个n元组的单独像素，其中，n标示图像波瓣的数量并且所述n元组基于取决于所述参数的所述影响而定义，使得所述n元组中的每一个被指派所述参数的所述离散值中的单独值，并且，

d3)将所述合成像素(36)中的每一个划分为多个子像素，其中，每个子像素被指派所述参数的所述离散值中的一个，

d4)对于每个合成像素，基于为所述合成像素定义的所述n元组的信号相关值而在每个帧中确定所述子像素的亮度，

d5)基于已经被划分为子像素的所述合成像素而产生每个帧的子帧。

3.根据权利要求2所述的显微术方法，其中，在步骤d4)中，执行子像素分配操作，以确定每个合成像素的所述子像素的亮度，在所述子像素分配操作中，为所定义的n元组中的每一个确定信号相关值，并且将所述信号相关值分配给被指派给所述n元组的所述合成像素的子像素。

4.根据权利要求2所述的显微术方法，其中，在子步骤d4)中，使用互相关或累积函数来确定所述信号相关值。

5.根据权利要求1所述的显微术方法，其中，每对像素组或每对单独像素相对于中心(26)对称地定位，并且所述中心的横向坐标是相关联合成像素(36)的横向坐标。

6.根据权利要求1所述的显微术方法，其中，所述两个图像波瓣均具有图像波瓣范围和图像波瓣中心，所述图像波瓣范围和所述图像波瓣中心间隔开，使得所述图像波瓣范围和所述图像波瓣中心之间的距离大于所述图像波瓣范围。

7.根据权利要求6所述的显微术方法，其中所述图像波瓣范围和所述图像波瓣中心之间的距离至少是所述图像波瓣范围的两倍大。

8.根据权利要求1所述的显微术方法，其特征在于，将相位元件、各向异性光学单元、空间光调制器、轴锥镜、立方相位掩模和/或环形相位掩模用于点扩散函数的取决于参数的影响。

9.一种用于样品(2)的基于波动的荧光显微术的显微镜，所述样品在激发之后以闪烁的方式发射荧光辐射，其中，所述显微镜包括：

照明光束路径，所述照明光束路径用于激发所述样品(2)以发射所述荧光辐射，

成像光束路径，所述成像光束路径用于将发射所述荧光辐射的所述样品(2)从焦平面(3)成像到空间分辨检测器(8)上，所述空间分辨检测器包括像素(30)，并且所述成像光束路径用于产生在所述样品(2)的闪烁状态方面不同的帧的图像序列，和

评估装置，所述评估装置被构造成用于评估所述图像序列并且用于产生高分辨率样品图像，

其中，

所述成像光束路径包括光学操纵元件，所述光学操纵元件根据参数光学地影响发射所述荧光辐射的所述样品(2)的成像，其中，所述参数是相对于所述焦平面(3)的位置和/或所发射的荧光辐射的波长，并且所述影响促使每一个帧中的点发射器成像为所成像出的点发射器表征图像，该所成像出的点发射器表征图像在每种情况下具有至少两个图像波瓣，所述至少两个图像波瓣的相对位置取决于所述参数，并且

所述评估装置被构造成用于基于取决于所述参数并且由所述光学操纵元件引起的所述影响而产生每个帧的子帧，并用于在所述参数方面指定所述子帧，并且所述评估装置被构造成用于基于所述子帧而执行帧的图像序列的评估。

10.根据权利要求9所述的显微镜，其中，所述评估装置被构造成用于执行根据权利要求2到4中任一项所述的方法的步骤d1)到d5)。

11.根据权利要求9所述的显微镜，其中，所述光学操纵元件包括相位元件、各向异性光学单元、空间光调制器、轴锥镜、立方相位掩模和/或环形相位掩模。