CN114442298A - 用于捕获图像数据的设备和方法 - Google Patents

Abstract

本发明涉及一种用于捕获图像数据的设备，其包括检测光束路径和用于在第一检测路径和第二检测路径之间分离检测辐射的装置。检测器位于每个检测路径中。微透镜阵列布置在至少一个检测器的上游。第一检测器具有第一空间分辨率，第二检测器具有第二空间分辨率，第一空间分辨率高于第二空间分辨率。此外或可选地，第一检测器具有第一时间分辨率，第二检测器具有第二时间分辨率，第一时间分辨率低于第二时间分辨率。存在用于评估第一和第二检测器的捕获的图像数据的评估单元，其被配置为使得每个检测器捕获的图像数据以计算方式组合在一起从而形成三维解析的结果图像。本发明还涉及一种包括根据本发明的设备的显微镜，以及一种捕获图像数据的方法。

Description

用于捕获图像数据的设备和方法

技术领域

本发明涉及一种用于捕获图像数据的设备和方法。

背景技术

现代显微术越来越注重三维样品体积的快速捕获。在此，一个重要的应用是测量神经细胞网络中的神经信号。这些网络在大脑中的分布超过数百或数千微米。为了能够理解大脑的基本能力，需要以高时间分辨率尽可能完整地捕获这些网络或其大部分的反应。

由于这不仅仅关系到对形态结构的理解，还涉及对功能过程的理解，这些方法也在功能成像的关键词下被结合。

在显微术领域，已知许多不同的方法，利用这些方法可以近似功能成像。基于方法的方案，例如，快速2D记录、然后轴向扫描，对于上述应用领域来说通常太慢。纯粹针对算法评估(计算成像)的方法通常容易受到伪像的影响。

并行度较低的共焦扫描方法的缺点在于，其运行相对较慢，并且是以时序方式运行的。速度的增加通常伴随着样品中发光功率的增加，其中，较高的发光功率会使所使用的荧光标记饱和并损坏样品。另一种点扫描方法是多光子显微术。这种情况下的并行度也很低。

例如，通过旋转盘显微术，可以提高并行度。在这种情况下，在样品上同时引导相对大量的采样光束，然后通过位于旋转盘中的所谓小孔来捕获在不同情况下引发的检测辐射。这种共焦方法允许例如数百个焦体积的并行扫描。

使用所谓的光片照明的方法和装置同样表现出相对较高的并行度。为此，生成静态或动态的光片，并将其导入样品中。由于光片的横向于其二维范围的厚度(光片厚度)非常小，仅在当前照明的平面中引发检测辐射，特别是荧光辐射。

除了选择性照明样品区域，当应用光场显微术时，还可使用宽场照明。就显微术而言，根据光场技术的检测允许以更大的体积和良好的深度分辨率快速捕获数据。可见，缺点在于缺少光学切片的可能性和强背景辐射。

通过使用检测器上游的微透镜阵列，可以实现相对较大体积的捕获，并且同时提高分辨率。为此，在Cong等人的出版物(Cong，L等人，2017；eLife，6:e28158)中提出了一种微透镜阵列，其中布置了不同焦距的微透镜。然而，缺点在于，每个微透镜组仅使用了一部分孔径。

发明内容

本发明基于提出一种可能性的目的，该可能性使得能够以高时间分辨率并且同时以高空间分辨率对样品的三维区域进行成像。

该目的通过一种用于捕获图像数据的设备来实现。该设备包括检测光束路径，至少一个显微镜的检测辐射沿着该检测光束路径被引导或可被引导。该设备可以例如在中间图像或在另一合适的界面接收显微镜的检测辐射。此外，用于在第一检测路径和第二检测路径之间分离检测辐射的装置存在于检测光束路径中。第一检测器布置在第一检测路径中，第二检测器布置在第二检测路径中，其中微透镜阵列布置在至少一个检测器的上游，特别是在相关的第一检测路径或第二检测路径中。至少一个微透镜阵列布置在光瞳平面或像平面中。这里，第一检测器具有第一空间分辨率(图像分辨率)，第二检测器具有第二空间分辨率。第一空间分辨率高于第二空间分辨率。附加地或替代地，第一检测器具有第一时间分辨率(检测率)，第二检测器具有第二时间分辨率，其中第一时间分辨率低于第二时间分辨率。

该设备的特征在于，存在评估单元，例如计算机，用于评估第一和第二检测器的捕获的图像数据。评估单元被配置成使得两个检测器的图像数据的评估被以计算方式组合从而形成三维解析的结果图像(resulting image)。

图像，特别是三维解析的结果图像，被理解为特别意指样品的(数字)三维表示的数据集。所述数据集可以被可视化为例如二维或三维图形。

本发明的核心是提供具有不同空间和/或时间分辨率的图像数据及其组合，以形成具有高时间分辨率并且具有高空间分辨率的结果图像。这里，检测器的每个检测元件(像素)捕获并评估与位置相关的信息，有利地还有捕获的光束的相应角度信息。根据本发明的发现在于，两个检测器的适当组合及其捕获的图像数据的计算组合使得有可能实现非常好的三维分辨率，这满足了例如关于用于神经生物学的空间分辨率的要求，并且还使得例如每秒100个完整体积或更大体积的体积检测率成为可能。

该设备的第一和第二检测器例如是二维检测器，具有以网格形式排列的多个检测器元件。由于需要非常高的灵敏度(低噪声)，例如电子倍增电荷耦合器件(EMCCD)或超级互补金属氧化物半导体(sCMOS)传感器适合作为检测器。SPAD检测器，例如SPAD阵列，比如CMOS-SPAD阵列传感器，在未来也将变得越来越重要。

有利地选择第一和第二检测器的技术差异，以使得各自的空间分辨率和时间分辨率彼此不同到这样一种程度，即：尽管两种记录模式彼此差异很大，但是它们可以以适当的费用彼此组合。这实际上用于获得模式的各自优点，并且通过它们的适当组合来获得并且能够利用本发明意义内的图像质量。

对于随后的陈述，除非明确描述了其他内容，假设第一检测器具有比第二检测器更高的空间分辨率但更低的时间分辨率。例如，第一空间分辨率可以比第二空间分辨率高至少1.5倍，并且第一时间分辨率可以比第二时间分辨率低至少2倍。

为了支持由各个检测器捕获的图像数据的计算组合，第一检测器(以下也称为“慢速相机(slowcam)”)和第二检测器(也称为“快速相机(fastcam)”)以这样的方式彼此对准，使得图像数据(例如单个图像或帧)的彼此分配成为可能。慢速相机和快速相机有利地相对于彼此校准，以使得分别捕获的图像数据可以彼此重叠和/或以计算方式组合。

如果第一和第二检测器相对于它们各自的捕获间隔彼此同步，则组合所捕获的图像数据的目的也得以实现。

第一和第二检测路径之间的检测辐射的分离可以以各种方式实现。用于分离检测辐射的装置可以是例如分束器，特别是中性分离器，二向色分束器或可切换反射镜。

有利的是，检测辐射以允许两个检测器优化操作的分离比(splitting ratio)被转向到检测路径中。例如，与具有较低空间分辨率但较高时间分辨率的第二检测器相比，具有较高空间分辨率的第一检测器(慢速相机，较长的记录持续时间)可接收的光成比例地减少。例如，中性分离器可以实现相应的分离比。检测辐射也有可能被光谱地分离，光谱的一部分被转向到第一检测路径中，并且光谱的另一部分被转向到第二检测路径中。如果使用可枢转的反射镜进行分离，则检测辐射可以暂时完全转向第一或第二检测路径。如果在时间上控制反射镜的切换，使得慢速相机根据其帧速率被检测辐射照射，则这是有利的。

检测辐射可以在作为显微镜和根据本发明的设备之间的界面的中间图像平面上被转移。检测辐射通过傅立叶变换从中间图像平面变换到光瞳中。

例如，应根据示例来说明对小生物(例如果蝇)大脑中的过程进行检查时需要满足的要求。在这种情况下，需要观察大约10000个神经元。光学分辨率至少应该是大约5μm的神经元的核周体的大小。如果大脑的体积被转换成立方体，那么应该能够观察到400μm×400μm×400μm的体积。适于满足这些要求的方法尤其被称为全光原理、光场显微术或积分成像，并被用于显微术中。

文献中公开了使用二维传感器对三维体积进行成像的各种方法。

在这点上，原则上区分了两种变型，这两种变型的共同点是微透镜阵列(MLA)安装在检测器的上游。在迄今为止经常使用的光场显微术中，MLA通常位于标称像平面中。各个微透镜下游的像素随后捕获由样品(物体)发射的光的各个角度信息(例如Broxton等人于2013年在《光学快报》第21期第25418–39页发表的文献)。

然而，如果装置的光瞳平面被光学地分割，则为显微术提供了有利的装置。为此，微透镜阵列被布置成使得检测器位于相对于样品平面共轭的平面中。在这种情况下，微透镜阵列的微透镜在相对于物镜光瞳光学共轭的平面中实施。下面更详细描述的根据本发明的设备的实施例基于这种变型。

根据本发明的设备的微透镜阵列不必相同。可以选择不同的微透镜阵列，例如为了实现对检测器的几何形状或其芯片的良好适配，或者为了相对于检测率最佳地平衡空间分辨率，等等。

目前可用的检测器允许在数百万像素范围内使用大量像素进行并行记录。在本发明的以下一般描述中，仅通过示例的方式强调了来自PCO股份公司(德国凯尔海姆)的检测器。

例如，相机pco.edge 26MP允许记录5120×5120个像素，其中每个像素(检测器元件)具有2.5μm×2.5μm的尺寸。这导致检测器的敏感区域为12.8mm×12.8mm。传感器对角线因此具有18.1mm的长度。根据数据表(截至2020年7月)，相机的图像记录率为每秒7.1帧(fps)(慢速相机)，其中像素数据率给定为267Mpixels/s。

此外，例如，检测器pco.edge 4.2是可用的，其敏感区域具有18.8mm的对角线，在这方面与pco.edge 26MP相当。然而，检测器pco.edge 4.2的读取速度明显快得多，因此允许高达每秒100帧的帧速率(fps)(快速相机)。检测器具有2048x2048个像素，每个像素尺寸为6.5μm x 6.5μm。敏感区域尺寸为13.3mm x 13.3mm。

因此，所提到的两个检测器在其外部尺寸方面彼此相同。起到决定作用的是，检测器pco.edge 4.2可以以高达100fps的帧速率工作。因此，两次连续体积记录之间的时间差只有大约10ms。

根据样品几何形状，在本发明的一种配置中，通过仅读取像素的选定部分，可以进一步提高记录速度。可以预先、随机或动态地进行选择。例如，如果只读取快速相机的2048x1024个像素，则每秒最多200个体积的速率是可能的。例如，在进一步减少2048x512个像素的像素读取数量的情况下，甚至可以实现高达每秒400个体积的速率。捕获的两个完整体积之间的时间差仅为2.5ms。为了能够在空间和时间上都完整地捕获神经网络的反应，这些速度至关重要。在这方面，例如，果蝇的神经元的平均放电率被指定为大约40Hz，并且神经元的尺寸被指定为大约2μm至5μm(Weisenburger,S.&Vaziri,A等人于2018年在《神经科学年度评论》第41期第431–452页发表的文献)。

在本发明的进一步配置中，可以通过在像素之间执行插值并通过将插值用于后续计算来提高图像捕获的速度。在这个过程中，需要读取的像素更少。

如果根据本发明的设备形成显微镜的组成部分，在一个可能的实施例中，后者可以使用用于照明样品的扫描光片来实现。由于各种原因，这种类型的照明是有利的。例如，可以很好地辨别来自不感兴趣的样品平面的光，轴向分辨率得以增加，同时实现进入样品的低能量输入并因此实现极少的光损。在第二检测路径中使用第二检测器，可以在例如光片的十个位置处进行测量，从而以100Hz的快速相机的帧速率、每秒成像十个体积。

为了例如选择在根据本发明的设备中使用的检测器，可以进行以下考虑。

对于傅里叶光场显微术中的横向分辨率，以下情况成立(Scrofani,G.等人于2018年在《生物医学光学快报》第9期第335–346页发表的文献)。

在这种情况下，λ是光的波长，NA_MO是显微镜物镜的数值孔径，ps是像素尺寸，f是管透镜(TL)、显微镜物镜(MO)、微透镜阵列(MLA)和用于光瞳转换的透镜(pup)的焦距。

第一个表达式描述了根据奈奎斯特(Nyquist)准则对检测器上的点扩展函数进行采样的假设下的波动光学分辨率。如果采样不再按照奈奎斯特准则进行，则第二个表达式是限制性的。那么，分辨率受到成像到样品中的像素尺寸的限制。

因为如果明显超过奈奎斯特准则的要求，就不能获得更好的分辨率，所以没有必要用比必要的数量更多的像素进行采样。因此，有利地选择焦距、像素数量和微透镜数量的比率，使得上面的两个表达式近似相等。

成像的中间图像(ZBE)的尺寸根据等式(2)得出，该中间图像例如用作显微镜的转移位置:

对于上述布置，现在有必要考虑两个检测路径中的比率不同的情况。如前所述，与较慢的检测器(慢速相机)相比，较快的检测器(快速相机)具有更少但更大的像素。

例如，如果在像素尺寸ps加倍的情况下，等式(2)中像素#px的数量减半，则如果微透镜阵列MLA的焦距f_MLA和光瞳透镜的焦距f_pup保持相同，则中间图像、并且因此视野保持相同的尺寸。然而，如果根据等式(1)的分辨率被设置为使得两个表达式具有相同的大小，则较大像素ps的情况下的分辨率由第二表达式支配。因为在这种情况下不再满足奈奎斯特准则，所以用较大像素ps获得的分辨率更差。分辨率将大致减半。

为了在两个检测路径中实现相等的成像质量，在另一实施例中，该设备可以被配置成使得在两个检测路径中设置近似相同的信噪比(SNR)。在上述检测器的简化示例中，该设备可以被设置为使得7fps下的慢速相机具有大约143ms的曝光时间，而快速相机在不同情况下都积分10ms。为了为两个检测器设置相似的信噪比，待测量的检测辐射在两个传感器之间以相同的比率分离，以使得在该示例中，快速相机接收143份检测辐射，而慢速相机仅测量10份。此外，可以通过考虑例如横向采样来修改分布比率，也就是说，用于捕获PSF(点扩散函数)的像素数量。

在不损失质量的情况下，分离比可具有微小偏差，因为如果信号强度相同，仅用像素时间的平方根来缩放信噪比。此外，该装置还可以被设计成灵活的，以便设定每个期望的比率。

除了上述检测辐射信号的分布外，还有可能的是，其不是一个波长的信号，而是分布在各个检测器上的两个不同波长的信号。如果测量快速过程，例如钙瞬变，则该方法尤其有利。例如，钙指示剂GCaMP在绿色光谱范围内发光。可以用具有较高的第二时间分辨率的第二检测器捕获其荧光信号，并且可以用具有较低时间分辨率的检测器捕获未改变或仅缓慢改变的样品的结构。例如，结构信息可以源自在红色光谱范围内发射的薄膜染料。

因此，照明可以是单色或多色的线性或非线性照明的形式。例如，宽场照明可以非相干地或者用激光来实现，其中照明有利地是时间可变的，以使得在快速相机的测量间隔上出现的散斑被充分地平均，从而减少或者甚至消除散斑。

照明，例如使用光片的照明，可以通过用作照明物镜和检测物镜的物镜来实现。该实施例允许紧凑的设计。在另一实施例中，照明可以例如是横向辐射的，因此独立于检测物镜。此外，如果存在用于设置毫秒范围内的频闪照明意义上的时间脉冲照明的装置，以便刺激荧光信号的时间变化，则可能是有利的。

在本发明的另一实施例中，MLA可以被布置在其中一个检测器上游的光瞳平面或标称像平面中，而另一检测器是现有技术中已知的二维检测器(2D检测器)，其不具有布置在其上游的MLA。该另一检测器可以是除了第一检测器和/或第二检测器之外的存在。在这种情况下，由具有上游MLA的检测器的图像数据和2D检测器的图像数据生成结果图像。

在本发明的另一实施例中，第一检测器也可能具有比第二检测器更高的空间分辨率。小孔光阑或狭缝光阑形式的所谓小孔存在于第一检测路径中，在中间图像平面中以及第一检测器的上游。由于小孔的影响，检测辐射的离焦部分被缩小(stopped down)，其结果是，检测辐射的共焦捕获通过第一检测器实现。微透镜阵列布置在第二检测器的上游。有利的是，扫描设备位于照明光束路径中，通过该扫描设备，照明光斑可以被引导到待成像的样品之上。扫描设备的当前对准允许照明光斑位置的唯一分配，例如在正交于照明物镜光轴而延伸的平面(X-Y平面)中。同样捕获的是检测物镜的焦点位置的当前位置(Z位置)。在这样的实施例中，激光扫描显微镜(LSM)的光源可以用于提供照明辐射。因此，在本发明的一个可能实施例中，LSM与光场显微镜(LFM)组合，例如两者都位于公共支架上，具有不同空间和/或时间分辨率并且通过显微镜的不同功能模式捕获的图像数据被以计算方式组合以形成三维结果图像。LSM的照明辐射可以用于两种显微镜(LSM和LFM)。如有需要，在检测路径之间交替地来回切换。可选地，检测辐射也可以在检测路径之间成比例地分离。捕获的图像数据的相关位置的捕获以及相关图像数据的相关Z位置的信息都允许借助于设备的这种实施例的第一检测器生成三维图像数据集。作为扫描设备的替代，照明光斑和样品之间的相对移动可以通过例如机动样品台的受控调节来实现。

根据本发明的设备尤其可以连接到显微镜或者可为显微镜的组成部件。包括根据本发明的设备的显微镜可以以多种方式使用，并且尤其允许以高空间分辨率和高时间分辨率对样品体积进行三维成像。举例来说，包括根据本发明的设备并具有第一功能模式的显微镜可以连接到具有第二功能模式的另一显微镜。就这一点而言，例如，光场显微镜可以在技术上连接到如上所述的激光扫描显微镜，使得例如激光扫描显微镜的光源用于两种功能模式。

显微镜可以具有位于照明光束路径中的光源、用作照明物镜的物镜以及用于产生光片的设备，其中光片在物镜上游的物侧的样品空间中产生或可以在该样品空间中产生。

在另一可能的实施例中，光源可以被实施为提供脉冲照明光。在这方面，可以产生和提供脉冲持续时间在皮秒或飞秒范围内的脉冲。这种类型的照明可以用于非线性荧光激发。此外，因此可以使用相应的传感器来捕获荧光寿命。举例来说，脉冲激光器被用作光源。其中一个检测器可以是SPAD阵列(单光子雪崩二极管阵列)。

用于在光片平面中产生光片的设备可以是例如柱形光学单元、扫描设备或两者的组合。两个实施例都可以被设计成在相应倾斜延伸的光片平面中产生相对于照明物镜的光轴倾斜的光片。为此，因柱面透镜的作用而成形的光源的照明光束或者通过扫描设备而聚焦的光源的照明光束可以被引导到物镜的物镜光瞳(以下也称为入射光瞳)中的入射位置，所述入射位置位于物镜的光轴之外。这样的实施例使得使用公共物镜进行照明和检测成为可能。在替代实施例中，可以布置照明物镜和检测物镜。

为了相对于光片平面横向地调节所产生的光片的厚度，照明光束路径中可存在可设置的光学装置，例如变焦光学单元和/或光阑缩小设备。在这种情况下，可以手动或自动设置该厚度，例如通过选择待执行的测量任务，并相应地调整光片的厚度。附加地或可选地，如果例如捕获的图像数据没有实现指定的质量参数，则控制回路可以影响光片的厚度。这种质量参数例如是预定的信噪比或信背比(SBR)。

本发明的目的还通过一种用于捕获图像数据的方法来实现，其中检测辐射，特别是至少显微镜的检测辐射，在第一检测路径和第二检测路径之间被分离。

在第一检测路径中，借助于具有第一时间分辨率(第一检测率)和第一空间分辨率的第一检测器来捕获检测辐射。在第二检测路径中，借助于具有第二时间分辨率(第二检测率)和第二空间分辨率的第二检测器捕获检测辐射，其中第一时间分辨率低于第二时间分辨率和/或第一空间分辨率高于第二空间分辨率。

根据本发明，两个检测器的捕获的图像数据以计算方式相互结合，以便获得三维解析结果图像。在这种情况下，例如，可以针对每个检测器对在第一和第二检测路径中捕获的图像数据进行计算组合以形成三维解析图像，并且随后对三维解析图像进行组合以形成结果图像，或者对两个检测器的捕获的图像数据进行计算组合以形成三维解析结果图像。

在该方法的另一配置中，具有较高空间分辨率的图像数据或具有较高时间分辨率的图像数据分别用于以计算方式增加具有较低空间分辨率或较低时间分辨率的图像数据的空间分辨率和/或时间分辨率。

该方法的这种配置的优点尤其在于，以较低检测率测量的具有较高空间分辨率的数据也能够被用于以高检测率但较低的空间数据捕获(采样)来虚拟地呈现图像，也就是说，以较低的空间分辨率，具有至少相同或更好的分辨率。

例如，如果实现了与具有较高空间分辨率的图像中相同的空间分辨率，则这对应于在图像捕获序列期间与实际存在的样品结构的多次比较(也称为“场比较”或“基本真值”)。

举例而言，可以假设快速相机以100Hz工作，因此捕获的图像数据具有比慢速相机更低的空间分辨率，该慢速相机以1Hz工作并提供具有高空间分辨率的图像数据。例如，可以每100幅图像(帧)进行一次“基本真值(ground truth)”的比较。

在该方法的进一步配置中，捕获的图像数据的计算组合和/或图像数据或图像的组合是利用机器学习的应用而执行的，特别是利用卷积神经网络(CNNs)的应用而执行的。

如上所述，根据本发明的一个重要发现在于，图像数据的使用方式使得两个检测路径的信息被有利地组合，以便获得快速图像记录并且还获得非常高的图像质量，也就是说，特别是高空间分辨率。第一种可能性最初是图像数据的组合呈现。为此，以适当的方式呈现具有较高空间分辨率的图像或图像堆栈，其中图像数据具有较高的时间分辨率。例如，慢速相机和快速相机的图像数据以计算方式被组合为“从图像到图像的映射”，以使得，由于记录在各个时间支持点处的高分辨率图像在检测器(慢速相机)的像素数量越大时记录得越慢，即使是以较低空间分辨率但高时间分辨率记录的图像也具有能够对应于较高空间分辨率的图像质量。

另一种可能性是前面提到的卷积神经网络(CNN)。在网络有许多层的情况下，这也被称为深层中枢神经系统。这些算法被用于例如实现传统记录图像的分辨率的虚拟增加。为此，利用对应对象类型的高分辨率数据训练该网络。之后，训练好的CNN甚至可以从分辨率不如它的数据中计算出虚拟的高分辨率(例如，Wang,H.等人于2018年在《自然方法》第16期第103–110页发表的文献)。各种算法的比较参见Zhang,H.等人于2019年在《传感器》第19期第3234页发表的文献。

训练所提供的算法，以使得它们可以用于提高记录的图像数据的分辨率。例如，如果打算对脑组织进行成像，则用足够多的脑组织图像数据来训练网络。其结果是，可以在指定设备的两个检测路径中均带来图像质量的改善。

有利的是，可以使用不同的显微镜物镜，而不必改变设备的布置。这一点在光瞳尺寸大致相同的情况下尤为明显。有利的是，可以使用具有相同的M/NA比的物镜(例如40x/1.2NA；20x/0.6NA，10x/0.3NA)。因此，有可能观察到不同尺寸的体积在不同情况下都具有稍微不同的分辨率。

记录的图像数据的计算组合可以用不同的放大率来执行。为此，以较高分辨率捕获的较小体积被嵌入以稍低分辨率捕获的较大体积中。

为了提供照明，可以使用激光扫描显微镜(LSM)，例如以附加模块的形式。根据本发明，通过LSM模式捕获的高分辨率图像数据可以例如与3D测量的低分辨率图像数据组合。为此，可以将LSM设置在可选的操作模式中，以使得可以产生光片。这可以通过例如将激光束聚焦到微物镜的入射光瞳中来实现。

因此，根据光场技术的捕获与结构化照明显微镜(SIM)的组合也是可能的。

在本发明的进一步配置中，捕获的和/或以计算方式组合的图像数据可以与LSM或其他成像显微方法(例如，相位对比度；差分干涉对比度；结构化照明显微术等)的测量数据结合。

如果使用了机器学习，则可以在相应训练的CNN的基础上带来图像分辨率的提高。可以使用两个检测路径之间的图像对图像的对应关系来不断调整和改进CNN。

图像质量的进一步改善可以通过将例如三维记录的图像堆栈的数据结合到CNN训练过程中或者以一些其他的图像融合方式来实现。该数据可以通过例如同时操作的激光扫描显微镜获得和提供。本发明还允许在2D和3D中(例如全息地)进行光学操作。此外，还可以在dSTORM、PALM等意义上对测量结果进行评估。

本发明的优点在于越来越好的空间分辨率和非常好的时间分辨率，这是体素捕获的高度并行化的结果。在用光片照明的情况下，可以实现对背景的强抑制和/或高轴向分辨率。此外，有利的是，本发明可以在现有显微镜上实现，并且在这种情况下，显微镜物镜的数值孔径是完全可用的。以计算方式组合该图像数据之后获得的轴向分辨率，其与具有全数值孔径的物镜的景深相比仅略微减小。本发明有利地适用于活体样品，这例如归因于其对样品的低负载和快速三维成像。

借助于根据本发明的设备和根据本发明的方法，可以以几毫秒范围内的时间分辨率同时捕获样品的三维区域，并且同时具有大约2-3μm的足够的空间分辨率。此外，干扰背景信号被有效抑制，从而在样品的观察区域的成像期间实现高灵敏度。因此，在3D样品中，最终的目的是以尽可能最高的时间分辨率同时记录尽可能多的体素。在此提出的方法允许这一点，并且提供了三维体积的非常高度并行化的成像。

本发明尤其允许观察大约0.005mm至大约3mm量级的物体(例如，小到树突大小)。时间分辨率大约为0.01到1秒，但在特定情况下也可以是0.001到100秒。

在此提出的解决方案允许以高光学分辨率成像，此外还允许非常高的体积成像率。

附图说明

下面基于示例性实施例和附图更详细地解释本发明。附图中：

图1示出了根据本发明的设备的第一示例性实施例的示意图；

图2示出了根据本发明的设备的第二示例性实施例的示意图；

图3示出了根据本发明的设备的第三示例性实施例的示意图；

图4示出了显微镜的第一示例性实施例的示意图，该显微镜具有根据本发明的设备和用于产生光片的装置；

图5示出了显微镜的第二示例性实施例的示意图，该显微镜具有根据本发明的设备和用于产生光片的装置；

图6示出了根据本发明的方法的第一配置的流程图；以及

图7示出了根据本发明的方法的第二配置的流程图。

具体实施方式

根据本发明的设备1的一般设置中，沿着光束路径具有分束器(分束器2)的形式的用于分离检测辐射的装置2，其作用是在具有第一检测器4及布置在其上游的第一微透镜阵列5的第一检测路径3和具有第二检测器7及布置在其上游的第二微透镜阵列8的第二检测路径6之间分离检测辐射。微透镜阵列5和8各自布置在光瞳中。如果在示例性实施例中指定了光学透镜9，它们可选地也代表光学元件(透镜系统)的对应组合。

第一检测器4允许其第一空间分辨率高于第二检测器7的空间分辨率。第一检测器4(慢速相机)的时间分辨率低于第二检测器7(快速相机)的时间分辨率。在进一步的实施例中，第一和第二检测器4和7也可以分别布置在另一检测路径3或6中。

来自显微镜11并由于管透镜9TL的作用而被聚焦的检测辐射穿过中间图像平面中可选的场光阑14，到达光学透镜9，并因第一检测路径3和第二检测路径6之间的分束器2的作用而被分离。显微镜11的光瞳平面，特别是显微镜物镜18(例如参见图4)的光瞳平面(后焦平面)到微透镜阵列8的平面的成像是通过透镜系统9TL、9实现的。透镜9TL起管透镜的作用，而下游透镜9起傅立叶透镜的作用，即：引发检测辐射的傅立叶变换。

由检测器4、7捕获的图像数据被馈送到计算机或现场可编程门阵列(FPGA)形式的评估单元10。后者被配置成使得通过考虑位置信息、角度信息和强度值来进行捕获的图像数据的评估，并且例如要么将作为图像数据的每个检测器4、7的角度信息的捕获部分以计算方式组合从而在不同情况下形成三维解析图像并随后组合以形成结果图像，要么将作为图像数据的两个检测器4、7的角度信息的捕获部分组合以形成三维解析结果图像。

评估单元10可选地连接到显示器13(例如监视器)，在显示器13上可以呈现图像数据和/或结果图像或结果图像堆栈。此外，评估单元10可选地连接到控制单元12，控制单元12尤其可以是显微镜11的组成部分。在其他可能的实施例中，控制单元12不是显微镜11的组成部分，但是可以以适于传输数据的方式连接到显微镜11(例如，参见图2中的示意图)。

控制单元12被配置为用于基于评估单元10的结果生成控制信号。所述控制信号可以用于控制显微镜11的功能。

在设备1的另一示例性实施例中，微透镜阵列5、8在不同情况下都布置在标称图像平面nBE中(图2)。由此，由于微透镜的作用，捕获的检测辐射被引导到相应的检测器4或7上。因此，标称图像平面nBE代表中间图像平面。用作聚焦透镜的光学透镜9布置在分束器2的上游。根据待捕获其光的(点)光源(未示出)是否位于物镜18的物平面(焦平面)中(例如，参见图4)，点光源进而以点的形状成像(以理想化的方式)到MLA 5、8上。如果点光源在检测方向上位于物平面之上或之下，则该点光源不是精确地成像到标称图像平面nBE中，而是成像到它的后面或前面(例如，参见图2)。点光源的空间位置可以例如借助于相应配置的评估单元10、基于已经借助于各个像素捕获的并且另外代表位置信息的强度值、以及基于捕获的角度信息来计算。

设备1的第三示例性实施例同样具有微透镜阵列5和8，其在不同情况下都位于标称图像平面nBE中(图3)。由于布置在各个检测路径3和6中的光学透镜9的作用，检测辐射被聚焦到标称图像平面nBE中。

图1至图3所示的示例性实施例可以用于例如双通道光场显微术。检测辐射的光谱成分可以通过分束器2分离。

在显微镜11(图4)中的根据本发明的设备1的示例性实施例中，用于提供作为激发光的激光的光源15、光学透镜9、光导向装置17或扫描设备17、分色器16以及具有入射光瞳EP的物镜18存在于激发光束路径中，所述物镜用作照明物镜。光源15，尤其是激光光源形式的光源，可以可选地以脉冲方式操作。

光学透镜9和分束器2被布置在检测光束路径中(由虚线表示)，借助于该光学透镜9和分束器2，利用第一微透镜阵列5和第一检测器4沿着第一检测路径3和/或利用第二微透镜阵列8和第二检测器7沿着第二检测路径6引导检测辐射。检测器4和7连接到评估单元10，评估单元10以适于交换数据的方式连接到控制单元12。借助于控制单元12，可以产生用于控制扫描设备17(此后也称为扫描仪17)的控制命令。在进一步的实施例中，光源15也可以由控制单元12控制。

在包括根据本发明的设备1的显微镜11的操作期间，由激光光源15发射的激光被聚焦并传递到扫描设备17。由控制单元12控制的扫描设备17以受控的方式在x方向x和/或y方向y上偏转激光。扫描设备17可用于改变入射光瞳EP(物镜光瞳)中激发光的入射角和入射位置。

激发光在通过二向色分色器(dichroic color splitter)16之后，被引导到入射光瞳EP中远离物镜18的光轴oA的入射位置。其结果是，通过物镜18在物侧产生了在相应倾斜的光片平面中相对于光轴oA倾斜的光片19。如果样品位于物镜18上游的样品空间20中，则光片19可以被引导到所述样品中。

可选地，在激发光束路径(＝照明光束路径)中可存在可设置的光学装置21，例如变焦光学单元或光阑，其作用是使得光片19横向于光片平面的厚度是可设置的(仅通过指示示出)。可设置的光学装置21可以通过控制单元12来控制。

由于由激发光形成的光片19的作用，荧光可以在样品中被激发并作为检测光(检测辐射)发射。发射的检测光由物镜18收集，物镜18既用作照明物镜又用作检测物镜。在分色器16中，波长比激发光长的检测光被反射到检测光束路径的另一路段中，并通过分束器2到达第一微透镜阵列5和/或第二微透镜阵列8。由指示示出的微透镜可以被视为单独的成像系统。由各个微透镜引发的图像点分别被检测器4和7的相应定位的检测器元件捕获为图像数据，并被馈送到评估单元10。

基于图4，在图5中示出了本发明的另一可能的实施例。另一二向色分束器(dichroic beam splitter)22布置在光源15和扫描设备17之间的照明光束路径中。由于所述分束器的作用，来自样品空间20的检测辐射穿过分束器16和随后的光学元件，并且由于扫描设备17的作用而被转换成固定光束(去扫描(descanned))，然后被引导到第一检测路径3的最后部分。在该示例性实施例中，分束器16(也)用于在第一和第二检测路径3、6之间分离(分束器2)捕获的检测辐射，并且可以是二色性的或者以特定比例分离检测辐射。检测辐射通过光学透镜9聚焦到中间图像平面中，在该中间图像平面中设置有小孔光阑或狭缝光阑形式的小孔23。由于小孔23的影响，源自离焦区域的部分从检测辐射束中被移除或者至少被大大减少。例如，二次电子倍增器(光电倍增管，PMT)、多个PMT的阵列或二维检测器(见上文)可以用作该第一检测器4。第一检测器4连接到评估单元10。后者又连接到扫描设备17，以便获得与扫描设备17的相应当前对准相关的数据。基于当前对准，可以将X-Y平面中的位置分配给通过第一检测器4捕获的各个图像数据。与轴向位置(z方向上的位置，z位置)相关的信息可以基于物镜18的当前焦平面的已知位置并且可选地考虑图像捕获系统已知的点扩展函数(PSF)来确定。可以在不同的z位置(z堆栈)捕获图像数据。这样，可以用第一检测器4捕获三维解析的图像数据。由于将第一检测路径3设计为共焦检测路径，与第二检测器7相比，实现了更高的空间分辨率。如果在借助于第一检测路径3(共焦)和第二检测路径6的捕获之间交替地实现切换，则可以相应地控制可设置的光学装置21以产生照明光斑或光片19。

由于分束/色器2、16的作用，第二检测路径6接收成像到第二检测器7上并被捕获的检测辐射。微透镜阵列8布置在第二检测器7的上游。在进一步的实施例中，分束/色器2、16可以由例如可切换的反射镜代替。由第一检测器4和第二检测器7捕获的图像数据通过评估单元10组合，并且计算三维结果图像。

根据本发明的方法可以在两种可选配置中执行。在第一替代方案(图6)中，检测辐射被引导到第一和/或第二检测路径3、6中，并且在那里通过例如根据光场技术原理而分别存在的检测器4、7进行捕获。在每种情况下，从第一检测路径3的慢速相机的捕获的图像数据和第二检测路径6的快速相机的图像数据二者计算三维解析图像。随后，两个检测路径3、6的三维解析图像被组合以形成结果图像。

在该方法的可选配置中，慢速相机和快速相机的捕获的图像数据被组合以形成最终的三维解析图像，而无需预先为每个检测路径3、6或每个检测器4、7生成至少一个三维解析图像(图7)。

在该方法的进一步配置中，借助于第一检测器4和第二检测器7捕获的图像数据或由此计算的相应图像可以使用CNN(卷积神经网络)彼此映射，并且可以计算出三维解析的结果图像。

参考标记：

1：设备

2：用于分离检测辐射的装置/分束器

3：第一检测路径

4：第一检测器(慢速相机)

5：第一微透镜阵列

6：第二检测路径

7：第二检测器(快速相机)

8：第二微透镜阵列

9：光学透镜

10：评估单元

11：显微镜

12：控制单元

13：显示器

14：场光阑

16：分色器

15：光源

17：扫描设备

18：物镜

19：光片

20：样品空间

21：可设置的光学装置

22：分束器(用于共焦光束路径)

23：小孔

EP：入射光瞳

oA：光轴

nBE：标称图像平面。

Claims (15)

1.一种用于捕获图像数据的设备(1)，包括：

检测光束路径，至少一个显微镜(11)的检测辐射沿着所述检测光束路径被引导或能够被引导；以及

用于在第一检测路径(3)和第二检测路径(6)之间分离所述检测辐射的装置(2)；

所述第一检测路径(3)中的第一检测器(4)和所述第二检测路径(6)中的第二检测器(7)，其中微透镜阵列(5、8)布置在至少一个所述检测器(4、7)的上游；

其中，所述第一检测器(4)具有第一空间分辨率，所述第二检测器(7)具有第二空间分辨率，并且所述第一空间分辨率高于所述第二空间分辨率；和/或

所述第一检测器(4)具有第一时间分辨率，所述第二检测器(7)具有第二时间分辨率，其中所述第一时间分辨率低于所述第二时间分辨率，

其特征在于

存在用于评估第一检测器和第二检测器(4、7)的捕获的图像数据的评估单元(10)，

其中，所述评估单元(10)被配置为使得两个检测器(4、7)的图像数据的评估得以进行，并且从评估的图像数据产生三维解析的结果图像。

2.根据权利要求1所述的设备，其特征在于

所述第一检测器(4)具有比所述第二检测器(7)更高的空间分辨率；

小孔(23)存在于中间图像平面中的第一检测路径(3)中并且在所述第一检测器(4)的光学上游，相应地，借助于所述第一检测器(4)进行所述检测辐射的共焦捕获；以及

微透镜阵列(8)布置在所述第二检测器(7)的上游。

3.根据前述权利要求中任一项所述的设备(1)，其特征在于，所述第一空间分辨率比所述第二空间分辨率高至少1.5倍，并且所述第一时间分辨率比所述第二时间分辨率低至少2倍。

4.根据前述权利要求中任一项所述的设备(1)，其特征在于，所述用于分离所述检测辐射(2)的装置是分束器、二向色分束器或可切换反射镜。

5.一种显微镜(11)，包括根据前述权利要求中任一项所述的设备(1)。

6.根据权利要求5所述的显微镜(11)，其特征在于，光源(15)、特别是激光光源(15)和用作照明物镜的物镜(18)存在于照明光束路径中，其中产生宽视场照明。

7.根据权利要求5所述的显微镜(11)，其特征在于，光源(15)、用作照明物镜的物镜(18)和用于产生光片(19)的设备存在于照明光束路径中，其中所述光片(19)在样品空间(20)中所述物镜(18)上游的物侧上产生。

8.根据权利要求6或7所述的显微镜(11)，其特征在于，所述光源(15)被实施为用于提供脉冲照明光，特别是具有皮秒或飞秒范围内的脉冲持续时间的脉冲照明光。

9.根据权利要求7或8所述的显微镜(11)，其特征在于，所述用于产生光片(19)的设备是柱形光学单元或扫描设备(17)，其中，由于柱面透镜的作用而成形的所述光源(15)的照明光束或者借助于所述扫描设备(17)而偏转的所述光源(15)的照明光束被引导到所述物镜(18)的物镜光瞳(EP)中的入射位置，所述入射位置位于所述物镜(18)的光轴(oA)之外。

10.根据权利要求5至9中任一项所述的显微镜(11)，其特征在于，可设置的光学装置(21)存在于所述照明光束路径中，所述光学装置(21)的作用在于，所述光片(19)的横向于光片平面的厚度是可设置的。

11.一种用于捕获图像数据的方法，其中

至少一个显微镜(11)的检测辐射在第一检测路径(3)和第二检测路径(6)之间被分离，其中微透镜阵列(5，8)存在于所述两个检测路径(3、6)中的至少一个中，并且被布置在同样存在于该处的检测器(4、7)的光学上游；

在所述第一检测路径(3)中，借助于具有第一时间分辨率和第一空间分辨率的第一检测器(4)捕获所述检测辐射，

在所述第二检测路径(6)中，借助于具有第二时间分辨率和第二空间分辨率的第二检测器(7)捕获所述检测辐射，其中所述第一时间分辨率低于所述第二时间分辨率和/或所述第一空间分辨率高于所述第二空间分辨率，以及

两个检测器(4、7)的捕获的图像数据被以计算方式组合，从而形成三维解析的结果图像。

12.根据权利要求11所述的方法，其特征在于，具有较高空间分辨率的图像数据或具有较高时间分辨率的图像数据分别用于以计算方式增加具有较低空间分辨率或较低时间分辨率的图像数据的空间分辨率和/或时间分辨率。

13.根据权利要求11或12所述的方法，其特征在于，在每种情况下，仅读取所述第二检测器(7)的检测器元件的选定部分。

14.根据权利要求11至13中任一项所述的方法，其特征在于，所述检测辐射在时间上交替地沿着所述第一检测路径(3)和所述第二检测路径(6)被引导，其中切换时间点和所述切换的持续时间是基于所述第一检测器(4)的帧速率建立的。

15.根据权利要求11至14中任一项所述的方法，其特征在于，用以形成结果图像的、所述图像数据的计算组合和/或所述图像数据或图像的组合是利用机器学习的应用而执行的，特别是利用卷积神经网络(CNNs)的应用而执行的。

Images