CN115775224A - 评估光场显微镜测量数据的方法和用于光场显微术的设备 - Google Patents

Abstract

本发明涉及评估光场显微镜测量数据的方法和用于光场显微术的设备。该方法执行如下步骤：a)在样品中选择至少一个待分析的样品定位；b)利用光场显微镜，按记录时间点的序列来记录样品的图像，所述图像分别包括子图像的组；c)在步骤b)中记录的图像的子图像中确定与选择的样品定位相对应的定位；d)至少从所述子图像中的若干子图像中在子步骤c)中所确定的定位处提取出图像信号；e)针对特定的记录时间点得到积分信号，其方式是，将在步骤d)中针对确定的定位从该记录时间点的子图像中提取出的图像信号积分成积分信号；f)得到积分信号的时间曲线，其方式是，针对多个记录时间点执行步骤e)。

Description

评估光场显微镜测量数据的方法和用于光场显微术的设备

技术领域

在第一方面，本发明涉及评估光场显微镜测量数据的方法。在第二方面，本发明涉及根据权利要求23的前序部分所述的用于光场显微术的设备。

背景技术

类属的用于光场显微术的设备至少包含如下部件：光场显微镜，该光场显微镜具有用于发出激发光的光源；带有至少一个显微镜物镜的用于将激发光引导到样品上或引导到样品中的照明光路；用于探测由样品辐射出的光的二维空间分辨式检测器；带有至少一个微透镜阵列的用于将由样品辐射出的光引导到检测器上的检测光路；和控制和评估单元，该控制和评估单元用于操控光源和检测器并且用于评估由检测器得到的测量数据。

在生物医学研究中，越来越多地研究器官、组织和生物体中的过程。在这种情况下，例如对刺激所做出的神经反应或者颤动在肌肉组织中的传播令人感兴趣。在此，主要需要的不是具有最佳分辨率的结构方面的研究，而是更确切地说需要对三维图像数据的快速获取。接着，在这些图像数据中测量荧光信号的时间和/或空间上的相对变化，即，

ΔF/F₀

其中，F₀是在第一时间点或者在第一空间点处测量的强度，并且ΔF是从第一时间点到第二时间点或者从第一空间点到第二空间点的信号变化。原本的图像仍然只是数据源并且通常不用于进一步的分析。由于例如神经结构在快速的体积记录(Volumenaufnahme)期间基本上保持位置固定，所以当例如在测量开始或该测量的另一时间点进行对结构的记录时，可以给该神经结构的特定区域配属快速的时间信息。

为了快速的图像记录，越来越多地使用光场显微术(LFM)。光场显微术具有如下优点：根据通常在几分之一秒内进行的唯一的相机记录，可以重建具有几十至几百微米的体积(Volumen)。在光场显微术的情况下，能够实现不同的实施方式。在所谓的位置空间光场显微术的情况下，在检测光路中在与对象平面共轭的平面内布置有微透镜阵列(MLA)。接着，在该微透镜阵列的后焦平面中使用相机传感器进行检测，该后焦平面与显微镜物镜的后焦平面(BFP，back focal plane)光学共轭。

一种对于显微术而言更直观的方法是所谓的傅里叶光场显微术，其中，微透镜阵列(MLA)布置在与物镜的光瞳平面共轭的平面内。在微透镜阵列的后焦平面(BFP)中又进行检测。在这种情况下，采集样品体积的真实成像作为在所记录的相机图像内的子图像，但是这些子图像分别属于朝着样品的不同的视差观察方向。由于视差，在对象空间中的发光的荧光分子的(假想的)轴向偏移造成信号依赖于分别进行观察的微透镜的定位地在相机传感器上横向偏移。

为了根据原始数据重建结构体积信息，提供了不同的算法。第一种算法首先将来自相机图像的所有子图像数据分离成图像堆栈，其中，该堆栈的每个子图像都对应于朝着样品的一个观察方向。现在，为了计算特定的轴向样品平面的图像内容，使该堆栈的每个子图像都移动了对于所选择的轴向平面而言所期望的视差偏移。然后，如此生成的堆栈被累加成z平面的图像。为了获得也被称为3D堆栈的三维图像，该方法针对其它平面被重复并根据各个z平面的图像来组合成三维图像。也被称为移动求和法(Shift&Sum-Verfahren，S&S)的该方法的缺点在于：细节信息尤其是在样品密集的情况下可能被背景严重覆盖。

另一种方法使用联合反卷积法(jDCV)。为此，需要了解针对每个微透镜的点分布函数(PSF)，并且计算时间明显比移动求和法更长。为此，得到了对比度明显更高的图像。然而，该方法的缺点在于：由于其非线性特性而可能无法保持强度比。

移动求和法和jDCV法都用于提供三维图像信息和样品的尽可能良好的结构成像。

发明内容

本发明的任务可以被视为提供如下方法和设备：该方法和该设备能够实现以高时间分辨率和良好的信噪比对局部动态过程的研究。

该任务通过具有权利要求1的特征的方法以及通过具有权利要求23的特征的设备来解决。

接下来，尤其是结合从属权利要求和附图来阐述按照本发明的方法的有利的变体和按照本发明的设备的优选的设计方案。

在按照本发明的评估光场显微镜测量数据的方法中，执行如下方法步骤：

a)在样品中选择至少一个待分析的样品定位；

b)利用光场显微镜，按记录时间点的序列来记录样品的图像，这些图像分别包括子图像的组；

c)在步骤b)中记录的图像的子图像中确定与所选择的样品定位相对应的定位；

d)至少从这些子图像中的若干子图像中在子步骤c)中所确定的定位处提取出图像信号；

e)针对特定的记录时间点得到积分信号，其方式是，将在步骤d)中针对确定的定位从该记录时间点的子图像中提取出的图像信号积分成积分信号；并且

f)得到该积分信号的时间曲线，其方式是，针对多个记录时间点执行步骤e)。

按照本发明，上文说明的类型的用于光场显微术的设备通过如下方式来改进：控制和评估单元被设立成：

A)操控光源和检测器来按记录时间点的序列记录样品的图像，其中，这些图像分别包括子图像的组；

B)在步骤A)中记录的图像的子图像中确定与由用户或以机器方式在样品中选择的样品定位相对应的定位；

C)至少从这些子图像中的若干子图像中在子步骤B)中所确定的定位处提取出图像信号；

D)针对特定的记录时间点生成积分信号，其方式是，对在步骤C)中针对确定的定位从该记录时间点的子图像中提取出的图像信号积分；以及

E)针对多个记录时间点执行步骤D)。

原则上，按照本发明的方法和按照本发明的设备适用于任何类型的样品，这些样品能利用光场显微术来研究，并且在其中应以高时间分辨率和良好的信噪比来研究动态过程。本发明主要适用于研究生物样品、尤其是活体样品中的生理过程。例如可以考虑沿着轨迹、例如神经通路的样品定位。例如可以研究激发是如何沿着神经通路传播的。也可以研究细胞颗粒的运动。这种过程也称为功能跟踪。按照本发明的方法和按照本发明的设备例如也特别适合于研究钙瞬变。

在按照本发明的方法中，优选评估二维空间分辨式检测器的原始数据。由此，能够实现高时间分辨率。

本发明的重要认知可以在于：对于以高时间分辨率和良好的信噪比来研究动态过程而言，不需要完全重建光场显微镜的图像，并且更确切地说，仅对感兴趣的定位处的光场显微镜的数据进行评估就足够了。

由于在本发明中可以直接从原始数据中提取出重要数据，所以实现了如下重要优点：与移动求和法相比达到了更好的对比度并且与联合反卷积法相比显著节省了时间。此外，显著的优点是：以未经处理的原始数据为基础。这些原始数据能被可靠地定量评估。如果处在相机的线性灵敏度范围内，则变化是线性的。这在数据经处理的情况下并不能总被确保。

按照本发明的设备可以被设立成用于执行按照本发明的方法。

光场显微术可以作为荧光显微术来执行，并且优选使用激光器作为光源，这些激光器适合于对用来制备待研究的样品的颜料的荧光激发。

原则上，可以使用已知的相机，如CMOS相机、CCD相机或SPAD相机，作为二维空间分辨式检测器。

利用光场显微镜记录的图像分别包括子图像的组。子图像是由微透镜阵列的各个微透镜在二维空间分辨式检测器上生成的那些图像。

在按照本发明的设备的一个特别有利的实施方式中，微透镜阵列布置在与显微镜物镜的后光瞳光学共轭的平面中。属于各个微透镜的子图像对应于来自不同视差角的样品图像。在被称为傅里叶光场显微术的该变体中，子图像能被直观地理解。但是，本发明并不限于傅里叶光场显微镜。

更确切地说，对于按照本发明的方法和按照本发明的设备而言，可以使用被称为位置空间光场显微术的变体，其中，微透镜阵列布置在与样品的平面光学共轭的平面中。

对于选择待分析的样品定位而言，存在很大的自由度。例如，一个或多个待分析的样品定位可以根据样品的二维或三维概览图像由用户来选择和/或以机器方式来选择。还可能的是：一个或多个待分析的样品定位由用户依据以目镜对样品的视觉观察来选择。替选地或补充地，一个或多个待分析的样品定位可以依据利用EDOF方法(EDOF＝EnhancedDepth Of Focus：增加的焦深)或者利用具有大焦深的物镜所记录的二维相机图像由用户来选择和/或以机器方法来选择。

还重要的是：在一个或多个待分析的样品定位依据样品的图像由用户来选择和/或以机器方式来选择的情况下，这些图像不必即刻在执行按照本发明的方法之前被记录或创建。

更确切地说，按照本发明的方法可以作为对之前记录的、因此存在的图像数据的下游数据处理来执行。

因此，按照本发明的方法的分析不仅可以在记录图像数据之后即刻进行而且也可以作为纯后处理(post processing)来进行。为了生成依据其来选择待分析的定位的那些二维或三维图像，原则上可以考虑用于记录、必要时也相对缓慢地记录样品的二维或三维结构信息的所有已知方法。

样品的二维或三维显微概览图像是待研究的样品在两个或全部三个空间方向上的显微图像。

例如可以利用激光扫描显微镜来获得样品的概览图像。三维图像在利用激光扫描显微镜的情况下通常作为z堆栈(z-Stack)来得到，也就是说作为样品的在沿z方向延伸的光轴的不同定位处的平面的图像的组。

在按照本发明的设备中，为了记录样品的三维概览图像，可以适宜地存在用于激光扫描显微术的模块。

替选地或补充地，可以利用光场显微镜来获得样品的三维概览图像，尤其是通过重建利用光场显微镜所得到的子图像的组。附加的设备部件，诸如用于激光扫描显微术的模块，不是绝对必要的。

对三维概览图像的重建可以利用反卷积算法在使用光场显微镜的多透镜阵列的微透镜的点分布函数的情况下来获得。

这种方法也被称为联合反卷积法或jDCV法。联合反卷积法在计算成本方面是相对耗费的，但却提供了高对比度的图像。

替选地或补充地，可以通过计算各个轴向样品平面的图像内容来得到三维概览图像的重建，其中，计算特定的轴向样品平面的图像内容，其方式是，使在子图像的组中的每个子图像都移动了对于轴向样品平面而言所期望的视差偏移，并且其中，将被移动的子图像的组累加。三维概览图像由各个轴向样品平面的图像内容组合而成。

这种方法被称为移动求和法。与联合反卷积法相比，在这些方法中的计算成本较低，但是图像质量通常不那么好，原因在于：尤其是在样品密集的情况下，图像细节被背景严重覆盖。

术语“样品定位”是指样品中的其中应该记录动态过程、例如对刺激做出的神经反应或颤动在肌肉组织中的传播的那些待选择的位置。因此，样品定位总是包含样品中的特定的位置以及在所涉及的位置处要以机器方式或由用户必要时以机器方式辅助地选择的显微体积。显微体积可以具有以通常在一位数和两位数的微米范围内的数量级的线性延展。对于待评估的图像而言，这意味着：针对特定的样品定位，总是评估多个像素，即处在属于样品定位的体积内的那些像素。

选择一个或多个待分析的样品定位的步骤是指其中三维概览图像关于感兴趣的结构方面被研究并且选择这种感兴趣的结构所在的那些样品定位以进行进一步研究的那个方法步骤。

术语“记录时间点的序列”首先是指：多个图像在时间上依次被记录。在此，记录时间点的频次一方面受上文的设备所限制。只要能够以设备方式来实现，优选使记录时间点的频次与待研究的、尤其是生物过程、例如轴突的激发的时间上的结构相匹配。各个记录时间点之间的时间间隔可能有所不同。

在三维概览图像中的样品定位被明确地配属给在光场显微镜的子图像中的定位，其中，配属规则通过光场显微镜的检测光路的光学参数、尤其是也通过所使用的多透镜阵列的几何参数来规定。该配属规则例如可以从在移动求和法中应用的视差偏移中推导出。

因此，确定对应于在该概览图像中所选择的样品定位的在子图像中的那些定位的方法步骤c)包含：经由通过检测光路的光学参数所限定的配属规则来寻找相应的定位。

在按照本发明的方法的有利的变体中，计算在光场数据的子图像中的与在三维概览图像中所选择的且待分析的样品定位相对应的定位。

原则上，当子图像仅在一个定位处被评估时实施本发明。在按照本发明的方法的优选的变体中，分别在多个定位处按照步骤a)至f)来评估记录时间点的序列的图像。例如，子图像可以在沿着活体样品中的神经通路的定位处被评估。

原则上，待分析的样品定位可以在三维概览图像中通过用户、例如依据作为z堆栈的三维概览图像在计算机显示器上的图形呈现来选择。替选地或补充地，在其它有利的变体中，对待分析的样品定位的选择也可以由计算机算法来辅助或者通过评估单元完全自动地实现。

例如，由用户选择的样品定位可以与子图像的组一起被转交给卷积神经网络(Convolutional Neural Network)，卷积神经网络在该方法的随后的实施中向用户建议对待分析的样品定位的预选。所期望的是：试验被多次实施，并且在该试验的不同实施中的样品结构极为相似。因此，在几十次遍历之后，关于对待分析的定位所要做出的选择的预测已经切合实际。

同样可以规定：以机器方式分析三维概览图像的图像数据和/或光场显微镜的图像的图像数据；并且在图像数据中寻找感兴趣的结构，即潜在待分析的样品定位。

在按照本发明的方法的其它有利的变体中，为了进行图像评估，可以使用自动将图像信号配属给特定的结构特征的算法。

当按照方法步骤d)至少从子图像中的若干子图像中在子步骤c)中所确定的定位处提取出图像信号时，实施按照本发明的方法。当所有子图像都包含有意义的测量数据时，例如当感兴趣的结构在子图像中的任何一个子图像中都不与其它结构重叠或者被其它结构遮挡时，优选也可以从所有子图像中提取出在子步骤c)中所确定的定位处的图像信号。接着，这些测量数据被最优地利用，并且信噪比可以与对子图像的仅一次选择的评估相比被提高。在该背景下，总是致力于尽可能评估所有包含有意义的图像数据的子图像。

那些在子步骤c)中所确定的定位处被提取出图像信号的子图像原则上可以由用户来选择。

例如，为了选择在子步骤c)中所确定的定位处被提取出图像信号的子图像，可以部分地或完全地以图形方式呈现、例如在计算机显示器上呈现利用光场显微镜记录的样品图像的子图像的组。

补充地或替选地，对那些应该被提取出图像信号的子图像的选择也可以部分地、例如辅助地通过评估单元来实现或者完全自动地通过评估单元来实现。例如可设想的是：评估单元向用户建议所要选择的和/或所要丢弃的子图像。

在最简单的情况下，将提取出的图像信号积分成积分信号包含对相应的图像信号累加。待积分的图像信号还可以利用加权函数被加权，该加权函数例如对来自所观察的体积、例如椭圆体的中心的像素的信号的加权比对来自所观察的体积的边缘的信号加权更强烈。

得到积分信号的时间曲线，其方式是，针对多个记录时间点执行步骤e)。

在按照本发明的方法的优选的变体中，可以在子图像的图形呈现、尤其是子图像的片段的图形呈现中以图形方式限定用于计算积分信号的积分区域。这可以由用户交互地并且尤其是通过分割算法辅助地实现。

例如，用户可以在所呈现的被提取出的信号中以图形方式限定用于计算信号的积分区域，其方式是，例如以椭圆来包围待积分的区域。

也可能的是：对用于计算积分信号的积分区域的限定通过分割算法全自动地实现，尤其是也不以图形方式实现。

适宜地，也可以从在步骤e)中针对确定的定位获知的积分信号减去最小值或起始值，尤其是减去积分信号的针对记录时间点的序列的被评估的图像得到的最小的值或者针对时间上的第一图像得到的积分信号。替选地，可以将积分信号除以该最小值或该起始值。

积分信号的也被称为信号轨迹的时间曲线可以针对至少一个、优选针对多个并且尤其针对每个被评估的定位以图形方式来呈现。

也可能的是：使待选择的像素的测量数据相关，以便实现与噪声相比更高的信号强度。

在活体生物样品的情况下，例如由于被研究的活体动物、比如小鼠的心跳或呼吸可能在图像数据中出现伪影。

利用按照本发明的方法的在下文描述的改进方案，可以确定并修正这样的伪影。

在按照本发明的方法的一个优选的变体中，可以确定样品的在不同记录时间点记录的图像的随时间变化的偏移，其方式是，将在不同记录时间点记录的图像彼此进行比较。

有利地，尤其可以将在时间上直接相继的图像进行比较。

例如，为了对在不同记录时间点记录的图像进行比较，可以针对待比较的图像计算空间相关性。

原则上，可以将严重偏离的、比如严重偏移的、并且就这方面来说不匹配的图像简单地从待分析的图像的时间序列中除去，使得只评估彼此匹配的图像。然而，由此可能在相当大的程度上浪费测量数据。

原则上，根据空间相关性也可以确定彼此相关的图像的内容的偏移的方向和大小。因此，可以获知偏移矢量，利用该偏移矢量可以使图像向彼此挪动，使得这样向彼此挪动的图像可以又一起被评估。

在这种方法中，针对至少一个、尤其是针对多个并且尤其是针对每个记录时间点，针对在所述记录时间点被记录的图像获知相对于参考图像、例如在所涉及的记录时间点之前最后被记录的图像的偏移矢量，并且在进一步处理之前分别通过所获知的偏移矢量来修正图像的子图像的组。

如果为了对样品的在不同记录时间点记录的图像的随时间变化的偏移进行分析而分别只对有利的子图像、尤其是少于十个有利的子图像、优选地少于五个有利的子图像并且特别优选地两个有利的子图像的选择进行评估，则能够更快地实现对偏移的补偿。

例如，在不同记录时间点记录图像的情况下，可以分别分析中央的子图像，以便确定横向于光轴的偏移，并且可以分析处在多透镜阵列的外环上、尤其是处在多透镜阵列的边缘处的透镜的子图像，以便采集轴向偏移、尤其是平行于光轴的偏移。

附图说明

在下文，参考随附的附图来描述本发明的其它优点和特征。其中：

图1：示出了关于按照本发明的光场显微镜的示意性概览；

图2：示出了以光场显微镜记录的子图像的组的示例；以及

图3：示出了图2的子图像中的具有所选择的定位的片段。

具体实施方式

参考图1来阐述按照本发明的设备的示例，该设备被设立成用于执行按照本发明的方法。在此示出的设备包含光场显微镜100，该光场显微镜具有如下部件作为主要部件：光源1，通常是一个或多个激光器，用于发出激发光2；具有至少一个显微镜物镜4的照明光路，用于将激发光2引导到样品5上或者引导到该样品中；二维空间分辨式检测器11，用于探测由样品5辐射出的光6；和具有至少一个微透镜阵列9的检测光路，用于将由样品5辐射出的光6引导到检测器11上。检测器11布置在微透镜阵列9的焦平面中或该焦平面附近，并且通常可以是COMS相机、CCD相机或者SPAD相机。微透镜阵列9也可能是物镜4的一部分并且布置在该物镜的后焦平面中。

最后，为了操控光源1和检测器11并且为了评估由检测器11获得的测量数据，存在控制和评估单元12，该控制和评估单元尤其可以是性质基本上已知的计算机。

由光源1发出的光2、尤其是针对制备样品5的荧光颜料的激发光经由二向色分束器3到达显微镜物镜4并且由该显微镜物镜聚焦到样品平面中且聚焦在样品5上或该样品中。由样品5辐射出的发射光、尤其是由荧光颜料辐射出的荧光经由显微镜物镜4返回到二向色分束器3上并且在该二向色分束器处朝着中继光学系统8的方向被反射。中继光学系统8由两个彼此间可伸缩布置的透镜组成。在定位7处存在中间图像平面，即与样品平面光学共轭的平面。在穿过中继光学系统8之后，发射光到达微透镜阵列9，该微透镜阵列布置在与显微镜物镜4的后焦平面(物镜光瞳BFP)光学共轭的平面中。微透镜阵列9的各个透镜在布置在微透镜阵列9的焦平面中的检测器11上生成子图像201、......、289(参见图2)，这些子图像分别从不同角度、更确切地说从不同视差角示出样品5的单图像。即，以光场显微镜100记录的图像200分别包括子图像201、......、289的组(参见图2)。

在图1中示出的具有布置在光瞳平面中的微透镜阵列9的装置是用于傅里叶光场显微术的结构。替选地，所谓的位置空间光场显微术也能够用于实现本发明，其中，微透镜阵列在与对象平面(而非与显微镜物镜4的后焦平面)光学共轭的平面中布置在检测光路中。以位置空间光场显微术获得的原始图像信息经由傅里叶变换与使用傅里叶光片显微术获得的那个原始图像信息相关。但是，两种方法的结果最终在理论上是相同的。

为了记录样品5的三维概览图像，可以存在图1中未示出的用于激光扫描显微术的模块。

在实际构造中，按照本发明的设备100可具有大量其它的光学部件，尤其是平面镜、透镜、滤色镜和光圈，这些光学部件的功能本身是已知的并且这些光学部件因此在本说明书中不被专门描述。

按照本发明，控制和评估单元12被设立成：

A)操控光源1和检测器11，用以按记录时间点的序列来记录样品5的图像200；

B)在步骤A)中记录的图像200的子图像201、......、289(参见图2)中确定定位a，这些定位对应于由用户或者以机器方式在样品中、尤其是在样品的事先获得的显微概览图像中选择的样品定位；

C)至少从这些子图像中的若干子图像p1、p2、p3、p8、p9(参见图2和图3)中在子步骤B)中所确定的定位a处提取出图像信号；

D)针对特定的记录时间点生成积分信号，其方式是，对在步骤C)中针对确定定位a从该记录时间点的子图像中提取出的图像信号进行积分；以及

E)针对多个记录时间点执行步骤D)。

参考图1至图3、尤其是图2和图3来描述按照本发明的评估光场显微镜测量数据的方法的变体。

首先，在按照本发明的方法的这里所描述的变体中，可以获得样品5的三维概览图像。但是，如上所述，这并不是绝对必要的。三维概览图像例如可以利用在图1中未示出的激光扫描显微镜和/或通过对利用光场显微镜100所获得的子图像201、......、289的组200的重建来获得。

为了从利用光场显微镜100所获得的子图像的组200中重建三维概览图像，可以使用上面描述过的方法。

然后，在步骤a)中在三维概览图像中选择至少一个待分析的样品定位。对待分析的样品定位的这种选择可以在三维概览图像中由用户来实现和/或部分自动地或完全自动地通过控制和评估单元12来实现。例如，由用户选择的样品定位可以与子图像201、......、289的组一起被转交给卷积神经网络(CNN，Convolutional Neural Network)，该卷积神经网络在该方法的随后的实施中向用户建议对待分析的样品定位的预选。

然后，在步骤b)中，利用光场显微镜100按记录时间点的序列来记录样品5的图像200，这些图像分别包括子图像201、......、289的组。

图2示出了子图像201～289的组，这些子图像是利用图1中示出的类型的设备记录的。整体上，在微透镜阵列9中的多个微透镜的在图2中示例性示出的图像200相应地包括89个子图像。在图2中，这些子图像从左上向右下地从201编号至289，其中，针对一些子图像标明了它们的编号。被研究的样品是小鼠的死亡的大脑。原则上，也可以并且应该能研究活体组织。

在图2和图3的图像中，亮区域意味着到相机的小的光输入，并且暗区域意味着到相机的大的光输入。

接着，在步骤c)中，在步骤b)中记录的图像200的子图像201、......、289中确定与在概览图像中所选择的样品定位相对应的那些定位a。由于光场显微镜的光学参数是已知的，所以这总是可能的。

接着，在步骤d)中，至少从这些子图像的一些子图像中在步骤c)中所确定的定位a处提取出图像信号，并且在步骤e)中针对特定的记录时间点获得积分信号，其方式是，将在步骤d)中针对确定定位a从该记录时间点的子图像中提取出的图像信号积分成积分信号。这参考图3来描述。

为了选择从中在子步骤c)中所确定的定位a处提取出的图像信号的子图像，可以部分地或完全地以图形方式呈现样品5的利用光场显微镜100所记录的图像200的子图像201、......、289的组。

图3示出了来自分别不同的子图像的片段p1至p9。在此，片段p9是来自在图2中同样(未按比例)示出的子图像227中的片段。利用附图标记a来表示待分析的定位。具体而言，涉及在小鼠大脑中的神经细胞的结构。从片段p1至p9中能看清的是：样品从不同微透镜来看分别以不同的视差角来呈现出来。

在这些子图像的片段p1、......、p9的图形呈现中，可以通过用户来限定用于计算积分信号的积分区域。为了划定其中应该对信号进行积分的区域，在片段p1中在定位a周围绘制圆形式或椭圆形式的边界，该边界例如可以由用户如此来选择。在图像片段p2、p3、p8和p9中也绘制相对应的边界。但是，这种边界也可以是分割算法的结果，该分割算法是被应用于三维概览图像的，并且由此必要时能交互地选择潜在感兴趣的样品区域。

在片段p1、p2、p3、p8和p9中还能看到：在定位a处的结构(神经元)附近存在另一结构b，但是该另一结构根据在不同图像中朝着样品的视角(视差)而定地相对于定位a处于不同位置。为了对数据的正确评估所需要的是：仅考虑那种实际上来自定位a处的结构的信号，而不考虑那种源自在定位b处的结构(另一神经元)的信号。例如，在图像片段p8中，结构a和b彼此直接相邻。但是，如在图像片段p8中通过边缘所示那样的分离也是可能的。但是，在图像片段p4、p5、p6和p7中，结构a和b相互融合，也就是说，结构a和b在属于这些图像片段的观察方向上一前一后地存在。由于不再可能分离属于结构a和b的信号，所以图像片段p4、p5、p6和p7被丢弃(在这些图像片段中通过X来表示)，并且这些子图像在进一步评估时不被考虑。通过丢弃图像片段p4、p5、p6和p7，一方面提高了被提取出的轨迹的对比度并且还避免了错误的时间签名。

可能需要的对图像信息的丢弃一方面可以交互地通过使用者来实现。另一方面，也可以自动丢弃属于来自分割算法的两个重叠的图像片段的那些信息。

但是，对图像片段p4、p5、p6和p7的数据的丢弃并不是绝对必要的。只要相机在线性范围内工作，也可能的是：在使用分离的子图像中的两个细胞区域的辐射的本身已知的比例的情况下，对信号再次进行分离。只有当由于分别位于前面的细胞结构所引起的阴影效果变得强烈而使得在单独的子图像中的两个细胞区域的辐射比例不再保持不变时，才不再能够实现这种分离。

在待分析的定位a在所有子图像中都显露且不被其它结构的信号覆盖的情况下，没有子图像需要被丢弃，并且更确切地说可以对来自所有子图像中的信号进行积分。致力于尽可能最优地充分利用现有的测量数据并因此仅将那种其中无法有意义地分离信号的子图像丢弃。

最后，在步骤f)中获得积分信号的时间曲线，其方式是，针对多个记录时间点、尤其是针对所考虑的测量序列的所有记录时间点执行步骤e)。

为了获得类似的数据，可以从针对确定定位a在步骤e)中所确定的积分信号减去最小值或起始值，或者可以将该积分信号除以该最小值或该起始值。

最后，可以针对所评估的定位a以图形方式呈现积分信号的所获得的也被称为信号轨迹的时间曲线。

被研究的小鼠的心跳和/或呼吸可能引起样品5的在不同记录时间点记录的图像200的随时间变化的偏移。这些偏移必须与原本的测量信号分离。

可以将在不同记录时间点记录的图像200彼此进行比较。尤其地，可以针对待比较的图像200计算空间相关性。

关于傅里叶光场显微术的原始数据记录能够在不重建完整的三维信息的情况下实现对运动的检测。如果例如假设对象的运动横向于物镜的光轴，则在所有子图像中的所有结构相关地且同时地在传感器上横向移动大约相同的数值。在所有子图像上的这种随时间变化的偏移可以相对简单地被检测，其方式是，例如使相继的图像在空间上彼此相关。接着，要么可以从时间序列中去除所涉及到的图像，要么也可以在进一步处理之前通过获知偏移矢量来修正所有的子图像。

对于每个记录时间点，可以针对在该记录时间点所记录的图像200来获知相对于参考图像、例如在所涉及的记录时间点之前最后一个被记录的图像的偏移矢量，并且可以在进一步处理之前通过所获知的偏移矢量来修正相应图像200的子图像的组。

如果为了分析样品5的在不同的记录时间点记录的图像200的随时间变化的偏移而分别仅评估少量的、例如仅两个有利的子图像，则实现了用于确定偏移矢量的更快的方法。例如，在不同的记录时间点记录的图像200的情况下，分别仅分析中央的子图像245和位于多透镜阵列9的边缘处的透镜的子图像，在图2中例如是子图像221或240中的一个子图像。

通过对中央的子图像245的分析，得到了横向于光轴的偏移，并且对在外侧的子图像221、240的分析提供了轴向偏移、尤其是平行于光轴的偏移。

轴向偏移同样引起全部结构横向于相机平面的偏移，但是这些偏移对于每个子孔径而言都是不同的。对于中央的微透镜、即位于光轴上的微透镜而言，偏移为零。所涉及的微透镜离光轴越远，横向偏移就越大。因此，也可能的是：使两个相继的原始数据图像的对应的子孔径彼此相关。因此，横向和轴向的运动伪影可以自动被采集并修正。

利用本发明提供了评估光场显微镜测量数据的新方法和用于光场显微术的设备，利用该方法和该设备实现了在以高时间分辨率和良好的信噪比来研究局部动态过程时的显著改善。

附图标记列表和所使用的缩写

1 光源(激光器)

2 激发光

3 二向色分束器

4 显微镜物镜

5 样品

6 发射光

7 中间图像平面

8 中继光学系统

9 微透镜阵列

10 傅里叶平面(与显微镜物镜4的BFP光学共轭)

11 检测器(相机，在图像平面内)

12 评估单元

100 光场显微镜

200 光场显微镜的图像

201 子图像

227 子图像

245 中央的子图像

289 子图像

a 在子图像中选择的待分析的定位

b 与定位a相邻的定位

p1～p9 来自不同子图像的片段

X 意味着：图像不被评估

BFP 后物镜光瞳(back focal plane)

jDCV 联合反卷积法

LFM 光场显微镜

LSM 激光扫描显微镜

MLA 微透镜阵列

PSF 点分布函数

S&S 移动求和法

Claims (27)

1.评估光场显微镜测量数据的方法，其中，执行如下步骤：

a)在样品(5)中选择至少一个待分析的样品定位；

b)利用光场显微镜(100)，按记录时间点的序列来记录所述样品(5)的图像(200)，所述图像分别包括子图像(201、......、289)的组；

c)在步骤b)中记录的图像(200)的子图像(201、......、289)中确定与选择的样品定位相对应的定位(a)；

d)至少从所述子图像中的若干子图像(p1、p2、p3、p8、p9)中在子步骤c)中所确定的定位(a)处提取出图像信号；

e)针对特定的记录时间点得到积分信号，其方式是，将在步骤d)中针对确定的定位(a)从该记录时间点的子图像提取出的图像信号积分成所述积分信号；并且

f)得到所述积分信号的时间曲线，其方式是，针对多个记录时间点执行步骤e)。

2.根据权利要求1所述的方法，其特征在于，所述至少一个待分析的样品定位由用户

从所述样品(5)的概览图像、尤其是已经存在的、尤其是二维或三维的概览图像中选择；

依据以目镜对所述样品的观察来选择；和/或

依据以EDOF方法或具有大焦深的物镜获得的2D图像来选择。

3.根据权利要求2所述的方法，其特征在于，利用激光扫描显微镜来获得所述样品(5)的概览图像。

4.根据权利要求2或3所述的方法，其特征在于，利用所述光场显微镜(100)、尤其是通过对利用所述光场显微镜(100)得到的子图像(201、......、289)的组(200)的重建来获得所述样品(5)的概览图像。

5.根据权利要求4所述的方法，其特征在于，利用反卷积算法在使用所述光场显微镜(100)的多透镜阵列(9)的微透镜的点分布函数的情况下来获得三维概览图像的重建。

6.根据权利要求4所述的方法，其特征在于，通过单独计算各个轴向样品平面的图像内容来获得三维概览图像的重建，其中，计算特定的轴向样品平面的图像内容，其方式是，使在子图像(201、......、289)的组中的每个子图像都移动了对于轴向样品平面而言所期望的视差偏移，并且其中，将被移动的子图像的组累加，并且

使三维概览图像由各个轴向样品平面的图像内容组合而成。

7.根据上述权利要求中任一项所述的方法，其特征在于，计算在光场数据的子图像中的与在三维概览图像中选择的且待分析的样品定位相对应的定位。

8.根据权利要求6或7所述的方法，其特征在于，分别在多个定位(a)处按照步骤a)至f)来评估记录时间点的序列的图像(200)。

9.根据权利要求1至8中任一项所述的方法，其特征在于，在步骤a)中在三维概览图像中由用户来选择和/或部分自动地或者完全自动地通过评估单元(12)来选择所述待分析的样品定位。

10.根据权利要求1至9中任一项所述的方法，其特征在于，由用户选择的样品定位与子图像(201、......、289)的组一起被转交给卷积神经网络(CNN)，所述卷积神经网络在所述方法的随后的实施中向用户建议对待分析的样品定位的预选。

11.根据权利要求1至10中任一项所述的方法，其特征在于，以机器方式分析三维概览图像的图像数据和/或所述光场显微镜(100)的图像(200)的图像数据并且在其中寻找感兴趣的结构。

12.根据权利要求1至11中任一项所述的方法，其特征在于，为了进行图像评估而使用自动将图像信号配属给特定的结构特征的算法。

13.根据权利要求1至12中任一项所述的方法，其特征在于，由用户来选择和/或通过评估单元(12)自动地选择那些在子步骤c)中所确定的定位(a)处被提取出图像信号的子图像(p1、p2、p3、p8、p9)。

14.根据权利要求1至13中任一项所述的方法，其特征在于，为了选择在子步骤c)中所确定的定位(a)处被提取出图像信号的子图像(p1、p2、p3、p8、p9)，部分地或完全地以图形方式呈现所述样品(5)的利用所述光场显微镜(100)记录的图像(200)的子图像(201、......、289)的组。

15.根据权利要求14所述的方法，其特征在于，在所述子图像的图形呈现、尤其是所述子图像的片段(p1、......、p9)的图形呈现中，通过用户、尤其是通过分割算法辅助地或者完全自动地通过分割算法以图形方式限定用于计算积分信号的积分区域。

16.根据权利要求1至15中任一项所述的方法，其特征在于，

从在步骤f)中针对确定的定位(a)获知的积分信号减去最小值或起始值，尤其是减去积分信号的针对记录时间点的序列的被评估的图像(200)得到的最小的值或针对时间上的第一图像得到的积分信号；或者

将所述积分信号除以所述最小值或所述起始值。

17.根据权利要求1至16中任一项所述的方法，其特征在于，针对至少一个、优选针对多个并且尤其是针对每个被评估的定位(a)以图形方式呈现所述积分信号的时间曲线。

18.根据权利要求1至17中任一项所述的方法，其特征在于，确定所述样品(5)的在不同记录时间点记录的图像(200)的随时间变化的偏移，其方式是，将在不同记录时间点记录的图像(200)彼此进行比较。

19.根据权利要求18所述的方法，其特征在于，为了对在不同记录时间点记录的图像(200)进行比较，针对待比较的图像(200)计算空间相关性。

20.根据权利要求18或19所述的方法，其特征在于，

针对至少一个记录时间点、尤其是针对多个并且尤其是针对每个记录时间点，针对在该记录时间点记录的图像(200)获知相对于参考图像、例如在所涉及的记录时间点之前最后记录的图像的偏移矢量；并且

在进一步处理之前通过所获知的偏移矢量来修正所述图像(200)的子图像的组。

21.根据权利要求1至20中任一项所述的方法，其特征在于，为了对所述样品(5)的在不同记录时间点记录的图像(200)的随时间变化的偏移进行分析，分别评估对有利的子图像、尤其是少于十个有利的子图像、优选少于五个有利的子图像并且特别优选两个有利的子图像的选择。

22.根据权利要求1至21中任一项所述的方法，其特征在于，

在不同记录时间点记录图像(200)的情况下，分别分析中央的子图像(245)，以便确定横向于光轴的偏移；并且

分析处在多透镜阵列(9)的外环上、尤其是处在多透镜阵列的边缘处的透镜的子图像(221、240)，以便采集轴向偏移、尤其是平行于光轴的偏移。

23.用于光场显微术的设备，所述设备具有光场显微镜(100)，所述光场显微镜具有：

用于发出激发光(2)的光源(1)；

带有至少一个显微镜物镜(4)的用于将所述激发光(2)引导到样品(5)上或者引导到样品中的照明光路；

用于探测由所述样品(5)辐射出的光(6)的二维空间分辨式检测器(11)；

带有至少一个微透镜阵列(9)的用于将由所述样品(5)辐射出的光(6)引导到所述检测器(11)上的检测光路；和

控制和评估单元(12)，所述控制和评估单元用于操控所述光源(1)和所述检测器(11)并且用于评估由所述检测器(11)得到的测量数据(200)，

其特征在于，

所述控制和评估单元(12)被设立成：

A)操控所述光源(1)和所述检测器(11)用以按记录时间点的序列记录所述样品(5)的图像(200)，其中，所述图像(200)分别包括子图像(201、......、289)的组；

B)在步骤A)中记录的图像(200)的子图像(201、......、289)中确定与由用户或以机器方式在所述样品(5)中选择的样品定位相对应的定位(a)；

C)至少从所述子图像中的若干子图像(p1、p2、p3、p8、p9)中在子步骤B)中所确定的定位(a)处提取出图像信号；

D)针对特定的记录时间点生成积分信号，其方式是，对在步骤C)中针对确定的定位(a)从该记录时间点的子图像中提取出的图像信号积分；并且

E)针对多个记录时间点执行步骤D)。

24.根据权利要求23所述的设备，其特征在于，所述微透镜阵列(9)布置在与所述显微镜物镜(4)的后光瞳光学共轭的平面(10)中。

25.根据权利要求23所述的设备，其特征在于，所述微透镜阵列(9)布置在与所述样品(5)的平面光学共轭的平面中。

26.根据权利要求23至25中任一项所述的设备，其特征在于，为了记录所述样品(5)的三维概览图像，存在用于激光扫描显微术的模块。

27.根据权利要求1至26中任一项所述的设备，所述设备被设立成用于执行根据权利要求1至20中任一项所述的方法。

Images