CN114994895A - 用于试样的光片显微镜检测的方法和装置 - Google Patents

Abstract

本发明涉及一种用于试样的光片显微镜检测的方法，其中借助照明物镜用光片对试样进行照明，以及本发明涉及一种用于执行该方法的光片显微镜。由试样发射的光借助检测物镜成像到平面状检测器上。在此，检测物镜的光轴与照明物镜的光轴形成不同于0°和180°的角度并且在光片平面中穿过光片。平面状检测器拍摄至少一个图像。本发明还涉及一种相应的光片显微镜。根据本发明，借助神经网络通过分析至少一个图像来确定，(i)光片平面是否至少部分地处于检测物镜的焦平面中，和/或(ii)光片平面沿着检测物镜的光轴位于焦平面的哪个方向上，和/或(iii)沿着检测物镜的光轴测量，光片平面与焦平面距离多远。

Description

用于试样的光片显微镜检测的方法和装置

技术领域

本发明涉及一种用于试样的光片显微镜检测的方法。在此，借助照明物镜通过光片对试样进行照明。从试样发出的光借助检测物镜而成像到平面状检测器上。在此，检测物镜的光轴与照明物镜的光轴围成不同于0°和180°的角度。光轴在光片平面中穿过光片。在此，平面状检测器拍摄至少一个图像。

背景技术

照明物镜还具有位于光片平面中的光轴。检测物镜的光轴在此优选地垂直于光片平面，但这不是强制性的。一般来说，检测物镜的光轴与光片平面形成不同于0°和对应的180°的角度。光片在其中间部分越厚，角度应越大。

对生物试样的研究在近年来越来越重要，其中，试样的照明通过光片实现，光片的平面(光片平面)与检测的光轴(检测方向)以不为零的角度相交。通常，光片平面在此与检测方向(一般相对于检测物镜的光轴)夹成不为零的、但通常也不一定是直角的角度。这种研究方法主要用在荧光显微成像中并且被归纳为术语LSFM(光片荧光显微术)。示例是在DE10257423A1中描述的以及以上述文献为基础构成的WO2004/0535558A1中描述的而且称为SPIM(选择性平面照明显微术)的方法，利用这种方法，在相对短的时间内也能够产生较厚的试样的三维图像：基于光学剖面，在与沿垂直于剖切平面的方向的相对运动组合下，能够对试样进行可视的/三维拉伸的显示。

相对于其他设计的方法，诸如共焦激光扫描显微术或者双光子显微术，LSFM方法具有多个优点。因为能够实现在宽视场内的检测，所以能够获得更大的试样区域。虽然分辨率略低于共焦激光扫描显微术的情况，但是，能够利用LSFM技术分析较厚的试样，因为透入深度较大。此外，在这种方法中，对试样的曝光是最低的，这降低了试样褪色的风险，因为试样仅受到薄的光片的照射，该薄的光片与检测方向的夹角不为零。

替代纯静置的光片，通过利用光束快速扫描试样也可以产生准静置的光片。光片类型的照明以如下方式产生，光束相对于需要观察的试样经历非常快速的相对运动并且在此，在时间上依次多重地并排排列。在此，相机的在其传感器上成像出试样的积分时间选择成，使得扫描在积分时间内结束。

光片显微术的主要应用之一在于对几百微米直至几毫米的中等大小的生物体进行成像。一般，生物体嵌入凝胶、例如琼脂中，凝胶又处在玻璃毛细管中。玻璃毛细管从上方或从下方被嵌入填入水的试样腔室中，并且试样作为一块被从毛细管中压出。琼脂中的试样被光片照明，并且利用检测物镜(该检测物镜优选地、但是不要一定垂直于光片，进而也垂直于用于产生光片的光学系统的照明物镜)将荧光成像到相机上。

但是，光片显微成像术的方法具有一定局限性。一方面，需要研究的试样相对较大，该试样来自发展生物学。第二方面，由于试样制备和试样腔室的尺寸，光片相对较厚并且进而能够实现的轴向分辨率受到限制。第三，试样的制备很复杂并且不与通常针对单个细胞的荧光显微术的标准试样制备和标准试验保持件相兼容。

为了部分地规避上述限制，在近年来，实现了新型的结构，其中，照明物镜和检测物镜优选彼此垂直而置并且以45°的角度从上方指向试样。操作方式例如在WO2012/110488A1以及在WO2012/122027A1中进行介绍。

为了照明试样，一般使用激光的相干光。光的波长在荧光显微术中根据标记选定，所述标记应当被激励以发射荧光。在最简单的情况下，例如能够将具有符合高斯函数分布的强度分布的光束静态地借助于圆柱物镜形成光片，或者一定程度静态地借助于扫描和与之相协调的相机积分时间来形成光片。在此，有利的是对试样结构化的照明，由此，能够提高分辨率。于是，例如在V.Kettunen等人的文章“不变传播的点阵列(Propagation-invariant spot arrays)”(出现在光学通信杂志1998年第1247页23(16)(Optics Letters23(16)，Seite 1247，1998))中，介绍了贝塞尔光束的相干叠加。这种叠加通过借助于算法计算能够引入光瞳的相分量的方式来实现。当贝塞尔光束的光谱成像到光瞳中时，相分量产生多束在试样中叠加的贝塞尔光束。相分量类似于相位值为0至π的星形光栅。

在US2013/0286181A1中，有针对性地利用各个贝塞尔光束之间的干涉效应来产生拉伸的而且结构化的光片。在此，贝塞尔光束彼此贴靠地设置，使得各个贝塞尔光束的次极大值在传播平面、光片平面的上方和下方解构地叠加。根据各个贝塞尔光束彼此间的间距，获得不同的干涉图案。

在WO2014/005682A1中介绍了所谓的sinc³光束的产生。在试样中，由此能够产生仅具有较小的次极大值的近乎方形的光片。

无论哪种类型的光片，该类型的显微镜的挑战是，相对彼此定位光片及其光片平面和检测物镜，使得光片平面在检测物镜的物场的预定范围内与该物镜的焦平面一致。在此，检测物镜的光轴往往与光片平面垂直，这种情况下，光片平面和检测物镜的焦平面必须一致，即在相同的平面中全等。这可以通过两个物镜彼此的相对移动来实现。通过沿着检测物镜的光轴移动检测物镜，可以移动检测物镜的焦平面。然而，通常还借助照明设备来定位光片，照明物镜形成照明设备的一部分。在此，光片既可以沿着检测物镜的光轴移动，也可以沿着照明物镜的光轴移动。

最佳聚焦状态的确定通常是以可视的方式进行。用户大多借助试样的瞬时图像来区分何时达到最佳聚焦的状态。这种照明在一个平面中的视觉印象很大程度上取决于(通常是未知的)试样及其立体结构。因此，此过程需要大量经验并且并不总是可重复的。例如，当前位于检测物镜的焦平面中的区域可能只有少数荧光结构，而在同一平面或其上下的相邻区域则具有许多荧光结构。没有经验的用户现在可能会试图或通过光片中间部分的横向移位或沿着检测物镜的光轴的移位将光片移动到许多荧光结构所在的位置。在任何情况下，这都会导致检测到的信号增加，并错误地促使更好的聚焦状态。借助例如用于评估图像质量(例如用于确定清晰度和/或对比度)的经典标准，这些标准通常用于摄影物镜的自动聚焦，尽管可以降低聚焦评估中的易错性，但到目前为止，对于未知试样，可以可重复地设置最佳聚焦状态。

发明内容

因此，本发明的目的是进一步开发上述类型的用于试样的光片显微镜检测的方法，使得可以在独立于试样并且也独立于用户的情况下重复并进而客观地确定最佳聚焦状态；可选地，应自动设置最佳聚焦。此外，应提供可以执行该方法的光片显微镜。

在最简单的情况下，该目的在最初描述的方法中实现，方式为，借助神经网络通过分析至少一个图像来确定光片平面是否至少部分地位于检测物镜的焦平面中。如果光片平面与检测物镜的光轴彼此垂直，则在最佳聚焦的状态下，光片平面处于焦平面中。然而，也使用如下配置，其中，光片平面和检测物镜的光轴形成不同于90°的角度，使得光片平面和检测物镜的焦平面沿直线相交，光片平面则仅部分地位于检测物镜的焦平面中。原则上，0°至180°之间的所有角度都是可能的，其中不含这两个临界角度。然而，在这两个临界角度周围也无法实现光片照明的优势，这是因为光片具有有限的厚度，使得照明则不再局限于检测物镜的焦平面周围的小区域。除了相对于检测物镜的焦平面二元确定光片平面的位置之外，也可以替代地或组合地确定光片平面沿检测物镜的光轴位于焦平面的哪个方向上和/或光片平面沿检测物镜的光轴测量距离焦平面多远。

将至少一个图像传递给神经网络。然后，该神经网络借助确定的标准在光片平面相对于检测物镜的焦平面的位置方面对图像进行分析。这些标准借助示例数据在神经网络上进行训练，优选地已由制造商进行训练。涉及随着时间的推移随着进行的多个检测而改进的标准，对于每个光片显微镜的检测，神经网络还可以学习以及改变标准和/或其权重。

尤其是，还可以在记录至少一个图像之前确定试样的类型，并且可以通过光片参数使光片适应该试样。这种确定优选地自动进行。例如，试样的类型取决于其透明度或具有荧光标记的标识。然后例如设置光片参数(其中包括光片的颜色和结构等)，使得光片参数在拍摄期间为所识别的试样类型提供最佳对比度。可以将光片参数和试样类型作为检测参数提供给神经网络，以加快分析并提高其准确性。

作为神经网络，优选地使用深度神经网络(Deep Neural Network，DNN)，特别优选地使用卷积神经网络(CNN)。这种类型的神经网络特别良好地适合于处理和分析图像文件。尤其是，CNN特别好地适合于通过结构光片(例如使用条纹图案)对试样照明的应用：这里的卷积可以限制为一维，由此减少了对试样结构的依赖，这是因为然后只有图像区域彼此偏移，图像区域具有光片结构化的相同相位。在此，有利地，将CNN的接受域限制在光片的周期内，以进一步减少对试样的依赖。可以替代地或组合地使用这两个措施。

如果对单个图像进行拍摄，则神经网络至少会做出关于光片平面是否(至少部分地)位于检测物镜的焦平面中的结论。神经网络被训练得越好，就能做出更好且更准确的结论。尤其是，然后可以借助单个图像来不仅确定光片平面是否至少部分地处于检测物镜的焦平面内，如果光片平面不处于焦平面时，还确定焦平面沿检测物镜的光轴位于哪个方向上以及检测物镜的焦平面距离光片平面多远。距离确定优选地基于对至少一个图像的焦点质量的确定来进行。

然而，在该方法的优选设计方案中，将图像序列拍摄、将其传输到神经网络并由该神经网络分析。在此，可以以不同方式生成图像序列。在第一设计方案中，可以在检测物镜的焦点的恒定位置和光片沿照明物镜的光轴的不同位置中对图像序列进行拍摄。该程序能够确定光片的中间部分相对于检测物镜的光轴的位置，并在必要时能够进行定位，使得检测物镜的光轴穿过光片的中间部分。从垂直于光片平面的方向看，在该处光片最薄，使得沿检测物镜的光轴的被照明的试样区域也具有最小的延展，这有利于光片显微镜的检测。有利地，将序列图像在被传输给神经网络之前组合成整体图像，然后将整体图像传输给神经网络。

然而，在第二设计方案中，也可以在光片或光片平面相对于检测物镜的焦平面沿检测物镜的光轴的不同位置处(即围绕焦平面)对图像序列进行拍摄。为此，可以改变光片的位置或检测物镜的焦平面的位置。这些位置可以是彼此等距或可变间隔的。沿着检测物镜的光轴(也称为Z轴)以光片的等距位置拍摄的图像序列也称为Z堆。在最简单的情况下，这个Z堆被传输到神经网络进行分析而无需进一步处理，其中，通常序列的每个单独图像经由自身的通道被传输到网络。相对唯一的单个图像的分析的优势是可以使用来自与焦平面相邻的平面的重要信息。因此，例如，神经网络可以评估平面之间的结构清晰度，并由此在单个图像分析时以较小的耗费来确定，必须沿着检测物镜的光轴在哪个方向上移动光片并且在必要时移动多远，以便处于光片的焦平面中。在此，神经网络的处理可以在整个Z堆上进行，然后神经网络的输入通道的数量对应于Z堆中的拍摄数量。但是，也可以根据三维折叠将处理限制在Z堆的一部分。

然而，Z堆的使用对神经网络预定相对刚性的边界条件，例如沿检测物镜的光轴的等距距离以及图像数量。如果为这样的堆训练了网络，该网络的条件就不能再改变，即不同训练的网络也必须可用于具有不同参数的Z堆。然而，Z堆的使用提供了所有平面的公共信息可用的优势。在特别优选的设计方案中，允许更灵活地处理图像的数量和图像彼此之间的距离或图像沿检测物镜的光轴的位置，在传输给神经网络之前，替代地也将图像序列(但非Z堆)组合成整体图像。这是通过紧邻设置来自不同焦点位置的单个图像并因此将其沿图像坐标系中的轴或方向合并成的二维的整体图像来进行的。在笛卡尔图像坐标系中，优选地选择如下轴，沿着该轴，图像中的像素数量较少；然而，对于神经网络，这本身并没有任何作用。然后仅将整体图像经由单个通道传输到神经网络。全卷积神经网络(FCN)也尤其适合于分析这样的整体图像。可以用可变数量的拍摄对FCN进行训练，FCN然后也可以应用于可变数量的拍摄。在此，沿Z轴的拍摄的距离不必事先确定，并且也可以变化。在整体图像的分析中，还有利地，对来自相邻平面的信息(在此则是相邻图像)进行考虑。

在最简单的情况下，尤其是在借助单个图像训练网络时，网络指示光片平面至少部分地位于检测物镜的焦平面中或不位于检测物镜的焦平面中。然后尤其是当网络已经被训练和/或图像序列已被拍摄时，网络还可以分析光片平面在焦平面的哪个方向和/或距离焦平面多远。在此，沿检测物镜的光轴测量该距离，然后当光片平面与检测物镜的焦平面形成不同于90°的角度时，这尤为重要。在经过充分训练的神经网络中，在借助Z堆或整体图像可以恰好在未知系统中更精准地确定方向和/或距离的情况下，单个图像就已经足够。

除了在类别“在焦点中”和“不在焦点中”以及在子类别“在焦平面之上”和“在焦平面之下”中的分类之外，还可以通过神经网络在特别有利的设计方案中确定与焦平面的具体距离，然后可以输出该距离以向用户显示，必须如何调整光片，或者以通过光片平面和检测物镜的焦平面彼此的相对移动来经由控制单元在焦平面中在检测物镜的光轴的区域中将光片正确定位。如果光片定位正确，则通过再次拍摄单个图像或图像堆来对试样进行实际检测，其中在这种情况下，由于检测物镜聚焦在光片上，因此通常会移动试样台。

为了确定光片平面与检测物镜的焦平面的距离，有目的地为至少一个图像确定焦点质量。这也可以在0至1之间的范围内进行归一化，然后将所谓的与焦点质量相对应的分数分配给图像。分数1在此表示光片平面位于焦平面中；分数降低对应于检测物镜的焦平面与光片平面之间的距离增加。尤其是在拍摄图像序列时，这些图像优选地可以在分析之前通过FCN组合成整体图像。然后，神经网络为整体图像中的每个图像确定焦点质量，并从焦点质量中确定分数，通常将该分数针对整体图像存储为分数向量，并且该分数包含与整体图像中的图像数量相对应的元素数量。在此，在各个分数的计算中，也可以包含其他图像的焦点质量。结果，输出带有分数的向量，借助该分数，然后可以确定光片平面的位置，其中该光片平面在检测物镜的物场(例如物场的中心)的区域中与检测物镜的焦平面一致。然后，该值可以用于相应地(自动或手动地)调整光片平面。在此，然后可以将最高分数用作调整光片平面的结果，但是可以优选地借助内推法，例如借助多项式回归确定更精确的值。然后将光片平面优选地自动移动到检测物镜的相应确定的焦点位置中。

对位置的重复搜索也是可能的。在二元分类的情况下，例如通过在将结果分类到类别“未在焦点中”之后沿着检测物镜的光轴移动光片平面以及拍摄另一图像并且通过神经网络对另一图像进行分析，可以重复进行光片相对于检测物镜的焦平面的定位。最迟在拍摄第二张图像之后，也可以通过比较给出检测物镜的焦平面相对于光片平面所处的方向。以这种方式，光片平面可以重复地渐渐与焦平面一致。

在二元分类的情况下，重复搜索的另一种可能性在于，首先在光片相对于检测物镜的焦平面的不同位置中沿检测物镜的光轴拍摄第一图像序列，即沿检测物镜的光轴以可能较大的固定的距离拍摄单个图像，并且通过神经网络例如使用所计算的置信度为每个图像确定焦点质量。然后，神经网络确定第一序列中沿检测物镜的光轴的焦点质量最好的那两个图像。在等距拍摄的情况下，这两个图像通常具有最高的焦点质量。光片在检测物镜的光轴上的位置(其中这两个图像被拍摄)限定具有最佳焦点质量的距离间隔。在沿光轴的与第一序列的这两个图像相关联的位置之间，即在具有最佳焦点质量的距离间隔中，现在在光片相对于检测物镜的焦平面的不同位置中沿检测物镜的光轴拍摄另一图像序列，即再次拍摄单个图像，但仅在具有最佳焦点质量的间隔内部。因此减少了测量距离并改进了搜索。重复这些步骤，直到找到焦点位置。作为重复的终止标准，例如可以限定其间焦点质量最好的两个图像之间的距离低于预定值。替代地或组合地，这两个图像的焦点质量超过预定值的事实也可以用作终止标准。然后，这些位置中的任何一个都可以在通过终止标准限定的预定公差范围内等同于检测物镜的焦平面，或者通过内推法从不同位置的焦点质量的值中进行确定。

类似地，也可以在拍摄在这种情况下与各个图像序列对应的Z堆时设置。在这里，可以拍摄沿着检测物镜的光轴具有堆的各个图像的不同精细分辨的距离的Z堆。这种方法的优势是不必在距离方面以高分辨率搜索整个搜索区域。

与基于二元分类的过程相比，以可能略微降低的精度更快地到达目标的定位光片的另一种可能性在于，为至少一个图像通过回归确定光片平面在各个图像中的瞬间位置中与检测物镜的焦平面的距离，即间距。在这里，例如，可以通过神经网络借助回归确定连续数字集的间距或借助有序回归确定离散数字集的间距。为此，也可以拍摄Z堆，但也可以在光片平面与检测物镜的焦平面的不同间距处拍摄单个图像。每个图像由神经网络在确定标准方面进行评估。神经网络为至少一个图像例如确定间距值，间距值给出图像被拍摄的光片的位置与检测物镜的焦平面距离多远；在以固定间距沿着检测物镜的光轴预定采样率的情况下，神经网络例如也可以确定步长值，步长值给出在这些条件下需要多少采样步长来到达焦点位置。接着例如通过取平均值(例如，如果估计在光片沿检测物镜的光轴的不同位置处步长到检测物镜的焦点位置的间距或数量，那么可以基于步数数量或间距变化彼此是已知的事实，相对彼此进行标准化)将单个结果组合成最终决定。接着可以对彼此标准化的预测进行平均，以便做出最终估计；该最终估计或决定导致对光片平面到检测物镜的焦平面的间距的预测。与间距的值一起，此外还可以输出置信度，置信度表明间距的确定有多可靠。

在所有情况下，在通过神经网络分析以及确定光片平面至少部分地位于检测物镜的焦平面中的那个位置之后，在优选的设计方案中，自动将光片进行定位，使得光片平面与检测物镜的焦平面在检测物镜的物场的区域中一致。优选地，在此注意物镜与试样台或试样之间没有碰撞。如果检测物镜的光轴与光片平面形成90°的角度，则在整个物场中存在一致。当检测物镜的光轴相对于光片平面处于倾斜位置时，即光片倾斜时，情况并非如此，使得只能在物场的区域中实现一致。只要至少一个图像没有被划分为子区域，则该区域优选地位于物场的中间。当然，也可以只输出距离并提示用户要如何调节光片。

尤其对于这种倾斜位置而言，如果将至少一个图像划分为子区域并且借助神经网络为每个子区域分别确定光片平面处于检测物镜的焦平面的哪个方向和/或光片平面与检测物镜的焦平面距离多远(平行于检测物镜的光轴测量)，则获得更灵活类型的聚焦。如果选择子区域，并为该子区域确定光片平面与检测物镜的焦平面之间的距离，则仅对于该子区域而言，光片平面与检测物镜的焦平面在检测物镜的物场的相应区域中一致。这能够实现倾斜位置的光片的灵活调整，例如，不必移动试样台以将部分区域带入物场的中心。

为了增加该方法的稳健性，可以在拍摄至少一个图像之前确定试样的类型。这提供了可以作为参数被传输到神经网络的背景信息。根据试样的类型(这也包括要进行的实验的类型)，尤其可以确定光片的参数并且可以选择神经网络。例如，试样的类型还包括用什么染料标识试样。相应地，可以选择具有激发染料发荧光的波长的激光。也可以根据试样类型选择神经网络。有目的性地，在此，根据不同的试样和/或光片类型训练的并且由此相同神经网络模型(即具有相同架构)的不同参数化的版本可用，从该版本中进行选择。当然在不同的网络架构之间进行选择也是可行的。参数化在试样和光片类型方面的差异越大，网络越稳健且越不复杂。

为了更容易和更高效地设计光片平面与检测物镜的焦平面的间距的确定，优选地，在确定光片是否至少部分地处于检测物镜的焦平面中之前，对至少一个图像进行预先分析，试样是否处于图像中，并且如果试样处于图像中，那么试样是否完全适合于所述的确定。这种预先分析可以借助整体图像自动进行，例如可以借助经典方法，但也可以借助神经网络或为预先分析而设置的神经网络，针对允许上述确定的感兴趣领域(ROI)对图像进行检测。为此，至少一个图像优选地被划分为单个地被预先分析的子区域。然后可以将子区域划分为合适的和不合适的区域。子区域具有至少平面状检测器的像素大小。当然，也可以手动地进行预先分析，即选择ROI。尤其是在训练神经网络时，这种手动选择将是使错误率最小化并创建自动模型以找到此种ROI的优选路径。ROI的自动识别也可以借助通常的检测和图像评估，必要时也可以使用神经网络：对图像进行拍摄并检测存在ROI或不存在ROI的区域。然后在具有平面坐标以及必要时具有坐标内区域大小的说明的列表中进行输出。这个列表(其具有带ROI或不适合于确定光片平面相对于检测物镜的焦平面的位置的位置的这种区域的坐标)然后可以再次被传输到神经网络，使得将如下分析限制于ROI，或将确定的不合适的区域不包含在分析中。

有目的性地，在分析或预先分析之前借助现有技术中已知的图像处理算法对至少一个图像进行预处理。对此，例如，包括用于对比度改进、过滤、投影或标准化的算法。

该方法可以毫不费力地集成到现有的光片显微镜中，光片显微镜可以机动化地控制物镜、试样台的移动以及调整光片的位置。用于执行上述方法的这种光片显微镜包括用于产生光片的照明设备，照明设备具有使用光片对试样进行照明的照明物镜。光片显微镜还包括具有检测物镜的检测设备，以用于将试样发射的光成像到平面状检测器上。在此，检测物镜的光轴和照明物镜的光轴形成不同于0°和180°的角度。角度优选地为90°。检测物镜的光轴在光片平面中穿过光片。最后，光片显微镜具有与平面状检测器连接的图像评估单元，以用于评估由平面状检测器记录的至少一个图像。在此，在图像评估单元中实施神经网络，神经网络在评估时确定，光片是否至少部分地位于检测物镜的焦平面中。为了根据通过神经网络的评估自动调整光片和/或检测物镜的焦平面的位置，光片显微镜优选地包括控制单元，使得光片平面与检测物镜的焦平面在检测物镜的物场的区域中或对于倾斜位置的光片在事先确定的物场的子区域中一致。

不言而喻，在不脱离本发明的范围的情况下，上述特征和下面还要解释的特征不仅可以以指定的组合使用，而且可以以其他组合使用或单独使用。

附图说明

下面参照附图借助示例性实施例更详细地解释本发明，这些附图还公开了对本发明而言必不可少的特征。这些实施例仅用于说明并且不应被解释为限制性的。例如，对具有多个元件或部件的实施例的描述不应被解释为暗示所有这些元件或部件都是实施所必需的。相反，其他实施例可以包括替代的元件和部件、更少的元件或部件、或附加的元件或部件。除非另有说明，否则不同示例性实施例的元件或部件可以相互组合。针对实施例之一所描述的修改和变化也可以能够适用于其他实施例。为避免重复，不同附图中相同或彼此对应的元件以相同的附图标记表示，且不再赘述。其中：

图1示出光片显微镜；

图2示出光片显微镜的局部视图；

图3示出用于确定光片平面与检测物镜的焦平面的距离的典型方法流程；

图4示出光片与检测物镜的焦平面的不同距离中的图像；以及

图5示出神经网络对图像的分析的结果。

具体实施方式

图1首先示出光片显微镜的基本结构，光片显微镜可以用于对试样进行光片显微镜检测。在这里，光片显微镜以倒置的配置示出，这可以仅示例性地理解为，在其中可对试样从上方或从侧面进行观察的光学显微镜也是可行的设计方案。试样1处在试样腔室2中并且由液体3、例如水或营养液环绕。试样腔室2具有由玻璃制成的、预设厚度的侧壁和底部，在此，该厚度通常等于常见的显微镜载玻片的厚度，例如为0.17mm。试样腔室2支承在试样台4上，试样台能够手动或以马达驱动地沿三个空间方向移动。光片显微镜的各个元件设置在试样腔室2的下方，试样腔室具有透明的底部5。在光片显微镜的物镜与试样腔室2的底部5之间存在所谓的虚拟中继器6，该中继器具有内透镜和外透镜。在虚拟中继器6的内透镜与试样腔室的底部5之间同样存在液体3。在虚拟中继器6的内透镜与外透镜之间存在环绕的大气，通常为空气，同样在虚拟中继器6的外透镜与光片显微镜的物镜之间也存在环绕的大气。

虚拟中继器6用于平衡由于照明物镜的光轴和检测物镜的光轴不垂直于试样腔室2的底部5地设置而产生的像差。在进行这种修正时，取代虚拟中继器6，也可以使用其他修正机构，诸如前置透镜或自由形状透镜，其集成在物镜中。尤其是，可以使用同心透镜代替虚拟中继器，以适应试样的折射率，并且可以借助物镜内部的自由形状面通过倾斜的盖玻璃通道或通过物镜外部的自适应光学元件来修正像差。从上方观察需要不同的配置，然后通常使用直接浸入液体3中的浸没物镜。

在左侧示出具有照明光束路径的照明设备。经由光束成形模块8和扫描模块9将出自激光模块7的光引导到照明物镜10上，对于该激光模块，例如这里可以容纳不同波长的几个激光器，并且能够在不同波长之间进行选取，其中，也可以同时选择多个波长；光束成形模块8和扫描模块9例如可以用于产生准静态的光片和/或用于角度扫描；照明物镜10使进入在这里包括照明物镜的光轴的光片平面的光片成像到试样中。试样因此经由照明物镜10通过光片被照明。照明物镜10的焦点、也就是光片具有最薄的扩展(也称为中间部分)的部位能够借助于定位单元11在由双箭头指示的方向上调整。在光片平面中沿着照明物镜10的光轴，例如，压电驱动器可以用于调整；这种移动通过短的双箭头标识。垂直于光片平面(由长双箭头标识)，定位例如可以借助布置在照明物镜10的光瞳平面中的可倾斜反射镜或电流计扫描仪来进行。

在右侧显示具有示例性检测光束路径的检测设备。检测设备包括检测物镜12，与照明物镜10类似，检测物镜12可以借助驱动器进行调整，现在这里只有压电驱动器13。检测物镜12的光轴与照明物镜10的光轴所在的光片平面围成不同于0°和180°的角度，在这里为直角。然而，这不是绝对必要的；该方法也可以在光片平面与检测物镜12的光轴之间的不为零的角度下实施。检测物镜12的光轴在光片平面内穿过光片。试样1发出的荧光被检测物镜12引导到检测模块14上。平面状检测器位于检测模块14中，其记录强度并将强度转换成相应的电信号，然后流入图像处理装置。至少将检测模块14和定位单元11连接到控制单元15。只要它们可以被控制，则其他元件也可以连接到控制单元15，但是为了清楚起见，这里没有示出相应的连接。

图像评估单元集成在控制单元15中，图像评估单元经由控制单元15连接到平面状检测器。图像评估单元用于评估由平面状检测器记录的图像。在图像评估单元中再次实施神经网络，该神经网络在评估时确定光片是否至少部分地位于检测物镜12的焦平面中。用于自动调整光片和/或检测物镜的焦平面的位置的控制单元也集成到控制单元15中。根据神经网络的评估，控制单元调整光片的位置和/或检测物镜的焦平面，使得光片平面与检测物镜的焦平面在检测物镜的物场的区域中一致。

图2详细示出照明和检测的情况，其中在这里，为清楚起见，未示出试样1。照明物镜10的光轴16和检测物镜12的光轴17彼此成直角。照明物镜16放射光片18，光片平面在此垂直于纸平面布置并包含照明物镜10的光轴16。由于照明考虑，光片18并非完全为平面，而是沿着检测物镜12的光轴17在厚度方面变化。在这里所示的理想状态下，光片18的最薄部位，即光片的中间部分，正好位于检测物镜12的焦平面中。此时，检测物镜12的光轴17穿过光片平面。双箭头又指示相对于检测物镜12定位光片18的可能情况。

图3示出在对试样1进行光片显微镜的检测的范围内在相对于检测物镜12的焦平面确定光片平面的位置时的典型方法流程。在第一准备步骤110中，插入试样1，即将试样1放置在试样台上。可选地，这里可以包含背景信息以准备拍摄。例如，光片显微镜已经可以识别插入的试样的类型，并且可以为光片设置相应的参数，从而例如优化对比度。当然，试样类型和光片参数的设置也可以手动输入。典型的光片参数首先包括光片的类型，例如，光片是否结构化，以及根据一个或多个标记选择的光片的颜色。其他参数还包括光片的长度和厚度，这也根据试样进行选择。例如，对于扩展在2μm和5μm之间的酵母细胞，优选非常薄且短的光片，而对于多细胞生物或类器官，则使用相应较长和较厚的光片。

接着在步骤120中通过平面状检测器对试样1的至少一个图像进行拍摄。为此，试样1借助照明物镜10通过光片18照明。试样1发射的光借助检测物镜12成像到平面状检测器上。在此，可以拍摄单个图像，但也还可以(分别在焦点的恒定位置中)拍摄图像序列，这或者沿着照明物镜10的光轴16在光片18的不同位置处进行，或者沿着检测物镜12的光轴17在不同位置处进行。

在步骤130中，进行预处理图像或图像序列。这借助例如现有技术中已知的图像处理算法来进行。例如，可以将用于对比度改进、标准化、过滤和投影的算法应用于至少一个图像。此外，图像或其数据被带入适合于下文进一步描述的分析的形式中；这尤其适用于所拍摄的图像序列。例如，这些图像可以组合成二维整体图像或立体图像堆，即所谓的Z堆，仅在如果沿着检测物镜12的光轴17的不同位置处对图像序列进行拍摄时才组合成Z堆。

在步骤140中，对至少一个图像进行如下预先分析，试样1是否在图像中并且适合于随后的分析。借助该评估，在步骤150中做出关于是否可以开始分析的决定。如果不是这种情况，则再次执行步骤120，但在此之前在步骤155中选择试样1的新区域。这可以例如借助全景拍摄(使用单独的物镜产生全景拍摄)自动进行或由用户进行。

步骤130和步骤140也可以互换；在这种情况下，查询150将发生在步骤130和140之间。然而，在这种情况下，通常事先准备适用于下面描述的分析的弱结构是有帮助的。此外，步骤140中的预先分析也可以由神经网络或其他神经网络来进行，在这种情况下，在这之前执行步骤130是有意义的。

如果预处理和预先分析已成功完成，则可以将至少一个图像传输到神经网络，该神经网络在作为控制单元15的一部分的图像评估单元中实施。借助神经网络，在步骤160中，通过分析至少一个图像来确定，光片平面是否至少部分地位于检测物镜12的焦平面中。对此，在最简单的情况下，单个图像就足够了。尤其是对于由制造商或通过已经检测的大量试样预训练的神经网络，该单个图像足以确定，光片位于检测物镜12的焦平面的哪个方向和/或沿着检测物镜12的光轴17测量，光片与检测物镜12的焦平面距离多远。在此，可以以特定于试样和/或照明的方式从多个可用的神经网络中预先选择神经网络。卷积神经网络(CNN)尤其适用于图像分析。CNN适合于结构化的光片的照明，其中，只执行一维卷积，以减少对各个试样的依赖。

在步骤170中，由神经网络评估分析结果。如果光片平面相对于检测物镜12的焦平面的位置以足够的精度或置信度被确定，则在步骤180中要么通过通知用户光片平面必须在哪个方向上调整多少量来进行输出，要么有利地使光片平面与检测物镜12的焦平面在检测物镜12的物场的区域中一致。尤其是在光片18相对于检测物镜12的焦平面倾斜的情况下，将至少一个图像划分为多个子区域可以是有意义的，然后，通过神经网络单独地对每个子区域进行分析，即对于每个子区域单独地进行确定，光片平面位于检测物镜12的焦平面的哪个方向和/或沿着检测物镜12的光轴测量，光片平面与检测物镜12的焦平面距离多远。如果选择特定的子区域，则对于该子区域而言，可以使光片平面与检测物镜12的焦平面一致。为此，借助照明物镜10的光瞳平面中的电流计扫描仪，可以将光片18相应地定位在检测物镜12的焦平面中。替代地，检测物镜12本身的焦点也可以移动，例如借助压电驱动器13进行移动。

另一方面，如果神经网络的分析表明，借助至少一个图像还不能够确定检测物镜12的焦平面位于光片平面什么方向和/或检测物镜12的焦平面与光片平面距离多远，则在步骤175中执行调整，并再次拍摄和分析至少一个图像。在拍摄单个图像时，借助图像能够确定光片平面必须移动的方向，这些调整可以使光片18的位置朝该方向移动。通过这种方式，可以重复地缩小搜索区域，并且可以确定光片平面与检测物镜12的焦平面一致的正确位置。也能够在光片平面与检测物镜12的焦平面的不同间距处依次进行拍摄，其中，相邻光片平面之间的间距分别是固定的。然后由神经网络单独地分析这些拍摄，并且对于每次拍摄，例如确定焦点质量，这例如通过使用由神经网络计算出的置信度进行。接着在具有两个最高置信度的间距间隔中细化搜索，方式为，对于该间隔再次在相邻光片平面之间的固定间隔处依次进行试样1的拍摄，但在更细化的间距网格上进行。以这种方式，也可以重复地确定光片平面与检测物镜12的焦平面的精确距离，接着可以使光片平面与该物镜的焦平面在检测物镜12的物场的区域中一致。

替代地，也可以将如上所述产生的空间整体图像或图像的Z堆传输到神经网络以进行分析。然后将Z堆或由沿着检测物镜12的光轴17在空间上彼此隔开地拍摄的图像组合成的二维整体图像作为一个整体进行分析。尤其在使用整体图像时，完全卷积神经网络(FCN)适用于分析，这是因为在完全卷积神经网络中可以处理拍摄之间的光片平面的可变空间距离和可变数量的拍摄。例如，可以在用于相对于检测物镜12的光轴17设置光片平面的极端位置的区域中沿着光轴17选择较大间距，并且在检测物镜12的焦平面的推测的或可能位置的区域中选择较小间距。

图像序列的使用尤其允许光片平面在检测物镜12的焦平面中的正确位置借助多项式或序数回归得到。在此，图像不必组合成Z堆。这种情况下面参考图4和图5来解释。图4示出来自总共十一个图像的序列的三次拍摄，这些图像在光片平面和检测物镜12的焦平面相对于彼此的不同位置处被拍摄。为了调整光片平面相对于检测物镜12的焦平面的位置，可以借助电流计扫描仪沿着检测物镜12的光轴17调整光片的位置，或者可以改变检测物镜12的焦平面的位置。在此，光片平面和焦平面之间的间距在各个拍摄之间分别以恒定量有所不同，它们在这里是等距的，但也可能毫不费力地进行可变选择。

对于三个图像中的每个图像，放大地示出了具有两个细胞的试样的局部视图。这些图像在位置1和位置11处具有磨损的边缘，这表明在各个拍摄中存在模糊。另一方面，在位置6拍摄的图像中，细胞的边缘轮廓相对清晰，这表明清晰度更高。在本示例中，借助焦点质量，现在为每个图像计算所谓的分数，在所选区域中光片平面与检测物镜12的焦平面之间的间距越小，该分数越高。这个分数作为分数向量被输出，每个位置对应向量的一个元素。在图5中，对于每个检测的位置，显示出该分数向量。如果将序数回归应用于分数向量以确定在该试样区域中光片平面在检测物镜12的焦平面中所处的那个位置，则该位置在具有最高分数的位置6处得出。当使用多项式，例如二次回归时，会得出在位置6和位置7之间的值。根据当前设置的在光片平面和焦平面之间在所选区域中的位置，可以向用户显示：通过调整光片位置或通过调整检测物镜12的焦点位置要将相对的位置改变朝向哪个方向进行；有利地，自动设置光片平面与检测物镜12的焦平面一致的正确位置。最后可以对试样1进行实际的光片显微镜检测。

上述方法提供了如下可能性，即对于大量试样而言，在也对未知试样的充分训练后，使光片平面和检测物镜12的焦平面以可重复的方式一致，使得它们基本上全等。由此降低了光片显微镜检测中的易错性，并且可以更好地比较检测结果。

附图列表

1 试样

2 试样腔室

3 液体

4 试样台

5 透明的底部

6 虚拟中继器

7 激光模块

8 光束成形模块

9 扫描模块

10 照明物镜

11 定位单元

12 检测物镜

13 压电驱动器

14 检测模块

15 控制单元

16 照明物镜的光轴

17 检测物镜的光轴

18 光片

Claims (19)

1.一种用于试样(1)的光片显微镜检测的方法，其中

借助照明物镜(10)通过光片(18)对所述试样(1)进行照明，

将由所述试样(1)发射的光借助检测物镜(12)成像到平面状检测器上，其中，所述检测物镜(12)的光轴(17)与所述照明物镜(10)的光轴(16)围成不同于0°和180°的角度并且在光片平面中穿过所述光片(18)，并且

平面状检测器拍摄至少一个图像，其特征在于，

借助神经网络通过分析所述至少一个图像来确定以下方面：

i.所述光片平面是否至少部分地处于所述检测物镜(12)的焦平面中，和/或

ii沿着所述检测物镜(12)的光轴(17)，所述光片平面位于所述焦平面的哪个方向上，和/或

iii.沿着所述检测物镜(12)的光轴(17)测量，所述光片平面与所述焦平面距离多远。

2.根据权利要求1所述的方法，其特征在于，在所述检测物镜(12)的焦点的恒定位置中和在所述光片(18)沿着所述照明物镜(10)的光轴(16)的不同位置中，或者沿着所述检测物镜(12)的光轴(17)在所述光片(18)相对于所述检测物镜(12)的焦平面的不同位置中，对图像序列进行拍摄，将所述图像序列传输给所述神经网络以用于分析并且由所述神经网络对图像序列进行分析。

3.根据权利要求2所述的方法，其特征在于，当所述图像序列在所述光片(18)沿着所述照明物镜(10)的光轴(16)的不同位置中被拍摄时，将所述图像序列在由所述神经网络分析之前组合成整体图像；并且当所述图像序列在沿着所述检测物镜(12)的光轴(17)的不同位置中被拍摄时，将所述图像序列在由所述神经网络分析之前组合成立体图像堆或整体图像。

4.根据权利要求3所述的方法，其中，将图像序列组合成立体图像堆，并且所述神经网络将分析限制于所述立体图像堆的图像的仅一部分图像。

5.根据权利要求1至4中任一项所述的方法，其特征在于，为确定所述光片平面与所述检测物镜(12)的焦平面的距离，针对所述至少一个图像确定焦点质量。

6.根据权利要求1至5中任一项所述的方法，其中

沿着所述检测物镜(12)的光轴(17)在所述光片(18)相对于所述检测物镜(12)的焦平面的不同位置处拍摄图像序列，

将所述图像序列组合成整体图像并将整体图像传输给神经网络以用于分析，

为确定所述光片平面与所述检测物镜(12)的焦平面的距离，借助所述神经网络，针对所述整体图像中的每个图像确定焦点质量并计算出一个分数，并且

借助所述分数确定所述光片平面的位置，其中，所述光片平面在所述检测物镜(12)的物场的区域中与所述检测物镜(12)的焦平面一致。

7.根据权利要求1至5中任一项所述的方法，其中，确定所述光片平面是否至少部分地位于所述检测物镜(12)的焦平面中，其特征在于，重复地确定所述光片平面的位置，所述光片平面在所述检测物镜(12)的物场的区域中与所述检测物镜(12)的焦平面一致。

8.根据权利要求7所述的方法，其中

a)沿着所述检测物镜(12)的光轴(17)在所述光片(18)相对于所述检测物镜(12)的焦平面的不同位置中拍摄第一图像序列，

b)通过所述神经网络为每个图像确定焦点质量，

c)通过所述神经网络确定第一序列中的在图像之间的焦点质量最佳的那两个图像，

d)沿着所述光轴(17)在与所述第一序列中的这两个图像相对应的位置之间，沿着所述检测物镜(12)的光轴(17)在所述光片(18)相对于所述检测物镜(12)的焦平面的不同位置中拍摄另一图像序列，并且

e)重复步骤b)至d)，直到在图像之间的焦点质量最佳的两个图像的间距低于预定值和/或所述两个图像的焦点质量超过预定值为止。

9.根据权利要求1至4中任一项所述的方法，其特征在于，针对所述至少一个图像，借助所述神经网络通过回归来确定所述光片平面与所述焦平面的距离。

10.根据权利要求1至9中任一项所述的方法，其特征在于，在确定所述光片平面至少部分地处于所述检测物镜的焦平面中的位置之后，使所述光片平面与所述检测物镜(12)的焦平面在所述检测物镜(12)的物场的区域中一致。

11.根据权利要求1至10中任一项所述的方法，其特征在于，将所述至少一个图像划分为多个子区域并且借助所述神经网络为每个子区域分别确定：所述光片平面处于所述检测物镜(12)的所述焦平面的哪个方向，和/或平行于所述检测物镜(12)的所述光轴(17)测量，所述光片平面与所述检测物镜的所述焦平面距离多远，并且，当选择一子区域且确定距离时，针对所述子区域使所述光片平面与所述检测物镜(12)的焦平面在所述检测物镜(12)的物场的区域中一致。

12.根据权利要求1至11中任一项所述的方法，其特征在于，在拍摄所述至少一个图像之前确定所述试样(1)的类型，并且根据所述试样(1)的类型，为所述光片(18)确定参数，以及选择神经网络。

13.根据权利要求1至12中任一项所述的方法，其特征在于，使用深度神经网络(DNN)、优选卷积神经网络(CNN)作为神经网络。

14.根据权利要求13所述的方法，其中，通过周期性结构化的光片(18)进行照明，并且使用限于一维或二维卷积的卷积神经网络和/或将所述卷积野神经网络的接受域限于所述光片(18)的一个周期。

15.根据权利要求1至14中任一项所述的方法，其特征在于，在通过所述神经网络对所述至少一个图像进行分析之前，对所述至少一个图像进行如下预先分析，即所述试样(1)是否处于图像中，并且当所述试样(1)处于图像中时，所述试样(1)是否适合于所提及的确定方法。

16.根据权利要求15所述的方法，其特征在于，用于预先分析的所述至少一个图像被划分为多个单独地被预先分析的子区域，和/或借助所述神经网络对所述至少一个图像进行预先分析。

17.根据权利要求1至16中任一项所述的方法，其特征在于，在分析或预先分析之前借助图像处理算法对所述至少一个图像进行预处理。

18.一种用于实施根据权利要求1至17中任一项所述的方法的光片显微镜，包括

用于产生光片的照明设备，所述照明设备具有通过所述光片(18)对试样(1)进行照明的照明物镜(10)，

具有检测物镜(12)的检测设备，以用于将从所述试样(1)发射的光成像到平面状检测器上，其中，所述检测物镜(12)的光轴(17)与所述照明物镜(10)的光轴(16)形成不同于0°和180°的角度并且在光片平面内穿过所述光片(18)，

与所述平面状检测器连接的图像评估单元，以用于评估由所述平面状检测器记录的至少一个图像，其特征在于，

在所述图像评估单元中实施神经网络，所述神经网络在评估时确定以下方面：

i.所述光片(18)是否至少部分地处于所述检测物镜的焦平面中，和/或

ii.沿着所述检测物镜(12)的光轴(17)，所述光片平面处于所述焦平面的哪个方向上，和/或

iii.沿着所述检测物镜(12)的光轴(17)进行测量，所述光片平面与所述焦平面距离多远。

19.根据权利要求18所述的光片显微镜，包括控制单元，所述控制单元用于根据所述神经网络的评估自动调整所述光片(18)的位置和/或所述检测物镜(12)的焦平面的位置，使得所述光片平面与所述检测物镜(12)的焦平面在所述检测物镜(12)的物场的区域中一致。

Images