CN114240993A - 用于使样品载体定向的显微镜系统、方法和计算机程序 - Google Patents

Abstract

一种用于使显微镜(1)的样品载体(7)定向的方法包括以下步骤：拍摄全景图像(30)，在所述全景图像中所述样品载体(7)和/或样品载体环境至少是部分可见的；通过计算机程序(80)的机器学习模型(44、45)评估所述全景图像(30)，所述机器学习模型在所述全景图像(30)中针对至少一个预先给定的对象(25)进行对象定位；根据所述对象定位，通过所述计算机程序(80)评估，是否所述样品载体(7)在所述全景图像(30)中是被定中心的；如果所述样品载体(7)被评估为在所述全景图像(30)中不是被定中心的：则基于通过计算机程序(80)进行的对象定位来确定定中心运动(57)，其中，所述定中心运动(57)给出用于使所述样品载体(7)在所述全景图像(30)的图像中心的方向上运动的样品台运动；基于定中心运动(57)进行样品台调节；并且在进行样品台调节之后拍摄被定中心的全景图像(60)。也描述了一种相应的计算机程序和显微镜系统。

Description

用于使样品载体定向的显微镜系统、方法和计算机程序

技术领域

本公开涉及一种用于使显微镜的样品载体定向的方法。本公开还涉及一种用于使样品载体定向的显微镜系统和计算机程序。

背景技术

对于显微镜，部分或完全自动化发挥着越来越重要的作用。此处通常使用安装在显微镜支架上的全景相机。全景相机拍摄样品台和插入的保持框架和/或样品载体的宏观图像。

全景图像一方面可用于文件资料汇编。另一方面，从全景图像中也可以导出关于测量情况的信息并用于部分或全自动控制。例如，可以从一个全景图像或从两个不同的全景图像中估计保持框架和/或样品载体的高度。全景图像还可以用作用户的导航地图，借此用户可以选择样品区域，然后自动地接近这些区域。此外，从全景图像中可以导出关于样品类型或样品的污染程度的信息。例如，在DE102017111718A1中，申请人描述了一种显微镜，其中获得并评估全景图像。由不同照明的两个全景图像创建全景对比度图像。然后借助用于图像分类或分割的机器学习模型进一步处理全景对比图像。

在拍摄全景图像之前，在带有机动样品台的显微镜中，首先使样品台移动到合适的位置。在此情况下，特别是由于一些保持框架具有用于样品载体的可移动的保持面而产生问题。在固定的台位置的情况下，样品载体的位置因此不是预先固定地给定的。因此，不能仅仅通过预先给定的台位置来保证样品载体被适当地定位以用于拍摄全景图像。在非机动样品台的情况下，要求用户做出更多的努力来正确地定位样品载体以拍摄正确的全景图像。在使用多个样品载体进行系列测量的情况下，可能必须为每个样品载体再次手动地确定用于拍摄相应的全景图像的合适的台位置。

发明内容

本发明的目的在于，提供一种显微镜系统、一种方法和一种计算机程序，其实现以尽可能简单和可靠的方式在合适的定向上拍摄样品载体的全景图像。

该目的通过具有权利要求1的特征的方法、通过具有权利要求12的特征的方法、通过具有权利要求14的特征的显微镜系统和通过具有权利要求15的计算机程序来实现。

根据本发明的用于使显微镜的样品载体定向的方法至少包括以下步骤：拍摄(第一)全景图像，在所述全景图像中样品载体和/或样品载体环境至少是部分可见的。通过计算机程序的机器学习模型评估所述全景图像，所述机器学习模型在所述全景图像中针对至少一个预先给定的对象进行对象定位。计算机程序根据所述对象定位评估，是否样品载体在全景图像中是被定中心的。如果样品载体被评估为在全景图像中不是被定中心的，则计算机程序基于对象定位确定定中心运动。所述定中心运动给出用于使样品载体在全景图像的图像中心的方向上运动的样品台运动。基于定中心运动进行样品台调节(样品台运动)。在此之后拍摄另一个全景图像，该全景图在当前情况下被称为被定中心的全景图像。

以类似的方式，根据本发明的用于使样品载体定向的显微镜系统包括显微镜，该显微镜被设置用于拍摄全景图像，在该全景图像中样品载体和/或样品载体环境至少是部分可见的。显微镜系统还包括计算设备，该计算设备被设置用于通过机器学习模型评估全景图像，该机器学习模型在所述全景图像中针对至少一个预先给定的对象进行对象定位。计算设备此外被设置用于，根据对象定位评估，是否样品载体在全景图像中是被定中心的。如果不是这种情况，则计算设备基于对象定位确定定中心运动，其中，该定中心运动给出用于使样品载体在全景图像的图像中心的方向上运动的样品台运动。

一种根据本发明的实施方式的计算机程序包括命令，当计算机程序由计算机或显微镜系统执行时，所述指令促使执行本发明的方法。此外，一种根据本发明的另一个实施方式的用于使显微镜的样品载体定向的计算机程序包括命令，当程序由计算机执行时，所述指令促使执行以下步骤：获得全景图像，在所述全景图像中样品载体和/或样品载体环境至少是部分可见的；通过机器学习模型评估全景图像，所述机器学习模型在全景图像中针对至少一个预先给定的对象进行对象定位；和基于对象定位确定定中心运动，其中，所述定中心运动给出用于使样品载体在全景图像的图像中心的方向上运动的样品台运动。

本发明可靠地实现了用于拍摄全景图像的样品载体的适当的定位。特别地，在首先拍摄的全景图像中被裁剪的样品载体可以完全地成像在在其上拍摄的被定中心的全景图像中。在此情况下通过用户进行的操作只在很小的程度上是必要的，或者根本不需要。与经典的评估算法相比，使用机器学习模型的对象定位导致在改变的测量环境、新型的保持框架或新型的样品载体方面的明显更好的普遍性。

可选的设计

根据本发明的方法、显微镜系统和计算机程序的有利的变型是从属权利要求的主题并且在以下的描述中进行解释。

可以规定，被定中心的全景图像被用于进一步的图像处理或显微镜控制，而先前的全景图像被丢弃，即特别地不用于显微镜控制或进一步的图像处理。相反，利用被定中心的全景图像例如可以形成导航地图，进行高度估计或选择或计算用于自动对焦的横向位置。

其位置在全景图像中被定位的预先给定的对象特别地可以是样品载体、保持框架和/或保持框架的一部分。为了能够在尽可能多的不同应用中精确地进行定位对象，可以在样品载体、保持框架或保持框架的组件上预先给定多种不同的模型。然后根据该多个预先给定的对象中的哪一个包含在全景图像中并被找到来进行对象定位。

借助于机器学习模型进行对象定位

机器学习模型可以借助于训练全景图像进行训练，在该训练全景图像中至少部分包含样品载体环境和样品载体。由此，机器学习模型学习评估，是否在全景图像中包含至少一个预先给定的对象并在全景图像中定位该对象。机器学习模型可以包括至少一个所谓的深度学习的神经网络，特别是卷积神经网络(convolutional neural network，CNN)。机器学习模型还可以包括多个神经网络，它们一个接一个地执行处理步骤。例如，神经网络最初可以生成分割掩码，在该分割掩码中全景图像的图像区域分别被组合成片段。分割掩码然后被传递到另一个神经网络，该神经网络执行分类，在该分类中例如将样品载体、保持框架或特定的保持框架部件识别为预先给定的对象。备选地，机器学习模型也可以用于实体分割或语义分割，其中，命名或标识对象的相应的语义或实体被指定用于不同的图像片段。现在可以在全景图像中确定该对象的位置，例如保持框架部件的几何重心。诸如确定先前识别的对象的几何重心之类的分步骤也可以通过经典算法来进行，而无需机器学习过程。在多个神经网络一起形成机器学习模型的情况下，各单独的神经网络也可以分别称为机器学习模型或子模型。因此，此处描述的机器学习模型可以由多个，特别是串联的神经网络或机器学习模型组成。

可以通过监控学习、无监控学习、部分监控学习或强化学习来训练一个或多个神经网络。无监控学习特别适用于分割。监控学习例如可以用于分类，其中，为训练全景图像配设了类别名称或目标数据。例如，一个类别可以表示样品载体，而其他几个类别可以表示不同的保持框架部件。在部分监控学习的情况下，仅部分训练图像被注释，例如仅在部分训练图像中输入已知的分类。

与经典的图像处理算法相比，机器学习模型更稳固，因此在图像中的较小的变化或干扰通常不会导致错误。此外，可以容易地通过新的训练过程来补充新的类型的保持框架。相反，在经典的图像处理算法的情况下，建模费用很高，因为补充一种类型的保持框架也极大地影响对已经建模的保持框架的识别。

通过机器学习模型进行的对象定位可以特别地涉及保持框架或保持框架部件的位置、保持框架的一个或多个腹板的位置和/或样品载体的位置。保持框架通常具有一个或多个可运动的腹板，这些腹板与样品载体的尺寸相适配，使得样品载体被保持在腹板之间。因此，可以从腹板的位置可靠地推断出样品载体的位置。相反，保持框架的一些不可运动部分的位置可以独立于腹板的位置，并且因此独立于样品载体的位置，因此这些部分仅提供关于样品载体所位于的可能区域的信息。然而，保持框架的不可运动部分也可以用于定位保持框架本身，由此可以推导出腹板的位置或允许的位置。在对象定位中，也可以确定多个对象的位置并一起使用来计算定中心运动。

如果根据样品载体环境，例如保持框架的一部分，进行对象定位，则样品载体不必在全景图像中是可见的，以确定定中心运动。

机器学习模型可以借助于以下步骤之一来进行对象定位：

可以进行分割，通过该分割在全景图像或其一部分中标记出哪些图像区域属于保持框架。其余的图像区域可以组合为背景或通过分割进一步进行区分，特别地，样品载体的图像区域也可以被标记。分割的输出可以是图像，在该图像中不同的像素值表示不同的片段。备选地，也可以通过矢量图形或对象位置信息/对象框坐标来进行分割输出。

此外，借助全景图像或由其创建的图像的分类，可以区分不同的保持框架腹板。不同的保持框架腹板在它们相对于样品载体的相对位置上彼此不同。因此，不仅与在全景图像中确定保持框架腹板的位置有关，而且与它是何种类型的保持框架腹板有关。定中心运动此时根据多个可能的保持框架腹板中的哪一个被确定而不同。

机器学习模型还可以将分类用于对象定位，在该分类中识别保持框架类型或样品载体类型。在此，分类不仅给出保持框架(部件)包含在全景图像中或包含在全景图像中何处，而且指示它是什么类型。在之前的训练中，为此机器学习模型用显示不同类型的保持框架的训练图像进行训练。一个特定的模型或一组多个相似的模型可以理解为一个类型。对于不同的保持框架类型，相应的几何信息被存储为(关于相应的保持框架类型/样品载体类型的)上下文信息。借助于几何信息确定定中心运动。例如，几何信息可以给出相应类型的保持框架或样品台的目标位置。几何信息也可以包括在用于样品载体的保持框架开口与保持框架部件或保持框架圆周之间的位置信息。关于保持框架类型的上述描述在意义上附加地或备选地也适用于样品载体类型。特别地，可以在支持其余描述的方法的情况下进行类型确定。例如，可以通过对象定位来定位保持框架的角部。通过类型或模型识别，可以借助于存储的值确定样品载体相对于该保持框架的位置。然后可以为所定位的角部确定合适的位移，以便将样品载体运动到图像中心。

此外，可以借助检测在全景图像中确定预先给定的保持框架部分。特别地，可以检测螺钉、保持框架角部或保持框架轮廓、或存在/施加到保持框架上的预先给定的标记。例如，标记可以是文字说明或标签。

作为对保持框架(部件)的分割、分类或检测的替代或补充，机器学习模型还可以对插入保持框架中的对象进行定位。插入的对象特别地可以是样品载体，例如对象载体、腔室对象载体或培养皿，或测量或校准样品。

在对象定位与定中心运动之间的关系

可以预先知道在对象定位中被定位的对象与样品载体的位置之间的位置关系。例如，可以存储这样的信息，即在保持框架腹板具有直的左边缘和凹形成形的右边缘的情况下，样品载体接触凹形成形的右边缘。可以为具有直的右边缘和凹形成形的左边缘的保持框架存储模拟信息。因为可以从被定位的对象的位置推导出样品载体的位置，所以可以确定定中心运动，以便在全景图像的图像中心的方向上改变样品载体的位置。在此，定中心运动涉及样品台，并且由此同样涉及保持框架和样品载体。但是，也可以预先直接知道在在对象定位中的被定位的对象与用于该对象的目标位置之间的位置关系。例如，如果对象是保持框架的外边缘，则目标位置可以位于在全景图像中成像的区域之外，使得样品载体进入全景图像的中心。其他的变型是可能的，例如通过已知在在对象定位中的被定位的对象与参考点之间的位置关系。在这种情况下，可以从所被定位的定位对象的被确定的位置推导出参考点的位置，并将其与参考点的预先给定的目标位置进行比较，以便确定定中心运动。

定中心运动可以仅仅给出样品台运动的方向，或者不仅给出样品台运动的方向而且给出样品台运动的路径长度。如果基于对象定位确定定中心运动仅涉及样品台运动的方向，则路径长度可以例如是固定地预先给定的。在进行相应的样品台运动之后，可以拍摄新的全景图像，以便执行后校正或迭代校正，直到样品载体被定中心地出现在全景图像中。在不间断的或连续的拍摄全景图像(实时监控)的情况下，也可以取消路径长度的预定值；相反，通过对全景图像的不间断的拍摄和评估，可以确定何时已经走过了必要的路径长度。如果样品台或样品载体的高度只是不精确地已知并且因此损害了根据全景图像确定路径长度的准确性，则这些方法可能是特别有利的。

在实时监控的情况下，可以在执行样品台调节期间或之后拍摄一个或多个其他的全景图像。每个其他的全景图像以所描述的方式进行评估，用于对象定位和确定另一个定中心运动。由此，可以在迭代步骤中到达在其处对被定中心的全景图像进行拍摄的位置。

机器学习模型可以被训练用于从包括全景图像或从其导出的图像的输入直接地计算定中心运动作为输出。在这里，机器学习模型例如可以包括回归模型，该回归模型输出关于位移/定中心运动的映射。对象定位作为在机器学习模型的各层中的中间步骤来进行，无需将对象定位的结果从机器学习模型的计算过程中的提供给外部。在机器学习模型的训练中，使用全景图像，对此需要不同方向和路径长度的定中心运动，以导致被定中心的全景图像。这些定中心运动可以作为注释或目标数据预先给定。机器学习模型因此独立学习使用特定的图像特征以由此推断(在训练数据中预先给定的)定中心运动。在训练完成后，通过机器学习模型的模型参数值预先给定哪些图像特征以及这些图像特征以何种方式被用于确定定中心运动。由此，这些图像特征定义了对象定位的至少一个预先给定的对象，即使在这种情况下对象的简单指定，例如被指定为保持框架腹板或保持框架螺钉，通常是不可能的。

用于确定定中心运动的上下文信息

除了对象定位之外，还可以附加地使用其他信息(上下文信息)，用以确定定中心运动。

上下文信息可以在完成对象定位后由经典算法使用，或者在对象定位期间由机器学习模型使用，或者在完成对象定位后由机器学习模型使用，以推断定中心运动。

上下文信息可以特别地涉及：

-样品载体位于保持框架(部件)的哪一侧的信息。例如，如果在全景图像中，是保持框架(部件)而不是样品载体本身被定位，则该上下文信息是有用的。

-来自时间上下文的信息，特别是关于保持框架的先前的设置或位置的信息。例如，如果保持框架的腹板相对于另一个保持框架部件是可运动的，则在一个接一个地短暂拍摄的全景图像的情况下可以假设，该相对位置保持不变。在样品台移动期间，根据样品台的最大速度，可以从时间上下文中排除过大的位置跳跃。

-作为上下文信息，针对已确定的或先前已知的保持框架类型，可以使用相应的、存储的3D模型或CAD模型。备选地，也可以通过CAD模型进行的调整来进行在全景图像中确定的保持框架的类型确定。借助这种预先给定的义的3D模型，可以推导出样品载体相对于在全景图像中的被定位的对象的位置，或者直接推导出合适的台位移，以将样品载体位置运动到图像中心。

-通过用户进行的语音输入也可以用作上下文信息。语音输入例如可以涉及所使用的样品载体类型、所使用的保持框架类型或当前的样品载体位置。

-作为上下文信息，此外可以使用关于所使用的样品台的碰撞信息。例如，可以存储样品台的允许的运动范围。特别地，可以根据所使用的显微镜组件存储不同的允许的运动范围。例如，允许的运动范围取决于所使用的浸没装置或对象。现在可以比较，是否被确定的定中心运动会导致样品台位置超出允许的运动范围。在这种情况下，可以修改确定的定中心运动，例如在运动距离上被缩短，从而保持允许的运动范围。

-当前样品台位置也可以用作上下文信息，特别是在与上面描述的关于样品台的允许的运动范围的信息相组合下。此外，样品台位置还可以提供例如关于保持框架的可能的位置范围的信息。由此，在该可能的位置范围之外的保持框架部件的对象定位可以被归类为可能是错误的。然后可以修改对象定位，例如将在图像中的另一个对象用于定位。

-此外，其他的显微镜设置可以用作上下文信息。显微镜设置可以例如提供关于所使用的样品载体类型的提示或信息。这可以在样品载体在全景图像中的定位中被考虑。在了解样品载体类型的情况下，样品载体的先前已知的尺寸也可以被用于估计在可运动的保持框架腹板之间的距离，因此可以考虑该距离，以在全景图像中找到保持框架腹板。

端到端机器学习模型

在另一个根据本发明的用于使显微镜的样品载体定向的方法中，拍摄全景图像，在该全景图像中样品载体和/或样品载体环境至少是部分可见的。全景图像或用其计算的图像被输入到机器学习模型中。这应在“至少一个全景图像或用其计算的图像”的意义上进行理解，从而也可以一起输入多个图像，例如用不同的拍摄参数或从不同的观察方向拍摄的图像。机器学习模型根据训练数据进行训练，以针对一个输入图像或多个输入图像计算定中心运动。相应地，机器学习模型根据至少一个输入的全景图像或用其计算的图像计算定中心运动。然后基于定中心运动进行样品台调节，并拍摄被定中心的全景图像。可以可选地规定，仅当计算的定中心运动超过预先给定的最小尺寸时才进行样品台调节。

训练数据可以包括带注释的全景图像，其中，作为注释，针对每个全景图像，预先给定一个定中心运动，该定中心运动是事先已知的(“地面实况”)。通过受监控的学习过程，可以确定机器学习模型的参数值，以便机器学习模型在训练后能够针对在训练中未看到的图像确定定中心运动。

机器学习模型可以包括具有卷积、激活和池化层的卷积神经网络的架构。上面和下面描述的可选的特性也产生端到端机器学习模型的实施方式的变型。

基于定中心运动的操作

被确定的定中心运动代表可用于自动样品台调节的运动指令。备选地，还可以将被确定的定中心运动输出给用户，以进行手动样品台调节。因此，在该方法中提到的进行样品台调节的步骤或者通过以机动的方式进行或者通过用户手动地进行。

在进行样品台调节之前，可以可选地将由定中心运动产生的样品台位置与存储的、允许的位置范围进行比较。允许的位置范围特别地会受到可能的碰撞或样品台的末端位置的限制。如果产生的样品台位置超出允许的位置范围，则会输出警告。用户现在可以进行手动更改，例如在样品台上以不同的方式布置样品载体，因此所描述的方法从头开始，并且仅当产生的样品台位置位于允许的位置范围内时才实施用于调节样品台的定中心运动。

一般特性

样品载体可以是可以容纳一个或多个微观样品的任何对象。特别地，样品载体可以是对象载体，其中一个或多个样品被布置在透明载体板和一个或多个盖玻片之间。样品载体也可以是腔室对象载体、培养皿或微量滴定板。

全景图像可以理解为显示样品载体的图像。因此，与显微图像相比，至少附加地样品容器壁或样品载体的外边缘是可见的。在显微镜支架上可以存在一个单独的全景相机，用于拍摄全景图像，其中，但原则上也可以通过本来的显微镜相机拍摄全景图像。在当前情况下，全景图像可以或者理解为原始图像或者已经被进一步处理的图像。特别地，全景图像也可以是所拍摄的图像的一部分。

被定中心的全景图像通常表示这样的全景图像，在该全景图像中样品载体比在初始为了确定定中心运动而被评估的全景图像中更靠近图像中心。因此在被定中心的全景图像中，样品载体不必正好位于图像中心。虽然在全景图像中的样品载体在某些情况下是被修剪的，但是在被定中心的全景图像中的样品载体被较少地修剪或根本不被修剪。然而，根据样品载体的尺寸，在被定中心的全景图像中，样品载体的外部区域，特别是在样品/样品容器的外部，也可以被切掉。不必在全景图像之后立即拍摄被定中心的全景图像。相反，也可以对样品台位置进行迭代调整，从而在到达定中心的位置之前拍摄和评估多个全景图像。

定中心运动不一定必须给出将样品载体准确引导到图像中心的方向。相反，定中心运动可以更一般地表征使样品载体(特别是其中心点)更接近图像中心的方向。定中心运动的路程或长度可以精确地引导到图像中心，或者备选地，仅渐进地朝向图像中心的方向上引导。渐进式前进特别是在迭代调整的情况下进行。

在进行样品台调节和定中心的全景图像的拍摄之前，也可以可选地进行关于定中心的全景图像的拍摄是否完全展示样品载体的评估。例如，在微量滴定板作为样品载体的情况下，可能发生整个全景图像被微量滴定板填满。尽管用于定中心的定中心运动可能被确定，例如通过识别样品载体的部分，如在微量滴定板上的列和行编号，但是，在该示例中发现，如果实施定中心运动，则在被定中心的全景图像中不会包含整个样品载体，因为绝对地样品载体的尺寸大于全景相机的视场。当不能够首先确定定中心运动时，例如当在全景图像中既看不见保持框架也看不见微量滴定板的边缘并且此外也不能够找到用于确定样品载体的位置的其他对象时，存在类似的情况。在这些情况下，可以执行拼合模式，取代样品台调节和对定中心的全景图像的拍摄：在此，拍摄多个具有不同的样品台位置的全景图像，并且然后组合(拼合)成整体全景图像。

显微镜系统被理解为包括至少一个显微镜和计算设备的设备。显微镜原则上可以理解为特别是光学显微镜、X射线显微镜、电子显微镜、宏观镜或者还包括不同设计的放大的图像拍摄设备，该图像拍摄设备被设置用于拍摄图像(显微镜图像)。

计算设备可以物理地设计为显微镜的一部分，可以单独地布置在显微镜环境中，或者也可以布置在任意远离显微镜的位置上。计算设备也可以以分散的方式设计并通过数据连接与显微镜通信。它通常可以通过由电子设备和软件构成的任意组合体形成，并且特别地包括计算机、服务器、基于云的计算系统或一个或多个微处理器或图形处理器。计算设备还可以设置用于控制显微镜相机、图像拍摄、样品台控制和/或其他显微镜部件。

当按规定使用时，被描述为附加的设备特征的本发明的特性也导致根据本发明的方法的变型。以相反的方式，显微系统也可以被设置用于执行所描述的方法变型。特别地，计算设备可以被设置用于执行所描述的方法变型和输出用于执行所描述的方法步骤的控制指令。此外，计算设备可以包括所描述的计算机程序。根据本发明的计算机程序的变型是由此产生的，即计算机程序包括用于执行所描述的方法变型的指令。

附图说明

下面参照所附的示意图描述本发明的其他的优点和特征：

图1是根据本发明的显微镜系统的实施例的示意图；

图2是本发明的方法的实施例的流程图；

图3是样品载体在其中未被定中心的全景图像；

图4是从全景图像计算出的分割掩码；

图5是从全景图像计算的替代的分割掩码；

图6是被定中心的全景图像；

图7是根据本发明的实施例的用于确定定中心运动的全景图像的处理步骤的示意图；

图8是根据本发明的其他实施例的用于确定定中心运动的全景图像的处理步骤的示意图；和

图9是根据本发明的另一个实施例的用于确定定中心运动的全景图像的处理的示意图。

具体实施方式

下面参考附图描述各种实施例。相同的和相同作用的部件一般地用相同的附图标记标识。

图1

图1示出了根据本发明的显微镜系统100的实施例。该实施例包括计算设备20和显微镜1，该显微镜在所示的示例中是光学显微镜，但原则上也可以是不同类型的显微镜。

显微镜1包括支架2，通过该支架可以保持其他显微镜部件。这其中特别地可以包括：物镜转换器或物镜旋座3，在所示的示例中，在其上安装物镜4；具有用于保持样品载体7的保持框架6的样品台5和显微镜相机8。如果物镜4被旋转到显微镜光束路径中，则显微镜相机8接收来自样品载体所保持的一个或多个样品的检测光7。

显微镜1还包括用于拍摄样品载体7和保持框架6的全景图像的全景相机9。全景相机9的视场10用虚线示出。在所示的示例中，全景相机9通过偏转镜11观察样品载体7。偏转镜11布置在物镜旋座3上并且可以被选择代替物镜4。在该实施方案的变型方案中，偏转镜或另一个偏转元件也可以布置在其他位置上。备选地，全景相机9也可以这样地布置在支架2上，即它在没有偏转镜11的情况下直接观察样品载体7。原则上，特别是如果通过物镜旋座3来选择宏观物镜，则由显微镜相机8拍摄的图像也可以是全景图像。

全景图像由计算设备20进一步处理并用于各种功能。例如，计算设备20从全景图像生成导航地图，显微镜用户可以在其中选择位置，然后通过调节样品台5自动地接近该位置。也可以评估全景图像以确定样品载体7的高度。可以基于全景图像进行许多其他自动化步骤。

如果样品载体7的全景图像有问题，则上述步骤可能无法执行或只能不精确地执行。为了拍摄尽可能最佳的全景图像，计算设备20被设置用于借助于计算机程序80执行或安排对样品载体7的定向。这在下面参考其余的图更详细地描述。

图2至图6

图2示出了本发明的方法的实施例的流程图。参考图1描述的计算设备被设置用于执行或安排该方法的步骤。图3至图6示出全景图像或由其计算出的图像，在对图2的方法的解释中提及到这些图像。

在该方法中，首先在步骤S1中拍摄全景图像30，如其在图3中示例性所示的那样。在全景图像30中，可以看到样品载体7以及样品载体环境，在本示例中，可以看到保持框架6的部件，特别是第一保持框架腹板6A和第二保持框架腹板6B。两个保持框架腹板6A和6B具有彼此面对的圆形或凹形保持侧6C和6E，以便将样品载体7保持在它们之间。在所示的示例中，保持框架腹板6A、6B可相对于保持框架6的基体运动，以便能够保持不同大小的样品载体7。由这种可运动性导致，即使在保持框架6的基体在样品台上的预先给定的位置上，样品载体7被保持在哪个位置也存在可变性。在所示的示例中，样品载体7不在全景图像30中居中地被修剪，而是在其边缘上被修剪。相邻的保持框架腹板6B在全景图像30中也仅是部分可见的。

现在评估全景图像30，以便通过对象定位确定定中心运动，样品载体7通过该对象定位在全景图像中被定中心。

在图2随后是步骤S2，在该步骤中进行对用于对象定位的全景图像的评估。在此，借助于机器学习模型评估，是否在全景图像中包含至少一个预先给定的对象；如果是这种情况，则在全景图像中进行对象定位。这可以以各种方式实现，在所示的示例中通过步骤S3至S5来实现。在S3中，对全景图像30进行分割，特别是借助于为此目的训练的机器学习模型。由此生成如其图4中所示的分割掩码40。在分割掩码40中，将连续的区域标记为相关区域，例如通过分配相同的像素值。分割掩码由此例如可以是只有两个可能的像素值的二进制掩码。在所示的示例中，划分为三个不同的图像片段，其中，两个图像片段41和42对应于两个保持框架腹板6A和6B，而第三个图像片段43表示背景。在该示例中，生成语义分割掩码40，也就是说，不仅划分为三个图像片段41-43，而且还为图像片段41-43分配各自的含义。保持框架腹板6A、6B通过该含义被识别。保持框架腹板6A、6B或其部分可以代表要定位的至少一个预先给定的对象25。作为分割掩模40的优点，保持框架6的表面特性不影响图像分析。例如在分割掩模40中不包含划痕或文字说明。如果保持框架类型发生变化，例如如果制造商改变了螺丝或文字说明的布置，则不需要新的培训，因为通过分割，图像内容被从保持框架表面中移除，即特别是螺丝或文字说明。

示例性使用的机器学习模型被训练用于至少区分种类“保持框架”和“背景”，或者更准确地，区分种类“第一保持框架腹板”、“第二保持框架腹板”和“背景”。

备选地，也可以在非语义分割掩模40中或直接在全景图像30中检测预先给定的对象。在该检测中，预先给定的对象例如可以是保持框架部件，特别是保持框架腹板或其一部分，例如一个或多个保持框架角部。

根据测量情况，不同的对象可以被成像在全景图像中，例如一个或多个保持框架腹板、不带可运动的腹板的保持框架、腔室对象载体的角部、各种其他样品载体类型或保持框架类型的有特色的区域。为了能够在尽可能多的不同的测量情况下进行对象定位，可以针对多个不同的预先给定的对象存储识别信息25i，特别是针对上述示例。识别信息25i由执行图像处理的步骤的计算机程序来使用，以便在全景图像或分割掩模中找到这些对象中的至少一个。如果在全景图像中不能确定任何预先给定的对象，则输出警告(在图2中未给出)。

可选地，根据步骤S4，可以通过机器学习模型来进行分类。在此，分割掩模40用作输入图像，其中，备选地，全景图像30也可以用作输入。在该分类中，可以在不同的保持框架类型或样品载体类型之间进行区分。针对不同的类型，存储上下文信息，该上下文信息例如涉及相应的保持框架或样品载体的几何尺寸。

在步骤S5中，现在确定预先给定的对象的位置。例如，该位置例如可以通过在全景图像中的图像坐标来给出。在保持框架腹板的情况下，特别地，可以使用其中心点或角点来描述位置。

从步骤S3至S5，可以通过共同的计算过程执行两个或所有三个步骤。例如，来自步骤S3中的对象检测和来自步骤S5中的位置确定可以作为单个的过程由经训练的机器学习模型来执行，该机器学习模型直接执行输出检测到的对象的坐标。也可以由单个的经训练的机器学习模型来进行带有其他计算的分割，该机器学习模型特别地可以包含两个或更多个串联的机器学习模型。由此分割掩码不必被输出，并且可选地也可以仅以被编码的方式作为特征向量存在于作为基础的神经网络的层中，也就是说不是一定作为二维图像存在。

如果确定了预先给定的对象的位置，则在步骤S6中检查，是否样品载体被定中心。为此，例如可以将在S5中确定的位置与允许的值范围进行比较。在两个可运动的保持框架腹板6A、6B的情况下，也可以通过评估两个保持框架腹板6A、6B是否至少针对预先给定的部分被包含在全景图像30或分割掩模40中来进行步骤S6。

如果不是这种情况，则在步骤S7中计算用于样品台运动的定中心运动。为了从全景图像30导出用于样品台运动的方向和可选地用于样品台运动的距离，可以将为了拍摄全景图像30所使用的相机相对于显微镜支架调准。例如，可以根据校准图案的图像拍摄来预先确定在样品台上的位置如何与在全景图像中的位置相关联。现在可以从在全景图像中(或从由其导出的图像中)的预先给定的对象的被确定的位置来确定定中心运动，例如通过将被确定的位置与用于预先给定的对象的预先给定的目标位置进行比较。

然后在步骤S8中执行样品台运动。根据定中心运动控制机动的样品台。在非机动的样品台的情况下，例如通过计算机屏幕将定中心运动输出给用户。

在执行样品台运动之后，重新拍摄一个全景图像。在所示的示例中，这是通过一个循环来进行的，在该循环中在接着步骤S8之后又是步骤S1。由此导致这样的控制，在该控制中在根据步骤S2处理新的全景图像之后，在步骤S6中进行检查，是否现在样品载体被定中心。原则上也可以取消该循环和控制，从而在步骤S8之后拍摄的全景图像直接代表被定中心的全景图像。

如果在所示的实施方案变型中，在步骤S6中确定样品载体被充分地定中心，则接下来是步骤S9。在该步骤中，将最后拍摄的全景图像继续用作被定中心的全景图像，而丢弃一个或多个先前拍摄的非定中心的全景图像。特别地，由被定中心的全景图像可以形成导航地图。导航地图用于标记要检查的样品区域。被定中心的全景图像60在图6中示出。该被定中心的全景图像相对于全景图像30根据定中心运动被偏移。与全景图像30不同，由此样品载体7是完全可见的。

所描述的实施方案变型可以特别地在这样的程度上进行修改，即在对象定位中涉及哪些预先给定的对象。因此，在根据步骤S3的全景图像30的分割中，也可以分割样品载体7的图像区域而不是分割保持框架部件。图5示出了分割掩模50，在其中图像片段51标示样品载体7的图像区域而其余的图像区域由图像片段52(“背景”)表示。类似于前面的描述，图像片段51可以被识别为样品载体并且图像片段51或其一部分的位置被确定。样品载体在此是要被定位的预先给定的对象25。该对象的被确定的位置又被用于确定定中心运动。

图7

前述实施方案变型的另一个修改方案将参照图7来描述。在这种情况下，代替分割，在全景图像中检测预先给定的对象。

全景图像30被输送到机器学习模型44，该机器学习模型被训练用于对象的检测/识别。机器学习模型44的输出可以包括一个被识别的对象或多个被识别的对象的图像坐标或其他位置信息。在本示例中，图像坐标由至少一个边界框/边界框71、72给出，由此识别的对象25被框定。在图7中，为了更好地理解，示出了具有边界框71、72的全景图像30，其中，机器学习模型的输出仅具有必须包括图像坐标，例如边界框71、72。在所示的示例中，被定位的对象25是两个保持框架腹板6A、6B的角部6D、6F，更准确地说是界定凹形保持侧6C、6E的角部6D、6F。

相对于预先给定的目标位置对被确定的位置进行计算，以便确定定中心运动。在所示的示例中，为此将机器学习模型44的输出到经典的程序54中，该程序在没有机器学习模型的情况下计算定中心运动57。程序54具有数据库，在其中存储目标坐标和与机器学习模型44的被识别的对象的关系。例如，可以为原则上可由机器学习模型44识别的多个对象存储各自的目标坐标。程序54现在针对由机器学习模型44识别的对象选择相关联的目标坐标。程序54借助于由机器学习模型44确定的、被识别的对象的坐标来计算这些目标坐标(例如通过形成这些坐标之间的差)，以便确定定中心运动57。

存储的目标坐标还可以涉及与识别的对象不同的对象。在所示的示例中，由机器学习模型44识别的对象是保持框架腹板6A、6B的角部6D、6F。程序54可以根据这些角部6D、6F的坐标计算样品载体位置。例如，可以将样品载体7的中心点估计为在两个角部之间的距离的中心。存储的目标坐标现在可以给出样品载体目标位置。运动距离是在样品载体目标位置和确定的样品载体位置之间的差值。

预先给定的目标位置也可以是从全景图像导出的几何信息的函数。例如，在两个可运动的保持框架腹板6A、6B的角部6D、6F之间的距离是所使用的样品载体7的尺寸的量度。这样的几何信息也可用于确定定中心运动或预先估计，是否有可能完全通过定中心运动在单个的全景图像中完整地拍摄样品载体7。

机器学习模型44和程序54共同代表了根据本发明的计算机程序80的实施例，程序54的功能原则上也可以通过机器学习模型来实现。

图8

图8示意性地示出了对来自图2的步骤的进一步的实施。在全景图像30中进行对象定位，以便由此确定定中心运动。

为此，全景图像30被输送到分割机器学习模型45，该分割机器学习模型在当前情况下是卷积神经网络(CNN，convolutional neural network)。该卷积神经网络被训练用于由输入图像生成分割掩码40。

分割掩码40被输送到回归机器学习模型55。该回归机器学习模型被训练用于在移动路径或定中心运动57上生成分割掩模的图像。为此，使用回归模型，该回归模型可以通过受监控的学习过程形成，在该学习过程中为每个训练图像(每个分割掩模)预先给定相关联的移动距离或定中心运动，特别是通过手动的预先给定。基于预先给定的训练数据，回归机器学习模型55本身学习它如何使用分割掩码40的特征，以便从中计算定中心运动57。通过模型参数，该模型参数的值是在学习过程中确定的，定义了分割掩码40的对象是如何进入定中心运动57的计算中的。

由分割机器学习模型45输出的分割掩码40可以是语义分割掩码40，其中不同的对象不是仅被识别为是不同的，而是为它们分配了语义/含义。由此，预先确定的对象被识别，从而通过语义分割掩模40进行对象定位。在所示的示例中，探测了两个保持框架腹板6A、6B的坐标。在用于确定定中心运动57的后续步骤中，可以使用这样的知识，即哪些对象在分割掩模40中被示出。在其修改方案中，分割机器学习模型输出非语义分割掩码。在此情况下，在分割掩码中示出的对象的识别或检测可以在回归机器学习模型之前的步骤中进行；备选地，也可以将非语义分割掩码直接输入到相应受过的训练的回归机器学习模型中。在后一种情况下，对象定位在这样的意义上进行，即通过分割确定具有各自位置信息的不同的对象，即与对象的图像像素关联性，并且然后通过回归机器学习模型预先给定，这些对象中的哪些以及这些对象的位置信息如何进入定中心运动的计算中。

图9

图9示意性地示出了另一种根据本发明的用于使显微镜的样品载体定向的方法的实施例。在这种情况下，使用机器学习模型56，该机器学习模型直接由输入的图像计算并输出定中心运动57。机器学习模型56因此也可以被称为端到端模型。

机器学习模型56的输入至少包括全景图像30或由此计算的图像。例如，首先可以进行对比度改变、降噪、全景图像30的表面细节的去除或图像分割，并且如此计算的图像被输入到机器学习模型56。

为了机器学习模型56能够直接从输入图像计算定中心运动57，该机器学习模型已经相应地用训练数据进行了训练。训练数据可以包括注释的(训练)全景图像或从全景图像如上所述那样计算的注释的图像。作为注释，针对每个图像存储了一个定中心运动。这些作为注释存在的定中心运动可以手动地给出。备选地，这些注释也可以是(部分)自动地确定的，例如通过如针对其余实施例描述的那样计算对象定位并由此确定定中心运动。

通过训练，如此地确定机器学习模型56的模型参数，即机器学习模型56由输入的训练全景图像计算的输出尽可能地与预先给定的的注释(定中心运动)相一致。为此可以使损失函数迭代地最小化。损失函数描述了在注释和当前的输出之间的偏差，该当前的输出是模型使用当前的(尚未完全确定的)模型参数值从输入的训练全景图像中计算出的。通过例如梯度下降法和反向传播，可以迭代地调整模型参数，直到损失函数被最小化。备选地，也可以使描述一致性而不是偏差的增益函数最大化。

通过将具有定中心运动的训练全景图像作为注释预先给定，学习算法本身可以确定如何评估和处理输入的图像的图像内容，以便从中计算出定中心运动。

在确定定中心运动57之后，可以进行相应的样品台调节，并且接着可以拍摄被定中心的全景图像，如已经针对其余实施例所描述的那样。

根据本发明的计算机程序80的实施例包括来自图9的机器学习模型56或来自图8的分割机器学习模型45和回归机器学习模型55。根据本发明的计算机程序的其他实施例包含指令，对这些指令的执行实现了针对前述附图描述的步骤，特别是步骤S2-S6以及可选地还有图2的其余步骤。如果一个步骤与其他显微镜组件一起执行(例如在S1中与全景相机一起拍摄全景图像，或在S8中与机动的样品台一起运动样品台)，则计算机程序包含用于控制这些显微镜组件的控制指令。

所描述的实施例纯粹是说明性的并且在所附权利要求书的范围内其变型是可能的。

附图标记列表

1显微镜

2支架

3物镜旋座

4显微镜物镜

5样品台

6保持框架

6A第一保持框架腹板

6B第二保持框架腹板

6C第一保持框架腹板6A的凹形保持侧

6D第一保持框架腹板6A的角部

6E第二保持框架腹板6B的凹形保持侧

6F第二保持框架腹板6B的角部

7样品载体

8显微镜相机

9全景相机

10全景相机的视场

11偏转镜

20计算设备

25预先给定的对象

25i多个预先给定的对象的识别信息

30全景图像

40分割掩码

41第一保持框架腹板6A的图像片段

42第二保持框架腹板6B的图像片段

43背景

44对象识别机器学习模型

45分割机器学习模型

50分割掩码

51样品载体7的图像片段

52背景

54用于计算定中心运动的程序

55回归机器学习模型

56(端到端)机器学习模型

57定中心运动

60被定中心的全景图像

71,72边界框/边界框

80本发明的计算机程序

100本发明的显微镜系统

S1-S9本发明的方法的步骤

Claims (15)

1.一种用于使显微镜(1)的样品载体(7)定向的方法，包括：

-拍摄全景图像(30)，在所述全景图像中所述样品载体(7)和/或样品载体环境至少是部分可见的；

-通过计算机程序(80)的机器学习模型(44、45)评估所述全景图像(30)，所述机器学习模型在所述全景图像(30)中针对至少一个预先给定的对象(25)进行对象定位；

-根据所述对象定位，通过所述计算机程序(80)评估，是否所述样品载体(7)在所述全景图像(30)中是被定中心的；

-如果所述样品载体(7)被评估为在所述全景图像(30)中不是被定中心的：

-则基于通过计算机程序(80)进行的对象定位来确定定中心运动(57)，其中，所述定中心运动(57)给出用于使所述样品载体(7)在所述全景图像(30)的图像中心的方向上运动的样品台运动；

-基于所述定中心运动(57)进行样品台调节；

-在进行所述样品台调节之后拍摄被定中心的全景图像(60)。

2.根据权利要求1所述的方法，进一步包括：

将所述被定中心的全景图像(60)用于进一步的图像处理或显微镜控制和丢弃所述全景图像(30)。

3.根据权利要求1所述的方法，

其特征在于，所述机器学习模型(44、45)包括至少一个用于对象定位的卷积神经网络，所述卷积神经网络借助至少部分地包含样品载体环境和样品载体(7)的训练全景图像进行训练。

4.根据权利要求1所述的方法，

其特征在于，通过所述机器学习模型(44、45)进行的对象定位涉及保持框架(6)或保持框架部件的位置、一个或多个保持框架腹板(6A、6B)的位置或样品载体(7)的位置。

5.根据权利要求1所述的方法，

其特征在于，所述机器学习模型(44、45)以以下方式之一进行所述对象定位：

-借助于分割，在所述分割中在所述全景图像(30)中标记出哪些图像区域属于保持框架(6)，

-借助于分类或语义分割，其中，在不同的保持框架腹板(6A、6B)之间进行区分，

-借助于对预先给定的保持框架部件，特别是螺钉、保持框架角部(6D、6F)或保持框架轮廓的检测，或对所述保持框架(6)上存在的预先给定的标记，特别是文字说明或标签的检测，或者

-借助于对放入所述保持框架(6)中的对象，特别是样品载体(7)或测量或校准样品的定位，

-借助于分类，在所述分类中识别保持框架类型或样品载体类型，其中，针对不同的保持框架类型或样品载体类型存储各自的几何信息，通过所述几何信息确定所述定中心运动(57)。

6.根据权利要求1所述的方法，

其特征在于，所述定中心运动(57)仅仅给出所述样品台运动的方向或不仅给出所述样品台运动的方向而且给出所述样品台运动的路径长度。

7.根据前述权利要求中的任一项所述的方法，

其特征在于，在进行样品台调节期间或之后拍摄一个或多个其他全景图像，其中，每个其他全景图像被评估用于对象定位和用于确定另一个定中心运动(57)，以便在迭代步骤中达到在其处拍摄被定中心的全景图像(60)的位置。

8.根据权利要求1所述的方法，

其特征在于，考虑来自机器学习模型(44、45)的以下的上下文信息中的一项或多项和/或在确定所述定中心运动(57)中考虑：

-与使用的保持框架(6)的先前已知的设置之间的时间关系；

-通过保持框架(6)的一个或多个预先给定的3D模型对在全景图像(30)中确定的保持框架(6)的调整；

-通过用户进行的语音输入；

-关于样品台的碰撞信息；

-当前样品台位置。

9.根据权利要求1所述的方法，

其特征在于，在进行所述定中心运动(57)之前，将由所述定中心运动(57)产生的样品台位置与存储的允许的位置范围进行比较，并且如果产生的样品台位置超出所述允许的位置范围，则输出警告。

10.根据权利要求1所述的方法，

其特征在于，样品台(5)根据所述定中心运动(57)被自动地移动，或

其中，所述定中心运动(57)被输出给用户以用于手动样品台调节。

11.根据权利要求1所述的方法，

其特征在于，进行评估，是否所述被定中心的全景图像(60)的拍摄完全展示所述样品载体(7)，

其中，只有在肯定的评估结果的情况下才实施样品台调节和被定中心的全景图像的拍摄，否则拍摄具有不同样品台位置的多个全景图像并且随后将所述全景图像组合成整体全景图像。

12.一种用于使显微镜(1)的样品载体(7)定向的方法，包括：

-拍摄全景图像(30)，在所述全景图像中所述样品载体(7)和/或样品载体环境至少是部分可见的；

-将所述全景图像(30)或用其计算的图像输入机器学习模型(56)中，其中，所述机器学习模型(56)根据训练数据被训练用于针对输入的图像来计算定中心运动(57)；

-通过所述机器学习模型(56)根据输入的全景图像(30)或从其计算的图像计算定中心运动(57)；

-基于所述定中心运动(57)进行样品台调节；

-在进行所述样品台调节之后拍摄被定中心的全景图像(60)。

13.根据权利要求12所述的方法，

其特征在于，所述训练数据包括带注释的训练图像，针对所述训练图像，相应的定中心运动被预先给定为注释。

14.一种用于使样品载体(7)定向的显微镜系统，包括：

-显微镜(1)，所述显微镜被设置用于拍摄全景图像(30)，在所述全景图像中所述样品载体(7)和/或样品载体环境至少是部分可见的；

-计算设备(20)，所述计算设备被设置用于，通过机器学习模型(44、45)评估所述全景图像(30)，所述机器学习模型在所述全景图像(30)中针对至少一个预先给定的对象(25)进行对象定位；

-其中，所述计算设备(20)此外被设置用于，根据所述对象定位评估，是否所述样品载体(7)在所述全景图像(30)中是被定中心的，并且如果不是这种情况，则基于对象定位来确定定中心运动(57)，其中，所述定中心运动(57)给出用于使所述样品载体(7)在所述全景图像(30)的图像中心的方向上运动的样品台运动。

15.一种用于使显微镜(1)的样品载体(7)定向的计算机程序，包括：

-获得全景图像(30)，在所述全景图像中所述样品载体(7)和/或样品载体环境至少是部分可见的；

-通过机器学习模型(44、45)评估所述全景图像(30)，所述模型在所述全景图像(30)中针对至少一个预先给定的对象(25)进行对象定位；和

-基于所述对象定位确定定中心运动(57)，其中，所述定中心运动(57)给出用于使所述样品载体(7)在所述全景图像(30)的图像中心的方向上运动的样品台运动。

Images