CN111352227A - 显微镜系统中样本平面的距离确定 - Google Patents

Abstract

引入了一种用于粗略聚焦设置的显微镜系统的距离确定系统。该距离确定系统包括：样本台，具有用于保持样本载体的放置表面，该样本载体可沿着样本平面的至少一个延伸方向位移；具有用于产生数字图像的非远心物镜的全景相机，对准样本台；以及评估单元。该评估单元包括：存储系统，用于存储在不同视角下的样本台的至少两个记录的数字图像；训练的基于机器学习的系统，用于识别已经放置在两个记录的数字图像中的样本台中的样本载体的对应结构；以及距离确定单元，其适于使用包含在其中的相关联的对应结构，基于到样本台上的不同视角、两个记录的数字图像相对于彼此的像素距离，来确定样本载体的参考点距全景相机的参考点的距离。

Description

显微镜系统中样本平面的距离确定

技术领域

本发明总体上涉及显微镜系统，尤其涉及用于粗略聚焦设置的显微镜系统的距离确定系统、对应的方法和计算机程序产品。

背景技术

用于越来越多的工业部门使用现代高性能显微镜来分析小结构。所讨论的检查过程通常手动进行，但在某些情况下是完全自动化的。显微镜系统的人机工程学方面的要求不断提高。在许多情况下，现今使用光学元件和电子元件的组合来观察小结构，不仅通过光学手段，而且经常通过图像传感器(例如以图像区域传感器的形式)用于来直接以电子方式进一步处理观察到的结构(例如更可能被称为医学或生物领域的样本)并且将它们存储或显示在大型监视器上。在常规结构(诸如在医学/生物领域中经常使用的多阱板)的情况下会出现一些困难，这是由于并不总是清楚物镜实际指向多阱板的哪个区域处，该物镜仅捕获样本载体的相对较小的区域。另外，特定距离(例如物镜与样本平面之间的距离)也经常是未知的。其原因可能是样本载体的底部厚度未知、使用了具有不同高度的不同台插件或者是因为z方向(从显微镜物镜到样本的光轴方向)的校准不精确。

本文引入的概念的目的是确定一侧的物镜或支架与另一侧的样本或样本载体或保持框架等之间的距离，以例如用于显微镜系统的粗略聚焦。

发明内容

所述目的通过根据独立权利要求所述的本文针对显微镜系统提出的距离确定系统、通过对应的方法以及通过计算机程序产品来实现。进一步的配置由相应的从属权利要求描述。

根据本发明的一个方面，引入了一种用于显微镜系统的距离确定系统。该距离确定系统包括：样本台，具有用于保持样本载体的放置表面。该样本台可以沿着样本平面的至少一个延伸方向位移，特别是在x方向/y方向。

该距离确定系统还可以包括具有用于产生数字图像的非远心物镜的全景相机，其中全景相机可以对准样本台。

该距离确定系统可以附加地包括连接到全景相机的评估单元，并且可以包括以下子系统：存储系统，用于存储在不同视角下的样本台的至少两个记录的数字图像；以及训练的基于机器学习的系统(ML系统)，用于识别两个记录的数字图像中放置在样本台内的样本载体的对应结构，其中训练的基于机器学习的系统包括训练的参考模型，该训练的参考模型可通过样本载体的一组带注释的训练图像以如下的方式进行训练(并且训练的基于机器学习的系统因此适于使得)：至少两个记录的数字图像中的对应结构能够彼此关联。

另外，该距离确定系统可以包括距离确定单元，该距离确定单元适于，使用包含在其中的相关联的对应结构，基于到样本台上的不同视角和两个记录的数字图像相对于彼此的像素距离，确定样本载体的参考点距全景相机的参考点的距离。

根据本发明的不同方面，引入了显微镜的计算机实现的方法。显微镜系统可以包括样本台，该样本台具有用于保持样本载体的放置表面。样本台在本文可以沿着样本平面的至少一个延伸方向位移。显微镜系统还可以包括具有用于产生数字图像的非远心物镜的全景相机，其中全景相机可以对准样本台。该方法包括以下：存储在不同视角下的关于样本台的至少两个记录的数字图像，以及通过使用训练的基于机器学习的系统来关联至少两个记录的数字图像中的对应结构，训练的基于机器学习的系统用于识别两个记录的数字图像中放置在样本台内的样本载体的对应结构，其中，训练的基于机器学习的系统包括训练的参考模型，该训练的参考模型可以通过样本载体的一组带注释的训练图像以如下方式进行训练(训练的基于机器学习的系统因此适于使得)：至少两个记录的数字图像中的对应结构彼此相关联。

作为补充，该方法可以包括使用包含在其中的相关联的对应结构，基于不同视角和两个记录的数字图像相对于彼此的像素距离，确定样本载体的参考点距全景相机的参考点的距离。

为了完整起见，应该提及的是，除了放置到样本台中的样本载体之外，还可以确定到样本台的距离、放置到样本台的用于样本载体或样本区域的保持框架。

此外，实施例可以以对应的计算机程序产品的形式实现，该计算机程序产品可以使用计算机可用或计算机可读介质来访问，并且该计算机程序产品具有供计算机或指令执行系统使用或与其结合使用的程序代码。在本说明书的上下文中，计算机可用或计算机可读介质可以是包括用于存储、通信、传输或输送程序的器件的任何装置，该程序供指令执行系统、对应的装置或设备使用或与其结合使用。

显微镜系统的距离确定系统和对应的计算机实现的方法具有许多优点和技术效果：

监视器上显示的由全景相机拍摄的记录可以很容易地表示样本载体的全景图像。其中，这使得可以在样本区域上改进导航。特别地，可以在全景图像中显示样本的哪个区域具体位于所选择的物镜上方。以这种方式，可以很容易实现位置指示。换句话说，知道多阱样本载体的裙部高度也使得可以相对于样本载体的阱精确定位和导航。

基于此位置指示，可以使用选择全景图像以这样的方式移动样本台，使得所选择的区域位于显微镜系统的所选择的物镜的捕获区域之上，从而改进和简化样本台内的导航。

另外，因此很容易以绝对值(例如毫米)确定全景图像中的位置、距离和面积，以便进行测量。另外，样本平面相对于样本台的高度(z位置)是可确定的，其结果是，如果不同基底高度或裙边高度的样本载体可互换地使用，则相应的显微镜物镜的清晰和快速聚焦成为可能。

此外，在评估单元中使用训练的基于机器学习的系统(ML系统)大大超出了常规自动聚焦系统的功能。特别是当多阱板用作样本载体时，有大量相同或非常相似的结构，基于三角测量的传统系统经常失败，因为它们容易受到规则重复(周期性)结构、强背景信号、反射等的影响。另外，显微镜系统的常规自动聚焦系统实际上总是基于使用显微镜物镜记录的显微镜图像而不是全景相机的全景图像来操作。

相反，在本文提出的概念中，基于机器学习的系统用于对记录图像的单个像素执行面向像素的分类，结果是记录的数字图像的每个像素与特定类别的像素或图像点相关联。以这种方式，例如，属于多阱板的阱的所有图像点可以分类为“阱像素”(属于阱的像素)。其它像素类别可用于识别样本台、样本帧、背景等。确定样本载体(或样本台)的基于机器学习的位移向量的一种可能性是例如将不属于类别“样本像素”的所有像素设置为“0”，而类别“样本像素”的所有像素设置为“1”。以这种方式，通过使用ML系统获得0/1对比度图像(黑/白)，其可以通过ML系统在它们相应的整体上相关联，结果是，通过确定对应的(目标)函数的最佳，使得从同一样本载体的一个记录的图像到另一记录的图像的位移向量成为可能，特别是使用距离确定单元。进一步的典型像素类别可以是背景、样本台、台插件或保持框架、样本载体或样本区域上的结构。

除了单个像素的分类之外，基于机器学习的系统的使用还使得在两个记录的图像上检测对应结构成为可能。

全景相机可以容易地定位，使得其可以捕获整个样本区域。其可以集成在物镜转台中，也可以作为技术附加元件定位在物镜转台之外，但不是必须如此。在某些情况下，这将与不同于显微镜物镜的光轴的光轴相关联；因此，全景相机也可以从下方倾斜地指向样本载体处，而不会使基于ML的图像分析系统发生故障。附加地，也可以(在某些限制下)将全景相机定位在样本载体(即样本台)上方。此外，反射镜可用于将样本载体的侧面中的一个反射向全景相机。总体而言，多种设计选项可用于定位全景相机。

假设这种符号在样本载体上是可辨别的，其可附加地用于样本识别–使用条形码、QR(快速响应)码或OCR(光学字符识别)法。

从用户的视点和制造商的视点两者来看，对显微镜系统附加硬件的相对较低的要求–特别是可垂直于显微镜系统的光轴位移的样本台和非远心全景相机(或两个)–使这个系统成为一个有吸引力的选项。因此，有三种选项可以产生全景相机的相对移动：(a)移动样本台，(b)移动全景相机，以及(c)使用固定安装的第二全景相机。最后一种可能性对于改造已经安装的显微镜系统特别有意义。

图像分析系统中使用的ML系统使得全景相机的两个记录的数字图像之间的对应匹配比常规方法更加鲁棒。另外，其可以无缝地用于任何所需的样本载体，特别是包括不同的透明多阱板。以这种方式，训练的人员也将能够更容易地操作高性能显微镜系统。

由于确定了两个记录的图像之间的位移向量，因此可以使用已知的方法(视差效应)和全景相机的参考点距显微镜系统的物镜的参考点之间的已知距离来计算样本平面与例如显微镜物镜的透镜平面或显微镜物镜的图像平面之间的距离。

本文引入的概念对于全景相机不捕获整个样本载体而是例如在2、3或更多个部分图像中捕捉样本载体的情况可能产生进一步的有利效果。这在特别大的样本载体的情况下是正确的。由于距离是可调整的，所以很容易将部分的图像拼接在一起而无需与内容相关的图像匹配，以在监视器上进行全景显示。如果(在不知道距离的情况下)这一步必须使用图像识别系统，则拼接过程中很容易出现错误解释和不匹配。

此外，通过使用样本载体的参考点，样本载体的每个平面可以用作参考，也就是说包括样本平面。另外，在基于机器学习的系统的评估可能性和训练谱方面，由此获得了更大的应用领域。

此外，有利的是，由于知道距离，可以实现样本台与物镜之间的主动和自动碰撞避免。以这种方式，可以避免损坏显微镜系统。

下面将引入距离确定系统的发明概念的进一步的示例性实施例，其可以类似地适用于该方法。

根据距离确定系统的有利示例性实施例，训练的基于机器学习的系统可以适于对至少两个记录图像的单个像素进行分类。分类可以根据以下或进一步的标准来实现：样本像素、背景像素、样本载体像素、盖玻片像素、文本像素、边缘像素或样本台像素。这使得分割记录的图像成为可能。

换句话说，例如，如果可以与样本相关联的所有像素表示为逻辑“1”，并且未被识别或分类为属于记录的数字图像中的样本的所有像素因此表示为逻辑“0”，则结果是黑白图像，其中样本例如表示为黑色(逻辑“1”)而其它一切表示为“白色”(逻辑“0”)。通过这种准备和两个记录的数字图像之间的模式比较，可以无缝地从两个记录的数字图像中对应的模式或它们的整体确定位移向量和位移路径。

根据距离确定系统的进一步的示例性实施例，训练的基于机器学习的系统可以适于输出对应结构中的一个的参考坐标。参考坐标在本文可以是例如(多阱)样本载体的阱的计算中心、捕获物体的边界边缘的特定点等。两个图像之间的位移向量可以通过两个记录的图像中的两个对应结构的相应参考坐标以像素为单位无缝确定。

根据距离确定系统的补充示例性实施例，输出对应结构中的一个的参考坐标的类别也是可能的。由此确定的类别可以用作优化函数的附加输入参数，优化函数用于确定距离的优化任务，结果可以减少模糊性。

根据距离确定系统的进一步的补充示例性实施例，可以使用照明装置来照明样本台。样本台也可以以这种方式照明。因此，所提出的概念适用于入射光显微镜和透射光显微镜两者。

根据距离确定系统的允许的示例性实施例，样本载体可以是多阱板。尤其在这种类型的样本载体中，多阱板的底侧或者特别是样本阱的下平面与板的放置框架的底侧之间的距离是变化的。这是由于多阱板的底部的裙部高度或厚度不同引起的。对于这种类型的样本载体板，本文引入的概念允许相对于具有不同裙部高度的不同类型的多阱板进行校准。

根据距离确定系统的进一步的有利的示例性实施例，其还可以适于确定样本台到全景相机的参考点的距离。通过知道样本高度–也就是说“相机的参考点到样本平面”的距离–以及知道台高度–相机的参考点到样本台的底部的距离–可以无缝地确定多阱板的裙部高度。

根据距离确定系统的补充有利的示例性实施例，其还可以包括用于改变样本台距全景相机的距离的驱动单元。通过知道全景相机相对于显微镜物镜的参考点的位置(对应于距离)，可以以自动方式设置样本台的高度(沿着光轴的z方向，从显微镜物镜到样本载体的方向)，使得相对于显微镜物镜的粗略聚焦自动执行。

根据距离确定系统的可替代的示例性实施例，全景相机或光学元件可以定位在显微镜系统的物镜转台处。代替将全景相机倾斜地导向样本台(这当然是可能的)，这是通过将全景相机定位在物镜转台附近来完成的，当全景相机放置在物镜转台中时，垂直导向同样是可能的，从而使得其可以在样本台下方垂直地变得有效。

所提到的光学元件也可以是反射镜或棱镜，光线通过该反射镜或棱镜从样本载体被导向到全景相机上。这种方式在全景相机的定位方面提供了更大的设计自由度。

根据距离确定系统的一个可能的示例性实施例，显微镜物镜–特别是具有相对低放大率的物镜–与图像传感器–或显微镜系统的图像传感器一起–可以用作全景相机。然而，独立于物镜转台定位全景相机似乎更有意义，这是因为以这种方式，所有物镜都可以继续使用，并且在物镜转台中不需要为全景相机留出空间。以这种方式，改造已经在使用的显微镜系统也是可能的。

根据距离确定系统的一个有利的示例性实施例，基于机器学习的系统用于监督和/或无监督学习。其可以用于分割两个图像的像素和/或检测两个图像中的结构。另外，如果基于机器学习的系统是神经网络–或者例如支持向量机-其已经证明是有利的。神经网络可以例如使用监督学习(或无监督学习)来训练。然后，所述训练允许记录的图像像素的分类和/或特定结构的检测。关于分类操作，可以使用多类算法或一类算法。神经网络可以体现为深层神经网络、CNN(卷积NN)或RNN(递归NN)。

在无监督学习的情况下，可以使用诸如深度自动编码器、一类分类或新颖性检测的算法。原则上，可以使用允许检测和确定记录的数字图像中的对应或独特结构的任何学习系统。

根据距离确定系统的进一步的有利示例性实施例，可以使用目标函数的优化来确定已经通过逐个像素(pixel-wise)分类分割的两个图像的像素距离，该目标函数在每种情况下都具有两个图像的多个对应结构，其中目标函数指示像素距离。此外，检测函数还可以用于找到可以用作优化函数的输入数据的单个/唯一结构和/或其坐标。这意味着也使用了数字图像的综合考虑。本文可以使用的优化函数是例如算法，诸如对应结构的质心距离平均值、交并比算法或Jaccard系数的确定等。通常，确定相应目标函数的最佳值(最大值或最小值)。

距离确定系统的一个补充的、有利的示例性实施例可以包括通过使用训练的基于机器学习的系统来关联至少两个记录的数字图像中的对应结构，该训练的基于机器学习的系统用于识别样本台和/或已经放置在样本台中的保持框架的对应结构或者两个记录的数字图像中的纯样本区域相对于所述结构的对应结构。以这种方式，不仅样本本身，而且周围的结构对于相应的距离确定都是有价值的。

根据距离确定系统的另一有利的示例性实施例，不同的视角可以由样本台(102)与全景相机(116)之间的相对移动引起。以这种方式，样本台可以在x/y方向保持固定，并且全景相机将改变其位置，例如通过固定的已知值，例如垂直于显微镜系统的光轴。一种选项是使样本台位移，另一种选项是使相机位移。

根据距离确定系统的另一可替代的示例性实施例，不同的视角是通过来自两个全景相机的记录产生的，这两个全景相机彼此偏移定位。这些可以同时拍摄，并且样本台与一个全景相机之间的相对移动将是不是必要的。这将使更简单、更鲁棒、更不受影响和维护相对较少的机械构造成为可能。另外，可以在完全相同的时间点拍摄两个全景图像，其结果是样本也将处于完全相同的状态。可以排除样本基于时间的变化。

附图说明

应当注意，本发明的示例性实施例可以关于不同的实现类别来描述。具体地，一些示例性实施例是针对方法来描述的，而其它示例性实施例可以在对应装置的背景下描述。尽管如此，对于本领域技术人员来说，从先前和随后的描述中识别和组合该方法的特征的可能组合以及与对应系统的可能特征组合是可能的-除非另有说明-即使它们属于不同的权利要求类别。

上文已经描述的方面和本发明的附加方面尤其从所描述的示例性实施例和从参考附图描述的附加的进一步具体配置中是显而易见的。

本发明的优选示例性实施例将通过示例并且参考以下附图进行描述：

图1示出本发明距离确定系统的示例性实施例的框图。

图2示出本发明概念的可替代构造的框图。

图3a、b、c示意性地示出样本载体的记录的图像，该样本载体具有选择作为示例的结构的参考点。

图4示出显微镜的粗略聚焦设置的计算机实现的方法的框图。

图5示出适用于根据图4的方法的过程系统的计算机系统的框图。

具体实施方式

在本说明书的上下文中，惯例、术语和/或表达应当以以下方式理解：

本文档上下文中的术语“距离确定系统”指的是基于机器学习的用于确定距离的自动化系统，特别是用于图像分割和位移向量确定的显微镜系统的记录的图像的分类系统。距离确定系统可以与其单独的组件集成到显微镜系统中和/或使用已经存在的显微镜系统的子组件。

术语“粗略聚焦设置”在本文指的是显微镜系统的物镜上的参考点与位于样本台上的样本载体的样本平面之间的距离的自动设置。在通过本文描述的概念进行粗略设置之后，可以使用进一步的控制系统通过对应的物镜进行进一步的精细聚焦。

本文档上下文中的术语“样本台”指的是具有用于保持样本载体的框架的台，该样本载体主要以透射光法定位在显微镜系统的物镜上方。样本台可以有利地例如垂直于显微镜系统的光轴位移。

术语“样本载体”在本文描述用于保持要使用显微镜系统进行检查的样本的元件。此元件可以是例如多阱板(典型尺寸为13cm×10cm)，可以同时在凹陷或阱中保持多个样本。在这种情况下，凹陷的最低点通常代表样本平面。此外，也可以使用其它样本载体，诸如常规载玻片或腔载玻片(两者都具有75mm×24mm的典型尺寸)或培养皿，它们可以用于入射光或透射光。

本文档上下文中的术语“全景相机”指的是除了显微镜系统的显微镜物镜之外，还可以安装在显微镜系统上或显微镜系统中的相机，以记录通常透射辐射的样本载体的整体图像。本文的全景相机通常包括图像传感器；非远心物镜附加地用于全景相机(非远心物镜是入射和出射光瞳不在无穷远处的物镜)。

术语“数字图像”在本文描述了由图像传感器捕获的记录的图像的数字表示。由于这涉及数字信息，数字图像–或其数字表示–可以在电子媒体中或电子媒体上进一步存储和处理，例如使用基于机器学习的系统。

术语“基于机器学习的系统”描述来自人工智能领域的硬件支持或软件系统，其适于从示例中学习，以便将例如图像或其部分区域的内容与抽象术语(诸如“好的”或“差的”或含义构造)相关联–而无需程序地指定和手动地产生的程序指令–例如图像内容的分割。一般来说，输入数据到输出数据的映射是学习的。

术语“学习系统的训练”意味着例如机器学习系统通过多个示例性图像，通过评估示例性图像来调整例如神经网络中的参数，以便在训练阶段之后将甚至未知的图像与学习系统已经被训练的一个或多个类别相关联。另外，由于特定结构的检测，有可能确定其在图像中的坐标。示例性图像通常被注释–也就是说，被提供元数据–以便基于输入图像提供期望的结果。训练也可以适合于记录的图像中的单个像素的分类，其结果是可以获得图像分割。训练阶段的结果是训练的参考模型，其可以从输入图像映射到相关联的类别、输入图像的语义分割或者相关结构/对象的坐标。

术语“机器学习”是人工智能的一个基本术语，其中，例如统计方法尤其用于赋予计算机系统“学习”的能力。例如，特定任务范围内的特定行为模式被优化。所使用的方法使机器学习的系统能够分析数据，而不需要为此目的进行任何明确的过程化编程。例如，CNN(卷积神经网络)是机器学习的系统，特别是充当人工神经元的节点网络以及人工神经元之间的人工连接(也称为链接)的一个示例，其中参数(例如连接的权重参数)可以与人工连接相关联。在神经网络的训练期间，连接的权重参数基于输入信号自动适应以产生期望的结果。在监督学习的情况下，作为输入值提供的图像由元数据(注释)补充，以便以这种方式学习期望的输出值。在无监督学习的情况下，这种注释是不必要的。

在这方面，还应该提到递归神经网络(RNN)，其同样在每种情况下代表一种深层神经网络，其中权重自适应是递归的，使得可以产生与可变幅度的输入数据相关的结构化预测。通常，这种RNN用于顺序输入数据。与CNN的情况完全一样，除了预测权重自适应之外，本文还使用反向传播函数。RNN也可以用于图像分析。

术语“分类”在本文意味着可以通过训练的基于机器学习的系统给记录的数字图像的单个像素(诸如样本载体)赋予特定的语义，也就是说，它们可以在每种情况下单独与一个类别相关联。以这种方式，可以区分样本载体、样本、样本台等的区域。由于这种差异，产生了图像的片段。这产生了分割图像。

术语“多阱板”指的是具有多个凹陷(阱)的样本载体装置，凹陷(阱)的底部基本上位于一个平面中，并且因此表示样本平面。各种多阱板可以具有不同高度的裙部(围绕它们延伸的框架)–这取决于制造商，通过裙部它们可以放置到样本框架中。本文引入的距离确定的概念在更换多阱板的情况下展现了许多优点。

附图的详细描述如下。本文应该理解，所有细节和说明在附图中示意性示出。首先示出用于显微镜系统的根据本发明的距离确定系统的示例性实施例的框图。下面将描述进一步的示例性实施例以及对应方法的示例性实施例：

图1示出用于显微镜系统的本发明距离确定系统100的示例性实施例的框图，例如用于显微镜系统的粗略聚焦设置，特别是“样本平面到显微镜物镜”的距离。本文，距离确定系统100包括具有用于保持样本载体106的放置表面104的样本台102。样本载体106可以是具有多个样本隔室108或阱(在视图中)的多阱样本载体106，其中只有左边的三个具有附图标记108。样本台102的平面通常垂直于显微镜系统的光轴。另外，样本台102可以沿着其延伸方向中的至少一个位移，以便允许全景相机116到样本台102上的不同视角。在显微镜系统的常规设计中，其中z轴对应于显微镜系统的光轴，样本台可在x方向和/或y方向上位移，如由箭头110所指示。此外，样本台102就其相对于显微镜物镜112的高度而言可以在z方向上位移。图像传感器114示意性地示出在显微镜物镜112下方。由显微镜物镜112的图像传感器114记录的图像可以使用已知技术显示在监视器(未示出)上。

全景相机116包括具有用于产生数字图像的非远心物镜的专用图像传感器(未示出)。全景相机116在本文不必沿着显微镜系统的光轴对准样本台102的底侧(或顶侧)。

可替换地，全景相机116在样本台102处的不同视角可以通过如下来获得：全景相机116的可位移性，或者通过使用第二全景相机用样本载体106记录样本台102。

此外，距离确定系统100包括评估单元118，该评估单元连接到全景相机116并且其部分包括以下元件：存储系统(未示出)，用于在样本台102的不同位置处存储至少两个记录的数字图像(也就是说，样本台在其至少一个水平范围内在记录之间位移)；以及训练的基于机器学习的系统120，用于识别两个记录的数字图像中的样本台和/或放置的样本台内的样本载体的对应结构，其中训练的基于机器学习的系统120具有训练的参考模型，该参考模型可以通过样本载体(并且由此以这种方式隐含样本台)的一组注释训练图像来训练–并且训练的基于机器学习的系统120因此适于使得至少两个记录的数字图像中的对应结构能够彼此关联。

另外，距离确定系统100包括距离确定单元122，该距离确定单元连接到基于机器学习的系统120并且适于基于到两个记录的图像的样本台102上的不同视角，使用其中包含的相关联的对应结构来确定样本载体的参考点距全景相机116的参考点的距离、两个记录的数字图像彼此之间的像素距离。然后，可以通过分析确定两个对应结构之间的像素数或其参考点之间的距离，例如用毫米表示。本文，距离确定单元122的计算方法使用视差效果。如果参考点位于样本载体106的剖面上，结果样本载体106和剖面将在每种情况下垂直于显微镜系统的光轴定位或延伸，这将是有利的。

距离确定单元122还可以连接到控制/驱动单元126，以便如由箭头128所示使样本台102垂直地(即在z方向)位移。这不影响样本台102在垂直于z方向的平面中的可能移动。样本载体106的放置表面104与样本平面124之间的距离130可以因样本载体而异(取决于类型)。

为了完整起见，应当再次注意，替代样本台102的位移，在不同视角下的图像记录也是适用的。例如，可以是移动的不是样本台102而是全景相机116的情况。作为进一步的选项，也可以使用前述第二全景相机(未示出)。后者可以位于例如延伸穿过两个全景相机并且垂直于显微镜系统光轴的线上。

图2示出距离确定系统100的替代构造(示出为元件的数量减少)的框图200。本文重要的基本上是，全景相机116不是直接从(倾斜的)下方指向样本载体106处，而是通过反射镜202指该向样本载体处，该反射镜偏转从样本载体106或样本台102入射的光线，从而使它们对准全景相机116。

反射镜202在本文可以设置在物镜转台204中或者其旁边的现有显微镜物镜206的位置。可替换地，存在反射镜202的其它定位选项，并且因此存在全景相机116的其它定位选项。通过使用反射镜202–或者可替换地使用棱镜，可能利用进一步的光学元件–全景相机116的定位的特征在于相对较大的设计自由度。

图3a、图3b示出两个示意性记录的数字图像(3a、3b)，它们彼此相对位移，如由箭头302所指示。局部图3a、局部图3b两者中的条纹圆圈代表理想化的样本阱108。在真实记录中，样本或样本阱108的这些描绘将具有明显更不规则的外观，如在对应结构304和306的情况下通过示例所示。基于机器学习的系统可以将记录的数字图像中的整个结构的对应结构(304、306)彼此相关联–在基于此的图像像素的训练和分类之后，结果图像3a相对于图像3b的位移(由箭头308示出)可以通过距离确定单元的优化函数来确定。

可替换地，可以附加地通过应用交并比方法或通过确定Jaccard系数来确定根据图3a和3b的图像中的整个结构，并且由此确定位移向量或距离。

如上面已经提及的，基于机器学习的系统可以对记录的图像的各个像素进行分类，使得属于样本区域(以结构化形式示出)的所有像素例如呈现为逻辑“1”，而记录的图像的所有其它分类像素例如呈现为逻辑“0”。以这种方式，所陈述的算法中的一种可以用来以相对较少的努力确定位移向量308。

图3c示出所识别的结构的参考点310的示例，在这种情况下，该参考点假设该结构的质心。可替换地，可以使用任何其它参考点，例如最低边缘的点。

图4示出例如用于显微镜的粗略聚焦设置的计算机实现的方法400的示意流程图。本文的显微镜系统包括具有用于保持样本载体的放置表面的样本台，该样本台可以沿着样本平面的至少一个延伸方向(水平地)位移。本文的显微镜系统也包括具有用于产生数字图像的非远心物镜的全景相机。全景相机通常对准样本台。该方法包括以下步骤：存储402在不同视角下的样本台的至少两个记录的数字图像。

在记录的数字图像已经被存储402之后，通过使用训练的基于机器学习的系统来实现至少两个记录的数字图像中的对应结构的关联404，该训练的基于机器学习的系统用于识别两个记录的数字图像中的样本台和/或已经放置到样本台中的样本载体的对应结构。本文基于机器学习的系统指的是通过样本载体的一组注释的训练图像来训练的训练参考模型。以这种方式，使用训练的基于机器学习的系统和使用优化的距离确定单元来调整距离确定系统，使得其通过对应结构来确定至少两个记录的数字图像中的距离。

这是在方法400的最后一个(但不是终止)步骤中完成的，在该步骤中，基于到样本台的已知位移的样本台102上的不同视角以及两个记录的数字图像相对于彼此的像素距离，使用其中包含的相关联的对应结构，来确定406样本载体的参考点距全景相机的参考点的距离。

图5示出计算机系统500的框图，其可以用作执行上述方法的系统。另外，计算机系统500可以包括评估单元118和距离确定单元122的至少部分。本文提出的概念的实施例原则上可以与实际上任何类型的计算机一起使用，而不管其中使用的平台如何，用于存储和/或执行程序代码。图5示出计算机系统500的示例，其适合于根据本文引入的方法执行程序代码。同样可能的是，已经存在于显微镜系统中并且可能必须扩展的计算机系统至少部分用于执行本文引入的方法。

计算机系统500包括多个通常可利用的功能(通用功能)。本文，计算机系统可以是平板计算机、膝上型/笔记本计算机、另一便携式或移动电子设备、微处理器系统、基于微处理器的系统、智能手机或具有特定设置功能的计算机系统。计算机系统500可以设置用于执行能够由计算机系统执行的指令，诸如程序模块，其可以被执行以实现本文提出的概念的功能。为此，程序模块可以具有例程、程序、对象、组件、逻辑、数据结构等来实现特定的任务或特定的抽象数据类型。

计算机系统的组件可以包括：一个或多个处理器或处理单元502、存储系统504和连接包括存储系统504和处理器502的不同系统组件的总线系统506。计算机系统500通常包括计算机系统500可访问的多个易失性或非易失性存储介质。存储介质的数据和/或指令(命令)可以以易失性形式存储在存储系统504中，诸如存储在RAM(随机存取存储器)508中，以便由处理器502执行。所述数据和指令实现本文已经引入的概念的单个或多个功能或方法步骤。存储系统504的其它组件可以是永久存储器(ROM)510和长期存储器512，其中可以存储程序模块和数据(附图标记516)。

计算机系统具有一系列用于通信目的的专用装置(键盘518、鼠标/定点设备(未示出)、屏幕520等)。这些专用装置也可以组合在触敏显示器中。单独提供的I/O控制器514确保与外部设备的无缝数据交换。网络适配器522可用于使用本地或全球网络(LAN、WAN，例如因特网)的通信。计算机系统500的其它组件可以通过总线系统506访问网络适配器。本文应当理解，尽管未示出，但是其它装置也可以连接到计算机系统500。

此外，距离确定系统100(参见图1)的至少部分可以连接到总线系统506，诸如图像传感器114和/或评估系统118。图像传感器114的数字图像数据也可以由单独的预处理系统(未示出)来准备。

为了提供更好的理解，示出本发明的各种示例性实施例的描述，但是其并不用于将本发明的概念直接限制到所述示例性实施例。本领域技术人员易于进行进一步的修改和变化。选择本文使用的术语是为了最好地描述示例性实施例的基本原理，并且使本领域技术人员容易理解它们。

本文引入的原理可以以系统、方法、它们的组合和/或计算机程序产品的形式来体现。在这种情况下，计算机程序产品可以具有(或多个)计算机可读存储介质，该计算机可读存储介质具有计算机可读程序指令，以使处理器或控制系统执行本发明的各个方面。

用作传输介质的合适介质是电子、磁、光、电磁、红外介质或半导体系统，例如SSD(固态硬盘(solid state device/drive))、RAM(随机存取存储器)和/或ROM(只读存储器)、EEPROM(电可擦除只读存储器)或它们的任何期望的组合。其它传输介质也传播电磁波、波导中的电磁波或其它传输介质(例如光缆中的光脉冲)或有线传输的电信号。

计算机可读存储介质可以是保存或存储供指令执行设备使用的指令的具体化装置。本文描述的计算机可读程序指令也可以下载到对应的计算机系统，例如作为(智能手机)应用程序从服务提供商经由电缆连接或移动无线电网络下载。

用于执行本文描述的本发明的操作的计算机可读程序指令可以是机器相关或机器无关的指令、微码、固件、状态定义数据或任何源代码或目标代码，这些代码或目标代码例如以C++、Java或以类似语言或以常规的过程化编程语言(诸如编程语言“C”或类似编程语言)编写。计算机可读程序指令可以完全由计算机系统执行。在一些示例性实施例中，这也可以包括电子电路，诸如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，它们通过使用计算机可读程序指令的状态信息来根据本发明的各个方面配置或个性化电子电路来执行计算机可读程序指令。

此外，参考根据本发明示例性实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图来说明本文引入的本发明。应当注意，实际上流程图和/或框图的任何块都可以实现为计算机可读程序指令。

计算机可读程序指令可用于通用计算机、专用计算机或数据处理系统(其可编程以创建机器)，使得由处理器或计算机或其它可编程数据处理装置执行的指令创建用于实现流程图和/或框图中示出的功能或过程的器件。所述计算机可读程序指令也可以对应地存储在计算机可读存储介质上。

在这种情况下，所示流程图或框图中的任何块可以表示模块、指令的一段或部分，这些指令表示用于实现特定逻辑功能的多个可执行指令。在一些示例性实施例中，各个块中示出的功能可以以不同的顺序执行，甚至可能并行执行。

在下面的权利要求中，所示的结构、材料、序列和所有具有相关功能的器件和/或步骤的等同物旨在应用权利要求所表达的所有结构、材料或序列。

附图标记列表

100距离确定系统

102样本台

104放置表面

106样本载体

108样本隔室、阱

110可能的移动

112显微镜物镜

114图像传感器

116全景相机

118评估单元

120基于机器学习的系统

122距离确定单元

124样本平面

126控制/驱动单元

128移动箭头

130样本载体的放置表面与样本平面之间的距离

200替代设置的框图

202反射镜

204物镜转台

206物镜

300记录的数字图像

302位移箭头

304对应结构

306对应结构

308位移向量

310参考点

400方法

402方法步骤

404方法步骤

406方法步骤

500计算机系统

502处理器

504存储器系统

506总线系统

508RAM

510ROM

512长期存储器

514I/O控制器

516程序模块和数据

518键盘

520屏幕

522网络适配器

Claims (18)

1.一种用于显微镜系统的距离确定系统(100)，所述距离确定系统(100)包括：

样本台(102)，具有用于保持样本载体(106)的放置表面(104)，其中所述样本台(102)能够沿着样本平面的至少一个延伸方向位移，

全景相机(116)，具有用于产生数字图像(300)的非远心物镜，其中所述全景相机(116)对准所述样本台(102)，

评估单元(118)，连接到所述全景相机(116)，所述评估单元(118)包括：

存储系统，用于存储在不同视角下的所述样本台(102)的至少两个记录的数字图像(300)，

训练的基于机器学习的系统(120)，用于识别样本载体(106)的对应结构(304、306)，所述样本载体已经放置在所述两个记录的数字图像(300)中的所述样本台(102)中，其中所述训练的基于机器学习的系统(120)包括训练的参考模型，所述参考模型可以通过所述样本载体(106)的一组注释的训练图像以如下方式训练，并且所述训练的基于机器学习的系统(120)因此适于所述如下方式：所述至少两个记录的数字图像中的对应结构(304、306)能够相互关联，以及

距离确定单元(122)，所述距离确定单元适于使用包含在其中的相关联的对应结构(304、306)，基于到所述样本台上的不同视角和所述两个记录的数字图像(300)相对于彼此的像素距离(308)，来确定所述样本载体的参考点距所述全景相机(116)的参考点的距离。

2.根据权利要求1所述的距离确定系统(100)，其中所述训练的基于机器学习的系统(120)适于对所述至少两个记录的图像(300)的单个像素进行分类。

3.根据权利要求1所述的距离确定系统(100)，其中所述训练的基于机器学习的系统(120)适于输出所述对应结构(304、306)中的一个结构的参考坐标(310)。

4.根据权利要求3所述的距离确定系统(100)，其中还输出所述对应结构(304、306)中的一个结构的所述参考坐标(310)的类别。

5.根据权利要求1所述的距离确定系统(100)，其中使用照明器件照明所述样本台(102)。

6.根据权利要求1所述的距离确定系统(100)，其中所述样本载体(102)是多阱板、载玻片、培养皿或腔载玻片。

7.根据权利要求1所述的距离确定系统(100)，其中所述距离确定单元(122)还适于确定所述样本台(102)距所述全景相机(116)的参考点的距离。

8.根据权利要求1所述的距离确定系统，还包括驱动单元(126)，用于改变所述样本台(102)相对于所述全景相机(126)的距离。

9.根据权利要求1所述的距离确定系统(100)，其中所述全景相机(116)或者其中光学元件位于所述显微镜系统的物镜转台(204)处。

10.根据权利要求1所述的距离确定系统(100)，其中显微镜物镜(206)与图像传感器(114)一起用作全景相机(116)。

11.根据权利要求1所述的距离确定系统(100)，其中所述基于机器学习的系统(120)用于监督和/或无监督学习。

12.根据权利要求1所述的距离确定系统(100)，其中所述基于机器学习的系统(120)是神经网络。

13.根据权利要求2所述的距离确定系统(100)，其中，使用目标函数的优化、通过由此产生的分割图像(300)的像素分类或者通过所述记录的图像(300)中检测到的结构的参考坐标(310)来确定像素距离，其中目标函数在每种情况下都具有两个图像(300)的多个对应结构作为输入数据，其中所述目标函数的结果指示所述像素距离。

14.根据权利要求1所述的距离确定系统(100)，还包括：

通过使用所述训练的基于机器学习的系统(120)以识别所述两个记录的数字图像(300)中的所述样本台的和/或已经放置在所述样本台(102)中的保持框架的对应结构(304、306)，来关联所述至少两个记录的数字图像中的对应结构(304、306)。

15.根据权利要求1所述的距离确定系统(100)，其中所述不同视角由所述样本台(102)与所述全景相机(116)之间的相对移动引起。

16.根据权利要求1所述的距离确定系统(100)，其中所述不同视角是通过来自两个全景相机的记录产生的，所述两个全景相机相对于彼此偏移定位。

17.一种用于显微镜系统的计算机实现的方法(400)，其中所述显微镜系统包括样本台(102)，所述样本台(102)具有用于保持样本载体(106)的放置表面(104)，其中所述样本台(102)可以沿着样本平面的至少一个延伸方向位移，并且其中所述显微镜系统包括具有用于产生数字图像(300)的非远心物镜的全景相机(116)，其中所述全景相机(116)对所述准样本台(102)，其中所述方法(400)包括：

存储(402)在不同视角下的所述样本台(106)的至少两个记录的数字图像，

通过使用训练的基于机器学习的系统(120)来关联(404)所述至少两个记录的数字图像(300)中的对应结构(304、306)，所述训练的基于机器学习的系统用于识别样本载体(106)的对应结构(304、306)，所述样本载体已经放置在所述两个记录的数字图像(300)中的所述样本台(102)中，其中所述训练的基于机器学习的系统(120)包括训练的参考模型，所述参考模型可通过样本的一组注释的训练图像以如下方式来训练，并且训练的基于机器学习的系统(120)因此适于所述如下方式：所述至少两个记录的数字图像(300)中的对应结构(304、306)能够彼此关联，并且

使用包含在其中的相关联的对应结构(304、306)，基于到所述样本台(102)上的所述不同视角和所述两个记录的数字图像(300)相对于彼此的像素距离(308)，确定(406)所述样本载体(106)的参考点距所述全景相机(116)的参考点的距离。

18.一种用于显微镜系统的计算机程序产品，其中所述显微镜系统包括样本台(102)，所述样本台(102)具有用于保持样本载体(106)的放置表面(104)，其中所述样本台(102)能够沿着样本平面的至少一个延伸方向位移，并且其中所述显微镜系统包括具有用于产生数字图像(300)的非远心物镜的全景相机(116)，其中所述全景相机(116)对准所述样本台(102)，其中所述计算机程序产品具有存储在其上的程序指令，其中所述程序指令可由一个或多个计算机(500)和/或控制单元执行并且使得所述一个或所述多个计算机(500)和/或控制单元执行：

存储在不同视角下的所述样本台(102)的至少两个记录的数字图像(300)，

通过使用训练的基于机器学习的系统(120)来关联所述至少两个记录的数字图像(300)中的对应结构(304、306)，所述训练的基于机器学习的系统用于识别样本载体(106)的对应结构(304、306)，所述样本载体已经放置在所述两个记录的数字图像(300)中的所述样本台(102)中，其中所述训练的基于机器学习的系统(129)具有训练的参考模型，所述参考模型能够通过样本载体(106)的一组注释的训练图像以如下方式来训练，并且训练的基于机器学习的系统(120)因此适于所述如下方式：所述至少两个记录的数字图像(300)中的对应结构(304、306)能够彼此关联，以及

使用包含在其中的相关联的对应结构(304、306)，基于到所述样本台上的所述不同视角和所述两个记录的数字图像(300)相对于彼此的像素距离(308)，确定所述样本载体(102)的参考点距所述全景相机(116)的参考点的距离。

Images