CN114815210A - 用于检查显微镜相机的旋转的方法和显微镜系统 - Google Patents

Abstract

在用于检查显微镜相机(10)的旋转的方法中，用显微镜(1)的概览相机(9)捕获概览图像(30)，其中概览相机(9)相对于显微镜(1)的样品台(5)的旋转方向(9A)是已知的。此外，用显微镜(1)的显微镜相机(10)拍摄显微镜图像(50)。基于显微镜图像(50)和概览图像(30)之间的相对旋转(R)计算显微镜相机(10)相对于样品台(5)的旋转方向(10A)，其中相对旋转(R)是通过显微镜图像(50)和概览图像(30)中的图像结构(55)并使用概览相机(9)相对于样品台(5)的已知的旋转方向(9A)建立的。

Description

用于检查显微镜相机的旋转的方法和显微镜系统

技术领域

本公开涉及一种显微镜系统和一种用于检查显微镜相机的旋转的方法。

背景技术

除了其他组件之外，典型的显微镜系统包括相机(以下也称为显微镜相机)和样本台，通过该样本台可以移动待分析的样本，特别是横向于相机的观察方向。相机可以通过适配器(例如C接口适配器)连接到显微镜支架。因此，相机的旋转方向是可变的，因此不一定是已知的。在某些应用中，不同的相机方向可能是有利的。例如，用户可以选择旋转位置，通过该旋转位置，细长样本在图像对角线上延伸，使得整个样本在显微镜图像中可见。然而，在其他情况下，不合适的旋转方向可能导致缺陷，例如当多个横向重叠的显微镜图像被组合成聚合图像或全景图像时。在这种技术中，单个显微镜图像构成聚合图像的图块，也称为图像拼接或马赛克成像。参考图1说明了该技术的常见问题。图1示出了组合成聚合图像60的多个显微镜图像50A、50B、50C。在各个显微镜图像50A-50C的捕获期间或之间，样本台沿平移方向51横向移动，使得显微镜图像50A-50C示出在平移方向51上彼此重叠的样本区域。然而，显微镜图像50A-50C的图像边缘56不平行于平移方向51，而是与平移方向51形成角度57。由于角度57，聚合图像60包含空白图像区域，该空白图像区域没有被显微镜图像50A-50C之一中的任何图像填充。可以裁剪聚合图像60以删除分散注意力的空白图像区域62，但这会导致所分析的样本区域的图像信息丢失，而裁剪的聚合图像可能比最初期望的要小。

当显微镜相机相对于样本台的方向(旋转方向)已知时，可以防止生成具有空白图像区域62的聚合图像60。在这种情况下，例如，可以选择平行于显微镜图像的图像边缘延伸的样本台的平移方向。或者，可以校正显微镜相机的旋转方向，使得显微镜图像的图像边缘平行于样本台的平移方向。

用于确定显微镜相机相对于样本台的旋转方向的已知方法要使用校准样本。通过样本台移动校准样本，同时捕获多个显微镜图像。可以从显微镜图像推断校准样本的移动方向，从而可以确定显微镜相机的旋转方向。在某些情况下，可以使用结构充分的样本来代替校准样本。然而，并非所有样本都适用于此目的，因此在开始对样本进行实际分析之前，通常需要使用校准样本进行单独测量。这种方法通常还需要用户采取进一步的行动，例如手动定位和聚焦样本区域或聚焦校准样本。

例如，在US10430955B2中或申请人在DE102019131678中已经描述了用于对显微镜图像进行图像拼接的方法。

申请人还在DE102019113540中公开了一种显微镜，其中样本载体的概览图像通过附加的概览相机来捕获。在概览图像中确定适合自动对焦的位置。

通用显微镜系统包括具有用于捕获至少一个显微镜图像的显微镜相机和用于捕获概览图像的概览相机的显微镜。概览相机相对于显微镜的样本台的旋转方向是已知的。显微镜系统还包括被配置为处理显微镜图像和概览图像的计算设备。

发明内容

可以认为本发明的目标是提供一种显微镜系统和方法，以使得可以以特别快速和稳定的方式来检查显微镜相机的旋转。

该目的通过本发明的方法和显微镜系统来实现。

在根据本发明的用于检查显微镜相机的旋转的方法中，利用显微镜的概览相机来捕获概览图像。概览相机相对于显微镜的样本台的旋转方向是已知的。此外，通过显微镜相机拍摄显微镜图像。基于显微镜图像和概览图像之间的相对旋转来计算显微镜相机相对于样本台的旋转方向，其中通过显微镜图像和概览图像中的图像结构来建立相对旋转，并且其中使用概览相机相对于样本台的已知的旋转方向。

相应地，在根据本发明的前述类型的显微镜系统中，计算设备被配置为基于显微镜图像和概览图像之间的相对旋转来计算显微镜相机相对于样本台的旋转方向，其中通过显微镜图像和概览图像中的图像结来构建立相对旋转，并且其中使用概览相机相对于样本台的已知的旋转方向。

这样，则应用到了概览相机相对于样本台或显微镜支架的已知方向。通过借助图像分析确定显微镜图像和概览图像的图像内容的各个方向之间的关系，可以推断显微镜相机相对于样本台或显微镜支架的方向。原则上，单个概览图像和单个显微镜图像已经足够用于此目的。然而，本公开中的任何单独的使用并不旨在排除进一步的概览图像和/或显微镜图像被捕获和考虑的基本可能性。本发明不需要特殊的校准样本。相反，概览图像和显微镜图像可以用样本或容纳有样本的样本载体来直接捕获。样本不一定必须表现出某些特性，例如关于概览图像和显微镜图像中的合适结构或对比度，因为图像分析可以使用不显示样本的其他图像区域进行，例如样本载体或样本载体的支撑框架。这也减少了样本的曝光。此外，通过根据本发明的方法，样本台的平移路径可以很短，从而所需的时间段很短。

可选实施例

根据本发明的显微镜系统和根据本发明的方法的有利变型是从属权利要求的目的，并且在以下描述中进行解释。

特别的，计算设备可以执行或命令以下过程：可以首先将细节的图像结构定位在概览图像中。该步骤可以通过图像分析进行。细节可以是例如盖玻片角或样本载体角，稍后将更详细地解释。通过定位，在概览图像中确定细节的图像区域。如果使用支架或样本台校准概览相机，则可以从概览图像中的细节的图像坐标来推断空间(即样本台上)中的细节的位置。因此，在下一步骤中可以通过样本台来定位细节的位置。这被理解为意味着将样本台横向移动，以便将细节放置在显微镜的光路中或显微镜相机的视野中。“横向”可以理解为横向或垂直于显微镜相机的观察方向的方向。为了更容易理解，各种涉及到细节位置的移动的描述，应理解为样本台的移动，使得细节的位置朝向光轴移动/进入所使用的相机的视野。可选地，样本台可以另外在观察方向上平移，该观察方向也可以称为高度方向或z方向。这可以作为所选细节的高度级别的功能。然后在定位位置捕获显微镜图像，以便显微镜图像显示细节的图像结构。特别的，现在可以通过显微镜图像和概览图像中的图像结构来确定显微镜图像和概览图像之间的相对旋转。如果所讨论的细节例如是盖玻片角，则盖玻片角的方向可以分别在概览图像和显微镜图像中确定。这两个方向之间的旋转角度表示显微镜相机相对于概览相机旋转的角度。关于方向、旋转或旋转方向的指示可以理解为与样本区域或样本台上的相机的视野有关。当描绘的对象在两个图像中具有相同的方向时，视场是对齐的(即，它们相对于彼此具有0度的相对旋转)，例如当描绘的直边与两个图像中的图像下边缘成相同的角度时。

图像结构

在概览图像和显微镜图像中评估以确定方向的图像结构可以显示相同的结构(相同的细节)。特别地，图像结构可以表示样本载体、用于样本载体的支撑框架的至少一个细节、样本台或存在于样本载体上的物体或元件的至少一个细节。特别是直边或角适合作为用于分析的细节，因为它们可以特别精确地确定图像中的角度。因此，细节尤其可以是盖玻片拐角或边缘、样本载体拐角或边缘、标签区域拐角或边缘、或支撑框架拐角或边缘，特别是在用于样本载体的支撑框架的凹槽处。除了外边缘，样本载体的边缘还可以与样本容器的边缘相关，例如微量滴定板的孔边缘。细节也可以是支撑框架或样本载体上的标记、或粘性标签、可见损坏、文本或样本载体或样本区域中的另一个组件上的污染物。除了所用的盖玻片之外，样本载体上的物体也可以是例如样本载体上的盖子。污染物可以是例如指纹、头发、棉绒或液体上的气泡。可见损坏可以是例如盖玻片或样本载体中的缺口边缘，或者一个或多个划痕。在使用多个划痕(或通常多个相邻元素)作为细节的情况下，还可以在概览图像和显微镜图像中评估多个划痕/元素相对于彼此的方向，而不是评估单个划痕/元素的方向。样本本身，尤其是样本的宏观结构，也可以理解为样本载体上的物体。原则上，也可以评估样本台上的结构以确定方向。例如，样本台上可以看到的孔、托架、夹子、螺钉或标记。

虽然概览图像和显微镜图像中的相同细节可用于确定方向，但原则上也可以分析相对于彼此具有已知方向的不同细节。例如，在概览图像中评估以确定方向的图像结构可以表示方形盖玻片的一角。显微镜图像中的图像结构可以显示方形盖玻片的不同角。由于方形盖玻片的角相对于彼此的方向是已知的，因此在这些图像中的不同盖玻片角的方向已经被确定的情况下，还可以确定显微镜图像和概览图像之间的相对旋转。

图像结构的评估和选择

计算设备可以被配置为能够定位概览图像中的上述细节中的至少两个。如果在概览图像中找到多个不同细节的图像结构，则计算设备选择这些细节中的一个或多个。所选细节或细节用于确定方向。

可选地，该选择可以基于对概览图像中这些细节的图像结构的评估。特别的，可以根据以下一项或多项标准进行评估：

可以考虑图像结构的几何形状。例如，就其直线而言，边缘或角落可能比手写或棉绒更佳合适。一般而言，如果形状具有锋利的边缘并且不是旋转对称或圆形，则可以评估为更好的形状。

可以确定已定位的细节的类型，其中针对不同类型存储对应的评估。这些评估可以表明不仅在概览图像中而且在显微镜图像中的不同类型的可见程度。例如，玻璃边缘通常在概览图像和显微镜图像中提供高图像对比度。

在评估中也可以考虑细节的安全定位的可能性和聚焦的可能性。如果平移路径对于所使用的目标来说不是自由的，或者如果碰撞预防系统的安全距离会受到影响，则给出较差的评估。

评估还可以与捕获细节的显微镜图像所需的时间段有关，或与定位细节所需的样本台平移路径的长度(即平移时间)有关。平移路径越短，获得的评价越好。

如果选择多个细节来确定显微镜相机的旋转方向，则计算设备可以根据这些细节之间的样本台的平移路径进行该选择。例如，虽然样本载体的两个相对角可以被评估为特别合适，但是这些角之间的平移路径会特别长。为了在预定时间段内获得具有最佳精度的结果，因此可能优选仅分析多个样本架拐角中之一，并且还分析该样本架拐角附近的一个或多个细节。

概览相机的旋转对齐

概览相机可以牢固地安装在显微镜支架上。在概览相机相对于样本台的旋转方向的初始校准或确定之后，该旋转方向因此是已知的。概览相机相对于样本台的校准是可选的；在这种情况下，校准被理解为可以将概览图像的图像坐标转换成样本台处的空间坐标或通过校准参数转换成样本台处的平面坐标。然而，如果可以将概览图像中的方向识别为样本台的方向，原则上就已经足够了。因此，概览相机的已知的旋转方向可以描述样本台的(基本上可任意定义的)方向或轴如何在概览图像内运行。特别地，概览相机的已知的旋转方向可以在概览图像中指示样本台的运动轴的方向。

相对旋转

计算设备可以被配置为以下列方式确定显微镜图像和概览图像之间的相对旋转：确定概览图像中的局部图像结构的方向，例如相对于图像边缘之一的方向。如果图像结构表示边缘，则方向可以指示边缘与概览图像的预定图像边缘/概览图像的图像边界之间的角度。然后确定显微镜图像中的图像结构的方向。该图像结构可以表示相同的细节，并且可以如对概览图像所描述的那样来确定方向。然后可以将概览图像和显微镜图像中的图像结构的方向相互比较，例如可以确定角度之间的差异。概览图像和显微镜图像中的方向之间的差异表示相对旋转。现在可以结合概览相机的已知方向在计算中考虑相对旋转，例如通过将两个角度相加以确定显微镜相机相对于样本台的旋转方向。

显微镜相机相对于样本台的旋转方向的计算是基于显微镜图像和概览图像之间的相对旋转这一事实并不一定意味着相对旋转是明确计算和输出的。相反，显微镜图像的图像内容和概览图像的图像内容之间的旋转基本上以任何方式被建立和考虑。例如，可以将概览图像中的图像结构的方向确定为相对于轴的角度，该轴指示样本台在概览图像中的运动方向或轴。然后将显微镜图像的图像内容旋转所述角度。该旋转显微镜图像中的图像结构的方向现在相对于轴确定，该轴在旋转显微镜图像中平行于概览图像中的前述轴延伸；该方向直接指示显微镜相机相对于样本台的旋转方向。

用于确定旋转的机器学习模型

也可以使用机器学习模型，以便从输入数据中计算显微镜相机的旋转方向或概览图像和显微镜图像之间的相对旋转。机器学习模型被理解为使用训练数据学习的模型。可以对训练数据进行注释，在过程中指定目标结果(基本事实)。例如，训练数据可以包括分别由概览图像(或其一部分)和显微镜图像组成的一对或多对输入图像，其中这些图像之间的相对旋转以注释的形式另外指定。特别的，概览图像的部分可以是显示与显微镜图像相同的细节的图像部分。因此，至少两个图像总是联合地进入/输入到模型中，即概览图像(或其部分)和显微镜图像(或其部分)。使用上述训练数据的学习模型，在完成训练后从输入的概览图像(或其部分)和同时输入的显微镜图像(或其部分)计算所述图像之间的相对旋转。

输入数据还可以包括多于两个的图像，例如多个显微镜图像，稍后将更详细地描述。

此外，输入数据还可以包括概览相机的已知旋转方向。在这种情况下，显微镜相机的旋转方向可以直接在训练中以注释的形式指定。从而学习好的模型基于输入的概览图像(或其部分)、同时输入的显微镜图像(或其部分)和关于概览相机的旋转方向的输入信息，直接计算指示显微镜相机的旋转方向的输出。

换言之，计算设备可以被配置为将输入数据馈送到机器学习模型，其中输入数据至少包括概览图像和显微镜图像或它们各自的部分，其中机器学习模型是使用类似于输入数据的训练数据进行训练的，要么计算输入的概览图像和输入的显微镜图像或相同部分之间的相对旋转，或计算显微镜相机的旋转方向。

上下文信息

下面描述了上下文信息的各种示例，其原则上可用于任何或所有已执行的图像分析步骤。图像分析步骤可以涉及例如概览图像中的图像结构的定位或显微镜相机的旋转方向的计算，特别是显微镜图像和概览图像之间的相对旋转的计算。上下文信息也可以用于该方法包括的任何子步骤，例如，用于确定概览图像或显微镜图像中的图像结构的方向。相同或不同的上下文信息可用于不同的图像分析步骤。图像分析步骤可以通过机器学习模型或无需使用机器学习模型的经典算法来执行。

上下文信息尤其可以与以下一项或多项相关：

-使用的一种类型的支撑框架。该类型可以由用户手动输入或通过从概览图像或另一概览图像的图像分析来确定。例如，上下文信息可以指示使用包括两个托架的支撑框架的类型，两个托架的相对内侧/边缘分别具有圆形段的形状。该上下文信息可用于定位概览图像中的图像结构，该结构示出了用于后续方法步骤的支撑框架的边缘。

-使用的一种类型的样本载体。不同的类型可以是例如微量滴定板、载玻片、培养皿或由多个单独隔室形成的培养皿。类似于前面关于支撑框架类型的描述，所使用的样本载体的类型可以由用户手动输入或通过从概览图像或另一概览图像的图像分析来确定。合适的细节可以从已知的样本载体及其用于确定旋转的图像结构中得出。

-用户对某类细节的预选。用户可以手动选择或预选要在概览图像中定位其图像结构的细节的类型。该选择可以用作上下文信息。例如，当用户已将标记应用于样本载体时，这种手动预选可能是方便的。

-至少一个先前计算的显微镜相机的旋转方向的质量。质量可以采取例如用户反馈的形式。如果上下文信息表明一个或多个先前的旋转方向计算不准确的低质量，则该上下文信息可用于设置更多数量的不同的图像结构，以由相应的显微镜图像捕获并用于确定旋转。例如，在高质量的情况下，可以仅在盖玻片或样本载体的一个角处就确定旋转方向，而在低质量的情况下，将使用盖玻片或样本载体的多个角来确定旋转方向。

计算设备还可以被配置为在计算显微镜相机的旋转方向时考虑显微镜相机的已知粗略方向，特别是以上下文信息的形式。可以通过已知的粗略方向排除潜在的歧义。例如，如果显微镜图像中的细节的图像结构表现出旋转对称性，则已知的粗略方向可以帮助确定实际存在的多个可能旋转中的一个。如果所讨论的细节是直边，则可能有两个相对于彼此旋转180°的方向，在这种情况下，可以通过粗略的方向选出两个方向中正确的的一个。

图像系列

可选地，在定位至少一个细节的位置的期间(即，在样本台移动期间，在捕获显微镜图像的相机视场中定位细节的位置)捕捉由不同样本台位置的多个显微镜图像组成的图像系列是可能的。

然后可以在计算显微镜相机的旋转方向时，在定位至少一个细节的位置的期间，考虑样本台的平移方向或位置的多个显微镜图像和指示。除了已经描述的信息之外，可以利用更多信息，但不会显著增加总时间要求。

使用圆形细节确定旋转方向

使用圆形细节(例如微量滴定板的圆形孔)确定方向可能很困难。例如，如果一个孔在显微镜图像中完整可见，则可能无法确定显微镜图像中孔的方向，或者由于孔的旋转对称性而只能不精确地确定相同的方向。

如果圆形物体足够大，则更容易评估它们。例如，在显微镜图像中可能只能看到培养皿圆形边缘的一小部分，因此边缘部分看起来大致笔直，或者至少在显微镜图像中不表现出任何旋转对称性。

为了即使在使用例如圆形孔时也能够确定显微镜相机的方向，计算设备可以被配置为捕获定位在不同样本台位置的概览图像中的细节的多个显微镜图像，且无论何时基于单个显微镜图像计算旋转方向是不精确的或不可能的。然后可以基于多个显微镜图像中的细节的图像结构的平移，并考虑不同的样本台位置来计算显微镜相机的旋转方向。这种计算方法是上述方法的替代方案，该方法通过比较概览图像和显微镜图像中的图像结构的各自方向来推断显微镜相机的方向。计算设备被配置成能够执行两种备选方案。可以由计算设备选择实现两个备选方案中的哪一个，例如作为定位了的细节的形状或类型。

根据显微镜相机确定的旋转方向采取的动作

计算设备可以被配置为基于确定的显微镜相机的旋转方向来执行一个或多个不同的动作：

例如，可以执行校准或向用户建议校准。特别地，可以向显微镜用户输出旋转显微镜相机的指令。这为用户提供了交互式帮助，以便正确设置旋转。当用户旋转显微镜相机时，可以捕获更多的显微镜图像。为了监控用户进行的旋转运动，可以分别确定所描绘的图像结构的方向。给用户的指令可以指示旋转方向以及旋转动作的停止。

在多个显微镜图像在不同样本台位置被连续捕获并组合成聚合图像的情况下，还可以将样本台位置定义为所计算出的显微镜相机的旋转方向，以便聚合图像显示没有任何间隙的预定的样本区域，并且聚合图像没有任何空白区域。

可选地，样本台的平移方向可以设置为所计算出的显微镜相机的旋转方向。特别地，平移方向可以被设置为平行于显微镜图像的图像边缘。如果以该平移方向连续捕获多个显微镜图像，则可以将它们组合成一个集合图像，其中避免了所描述的介绍部分中描述的空白图像区域。

确定的显微镜相机的旋转方向也可以传送到图像拼接算法，该图像拼接算法可以是计算设备的一部分。图像拼接算法被设计为将在不同样本台位置处捕获的多个显微镜图像拼接成一个聚合图像，并考虑在所述拼接过程中确定的显微镜相机的旋转方向，从而可以实现更精确的拼接。

一般特征

显微镜系统表示包括至少一个计算设备和显微镜的装置。显微镜基本上可以理解为任何具有放大能力的测量设备，特别是光学显微镜、X射线显微镜、电子显微镜、宏观显微镜或具有某种其他设计的放大能力的图像捕获设备。

计算设备在物理上可以是显微镜的一部分，它可以单独布置在显微镜附近，或者布置在离显微镜任何距离的远程位置。计算设备还可以设计为分散式，并通过数据链路与显微镜通信。它通常可以由电子和软件的任何组合形式，并且具体包括计算机、服务器、基于云的计算系统或一个或多个微处理器或图形处理器。计算设备还可以配置为控制显微镜相机、概览相机、图像捕获、样本台驱动器和/或其他显微镜组件。

样本载体基本上可以是用于承载一个或多个样本的任何物体，例如具有盖玻片的载玻片、微量滴定板、腔室载玻片、培养皿或形成有多个单独隔室的培养皿。样本载体可以包括一个或多个分别用于容纳样本的样本容器，例如微量滴定板的圆形孔/容器或腔室载玻片的矩形腔室。样本可以是任何样本，并且可以包括例如保持在液体中的物体。特别地，样本可以包括生物细胞或细胞部分、材料样本或岩石样本或电子元件。

除了显微镜相机之外，还提供了用于捕捉概览图像的概览相机，通过该显微镜相机可以以更高的放大倍率捕捉样本区域的图像。概览相机可以安装在固定的设备框架上，例如：显微镜支架，或可移动部件上，例如样本台、聚焦驱动器或物镜旋转器。概览图像可以是由概览相机生成的原始图像或基于一个或多个原始图像的处理图像。特别地，可以在根据本公开进行评估之前处理捕获的原始图像/概览图像。还可以提供多个从不同角度指向样本载体的概览相机。可以从多个概览相机的图像中计算概览图像。

可选地，照明设备可以在概览图像的捕获期间照亮样本载体。照明装置可以是显微镜的光源，在使用显微镜物镜和显微镜相机的样本分析期间也使用该光源，例如用于入射光或透射光分析的光源。或者，它可以是仅用于捕获概览图像的附加光源，并且直接例如以斜角指向样本载体的顶部或底部。

显微镜图像被理解为由显微镜相机通过显微镜物镜捕获的图像。显微镜图像可以是原始图像或通过图像处理从显微镜相机的一个或多个原始图像生成。原则上可以使用任何测量原理或对比方法。例如，可以是荧光成像或激光扫描成像。

用于从对应的原始图像生成概览图像和/或显微镜图像的图像处理可以采取例如生成分割掩码的图像分割的形式。在分割掩码中，不同的像素值表示不同的对象，例如样本载体、样本区域和背景。分割掩码尤其可以是二进制掩码，该二进制掩码将要找到的对象与剩余的图像内容区分开来。分割掩码对于评估例如样本载体或盖玻片的边缘或角落可能是有利的。在所描述的不同变体中，对样本结构的方向的确定因此可以可选地通过分割掩码进行。附加地或替代地，图像处理还可以包括将以斜角捕获的概览图像转换为另一个透视图。特别地，通过校准参数，以与样本载体或样本台呈斜角捕获的概览相机的原始图像，可以通过单应映射转换为俯视图。可以在顶视图图像中或根据顶视图的图像计算中确定图像结构的方向，例如分割掩码。或者，也可以在以斜角拍摄的概览图像中确定方向。然后根据单应映射转换方向，以便与显微镜图像中的图像结构的方向进行比较。

根据本发明的计算机程序包括命令，该命令是执行所述方法变体之一时引起的，且所述方法变体由计算机执行。

本发明中所描述的学习模型或机器学习模型分别表示通过使用训练数据的学习算法学习到的模型。例如，机器学习模型可以分别包括一个或多个卷积神经网络(CNN)，卷积神经网络(CNN)接收至少一个输入图像-尤其是概览图像、显微镜图像或从概览图像、显微镜图像中计算的图像-作为输入。机器学习模型的训练可以通过监督学习过程进行，其中提供了训练后的概览图像和/或具有相关注释/标签的训练后的显微镜图像。学习算法用于基于带注释的训练数据定义机器学习模型的模型参数。为此可以优化预定义的目标函数，例如可以最小化损失函数。损失函数描述了机器学习模型的预定义标签和当前输出之间的偏差，这些偏差是根据输入的训练数据中的当前模型参数值计算得出的。修改模型参数值以最小化损失函数，可以计算所述修改，例如，通过梯度下降和反向传播。在CNN的情况下，模型参数尤其可以包括CNN不同层的卷积矩阵的条目。其他深度神经网络模型架构也可以代替CNN。除了监督学习过程，也可以执行不出现训练图像注释的无监督训练。部分监督训练或强化学习也是可能的。图像结构的定位、图像结构的评估和/或图像结构的测量，特别是图像结构的方向的确定，可以通过执行分类、回归、分割和/或检测的一个或多个模型来实现。

已经被描述为附加装置特征的本发明的特征，在按预期实施时也产生根据本发明的方法的变体。相反，显微镜系统也可以被配置为执行所描述的方法变体。特别地，计算设备可以被配置为执行所描述的方法变体和/或输出命令以用于执行所描述的方法步骤。计算设备还可以包括所描述的计算机程序。尽管将经过训练的机器学习模型与一些变体一起使用，但相应训练步骤的实施导致本发明的其他变体。

附图说明

下面参考附图描述本发明的其他优点和特征：

图1示意性地示出了将多个显微镜图像组合成一个聚合图像；

图2是本发明的显微镜系统的示例实施例的示意图；

图3示意性地示出了本发明方法的示例实施例的过程；

图4示意性地示出了本发明方法的示例实施例的过程

图5示意性地示出了图4所示的过程的后续；

图6示意性地显示了图4中说明的过程的另一后续；以及

图7是本发明方法的示例实施例的过程的进一步示意图。

具体实施方式

下面参照附图描述不同的示例实施例。通常，相似的元件和以相似方式起作用的元件用相同的附图标记表示。

图2

图2示出了根据本发明的显微镜系统100的示例实施例。显微镜系统100包括计算设备20和显微镜1，显微镜1在所示示例中是光学显微镜，但实质上可以是任何类型的显微镜。显微镜1包括支架2，通过该支架2支撑其他的显微镜部件。显微镜部件尤其可以包括：照明装置15、物镜变换器/旋转器3、样本台5、显微镜相机10，在所示示例中物镜4安装在物镜变换器/旋转器3上，样本台7可以放置在样本台5上。当物镜4旋转到位于显微镜的光路中时，显微镜相机10接收来自样本区域的检测光，以捕获显微镜图像。

显微镜1还包括用于捕获样本载体7或样本环境的概览图像的概览相机9。概览相机9的视场9C大于捕获显微镜图像时的视场。在所示示例中，概览相机9通过镜子9B观察样本载体7。镜子9B被布置在物镜旋转器3上并且可以被选择来代替物镜4。在这个实施例的变体中，镜子或一些其他偏转元件也可以被布置在不同的位置。替代地，概览相机9也可以被布置成无需镜子9B而直接观察样本载体7。概览相机9在所示示例中观察样本载体7的顶侧，尽管它可以替代地瞄准样本载体7的底侧。

计算设备20使用根据本发明的计算机程序80来处理概览图像和显微镜图像，并且可选地基于处理结果来控制显微镜部件。特别地，计算设备20可以控制样本台5在横向(例如，垂直于光轴，光可以沿该光轴被引导至显微镜相机10)上执行移动5A。这允许捕获多个横向重叠的显微镜图像并将其组合成一个聚合图像，例如关于图1所表示的那样。显微镜相机10相对于样本台5的旋转方向10A影响各个显微镜图像相对于平移运动5A的方向。显微镜相机10可以安装成可旋转的，从而可以使得其精确的旋转方向10A未知。显微镜相机10围绕光轴的不同旋转方向10A或旋转角度导致显微镜相机10的视场在样本台5上的平面内旋转。通过本发明来确定旋转方向10A。在此过程中可以使用概览相机9的已知旋转方向9A。类似地，旋转方向9A确定概览相机9的视场9C在样本台5上的平面中的旋转。概览相机9刚性地安装在例如支架2上，使得其旋转方向9A不变，并且在正常操作期间是已知的。一般已知的校准技术可用于确定旋转方向9A。

下面参考图3描述用于确定旋转方向10A的本发明变体的过程的基本序列。

图3

图3示意性地示出了由概览相机捕获的概览图像30。在概览图像30中可以看到由样本台上的支撑框架6承载的样本载体7。盖玻片8位于样本载体7上。样本可以容纳在盖玻片8和样本载体7之间。

概览图像30的放大部分30A示出了概览图像30在盖玻片8的角部8A的区域中的图像结构35。

概览相机相对于样本台的旋转方向是已知的，因此概览图像30或其部分30A中的样本台的轴5B是已知的。基本上，轴5B可以是样本台平面中的任意定义的方向，并且在此表示在样本台平移运动的情况下，由概览相机捕获的图像内容的平移方向是已知的。

图3仍然示意性地示出了由图2的显微镜相机捕获的显微镜图像50。显微镜图像50显示样本载体7与概览图像30的部分30A相同的区域。因此，可以见到图像结构55在显微镜图像50中围绕盖玻片8的相同角8A。然而，显微镜相机的旋转方向是未知的，或者至少不知道精确的，显微镜图像50中样本台的轴5B的方向是未知的。如果移动样本台，则无法预测显微镜图像50中图像内容的平移方向。本发明通过确定显微镜图像50中样本台的轴5B的方向来补救这个问题，即，确定显微镜相机相对于样本台的旋转方向。

这可以通过将概览图像30(或部分30A)的图像结构35的方向与显微镜图像50的图像结构55的方向进行比较来实现。盖玻片角8A的方向可以很容易在部分30A和显微镜图像50中确定。这两个方向之间的角度表示显微镜相机和概览相机之间的相对旋转。现在，显微镜图像50中的样本台的轴5B可以通过将概览图像的部分30A中的轴5B旋转该角度来指示，即根据相对旋转。因此，无需耗时的测量即可确定显微镜相机的旋转方向，并且基本上是全自动的。

使用盖玻片角8A的评估在这方面仅作为可能的示例进行描述。原则上，可以使用在概览图像30中可见的任何细节41-48。细节41-48可以位于例如样本载体7、支撑框架6或样本台5上。细节41标记在固定框架6上，细节42是样本架7的边缘，细节43是盖玻片8的边缘，细节44是盖玻片8的角之一，细节45是样本架7的标签区域的边缘，细节46是样本架7上的文字，细节47是样本架7上的指纹，细节48是支撑框架6的内边缘。特别的，边缘或角落可以是合适的细节，因为它们在捕获的图像中的方向可以相对容易和精确地确定。

下面包含参考其余附图对本发明的变体的更详细描述。

图4和图7

图4示出了根据本发明的方法的示例实施例的过程，该方法可由图2的计算程序80或计算设备20执行。

该方法的过程在图7中显示为流程图。以下描述涉及图4和图7，图4和图7描述的过程顺序不是强制性的；相反，也有可能同时发生不同的过程或部分修改顺序。

在所示示例中，首先在过程P1中用概览相机捕获概览图像30。

在过程P2中，现在确定概览图像中的一个或多个细节的图像结构，可选地，这可以在为此目的训练的模型M2中实现。模型M2可以使用与带注释的概览图像相对应的训练图像进行训练。对于训练数据的每个概览图像，细节的图像结构被标记为注释，例如通过边界框的坐标。可以手动指定注释。

可以学习模型M2，该模型M2可以针对输入概览图像30输出与训练数据的细节相对应的不同图像结构35的图像坐标。图4示出了概览图像30和由模型M2定位的图像结构35的叠加。由模型M2定位的图像结构35对应于关于图3描述的细节41-48。

在过程P3中，评估由模型M2确定的图像结构35。这可以通过为此目的训练的模型M3或不使用机器学习模型的经典算法来实现。对图像结构35的奖励评估例如可以对应于该图像结构的图像对比度的质量。直边也可以被评估为比圆形细节更好。在评估中也可以考虑所讨论的细节与显微镜相机当前视场的距离。该距离越大，样本台定位细节所需的时间就越长。因此随着距离的增加会确定较差的评估。可以在模型M3的学习期间应用这些标准，例如通过对应于图像结构35的输入图像的相应评估注释。为了考虑这个距离，模型M3可以接收作为输入、在除了图像结构35之一之外相关的位置信息，例如，在概览图像30中所讨论的图像结构35的图像坐标。模型M3现在为每个局部的图像结构35计算评估S1到Si。现在可以选择具有最佳评估的图像结构的细节或对应于具有最佳评估的图像结构的多个细节，以用于确定旋转的进一步动作。

参考图5和图7继续对该方法的进一步处理的描述。

图5和图7

为了如前所述将图像结构35被评价为最佳，图5示出了概览图像30的部分30A。在所示示例中，图像结构35是盖玻片8的一角，即细节44。

在过程P4中，细节44现在与样本台一起定位，从而可以捕获细节44的显微镜图像50。

在过程P5中，确定了概览图像30或概览图像30的部分30A中的细节44的图像结构35的方向。在所示的示例中，方向被指示为在盖玻片8的拐角处的盖玻片边缘之一相对于参考方向之间的角度A。例如，参考方向可以平行于图像边缘，例如，平行于图像边缘，即概览图像的左图像边缘。在所示示例中，角度A约为4°。类似地，显微镜图像50中的图像结构55的方向被确定为盖玻片边缘之一相对于参考方向的角度B。这里的参考方向同样对应于相同的(左)图像边缘。所示示例中的角度B约为24°。

在过程P6中，图像结构35和55的确定的方向，即被输入到比较算法65中的两个角度A和B。比较算法65计算角度A和B的差，在示例中为20°，表示显微镜相机和概览相机之间的相对旋转R。通过比较算法65考虑概览相机的已知旋转方向9A和所确定的相对旋转R(即在这种情况下的20°的差异)来计算显微镜相机的旋转方向10A。

可以以可靠和省时的方式确定显微镜相机10的方向。已知的方向可以以各种方式使用。例如，可以向用户发出旋转显微镜相机10的指令。可以将显微镜相机10以这样的方式方向，即，当捕获的多个横向重叠的显微镜图像以将它们缝合在一起以形成类似于图1所示的图像的全景图像时，全景图像中不产生空白。为此，可以旋转显微镜相机10，例如，使得随后捕获的显微镜图像的图像边缘平行于样本台5的平移方向延伸。

下面参考图6描述本发明的所述变体的变体。

图6

图6示出了本发明的变体的过程，该过程可以替代图5的过程来执行。

如图6所示，已捕获所选细节的显微镜图像50(在此示例中为盖玻片的一角)。

该显微镜图像50和显示相同细节(即相同盖玻片角)的概览图像的相应部分30A现在共同输入到已学习机器学习模型M中。可选地，概览相机9的已知旋转方向9A的指示也被馈送到机器学习模型M。机器学习模型M直接从输入数据中计算显微镜相机10相对于样本台5的旋转方向10A。

为此，机器学习模型M可以使用训练数据来学习，输入数据包括由细节的显微镜图像和相同细节的概览图像的一部分组成的对，以及可选的相关联的概览相机的旋转方向。显微镜相机的各个旋转方向以注释或目标结果的形式指定。

或者，也可以使用没有任何概览相机的旋转方向的指示的训练数据。相反，例如，由显微镜图像组成的输入图像对与概览图像的相应部分之间的相对旋转可以分别以注释的形式指定。从而学习确定显微镜图像与概览图像或概览图像的一部分之间的相对旋转的模型。

如图6所示，可选地，机器学习模型M考虑上下文信息K也是可能的。上下文信息K可以指示例如显微镜图像50中显示的细节的类型和/或正在使用的样本载体的类型。

所示实施例的进一步变化是可能的。特别地，附加图像处理步骤的实施是可能的。例如，显微镜图像的所述评估可以在其转换为分割掩码之后实现。在图6所示的例子中，所示的显微镜图像50可以被分割掩码或二进制掩码代替，在二进制掩码中，盖玻片8的区域具有一个像素值而剩余的图像区域具有另一个像素值。相应地，概览图像30或部分30A可以在所描述的用于确定旋转的过程发生之前被分割。

在进一步的变体中，可以更换图4中所示的为检测模型的模型M2。相反，例如，可以从概览图像30计算一个或多个分割掩码，其中描述的细节41-48的类型与每个分割掩码中的其他图像内容分隔开。随后可以分析分割掩码的形状，以便选择一个或多个要分别捕获显微镜图像的图像区域。

当图4中的模型M2和M3被单个模型代替，将产生进一步的变体，该单个模型直接从输入概览图像30输出具有相应评估的一个或多个图像结构。原则上，也可以省略评估并直接确定一个或多个图像结构，以捕获各自的显微镜图像。因此可以省略模型M3和过程P3。

出于说明本发明的目的，图5和6示出了仅对一个显微镜图像50和概览图像30的相关部分30A的评估。然而，为了从相同的位置确定旋转方向10A，也可以考虑其他细节的其他显微镜图像50和概览图像的相应部分。

还可以针对相同细节捕获多个显微镜图像50并且在确定旋转方向10A时考虑所述多个显微镜图像50。可以捕获多个显微镜图像50，例如，在细节的定位期间，或者在细节分别位于显微镜相机的视场中的不同样本台位置处。此处还可以考虑各个样本台位置的指示，从而也可以考虑显微镜图像之间的细节的最终平移。

通过选择样本载体、支撑框架或样本台上的元素作为细节，即使样本在概览图像中几乎没有对比度，也可以进行可靠的评估。在所描述的变型实施例的变型中，也可以评估与在概览图像中分析的细节不同的显微镜图像中的细节的方向。当不同细节彼此的方向已知时，这是可能的。例如，盖玻片的不同边缘或样本载体的不同边缘相对于彼此的反向是已知的。

所描述的示例实施例纯粹是说明性的，并且在所附权利要求的范围内其变体是可能的。

参考标志清单

1 显微镜

2 支架

3 物镜旋转器

4 显微镜物镜

5 样本台

5A 样本台的平移运动

5B 样本台的轴

6 支撑

7 样本载体

8 盖玻片

8A 盖玻片

9 概览相机

9A 概览相机的旋转方向

9B 镜子

9C 概览相机的视场

10 显微镜相机

10A 显微镜相机的旋转方向

15 照明装置

20 计算设备

30 概览图像

30A 概览图像的部分

41-48 样本载体、支撑框架或样本台的细节

50 显微镜图像

50A-50C 显微镜图像

51 样本台的平移方向

55 显微镜图像的图像结构

56 显微镜图像的图像边缘

57 显微镜图像的图像边缘与平移方向51之间的角度

60 从多个显微镜图像中生成的聚合图像

62 聚合图像的空白图像区域

65 比较算法

80 本发明的计算程序

100 本发明的显微镜系统

A 概览图像30的图像结构35的角度/方向

B 显微镜图像50的图像结构35的角度/方向

K 上下文信息

M，M2，M3 机器学习模型

P1-P6 本发明的实例性实施例的方法的步骤

R 显微镜图像50与概览图像30之间的相对方向

S1-Si 不同细节的图像结构的评估。

Claims (16)

1.一种用于检查显微镜相机(10)的旋转的方法，其特征在于，包括：

用显微镜(1)的概览相机(9)捕获概览图像(30)，其中概览相机(9)相对于显微镜(1)的样品台(5)的旋转方向(9A)是已知；用显微镜(1)的显微镜相机(10)拍摄显微镜图像(50)；和

基于显微镜图像(50)和概览图像(30)之间的相对旋转(R)计算显微镜相机(10)相对于样品台(5)的旋转方向(10A)，其中通过显微镜图像(50)和概览图像(30)中的图像结构(55)并使用概览相机(9)相对于样品台(5)的已知旋转方向(9A)来确定相对旋转(R)。

2.一种显微镜系统，包括：

一种显微镜(1)，具有用于捕捉显微镜图像(50)的显微镜相机(10)和用于捕捉概览图像(30)的概览相机(9)，其中概览相机(9)相对于显微镜(1)的样品台(5)的旋转方向(9A))是已知的；和

计算设备(20)，被配置为处理显微镜图像(50)和概览图像(30)；

其特征在于，

计算装置(20)被配置为基于显微镜图像(50)和概览图像(30)之间的相对旋转(R)计算显微镜相机(10)相对于样品台(5)的旋转方向(10A)，其中相对旋转(R)通过显微镜图像(50)和概览图像(30)中的图像结构(55)并使用概览相机(9)相对于样品台(5)的已知旋转方向(9A)来确定。

3.根据权利要求2所述的显微镜系统，其特征在于，其中计算设备(20)被配置为执行或命令以下过程：

为概览图像(30)中的细节(41-48)定位(P2)图像结构(35)；通过样品台(5)移动(P4)到细节(41-48)的位置；

在该位置捕获显微镜图像(50)，使得显微镜图像(50)显示细节(41-48)的图像结构(55)；和

通过显微镜图像(50)和概览图像(30)中的图像结构(35、55)确定(P6)显微镜图像(50)和概览图像(30)之间的相对旋转(R)。

4.根据权利要求2所述的显微镜系统，其特征在于，

其中图像结构(35、55)表示样品载体(7)、样品载体(7)的支撑框架、样品台(5)或存在于样品载体(7)上的物体的至少一个细节(41-48)。

5.根据权利要求2所述的显微镜系统，其特征在于，

其中计算设备(20)被配置为定位概览图像(30)中的以下细节(41-48)中的至少两个：

盖玻片角或边缘、样品载体角或边缘、标签区域角或边缘、支撑框架角或边缘、支撑框架或样品载体(7)上的标记，以及样品载体(7)上的文本或污染；

其中计算设备(20)被配置为通过评估(P3)概览图像(30)中的这些细节(41-48)的图像结构(35)来选择这些细节(41-48)中的哪一个用于确定显微镜相机(10)的旋转方向(10A)。

6.根据权利要求5所述的显微镜系统，其特征在于，

其中评估(P3)概览图像(30)中的细节(41-48)的图像结构(35)是基于以下标准中的一个或多个进行的：

-基于图像结构的几何形状(35)，

-基于确定的细节的类型(41-48)，其中针对所述类型存储与显微镜图像(50)中不同类型细节的可见性有关的评估，

-关于碰撞预防基于安全移动和细节(41-48)聚焦的可能性，

-为了移动到细节(41-48)，基于捕获细节(41-48)的显微镜图像(50)所需的时间段或基于样品台(5)的平移路径的长度。

7.根据权利要求2所述的显微镜系统，其特征在于，

其中，在选择多个细节(41-48)以确定显微镜相机(10)的旋转方向(10A)的情况下，计算装置(20)被配置为根据这些细节(41-48)之间的样本阶段(5)的平移路径进行所述选择。

8.根据权利要求2所述的显微镜系统，其特征在于，

其中计算设备(20)被配置为通过以下方式确定显微镜图像(50)和概览图像(30)之间的相对旋转(R)：

确定概览图像(30)中的局部的图像结构(35)的方向(A)；

确定显微镜图像(50)中的图像结构(55)的方向(B)；

比较概览图像(30)和显微镜图像(50)中的图像结构(35、55)的方向。

9.根据权利要求2所述的显微镜系统，其特征在于，

其中，计算设备(20)被配置为在计算显微镜相机(10)的旋转方向(10A)时考虑显微镜相机(10)的已知的粗略方向。

10.根据权利要求2所述的显微镜系统，其特征在于，

其中，计算设备(20)被配置为将输入数据馈送到机器学习模型(M)，输入数据至少包括概览图像(30)和显微镜图像(50)或概览图像(30)和显微镜图像(50)的相应部分(30A)；和

其中机器学习模型(M)使用与输入数据相似的训练数据进行训练，

-计算输入概览图像(30)和输入显微镜图像(50)或输入概览图像(30)和输入显微镜图像(50)的部分(30A)之间的相对旋转(R)

-或计算显微镜相机(10)的旋转方向(10A)。

11.根据权利要求10所述的显微镜系统，其特征在于，其中机器学习模型(M)的输入数据还包括概览相机(9)的已知旋转方向(9A)。

12.根据权利要求2所述的显微镜系统，其特征在于，

其中计算设备(20)被配置为在计算显微镜相机(10)的旋转方向(10A)时考虑上下文信息(K)，其中上下文信息(K)涉及以下中的一个或多个：

-使用的支撑框架(6)的类型，其中使用的支撑框架(6)的类型通过图像分析从概览图像(30)或另一概览图像中确定；

-使用的样品载体(7)的类型，其中使用的样品载体(7)的类型通过图像分析从概览图像(30)或另一概览图像中确定；

-用户针对待评估细节类型的预选(41-48)；和

-显微镜相机(10)的旋转方向(10A)的先前计算的质量。

13.根据权利要求2所述的显微镜系统，其特征在于，

其中在移动到至少一个细节(41-48)的位置期间捕获多个显微镜图像(50)，以及

其中，在计算显微镜相机(10)的旋转方向(10A)时考虑多个显微镜图像(50)和与样品台的移动有关的指示。

14.根据权利要求2所述的显微镜系统，其特征在于，

其中计算装置(20)被配置为，在从单个显微镜图像(50)计算旋转方向(10A)不精确或不可能的情况下：

-捕获位于不同样品台位置的概览图像(30)中的细节(41-48)的多个显微镜图像(50)，以及

-基于多个显微镜图像(50)中细节(41-48)的图像结构(55)的平移并考虑不同的样品台的位置来计算显微镜相机(10)的旋转方向(10A)。

15.根据权利要求2至14中任一项所述的显微镜系统，其特征在于，

其中计算设备(20)被配置为基于显微镜相机(10)的确定的旋转方向(10A)执行以下动作中的一个或多个：

-向显微镜用户输出旋转显微镜相机(10)的指令；

-将样品台(5)的平移方向设置为计算显微镜相机(10)的旋转方向(10A)的函数，使得平移方向平行于显微镜图像(50)的图像边缘；

-在不同的样品台位置连续捕获多个显微镜图像(50)并将它们组合成聚合图像，其中样品台位置是根据计算显微镜相机(10)的旋转方向(10A)确定的，使得聚合图像显示没有任何间隙的预定的样本区域，并且聚合图像的边缘没有任何空白区域；

-将确定的显微镜摄像机(10)的旋转方向(10A)传送到图像拼接算法，其中图像拼接算法被设计为将在不同样品台位置捕获的多个显微镜图像(50)拼接在一起成为聚合图像，并且考虑在所述拼接期间确定的显微镜相机(10)的旋转方向(10A)。

16.一种具有命令的计算机程序，其特征在于，当由计算机执行时，导致执行根据权利要求1所述的方法。

Images