CN112835191B - 显微镜和处理显微图像的方法 - Google Patents

Abstract

显微镜包括显微镜支架(40)、用于记录显微图像(51‑58)的照相机(20、30)和计算设备(50)，该计算设备配置为，对记录的显微图像(51‑58)进行图像处理。计算设备(50)配置为：定义(S2)相关图像结构；以及在显微图像(51‑58)中定位(S3)相关图像结构(21‑23)；从相关图像结构的位置导出(S4)拼接参数(21‑23)；并在考虑了拼接参数的情况下，借助显微图像(51‑58)创建(S7)结果图像(60)。此外，描述了相应的方法。

Description

显微镜和处理显微图像的方法

技术领域

本公开涉及显微镜。此外，本发明涉及用于处理显微图像的方法。

背景技术

普通显微镜包括显微镜支架，用于记录显微图像的照相机和计算设备，该计算设备配置为对所记录的显微图像进行图像处理。

记录的显微图像往往代表局部图像，将这些部分图像进行拼接以形成结果图像(图像拼接)。举例来说，将由概览单元记录的多个显微图像进行拼接，以生成概览图像。显微图像也可以是实际的样品图像，这些样品图像是通过显微镜物镜记录的，且应进行拼接以形成样品的整体图像。

举个例子，以下两篇文章介绍了拼接图像的方法：

1.顾华，于悦，孙卫东：“一种新的机载图像拼接的最佳接缝选择方法”，IEEE国际成像系统与技术研讨会，IST 2009；

2.Szeliski，Richard(理查德·塞利斯基)：“图像对齐和拼接：教程”，《计算机图形学和视觉》的基础和趋势，第2卷，第1期(2006)。

这两种方法的主要目标是，在可能的情况下，在结果图像中不应看到各个图像汇集在一起的接缝位置。因此以这样的方式定义接缝位置，即，在所述接缝位置处，在可能的情况下，各个图像的图像内容中不存在不连续或仅存在很小的不连续。这在各个图像之间产生通常观察者看不见的软过渡。在这种情况下，各个图像之间的融合的产生也是已知的，因此在各个图像之间出现的不是尖锐的接缝，而是逐渐过渡。

在显微图像的情况下，这些过程可能会导致问题：例如，应该拼接由概览单元记录的多个显微图像，以形成结果图像。举例来说，显微图像示出了具有多个孔的多孔板的部分。即使根据已知方法选择了接缝位置，使得在结果图像中看不到所述接缝位置，在局部图像之间也可能存在视角差异。举例来说，如果圆形孔由两个或更多个局部图像拼接，则圆形形状可能变形，从而引起刺激(irritation)。对于孔中的实际样品，拼接局部图像同样会产生令人讨厌的(bothersome)效果：因此，可能会出现颜色或亮度差异，这会使用户进行评估或后续的图像分析变得更加困难。在由于融合而产生的软过渡的情况下，用户可能不清楚样品本身是否具有颜色/亮度轮廓(profile)，或者这是否是人工图像处理。

因此，尽管已知的方法可以提供光学上令人愉悦的显微图像，但是这可能导致用户评估或自动图像分析方面的问题。

发明内容

可以认为本发明的目的是，指定一种能够由多个显微图像生成质量特别高的结果图像的显微镜和方法。

该目的通过显微镜以及处理显微图像的方法来实现。

根据本发明的显微镜和根据本发明的方法的有利变型是本发明的主题，并且将在下面的描述中另外进行解释。

在前述类型的显微镜的情况下，根据本发明的计算设备配置为：定义相关图像结构；在显微图像中定位相关图像结构；由相关图像结构的位置导出拼接参数；并在考虑拼接参数的情况下，借助显微图像创建结果图像。

相应地，本发明的方法至少包括以下步骤：定义相关图像结构；在显微图像中定位相关图像结构；由相关图像结构的位置导出拼接参数；并在考虑拼接参数的情况下，借助显微图像创建结果图像。

举例来说，在开始时引用的多孔板的图像的例子中，孔可以被定义为相关图像结构。现在在显微图像中识别出孔的位置，并且显微图像之间的接缝位置选择为，没有接缝或尽可能少的接缝延伸穿过孔。相反，在孔与孔之间的区域中，可以有更明显的边缘或清晰可见的接缝位置。据推测，这里没有与观察者或自动图像分析相关的图像内容，因此在这些区域中的剪切、透视跃变、光学畸变或亮度跃变几乎没有什么麻烦。总的来说，这里的接缝位置可能比已知方法更明显。然而本发明中的接缝位置不延伸(或仅尽可能少地延伸)穿过相关的、已识别的区域。

拼接参数可以确定显微图像之间的接缝位置的精确度，沿着该接缝位置拼接显微图像以创建结果图像。举例来说，拼接参数可以描述为，在可能的情况下，接缝位置不应延伸通过某些已知的相关图像结构；其中，可选地，还可以识别某些图像结构，通过该图像结构精确地允许(allowed)接缝位置。在这方面，“相关图像结构”与定义接缝位置方面应被认为是相关的，而与要检查的显微样品的呈现的意义不一定是相关的。在此，在本身已知(known per se)拼接方法的情况下，可以将拼接参数用作内容信息项。已知的拼接方法中的直接图像内容与其意义无关，通常被用作用于确定接缝位置的优化标准，该接缝位置带来尽可能柔和的过渡。相反，拼接参数允许添加优化标准，根据该优化标准，无任何接缝位置(或至多一个接缝位置)应延伸通过定位的相关图像结构。所以，延伸到显微图像的边缘，并因此被边缘夹住的相关结构，优选地不是从该显微图像中获取，而是从相邻的显微图像中获取，该显微图像包含所有的相同的相关图像结构。

拼接参数还可以用于确定接缝位置处的融合，沿接缝位置处的融合拼接显微图像以创建结果图像。举例来说，可以基于定位的相关图像结构来设置融合的宽度(图像像素数)。特别地，拼接参数可以指定或影响应如何在与相关图像结构相邻的接缝位置处实施融合，使得融合区域不与相关图像结构重叠。因此，避免了与感兴趣的信息项的平稳过渡。相反，也可以规定，融合区域位于所识别的图像结构内，且不从所识别的图像结构内突出。

相关图像结构的定位可以通过由分割生成的二进制掩码来实施。对于每个图像像素，二进制掩码指定该像素是否是相关结构的一部分。特别地，拼接参数可以代表关于如何考虑将这种二进制掩码用于拼接图像的一组指令。

除了二进制掩码，每个像素还可以做出软决定：分配像素数值，然后指明在该图像像素下的接缝位置的可接受性。随后在优化任务中使用这种数值掩码，该优化任务定义了接缝位置的轮廓。除了逐个像素地决定，还可以创建一个区域列表，该区域列表在拼接过程中不需要，或优选地必须源自同一显微图像。

通过定义和定位相关图像结构，在拼接显微图像时会考虑已知的图像结构的语义(意义)。例如，通常仅识别边缘，而没有对关于这些边缘所属对象确定语义。相比之下，确定本发明变体中的语义为下述决定提供了基础，即：是否存在不应与接缝位置相交的连续区域(即使接缝位置不可见)；或是否不存在相关图像区域。因此，由于拼接，边缘可能会有跃变或扭结。

可选地，还可根据拼接参数确定是否生成了显微镜控制指令，用于通过改变显微镜设置重新记录一个或多个显微镜图像并输出。在这种情况下，所记录的显微图像可选地仅随后被拼接以形成结果图像。改变的显微镜设置尤其可以带来显微图像的不同的相对横向位置，并且因此带来接缝位置的不同的相对位置。结果是，相关图像结构只能源自一个显微图像，而不必拼接在一起。举例来说，如果已知的图像结构(或指定数量的已知的相关图像结构)不能从单个记录的显微图像(每种情况)转移到结果图像中，则可以通过更改显微镜设置来重新记录图像，但必须将多个显微图像拼接在一起。

在由于整个图像结构中不包含单个图像，而不能从单个显微图像无缝地转移相关图像结构的情况下，因此尤其可以规定，相关图像结构的相对位置用于推导如何记录新的显微图像，以纠正此问题。

特别地，改变的显微镜设置可以指定改变的样品台位置，以重新记录显微图像。在这种情况下，各个图像的载物台位置的数量，也可以与先前使用的载物台位置的数量不同。因此，改变的显微镜设置可以改变，特别是增加相邻显微图像之间的重叠。原则上，还可以改变变焦设置为，例如当重新进行图像记录时，可以将相关图像结构记录在单个显微图像中，该相关图像结构的尺寸大于单个显微图像的视野。

相关图像结构可能因应用而异，尤其是以下一种或多种：多孔槽(multiwellwells)(如果单个图像代表多孔板的一部分)；样品容器，样品容器标签，例如多孔槽旁边的列和行的规格或孔数；记录物体载体图像时的盖玻片、标记，例如带有或不带有标签或条形码区域的贴纸。这样可以确保整个区域在条形码情况下都源自同一显微图像；相比之下，在通过查找边缘进行常规拼接的情况下，接缝也可在条形码的条之间延伸，其结果是，可能会出现柔和的图像过渡，但由于视角差异可能会导致错误的图像分析。相关图像结构也可以是实际的样品区域，例如，与图像背景相反的组织切片。相关图像结构也可以是光反射，面具(masks)或阴影-如果通过反射或阴影延伸接缝位置，则将存在硬边缘，这可能会刺激到用户，并使他们不确定此处是否可以存在特殊对象或是否这纯粹是图像处理伪像。如果显微图像不是概览单元的图像，则相关图像结构也可以是细胞核或其他细胞组件。

定义和定位相关图像结构，以及导出拼接参数也可以作为通用过程来实施。举例来说，可以将图像处理算法设计为，直接从显微图像中计算接缝位置的成像，为此目的，特别是事先使用显微图像来教导(taught)该算法。因此，对相关结构进行定位并不一定意味着需要输出已知的相关结构的图像或列表；而是将该信息用于进一步导出拼接参数就足够了。深度学习方法(机器学习，深度学习)有助于进行图像分析；然而，也可以使用在显微图像中能够定位相关结构的任何其他计算方法。

通常，各个图像相对于彼此的位置是已知的，例如通过相对于可移动样品台校准概览单元(概览相机)的结果。因此，通常，这些图像不会相对于彼此移位以拼接显微图像。相反，在两个显微图像之间的重叠区域内定义了接缝位置的预期位置。但是，在概述单元的校准不正确的情况下，或者在显微图像的配准不正确的情况下，显微镜的图像彼此之间无法正确配合。如果标签或条形码位于此类区域，则无法正确评估它们。识别相关图像结构，并基于该图像结构确定接缝位置所实现的是，即使在不精确的校准的情况下，也没有实质性的负面影响，因此不可避免地在各个图像之间的接缝位置处跃变。

可选地，可以定义和定位具有不同语义的相关图像结构。现在，不仅基于相关图像结构的位置，还可基于这些图像结构的语义来导出拼接参数。在显微图像的拼接需要接缝位置延伸穿过多个相关图像结构之一的情况下，语义可以指定层次结构，根据该层次结构，做出有关设置接缝位置通过的相关图像结构的决定。举例来说，映射或面具比孔或盖玻片(边缘)更可能被接缝相交。也可能是接缝必须穿过多孔槽或相邻的标签延伸。在这种情况下，可以根据应用来定义不同的层次结构。因此，接缝优选地延伸穿过孔而不是穿过标签，以确保自动图像分析正确地处理属于孔的标签的信息。但是，在简单的列数或行数的情况下，通过标签的接缝也比通过孔的接缝更优选，因为列数或行数也可以从相邻的编号(numbers)中得出。

可选地，可以提供允许用户定义相关图像结构的输入工具。在简单的示例中，这涉及从对象列表的选择，例如多孔槽、盖玻片(边缘)等。可选地，输入工具可以允许用户在一个或多个显微图像或其他示例显微图像(随后未拼接以形成结果图像)中绘制标记。在这里，相关图像结构可以部分地由用户做出的标记来定位；然后，通过图像处理软件将其他相关图像结构自动定位在其他显微图像中，进一步基于用户在其他显微图像中的标记得到显微图像。举例来说，如果用户在多孔槽周围绘制一个圆，则在其他显微图像中会自动识别(圆形)多孔槽。如果用户还在孔旁边标记标签，则在其他显微图像中也要寻找标签作为相关图像结构。通过输入工具产生的显微图像中的标记，也可以在机器学习算法的学习过程范围内使用，以定义或学习相关图像结构。举例来说，用户可以使用输入工具在一个或多个显微图像中标记多孔板的孔号，然后机器学习算法在训练步骤的范围内学习，将包含孔号的图像区域在将来的显微图像中应始终被定位为相关结构。

可选地或附加地，用户能够自己定义相关图像结构，还可以借助图像处理软件以自动化方式实施。因此，图像分析可以对显微图像进行分类，其中，基于分类结果，自动定义在显微图像中寻找的相关图像结构。举例来说，当要证实多孔板的存在，则自动搜索圆形孔作为相关图像结构，可选地还可自动搜索包括标签，特别是以行和列按编号排列的标签。相比之下，当要证实具有盖玻片的物体载体的存在，则盖玻片边缘的区域和/或在盖玻片区域内横向定位的样品区域，可以被定义为相关图像结构。

可以通过对显微图像进行图像分析，来实施相关图像结构的定位，该图像分析由图像处理软件执行。然而，可选地或附加地，还可以根据事先已知的多孔槽的位置和类型来确定显微图像中应当放置多孔槽的位置。例如，多孔板的位置可以通过样品台上的挡块(stop)来指定。如果多孔板的类型是已知的，则相对于光学系统，各个孔的位置也是已知的。当显微图像是概览单元的图像，则通常还应相对于样品台对概览单元进行校准。因此，可以使用有关放置的多孔板类型的信息(单独使用或与图像分析结合使用)来识别相关图像结构的位置。作为进一步的选择，这些位置或某些位置也可以由用户手动绘制。

标记工具还可以允许用户在计算结果图像中标记图像结构，随后记录所述图像结构的新显微图像，并用于计算和更新结果图像。在此，新显微图像的显微镜设置选择为，可以将用户标记的图像结构记录在单个显微图像中。

可选地，还可以规定，当接缝位置的相对位置导致了预期的图像伪像时，则将有关该接缝位置的警报输出给用户。举例来说，如果拼接在一起的样品载体的图像记录为接缝必须要穿过样品容器时，便是这样的情况。例如，可以在结果图像中或结果图像上指示警报。除了向用户输出以外，还可以将警报输出到电子控制或评估设备，该电子控制或评估设备可以是计算设备的一部分，或者相对于计算设备单独存在。控制或评估设备可以配置为，对结果图像或显微图像进行更深入的图像处理、或者在收到警报时启动显微镜控制，特别是为了记录更改显微镜设置后的其他显微图像，所述其他显微图像随后被并入要创建的结果图像中。

根据本发明的显微镜方法包括以下步骤：首先记录多个重叠的显微图像，然后以上述方式对其进行处理。可选地，确定所记录的显微图像是否适合于生成结果图像，或者是否有必要首先记录一个或多个其他显微图像，然后将其用于计算结果图像。在此，其他记录的显微图像可以代替先前记录的显微图像。这两个显微图像的不同之处在于，它们彼此偏移但重叠，因此，相对于其他显微图像的接缝位置可以在不同的位置延伸。

显微镜可以包括一个或多个照相机。特别地，用于记录上述显微图像的照相机可以是经由显微镜物镜将检测光引导到其上的照相机。在此情况下也可以使用概览物镜(overview objective)。可选地，照相机可以属于概览单元，除了显微镜物镜和位于其下游的照相机之外，还存在概览单元。原则上，照相机也可以由多个照相机单元组成，它们记录来自相同方向或不同方向的显微图像，随后应拼接这些显微图像。

下面更详细地解释所用术语。

显微镜可以设计为光学显微镜，或者以其他方式记录样品图像。举例来说，它可以设计为X射线显微镜或AFM(原子力显微镜)，其中此处讨论的显微图像在这种情况下源自测量光的概览单元。光旨在包括可见光谱，或者其他IR光或UV光。

显微镜支架指的是用于显微镜部件或光学部件的保持装置，特别是透镜或镜子的保持装置，并且包括样品架。特别地，后者可以被设计为能够以马达驱动的方式移动的样品台。为了记录各种显微图像，可以以自动的方式移动样品台。

被配置为执行所记录的显微图像的图像处理的计算设备，可以由位于显微镜处的计算机、或者替代地或部分地由相距一定距离的服务器或计算机来设计。本文所述的各种图像分析和显微镜控制可以由计算设备来实施。为此所需的软件可以存储在计算设备中。

显微图像也称为单独图像或原始图像，以阐明整体图像，从整体图像中计算出结果图像。显微图像彼此横向偏移、各部分彼此重叠，从而在确定接缝方面有自由。某些显微图像包含在结果图像中就足够了。尤其是，显微图像可以以众多重叠的方式记录下来，以至于不需要所有显微图像都是结果图像的无间隙拼接。在这些情况下，相邻显微图像之间的横向偏移小于视野的一半。换句话说，两个显微图像之间的横向增量可以小于沿该方向记录的样品区域的一半。

接缝或接缝位置表示拼接了两个(或原则上是两个以上)显微图像的图像区域。因此，接缝可以是任何形状的线，并且可以形成横向于线或垂直于线的融合区域。

相关图像结构可以被认为是应该在显微图像中识别的物体的图像区域。可以将计算设备或方法变体设计为仅识别这些物体的图像部分，例如未在显微图像中完整成像的孔的一部分。相关图像结构的定位可以理解为是指在显微图像内，特别是通过图像处理软件，确定有关相关图像结构或相关图像结构的一部分的空间规格。

当按预期使用时，被描述为附加显微镜特征的属性还产生了根据本发明的方法的变体。相反，显微镜，尤其是其计算设备，也可以配置为执行所描述的方法的变型。

附图说明

下面将参考所附的示意图描述本发明的其他优点和特征：

图1是用于解释本发明方面的多孔板的示意图。

图2示出了根据本发明的显微镜的示例性实施例。

图3A-3C是用于说明现有技术和本发明示例性实施例中的图像处理的示意图；和

图4是本发明的方法的示例性实施例的流程图。

在图中，相同且作用相同的组成部分通常由相同的附图标记标识。

具体实施方式

图1示意性地示出了物体，旨在由显微镜检查的示例性方式的多孔板10。多孔板10包括多个孔11，在每个孔中可以布置要检查的样品。多孔板10上的标签12除其他意外可以包括列标签1-7和行标签A-H。

显微镜用于记录多个显微图像51-58，这些图像也称为单独图像，应将其拼接以形成整体图像。显微图像51-58在横向上彼此偏移，并且可以是概览图像或样品图像，样品图像以比概览图像更大的放大倍率被记录。

在绘制的示例中，显微图像51-58源自概览单元。概览单元与显微镜物镜的光轴成一定角度，因此与多孔板10的表面法线成一定角度。结果，显微图像51-58中任何一个的捕获区域都会相应地扭曲，如图1所示。

拼接显微图像51-58以形成整体图像(结果图像)是一个挑战，因此在可能的情况下，用户不会观察到任何缺陷或令人刺激(irritating)的图像区域，或由于拼接而进行进一步的自动图像处理。

在更详细地讨论之前，首先参考图2说明根据本发明的显微镜100。显微镜100包括显微镜支架40，该显微镜支架用于保持其他显微镜部件，特别是至少保持显微镜物镜15和照相机20。源于样品的检测光经由显微镜物镜15被引导至照相机20。此外，显微镜100还进一步包括照相机30，其是概览单元31的一部分。概览单元31上的照相机30的视觉范围大于通过显微镜物镜15的照相机30的视觉范围。如图所示，照相机30的测量方向可以与物镜15的光轴16成一定角度。

显微镜100包括样品台9，要检查的对象应放置在该样品台9上，在所示的示例中，多孔板10具有多个孔11。在所示示例中，照相机20和30位于待检查对象的相对侧。然而，可选地，照相机20和30也可以被布置在要检查的对象的同一侧。关于图2，这将意味着照相机20和30都布置在样品台9上方，或者照相机20和30都布置在样品台9下方。

照相机20和/或照相机30记录多个显微图像，这些显微图像应由计算设备50拼接以形成结果图像。

在这种情况下，原则上可以期望图像记录的类型。特别地，这可以是横向偏移的宽视野图像，或者是分别使用扫描运动记录的显微图像。还可以通过不同的相机芯片记录应拼接的显微图像。因此，照相机30还可以包括多个照相机单元(未示出)，其从相同角度或不同角度指向要检查的对象。

现在参考图3A-3C对显微图像51-58的拼接进行更详细地描述。

图3A示出了多个显微图像51-56，在每个显微图像中记录了要检查的对象的一部分。在该示例中，显微图像51-56的每一个都示出了多孔板的孔11的一部分，其中，根据显微图像51-56，记录了不同孔11的多个部分和/或整个孔11。这仅是一个示例，也可以检查没有多孔板的其他对象。

首先，参照图3B描述不符合本发明的显微图像51-56的拼接。沿着接缝位置62'和63'拼接显微图像51-56以形成结果图像60'。如果显微图像51-56相对于彼此的相对位置正确，则在接缝位置62'和63'处的结果图像60'中不会出现图像内容间隙或图像结构的重复表示。结果图像60'的部分61'以放大的方式示出：在该部分61'中，沿着接缝位置62'和63'拼接了四个显微图像52、53、55、56。通常，显微图像中的亮度级别会有所不同，因此在接缝位置62'和63'处会出现亮度跃变；在部分61’中通过不同的阴影示意性地阐明了这一点。这些接缝位置62'和63'的亮度跃变在孔11内延伸。对于用户而言，这可能是刺激(irritation)或使评估更加困难的原因。如果打算使用自动图像处理，则在这些相关的图像部分中可能会出现错误的结果。

为了克服这些缺点，根据本发明以特殊方式放置接缝位置。图3C示意性地示出了在拼接显微图像51-56之前的图像处理步骤中，图像内容被最初识别或分类。在该过程中，在显微图像51-56中搜索相关图像结构21-23，并记录其位置。在本示例中，可以指定应该搜索多孔板的孔11作为相关图像结构。显微镜的计算设备执行图像处理算法，该图像处理算法被配置为在显微图像51-56中识别可指定的相关图像结构(例如孔或孔的图像部分)。特别地，图像处理算法可以包括机器学习算法，该机器学习算法被训练以识别指定的相关图像结构。在所示的示例中，分别完全被包含在显微图像51-56之一中的除其他外的相关图像结构21和23被定位。另外，还识别出相关图像结构22，该图像结构22被剪裁在相应的显微图像52的边缘处。

显微镜的计算设备现在从相关图像结构的位置信息中得出拼接参数，所述拼接参数随后影响被定义的接缝位置。举例来说，拼接参数可以指定(specify)接缝位置一定不能延伸通过相关图像结构，或者罚点(penalty points)连接到延伸穿过相关图像结构的接缝位置。拼接参数的数学描述取决于放置接缝位置的计算算法。

图3C还示出了结果图像60，在结果图像60中，根据本发明，接缝位置62、63已经被放置在各个显微图像51-56之间。在这种情况下，如结果图像60的放大部分61中所示，接缝位置62、63没有延伸穿过孔11中的任何一个，尽管像在现有技术中一样，亮度跃变可以(可选地)出现在各个显微图像51-56之间的接缝位置处，放大部分61显示出这些亮度跃变没有出现或直接在相关图像结构(孔11)处出现，而是在孔之间的不太重要的图像部分中出现。

结果，对于可选的其他图像处理步骤，用户更容易在结果图像60中发现视觉样品评估，和/或对感兴趣的图像部分进行不正确处理的风险较低。

拼接参数也可能影响接缝位置的融合。例如，拼接参数可以影响垂直于接缝轮廓的融合区域的宽度。在融合区域中，根据两个重叠的显微图像的两个像素值来计算/平均结果图像60的像素值(亮度值)。融合区域的宽度选择为，融合区域不与局部相关图像结构21-23重叠。结果，沿着接缝位置62、63的融合区域可以具有不同的宽度，特别是：如果接缝的延伸进一步远离相关图像结构，那么可以选择较大的融合区域，使得出现柔和的亮度轮廓；相反的，在接缝延伸靠近相关图像结构的情况下，融合区域较窄，其结果是，在结果图像中亮度跃变可能很明显，而柔和过渡伪造的相关图像结构的图像区域可靠地被排除在外。

上述过程形成了根据本发明的方法的示例性实施例。此外，参考图4中的流程图描述了根据本发明的显微镜方法的示例性实施例；显微镜的计算设备也可以配置为执行此操作。

步骤S1中记录了多个重叠的显微图像51-58。为此，例如样品台可以在各个图像记录之间横向移动。

在步骤S2中定义相关图像结构。举例来说，这可以借助于用户从列表的指定对象中进行选择来实施。可选地，该定义还可以由计算设备基于关于对象的信息自动实施。举例来说，如果已知检查了一个或多个多孔板，则计算设备可以自动将“孔”定义为相关图像结构。举例来说，标签和反射可以是其他相关图像结构：尽管反射通常不与感兴趣的样品结构相对应，但是通过反射的接缝位置会在结果图像中带来急剧的亮度跃变。结果，例如，对于用户而言可能不清楚这是纯粹的图像伪像还是样品是否存在物理问题。

在随后的步骤S3中，在所有显微图像中寻找相关图像结构，并记下找到的相关图像结构的位置。可选地，还可以捕获相关图像结构的语义。也就是说，还存储了相关图像结构的类型(孔、反射、多孔板标签等)。

在步骤S4中确定来自相关图像结构的确定位置的拼接参数。举例来说，作为拼接参数，可以将值分配给显微图像的每个图像像素，该值指定了相应图像像素是否位于相关图像结构内。如果要考虑图像结构语义，则该值可以是二进制值(是/否)或更精确的值。

随后，在步骤S5中，在显微图像51-58之间定义接缝位置，为此需要考虑拼接参数。接缝的位置应确保在可能的情况下，接缝永远不会延伸穿过或直接位于局部相关图像结构的边缘。如果相关图像结构一直延伸到显微图像的边缘，并因此被该显微图像的边缘剪裁，则在结果图像中将尽可能不采用这种剪裁的相关图像结构。相反，接缝放置为，在相邻的、重叠的显微图像的结果图像中采用该相关图像结构，条件是该相关图像结构完全包含在该相邻显微图像中，即，尤其是不延伸到该显微图像的边缘。

显微图像相对于彼此的相对位置可以是已知的或指定的。然而，可选地，在步骤S5中将所记录的显微图像拼接之前，它们也可以相对于彼此移位。显微图像相对于彼此的移位，尤其可以借助于局部的相关图像结构来实现。如果相关图像结构的一部分存在于两个重叠的显微图像中，则它们可以彼此相对移动，使得相关图像结构的局部化部分覆盖在两个显微图像中。可以补充显微图像的这种位移，特别是在步骤S3或S4之后。

在可选步骤S6中，确定是否可以以令人满意的方式放置接缝位置。举例来说，如果必须通过相关图像结构放置接缝位置，则可以指出罚点，因为在任何记录的显微图像中该图像结构都不完整(未填充)。举例来说，在图1的例子中，没有列2行A的孔被完全填充显微图像51-58。因此，使用这些显微图像51-58，必须从两个显微图像52、53中拼接第2列A行的孔，为此需要注意罚点。如果罚点低于指定的阈值，则转到步骤S7。

在步骤S7中输出由步骤S5形成的具有接缝位置的结果图像。在没有可选步骤S6的情况下，步骤S7紧接在S5之后。

如果在可选步骤S6中罚点超过指定阈值，则进入步骤S8。其中，改变了显微镜参数/显微镜设置，该显微镜参数/显微镜设置影响了可记录的显微图像的亮度和/或相对位置。举例来说，显微镜参数指定了要连续接近的样品台位置，这种方式使得可记录的显微图像的横向位置与已经记录的显微图像不同。结果，接缝位置可以被不同地放置，并且可以避免接缝位置延伸穿过相关图像结构。步骤S8之后接着是步骤S1，其中使用来自S8的显微镜参数记录另外的显微图像。理想地，当再次执行步骤S6时，罚点的数量现在应该减少，使得不再超过阈值并且可以输出结果图像。

在其他变型中，某些相关图像结构还可以精确地指定接缝应延伸通过的图像区域。

在根据本发明的用于处理显微图像的方法的一个实施例中，至少执行步骤S2-S5和S7，这也可以在与显微镜在空间上分开的计算机上进行实施。

在任何情况下，本发明的实施例可用于生成结果图像，其中接缝位置在合适的位置延伸，从而简化了用户的评估和/或进一步的图像处理。

参考标志清单

A-H      多孔板10的行标签

S1-S8    变体方法的步骤

1-7      多孔板10的列标签

9        样品台

10       多孔板

11       多孔板10中的孔

12       多孔板10中的标签

21-23    相关图像结构

15       物镜

16       物镜15的光轴

20       照相机(显微镜照相机)

30       概览单元31的照相机

31       概览单元

40       显微镜支架

50       计算设备

51-58    显微图像

60       结果图像

60’      结果图像(未参照本发明的)

61       结果图像60的放大部分

61’      结果图像60’的放大部分

62,63    拼接结果图像60的接缝位置

62’,63’  拼接结果图像60’的接缝位置

100      显微镜

Claims (14)

1.显微镜，包括显微镜支架(40)，用于记录显微图像(51-58)的照相机(20、30)和计算设备(50)，该计算设备配置为，对记录的显微图像(51-58)进行图像处理，

计算设备(50)配置为：

定义(S2)相关图像结构，及；

在显微图像(51-58)中定位(S3)相关图像结构(21-23)；

其特征在于，

计算设备(50)进一步配置为：

从相关图像结构(21-23)的位置导出(S4)拼接参数；和

基于显微图像(51-58)考虑拼接参数，以创建(S7)结果图像(60)，其中拼接参数可以确定显微图像(51-58)的重叠区域之间的接缝位置(62、63)，以拼接显微图像(51-58)，且其中拼接参数描述了接缝位置(62、63)应当或不应当延伸通过局部的相关图像结构(21-23)。

2.根据权利要求1所述的显微镜，其特征在于，

照相机(30)是概览单元(31)的一部分，概览单元(31)配置为记录显微图像(51-58)。

3.一种处理显微图像的方法(51-58)，包括：

定义(S2)相关图像结构；

在显微图像(51-58)中定位(S3)相关图像结构(21-23)；

其特征在于，

从相关图像结构(21-23)的位置导出(S4)拼接参数；和

基于显微图像(51-58)考虑拼接参数，以创建(S7)结果图像(60)，其中显微图像(51-58)之间的接缝位置(62、63)选择为，没有接缝或尽可能少的接缝延伸穿过相关图像结构(21-23)。

4.根据权利要求3所述的方法，其特征在于，

拼接参数确定如何设置显微图像(51-58)之间的接缝位置(62、63)。

5.根据权利要求3所述的方法，其特征在于，

拼接参数描述了接缝位置(62、63)的融合，沿着拼接的显微图像(51-58)以创建结果图像(60)。

6.根据权利要求3所述的方法，其特征在于，包括以下步骤：

在拼接已记录的显微图像(51-58)以形成结果图像(60)之前，使用拼接参数确定是否输出显微镜控制指令，以通过更改的显微镜设置(S8)重新记录显微图像(51-58)。

7.根据权利要求6所述的方法，其特征在于，

更改后的显微镜设置会指定更改后的样品台位置，以重新记录显微图像(51-58)。

8.根据权利要求3所述的方法，其特征在于，

相关图像结构(21-23)为以下一项或多项：

多孔槽(11)，样品容器，样品容器标签(12)，盖玻片，标记，光反射，遮罩或阴影。

9.根据权利要求3至8中的任一项所述的方法，其特征在于，

定义和定位了具有不同语义的相关图像结构；和

不仅根据相关图像结构(21-23)的位置，还根据这些相关图像结构(21-23)的语义导出拼接参数，

其中，在显微图像(51-58)的拼接需要接缝位置(62、63)延伸通过多个相关图像结构(21-23)之一的情况下，语义指明层次结构，并设置了根据相关图像结构(21-23)所作出的决定，相关图像结构(21-23)穿过接缝位置(62,63)。

10.根据权利要求3至8中的任一项所述的方法，其特征在于，包括以下步骤：

提供一种输入工具，用户可以借助输入工具定义相关图像结构(21-23)。

11.根据权利要求3至8中的任一项所述的方法，其特征在于，包括以下步骤：

执行图像分析以对显微图像(51-58)进行分类，其中基于所执行的分类，在显微图像(51-58)中寻找的相关图像结构(21-23)并对其自动定义。

12.根据权利要求3至8中的任一项所述的方法，其特征在于，

通过基于已知的多孔板位置和类型，确定应将多孔槽(11)放置在显微镜(51-58)中的哪个位置，来实现相关图像结构(21-23)的定位(S3)。

13.根据权利要求3至8中的任一项所述的方法，其特征在于，包括以下步骤：

确定接缝位置(62、63)是否延伸穿过结果图像(60)中的相关图像结构(21-23)之一，并且，用户或电子控制或评估设备在这种情况下，针对该接缝位置(62，63)输出警报。

14.显微镜方法，包括：

记录(S1)多个重叠的显微图像(51-58)；

执行根据权利要求3至8中的任一项所述的处理显微图像(51-58)的方法；和

确定(S6)记录的显微图像(51-58)是否适合于创建结果图像(60)，或者是否有必要首先记录一个或多个其他显微图像(51-58)，然后将其用于计算结果图像(60)。

Images