CN114998184A - 用于处理显微镜图像的显微镜系统和方法 - Google Patents

Abstract

在用于处理显微镜图像(10)的方法中，在输入图像处理程序(B)之前，从显微镜图像(10)形成输入图像(30)。图像处理程序(B)包括用于图像处理的学习模型(M)，所述学习模型通过显示具有特定图像属性(S0，α0)的结构(15)的训练图像(T)学习。图像处理程序(B)从输入图像(30)计算图像处理结果(19)。通过图像转换程序(U)将显微镜图像(10)转换为输入图像(30)，其方式是相对于显微镜图像(10)的结构(15)的图像特性(S1，α1)修改输入图像(30)中结构(15)的图像特性(S2，α2)，以使其更接近训练图像(T)的结构(15)的性质(S0，α0)。

Description

用于处理显微镜图像的显微镜系统和方法

技术领域

本公开涉及显微镜系统和用于处理显微镜图像的方法。

背景技术

机器学习模型越来越多地被利用在现代显微镜中以及捕获显微镜图像的处理和评估中。特定应用包括多个不同的处理，例如噪声抑制，分辨率增强，物体的检测和以分割掩模的形式输出相同的输出，或者根据基本上任何分类标准的图像内容的分类。

在用于处理显微镜图像的通用方法中，接收或获取显微镜图像。从显微镜图像形成的输入图像被输入到图像处理程序中。图像处理程序包括用于图像处理的学习模型，该图像处理是通过训练图像学习的，该训练图像通常显示具有某些图像特性的结构。借助于图像处理程序，从输入图像计算图像处理结果。特别地，图像处理结果可以采用如前述内容的示例的形式，例如，具有减少图像噪声的结果图像或分割掩模。

因此，通用显微镜系统包括用于捕获显微镜图像的显微镜和计算设备。计算设备包括图像处理程序，该图像处理程序被配置为处理从显微镜图像形成的输入图像到图像处理结果。图像处理程序包括用于图像处理的学习模型，其利用训练图像来学习，该训练图像显示具有某些图像特性的结构。

参考图1至图4解释可能发生的根本问题。这些图说明了来自本发明前面的研究的背景信息，并且不一定描述公开的现有技术。图1示意性地说明了显微镜图像10，其中可见具有样品5的样品载体7。样品载体7是透明载玻片，这里具有盖玻片，样品5以位于其间的生物细胞的形式存在。如图所示，样品载体7可包括标记场和不同颜色或不同透明度的区域。在显微镜图像中的样品5的检测和评估可以通过杂质，反射，不规则照明特性或根据通过透明载玻片可见的背景来阻碍。在图1中，显微镜图像10作为输入图像10A被馈送到图像处理程序B。在所示的示例中，图像处理程序B是具有神经网络的学习模型M，例如，CNN(卷积神经网络)，被训练用于根据输入图像计算分割掩模。因此，图像处理程序B根据输入图像10A计算分割掩模20A，其中不同物体由不同的像素值标记。某个像素值表示当其他像素表示为背景22，形成分割区域21的相应的像素已经被识别为属于样品5。图1中的分割掩模21是明显错误的。未显示样品的多个图像区域已被错误地识别为样品的分割区域21。另外，实际对应于样品5的分割区域21包含未检测到样品5的间隙。

图2说明了图1的显微镜图像10已经重构或调整尺寸的情况，即对其尺寸(像素计数/像素数或图像分辨率)修改。该已经调整尺寸的图像的边缘长度是显微镜图像10的边缘长度的65％。已经调整尺寸的图像作为输入图像10B被馈送到图像处理程序B。图像处理程序B与图1的图像处理程序B相同。所得到的分割掩模20B基本上不同于图1的分割掩模20A。因此，显而易见的是，输入图像的尺寸对图像处理程序B的结果具有相当大的影响。由于不同的图像分辨率，输入图像10A和10B的信息内容的边际差异不解释这些结果。图像处理程序B的CNN包括多个卷积层，其中，例如，在输入图像(或从相同计算的图像)上下滑动3×3矩阵或5×5矩阵，在这种情况下，可以被认为该事实是更有用的解释。3x3矩阵的尺寸相对于结构的尺寸(例如，样品5的直径的像素计数或像素的数量)对结果具有相当大的影响。因此，根据其图像尺寸非常不同地处理输入图像10a和10b中的样品5的图像区域。

这种情况进一步在图3和4中说明。其中显微镜图像10根据不同的因素分别重构。在图3中，显微镜图像10已经减小到其尺寸的35％，并且将得到的结果图像作为输入图像10C馈送到图像处理程序B。在图4中，显微镜图像10已经减小到其尺寸的25％，并且将得到的结果图像作为输入图像10D被馈送到图像处理程序B。生成的分割掩模20C和20D再次彼此之间明显不同，并且与分割掩模20A和20b彼此清楚地不同。仅分割掩模20C表示分割区域21和背景22而没有错误。

该示例说明了提供一个稳健的图像处理程序能够正确地处理多个不同的显微镜图像的难度。原则上，通过特别广泛的训练数据可以覆盖多种不同的情况。然而，由此训练变得本质上复杂的，而提供培训数据同样的需要相当多的时间和精力。

发明内容

提供一种显微镜系统和一种方法，其为多个不同的显微镜图像以特别稳健的方式实现正确的图像处理，可以被认为是本发明的一个目的。

该目的通过本发明的方法和显微镜系统实现。

根据本发明，在上述类型的方法中，通过图像转换程序，以根据显微镜图像的结构的图像特性，修改输入图像中结构的图像特性，使得它们更接近图像处理程序的学习模型的训练图像的结构的图像特性的方式，将显微镜图像转换为输入图像。

因此，在上述类型的显微镜系统中，提供了计算设备，该计算设备包括图像转换程序，该图像转换程序被配置为，以根据显微镜图像的结构的图像特性，修改输入图像中结构的图像特性，使得它们更接近训练图像的结构的图像特性的方式，将显微镜图像转换为输入图像。

根据本发明，在输入到图像处理程序之前首先转换显微镜图像，使得描述结构的图像特性变得与所使用的训练数据的图像特性更类似。正确的图像处理的可靠性随着与训练数据类似程度增加而增加。所描述结构的图像特性可以是，例如，所描述的生物样品的图像像素中的尺寸。这种尺寸可以是，例如，显微镜图像中的200像素，而在训练图像中，生物样品主要在20到30个像素之间呈现的尺寸。在这种情况下，显微镜图像的尺寸减小，使得所描述的样品的尺寸变得更加类似于训练图像中的样品的尺寸。因此，将显微镜图像转换为输入图像作为显微镜图像的图像内容的函数，使得所描述的结构的图像特性变得更类似于训练图像的相应结构的图像特性。

可选实施例

根据本发明显微镜系统以及方法的变体是从属权利要求的目的，并在以下描述中解释。

所描述的结构的图像特性

特别地，所描述的结构的图像特性可以是结构的几何特性和/或亮度特性。结构的几何特性可以被理解为尺寸，方向或队列，和/或图像失真。与相应的图像相关的迹象相同，即，它不是预期结构的物理尺寸，例如，物理尺寸为30μm的生物电池，但是图像中的像素大小，其可以是，例如，直径40像素。尺寸可以被理解为是结构延伸的直径，面积或其他一些度量。方向同样不表示结构在空间中的物理方向，而是图像中所描述的结构的方向，例如，相对于图像边缘。可以从透视图中产生图像失真。例如，如果相机以倾斜角度观察矩形物体(例如，显微镜的滑动)，则矩形物体的相对边缘不一定彼此平行，并且在该结构的描述中角落不会形成直角。

结构的亮度特性可以涉及，例如，音调值或灰度值，亮度，饱和度或结构的图像对比度。也可以包含所引用的特征的分布，例如，结构中的亮度分布。

结构的图像特性与整个图像无关，而是仅涉及某些结构。例如，不需要以必须整体的方式修改显微镜图像，使得其尺寸对应于训练图像的图像尺寸。原则上，这些图像尺寸可以任意彼此不同。相反，应该使所描述的结构的尺寸进行收敛。同样，对于对比处理或亮度处理，至关重要的不是整个显微镜图像，而是在训练图像中也代表的结构的亮度或对比度。例如，应该使显微镜图像中的生物细胞的亮度随着训练图像中的生物细胞的亮度而收敛。亮度或对比度的修改可能会潜在地导致显微镜图像的其他区域的过饱和，使得整体图像质量可能更差，但是仍然可以更适合于通过图像处理程序的处理。

根据上面引用的示例，图像特性的修改可以是或包括重构/调整尺寸，图像旋转，(透视)失真，压缩，翘曲/剪切映射，光学失真或反射，亮度值，对比度值或音调值的修改或伽马校正。

所描述的结构

在显微镜图像中和训练图像中所描述的结构可以是，例如，生物样品，细胞或细胞器，组织切片，液体，岩石样品，电子元件，样品载体，样品载体支架或其部分或相同的部分。这些结构的图像特性与图像处理程序的正确处理特别相关。

图像转换程序

图像转换程序转换一个或多个上述图像特性。否则，可以保持显微镜图像的图像内容不被修改。例如，图像转换程序将图像特性“尺寸”修改为所描述的结构的尺寸的函数，而不必执行进一步的处理操作。

在一个示例中，图像转换程序被设计为首先确定显微镜图像中结构的图像特性。特别地，可以以像素确定显微镜图像中的细胞，物体或其他结构的尺寸。目标图像特性可以预先确定，用于显微镜图像的结构的图像特性，例如，细胞或物体的目标大小，可以指定为目标像素计数。为了从显微镜图像计算输入图像，图像转换程序现在将所确定的图像特性修改为目标图像特性。例如，为了修改概览图像中的细胞的大小，执行显微镜图像的调整尺寸，使得细胞的尺寸随后(在输入图像中)理想地对应于目标尺寸。在该示例中，因此，图像转换程序能够，通过结构所确定的尺寸转换为目标像素计数计算缩放因子，并且图像转换程序随后通过缩放因子扩大或减少显微镜图像以便生成输入图像。

该调整尺寸或重构可以通过任何缩放方法实现，例如，通过插值，例如(双)线性，双三次或最近邻插值。

在上述实施例的变体中，未指定用于结构的目标图像特性；相反，要执行的修改预先确定为所确定的图像特性的直接函数。例如，可以预先确定显微镜图像的缩放因子作为显微镜图像中以像素表示的结构尺寸的函数。

图像转换程序还可以包括用于确定图像特性的学习模型。学习模型已经在，使用图像确定显微镜图像结构的图像特性的训练中训练。该模型可以设计，例如，为一个CNN，被训练以确定输入图像中的生物细胞的尺寸。用于确定图像特性的学习模型是独立于图像处理程序的用于图像处理的模型。这些模型的训练过程同样彼此独立，并且一个模型的训练图像可以与其他模型的训练图像不同。在用于确定图像特性的模型的训练图像中，可以以注释或“标注数据(ground truth)”的形式指定图像特性。就结构(例如样品载体)的方向，例如，结构的方向可以是在训练图像中手动测量，然后以注释的形式记录。

其中确定并进行明确地输出某些结构的图像特性不一定必须是中间步骤。特别是，当图像转换程序采用学习模型的形式时，如果将输入显微镜图像的转换作为显微镜图像的某些结构的图像特性的函数执行，则是足够的，从而显式标记这些图像特性是不必要。具体地，图像转换程序可以是用于图像转换的学习模型，该学习模型是使用以注释形式指定如何转换这些图像，以便形成输入图像来学习。例如，在用于图像转换的模型的训练中，可以将缩放因子指定为输入到模型中的每个显微镜图像的目标或注释。因此，该模型学会了计算在训练中未见的显微镜图像的缩放因子。原则上，可以以任何方式确定用于训练图像的注释缩放因子。在一个简单的情况下，将多个缩放因子应用于训练图像，以便计算不同缩放程度的图像，随后分别馈送到图像处理程序。评估图像处理程序的结果(手动或自动)。然后，使用具有最佳评估的图像处理结果的图像的缩放因子作为训练图像的注释。类似的方法可以应用于其他图像特性，例如，为了确定旋转角度代替或添加缩放因子。

或者，图像转换程序可以测试多个潜在的转换，以便确定显微镜图像为输入图像的合适转换。潜在的转换分别应用于显微镜图像，以便为图像处理程序产生潜在输入图像。然后根据预定标准评估潜在输入图像结构的图像特性。选择具有最佳评估的潜在输入图像作为输入图像。例如，可以测试多个缩放因子。使用缩放因子生成多个潜在输入图像。为了评估潜在输入图像，执行图像结构的尺寸的估计或评估。例如，这可以通过具有预定(期望)尺寸的一个或多个结构的模板卷积来实现。当图像结构的尺寸对应于模板的结构尺寸时，卷积产生大的振幅/峰值。由此可以确定哪个潜在输入图像包括在尺寸上最接近以像素为单位的期望尺寸的结构。具体地，可以是已知的，例如，图像处理程序能够可靠地处理某些尺寸的物体，例如，直径为50像素，而在较大尺寸差异的情况下发生错误。模板可包括这种尺寸(50像素)的结构，例如，圆形或正方形。模板和潜在输入图像之间的2D卷积产生了最大值，该值越大，模板的结构更准确地对应于潜在输入图像中的结构。因此，可以确定潜在输入图像，其结构最有可能具有期望尺寸(50像素)。在该实施例的变体中，多个结构尺寸的模板可以分别与显微镜图像卷积，以便建立哪个模板存在显微镜图像的结构的最佳尺寸对应关系。

在不同描述的实施例中，图像转换程序基于与训练图像的结构对应的显微镜图像中的结构来确定要执行的转换，例如，基于显微镜图像以及训练图像中描述的生物细胞或材料样品。然而，还可以改变前述实施例，使得图像转换程序确定显微镜图像中与训练图像的结构不对应的物体的图像特性。例如，训练图像的结构可以是材料样品(例如，不同类型的岩石)。尽管显微镜图像也显示了相应的结构，但在该示例性材料样品中，使用其他物体的图像特性替代，例如，例如材料样品的支架的螺钉的图像特性。物体尺寸可以以像素为单位确定，即构成显微镜图像中的螺钉的像素的数量。例如，建立缩放因子作为该物体尺寸的函数，以便计算成像(输入图像)，其中螺钉总是重构到20像素的尺寸/直径。因此，整个图像内容，最后也是所描述的结构，在这种情况下的材料样品，被重构。螺钉或支架的图像区域对于随后使用的图像处理程序可以是无关紧要的，使得可选地执行图像裁剪，由此当裁剪螺钉的图像区域时，感兴趣的结构(材料样品)保留在输入图像中。由此还实现了修改显微镜图像的结构的图像特性(这里：以像素为单位的材料样品的尺寸)，以便更接近训练图像的结构的图像特性，即更接近在该示例中训练图像的材料样品以像素为单位的尺寸。该转换的发生不是基于材料样品的图像特性，而是基于不需要出现在训练图像中的其他物体的图像特性。

可选地，图像转换程序可以确定输入图像的置信度，显微镜图像的确定图像特性或要执行的转换，例如可能的缩放。如果针对不同的转换确定了类似的置信度，例如，不同的缩放因子，也可以通过这些转换产生多个输入图像，并将每个生成的输入图像输入到图像处理程序中。得到的图像处理结果可以分别呈现给用户，或者可以在进一步的处理步骤中确定和使用平均值。

上下文信息

可选地，在计算输入图像时，图像转换程序还可以考虑关于显微镜图像的上下文信息。特别地，上下文信息可以表示以下一个或多个：显微镜设置，所采用的物镜的放大率，照明特性或相机属性，用于捕获显微镜图像的测量情况的信息，采用的样品载体类型或所采用的样品类型。在图像转换程序或图像转换程序的一部分采用学习模型的形式的情况下，可以将上下文信息与相关的训练图像一起输入训练中。由此学习模型，也可以考虑相应的上下文信息。上下文信息，例如，可以可选地在单独的步骤中在显微镜图像或其他显微镜图像中确定所采用的样品载体类型或所采用的样品类型。不同的样品载体类型包括，例如，微量滴定板，载玻片，腔室载玻片和具有其中一个或多个隔室的培养皿。除此之外，不同的样品类型可以包括，不同的细胞类型，细胞器，岩石类型，半导体或电子元件。除此之外，知道上述上下文信息可以，有助于尺寸估计以确定缩放因子。

图像处理程序

原则上图像处理程序可以是的任何类型的图像处理，并且根据其设计，输出，例如作为图像处理结果的至少一个结果图像，一维数或分类。它包括基于输入图像计算用于图像处理的学习模型，特别是图像分割，检测，分类，图像增强，图像区域的重建或图像到图像映射。特别地，图像到图像映射可以是所谓的“虚拟染色”，其中产生了的描述类似于通过其他显微镜方法进行的描述；例如，可以从DPC图像(差分相位对比度图像)来计算类似于DIC图像(差分干扰对比度图像)的结果图像并将其用作输入图像。一维数可以是，例如，多个计数物体，例如，当图像处理程序被配置为计算图像内的生物细胞或细胞器进行计数时，这是这种情况。在分类中，将输入图像分组为多个预定类别中的一个。类别可以表示，例如，样品载体类型或样品类型，或者输入图像的质量评估，例如，它是否看起来适合于进一步的图像处理操作。在前述引用的图像增强可以是，例如，图像噪声的降低，反卷积，分辨率增强，伪影去除或干扰图像内容的抑制。特别地，可以理解图像区域的重建，对输入图像中缺失区域的填充。缺失区域可以出现，例如，由于覆盖或不利的照明。

已经针对图示的目的，描述了通过图像处理程序处理单个输入图像。然而，根据图像处理程序，也可以提供多个输入图像一起输入，并且从中计算公共图像处理结果或多个结果图像。在这种情况下，以所描述的方式将多个显微镜图像处理为多个输入图像。因此，单个形式旨在除了“恰好一个”的含义之外，还涵盖变体“至少一个”。

如果图像处理结果采用结果图像的形式，则反向变换程序可以可选地执行结果图像的转换，该转换是图像转换程序从显微镜图像生成输入图像的转换的逆转换。如果将例如0.4的缩放因子应用到显微镜图像(即，实现图像尺寸减小至40％)，则通过缩放因子的倒数(即在这个例子中1/0.4＝2.5)重构结果图像。如果为了产生输入图像，显微镜图像以一个旋转角度顺时针旋转，则结果图像以一个旋转角度逆时针旋转。这些措施的应用可以防止图像处理结果和原始显微镜图像之间的差异，该差异可能会损害进一步的自动化数据处理操作。

用于图像转换和图像处理的联合模型

图像转换程序可以是或包括用于图像转换的模型，其与用于图像处理的模型一起学习。因此，这两个模型构成了联合模型的子模型或子单元。通过联合优化函数发生联合训练，以便模型学习用于图像转换和图像处理。通过联合训练，两种模型同时学习且相互依赖。在这种情况下，上述训练图像包括两个注释：以图像转换为目标形式的注释(例如预定缩放因子)和以图像处理为目标形式的注释(例如，分割掩码或噪声降低图像)。优化函数，例如损失函数，其包括描述用于图像转换的模型输出与相关注释的偏差的表达式，以及描述用于图像处理的模型输出与各自相关注释的偏差的表达式。根据图像转换(例如缩放因子)的注释，实现更均匀的描述(例如，在缩放因子的情况下，类似像素大小的生物细胞在不同图像中)。在某些限度内，用户可以自由地确定使用哪种描述作为均匀描述。例如，在缩放的情况下，当该像素大小的精确值不太相关，在不同的图像中类似像素大小的细胞是可取的。通过联合培训，用于图像处理的模型可以学习对用于图像转换的模型的输出范围作出反应。如果用于图像转换的模型在训练中产生输出，该输出相对预定的注释/标注数据偏离更广泛，则也训练图像处理的模型，以便能够处理这种偏差情况。因此，与两种模型的单独学习过程的情况相比，可以实现更高的稳健性。在完成联合训练后，可以连接用于图像转换的模型和用于图像处理的模型以形成单个模型。不需要显式输出或存储缩放因子或根据缩放因子重新调整大小的显微镜图像。

一般特征

显微镜系统表示包括至少一个计算设备和显微镜的装置。特别地，显微镜可以理解为光学显微镜，X射线显微镜，电子显微镜或宏观镜。

实际上，计算设备可以是显微镜的一部分，或者在显微镜附近单独布置，或者在距显微镜的任何距离的远程位置处。计算设备也可以设计为分散的。它通常可以由电子和软件的任何组合形成，并且特别地，包括计算机，服务器，基于云的计算系统或一个或多个微处理器或图形处理器。计算设备还可以被配置为控制样品相机，概览相机，图像捕获，样品台驱动器和/或其他显微镜组件。

样品可以是任何样品，并且可以包括，例如，在生物细胞或细胞部分，材料或岩石样品，电子元件和/或液体中的物体。

本公开中的显微镜图像基本上可以是由显微镜捕获的任何原始图像，或者可以是经过处理的图像。处理后的图像可以从一个或多个显微镜的原始图像或预处理图像导出。例如，显微镜图像可以是透视变换的图像和/或通过将多个示出横向重叠的样品区域的原始图像联合在一起形成。显微镜图像也可以通过图像分割或亮度调节或对比度调整来计算。特别地，显微镜图像可以是概览图像或样品图像或来自与其相同的图像。概览图像被理解为由概览相机捕获的图像，该概览相机可以在显微镜的样品相机之外提供，使用该样品相机以更高的放大率捕获样品区域的图像(样品图像)。概览相机可以安装在固定设备框架上，例如，显微镜支架或可移动部件，例如，样品台，焦点驱动器或物镜转轮。特别地，图像的获取可以包括从存储器加载现有图像或使用相机捕获图像。

根据本发明的计算机程序包括命令，当计算机执行命令时，导致执行所述方法变体之一。

本公开中描述的学习模型或机器学习模型分别表示使用训练数据通过学习算法学习的模型。例如，机器学习模型可以分别包括一个或多个卷积神经网络(CNN)，其接收至少一个图像作为输入。可以通过监督学习过程进行机器学习模型的训练，其中提供了具有相关注释/标记的训练图像。学习算法用于根据注释的训练数据定义机器学习模型的模型参数。可以为此优化预定目标函数，例如，可以最小化损失函数。损失函数描述了预定标签或注释与机器学习模型当前输出之间的偏差，这些偏差由输入训练数据的当前模型参数值计算得出。最小化允许模型生成连续迭代中更接近预定标签的输出。修改模型参数值以最小化损失函数，例如，通过梯度下降和反向传播计算所述修改。特别地，在CNN的情况下，模型参数可以包括CNN的不同层的卷积矩阵的条目。其他深度神经网络模型架构也可以替代CNN。代替监督的学习过程，也可以执行无监督的训练，其中不会发生训练图像的注释。也可以进行部分监督的训练或强化学习。

已被描述为附加装置特征的本发明的特征，当按照预期实施时，也是产生根据本发明方法的变体。相反，显微镜系统也可以被配置为执行所描述的方法变体。特别地，计算设备可以被配置为执行用于执行所描述的方法变体和/或输出执行所描述的方法步骤的命令。计算设备还可以包括所描述的计算机程序。虽然一些变体采用已经训练好的模型，但是本发明的其他变体由相应的训练步骤的实现产生。

附图说明

以下参考附件的示意图描述了本发明的进一步效果和特征：

图1至4分别示意性地说明了通过图像处理程序对图像的处理；

图5示意性地示出了本发明的显微镜系统的示例性实施例；

图6示意性地示出了本发明方法的示例性实施例的流程；

图7示意性地示出了通过本发明的变体中的图像转换程序执行的流程；

图8示意性地示出了根据本发明示例实施例用于用于图像转换的模型的训练过程；

图9示意性地说明了根据本发明的示例实施例用于确定图像特性的模型的功能；

图10示意性地说明了根据本发明的示例实施例图像处理程序的训练图像中的图像性能的频率；以及

图11示意性地说明了本发明方法的另一示例实施例的流程。

具体实施方式

以下参考附图描述不同的示例实施例。作为规则，类似元素和以类似方式作用的元素由相同的附图标记指定。

图5

图5示出了根据本发明的显微镜系统100的示例实施例。显微镜系统100包括计算设备70和显微镜1，显微镜1在所示示例中是光学显微镜，但原则上可以是任何类型的显微镜。显微镜1包括支架2，通过该支架2支撑进一步的显微镜部件。特别地，后者可以包括：照明设备16；物镜转换器/转轮3，在图示的示例中其上安装有物镜4；样品台6具有用于保持样品载体7的保持框架；和显微镜相机8。如果物镜4旋转以使其位于显微镜光路中，显微镜相机8接收来自样品区域的检测光，样品可以位于该区域中，以便捕获样品图像。样品可以是任何物体，流体或结构。显微镜1还包括概览相机9，用于捕获样品环境的概览图像。因此，特别地，概览图像可以显示样品载体7或与其相同的一部分。概览相机9的视野9A大于捕获样品图像时的视野。在所示的示例中，概览相机9经由反射镜9B观察样品载体7。反射镜9B布置在物镜转轮3上，并且可以被选择替代物镜4。在该实施例的变体中，反射镜或一些其他偏转元件也可以布置在不同的位置。或者，概览相机9也可以布置在支架2，物镜转轮3或样品台6上，以便在没有反射镜9B的情况下直接观察样品载体7。原则上，显微镜相机8也可以在通过物镜转轮3选择不同的物镜，特别是宏观镜，以捕获概览图像时，用作概览相机。

本公开中的显微镜图像可以被理解为是概览图像或样品图像。显微镜图像可以对应于捕获的原始数据，或通过对原始数据的处理形成。计算设备70包括计算机程序80，其具有用于处理至少一个显微镜图像的图像处理程序。计算设备70或计算机程序80被配置为执行根据本发明的方法的以下示例之一。

图6

图6示意性地示出了本发明方法的示例性实施例的过程。首先步骤P1中接收显微镜图像10，例如来自图5的显微镜1或数据存储器。除此之外，显微镜图像10示出了具有样品区域5的样品载体7。

图像处理程序B旨在为显微镜图像10创建分割掩模，其中标记样品区域5。样品区域5是由图像处理程序B检测或分析的结构15的具体示例。然而，显微镜图像10未输入到图像处理程序B中。相反，在步骤P2中将显微镜图像10输入到图像转换程U。在步骤P3中，图像转换程序U将显微镜图像10转换为图像(以下“输入图像”30)。

在所示的示例中，图像转换程序U执行显微镜图像10的调整尺寸。稍后将更详细地描述用于确定合适调整尺寸的可能方法。

然后，在步骤P4中，输入图像30输入图像处理程序B中。在所示的示例中，图像处理程序B由用于图像分割的训练模型M构成。在过程P5中，图像处理程序B由输入图像30生成图像处理结果19，即在本示例中分割掩模20。本示例中分割掩模20是其中一个或多个分割区域21的二进制掩模，该分割区域21表示识别的样品区域，而其他像素值表示背景22。

在步骤P6中，分割掩模20馈送到反向变换程序R，其执行与转换程序U通过其生成输入图像30的操作相反的操作。在该示例中，因此，在步骤P7，发生了调整尺寸，其中由分割掩模20产生的输出图像29具有与显微镜图像10相同的尺寸(相同的像素计数)。

如参考图1至图4在描述的介绍部分中所述，通过图像转换程序U将显微镜图像10转换为适当尺寸，可以避免图像处理程序B的处理错误。下面参考图7描述图像转换程序U的示例性操作。

图7

图7说明了根据本发明的示例实施例的图像转换程序U的功能。预先已知的，给定的图像处理程序，例如，上图中的图像处理程序B通常能够正确地处理某些尺寸的结构15，而误差更频繁地发生在其他尺寸的结构。尺寸再次被理解为结构的像素计数，例如，以像素为单位的直径或面积。显微镜图像的整体尺寸并不是决定性。结构的物理尺寸，例如样品的空间尺寸5μm同样在此同样不具有决定性。

图像转换程序U从上图的显微镜图像10生成多个不同尺寸的图像11,12,13和14。用于这些图像11-14的相应的缩放因子F1，F2，F3和F4，可以是，例如，F1＝1，F2＝0.65，F3＝0.35和F4＝0.25。图像11-14构成图像处理程序B的潜在输入图像，使得理想地验证他们对于由图像处理程序B处理的适用性。为此，图像11-14分别与具有尺寸(以像素为单位)的结构U2的模板U1卷积，该尺寸为已知图像处理程序B通常提供无错误结果。在图像11的卷积计算中，模板U1因此在图像11上滑动，并且模板U1的像素和当前叠加的图像11的部分分别彼此相乘，然后将这些乘积相加以形成卷积结果的图像点。当结构U2的尺寸对应于图像11的结构的尺寸时，该卷积产生的图像具有大的振幅/峰值(即，显著偏离的像素值)。具有最大幅度的卷积结果呈现其结构与结构U2的尺寸的最佳对应关系。相关的图像，在该示例中的图像12，被选择为图像处理程序B的输入图像。换句话说，选择从显微镜图像计算输入图像的缩放因子F是该示例中的缩放因子F2。

参考下图解释图像转换程序U的可替代实现。

图8

图8示意性地说明了用于图像转换U3的模型的训练过程，其是图像转换程序U的一部分。

模型U3的训练数据包括多个图像，其中图像t1-t3通过示例示意性地示出。图像t1-t3示出了具有样品5的样品载体7，特别地，在图像像素中的所描绘的样品5的各个尺寸方面不同。图像t1-t3的注释A分别表示图像特性的值。在该示例中，预先确定各个缩放因子f1,f2和f3。为了预先确定缩放因子，例如f1，可以在使用不同缩放因子在前一步中创建图像t1的多个图像版本，随后分别使用图像处理程序B分别处理各个创建的图像版本。然后，用户选择图像版本的缩放因子，该缩放因子的图像处理结果被评为用户使用最佳，以对图像t1注释的形式。但是，还可以以其他方式确定注释。

模型U3的训练使用图像t1-t3和相关的缩放因子f1-f3作为目标数据基本上可以以任何方式发生。原则上，模型U3的架构也可以是任何类型的。在所示的情况下，模型U3包括深度神经网络，例如，在卷积神经网络的体系结构中。通过训练，迭代调整模型U3的模型参数值，例如CNN的内核的值。模型U3基于当前模型参数值分别计算用于图像t1-t3的输出55。在该示例中，输出55是表示输入图像的缩放因子的数字。损失函数L捕获输出55和预定缩放因子f1-f3之间的差异。基于损失函数，预定优化函数O迭代确定如何修改模型参数值，以便最小化损失函数L。在完成训练后，模型U3能够计算位于图像t1-t3的统计分布范围内的未知显微镜图像的缩放因子。

利用缩放因子，显微镜图像的结构被呈现为适合于图像处理程序的图像尺寸。除了结构的图像尺寸之外，结构的其他图像特性也可能对图像处理程序是否可以正确处理相应图像产生相关影响。这些将参考图9更详细地讨论。

图9

在图9所示的示例中，还将修改显微镜图像10的结构15的图像特性，以便通过图像处理程序实现更好的处理，例如，利用前述示例的图像处理程序B。在该示例中，样品载体7构成要修改图像特性的结构15。显微镜图像10内的样品载体7的方向或队列与图像处理程序可靠地提供正确的结果的方向不同。图像转换程序U包括用于确定图像特性的训练模型U4，即用于在显微镜图像10内建立某些结构15(此处的样品载体7)的方向。模型U4输出角度α，该角度表示样品载体7的边缘相对于，例如，显微镜图像10的图像边缘的方向。根据角度α的知识，可以旋转显微镜图像10以形成输入图像30。因此，样品载体7在图像内被带入预定的方向，例如通过角度α的旋转至平行于图像边缘的方向。

可选地，模型U4被训练，以便在确定方向时考虑到的上下文信息K。上下文信息K可以是，例如，所采用的物镜类型或其放大率的指示。该指示有助于解释图像中的哪些边缘可以是样品载体边缘。

一般而言，样品载体7的边缘是否定向以平行于图像边缘是无关紧要的，而是，样品载体7的方向是否尽可能地与图像处理程序B的训练图像中的样品载体的方向对应。这是因为图像处理程序B的图像处理结果的质量主要取决于输入图像是否位于训练图像的统计分布中。将参考下图更详细地讨论这一点。

图10

图10示意性地示出了图像处理程序B的用于图像处理的模型M学习的训练图像T。训练图像T分别显示样品载体，该样品载体具有作为通常描绘的结构的示例的样品。这里未示出与训练图像有关的注释，并且根据图像处理程序B的预期功能来选择。例如，当用于图像分割的模型学习时，可以以分割掩模的形式为训练图像T预先确定目标图像或“标注数据”。或者，可以预先确定分类，例如，“样品存在”或“样品不存在”，或者关于样品载体类型的分类，例如，“载玻片”，“微量滴定板”或“腔室载玻片”。

根据应用，可能需要数千或数百万张训练图像。训练图像T的范围或统计分布应该涵盖显微镜图像的预期图像内容的范围。图10示意性地示出了在训练图像T中出现特定尺寸S的样品的频率H(即，数字或计数)的绘制分布(频率分布)。以像素为单位的样品尺寸S是训练图像T中结构图像特性的一个具体示例。以像素为单位测量的样品的尺寸可以是，例如，最大直径，区域或样品的一些其他方面尺寸。在该示例中，训练图像覆盖15到65像素之间的样品尺寸，而在该范围之外的样品尺寸在训练图像中罕见或不表示。训练图像中最常存在的是尺寸S0大约50像素的样品。通过这种数据，可以使得一个模型学习，该模型可能在样品尺寸位于特定的工作范围内，在本示例中为15到65像素，提供高质量的图像处理结果。对于其他样品尺寸，错误结果的风险较高。

例如，如果要处理显微镜图像，其中样品的尺寸S1具有90像素，则该尺寸S1相对远离训练图像T的样品尺寸。图像转换程序转换显微镜图像，以便使得尺寸S1被带到更靠近训练图像中的样品尺寸。例如，最常见的尺寸S0或出现的样品尺寸的平均值可以用作训练图像中的样品尺寸的度量。在具有多个单独峰值的频率分布的情况下，还可以在局部最大值处的各个S值或每个峰值的各个平均值S，作为样品尺寸的度量。因此，通过调整尺寸，从其中具有样品尺寸S1的显微镜图像计算具有样品尺寸S2的图像(输入图像)，其中S2是目标尺寸或目标图像特性，并且被设置，例如，以等于训练图像的最频繁发生的尺寸S0。

样品的尺寸S是样品的图像特性的具体示例。如前面所述，它与样品的物理特性无关，即，不是它们的实际尺寸，而是在显微镜图像中的描述。图10中所示的频率分布还说明显微镜图像的整体尺寸不构成更相关的度量。例如，如果切换具有不同放大率的物镜，捕获显微镜图像的整体尺寸保持不变，而以像素为单位的样品尺寸S会变化。在没有所描述的图像转换的情况下，每种放大率的训练图像必须可用于此类情况。然而，这将使图像转换变得不必要，图像转换使得样品或显微镜图像的其他结构的图像特性更靠近训练图像的结构的图像特性。

图10还示出了训练图像T中的样品载体的出现方向的频率分布H，其中方向可以定义为样品载体的边缘和图像边缘之间的角度α。训练图像T不必覆盖-180°和+180°之间的所有可想到的角度。相反，在相对较小的角度范围，例如-20°和+20°之间就足够了。在本示例中，最常发生的角度α0是约为0°。如果在显微镜图像中建立例如90°的角度α1，则旋转显微镜图像，使得所得到的角度α2更靠近训练图像中出现的角度。例如，将角度朝向α0旋转或精确地设置为α0，或者在一定范围内的角度，该范围的角度可得到定义最小训练图像的数量，在所示示例中，这是-20°和+20°之间的角度的情况。有利地，利用显微镜图像的这种转换，所需的训练图像T显著较少。特别是，训练图像T不必覆盖大范围的角度。

因此，本发明的实现是训练图像仅需要覆盖不同图像特性的较小工作范围。因此，学习模型通常需要更少的参数来学习并工作更快。

图10所示的频率分布为本发明的目的。不一定要求确定这些频率分布。

除了方向和尺寸之外，所描述的方法也可以用于其他图像特性，例如用于结构的亮度或亮度分布。除了样品和样品载体之外，结构该结构还可以是其他一些—原则上是任何—被图像处理程序分析的物体。纯粹地通过示例描述图像处理程序的功能，并且可以由其他功能替换，例如通过在描述的一般部分中引用的实现。

图11

图11示意性地示出了本发明方法的另一示例实施例的过程。这里使用用于图像转换的模型U3(缩放网络)和用于图像处理的模型M。但是，模型并不分开，而是形成联合模型。在该模型中，显微镜图像10通过两个平行进展/线程运行：在一个进展中，显微镜图像10被输入到用于图像转换的模型U3(步骤P2)中，其由此确定合适的缩放因子(或者更一般地，图像特性的合适值)。在另一个进展中，显微镜图像10与所确定的缩放因子一起输入到参数化缩放层17中，在步骤P3中，该参数化缩放层17从中计算出图像，其在下文中被称为输入图像30。在更常规的情况下，在确定(不同)图像特性的值代替缩放因子的情况下，通常使用图像操纵层代替缩放层17，图像操纵层基于图像特性的值修改输入显微镜图像10。例如，在图像特性是旋转角度的情况下，显微镜图像10相应地旋转以便计算输入图像30。

在步骤P4中，输入图像30被输入到用于图像处理的模型M中，其在步骤P5中计算图像处理结果19。如果图像处理结果19是结果图像，则反转由缩放层17/图像操纵层执行的操作。特别地，由此获得与显微镜图像10相同的图像尺寸。

两个模型U3和M构成聚合模型的子模型，并同时培训。训练图像包括，例如，多个不同缩放的图像；否则，它们的图像内容是相同的。可以通过光学方式生成不同的缩放，例如，通过变焦物镜或具有不同放大率的物镜。或者，可以从源图像人工计算缩放。对于训练，为每个图像指定了两个注释(标注数据)：一个注释指定图像处理的目标结果(即，图像处理结果19)，而另一个注释指定缩放因子。在使用人工缩放来生成训练图像的情况下，以注释形式指定与人工缩放相反的缩放因子，使得训练图像被缩放到所描绘的结构的共同尺寸。或者，可以针对每个训练图像手动指定缩放因子。现在，训练具有组合的优化函数，例如，损失函数，其包括用于图像处理的模型M的输出和用于图像转换的模型U3的输出(中间输出)。对于两个输出，在联合优化函数中考虑了与相关注释的差异。因此，实现了端到端学习，从而学习的模型与在单独训练中分别学习的模型的情况通常不同。在训练中，用于图像处理的模型的输入图像包括，例如，不仅是完美缩放输入图像可能对应于标注数据信息，还包括训练过程中用于图像转换的模型生成的具有发散缩放的图像。这使得用于图像处理的模型M通常更加稳健地应对由于用于图像转换的模型U3不同的缩放在正常操作中可能发生的变化。

所描述的示例实施例纯粹是示例性的，并且可以在所附权利要求的范围内具有相同的变体。

参考标志列表

1 显微镜

2 支架

3 物镜转轮

4 显微镜物镜

5 样品

6 样品台

7 样品载体

8 显微镜相机

9 概览相机

9A 概览相机的视野

9B 反射镜

10 显微镜图像

10A-10D 不同缩放的图像

11-14 不同缩放的图像(潜在输入图像)

15 结构

16 照明设备

17 缩放层

19 图像处理程序B的图像处理结果

20A-20D 图像10A-10D的分割掩模

21 被识别为样品区域的分割掩模的区域

22 被识别为背景的分割掩模的区域

29 重构图像处理程序B的结果图像

30 图像处理程序B的输入图像

55 模型U3的当前输出

70 计算设备

80 本发明的计算机程序

100 本发明的显微镜系统

A 注释

B 图像处理程序

f1-f3 缩放因子注释

F,F1-F4 缩放因子

H 训练图像中图像特性的值的发生频率(计数)

K 上下文信息

L 损失函数

M用于图像处理的学习模型

O 优化函数

P1-P7 本发明方法的步骤

R 反向变换程序

S 样品/结构的尺寸，图像特性的示例

S0 训练图像中最常用的样品尺寸

S1 显微镜图像中的样品尺寸

S2 输入图像中的样品大小

T 训练图像

t1,t2,t3 用于训练模型U3的图像

U 图像转换程序

U1 图像转换程序U的模板

U2 模板U1的结构

U3 用于图像转换的学习模型

U4 用于确定图像特性的学习模型

α 样品载体的角度或结构的方向，图像特性的示例

α0 在训练图像中样品载体最常见的角度

α1 在显微镜图像中样品载体的角度

α2 输入图像中的样品载体的角度

Claims (15)

1.一种处理显微镜图像(10)的方法，包括：

接收(P1)显微镜图像(10)；

输入(P4)从显微镜图像(10)形成的输入图像(30)到图像处理程序(B)中，所述图像处理程序(B)包括用于图像处理的学习模型(M)，所述学习模型通过显示具有某些图像特性(S0，α0)的结构(15)的训练图像(T)学习；以及

通过图像处理程序(B)从输入图像(30)计算(P5)图像处理结果(19)；

其特征在于

通过图像转换程序(U)将显微镜图像(10)转换(P3)为输入图像(30)，其方式是相对于显微镜图像(10)的结构(15)的图像特性(S1，α1)修改输入图像(30)中结构(15)的图像特性(S2，α2)，使其更接近训练图像(T)的结构(15)的性质(S0，α0)。

2.根据权利要求1所述的方法，

其中结构(15)的图像特性(S，α)是结构(15)的几何特性和/或亮度特性。

3.根据权利要求2所述的方法，

其中结构(15)的几何特性包括尺寸(S)，方向(α)或图像失真；

其中亮度特性涉及结构(15)的亮度，饱和度或图像对比度。

4.根据权利要求1所述的方法，

其中图像转换程序(U)确定显微镜图像(10)的结构(15)的图像特性(S1，α1)，其中目标图像特性为预定的显微镜图像(10)的结构(15)的图像特性(S1，α1)，其中图像转换程序(U)将所确定的图像特性(S1，α1)改变为目标图像特性，以便从显微镜图像(10)计算输入图像(30)。

5.根据权利要求1所述的方法，

其中图像转换程序(U)以像素为单位确定显微镜图像(10)的结构(15)的尺寸(S1)作为图像特性，

其中，预定目标像素计数作为目标图像特性，

其中，图像转换程序(U)计算缩放因子(F)，通过所述缩放因子，结构(15)的确定尺寸(S1)转换为目标像素计数，

其中图像转换程序(U)利用缩放因子(F)处理显微镜图像(10)，以生成输入图像(30)。

6.根据权利要求1所述的方法，

其中图像转换程序(U)包括用于确定图像特性的学习模型(U4)，所述学习模型使用训练图像(T)训练以确定显微镜图像(10)的结构(15)的图像特性(α)。

7.根据权利要求1所述的方法，

其中图像转换程序(U)是用于图像转换的学习模型(U3)，其使用图像(t1-t3)学习，所述图像(t1-t3)以注释(A)的形式指定如何转换这些图像(t1-t3)以形成输入图像(30)。

8.根据权利要求7所述的方法，

其中注释(A)分别表示缩放因子(f1-f3)。

9.根据权利要求1所述的方法，

其中图像转换程序(U)是用于图像转换的学习模型(U3)，以及

其中用于图像转换的学习模型(U3)和用于图像处理的学习模型(M)通过具有联合优化函数的联合训练来学习。

10.根据权利要求1所述的方法，

其中图像转换程序(U)，为了确定显微镜图像(10)到输入图像(30)的合适转换，测试多个潜在转换，所述潜在转换分别应用于显微镜图像(10)以生成潜在输入图像(11-14)，

其中随后根据预定标准评估潜在输入图像(11-14)的结构(15)的图像特性(S，α)，并且选择具有最佳评估的潜在输入图像(11-14)作为输入图像(30)。

11.根据权利要求1所述的方法，

其中当计算输入图像(30)时，图像转换程序(U)考虑关于显微镜图像(10)的上下文信息(K)，上下文信息(K)表示以下一个或多个：

-显微镜设置、所采用的物镜(4)的放大率、照明特性或相机特性；

-有关测量情况、所采用的样品载体类型或所采用样品类型的信息。

12.根据权利要求1所述的方法，

其中用于图像处理的学习模型(M)针对输入图像(30)计算分类、图像分割、检测、图像增强、图像区域重建或图像到图像映射。

13.根据权利要求1所述的方法，

其中图像处理结果(19)是结果图像，并且

其中执行结果图像的转换(P7)，所述转换与图像转换程序(U)从显微镜图像(10)生成输入图像(30)的转换相反。

14.具有命令的计算机程序，当计算机执行时导致权利要求1的方法的执行。

15.一种显微镜系统，包括

用于捕获显微镜图像(10)的显微镜(1)；和

计算设备(70)，包括图像处理程序(B)，其被配置为处理从显微镜图像(10)形成的输入图像(30)至图像处理结果(19)，其中图像处理程序(B)包括用于图像处理的学习模型(M)，所述学习模型通过显示具有某些图像特性(S0，α0)的结构(15)的训练图像(T)学习；

其特征在于

计算设备(70)包括图像转换程序(U)，其被配置为将显微镜图像(10)转换为输入图像(30)，其方式是相对于显微镜图像(10)的结构(15)的图像特性(S1，α1)修改输入图像(30)中结构(15)的图像特性(S2，α2)，使其更接近训练图像(T)的结构(15)的性质(S0，α0)。

Images