CN114764189A - 用于评估图像处理结果的显微镜系统和方法 - Google Patents

Abstract

在用于评估图像处理结果的方法(40A‑40B)中，接收显示相同结构(35)的至少两个显微镜图像(30A‑30D)。每个显微镜图像(30A‑30D)通过图像处理算法(25)进行处理，用于计算相应的图像处理结果(40A‑40B)。根据不同显微镜图像(30A‑30D)计算出的图像处理结果(40A‑40B)之间的对应程度，确定图像处理结果(40A‑40B)的至少一个置信度(50)。

Description

用于评估图像处理结果的显微镜系统和方法

技术领域

本发明涉及一种用于评估图像处理结果的显微镜系统和方法。

背景技术

显微镜系统捕获的显微镜图像通常由图像处理程序进行处理。生成的图像处理结果通常可以是图像结果或一些其他结果，例如显微镜图像中的可见对象的分类。越来越频繁地使用训练数据学习的模型，例如，用于分辨率增强、降噪或用于生成分割掩码，在生成分割掩码中，对预定对象类型的存在进行逐像素评估。在这方面，不仅希望能够获得精确的结果，而且还希望能够进一步说明结果的确定性或可靠性。

例如，在分辨率增强过程中出现的不在原始显微镜图像中的对象或结构的幻觉是学习模型的一个已知问题。例如，在王宏达等人的“深度学习实现荧光显微镜中的超分辨率”(bioRxiv309641；doi：https://doi.org/10.1101/309641)一文中注意到了这个问题，其中描述了生成对抗网络(GAN)的训练以计算高分辨率荧光图像。建议，如果在计算结果图像中确定了虚构/幻觉对象，则应在损失函数中对其进行额外惩罚，或者应执行进一步的正则化以防止将来出现此类伪影。然而，对于新的输入图像是否会产生错误结果的评估必须最终由人类来执行。

为了检测图像处理程序的某些类型的错误结果，申请人开发了一种验证模型-在DE102019114012中描述-图像处理结果被馈送到该模型中。验证模型可以是使用训练数据学习的模型，其中训练数据包含例如标记为正确或不正确的图像处理结果。通过这样的训练，验证模型能够识别出某些类型的错误图像处理结果。

M.Weigert等人，在“内容感知图像修复：突破荧光显微镜的极限”(NatureMethods，2018年，第15卷，第12期，第1090页或bioRxiv预印本，doi：https:///doi.org/10.1101/236463；2018年7月3日)中描述了用于指示或提高处理结果可靠性的不同策略。特别是修改了分割模型，以计算每个像素的分割结果的概率分布。该文件还描述了使用多个相似学习模型的集成，这些模型的结果的差异可以解释为结果的不确定性。例如，集成的每个模型都可以进行图像分割，并且针对某个像素比较模型的结果。然而，它带来了一个问题，即无法确定集成的多个模型是否犯了相同的错误。如果使用相似的学习算法来训练模型，该相似的学习算法使用相似的训练数据，则可能会出现大多数模型实现不准确的图像处理结果。因此，持续需要能够以尽可能可靠的方式来评估图像处理的质量。

发明内容

可以认为本发明的一个目的是提供一种能够以尽可能合理的方式评估图像处理结果的确定性的显微镜系统和一种方法。

该目的是通过下述方法和显微镜系统实现的。

在根据本发明的用于评估图像处理结果的方法中，接收或获取显示相同结构的至少两个显微镜图像。每张显微镜图像都经过图像处理算法处理，以计算出各自的图像处理结果。图像处理结果中的至少一个置信度分由不同显微镜图像计算出的图像处理结果之间的对应程度决定。

根据本发明的显微镜系统包括显微镜，该显微镜具有用于捕获显微镜图像的照相机，特别是概览照相机或样本照相机。该显微镜系统还包括计算设备，其被配置为通过图像处理算法从至少一个显微镜图像中计算一个图像处理结果。计算设备还被配置为计算图像处理结果的至少一个置信度分。为此，计算设备通过图像处理算法分别处理至少两个显示相同结构的显微镜图像，从而计算出各自的图像处理结果。然后，计算设备基于从不同显微镜图像计算的图像处理结果之间的对应程度来确定至少一个置信度分。

所描述的过程可以基于两个或更多个显微镜图像，这些图像基本上显示了相应的内容并且仅在例如随机图像噪声方面有所不同。因此，图像处理算法应该为每个显微镜图像计算本质上相同的结果。然而，如果图像处理结果之间的对应水平较低，则这可以解释为较高水平的不确定性，即反映图像处理结果或图像处理结果之一的较低置信度分。与现有技术的方法相比，置信度分可以代表显微镜图像中的噪声引起的图像处理结果的差异。该过程与前面描述的集成模型的不同之处在于，不是不同模型处理相同的输入图像，而是同一个模型处理不同的输入图像。对于某些噪声图案，一个集成的多个模型可能会产生相同的错误结果。因此，这种情况无法被集成检测到。然而，它可以通过评估多个不同的显微镜图像来检测。前面还引用了一种能够计算每个像素的概率分布的模型；在这种情况下，与分布有关的信息已经是学习模型的一部分，而在本发明中，对不同的相似显微镜图像的处理产生了结果分布。例如，如果显微镜图像仅在随机图像噪声方面不同并且图像处理算法仍然以不同的结果结束，则可以推断出错误处理并且该发现可以确定一个低置信水平的结果。

与上述集成模型或引用的计算每个像素的概率分布的模型不同，根据本发明的置信水平的确定，不限于以使用训练数据学习的模型的形式实现的图像处理算法。

可选实施例

根据本发明的显微镜系统和根据本发明的方法的有利变型是从属权利要求的目的，并且在下面解释。

显微镜图像

显微镜图像可以是例如在同样的显微镜设置下连续捕获的图像。因此，显微镜图像本质上仅在随机图像噪声方面不同。如果显微镜图像的随机图像噪声导致不同的图像处理结果，则该结果可以被认为是随机的，因此是不可靠的。或者，显微镜图像也可以从相同的原始图像中计算，例如，通过向相同的原始图像重复添加不同的人工随机图像噪声。

换句话说，作为图像处理算法的输入图像的显微镜图像可以显示相同的场景，但在随机图像噪声方面可能有所不同。显微镜图像可以对应于不同的原始图像，尤其是立即连续捕获的图像。每个原始图像都显示相同的结构，但随机图像噪声不同。可以使用完全相同的显微镜参数捕获原始图像，尤其是使用相同的照明功率、照明波长、像素驻留时间、相机灵敏度和/或相机曝光时间。或者，一个或多个显微镜参数可以在各个显微镜图像或它们潜在的原始图像的捕获之间变化。变化可能很小，例如所讨论值的10％或更少，即，例如照明功率的变化小于10％。在任何情况下，相同的样本区域、相同的场景或相同的结构被描绘在不同的图像中。对于多个显微镜图像，相机相对于被分析场景的视野可以是相同的，或者如所提及的那样仅略微变化，特别是小于10％。

显微镜图像中的至少两个也可以基于相同的原始图像并且(仅)因执行的图像处理而不同。图像处理可以是例如添加人工图像噪声。可以对原始图像重复执行这样的图像处理以获得多个不同的显微镜图像。未经任何图像处理的原始图像也可以作为输入图像处理算法的显微镜图像之一。因此可以基于单个原始图像为图像处理算法生成任意数量的相似的显微镜图像。

所述方法的组合也是可能的。例如，可以捕获两个或多个具有图像噪声中的随机差异的原始图像；反过来，随后可以从这些原始图像中的一个或每一个中，通过图像处理生成多个显微镜图像。

图像处理旨在保持本质上相同的图像内容，以便在所需的场景中，无论图像处理如何轻微，图像处理算法都会提供相应的结果。特别地，所执行的图像处理可以包括以下操作中的一项或多项：

-添加图像噪声。通过不同的噪声可以产生不同的显微镜图像。人工图像噪声以随机方式改变图像的像素，因此不会添加新的图像内容，特别是不会添加新的结构。

-镜像和/或旋转图像内容。如果将原始图像的图像内容旋转不同的角度，则可以生成多个具有相同(除了旋转角度)图像内容的显微镜图像。或者，可以裁剪显微镜图像以避免在旋转矩形图像时出现任何空白区域。反射可以是点反射或轴反射。

-切除(剪切)或替换图像内容。原始图像的一部分，例如几个像素或少于所有像素的1％，可以基于周围的图像内容被移除或填充。从而可以生成具有几乎相同图像内容的不同显微镜图像。

-压缩或拉伸图像内容。例如，原始图像可以在一个或两个图像方向上稍微缩放，例如按0.9和1.1之间的系数。如果图像处理算法旨在对显微镜图像中的生物细胞或细胞器进行计数，则不管图像是否有轻微的凝聚，都应始终计数相同数量的细胞或细胞器。

-变形并随后恢复图像内容。例如，原始图像可以被压缩，然后拉伸回其原始形式，或者可以更改其缩放比例，然后再次变回。结果与原始图像具有实质上相同的图像内容，尽管相邻像素可以相互涂抹。

-模糊或锐化图像内容。模糊或锐化可以是轻微的，以便可见图像内容保持本质相同。特别的，在不使用机器学习模型的情况下，通过在原始图像上滑动一个简单的卷积矩阵可以发生模糊或锐化，这可能会在图像锐化过程中扭曲内容。

-修改亮度、色调值或对比度。通过多个不同的这种设置，同样可以从相同的原始图像产生本质上任意数量的显微镜图像。修改色调值尤其可以产生色调值的扩展或均衡。在具有多个颜色通道的图像的情况下，可以改变任意数量的这些通道。

-修改图像分辨率。还可以通过修改图像分辨率或图像大小，从原始图像生成一个或多个显微镜图像，可选地，随后转换回原始分辨率或大小。

上述图像处理可以涉及整个原始图像的图像内容或仅涉及其中的一部分。例如，也可以仅在一个图像区域中添加或修改图像噪声。可以选择同一原始图像的不同图像区域进行图像处理，从而生成不同的显微镜图像。也可以通过将上面引用的不同图像处理应用于相同的原始图像，来生成不同的显微镜图像。

图像处理算法

图像处理算法以复杂的方式处理输入数据，因此尤其是简单的误差传播不能来说明输入数据中的统计波动是如何影响图像处理结果的。

图像处理算法的输入数据通常可以包含一个或多个图像，例如不同高度的3D图像堆栈。可选地，图像处理算法还可以被设计为在计算图像处理结果时考虑进一步的输入数据，例如，与出现在图像中的对象相关的上下文信息或显微镜的捕获参数或系统信息。

图像处理算法可以基于不包含学习模型的经典图像处理方法，例如用于图像去噪的3D块匹配或类似方法，或用于去卷积和图像锐化的维纳去卷积。

或者，图像处理算法可以是经过训练的机器学习模型，或者包括经过训练的机器学习模型。后者根据每个显微镜图像(独立于其他显微镜图像或其他显微镜图像)计算图像处理结果。机器学习模型可以计算图像到图像的映射，即生成输出图像或结果图像。这在下列情况有可能发生，例如，通过尤其是U-Net的卷积网络、通过GAN(生成对抗网络)或通过FCN(完全卷积网络)。

如果图像处理算法从每个显微镜图像中分别以结果图像的形式计算图像处理结果，这可以通过以下一种或多种操作发生：去噪、去卷积、分辨率增强、去伪影，图像区域和孔洞填充，映射/转换为另一种显微对比方法；分割或对象检测。例如，通过分割，从样本的噪声图像计算分割掩码或二进制掩码，其中不同的像素值象征不同的确定对象。在去除人工制品的情况下，某些结构或对象会从图像内容中去除，例如由先前的图像处理过程产生的反射或图像缺陷。映射到另一种显微对比方法可能意味着，例如，将例如DPC图像(微分相衬图像)的输入图像转换为类似于DIC图像(微分干涉对比图像)的表示。虚拟染色也是可能的，其中输入图像是例如在明场对比下捕获的样本图像，结果图像根据荧光对比表示样本。

在去卷积的情况下，可以考虑用于创建输入图像的显微镜的已知PSF(点扩散函数)，以便计算具有更高分辨率的去卷积结果图像。图像处理算法也可以设计为根据压缩感知方法从具有缺失图像区域的图像中计算出完整的图像。

图像处理算法也可以设计用于计算另一个量而不是结果图像，特别是可以假设连续值和/或分类结果的数字。分类结果可以区分例如不同类别的样本载体或不同类别的样本，特别是不同的生物细胞类型。连续值可以涉及例如几何变量，例如样本、样本载体、样本载体的样本容器或样本载体的保持框架的高度、位置或取向。图像处理算法还可设计为对显微镜图像中的特定物体或结构进行计数，例如生物细胞或特定细胞部分。

对应程度和置信度分

对应程度是衡量图像处理结果的相似程度的指标。例如，对应程度可以是或基于-并且特别是-图像处理结果之间的差异、方差或一些其他偏差的统计量度，例如图像处理结果的平均绝对偏差或标准偏差。可以为图像处理结果计算单一的对应度(例如分类结果的情况)，也可以计算图像处理结果的多个对应度，例如在图像处理结果采用结果图像形式的情况下，每个像素的对应程度。对于结果图像，一般而言，可以确定每个图像区域的整体对应程度或各自的对应程度，其中图像区域包括一个或多个(特别是相邻的)像素。或者，可以将结果图像中某些对象或结构的数量、形状和/或尺寸认为是结果图像之间的对应程度。例如，如果通过图像处理算法对显微镜图像进行分割，该分割会区分生物细胞和背景，则可以根据分割掩码中指示的生物细胞的数量、形状和/或大小来计算对应程度。

在一个示例中，运行计算结果图像中细胞微管数量的算法以考虑对应程度。例如，如果去噪算法根据显微镜图像计算出表现出不同微管结构的结果图像，则可计数的微管数量同样会有所不同。一般而言，后续算法可以对图像处理算法的结果图像进行量化表述，然后考虑这些量化表述的对应程度。

置信度分或置信度水平可以等于或确定为对应程度的函数。如果图像处理结果采用结果图像的形式，则可以通过对结果图像的不同图像像素或图像区域分别确定置信度分来生成置信度图。这种情况下的置信度分可以是置信度图的像素值。置信度分与不同结果图像的位置对应像素或图像区域的相似程度有关。因此，置信图针对结果图像的不同区域指示图像处理算法的结果有多可靠。

对于置信度图的信息表示，通过将结果值的图像信息表示为像素的亮度，将置信度图的值表示为像素的色调或颜色饱和度，可以将其中一张结果图像与置信度图叠加。

可选地，置信分数机器学习模型也可以接收图像处理结果作为输入并计算至少一个置信分数作为其输出。置信度机器学习模型的输入也可以是从图像处理结果中导出的数据，例如，表示图像处理结果之间差异或方差的值。可以使用包括多组图像处理结果的训练数据来学习置信度机器学习模型，其中关联的对应程度或置信度分被指定为目标数据/注释。例如，可以由用户手动评估对应程度或置信度分。这可能是有利的，例如，对于分割掩码形式的图像处理结果：如果分割掩码在一定数量的像素上不同，但在分割对象的数量或粗略形状上没有不同，用户可以评估这种情况有很高的置信度。另一方面，如果分割掩码在相同数量的像素上不同，但显示不同数量的分割对象或在分割掩码之间显着不同的对象形状，则用户可以评估该场景有低置信度分。

在结果图像形式的图像处理结果的另一个示例中，用户注释哪些图像区域充分对应以及哪些图像区域严重不同。因此，置信度机器学习模型学习评估输入图像的哪些图像区域彼此足够相似(即被授予高置信度)以及哪些图像区域彼此不同的程度更大，因此它们是被授予低置信度。这使得检测和/或定位有问题的图像区域成为可能。

基于置信度的后续行为

如果图像处理结果的置信度分超过预设可容忍阈值，则可以输出警告，可以启动对图像处理结果的补充处理或者可以进行新的数据采集以生成更合适的显微镜图像。

如果确定的图像区域的置信度分超过预定义的阈值或者图像区域的多个图像像素的置信度分超过预定义的极限值，则尤其可以执行以下过程中的一个或多个：

-可以通过捕获新图像来分析图像区域。特别是在这种场景下只分析了置信度分不足的图像区域；

-可以用警告标记图像区域，例如，以视觉表示的形式在显微镜图像或结果图像之一中标记；

-可以为图像区域提供人工噪声，或者可以降低其图像分辨率，即可以像素化。这表明置信度低，而且，可以防止在随后的图像分析中从相应图像区域的可疑信息中得出错误的结论；

-图像区域也可以用来自显微镜图像或来自显微镜图像之一的图像信息来填充。例如，如果图像处理算法计算去噪结果图像，并且结果图像之间的一个图像区域差异度过大，则可以根据一张或多张显微镜图像的相应图像内容替换该图像区域的内容；

-前述的图像区域涉及图像处理算法的结果图像之一，或者替代地，涉及由多个结果图像形成的图像，例如通过对结果图像求平均；

-或者，可以根据置信度分来确定如何修改图像处理算法的一个或多个图像处理参数。然后通过具有一个或多个修改后的图像处理参数的图像处理算法，对显微镜图像或显微镜图像之一进行新的处理。

附加地或替代地，可以从置信度分和相关联的图像处理结果导出对图像处理算法的修改，以便使算法相对于嘈杂的输入数据更加鲁棒。例如，如果图像处理算法包括机器学习模型，则可以重新训练机器学习模型。重新训练可以尤其涉及那些确定了置信度不足的结构。还可以捕获新的原始图像/显微镜图像并将它们添加到训练数据中。新捕获的图像可以再次显示那些被确定为置信度不足的结构。替代地或附加地，置信图可用于初步评估图像处理算法是否适用于捕获的结构和/或是否应该重新训练图像处理算法，该图像处理算法由机器学习模型形成的图像处理算法训练得到。例如，如果置信度图显示某些图像区域的高置信水平/高对应分数，并且其他图像区域的较低置信水平，则可以评估图像处理算法基本合适，同时建议重新训练置信度较低的图像区域。可以向用户输出这样的推荐。另一方面，如果置信图显示所有图像区域(或置信图的预定最小比例)的置信水平不足，则确定的评估可以是图像处理算法不适于当前正在分析的结构。

学习将显微镜图像映射到置信度分/置信度图的模型

使用显微镜图像和关联的计算的置信度分，还可以创建用于学习模型的训练数据，该模型直接从一个或多个显微镜图像推断置信度分。该置信度分构成了关于图像处理算法相对于显微镜图像的可靠性的陈述，而图像处理算法实际上不必处理显微镜图像。

为了创建训练数据，首先对多组显微镜图像执行前面已经描述的步骤。也就是说，对于不同的显微镜图像组重复处理显微镜图像，以计算图像处理结果和确定这些图像处理结果的至少一个置信度的操作。例如，可以使用1000组显微镜图像，每组由10个显微镜图像组成，其中同一组的所有显微镜图像分别显示相同的结构和不同，例如，在它们的图像噪声方面。一组显微镜图像(或其部分)现在可以用作机器学习模型的训练数据，其中相关联的置信度分用作机器学习模型训练中的目标数据。以这种方式训练机器学习模型以计算从显微镜图像或从多个显微镜图像到至少一个置信度分的映射。如果将显微镜图像处理成例如结果图像并且为每组结果图像计算置信度图，则可以直接从显微镜图像中学习确定置信度图的模型。该模型通常会学习检测结构，该结构响应所讨论的图像处理算法的特别脆弱或稳定。因此，用于确定置信度分的机器学习模型与特定的图像处理算法相关。如果要涵盖不同的图像处理算法，则可以为前面描述的每个图像处理算法生成训练数据。在训练中，所使用的图像处理算法可以被视为上下文信息。如果将处理显微镜图像的图像处理算法的指示也输入到完全训练的模型中，则模型可以计算该图像处理算法和该显微镜图像的置信度分。

本发明还涉及一种使用以前述方式之一训练的机器学习模型来评估图像处理结果的方法。在该方法中，图像处理算法计算输入的显微镜图像的图像处理结果。同样的显微镜图像也被输入到机器学习模型中，它计算出显微镜图像的至少一个置信度分。

当不打算频繁使用所讨论的图像处理算法时，这种方法可能是有利的。这可能是这种情况，例如，在处理时间很长的情况下，或者当样本将受到太大的压力时，例如当显微镜图像是通过具有高照明强度的光学采集方法生成时。

一般特征

显微镜系统表示包括至少一个计算设备和显微镜的装置。显微镜尤其可以理解为光学显微镜、X射线显微镜、电子显微镜或宏观显微镜。

计算设备在物理上可以是显微镜的一部分，并且可以单独地布置在显微镜附近或远离显微镜的任何距离处。计算设备也可以设计为分散的。它通常可以由电子和软件的任何组合形成，并且特别包括计算机、服务器、基于云的计算系统或一个或多个微处理器或图形处理器。计算设备还可以被配置为控制样本相机、概览相机、图像捕获、样本台驱动和/或其他显微镜组件。

样本可以是任何样本并且可以包括例如生物细胞或细胞部分、材料或岩石样本、电子元件和/或保持在液体中的物体。

本公开中的显微镜图像实质上可以是显微镜捕获的任何原始图像或处理后的图像。处理后的图像可以从一幅或多幅原始图像或从显微镜的预处理图像中导出。例如，显微镜图像可以是经过透视变换的图像，并且图像处理算法根据该图像计算几何变量，例如样本载体高度。当原始图像显示横向重叠的样本区域时，显微镜图像可以由多个原始图像连接在一起组成。

除了以更高放大率捕获样本区域的图像的样本照相机之外，还可以提供用于捕获概览图像的概览照相机。前述相机应理解为至少一个相机，其可以是概览相机和/或样本相机。概览相机可以安装在固定的设备框架上，例如显微镜支架；或在可移动的部件上，例如样本台、聚焦驱动器或物镜旋转器。对于本公开中提到的显微镜图像和原始图像，可以可选地已经对数据进行图像处理，该数据由至少一个相机捕获，例如单应映射或透视映射、图像拼接、图像分割或亮度调整或对比度调整。接收图像尤其可以包括从存储器加载现有图像或用相机捕获图像。

根据本发明的计算机程序包括命令，当所述方法变体由计算机执行时将会执行所述方法变体之一的该命令。

本公开中描述的学习模型或机器学习模型分别表示通过学习算法使用训练数据学习的模型。例如，机器学习模型可以分别包括一个或多个卷积神经网络(CNN)，其接收至少一个输入图像作为输入，特别是概览图像、样本图像或从概览图像、样本图像中计算的图像。机器学习模型的训练可以通过监督学习过程进行，在该过程中提供了具有相关注释/标签的训练显微镜图像。学习算法用于基于带注释的训练数据定义机器学习模型的模型参数。为此可以优化预定义的目标函数，例如最小化损失函数。损失函数描述了机器学习模型的预定标签和当前输出之间的偏差，这些偏差是根据输入的训练数据中的当前模型参数值计算得出的。修改模型参数值以最小化损失函数，例如通过梯度下降和反向传播计算所述修改。在CNN的情况下，模型参数可以特别包括CNN不同层的卷积矩阵的条目。其他深度神经网络模型架构也可以代替CNN。除了监督学习过程之外，还可以执行没有训练图像注释的无监督训练。部分监督训练或强化学习也是可能的。

已被描述为附加装置特征的本发明的特征在按预期实施时也产生根据本发明的方法的变体。相反，显微镜系统也可以配置为执行所描述的方法变体。特别地，计算设备可以被配置为执行所描述的方法变体和/或用于执行所描述的方法步骤的输出命令。计算设备还可以包括所描述的计算机程序。虽然已经训练好的机器学习模型与一些变体一起使用，但本发明的其他变体也源自相应训练步骤的实施。

附图说明

本发明的进一步优点和特征将在下面参考附图进行描述：

图1是本发明的显微镜系统的示例实施例的示意图；

图2示意性地示出了本发明的方法的示例实施例的过程；

图3是图的延续；

图4根据本发明的方法的另一示例实施例示意性地示出了图2的那些的替代过程；

图5示意性地示出了根据本发明的机器学习模型的训练；

图6示意性地示出了图5的机器学习模型的应用；和

图7示出了本发明的方法的另一示例实施例的流程图。

具体实施方式

下面参照附图描述不同的示例实施例。通常，相似的元件和以相似方式起作用的元件用相同的附图标记表示。

图1

如图1示出了根据本发明的显微镜系统100的示例实施例。显微镜系统100包括计算设备20和显微镜1，显微镜1在所示示例中是光学显微镜，但其本质上可以是任何种类的显微镜。显微镜1包括支架2，通过该支架支撑另外的显微镜部件。支架尤其可以包括：照明装置15、物镜变换器/旋转器3，在图示的例子中，物镜4安装在物镜变换器/旋转器3上；具有用于保持样本载体7的保持框架的样本台5和显微镜照相机10。如果物镜4已经旋转以位于显微镜光路中，则显微镜照相机10接收来自样本区域的检测光，其中可以定位样本，以捕获样本图像。样本可以是任何物体、流体或结构。显微镜1还包括用于捕获样本环境的概览图像的概览相机9。概览图像因此可以特别地示出样本载体7或其一部分。概览相机9的视场9A大于捕获样本图像时的视场。在所示示例中，概览相机9通过镜子9B观察样本载体7。反射镜9B布置在物镜旋转器3上并且可以被选择来代替物镜4。在该实施例的变体中，反射镜或一些其他偏转元件也可以布置在不同的位置。或者，概览相机9也可以布置在支架2、物镜旋转器3或样本台5上，以便在没有镜子9B的情况下直接观察样本载体7。原则上，当通过物镜旋转器3选择不同的物镜、特别是宏观物镜用于拍摄概览图像时，显微镜相机10也可以用作概览相机。

显微镜图像在本公开中可以理解为概览图像或样本图像。显微镜图像可以对应于捕获的原始数据或通过原始数据形成。计算机设备20包括计算机程序80，计算机程序80具有用于处理至少一个显微镜图像的图像处理算法。计算设备20或计算机程序80被配置为执行根据本发明的方法的以下示例之一。

图2和图3

图2和3示意性地示出了本发明方法的示例实施例的序列。

在图2的过程P1中，显微镜1捕获显示相同结构35的多个显微镜图像30A、30B。在捕获这些图像期间视场可以相同并且显微镜参数也可以相同，使得显微镜图像30A、30B应该是除了随机图像噪声外完全相同。在这种情况下，所示结构35包括具有细胞核和丝状微管的细胞区域。所有显微镜图像30A、30B都显示了这些结构35，可选地，也在图像内的相应位置。

在过程P3中，显微镜图像30A、30B分别被馈送到相同的图像处理算法25。可选地，显微镜图像30A、30B可以是预处理的显微镜图像，即它们不必是显微镜1的原始图像。在可选的预处理中，可以以相同的方式处理显微镜图像30A、30B。图像处理算法25现在在过程P4中处理输入图像，即显微镜图像30A、30B。例如，可以执行去卷积以去除与显微镜1的光学转移的PSF相关联的任何模糊，以便获得具有更高分辨率的结果图像。图像处理算法25也可以是模型，该模型使用训练数据学习并旨在计算例如降噪或分辨率增强。

在过程P5中，图像处理算法25针对每个显微镜图像30A、30B输出图像处理结果40A-40B，如图3所示。每个图像处理结果40A-40B是例如具有比下面的显微镜图像30A或30B更高的分辨率的结果图像41A-41B。然而，如果在过程P4的图像处理过程中出现错误，特别是如果添加了未包括在原始显微镜图像30A、30B中的结构细节。这将会造成问题，例如，当以机器学习模型的形式实施图像处理算法时，尤其是当显微镜图像30A、30B与机器学习模型的训练数据显著不同时。部分42A是结果图像41A的放大部分，而部分42B是结果图像42A的放大部分。部分42A、42B在它们的位置方面对应，并且因此应该显示相同的结构。

然而，在所示示例中情况并非如此。这里的差异不仅仅归因于区分显微镜图像30A、30B的随机图像噪声；相反，图像处理算法25已将细节幻觉到结果图像41A-41B之一或两者中。在这些细节的可靠性方面，结果图像41A-41B的高图像分辨率、高清晰度和低图像噪声水平可以同时给人一种虚假的安全感。

通常，一些图像处理算法还指示它们生成的结果图像的可靠性或置信度级别。然而，在这种情况下，即使当图像处理算法指示高水平的可靠性时，随机的、略微不同的图像噪声(例如显微镜图像30A-30B之间)仍然可能导致完全不同的结果。为了解决这个问题，结果图像41A-41B一起输入到置信度计算程序45中。

置信度计算程序45考虑结果图像41A-41B之间的对应程度，例如，在过程P6中，通过逐个像素计算结果图像41A-41B之间的差异。如果结果图像41A-41B基本一致，则差异接近于零，从而输出高置信度分。然而，如果结果图像41A-41B彼此显著不同，如在部分42A和42B中，则差异较大并且相应的置信度分较低。在所示示例中，置信度计算程序45为每个像素输出置信分数50，从而形成置信度图51。置信度图51的放大部分52指示部分42A和42B之间的差异。

因此，置信度分表明所执行的图像处理受输入图像中的小随机变化的影响有多大。计算出的置信度分在这方面不同于常规确定的置信水平，例如在与相关现有技术相关的介绍中引用的那些。

可以在置信度图中识别置信度分超过预设阈值限制的图像区域53。然后可以针对底层的显微镜图像30A和/或30B的相应区域进行新的图像捕获，以便实现更好的置信水平。

除了直接计算结果图像41A-41B之间的差异之外，还可以以某种其他方式计算这些图像之间的对应程度。为此，可选地，置信水平计算程序45可以设计为置信度分机器学习模型46。

下面参考图4描述关于图2和图3描述的示例实施例的变体。

图4

图4示出了根据本发明的方法的另一示例实施例的过程。在这种情况下，显微镜1只为过程P1中的结构35生成单个显微镜图像或原始图像30。从该原始图像30计算出多个显微镜图像30C-30D，计算图像30C-30D与显微镜图像30A-30B一样，彼此仅略微不同。为此，原始图像30被馈送到操作程序27，操作程序27在过程P2中以不同的方式多次处理原始图像30以便计算不同的显微镜图像30C-30D。在所示的例子中，操纵程序27将图像噪声28添加到原始图像30。图像噪声28是随机产生的，以便可以多次将不同的图像噪声28添加到原始图像30，以产生多个在随机噪声方面不同的显微镜图像30C-30D。

显微镜图像30C-30D现在可以以与参照图2和3描述的显微镜图像30A-30B相同的方式来处理。这样，可以基于显微镜捕获的单个原始图像/显微镜图像计算置信度分50或置信度图51。

可选地，图像噪声28的强度可以被选择为原始图像30中的图像噪声的函数。为此，首先在原始图像30中确定噪声强度分数。然后选择随机图像噪声28以便它比原始图像30中的图像噪声更小或更不强烈。这确保了添加的图像噪声28不会使原始图像30失真，并且计算出的置信度不会最终表明：例如原始图像30已被扭曲的程度。

代替噪声添加，操作程序27可以替代地被设计用于一些其他图像操作，通过该图像操作生成多个相似的显微镜图像。例如，原始图像30的图像内容可以旋转不同的角度以产生多个显微镜图像。还可以以各种方式移动原始图像30的图像内容以生成多个显微镜图像。基本的原始图像30也可以用作由图像处理算法25处理的显微镜图像之一。然后可以反向操纵计算结果图像(例如，它们的图像内容可以旋转或移回其原始位置)在它们被馈送到置信度确定程序'45之前。其他可能的图像处理是，例如，图像内容的拉伸或压缩、单个像素值的移除或用周围信息替换单个像素值。

所描述的用于确定置信度分的变体还可用于如下所述的进一步的机器学习模型生成训练数据。

图5和图6

在下面结合图6进行机器学习模型M的应用之前，首先参考图5描述机器学习模型M的训练序列。机器学习模型M在监督训练中使用训练数据T学习，为此，目标数据G已确定。训练数据T包括多组33的显微镜图像30A、30B。所有组33的显微镜图像已用图像处理算法25以所描述的方式之一进行处理，并且已分别为组33中的每一组确定置信度图51或至少一个置信度分50。这些置信分数50或置信图51在机器学习模型M的训练中被指定为目标数据G或“基本事实”。机器学习模型M由此学习从待输入图像处理算法的显微镜图像到置信度分或置信度图的映射。置信度分表示由图像处理算法25为所讨论的显微镜图像生成的图像处理结果可能有多确定。

通过机器学习模型M，图像处理算法25因此只需要处理显微镜图像一次。从而使得用于确定置信度分的多个类似处理操作而变得多余。

机器学习模型M的训练基本上可以以任何方式发生，并且使用所述训练数据T和相关联的目标数据G。此外，原则上可以实现任何模型架构。在所示的情况下，机器学习模型M包括深度神经网络，例如在卷积神经网络的架构中。通过训练，迭代调整机器学习模型M的模型参数值，例如CNN核的值。基于其当前模型参数值，机器学习模型M为训练数据T的每个显微镜图像计算输出55。在该示例中，输出55是旨在表示置信度图的图像。

损失函数L捕获输出55和预设目标数据G之间的差异。基于损失函数L，预定优化函数O确定如何迭代修改模型参数值以最小化损失函数L。训练完成后，对于位于训练数据T的统计分布范围内的未知显微镜图像，机器学习模型M能够计算出与目标数据G对应的输出图像，即构成显微镜图像的图像处理结果的置信度图。

训练中使用的目标数据G基于要处理显微镜图像的图像处理算法的图像处理结果。如果存在多个图像处理算法，则训练可以考虑关于图像处理算法的上下文信息，该上下文信息与训练数据T和相关联的目标数据G的对应部分相关。

图6示出了基于原始图像或显微镜图像30的机器学习模型M的应用。显微镜图像30被输入到图像处理算法25中以计算图像处理结果40，在该示例中为结果图像41。原始图像/显微镜图像30也被输入到机器学习模型M中，机器学习模型M按照关于图5的描述进行训练。机器学习模型M计算输入原始图像/显微镜图像30的至少一个置信度分50，在所示示例中为置信度图51。

图7

图7示出了根据本发明的方法的另一示例实施例的流程图。它与前面的例子不同，特别是在过程P1'中被捕获的不同高度的原始图像的图像堆栈(z堆栈)。在这种情况下，图像处理算法旨在处理图像堆栈中的所有图像，而不仅仅是单个图像。这可以通过联合计算操作实现，在联合计算操作中，图像堆栈的所有图像一起馈送到图像处理算法。例如，可以计算3D模型。

类似于先前的示例实施例，现在在过程P2'中，通过图像处理例如通过添加图像噪声来生成不同的显微镜图像。从而生成两个或更多个不同的显微镜图像的堆栈。在一个变体中，对每个原始图像执行不同的操作(例如，添加了不同的噪声)，以便一个堆栈中的所有显微镜图像不同于另一个堆栈中的显微镜图像。然而，原则上也可以仅从一个原始图像或原始图像的一部分生成不同的显微镜图像。另一方面，其他原始图像被原封不动地用作显微镜图像堆栈中的显微镜图像，即不同的显微镜图像堆栈也可以包含部分相同的显微镜图像。

在过程P3'中，每一个显微镜图像的堆栈都被输入到图像处理算法中。在过程P4'中，图像处理算法分别计算每个堆栈的图像处理结果，例如在过程P5中输出的结果图像堆栈或3D模型。

在过程P6'中，计算图像处理结果的至少一个置信度分。多个置信分数可以形成例如置信图堆栈，其中每个置信图与结果图像堆栈的相应结果图像相关联。如果生成的图像处理结果是3D模型，可以类似地针对不同的空间坐标确定多个置信度分。再次根据图像处理结果之间的对应关系计算置信度分。

在过程P7'中，判断一个或多个置信度分是否超过预定阈值，从而确定相关联的图像处理结果是否不可靠。通过这种方式识别例如置信度图堆栈中的不可靠区域。

然后可以在过程P8'中重新捕获被归类为不可靠区域的一张或多张原始图像。

因此，根据图像处理相对于与该样本区域相关的图像信息的轻微变化的鲁棒性来选择需要额外分析的样本区域。该方法在这方面尤其不同于用于指示一般置信度的常规方法，并且该方法，来自传统的决策标准，这些标准尤其决定了样本区域是否应该进行额外的分析。

在所述示例的变体中，在过程P1或P1'中不发生使用显微镜的图像捕获；相反，一个或多个现有的原始图像或显微镜图像从存储中加载。这些图像来自相机，相机可以是概览相机或显微镜的样本相机。

所描述的示例实施例纯粹是说明性的，并且在所附权利要求的范围内的相同的变型是可能的。

参考标志清单

1显微镜

2支架

3物镜旋转器

4显微镜物镜

5样本台

7样本载体

9概览相机

9A概览相机的视场

9B反射镜

10显微镜相机

15照明装置

20计算机设备

25图像处理算法

27操作程序

28图像噪声

30原始图像

30A-30D显微镜图像

33显微镜图像组

40,40A-40B图像处理结果

41,41A-41B结果图像

42A-42B结果图像41A-41B的部分

45置信度计算程序

46置信度分机器学习模型的

50置信度分

51置信度图

52置信度图的部分

53置信度分超过预设阈值限制的图像区域

55机器学习模型M的输出

80本发明的计算机程序

100本发明的显微镜系统

G目标数据

L损失函数

M机器学习模型

O优化功能

P1-P6本发明示例实施例的方法过程

P1'-P8'本发明示例实施例的方法过程

T训练数据

Claims (16)

1.一种图像处理结果的评估方法(40A-40B)，包括：

接收(P1，P1')显示相同结构(35)的至少两个显微镜图像(30A-30D)；

用图像处理算法(25)处理(P4，P4')每个显微镜图像(30A-30D)，用于计算各个图像处理结果(40A-40B)；其特征在于，

根据不同显微镜图像(30A-30D)计算的图像处理结果(40A-40B)之间的对应程度，确定(P6，P6')图像处理结果(40A-40B)的至少一个置信度(50))。

2.根据权利要求1所述的方法，

其中显微镜图像(30A-30B)对应于不同的捕获的原始图像，这些原始图像显示相同的结构(35)并且随机图像噪声不同。

3.根据权利要求1所述的方法，其特征在于，

其中显微镜图像(30C-30D)中的至少两个显微镜图像基于相同的原始图像(30)，并且因所执行的图像处理(P2)而不同。

4.根据权利要求3所述的方法，其特征在于，

其中所执行的图像操作(P2)包括以下一种或多种操作：

-添加图像噪声(28)；

-镜像或旋转图像内容；

-删除或替换图像内容；

-压缩或拉伸图像内容；

-变形并随后恢复图像内容；

-修改亮度、色调值或对比度；

-模糊或锐化图像内容；

-图像分辨率修改。

5.根据权利要求1所述的方法，其特征在于，

其中图像处理算法(25)包括训练好的机器学习模型，所述训练好的机器学习模型分别从每个显微镜图像(30A-30D)计算(P4)图像处理结果(40A-40B)，

其中每个图像处理结果(40A-40B)为结果图像(41A-41B)，用于计算结果图像(41A-41B)的图像处理算法(25)采用至少以下方式之一分别处理显微镜图像(30A-30D)：通过去噪、去卷积、分辨率增强、伪影去除、图像区域和孔的填充、映射到另一种显微镜对比度、分割或对象检测；或者

其中，每一图像处理结果为显微镜图像(30A-30D)中发现的物体的分类结果、几何变量或计数值。

6.根据权利要求1所述的方法，其特征在于，

其中，计算对应程度为图像处理结果(40A-40B)之间的差异、方差或一些其他统计偏差度量。

7.根据权利要求1所述的方法，其特征在于，

其中图像处理结果(40A-40B)是结果图像(41A-41B)，和

其中，通过对结果图像(41A-41B)的不同图像像素或图像区域分别确定置信度(50)来生成置信度图(51)。

8.根据权利要求7所述的方法，其特征在于，

其中置信度图(51)用于评估图像处理算法(25)是否适用于捕获的结构(35)，

以及是否应该使用训练好的机器学习模型形成的图像处理算法(25)的重新训练。

9.根据权利要求1所述的方法，其特征在于，

其中置信度分机器学习模型(46)接收图像处理结果(40A-40B)作为输入并计算至少一个置信分数(50)作为输出。

10.根据权利要求1所述的方法，其特征在于，

其中图像处理结果(40A-40B)是结果图像(41A-41B)，和

其中将结果图像(41A-41B)中某些物体或结构的数量、形状或尺寸考虑为结果图像(41A-41B)之间的对应程度。

11.根据权利要求1所述的方法，其特征在于，

其中置信度分(50)超过阈值的图像区域(53)：

-通过捕获新图像进行分析，

-标记警告，

-提供人工噪音，或

填充来自至少一张显微镜图像(30A-30D)的图像信息。

12.根据权利要求1所述的方法，其特征在于，

其中确定如何根据置信度分(50)来修改图像处理算法(25)的至少一个图像处理参数，以及

其中显微镜图像(30A-30D)或显微镜图像(30A-30D)之一的新处理由图像处理算法(25)用至少一个修改的图像处理参数来执行。

13.根据权利要求1所述的方法，其特征在于，

其中对不同组(33)的显微镜图像(30A-30D)重复处理显微镜图像(30A-30D)以计算图像处理结果(40A-40B)和确定图像处理结果(40A-40B)的至少一个置信度(50)的操作，

其中显微镜图像(30A-30D)的集合(33)被用作机器学习模型(M)的训练数据(T)，并且相关的置信度分(50)在机器学习模型(M)的训练中用作目标数据(G)，从而训练机器学习模型(M)以计算来自显微镜图像(30A-30D)到至少一个置信度分(50)的映射。

14.一种评估图像处理结果(40A-40B)的方法，其特征在于，

其中图像处理算法(25)计算输入的显微镜图像(30)的图像处理结果(40)，和

其中，将显微镜图像(30)输入到机器学习模型(M)中，机器学习模型(M)为输入的显微镜图像(30)计算至少一个置信度(50)，其中通过执行权利要求13的方法来学习机器学习模型(M)。

15.一种具有命令的计算机程序，其特征在于，当计算机程序由计算机执行时，导致根据权利要求1的方法来执行。

16.一种显微镜系统，具有用于捕获显微镜图像(30A-30B)的照相机(9、10)的显微镜(1)和，

计算机设备(20)，被配置为通过图像处理算法(25)从显微镜图像(30A-30D)中计算图像处理结果(40A-40B)，并为图像处理结果(40A-40B)计算至少一个置信度分(50)；

其特征在于，

计算设备(20)被配置为通过以下方式确定图像处理结果(40A-40B)的至少一个置信度分(50)：

-通过图像处理算法(25)分别处理显示相同结构(35)的至少两个显微镜图像(30A-30D)并计算各自的图像处理结果(40A-40B)，

-基于从不同显微镜图像(30A-30D)计算的图像处理结果(40A-40B)之间的对应程度确定至少一个置信度分(50)。

Images