CN117310965A - 用于显微镜图像的颜色校正方法及显微镜系统 - Google Patents

Abstract

在用于显微镜图像的颜色校正的计算机实现的方法中，使用图像处理程序(M)将与已知颜色(28A，28B)的预定义对象类型(23)相对应的对象(24)定位在显微镜图像(20)中。基于定位对象(24)的图像区域(25A，25B)，确定颜色校正(27；27A，27B)，利用该颜色校正使图像区域(25)中的定位对象(25)的颜色(26A，26B)与已知颜色(28A，28B)一致。颜色校正(27；27A，27B)被应用于显微镜图像(20)或另一显微镜图像(20')的至少一个部分，或者被用于捕获其他显微镜图像。

Description

用于显微镜图像的颜色校正方法及显微镜系统

技术领域

本公开涉及一个显微镜系统和一个用于显微镜图像的颜色校正方法。

背景技术

彩色或无色(例如白色)对象在显微镜图像中并不总是表现出颜色保真度。例如，在图像捕获期间使用的照明可能影响所捕获的显微镜图像中的颜色。因此，实际上是白色的结构看起来具有从冷蓝色色调到暖红色色调的颜色。通常用开尔文表示色温，以表示实际中白色结构出现的色调。同时，显微镜图像中的颜色可以是显微镜样品的表征或分类的决定性标准，例如在患者样品的诊断中。因此，为了避免不期望的色偏，白平衡或颜色平衡变得必要。

灯泡的光谱包括较大比例的红光，提供了必要的白平衡，以避免在捕获的图像中出现红光。LED灯的调光或显微镜的环境条件也可能导致捕获图像中的色偏。所述的图像可以是经由显微镜物镜和系统相机捕获的样品图像，或者特别是由单独的概览相机捕获的概览图像，如DE 102017111718 A1或DE 102019131693 A1中所述。

在数字显微镜中，白平衡通常由用户手动设置。为此，用户在显微镜下选择一个没有显微镜样品的位置，例如，放置一张无色卡片，专门用于白平衡。该位置被定义为白色(或灰色)区域，并对该区域进行白平衡。然后可以将显微镜样品带回视场并成像。例如，在US10917543 B2的第47-49列中描述了使用无色参考卡片的这种白平衡过程。在JP2004086031 A中描述了使用用户在分析中的样品外手动指定的图像区域的白平衡。

根据现有技术的白平衡在主观上受到显微镜用户通过要执行的手动步骤的影响。一些用户也没有意识到或忘记了应该进行(手动)白平衡。因此，捕获的样品图像的统计评估具有其局限性，因为它提供了受主观影响的结果。根据探测器和光源的不同，还可以额外调整各种设置，以实现更好的白平衡。所有这些都使得白平衡变得困难，尤其是对于缺乏经验的用户来说。因此，在实践中手动白平衡通常只由经验丰富的专家执行，而不是由经验相对有限的用户执行。然而，即使对专家来说，白平衡也代表着相当大的时间消耗，从而导致效率损失，特别是考虑到理想情况下应该对每个样品进行白平衡。

基于图像全局统计的自动白平衡是可以想象的。例如，可以从所有图像点的RGB总和值(即，红色、绿色和蓝色像素的所有值的总和)导出应该如何修改RGB值，使得所有图像点中的RGB总和值对应于白色。然而，这种基于全局图像统计的自动白平衡有其局限性，并且，例如，当只有小区域相关时，不起作用。现代数字系统通常具有简单的自动白平衡，然而，它无法确保色彩保真度。

原则上，通过校准图案来实现白平衡也是可能的。然而，在这种情况下，图案必须以确定的方式定位和/或由用户手动定位在图像中。使用校准样品的白平衡也不参考被分析中的样品，因此最终不一定能获得适合于用样品单独捕获的图像的白平衡。

尽管可以使用预先校准的相机，但它们没有灵活性，并且在白平衡中经常出现重大错误。一般来说，生命科学领域的样品以及嵌套和染色方法种类范围过大，无法通过预先校准的相机确保白平衡。

希望使白平衡的处理自动化，使得白平衡不那么主观，并且可靠地提供高质量的结果，且无需用户的任何努力。

发明内容

可以认为本发明的一个目的是指示一种显微镜系统和方法，该系统和方法可靠地实现显微镜图像的高质量白平衡或颜色校正，而无需用户付出任何努力。

该目的通过方法和显微镜系统来实现。

在根据本发明的用于显微镜图像的颜色校正的计算机实现的方法中，接收至少一个显微镜图像。使用被配置为自动定位已知颜色的预定义对象类型的图像处理程序，在显微镜图像中定位与已知颜色的预定义对象类型相对应的至少一个对象。基于定位对象的至少一个图像区域，确定颜色校正，通过该颜色校正使图像区域中的定位对象的颜色与已知颜色一致。颜色校正被应用于显微镜图像或另一显微镜图像的至少一部分，或者被用于捕获另一个显微镜图像。

根据本发明的显微镜系统包括用于图像捕获的显微镜和被配置为执行根据本发明计算机实现的方法的计算设备。

根据本发明的计算机程序包括命令，当该程序由计算机执行时，该命令引起根据本发明方法的执行。

通过本发明，原则上可以在没有任何手动步骤的情况下实现白平衡或颜色校正。已知实际颜色的合适的图像结构被自动定位。这防止了通过由用户的图像区域选择而产生的主观影响。还可以利用多个图像区域来确定颜色校正，或者在不增加用户工作量的情况下对大量显微镜图像分别执行颜色校正的确定。

可选实施例

根据本发明的显微镜系统和根据本发明方法的变体是从属权利要求的目的，并在以下描述中进行解释。

颜色校正/白平衡

特别是由于显微镜下的照明，可以适当进行颜色校正。可以有通过例如环境光或房间光的被动照明和/或通过例如概览照明设备或样品室照明设备的主动照明。主动照明也可以根据样品而变化。

颜色校正被理解为一种修改，通过这种修改，显微镜图像中对象的颜色更接近对象的实际颜色。在对象实际上是无色的情况下(即，白色、灰色或黑色对象)，颜色校正使得描述显微镜图像中对象的无色或至少较少的色彩密集。颜色校正的确定可以发生在有色或无色对象的图像区域中。当使用无色对象确定颜色校正时，颜色校正也可以称为白平衡。因此，这里使用的术语“颜色校正”也可以理解为“白平衡”的意义，尽管颜色校正的确定不一定必须基于无色对象进行。

白平衡具体的可以由处理器的处理规则构成，并指定哪些测量值应该对应于中性白或灰色。借助于白平衡，相机传感器可以根据图像捕获期间的主要光线进行调整，即相机可以根据照明条件进行调节，具体的根据主动照明或环境光的色温调节。处理或调整操作可以由相机的部件执行，或者可以以不涉及相机本身的捕获图像的后续处理的形式发生。

因此，颜色校正可以是规定如何修改显微镜图像的一个图像点的颜色值的计算规则。例如，颜色校正可以指示图像点的RGB值(即，图像点的红色、绿色和蓝色分量的值)要乘以的因子。也可以使用其他颜色通道来代替RGB通道。

颜色校正可以基于已知颜色的对象的图像部分来确定，并且指示如何改变图像部分中像素的RGB值，以便使显微镜图像中对象的颜色与已知颜色一致。显微镜图像中对象的颜色和已知颜色可以例如通过色调、颜色饱和度和亮度来指示。通过对颜色的颜色校正实现的一致性可以仅仅与色调有关，或者另外还与颜色饱和度有关，并且可选地还与亮度有关。如果一致性仅限于色调和可选的颜色饱和度而不包括亮度，则所执行的颜色校正将对整体图像亮度具有较小的影响或没有影响，这可能是期望的。

可替换地或除了对捕获的像素值的修改之外，颜色校正还可以指示影响随后捕获的显微镜图像中的颜色的显微镜设置的变化。这将在后面进行更详细的描述。

已知颜色的预定义对象类型

已知颜色可以被理解为对象类型的反射特性或更普遍的辐射特性是预先已知的。已知颜色也可以被理解为该对象类型存储颜色值，例如RGB值或图像点的红色、绿色和蓝色分量的比率。这些颜色值指示在显微镜图像中应该用哪种颜色来描绘这种对象类型的对象。已知的颜色也可以通过色调、颜色饱和度和亮度来指示。

对象类型指定在显微镜图像中寻找的一类对象，并且其颜色是预先已知的。

用于确定颜色校正的对象可以被专门地布置用于白平衡的目的，或者它可以是不专门用于白平衡但仍然适合于白平衡的对象。

颜色校正可以基于单个对象、基于相同对象类型的多个对象或者还基于分别具有已知颜色并且具体是不同颜色的不同对象类型的多个对象来确定。对象可以是单色的，或者原则上可以包括多种已知颜色，例如在样品载体上的多色粘性标签或多色制造商标志的情况下。已知颜色可以被理解为特定的颜色值或颜色值的允许范围。

对象具体可以是：

■校准调色板或标记，例如样品载体上的粘性标签或印刷品。

■标记区，例如载玻片或另一样品载体上的(纸)粘性标签或磨砂玻璃区域。

■样品载体上的文本。文本可以印刷也可以手写。当已经使用的笔的颜色已知时，手写文本是合适的。一般来说，文本可以是彩色的，也可以是无色的。实际上是黑色的文本，特别是印刷文本，也是合适的，因为在捕获的显微镜图像中，它通常被描绘成灰色，因此通过与灰色描绘的偏离，不期望的偏色变得明显。

■显微镜部件，所述显微镜部件在概览图像中至少部分可见。显微镜部件可以是，例如，用于样品载体的保持框架、将在其上布置样品的显微镜载物台、显微镜部件的外壳或照明部件。例如，本申请捕捉概览图像的通用显微镜模型，其中用于照明的LED，即光源外壳，是可见的。LED通过透明样品载体和/或在样品载体外的图像区域中可见。

■已知类型的样品或样品部分。基于样品本身的颜色校正的确定是可行的，例如，对于特定材料及其颜色已知的材料样品。样品部分也可以是印刷电路板(PCB)，其典型的绿色色调是已知的。特别是在生物样品的情况下，用于对样品进行染色的一种或多种染料是已知的。例如，HE染色(苏木素-伊红染色)，通过它将特定结构染成粉红色，在组织学中很常见。可以预先知道由HE染色产生的颜色或由此产生的可能的颜色范围。

用于确定颜色校正的对象的位置原则上是不重要的，只要对象在捕获的显微镜图像中是可见的。例如，对象可以位于样品载体、显微镜载物台或显微镜载物台的插入框架上。对象也可以位于样品载体后面的显微镜图像中可见的区域。“样品载体后面”应理解为与所使用的相机指向样品载体的观察方向有关。当显微镜图像不仅捕获样品载体的一部分而且以概览的方式捕获样品载体旁边的周围区域时，样品载体后面的区域可以在显微镜图像中可见。当使用透明样品载体，例如载玻片，时，样品载体后面的区域也可以是可见的。

预定义对象类型的已知颜色也可以是一个可能的颜色范围。在确定颜色校正时，可以将颜色范围作为参数来考虑。例如，生物样品的HE染色可以具有在已知HE颜色范围内根据样品而略微变化的颜色。基于其他对象的一个或多个图像区域来确定颜色校正，使得其符合参数。对于HE染色，这意味着具有HE染色的样品的图像区域接收到位于已知HE颜色范围内的颜色作为颜色校正的结果。

颜色校正也可以仅基于与预定义的对象类型相对应的定位对象来进行，其中可能的颜色范围是预定义的。每个颜色范围产生允许的颜色校正范围，即，例如，各个颜色通道修改的上限和下限。基于每个定位对象来确定允许的颜色校正范围，并且这些允许的颜色校正值的重叠确定最终的颜色校正。例如，可以将颜色校正计算为允许的颜色校正范围的重叠区间的平均值。

定位一个对象

显微镜图像中对象的定位通过图像处理程序进行，该图像处理程序被配置为自动定位预定义的对象类型。图像处理程序可以包括一个或多个机器学习模型。这样的模型可以使用，例如，显示特定对象类型的对象的训练图像来学习。训练图像可以被提供有指示对象的位置的注释。然而，原则上，图像处理程序的设计也可以不使用机器学习的模型。

根据图像处理程序的设计，对象的定位可以以不同的方式指示对象位置。例如，可以指示对象中心的图像坐标。也可以指示一个边界框，该边界框包围定位对象或至少对象的一部分。输出边界框的机器学习模型也称为检测模型。图像处理程序也可以是或包括分割模型。分割模型指示显微镜图像的逐个像素分类，其中允许的类别至少区分是否存在预定义的对象类型。因此，分割模型允许识别属于对象的每个像素。

通过图像处理程序的定位可以在多个步骤中进行。例如，可以首先计算二元分类，其指示显微镜图像中是否存在特定对象类型的对象。如果分类结果表明特定对象类型的对象存在于显微镜图像中，则可以例如通过分割来确定对象的位置。

可选地，也可以仅在显微镜图像中识别出更一般的对象类型组的对象之后，再确定精确的对象类型。例如，对象类型组可以指定一般要分析的样品。因此，首先在显微镜图像中识别样品区域。然后确定所讨论的样品是什么样的样品类型，其中例如在不同染料之间进行区分。在该示例中，因此只有在已经确定了位置和对象类型组之后才确定已知颜色的对象类型。

基于其来确定颜色校正的定位对象的图像区域可以包括定位对象的所有图像像素或者仅包括对象的全部图像像素的一部分，特别是仅包括对象中心区域而没有对象的任何边缘像素。由于不完美的定位或者由于自然特性，例如由于圆形对象的边缘区域下的边缘阴影或光折射，边缘像素可能不太合适。在通过分割进行对象定位的情况下，定位的对象的所有图像像素都是已知的，从而容易使用对象的全部图像像素或部分图像像素。如果通过确定对象中心的图像坐标来进行对象定位，则可以将对象中心周围的区域作为图像区域，在此基础上确定颜色校正。当对象大小已知或已被估计时，可以相应地定义对象中心周围的图像区域的大小。例如，在边界框的情况下，可以与边界框的预定义部分相对应的中心区域可以用作图像区域，基于该图像区域来确定颜色校正。

用于颜色校正的对象的适合性

可以针对显微镜图像中定位的每个对象或针对定位对象的图像区域来计算或指示用于确定颜色校正的适合程度。如果多个对象已经被定位，则可以根据它们的适合程度来确定多个定位对象中的哪一个被用于或哪些被用于颜色校正的确定。例如，在多个定位对象中，至少可以不考虑具有最低适合程度的定位对象。

适合程度也可用于加权目的。因此，可以基于多个定位对象的图像区域分别计算颜色校正。随后对所计算的多个颜色校正进行平均，其中将所计算的适合程度用作平均中的权重。计算出的对象的适合程度越高，基于该对象的图像区域确定的颜色校正的贡献就越大。

可以为已知的对象类型预先定义适合程度和/或根据对象的描述来计算适合程度。例如，与对象类型“标记区-样品载体上的磨砂玻璃区域”相比，对象类型“标记区-样品载体上的白色粘性标签”可以预先定义更高的适合程度，因为显微镜图像中(适度透明)磨砂玻璃区域的颜色也会受到背景的轻微影响。

适合程度可以具体的基于指示以下一个或多个的对象特征来计算：

■对象大小。对象在显微镜图像中占据的图像点越多，其适合程度就越高。

■对象表面或材料类型的反射特性或哑光性。对象表面越无光泽，即反射性越低，显微镜图像中对象颜色受周围区域的影响就越小。因此，适合程度越高，对象的哑光度就越明显。适合程度也可以越低，对象的透明度就越大，因为对象后面的其他结构会影响显微镜图像中图像点的颜色。除了这些反射特性外，材料类型还可以考虑颜色再现的可靠性：例如，根据材料的不同，可能会发生与年龄相关的变色，例如白纸变黄，而显微镜图像中可见的显微镜部件(例如外壳零件)的颜色几乎不会随着年龄的增长而变化。

■对象相对于所使用的相机的位置，特别是对象表面相对于相机的观察方向的角度。观察方向与对象表面的垂直视图偏离得越多，适合程度就越低。

■对象的颜色印象或纯度或对象描绘的损伤。损伤的强度或广泛性越大，适合程度就越低。所述的损伤可能是，例如，被一些其他对象覆盖、污染、反射或伪影。例如，颜色印象可能与对象表面的颜色均匀性或结构有关：例如，原本白色的标记区可能会因清洁剂而变色，从而不太适合白平衡。单独的图像像素的颜色在这里不是合适的度量，因为最初不知道图像像素的颜色是否指示相对于实际上是白色的标记区描绘的差异并且因此应该校正的，或者图像像素的色彩是否对应于实际上已经被清洁剂变色的标记区(使得其不再是白色)。这些情况可以通过颜色的均匀性或颜色结构来区分，因为由清洁剂引起的变色可以通过例如已经形成的污渍或擦拭条纹来检测。由于光的折射或干涉而出现多色的油性区域也可以被识别，并排除在颜色校正之外。

过滤掉不属于被检测对象的图像信息

原则上适合于确定颜色校正的图像区域可能会受到干扰因素的损伤，例如灰尘颗粒或划痕，这些干扰因素通过其对光的影响而改变所描绘的颜色。因此，可以识别和排除用于确定颜色校正的各个图像点。

更一般地，可以在一个定位对象的图像区域内确定被认为不属于该对象的图像点。这些图像点随后在颜色校正的确定期间被忽略，或者用来自周围区域的信息填充。在一个简单的实现中，可以根据图像点的颜色与定位对象的图像区域的平均颜色的强烈偏差，来估计图像点不属于该对象。如果颜色与平均颜色的偏差超过预定的阈值，则忽略该图像点。附加地或替代地，还可以采用机器学习模型，该模型检测定位对象的图像区域内的伪影。伪影可以是，例如灰尘颗粒、划痕、反射、指纹、绒毛、毛发、微滴或污垢。可以使用显示这些伪影的训练数据来学习该模型。在确定颜色校正时，可以忽略伪影的图像像素。或者，可以训练模型以利用来自相邻图像像素的信息来填充伪影的图像像素(修复)。

显微镜图像

确定颜色校正所依据的至少一个显微镜图像可以显示分析中的显微镜样品。这与用于白平衡的各种常规方法形成对比，在该方法中，参照对象(如无色卡)的单独图像被捕获并被分析为白平衡，而不是样品图像。

显微镜图像通常可以是概览图像或样品图像。在本公开中，概览图像被理解为除了实际样品之外还显示出周围区域，特别是样品载体或其一部分的图像。除了显微镜的实际系统相机(样品相机)之外，还可以提供概览相机用于捕获概览图像。另一方面，在光学显微镜的情况下，样品图像由系统相机通过显微镜物镜捕获，其放大率高于概览图像。显微镜图像可以是未处理的原始图像，也可以已经通过图像处理进行了修改。

上下文信息

在颜色校正的确定期间和/或在对象的定位期间可以考虑上下文信息。上下文信息可以涉及照明类型、样品类型、显微镜类型、所采用的滤光片和/或其他所采用的光学部件。例如，一些光源表现出依赖于强度的颜色变化。如果所使用的光源是已知的，那么也知道照明的颜色如何以不期望的方式变化，这可以通过颜色校正来补偿。样品类型、显微镜类型、滤光片和其他光学部件会影响哪些预定义的对象类型可能发生，从而使这些对象可以更可靠地被识别。例如，根据样品类型和/或显微镜类型，使用一些具有潜在标记区或粘性标签的样品载体类型。

应用/使用颜色校正

颜色校正可以是一个计算规则，通过该规则，图像像素的颜色值被修改。在这种情况下，颜色校正可以应用于显微镜图像的至少一个部分，颜色校正是在此基础上确定的。附加地或替代地，还可以将颜色校正应用于在颜色校正的确定中未考虑的另一显微镜图像的至少一部分。例如，如果捕捉到具有相同照明特性的多个显微镜图像，则可以基于这些图像中的一个来确定颜色校正，并随后将其应用于这些图像中其他图像。

附加地或替代地，颜色校正还可以指示如何修改显微镜设置。在这种情况下，颜色校正被用于在另一显微镜图像的捕获中。例如，颜色校正可以指示在光源的光谱随亮度变化的情况下如何修改光源的亮度。颜色校正还可以指示如何修改所采用的相机的不同颜色通道的增益。例如，相机可以具有用于三个不同颜色通道的传感器元件，以便捕获例如红色、绿色和蓝色图像点。如果检测到具有已知颜色的特定对象类型的对象在显微镜图像中有蓝光，则可以减小相机对于蓝色像素的增益，从而减小或完全避免随后捕获的显微镜图像中的蓝光。

依赖于区域的颜色校正

颜色校正可以以依赖于区域的颜色校正的形式来确定，通过该颜色校正以不同的方式对不同的图像区域进行颜色校正。基于多个图像区域来进行依赖于区域的颜色校正的确定，这些区域要么属于同一定位对象或不同定位对象的。

当不期望的色偏以类似于渐晕的方式朝向图像边缘增加时，依赖于区域的颜色校正可能是特别有利的，该渐晕涉及朝向图像边缘的亮度降低。朝向图像边缘的失真可以由主动照明或光学成像系统引起，并且可以围绕图像中心对称。

可以基于单个定位对象的颜色梯度来自动检测和补偿向图像边缘增加的色偏。因此，关于颜色校正是否应该是依赖于区域的决定也可以根据定位对象是否具有颜色梯度，特别是在从图像中心向外的方向上，自动发生。具体地，定位对象的图像部分可以被划分为至少两个不同的图像区域，它们位于距图像中心不同距离处。为每个图像区域确定各自的颜色校正。这些颜色校正被结合以形成依赖于区域的颜色校正，该颜色校正根据图像区域与图像中心的距离以不同的方式对图像区域进行颜色校正。例如，显微镜图像中所描绘的已知为单色(例如白色)的文本区可以被划分为多个图像区域，其中分别为每个图像区域确定白平衡(颜色校正)。这些颜色校正被结合成取决于距离的颜色校正，它是与图像中心的距离有关的一个连续、平滑的函数，以避免颜色校正的跳跃。

另外，依赖于区域的颜色校正可以根据检测到的对象发生，从而以不同的方式对不同的对象进行颜色校正。例如，标记区可以与采样区域进行不同地进行颜色校正。这种方法特别适用于色偏不均匀并且相对于图像中心不对称的情况。

实时图像

对于连续/连续捕获的显微镜图像，颜色校正的应用可以实时发生。有了数字显微镜，通常会连续捕捉显微镜图像，这些图像以视频的形式直接显示在屏幕上。由于颜色校正是自动发生的，而无需用户执行手动步骤，因此有可能，例如，多个显微镜图像可以每秒以自动方式从颜色校正中受益。因此，不必为每个显微镜图像重新确定合适的颜色校正。相反，确定的颜色校正可以用于连续捕获的多个显微镜图像。

颜色校正的更新可以根据预定的标准进行，例如，在特定数量的捕获图像之后或者在检测到变化时发生。该变化可以与显示的图像内容、显微镜设置(例如照明设置)或样品(例如新样品)有关。可以检查至少一些连续捕获的显微镜图像中的变化(即，确定在连续捕获的显微图像之间是否发生了变化)，其中每当检测到变化时就执行颜色校正的新确定。在显微镜图像中检测到的变化可以是照明的变化，特别是环境光的变化和/或显微镜的光源的变化。

通用特征

用于定位对象的图像处理程序可以是或可以包括机器学习模型。然而，它也可以是一个没有机器学习模型的经典程序。可以通过相同的图像处理程序或通过另一图像处理程序来实现对至少一个颜色校正的随后确定。

学习过的模型通常指已经通过使用训练数据的学习算法学习过的模型。这些模型可以包括，例如，一个或多个卷积神经网络(CNNs)，其中其他深度神经网络模型架构也是可能的。这些模型接收图像数据，例如显微镜图像或其切片，作为输入。通过学习算法，使用训练数据来定义机器学习模型的模型参数。为此可以优化预定的目标函数，例如可以最小化损失函数。修改模型参数值以最小化损失函数，该损失函数可以例如通过梯度下降和反向传播等方式来计算。

显微镜可以是光学显微镜，其包括系统相机和可选的概览相机。然而，其他类型的显微镜也是可能的，例如电子显微镜、X射线显微镜或原子力显微镜。在这些情况下可以提供概览相机，其中概览相机的图像由根据本发明的颜色校正来处理。显微镜系统指包括至少一个计算设备和显微镜的装置。

计算设备可以以分散的方式设计，在物理上是显微镜的一部分，或者单独布置在显微镜附近或与显微镜相距任何距离的位置。它通常可以由电子器件和软件的任何结合形成，并且具体的可以包括计算机、服务器、基于云的计算系统或一个或多个微处理器或图形处理器。计算设备还可以被配置为控制显微镜部件。

单数形式的描述旨在涵盖“恰好1”以及“至少一个”的变体。例如，基于显微镜图像的颜色校正的确定应理解为至少一个显微镜图像被评估。可选地，评估其他的显微镜图像，使得所确定的颜色校正不单独基于单个图像。当在相同的光照条件下捕获多个显微镜图像并且经颜色校正的显微镜图像理想地不表现出彼此之间的任何颜色差异时，例如当显微镜图像被缝合在一起形成聚合图像时，这可能是有利的。在这种情况下，应将统一的颜色校正应用于所有显微镜图像，其中，其中颜色校正理想化的最好根据多个或所有这些显微镜图像确定，以获得最准确的结果。

已经被描述为附加设备特征的本发明的特征，在按预期实施时，也产生了根据本发明的方法的变体。相反，显微镜系统或具体的计算设备可以被配置为执行所描述的方法的变体。

附图说明

下面参照附图描述本发明的进一步效果和特征：

图1是根据本发明的显微镜系统的一个示例性实施例的示意图。

图2示出了根据本发明的方法的一个示例实施例的过程；

图3示出了根据本发明的方法的一个示例实施例的过程；

图4示出了根据本发明的方法的一个示例实施例的过程；以及

图5示出了根据本发明的方法的一个示例实施例的过程。

具体实施方式

以下参照附图描述不同的示例实施例。通常，相似的元件和以相似方式起作用的元件由相同的附图标记表示。

图1

图1示出了根据本发明的显微镜系统100的一个示例实施例。显微镜系统100包括计算设备10和显微镜1，显微镜1在所示示例中是光学显微镜，但原则上可以是任何类型的显微镜。显微镜1包括支架2，通过支架2支撑其他的显微镜部件。后者具体的可以包括：照明设备5；物镜变换器/转轮3，在所示实例中物镜4被安装在其上；样品台6，其具有用于保持样品载体7的保持框架；以及显微镜相机9。当物镜4枢转到显微镜的光路中时，显微镜相机9接收来自其中可以定位样品的区域的检测光，以便捕获样品图像。样品可以是任何对象、流体或结构。除了显微镜相机9之外或者代替显微镜相机9，还可以使用目镜12。显微镜1可选地一个额外的概览相机9A，用于捕捉样品载体7的概览图像。概览相机9A的视场9C大于显微镜相机9的视场。在所示的示例中，概览相机9A经由反射镜9B观察样品载体7。反射镜9B被布置在物镜转轮3上并且可以被选择来代替物镜4。在该实施例的变体中，省略了反射镜，或者提供了反射镜的不同布置或一些其它偏转元件。在图示的示例中，概览相机9A从上方观察样品台6。可替换地，概览相机9A也可以被布置为从下方观察样品台6。

在本公开中，显微镜图像表示概览相机9A的概览图像或样品相机/系统相机9的样品图像。为了实现高图像质量，理想的最好对捕获的显微镜图像进行白平衡或颜色校正。颜色校正通过计算机程序11来实现，该计算机程序11构成计算设备10的一部分。下面参照进一步的附图更详细地描述用于颜色校正的过程。

图2

图2示意性地示出了根据本发明的方法的过程，该方法可以由图1的计算设备或计算机程序执行。

首先，在过程P1中，例如从数据存储器或直接从显微镜的概览相机或系统相机接收显微镜图像20。在该示例中，显微镜图像20是示出样品载体7、用于样品载体7的支架8的部分以及样品载体7后面的区域22的概览图像。所述的样品载体7例如是具有样品7B和标记区7A的载玻片。在样品载体7后面的区域22中，照明部件5A是可辨别的，其更具体地是LED照明设备的外壳零件。

样品7B、标记区7A和照明部件5A在下文中被称为对象24。

如果没有进一步的测量，显微镜图像中的颜色将不能可靠地对应于所描绘的结构的实际颜色。无色结构，即白色或灰色结构，可以在显微镜图像中表现出色偏。这可能是由于例如环境光或所采用的主动照明。

这就是进行白平衡或颜色校正的原因。白平衡指的是根据显示无色结构的图像部分确定颜色调整，以便在校正后，该结构在显微镜图像中也被描绘为无色。代替无色结构，也有可能分析已知颜色的结构，这样就可以更普遍地说是颜色校正。高质量的白平衡通常需要相对大量的手动工作，因此白平衡的结果通常取决于用户。这一点可以通过图像处理程序M来避免，该程序有助于实现自动色彩校正。

在该示例中，图像处理程序M是一个机器学习的模型，它被训练来定位输入显微镜图像20中的对象，这些对象对应于已知颜色的预定义的对象类型。为此，图像处理程序M可以被训练，例如，使用包括带有注释的对象位置的显微镜图像的训练图像。注释也可以可选地包括相关的颜色信息和对应对象类型的语义/名称。

显微镜图像20被输入到图像处理程序M，然后在过程P2中对显微镜图像20中的对象24进行定位。定位可以通过例如分割或检测发生。在图示的情况下，图像处理程序M输出图像区域25A、25B、25C的坐标，它们分别描述了对象24的一个部分。由于图像区域25A、25B、25C只显示了对象24的一个部分，而没有有关所述对象24旁边的周围区域，因此该部分的图像点的颜色是代表相应的对象24。为了说明的目的，图2显示了显微镜图像20和定位图像区域25A、25B、25C的边界框的叠加21。然而，如果图像处理程序M指示出图像区域25A、25B、25C或图像区域25A、25B、25C的坐标，这就足够了。

为图像区域25A确定颜色26A，它显示了标记区7A的一个部分。颜色26A可以表示为，例如，RGB值，并且可以通过对图像区域25A中所有像素的RGB值进行平均计算。颜色26A的计算也可以可选地包括其他的处理。例如，可以识别图像区域25A中的任何文字，并且可以从图像区域25A中删除相应的图像点，以便在确定颜色26A时只利用没有文字的标记区7A的图像点。也可以过滤掉那些与图像区域25A的平均RGB值偏差最大的像素的RGB值。强烈偏离的颜色点可能描绘出对象的伪影或污染。例如，标记区7A应该是单色的，强烈偏离的颜色值可能是由污垢、反射或没有被正确检测到的文字造成的。

例如，根据其他显微镜图像确定的颜色28A或颜色值被预先定义为对象类型"载玻片的标记区"。颜色28A可以对应于，例如，白色或浅灰色。在过程P3中，确定颜色校正27A，通过它使颜色26A与已知的颜色28A一致。在这个过程中，可以选择保持图像亮度恒定，即调整颜色26A的RGB分量的比例，使之与颜色28A的RGB分量的比例相匹配。这可以通过原则上已知的白平衡过程来实现。

给出具体的示例，颜色26A可以由RGB值(r1，g1，b1)＝(200，205，220)定义，预定义颜色28A可以由RGB值(r，g，b)＝(220，220，220)定义。颜色校正27A可以被计算为这些值的商：(r，g，b)/(r1，g1，b1)＝(220/200，220/205，220/220)。为了消除显微镜图像20中的偏色，每个图像点的RGB值乘以这个商。在本示例中，这增加了红色分量，略微增加了绿色分量，而蓝色分量保持不变。为了保持图像亮度不变，可选地用一个归一化因子来补充乘法，该因子对应于颜色26A和28A亮度的比例，即(r1+g1+b1)/(r+g+b)＝(200+205+220)/(220+220+220)。因此，颜色校正27A是乘以因子(r，g，b)/(r1，g1，b1)*(r1+g1+b1)/(r+g+b)。也可以使用由其他颜色通道定义的其他颜色空间，或者在计算颜色校正27A时考虑到颜色感知的生理方面。

附加地或替代地，色彩校正也可以根据对象"照明部件5A"的图像区域25B来确定。为此，以类似的方式确定图像区域25B中的颜色26B，并在过程P3'中计算颜色校正27B，通过该方法使颜色26B与对象类型"照明部件"的预定义颜色28B相一致。

如果在显微镜图像20中定位了多个对象24，那么可以为这些对象24中的多个或每一个计算颜色校正27A、27B。然后，例如通过多个颜色校正27A，27B的平均，可以将多个颜色校正27A，27B结合成一个最终的颜色校正27。在颜色校正27A、27B的平均中可以考虑基础对象24或它们的图像区域25A、25B的适合程度29A、29B。适合程度29A、29B可以取决于图像区域25A、25B的大小。在所示的示例中，图像区域25A比图像区域25B大，所以它被分配到一个较高的适合程度。适合程度29A、29B也可以取决于图像区域25A、25B的颜色和/或亮度的均匀性。均匀性越大，相应图像区域的适合程度越高。在图示的例子中，适合程度29A高于适合程度29B，因此在计算平均颜色校正27时，颜色校正27A比颜色校正27B的权重更大。

确定颜色校正27的一个可选的扩展还利用了样品7B的图像区域25C。预先已知或者可以通过图像处理确定样品7B已被特定染料染色。在图示的示例中使用HE染色剂，通过该HE染色剂样品7B已被染成粉红色。根据所使用的染料，可能的颜色范围是已知的。然而，根据不同的样品，染料所获得的颜色并不完全相同。因此，样品7B代表一个对象24，它对应于一个已知颜色的预定义的对象类型，其中已知的颜色不是一个精确的颜色值，而是由允许的颜色范围定义。在这种颜色校正27A(和/或27B或27)的确定中，样品7B的允许颜色范围被作为一个参数加以考虑。如果根据计算出的颜色校正，显微镜图像20中样品7B的颜色变化导致样品7B的颜色超出允许的颜色范围，则通过参数阻止该变化，颜色校正被调整以符合允许的颜色范围。颜色校正的调整可以适用于整个图像，也可以只适用于显示样品7B的图像部分。

在迄今为止描述的实施方案的另一个变体中，从颜色校正27A、27B计算的结合颜色校正27可以被不同颜色校正27A、27B的多个有效区域所替代。因此，基于图像区域25A、25B确定的每个颜色校正27A、27B被用于显微镜图像的一部分。该部分被称为有效区域，并包含各自的图像区域25A，25B。例如，一个有效区域可以精确地包括标记区7A的所有图像点，而相关的图像区域25A只构成其中较小的部分。

参照下图，将更详细地描述颜色校正27的应用。

图3

图3示出了基于其计算颜色校正27的显微镜图像20。在过程P4中，颜色校正27被应用于显微镜图像20(或者更一般地应用于显微镜图像20的至少一部分)，由此计算颜色校正的显微镜图像30。在一种可能的实施方式中，显微镜图像20的每个像素乘以颜色校正27的因子。该实施方式的一个变体被设计为防止由于颜色校正27而导致的颜色分量的过饱和，这可能导致颜色失真。例如，乘以颜色校正27的因子可能导致校正后的红色、绿色或蓝色分量超过可能的最大值(例如，在对应于0-255的标度的8位颜色深度的情况下，理论上由计算的颜色校正产生的红色分量超过255时)。然而，校正后的分量将被限制为最大值，这里为255，这将使相应的颜色分量失真。为了避免在所述的饱和度的情况下的这种失真，可以规定图像点的其他RGB分量被降低到相等的程度；这以一种期望的方式校正色调，同时限制了像素的亮度。

颜色校正可以替代地或附加地应用于显微镜图像20'，以计算出颜色校正的显微镜图像30'，其中所述的显微镜图像20'不是确定颜色校正所基于的显微镜图像20。当捕获具有相同照明特征的多个显微镜图像20、20'时，这是特别适合的。

色彩校正也可用于显微镜的实时图像。显微镜图像20”通常理想的最好是用显微镜的相机连续捕获，并理想的最好没有时间延迟地在屏幕上显示。由于这些显微镜图像20”是直接连续捕获的，所以照明特性和图像内容通常都非常相似。因此，确定的颜色校正可以用于多个连续捕获的实时图像(显微镜图像20”)，以便实时计算颜色校正的显微镜图像30”。实时图像可以自动检查照明特性或图像内容的显著变化，以便在检测到显著变化时，根据当前的实时图像对颜色校正进行新的确定。显著变化可以包括，例如，显微镜图像20”中的平均像素亮度和显微镜图像20中的平均像素亮度之间的差异超过阈值，基于该差异确定颜色校正。

参照下图描述一个实施方式的变体，其中执行在显微镜图像上变化的颜色校正。

图4

图4显示了一个显微镜图像20，其中要校正的颜色失真在显微镜图像20上是变化的。例如，一些光源产生较弱的或不同颜色的照明，朝向为捕获显微镜图像而观察的区域的边缘。在所示的示例中，标记区7A被定位为对象24，该标记区7A实际上是单色的，但在显微镜图像20中未被描绘为单色。具体来说，颜色的失真向图像边缘增大。因此，以已经描述的方式为多个图像区域25，25'计算颜色校正27A，27A'。在这个示例中，图像区域25、25'位于同一定位对象24的图像部分24A中。图像区域25A与图像中心c的距离为d1，而图像区域25A'与图像中心c的距离为不同的d2。每个颜色校正27A，27A'对其相关的距离d1，d2有效。

如果现在发生显微镜图像的颜色校正，根据颜色校正27A或27A’显微镜图像的不同部分根据他们的相对图像中心的距离被校正。

在前述的一个变体中，颜色校正27A和27A'被结合成一个颜色校正27，它取决于与对象中心的距离c，因此也可以称为依赖于区域的颜色校正27'。对于d1和d2之间的距离，颜色校正27A和27A'被平均，以便有一个从距离d1的颜色校正27A到距离d2的颜色校正27A'的连续过渡。对于小于d2的距离，颜色校正27A'可以应用。对于大于d1的距离，可以应用颜色校正27A，或者可替换的是27A和27A'之间的连续过渡的外延。

距离d1、d2也可以相对于另一个参考点来定义，例如相对于一个图像边缘。

参照下图描述另一个实施例的变体。

图5

图5示意性地显示了根据本发明的另一方法的示例性实施例的过程。

首先，在过程P1中，接收显微镜图像，随后在过程P2中对其中至少一个对象进行定位。

定位是通过图像处理程序进行的，该程序能够定位与已知颜色的预定义的对象类型23相对应的对象。预先定义不同的已知颜色的对象类型23的事实，增加了在显微镜图像中找到至少一个适合确定颜色校正的对象的概率。预定义的对象类型23可以是，例如：染色样品23A，样品载体上的标记区23B，照明部件23C，样品载体或保持架上的校准图案23D，和/或样品载体上的文本/印刷品23E。

不同的对象类型23也可以表示不同的标记区类型，例如，标记区类型："标记区--白纸"、"黄色标记区"或"标记区-磨砂玻璃"。

在使用的染料方面不同的染色样品，也可以代表不同的对象类型23。

印刷品23E可以是，例如，一个已知颜色的制造商标志。通常，还为每个预定义的对象类型23预定义至少有一种相关的颜色。根据对象类型23，也有可能预定义了多种颜色，例如，在多色印刷品23E或具有不同颜色区域的校准图案23D的情况下。在这些情况下，也可以为预定义的对象类型23指出哪个对象区域具有哪种颜色。

在对显微镜图像中的对象进行定位时，也可以利用上下文信息K。上下文信息K可以涉及，例如，所使用的样品载体类型。例如，根据上下文信息K，可以排除当前显微镜图像中特定预定义的对象类型23的出现，例如，当上下文信息K指示出微量滴定板用作样品载体时，对象类型"载玻片上的标记区"。上下文信息K也可以与样品类型有关，并指示出，例如，用于肿瘤筛查的组织切片，这可以用作染色剂和特定样品载体类型的潜在用途的指示。

其中确定图像区域25A、25B的适合程度29A、29B的过程P5，以及其中根据定位对象的图像区域25A、25B计算颜色校正的过程P3、P3'，原则上可以按任何顺序发生，也可以同时发生。这些过程也可以合并为一个单一的计算步骤。

然后在过程P4中，将最终确定的颜色校正应用于至少一个显微镜图像，如前文所述。

就不同的附图所描述的变体可以相互结合。所描述的示例性实施例纯粹是说明性的，在所附权利要求的范围内，相同的变体是可能的。

参考标志清单

1 显微镜

2 支架

3 物镜转轮

4 (显微镜)物镜

5 照明设备

5A 照明部件(照明设备的部件)

6 样品台/显微镜台

7 样品载体

7A 样品载体7的标记区

7B 样品载体7上的样品

8 样品载体的支架/插入框架

9 显微镜相机

9A 概览相机

9B 反射镜

9C 概览相机的视场

10 计算设备

11 计算机程序

12 目镜

20 显微镜图像

20 其他的显微镜图像

20” 持续/连续捕获的显微镜图像

21 概览图像20和包含定位对象24的图像区域的确定的边界框的叠加

22 样品载体后面的区域

23 已知颜色的预定义对象类型

23A 染色样品

23B 标记区

23C 照明部件

23D 校准图案

23E 文本/印刷品

24 对应于已知颜色的预定义对象类型的对象

24A 显示显微镜图像中的对象24的图像部分

25A-25C 定位对象的图像区域

25A' 定位对象的其他图像区域

26A,26B 显微镜图像中定位对象的颜色

27、27A、27A'、27B 颜色校正

27' 依赖于区域的颜色校正

28A,28B 预定义的对象类型的已知颜色

29A,29B 用于确定颜色校正的对象的适合程度

30、30'、30” 色彩校正的显微镜图像

100 显微镜系统

c 图像中心

d1,d2 区域25A,25A'距离图像中心的距离c

K 上下文信息

M 图像处理程序、图像处理模型

P1-P5 根据本发明的方法的过程

Claims (16)

1.一种用于显微镜图像的颜色校正的计算机实现方法，包括：

接收(P1)一个显微镜图像(20)；

使用图像处理程序(M)在所述显微镜图像(20)中定位(P2)与已知颜色(28A，28B)的预定义对象类型(23)相对应的对象(24)，所述图像处理程序被配置为自动定位已知颜色(28，28)的预定义对象类型(23)；

根据定位对象(24)的至少一个图像区域(25A，25B)确定(P3，P3')颜色校正(27；27A，27B)，以使图像区域(25A，25B)中定位对象(24)的颜色(26A，26B)与已知颜色(28A，28B)一致；

将颜色校正(27；27A，27B)应用于显微镜图像(20)或另一显微镜图像(20')的至少一个部分，或在捕获其他显微镜图像时使用颜色校正(27；27A，27B)。

2.根据权利要求1所述的计算机实现的方法，

其中，确定颜色校正(27；27A，27B)所依据的显微镜图像(20)示出了分析中的显微镜样品(7B)。

3.根据权利要求1所述的计算机实现的方法，

其中，用于确定颜色校正(27；27A，27B)的对象(24)是以下中至少一个：

■校准调色板或标记；

■样品载体(7)上的标记区(7A)；

■样品载体(7)上的文本；

■显微镜部件或照明部件(5A)；或

■样品(7B)或已知类型的样品部分或用于染色样品(7B)的已知染料。

4.根据权利要求1所述的计算机实现的方法，

其中用于确定颜色校正(27；27A，27B)的对象(24)位于样品载体(7)上，或位于显微镜台(6)的插入框架(8)上，或位于显微镜图像(20)中样品载体(7)后面可见的区域(22)。

5.根据权利要求1所述的计算机实现的方法，

其中，对于已知颜色的至少一个预定义对象类型(23)，预定义了可能的颜色范围，并且在确定(P3，P3')颜色校正(27；27A，27B)期间，将该颜色范围作为参数考虑。

6.根据权利要求1所述的计算机实现的方法，

其中，对于显微镜图像(20)中定位的每个对象(24)，计算(P5)出用于确定颜色校正(27；27A，27B)的适合程度(29A，29B)；

其中，根据计算出的适合程度(29A，29B)，确定多个定位对象(24)中的哪个用于或被用于确定颜色校正(27；27A，27B)。

7.根据权利要求6所述的计算机实现的方法，

其中，基于多个定位对象(24)的图像区域(25A，25B)来确定颜色校正(27；27A，27B)，并且其中基于所述定位对象(24)的各自的适合程度(29A，29B)来加权确定各个定位对象(24A)对所述颜色校正(27)的贡献。

8.根据权利要求6所述的计算机实现的方法，

其中，适合程度(29A，29B)是基于指示以下一项或多项的对象特征确定的：

■对象大小；

■对象表面的反射特性或哑光性或材料类型；

■对象(24)相对于所使用的相机的位置；

■对象(24)的颜色印象或纯度，或对对象(24)的所描绘的损伤。

9.根据权利要求1至8任一项所述的计算机实现的方法，其中该方法进一步包括：

确定定位对象(24)的图像区域(25A，25B)内被认为不属于所述对象(24)的图像点，以及

在确定(P3，P3')颜色校正(27；27A，27B)期间忽略这些图像点。

10.根据权利要求1至8任一项所述的计算机实现的方法，

其中，在确定颜色校正(27；27A，27B)期间，考虑上下文信息(K)，

其中，上下文信息(K)涉及照明类型、样品类型、显微镜类型、所采用的滤光片或其他所采用的光学部件。

11.根据权利要求1所述的计算机实现的方法，

其中，颜色校正(27)以依赖于区域的颜色校正(27')的形式确定，以不同方式对不同的图像区域进行颜色校正；

其中，确定依赖于区域的颜色校正(27')是基于一个或多个定位对象(24)的多个图像区域(25A，25B)。

12.根据权利要求11所述的计算机实现的方法，

其中，定位对象(24)的图像部分(24A)被划分为至少两个不同的图像区域(25A，25A')，位于距图像中心(c)的不同距离处，

其中，为每个图像区域(25A，25A')确定相关的颜色校正(27A，27A')，并将分别确定的颜色校正(27A，27A')结合起来，以形成依赖于区域的颜色校正(27')，一个图像区域根据其与图像中心(c)距离进行颜色校正。

13.根据权利要求1所述的计算机实现的方法，

其中，对于连续捕获的显微镜图像(20”)，进行颜色校正(27；27A，27B)的实时应用(P4)。

14.根据权利要求13所述的计算机实现的方法、

其中，检查至少有一些连续捕获的显微镜图像(20”)是否有变化，其中每当检测到变化时，就进行颜色校正(27；27A，27B)的新确定。

15.一种显微镜系统，包括

用于图像采集的显微镜(1)；以及

计算设备(10)，其被配置为执行根据权利要求1至8和11至14任一项的计算机实现的方法。

16.一种计算机程序，包括命令，当该程序由计算机执行时，所述命令使得执行根据权利要求1至8和11至14中任一项所述的方法。