CN115439398A - 用于在图像数据中检测显微检查对象的方法和装置 - Google Patents

Abstract

本发明涉及用于在图像数据中检测显微检查对象的方法、装置和计算机程序产品，图像数据包括以第一对比度拍摄的第一图像和以第二对比度拍摄的第二图像，第一图像中的各一个第一图像和第二图像中的各一个第二图像能彼此对应地关联。所述方法包括：在第二图像中的至少一个第二图像中检测显示显微检查对象的信息；将所检测到的信息传输到第一图像中对应于第二图像中的所述至少一个第二图像的第一图像上；并且通过使用所传输的信息在如下第一图像中检测显示显微检查对象的信息，第二图像的所检测到的信息被传输到该第一图像上。

Description

用于在图像数据中检测显微检查对象的方法和装置

技术领域

本发明涉及在图像数据、例如细胞或细胞成分的图像中检测显微检查对象。

背景技术

为了改善细胞在图像上或在显微镜下观察时的可见性，已被证明的是，利用标记、例如染料或者甚至荧光染料来标记或转染这些细胞。术语“转染”一般在细胞生物学中是指将外源DNS(脱氧核糖核酸)或RNS(核糖核酸)引入到动物细胞中并且部分地也引入到其它真核细胞中。真核细胞尤其是理解为动物、植物和真菌的细胞。

然而，在本文献的上下文中，转染一般是指将外源性物质(例如标记，如染料或荧光染料)引入到任何细胞类型或任何细胞类型的任何部分中。因此，也可以利用标记转染原核生物，即不具有细胞核的细胞生物，即细菌和古菌。

转染的目的是实现细胞成分的更好的可见性，以便对于观察者改善光学可识别性。为此将标记(例如染料)引入到细胞或其成分中，并且然后以拍照方式记录或观察经处理的区域。

在常规的转染中不利的是，例如有时一些细胞不接受标记或染料并且因此在染色的图像中或在荧光图像中不可见。这些也称为缺失转染(英语为missed transfections)。通常在其它条件下(诸如改变的亮度对比度)对染色的样品进行拍照或观察。

另一个缺点是，染色在实际上不要染色的样品区域中(英语为stain)可能不期望地溢出(英语也称为stain bleeding”)，也称为错误标记不希望的对象(英文为non-intended objects)。在此，例如在核染色时发荧光的DNS从细胞核溢出到周围的细胞质中并且形成所谓的“渗色(bleeding stains)”。因此，在荧光对比图像中比实际应发光更多地发光。同样，由此在图像中的大绒毛或不期望的类似对象也经常发光。因此，根据常见的技术，将这些区域评估为感兴趣的对象(英语为objects of interest)。为了消除在常规显微术中的这种错误，例如需要借助基于应用的值进行过滤。因此，例如细胞核根据相应的分辨率最多20个像点(像素)大。由此能够再次滤出尺寸过大的对象，如绒毛。

图6A以正常视图示出未染色的细胞样品。图6B示出所有细胞的无错误的染色。而图6C示出实际的正常状态，在实际的正常状态下一些细胞未被转染。虚线圆圈显示存在细胞的位置，但这些细胞没有接受标记或染料并且因此在荧光染色中不可见。

这对于许多显微术应用是关键的。存在未转染细胞的问题的应用的一个示例是训练虚拟染色模型(英语为virtual staining models)。由于未转染的细胞，所述虚拟染色模型学会错误的真实值，这导致这些模型的显著质量损失。因此，未转染的细胞在这里必须绝对从训练排除。

应用的其它示例是：

-训练分割方法，在该分割方法中通过化学注释(即例如通过阈值)产生注释，

-训练虚拟染色方法，该虚拟染色方法附加地使用掩膜注释，以便在细胞区域中调整训练信号，

-基于荧光信号对细胞进行计数，

-借助另一种标记来同定位一种标记，以及

-细胞增长随时间的谱系追踪(英语为lineage tracing)。

发明内容

本发明的任务是，克服现有技术的缺点，并且改善对在图像中的显微检查对象的检测，并且因此也改善地识别未转染的细胞。紧接着，这些附加识别出的显微检查对象然后可以与通过转染识别出的显微检查对象一起共同地或分开地根据使用目的被进一步处理。

所述任务通过根据权利要求的装置以及方法来解决。

附图说明

为了更好地理解本发明，借助于以下附图详细阐述本发明。

在本文献中的显微检查对象例如可以是细胞位置，但也包括细胞或细胞部分，例如细胞壁、细胞器官、细胞核等。一般，显微检查对象表示在显微镜下拍摄的对象。这包括实际的研究对象，如细胞、组织和其它待研究的对象。但图像也可以显示为此所使用的工具，如玻片、皮氏培养皿等。也可以存在如下图像，在所述图像上恰好不再有待研究的对象可见，例如因为这些图像已经到达并且超过样品的边缘。这些图像同样可以以图像数据存在，其中，在这些图像数据上不能检测到显微检查对象，即样品的成分。

在本文献中，对比度除了日常常见的亮度对比度之外也指在显微术中常见的特殊对比度。为此的示例不仅包括非荧光对比度，而且包括荧光对比度，如颜色对比度、明场法、暗场法、相位对比度法、相位梯度对比度法、偏振法、差分干涉对比法度、DIC法、光显微术法、数字对比度法或类似方法，诸如在化学染色之后的各种RGB(红、绿和蓝)信号，或超光谱数据。

分别以极度简化的示意图：

图1示出根据本发明的以两种不同的对比度拍摄的细胞样品的图像，

图2示出根据本发明的优化对显微检查对象的检测的不同可能方案，

图3示出根据本发明的在以一种对比度拍摄的图像中识别出的显微检查对象到以另一对比度拍摄的另一所属图像的转移，

图4示出根据本发明的单类分类器的训练，

图5示出根据本发明的对在第一图像上的显微检查对象的检测，以及

图6示出根据现有技术的细胞或细胞成分的染色和未染色的成像。

首先要注意的是，在不同地描述的实施方式中，相同元件设有相同附图标记或相同元件名称，其中，在整个说明书中包含的公开内容可以符合意义地转用到具有相同附图标记或相同元件名称的相同元件上。在说明书中选择的方位说明、例如上、下、侧等也涉及直接描述的以及示出的附图，并且这些方位说明在方位改变时可符合意义地转用到新的方位上。

具体实施方式

作为示例在此描述能够识别出如下细胞，所述细胞不接受某种标记、例如染料(例如4’,6-二脒-2-苯基吲哚，简称DAPI，作为荧光染料，其在荧光显微术中用于标记DNS)、即未正确转染。其它当前使用的染料是Hoechst 33342、NucSpos、Spircuit SPY、GPF(绿色荧光蛋白)和tdTomato。

描述根据本发明的用于在图像数据中检测显微检查对象的计算机实现方法，其中，所述图像数据包括以第一对比度拍摄的第一图像和以第二对比度拍摄的第二图像，其中，第一图像中的各一个第一图像和第二图像中的各一个第二图像能彼此对应地关联。彼此关联的图像示出基本上同一细胞、即相同的细胞、同一显微检查对象亦或空白区域(如果既没有细胞也没有其它显微检查对象示出的话)。所述方法包括在第二图像中的至少一个第二图像中检测显示显微检查对象的信息。随后将所检测到的信息传输到第一图像中对应于第二图像中的所述至少一个第二图像的第一图像上。然后通过使用所传输的信息在如下第一图像中检测显示显微检查对象的信息，第二图像的所检测到的信息被传输到该第一图像上。

图1示出细胞样品的以两种不同的对比度拍摄的图像。在左边示出以第一对比度拍摄的第一图像110。在该附图中可以看到第一图像110中的一些第一图像，即图像111至114。在右侧可以看出以第二对比度拍摄的第二图像120。在该附图中可以看到第二图像120中的一些第二图像，即图像121至124。

当然，一组第一图像或第二图像可以包括任意大或小数量的图像，在附图中示例性地示出各四个图像。

在此，图像111和121示出分别以第一对比度和第二对比度拍摄的相同的细胞、细胞成分或一个细胞的相同部分。同样，图像对112和122、113和123以及114和124能彼此关联。

在具有非荧光对比度的图像111中，例如看到不同的细胞。与具有荧光对比度的对应的图像121相比变得清楚的是，一些细胞未接受标记、即染料并且因此在图像121上不可见。

但在图像121中例如通过图像识别更容易自动识别接受了标记的细胞，因为荧光对比度极大简化了这种情况。

图2示出在该图像识别的范围内优化对显微检查对象的检测的不同可能方案，并且应当用作步骤200的阐述，即在第二图像120的至少一个第二图像中检测显示显微检查对象的信息。左上方的图像示出在基本状态下的图像120。左下方的图像应当阐述能够通过低通滤波器210进一步改进位置的检测。右上方的图像应当阐述能够通过实施至少一个阈值运算220进一步改进位置的检测。右下方的图像应当阐述能够通过找到有关联的轮廓230进一步改进位置的检测。这些改进方案也可以以任何组合一起使用。替代地或附加地，也可以使用类似的图像处理分割方法。不同的组合又是可能的。对此的示例是机器学习模型、分水岭变换、基于图像切割的方案、找到边界形状、分割、带通滤波器、高通滤波器、找到有关联的轮廓和/或类似的图像处理分割方法。也可设想按照一个或多个预定参数、诸如样品的最大或最小面积、圆形度、密度等参数进行过滤。

此外，所检测到的信息310、尤其是所找到的区域230可选地也可以手动地、即由用户修改、也就是说加工，其方式为：如果这些区域包含对应的显微检查对象，则对这些区域在检验之后进行确认，由此可选地可以赋予其更大的权重，或者如果这些区域不包含对应的显微检查对象，则删除这些区域。

用户也可以提供附加信息，例如关于存在对象和/或不存在对象的位置或区域的信息。这些注释能够简化、加速和改进训练。

在第二图像120中检测显示显微检查对象的信息也可以在使用表示方式、诸如使用边界形状的情况下实施。这样的边界形状优选是圆形、多边形、掩模等。替代地，可以使用热图或概率图。在概率图中，例如第二图像的每个像素关联有在那里存在“细胞”或其它显微检查对象的概率。

与此对应地，在图像120中，在荧光图像中的细胞可以被自动定位并且因此可以确定细胞的位置。这尤其是在DAPI染色时通常能够非常简单地实现，因为细胞作为良好分离的对象在图像中可见。此外，所找到的细胞通常是确定转染的细胞，因为它们确实在荧光中可见。

通过已知的图像识别方法、诸如借助于机器学习模型来进行自动定位和位置检测，所述机器学习模型利用具有与第二图像相同的对比度的图像被训练。

如果细胞被定位，则检测描述显微检查对象的对应信息310。这种显示位置的信息可以以显示显微检查对象的图像坐标的形式反映。替代地，也可以由包含细胞的区域来定义显微检查对象。在此，所述区域可以是边界形状，诸如圆形、多边形、热图、掩模等。在此，所述区域的大小可以预先确定，并且与在第二图像120中检测到的显微检查对象有关，或基于预先给定的上下文信息、诸如细胞类型、应用、用户输入等来确定。所述区域的大小例如可以根据样品的最大或最小面积、圆形度、密度或类似参数来预先确定。

通过细胞类型例如可以确定在DAPI通道中的细胞核的预期大小，以便定位。这例如可以通过用于查找有关联的区域的阈值和/或条件来进行。由此能够在提取掩模时防止若干个细胞“结块”或者能够正确地识别掩模。

图3示出在以一种对比度拍摄的图像中识别出的显微检查对象到以另一种对比度拍摄的另一所属图像的转移，并且应当用作对步骤300的阐述，即，将所检测到的信息传输到第一图像110中对应于第二图像120中的所述至少一个第二图像的第一图像上。

因此，将在第二图像120中检测到的位置310传输到对应的第一图像110中，在该附图中作为位置320可看出。具体地，在此将关于在第二图像120中的哪些位置310处存在显微检查对象的信息传输到对应的第一图像110上，即，将第二图像中的位置与对应的第一图像上的对应位置相关联。由于这些图像分别示出相同的部分，所以在第二图像中容易定位的细胞在第一图像中位于相同的部位上。在该附图中看到被定位的区域等，分别将对应的非荧光图像传输到所述区域中。识别出的细胞也可以单独存储在存储器330中。

对于初始未记录的对比度，必须在传输的步骤中进行记录，即，对应确定从第一图像至第二图像的像点。这例如在组织病理应用中是这样的情况，其中不是立即通过相同的光路反映两种对比度。

随后，在步骤400中，在第一图像110中检测显示显微检查对象的信息。在第二图像120中检测到的信息已经被传输到该第一图像110上。在使用所传输的信息的情况下在第一图像110中检测显微检查对象。

通过已知的图像识别方法(例如借助于机器学习和/或通过使用经训练的机器学习模型，该机器学习模型通过具有与第一图像相同的对比度的图像被训练)来进行自动定位和位置检测。

在第一图像110中的检测400也可以包括训练机器学习模型。在此，利用在第一图像110中的细胞的现在已知的位置来训练模型。由于这些位置已经从第二图像120被传输，所以这些位置现在是已知的。训练数据因此是第一图像或第一图像中的一些第一图像。

如果利用第一图像110中的一些第一图像和从第二图像120中检测到的位置训练模型，则可以自动识别其余的第一图像110。

替代地，也可以利用以相同对比度拍摄的并且具有类似图像内容(例如类似细胞)的另一组图像来训练模型。然而，稍后的再训练是可能的。

随后，通过应用经训练的机器学习模型识别在第一图像110中显示显微检查对象的信息。

在此，机器学习模型可以是人工神经网络、优选是深度人工神经网络。机器学习模型可以是分类模型、尤其是单类分类器。这种单类分类器例如可以实施为单类特征分类器，其中，在输入图像中的显微检查对象的所传输的图像区域通过对象代表(所谓的特征)来描述，例如通过激活卷积神经网络(英语为CNN activations)、通过方向梯度直方图(英语为histogram of oriented gradients)或通过视觉词袋直方图(英语为bag of visualwords histograms)来描述。

然后可以实施单类分类器，以便学习通过特征(如上所述)所代表地存在的显微检查对象的共同描述。这例如可以通过parzen核密度估计(英语为parzen densityestimation)、高斯混合模型(GMM)、支持向量数据描述(英语为support vector datadescription，SVDD)、单类支持向量机(1-svm)、核零Foley-Sammon变换(KNFST)或借助于高斯过程回归模型来实现。

然后，在完成训练之后可以在输入图像中的每个可能的部分图像上应用这种特征分类器，以便按照与被寻找的显微检查对象的集合的可能归属性对每个这样的部分图像的对应的特征代表进行评价。

在一个替代的实施方式中，单类分类器可以例如在使用示例支持向量机(英语为exemplary SVM)的情况下实施为探测器、即单类探测器。这样的探测器可以在完成训练之后直接探测在输入图像中所有被寻找的显微检查对象的可能位置。

在另一个替代的实施方式中，单类分类器可以实施为具有像素精确定位的模型。这例如可以在使用生成模型的情况下实现，诸如自编码神经网络(英语为auto encoder)或变分自编码神经网络(英语为variational auto encoder)亦或可逆神经网络(英语为invertible neural network)。在训练这些模型时，例如将基于重构的误差度量(Fehlermaβe)最小化，所述误差度量在本发明的意义上例如被限制于在输入图像中的位于所传输的掩模下方的区域。使用自回归生成模型(例如像素卷积人工神经网络(像素CNN))的设计方案也是可行的。在这种情况下，在训练模型之后可以对可能属于被寻找的显微检查对象的集合的区域进行像素精确的定位。

图4示出单类分类器的训练500。在此，例如按照在步骤300中定位的细胞的非荧光图像区域对单类分类器(OCC，英语为One class classificator)进行训练。

在X轴和Y轴上反映两个已学习的或已反映的特征维度。在图5中用530标记已学习的OCC判定边界。位于其中的显微检查对象520可供用于训练，它们在第一图像110中对应于在第二图像120中检测到的显微检查对象。位于边界530之外的位置510象征表示不包含细胞但是不用于训练OCC的示例。

另一个替代方案是，不是所有这些位置520都用于训练，而是仅其中的一对位置用于训练。例如，这在第二图像中特别可靠地被识别出。这些位置可以由用户验证为“实际的细胞”，例如以便从训练数据集中排除错误逸出的染色的区域。这种获得的可靠性对于OCC模型特别重要。此外，OCC模型在本应用中不需要非常多的数据，因此在其他情况下可能显著更大的数据集的人为验证的部分可能就足够了。

此外替代地，一对所述位置510也可以由用户例如在输入图像中注释为“实际非细胞”。在训练模型之前，用户也可以标记附加位置，以提供附加的训练数据。在这种情况下，甚至可以从至今描述的单类分类模型的方案变换到监督式学习模型，例如两类分类器(英语为binary classifier)或两类语义分割模型(英语为binary semantic segmentationmodel)。

用户也可以提供附加信息，例如关于存在对象和/或不存在对象的位置或区域的信息。这些注释能够简化、加速和改进训练。

在第一图像110和第二图像120的比较中可以确定，以第一对比度拍摄的第一图像110示出所有细胞，但是这些细胞不能被良好地自动识别。而以第二对比度拍摄的第二图像120示出确定存在的细胞，但是在第二图像中的细胞可能缺失或者不完整。

图5示例性地示出步骤400，在该步骤中，在第一图像110中通过使用显示显微检查对象的在第二图像120中(作为信息310)检测到的并且(作为信息320)被传输到第一图像110上的信息来检测新的显微检查对象350。

所传输的信息320在附图中为了更好地示出而通过具有实线的标记来标记，而新检测到的信息350通过虚线来标记。

同样可以通过结合图2所描述的措施改进在第一图像中对显微检查对象350的检测。

在第一图像110中检测显示显微检查对象的信息也可以在使用表示方式、诸如使用边界形状的情况下实施。这种边界形状优选是圆形、多边形、热图、掩模等。

与此对应地，在图像110中，在非荧光图像中的细胞可以被自动定位并且因此它们的位置可以被确定。通过在第一图像110中检测显微检查对象350可以定位所有存在的细胞。在此在之前在步骤200中、即在第二图像120中还没有被找到的细胞仅可以被识别为未正确转染的。

如果细胞被定位，则检测显示显微检查对象的对应信息。这种显示位置的信息可以以显示显微检查对象的图像坐标的形式反映。可选地，也可以通过包含细胞的区域来定义显微检查对象。

在此，所述区域可以是边界形状、诸如圆形、多边形、热图、掩模等。在此，所述区域的大小可以预先确定，并且与在第二图像120中检测到的显微检查对象有关，或基于预先给定的上下文信息、诸如细胞类型、应用、用户输入等来确定。

如果在第一和第二图像中检测到显微检查对象，则可以共同地或分开地进一步处理这些显微检查对象。在第二图像中检测到的细胞在该示例中是正确转染的细胞，而在第一图像中检测到的细胞是所有细胞。如果仅采用附加检测到的细胞，则这是未正确转染的细胞。

当然，上面的描述也可以涉及“以第二对比度检测到的对象”/“以第一对比度检测到的对象”，而不是涉及“转染的细胞”/”未(正确)转染的细胞”，因为该方法不仅涉及转染，而且能用于具有两种对比度的任意方法。第一和第二对比度也可以都是荧光对比度，甚至可以是相同的荧光对比度。同样，第一和第二对比度都可以是非荧光对比度，并且又甚至可以是相同的非荧光对比度。

此外，可以确定在第二图像中检测到的显微检查对象与在第一图像中检测到的显微检查对象的比值。在转染的示例中，这将得出转染率，所述转染率可以为所使用的标记或标记所应用的细胞提供有价值的信息。

也可以确定在第一图像中检测到的细胞是否对应于从第二图像传输了其信息的细胞，其方式为使用相似性度量的阈值。

所述相似性度量可以是概率度量，亦或是边界形状、诸如圆形、多边形、热图、掩膜、中点之间的距离等的重叠的度量。

最后应当指出，显示显微检查对象的信息、信息和/或图像的存储格式、和/或信息和/或图像的编码可以通过上下文信息来调整。

这样的上下文信息可以是细胞类型、应用、用户输入、所使用的对比类型、图像中细胞的数量、细胞密度、优选平均细胞密度、放大、像场尺寸、景深、物镜的类型、传感器的类型、光路中的滤波器的类型、光路中的其它光学部件的类型、用于照明的信息、平均转染率等。

作为具体的示例，例如细胞类型可以影响图像数据的文件格式。或者，细胞密度可以影响显示显微检查对象的信息是边界形状还是坐标。

换句话说，可以如下借助示例所阐述的那样改进对显微检查对象的检测。在此，尤其是应该借助具体示例来阐述原理，然而显然也可以使用所有之前描述的修改方案。尤其是，借助作为用于第一图像110和第二图像120的对比度的荧光对比度/非荧光对比度配对的阐述仅仅是一个示例。同样可以使用如上所述的所有其它对比度。

样品的图像数据必须可供使用或记录。所述图像数据包括样品的以第一对比度、例如非荧光对比度(例如明场、DIC、相位对比度、相位梯度对比度等)拍摄的第一图像110和分别对应的(对应于第一图像110，例如在数据库中记录的)以第二对比度、例如荧光对比度拍摄的第二图像120。在此重要的是，第一图像110中的各一个图像和第二图像120中的各一个图像彼此对应，以便能够传输显微检查对象(步骤300)。替代地，所述图像必须至少彼此能被记录或能被相关联，例如基于元数据亦或通过图像分析。

在第二图像120、例如荧光图像中，所有细胞被自动定位。在第二图像120中细胞被确定转染，因为它们确实在荧光对比度中可见。这样被找到的细胞在任何情况下都被正确转染，因为它们确实在荧光对比度中可见。相应的内容适用于其它的非荧光对比度，取决于针对第一或第二对比度所选择的对比度。在此，还没有找到错误转染的或未转染的细胞。在荧光对比度中的细胞能够以比在非荧光对比度中的细胞简单得多且稳定得多地被自动识别和定位。

这尤其是对于经常出现的情况来说得到满足，即目标对比度是DAPI(细胞核)染色。在此，各个细胞明显单独地作为椭圆形状在相应的荧光拍摄中出现并且可以非常容易地利用基本的图像处理来定位。用于在DAPI荧光图像中自动找到细胞的可能方式是：

i.获得DAPI荧光图像

ii.图像的低通滤波

iii.实施阈值运算

iv.找到有关联的轮廓，其中，每个轮廓对应于一个细胞。

当然也可设想另外的和/或其它的方式方法，如之前所述的那样。

然后将这样确定的显微检查对象传输到非荧光对比度的图像中，从而在非荧光图像中获得如下图像区域，在所述图像区域中确定存在细胞。对于细胞位置的传输适用的是，这是允许的，因为对应的图像(即111和121、112和122等)确实彼此记录。也就是说，在荧光图像中找到的细胞的图像坐标与在相应对应的非荧光图像中的图像坐标相同。在此，通常不仅传输坐标，而且还可以传输区域。在最简单的情况下，这些区域是边界框(英语为bounding boxes)。但也可以使用圆形、多边形等。这些区域的大小例如可以是固定的，或者根据荧光图像来确定，或者根据上下文信息(细胞类型、应用、用户输入等)来调整。这也仅涉及在第二图像120中检测到的经转染的细胞。也可设想掩膜，用于传输所检测到的信息。然后，其针对每个图像自动产生并且也与该图像(和对应的第二图像)一起关联并且可能一起存储。

作为一种选择，例如可以仍然利用应用特定的滤波器来减少所找到的有关联的轮廓，例如以便挑选出大的发光的绒毛。也可以根据应用大小进行过滤，例如过滤如下轮廓，所述轮廓低于或超过预先给定的大小或者所述轮廓在特定参数之内具有一定的形状，例如圆形、椭圆形等。

作为一种选择，在第一图像中检测显微检查对象的范围内，现在可以按照非荧光图像的被定位的如下图像区域训练单类分类器，在所述图像区域中确定存在细胞。为此，因为涉及OCC，所以仅需要正例。亦即，OCC学习细胞在非荧光对比度中的外观(而在此不明确学习非细胞的外观)。因此，在非荧光图像中存在并且可见的、但在步骤200和300中未被找到的和未被传输的未转染的细胞不理解为反例，并且正如正确转染的细胞一样随后由OCC简单地识别为“细胞”。

作为用于OCC的特征例如可以使用：优选来自于非荧光图像的图像特征，替代地来自于荧光图像的图像特征。第二个替代方案不是最佳的，因为未转染的细胞可能在荧光图像中根本不可见，但可能是在其它波长下被染色的结构。另一个替代方案是两个前述特征的组合。

在此，单类分类器作为机器学习模型的示例例如可以如上所述那样实现为单类特征分类器或实现为单类探测器或实现为具有像素精确定位的模型。

此外也可以如之前所阐述的那样使用监督式学习的机器学习模型，例如两类分类器或两类语义分割模型。

经训练的模型然后可以应用于非荧光图像的完整整体。这在非荧光图像中揭示所有细胞，也就是说也揭示那些由于错误转染而在荧光图像中不可见的细胞。在此不仅找到转染的细胞，而且也找到未转染的细胞，因为未转染的细胞不是作为反例流入训练中，而是简单地被忽略，如之前所述的那样。

通过与之前在第二图像中找到的细胞比较，可以将这些细胞被分成：a)在第一图像和第二图像中均找到的正确转染的细胞，和b)仅在第一图像中找到的未转染的细胞。

这样获得的关于错误转染的细胞的信息随后可以多样地使用。对此的一些示例是：

确定转染率，这是正确转染的细胞占所有转染的细胞的数量的份额。转染率是用于评价工作流程、用于质量保证或用于细胞培养的状态评价等的非常重要的量度。

从随后训练的数据集中排除错误转染的细胞。这对于所谓的虚拟染色是特别重要的。

使用错误转染的细胞作为用于虚拟染色的定性测试数据集，其中，使用这些细胞来预测荧光。在此优点是，确保虚拟染色模型不会记住这些数据，因为也就是说在荧光图像中对于这些细胞不存在真实值(英语为ground truth)。由此，对虚拟染色模型的可生成性的评价变得可能。测试数据集也可以被用于如下应用，在所述应用中不应进行虚拟染色，而是应借助输入对比度直接进行试验。

将错误转染的细胞的区域重新传输到荧光图像中。由此可以训练分类器、探测器等，其从荧光图像中识别错误转染或未转染的细胞。由此能够在荧光图像中识别或训练由于错误转染而留下的、可能也难以察觉的“指纹”，其对于人类专家来说也不一定必须是明显的或者完全不必是可识别的。合适的机器学习模型同时访问这两种图像。

显示关键区域，即，在识别时出现问题的地方，并且然后询问用户输入以便进一步处理。在此也可以进行人为再分类。

当然，这里所提到的使用方式的组合也是可能的。

这样描述的方法相对于现有技术是有利的，因为根据错误转染的细胞传统的、尤其是手动搜索训练数据是非常耗时的。传统的探测器/补丁分类器(其按照非荧光图像进行训练)除了正面数据之外也需要反面数据。但这些数据根据现有技术必须通过用户输入，用户因此必须几乎无错误地注释完整的数据集，即没有错误正面(误报，falsch-positive)的或错误负面(漏报，falsch-negative)的细胞注释，这是非常耗时复杂的。

现有技术的另一个问题在于这样学习/训练的探测器是依赖于样品的，即，必须为不同的实验/样品类型等重新实施训练，其中，每次都需要大量手动注释。

而根据本发明的方法能够自动地实施重新训练，因为正面的注释通过荧光通道来确定并且不需要反面的注释。尤其是，能够以显著降低的耗费找到正面的和/或反面的注释。

当前的用于虚拟染色的方法不考虑错误转染的细胞，这然后导致不一致的数据集并且因此导致困难的训练和较低的模型品质。结果则通常是不期望的与周围细节的过度匹配，以便能够反映训练数据集。模型的可生成性由此受到强烈限制。

也属于根据本发明的实施例的是一种用于在图像数据中检测显微检查对象的装置、优选是计算机，该装置被配置用于执行前面所描述的方法。该装置包括用于接收图像数据的传输装置或用于拍摄图像数据的成像装置，该成像装置优选被配置用于以不同对比度拍摄图像，并且特别优选是显微镜。在此，图像数据包括以第一对比度拍摄的第一图像和以第二对比度拍摄的第二图像，其中，第一图像中的各一个第一图像和第二图像中的各一个第二图像能彼此对应地关联。如之前针对所述方法已经描述的那样，彼此关联的图像示出基本上同一细胞、即相同的细胞、同一显微检查对象亦或空白区域(如果既没有细胞也没有其它显微检查对象示出的话)。

该装置还包括用于在第一图像和第二图像中检测显示显微检查对象的信息的检测装置。

该装置还包括用于在两个彼此对应的图像之间传输所检测到的信息的传输装置。

该装置可选地还可以包括用于存储图像数据和显示显微检查对象的信息的存储装置。

在此，所述检测装置被配置用于在检测时考虑所传输的信息。

另一个实施方式是一种具有用于数据处理装置的程序的计算机程序产品，该计算机程序产品包括软件代码段，所述软件代码段用于当在数据处理装置上执行程序时执行上述方法的步骤。

这种计算机程序产品可以包括计算机可读介质，在该计算机可读介质上存储软件代码段，其中，所述程序能直接被加载到数据处理装置的内部存储器中。

所述实施例示出可行的实施变型方案，其中，在此处要注意的是，本发明不限于具体示出的实施变型方案本身，而是更确切地说各个实施变型方案彼此间各种不同的组合也是可行的，并且这些变型可行性基于通过本发明所给出的用于技术处理的教导而处于本领域技术人员的能力范围之内。

保护范围由权利要求书确定。然而，应采用说明书和附图来解释权利要求。

从所示出的和所描述的不同实施例得出的单个特征或特征组合本身可以构成独立的有创造性的解决方案。这些独立的有创造性的解决方案所基于的任务能够从说明书中得出。

在本说明书中的所有关于值范围的说明应理解为，该值范围包括其任意的和所有的子范围，例如1至10的说明应理解为包括自下限1起至上限10的所有子范围，即，以下限1或更大值开始并且在上限10或更小值结束的所有子范围，例如1至1.7、或3.2至8.1、或5.5至10。

最后出于规范起见要指出的是，为了更好地理解结构，元件部分不按比例地和/或放大地和/或缩小地示出。

附图标记列表

110 第一图像

111 第一图像

112 第一图像

113 第一图像

114 第一图像

120 第二图像

121 第二图像

122 第二图像

123 第二图像

124 第二图像

200 检测在第一图像中的信息

210 低通滤波器

220 阈值运算

230 找到轮廓

310 在第二图像中检测到的位置

320 传输到第一图像中的信息

330 存储器

350 在第一图像中检测到的附加位置

400 检测在第二图像中的信息

500 训练单类分类器

510 非细胞位置

520 显微检查对象训练数据

530 OCC判定边界

Claims (19)

1.用于检测在图像数据中的显微检查对象的计算机实现方法，

其中，所述图像数据包括以第一对比度拍摄的第一图像(110)和以第二对比度拍摄的第二图像(120)，第一图像(111、112、113、114)中的各一个第一图像和第二图像(121、122、123、124)中的各一个第二图像能彼此对应地关联，所述方法包括：

在第二图像(120)的至少一个第二图像中检测(200)显示显微检查对象的信息(310)；

将所检测到的信息(310)传输(300)到第一图像(110)中对应于第二图像(120)中的所述至少一个第二图像的第一图像上；并且

通过使用所传输的信息(320)在如下第一图像(110)中检测(400)显示显微检查对象的信息(350)，第二图像(120)的所检测到的信息(310)被传输到该第一图像上。

2.根据前述权利要求中任一项所述的方法，其中，在第一图像(110)或第二图像(120)中检测(200、400)显示显微检查对象的信息包括使用经训练的机器学习模型，其中，所述机器学习模型通过具有与第一或第二图像相同的对比度的图像被训练。

3.根据权利要求1所述的方法，其中，

在第一图像中检测(400)显示显微检查对象的信息包括：

利用被传输到第一图像(110)上的信息(320)和第一图像来训练(500)机器学习模型；并且

通过应用经训练的机器学习模型在第一图像(110)中识别显示显微检查对象的信息(350)。

4.根据权利要求2或3所述的方法，其中，所述机器学习模型是人工神经网络、优选是深度人工神经网络。

5.根据权利要求2或3所述的方法，其中，所述机器学习模型是单类分类器，并且所述机器学习模型优选实施为单类特征分类器、单类探测器或具有像素精确定位的模型。

6.根据前述权利要求中任一项所述的方法，其中，所述方法还包括接收用户输入，所述用户输入对所检测到的信息(310)进行修改，其方式为：

校正错误检测的信息，和/或

给出关于对象位置的附加信息。

7.根据前述权利要求中任一项所述的方法，其中，以第一对比度拍摄的第一图像(110)示出所有显微检查对象，而以第二对比度拍摄的第二图像(120)示出确定存在的显微检查对象，但在第二图像中的细胞可能缺失或不完整。

8.根据前述权利要求中任一项所述的方法，其中，在使用表示方式、诸如利用边界形状、优选圆形、多边形、热图、掩膜等的情况下在第一图像(110)和/或第二(120)图像中实施对显示显微检查对象的信息(200、400)的检测。

9.根据前述权利要求中任一项所述的方法，其中，所述方法还包括：

将在第一图像(110)中通过所述信息检测到的显微检查对象分离成从第二图像(120)传输出来的显微检查对象(320)和不是从第二图像(120)传输出来的显微检查对象(350)。

10.根据权利要求9所述的方法，其中，所述方法还包括计算在第二图像(120)中检测到的显微检查对象(310)与在第一图像(110)中检测到的显微检查对象(320、350)的比例。

11.根据权利要求9或10所述的方法，其中，为了确定在第一图像(110)中检测到的细胞是否对应于已经从第二图像(120)传输其信息的细胞，使用相似性度量的阈值。

12.根据权利要求11所述的方法，其中，所述相似性度量是概率度量或者是边界形状、诸如圆形、多边形、热图、掩膜、中点之间的距离等的重叠的度量。

13.根据前述权利要求中任一项所述的方法，其中，第一对比度、第二对比度或这两个对比度是非荧光对比度、荧光对比度或颜色对比度，并且第一图像(110)、第二图像(120)或第一图像(110)和第二图像(120)优选通过明场法、暗场法、相位对比度法、相位梯度对比度法、偏振法、差分干涉对比法、DIC法、光显微术法、数字对比法等中的一种来拍摄。

14.根据前述权利要求中任一项所述的方法，其中，在第一图像(110)和/或第二图像(120)中检测显示显微检查对象的信息(200、400)包括以下中的一个或多个：

使用机器学习模型、优选探测器，

分水岭变换，

基于图像切割的方案，

找到边界形状，

分割，

低通滤波器(210)，

带通滤波器，

高通滤波器，

按照预定参数、诸如面积、密度、圆形度进行过滤，

实施至少一个阈值运算(220)，

找到有关联的轮廓(230)，和/或

类似的图像处理分割方法。

15.根据前述权利要求中任一项所述的方法，其中，传输(300)所检测到显示显微检查对象的信息包括：

传输显示显微检查对象的图像坐标，和/或

传输包含显微检查对象的区域，

其中，所述区域是边界形状，诸如圆形、多边形、热图、掩膜等，和/或

其中，所述区域的大小预先确定，基于在第二图像(120)中检测到的显微检查对象来确定，或基于预先给定的上下文信息、诸如细胞类型、应用、用户输入等来确定。

16.根据前述权利要求中任一项所述的方法，其中，

显示显微检查对象的信息、信息和/或图像的存储格式、和/或信息和/或图像的编码能通过上下文信息来调整，诸如

细胞类型，

应用，

用户输入，

所使用的对比类型，

在图像中的细胞的数量，

细胞密度、优选平均细胞密度，

放大，

像场尺寸，

景深，

物镜的类型，

传感器的类型，

光路中的滤波器的类型，

光路中的其它光学部件的类型，

用于照明的信息，

平均转染率等。

17.用于在图像数据中检测显微检查对象的装置、优选计算机，所述装置被配置用于执行根据前述权利要求中任一项所述的方法的步骤，所述装置包括：

用于接收图像数据的传输装置或用于拍摄图像数据的成像装置，所述成像装置优选被配置用于以不同对比度拍摄图像，并且特别优选是显微镜，

其中，所述图像数据包括以第一对比度拍摄的第一图像和以第二对比度拍摄的第二图像，其中，第一图像中的各一个第一图像和第二图像中的各一个第二图像能彼此对应地关联；

用于在第一图像和第二图像中检测显示显微检查对象的信息的检测装置；

用于在两个彼此对应的图像之间传输所检测到的信息的传输装置；并且

所述检测装置被配置用于在检测时考虑所传输的信息。

18.具有用于数据处理装置的程序的计算机程序产品，该计算机程序产品包括软件代码段，所述软件代码段用于当在数据处理装置上执行所述程序时执行根据权利要求1至16中任一项所述的步骤。

19.根据权利要求18所述的计算机程序产品，其中，所述计算机程序产品包括计算机可读介质，在所述计算机可读介质上存储所述软件代码段，其中，所述程序能直接被加载到数据处理装置的内部存储器中。

Images