CN115937078A - 对用于细胞计数或用于测定细胞融合的机器学习算法的训练 - Google Patents

Abstract

本公开的不同实施例涉及与训练机器学习算法相关的多个方面，所述机器学习算法被配置为用于对显微图像中的细胞计数或者测定细胞的融合度。

Description

对用于细胞计数或用于测定细胞融合的机器学习算法的训练

技术领域

本发明的不同实施例涉及用于分析将细胞成像的光学显微镜图像的技术。例如可以估算细胞的数量和/或融合度。

背景技术

在研究细胞培养时通常需要将样品的某些特性量化。例如可能需要测定细胞数量的估算值或者测定细胞融合度的估算值。融合度在此是指被细胞覆盖的样品表面的比例。

通常借助于光学显微镜图像(显微图像)由使用者的简单的视觉估计来测定融合度的估算值。这样的估算是不准确的。此外难以将随时间的变化量化。

例如可以在显微镜的视场中或者还可以在整个样品区域中测定细胞的数量。为此可以由使用者对细胞数量进行手动计数，这是复杂、费时且容易出错的。

用于测定细胞数量和/或融合度的估算值的手动技术具有特定的缺点：例如此类手动估算可能是相对费时的。这有时可能是有问题的，因为在对应的实验期间响应于细胞数量和/或融合度的变化，可能需要特定的与细胞培养互动的行动。

用于测定细胞数量和/或融合度的估算值的自动技术也是已知的。在此例如可以对于光学显微镜图像的对比度确定阈值，并且然后对于具有相应对比度的每一个图像点与该阈值进行比较，以便判断相应的图像点是将细胞成像还是背景成像。

在此类基于阈值的用于测定细胞数量和/或融合度的估算值的技术中通常需要由使用者来适当地设定对应的分析算法的参数值。分析算法的这种参数化可能要求经验知识并且由此是容易出错的。另外，由此延缓了分析过程。

发明内容

因此，需要改进的用于分析使细胞成像的显微图像的技术，所述技术涉及与细胞相关联的一种或多种可观察对象(Observablen)。

这个目的由独立专利权利要求的特征来实现。从属权利要求的特征定义了各实施方式。

一种计算机实现的方法包括获得光学显微镜图像。光学显微镜图像将多个细胞成像。该方法还包括适配该光学显微镜图像的大小，使得该多个细胞的预定的细胞结构的大小对应于预定的参考值。另外，该方法包括基于该光学显微镜图像来测定细胞数量的估算值；替代地或附加地，该方法包括测定细胞融合度的估算值。

一种计算机程序或计算机程序产品或计算机可读的存储介质包括程序代码。该程序代码可以被处理器加载并执行。当处理器执行程序代码时，该程序代码促使处理器实施一种方法。该方法包括获得光学显微镜图像。光学显微镜图像将多个细胞成像。该方法还包括适配该光学显微镜图像的大小，使得该多个细胞的预定的细胞结构的大小对应于预定的参考值。另外，该方法包括基于该光学显微镜图像来测定细胞数量的估算值；替代地或附加地，该方法包括测定细胞融合度的估算值。

一种设备包括处理器。该处理器被配置为用于获得光学显微镜图像。该光学显微镜图像将多个细胞成像。该处理器还被配置为用于适配该光学显微镜图像的大小，使得该多个细胞的预定的细胞结构的大小对应于预定的参考值。该处理器还被配置为用于基于该光学显微镜图像来测定细胞数量的估算值。替代地或附加地，该处理器被配置为用于测定细胞融合度的估算值。

一种计算机实现的方法包括获得光学显微镜图像。该光学显微镜图像将多个细胞成像。另外，该方法包括基于该光学显微镜图像来测定细胞数量或细胞融合度的估算值。该方法还包括对细胞数量的估算值和细胞融合度的估算值进行合理性交叉验证。

一种计算机程序或计算机程序产品或计算机可读的存储介质包括程序代码。该程序代码可以被处理器加载并执行。当处理器执行程序代码时，该程序代码促使处理器实施一种方法。该方法包括获得光学显微镜图像。该光学显微镜图像将多个细胞成像。另外，该方法包括基于该光学显微镜图像来测定细胞数量或细胞融合度的估算值。该方法还包括对细胞数量的估算值和细胞融合度的估算值进行合理性交叉验证。

一种设备包括处理器。该处理器被配置为用于获得使多个细胞成像的光学显微镜图像。另外，该处理器被配置为用于基于该光学显微镜图像来测定细胞数量以及细胞融合度的估算值。另外，该处理器被配置为用于对细胞数量的估算值和细胞融合度的估算值进行合理性交叉验证。

一种计算机实现的方法包括获得光学显微镜图像。该光学显微镜图像将多个细胞种类的多个细胞成像。另外，该计算机实现的方法包括在使用至少一种机器学习算法的多个机器学习处理路径的情况下测定该光学显微镜图像的多个密度图。该多个处理路径在此被指配给该多个细胞种类。该多个密度图分别对是否存在对应细胞种类的细胞的概率进行编码。该方法还包括基于该多个密度图并且对于该多个细胞种类中的每一个细胞种类来测定相应细胞的数量和/或相应细胞的融合度的估算值。

一种计算机程序或计算机程序产品或计算机可读的存储介质包括程序代码。该程序代码可以被处理器加载并执行。当处理器执行程序代码时，该程序代码促使处理器实施一种方法。该方法包括获得光学显微镜图像。该光学显微镜图像将多个细胞种类的多个细胞成像。另外，该计算机实现的方法包括在使用至少一种机器学习算法的多个机器学习处理路径的情况下测定该光学显微镜图像的多个密度图。该多个处理路径在此被指配给该多个细胞种类。该多个密度图分别对是否存在对应细胞种类的细胞的概率进行编码。该方法还包括基于该多个密度图并且对于该多个细胞种类中的每一个细胞种类来测定相应细胞的数量和/或相应细胞的融合度的估算值。

一种设备包括处理器。该处理器被配置为用于获得使多个细胞种类的多个细胞成像的光学显微镜图像。另外，该处理器被配置为用于在使用至少一种机器学习算法的多个机器学习处理路径的情况下测定该光学显微镜图像的多个密度图。在此，该多个处理路径被指配给该多个细胞种类。该多个密度图分别对是否存在对应细胞种类的细胞的概率进行编码。另外，该处理器被配置为用于基于该多个密度图并且对于该多个细胞种类中的每一个细胞种类来测定相应细胞的数量和/或融合度的对应估算值。

一种计算机实现的方法包括获得光学显微镜图像。光学显微镜图像将多个细胞种类的多个细胞成像。另外，该方法包括在使用至少一种机器学习算法的情况下测定该光学显微镜图像的聚合密度图。该聚合密度图对于每一个细胞种类通过对应的值域对是否存在对应细胞的概率进行编码。另外，该方法包括基于该聚合密度图对于该多个细胞种类中的每一个细胞种类来测定相应细胞的数量和/或融合度的估算值。

一种计算机程序或计算机程序产品或计算机可读的存储介质包括程序代码。该程序代码可以被处理器加载并执行。当处理器执行程序代码时，该程序代码促使处理器实施一种方法。该方法包括获得光学显微镜图像。光学显微镜图像将多个细胞种类的多个细胞成像。另外，该方法包括在使用至少一种机器学习算法的情况下测定该光学显微镜图像的聚合密度图。该聚合密度图对于每一个细胞种类通过对应的值域对是否存在对应细胞的概率进行编码。另外，该方法包括基于该聚合密度图对于该多个细胞种类中的每一个细胞种类来测定相应细胞的数量和/或融合度的估算值。

一种设备包括处理器。该处理器被配置为用于获得使多个细胞种类的多个细胞成像的光学显微镜图像。另外，该处理器被配置为用于在使用至少一种机器学习算法的情况下测定该光学显微镜图像的聚合密度图。该聚合密度图对于每一个细胞种类通过对应的值域对是否存在对应细胞的概率进行编码。另外，该处理器被配置为用于基于该聚合密度图对于该多个细胞种类中的每一个细胞种类来测定相应细胞的数量和/或融合度的估算值。

一种计算机实现的方法包括获得使多个细胞种类的多个细胞成像的光学显微镜图像。该方法还包括在使用第一机器学习处理路径的情况下测定该光学显微镜图像的密度图，其中该密度图与该细胞种类无关地对是否存在细胞的概率进行编码。另外，该方法包括在使用第二机器学习处理路径的情况下基于该光学显微镜图像来测定该多个细胞中的细胞的细胞种类。该方法还包括在该密度图中标识细胞种类；以及基于该密度图和该标识并且对于该多个细胞种类中的每一个细胞种类来测定相应细胞的数量和/或融合度的估算值。一种计算机程序或计算机程序产品或计算机可读的存储介质包括程序代码。该程序代码可以被处理器加载并执行。当处理器执行程序代码时，该程序代码促使处理器实施一种方法。该方法包括获得使多个细胞种类的多个细胞成像的光学显微镜图像。该方法还包括在使用第一机器学习处理路径的情况下测定该光学显微镜图像的密度图，其中该密度图与该细胞种类无关地对是否存在细胞的概率进行编码。另外，该方法包括在使用第二机器学习处理路径的情况下基于该光学显微镜图像来测定该多个细胞中的细胞的细胞种类。该方法还包括在该密度图中标识细胞种类；以及基于该密度图和该标识并且对于该多个细胞种类中的每一个细胞种类来测定相应细胞的数量和/或融合度的估算值。

一种设备包括处理器。该处理器被配置为用于获得使多个细胞种类的多个细胞成像的光学显微镜图像。另外，该处理器被配置为用于在使用至少一种机器学习算法的情况下测定该光学显微镜图像的密度图。这个密度图与该细胞种类无关地对是否存在细胞的概率进行编码。另外，该处理器被配置为用于，确切地说在使用第二机器学习处理路径的情况下，基于该光学显微镜图像来测定该多个细胞中的细胞的细胞种类。该处理器还被配置为用于在该密度图中标识细胞种类。另外，该处理器被配置为用于基于该密度图和该标识并且对于该多个细胞种类中的每一个细胞种类来测定相应细胞的数量和/或融合度的估算值。

一种计算机实现的方法包括获得使多个细胞种类的多个细胞成像的光学显微镜图像。另外，该计算机实现的方法包括在使用至少一种机器学习算法的情况下测定该光学显微镜图像的密度图。在此该密度图与该细胞种类无关地对是否存在细胞的概率进行编码。另外，该方法包括基于该密度图获取该细胞的位置并且基于该细胞的位置测定该光学显微镜图像的图像局部。该方法包括对于每一个图像局部将相应的细胞分类以便确定相应的细胞种类，以及在该密度图中标识该细胞种类。另外，该方法包括基于该密度图和该标识并且对于该多个细胞种类中的每一个细胞种类来测定相应细胞的数量和/或相应细胞的融合度的估算值。

一种计算机程序或计算机程序产品或计算机可读的存储介质包括程序代码。该程序代码可以被处理器加载并执行。当处理器执行程序代码时，该程序代码促使处理器实施一种方法。该方法包括获得使多个细胞种类的多个细胞成像的光学显微镜图像。另外，该计算机实现的方法包括在使用至少一种机器学习算法的情况下测定该光学显微镜图像的密度图。在此该密度图与该细胞种类无关地对是否存在细胞的概率进行编码。另外，该方法包括基于该密度图获取该细胞的位置并且基于该细胞的位置测定该光学显微镜图像的图像局部。该方法包括对于每一个图像局部将相应的细胞分类以便确定相应的细胞种类，以及在该密度图中标识该细胞种类。另外，该方法包括基于该密度图和该标识并且对于该多个细胞种类中的每一个细胞种类来测定相应细胞的数量和/或相应细胞的融合度的估算值。

一种设备包括处理器。该处理器被配置为用于获得光学显微镜图像。该光学显微镜图像将多个细胞种类的多个细胞成像。另外，该处理器被配置为用于在使用至少一种机器学习算法的情况下测定该光学显微镜图像的密度图。该密度图与该细胞种类无关地对是否存在细胞的概率进行编码。另外，该处理器被配置为用于基于该密度图获取该细胞的位置并且基于该细胞的位置测定该光学显微镜图像的图像局部。另外，该处理器被配置为用于对于每一个图像局部将相应的细胞分类，以便确定相应的细胞种类。该处理器还被配置为用于在该密度图中标识该细胞种类并且基于该密度图、该标识并且对于该多个细胞种类中的每一个细胞种类来测定相应细胞的数量和/或融合度的估算值。

一种计算机实现的方法包括获得具有多个信道的光学显微镜图像。该多个信道分别以相应的对比度使多个细胞成像。该多个信道中的至少一个参考信道包括相应的荧光图像，该荧光图像以对于相应的发荧光的细胞结构而言特异的对比度使该多个细胞成像。该方法还包括基于该至少一个参考信道的荧光图像来自动测定密度图和/或融合图。该密度图对是否存在细胞的概率进行编码。该融合图对融合区域进行遮盖。该方法还包括基于作为训练输入的该多个信道中的训练信道以及作为真实值的该密度图和/或融合图来训练至少一种机器学习算法。

一种计算机程序或计算机程序产品或计算机可读的存储介质包括程序代码。该程序代码可以被处理器加载并执行。当处理器执行程序代码时，该程序代码促使处理器实施一种方法。该方法包括获得具有多个信道的光学显微镜图像。该多个信道分别以相应的对比度使多个细胞成像。该多个信道中的至少一个参考信道包括相应的荧光图像，该荧光图像以对于相应的发荧光的细胞结构而言特异的对比度使该多个细胞成像。该方法还包括基于该至少一个参考信道的荧光图像来自动测定密度图和/或融合图。该密度图对是否存在细胞的概率进行编码。该融合图对融合区域进行遮盖。该方法还包括基于作为训练输入的该多个信道中的训练信道以及作为真实值的该密度图和/或融合图来训练至少一种机器学习算法。

一种设备包括处理器。该处理器被配置为用于获得具有多个信道的光学显微镜图像。该多个信道分别以相应的对比度使多个细胞成像。该多个信道中的至少一个参考信道包括相应的荧光图像，该荧光图像以对于相应的发荧光的细胞结构而言特异的对比度使该多个细胞成像。该处理器还被配置为用于基于该至少一个参考信道的荧光图像来自动测定密度图和/或融合图，其中该密度图对是否存在细胞的概率进行编码。该融合图对融合区域进行遮盖。该处理器被配置为用于基于作为训练输入的该多个信道中的训练信道以及作为真实值的该密度图和/或融合图来训练至少一种机器学习算法。

上文展示的特征和下文将说明的特征不仅可以以明确展示的对应的组合使用，而且还可以以其他组合或分开地使用，而不会偏离本发明的保护范围。

附图说明

图1示意性展示了根据不同实施例的设备，所述设备用于结合对使细胞成像的显微图像的分析来进行数据处理。

图2为示例性方法的流程图。

图3为示例性的显微图像。

图4为对于来自图3的显微图像对是否存在细胞进行编码的示例性密度图。

图5为示例性的显微图像。

图6为对于来自图5的显微图像遮盖了融合区域的示例性融合图。

图7为示例性方法的流程图。

图8为示例性方法的流程图。

图9为示例性方法的流程图。

图10示意性展示了用于测定密度图的示例性数据处理方式。

图11示意性展示了用于测定密度图的示例性数据处理方式。

图12示意性展示了用于测定密度图的示例性数据处理方式。

图13示意性展示了用于测定密度图的示例性数据处理方式。

图14示意性展示了根据不同实施例用于估算细胞数量和融合度的数据处理方式。

图15示意性展示了根据不同实施例用于训练用来估算细胞数量的机器学习算法的数据处理方式。

具体实施方式

上文所描述的本发明的特性、特征和优点以及其实现方式，在结合以下结合附图详细阐释的对实施例的说明的情况下将变得清楚且更容易理解。

下面借助优选实施方式并且参考附图来详细解说本发明。在这些附图中，相同的附图标记表示相同或相似的元件。附图是本发明的各种实施方式的示意性代表。在附图中所示的部件并不一定是按比例展示的。而是以如下方式重现在图中展示的不同元件，使得本领域技术人员可以理解其功能和一般目的。在图中展示的在功能单元和元件之间的连接和偶联还可以被实现为间接连接或偶联。连接或偶联可以以有线或无线方式实现。功能单元可以被实现为硬件、软件或者硬件与软件的组合。

下文中将说明用于分析使多个细胞成像的显微图像的技术。根据本文说明的技术，例如可以对细胞培养进行研究。可以将细胞或细胞培养的特性量化。

例如可以借助于本文说明的技术来测定细胞数量的估算值。替代地或附加地，还可以测定细胞的融合度——也就是说细胞对样品表面的覆盖度——的估算值。

理论上，此类估算值可以涉及光学显微镜图像的视场或涉及整个样品。

本文说明的技术尤其能够实现全自动化的或至少半自动化的分析。本文说明的技术能够实现以高准确度测定估算值。另外，借助于本文说明的技术可以以特别高的计算效率进行分析。由此例如可以实现，还在移动设备上进行分析，而不需要具有特殊硬件的计算机。例如可能的是，在光学显微镜的集成芯片上进行本文所说明的分析(“装置上”实现)。

在某些实施例中可以出现以下情况，一张光学显微镜图像使多个细胞种类成像。不同的细胞种类可以例如由不同类别的细胞(例如神经细胞对肌肉细胞)而得出。但是不同的细胞种类还可以由处于不同生命阶段的相同类别的细胞(例如活细胞对死细胞)而得出。不同的细胞种类可以具有不同的大小。

不同的细胞种类还可以在预定义的层级中彼此关联。例如可以在预定义的层级中的最高层级上在“正常的”和“分离的”细胞种类之间进行区分；然后在下一个较低层级上，对于“分离的”细胞种类可以在“死亡的”和“有丝分裂”之间进行区分或者对于活细胞可以在不同的细胞周期阶段之间进行区分；在下一个较低层级上，对于“死亡的”可以在“坏死”和“凋亡”之间进行区分。这只是一个例子，其他的细胞种类和其他的层级是可设想的。

附着型细胞培养物在基质上生长，悬浮细胞漂浮在水性介质中。细胞通过细胞分裂随时间增殖。但是细胞也会死亡。凋亡的细胞、已经死亡的细胞还有有丝分裂的细胞在相位对比度中通常非常难以区别。存在不同的标记物或染色方式以允许对细胞状态进行区分。在此例如用台盼蓝来区分活细胞和死细胞，还用荧光标记物来标记死细胞或凋亡的细胞。处于细胞分裂或有丝分裂过程中的细胞同样可以通过适当的标记物来标识。

不同的细胞种类例如可以为：分离的对未分离的；活的对死的；有丝分裂对凋亡；不同的细胞类型

根据本文说明的技术理论上可以对于不同的细胞种类进行分析。尤其例如可以对于不同的细胞种类选择性地测定不同的定量的估算值。

本文说明的不同实施例是基于使用一种或多种机器学习(ML)算法来测定与细胞相关的估算值。在不同的实施例中在此可以使用不同类型的机器学习算法。在此，例如可以使用人工神经网络(KNN)。人工神经网络包括多个层，这些层执行不同的操作。人工神经网络的一个例子是卷积网络(英文：convolutional neural network)，其中使用利用核对输入值执行卷积的卷积层。不同的层可以经由适合的权重而彼此相连。非线性激活是可设想的。可以进行池化操作：此时丢弃了一些信息。一个例子是最大池化，其中仅保留区域(例如2×2的神经)中的最大值。人工神经网络可以具有前馈架构。在此，一个层的结果总是仅转发给另一个层。当存在所谓的跳跃连接时，一个层的输出可以转发给多个后续的层。理论上可以使用不同种类的人工神经网络，例如尤其还有生成式对抗网络(GAN)或自编码器网络例如变分自编码器网络。

图1示意性展示了根据不同实施例的系统100。系统100包括设备101。设备101用于分析显微图像。设备101可以例如为计算机或服务器。设备101包括处理器102和存储器103。设备101还包括接口104。经由接口104，设备101可以从一个或多个成像设备111、112接收图像数据、例如显微图像。处理器102还可以经由接口104将控制数据发送给该一个或多个成像设备111、112，以便控制其采集图像数据。借助于控制数据，处理器102还可以设定一个或多个成像参数的值，例如照明参数的值。

一般而言，处理器102可以被配置为用于从存储器103加载并执行控制指令。当处理器102加载并执行控制指令时，这使得处理器102实施如本文中说明的技术。此类技术例如操控成像设备111和任选地成像设备112，以便采集图像数据。例如，处理器102可以被配置为用于操控成像设备111，以便在观察时间段期间借助于显微成像来获取样品的多个显微图像。处理器102可以被配置为用于测定细胞的数量和/或融合度的估算值。处理器102可以被配置为用于基于表示先验知识的训练数据和标签来训练机器学习算法。

理论上可以将不同的成像模态用于在本文说明的实施例中待分析的显微图像。这些不同的成像模态可以由一个或多个成像设备、如成像设备111、112实现。示例性的成像模态例如涉及透射光对比度(无荧光)。例如尤其可以使用相位对比度。可以使用广域对比度。还可以使用亮场对比度。另一种成像模态提供了荧光对比度。例如可以使用荧光标记物来对某些细胞结构进行特异性染色。例如可以将细胞核或细胞骨架染色。还可以设想的是将图像对比度用作成像模态。例如可以借助于倾斜的光照来产生数字式相位对比度。可能的是，取决于所希望的分析来适配数字图像对比度。有时还可以将不同的对比度编码为图像的不同信道。然后，可以选择一个或多个信道用于后续的分析。例如可以将不同的信道与标识不同细胞结构的不同荧光波长相关联。然后，可以选择一个或多个信道用于特定的分析任务，例如测定数量的估算值或者测定融合度的估算值。当对于一个样品有多个互相注册的具有不同成像模态的图像可用时，可能的是自动选择特别适合于后续分析的那种对比度。任选地还可能的是，对于不同的对比度并行地进行分析并且随后将结果相互对比或聚合。

图2为示例性方法的流程图。例如，来自图2的方法可以至少部分由设备101的处理器102实施。

图2展示了与分析显微图像的不同阶段相结合的多个方面。

在框3005中对一个或多个机器学习算法进行训练，该一个或多个算法用于评估或分析显微图像，以便例如测定所成像的细胞的数量和/或融合度的估算值。即，在训练的背景下，由对应的机器学习算法来测定参数值。

这可以以迭代优化的方式进行，该迭代优化使某一目标函数最大化或最小化，同时考虑到训练数据——也就是说训练显微图像，将先验知识或真实值(英文“groundtruth”)以标签的形式指配给这些训练显微图像。例如可以与人工神经网络相结合地采用反向传播技术。在此可以使用梯度下降法来设定人工神经网络的不同层的权重。

标签可以由专家手动给定。但是还可设想的是，自动生成标签。另外，可以使用附加的图像对比度，尤其荧光对比度。这样的附加的图像对比度可以仅在训练期间可用。

可以扩展训练数据，其方式为例如模拟伪影(如划痕、灰尘、泥土)并且与训练显微图像叠加。可以扩展训练数据以便实现更准确的训练。例如可以添加伪影，例如对细胞培养物的细菌或真菌感染。这样可以提供机器学习分析算法的稳健性。

不同的分析算法——如用于测定数量的估算值和用于测定融合度的估算值——可以共同地或分开地训练。

在某些实施例中，可以设想用损失函数进行共同训练，该损失函数强制实现在数量与融合度的估算值之间的一致性。损失函数例如可以对在融合区域中不存在细胞罚分和/或对在融合区域中存在细胞加分。损失函数例如可以对在融合区域之内细胞的方位空间密度的方差罚分。即，这意味着，可以检验：选择性地在融合区域之内观察的细胞的方位空间密度是否作为方位的函数而改变。如果存在这样的显著变化，则可能暗示，细胞的数量或融合度或者两者都可能被错误地估算。

框3005的一种可能的详细的实现方式稍后将结合图8进行说明。

在训练完成之后，随后可以是在框3010中进行推断，也就是说在没有先验知识的情况下测定估算值。但是在某些实施例中还可以重复进行训练，例如与框3010中的推断相连。由此可以连续改进一个或多个人工神经网络或者其他机器学习算法。例如可以经由人机接口实现用户互动，该人机接口查询所测定的估算值是否有效。

然后在框3010中应用在框3005中训练的一种或多种机器学习算法。这意味着，在没有先验知识的情况下对与所成像的细胞相关联的某些可观察对象的估算值进行测定。例如可以基于光学显微镜图像来测定细胞的数量的估算值和/或细胞的融合度的估算值。

在某些实施例中，可以对于不同的细胞种类解析式地进行(例如对细胞数量和/或融合度的)估算。例如可以对死细胞和活细胞分开计数。例如可设想的是，将分离的和未分离的细胞分开计数。可能的是，将有丝分裂中的细胞和凋亡中的细胞分开计数。

框3010中的估算可以由关联信息支持。关联信息可以自动或手动地确定。示例性的关联信息包括：较早的估算值；使用者；细胞种类；所使用的成像模态；成像设备的物镜的放大系数；物镜类型；摄影机或摄影机适配器；显微设定。

例如可设想的是，基于这类附加信息来对估算的结果进行合理性验证。例如在成像模态或成像参数没有变化的情况下数量和/或融合度的估算值的突然跃变可能是不合理的。

可能的是，使用者可以经由人机接口(MMI)——典型地图形用户界面(GUI)——启动和/或中断分析。例如当估算值偏离某些预定范围时，例如由于估算值不可靠，或者当达到某一置信度水平时，还可以自动中断分析。

然后在框3015中可以基于在框3010中测定的该一个或多个估算值来任选地进行应用。下面展示若干场景。

在一个变体中，将细胞数量的估算值和/或融合度的估算值经由MMI输出给使用者。例如可以以图形方式显示这些值，如与显微图像一起。显微图像可以以其原始大小输出，也就是说可以被反向缩放或者可以将副本以未缩放的方式保存在存储器中并且然后将其输出。估算值可以作为与显微图像的叠加部分被显示在GUI中。例如可以将细胞中心点和/或融合区域叠加到显微图像上，例如以可设定的透明度。例如可以检测图像序列，如利用固定的图像刷新速率。然后可以反复测定估算值并且分别与图像序列中的相关图像一起显示。即，尤其可以以图像刷新速率来重新测定估算值，即例如实时测定。

例如可以检验，细胞的数量是否超过某一阈值。例如可以检验，在图像局部中或者在整个样品中的细胞数量是否超过某一阈值。如果细胞的数量过少——例如因为图像局部选择得过小或者因为样品仅包含少量细胞——可以触发自动工作流程，该工作流程促使获取其他图像，例如在其他位置和/或用其他放大系数。

除了估算值之外，例如还可以输出估算值的置信度或可靠性。例如可以以空间解析方式给出置信度水平，例如可以在显微图像中突出显示此类特别的区域，其中细胞数量的估算值和/或融合度的估算值与较大的不准确性相关。

该一个或多个估算值可以与工作流程结合使用。例如可以取决于细胞的数量和/或融合度的估算值来触发一个或多个显微测量动作。例如可以触发进一步采集图像，例如用某些成像参数。如果例如高于或低于某一融合度，则可以自动获取光学显微镜图像。为此可以经由通信接口来操控对应的成像设备(参照图1：成像设备111、112和接口104)。可以有选择地输出警告。可以有选择地将测量报告扩展出一个条目。

该一个或多个估算值可以存储在对应光学显微镜图像的元数据(例如头部信息)中。作为一般规则，附加于或替代于数量和/或融合度的估算值，还可以在图像的元数据中存储其他信息。例如可以在元数据中存储物镜的放大率。可以在元数据中存储物镜的类型。可以在元数据中存储图像获取单元的类型，例如摄影机或摄影机适配器的类型。可以在元数据中存储样品载体的类型。此类数据例如可以被自动测定或者手动查询。

还可以进行该一个或多个估算值与较早的估算值的对比。这样可以例如测定细胞数量的估算值和/或融合度的估算值的时间曲线。例如可以获得变化率。

细胞计数可以用于估算细胞的密集度。例如可设想的是，测定样品上的细胞总数的估算值。为此例如可以估算细胞的密度并且与作为先验知识的样品的已知面积相乘。样品的面积可以由样品载体的几何形状获得。样品载体可以被自动识别或者由使用者指定。还可以与“纽包尔室(Neubauer-Kammer)”结合应用。例如可以自动识别细胞是否漂浮在悬浮液中。当细胞数量的估算结果足够准确时，使用纽包尔室可能不是必要的。细胞数量的估算值还可以用于检验，何种比例的细胞在分离步骤(例如用胰蛋白酶)之后仍然保持附着在样品载体上。

在不同的实施例中可设想的是，取决于细胞的数量和/或融合度的估算值来触发某一分析操作。此类分析操作的例子包括例如纵向分析(也就是说测定随时间的变化)；总数估算(也就是说估计在整个样品区域中的细胞数量)；细胞周期分析(也就是说测定细胞在细胞周期中的阶段)；细胞生长分析(也就是说测定作为时间的函数的大小变化)。例如可以获得细胞预先完成生长的时间点或已经要转移到新样品上的时间点。例如可以从融合度的估算值的时间系列来测定细胞生长曲线。例如可以测定细胞培养物的适应性指数。这例如可以基于对于不同细胞种类的数量估算值与融合度估算值的对比。如果例如存在较大比例的死细胞，则适应性可能是较低的。如果例如存在大量处于某一细胞阶段的细胞，则适应性可能是较低的。

即，在某些实施例中，在框3015中的应用可以区分不同的细胞种类。尤其当已经对于不同细胞种类(例如活细胞对死细胞等等)分开地估算了数量和/或融合度时，这尤其是有效的。

如果涉及不同细胞种类的信息是可用的，则例如可以从对于不同细胞种类的对应估算值的对比来推导出关于细胞培养物状态的结论。细胞培养物的状态还可以以时间解析的方式在某一时间段上获得。对应的统计数据可以输出给使用者。

只要例如属于不同细胞种类的细胞的定位是可用的，就可以局部地进行进一步研究。例如可以针对性地选择处于有丝分裂中的细胞。

依据细胞培养物的状态，可以触发自动或半自动的工作流程。例如当所获取的显微图像的时间系列期间超过了死细胞相对于活细胞的一定比例时，可以对使用者输出警告。

活细胞的数量可以以空间解析的方式测定。也就是说，在恶化的状态下可以在样品的不同区域上对活细胞进行计数。这可以用作在传代时的稀释计算的基础。

图3展示了示例性的显微图像91。可以看到多个细胞。尤其可以看到多个细胞种类，即活细胞和死细胞。这两个细胞种类分别用箭头标记。

基于这样的显微图像，如示例性的光学显微镜图像91，可以任选地对于不同细胞种类分开地测定细胞数量的估算值和/或融合度的估算值。

理论上存在不同的选项来测定细胞数量的估算值和/或融合度的估算值。例如可以使用对细胞的存在与否进行编码的细胞指示物代表。可以使用显示细胞中心点的图。可以使用检测器结果清单。

根据不同的实施例，可以尤其基于密度图来测定细胞数量的估算值和/或融合度的估算值。对于图3上的显微图像91，这样的密度图在图4中示出。

图4示意性展示了密度图92。在图4的实施例中，对于来自图3的光学显微镜图像91建立了密度图92。密度图通过对比度来标识是否存在细胞的概率。在根据所示实施例的密度图92中，为此分别将预定的密度分布在细胞几何中心点的位置处定中心。例如可以使用高斯钟形曲线(“高斯核”)作为预定的密度分布。从图4中可以看到，高斯钟形曲线的半峰宽度明显小于典型的细胞直径。

在活细胞的高斯钟形曲线中的每一条曲线上的局部方位空间积分例如可以产生为1的值。由此可以实现，在整个密度图92上的方位空间积分等于细胞数量。在任何情况下都可以基于方位空间积分来估计细胞数量。

在图4中可以看到，预定的密度分布对于显微图像91的不同的细胞种类——即活细胞和死细胞——具有不同的值域(用白色和黑色编码)。这基本上是可选的。

图5示出显微图像92的另一个实施例。在图5的实施例中用荧光对比度作为成像模态来获取光学显微镜图像92。

图6展示了融合图96，该融合图属于来自图5的光学显微镜图像92。融合图对融合区域、也就是说有细胞排列的区域进行遮盖(图6中的白色对比度)。融合度的估算值可以基于融合图96来测定。

图7为示例性方法的流程图。图7展示了用显微图像的数字分析来估算由显微图像成像的细胞的数量和/或融合度的方面。例如，来自图7的方法可以由数据处理装置实施，该数据处理装置与显微镜处于通信连接。来自图7的方法例如可以由设备101实施，尤其由处理器102基于程序代码实施，处理器102将程序代码从存储器103中加载并执行。

图7的方法用于分析显微图像，如结合图3和5所讨论的。借助于图7的方法尤其可以测定细胞数量的估算值和/或细胞融合度的估算值。

图7可以例如实现框3010。

理论上可设想的是，由使用者选择该一个或多个估算数值。但是还可能的是，有选择地激活对细胞数量的估算和/或对细胞融合度的估算，如基于所使用的显微镜的工作模式，从而获取光学显微镜图像，或者基于所使用的成像模态(这可以例如从显微图像中的元信息推导出来)。例如可设想的是，在使用标记细胞核的荧光对比度作为成像模态时不需要估算融合度，并且自动地仅仅激活对细胞数量的估算。

理论上可以基于预定的设定、例如细胞种类或成像模态来自动确定激活对细胞数量的估算和/或对融合度的估算。

还可以基于元数据来选择适当的估计值。例如可以基于图像或图像获取设定的元数据来选择是否进行对细胞数量的估算和/或对融合度的估算。还可以借助于预处理算法来进行对图像内容的粗略分析并且基于这个前置的分析来选择用于测定细胞数量的估算值和/或用于测定融合度的分析算法。还可以经由条形码来提供元数据。由使用者选择是可设想的。

在本文说明的不同实施例中可以使用不同的分析算法。例如可以使用具有经验式参数化的基于阈值的分析算法。还可以使用机器学习分析算法。可以使用采用密度图和/或融合图的分析算法。

当多种分析算法可用于测定例如细胞数量和/或融合度的估算值时，可以在使用不同分析算法的情况下测定独立的估算值。然后可以将其聚合。

首先，在框3105中获得使多个细胞成像的显微图像(典型地光学显微图像)。这例如可以包括经由通信接口来操控成像设备，使得成像设备采集图像(参见图1：成像设备111、112)。

图像采集例如可以由使用者主动触发，如在图形用户界面中点击对应的按钮。采集显微图像也可以自动触发，如根据预定的时间计划。例如当改变一个或多个成像参数时可以例如自动触发图像采集。例如当如由于样品支架移动而改变视场时，可以自动触发图像采集。当更换样品时可以触发自动图像采集。当更换物镜时可以触发自动图像采集。

例如可以取决于样品载体来确定待采集图像的数量和/或用于待采集图像的样品台的位置。例如可以使用标准化的样品载体，例如多孔位板。在这样的工作方式中，可以将对于某一样品台位置的分析算法的结果外推到其他样品区域。

例如可设想的是，在已经将另外的显微图像认为是不可用之后，在框3105中获得显微图像；尤其可以响应于另外的显微图像的不可用性来获得显微图像。在此，理论上存在确定可用性的不同的指标。例如可以规定，在另外的显微图像中可见的细胞数量低于某一阈值。这意味着，在另外的显微图像中仅只能看到相对少量细胞或完全没有看到细胞。然后可以响应于此在框3105中获得显微图像。为了测定细胞数量的估算值，可以使用本文说明的技术，参见例如图10至图13。例如可以在样品的不同位置处采集该显微图像或该另外的显微图像。即，为了采集显微图像，可以移动显微镜的样品台。

还可以从数据库中加载或从存储器中加载显微图像。

任选地可设想的是，对显微图像的品质进行评分。基于评分可以确定显微图像是否适合用于支持后续的分析操作。这意味着，可以检验显微图像是否能够以足够的准确度来测定细胞数量的估算值和/或融合度的估算值。如果例如确定品质不足，则可以使用以下选项：例如可以完全停止执行后续的用于分析的框。还可能的是，例如仅估算细胞数量，但不估算融合度，或者反之。替代地或附加地，可以启动新的图像采集，例如用经适配的图像采集参数。还可能的是，向使用者输出警告或者询问使用者应如何继续进行。对图像品质的此类评估的结果可以被存储在图像的元数据中。例如可以通过识别划痕或泥土对品质进行评分。为此可以使用适合的品质评分算法。理论上存在不同的可能性来评估图像品质。例如可能的是检验边缘清晰度是否超过某一阈值。可以检验样品是处于焦点上或是以离焦方式被布置。还可以测定细胞种类并且随后可以测定所希望的分析是否适用于这种细胞种类。替代地或附加地，可以检验光学显微镜图像中是否存在噪声、脏污、伪影等。

在框3105中获得显微图像还可以包括自动选择适合的成像对比度或适合的成像模态。例如可设想的是，当存在多种对比度时选择一种适合的对比度。例如可以依据任务，例如是否应估算数量或估算融合度或者某一以此为基础的应用(参见框3015)，来选择另一种对比度。可以存在对应的查找表。即，获得光学显微镜图像一般可以包括从具有不同对比度的多个光学显微镜图像中选择光学显微镜图像。

然后可以在框3110中任选地对来自框3105的显微图像的大小进行适配。尤其可以对大小进行适配，使得某一预定细胞结构——如细胞核或平均细胞直径——的大小对应于预定的参考值。这意味着，可以将显微图像重新缩放。获得了重新缩放的显微图像，该显微图像随后可以作为图7中的后续框的基础。

在此理论上存在不同的可能性来在框3110中对显微图像的大小进行适配。例如可以设想的是，使用对应的机器学习算法(重新缩放算法)，该机器学习算法借助于基于光学显微镜图像的图像到图像变换对显微图像的大小进行适配。例如可以使用回归、分类或有序回归。在此类场景中不需要首先明确计算缩放系数并随后取决于缩放系数来后置地执行放大或缩小。相反，可以通过适当地训练重新缩放算法来自动实现重新缩放。如果希望的话(例如为了测试缩放系数的合理性)，然后可以后续地通过将经重新缩放的图像与原始图像的对比来获知缩放系数。此类重新缩放算法可以例如通过人工神经网络来实现。例如可以以如下方式训练人工神经网络：将显微图像作为训练图像输入，并且随后计算损失函数，损失函数考虑的是人工神经网络的输出数值与已经由使用者手动重新缩放的参考图像的偏差。然后可以基于损失函数的值来训练人工神经网络。

在另一个实施例中可以将机器学习的重新缩放算法用于借助于图像到标量变换来测定缩放系数。可以用回归连续输出缩放系数。重新缩放算法可以获得整个光学显微镜图像或图像局部作为输入。如果对于多个图像局部来测定缩放系数，则随后可以对其求平均值；这意味着，进行关于该多个图像局部的求平均值过程。然后可以在后置的算法中基于缩放系数来改变光学显微镜图像的大小。在此类图像到标量重新缩放算法中不需要明确地定位细胞结构；相反，由机器学习适合于测定缩放系数的特征。此类重新缩放算法可以例如通过人工神经网络来实现。例如可以以如下方式训练人工神经网络：将显微图像作为训练图像输入，并且随后计算损失函数，损失函数考虑的是人工神经网络的输出与已经由使用者手动确定的参考缩放系数的偏差。然后可以基于损失函数的值来训练人工神经网络。

但是，使用人工神经网络来执行重新缩放仅是一个实施例。在另一个实施例中可设想的是，在光学显微镜图像中定位存在预定参考值的细胞结构。例如为此可以使用物体识别算法。这种算法可以基于启发法。例如可以找到某些预定的轮廓，然后对这些轮廓进行椭圆拟合，并且在此基础上测定椭圆的半径作为细胞的大小。然后预定的结构就可以描述细胞直径。然后可以基于这种定位在光学显微镜图像中测定细胞结构的平均大小，并且基于平均大小与预定参考值之比来测定缩放系数。例如可以对于多个图像局部中的每一个图像局部分别测定细胞结构的平均大小，并且随后对这些值求平均值，也就是说关于这些图像局部求平均值。然后可以基于缩放系数来放大或缩小显微图像。如此测定缩放系数可以例如对于显微图像的多个子区域多次进行。于是可以测定平均的缩放系数。这个平均缩放系数可以应用于整个图像上。

对显微图像的大小的适配无须在单一的步骤中进行。例如可以用不同的重新缩放步幅来进行迭代式适配。这意味着，可以迭代式地分别估计例如相应细胞结构的大小，并且然后可以进行对应的重新缩放。如果例如确定，缩放系数在预定的范围之外，则可以进行粗略的预缩放并且然后基于粗略的预缩放来进行更精确的缩放。

对于不同的分析任务可以测定不同的缩放系数。例如为了测定细胞数量的估算值可以在框3115中使用经重新缩放的图像的第一实例，并且为了融合度的估算值在框3120中确定经重新缩放的图像的第二实例。

理论上可设想的是，在框3110中确定经重新缩放的图像的多个实例。在某些实施例可能的是，样品包括多个细胞种类。在此类实施例中可能的是，对于不同的细胞种类测定多个缩放系数。一般而言可能的是，确定显微图像的经重新缩放的多个实例，其中不同的经重新缩放的实例关于原始的显微图像具有不同的缩放系数。不同的经重新缩放的实例在此可以分别关于对应细胞种类的预定细胞结构而被缩放。例如可能的是，对于每一个细胞种类确定显微图像的一个相关的实例，并且如下对显微图像的相应例的大小进行适配，使得对于相应的细胞种类预定的细胞结构的大小对应于预定的参考值。于是由此可以获得显微图像的相应的重新缩放的实例。在此可设想的是，实例的数量或细胞种类的数量是先验地预定的；但在此还可设想的是，借助于显微图像来确定实例的数量或细胞种类的数量。

不同的种类可以被布置在显微图像的不同的图像子区域中。例如不同的种类可以在显微图像的不同的图像子区域中占主导，也就是说与其他种类相比主要存在于其中。即，这些种类还可以与相应种类出现或占主导的相关图像子区域相关联。

在此可以采用不同的技术来确定与某一种类相关联的图像子区域。下文结合表1来说明若干示例性技术。

表1：用于在显微图像的相应实例中定位细胞种类或识别对应的图像子区域的各种技术。

下文将说明用于确定细胞种类的数量和在适当时确定显微图像中的细胞种类的定位的示例性技术。这种示例性的实现方式尤其使用来自表1的技术的组合。为此可以对描述细胞种类在显微图像中的出现的图进行分割。即，该图可以对于显微图像的不同图像位置指示那里是否分别存在某一个细胞种类。然后分割的结果可以索引多个子区域，在这些子区域中一个种类存在、占主导或者仅仅偶然出现。

在此可以使用不同的技术来确定此类的图作为用于分割的输入。在一个变体中可能的是，使用在显微图像中标记不同细胞种类的具体位置、即例如分别标记细胞种类的相应细胞的中心点的物体识别算法。物体识别算法在此可以依赖于关于显微图像中相应细胞种类的外观的先验知识。例如可以同时给出不同细胞种类在显微图像中的成像大小作为先验知识(如基于已知的结构大小以及成像模态的已知的放大系数)。例如可以同时给出不同的细胞种类的几何形状作为先验知识。但这样的先验知识并非在所有变体中都是必需的。有些情况下，物体识别算法自身也可以获知不同细胞种类的存在，也就是说识别先验未知的类别或细胞种类。物体识别算法自身可以例如测定细胞种类的成像大小或者在显微图像中的几何形状。测定此类图的另一个实施例可以是使用聚类算法。聚类算法可以在没有特定训练的情况下识别频繁出现的标志性特征，其中随后可以将这种频繁出现分别与某一个细胞种类的存在相关联。基于聚类算法可以分别在方位空间中测定细胞种类的存在，然后将其在图中进行标记。聚类算法进而可以对不同的输入进行操作。例如聚类算法可以将对于显微图像的不同像素测定的或基于图像到图像变换逐块测定的缩放系数用作输入。然后可以在方位空间中识别聚类。图像到图像变换可以利用机器学习算法来执行。这样例如可以局部预测缩放系数。这个缩放系数例如可以从像素到像素而变化并且相对于，于是聚类过程可以分别标识类似的缩放系数的聚类。向聚类算法中的输入的另一个示例例如可以基于人工神经网络的活动来确定，也就是说基于机器学习算法的隐含特征向量的值来获得。具体地，可以使用编码分支来分别将显微图像的像素或块进行编码。这样对于每一个像素或块都获得了一个隐含特征向量。特征向量的不同条目对应于在所观察的像素或块中存在相应结构类型的概率。然后例如可以对应地将多个像素或块的活动组合，以便如此构成图。向聚类算法中的输入的再另一个示例涉及使用基于对比度值的分割。例如可以分别测定显微图像的具有相似对比度值的区段。这样可以将前景与背景分开。然后可以利用聚类算法针对性地在前景区域中搜寻具有相似特征的聚类；但是还可能的是，在没有划分成前景和背景的情况下已经直接构成了基于结构的聚类(也就是说没有单独检验显微图像中的每一个强度值，而是借助于结构对显微图像的块进行检验)。当图像中完全没有背景时，例如当细胞的融合度为100％时，后一种变体是有利的。

然后可能的是，基于显微图像的这个重新缩放的实例来测定细胞数量和/或融合度的估算值。在此可以考虑到与不同的经重新缩放的实例相关联的图像子区域。

但是，一般而言，关于可以如何考虑显微图像的经重新缩放的实例，存在不同的可能性。一些实施例在表2中列出。

表2：用于在测定密度图或融合图时考虑图像子区域的各种可能性。

即，例如可设想的是，对于显微图像的经重新缩放的每一个实例都测定一个所指配的密度图(参见图4)并且然后将被指配给不同的经重新缩放的实例的密度图彼此组合。然后可以基于这个组合的/聚合的密度图来进行对细胞数量的估算。替代于或附加于密度图，对应地还可以对于经重新缩放的每一个实例来测定融合图。在融合图中可以分别标记对于相关细胞种类的相关融合区域。然后可以将这些融合图彼此组合。还可以分别进行单独的部分估算。即，对于经重新缩放的每一个实例可以进行相应数量和/或相应融合度的(部分)估算。然后可以将结果彼此组合，以便获得对于所有细胞种类组合的估算值。这意味着，对于经重新缩放的显微图像的不同实例分别多次进行分析(其中例如使与对于相应重新缩放相关的细胞种类不同的细胞种类成像的区域可以分别被忽略)。

不同细胞种类之间的区分在此可以基于物体识别来进行。例如不同细胞种类可以具有不同形状，如椭圆形对圆形。不同的细胞种类可以在使用适合的对比度(例如适合的荧光标记物)的情况下在光学显微镜图像中具有不同的对比度等级。

存在确定这些实例的不同可能性。例如可以分别建立整个光学显微镜图像的副本。然后可以根据与对应的细胞种类相关联的相应缩放系数在大小方面对副本进行适配。后续的分析可以对于在相应实例中以某一大小成像的细胞来选择性地进行。还可设想的是，这些实例对应于原始的光学显微镜图像的不同分区。这意味着，依据对应的分区与哪个细胞种类相关联，光学显微镜图像的分别不同的子区域或图像局部可以被不同地缩放。例如一个分区可以分别与在那里主要出现的细胞种类或主导出现的细胞种类相关联。例如可以使用不受监督的物体识别算法来识别和定位不同细胞种类的细胞；然后可以基于对应的结果来确定分区。此类的不受监督的物体识别例如可以考虑细胞的标志性特征，例如大小。

任选地可以进行缩放系数的合理性验证。如果例如确定缩放系数在预定的区域之外，则可以向使用者输出警告。还可设想的是，在合理性验证失败时对光学显微镜图像的大小的适配进行重新迭代。替代地或附加地可以经由用户接口来询问，缩放系数是否可接受。可以查询由使用者确定的缩放系数。例如可以测定缩放系数的置信度水平。例如可以作为对应的机器学习算法的输出来获得置信度水平。当置信度水平过低时，合理性验证可能失败。例如可以检验，缩放系数是否处于预定范围内。例如可以检验，缩放系数是否不大于预定的上限阈值和/或不小于预定的下限阈值。

随后，在重新缩放之后，于是可以在框3115中测定细胞数量的估算值和/或在框3120中测定融合度的估算值(还可以任选地预先去掉图像边缘或者提取块)。

作为一般规则，可设想的是，通过不同的算法来实现框3115和框3120。还可设想的是，通过共同的算法来实现框3115和框3120。

可设想的是，通过共同的算法来实现框3110和框3115和/或框3120。这意味着，重新缩放和在框3115和/或3120中的随后的分析可以通过算法整合地实现。

任选地，这可以对于不同的细胞种类分开地进行，例如基于经重新缩放的显微图像的多个实例。但是还可以以细胞种类竞争的方式来进行估算，例如尤其当将显微图像的经重新缩放的多个实例聚合时。

通过在框3110中使用重新缩放，可以降低在框3115和/或框3120中使用的分析算法的复杂度。例如还可以使用机器学习算法、例如人工神经网络作为分析算法。在此类情况下可以使对分析算法的训练(参见图2：框3005)受限于训练数据，该训练数据使细胞如下成像，使得细胞结构具有根据预定参考值的大小。例如可以使用对应于相对较小的图像大小的预定参考值。由此可以减少机器学习算法所使用的运算符的大小。可以减少计算运算的数量。由此还可以以高计算效率的方式实现在移动设备上，如光学显微镜的处理器上。

例如可以使用无定位方案来在框3115中测定细胞数量的估算值，也就是说可以直接基于图像来估计细胞数量。这可以通过有序回归来进行或者基于块的预测和聚合。即，此类技术基于对输入图像的全局分析。不需要对单个细胞的位置进行解析。对应的示例性技术在以下文献中描述：Paul Cohen,Joseph等人“Count-ception：通过卷积冗余计数来进行计数(Count-ceptin:Counting by fully convolutional redundant counting)”，计算机视觉研讨会上的IEEE国际会议进程(Proceedings of the IEEE Internationalconference on computer vision workshops)，2017。另一种技术基于对细胞中心点的位置的预测。此类技术例如基本上在以下文献中说明：Xie,Weidi,J.Alison Noble和AndrewZisserman，“用完全卷积回归网络对显微镜细胞计数和检测(Microscopy cell countingand detection with fully convolutional regression networks)”，生物机械和生物医学工程中的计算机方法：成像和可视化(Computer methods in biomechanics andbiomedical engineering:Imaging&Visualization)6.3(2018):283-292。即，在此使用了基于(例如经重新缩放的)显微图像来提供密度图的机器学习算法、如人工神经网络。这个密度图作为在图像中位置的函数对是否存在细胞的概率进行编码。细胞数量可以基于该密度图来测定。例如可以使用卷积网络作为人工神经网络。例如可以使用依照以下文献的U网络架构：Ronneberger,Olaf,Philipp Fischer和Thomas Brox，“U网络：用于生物医学图像分割的卷积网络(U-net:Convolutional networks for biomedical imagesegmentation)”，关于医学图像计算和计算机辅助干预的国际会议(InternationalConference on Medical image computing and computer-assisted intervention)，Springer，Cham，2015。可以进行图像到图像回归。在每一个细胞中心点处可以将一个预定的密度分布定中心，如2D高斯函数。尤其在此类场景下，图3110中对显微图像大小的适配具有以下优点：为了建立密度图，对应的模型仅必须覆盖单一的细胞大小。然后可以通过在该密度图上整合来测定细胞数量。基于阈值方案且例如基于抑制彼此紧邻的局部峰值，可以定位细胞的中心点。例如可以使用所谓的非最大值抑制(NMS)运算。由于经重新缩放的图像的大小(框3110)，此类滤波器可以具有固定的参数化作用。

在某些实施例中还可以获得多个密度图，这些密度图分别标识是否存在某一细胞种类的细胞的概率。还可设想的是，在不同的细胞种类之间区分各个密度图，例如通过不同的值域或边界框或通过附加信息。在此类场景中可以对于不同的细胞种类的细胞数量的估算值进行解析。

理论上可以借助于共同的分析算法来一起测定框3115中细胞数量的估算值和框3120中细胞融合度的估算值。但是还可能的是，将分开的分析算法用于在框3115中测定细胞数量的估算值和在框3120中测定细胞融合度。

存在用于在框3120中测定融合度的估算值的不同可能性。为了测定融合度的估算值，例如可以使用启发性分析算法。例如可以找到细胞的轮廓。例如可以进行阈值分析并且然后在如此获得的遮罩中找到根据预定参考形状的适当轮廓。这些轮廓可以标出细胞的周边并且由此描述融合区域。于是这可以提供融合图，该融合图对融合区域进行遮盖。然后，基于融合区域可以进而测定融合度的估算值。但是，还可以基于机器学习的分析算法来使用此类融合图。例如可以使用卷积网络，以提供二元式的分割，从而建立对融合区域的遮盖。进而可以使用U网络架构。可以进行语义分割作为另外的用于估算融合度的方案。这进而可以对融合区域进行二元式遮盖。在此不需要对相邻的细胞进行分离，因为不需要对细胞进行计数或对相邻的细胞进行界定即可测定融合度。

融合度也可以基于密度图来估算。为此例如可以采取平均细胞大小并且将平均细胞大小分别指配给每一个细胞中心点。细胞中心点的定位可以从密度图中测定。

当有多种分析算法可供使用时，可以自动选择适合的分析算法。在此可以存在不同的选择标准。例如可以取决于实验类型或者取决于样品种类来选择适合的分析算法。例如可以基于概览图像或基于使用者输入来确定样品种类。这不仅涉及分析，而且例如还涉及在反复训练的背景下选择适合的模型以用新记录的数据适配已有的模型，参见图2：框3005。

如果在框3115中测定细胞数量的估算值并且在框3120中测定细胞融合度的估算值，则随后可以在框3125中进行对细胞数量的估算值和融合度估算值的合理性交叉验证。这意味着，可以检验细胞数量的估算值是否与融合度的估算值一致和/或相反的情况。这意味着，可以将细胞数量的估算值或者由其推导出的或以其为基础的值与融合度估算值或者由其推导出的或以其为基础的值进行比较。例如在框3125中的合理性交叉验证可以包括检验在融合区域中是否分别排列有细胞。例如可以检验，在融合区域中是否分别排列有细胞中心点或某一细胞结构、如细胞核。细胞中心点可以如本文说明地由密度图获得(作为局部最大值)。替代地或附加地，合理性交叉验证还可以包括测定在融合区域之内细胞的方位空间密度的方差。即，这意味着，可以检验：选择性地在融合区域之内观察的细胞的方位空间密度是否作为方位的函数而改变。由此可以检验指标，如：每一个预测的融合区域是否包含大致相同的每单位面积细胞中心点数量，也就是说，对于所有预测的融合区域而言所预测的细胞密度是否近似；和/或在融合区域之内是否存在显著远离细胞中心点预测值的点(大于细胞直径的约3倍)？如果存在这样的显著变化，则可能暗示，细胞的数量或融合度或者两者都可能被错误地估算。

替代于或附加于方位空间密度的方差，还可以考虑融合区域之内细胞的方位空间密度的绝对值。

除了框3125中的此类明确的合理性交叉验证之外还可设想的是，共同训练在框3115中用于测定数量估算值的分析算法和在框3120中用于测定融合度估算值的分析算法，使得结果是交叉合理的或一致的。这意味着，训练中可以强制实现一致性并且于是对于推断而言隐含地存在一致性。训练在框3005中进行，参见图2。其细节在图8中结合框3520进行说明。

框3110至框3125是实时的。这意味着，在图3105中获得图像与进行后续处理步骤之间的延迟可以特别短，如小于半秒或小于100ms。

图8为示例性方法的流程图。图8展示了与训练用于分析显微图像的分析算法相结合的多个方面。分析可以用于估算由显微图像成像的细胞的数量和/或融合度。例如，来自图8的方法可以由数据处理装置实施，该数据处理装置与显微镜或其他的成像装置处于通信连接。来自图8的方法例如可以由设备101实施，尤其由处理器102基于程序代码实施，处理器102将程序代码从存储器103中加载并执行。

来自图8的方法是框3005的示例性实现方式。

图8上的方法基于以下认识：生成随后用于训练机器学习算法的标签可能是高耗费的。通常通过手动注释来产生标签。这是耗时的且有时是主观的。正是在透射光中以例如相位对比度拍摄的显微图像的细胞计数和融合度测量时，这可能变得非常高耗费。因此根据图8提供了一种用于训练的解决方案，该解决方案使得手动注释大体上是多余的并且产生了客观的结果。自动训练是可能的。

利用透射光对比度和荧光对比度的适当组合来进行训练可以对分析算法进行可靠的训练。为此例如使用将细胞核染色的荧光标记物(例如DAPI、赫斯特、PI)以及反映细胞延伸程度(面积)或细胞边界的另外的标记物。这例如可以利用对细胞质膜的染色来进行。这样可以自动地且在没有手动注释的情况下从相位对比度图像来产生用于对细胞计数以及测定融合度的训练数据。尤其可以是自动训练。

在框3505中对于显微图像获得。显微图像包括多个信道。这些不同信道分别以相关的对比度使多个细胞成像。

不同的信道是互相注册的。这意味着，存在图像点的指配关系。还可以任选地进行注册。

该多个信道中的至少一个参考信道用于产生先验知识或标签并且为此包括相应的荧光图像。此类的荧光图像以对于相应的发荧光的细胞结构而言特异的对比度使该多个细胞成像。不同的参考信道在此可以具有不同的荧光对比度。例如第一参考信道可以具有标记细胞核的荧光对比度。第二参考信道可以具有标记细胞骨架的荧光对比度。替代于从细胞核染色(DAPI、赫斯特、……)中提取，可以替代地从其他染色中提取关于细胞中心点的信息。示例：基于细胞骨架染色。其中细胞核在染色中可以被识别为“空洞”。例如可以将荧光对比度用于融合图，该荧光对比度以如下方式染色：肌动蛋白；微管(实际形成凸形的外壳)；细胞质染色；细胞质膜染色(实际填充在细胞核方向上存在的区段)；或者其组合。即，在此可以将平面状的细胞结构染色。

荧光信道无须准确地处于焦点中，因为在其处理时典型地只有“低频”信息是有意义的(在经典算法中一般甚至通常进行明确的低通滤波)。

如果存在多个参考信道，则可以基于不同的参考信道来测定密度图和融合图。可以取决于相应的对比度来选择相应的参考信道。这可以自动进行。

可以分别基于多个荧光图像来测定密度图和/或融合图，也就是说可以共用多个荧光图像。示例：使用细胞骨架染色和细胞膜染色(例如通过形成交集)，以便更稳健地测定融合图。

这些信道还包括训练信道。训练信道与该一个或多个参考信道不同。例如可以在没有荧光对比度的情况下对训练信道进行采集，也就是说例如借助于相位对比度。但是还可能的是，还用荧光对比度来对训练信道进行采集。训练信道包含训练显微图像。对应的成像模态对应于稍后在推断(框3010)时可用的成像模态(相反，该一个或多个参考信道的对比度在推断时是不可用的)。

为了在框3505中获得显微图像，存在不同的实现变体。例如框3505可以包括操控至少一个成像设备以采集显微图像或显微图像的各个信道。这可以由使用者主动地触发，例如通过按压按钮，如图形用户界面的按钮。还可以加载已经存在的预先存储的显微图像。使用者可以手动加载显微图像。还可以自动采集显微图像。采集时间点在此可以是预定义的，例如在实验期间以规律的时间间隔或者自适应地确定。例如可以取决于结果来触发采集。

可能的是，进行显微图像的预处理。例如可以找到未转染的细胞并对其进行修正。可以识别脏污、泥土或外来物体或其他图像干扰并且在适当时将其去除。对应的技术在DE10 2020 126 554和DE 10 2021 114 351中说明。

例如可以去除仅部分可见的处于图像边缘的细胞。还可以将几何图形、例如椭圆形、部分可见的细胞过滤掉，以便如此能够实现为了融合图而测定中心点或周边。

任选地可以在框3506中获得关于来自框3505的显微图像的关联信息。示例性的关联信息包括：较早的估算值；使用者；细胞种类；所使用的成像模态；成像设备的物镜的放大系数；物镜类型；摄影机或摄影机适配器；显微设定；关于细胞几何形状或关于细胞的外观的先验知识；关于细胞的空间分布的先验知识；关于细胞的亮度分布的先验知识。

相关信息例如可以从显微图像的图像头部中加载或者由使用者输入。

在训练算法时可以考虑到相关信息，例如在测定真实值(框3515)时和/或作为另外的训练输入(框3520)。

任选地，然后可以在框3510中对显微图像的大小进行适配。尤其可以适配图像的大小，使得预定的细胞结构的大小对应于预定的参考值。对应的技术先前结合来自图7的框3110已经进行了说明。

随后在框3515中基于该至少一个参考信道的一个或多个荧光图像来测定密度图和/或融合图。这可以自动进行，也就是说不需要手动注释/加标签。可以考虑来自框3506的相关信息。例如可以使用多个参考信道的组合来测定密度图和/或融合图，这例如可能有助于当不同参考信道具有不同荧光对比度时标识互补的细胞结构。结合密度图95的多个方面已经结合图4进行了说明。结合融合图96的多个方面已经结合六进行了说明。

随后可以在框3520中基于作为真实值或标签的密度图和/或融合图来训练分析算法。训练信道用作训练的输入。训练输入还可以包括来自框3506的相关信息。

即，损失函数可以对分析算法的输出与密度图和/或融合图之间的偏差进行罚分。例如可以逐像素地考察偏差。

如果在框3520中训练一个或多个机器学习算法的一次性输出该密度图且一次性输出该融合图的多个机器学习处理路径，则还可以考虑到将两个预测结果混合的损失函数。由此可以实现数量和融合度的一致的估算。例如可设想的是，在使用第一机器学习处理路径的情况下进行细胞数量的估算并且在使用第二机器学习处理路径的情况下进行融合度的估算。第一机器学习处理路径、第二机器学习处理路径可以是单一的分析算法的一部分或者可以是不同分析算法的一部分。第一机器学习处理路径的训练和第二机器学习处理路径的训练可以基于一个损失函数，该损失函数对在融合区域中不存在细胞进行罚分和/或对在融合区域中存在细胞加分。替代地或附加地，损失函数还可以考虑对在融合区域之内细胞的方位空间密度的方差进行罚分。

存在不同的可能性以在框3515中基于该一个或多个参考信道测定作为先验知识的密度图和/或融合图。例如可能的是，基于另一种机器学习算法来建立密度图和/或融合图，该另一种机器学习算法提供从相应的荧光图像向密度图和/或向融合图的图像到图像变换。此类技术基于以下认识：尤其还对于不同的细胞种类而言，基于荧光图像可以特别稳健地测定密度图和/或融合图。这可以通过荧光对比度关于特殊细胞结构的决定性性质来实现。因此可能的是，基于荧光对比度使用可靠的机器学习算法来测定密度图和/或测定融合图，其中例如对于简单的相位对比度而言是不可能的或者只能以受限方式实现。

替代地或附加地还可能的是，基于该至少一个参考信道的荧光图像来定位细胞中心点。然后可以将预定的密度分布在细胞中心点处定中心，例如具有预定半峰宽度的高斯密度分布。然后这些密度分布的总和产生了密度图。

细胞中心点的定位可以例如包括将基于阈值的分割操作应用于该至少一个参考信道的荧光图像，以便如此获得前景遮罩。此类阈值运算的一个例子是大律算法。然后可以识别前景遮罩的单独区段。这些单独区段可以分别与细胞相关联。然后可以测定单独区段的几何中心点作为细胞中心点。

任选地可以将一个或多个形貌操作应用于前景遮罩。这样可以修改前景遮罩的形貌。例如可以封闭较小的空洞，可以去除较小的岛等等。这样可以去除分割操作的伪影。

单独区段例如可以借助于轮廓查找或斑点(Blob)检测或椭圆适配来获得。还可以根据大小和/或形状对单独区段进行过滤。可以进行平滑化。

尤其可以基于涉及到细胞几何形状的先验知识来识别单独区段。可以基于此类关于细胞几何形状的先验知识来过滤前景遮罩。

还可以考虑关于细胞的空间分布的先验知识。例如可以检验某些区段是否与空间分布的先验知识相一致地排列。

替代地或附加地还可设想的是，考虑关于细胞的亮度分布的先验知识。这样可以例如基于像素值来检验区段是否使细胞成像。此类的和其他的先验知识例如可以借助于相关信息(参见图8，框3506)来测定或者固定地预先给出。

在细胞分裂时可能有两个细胞核互相靠得非常近。已经观察到，细胞核的遮罩相邻的排列可能不利地影响用于定位细胞中心点的算法。因此可以针对性地识别此类特殊情况。如可以对区段的形状进行分析：如果例如存在与椭圆形状具有明显偏差的区段，则可以将其评估为存在细胞分裂的证据，即作为细胞分裂的结果。然后可以忽略对应的区域和/或可以触发对使用者的询问。还可以对多个椭圆进行适配，例如用具有期望最大化算法的优化方式。

例如还可以借助于基于阈值的分割操作、在适当时在前置的平滑化操作(例如低通滤波器)之后获得融合图。还可以应用形貌操作和/或滤波器。

如果例如将从细胞核向细胞膜方向扩展的细胞结构(例如肌动蛋白、微管)染色，则可以对前景遮罩进行取决于方向的平滑化，确切地说在与这些结构正交的方向上。

由此可以将细胞之内的结构平滑化，但是强度没有被传输通过细胞膜。由此，如此测定的融合区域的界限在某些情况下在实际的细胞膜处更准确。

一般可以在对前景遮罩进行滤波时使用相关信息。例如可以使用关于所预期的细胞大小(以像素计)的知识，以便例如对其适配平滑化操作(尤其高斯核的大小)。关于细胞类型或实验类型的知识可以用于预先设定参数(例如滤波大小、阈值等)。涉及到(重新)标识使用者的知识可以用于预先设定如在已经完成的实验中的参数(实际上由使用者修正)。

基本上可设想的是，在测定融合图和/或密度图时考虑相关信息。例如关于大小和/或取向的先验知识可以取决于放大系数。对某些结构所预期的灰度值可以从先验知识中推导出来。

此类的和其他的先验知识例如可以借助于相关信息(参见图8，框3506)来测定或者固定地预先给出。

除了测定融合图和/或密度图之外还可以对细胞进行实例分割。这例如可以以如下方式进行：将经滤波的前景遮罩直接用于产生实例分割或者作为学习数据用于机器学习模型，该机器学习模型用于实例分割模型。

然后，任选地可以对于其他的显微图像重复该方法。这些显微图像例如可以使不同细胞种类的细胞成像。然后，对于使不同细胞种类的细胞以不同大小成像的显微图像而言，在框3510中对大小的适配可以分别使用不同的缩放系数。这样可以实现，可以分析不同的细胞种类。通过任选的重新缩放，即使针对成像参数中的变化以及对于不同细胞种类的不同大小的细胞，也可以稳健地训练分析算法。

不同细胞种类的细胞中心点可以在一个共同的密度图和/或多个密度图中标识。下面将详细说明可以测定细胞数量和/或融合度的估算值的技术，其中可以考虑不同的细胞种类。这意味着，对于不同的细胞种类可以测定不同的估算值。这些技术可以与非荧光对比度成像模态(如相位对比度)组合使用。细胞培养物的品质控制可以由此得以改善，因为在每一个控制时间点都可以研究“活细胞生命力”。可以简化地进行响应于化学物质或化合物的生死检验或对细胞成长的研究。另一个优点是，可以省去在细胞培养物中用计数室进行细胞计数的步骤(悬浮液中的细胞)，因为通过对附着细胞的计数获得了同样的信息。活细胞的数量对于获得例如在细胞传代时适当的稀释而言是重要的。

与多个类别(多个细胞种类)结合的基于密度的数量和/或融合度估算的细节在图9中描述。

图9为示例性方法的流程图。图9展示了与测定不同细胞种类的细胞的数量和/或融合度的估算值相结合的多个方面。例如，来自图9的方法可以由数据处理装置实施，该数据处理装置与显微镜处于通信连接。来自图9的方法例如可以由设备101实施，尤其由处理器102基于程序代码实施，处理器102将程序代码从存储器103中加载并执行。

图9的方法用于推断(参见图2：框3010)细胞的数量和/或融合。在此在不同细胞种类之间进行区别。图9的方法基于一个或多个密度图来运行。结合密度图95的多个方面已经结合图4进行了说明。

此类技术基于以下认识：例如“活-死”研究对于正确测定细胞数量而言可能是重要的，于是将其用作例如稀释系列的基础。这意味着，例如可以选择性地对活细胞进行分析。根据图9的处理可以在常规地控制细胞培养的同时进行，由此在变化或异常时可以实现早期识别。借助于计数室进行分开的细胞计数的必要性可能不再存在。

在框3205中获得显微图像。框3205对应于框3105。

在框3205中获得显微图像可以以不同方式实现。例如可以在框3205中操控成像设备来采集显微图像。这可以由使用者主动地触发，例如通过按压按钮，如GUI中的按钮。还可以加载已经存在的预先存储的显微图像。使用者可以手动加载显微图像。还可以自动采集显微图像。采集时间点在此可以是预定义的，例如在实验期间以规律的时间间隔或者自适应地确定。例如可以取决于结果来触发采集。

显微图像可以具有透射光对比度而没有荧光编码。例如显微图像可以具有相位对比度或相位梯度对比度(例如通过将用不同光照方向采集的图像组合以数字方式产生)、亮场对比度、TIE、DIC等。但是显微图像还可以具有荧光对比度，例如具有细胞核染色。

然后，在框3210中基于来自框3205的显微图像来测定一个或多个密度图。任选地，在框3215中可以随后在密度图中标识不同的细胞种类。在其他实施例中可能的是，测定多个密度图，即分别不同的细胞种类。如果测定多个密度图，则这些任选的框3220可以被聚合。

即，一般而言，可以关于多个细胞种类来执行框3210。理论上可设想的是，多次迭代地实施框3210，即对于基于细胞种类之间的预定层级从多个细胞种类中选出的不同细胞种类来实施。例如可以首先对于细胞种类为“正常的”和“分离的”细胞来执行框3210，也就是说可以如上文所述且如下文详细阐释地执行密度图等的对应的分离。随后可以将属于细胞种类“分离的”的细胞进一步区分，例如关于细胞种类“死亡的”和“有丝分裂”。然后可以将细胞种类“死亡的”进一步拆分成“坏死”和“凋亡”。这样可以将结果越来越细分，但是其中许多层级理论上可以使用相同的处理步骤。

下面将讨论与测定结合图10、图11、图12和图13的一个或多个密度图相结合的细节。这是可以结合框3210、3215和3220实施的所有变体。基于密度的多类别细胞中心点定位的技术实现可以以不同方式完成。下面将阐释四种场景。在此，基于密度的细胞中心点定位可以构成共同的基础。其中通过图像到图像模型(或者还称为图像回归模型)对于每一个在输入图像中可见的细胞中心点在输出图像中产生一个“高斯小钟形”，其中每一个小钟形的强度总和例如为1。在此步骤中可以已经整合了不同细胞种类之间的附加的区别或者可以后续地或并行地进行区别。下面结合图10至图13阐释四个不同的实施例。

图10示意性展示了用于测定密度图的数据处理方式，该密度图对是否存在不同细胞种类的细胞的概率进行编码。图10的场景对应于基于密度的细胞种类竞争式的细胞定位以及随后对不同细胞种类的块分类。

首先在步骤5005中获得显微图像93。步骤5005由此对应于来自图9的框3205。

然后，在步骤5010中使用机器学习算法来测定显微图像93的密度图95。然后在步骤5015中获得密度图95作为输出。密度图95与细胞种类无关地、也就是说细胞种类竞争式地对是否存在细胞的概率进行编码。

然后在步骤5020中获取密度图95中细胞的位置，例如通过阈值分析或非最大值抑制分析。这样可以避免在一个细胞周围的环境中定位另一个细胞。

然后在步骤5020中还可以基于所获取的细胞位置来测定图像局部，即所谓的块。对于这些图像局部中的每一个，可以基于显微图像将细胞分类。这样可以测定相应的细胞种类。在步骤5025中在密度图95中标识如此测定的细胞种类。基于密度图95和这种标识，可以对于每一个细胞种类估算数量和/或融合度。

可以将机器学习算法用于步骤5020的分类。可以基于图像局部和手动注释来适当地训练该算法。

图11示意性展示了用于测定两个密度图95-1、95-2的数据处理方式，这些密度图分别对是否存在一个对应细胞种类的细胞的概率进行编码。图11的场景对应于基于密度的多类别细胞定位，其中分开的信道用于不同的细胞种类。

首先在步骤5105中获得显微图像93。步骤5105由此对应于来自图10的步骤5005或者来自图9的框3205。

然后，在步骤5110中使用机器学习算法来测定多个密度图95-1、95-2。然后，基于在步骤5115中作为输出获得的该多个密度图95-1、95-2，可以测定相应细胞的数量和/或融合度的估算值。

可以将这两个密度图95-1、95-2互相比较。尤其可以获得，在这两个密度图95-1、95-2中的某些方位是否定位有细胞中心点。这可能暗示处理错误。即，这样可以通过空间解析式比较来实现在这两个密度图95-1、95-2中的合理化。

任选地可设想的是，将这两个密度图95-1、95-2聚合，以便这样获得聚合的密度图(还参见图12和图13)，该聚合的密度图通过不同的值域对是否存在不同细胞种类的细胞进行编码。即，各个不同密度图95-1、95-2的值可以被映射到聚合的密度图的不同值域上。于是可以基于聚合的密度图来测定细胞的数量和/或融合度的估算值。这可以带来数据处理过程紧凑的优点。

在图11的场景中，在步骤5110中使用单一的机器学习算法来测定密度图95-1、95-2。这种机器学习算法包括被指配给不同细胞种类的多个处理路径。

作为一般规则，存在不同的可能性来实现不同的处理路径。例如在一个变体中可能的是，该多个处理路径具有共同的编码分支(该编码分支促使空间中的特征向量收缩至具有输入图像的隐含代表的瓶颈)以及解码分支(该解码分支促使空间中的特征向量从瓶颈向外扩展)，并且仅具有不同的输出信道。也就是说，处理可以仅在人工神经网络的最后一层中是不同的。但是还可能的是，该多个处理路径具有共同的编码分支和分开的解码分支，这些解码分支于是可以包括多个层。例如可以对于每一个处理路径存在一个不同的头部。在某些实施例中甚至可设想的是，对于不同的密度图95-1、95-2使用完全分开的机器学习算法(在图11中没有示出)。

通过对于不同的细胞类别产生分离的密度图95-1、95-2，可以避免相互影响——例如由于排列在与其他细胞种类相关联的值域中的不同值的叠加。

图12示意性展示了用于测定密度图95的数据处理方式，该密度图对是否存在对应细胞种类的细胞的概率进行编码。图12的场景对应于基于密度对多个细胞种类的细胞的定位以及根据不同细胞种类对密度图95的值域的划分。

首先在步骤5205中获得显微图像93。步骤5205由此对应于来自图11和图10的步骤5105以及5005或者来自图9的框3205。

然后，借助于步骤5210中的机器学习算法测定聚合的密度图95，该密度图在步骤5215中获得。

该聚合密度图对于每一个细胞种类(在图12中展示了两个细胞种类)通过对应的值域对是否存在对应细胞的概率进行编码。在图12的实施例中这两个值域在来自步骤5215的聚合的密度图95中用白色和黑色的对比度展示。

基于这个聚合的密度图可以对于该多个细胞种类中的每一个细胞种类来测定相应细胞的数量和/或融合度的估算值。

例如可以对具有在值域[0,1]中的密度分布的活细胞进行编码，和/或对与之相反具有值域[-1,0]的密度分布的细胞进行编码。这在为0的值时可能表示在那里没有找到细胞。这个值域仅仅是示例。例如还可以对于第一细胞种类使用[0,0.5]事件对于第二细胞种类使用[0.5,1]。

此类变体具有以下优点：可以特别更紧凑地进行后处理，因为仅使用单一的密度图95。

图13示意性展示了用于测定密度图95的数据处理，该密度图通过使用多个值域对是否存在多个细胞种类的细胞的概率进行编码。图13的场景对应于基于密度对多个细胞种类的细胞定位。在此分开地进行对细胞种类和细胞存在的建模。

首先在步骤5305中获得显微图像93。步骤5305由此分别对应于来自图10、图11和图12的步骤5005、5105和5205或者来自图9的框3205。

然后在步骤5310、5315和5320中一方面测定密度图95，该密度图与细胞种类无关地对是否存在细胞的概率进行编码(也就是说输出的是“细胞可分类性(Zellartigkeit)”，而不解析特定的细胞种类)；并且另一方面基于显微图像93对于细胞来测定细胞种类。为此使用两种不同的机器学习处理路径，这些处理路径可以至少部分重合。然后，在图13的实施例中获得细胞种类图99，该细胞种类图分别在细胞位置处对相应的细胞种类进行编码。

细胞种类图99可以任选地在方位空间中被平滑化。

然后可能的是，在密度图中标识细胞种类，由此获得聚合的密度图95，该密度图不仅对细胞的位置而且还对细胞种类进行编码。

基于步骤5021中的这个聚合的密度图95，可以测定数量和/或融合度的估算值，这对应于来自图12的步骤5215。

从图13可以看出，在步骤5315中机器学习算法的输出提供了步骤5325中的密度图95，该密度图提供了对于该多个细胞种类而言处于相同值域中的密度图的值(在图13中所有细胞都用白色对比度编码)。例如对应的机器学习处理路径可以具有如下的层：该层将用于该多个细胞种类的细胞的机器学习处理路径的不同激活方式映射到这个相同的值域上。可能的是，使用限定值域的ReLU/S形函数。其结果是可以不产生变偏向负值的密度分布。即，该处理路径与相应细胞种类无关地强制预测正的密度分布。

相反，在步骤5320中对于该多个细胞种类的机器学习处理路径的输出提供离散的值(在图13中这些离散的值分别用白色和黑色编码)。这些不同的离散的值可以用作乘数，其中通过将密度图与乘数相乘来标识在密度图95中的细胞类型。但是还可设想其他类型的聚合。即，用于细胞种类图99的处理路径的输出应不能预测连续的值(也就是说例如密度分布)，而是例如可以用作乘数的离散的值。这些乘数可以具有不同的符号但是相同的幅值，例如+1、-1。这可以通过在输出层之后或者作为输出层来施加对应的函数而实现。这可以是tanh函数或者还可以是具有介于[-1,1]之间值域的赫维塞德函数。目标是仅确定“符号”(即关于与细胞种类关联的类别的归属性)，但是不对密度分布进行建模。在赫维塞德函数的情况下，在训练机器学习处理路径期间可以对输出值设置噪声。

在图13中示出一个场景，其中区分两个细胞种类，例如活细胞与死细胞。如果存在多个细胞种类，则还可以以层级方式进行分类。例如第一层级为“正常的”对“分离的”，然后将“分离的”拆分为“死的”对“有丝分裂”，然后将“死的”拆分为“坏死”对“凋亡”。有丝分裂在某些情况下还可以划分成各个阶段。

在步骤5310、5315、5320中的相应的处理路径中所希望的输出可以通过在训练期间的“深度监督”而强制进行。在此，将损失函数引入所希望的中间输出中。具体而言，对于细胞可分类性——也就是说步骤5315中的处理路径——这意味着，作为先验知识来产生密度图(来自图8的框3515中)，该密度图仅显示正的密度分布(即，与类别无关)。这个密度图与处理路径的输出之间的损失可以如图10中那样计算并且作为附加因素计入优化过程中。由此在训练中明确地强制使处理路径对于每一个细胞中心点与类别无关地产生偏转。这隐含地意味着，对于步骤5325中的其他处理路径，只“剩下”其符号。

在图13中展示了一个实施例，其中这两个处理路径部分地分开。理论上可以使用两种完全分开的机器学习算法。但是还可能的是，使用具有部分分开的处理路径(例如分开的输出层和可能的解码段)的机器学习算法。还可以使用带有符号的模型作为注意力机制(也就是说通过设计机器学习算法只暗示一个输出层和分离)。

借助于根据图13的数据处理可以特别紧凑地实现处理路径。尽管如此，仍然可以实现唯一的预测，可以避免例如像图12中的叠加。密度图95以竞争性方式涉及细胞种类并且由此可以对于不同的细胞种类而被共同训练。不需要用于定位细胞的特殊处理路径。由此可以降低该一种或多种机器学习算法的复杂度。可以减少运行时间并且可以提高可概括性(Generalisierbarkeit)。

图14示意性展示了用于基于显微图像来测定细胞数量的估算值和融合度的估算值的数据处理方式。图14例如可以实现图7的方法。

首先在步骤4005中获得显微图像。这个显微图像例如可以具有相位对比度。在图14中标识了细胞，其中细胞具有未预先确定的平均直径，该平均直径例如取决于物镜的选择。

然后，在步骤4010中测定缩放系数，该缩放系数例如在所示的实施例中可以为0.23。这意味着，通过适配原始显微图像的大小(减小到大约原始大小的四分之一)可以确定在步骤4015中获得的经重新缩放的显微图像。对应的技术先前结合框3110已经进行了说明。例如可以使用机器学习算法或者可以根据归一化的标准经由启发法来测量平均细胞大小或细胞结构大小。

随后在步骤4020中测定细胞数量的估算值。在此，在图14中分别在显微图像(该显微图像重新被释放回到原始大小)中标注了细胞中心点。细胞中心点例如可以由密度图(参见图4中的密度图96)来获得，其中密度图用于测定细胞数量的估算值。密度图例如可以基于经重新缩放的显微图像用适合的人工神经网络来测定。如果使多个细胞种类成像，则可以使用根据图9至图13的技术。

在步骤4025中测定融合度的估算值。在此在图14中展示了如何能够将融合区域叠加到(重新缩放回到其原始大小的)显微图像上。可以在使用融合图的情况下测定融合度的估算值(参见图6，其中已经讨论了融合图96)。还可以在使用密度图的情况下测定融合度。

在步骤4030中可以向使用者输出细胞数量的估算值和融合度的估算值。

图15示意性展示了用于训练机器学习算法的数据处理方式，该算法可以用于估算细胞的融合度和/或数量。例如可以训练能在图14中在步骤4020和步骤4025中使用的机器学习分析算法。根据图15的数据处理例如可以实现图8的方法。

首先在步骤4105中采集具有多个信道的显微图像，该显微图像在步骤4110中获得。这对应于来自图8的框3505。

在所示的场景中例如获得具有三个信道的显微图像，即相位对比度(最上)、标记DNA的荧光对比度(中间)以及标记细胞骨架的另一个荧光对比度(最下)。这些荧光对比度是所谓的参考信道，因为它们典型地仅在训练期间可用并且用于测定先验知识。作为一般规则，此类荧光对比度可以适合于测定融合图，该融合图强调了细胞的平面结构。例如其示例可以是标记细胞骨架或细胞膜的荧光对比度。

一般地，可以将相位对比度或广域对比度或者非荧光对比度用于训练信道。

然后在步骤4115中以密度图形式测定先验知识。为此例如可以采用另一种机器学习算法。还可以使用阈值操作，例如其后跟着是一个或多个形貌操作。在图15中示出，基于标记DNA或细胞核的荧光对比度来测定呈密度图形式的先验知识，即基于显微图像的对应的参考信道。

此外，在步骤4120中以融合图形式测定先验知识。为此例如可以再次采用机器学习算法。还可以使用阈值操作，例如其后跟着是一个或多个形貌操作。在图15中示出，基于标记细胞骨架的荧光对比度来测定呈融合图形式的先验知识，即基于显微图像的对应的参考信道。

由此，在步骤4125和步骤4130中分别获得训练数据。在步骤4125中获得的训练数据包括作为训练显微图像的来自步骤4110的显微图像的相位对比度信道以及作为先验知识的来自步骤4115的密度图。在步骤4130中获得的训练数据再次包括作为训练显微图像的来自步骤4110的显微图像的相位对比度信道以及作为先验知识的来自步骤4120的密度图。

然后，可以训练相应的机器学习算法，使其预测密度图或融合图。可以预先进行大小适配，使得某一细胞结构具有根据预定参考值的大小。

用于测定密度图和融合图的机器学习处理路径和算法的训练可以耦合地进行。可以考虑有助于一致结果的损失函数(例如在融合区域中的细胞核和融合区域之内的细胞密度的较小方差)。

当然，本发明的上述实施方式和方面的特征可以彼此组合。这些特征尤其不仅可以以所描述的组合使用，而且还可以以其他组合或单独使用，而不背离本发明的范围。

Claims (20)

1.一种计算机实现的方法，所述方法包括：

-获得具有多个信道的光学显微镜图像(91，92)，所述信道分别以相应的对比度使多个细胞成像，其中所述多个信道中的至少一个参考信道包括相应的荧光图像，所述荧光图像以对于相应的发荧光的细胞结构而言特异的对比度使所述多个细胞成像，

-基于所述至少一个参考信道的荧光图像来自动测定密度图(95)和/或融合图，其中所述密度图(95)对是否存在细胞的概率进行编码，其中所述融合图遮盖融合区域，以及

-基于作为训练输入的所述多个信道中的训练信道以及作为真实值的所述密度图(95)和/或融合图来训练至少一种机器学习算法。

2.根据权利要求1所述的计算机实现的方法，

其中对于使不同细胞种类成像的多个光学显微镜图像(91，92)重复进行获得所述光学显微镜图像(91，92)、测定所述密度图(95)和/或所述融合图以及训练。

3.根据权利要求1或2所述的计算机实现的方法，其中所述方法还包括：

-适配所述光学显微镜图像(91，92)的大小，使得预定的细胞结构的大小对应于预定的参考值。

4.根据以上权利要求之一所述的计算机实现的方法，

其中基于另一种机器学习算法来建立所述密度图(95)和/或所述融合图(96)，所述另一种机器学习算法提供从相应的荧光图像向所述密度图(95)和/或向所述融合图(96)的图像到图像变换。

5.根据以上权利要求之一所述的计算机实现的方法，

其中建立所述密度图(95)包括：

-在所述至少一个参考信道的荧光图像中定位细胞中心点，以及

-使预定的密度分布在所述细胞中心点处定中心，其中所述密度分布的总和产生所述密度图(95)。

6.根据权利要求5所述的计算机实现的方法，

其中定位细胞中心点包括：

-将基于阈值的分段操作应用于所述至少一个参考信道的荧光图像上，以获得前景遮罩，

-在所述前景遮罩中识别与细胞相关联的单独段，以及

-将所述单独段的几何中心点确定为细胞中心点。

7.根据权利要求6所述的计算机实现的方法，所述方法还包括：

-借助于平滑化操作、例如低通滤波器或中值滤波器和/或借助于形貌操作来适配所述前景遮罩。

8.根据权利要求6或7所述的计算机实现的方法，其中识别单独段包括轮廓查找操作、斑点检测和/或椭圆适配。

9.根据权利要求6所述的计算机实现的方法，

其中识别单独段是基于关于细胞几何形状和/或细胞的空间分布和/或细胞的亮度分布的先验知识。

10.根据权利要求6至9之一所述的计算机实现的方法，其中所述方法还包括：

-基于关于细胞几何形状的先验知识对所述前景遮罩进行过滤。

11.根据权利要求10所述的计算机实现的方法，

其中所述关于几何形状的先验知识包括椭圆形，

其中将在过滤时偏离椭圆形认为是细胞分裂的结果。

12.根据以上权利要求之一所述的计算机实现的方法，

其中所述光学显微镜图像(91，92)分别包括多个参考信道，

其中基于所述多个参考信道中的第一参考信道来测定所述密度图(95)，

其中基于所述多个参考信道中的第二参考信道来测定所述融合图(96)。

13.根据以上权利要求之一所述的计算机实现的方法，其中所述方法还包括：

-取决于相应的对比度从多个备选参考信道中选出所述至少一个参考信道。

14.根据以上权利要求之一所述的计算机实现的方法，

其中第一参考信道包括荧光图像，所述荧光图像使具有对于细胞核而言特异的对比度的多个细胞成像，

其中第二参考信道包括荧光图像，所述荧光图像使具有对于细胞骨架或细胞质膜而言特异的对比度的多个细胞成像。

15.根据以上权利要求之一所述的计算机实现的方法，

其中所述训练信道包括相位对比度或广域对比度或非荧光对比度。

16.根据以上权利要求之一所述的计算机实现的方法，

其中基于不同参考信道的多个荧光图像的组合来测定所述密度图(95)和/或所述融合图。

17.根据以上权利要求之一所述的计算机实现的方法，所述方法还包括：

-对所述光学显微镜图像进行预处理，所述预处理包括以下项中的至少一项：找到非转染的细胞或者识别图像错误。

18.根据以上权利要求之一所述的计算机实现的方法，

-获得关于所述光学显微镜图像的关联信息，

其中所述训练还基于所述关联信息。

19.一种设备(101)，所述设备带有处理器(120)，所述处理器被配置为用于实施以下步骤：

-获得具有多个信道的光学显微镜图像(91，92)，所述信道分别以相应的对比度使多个细胞成像，其中所述多个信道中的至少一个参考信道包括相应的荧光图像，所述荧光图像以对于相应的发荧光的细胞结构而言特异的对比度使所述多个细胞成像，

-基于所述至少一个参考信道的荧光图像来自动测定密度图(95)和/或融合图，其中所述密度图(95)分别对是否存在细胞的概率进行编码，其中所述融合图遮盖融合区域，以及

-基于作为训练输入的所述多个信道中的训练信道以及作为真实值的所述密度图(95)和/或融合图来训练至少一种机器学习算法。

20.根据权利要求19所述的设备(101)，其中所述处理器被配置为用于实施根据权利要求1所述的方法。

Images