CN116797613B - 多模态细胞分割、模型训练方法、装置、设备、存储介质 - Google Patents

Abstract

本申请提供了多模态细胞分割方法及装置、设备、存储介质；其中，所述方法包括：对待处理的第一细胞图像进行预处理，得到包括第一颜色通道和第二颜色通道的第二细胞图像；所述第一颜色通道用于表征染色后的细胞质的颜色，所述第二颜色通道用于表征染色后的细胞核的颜色；采用目标神经网络模型对所述第二细胞图像中的细胞进行识别，得到所述第一细胞图像中每一像素分别对应的预测概率；所述预测概率用于表征对应的像素属于细胞的概率；基于所述第一细胞图像中每一像素分别对应的预测概率，对所述第一细胞图像中的细胞进行分割处理，得到所述第一细胞图像中的至少一个细胞区域。

Description

多模态细胞分割、模型训练方法、装置、设备、存储介质

技术领域

本申请涉及医学图像处理技术，涉及但不限于多模态细胞分割、模型训练方法、装置、设备、存储介质。

背景技术

对细胞图像的定量处理是解决生物疾病发病机制和发病原因的关键方法，而对细胞图像进行分割是细胞定量研究的前提和基础。相关技术中，根据多张细胞图像训练神经网络模型，得到细胞分割模型；从而，采用训练好的细胞分割模型对要分割的细胞图像进行处理，得到该细胞图像中的多个细胞。

然而，上述细胞分割方法的准确率较低。

发明内容

有鉴于此，本申请提供的多模态细胞分割、模型训练方法、装置、设备、存储介质，能够准确地定位细胞，精准地将细胞图像中的细胞分割出来。

根据本申请实施例的一个方面，提供一种多模态细胞分割方法，包括：

对待处理的第一细胞图像进行预处理，得到包括第一颜色通道和第二颜色通道的第二细胞图像；所述第一颜色通道用于表征染色后的细胞质的颜色，所述第二颜色通道用于表征染色后的细胞核的颜色；

采用目标神经网络模型对所述第二细胞图像中的细胞进行识别，得到所述第一细胞图像中每一像素分别对应的预测概率；所述预测概率用于表征对应的像素属于细胞的概率；

基于所述第一细胞图像中每一像素分别对应的预测概率，对所述第一细胞图像中的细胞进行分割处理，得到所述第一细胞图像中的至少一个细胞区域。

在一些实施例中，所述对待处理的第一细胞图像进行预处理，得到包括第一颜色通道和第二颜色通道的第二细胞图像，包括：

对所述第一细胞图像进行矩阵重组，去除所述第一细胞图像的红色通道，得到包括绿色通道和蓝色通道的第二细胞图像；所述第一颜色通道为绿色通道，所述第二颜色通道为蓝色通道。

在一些实施例中，所述采用目标神经网络模型对所述第二细胞图像中的细胞进行识别，得到所述第一细胞图像中每一像素分别对应的预测概率，包括：

基于预设图像尺寸对所述第二细胞图像进行分割，得到多个子图像；

采用所述目标神经网络模型对每一所述子图像进行识别，得到所述每一子图像分别对应的预测概率子图；所述预测概率子图中包括对应的子图像中每一像素属于细胞的概率；

对所述多个子图像的预测概率子图进行整合处理，得到所述第一细胞图像的预测概率图；所述预测概率图中包括所述第一细胞图像中每一像素属于细胞的概率。

在一些实施例中，所述基于预设图像尺寸对所述第二细胞图像进行分割，得到多个子图像，包括：

基于目标细胞直径对所述第二细胞图像的图像尺寸进行调整，得到调整后的所述第二细胞图像；所述目标细胞直径是在所述目标神经网络模型的训练过程中学习得到的；

在所述调整后的第二细胞图像的图像尺寸与所述预设图像尺寸之间的比值为整数的情况下，基于所述预设图像尺寸对所述调整后的第二细胞图像进行分割，得到所述多个子图像。

在一些实施例中，所述基于目标细胞直径对所述第二细胞图像的图像尺寸进行调整，得到调整后的所述第二细胞图像，包括：

确定细胞直径与细胞图像尺寸之间的目标对应关系；所述目标对应关系是在所述目标神经网络模型的训练过程中学习得到的；

基于所述目标细胞直径和所述目标对应关系，确定第一图像尺寸；

将所述第二细胞图像的图像尺寸调整为所述第一图像尺寸，得到所述调整后的第二细胞图像。

在一些实施例中，所述方法还包括：

在所述调整后的第二细胞图像的图像尺寸与所述预设图像尺寸之间的比值不为整数的情况下，基于所述预设图像尺寸和所述调整后的第二细胞图像的图像尺寸，确定第二图像尺寸；所述第二图像尺寸与所述预设图像尺寸之间的比值为整数；

基于目标像素值对所述调整后的第二细胞图像进行填充处理，得到图像尺寸为所述第二图像尺寸的第三细胞图像；

基于所述预设图像尺寸对所述第三细胞图像进行分割，得到所述多个子图像。

在一些实施例中，所述采用所述目标神经网络模型对每一所述子图像进行识别，得到所述每一子图像分别对应的预测概率子图，包括：

采用所述目标神经网络模型中的编码器对所述每一子图像进行特征提取，得到所述每一子图像的第一特征图；

采用所述目标神经网络模型中的全局平均池化模块对所述第一特征图进行池化处理，得到所述每一子图像的第二特征图；所述第二特征图表征所述每一子图像中细胞的类别；

采用所述目标神经网络模型中的解码器对所述第一特征图和所述第二特征图进行通道恢复处理，得到所述每一子图像的预测概率子图；所述编码器和所述解码器均包括多个由卷积网络和残差网络构成的特征提取模块。

在一些实施例中，所述采用所述目标神经网络模型中的解码器对所述第一特征图和所述第二特征图进行通道恢复处理，得到所述每一子图像的预测概率子图，包括：

从所述编码器中的多个第一特征提取模块中，确定通道数与所述解码器中的第i个第二特征提取模块的通道数相同的第一特征提取模块输出的第一子特征图；i为大于或等于2的正整数；

确定所述解码器中的第i-1个第二特征提取模块输出的第二子特征图；所述解码器中的第一个第二特征提取模块输出的特征图为所述编码器中的最后一个第一特征提取模块输出的所述第一特征图；

采用所述解码器中的第i个第二特征提取模块对所述第二子特征图、所述第一子特征图和所述第二特征图进行通道恢复处理，得到所述解码器中的第i个第二特征提取模块输出的特征图；

将所述解码器中的最后一个第二特征提取模块输出的特征图作为所述每一子图像的预测概率子图。

在一些实施例中，所述采用所述解码器中的第i个第二特征提取模块对所述第二子特征图、所述第一子特征图和所述第二特征图进行通道恢复处理，得到所述解码器中的第i个第二特征提取模块输出的特征图，包括：

对所述第二子特征图和所述第二特征图进行求和处理，得到第三特征图；

对所述第三特征图进行上采样处理，得到处理后的所述第三特征图；

对所述处理后的第三特征图和所述第一子特征图进行求和处理，得到第四特征图；

对所述第四特征图进行卷积处理，得到所述解码器中的第i个第二特征提取模块输出的特征图。

在一些实施例中，所述对所述多个子图像的预测概率子图进行整合处理，得到所述第一细胞图像的预测概率图，包括：

根据所述多个子图像在所述第二细胞图像中的位置对所述多个子图像的预测概率子图进行整合处理，得到第一预测概率图；

在基于目标像素值对所述第二细胞图像进行过填充处理的情况下，从所述第一预测概率图中去除填充的所述目标像素值对应的预测概率，得到第二预测概率图；

将所述第二预测概率图的图像尺寸调整为所述第一细胞图像的初始图像尺寸，得到所述第一细胞图像的预测概率图。

在一些实施例中，所述基于所述第一细胞图像中每一像素分别对应的预测概率，对所述第一细胞图像中的细胞进行分割处理，得到所述第一细胞图像中的至少一个细胞区域，包括：

基于所述第一细胞图像的预测概率图，确定所述第一细胞图像的掩码图；所述预测概率图中包括所述第一细胞图像中每一像素属于细胞的概率；

采用热扩散模拟，基于所述第一细胞图像的掩码图对所述第一细胞图像中的细胞进行分割处理，得到所述第一细胞图像中的至少一个细胞区域。

一种模型训练方法，所述方法包括：

对样本细胞图像集合中的至少一个样本细胞图像进行预处理，得到至少一个包括第一颜色通道和第二颜色通道的待训练细胞图像；所述第一颜色通道用于表征染色后的细胞质的颜色，所述第二颜色通道用于表征染色后的细胞核的颜色；

基于至少一个所述待训练细胞图像，对初始神经网络模型进行模型训练，得到目标神经网络模型。

在一些实施例中，所述方法还包括：

获取在多种显微镜下对属于不同细胞类别的细胞进行拍摄后得到的多张细胞图像，构建所述样本细胞图像集合。

在一些实施例中，所述对样本细胞图像集合中的至少一个样本细胞图像进行预处理，得到至少一个包括第一颜色通道和第二颜色通道的待训练细胞图像，包括：

对每一所述样本细胞图像进行矩阵重组，去除所述每一样本细胞图像的红色通道，得到至少一个包括绿色通道和蓝色通道的第四细胞图像；所述第一颜色通道为绿色通道，所述第二颜色通道为蓝色通道；

确定设定的细胞直径与细胞图像尺寸之间的目标对应关系、以及设定的目标细胞直径；

基于所述目标对应关系和所述目标细胞直径对每一所述第四细胞图像的图像尺寸进行调整，得到调整后的所述每一第四细胞图像；

将所述调整后的每一第四细胞图像作为所述待训练细胞图像。

在一些实施例中，所述基于至少一个所述待训练细胞图像，对初始神经网络模型进行模型训练，得到目标神经网络模型，包括：

将每一所述待训练细胞图像输入至所述初始神经网络模型，得到所述每一待训练细胞图像中每一像素分别对应的预测概率；所述预测概率用于表征对应的像素属于细胞的概率；

基于所述每一待训练细胞图像中每一像素分别对应的预测概率，对所述每一待训练细胞图像中的细胞进行分割处理，得到所述每一待训练细胞图像中的至少一个细胞区域；

基于所述每一待训练细胞图像中的至少一个细胞区域和所述每一待训练细胞图像中所标注的至少一个参考细胞区域，确定目标损失；

基于所述目标损失对所述初始神经网络模型的模型参数、所述目标细胞直径和所述目标对应关系进行更新，得到所述目标神经网络模型、以及更新后的所述目标细胞直径和所述目标对应关系。

根据本申请实施例的一个方面，提供一种多模态细胞分割装置，包括：

第一处理模块，用于对待处理的第一细胞图像进行预处理，得到包括第一颜色通道和第二颜色通道的第二细胞图像；所述第一颜色通道用于表征染色后的细胞质的颜色，所述第二颜色通道用于表征染色后的细胞核的颜色；

识别模块，用于采用目标神经网络模型对所述第二细胞图像中的细胞进行识别，得到所述第一细胞图像中每一像素分别对应的预测概率；所述预测概率用于表征对应的像素属于细胞的概率；

所述第一处理模块，还用于基于所述第一细胞图像中每一像素分别对应的预测概率，对所述第一细胞图像中的细胞进行分割处理，得到所述第一细胞图像中的至少一个细胞区域。

根据本申请实施例的一个方面，提供一种多模态细胞分割装置，包括：

第二处理模块，用于对样本细胞图像集合中的至少一个样本细胞图像进行预处理，得到至少一个包括第一颜色通道和第二颜色通道的待训练细胞图像；所述第一颜色通道用于表征染色后的细胞质的颜色，所述第二颜色通道用于表征染色后的细胞核的颜色；

训练模块，用于基于至少一个所述待训练细胞图像，对初始神经网络模型进行模型训练，得到目标神经网络模型。

根据本申请实施例的一个方面，提供一种多模态细胞分割设备，包括第一存储器和第一处理器，所述第一存储器存储有可在第一处理器上运行的计算机程序，所述第一处理器执行所述程序时实现本申请实施例所述的方法。

根据本申请实施例的一个方面，提供一种模型训练设备，包括第二存储器和第二处理器，所述第二存储器存储有可在第二处理器上运行的计算机程序，所述第二处理器执行所述程序时实现本申请实施例所述的方法。

根据本申请实施例的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本申请实施例所述的方法。

在本申请实施例中，对待处理的第一细胞图像进行预处理得到包括第一颜色通道和第二颜色通道的第二细胞图像，可以去除第一细胞图像中的干扰信息，重点突出第一颜色通道和第二颜色通道中的信息；由于第一颜色通道用于表征染色后的细胞质的颜色、第二颜色通道用于表征染色后的细胞核的颜色，因此，预处理后的第二细胞图像能够重点突出细胞质的相关信息和细胞核的相关信息，这些信息能够体现出细胞的位置和细胞特征，因此基于领域先验知识（第一颜色通道和第二颜色通道中凸显的细胞质的相关信息和细胞核的相关信息）来进行细胞分割，能够准确地定位细胞，精确地将第一细胞图像中的细胞分割出来，准确率高。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

图1为本申请实施例提供的一种多模态细胞分割方法的实现流程示意图；

图2为本申请实施例提供的一种目标神经网络模型的网络架构示意图；

图3为本申请实施例提供的一种模型训练方法的实现流程示意图；

图4为本申请实施例提供的另一种多模态细胞分割方法的实现流程示意图；

图5为本申请实施例提供的另一种模型训练方法的实现流程示意图；

图6为本申请实施例提供的多模态细胞分割装置的结构示意图；

图7为本申请实施例提供的模型训练装置的结构示意图；

图8为本申请实施例提供的多模态细胞分割设备的硬件实体示意图；

图9为本申请实施例提供的模型训练设备的硬件实体示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的具体技术方案做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

在以下的描述中，涉及到“一些实施例”、“本实施例”、“本申请实施例”以及举例等等，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

本申请实施例中出现的“第一、第二、第三”等描述，仅作示意与区分描述对象之用，没有次序之分，也不表示本申请实施例中对设备个数的特别限定，不能构成对本申请实施例的任何限制。

本申请实施例提供一种多模态细胞分割方法，图1为本申请实施例提供的多模态细胞分割方法的实现流程示意图，可以应用于多模态细胞分割模型，如图1所示，该方法可以包括以下步骤101至步骤103：

步骤101，对待处理的第一细胞图像进行预处理，得到包括第一颜色通道和第二颜色通道的第二细胞图像；所述第一颜色通道用于表征染色后的细胞质的颜色，所述第二颜色通道用于表征染色后的细胞核的颜色；

步骤102，采用目标神经网络模型对所述第二细胞图像中的细胞进行识别，得到所述第一细胞图像中每一像素分别对应的预测概率；所述预测概率用于表征对应的像素属于细胞的概率；

步骤103，基于所述第一细胞图像中每一像素分别对应的预测概率，对所述第一细胞图像中的细胞进行分割处理，得到所述第一细胞图像中的至少一个细胞区域。

可以理解，对待处理的第一细胞图像进行预处理得到包括第一颜色通道和第二颜色通道的第二细胞图像，可以去除第一细胞图像中的干扰信息，重点突出第一颜色通道和第二颜色通道中的信息；由于第一颜色通道用于表征染色后的细胞质的颜色、第二颜色通道用于表征染色后的细胞核的颜色，因此预处理后的第二细胞图像能够重点突出细胞质的相关信息和细胞核的相关信息，这些信息能够体现出细胞的位置和细胞特征，因此基于领域先验知识（第一颜色通道和第二颜色通道中凸显的信息）来进行细胞分割，能够准确地定位细胞，精确地将第一细胞图像中的细胞分割出来，准确率高。

以下分别对上述各个步骤的进一步的可选的实施方式以及相关名词等进行说明。

在步骤101中，对待处理的第一细胞图像进行预处理，得到包括第一颜色通道和第二颜色通道的第二细胞图像；所述第一颜色通道用于表征染色后的细胞质的颜色，所述第二颜色通道用于表征染色后的细胞核的颜色。

其中，第一细胞图像为待处理的细胞图像，也即，第一细胞图像是当前需要进行分割的细胞图像。在一种可行的实现方式中，第一细胞图像可以为目标显微镜下对任一细胞拍摄后得到的细胞图像；目标显微镜可以包括但不限于：亮场显微镜、相差显微镜、微分干涉差显微镜等。第二细胞图像是对第一细胞图像进行预处理后得到的细胞图像，第二细胞图像包括第一细胞图像中的第一颜色通道和第二颜色通道。第一颜色通道与第二颜色通道不同，第一颜色通道用于表征染色后的细胞质的颜色，第二颜色通道用于表征染色后的细胞核的颜色，也即，能够凸显细胞质的颜色通道与能够凸显细胞核的颜色通道不同，这种情况下，第二细胞图像中才可以同时包含细胞质的相关信息和细胞核的相关信息。

在一种可行的实现方式中，第一细胞图像的获取方式可以为：采用第一染料对细胞中的细胞质进行染色，采用第二染料对细胞中的细胞核进行染色；采用显微镜观察染色后的细胞，并将观察到的细胞拍摄下来，得到第一细胞图像。示例地，第一染料可以为绿色荧光染料（BBcellProbe C02），第二染料可以为蓝色荧光染料（4,6-二氨基-2-苯基吲啶（4',6-diamidino-2-phenylindole，DAPI））；如此，采用绿色荧光染料将细胞中的细胞质染为绿色，采用蓝色荧光染料将细胞中的细胞核染为蓝色。

实现时，发现细胞图像中的主通道（绿色通道）会凸显细胞质，但是仅采用细胞质对应的主通道进行细胞分割，分割效果不是很理想；因此，此处采用包括用于表征染色后的细胞质的颜色的第一颜色通道和用于表征染色后的细胞核的颜色的第二颜色通道的第二细胞图像进行细胞分割，如此，通过第一颜色通道能够获取细胞质的相关信息并定位细胞质，通过第二颜色通道能够获取细胞核的相关信息并定位细胞核，这样，通过加入额外的细胞核对应的蓝色通道能够获取更多的细胞特征，进而准确地定位细胞，以精确地将第一细胞图像中的细胞分割出来。

在一些实施例中，可以这样确定第二细胞图像：对所述第一细胞图像进行矩阵重组，去除所述第一细胞图像的红色通道，得到包括绿色通道和蓝色通道的第二细胞图像；所述第一颜色通道为绿色通道，所述第二颜色通道为蓝色通道。

其中，对第一细胞图像进行矩阵重组，去除第一细胞图像的红色通道，是为了去除第一细胞图像中与细胞无关的干扰信息，保留并突出能够体现细胞特征和细胞位置的细胞质对应的绿色通道和细胞核对应的蓝色通道。

实现时，若第一细胞图像中的细胞质是采用绿色荧光染料进行染色的，那么此时能够表征细胞质的通道为绿色通道；若第一细胞图像中的细胞核是采用蓝色荧光染料进行染色，那么此时能够表征细胞核的通道为蓝色通道。

在一种可行的实现方式中，对第一细胞图像进行矩阵重组时，可以直接去除第一细胞图像的红色通道，然后将第一细胞图像的绿色通道作为主通道，将第一细胞图像的蓝色通道作为第二通道，然后按照主通道对应的权重和第二通道对应的权重，将第一细胞图像的绿色通道和第一细胞图像的蓝色通道重组在一起，得到第二细胞图像。

在步骤102中，采用目标神经网络模型对所述第二细胞图像中的细胞进行识别，得到所述第一细胞图像中每一像素分别对应的预测概率；所述预测概率用于表征对应的像素属于细胞的概率。

其中，目标神经网络模型是基于包括第一颜色通道和第二颜色通道的待训练细胞图像进行模型训练后得到的。目标神经网络模型的模型输出为细胞图像中每一像素属于细胞的概率；如此，是通过预测细胞图像中每一像素属于细胞的概率，来实现对细胞图像中的细胞进行分割的。

可以理解，由于第一颜色通道用于表征染色后的细胞质的颜色、第二颜色通道用于表征染色后的细胞核的颜色，因此待训练细胞图像重点突出了细胞质的相关信息和细胞核的相关信息，因此基于这些领域先验知识（第一颜色通道和第二颜色通道凸显的信息）能够使目标神经网络模型很好地学习到细胞特征，并准确地定位细胞，提高目标神经网络模型的预测准确率，进而采用目标神经网络模型对预处理后的第二细胞图像进行处理，所确定的第一细胞图像中每一像素属于细胞的预测概率会更准确，进而基于第一细胞图像中每一像素分别对应的预测概率，能够精确地分割出第一细胞图像中的至少一个细胞区域。

在一些实施例中，可以这样确定第一细胞图像中每一像素分别对应的预测概率：基于预设图像尺寸对所述第二细胞图像进行分割，得到多个子图像；采用所述目标神经网络模型对每一所述子图像进行识别，得到所述每一子图像分别对应的预测概率子图；所述预测概率子图中包括对应的子图像中每一像素属于细胞的概率；对所述多个子图像的预测概率子图进行整合处理，得到所述第一细胞图像的预测概率图；所述预测概率图中包括所述第一细胞图像中每一像素属于细胞的概率。

其中，预设图像尺寸是预先设置好的图像尺寸；示例地，预设图像尺寸可以设置为，具体可根据实际业务需求进行设置，本申请实施例对此不作限定。多个子图像是基于预设图像尺寸对第二细胞图像进行分割后得到的。任一子图像的预测概率子图中包括这个子图像中每一像素属于细胞的概率。目标神经网络模型用于获取每一子图像的预测概率子图，又因任一子图像的预测概率子图中包括这个子图像中每一像素属于细胞的概率，因此也可以说，目标神经网络模型用于获取每一子图像中每一像素属于细胞的概率。

可以理解，第二细胞图像中所包含的细胞的数量较多，且细胞信息较为细微，若是直接采用目标神经网络模型对第二细胞图像进行识别，那么在识别时会无法兼顾第二细胞图像中的所有细胞信息，忽视掉关键的细胞信息，导致识别的准确率会降低；而将第二细胞图像划分为多个子图像后，可以将第二细胞图像中的细胞信息分散在多个子图像中，每一子图像中包括的细胞信息少于第二细胞图像中包括的细胞信息，那么采用目标神经网络模型对每一子图像进行识别时，就可以更精细地识别到每一子图像中的细胞信息，提高识别的准确率，所得到的每一子图像的预测概率子图更准确，进而基于多个子图像的预测概率子图得到的第一细胞图像的预测概率图更准确，从而能够精确地将细胞图像中的细胞分割出来。

具体地，在一些实施例中，可以这样确定多个子图像：基于目标细胞直径对所述第二细胞图像的图像尺寸进行调整，得到调整后的所述第二细胞图像；所述目标细胞直径是在所述目标神经网络模型的训练过程中学习得到的；在所述调整后的第二细胞图像的图像尺寸与所述预设图像尺寸之间的比值为整数的情况下，基于所述预设图像尺寸对所述调整后的第二细胞图像进行分割，得到所述多个子图像。

相应地，在所述调整后的第二细胞图像的图像尺寸与所述预设图像尺寸之间的比值不为整数的情况下，基于所述预设图像尺寸和所述调整后的第二细胞图像的图像尺寸，确定第二图像尺寸；所述第二图像尺寸与所述预设图像尺寸之间的比值为整数；基于目标像素值对所述调整后的第二细胞图像进行填充处理，得到图像尺寸为所述第二图像尺寸的第三细胞图像；基于所述预设图像尺寸对所述第三细胞图像进行分割，得到所述多个子图像。

其中，目标细胞直径用于表征多种不同形态的细胞的细胞直径。目标细胞直径是在目标神经网络模型的训练过程中学习得到的；具体地，采用对多种不同形态的细胞进行拍摄后的细胞图像进行模型训练时，可以根据该细胞图像中的多种不同形态细胞的细胞直径对目标细胞直径进行不断更新，以使目标细胞直径不断趋于多种不同形态细胞的细胞直径的均值，从而使目标细胞直径能够体现多种不同形态的细胞的细胞直径。在对待处理的细胞图像处理时，目标细胞直径是一个已知值。生物学中的细胞不仅在类别上展现出多样性，同时还表现出不同的形态特征，这些特征包括细胞的大小、形状、颜色、内部结构和功能等，为了融合关于细胞形态的大量信息，采用目标神经网络模型学习到的目标细胞直径对第二细胞图像的图像尺寸进行调整。第二图像尺寸是基于预设图像尺寸和调整后的第二细胞图像的图像尺寸确定的、且第二图像尺寸与预设图像尺寸之间的比值为整数。第三细胞图像是对调整后的第二细胞图像进行填充处理后得到的细胞图像。目标像素值用于对细胞图像进行填充，目标像素值为不影响细胞图像中所包含的细胞信息的像素值，示例地，目标像素值可以为0。

可以理解，调整后的第二细胞图像的图像尺寸与预设图像尺寸之间的比值为整数，说明调整后的第二细胞图像能够被完整划分为多个图像尺寸为预设图像尺寸的子图像，且每一子图像中不会存在缺失的像素，均是完整的图像区域，也即，若预设图像尺寸为，那么每一子图像的图像尺寸也为/>。

可以理解，调整后的第二细胞图像的图像尺寸与预设图像尺寸之间的比值不为整数，说明调整后的第二细胞图像不能被划分为多个图像尺寸为预设图像尺寸的子图像；这种情况下，可以基于预设图像尺寸和调整后的第二细胞图像的图像尺寸确定第二图像尺寸，将调整后的第二细胞图像填充为图像尺寸为第二图像尺寸的细胞图像（第三细胞图像），此时由于第二图像尺寸与预设图像尺寸的比例是整数，那么第三细胞图像就可以被完整分割为多个图像尺寸为预设图像尺寸的子图像。

示例地，若预设图像尺寸为，调整后的第二细胞图像的图像尺寸为，那么第二图像尺寸可以为/>，此时可以基于目标像素值0，将第二细胞图像的图像尺寸从/>填充至/>，得到第三细胞图像。可以看出，填充不是随意填充的，要保证填充的复杂度是最低的，也即填充后的图像尺寸是最接近第二细胞图像的图像尺寸，但又是预设图像尺寸的倍数。

可实现地，在一些实施例中，可以这样确定调整后的第二细胞图像：确定细胞直径与细胞图像尺寸之间的目标对应关系；其中，所述目标对应关系是在所述目标神经网络模型的训练过程中学习得到的；基于所述目标细胞直径和所述目标对应关系，确定第一图像尺寸；将所述第二细胞图像的图像尺寸调整为所述第一图像尺寸，得到所述调整后的第二细胞图像。

其中，目标对应关系是细胞直径与细胞图像尺寸之间的对应关系。目标对应关系可以表征细胞形态与细胞图像中的细胞的数量等细胞特征之间的关系；由于细胞形态存在树枝形、条形、圆形、椭圆形等多个形态，且不同形态下的细胞图像中所包含的细胞的数量、细胞的特征是不同的，因此可以通过目标对应关系来体现细胞形态和细胞特征。目标对应关系是在目标神经网络模型的训练过程中学习得到的；具体地，由于同一形态的细胞在不同的摄像机的拍摄下会得到不同尺寸的细胞图像，不同形态的细胞在同一摄像机下也会得到不同尺寸的细胞图像，因此在采用多种摄像机对不同形态的细胞进行拍摄后的细胞图像进行模型训练时，可以将细胞图像的图像尺寸和该细胞图像中细胞的细胞直径建立一个对应关系，根据该对应关系对模型中的目标对应关系进行不断更新，以使目标对应关系能够表征多种形态细胞的细胞直径与多种图像尺寸之间的对应关系，从而使目标对应关系能够融合细胞形态和细胞特征。在对待处理的细胞图像处理时，目标对应关系相当于一个已知值。

示例地，若目标细胞直径为48，细胞直径48对应的细胞图像尺寸为，那么第一图像尺寸可以为/>。

具体地，在一些实施例中，可以这样确定每一子图像分别对应的预测概率子图：采用所述目标神经网络模型中的编码器对所述每一子图像进行特征提取，得到所述每一子图像的第一特征图；采用所述目标神经网络模型中的全局平均池化模块对所述第一特征图进行池化处理，得到所述每一子图像的第二特征图；所述第二特征图表征所述每一子图像中细胞的类别；采用所述目标神经网络模型中的解码器对所述第一特征图和所述第二特征图进行通道恢复处理，得到所述每一子图像的预测概率子图；所述编码器和所述解码器均包括多个由卷积网络和残差网络构成的特征提取模块。

其中，目标神经网络模型可以包括编码器、解码器和全局平均池化模块。编码器用于对细胞图像进行特征提取和下采样，解码器用于进行跳转链接和上采样，全局平均池化模块用于获取表征细胞类别的特征图。每一子图像的第一特征图是采用目标神经网络模型的编码器对第一子图像进行特征提取后得到的特征图。第二特征图是采用目标神经网络模型的全局平均池化模块对第一特征图进行处理后得到的特征图，用于表征每一子图像中细胞的类别。

图2为本申请实施例提供的一种目标神经网络模型的网络结构示意图。如图2所示，目标神经网络模型的网络结构包括编码器、解码器和全局平均池化模块。编码器包括4个第一特征提取模块，每一第一特征提取模块包括2个由卷积网络和残差网络构成的特征提取层；同理，解码器包括4个第二特征提取模块，每一第二特征提取模块包括2个由卷积网络和残差网络构成的特征提取层。每一特征提取层上的数字（如第一个特征提取层上标注的32）为通道数；可以看出，编码器和解码器共用一个通道数为256的特征提取模块。所用的卷积网络均采用的卷积核。编码器中每一第一特征提取模块之间的箭头表示下采样，用于降低维度；编码器主要进行卷积操作和下采样操作。解码器中每一第二特征提取模块之间的箭头表示上采样，用于提升维度；解码器主要进行上采样操作和跳转链接操作。编码器获取细胞图像的特征图后，由解码器将特征图恢复为原始维度（原始分辨率）。另外，在通道数为256的这一特征提取模块后加入了全局平均池化模块，以获取细胞图像的style表示，该style表示表征细胞类别，在上采样阶段馈送style表示；馈送style表示是指在卷积前，对style表示进行一个线性变换后与解码器中的当前特征提取模块的输入相加，相加后的结果进入卷积。

实现时，将每一子图像输入至目标神经网络模型后，会采用编码器对每一子图像进行特征提取得到每一子图像的第一特征图，然后采用全局平均池化模块对第一特征图进行池化处理，得到每一子图像的第二特征图，接着采用编码器对第一特征图和第二特征图进行通道灰度处理，得到每一子图像的预测概率子图。

进一步地，在一些实施例中，可以这样确定每一子图像的预测概率子图:从所述编码器中的多个第一特征提取模块中，确定通道数与所述解码器中的第i个第二特征提取模块的通道数相同的第一特征提取模块输出的第一子特征图；i为大于或等于2的正整数；确定所述解码器中的第i-1个第二特征提取模块输出的第二子特征图；所述解码器中的第一个第二特征提取模块输出的特征图为所述编码器中的最后一个第一特征提取模块输出的所述第一特征图；

然后，采用所述解码器中的第i个第二特征提取模块对所述第二子特征图、所述第一子特征图和所述第二特征图进行通道恢复处理，得到所述解码器中的第i个第二特征提取模块输出的特征图；将所述解码器中的最后一个第二特征提取模块输出的特征图作为所述每一子图像的预测概率子图。

例如，参照图2，编码器中的多个第一特征提取模块可以包括：通道数为32的第一特征提取模块，通道数为64的第一特征提取模块，通道数为128的第一特征提取模块，通道数为256的第一特征提取模块。解码器中的多个第二特征提取模块可以包括：通道数为256的第二特征提取模块、通道数为128的第二特征提取模块，通道数为64的第二特征提取模块，通道数为32的第二特征提取模块。编码器输出的第一特征图为图2中通道数为256的第一特征提取模块输出的特征图。对于解码器，通道数为256的第一特征提取模块也是解码器中的第一个第二特征提取模块，那么此时通道数为256的第一特征提取模块输出的第一特征图，也为解码器中的第一个第二特征提取模块输出的第一子特征图。获取第一特征图（编码器输出的特征图）后，对于解码器中的第二个第二特征提取模块（通道数为128的第二特征提取模块），此时需要对第一特征图（解码器中的第一个第二特征提取模块输出的第二子特征图）、第二特征图和编码器中通道数为128的第一特征提取模块输出的第一子特征图进行通道恢复处理；对于解码器中的第三个特征模块（通道数为64的第二特征提取模块），此时需要对第二个第二特征提取模块（通道数为128的第二特征提取模块）输出的第二子特征图、第二特征图、以及编码器中通道数为64的第一特征提取模块输出的第一子特征图进行通道恢复处理；对于解码器中的第四个特征模块（通道数为32的第二特征提取模块），此时需要对第三个第二特征提取模块（通道数为64的第二特征提取模块）输出的第二子特征图、第二特征图、以及编码器中通道数为32的第一特征提取模块输出的第一子特征图进行通道恢复处理，通道数为32的第二特征提取模块输出的特征图即为解码器中的最后一个第二特征提取模块输出的特征图，将其输出的特征图作为每一子图像的预测概率子图。

在一些实施例中，可以这样确定解码器中的第i个第二特征提取模块输出的特征图：对所述第二子特征图和所述第二特征图进行求和处理，得到第三特征图；对所述第三特征图进行上采样处理，得到处理后的所述第三特征图；对所述处理后的第三特征图和所述第一子特征图进行求和处理，得到第四特征图；对所述第四特征图进行卷积处理，得到所述解码器中的第i个第二特征提取模块输出的特征图。

其中，第三特征图是对第二子特征图和第二特征图进行求和处理后得到的。对第三特征图进行上采样处理，是为了进行通道灰度，以恢复细胞图像的原始分辨率。对第四特征图进行卷积处理，是为了提取细胞特征。

从图2中可以看出，解码器中每一第二特征提取模块输出的特征图在和第二特征图（细胞类别）进行求和处理得到第三特征图后，会对第三特征图进行上采样处理，然后进入下一个第二特征提取模块，在下一个第二特征提取模块处理之前，需要将处理后的第三特征图与对应的第一特征提取模块输出的特征图进行求和处理得到第四特征图，此时第四特征图即为下一个第二特征提取模块的输入。

需要说明的是，采用求和的方式对两个特征图进行处理，而不是采用特征拼接的方式对两个特征处理，是为了减少特征的数量，提高模型处理的速率。

在一些实施例中，得到多个子图像的预测概率子图后，可以这样确定第一细胞图像的预测概率图：根据所述多个子图像在所述第二细胞图像中的位置对所述多个子图像的预测概率子图进行整合处理，得到第一预测概率图；在基于目标像素值对所述第二细胞图像进行过填充处理的情况下，从所述第一预测概率图中去除填充的所述目标像素值对应的预测概率，得到第二预测概率图；将所述第二预测概率图的图像尺寸调整为所述第一细胞图像的初始图像尺寸，得到所述第一细胞图像的预测概率图。

其中，第一预存概率图是根据多个子图像在第二细胞图像中的位置对多个子图像的预测概率子图进行整合处理后得到的。根据多个子图像在第二细胞图像中的位置对多个子图像的预测概率子图进行整合处理，也即是根据多个子图像分割前在第二细胞图像所处的位置对多个子图像的预测概率子图进行整合处理的。第二预测概率图是从第一预测概率图中去除填充的目标像素值对应的预测概率后得到的预测概率图。

由于之前对第二细胞图像进行过图像尺寸的调整、填充处理、以及分割处理，因此在得到每一子图像的预测概率子图后，需要进行整合处理、去除填充、以及调整图像尺寸，以得到第一细胞图像的预测概率图。

在步骤103中，基于所述第一细胞图像中每一像素分别对应的预测概率，对所述第一细胞图像中的细胞进行分割处理，得到所述第一细胞图像中的至少一个细胞区域。

可以理解，预测概率用于表征对应的像素属于细胞的概率，因此基于第一细胞图像中每一像素分别对应的预测概率，就可以获知第一细胞图像中哪些像素属于细胞，哪些不属于细胞，根据属于细胞的像素和像素所处的位置，就可以划分出多个细胞，从而实现对第一细胞图像中的细胞进行分割的目的。

在一些实施例中，得到第一细胞图像中每一像素分别对应的预测概率后，可以这样确定第一细胞图像中的至少一个细胞区域：基于所述第一细胞图像的预测概率图，确定所述第一细胞图像的掩码图；所述预测概率图中包括所述第一细胞图像中每一像素属于细胞的概率；所述预测概率用于表征对应的像素属于细胞的概率；采用热扩散模拟，基于所述第一细胞图像的掩码图对所述第一细胞图像中的细胞进行分割处理，得到所述第一细胞图像中的至少一个细胞区域。

可以理解，第一细胞图像的掩码图可以用于分割细胞，但是，为了获取更精确的细胞分割结果，在获取第一细胞图像的掩码图后，还可以采用热扩散模拟，基于第一细胞图像的掩码图对第一细胞图像中的细胞进行分割处理，以实现更精确地细胞分割。

在一种可行的实现方式中，可以采用掩码算子，对所述第一细胞图像的预测概率图进行处理，得到第一细胞图像的掩码图；然后，采用热扩散模拟，基于第一细胞图像的掩码图确定多个梯度向量场；基于多个梯度向量场，构建多个具有固定点的动力系统；基于多个固定点，将第一细胞图像中收敛于同一固定点的像素划分到一组，得到多个像素组；将每一像素组组成的图像区域确定为一个细胞区域，分割出所述第一细胞图像中的至少一个细胞区域。

本申请实施例提供一种模型训练方法，图3为本申请实施例提供的模型训练方法的实现流程示意图，如图3所示，该方法可以包括以下步骤301至步骤302：

步骤301，对样本细胞图像集合中的至少一个样本细胞图像进行预处理，得到至少一个包括第一颜色通道和第二颜色通道的待训练细胞图像；所述第一颜色通道用于表征染色后的细胞质的颜色，所述第二颜色通道用于表征染色后的细胞核的颜色。

步骤302，基于至少一个所述待训练细胞图像，对初始神经网络模型进行模型训练，得到目标神经网络模型。

可以理解，由于第一颜色通道能够表征染色后的细胞质的颜色、第二颜色通道用于表征染色后的细胞核的颜色，因此待训练细胞图像重点突出了细胞质的相关信息和细胞核的相关信息，因此基于这些领域先验知识（第一颜色通道和第二颜色通道凸显的信息）能够使目标神经网络模型很好地学习到细胞特征，并准确地定位细胞，提高目标神经网络模型的预测准确率，进而采用目标神经网络模型对预处理后的第二细胞图像进行处理，所确定的第一细胞图像中每一像素属于细胞的预测概率会更准确，进而基于第一细胞图像中每一像素分别对应的预测概率，能够精确地分割出第一细胞图像中的至少一个细胞区域。

以下分别对上述各个步骤的进一步的可选的实施方式以及相关名词等进行说明。

在步骤301中，对样本细胞图像集合中的至少一个样本细胞图像进行预处理，得到至少一个包括第一颜色通道和第二颜色通道的待训练细胞图像；所述第一颜色通道用于表征染色后的细胞质的颜色，所述第二颜色通道用于表征染色后的细胞核的颜色。

其中，样本细胞图像集合中包括至少一个样本细胞图像。待训练细胞图像是对样本细胞图像进行预处理后得到的细胞图像。

在一些实施例中，可以这样确定样本细胞图像集合：获取在多种显微镜下对属于不同细胞类别的细胞进行拍摄后得到的多张细胞图像，构建所述样本细胞图像集合。

在一些实施例中，可以这样确定至少一个包括第一颜色通道和第二颜色通道的待训练细胞图像：对每一所述样本细胞图像进行矩阵重组，去除所述每一样本细胞图像的红色通道，得到至少一个包括绿色通道和蓝色通道的第四细胞图像；所述第一颜色通道为绿色通道，所述第二颜色通道为蓝色通道；确定设定的细胞直径与细胞图像尺寸之间的目标对应关系、以及设定的目标细胞直径；基于所述目标对应关系和所述目标细胞直径对每一所述第四细胞图像的图像尺寸进行调整，得到调整后的所述每一第四细胞图像；将所述调整后的每一第四细胞图像作为所述待训练细胞图像。

其中，对每一样本细胞图像进行矩阵重组，去除每一样本细胞图像的红色通道，可以去除每一样本细胞图像中与细胞无关的干扰信息，保留并突出能够体现细胞特征和细胞位置的细胞质对应的绿色通道和细胞核对应的蓝色通道。对每一样本细胞图像进行预处理的操作可以包括：矩阵重组、图像尺寸的调整等。设定的目标对应关系可以是初始设置的目标对应关系，也可以是目标神经网络模型学习到的目标对应关系。设定的目标细胞直径可以是初始设置的目标对应关系，也可以是目标神经网络模型学习到的目标细胞直径。目标细胞直径用于表征多种不同形态的细胞的细胞直径。目标对应关系可以表征细胞形态与细胞图像中的细胞的数量等细胞特征之间的关系。

在一种可行的实现方式中，在未训练目标神经网络模型之前，可以预先对多个细胞图像进行分析，确定每一细胞图像的图像尺寸和每一细胞图像中包括的多个细胞的细胞直径，根据多个细胞的细胞直径确定多个细胞的平均细胞直径，然后将每一细胞图像的图像尺寸与对应的平均细胞直径作为一组对应关系，基于多组对应关系确定初始的目标对应关系，如可以将多组对应关系中相同数量最多的对应关系确定为初始的目标对应关系；可以将多个细胞图像中细胞直径的平均值作为初始的目标细胞直径，如此，就可以基于初始的目标细胞直径和初始的目标对应关系对初次训练使用的样本细胞图像进行图像尺寸的调整，然后，采用调整后的样本细胞图像进行初次的模型训练，初次模型训练的过程中，就会对初始的目标对应关系和初始的目标细胞直径进行更新，然后采用更新后的目标对应关系和更新后的目标细胞直径对第二次训练使用的样本细胞图像进行图像尺寸的调整，然后继续采用调整后的样本细胞图像进行模型训练，以此循环，直至训练得到目标神经网络模型。需要说明的是，在采用目标神经网络模型对待处理的细胞图像进行识别时，还可以继续更新目标对应关系和目标细胞直径。

在步骤302中，基于至少一个所述待训练细胞图像，对初始神经网络模型进行模型训练，得到目标神经网络模型。

在一些实施例中，可以这样确定目标神经网络模型：将每一所述待训练细胞图像输入至所述初始神经网络模型，得到所述每一待训练细胞图像中每一像素分别对应的预测概率；所述预测概率用于表征对应的像素属于细胞的概率；基于所述每一待训练细胞图像中每一像素分别对应的预测概率，对所述每一待训练细胞图像中的细胞进行分割处理，得到所述每一待训练细胞图像中的至少一个细胞区域；

然后，基于所述每一待训练细胞图像中的至少一个细胞区域和所述每一待训练细胞图像中所标注的至少一个参考细胞区域，确定目标损失；基于所述目标损失对所述初始神经网络模型的模型参数、所述目标细胞直径和所述目标对应关系进行更新，得到所述目标神经网络模型、以及更新后的所述目标细胞直径和所述目标对应关系。

实现时，可以基于预设图像尺寸对待训练细胞图像进行分割得到多个子图像，将该多个子图像依次输入至初始神经网络模型进行模型训练得到每一子图像中每一像素分别对应的预测概率，基于该多个子图像的预测概率得到待训练样本细胞图像中每一像素分别对应的预测概率，然后，基于每一待训练细胞图像中每一像素分别对应的预测概率对每一待训练细胞图像中的细胞进行分割处理，得到每一待训练细胞图像中的至少一个细胞区域，基于每一待训练细胞图像中的至少一个细胞区域和每一待训练细胞图像中所标注的至少一个参考细胞区域（样本标签）确定目标损失，基于目标损失对初始神经网络模型的模型参数、目标细胞直径、以及细胞直径与细胞图像尺寸之间的目标对应关系进行更新，以此循环，直至达到迭代停止条件，得到目标神经网络模型，更新后的目标细胞直径，更新后的目标对应关系。

需要说明的是，第一方面，基于预设图像尺寸对待训练细胞图像进行分割得到多个子图像的操作与基于预设图像尺寸对第二细胞图像进行分割的到多个子图像的操作类似，本申请实施例对此不再赘述。具体地，基于目标细胞直径对待训练细胞图像的图像尺寸进行调整，得到调整后的待训练细胞图像；在调整后的待训练细胞图像的图像尺寸与预设图像尺寸之间的比值为整数的情况下，基于预设图像尺寸对调整后的待训练细胞图像进行分割得到多个子图像；在调整后的待训练细胞图像的图像尺寸与预设图像尺寸之间的比值不为整数的情况下，基于预设图像尺寸和调整后的样本细胞图像的图像尺寸确定第三图像尺寸（第二图像尺寸与预设图像尺寸之间的比值为整数），基于目标像素值对调整后的第二细胞图像进行填充处理得到图像尺寸为第二图像尺寸的第四细胞图像，基于预设图像尺寸对第四细胞图像进行分割得到多个子图像。

第二方面，基于该多个子图像的预测概率得到待训练样本细胞图像中每一像素分别对应的预测概率的操作、与上述对多个子图像的预测概率子图进行整合处理得到第一细胞图像的预测概率图的操作类似。具体地，根据多个子图像在样本细胞图像中的位置对该多个子图像的预测概率子图（表征对应子图像中每一像素是否属于细胞）进行整合处理，得到第三预测概率图；在基于目标像素值对待训练细胞图像进行过填充处理的情况下，从第三预测概率图中去除填充的目标像素值对应的预测概率得到第四预测概率图；将第四预测概率图的图像尺寸调整为样本细胞图像的初始图像尺寸，得到样本细胞图像的预测概率图。

第三方面，基于每一待训练细胞图像中每一像素分别对应的预测概率对每一待训练细胞图像中的细胞进行分割处理得到每一待训练细胞图像中的至少一个细胞区域的操作、与上述基于第一细胞图像中每一像素分别对应的预测概率对第一细胞图像中的细胞进行分割处理得到第一细胞图像中的至少一个细胞区域的操作也类似，本申请实施例对此不再赘述。具体地，基于待训练细胞图像的预测概率图，确定待训练细胞图像的掩码图；采用热扩散模拟，基于待训练细胞图像的掩码图对待训练细胞图像中的细胞进行分割处理，得到待训练细胞图像中的至少一个细胞区域。

本申请实施例再提供一种多模态细胞分割方法，图4为本申请实施例提供的多模态细胞分割方法的实现流程示意图，可以应用于具有数据处理能力的计算机设备（如多模态细胞分割设备），如图4所示，该方法包括如下步骤401至步骤410：

步骤401，对第一细胞图像进行矩阵重组，去除第一细胞图像的红色通道，得到包括绿色通道和蓝色通道的第二细胞图像。

步骤402，确定细胞直径与细胞图像尺寸之间的目标对应关系；目标对应关系是在目标神经网络模型的训练过程中学习得到的。

步骤403，基于目标细胞直径和目标对应关系，确定第一图像尺寸。

步骤404，将第二细胞图像的图像尺寸调整为第一图像尺寸，得到调整后的第二细胞图像。

步骤405，在调整后的第二细胞图像的图像尺寸与预设图像尺寸之间的比值为整数的情况下，基于预设图像尺寸对调整后的第二细胞图像进行分割，得到多个子图像。

步骤406，采用目标神经网络模型中的编码器对每一子图像进行特征提取，得到每一子图像的第一特征图。

步骤407，采用目标神经网络模型中的全局平均池化模块对第一特征图进行池化处理，得到每一子图像的第二特征图；第二特征图表征每一子图像中细胞的类别。

步骤408，采用目标神经网络模型中的解码器对第一特征图和第二特征图进行通道恢复处理，得到每一子图像的预测概率子图。

步骤409，对多个子图像的预测概率子图进行整合处理，得到第一细胞图像的预测概率图；预测概率图中包括第一细胞图像中每一像素属于细胞的概率。

步骤410，基于第一细胞图像中每一像素分别对应的预测概率，对第一细胞图像中的细胞进行分割处理，得到第一细胞图像中的至少一个细胞区域。

本申请实施例再提供一种模型训练方法，图5为本申请实施例提供的模型训练方法的实现流程示意图，如图5所示，该方法包括如下步骤501至步骤509：

步骤501，获取在多种显微镜下对属于不同细胞类别的细胞进行拍摄后得到的多张细胞图像，构建样本细胞图像集合。

步骤502，对每一样本细胞图像进行矩阵重组，去除每一样本细胞图像的红色通道，得到至少一个包括绿色通道和蓝色通道的第四细胞图像。

步骤503，确定设定的细胞直径与细胞图像尺寸之间的目标对应关系、以及设定的目标细胞直径。

步骤504，基于目标对应关系和目标细胞直径对每一第四细胞图像的图像尺寸进行调整，得到调整后的每一第四细胞图像。

步骤505，将调整后的每一第四细胞图像作为待训练细胞图像。

步骤506，将每一待训练细胞图像输入至初始神经网络模型，得到每一待训练细胞图像中每一像素分别对应的预测概率；预测概率用于表征对应的像素属于细胞的概率。

步骤507，基于每一待训练细胞图像中每一像素分别对应的预测概率，对每一待训练细胞图像中的细胞进行分割处理，得到每一待训练细胞图像中的至少一个细胞区域。

步骤508，基于每一待训练细胞图像中的至少一个细胞区域和每一待训练细胞图像中所标注的至少一个参考细胞区域，确定目标损失。

步骤509，基于目标损失对初始神经网络模型的模型参数、目标细胞直径、以及细胞直径与细胞图像尺寸之间的目标对应关系进行更新，得到目标神经网络模型、以及更新后的目标细胞直径和目标对应关系。

下面将说明本申请实施例在一个实际的应用场景中的示例性应用。

在实际应用中，细胞图像通常由多种细胞类别和多种显微镜视图组成。对于复杂的细胞图像，阈值法、边缘检测法等传统的细胞分割方法的分类效果不佳，且复杂的细胞图像中的信息也很难被神经网络模型有效地学习，导致基于神经网络的细胞分割方法的泛化能力差；目前，对于复杂的细胞图像，缺乏通用的细胞分割方法。

基于上述问题，在本申请实施例中，提出一种多模态细胞图像分割方法，可在多种细胞显微图像中完成精细分割多种细胞的分割任务，基于此来实现对上述问题的改进。

本申请实施例提出的多模态细胞分割方法，包括以下步骤1至步骤7：

步骤1，获取待处理的第一细胞图像。

步骤2，对第一细胞图像进行矩阵重组，去除红色通道，保留绿色通道和蓝色通道，得到第二细胞图像；其中，绿色通道用于表征染色后的细胞质的颜色，蓝色通道用于表征染色后的细胞核的颜色。

步骤3，对第二细胞图像进行分割得到多个子图像（多个小块），该分割包括根据自适应细胞直径（目标细胞直径）改变图像大小、填充（padding）、将图像分割成小块（tiles）等。其中，自适应细胞直径是在目标多模态细胞分割模型的训练过程中对预设细胞直径进行不断调整后得到的，细胞直径与细胞图像尺寸之间有一个对应关系，该对应关系（目标对应关系）也是在目标神经网络模型的训练过程中学习得到的。填充是在第二细胞图像不能被完整分割成多个小块的情况下需要进行的操作，以将第二细胞图像的图像尺寸填充至小块尺寸的倍数；填充的像素值可以为0，小块尺寸可以为。

步骤4，采用目标神经网络模型（例如，多模态细胞分割模型（Advanced Multi-Microscopic Views Cell Segmentation，MMCS））对每一子图像进行处理，得到每一子图像的预测概率子图。

步骤5，对多个子图像的预测概率子图进行整合处理，得到一个整体的预测概率图（第一预测概率图）。

步骤6，根据步骤3中的操作，对第一预测概率图进行反向操作，以去除之前填充的像素值，将第一预测概率图的图像尺寸调整为第二细胞图像的原始图像尺寸，得到第一细胞图像的预测概率图。

步骤7，采用二值化阈值对第一细胞图像的预测概率图进行处理，得到第一细胞图像的掩码图，采用热扩散模拟（heat diffusion simulation）获取更加精确的细胞分割结果；具体地，第一细胞图像的掩码图为第一细胞图像中的每一像素的水平、垂直梯度及像素是否在细胞内的三个矩阵，这三个矩阵合成一个梯度向量场，再根据这个梯度向量场构建一个具有固定点的动力系统，所有收敛到同一个固定点的像素分组在一起，得到单个细胞的形状（单个细胞区域），最终输出第一细胞图像的分割结果。

需要说明的是，为获得更精确的分割结果，本申请实施例提供的多模态细胞分割方法引入了领域先验知识，主要体现在如下几个方面：1.在上述步骤2中保留细胞图像的主通道和第二通道，主通道对应细胞质标记，第二通道对应细胞核；其中，通常采用4,6-二氨基-2-苯基吲啶（DAPI）对细胞核进行染色，使细胞核呈现为蓝色，如此，通过对应细胞核的第二通道，可以提供细胞的定位信息，增强细胞结构优势，那么在步骤4采用MMCS模型进行处理时，就可以使模型更精准地学习到细胞的相对位置信息和细胞特征。另外，生物学中的细胞不仅在类别上展现出多样性，同时还表现出不同的形态和特征，该特征包括细胞的大小、形状、颜色、内部结构和功能，为了融合细胞形态和特征等大量信息，在步骤3中根据自适应细胞直径来调整图像大小。

需要说明的是，MMCS模型与用于生物医学图像分割的卷积网络（ConvolutionalNetworks for Biomedical Image Segmentation，例如U-Net）的不同之处在于：1. MMCS模型采用卷积网络和残差网络替换了U-Net的标准模块，通过残差网络加入注意力，使模型更关注细胞信息，提升了模型特征提取的能力；2. 在跳转链接中，采样直接求和的方法对特征进行融合，而不是传统的特征拼接方法，减少了模型的参数数量；3. 在最小的卷积映射上采用了全局平均池化，来获取细胞图像的style表示，并在上采样阶段馈送style表示，提升模型的准确率；从而，使MMCS模型具有良好的分类效果。

本申请中的MMCS模型，可在多种细胞显微镜图像中完成精细分割多种细胞的分割任务，应用场景包括但不限于：亮场显微镜图像、相差显微镜图像、微分干涉差显微镜图像及荧光图像等多种显微镜下的细胞图像，染色细胞、形态呈分枝状细胞、荧光标记组织细胞以及细菌细胞等多个细胞类别。具体分类效果如下：

MMCS模型应用于亮场显微镜（Brightfield microscope）拍摄的染色细胞图像的具体方式可以为：采用MMCS模型对原始细胞图像进行处理描绘出细胞轮廓，然后确定分割出的细胞掩码图。本申请中的多模态细胞分割方法在亮场显微镜拍摄的染色细胞图像上分割效果很好，可以精确的将染色细胞检测分割出来。

MMCS模型应用于相差显微镜（Phase-contrast microscope）拍摄的细胞图像，相差显微镜下细胞形态呈分枝状，同样地，可以采用MMCS模型对原始细胞图像进行处理描绘出细胞轮廓，然后确定分割出的细胞掩码图。本申请中的多模态细胞分割方法对于分枝状细胞也具有良好的分割性能，能够精确的将细胞及其分支分割出来。

MMCS模型应用于荧光显微细胞图像（Fluorescent images）拍摄的细胞图像，同样地，可以采用MMCS模型对原始细胞图像进行处理描绘出的细胞轮廓，然后确定分割出的细胞掩码图。在荧光显微图像中，尽管组织细胞堆积在一起，但本申请中的多模态细胞分割方法仍然能够精确分割细胞。

MMCS模型应用于微分干涉差显微镜（Differential interference contrastmicroscope）拍摄的细菌细胞图像的具体方式可以为：采用MMCS模型对原始细胞图像进行处理描绘出的细菌细胞轮廓。本申请中的多模态细胞分割方法在微分干涉差显微镜拍摄的细菌细胞图像上也能够精确地分割细菌细胞。

应当注意，尽管在附图中以特定顺序描述了本申请中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等；或者，将不同实施例中步骤组合为新的技术方案。

基于前述的实施例，本申请实施例提供一种多模态细胞分割装置，该装置包括所包括的各模块、以及各模块所包括的各单元，可以通过处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为AI加速引擎（如NPU等）、GPU、中央处理器（CPU）、微处理器（MPU）、数字信号处理器（DSP）或现场可编程门阵列（FPGA）等等。

图6为本申请实施例提供的多模态细胞分割装置的结构示意图，如图6所示，多模态细胞分割装置60包括：

第一处理模块601，用于对待处理的第一细胞图像进行预处理，得到包括第一颜色通道和第二颜色通道的第二细胞图像；所述第一颜色通道用于表征染色后的细胞质的颜色，所述第二颜色通道用于表征染色后的细胞核的颜色；

识别模块602，用于采用目标神经网络模型对所述第二细胞图像中的细胞进行识别，得到所述第一细胞图像中每一像素分别对应的预测概率；所述预测概率用于表征对应的像素属于细胞的概率；

第一处理模块601，还用于基于所述第一细胞图像中每一像素分别对应的预测概率，对所述第一细胞图像中的细胞进行分割处理，得到所述第一细胞图像中的至少一个细胞区域。

在一些实施例中，第一处理模块601还用于：对所述第一细胞图像进行矩阵重组，去除所述第一细胞图像的红色通道，得到包括绿色通道和蓝色通道的第二细胞图像；所述第一颜色通道为绿色通道，所述第二颜色通道为蓝色通道。

在一些实施例中，识别模块602还用于：基于预设图像尺寸对所述第二细胞图像进行分割，得到多个子图像；采用所述目标神经网络模型对每一所述子图像进行识别，得到所述每一子图像分别对应的预测概率子图；所述预测概率子图中包括对应的子图像中每一像素属于细胞的概率；对所述多个子图像的预测概率子图进行整合处理，得到所述第一细胞图像的预测概率图；所述预测概率图中包括所述第一细胞图像中每一像素属于细胞的概率。

在一些实施例中，识别模块602还用于：基于目标细胞直径对所述第二细胞图像的图像尺寸进行调整，得到调整后的所述第二细胞图像；所述目标细胞直径是在所述目标神经网络模型的训练过程中学习得到的；在所述调整后的第二细胞图像的图像尺寸与所述预设图像尺寸之间的比值为整数的情况下，基于所述预设图像尺寸对所述调整后的第二细胞图像进行分割，得到所述多个子图像。

在一些实施例中，识别模块602还用于：确定细胞直径与细胞图像尺寸之间的目标对应关系；所述目标对应关系是在所述目标神经网络模型的训练过程中学习得到的；基于所述目标细胞直径和所述目标对应关系，确定第一图像尺寸；将所述第二细胞图像的图像尺寸调整为所述第一图像尺寸，得到所述调整后的第二细胞图像。

在一些实施例中，识别模块602还用于：在所述调整后的第二细胞图像的图像尺寸与所述预设图像尺寸之间的比值不为整数的情况下，基于所述预设图像尺寸和所述调整后的第二细胞图像的图像尺寸，确定第二图像尺寸；所述第二图像尺寸与所述预设图像尺寸之间的比值为整数；基于目标像素值对所述调整后的第二细胞图像进行填充处理，得到图像尺寸为所述第二图像尺寸的第三细胞图像；基于所述预设图像尺寸对所述第三细胞图像进行分割，得到所述多个子图像。

在一些实施例中，识别模块602还用于：采用所述目标神经网络模型中的编码器对所述每一子图像进行特征提取，得到所述每一子图像的第一特征图；采用所述目标神经网络模型中的全局平均池化模块对所述第一特征图进行池化处理，得到所述每一子图像的第二特征图；所述第二特征图表征所述每一子图像中细胞的类别；采用所述目标神经网络模型中的解码器对所述第一特征图和所述第二特征图进行通道恢复处理，得到所述每一子图像的预测概率子图；所述编码器和所述解码器均包括多个由卷积网络和残差网络构成的特征提取模块。

在一些实施例中，识别模块602还用于：从所述编码器中的多个第一特征提取模块中，确定通道数与所述解码器中的第i个第二特征提取模块的通道数相同的第一特征提取模块输出的第一子特征图；i为大于或等于2的正整数；确定所述解码器中的第i-1个第二特征提取模块输出的第二子特征图；所述解码器中的第一个第二特征提取模块输出的特征图为所述编码器中的最后一个第一特征提取模块输出的所述第一特征图；采用所述解码器中的第i个第二特征提取模块对所述第二子特征图、所述第一子特征图和所述第二特征图进行通道恢复处理，得到所述解码器中的第i个第二特征提取模块输出的特征图；将所述解码器中的最后一个第二特征提取模块输出的特征图作为所述每一子图像的预测概率子图。

在一些实施例中，识别模块602还用于：对所述第二子特征图和所述第二特征图进行求和处理，得到第三特征图；对所述第三特征图进行上采样处理，得到处理后的所述第三特征图；对所述处理后的第三特征图和所述第一子特征图进行求和处理，得到第四特征图；对所述第四特征图进行卷积处理，得到所述解码器中的第i个第二特征提取模块输出的特征图。

在一些实施例中，识别模块602还用于：根据所述多个子图像在所述第二细胞图像中的位置对所述多个子图像的预测概率子图进行整合处理，得到第一预测概率图；在基于目标像素值对所述第二细胞图像进行过填充处理的情况下，从所述第一预测概率图中去除填充的所述目标像素值对应的预测概率，得到第二预测概率图；将所述第二预测概率图的图像尺寸调整为所述第一细胞图像的初始图像尺寸，得到所述第一细胞图像的预测概率图。

在一些实施例中，识别模块602还用于：基于所述第一细胞图像的预测概率图，确定所述第一细胞图像的掩码图；所述预测概率图中包括所述第一细胞图像中每一像素属于细胞的概率；采用热扩散模拟，基于所述第一细胞图像的掩码图对所述第一细胞图像中的细胞进行分割处理，得到所述第一细胞图像中的至少一个细胞区域。

以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

需要说明的是，本申请实施例中图6所示的多模态细胞分割装置对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。也可以采用软件和硬件结合的形式实现。

基于前述的实施例，本申请实施例提供一种模型训练装置，该装置包括所包括的各模块、以及各模块所包括的各单元，可以通过处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为AI加速引擎（如NPU等）、GPU、中央处理器、微处理器、数字信号处理器或现场可编程门阵列等等。

图7为本申请实施例提供的模型训练装置的结构示意图，如图7所示，模型训练装置70包括：

第二处理模块701，用于对样本细胞图像集合中的至少一个样本细胞图像进行预处理，得到至少一个包括第一颜色通道和第二颜色通道的待训练细胞图像；所述第一颜色通道用于表征染色后的细胞质的颜色，所述第二颜色通道用于表征染色后的细胞核的颜色；

训练模块702，用于基于至少一个所述待训练细胞图像，对初始神经网络模型进行模型训练，得到目标神经网络模型。

在一些实施例中，第二处理模块701还用于：获取在多种显微镜下对属于不同细胞类别的细胞进行拍摄后得到的多张细胞图像，构建所述样本细胞图像集合。

在一些实施例中，第二处理模块701还用于：对每一所述样本细胞图像进行矩阵重组，去除所述每一样本细胞图像的红色通道，得到至少一个包括绿色通道和蓝色通道的第四细胞图像；所述第一颜色通道为绿色通道，所述第二颜色通道为蓝色通道；确定设定的细胞直径与细胞图像尺寸之间的目标对应关系、以及设定的目标细胞直径；基于所述目标对应关系和所述目标细胞直径对每一所述第四细胞图像的图像尺寸进行调整，得到调整后的所述每一第四细胞图像；将所述调整后的每一第四细胞图像作为所述待训练细胞图像。

在一些实施例中，训练模块702还用于：将每一所述待训练细胞图像输入至所述初始神经网络模型，得到所述每一待训练细胞图像中每一像素分别对应的预测概率；所述预测概率用于表征对应的像素属于细胞的概率；基于所述每一待训练细胞图像中每一像素分别对应的预测概率，对所述每一待训练细胞图像中的细胞进行分割处理，得到所述每一待训练细胞图像中的至少一个细胞区域；基于所述每一待训练细胞图像中的至少一个细胞区域和所述每一待训练细胞图像中所标注的至少一个参考细胞区域，确定目标损失；基于所述目标损失对所述初始神经网络模型的模型参数、所述目标细胞直径和所述目标对应关系进行更新，得到所述目标神经网络模型、以及更新后的所述目标细胞直径和所述目标对应关系。

以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

需要说明的是，本申请实施例中图7所示的模型训练装置对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。也可以采用软件和硬件结合的形式实现。

需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得电子设备执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read Only Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。

本申请实施例提供一种多模态细胞分割设备，图8为本申请实施例提供的多模态细胞分割设备的硬件实体示意图，如图8所示，多模态细胞分割设备80包括第一存储器801和第一处理器802，第一存储器801存储有可在第一处理器802上运行的计算机程序，第一处理器802执行所述程序时实现本申请实施例所述的多模态细胞分割方法。

需要说明的是，第一存储器801配置为存储由第一处理器802可执行的指令和应用，还可以缓存在第一处理器802以及多模态细胞分割设备80中各模块待处理或已经处理的数据（例如，图像数据、音频数据、语音通信数据和视频通信数据），可以通过闪存（FLASH）或随机访问存储器（Random Access Memory，RAM）实现。

在本申请实施例中，多模态细胞分割设备80在实施本申请实施例所述的多模态细胞分割方法的过程中，可以是各种类型的具有信息处理能力的设备，例如多模态细胞分割设备80可以包括平板电脑、台式机、笔记本电脑、主机等。

本申请实施例提供一种模型训练设备，图9为本申请实施例提供的模型训练设备的硬件实体示意图，如图9所示，模型训练设备90包括第二存储器901和第二处理器902，第二存储器901存储有可在第二处理器902上运行的计算机程序，第二处理器902执行所述程序时实现本申请实施例所述的模型训练方法。

需要说明的是，第二存储器901配置为存储由第二处理器902可执行的指令和应用，还可以缓存在第二处理器902以及模型训练设备90中各模块待处理或已经处理的数据（例如，图像数据、音频数据、语音通信数据和视频通信数据），可以通过闪存或随机访问存储器实现。

在本申请实施例中，模型训练设备90在实施本申请实施例所述的模型训练方法的过程中，可以是各种类型的具有信息处理能力的设备，例如模型训练设备90可以包括平板电脑、台式机、笔记本电脑、主机等。

本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中提供的方法中的步骤。

本申请实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述方法实施例提供的方法中的步骤。

这里需要指出的是：以上存储介质、芯片实施例和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请存储介质、存储介质和设备实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”或“一些实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”或“在一些实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如对象A和/或对象B，可以表示：单独存在对象A，同时存在对象A和对象B，单独存在对象B这三种情况。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者设备中还存在另外的相同要素。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个模块或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或模块的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的模块可以是、或也可以不是物理上分开的，作为模块显示的部件可以是、或也可以不是物理模块；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部模块来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能模块可以全部集成在一个处理单元中，也可以是各模块分别单独作为一个单元，也可以两个或两个以上模块集成在一个单元中；上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器（Read Only Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得电子设备执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。

本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。

本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。

以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。

Claims (19)

1.一种多模态细胞分割方法，其特征在于，所述方法包括：

对待处理的第一细胞图像进行预处理，得到包括第一颜色通道和第二颜色通道的第二细胞图像；所述第一颜色通道用于表征染色后的细胞质的颜色，所述第二颜色通道用于表征染色后的细胞核的颜色；

采用目标神经网络模型对所述第二细胞图像中的细胞进行识别，得到所述第一细胞图像中每一像素分别对应的预测概率；所述预测概率用于表征对应的像素属于细胞的概率；

基于所述第一细胞图像中每一像素分别对应的预测概率，对所述第一细胞图像中的细胞进行分割处理，得到所述第一细胞图像中的至少一个细胞区域；

其中，所述采用目标神经网络模型对所述第二细胞图像中的细胞进行识别，得到所述第一细胞图像中每一像素分别对应的预测概率，包括：

基于预设图像尺寸和目标细胞直径对所述第二细胞图像进行分割，得到多个子图像；所述目标细胞直径是在所述目标神经网络模型的训练过程中学习得到的；

采用所述目标神经网络模型对每一所述子图像进行识别，得到所述每一子图像分别对应的预测概率子图；所述预测概率子图中包括对应的子图像中每一像素属于细胞的概率；

对所述多个子图像的预测概率子图进行整合处理，得到所述第一细胞图像的预测概率图；所述预测概率图中包括所述第一细胞图像中每一像素属于细胞的概率。

2.根据权利要求1所述的方法，其特征在于，所述对待处理的第一细胞图像进行预处理，得到包括第一颜色通道和第二颜色通道的第二细胞图像，包括：

对所述第一细胞图像进行矩阵重组，去除所述第一细胞图像的红色通道，得到包括绿色通道和蓝色通道的第二细胞图像；所述第一颜色通道为绿色通道，所述第二颜色通道为蓝色通道。

3.根据权利要求1所述的方法，其特征在于，所述基于预设图像尺寸和目标细胞直径对所述第二细胞图像进行分割，得到多个子图像，包括：

基于所述目标细胞直径对所述第二细胞图像的图像尺寸进行调整，得到调整后的所述第二细胞图像；

在所述调整后的第二细胞图像的图像尺寸与所述预设图像尺寸之间的比值为整数的情况下，基于所述预设图像尺寸对所述调整后的第二细胞图像进行分割，得到所述多个子图像。

4.根据权利要求3所述的方法，其特征在于，所述基于所述目标细胞直径对所述第二细胞图像的图像尺寸进行调整，得到调整后的所述第二细胞图像，包括：

确定细胞直径与细胞图像尺寸之间的目标对应关系；所述目标对应关系是在所述目标神经网络模型的训练过程中学习得到的；

基于所述目标细胞直径和所述目标对应关系，确定第一图像尺寸；

将所述第二细胞图像的图像尺寸调整为所述第一图像尺寸，得到所述调整后的第二细胞图像。

5.根据权利要求3所述的方法，其特征在于，所述方法还包括：

在所述调整后的第二细胞图像的图像尺寸与所述预设图像尺寸之间的比值不为整数的情况下，基于所述预设图像尺寸和所述调整后的第二细胞图像的图像尺寸，确定第二图像尺寸；所述第二图像尺寸与所述预设图像尺寸之间的比值为整数；

基于目标像素值对所述调整后的第二细胞图像进行填充处理，得到图像尺寸为所述第二图像尺寸的第三细胞图像；

基于所述预设图像尺寸对所述第三细胞图像进行分割，得到所述多个子图像。

6.根据权利要求1所述的方法，其特征在于，所述采用所述目标神经网络模型对每一所述子图像进行识别，得到所述每一子图像分别对应的预测概率子图，包括：

采用所述目标神经网络模型中的编码器对所述每一子图像进行特征提取，得到所述每一子图像的第一特征图；

采用所述目标神经网络模型中的全局平均池化模块对所述第一特征图进行池化处理，得到所述每一子图像的第二特征图；所述第二特征图表征所述每一子图像中细胞的类别；

采用所述目标神经网络模型中的解码器对所述第一特征图和所述第二特征图进行通道恢复处理，得到所述每一子图像的预测概率子图；所述编码器和所述解码器均包括多个由卷积网络和残差网络构成的特征提取模块。

7.根据权利要求6所述的方法，其特征在于，所述采用所述目标神经网络模型中的解码器对所述第一特征图和所述第二特征图进行通道恢复处理，得到所述每一子图像的预测概率子图，包括：

从所述编码器中的多个第一特征提取模块中，确定通道数与所述解码器中的第i个第二特征提取模块的通道数相同的第一特征提取模块输出的第一子特征图；i为大于或等于2的正整数；

确定所述解码器中的第i-1个第二特征提取模块输出的第二子特征图；所述解码器中的第一个第二特征提取模块输出的特征图为所述编码器中的最后一个第一特征提取模块输出的所述第一特征图；

采用所述解码器中的第i个第二特征提取模块对所述第二子特征图、所述第一子特征图和所述第二特征图进行通道恢复处理，得到所述解码器中的第i个第二特征提取模块输出的特征图；

将所述解码器中的最后一个第二特征提取模块输出的特征图作为所述每一子图像的预测概率子图。

8.根据权利要求7所述的方法，其特征在于，所述采用所述解码器中的第i个第二特征提取模块对所述第二子特征图、所述第一子特征图和所述第二特征图进行通道恢复处理，得到所述解码器中的第i个第二特征提取模块输出的特征图，包括：

对所述第二子特征图和所述第二特征图进行求和处理，得到第三特征图；

对所述第三特征图进行上采样处理，得到处理后的所述第三特征图；

对所述处理后的第三特征图和所述第一子特征图进行求和处理，得到第四特征图；

对所述第四特征图进行卷积处理，得到所述解码器中的第i个第二特征提取模块输出的特征图。

9.根据权利要求1所述的方法，其特征在于，所述对所述多个子图像的预测概率子图进行整合处理，得到所述第一细胞图像的预测概率图，包括：

根据所述多个子图像在所述第二细胞图像中的位置对所述多个子图像的预测概率子图进行整合处理，得到第一预测概率图；

在基于目标像素值对所述第二细胞图像进行过填充处理的情况下，从所述第一预测概率图中去除填充的所述目标像素值对应的预测概率，得到第二预测概率图；

将所述第二预测概率图的图像尺寸调整为所述第一细胞图像的初始图像尺寸，得到所述第一细胞图像的预测概率图。

10.根据权利要求1所述的方法，其特征在于，所述基于所述第一细胞图像中每一像素分别对应的预测概率，对所述第一细胞图像中的细胞进行分割处理，得到所述第一细胞图像中的至少一个细胞区域，包括：

基于所述第一细胞图像的预测概率图，确定所述第一细胞图像的掩码图；所述预测概率图中包括所述第一细胞图像中每一像素属于细胞的概率；

采用热扩散模拟，基于所述第一细胞图像的掩码图对所述第一细胞图像中的细胞进行分割处理，得到所述第一细胞图像中的至少一个细胞区域。

11.一种模型训练方法，其特征在于，所述方法包括：

对样本细胞图像集合中的至少一个样本细胞图像进行预处理，得到至少一个包括第一颜色通道和第二颜色通道的待训练细胞图像；所述第一颜色通道用于表征染色后的细胞质的颜色，所述第二颜色通道用于表征染色后的细胞核的颜色；

基于预设图像尺寸和目标细胞直径对待训练细胞图像进行分割得到多个子图像，将所述多个子图像依次输入至初始神经网络模型进行模型训练得到每一子图像中每一像素分别对应的预测概率，基于所述多个子图像中每一像素分别对应的所述预测概率得到待训练细胞图像中每一像素分别对应的预测概率，基于每一待训练细胞图像中每一像素分别对应的预测概率，对初始神经网络模型的模型参数进行更新，得到目标神经网络模型；所述预测概率用于表征对应的像素属于细胞的概率；所述目标细胞直径是在所述目标神经网络模型的训练过程中学习得到的。

12.根据权利要求11所述的方法，其特征在于，所述方法还包括：

获取在多种显微镜下对属于不同细胞类别的细胞进行拍摄后得到的多张细胞图像，构建所述样本细胞图像集合。

13.根据权利要求11所述的方法，其特征在于，所述对样本细胞图像集合中的至少一个样本细胞图像进行预处理，得到至少一个包括第一颜色通道和第二颜色通道的待训练细胞图像，包括：

对每一所述样本细胞图像进行矩阵重组，去除所述每一样本细胞图像的红色通道，得到至少一个包括绿色通道和蓝色通道的第四细胞图像；所述第一颜色通道为绿色通道，所述第二颜色通道为蓝色通道；

确定设定的细胞直径与细胞图像尺寸之间的目标对应关系、以及设定的目标细胞直径；

基于所述目标对应关系和所述目标细胞直径对每一所述第四细胞图像的图像尺寸进行调整，得到调整后的所述每一第四细胞图像；

将所述调整后的每一第四细胞图像作为所述待训练细胞图像。

14.根据权利要求13所述的方法，其特征在于，所述基于每一待训练细胞图像中每一像素分别对应的预测概率，对初始神经网络模型的模型参数进行更新，得到目标神经网络模型，包括：

基于所述每一待训练细胞图像中每一像素分别对应的预测概率，对所述每一待训练细胞图像中的细胞进行分割处理，得到所述每一待训练细胞图像中的至少一个细胞区域；

基于所述每一待训练细胞图像中的至少一个细胞区域和所述每一待训练细胞图像中所标注的至少一个参考细胞区域，确定目标损失；

基于所述目标损失对所述初始神经网络模型的模型参数、所述目标细胞直径和所述目标对应关系进行更新，得到所述目标神经网络模型、以及更新后的所述目标细胞直径和所述目标对应关系。

15.一种多模态细胞分割装置，其特征在于，所述装置包括：

第一处理模块，用于对待处理的第一细胞图像进行预处理，得到包括第一颜色通道和第二颜色通道的第二细胞图像；所述第一颜色通道用于表征染色后的细胞质的颜色，所述第二颜色通道用于表征染色后的细胞核的颜色；

识别模块，用于采用目标神经网络模型对所述第二细胞图像中的细胞进行识别，得到所述第一细胞图像中每一像素分别对应的预测概率；所述预测概率用于表征对应的像素属于细胞的概率；

所述第一处理模块，还用于基于所述第一细胞图像中每一像素分别对应的预测概率，对所述第一细胞图像中的细胞进行分割处理，得到所述第一细胞图像中的至少一个细胞区域；

其中，所述采用目标神经网络模型对所述第二细胞图像中的细胞进行识别，得到所述第一细胞图像中每一像素分别对应的预测概率，包括：

基于预设图像尺寸和目标细胞直径对所述第二细胞图像进行分割，得到多个子图像；所述目标细胞直径是在所述目标神经网络模型的训练过程中学习得到的；

采用所述目标神经网络模型对每一所述子图像进行识别，得到所述每一子图像分别对应的预测概率子图；所述预测概率子图中包括对应的子图像中每一像素属于细胞的概率；

对所述多个子图像的预测概率子图进行整合处理，得到所述第一细胞图像的预测概率图；所述预测概率图中包括所述第一细胞图像中每一像素属于细胞的概率。

16.一种模型训练装置，其特征在于，所述装置包括：

第二处理模块，用于对样本细胞图像集合中的至少一个样本细胞图像进行预处理，得到至少一个包括第一颜色通道和第二颜色通道的待训练细胞图像；所述第一颜色通道用于表征染色后的细胞质的颜色，所述第二颜色通道用于表征染色后的细胞核的颜色；

训练模块，用于基于预设图像尺寸和目标细胞直径对待训练细胞图像进行分割得到多个子图像，将所述多个子图像依次输入至初始神经网络模型进行模型训练得到每一子图像中每一像素分别对应的预测概率，基于所述多个子图像中每一像素分别对应的所述预测概率得到待训练细胞图像中每一像素分别对应的预测概率，基于每一待训练细胞图像中每一像素分别对应的预测概率，对初始神经网络模型的模型参数进行更新，得到目标神经网络模型；所述预测概率用于表征对应的像素属于细胞的概率；所述目标细胞直径是在所述目标神经网络模型的训练过程中学习得到的。

17.一种多模态细胞分割设备，包括第一存储器和第一处理器，所述第一存储器存储有可在第一处理器上运行的计算机程序，其特征在于，所述第一处理器执行所述程序时实现权利要求1至10任一项所述的方法。

18.一种模型训练设备，包括第二存储器和第二处理器，所述第二存储器存储有可在第二处理器上运行的计算机程序，其特征在于，所述第二处理器执行所述程序时实现权利要求11至14任一项所述的方法。

19.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至10任一项所述的方法，或权利要求11至14任一项所述的方法。