CN116309545A - 一种面向医学显微图像的单阶段细胞核实例分割方法 - Google Patents

Abstract

本发明公开了一种面向医学显微图像的单阶段细胞核实例分割方法。本发明采用ResNet联合FPN结构作为特征提取网络并将金字塔拆分注意力模块嵌入到骨干网络中用来提高模型更细粒度的多尺度特征表示能力，以学习更丰富的多尺度特征空间信息；提出了扩张卷积聚合模块大大提高了网络的感受野和捕获多尺度上下文信息的能力；提出了上下文信息聚合模块为网络提供多尺度空间上下文信息来减少信道中的信息丢失。此外，本发明采用了一种新的分布排名（DR）损失函数，可以有效缓解目标与背景之间的不平衡。本发明实施例的医学图像分割方法提高了实例分割性能，尤其对密集小目标和粘连目标的分割性能有显著提升。

Description

一种面向医学显微图像的单阶段细胞核实例分割方法

技术领域

本发明属于医学数字图像处理技术领域，具体涉及一种面向医学显微图像的单阶段细胞核实例分割方法。

背景技术

细胞核的实例分割是计算机视觉在医学生物医学领域的重要应用，旨在分割和检测显微镜图像中的每一个细胞核。然而，由于显微镜下细胞核图像的成像条件和成像分布特点使细胞核分割成为一项具有挑战性的任务。首先，细胞核密集分布和边缘粘连的存在很容易导致过度分割或欠分割，这阻碍了分割的准确性。其次，细胞核染色不一致和边缘模糊使得图像中很难区分每个细胞核，这将会影响数据集标注的精度，从而影响最终的结果。第三，不同细胞类型和器官之间的细胞核外观、大小和密度的存在差异，并且个别图像中存在大量像素占比极低的细胞核，这对检测和分割都是一个很大的挑战。因此，需要该方法具有良好的能力适应这些挑战。

随着显微成像技术的高速发展，研究者们致力于细胞核分割已经提出了各种算法。传统的细胞核分割算法，例如阈值法和标记控制的分水岭，它们依赖于先验知识和人工调整参数来指导分割，这会导致这些方法的泛化性能很差。近年来，随着高质量全切片数字图像（Whole Slide Images,WSI）的大量积累和计算机硬件水平的不断发展，深度神经网络被广泛用于细胞核实例分割。目前已经提出了大量的方法来缓解细胞核数据所具有的挑战，例如CPP-Net，DCAN,CIA-Net,BRP-Net等。但这些方法的分割精度仍有待提升。尤其在面对包含有密集小目标的细胞图像时，其分割精度不够。最近有研究者们通过预测一组质心到边界的距离来实现用多边形表示每个实例。它们只需要通过非极大值抑制这种轻量级的后处理操作来消除冗余的建议。然而这些方法仅通过每个实例的质心像素的特征来预测多边形，而单独的质心则缺乏上下文信息。

发明内容

本发明针对现有技术的不足，提供一种面向医学显微图像的单阶段细胞核实例分割方法，本发明采用ResNet联合FPN结构作为特征提取网络并将金字塔拆分注意力机制（PSA）嵌入到骨干网络中用来提高模型更细粒度的多尺度特征表示能力，以学习更丰富的多尺度特征空间信息，设计了两个组件用来提高密集小目标和粘连目标的检测和分割性能，包括扩张卷积聚合模块（DCA）和上下文信息聚合模块（CIA）。DCA构建了多路径并行扩张卷积，大大提高了网络的感受野和捕获多尺度上下文信息的能力。CIA 通过为网络提供多尺度空间上下文信息来减少信道中的信息丢失。

为了达到上述目的，本发明提供的技术方案是一种面向医学显微图像的单阶段细胞核实例分割方法，包括以下步骤：

步骤1，准备图像数据集用于训练和测试；

步骤2，构建面向医学显微图像的单阶段细胞核实例分割网络；

所述步骤2中面向医学显微图像的单阶段细胞核实例分割网络包括骨干网络，检测头，以及掩码分割分支；所述骨干网络作为特征提取器来提取特征，首先通过骨干网络得到多尺度特征，其次，将得到的特征图输入到特定任务的分支中，包括检测头和掩码分割分支，其中检测头用于给每个检测到的对象和实例分配边界框，掩码分割分支用于给出细胞的掩码；

步骤3，使用训练集图像对面向医学显微图像的单阶段细胞核实例分割网络模型进行训练；

步骤4，使用步骤3训练好的分割网络模型对测试集图像进行分割，得到图像实例分割结果。

进一步的，步骤1中对训练集中的图像进行左右、上下翻转、随机裁剪来扩充数据集。

进一步的，所述骨干网络为改进的ResNet101，ResNet101由四个卷积块组成，这四个卷积块分别由数量为3，8，36和3的Bottleneck单元组成，Bottleneck单元由两个1×1卷积，一个3×3卷积构成和一个跳连结构组成，改进的ResNet101是将Bottleneck单元中3×3卷积替换为金字塔拆分注意力机制模块PSA，并分别将四个卷积块的顶层特征图自下而上命名为{C2;C3;C4;C5}；

{C2;C3;C4;C5}通过横向1×1卷积并经过上采样调整为和下一层特征图一样的尺寸和维度之后进行自上而下的多尺度融合得到{M2;M3;M4;M5}；之后分别接一个3×3卷积输出自上而下传播的多尺度融合后的的特征图{P2;P3;P4;P5}，P5经过下采样得到{P6;P7}

然后将P2-P7输入到检测头得到每个实例的边界框和类别，将P2-P7以及C2输入到掩码分割分支得到细胞的掩码，最终，得到细胞实例分割的结果。

进一步的，所述检测头为全卷积单阶段目标检测算法FSCO中的检测头，所述掩码分割分支为DeeplabV3+。

进一步的，{C2;C3;C4;C5}经过横向1×1卷积之前先利用多路径空扩张卷积聚合模块来增大网络的感受野，增强网络获得多尺度上下文的能力；

设置多路径空扩张卷积聚合模块的输入的维度为C×H×W，模块包含五个支路：第一个支路不包含任何结构的跳连操作，目的是保持原有的感受野；第二至第四个支路是不同扩张率的深度可分离卷积，目的是特征提取来获得不同的感受野，经过不同扩张率的空洞卷积之后，特征图的尺寸保持不变，通道数的变化保持一致；第五个支路是将输入全局平均池化，从而获取全局特征，然后经过1×1卷积调整通道，并通过双线性插值调整尺寸；最后将后面四个分支的特征图在通道维度上堆叠，经过1×1标准卷积调整通道之后融合不同尺度的信息。

进一步的，利用上下文信息聚合模块对M5进行处理，以保证高层M5信息的完整性；

首先，设置C5的维度为θ×H×W，在C5上执行特征图比例有关的自适应池化得到多尺度上下文特征，选择0.1、0.2、0.3作为比例系数；接着对自适应池化后的多尺度上下文特征图分别使用1×1卷积用来降低通道数为C，并通过双线性插值将特征尺度统一成H×W，以进行后续的融合；然后引入SENet模块来提取不同尺度特征图的通道注意力，得到每个不同尺度的通道注意力向量；将得到的多尺度通道注意力向量通过Softmax操作进行特征重新标定，从而得到新的多尺度通道交互的注意力权重，最后通过一个scale操作对重新校准的权重和相应的特征图按元素进行点乘操作，使得特征图多尺度上下文信息表示能力更强；然后，将得到的特征图分离并添加到经过1×1卷积校正通道的输入特征图中，聚合得到M6中，最后，M6与M5融合使其具有丰富的空间上下文信息。

进一步的，步骤3中训练分割网络模型采用的损失函数如下：

引入DR损失函数为每个边界框生成一个正类和负类的置信对，如下所示：

(1)

其中，正类对应前景对象，负类对应背景，

是一个分类器，用于从背景中识别出前景对象，M表示样本图像的总数，n表示当前的样本图像数目，/>

表示负类的最小置信期望，/>

表示了正类的最大置信期望，ρ表示一个非负常数，为了保证非凸函数的收敛性，将logistic loss定义为：

（2）

其中，L是一个非负常数用来控制了函数的近似误差，z为函数的自变量，logisticloss是一个光滑近似函数用来保证非凸函数的收敛性，边界框根据其正置信度进行递减排序，使模型更关注

比/>

大得多的正类；

在上述实例分割网络中，网络的输出很大程度上依赖于检测头和掩码分支的结果，因此，实例分割的总体损失是由目标检测和分割的损失所决定的；

(3)

其中

是总体损失，/>

是目标检测的损失，/>

定义为平均二进制交叉熵损失；

在这里，将目标检测损失定义为：

(4)

其中

和/>

表示边界框回归和中心度概率的损失，/>

和/>

的定义和目标检测算法FOCS是相同的。

进一步的，步骤3中训练分割网络模型时，设置动量为0.9，学习率初始值为0.001，信道数为64，权重衰减为0.0001，batch size为1。

与现有技术相比，本发明具有如下优点：

本发明中提出的一种面向医学显微图像的单阶段细胞核实例分割网络，与现有几种先进的方法相比，所提出的细胞核实例分割网络取得了更好的结果。所提出的DCA模块构建了多路径并行扩张卷积，大大提高了网络的感受野和捕获多尺度上下文信息的能力。所提出的CIA模块通过为网络提供多尺度空间上下文信息来减少信道中的信息丢失。此外，本发明采用ResNet联合FPN结构作为特征提取网络并将金字塔拆分注意力机制（PSA）嵌入到骨干网络中用来提高模型更细粒度的多尺度特征表示能力，以学习更丰富的多尺度特征空间信息。最后，本发明采用了新的损失函数来解决前景和背景分布不平衡问题对结果的影响。主要的实验和消融实验表明，所提出的网络模型在大多数指标方面优于其它算法。尤其是在处理包含有小目标和粘连细胞时更具有优势。

附图说明

图1为本发明实施例的网络总体架构。

图2为本发明实施例的DCA模块结构图。

图3为本发明实施例的CIA模块结构图。

具体实施方式

本发明提供一种面向医学显微图像的单阶段细胞核实例分割方法，下面结合附图和实施例对本发明的技术方案作进一步说明。

本发明实施例的流程包括以下步骤：

步骤1，准备图像数据集用于训练和测试。

采用DSB2018数据集(Data Science Bowl 2018)，它是来自Kaggle竞赛的一个公共数据集，总共包含670张图像。这些图像是在各种条件下采集得到，并且在细胞类型，放大倍数和成像方式（明亮与荧光）都有所不同。DSB2018是一个典型的密集对象分割数据集，数据集中的大多数图像的分辨率为

。在一张图像中，至少存在一个细胞，最多存在375个细胞。每张图像中平均有40个细胞。细胞核粒径普遍较小。本发明将原始的人工标注的数据集分成三个部分：402张图像的训练集，134张图像的验证集和134张图像的测试集，并且应用左右、上下翻转，采用尺度为[0.8, 1.3]的随机裁剪进行数据增强处理。

步骤2，构建面向医学显微图像的单阶段细胞核实例分割网络

（1）整体网络架构

所提出的框架是一个由骨干网络，一个检测网络，以及掩码分支组成的一个统一的端到端的实例分割模型。网络的整体架构如图1所示。骨干网络作为特征提取器来提取特征。所用的检测网络与全卷积单阶段目标检测算法（FCOS）密切相关。掩码分支通过结合低级的空间信息和高级的语义信息获得目标的实例掩码。具体来说，它首先通过特征提取器得到多尺度特征。其次，它将得到的特征图输入到特定任务的分支中，包括检测头和掩码分割分支。其中检测头用于给每个检测到的对象和实例分配边界框，分割分支用于给出细胞的掩码。本发明将FCOS目标检测框架的检测头应用到本发明的细胞实例分割框架中并将DeeplabV3+作为分割分支来得到细胞的掩码，最终，得到细胞实例分割的结果。

（2）特征提取网络

在很多网络结构中，ResNet是特征提取器的基本结构，作用是避免网络过深时的梯度爆炸和梯度消失问题，由于细胞数据集所具有的挑战性，我们有必要去探索一种性能更强的特征提取方法，使其能够合理地表示和解释具有不同重叠、模糊和对比度级别的图像。解决这个问题的一个可行性方案是充分的利用实例间语义信息。在这里，实例间语义信息描述了不同细胞之间的语义依赖关系，如存在重叠或遮挡时两个细胞之间的位置和特征相关性。为此，本发明采用ResNet联合FPN结构作为特征提取网络并将金字塔拆分注意力机制（PSA）嵌入到骨干网络中用来提高模型更细粒度的多尺度特征表示能力，以学习更丰富的多尺度特征空间信息。如图1所示，它与典型的ResNet网络不同的是通过金字塔拆分注意力模块（PSA）来替换瓶颈块中的3×3卷积块，利用金字塔拆分注意力模块能够提高模型更细粒度的多尺度特征表示的能力，学习更丰富的多尺度特征空间信息，自适应地重新校准跨维通道注意权重来防止重要信道信息丢失，同时可以建立更长距离的通道依赖关系。

在卷积神经网络中，随着网络深度的增加，特征图的分辨率通常会降低到数十倍，甚至更小，这就使得深层特征图包含目标的位置和轮廓信息随之减少，特别是图像中的小目标在深层特征图上甚至会消失。特征金字塔的出现可以在一定程度上解决这个问题。网络深层具有更丰富的语义特征，网络浅层具有更丰富的轮廓和位置信息。特征金字塔网络正是将浅层和深层的特征图连接起来，将浅层的信息传递到深层，以解决深层特征图容易忽略小目标的问题。具体来说，ResNet101由四个卷积块组成，这四个卷积块分别由数量为3，8，36和3的Bottleneck单元组成，Bottleneck单元由两个1×1卷积，一个3×3卷积构成和一个跳连结构组成。在本发明中将Bottleneck单元中3×3卷积替换为PSA模块并分别将四个卷积块的顶层特征图自下而上命名为{C2;C3;C4;C5}。因为骨干网络特征图的上层具有丰富的语义特征，底层特征图具有丰富的细节特征，本发明{C2;C3;C4;C5}通过横向1×1卷积并经过上采样调整为和下一层特征图一样的尺寸和维度之后进行自上而下的多尺度融合得到{M2;M3;M4;M5},之后分别接一个3×3卷积输出自上而下传播的多尺度融合后的的特征图{P2;P3;P4;P5}，P5经过下采样得到{P6;P7}，然后将P2-P7输入到检测头得到每个实例的边界框和类别，将P2-P7以及C2输入到掩码分割分支得到细胞的掩码，最终，得到细胞实例分割的结果。然而，特征金字塔网络对于包含密集小目标细胞图像能力有限。为了提高实例分割性能，本发明在特征金字塔的基础上设计了两个组件，致力于解决密集小目标和细胞核边缘粘连问题对结果的影响。这两个组件的详细阐述如下。

（a）空洞卷积聚合模块（DCA）

虽然网络在浅层感受野较小的情况下，对于检测小目标更有利。但是相对于目标尺度而言，小于或接近小目标尺度的感受野不能发挥出小目标检测的最佳效果。需要适当的增大感受野，借助被检测目标周围的有效的上下文信息，以提升对小目标和边缘粘连细胞的分割效果。设计了具有类似结构的多路径空扩张卷积聚合模块（DCA），其结构如图2所示。假设输入的维度为C×H×W。采用扩张率分别为1、3、5，且卷积核大小为3×3的空洞卷积。在前一层的局部特征上关联到更广阔的视野，防止目标特征在信息传递时丢失。模块包含五个支路。第一个支路不包含任何结构的跳连操作，目的是保持原有的感受野。第二至第四个支路是不同扩张率的深度可分离卷积，目的是特征提取来获得不同的感受野。经过不同扩张率的空洞卷积之后，特征图的尺寸保持不变，通道数的变化保持一致。第五个支路是将输入全局平均池化，从而获取全局特征。然后经过

卷积调整通道，并通过双线性插值调整尺寸。最后将后面四个分支的特征图在通道维度上堆叠，经过1×1标准卷积调整通道之后融合不同尺度的信息。本发明将DCA模块插入FPN中横向1×1卷积之前，用来增大网络的感受野，增强网络获得多尺度上下文的能力。

（b）上下文聚合模块（CIA）

在骨干网路中，高层具有较强的语义信息，底层则包含更丰富的位置和轮廓信息。通过FPN自上而下的路径传播将高级的语义信息和低级特征融合，这对于小目标检测至关重要。然而，由于横向1×1卷积降通道操作导致图1中M5信息丢失，并且只包含不兼容的单尺度的上下文信息，这将对整个网络性能造成影响。

为了保证高层M5信息的完整性，本发明提出了一种上下文信息聚合模块(CIA)，用来赋予M5多尺度的空间上下文信息，其结构如图3所示。本发明期望空间上下文信息可以减少M5信道中的信息损失，并同时提高特征金字塔的性能。具体来说，首先，假设C5的维度为θ×H×W，在C5上面执行特征图比例有关的自适应池化得到多尺度上下文特征。选择0.1、0.2、0.3作为比例系数。接着对自适应池化后的多尺度上下文特征图分别使用1x1卷积用来降低通道数为C，并通过双线性插值将特征尺度统一成H×W，以进行后续的融合。为了对得到的多尺度上下文信息进行进一步的增强，引入SENet模块来提取不同尺度特征图的通道注意力，得到每个不同尺度的通道注意力向量。CIA将得到的多尺度通道注意力向量通过Softmax操作进行特征重新标定，从而得到新的多尺度通道交互的注意力权重。最后通过一个scale操作对重新校准的权重和相应的特征图按元素进行点乘操作，使得特征图多尺度上下文信息表示能力更强。然后，将得到的特征图分离并添加到经过1×1卷积校正通道的输入特征图中。这些权重用于将上下文特征聚合到M6中，M6被赋予了多尺度的上下文信息。最后，M6与M5融合使其具有丰富的空间上下文信息，接着以自上而下的路径向下传播。

（3）损失函数

在整个实例分割网络中检测头与FCOS密切相关。在FCOS网络中为了缓解数据对象中存在类不平衡问题对结果的影响，它引入了Focal Loss来解决这个问题。然而，在评判使用的数据集之后发现，所使用数据对象不存在类不平衡的问题，因为只有细胞这一个类。经过分析之后发现所使用的数据面临对象和背景之间的不平衡问题，这意味着在对象分布非常稀疏的情况下，模型可能更关注背景而不是对象。为了缓解这个问题，本发明引入DR损失函数为每个边界框生成一个正（对象）和负（背景）类的置信对，如下所示：

(1)

其中

是一个分类器，分类器是在检测网络FCOS检测头中，用于从背景中识别出前景对象。M表示样本图像的总数。n表示当前的样本图像数目。/>

表示负类的最小置信期望。/>

表示了正类的最大置信期望。ρ表示一个非负常数。为了保证非凸函数的收敛性，将logistic loss定义为：

(2)

其中，L是一个非负常数用来控制了函数的近似误差，z为函数的自变量。logisticloss是一个光滑近似函数用来保证非凸函数的收敛性。边界框根据其正置信度进行递减排序，使模型更关注

比/>

大得多的正类。

在上述实例分割网络中，网络的输出很大程度上依赖于检测头和掩码分支的结果。因此，实例分割的总体损失是由目标检测和分割的损失所决定的。

(3)

其中

是总体损失，/>

是目标检测的损失，/>

定义为平均二进制交叉熵损失。

在这里，将目标检测损失定义为：

(4)

其中

和/>

表示边界框回归和中心度概率的损失。/>

和/>

的定义和目标检测算法FOCS是相同的。

步骤3，使用训练集图像对面向医学显微图像的单阶段细胞核实例分割网络模型进行训练。

采用动量为0.9，学习率初始值为0.001，检测网络的信道数为64，模型的权重衰减为0.0001，batch size为1。模型的评价指标采用CoCo数据集标准评价指标。该网络通过深度学习框架Pytorch和Nvidia RTX 3090 GPU进行训练、评估和测试。

步骤4，使用步骤3训练好的网络模型对测试集图像进行分割，得到细胞图像实例分割结果。

实验结果

（1）对比实验

近年来，许多研究者致力于开发细胞核实例分割方法，并在医学显微图像上取得了显著的效果，如Mask RCNN、DCAN、SPA-Net、BESNet、ANCIS、CRNCIS、Nucleiseg、CPP-Net和BRP-Net，其中Mask RCNN、CPP-Net、DCAN、BRP-Net、Nucleiseg和CRNCIS的代码都是公开的，本发明只将我们的方法与这些公开代码的方法比较。为了公平起见，使用相同的评估指标来评估这些模型。我们在DSB数据集上测试了该方法的性能，我们将原始的人工标注的数据集分成三个部分：402张图像的训练集，134张图像的验证集和134张图像的测试集。表1显示了在测试集上的细胞核实例分割定量结果。本发明报告了边框的评估结果（

）掩码的评估结果（/>

）。从表中可以看出各项指标均高于其他方法。我们的方法显示出了显著的性能。

本发明的网络模型与先进的细胞核实例分割算法Mask RCNN、CPP-Net和Nuclerseg相比，算法

分别比他们的算法高1.2%、0.5%和1.6%。算法的/>

指标比Mask RCNN高1.6%。其他指标也显示出良好的结果。可见，本发明的网络模型表现出了显著的性能。在推理速度方面，所提方法在DSB2018数据集上的平均FPS为7.50。与其它先进的细胞实例分割模型相比具有优势。

表1在数据集DSB2018中其他先进方法的的详细定量结果

（2）消融实验

为了应对数据本身的挑战性，本发明改进了特征提取器。我们将金字塔拆分注意力模块（PSA）嵌入到ResNet骨干中，用来提高模型更细粒度的多尺度特征表示能力，以学习更丰富的多尺度特征空间信息。训练策略和训练参数均不改变。表2显示了定量的比较结果，在嵌入PSA模块后骨干网络时各项指标均有上升。由此证明改进后的骨干网络的有效性，它能显著的提高检测和分割的精度。然而，在处理具有挑战性的细胞核图像时，整体分割性能仍需要提高。

表2骨干网络的消融研究

为了验证所有建议组件的有效性，在表3中显示了所有组件的消融研究。在这里将改进后的骨干网络作为消融研究的基线网络。逐渐在基线网络的基础上增加了扩张卷积聚合模块（DCA）、上下文信息聚合模块（CIA）和损失函数DR以验证所提组件的有效性。

表3所提出模块和组件的消融研究

如表3所示，在整个网络模型中，每个组件带来的改进是互补的。具体来说，添加DCA模块后

比基线高1.1，并且/>

是显著提升的，这验证了扩张卷积聚合模块DCA的有效性。在此基础上再添加CIA模块，/>

从44.6提升至45.3，这验证了上下文特征聚合模块可以缓解顶级M5特征的信息丢失。最后，当引入DR损失函数时，/>

得到了一定程度的提升，验证了DR损失函数对模型的有效性。通过分析评估指标可以发现，网络模型嵌入这三个组件后，整体性能得到提高。

为了验证模型对困难细胞图像的分割能力，本发明对从测试集中选取具有挑战性的细胞图像进行可视化验证，如小目标细胞图像和相互粘连的细胞图像。实验表明本发明对困难细胞图像分割能力较其他先进的细胞实例分割方法具有显著优势。

具体实施时，以上流程可采用计算机软件技术实现自动运行流程。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (8)

1.一种面向医学显微图像的单阶段细胞核实例分割方法，其特征在于，包括如下步骤：

步骤1，准备图像数据集用于训练和测试；

步骤2，构建面向医学显微图像的单阶段细胞核实例分割网络；

所述步骤2中面向医学显微图像的单阶段细胞核实例分割网络包括骨干网络，检测头，以及掩码分割分支；所述骨干网络作为特征提取器来提取特征，首先通过骨干网络得到多尺度特征，其次，将得到的特征图输入到特定任务的分支中，包括检测头和掩码分割分支，其中检测头用于给每个检测到的对象和实例分配边界框，掩码分割分支用于给出细胞的掩码；

步骤3，使用训练集图像对面向医学显微图像的单阶段细胞核实例分割网络模型进行训练；

步骤4，使用步骤3训练好的分割网络模型对测试集图像进行分割，得到图像实例分割结果。

2.如权利要求1所述的一种面向医学显微图像的单阶段细胞核实例分割方法，其特征在于：步骤1中对训练集中的图像进行左右、上下翻转、随机裁剪来扩充数据集。

3.如权利要求1所述的一种面向医学显微图像的单阶段细胞核实例分割方法，其特征在于：所述骨干网络为改进的ResNet101，ResNet101由四个卷积块组成，这四个卷积块分别由数量为3，8，36和3的Bottleneck单元组成，Bottleneck单元由两个1×1卷积，一个3×3卷积构成和一个跳连结构组成，改进的ResNet101是将Bottleneck单元中3×3卷积替换为金字塔拆分注意力机制模块PSA，并分别将四个卷积块的顶层特征图自下而上命名为{C2;C3;C4;C5}；

{C2;C3;C4;C5}通过横向1×1卷积并经过上采样调整为和下一层特征图一样的尺寸和维度之后进行自上而下的多尺度融合得到{M2;M3;M4;M5}；之后分别接一个3×3卷积输出自上而下传播的多尺度融合后的的特征图{P2;P3;P4;P5}，P5经过下采样得到{P6;P7}；

然后将P2-P7输入到检测头得到每个实例的边界框和类别，将P2-P7以及C2输入到掩码分割分支得到细胞的掩码，最终，得到细胞实例分割的结果。

4.如权利要求1所述的一种面向医学显微图像的单阶段细胞核实例分割方法，其特征在于：所述检测头为全卷积单阶段目标检测算法FSCO中的检测头，所述掩码分割分支为DeeplabV3+。

5.如权利要求3所述的一种面向医学显微图像的单阶段细胞核实例分割方法，其特征在于：{C2;C3;C4;C5}经过横向1×1卷积之前先利用多路径空扩张卷积聚合模块来增大网络的感受野；

设置多路径空扩张卷积聚合模块的输入的维度为C×H×W，C表示特征图的通道数，H和W是特征图的尺寸；模块包含五个支路：第一个支路不包含任何结构的跳连操作；第二至第四个支路是不同扩张率的深度可分离卷积，经过不同扩张率的空洞卷积之后，特征图的尺寸保持不变，通道数的变化保持一致；第五个支路是将输入全局平均池化，从而获取全局特征，然后经过1×1卷积调整通道，并通过双线性插值调整尺寸；最后将后面四个分支的特征图在通道维度上堆叠，经过1×1标准卷积调整通道之后融合不同尺度的信息。

6.如权利要求3所述的一种面向医学显微图像的单阶段细胞核实例分割方法，其特征在于：利用上下文信息聚合模块对M5进行处理，具体实现方式如下；

首先，设置C5的维度为θ×H×W，θ表示特征图的通道数，H和W是特征图的尺寸；在C5上执行特征图比例有关的自适应池化得到多尺度上下文特征，选择0.1、0.2、0.3作为比例系数；接着对自适应池化后的多尺度上下文特征图分别使用1×1卷积用来降低通道数为C，并通过双线性插值将特征尺度统一成H×W，以进行后续的融合；然后引入SENet模块来提取不同尺度特征图的通道注意力，得到每个不同尺度的通道注意力向量；将得到的多尺度通道注意力向量通过Softmax操作进行特征重新标定，从而得到新的多尺度通道交互的注意力权重，最后通过一个scale操作对重新校准的权重和相应的特征图按元素进行点乘操作；然后，将得到的特征图分离并添加到经过1×1卷积校正通道的输入特征图中，聚合得到M6，最后，M6与M5融合使其具有丰富的空间上下文信息。

7.如权利要求1所述的一种面向医学显微图像的单阶段细胞核实例分割方法，其特征在于：步骤3中训练分割网络模型采用的损失函数如下：

引入DR损失函数为每个边界框生成一个正类和负类的置信对，如下所示：

(1)

其中，正类对应前景对象，负类对应背景，

是一个分类器，用于从背景中识别出前景对象，M表示样本图像的总数，n表示当前的样本图像数目，/>

表示负类的最小置信期望，

表示了正类的最大置信期望，/>

表示一个非负常数，将logistic loss定义为：

(2)

其中，L是一个非负常数，z为函数的自变量，logistic loss是一个光滑近似函数；

实例分割的总体损失是由目标检测和分割的损失所决定的；

(3)

其中

是总体损失， />

是目标检测的损失，/>

定义为平均二进制交叉熵损失；

在这里，将目标检测损失定义为：

(4)

其中

和/>

表示边界框回归和中心度概率的损失，/>

和/>

的定义和目标检测算法FOCS是相同的。

8.如权利要求1所述的一种面向医学显微图像的单阶段细胞核实例分割方法，其特征在于：步骤3中训练分割网络模型时，设置动量为0.9，学习率初始值为0.001，信道数为64，权重衰减为0.0001，batch size为1。

Images