CN113034505A - 一种基于边缘感知网络的腺体细胞图像分割方法及装置 - Google Patents

Abstract

本发明公开一种基于边缘感知网络的腺体细胞图像分割方法及装置。本发明提出了一种边缘感知模块以及引入空间金字塔池化模块。以U‑Net网络为主干网络，在编码端最后一层特征提取时引入空洞金字塔池化模块，实现多尺度腺体信息的融合。并在主干网络的解码端设计了边缘感知模块，在单个训练流水线中解开边缘和纹理信息，通过主干网络和边缘感知模块的输出来共同学习语义和边界，解决了分割边界模糊以及锯齿状的问题，且提高了分割精度。改方法易于实现，数据预处理操作简单，具有更好的鲁棒性和准确率。

Description

一种基于边缘感知网络的腺体细胞图像分割方法及装置

技术领域

本发明属于网络模式识别和分割技术领域，具体涉及一种非诊断目的的基于边缘感知网络的腺体细胞图像分割方法及装置。

背景技术

近年来，腺癌成为严重损害人类健康的恶性肿瘤之一。依据2020年全球最新癌症负担数据可知，全球发病率前十的癌症分别是：乳腺癌226万，肺癌220万，结直肠癌193万，前列腺癌141万，胃癌109万，肝癌91万，宫颈癌60万，食管癌60万，甲状腺癌59万，膀胱癌57万，这十种癌症占据新发癌症总数的63％，而其中的乳腺癌、结直肠癌、前列腺癌、甲状腺癌都是典型的腺癌。通常情况下，典型的腺体由形成内部管状结构的腔管区域和细胞质周围的上皮细胞核组成。由腺上皮产生的恶性肿瘤，也被称为腺癌，是最普遍的癌症形式。研究表明，图像结构(如细胞核和腺体)的大小、形状和其他一些形态学表现与疾病的存在或严重程度高度相关。而图像分割从组织病理学图像中提取细胞、细胞核或腺体，是病理分析之前的关键步骤。因此，临床实践中对自动分割方法提出了很高的要求，以提高分割效率和可靠性，减少病理学家的工作量。此外腺癌的癌变有发生、发展和侵润的前期过程，在癌变形成的早期阶段没有明显的组织特性，因而如果病人在病变早期就能被确诊，那么治愈率将会提高，且拥有较好的预后效果。

随着人工智能技术的发展，在计算机视觉领域，越来越多的计算机图像技术对各行业产生了深远的影响，尤其随着卷积神经网络的发展，更多的模型和方法在医学图像领域得到应用，前期通过对图像的分析为医生的诊断则可提供很好的辅助作用。目前，医学图像处理主要集中表现在病变检测、图像分割、图像配准及图像融合四个方面。

图像分割是指将图像分割成若干对象或感兴趣的区域，是计算机视觉研究中一个经典的难题。语义分割是指将图像中的每个像素归类为特定的对象或区域，从而阐明成像场景的全局语义。图像分割是建立全自动感知系统的第一步，在遥感、医学图像分析、自动驾驶车辆等领域有广泛的应用。

对腺体图像结构的大小、形状和其它一些形态表现进行分析，可以作为腺癌病情诊断的依据。传统腺体图像的评估由专业病理学专家进行，但人工评估存在主观性强、工作量大、费时等问题。近几年，通过计算机定量和客观分析组织病理学图像的计算方法得以发展。其中腺体图像语义分割，即机器从腺体图像中对腺体细胞进行识别并自动分割，是进行腺体图像分析的基础。临床实践中利用合适的腺体细胞自动分割方法，可以提高分割效率和可靠性，减少病理学家的工作量。在卷积神经网络快速发展中，虽然已经有大量的方法被提出，并且在某些情况下是成功的，但是由于特征表示的困难，医学图像分割仍然是计算机视觉领域中最具挑战性的课题之一。特别是腺体细胞图像的特征提取比普通RGB图像更难，因为前者往往存在模糊、噪声、对比度低等问题。因此，研究腺体细胞精确分割方法对腺癌的发现和诊断非常有意义。本发明从卷积神经网络出发，结合腺体细胞的特点，研究基于边缘感知网络对腺体细胞图像自动分割的方法。

发明内容

本发明的目的是为了提高基于深度学习方法的腺体细胞分割精度问题，提出了一种基于边缘感知网络的腺体细胞图像分割方法。

一种基于边缘感知网络的腺体细胞分割方法，包括以下步骤：

步骤一、获取腺体细胞原图像；

步骤二、数据预处理

2.1对腺体细胞原图像调整图像大小，并筛选出清晰度高且染色完整的图像，且没有信息缺少的图像作为训练数据，并以腺体细胞原图像对应的分割后腺体细胞图像作为标签；

2.2使用tensorflow数据增强库对训练数据集进行数据增强；

步骤三、搭建基于边缘感知网络的腺体细胞分割网络，并利用数据增强后的训练数据进行训练

所述基于边缘感知网络的腺体细胞分割网络，包括用于语义分割的主干流，以及在边界级别处理特征图的形状流；主干流采用U-Net网络基本框架、空洞金字塔池化模块(ASPP)，形状流采用边缘感知模块；

所述U-Net网络采用编码-解码结构，最后一个编码层的输出端与空洞金字塔池化模块(ASPP)的输入端连接，空洞金字塔池化模块(ASPP)的输出端通过第一融合模块与第一个解码层的输入端连接；相邻解码层间通过第一融合模块连接；

所述第一融合模块均包括依次级联的第一融合层、1*1上采样层；第一融合层用于将经跳跃连接输入的特征图和前一解码层或ASPP输出的特征图进行融合，作上采样中的信息补充。

作为优选，所述U-Net网络包括编码模块和解码模块，所述训练数据集中预处理后图像经3*3下采样层输入到所述编码模块中，通过所述编码模块对预处理后图像进行特征编码，所述编码模块的输出作为所述解码模块的输入，所述解码模块对输入进行特征解码；编码模块由多层编码层构成，解码模块由多层解码层构成，相同尺寸的编码层通过跳跃连接与相同尺寸的解码层按通道连接。

更为优选，所有编码层和解码层均采用残差块，对输入特征图先进行batch正则化，后经过relu函数，再做3x3的卷积，重复一次，最后做一个残差连接得到新特征图。

所述空洞金字塔池化模块(ASPP)，使用具有不同空洞比率的并行空洞卷积层，对编码层输出的特征图进行不同比率的特征提取，从而得到多尺度的特征图。

作为优选，所述空洞金字塔池化模块(ASPP)包括依次级联的池化层、第二融合层，池化层包括并行设置的空洞金字塔池化层、图像池化层；其中空洞金字塔池化层包括并行设置的1x1卷积层、三个不同空洞比率的3x3卷积层，图像池化层包括1x1卷积层；第二融合层用于将空洞金字塔池化层、图像池化层输出的特征图进行拼接合并，且使用256的1x1卷积核的滤波器和批量标准化层进行特征融合得到新的多尺度特征图。

更为优选，三个不同空洞比率的3x3卷积的空洞比率为[6,12,18]。

所述边缘感知模块包括与编码层层数相同的边缘感知层、两个残差块，每个边缘感知层包括依次级联的1*1卷积层、残差块、关注层；每个边缘感知层的1*1卷积层输入端与一个编码层的输出端连接；相邻边缘感知层的关注层通过1*1上采样层、残差块连接；最后一个编码层连接的边缘感知层中关注层的第二个输入端通过残差块与第一融合模块的输出端连接；第一个编码层连接的边缘感知层中关注层的输出端与边缘感知模块中最后一个残差块的输入端连接，残差块的输出端与最后一个解码层的输出端均与第二融合模块的输入层连接；

所述边缘感知模块通过利用附加的注意力驱动解码器来突出显示在编码器中提取的特征图的边缘信息。最后将U-Net网络与边缘感知模块的输出进行特征融合，实现网络整体结果的残差连接，还原图像细节信息，提高分割区域的完整性和精准度。

所述第二融合模块用于将最后一个解码层输出特征图与第一个编码层连接的边缘感知层中关注层经残差块输出的特征图进行融合后得到高分辨率特征图；高分辨率特征图通过残差块后经1x1的卷积映射转化为通道数为2的特征图，送入Softmax分类器以获得每个像素为细胞的概率值，得到细胞的分割概率图。

所述的残差块结构相同，均是首先对输入特征图做一个batch正则化，后经过relu函数，再做3x3的卷积，重复一次，最后做一个残差连接得到最后的特征图。

在边缘感知模块中每个关注层以相应的分辨率接收来自前一个关注层经上采样和残差块的输出，以及当前边缘感知层连接的编码层的输出。设s_l和m_l分别表示以分辨率l接收的前一个关注层和当前边缘感知层连接的编码层的输出，首先将s_l和m_l连接，并应用1×1卷积层C_1x1，然后应用sigmoid函数σ，以获得关注图，如公式1所示：

然后对关注层的输入执行逐个元素的乘法，以获得关注层的输出，表示为公式2：

o_l＝s_l⊙α_l (2)

作为优选，模型的损失函数使用广义骰子损失对主干流和形状流的预测输出；其中在形状流损失中加入了加权的二进制交叉熵损失，以处理边界和非边界像素之间的不平衡。最后网络的总体损失函数如公式3所示：

L_total＝λ₁L_Dice(y_pred,y_true)+λ₂L_Dice(s_pred,s_true)+λ₃L_Edge(s_pred,s_true) (3)

其中，y_pred,y_true分别表示分割图的预测结果和真实结果，s_pred,s_true表示形状流的边界预测值和真实值，s_true可以通过计算y_true的空间梯度来获得，λ₁表示L_Dice(y_pred,y_true)的权重。

其中ε表示常量。

L_Edge＝-β∑_j∈y+logP(y_pred,j＝1|x；θ)-(1-β)∑_j∈y-logP(y_pred,j＝0|x；θ) (5)

其中x，θ，y-和y+分别表示预测的分割图、网络参数、边缘像素集和非边缘像素集，β是非边缘像素与像素总数的比率，P(y_pred,j)表示像素j处的预测类的概率。

步骤四、利用已训练好的基于边缘感知网络的腺体细胞分割网络，以实现腺体细胞分割。

本发明的另一个目的是提供一种基于边缘感知网络的腺体细胞分割装置，包括：

数据获取模块，用于获取腺体细胞原图像；

数据预处理模块，用于对数据获取模块传送的腺体细胞原图像调整图像大小以及数据增强；

基于边缘感知网络的腺体细胞分割网络模块，用于根据数据预处理模块处理后的图像和概率结果进行细胞分割。

本发明的有益效果如下：

本发明采用基于边缘感知网络的腺体细胞分割网络模型对细胞图像进行分割，从而提高了分割效果。该方法易于实现，数据预处理操作简单，具有更好的鲁棒性和准确率。

附图说明

图1是基于边缘感知网络的腺体细胞分割网络模型的结构示意图；

图2是空洞金字塔池化模块的结构示意图。

具体实施方式

下面结合具体实施例对本发明做进一步分析。

一种基于边缘感知网络的腺体细胞分割方法包括如下过程：

步骤一、数据获取

获取腺体细胞原图像，一般从相关竞赛中获取数据，例如MICCAI2015腺体分割挑战赛数据集(Warwick-Qu)和MICCAI2018细胞核分割挑战赛数据集(MoNuSeg)

步骤二、数据预处理

2.1由于U-Net网络可接收的图像大小是512x512，故对腺体细胞原图像调整图像大小。

2.2由于有些数据清晰度较低，且染色等不均匀，故筛选出分辨率较高，且没有信息缺少(有些无染色则表明不是细胞，故信息缺失)的图像作为训练数据。

2.3使用tensorflow数据增强库对训练数据集进行数据集进行数据增强，使得训练数据集数据增多，增加之后训练得出的模型泛化能力更强。网络模型训练

步骤三、搭建边缘感知网络模型

如图1本发明所提网络主要包括一个用于语义分割的主干编解码器流，以及一个在边界级别处理特征图的形状流。

所述主干的编码器部分包括4层编码层(即依次级联的编码层1、编码层2、编码层3、编码层4)，每个分辨率级别编码层均采用一个残差块(对输入特征图先进行batch正则化，后经过relu函数，再做3x3的卷积，重复一次，最后做一个残差连接得到新特征图)，在第四个编码层4的特征输出端接空洞金字塔池化模块；

所述主干的解码器部分包括4层解码层(即依次级联的解码层1、解码层2、解码层3、解码层4)，同样每个分辨率级别解码层均采用一个残差块(对输入特征图先进行batch正则化，后经过relu函数，再做3x3的卷积，重复一次，最后做一个残差连接得到新特征图)。

所述形状流部分采用边缘感知模块，边缘感知模块由4层边缘感知层、两个残差块构成；每个边缘感知层包括依次级联的1*1卷积层、残差块、关注层。将空洞金字塔池化模块的输出特征图与编码层3经跳跃连接输入的特征图经第一融合模块后通过残差块馈送到关注层1，且编码层4的输出特征图经1x1卷积、残差块操作后的特征图同样馈送到关注层1。编码层1的输出特征图经1x1卷积、残差块操作后的特征图同样馈送到关注层4，编码层2的输出特征图经1x1卷积、残差块操作后的特征图同样馈送到关注层3，编码层3的输出特征图经1x1卷积、残差块操作后的特征图同样馈送到关注层2。关注层1至关注层4依次级联，且相邻关注层间设有一个1*1上采样层和一个残差块。关注层4的输出与主干中解码层4的输出一起馈送到第二融合模块得到高分辨率特征图，最后将网络生成的高分辨率特征图通过残差块后经1x1的卷积映射转化为通道数为2的特征图，送入Softmax分类器以获得每个像素为细胞的概率值，得到细胞的分割概率图。

步骤(3.1)：空洞金字塔池化模块，见图2

腺体细胞图像中存在多个尺度的腺体目标，为了准确提取这些腺体的特征信息，则需要一个能提取多尺度特征的模块。本发明采用空洞金字塔池化模块，包括依次级联的池化层、第二融合层，池化层包括并行设置的空洞金字塔池化层(a)、图像池化层(b)；其中(a)部分有一个1x1卷积和三个3x3卷积，且当最小特征图与原图像大小比例为1：16时，设置三个3x3卷积的空洞比率为[6,12,18]，(b)部分则主要是一个图像级特征，采用1x1卷积层。最后第二融合层将所有分支的结果特征图通道进行拼接合并，且使用256的1x1卷积核的滤波器和批量标准化层进行特征融合。

步骤(3.2)：边缘感知模块

本发明设计了在单个训练流水线中解开边缘和纹理信息的策略。在主干网络的基础上，设计了一个边缘感知模块。在边缘感知模块中，每个关注层以相应的分辨率接收来自前一个关注层以及主干流的输入。设s_l和m_l分别表示分辨率l处的关注层和主干层输入，首先，将s_l和m_l连接，并应用1×1卷积层C_1x1，然后应用sigmoid函数σ，以获得关注图，如公式1所示：

然后对关注层的输入执行逐个元素的乘法，以获得关注层的输出，表示为公式2：

o_l＝s_l⊙α_l (2)

如此以来，边缘感知模块为分割过程中的特征提取提供了有用的细粒度约束，其低层特征保留了足够的边缘信息，因此本模块将早期层的特征图反馈到解码端的最终层，辅助最后分割特征的边缘信息判断。其边缘感知模块有两种主要贡献：(1)提供边缘注意表示来指导解码路径中的分割过程；(2)对于主干网络有反馈指导作用。

步骤(3.3)：网络模型训练

将制作好的数据集输入到基于边缘感知网络的腺体细胞分割网络中进行模型训练；训练得到的网络模型可用于对细胞图像进行分割。

为了验证本发明的有效性，本发明采用传统的U-Net网络作为实验基准，与多种医学图像分割任务中适应性强的U-Net++和对于边缘信息有较好补充的Psi-Net、ET-Net进行比对实验。如表1所示，相对于其他算法，本发明提出的模型在分割精度上取得了更好的性能。在Warwick-Qu数据集上，与主干网络U-Net模型相比，本发明模型的F1值提升了2.8％，Dice提升了3.7％，Hausdorff缩短了16.874；与U-Net++模型相比，本发明模型的F1值提升了1.4％，Dice提升了1.9％，Hausdorff缩短了15.932；与Psi-Net模型相比，本发明模型的F1值提升了1.8％，Dice提升了2.3％，Hausdorff缩短了10.055；与ET-Net模型相比，本发明模型的F1值提升了0.4％，Dice提升了1.7％，Hausdorff缩短了6.13。在MoNuSeg数据集上，与主干网络U-Net模型相比，本发明模型的F1值提升了4.2％，Dice提升了4.7％，Hausdorff缩短了8.121；与U-Net++模型相比，本发明模型的F1值提升了3.3％，Dice提升了1.9％，Hausdorff缩短了4.013；与Psi-Net模型相比，本发明模型的F1值提升了8.4％，Dice提升了5.2％，Hausdorff缩短了10.038；与ET-Net模型相比，本发明模型的F1值提升了4.1％，Dice提升了8.1％，Hausdorff缩短了12.983。

表1

Claims (10)

1.一种基于边缘感知网络的腺体细胞分割方法，其特征在于该方法包括：

步骤一、获取腺体细胞原图像；

步骤二、数据预处理

2.1对腺体细胞原图像调整图像大小后作为训练数据，并以腺体细胞原图像对应的分割后腺体细胞图像作为标签；

2.2使用tensorflow数据增强库对训练数据集进行数据增强；

步骤三、搭建基于边缘感知网络的腺体细胞分割网络，并利用数据增强后的训练数据进行训练

所述基于边缘感知网络的腺体细胞分割网络，包括用于语义分割的主干流，以及在边界级别处理特征图的形状流；主干流采用U-Net网络基本框架、空洞金字塔池化模块(ASPP)，形状流采用边缘感知模块；

所述U-Net网络采用编码-解码结构，最后一个编码层的输出端与空洞金字塔池化模块(ASPP)的输入端连接，空洞金字塔池化模块(ASPP)的输出端通过第一融合模块与第一个解码层的输入端连接；相邻解码层间通过第一融合模块连接；

所述空洞金字塔池化模块(ASPP)，使用具有不同空洞比率的并行空洞卷积层，对编码层输出的特征图进行不同比率的特征提取，从而得到多尺度的特征图；

所述边缘感知模块包括与编码层层数相同的边缘感知层、两个残差块，每个边缘感知层包括依次级联的卷积层、残差块、关注层；每个边缘感知层的卷积层输入端与一个编码层的输出端连接；相邻边缘感知层的关注层通过上采样层、残差块连接；最后一个编码层连接的边缘感知层中关注层的第二输入为空洞金字塔池化模块(ASPP)输出连接的第一融合模块经残差块的输出；第一个编码层连接的边缘感知层中关注层经残差块的输出与最后一个解码层的输出作为第二融合模块的输入；

步骤四、利用已训练好的基于边缘感知网络的腺体细胞分割网络，以实现腺体细胞分割。

2.如权利要求1所述的方法，其特征在于所述第一融合模块包括依次级联的第一融合层、上采样层，第一融合层用于将经跳跃连接输入的特征图和前一解码层或ASPP输出的特征图进行融合，作上采样中的信息补充；所述第二融合模块用于将解码层最后一层输出特征图与第一个编码层连接的边缘感知层中关注层经残差块输出的特征图进行融合后得到高分辨率特征图；高分辨率特征图通过残差块后经卷积映射转化为通道数为2的特征图，送入Softmax分类器以获得每个像素为细胞的概率值，得到细胞的分割概率图。

3.如权利要求1所述的方法，其特征在于所述U-Net网络包括编码模块和解码模块，所述训练数据集中预处理后图像经下采样层输入到所述编码模块中，通过所述编码模块对预处理后图像进行特征编码，所述编码模块的输出作为所述解码模块的输入，所述解码模块对输入进行特征解码；编码模块由多层编码层构成，解码模块由多层解码层构成，编码层通过跳跃连接与其相同尺寸的解码层按通道连接。

4.如权利要求3所述的方法，其特征在于所有编码层和解码层均采用残差块。

5.如权利要求1所述的方法，其特征在于所述空洞金字塔池化模块(ASPP)包括依次级联的池化层、第二融合层，池化层包括并行设置的空洞金字塔池化层、图像池化层；其中空洞金字塔池化层包括并行设置的1x1卷积层、三个不同空洞比率的3x3卷积层，图像池化层包括1个1x1卷积层；第二融合层用于将空洞金字塔池化层、图像池化层输出的特征图进行拼接合并，且使用256的1x1卷积核的滤波器和批量标准化层进行特征融合得到新的多尺度特征图。

6.如权利要求5所述的方法，其特征在于三个不同空洞比率的3x3卷积的空洞比率为[6,12,18]。

7.如权利要求1或4所述的方法，其特征在于所述的残差块均是首先对输入特征图做一个batch正则化，后经过ReLu函数，再做3x3的卷积，重复上述操作一次，最后做一个残差连接得到新特征图。

8.如权利要求1所述的方法，其特征在于在边缘感知模块中每个关注层以相应的分辨率接收来自前一个关注层经上采样和残差块的输出，以及当前边缘感知层连接的编码层经1x1卷积和残差块的输出；设s_l和m_l分别表示以分辨率l接收的前一个关注层和当前边缘感知层连接的编码层的输出，首先将s_l和m_l连接，并应用1×1卷积层C_1x1，然后应用sigmoid函数σ，以获得关注图，如公式1所示：

α_l＝σ(C_1x1(s_l⊕m_l)) (1)

然后对关注层的输入执行逐个元素的乘法，以获得关注层的输出o_l，表示为公式2：

o_l＝s_l⊙α_l (2)。

9.如权利要求1所述的方法，其特征在于模型损失函数使用广义骰子损失对主干流和形状流的预测输出；其中在形状流损失中加入了加权的二进制交叉熵损失，以处理边界和非边界像素之间的不平衡；最后网络的总体损失函数如公式3所示：

L_total＝λ₁L_Dice(y_pred,y_true)+λ₂L_Dice(s_pred,s_true)+λ₃L_Edge(s_pred,s_true) (3)

其中，y_pred,y_true分别表示分割图的预测结果和真实结果，s_pred,s_true表示形状流的边界预测值和真实值，s_true可以通过计算y_true的空间梯度来获得，λ₁表示L_Dice(y_pred,y_true)的权重；

其中ε表示常量；

L_Edge＝-β∑_j∈y+logP(y_pred,j＝1|x；θ)-(1-β)∑_j∈y-logP(y_pred,j＝0|x；θ) (5)

其中x，θ，y-和y+分别表示预测的分割图、腺体细胞分割网络的网络参数、边缘像素集和非边缘像素集，β是非边缘像素与像素总数的比率，P(y_pred,j)表示像素j处的预测类的概率。

10.一种基于边缘感知网络的腺体细胞分割装置，其特征在于包括

数据获取模块，用于获取腺体细胞原图像；

数据预处理模块，用于对数据获取模块传送的腺体细胞原图像调整图像大小以及数据增强；

基于边缘感知网络的腺体细胞分割网络模块，用于根据数据预处理模块处理后的图像和概率结果进行细胞分割。

Images