CN110689083B - 一种上下文金字塔融合网络及图像分割方法 - Google Patents

Abstract

本发明公开了一种上下文金字塔融合网络和图像分割方法，上下文金字塔融合网络包括：特征编码模块：包括多个逐级相连的特征提取层，用于获取原始图像的特征图；多个全局金字塔引导模块：分别与不同特征提取层连接，用于将和其连接的特征提取层提取的特征图与所有更高特征提取层提取的特征图相融合，以获取全局上下文信息，并通过跳跃连接将全局上下文信息引导和传递给特征解码模块；尺度感知金字塔融合模块：与特征编码模块的最高特征提取层连接，用于根据不同尺度的特征图动态选择正确的感受野并融合多尺度上下文信息；特征解码模块：用于根据全局上下文信息和多尺度上下文信息重建特征图。本发明图像分割性能良好，具有较好的有效性和通用性。

Description

一种上下文金字塔融合网络及图像分割方法

技术领域

本发明涉及一种上下文金字塔融合网络及图像分割方法，属于图像处理技术领域。

背景技术

医学图像的语义分割是医学图像分析的一个重要步骤。在不同医学图像中实现病变区域分割，如在皮肤镜图像中分割皮肤损伤、在吲哚青绿眼底血管造影图像中分割线性损伤、在胸部CT图像中分割危险器官、在视网膜光学相干断层扫描(OCT)图像中分割黄斑水肿损伤等，是病变定量分析的基础。但是，在医学图像成像分辨率普遍较低的情况下，医学图像普遍存在对比度低、病变区域边界模糊等特点，加上病变的种类多样性和形状多样性等特点，医学图像的语义分割仍然存在很大的挑战性。

近年来，很多基于卷积神经网络(CNN)的深度学习方法如全卷积网络(FCN)，由于具备较好的特征提取能力，被应用于医学图像分割。其中U-Net由于采用了编解码器结构以及跳跃连接，大大提高了医学图像分割的性能。虽然，U型结构的CNN网络在医学图像分割中取得了较好的性能，但是其单个编-解码器的上下文信息提取能力仍然不够充分。这会导致深层编码器所获取的全局上下文信息在逐级传递给浅层解码器时可能会逐渐弱化。另外，每一级编码器-解码器之间的简单跳跃连接忽略了全局特征信息，无选择性地对局部信息进行融合，这将引入不相关的干扰信息，进而导致分割错误。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种上下文金字塔融合网络及图像分割方法，能有效提取目标及其周围的多尺度上下文信息。

为达到上述目的，本发明是采用下述技术方案实现的：

第一方面，本发明提供了一种上下文金字塔融合网络，包括

特征编码模块：包括多个逐级相连的特征提取层，用于从原始图像中获取不同层特征图；

全局金字塔引导模块：设置有多个，分别与不同特征提取层连接，用于将和其连接的特征提取层提取的特征图与所有更高特征提取层提取的特征图进行多尺度融合，以获取全局上下文信息，并以跳跃连接方式将全局上下文信息引导和传递给特征解码模块；

尺度感知金字塔融合模块：与特征编码模块的最高特征提取层连接，用于根据不同尺度的特征图动态选择正确的感受野并融合多尺度上下文信息；

特征解码模块：包括多个逐级相连的特征解码层，用于根据全局上下文信息和多尺度上下文信息重建特征图。

结合第一方面，进一步的，所述特征编码模块采用删除平均池化层和全连接层的预训练的ResNet34网络结构。

结合第一方面，进一步的，所述全局金字塔引导模块采用三个并行的、具有不同膨胀率的可分离膨胀卷积；所述全局金字塔引导模块的输入为当前层特征图与来自更高层的所有特征图的级联拼接。

结合第一方面，进一步的，所述尺度感知金字塔融合模块包括：

三个膨胀率不同的并行膨胀卷积：用于获取不同尺度信息；

两个级联的尺度感知模块：用于将三个通道的不同尺度信息进行动态融合。

结合第一方面，进一步的，三个膨胀率不同的并行膨胀卷积采用共享权值。

结合第一方面，进一步的，所述特征解码层包括顺序连接的3×3卷积模块、双线性插值上采样模块和1×1卷积模块；多尺度上下文信息通过3×3卷积模块逐渐融合全局上下文信息，利用所述双线性插值上采样模块对3×3卷积模块输出的融合特征图进行上采样，再通过1×1卷积得到特征解码层的输出。

第二方面，本发明提供了一种图像分割方法，采用前述的上下文金字塔融合网络，所述方法包括如下步骤：

从原始图像中获取不同层特征图；

将本层特征图与所有更高层特征图相融合，以获取全局上下文信息；

根据不同尺度的特征图动态选择正确的感受野并融合多尺度上下文信息；

根据全局上下文信息和多尺度上下文信息重建特征图。

结合第二方面，进一步的，所述方法还包括：

对原始图像进行数据扩增处理、像素灰度归一化处理、“2.5D”数据处理中的一种或多种预处理。

结合第二方面，进一步的，所述数据扩增处理的方法包括：左右翻转、上下翻转、-30度至30度旋转、增加加性高斯噪声。

结合第二方面，进一步的，所述像素灰度归一化处理的方法包括：

首先将原始图像的像素值限制到[-310,400]范围，然后线性归一化至[0,1]。

与现有技术相比，本发明所达到的有益效果是：

多个全局金字塔引导模块能够将本层特征图与所有更高层特征图相融合获取全局上下文信息，能够克服全局上下文信息逐级弱化、简单跳跃连接引入无关噪声和由于感受野不匹配造成的语义分割瓶颈问题，可以有效增强模型对分割目标的响应，提高分割性能；尺度感知金字塔融合模块能够根据不同尺度的特征图动态选择正确的感受野并融合多尺度上下文信息，能够有效融合多尺度上下文信息；根据全局上下文信息和多尺度上下文信息重建特征图能够大大提高图像分割的性能。

附图说明

图1是根据本发明实施例提供的一种上下文金字塔融合网络的结构框图；

图2是根据本发明实施例提供的全局金字塔引导模块与特征编码模块的连接关系图；

图3是根据本发明实施例提供的尺度感知金字塔融合模块的结构示意图；

图4是图3中尺度感知模块的结构示意图；

图5是采用本发明实施例提供的上下文金字塔融合网络对皮肤镜图像中皮肤损伤进行分割的分割结果；

图6是采用常规简单跳跃连接和GPG模块所获得的特征图的可视化和对比；

图7是采用本发明实施例提供的上下文金字塔融合网络对吲哚青绿血管造影图像中视网膜线性损伤进行分割的分割结果；

图8是采用本发明实施例提供的上下文金字塔融合网络对光学相干断层扫描OC T图像中视网膜水肿损伤进行分割的分割结果。

具体实施方式

本发明的目的在于克服现有U型结构网络中单个编码器-解码器层多尺度上下文信息提取能力低下、简单跳跃连接导致引入噪声和全局信息提取能力不足等问题，首次设计了全局金字塔引导(Global Pyramid Guidance，GPG)模块和尺度感知金字塔融合(Scale-Aware Pyramid Fusion，SAPF)模块，将两种金字塔模块应用于U型结构网络，旨在实现一种基于卷积神经网络CNN、适用于医学图像分割的深度学习网络，称为上下文金字塔融合网络(Context Pyramid Fusion Network，CPFNet)。本发明提出的全局金字塔引导模块(简称GPG模块)可以融合多尺度全局上下文信息并以跳跃连接方式将全局上下文信息引导和传递给特征解码模块，即每一层的跳跃连接不但包含本层的局部上下文信息，还包含了来自所有高层的全局信息，同时采用全局金字塔引导模块可以抑制低层特征引入的背景噪声的干扰。本发明提出的尺度感知金字塔融合模块(简称SAPF模块)由三个共享权值、以获取不同尺度上下文信息为目的的并行膨胀卷积和两个采用空间注意力机制的级联尺度感知模块构成。尺度感知金字塔融合模块嵌入在整个特征编码模块的顶端，通过网络自学习可以动态选择合适的感受野和融合多尺度上下文信息。

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

附图1是本发明实施例提供的上下文金字塔融合网络(简称CPFNet)的结构框图，图中S表示SAPF模块，G表示GPG模块，

表示双线性插值上采样，

表示相加。CPFNet是一个基于编码器-解码器结构的全卷积网络，主要包括特征编码模块、GPG模块、SAPF模块和特征解码模块四个部分。其中，本发明实施例提供的SAPF模块应用于特征编码模块的顶端，以获取多尺度上下文信息，本发明实施例提供的GPG模块以跳跃连接方式应用于特征编码模块和特征解码模块之间，以引导全局上下文信息流与特征解码模块特征的融合。

(a)特征编码模块

特征编码模块，用于从原始图像中获取不同层特征图。它包括多个逐级相连的特征提取层。

为了能获取具有代表性的特征图，在特征编码模块部分采用了预训练的残差网络ResNet34作为特征提取器。考虑兼容性问题，删掉了残差结构中的平均池化层和全连接层，结构如附图1右下角所示。ResNet采用的残差机制可以加快网络的收敛速度并且避免梯度消失问题。

(b)GPG模块

为了克服全局上下文信息逐级弱化、简单跳跃连接引入的无关噪声和由于感受野不匹配造成的语义分割瓶颈问题，本发明实施例提供了一种GPG模块。CPFNet网络中可以设置多个GPG模块，各GPG模块分别与不同特征提取层连接，用于将和其连接的特征提取层提取的特征图与所有更高特征提取层提取的特征图进行多尺度融合，以获取全局上下文信息，并以跳跃连接方式将全局上下文信息引导和传递给特征解码模块。在GPG模块中，跳跃连接由本层特征图和所有更高层特征图融合而成。通过在特征编码模块和特征解码模块之间加入多个GPG模块，来自高层的全局语义信息可以逐级引导不同层的特征解码层。

如附图2所示，以第三层Stage3为例，说明GPG模块的具体结构。首先，通过常规的3×3卷积获取所有层的特征图，且保证这些特征图具有相同的通道数。然后，对于第三层Stage3来说，将第四层Stage4和第五层Stage5产生的对应特征图F₄和F₅分别进行上采样至与第三层特征图F₃具有相同的尺寸，并进行级联拼接。接下来，为了从不同层特征图中提取全局上下文信息，本发明实施例采用三个并行的、具有不同膨胀率的可分离卷积(图2中：

均表示可分离膨胀卷积，

的膨胀率＝1，

的膨胀率＝2，

的膨胀率＝4)，同时也是为了减少网络的参数。并行路径的数量和膨胀率随着被融合层数的变化而变化。最后，采用一个常规的卷积来获取最终的特征图。因此，不同层的GPG模块可以由公式(1)来表示(为了简单起见，常规卷积不在公式中表示)：

其中，G_k表示应用于第k层的GPG模块，F_k表示第k层特征编码模块的特征图，

表示进行2^i-k倍上采样，

表示级联操作，

表示以2^i-k为膨胀率的可分离膨胀卷积，其中k表示第k层，i＝k～5表示第k层和所有高层，这里最高层以第5层为例。

为了减少网络规模和计算开销，在本发明实施例提供的CPFNet网络中仅采用了三个GPG模块。

(c)SAPF模块

为了有效融合多尺度上下文信息，本发明实施例提供了一种SAPF模块，SAPF模块与特征编码模块的最高特征提取层连接，能够根据不同尺度的特征图动态选择正确的感受野并融合多尺度上下文信息，其结构如附图3所示。在SAPF模块中，首先采用不同膨胀率(膨胀率分别为1、2、4)的三个并行膨胀卷积来获取不同尺度信息，且这些卷积采用共享权值，以减少网络的参数和模型过拟合的风险；然后，这些不同尺度信息通过本发明所设计的尺度感知模块(结构如附图4所示)实现特征融合。尺度感知模块采用了空间注意力机制，通过自学习过程实现不同尺度特征的正确动态选择和融合。具体来说，假设两个不同尺度特征F_A和F_B通过膨胀卷积后得到两个特征图

(H和W分别表示特征图的高度和宽度，j＝[1,2,…,H×W])，则像素级的注意力图

可通过对空间特征图进行softmax操作得到，具体公式如下：

式中：A_j表示尺度特征F_A通过膨胀卷积得到的特征图A中的第j个像素；B_j表示尺度特征F_B通过膨胀卷积得到的特征图B中的第j个像素；

表示注意力图

中的第j个像素；

表示注意力图

中的第j个像素。

最后，用注意力图

分别对尺度特征F_A和F_B进行加权，得到最终的多尺度融合特征图F_fusion：

其中，⊙表示像素级乘积操作。

如附图3所示，本发明实施例提供的SAPF模块采用两个级联的尺度感知模块来融合三个通路的多尺度信息；然后，采用带有可学习参数α的残差结构来实现整个SAPF模块的输出。

(d)特征解码模块

特征解码模块用于根据全局上下文信息和多尺度上下文信息重建特征图，它包括多个逐级相连的特征解码层，能够快速有效地重建高分辨率特征图。进一步的，特征解码层包括顺序连接的3×3卷积模块、双线性插值上采样模块和1×1卷积模块；特征解码模块重构由SAPF模块产生的高层特征，并通过3×3卷积模块逐渐融合由GPG模块引导的全局上下文信息。在3×3卷积模块之后，采用双线性插值上采样模块对融合特征图进行上采样，可以减少模型的参数并抑制棋盘效应；再通过一个1×1卷积模块得到特征解码层的输出；在最后一个特征解码层之后，特征图直接上采样至与原图大小一致。

(e)损失函数

数据分布不均衡问题是医学图像分割中面临的一个主要挑战，为了优化本发明实施例所提供的网络模型，有效克服数据不平衡问题，本发明实施例联合使用了Dice损失和交叉熵损失作为网络的损失函数。

本发明实施例还提供了一种图像分割方法，采用前述的上下文金字塔融合网络，所述方法包括如下步骤：

从原始图像中获取不同层特征图；

将本层特征图与所有更高层特征图相融合，以获取全局上下文信息；

根据不同尺度的特征图动态选择正确的感受野并融合多尺度上下文信息；

根据全局上下文信息和多尺度上下文信息重建特征图。

本发明实施例提供的图像分割方法分割性能良好，在图像分割方面具有较好的有效性和通用性。为了验证本发明方法的有效性和通用性，下面采用皮肤镜图像、吲哚青绿眼底血管造影ICGA图像、光学相干断层扫描OCT图像、CT图像等多种医学图像中病变区域分割任务对本发明实施例提供的图像分割方法进行了验证。

(a)皮肤镜图像中皮肤损伤的分割

1)总括

皮肤镜是一种广泛应用于皮肤科临床的无创皮肤成像方式。皮肤损伤的自动分割对于黑色素瘤的自动检测与筛查至关重要。目前，应用于皮肤镜图像分析和黑色素瘤分割的方法，除了聚类阈值、基于区域的主动轮廓模型等一些传统方法，也有一些基于深度学习的方法，如基于端点误差损失和负对数相似度损失的卷积神经网络CNN模型，MultiResUnet在U-Net基础上引入了多个残差连接用于皮肤损伤分割。但是，由于皮肤镜图像质量的不均匀性、浓密毛发以及皮肤损伤边界的模糊性等因素的影响，皮肤镜图像中皮肤损伤的分割仍然存在很大的挑战性。

2)数据集

本实验所采用的皮肤镜图像数据来源于由国际皮肤成像合作组织(theInternational Skin Imaging Collaboration，ISIC)在2018年举办的一项公开损伤边界分割竞赛——ISIC2018。数据集一共包含2594张包含不同类型损伤、不同成像分辨率的皮肤镜图像。为了提高模型的计算效率，将图像的尺寸重构为256×192(保持原来的纵横比例)。采用在线图像随机左右翻转进行数据扩增。

在消融实验和对比实验中，均采用五折交叉验证。为了客观评估本发明方法的性能，采用了Jaccard指标(Jaccard Index)、Dice系数和准确度三个评价指标。

3)结果

在对比实验中，将本发明方法与其他优秀的基于卷积神经网络CNN的分割方法进行了比较，包括全卷积网络FCN，注意力U-Net(Attention U-Net)和MultiResUNet。为了验证本发明所提出的GPG模块和SAPF模块的有效性，做了相应的消融实验。为了便于描述，下面将采用了预训练ResNet34的基础U型结构模型称为Baseline方法。附表1列举了相关的对比实验和消融实验的结果。附表1皮肤损伤分割的对比实验和消融实验结果

由附表1可知，U-Net相对于FCN模型，Jaccard指标提高了超过2％，这得益于U-Net的跳跃连接。而MultiResUNet由于匹配了跳跃连接中特征编码模块特征和特征解码模块特征的感受野，性能获得进一步提升。本发明提出的CP FNet取得了比上述三种方法更好的性能指标。与Baseline方法相比，本发明提出的CPFNet方法在Jaccard指标、Dice系数和准确率分别取得了1.74％、1.99％和0.61％的提升。附图5展示了一些采用不同方法的皮肤损伤分割结果，(a)为原图；(b)为金标准；(c)为采用本发明提供的CPFNet获取的分割结果；(d)为Baseline的结果；(e)为注意力Attention U-Net的结果；(f)为U-Net的结果；(g)为全卷积神经网络FCN的结果。(b)-(g)图中白色区域为损伤金标准，灰色轮廓线为算法分割的损伤区域边界。

有关GPG模块的消融实验。如附表1所示，在基本网络Baseline基础上加上GPG模块(Baseline+GPG)后，三个客观指标都得到了明显提高。同时，GPG模块不采用可分离膨胀卷积(GPG_w/o_Ds)的性能比完整的GPG模块差，证明了具备不同感受野的并行可分离分支更有助于获取全局信息。为了进一步验证GPG模块的性能，对采用常规简单跳跃连接和GPG模块所获得的特征进行了可视化，如附图6所示，(a)为原始皮肤镜图像；(b)为金标准；(c)为插入GPG模块前(常规跳跃连接)所获得的特征图；(d)为插入GPG模块后所获得的特征图。由附图6可见，从GPG模块得到的全局上下文信息可以有效增强模型对分割目标的响应，进而提高分割性能。

有关SAPF模块的消融实验。从附表1可见，在基本网络Baseline中加入SAPF模块(Baseline+SAPF)后，分割性能也有较明显提升，特别是Jaccard指标，提升了1.03％，达到了82.15％，Dice系数和正确率ACC也分别从87.90％和95.69％提升到了88.88％和96.00％，这得益于SAPF模块能动态融合多尺度上下文信息。为了进一步验证这个结论，先在Baseline中加了一个不带膨胀卷积的SAPF模块(Baseline+SAPF_w/o_Dc)，Jaccard指标性能比完整的SAPF模块下降0.59％，这说明了获取多尺度上下文信息的必要性。然后，在Baseline中插入不带尺度感知模块的SAPF模块(Baseline+SAPF_w/o_SA)，Jaccard指标比完整SAPF下降0.36％，说明了动态选择多尺度上下文信息更有助于提高图像分割的性能。上述的消融实验证明了本发明提出的SAPF模块可以通过联合尺度感知的优点和多尺度上下文信息融合来改善网络的分割性能。

有关模型复杂度和预训练模型的消融实验。为了验证本发明方法的性能提升并不是由增加模型复杂度导致的，在基本网络Baseline的特征解码模块通道上通过增加残差块的数量，设计了一个与本设计模型复杂度相当(网络参数数量相当)的网络(Baseline_Wide)。如附表1所示，实验结果表明，本发明实施例提供网络的性能比Baseline_Wide性能有显著提升，其中Jaccard指标提升了1.13％。另外，本发明所设计的基本网络Baseline的性能比其他方法如全卷积网络FCN、U-Net、注意力U-Net(Attention U-Net)和MultiResUNet都有提升，这主要得益于特征编码模块中所采用的带有预训练权重的ResNet34能使网络整体更容易优化、比随机初始化的网络收敛得更快、具备更强的获取有用特征的能力。

(b)吲哚青绿血管造影图像中视网膜线性损伤的分割

1)总括

线性损伤是高度近视进程中的一个重要指标，是视力损伤的一个重要因素。吲哚青绿ICGA成像技术已经被广泛应用于眼科临床中线性损伤的检查与诊断。因此，ICGA图像中线性损伤的自动分割对于高度近视的诊断和预防具有重要意义。但是，由于线性损伤本身结构的复杂性和多样性以及相似灰度和结构的视网膜血管的干扰，线性损伤的自动分割具有很大的挑战性。已有文献中，仅有采用改进条件生成对抗网络进行线性损伤分割的，但条件生成对抗网络存在网络复杂度高、训练不稳定以及过多超参数等缺点。

2)数据库

本实验采用的ICGA图像来自38位高度近视病人，左右眼在不同时刻各采集2张图像，一共获取152张ICGA图像。采用了随机左右翻转、上下翻转、-30度到30度旋转以及增加加性高斯噪声等在线方式进行数据扩增。

将数据根据病人进行了4折交叉验证。为了客观评估本发明方法的性能，采用了Jaccard指标(Jaccard Index)、Dice系数、准确度(Acc)、敏感度(Sen)和特异性(Spe)五个评价指标。

3)结果

附表2展示了相关消融实验和对比实验的结果与比较。在消融实验中，为了验证本发明提出的GPG模块和SAPF模块的通用性，将这两种模块插入到原始U-Net中。

附表2视网膜线性损伤分割的对比实验和消融实验结果

由附表2可见，随着这两种模块的加入，对应网络的分割性能稳步提升，当两种模块都应用其中(U-Net+GPG+SAPF)时，Dice系数比原始U-Net增加了近9％，达到58.47％，灵敏度提升了11.57％。同时，通过增加U-Net的通道数设计了一个与U-Net+GPG+SAPF参数规模相当的U-Net-Wide网络，实验结果同样表明了网络性能的显著提升并不是由于参数增加造成的，说明本发明提出的GPG模块和SAPF模块能弥补U-Net网络的上下文信息获取能力差的缺点。

在对比实验中，本发明方法与目前性能较好的分割网络如PSPNet、TriamisuNet、cGAN、注意力Attention U-Net和本发明的基本网络Baseline进行了性能比较。从附表2可见，本发明方法的性能优于上述其他方法。

附图7展示了采用不同方法分割线性损伤的结果，(a)为原始ICGA图像；(b)为采用本发明实施例提供的CPFNet的结果；(c)为Baseline的结果；(d)为U-Net+GPG+SAPF的结果；(e)为原始U-Net的结果；(f)为Attention U-Net的结果。图(b)-(f)中，白色区域表示算法分割结果与金标准重合的部分，黑色(除四周背景和视盘区外)表示误检，灰色表示漏检。结果表明本发明提出的CPFNet在视网膜线性损伤分割中性能良好。

(c)CT图像中胸部危险器官的分割

1)总括

放疗是一种常见的癌症治疗方法。在放射治疗之前，需要在CT图像中对目标肿瘤以及被称为危险器官的肿瘤周围健康器官进行轮廓勾勒。通常，轮廓勾勒工作是医生手动完成的，缺点是费时且具有主观性。因此，CT图像中食道、心脏、动脉、血管等胸部危险器官的自动分割非常重要，且由于不同病人间危险器官的形状和位置具有很大的差异性、器官边界模糊、对比度低等因素，分割极具挑战性。虽然已有一些针对危险器官的分割方法，如基于广义Hough变换的方法，基于图集配准的方法，基于水平集的方法、基于深度学习的方法等，但是危险器官的分割性能还可以进一步提升。

2)数据集

胸部危险器官数据集来自公开竞赛ISBI2019SegTHOR。这个CT图像数据集中的胸部危险器官包括心脏、主动脉、气管和食管。该数据集中的CT图像分辨率差异性较大，每个CT数据有150到284个切片(横断面)，纵向分辨率从2mm到3.7mm不等，每个切片都是512×512个像素，但是像素的分辨率从0.90mm²到1.37mm²不等。本实验将该数据集中的60个病人数据(11084个切片)随机按照病人分成训练集(40个病人，7390个切片)和测试集(20个病人，3694个切片)。

为了提高图像的对比度，对原始CT图像进行了像素灰度归一化处理，首先将原始图像的像素值限制到[-310,400]范围，然后线性归一化至[0,1]。为了能在本发明实施例提供的二维分割网络中有效利用原始CT图像的三维空间信息，本发明将三维CT数据转换成“2.5D”数据作为本网络的输入数据，即将相邻三个切片当作一个三通道数据作为网络的输入。采用了左右翻转、上下翻转、-15度到15度旋转以及对比度归一化等数据增强处理。

3)结果

为了验证本发明方法的有效性，将本发明方法的测试结果提交至该竞赛官网进行评估，并和官网一致采用全局Dice系数和Hausdorff距离作为评价指标，本发明方法未作任何后处理，达到良好的分割性能，与其他高性能卷积神经网络，如FCN、U-Net和CE-Net等作了比较，性能均优于这些网络，具体评估结果如附表3所示。

附表3采用不同方法的危险器官分割结果比较

。

(d)光学相干断层扫描OCT图像中视网膜水肿损伤的分割

1)总括

光学相干断层扫描OCT图像中视网膜水肿区域(Retina Edema Area，REA)、视网膜下积液(Sub-Retinal Fluid，SRF)和色素上皮层脱离(Pigment Epithelial Detachment，PED)等损伤的自动分割对于糖尿病视网膜病变的分析有重要意义。但多类损伤分割存在很大的挑战，原因主要有以下2点：(i)目标边界很模糊，且OCT图像存在严重的散斑噪声；(ii)不同类别的损伤数据分布存在极大不平衡问题。已有的方法往往只针对单一损伤的分割，三种损伤的联合分割方法目前还未见报道。本发明方法可以实现三种损伤的联合分割。

2)数据集

本实验的数据来自公开竞赛AI-challenger 2018中的视网膜水肿损伤自动分割竞赛。该数据集包含85个带金标准的三维视网膜OCT图像(1024×512×128)。由于标注原因，选取其中的83个数据作为数据集，随机分成训练集(40个OCT图像)和测试集(43个OCT图像)。经统计发现，色素上皮层脱离PED的损伤面积小，平均仅占图像面积的0.03％，这将导致严重的数据不平衡问题，使得三种损伤的联合分割非常有挑战性。为了利用OCT数据的三维空间信息，本实验也采用了与上一个实验相同的“2.5D”数据处理。

3)结果

本实验采用竞赛官网提供的评价指标来评估本发明方法的性能。本发明方法与高性能的FCN、U-Net、Attention U-Net以及CE-Net都进行了性能比较，比较结果如附表4所示。

附表4采用不同方法视网膜水肿病变分割结果比较

由表4可见，本发明提出的CPFNet具有最好的分割性能。其中，平均Dice系数比注意力Attention U-Net提升了8.36％，特别地，小目标PED分割的Dice系数提升了9.75％，达到了74.72％。虽然CE-Net在视网膜水肿区域REA和视网膜下积液SRF的分割性能与本发明提出的CPFNet相当，但是其对PED的分割性能要差很多，可能是因为CE-Net中采用的池化操作使得部分小目标PED在网络顶部消失了。与基本网络Baseline相比，本发明提出的CPFNet使分割性能得到提升，说明了本发明提出的GPG模块和SAPF模块在上下文信息获取和融合中的重要作用。附图8展示了一些三种视网膜水肿损伤联合分割的结果，第一行：原始OCT图像；第二行：金标准；第三行：本发明CPFNet网络的分割结果；第四行：U-Net的结果；第五行：FCN的结果；第六行：CE-Net的结果；第七行：注意力Attention U-Net的结果。第二至第七行的图中，白色表示视网膜水肿区域REA，水肿区域REA内部的灰色表示视网膜下积液SRF，黑色表示色素上皮层脱离PED。同样说明了本发明方法的有效性和可靠性。

综上所示，基于本发明提出的GPG模块和SAPF模块，CPFNet较好地克服了U型网络对于全局上下文信息和多尺度上下文特征信息获取和融合困难的缺点。CPFNet在4种不同类型成像方式、不同类型损伤目标的分割任务中进行了综合验证实验，包括皮肤镜图像中皮肤损伤的分割、吲哚青绿眼底血管造影ICGA图像中视网膜线性损伤的分割、CT图像中胸部危险器官的分割以及光学相干断层扫描OCT图像中视网膜水肿损伤的分割，分割性能良好，表明本发明提供的CPFNet在医学图像分割方面具有较好的通用性。特别是本发明提出的GPG模块和SAPF模块可以有效、通用地应用并提升其他采用特征编码模块-特征解码模块结构网络的性能。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种适用于图像分割的上下文金字塔融合网络系统，其特征在于，包括

特征编码模块：包括多个逐级相连的特征提取层，用于从原始图像中获取不同层特征图；

全局金字塔引导模块：设置有多个，分别与不同特征提取层连接，用于将和其连接的特征提取层提取的特征图与所有更高特征提取层提取的特征图进行多尺度融合，以获取全局上下文信息，并以跳跃连接方式将全局上下文信息引导和传递给特征解码模块；

尺度感知金字塔融合模块：与特征编码模块的最高特征提取层连接，用于根据不同尺度的特征图动态选择正确的感受野并融合多尺度上下文信息；

特征解码模块：包括多个逐级相连的特征解码层，用于根据全局上下文信息和多尺度上下文信息重建特征图。

2.根据权利要求1所述的适用于图像分割的上下文金字塔融合网络系统，其特征在于，所述特征编码模块采用删除平均池化层和全连接层的预训练的ResNet34网络结构。

3.根据权利要求1所述的适用于图像分割的上下文金字塔融合网络系统，其特征在于，所述全局金字塔引导模块采用三个并行的、具有不同膨胀率的可分离膨胀卷积；所述全局金字塔引导模块的输入为当前层特征图与来自更高层的所有特征图的级联拼接。

4.根据权利要求1所述的适用于图像分割的上下文金字塔融合网络系统，其特征在于，所述尺度感知金字塔融合模块包括：

三个膨胀率不同的并行膨胀卷积：用于获取不同尺度信息；

两个级联的尺度感知模块：用于将三个通道的不同尺度信息进行动态融合。

5.根据权利要求4所述的适用于图像分割的上下文金字塔融合网络系统，其特征在于，三个膨胀率不同的并行膨胀卷积采用共享权值。

6.根据权利要求1所述的适用于图像分割的上下文金字塔融合网络系统，其特征在于，所述特征解码层包括顺序连接的3×3卷积模块、双线性插值上采样模块和1×1卷积模块；多尺度上下文信息通过3×3卷积模块逐渐融合全局上下文信息，利用所述双线性插值上采样模块对3×3卷积模块输出的融合特征图进行上采样，再通过1×1卷积得到特征解码层的输出。

7.一种图像分割方法，其特征在于，采用权利要求1至6任一项所述的上下文金字塔融合网络系统，所述方法包括如下步骤：

从原始图像中获取不同层特征图；

将本层特征图与所有更高层特征图相融合，以获取全局上下文信息；

根据不同尺度的特征图动态选择正确的感受野并融合多尺度上下文信息；

根据全局上下文信息和多尺度上下文信息重建特征图；

对重建的特征图进行双线性插值上采样，获取图像分割结果。

8.根据权利要求7所述的图像分割方法，其特征在于，所述方法还包括：

对原始图像进行数据扩增处理、像素灰度归一化处理、“2.5D”数据处理中的一种或多种预处理。

9.根据权利要求8所述的图像分割方法，其特征在于，所述数据扩增处理的方法包括：左右翻转、上下翻转、-30度至30度旋转、增加加性高斯噪声。

10.根据权利要求8所述的图像分割方法，其特征在于，所述像素灰度归一化处理的方法包括：

首先将原始图像的像素值限制到[-310,400]范围，然后线性归一化至[0,1]。

Images