CN113222124B - 用于图像语义分割的SAUNet++网络与图像语义分割方法 - Google Patents

Abstract

本发明涉及一种用于图像语义分割的SAUNet++网络与图像语义分割方法，解决如何提高图像语义分割精度的技术问题。通过若干SER模块之间的下采样连接、上采样连接以及长\短跳跃连接形成U‑Net++网络结构，从而得到SU‑Net++网络，使得SU‑Net++网络具备一条下采样链路和不同深度的上采样链路以及用于合并特征图的跳跃连接网络；所述SER模块为挤压激励残差模块，用于调整特征图的通道数和各通道的权值；在所述SU‑Net++网络结构的下采样链路的末端与最深层上采样链路的首端之间增加一个ASPP模块，从而形成SAUNet++网络。本发明可以学习到图像中更丰富更重要的特征，提高分割准确率，医学图像和自然图像都能有效分割。

Description

用于图像语义分割的SAUNet++网络与图像语义分割方法

技术领域

本发明属于图像语义分割技术领域。

背景技术

图像分割是计算机视觉的重要分支，它将图像划分为互不相交的的子区域，属于同一个子区域的像素点具有一定相关性，而在不同子区域的像素点存在一定差异性，即对图片中像素点分类的过程。图像分割具体可分为语义分割、实例分割和全景分割。图像语义分割是将属于同一类别的区域分割出来，而不区分相同类别中的不同个体。

图像语义分割算法可分为传统图像处理方法和深度学习方法。传统图像处理方法又可分为基于阈值的方法、基于边缘的方法、基于区域的方法、基于活动轮廓的方法等。由于受到计算机算力的限制，该类方法只能提取图像的颜色、形状、纹理等低层特征对图像进行分割，而且需要手动设置参数，因此分割效果不佳，难以满足实际需求。

随着深度学习的发展，卷积神经网络成为了图像处理的重要手段。在图像语义分割任务中，深度学习方法能够学习到图像中的深层特征，充分利用图像中的语义信息，实现自动精确快速的分割。Long等人于2015年提出的全卷积网络(fully convolutionalnetworks，FCN)将图像级分类网络转变为像素级分类网络，并且实现了端到端的训练，是将卷积神经网络应用到图像语义分割的开山之作。但是，FCN由于没有考虑到像素点之间的关联性，导致对图像细节不够敏感，分割边界模糊。此后，大量基于FCN的深度学习方法被提出，可分为基于编解码的方法(U-Net、SegNet)、基于注意力机制的方法(DANet、CCNet)、基于空洞卷积的方法(DeepLab V1～V3+)等。

基于编解码的方法以U-Net网络最为经典，编码网络提取高层特征，解码网络恢复图像空间信息，并使用跳跃连接将编解码网络对应的特征图拼接到一起，融合了高层和低层特征的U-Net使得图像分割更加精确，但网络结构简单。

原始U-Net使用四次下采样来获取高维信息，然后使用四次上采样将特征图恢复到原始大小，并使用四个跳跃连接来合并特征图。然而，并不是所有基于U-Net的改进方法都采用四层结构，但是下采样、上采样和跳跃连接的组合一直没有改变。参考图1所示，U-Net++网络是U-Net网络的改进：在大的U-Net网络框架内部形成多层子U-Net网络，每个圆圈代表原型单元，用于实现卷积和激活函数。U-Net++可以从不同深度的结构中提取不同的特征，这些特征对分割都很重要，因此U-Net++结合了四个不同深度的结构，并使用不同长度的跳跃连接。由于U-Net++采用无填充卷积，经过两次卷积后，同一层特征图的边界像素会丢失，因此需要先对编码网络中的特征图进行裁剪，然后再与解码网络中的特征图进行连接。但是，现有的U-Net++网络结构不能很好的区分各个图像特征的重要性，对于场景较复杂的图像的分割效果不理想，尤其是对于边界信息较弱的分割目标，另外现有的U-Net++网络结构对细小目标的分割准确率也有待提高。

发明内容

针对上述现有技术的不足，本发明提供一种基于U-Net++网络的图像语义分割系统，解决如何提高图像语义分割精度的技术问题。

为解决上述技术问题，本发明提供一种用于图像语义分割的SAUNet++网络，通过若干SER模块之间的下采样连接、上采样连接以及长\短跳跃连接形成U-Net++网络结构，从而得到SU-Net++网络，使得SU-Net++网络具备一条下采样链路和不同深度的上采样链路以及用于合并特征图的跳跃连接网络；

所述SER模块为挤压激励残差模块，用于调整特征图的通道数和各通道的权值；所述SER模块包括挤压激励模块，并将SER模块的输入跳跃连接到挤压激励模块的输出形成残差连接；

在所述SU-Net++网络结构的下采样链路的末端与最深层上采样链路的首端之间增加一个ASPP模块，从而形成SAUet++网络；所述ASPP为空洞空间卷积池化金字塔，用于将所述下采样链路提取到的深度特征图转化为具有多尺度信息的多尺度深度特征图，并作为所述最深层上采样链路的输入。

进一步的，所述SER模块首先使用C个1×1卷积核来改变通道数，然后通过两次3×3的卷积得到更深层次的特征图u，再通过全局平均池化实现挤压操作得到特征图z：

其中，F_sq(u)为挤压函数，u为卷积后的特征图，H为特征图u的高度，W为特征图u的宽度；

挤压操作之后通过两个全连接层FC进行激励操作获得特征图S：第一个FC以r的比例对通道进行降维，通过激活函数后，第二个FC将通道个数恢复到原来的维数；

s＝F_ex(z,W)＝σ(W₂δ(W₁z))

其中，_ex为激励函数，δ为ReLU激活函数，σ为sigmoid激活函数，

C为1×1卷积核的数量；

SER模块的输出表示为：y＝x+u×s；其中，x为SER模块的输入，y为SER模块的输出。

进一步的，ASPP模块使用了采样率分别为1、2、4、6的空洞卷积来捕获多尺度信息，然后在通道方向上将特征图连接起来，并将叠加后的特征图提供给1×1卷积、BN和LeakyReLU以合成具有多尺度信息的深度特征图。

本发明还提供一种图像语义分割方法，采用样本集对权利要求1所述的用于图像语义分割的SAUet++网络进行训练，将训练完成后的SAUet++网络用于图像语言分割，包括以下步骤：

将SAUet++网络的下采样链路的首端上的SER模块作为输入端，输入待分割图像并提取待分割图像的初始特征图I₀；通过所述下采样链路逐步增大初始特征图I₀的通道数并调整各通道的权值得到加权深度特征图，并输出加权深度特征图给所述ASPP模块；所述ASPP模块将所述加权深度特征图转化为具有多尺度信息的多尺度加权深度特征图，并作为所述最深层上采样链路的输入；

其余各层上采样链路获取在下采样链路上相应层深度的下采样特征图，重新加权并逐步还原为通道数和图像尺寸均与初始特征图I₀相等的重加权还原特征图；

最深层上采样链路将所述多尺度加权深度特征图逐步还原为不同通道数的特征图并进行重加权，同时通过跳跃连接网络将相同通道数的特征图进行叠加，从而得到通道数和图像尺寸均与初始特征图I₀相等的多尺度重加权还原特征图；

将SAUet++网络的最深层上采样链路的末端上的SER模块作为输出端，将所述多尺度重加权还原特征图的通道数转化为与待分割图像的通道数相等，从而得到图像语义分割结果。

与现有技术相比，本发明具有以下有益效果：

1、本发明融合了编解码网络(U-Net++网络)、通道注意力机制(SER模块)和空洞卷积(ASPP模块)。在U-Net++模型的基础上引入了挤压激励残差(squeeze excitationresidual，SER)模块和空洞空间卷积池化金字塔(atrous spatial pyramid pooling，ASPP)模块。SER模块可以将更多的权重分配给更重要的通道，缓解梯度消失的问题，以更加准确的提取边缘信息。ASPP模块可以通过不同采样率的并行空洞卷积来捕获多尺度信息，无论是大的区域还是细小区域都能很好的分割。模型可以学习到图像中更丰富更重要的特征，提高分割准确率。

2、引入广义骰子损失函数(generalized dice loss，GDL)，它可以降低病灶大小和骰子损失之间的相关性，使得训练过程更加稳定，能有效分割出微小目标且具有一定的抗噪能力。

3、本算法针对医学图像和自然图像都能有效分割。

附图说明

图1为现有技术中U-Net++网络的结构示意图；

图2为本具体实施方式中的SAUNet++网络的结构示意图；

图3为SER模块的结构示意图；

图4为ASPP模块示意图的结构示意图；

图5为不同模型分割掩膜对比图；

图6为使用不同损失函数的SAUNet++网络的分割掩膜对比图。

具体实施方式

一)网络整体结构

参考图2所示，一种用于图像语义分割的SAUNet++网络，通过若干SER模块之间的下采样连接、上采样连接以及长\短跳跃连接形成U-Net++网络结构，从而得到SU-Net++网络，使得SU-Net++网络具备一条下采样链路和不同深度的上采样链路以及用于合并特征图的跳跃连接网络；

所述SER模块为挤压激励残差模块，用于调整特征图的通道数(图中圆圈上的数值代表通道数)和各通道的权值；所述SER模块包括挤压激励模块，并将SER模块的输入跳跃连接到挤压激励模块的输出形成残差连接；

在所述SU-Net++网络结构的下采样链路的末端与最深层上采样链路的首端之间增加一个ASPP模块，从而形成SAUNet++网络；所述ASPP为空洞空间卷积池化金字塔，用于将所述下采样链路提取到的深度特征图转化为具有多尺度信息的多尺度深度特征图，并作为所述最深层上采样链路的输入。

二)SER模块

参考图3所示，SER模块首先使用C个1×1卷积核来改变通道数，然后通过两次3×3的卷积得到更深层次的特征图u，再通过全局平均池化实现挤压操作得到特征图z：

其中，F_sq(u)为挤压函数，u为卷积后的特征图，H为特征图u的高度，W为特征图u的宽度；

挤压操作之后通过两个全连接层FC进行激励操作获得特征图S：第一个FC以r的比例对通道进行降维，通过激活函数后，第二个FC将通道个数恢复到原来的维数；

s＝F_ex(z,W)＝σ(W₂δ(W₁z))

其中，_ex为激励函数，δ为ReLU激活函数，σ为sigmoid激活函数，

C为1×1卷积核的数量。下采样过程中，C值逐渐增大；上采样过程中，C值逐渐减小。

SER模块的输出表示为：y＝x+u×s；其中，x为SER模块的输入，y为SER模块的输出。

挤压和激励操作调整了特征图中各通道的权重，增强了任务相关像素的权重，抑制了背景和噪声的权重。残差的引入是为了防止网络加深后模型不能收敛的问题。SER模块可以在略微增加模型复杂度和计算时间的同时显著提高分割精度，并且比其他注意机制更容易集成。

三)ASPP模块

卷积层和池化层的结合可以在不增加额外参数的情况下增加图像的感受野，但是池化操作会压缩图像的大小，从而丢失图像的细节。但是，上采样不能恢复所有的空间信息。空洞卷积覆盖的图像有着更大的感受野，它只使用感受野中的部分像素进行卷积，相当于在卷积核中插入空洞。因此，空洞卷积可以在不丢失信息的情况下，增加感受野，控制特征图的分辨率。

参考图4所示，ASPP模块被用来处理下采样后的深层特征图，此时特征图的大小是16×16×512，所以我们使用了采样率分别为[1，2，4，6]的空洞卷积来捕获多尺度信息，然后在通道方向上将特征图连接起来，并将叠加后的特征图提供给1×1卷积、BN和LeakyReLU。

四)网络训练

根据应用场景，构建相应的训练集。例如，在医学图像处理中，采用医X光图片、电子计算机断层扫描(CT)、超声(US)、磁共振成像(MRI)图片等建立训练样本集；在无人驾驶中，采用道路场景图像建立训练样本集。

输入样本集，采用损失函数GDL对所述用于图像语义分割的SAUNet++网络进行迭代训练。

骰子损失Dice loss广泛用于指导图像分割模型的训练，但不适合小区域分割。在病灶像素数和背景像素数极不平衡的情况下，一旦有少数像素预测错误，就会导致损失函数变化较大，导致梯度变化剧烈，训练不稳定。

Sudre等人提出的GDL使用了与病变区域大小成反比的权重，以便更好地分割小区域：

其中，rln∈{0,1}和pln∈[0,1]分别表示真实像素值和预测为类别l的概率。N是切片中的总像素数。ε＝10^-5以防止分母为0的问题。每个病灶的贡献通过其体积的倒数来修正，因此降低了病灶大小和骰子损失之间的相关性。

五)图像语义分割实例

将训练完成后的SAUNet++网络用于图像语义分割，包括以下步骤：

将SAUNet++网络的下采样链路的首端上的SER模块作为输入端，输入待分割图像并提取待分割图像的初始特征图I₀；通过所述下采样链路逐步增大初始特征图I₀的通道数并调整各通道的权值得到加权深度特征图，并输出加权深度特征图给所述ASPP模块；所述ASPP模块将所述加权深度特征图转化为具有多尺度信息的多尺度加权深度特征图，并作为所述最深层上采样链路的输入；

其余各层上采样链路获取在下采样链路上相应层深度的下采样特征图，重新加权并逐步还原为通道数和图像尺寸均与初始特征图I₀相等的重加权还原特征图；

最深层上采样链路将所述多尺度加权深度特征图逐步还原为不同通道数的特征图并进行重加权，同时通过跳跃连接网络(参考图2中虚线所示)将相同通道数的特征图进行叠加，从而得到通道数和图像尺寸均与初始特征图I₀相等的多尺度重加权还原特征图；

将SAUNet++网络的最深层上采样链路的末端上的SER模块作为输出端，将所述多尺度重加权还原特征图的通道数转化为与待分割图像的通道数相等，从而得到图像语义分割结果。

本具体实施方式中以新冠肺炎CT图像病灶分割为例。实验中使用了10000张CT切片训练模型，1359张用于测试，并通过dice系数(DSC)、交并比(IoU)、敏感度(Sen)、特异度(Spe)和豪斯多夫距离(HD)评价算法性能。我们使用SAUNet++算法与多种算法对比，结果表1所示，分割掩膜如图5所示。基于SAUNet++还对比了GDL与其它损失函数，结果如表2所示，分割掩膜如图6所示。实验结果表明，实验结果表明，在本实施例中SAUNet++算法拥有最好的分割性能。

表1

表2

本发明融合了编解码网络(U-Net++网络)、通道注意力机制(SER模块)和空洞卷积(ASPP模块)。在U-Net++模型的基础上引入了挤压激励残差(squeeze excitationresidual，SER)模块和空洞空间卷积池化金字塔(atrous spatial pyramid pooling，ASPP)模块。SER模块可以将更多的权重分配给更重要的通道，缓解梯度消失的问题，以更加准确的提取边缘信息。ASPP模块可以通过不同采样率的并行空洞卷积来捕获多尺度信息，无论是大的区域还是细小区域都能很好的分割。模型可以学习到图像中更丰富更重要的特征，提高分割准确率。

Claims (3)

1.一种用于图像语义分割的SAUNet++网络，其特征在于：通过若干SER模块之间的下采样连接、上采样连接以及长\短跳跃连接形成U-Net++网络结构，从而得到SU-Net++网络，使得SU-Net++网络具备一条下采样链路和不同深度的上采样链路以及用于合并特征图的跳跃连接网络；

所述SER模块为挤压激励残差模块，用于调整特征图的通道数和各通道的权值；所述SER模块包括挤压激励模块，并将SER模块的输入跳跃连接到挤压激励模块的输出形成残差连接；

在所述SU-Net++网络结构的下采样链路的末端与最深层上采样链路的首端之间增加一个ASPP模块，从而形成SAUNet++网络；所述ASPP为空洞空间卷积池化金字塔，用于将所述下采样链路提取到的深度特征图转化为具有多尺度信息的多尺度深度特征图，并作为所述最深层上采样链路的输入；

所述SER模块首先使用C个1×1卷积核来改变通道数，然后通过两次3×3的卷积得到更深层次的特征图u，再通过全局平均池化实现挤压操作得到特征图z：

其中，F_sq(u)为挤压函数，u为卷积后的特征图，H为特征图u的高度，W为特征图u的宽度；

挤压操作之后通过两个全连接层FC进行激励操作获得特征图S：第一个FC以r的比例对通道进行降维，通过激活函数后，第二个FC将通道个数恢复到原来的维数；

s＝F_ex(z,W)＝σ(W₂δ(W₁z))

其中，F_ex为激励函数，δ为ReLU激活函数，σ为sigmoid激活函数，

C为1×1卷积核的数量；

SER模块的输出表示为：y＝x+u×s；其中，x为SER模块的输入，y为SER模块的输出；

ASPP模块使用了采样率分别为1、2、4、6的空洞卷积来捕获多尺度信息，然后在通道方向上将特征图连接起来，并将叠加后的特征图提供给1×1卷积、BN和LeakyReLU以合成具有多尺度信息的深度特征图。

2.一种图像语义分割方法，其特征在于，采用训练集对权利要求1所述的用于图像语义分割的SAUNet++网络进行训练，将训练完成后的SAUNet++网络用于图像语义分割，包括以下步骤：

将SAUNet++网络的下采样链路的首端上的SER模块作为输入端，输入待分割图像并提取待分割图像的初始特征图I₀；通过所述下采样链路逐步增大初始特征图I₀的通道数并调整各通道的权值得到加权深度特征图，并输出加权深度特征图给所述ASPP模块；所述ASPP模块将所述加权深度特征图转化为具有多尺度信息的多尺度加权深度特征图，并作为所述最深层上采样链路的输入；

其余各层上采样链路获取在下采样链路上相应层深度的下采样特征图，重新加权并逐步还原为通道数和图像尺寸均与初始特征图I₀相等的重加权还原特征图；

最深层上采样链路将所述多尺度加权深度特征图逐步还原为不同通道数的特征图并进行重加权，同时通过跳跃连接网络将相同通道数的特征图进行叠加，从而得到通道数和图像尺寸均与初始特征图I₀相等的多尺度重加权还原特征图；

将SAUNet++网络的最深层上采样链路的末端上的SER模块作为输出端，将所述多尺度重加权还原特征图的通道数转化为与待分割图像的通道数相等，从而得到图像语义分割结果。

3.根据权利要求2所述的图像语义分割方法，其特征在于，采用损失函数GDL对所述用于图像语义分割的SAUNet++网络进行迭代训练。

Images