CN114332103A

CN114332103A - 一种基于改进FastFCN的图像分割方法

Info

Publication number: CN114332103A
Application number: CN202111680676.6A
Authority: CN
Inventors: 巫笠平; 马玉良; 张启忠; 孟明
Original assignee: Hangzhou Dianzi University
Current assignee: Hangzhou Dianzi University
Priority date: 2021-12-30
Filing date: 2021-12-30
Publication date: 2022-04-12

Abstract

本发明公开了一种基于改进FastFCN的图像分割方法；本发明创新地提出用于提取非线性特征的双重并行非对称卷积模块和用于捕捉多尺度信息的串行空洞空间金字塔池化模块模块。将非对称卷积模块、串行空洞空间金字塔池化模块、双重注意力CBAM模块以及瓶颈层融入子模块中，构建语义文本信息子模块。然后将语义文本信息子模块嵌入到编码器结构优化后的FastFCN网络，结构优化主要表现在编码器部分通过增添特征跳连路径来增强信息流。训练前无需复杂的预处理，训练时采用多尺度深度监督，测试时使用翻转测试。本发明方法取得了优异的分割性能和极低的模型参数量，其中Jaccard指数为84.05％，模型参数量仅为0.96M。

Description

一种基于改进FastFCN的图像分割方法

技术领域

本发明涉及图像分割方法，特别涉及一种基于改进FastFCN的图像分割方法，并且应用在了医学领域的皮肤病变图像分割中。

背景技术

全卷积神经网络(FCN)是深度学习应用在图像分割的代表作,是一种端到端(endto end)的图像分割方法,让网络做像素级别的预测直接得出分割图。因为FCN网络中所有的层都是卷积层，故称为全卷积网络。全卷积神经网络主要使用了三种技术：

1、卷积化(Convolutional)；

2、上采样(Upsample)；

3、跳跃结构(Skip Layer)。

FCN对图像进行像素级的分类，从而解决了语义级别的图像分割(semanticsegmentation)问题。与经典的CNN在卷积层之后使用全连接层得到固定长度的特征向量进行分类(全联接层+softmax输出)不同，FCN可以接受任意尺寸的输入图像，采用反卷积层对最后一个卷积层的feature map进行上采样,使它恢复到输入图像相同的尺寸，可以对每个像素都产生了一个预测,同时保留了原始输入图像中的空间信息,最后在上采样的特征图上进行逐像素分类。

但FCN主干网络中常常使用扩展卷积来获得高分辨率的特征图，这会增加计算复杂度和内存占用。因此，学者提出了FastFCN网络，使用一种新型的联合上采样模块JPU(Joint Pyramid Upsampling)以取代扩张卷积，该方法有效降低了计算复杂度和内存占用。

但传统FastFCN网络存在一些不足，例如编码器部分特征提取能力不足，网络对重要特征缺乏关注，未能捕捉丰富的多尺度特征等，针对这些问题，本研究尝试通过一种基于改进FastFCN的皮肤病变图像分割方法，并在ISIC2018皮肤病变图像数据集上进行实验。

发明内容

本发明针对现有技术的不足，提出了一种一种基于改进FastFCN的图像分割方法；本发明的目的一是降低图像分割中卷积网络对硬件系统的要求，减少网络参数，缩短训练时间；二是利用改进后的FastFCN提高图像分割准确率。

按照本发明提供的技术方案，提出了一种基于改进FastFCN的皮肤病变图像分割方法，包括以下步骤：

步骤1、选取ISIC2018数据集作为实验数据，对数据进行预处理，确定测试集和训练集，并将数据经过数据增强后输入；

步骤2、构建双重并行非对称卷积模块提取非线性特征；

步骤3、构建串行空洞空间金字塔池化模块获取多尺度特征；

步骤4、将非对称卷积模块、串行空洞空间金字塔池化模块、双重注意力CBAM模块以及瓶颈层融入子模块中，构建语义文本信息子模块和轻量级的语义文本信息子模块；

步骤5、将语义文本信息子模块和轻量级的语义文本信息子模块嵌入到编码器结构优化后的FastFCN网络中，构建改进后的FastFCN网络；

步骤6、对构建的所述改进后的FastFCN网络进行多尺度监督辅助训练，得到所需分割网络；

步骤7、测试集图像经过数据增强后输入步骤5得到的分割网络，通过翻转测试输出分割图。

所述的步骤1中，使用皮肤病变分析黑色素瘤检测大挑战数据集ISIC2018数据集，该数据集包含训练集图像2594幅以及对应的标签，验证集图像100幅以及对应的标签，和测试数据集图像1000幅但无标签。之后进行图像数据预处理，预处理具体步骤为：

1-1.将训练集图像统一大小；

1-2.将训练集划分出新的训练集和测试集；

1-3.对训练集图像以及标签分别处理后输入到网络中。

所述的步骤2中的构建双重并行非对称卷积模块，具体步骤为：

2-1.双重并行非对称卷积模块由串联的两个并行非对称卷积模块组成，而一个并行非对称卷积模块采用双分支并联连接的结构，分为竖直支路和水平支路；

2-2.将竖直支路与水平支路的输出通过特征图相加的方式合并后，作为并行非对称卷积模块的输出；

2-3.提取特征将串联使用两个并行非对称卷积模块，命名为双重并行非对称卷积模块。

所述的步骤3中，构建串行空洞空间金字塔池化模块，具体步骤为:

3-1.串行空洞空间金字塔池化模块针对现有空洞空间金字塔池化模块中的较大膨胀率分支进行改进，具有四分支并行连接的结构。最后将四条分支的输出结果通过concat的方式进行融合，得到串行空洞空间金字塔池化模块的最终输出。

在所述的步骤4中，将非对称卷积模块、串行空洞空间金字塔池化模块、双重注意力CBAM模块以及瓶颈层融入子模块中，构建语义文本信息子模块。语义文本信息子模块中的具体细节如下(假设该模块的输入输出通道数分别为m、n)：

4-1.首先运用瓶颈层；

4-2.然后使用双重并行非对称卷积模块；

4-3.接着采用串行空洞空间金字塔池化模块；

4-4.最后引入空间通道双重注意力的CBAM模块。

轻量级的语义文本信息子模块在步骤4-3.中替换为普通空洞空间金字塔池化模块，其他组成和语义文本信息子模块相同。

在所述的步骤5中，将语义文本信息子模块和轻量级的语义文本信息子模块嵌入到编码器结构优化后的FastFCN网络中，构建改进后的FastFCN网络。具体步骤为：

5-1.改进后的FastFCN网络采用了6块子模块，分别是编码器部分运用了5块以及解码器部分的1块。

5-2.在原有FastFCN网络的基础上，编码器部分增添了6条浅层特征图到深层特征图的跳连路径，作为编码器中深层子模块的输入之一。

在所述的步骤6中，对构建的所述改进后的FastFCN网络进行多尺度监督辅助训练，得到所需分割网络，具体细节如下：

6-1.对网络中的Encoder3、Encoder4、Encoder5以及Dncoder1输出的特征图进行多尺度监督训练，共有4条监督路径，它们相互独立。

6-2.四条监督路径输出的分割图分别与训练标签进行loss值计算，各路径权重相同，结果累加后得到最终的loss值。

6-3.网络训练共两次，第一次训练使用单一的Lovasz Loss损失函数。第二次训练调用第一次训练后模型的参数，使用联合损失函数进行进一步训练，用于克服样本不平衡问题。

在所述的步骤7中，将测试集图像经过数据增强后输入步骤5得到的分割网络，通过翻转测试输出分割图，具体步骤如下：

7-1.测试集图像灰度化处理后输入到训练好的网络中，将网络编码器输出的特征图经由Sigmoid()函数归一化，以0.5为阈值二值化。由于分辨率小于输入图像分辨率，接着通过resize函数恢复分辨率为224*224，并重新二值化，得到分割图，记为m1；

7-2.测试集图像分别经过水平翻转、竖直翻转、水平竖直翻转后，重复上述7-1.步骤得到分割图，记为m2,m3,m4；

7-3.对m1,m2,m3,m4进行投票，每一个像素点中对应类别得票数多的为准，得到最终分割结果。

本发明与现有技术相比，有益效果如下：

一方面，现有基于卷积神经网络的皮肤病变分割网络模型参数量普遍巨大，计算成本昂贵。另一方面，皮肤镜图像中病变皮肤区域存在边界模糊、毛发干扰等难题。本发明在轻量化网络FastFCN的基础上，通过加强编码器提取特征的能力，捕获多尺度信息、引入注意力机制关注重要特征等方面提高网络分割性能，从而提出了一个具有优异分割性能的皮损分割轻量化模型，模型参数量仅为0.96M，测试集Jarracd指标平均达到了84％。

附图说明

图1为本发明的流程图；

图2为双重并行非对称卷积模块的结构图；

图3为串行空洞空间金字塔池化模块结构图；

图4(a)为语义文本信息子模块结构图；

图4(b)为轻量级的语义文本信息子模块结构图；

图5为改进后的FastFCN网络整体结构图；

图6为改进后的FastFCN网络在皮肤病变图像上的分割效果对比图；(绿线、红线分别表示标签与分割结果)。

具体实施方式

下面结合具体实施例对本发明进一步说明。以下描述仅作为示范和解释，并不对本发明作任何形式上的限制。

如图1所示，按照本发明提供的技术方案，提出了一种基于改进FastFCN的皮肤病变图像分割方法，包括以下步骤：

步骤2、构建双重并行非对称卷积模块提取非线性特征；

步骤3、构建串行空洞空间金字塔池化模块获取多尺度特征；

1-1.将训练集图像统一大小为224*224，训练标签调整为112*112；

1-2.将训练集2594幅图像充分打乱顺序后，按照4：1的比例划分出新的训练集(2076张图像以及对应标签)和测试集(518张图像以及对应标签)；

1-3.对训练集图像进行灰度化处理，标签进行归一化处理后，在使用随机翻转、随机亮度变化的数据增强方式，最后输入到网络中。

如图2所示，所述的步骤2中的构建双重并行非对称卷积模块，具体步骤为：

2-1.双重并行非对称卷积模块由两个串联连接的并行非对称卷积模块组成，而单个并行非对称卷积模块采用双分支并联连接的结构，分为竖直支路和水平支路，其中竖直支路的结构依次为：第一层为DOConv(Depthwise Over-parameterized Convolutional，3*1)卷积层，提取竖直方向的特征；第二层为BN层，控制梯度爆炸以及防止梯度消失；第三层为PRelu层，使用带参数的ReLU激活非线性特征。而水平支路的结构在第一层使用DOConv(Depthwise Over-parameterized Convolutional，1*3)卷积层，其余部分与竖直支路相同。

2-2.将竖直支路与水平支路的输出通过特征图相加的方式合并后，作为并行非对称卷积模块的输出。

2-3.提取特征将串联使用两个并行非对称卷积模块，命名为双重并行非对称卷积模块。其中，第一个并行非对称卷积模块中的卷积层会将输入通道数调整为输出通道数，第二个并行非对称卷积模块保持通道数不变。

如图3所示，所述的步骤3中，构建串行空洞空间金字塔池化模块，具体步骤为:

3-1.串行空洞空间金字塔池化模块针对现有空洞空间金字塔池化模块中的较大膨胀率分支进行改进，同样具有四分支并行连接的结构，四条分支的具体情况如下(假设各分支的输入通道数为m)：

第1条分支采用直连的方式，不做任何处理，该分支的输入输出通道数均为m；

第2条分支采用串联1个DO-Conv(3*3，dilation＝3)卷积层+BN层+PReLU层组合的方式，该分支的输入输出通道数均为m不变；

第3条分支采用串联2个DO-Conv(3*3，dilation＝3)卷积层+BN层+PReLU层组合的方式。经过第1个DO-Conv(3*3，dilation＝3)卷积层后，输出通道数增加至2m。经过第2个DO-Conv(3*3,dilation＝3)卷积层后，输出通道数恢复到m；

第4条分支采用串联3个DO-Conv(3*3，dilation＝3)卷积层+BN层+PReLU层组合的方式。该分支的输入通道数为m，经过第1个DO-Conv(3*3，dilation＝3)卷积层后，输出通道数增加到3m。经过第2个DO-Conv(3*3，dilation＝3)卷积层后，输出通道数降低到2m。经过第3个DO-Conv(3*3，dilation＝3)卷积层后，输出通道数继续降低到m。

最后将四条分支的输出结果通过concat的方式进行融合，得到串行空洞空间金字塔池化模块的最终输出，输出通道数为4m。

在所述的步骤4中，将非对称卷积模块、串行空洞空间金字塔池化模块、双重注意力CBAM模块以及瓶颈层融入子模块中，构建语义文本信息子模块。如图4(a)所示，语义文本信息子模块中的具体细节如下(假设该模块的输入输出通道数分别为m、n)：

4-1.首先运用瓶颈层，使用DO-Conv(1*1)卷积层+BN层+PReLU层的组合将输入通道数m压缩到n/4；

4-2.然后使用双重并行非对称卷积模块进行提取非线性特征，期间输入输出通道数保持n/4不变；

4-3.接着采用串行空洞空间金字塔池化模块捕捉多尺度特征，经由串行空洞空间金字塔池化模块后，输出通道数恢复到n；

4-4.最后引入空间通道双重注意力的CBAM模块，借助DO-Conv(1*1)卷积层+BN层+CBAM模块+PReLU层的组合，关注多尺度特征中的重要特征，期间输入输出通道数保持n不变。

如图4(b)所示，轻量级的语义文本信息子模块在步骤4-3.中替换为普通空洞空间金字塔池化模块，其他组成和语义文本信息子模块相同。普通空洞空间金字塔池化模块中的四条分支的构成情况为：第1条分支采用串联1个DO-Conv(1*1，dilation＝1)卷积层+BN层+PReLU层组合的方式，第2条分支采用DO-Conv(3*3，dilation＝1)卷积层+BN层+PReLU层组合的方式，第3条分支采用DO-Conv(3*3，dilation＝2)卷积层+BN层+PReLU层组合的方式，第4条分支采用DO-Conv(3*3，dilation＝3)卷积层+BN层+PReLU层组合的方式，四条分支上输入输出通道数不变。

5-1.改进后的FastFCN网络包括6块子模块，分别是编码器部分的Encoder1、Encoder2、Encoder3、Encoder4、Encoder5以及解码器部分的Dncoder1。其中，将语义文本信息子模块应用在子模块Encoder1、Encoder2、Encoder3、Encoder4以及Dncoder1中，而Encoder5子模块使用轻量级的语义文本信息子模块。

5-2.在原有FastFCN网络的基础上，编码器部分增添了6条浅层特征图到深层特征图的跳连路径，作为编码器中深层子模块的输入之一。6条跳连路径为：Encoder1→Encoder3、Encoder1→Encoder4、Encoder1→Encoder5、Encoder2→Encoder4、Encoder2→Encoder5以及Encoder3→Encoder5。每条跳连路径内部组成情况相似:首先第一层是最大池化层，将特征图分辨率减低到需要的大小，然后是使用双重并行非对称卷积模块进行提取非线性特征，经由第一个并行非对称卷积模块中的卷积层，输入通道数降至16，通道数后续保持不变。

如图5所示，在所述的步骤6中，对构建的所述改进后的FastFCN网络进行多尺度监督辅助训练，得到所需分割网络，具体细节如下：

6-1.对网络中的Encoder3、Encoder4、Encoder5以及Dncoder1输出的特征图进行多尺度监督训练，共有4条监督路径，它们相互独立，其中来自Encoder3、Encoder4、Encoder5输出的特征图需要经过双线性插值上采样，将特征图分辨率增大至112*112。之后，4条监督路径都分别连接并行非对称卷积模块+DO-Conv(3*3)卷积层的组合提取非线性特征，输入通道数经由并行非对称卷积模块中的卷积层将通道数减低至16，之后经DO-Conv(3*3)卷积层降低至1输出对应尺度下的分割图。

6-3.网络训练共两次，第一次训练使用单一的Lovasz Loss损失函数。第二次训练调用第一次训练后模型的参数，使用Lovasz Loss+Focalloss联合损失函数进行进一步训练，用于克服样本不平衡问题。

7-2.测试集图像分别经过水平翻转、竖直翻转、水平竖直翻转后，重复7-1.步骤得到分割图，记为m2,m3,m4；

关于网络超参数设置：网络采用Adam算法对损失函数进行优化，初始学习率为0.001。训练的batch size取16，epoch设置为48。

对基于改进FastFCN的图像分割方法进行验证，实验结果如表1、2所示。在模型参数量方面，提出的方法对比其他方法所需的模型参数量大大减少，网络十分轻量。在模型分割性能方面，使用ISIC2018数据集进行验证，在关键性指标Jarracd上，提出的方法达到了现有最先进的分割性能。如图6所示，为改进后的FastFCN网络在皮肤病变图像上的分割效果对比图。

Table 1The comparison of different architectures’parameters

表1

Table 2Results of different architectures on the ISIC 2018

Claims

1.一种基于改进FastFCN的图像分割方法，其特征在于，包括如下步骤：

步骤1、选取ISIC2018数据集作为实验数据，对数据预处理，数据充分打乱划分测试集和训练集，并将数据进行增强后输入；

步骤2、构建双重并行非对称卷积模块提取非线性特征；所述的双重并行非对称卷积模块由两个串联连接的并行非对称卷积模块组成；

步骤3、构建串行空洞空间金字塔池化模块获取多尺度特征；

步骤4、将非对称卷积模块、串行空洞空间金字塔池化模块、普通空洞空间金字塔池化模块、双重注意力CBAM模块以及瓶颈层融入子模块中，构建语义文本信息子模块和轻量级的语义文本信息子模块；

2.根据权利要求1所述的一种基于改进FastFCN的图像分割方法，其特征在于：所述步骤2中，构建双重并行非对称卷积模块提取非线性特征，具体步骤为：

双重并行非对称卷积模块由两个串联连接的并行非对称卷积模块组成，而单个并行非对称卷积模块采用双分支并联连接的结构，分为竖直支路和水平支路；其中竖直支路的结构依次为：第一层为3*1的DOConv卷积层，提取竖直方向的特征；第二层为BN层，控制梯度爆炸以及防止梯度消失；第三层为PRelu层，激活非线性特征；而水平支路的结构除了在第一层使用DOConv(1*3)卷积层，其余部分与竖直支路相同；然后将竖直支路与水平支路的输出通过特征图相加的方式合并后，作为并行非对称卷积模块的输出。

3.根据权利要求1所述的一种基于改进FastFCN的图像分割方法，其特征在于：所述步骤3中，构建串行空洞空间金字塔池化模块获取多尺度特征；具体步骤为：

具有四分支并行连接的结构，假设各分支的输入通道数为m，四条分支的具体情况如下：第1条分支采用直连的方式，不做任何处理，该分支的输入输出通道数均为m；第2条分支采用串联1个3*3，dilation＝3的DO-Conv卷积层+BN层+PReLU层组合的方式，该分支的输入输出通道数均为m不变；第3条分支采用串联2个3*3，dilation＝3的DO-Conv卷积层+BN层+PReLU层组合的方式；该分支的输入通道数为m，分别经过第1、2个3*3，dilation＝3的DO-Conv卷积层后，输出通道数先增加到2m，后减少到m；第4条分支采用串联3个3*3，dilation＝3的DO-Conv卷积层+BN层+PReLU层组合的方式；该分支的输入通道数为m，在经过第1、2、3个3*3，dilation＝3的DO-Conv卷积层时，输出通道数先增加到3m，然后减少到2m，最后到m；最后将四条分支的输出结果通过concat的方式进行融合，得到串行空洞空间金字塔池化模块的最终输出，输出通道数为4m。

4.根据权利要求1所述的一种基于改进FastFCN的图像分割方法，其特征在于：所述步骤4中，将非对称卷积模块、串行空洞空间金字塔池化模块、双重注意力CBAM模块以及瓶颈层融入子模块中，构建语义文本信息子模块；具体步骤为：

4-1.首先运用瓶颈层，使用1*1的DO-Conv卷积层+BN层+PReLU层的组合将输入通道数m压缩到n/4；

4-4.最后引入空间通道双重注意力的CBAM模块，借助1*1的DO-Conv卷积层+BN层+CBAM模块+PReLU层的组合，关注多尺度特征中的重要特征，期间输入输出通道数保持n不变。

5.根据权利要求1所述的一种基于改进FastFCN的图像分割方法，其特征在于：预处理具体步骤为：

1-1.将训练集图像统一大小；

1-2.将训练集划分出新的训练集和测试集；

1-3.对训练集图像以及标签分别处理后输入到网络中。

6.根据权利要求1所述的一种基于改进FastFCN的图像分割方法，其特征在于：所述的测试集图像经过数据增强后输入步骤5得到的分割网络，通过翻转测试输出分割图；具体为：

7-1.测试集图像灰度化处理后输入到训练好的网络中，将网络编码器输出的特征图经由Sigmoid()函数归一化，以0.5为阈值二值化；由于分辨率小于输入图像分辨率，接着通过resize函数恢复分辨率为224*224，并重新二值化，得到分割图，记为m1；

7.根据权利要求1所述的一种基于改进FastFCN的图像分割方法，其特征在于：构建改进后的FastFCN网络；具体步骤为：5-1.改进后的FastFCN网络包括6块子模块，分别是编码器部分的Encoder1、Encoder2、Encoder3、Encoder4、Encoder5以及解码器部分的Dncoder1；其中，将语义文本信息子模块应用在子模块Encoder1、Encoder2、Encoder3、Encoder4以及Dncoder1中，而Encoder5子模块使用轻量级的语义文本信息子模块；

5-2.在原有FastFCN网络的基础上，编码器部分增添了6条浅层特征图到深层特征图的跳连路径，作为编码器中深层子模块的输入之一；6条跳连路径为：Encoder1→Encoder3、Encoder1→Encoder4、Encoder1→Encoder5、Encoder2→Encoder4、Encoder2→Encoder5以及Encoder3→Encoder5；每条跳连路径内部组成情况相似:首先第一层是最大池化层，将特征图分辨率减低到需要的大小，然后是使用双重并行非对称卷积模块进行提取非线性特征，经由第一个并行非对称卷积模块中的卷积层，输入通道数降至16，通道数后续保持不变。