CN113781410B - 一种基于MEDU-Net+网络的医学图像分割方法和系统 - Google Patents

Abstract

本发明公开了一种基于MEDU‑Net+网络的医学图像分割方法，包括：采用GoogLeNet中的inception模块替代原U‑Net网络中用于提取图像特征信息的3×3卷积层，其包括多个分支以构成多尺度编码器；对U‑Net网络的解码器做相应优化，采用多尺度解码方式以恢复已获取到的不同尺度的语义信息；其中，编码器和解码器的每个分支均一一对应，引入一层一回传的跳跃连接将编码端提取的信息直接传递至解码端，中间连接的每一部分都是下一个相邻层的转置卷积；结合广义Dice损失函数和Focal损失函数，根据医学图像自身特性引入权重以生成组合形式的损失函数。本发明能够通过少量的数据尽可能多的学习到图像特征，得到更好的分割结果。

Description

一种基于MEDU-Net+网络的医学图像分割方法和系统

技术领域

本发明涉及图像分割技术领域，具体而言涉及一种基于MEDU-Net+网络的医学图像分割方法和系统。

背景技术

随着人工智能的发展，深度学习方法受到了广泛的关注，许多高效、方便、简单的图像分割方法逐渐被提出。大多数基于深度学习的图像分割方法需要足够的图像进行训练和测试处理，然而，用于训练和测试的医学图像需要被标注，并且由于专业限制，可以利用的图像数量总是有限的，所以如何在只有少量数据的情况下，网络结构自身可以尽可能多的收集信息成为医学图像分割领域待解决的问题。U-Net网络的出现为利用现有的图像小样本提供了一种更有效的方法。U-Net网络通过跳跃连接和独特的U形对称结构，能够准确捕捉到可用图像中的特征信息。这种特殊的结构使得通过处理少量训练样本产生更精确的分割结果成为可能，非常适合医学图像分割领域中难以获得大量有用图像的情况。

近年来，U-Net及其改进网络已成为图像分割领域的研究热点。由于U-Net网络具有跳跃连接、独特的U型结构等架构，可以根据图像的深浅特征聚合得到更详细的图像信息，使得现有的改进U-Net网络基本上可以从图像中提取一些相关元素，获得更准确的图像分割结果，但是这些方法还是只将关注点放在图像内部信息上，忽略了待分割目标的细节和边缘信息。

发明内容

本发明针对现有技术中的不足，提供一种新的多尺度编码解码U-Net+网络(MEDU-Net+)。该网络不仅关注编码器中卷积块的变化，还关注语义信息的恢复过程，并使用多尺度技术来改进所提出的MEDU-Net+解码器。此外，还提出了一种新的组合损失函数，结合广义Dice和Focal损失函数的优点来提取更多的边缘信息，并且在不增加较多参数的情况下获得了更好的分割性能。本发明能够通过少量的数据尽可能多的学习到图像特征，得到更好的分割结果。

为实现上述目的，本发明采用以下技术方案：

第一方面，本发明实施例提出了一种基于MEDU-Net+网络的医学图像分割方法，所述医学图像分割方法包括以下步骤：

采用GoogLeNet中的inception模块替代原U-Net网络中用于提取图像特征信息的3×3卷积层，其包括多个分支以构成多尺度编码器；对MEDU-Net+网络的解码器做相应优化，采用多尺度解码方式以恢复已获取到的不同尺度的语义信息；其中，编码器和解码器的每个分支均一一对应，引入一层一回传的跳跃连接将编码端提取的信息直接传递至解码端，中间连接的每一部分都是下一个相邻层的转置卷积；

结合广义Dice损失函数和Focal损失函数，根据医学图像自身特性引入权重以生成组合形式的损失函数。

可选地，所述编码器的每个分支均包含3×3最大池化层、1×1卷积层、3×3卷积层和5×5卷积层，通过1×1卷积层降维使通道间信息进行传递，并采用1×1卷积层和5×5卷积层扩展感受野以获得较之原始3×3卷积层更丰富的语义信息。

可选地，所述解码器采用多尺度特征融合代替3×3反卷积层进行解码，在多尺度解码部分的反卷积块中增加1×1和5×5的转置卷积核分支；通过1×1反卷积，在保持特征图尺度不变的情况下，对非线性特征进行增强。

可选地，所述结合广义Dice损失函数和Focal损失函数，根据医学图像自身特性引入权重以生成组合形式的损失函数的过程包括以下步骤：

根据下述公式计算GDL损失函数：

其中N代表像素总数，i表示第i类的像素，y_in是第i类的第n个像素的真实值，/>是y_in的预测值；

根据下述公式计算Focal损失函数：

其中y_n是第n个像素的真实值，是y_n的预测值，α,γ>0为参数；

根据医学图像自身特性引入权重以生成组合形式的损失函数：

L＝λL_gd+(1-λ)L_f

其中0≤λ≤1。

可选地，所述λ的取值为0.1；所述α的取值为0.75；所述γ的取值为2。

第二方面，本发明实施例提出了一种基于MEDU-Net+网络的医学图像分割系统，所述医学图像分割系统包括：

多尺度编码器，采用GoogLeNet中的inception模块替代原U-Net网络中用于提取图像特征信息的3×3卷积层得到，其包括多个分支；

多尺度解码器，包括多个分支，且多尺度解码器与多尺度编码器的各个分支一一对应，多尺度解码器采用多尺度解码方式以恢复已获取到的不同尺度的语义信息；其中，引入一层一回传的跳跃连接将编码端提取的信息直接传递至解码端，中间连接的每一部分都是下一个相邻层的转置卷积；

该MEDU-Net+网络的损失函数为广义Dice损失函数和Focal损失函数的加权和，权重由医学图像自身特性决定。

本发明的有益效果是：

本发明采用的多尺度编解码方法能更加有效的提取和恢复特征信息；本发明采用的一层一回传的跳跃连接可以减小编解码之间的语义差距，更好的融合编解码之间的特征信息；本发明采用的结合广义Dice损失函数和Focal损失函数提出的组合损失函数能分离出更详细的边缘信息和细节信息；本发明公开的一种新的U型多尺度编解码网络对医学图像分割的效果更优。

附图说明

图1是本发明实施例的基于MEDU-Net+网络的医学图像分割方法流程图。

图2为本发明实施例的基于MEDU-Net+网络的医学图像分割系统的结构示意图。

图3为相关网络在DRIVE、ISBI2012、CHAOS数据集上的视觉对比效果示意图。

图4为相关网络在DRIVE、ISBI2012、CHAOS数据集上的数据对比结果示意图。

具体实施方式

现在结合附图对本发明作进一步详细的说明。

需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

图1是本发明实施例的基于MEDU-Net+网络的医学图像分割方法流程图。该医学图像分割方法包括以下步骤：

采用GoogLeNet中的inception模块替代原U-Net网络中用于提取图像特征信息的3×3卷积层，其包括多个分支以构成多尺度编码器；对MEDU-Net+网络的解码器做相应优化，采用多尺度解码方式以恢复已获取到的不同尺度的语义信息；其中，编码器和解码器的每个分支均一一对应，引入一层一回传的跳跃连接将编码端提取的信息直接传递至解码端，中间连接的每一部分都是下一个相邻层的转置卷积。

结合广义Dice损失函数和Focal损失函数，根据医学图像自身特性引入权重以生成组合形式的损失函数。

相应地，本实施例提出一种基于MEDU-Net+网络的医学图像分割系统，该医学图像分割系统包括多尺度编码器和多尺度解码器。

多尺度编码器，采用GoogLeNet中的inception模块替代原U-Net网络中用于提取图像特征信息的3×3卷积层得到，其包括多个分支；多尺度解码器，包括多个分支，且多尺度解码器与多尺度编码器的各个分支一一对应，多尺度解码器采用多尺度解码方式以恢复已获取到的不同尺度的语义信息；其中，引入一层一回传的跳跃连接将编码端提取的信息直接传递至解码端，中间连接的每一部分都是下一个相邻层的转置卷积；该MEDU-Net+网络的损失函数为广义Dice损失函数和Focal损失函数的加权和，权重由医学图像自身特性决定

如图2所示，优化后的MEDU-Net+网络采用多尺度编解码提取和恢复特征信息，并采用跳跃连接进行医学图像分割，该优化后的MEDU-Net+网络在传统U-Net网络模型的基础上构建出一种新的同时采用多尺度编解码和跳跃连接的形式，采用GoogLeNet中的inception模块替代U-Net网络中的原始的3×3卷积，来提取更多的图像特征信息；采用一层一回传的跳跃连接将编码端提取出的信息传递到解码端；采用多尺度解码方式将编码器传递过来的特征信息恢复出来；采用一个新的组合损失函数，使小目标医学图像获得更好的分割性能；根据采用多尺度编解码和一次一回传的跳跃连接方法对三个医学图像数据集进行分割来证明基于改进的U-Net的多尺度编解码网络MEDU-Net+方法的优越性。

首先，该医学图像分割系统的特性如下：

该医学图像分割系统基于MEDU-Net+网络是一种改进的U型网络。在前述传统U-Net网络结构的基础上，采用GoogLeNet中的inception模块替代原始的3×3卷积，来提取更多的图像特征信息。由于编解码两侧信息的语义差距过大，融合后的效果也没有很大的提升，因此，本实施例提出，采用一层一回传的跳跃连接将编码端提取出的信息传递到解码端，减小语义差距，更好传递信息。由于信息恢复过程的重要性，本实施例也将注意力放在了解码部分，采用多尺度解码方式将编码器传递过来的特征信息恢复出来。最后，由于常用的交叉熵损失函数容易忽略内部信息，本实施例采用一个新的组合损失函数，解决了医学图像中目标像素小于背景像素时分割结果严重偏向背景的问题，使小目标医学图像获得更好的分割性能。

下面结合附图2对每个部分的内容做详细阐述：

(一)多尺度编码器

采用GoogLeNet中的inception模块替代U-Net网络中的原始的3×3卷积的目的使提取更多的图像特征信息。采用GoogLeNet中的inception模块替代编码器的基本卷积块，并在每个分支中使用1×1卷积，这种多尺度编码器可以通过降维来获得通道间信息传递的效果。此外，提出的MD-UNet+网络在每个分支中加入不同大小的卷积核，可以扩展感受野，得到更多更丰富的语义信息，有利于后续信息的处理和传递。

(二)跳跃连接

采用一层一回传的跳跃连接将编码端提取出的信息传递到解码端，增加一条传递信息的通路，减少了连接过程中的差异，进一步提高分割结果，在每次编码后增加逆解码的过程，将语义相似、跨度小的特征融合在一起，得到更多的图像特征信息。中间连接的每一部分都是下一个相邻层的转置卷积，将语义相似、跨度小的特征图融合在一起，更好的处理分割细节。

(三)多尺度解码器

采用多尺度解码方式将编码器传递过来的特征信息恢复出来，多尺度特征融合代替3×3反卷积层进行解码，解码的多尺度特征融合采用不同大小的卷积核尽可能准确地分割目标区域。在多尺度解码部分的反卷积块中增加了1×1和5×5的转置卷积核分支，通过1×1反卷积，在保持特征图尺度不变的情况下，非线性特征得到了很大增强，可以获得更好的性能。

(四)组合损失函数

考虑到医学图像的常规特性，本实施例采用了一个新的组合损失函数，新的组合损失函数解决了医学图像中目标像素小于背景像素时分割结果严重偏向背景的问题，使医学图像中的小目标得到更好的处理，优化网络性能。GDL损失函数是将几种不同类别的Dice损失函数的值相加再取平均，GDL损失函数可以提高小物体的分割性能，Focal损失函数适用于解决医学图像背景像素远大于目标像素时样本不平衡的问题，结合GDL和Focal Loss两个损失函数，构建了新的组合形式的损失函数，可以同时具有两个损失函数的优点。

GDL可以提高小物体的分割性能，其格式如下：

其中N代表像素总数，i表示第i类的像素，y_in是第i类的第n个像素的真实值，/>是y_in的预测值。

Focal损失函数适用于解决医学图像背景像素远大于目标像素时样本不平衡的问题，其格式如下:

其中y_n是第n个像素的真实值，是y_n的预测值，α,γ>0为参数，本实施例中，取α＝0.75，γ＝2。

新的组合形式的损失函数公式如下：

L＝λL_gd+(1-λ)L_f

其中0≤λ≤1，示例性地，λ＝0.1。

最后，为了评估本实施例提出的医学图像分割方法，选择DRIVE、ISBI2012、CHAOS数据集来展示其实验效果。对这三个数据集，在每个网络的分割结果中各挑选两张图像，作为实验结果对比进行展示。如图3所示，为MEDU-Net+与其他网络对比的结果，从视觉角度证明，编解码部分、跳跃连接和损失函数的部分的改进是非常有意义的，分割性能有了明显提升，提取的细节信息更完整。如图4所示，MEDU-Net+与其他网络对比的具体衡量指标，从量化角度证明基于改进的U-Net医学图像分割方法，增加了多尺度编解码和跳跃连接的MEDU-Net+医学图像分割方法，在医学图像分割领域具有明显的优势。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (5)

1.一种基于MEDU-Net+网络的医学图像分割方法，其特征在于，所述医学图像分割方法包括以下步骤：

采用GoogLeNet中的inception模块替代原U-Net网络中用于提取图像特征信息的3×3卷积层，其包括多个分支以构成多尺度编码器；对MEDU-Net+网络的解码器做相应优化，采用多尺度解码方式以恢复已获取到的不同尺度的语义信息；其中，编码器和解码器的每个分支均一一对应，引入一层一回传的跳跃连接将编码端提取的信息直接传递至解码端，中间连接的每一部分都是下一个相邻层的转置卷积；

结合广义Dice损失函数和Focal损失函数，根据医学图像自身特性引入权重以生成组合形式的损失函数；

所述结合广义Dice损失函数和Focal损失函数，根据医学图像自身特性引入权重以生成组合形式的损失函数的过程包括以下步骤：

根据下述公式计算GDL损失函数：

其中N代表像素总数，i表示第i类的像素，y_in是第i类的第n个像素的真实值，/>是y_in的预测值；

根据下述公式计算Focal损失函数：

其中y_n是第n个像素的真实值，是y_n的预测值，α,γ>0为参数；

根据医学图像自身特性引入权重以生成组合形式的损失函数：

L＝λL_gd+(1-λ)L_f

其中0≤λ≤1。

2.根据权利要求1所述的基于MEDU-Net+网络的医学图像分割方法，其特征在于，所述编码器的每个分支均包含3×3最大池化层、1×1卷积层、3×3卷积层和5×5卷积层，通过1×1卷积层降维使通道间信息进行传递，并采用1×1卷积层和5×5卷积层扩展感受野以获得较之原始3×3卷积层更丰富的语义信息。

3.根据权利要求1所述的基于MEDU-Net+网络的医学图像分割方法，其特征在于，所述解码器采用多尺度特征融合代替3×3反卷积层进行解码，在多尺度解码部分的反卷积块中增加1×1和5×5的转置卷积核分支；通过1×1反卷积，在保持特征图尺度不变的情况下，对非线性特征进行增强。

4.根据权利要求1所述的基于MEDU-Net+网络的医学图像分割方法，其特征在于，所述λ的取值为0.1；所述α的取值为0.75；所述γ的取值为2。

5.一种基于权利要求1-4任一项中所述方法的基于MEDU-Net+网络的医学图像分割系统，其特征在于，所述医学图像分割系统包括：

多尺度编码器，采用GoogLeNet中的inception模块替代原U-Net网络中用于提取图像特征信息的3×3卷积层得到，其包括多个分支；

多尺度解码器，包括多个分支，且多尺度解码器与多尺度编码器的各个分支一一对应，多尺度解码器采用多尺度解码方式以恢复已获取到的不同尺度的语义信息；其中，引入一层一回传的跳跃连接将编码端提取的信息直接传递至解码端，中间连接的每一部分都是下一个相邻层的转置卷积；

MEDU-Net+网络的损失函数为广义Dice损失函数和Focal损失函数的加权和，权重由医学图像自身特性决定。