CN114419056A - 一种逐步精细的医学图像分割系统 - Google Patents

Abstract

本发明涉及一种逐步精细的医学图像分割系统，属于图像分割领域，包括输入模块、编码器模块、解码器模块、拼接形变解码器模块、并行注意力机制模块和输出模块；输入模块用于将医学图像输入编码器模块中；编码器模块用于对输入的医学图像进行特征提取；解码模块用于根据提取的特征图获得多尺度的医学图像分割结果；拼接形变解码器模块用于自适应地逐步融合多尺度特征信息，并自适应的选择最佳的感受野，搜索出潜在的不同形状和尺寸的前景目标；并行注意力机制模块用于在特征图中同时引入正注意力和逆注意力，正注意力用于增强前景的相关性特征，逆注意力则逐步挖掘边界信息和增强边界细节；输出模块用于输出分割后的图像结果。

Description

一种逐步精细的医学图像分割系统

技术领域

本发明属于图像分割领域，涉及一种逐步精细的医学图像分割系统。

背景技术

现有的医学图像分割系统主要分为两类，一类是基于传统方法的医学图像分割系统，该类系统都需要手工设计特征，可以在特定场景下进行有效分割，但在噪声较大、边界模糊的医学图像上，分割往往不准确，且泛化性较弱。另一类系统是基于深度学习卷积神经网络的医学图像分割系统，得益于卷积神经网络出色的特征提取能力，该类系统显著提升了医学图像分割的性能。然而，由于医学图像中存在的前景与背景边界模糊、对比度低、以及病灶或器官的形状、大小、颜色和质地在不同阶段变化较大等特性，导致对医学图像的准确分割仍然是一个非常具有挑战性的问题，现有的基于深度学习卷积神经网络的医学图像分割系统仍具有较大的提升空间。

发明内容

有鉴于此，本发明的目的在于提供一种基于卷积神经网络的逐步精细的医学图像分割系统，能够更准确地捕获有用的上下文全局语义信息，以及自适应的选择最佳的感受野，以达到准确搜索出潜在前景目标的目的，同时引入正/逆注意力能够更准确地提取出病灶区域或器官与背景的边界信息，即使是在边界模糊、对比度低、形状、大小、颜色和质地变化较大的情况下仍能实现医学图像中病灶区域或器官的准确分割。

为达到上述目的，本发明提供如下技术方案：

一种逐步精细的医学图像分割系统，包括输入模块、编码器模块、解码器模块、拼接形变解码器模块(Concatenated Deformed Decoder,CDD)、并行注意力机制模块(Parallel Attention Module,PAM)和输出模块；

所述输入模块用于将医学图像输入编码器模块中；

所述编码器模块用于对输入的医学图像进行特征提取；

所述解码模块用于根据提取的特征图获得多尺度的医学图像分割结果；

所述拼接形变解码器模块用于自适应地逐步融合多尺度特征信息，并自适应的选择最佳的感受野，搜索出潜在的不同形状和尺寸的前景目标；

并行注意力机制模块用于在特征图中同时引入正注意力和逆注意力，正注意力用于增强前景的相关性特征，逆注意力则逐步挖掘边界信息和增强边界细节；

所述输出模块用于输出分割后的图像结果。

进一步，所述拼接形变解码器模块是将编码器模块的最后三个尺度的特征与可形变卷积结合到一起；首先利用拼接操作逐步融合编码器模块的最后三个尺度的深层语义特征，然后结合三个大小为3x3的可形变卷积层，根据病灶区域的形状来自适应的改变其感受野，集中提取出完整的病灶区域特征信息，搜索出潜在的不同形状和尺寸的前景病灶目标；具体过程如下：

其中F_DConv表示三个大小为3x3的可形变卷积层，F_Conv表示一个大小为1x1的卷积层，F_C表示拼接函数，

表示通过双线性插值的方式进行2倍上采样，f₃、f₄以及f₅为输入的特征值，Y表示经过CDD输出的特征图。

进一步，还包括：将拼接形变解码器模块解码输出的特征输入到一个大小为1x1的卷积层生成粗略的分割结果，用以全局引导后续的精细化准确分割。

进一步，所述并行注意力机制模块的实现具体包括：

将高级语义特征{f_i,i＝3,4,5}沿通道方向分成8组，并复制得到两份分组，将其中一份的每一组特征拼接正注意力，另一份的每一组特征拼接逆注意力，然后分别用卷积融合，最后与输入的高级语义特征残差连接；

通过以下公式将f_i特征均分8组：

F_S(f_i)→{f_i，1,...,f_i,j,...,f_i,8}

其中F_S表示沿通道方向的切片函数，f_i表示由ResNet34提取的特征，i∈{3,4,5}，f_i,j表示将f_i切片得到的特征，j∈{1,...,8}；

用正注意力计算逆注意力的公式如下：

r_k＝1-Sigmod(c_k)

首先用Sigmod函数将正注意力映射到(0,1)，然后使用1减去Sigmod函数输出值得到逆注意力；其中c_k表示预测结果，也就是正注意力，r_k表示计算得到的逆注意力，k∈{4,5,6}；

融合并行注意力特征的公式如下：

Y_i＝f_i+F_Conv[F_C({f_i，1,r_k},...,{f_i,j,r_k},...,{f_i,8,r_k})]+

F_Conv[F_C({f_i，1,c_k},...,{f_i,j,c_k},...,{f_i,8,c_k})]

同时利用残差连接融合输入特征，其中F_Conv表示一个大小为3x3的卷积，F_C表示沿通道方向的拼接函数。

进一步，还包括优化模块，用于采用深度监督，将每个解码器模块输出的预测图都与真实标签做损失；通过带有权重的二元交叉熵(Binary Cross Entropy:BCE)损失和交并比(Intersection over Union:IoU)损失优化输出结果；总损失为：

其中，

为IoU损失，

为BCE损失；G表示真实标签，C_i表示输出的预测结果，i∈{3,4,5,6}，W是通过计算每个像素与邻近像素的差异，为每个像素生成不同的权重，从而使硬像素获得更多的关注；权重W的计算方法如下：

W＝1+5*F_abs(F_{avg_pool}(G)-G)

其中，F_abs表示绝对值函数，F_{avg_pool}表示的平均池化函数；

通过下式计算IoU损失：

其中M、N分别表示图像的宽和高，当像素点(m,n)位于目标区域则G_mn＝1，否则为0；W_mn表示位于(m,n)点的权重，C_imn表示第i个输出的预测图中位于(m,n)点的预测值；

通过下式计算BEC损失：

M和N分别为图像的长和宽像素值。

本发明还提供一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如权利要求1-5任一所述输入模块、编码器模块、解码器模块、拼接形变解码器模块、并行注意力机制模块和输出模块的功能。

本发明的有益效果在于：本发明能够更准确地捕获有用的上下文全局语义信息，以及自适应的选择最佳的感受野，达到了准确搜索出潜在前景目标的目的，即使是在边界模糊、对比度低、形状、大小、颜色和质地变化较大的情况下仍能实现医学图像中病灶区域或器官的准确分割。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为本发明所述逐步精细的医学图像分割系统各模块连接示意图；

图2为拼接形变解码器模块结构示意图；

图3为并行注意力机制模块结构示意图；

图4为血管瘤数据集上不同系统的分割结果图；

图5为乳腺癌数据集上不同系统的分割结果图；

图6为Kvasir-SEG息肉数据集上不同系统的分割结果图；

图7为皮肤病变数据集上不同系统的分割结果图；

图8为并行注意力机制模块消融实验热力图图；

图9为标准卷积与形变卷积的可视化图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

一种逐步精细的医学图像分割系统，包括输入模块、编码器模块、解码器模块、拼接形变解码器模块(Concatenated Deformed Decoder,CDD)、并行注意力机制模块(Parallel Attention Module,PAM)和输出模块；其中编码器模块采用ResNet34提取特征，同时解码器模块采用两层卷积用于获得多尺度的分割结果。拼接形变解码器模块与并行注意力机制模块是本发明的创新点，其中拼接形变解码器模块用于自适应的逐步融合多尺度特征信息，并自适应的选择最佳的感受野，准确搜索出潜在的不同形状和尺寸的前景目标提供保障。另一方面，并行注意力机制模块则分为两路，同时结合了正注意力和逆注意力：正注意力用于增强前景的相关性特征，逆注意力则逐步挖掘边界信息和增强边界细节，为医学图像中病灶区域或器官的准确分割提供了进一步的保障。

在医学图像中，同一类型病灶的大小、形状、颜色等都存在很大的差异，换言之，对于不同尺寸和形状的病灶，所需的特征和感受野区域是不同的。为了应对这些挑战，本发明首先将编码器模块的最后三个尺度的特征与可形变卷积结合到一起，提出了一种拼接形变解码器模块(如图2所示)，以准确搜索出潜在的不同形状和尺寸的前景目标。其中，编码器模块的最后三个尺度可以实现不同尺度特征的融合，满足不同尺寸病灶区域的预测，而可形变卷积则可以根据病灶区域的形状，自适应的改变其感受野，在不需要额外监督的情况下就能动态选择最合适的感受野，以解决不同形状病灶的问题。如图2所示，首先利用拼接操作逐步融合编码器模块的最后三个尺度的深层语义特征。然后结合三个大小为3x3的可形变卷积层，根据病灶区域的形状来自适应的改变其感受野，集中提取出完整的病灶区域特征信息，准确搜索出潜在的不同形状和尺寸的前景病灶目标，为后续的精细化准确分割提供全局的引导。具体过程如下：

公式(1)为CDD过程，其中F_DConv表示三个大小为3x3的可形变卷积层，F_Conv表示一个大小为1x1的卷积层，F_C表示拼接函数，

表示通过双线性插值的方式进行2倍上采样，f₃、f₄以及f₅为输入的特征值，而Y表示经过CDD输出的特征图。

如图1所示，将CDD模块解码输出的特征输入到一个大小为1x1的卷积层生成粗略的分割结果，用以全局引导后续的精细化准确分割。

医学图像往往伴随着噪声且边界模糊，缺少分割所需的强烈对比度。为了应对这些挑战，本发明提出了一种同时结合正注意力和逆注意力的并行注意力机制模块，该模块中的正注意力用于增强前景对象的相关特征，抑制无关的噪声，而逆注意力机制则通过擦除前景对象逐步挖掘边界信息和增强边界细节，为医学图像中病灶区域或器官的准确分割提供了进一步的保障。

具体来说，如图3所示，首先将高级语义特征{f_i,i＝3,4,5}沿通道方向分成8组，并复制得到两份分组，将其中一份的每一组特征拼接正注意力，而另一份的每一组特征拼接逆注意力，然后分别用卷积融合，最后与输入的高级语义特征残差连接，以便获得更有效的引导。公式如下：

F_S(f_i)→{f_i，1,...,f_i,j,...,f_i,8} (2)

公式(2)将f_i特征均分8组。其中F_S表示沿通道方向的切片函数，f_i表示由ResNet34提取的特征，i∈{3,4,5}，f_i,j表示将f_i切片得到的特征，j∈{1,...,8}。

r_k＝1-Sigmod(c_k) (3)

公式(3)用正注意力计算逆注意力。具体来说，首先用Sigmod函数将正注意力映射到(0,1)，然后使用1减去Sigmod函数输出值得到逆注意力。其中c_k表示图1中的预测结果，也就是正注意力，而r_k表示通过公式(3)计算得到的逆注意力，k∈{4,5,6}。

Y_i＝f_i+F_Conv[F_C({f_i，1,r_k},...,{f_i,j,r_k},...,{f_i,8,r_k})]+F_Conv[F_C({f_i，1,c_k},...,{f_i,j,c_k},...,{f_i,8,c_k})] (4)

公式(4)用于融合并行注意力特征，同时利用残差连接融合输入特征。其中F_Conv表示一个大小为3x3的卷积，而F_C表示沿通道方向的拼接函数。

为了进一步优化上述的系统，本发明使用带有权重的二元交叉熵(Binary CrossEntropy:BCE)损失和交并比(Intersection over Union:IoU)损失，其中BCE损失用于约束每个像素点的分类，而IoU损失是约束整个前景区域，重点关注全局结构。本发明采用深度监督，将每个解码器模块输出的预测图都与真实标签做损失，因此，本发明所采用的总损失为：

其中，

为IoU损失，而

为BCE损失。公式(5)中G表示真实标签，C_i表示输出的预测结果，如图1所示，i∈{3,4,5,6}，而W是通过计算每个像素与邻近像素的差异，为每个像素生成不同的权重，从而使硬像素获得更多的关注。

W＝1+5*F_abs(F_{avg_pool}(G)-G) (6)

公式(6)表示计算权重W，其中F_abs表示绝对值函数，而F_{avg_pool}表示大小为31，步长为1以及填充为15的平均池化函数。

公式(7)表示计算IoU损失，其中M、N分别表示图像的宽和高，当像素点(m,n)位于目标区域则G_mn＝1，否则为0。W_mn表示位于(m,n)点的权重，C_imn表示第i个输出的预测图中位于(m,n)点的预测值，分子与分母分别加1，是为了防止出现0值，不利于计算。

公式(8)表示计算BEC损失，先计算每个像素的BCE，然后再求和。

为了进一步验证本发明系统的泛化性和有效性，在4个医学图像数据集上进行了实验评估，包括超声血管瘤图像病灶数据集、乳腺癌数据集、息肉数据集(Kvasir-SEG)和皮肤病变分割数据集。其中血管瘤数据集来自于重庆某儿科医院的真实样例，训练集共有344张，测试集有86张，图像尺寸在188～508像素之间，为了提高系统的学习效率，将血管瘤图像统一缩放至256x448。乳腺癌数据集来自于kaggle挑战赛，该数据集包括正常图像、良性图像以及恶性图像，共有780张图像和标签，随机挑选700张用于训练，其余80张用于测试，在实验阶段将图像同一缩放至512x416。息肉数据集选用的是Kvasir-SEG，该数据集是一个非常具有挑战性的大型肠胃息肉数据集，共有1000张由结肠镜检查的图像和相应的标签，将其中的900张用于训练，100张用于测试。在训练阶段，将图像统一缩放至352x352。皮肤病变分割数据集来自于ISIC-2018的公开挑战赛，共有2596张图像和相应的分割标签，随机选择1815张用于训练，260张用于验证，519张用于测试。其中图像也具有不同的分辨率，为了提升系统的学习效率，根据图像的平均长宽比将其缩放至256x192。

本发明的系统使用PyTorch框架实现，在NVIDIA 2080Ti上完成实验。使用学习率为1e-4的Adam优化器来优化系统的权重，且使用poly学习率衰减策略，在训练阶段采用多尺度训练{0.75,1,1.25}增强系统的泛化性。另外，系统在80个epoch到达收敛状态，batchsize和输入图像的尺寸将根据数据集进行调整，并使用随机翻转和仿射变换进行数据增强。

为了客观评估本发明系统的性能，将本发明提出的系统与其它基于卷积神经网络优秀的系统进行对比，包括U-Net系统、嵌套U-Net系统(Nested U-Net:U-Net++)、残差U-Net系统(Residual U-Net:ResUNet)、ResUNet++系统、非对称非局部神经网络系统(Asymmetric Non-local Neural Networks:ANN)、上下文语义金字塔融合网络系统(Context Pyramid Fusion Network:CPFNet)、深度注意力特征系统(Deep AttentionalFeatures:DAF)、并行逆注意力网络系统(Parallel Reverse Attention Network:PraNet)、搜索识别网络系统(Search Identification:SINet)、HarDNet-MSEG、上下文语义编码网络系统(Context Encoder Network:CE-Net)、MultiResUNet以及全面注意力卷积神经网络系统(Comprehensive Attention Convolutional Neural Networks:CA-Net)。其中U-Net系统是基于编解码模块结构被提出全卷积神经网络系统，解码器模块将编码器模块阶段采集的深层语义特征逐步恢复到原始图像分辨率，且在同一水平的编解码模块之间使用残差连接，融合了不同阶段的浅层特征，仅需要少量数据训练，就实现了出色的性能；U-Net++系统重构了U-Net系统的残差连接，弥补编解码器模块间的语义差距；ResUNet系统在U-Net系统的基础上融入了残差学习，残差学习不仅可以简化深度网络的训练，而且也可以促进信息融合；ResUNet++系统在ResUNet系统的基础上引入了注意力机制模块和空洞卷积池化金字塔模块(Atrous Spatial Pyramid Pooling:ASPP)用于改善分割性能；ANN系统利用ASPP模块在没有性能损失的前提下降低了非局部模块的计算量；CPFNet系统通过重构残差连接为解码器模块提供不同层次的全局上下文信息；DAF系统通过深度注意力机制模块充分利用不同层次的互补信息，提高分割性能；PraNet系统利用逆注意力模块挖掘边界信息以及增强边界细节；SINet系统使用邻近解码器模块搜索潜在前景目标，然后使用级联的逆注意力模块细化分割结果；HarDNet-MSEG系统是基于HarDNet系统提出的快速分割系统，在息肉数据集上能达到86.7FPS；CE-Net系统提出一种上下文语义提取器模块来捕获更多的高级信息用于恢复图像分割的空间信息；MultiResUNet系统使用一组残差连接以及卷积传递编码器模块的特征，改善了U-Net系统在困难图像上的分割性能；CA-Net系统同时结合了多种注意力机制模块，用于更准确的医学图像分割。

本发明在血管瘤数据集将所提出的系统与上述系统进行了评估。如表1所示，在Dice和IoU评估指标下，本发明的系统相比最优秀的DAF系统分别提升了1％和1.4％，而在Recall评估指标下，相比最优秀的SINet系统提升了2.4％，其余的评估指标也都优于上述系统。图4显示了不同系统在血管瘤数据集上可视化结果，可以明显的观察到，相比于其它优秀的系统，本发明所提出的系统在边缘细节以及前景轮廓更精确，第二张图像除本发明的系统和DAF系统外，均未能成功连续分割目标，而DAF系统采用ResNeXt101作编码器模块，相比于ResNet34获得更大的感受野，这表明本发明的系统更关注目标。

表1：本发明的系统和目前较优秀的系统在血管瘤数据集上的实验结果.

表2本发明的系统和目前较优秀的系统在乳腺癌数据集上的实验结果

将本发明的系统和其它系统在乳腺癌数据集上做了实验。如表2所示，在Dice和IoU的评估指标下，本发明的系统相比最优秀的DAF系统和SINet系统提升了约2％，而Acc上持平于其它系统，但在Recall和Precision评估指标下稍弱于其它系统。图5显示了不同系统在乳腺癌数据集上的分割结果，相比其它系统，本发明的系统获得了最好的视觉效果。

表3本发明的系统和目前较优秀的系统在Kvasir-SEG数据集上的实验结果

为了保证评估方式的客观性和实验的准确性，在Kvasir-SEG数据集的实验上，本发明采用与PraNet系统中一致的评估指标。如表3所示，在Dice和IoU评估指标上，本发明的系统相比于做优秀的HarDNet系统分别提升了1.2％和1％，且在Fw、Sα和MAE指标上均优于其它系统。图6可视化了不同系统在Kvasir-SEG数据集上的分割结果，可以观察到，在第一张图像中，只有本发明的系统清晰的分割出了整体目标，其它优秀的系统均丢失了部分目标，而在第二张图像中，其它系统均出现了许多将背景分割成前景的情况，而本发明的系统完成了精确的分割，也表明本发明的系统可以胜任这类目标差异较大的任务，例如不同大小、不同颜色、不同质地和不同形状。

表4本发明的系统和目前较优秀的系统在皮肤数据集上的实验结果

为了验证本发明系统在常规的医学图像上的性能，在皮肤病变数据集上进行了实验。相比于前三个非常具有挑战性的医学图像数据集，皮肤病变图像的分割边界较为清晰。在该数据集上，挑选了非常优秀的系统进行比较。如表4所示，在Dice和IoU评估指标下，本发明的系统相比最优系统CPFNet系统均提升了1.2％，而在Recall和Acc指标上均优于其它系统。图7显示了不同系统在皮肤数据集上的定性结果，示例了两张代表性很强的图像，在颜色、质地、尺寸以及形状上具有明显的差异。可以观察到，相比于其它优秀的系统，本发明的系统均呈现了最精确的分割结果。

为了验证本发明所提系统中各子模块的有效性，在血管瘤数据集和乳腺癌数据集上进行了消融实验，结果如表5所示。将所提的系统除去CDD模块和所有的PAM模块作为Baseline。在Baseline+CDD的实验中，使用CDD模块融合最后三个最高级的特征，其它与Baseline保持一致。在Baseline+PAM的实验中，使用并行的正注意力与逆注意力的模块代替普通的残差连接。Baseline+CDD+PAM是本发明提出的完整系统，与图1保持一致。

表5本发明的系统在血管瘤和乳腺癌数据集上的消融实验

从表5可以看出，在Dice系数、IoU值以及Acc三个评价指标上，无论是血管瘤还是乳腺癌数据集，添加了CDD模块的系统都优于Baseline。清晰地表明有效融合多尺度特征可以改善分割性能。在Baseline+PAM的实验中，观察到添加了PAM模块的系统在两个数据集上都实现了对Baseline的实质性改进。同时也表明与简单的残差连接相比，本发明所提出的PAM模块进一步提高了分割性能。最后，评估了CDD模块和PAM模块的共同效果。从表5可以看出，在CDD模块和PAM模块的共同作用下，本发明所提出的系统在血管瘤和乳腺癌数据集上均大幅度领先Baseline系统，表明CDD模块和PAM模块的有效性。

如图8所示，本发明可视化了并行注意力机制模块的热力图，第一行表示使用并行注意力机制模块的热力图，第一张是输入的图片，第二张是输出的最终预测图，而后面三张依次是第一个、第二个、第三个解码器模块输出特征图的热力图。第二行表示没有使用任何模块的热力图，第一张图像是真实标签，第二张是该系统输出的最终预测结果。第三行表示并行注意力机制模块中只有逆注意力的可视化结果。第四行表示并行注意力机制模块中只有正注意力的可视化结果。从图中可以看出，使用了并行注意力机制模块的热力图边界细节恢复的更好，且前景的相关特征更突出。只使用逆注意力的系统边界细节恢复的不错，但预测结果出现了缺失。只使用正注意力的系统前景的相关特征得到了增强，但丢失了部分边界。

本发明也可视化了标准卷积和形变卷积在医学图像分割上的区别，如图9所示，标准卷积的采样点是标准的正方形，而形变卷积可以根据输入图像选取最合适的采样点，从而可以动态选择最佳的感受野，适应不同形状以及尺寸的前景目标。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种逐步精细的医学图像分割系统，其特征在于：包括输入模块、编码器模块、解码器模块、拼接形变解码器模块、并行注意力机制模块和输出模块；

所述输入模块用于将医学图像输入编码器模块中；

所述编码器模块用于对输入的医学图像进行特征提取；

所述解码模块用于根据提取的特征图获得多尺度的医学图像分割结果；

所述拼接形变解码器模块用于自适应地逐步融合多尺度特征信息，并自适应的选择最佳的感受野，搜索出潜在的不同形状和尺寸的前景目标；

并行注意力机制模块用于在特征图中同时引入正注意力和逆注意力，正注意力用于增强前景的相关性特征，逆注意力则逐步挖掘边界信息和增强边界细节；

所述输出模块用于输出分割后的图像结果。

2.根据权利要求1所述的逐步精细的医学图像分割系统，其特征在于：所述拼接形变解码器模块是将编码器模块的最后三个尺度的特征与可形变卷积结合到一起；首先利用拼接操作逐步融合编码器模块的最后三个尺度的深层语义特征，然后结合三个大小为3x3的可形变卷积层，根据病灶区域的形状来自适应的改变其感受野，集中提取出完整的病灶区域特征信息，搜索出潜在的不同形状和尺寸的前景病灶目标；具体过程如下：

其中F_DConv表示三个大小为3x3的可形变卷积层，F_Conv表示一个大小为1x1的卷积层，F_C表示拼接函数，

表示通过双线性插值的方式进行2倍上采样，f₃、f₄以及f₅为输入的特征值，Y表示经过CDD输出的特征图。

3.根据权利要求1所述的逐步精细的医学图像分割系统，其特征在于：还包括：将拼接形变解码器模块解码输出的特征输入到一个大小为1x1的卷积层生成粗略的分割结果，用以全局引导后续的精细化准确分割。

4.根据权利要求1所述的逐步精细的医学图像分割系统，其特征在于：所述并行注意力机制模块的实现具体包括：

将高级语义特征{f_i,i＝3,4,5}沿通道方向分成8组，并复制得到两份分组，将其中一份的每一组特征拼接正注意力，另一份的每一组特征拼接逆注意力，然后分别用卷积融合，最后与输入的高级语义特征残差连接；

通过以下公式将f_i特征均分8组：

F_S(f_i)→{f_i，1,...,f_i,j,...,f_i,8}

其中F_S表示沿通道方向的切片函数，f_i表示由ResNet34提取的特征，i∈{3,4,5}，f_i,j表示将f_i切片得到的特征，j∈{1,...,8}；

用正注意力计算逆注意力的公式如下：

r_k＝1-Sigmod(c_k)

首先用Sigmod函数将正注意力映射到(0,1)，然后使用1减去Sigmod函数输出值得到逆注意力；其中c_k表示预测结果，也就是正注意力，r_k表示计算得到的逆注意力，k∈{4,5,6}；

融合并行注意力特征的公式如下：

Y_i＝f_i+F_Conv[F_C({f_i，1,r_k},...,{f_i,j,r_k},...,{f_i,8,r_k})]+F_Conv[F_C({f_i，1,c_k},...,{f_i,j,c_k},...,{f_i,8,c_k})]

同时利用残差连接融合输入特征，其中F_Conv表示一个大小为3x3的卷积，F_C表示沿通道方向的拼接函数。

5.根据权利要求1所述的逐步精细的医学图像分割系统，其特征在于：还包括优化模块，用于采用深度监督，将每个解码器模块输出的预测图都与真实标签做损失；通过带有权重的二元交叉熵(Binary Cross Entropy:BCE)损失和交并比(Intersection over Union:IoU)损失优化输出结果；总损失为：

其中，

为IoU损失，

为BCE损失；G表示真实标签，C_i表示输出的预测结果，i∈{3,4,5,6}，W是通过计算每个像素与邻近像素的差异，为每个像素生成不同的权重，从而使硬像素获得更多的关注；权重W的计算方法如下：

W＝1+5*F_abs(F_{avg_pool}(G)-G)

其中，F_abs表示绝对值函数，F_{avg_pool}表示的平均池化函数；

通过下式计算IoU损失：

其中M、N分别表示图像的宽和高，当像素点(m,n)位于目标区域则G_mn＝1，否则为0；W_mn表示位于(m,n)点的权重，C_imn表示第i个输出的预测图中位于(m,n)点的预测值；

通过下式计算BEC损失：

M和N分别为图像的长和宽像素值。

6.一种计算机可读存储介质，其特征在于：所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如权利要求1-5任一所述输入模块、编码器模块、解码器模块、拼接形变解码器模块、并行注意力机制模块和输出模块的功能。

Images