CN110189334B

CN110189334B - 基于注意力机制的残差型全卷积神经网络的医学图像分割方法

Info

Publication number: CN110189334B
Application number: CN201910454206.4A
Authority: CN
Inventors: 胡晓飞; 谢文鑫; 苑金辉
Original assignee: Nanjing University of Posts and Telecommunications
Current assignee: Nanjing University of Posts and Telecommunications
Priority date: 2019-05-28
Filing date: 2019-05-28
Publication date: 2022-08-09
Anticipated expiration: 2039-05-28
Also published as: CN110189334A

Abstract

本发明提供一种基于注意力机制的残差型全卷积神经网络的医学图像分割方法，对待分割的医学图像进行预处理；构建基于注意力机制的残差型全卷积神经网络，包括特征图收缩网络、注意力网络、特征图扩张网络组；将训练集数据输入残差型全卷积神经网络进行训练得到学习后的卷积神经网络模型；将测试集数据输入所得学习后的卷积神经网络模型，进行图像分割，得到分割后的图像；该方法利用注意力网络将特征图收缩网络中提取的图像特征有效的传递给特征图扩张网络，解决了在图像反卷积过程中，缺乏图像的空间特征的问题，同时注意力网络还能够抑制低层特征图中与分割目标不相关的图像区域，减小了图像的冗余，同时也增加了图像分割的准确率。

Description

基于注意力机制的残差型全卷积神经网络的医学图像分割方法

技术领域

本发明涉及一种基于注意力机制的残差型全卷积神经网络的医学图像分割方法。

背景技术

医学图像分割是决定医学图像在临床诊疗中能否提供可靠依据的关键问题。医学图像分割技术的发展不仅影响到医学图像处理中其他相关技术的发展，如可视化、三维重建等，而且在生物医学图像的分析中也占有极其重要的地位。近年来,由于深度学习算法在医学图像分割中的应用,医学图像分割技术取得了显著的进展。医学图像分割一般建模为像素级别的多分类问题，其目标是将图像的每一像素区分为预定义的多个类别之一。

传统的医学图像分割方法一般从图像像素邻域小窗提取人为设计的特征再做判别，例如纹理特征。同时，考虑到图像像素间的空间依赖性，研究人员基于低级视觉特征的相似性构建更高级的全局上下文的表征，例如马尔科夫随机场和条件随机场。

目前深度学习在医学图像分割中多数是基于编码器解码器的卷积神经网络。这种网络结构虽然可以获得较好的语义分割结果，但是一旦采用编解码结构，必然会在编码过程明显的降低特征图的空间分辨率，尽管在上采样过程恢复图像的原始分辨率，但是不可避免的会造成空间细节信息的丢失。

同时为减少图像中的背景区域对目标区域干扰，降低图像冗余度也是图像分割中的关键技术。在图像分割中常常包含一个感兴趣区域提取模块。利用神经元之间的密集连接，从原始图像中提取出感兴趣的目标区域。然而，这种方法导致计算资源和模型参数的过度和冗余使用，例如，类似的低级特征被级联中的所有模型重复提取。

目前己有的神经网络结构大多是在己有的网络结构上对网络深度进行一定的改进，通过加深网络层数对网络深度进行加深。实验表明，在一定程度上对于网络层数的加深有助于提高网络训练的准确性，但当层数增加到一定数量时会出现网络性能退化、甚至造成梯度消失的问题。

上述问题是在医学图像分割过程中应当予以考虑并解决的问题。

发明内容

本发明的目的是提供一种基于注意力机制的残差型全卷积神经网络的医学图像分割方法，解决现有技术中存在的在图像反卷积过程中，空间细节信息的丢失，导致缺乏图像的空间特征，同时导致计算资源和模型参数的过度和冗余使用的问题。

本发明的技术解决方案是：

一种基于注意力机制的残差型全卷积神经网络的医学图像分割方法，包括以下步骤：

S1、对待分割的医学图像进行预处理，得到训练集数据、验证集数据和测试集数据；

S2、构建基于注意力机制的残差型全卷积神经网络，包括特征图收缩网络、注意力网络、特征图扩张网络组，其中，特征图收缩网络用于对原始输入图像的特征提取，得到图像特征信息；特征图扩张网络用于对特征图收缩网络提供的图像特征信息的基础上，预测出与原始图像尺寸大小相同的分割图像；注意力网络用于将每层特征图收缩网络中图像特征传递给特征图扩张网络；

S3、将训练集数据输入残差型全卷积神经网络进行训练，得到学习后的卷积神经网络模型；

S4、将测试集数据输入步骤S3所得学习后的卷积神经网络模型，进行图像分割，得到分割后的图像。

进一步地，步骤S2中，特征图收缩网络包括自上而下分层设置且结构相同的四层残差卷积块和自上而下分层设置且结构相同的四层最大池化层，四层残差卷积块即残差卷积块一、残差卷积块二、残差卷积块三、残差卷积块四，四层最大池化层即最大池化层一、的最大池化层二、最大池化层三、最大池化层四，残差卷积块一的输入是原始输入图像，残差卷积块一通过最大池化层一输出到残差卷积块二，残差卷积块二、残差卷积块三和残差卷积块四的输入分别是来自上一层的残差卷积块的输出经过最大池化层操作后的输出和原始图像平均池化后的特征图合并；残差卷积块二和残差卷积块三经过特征提取后，分别输出到相对应的注意力网络，同时经过最大池化操作后输出到特征图收缩网络的下一层的残差卷积块，残差卷积块四经过特征提取后输出到相应的注意力网络，同时残差卷积块四也将经过最大池化层四输出到特征图扩张网络的残差卷积块五。

进一步地，步骤S2中，特征图扩张网络包括自下而上分层设置且结构相同的五层残差卷积块，即残差卷积块五、残差卷积块六、残差卷积块七、残差卷积块八和残差卷积块九，残差卷积块五的输入来自特征图收缩网络的残差卷积块四经过最大池化层四操作后的输出，残差卷积块六、残差卷积块七、残差卷积块八和残差卷积块九的输入来自上一层残差卷积块经过反卷积的输出和经过注意力网络输出的特征图的合并。

进一步地，特征图收缩网络的残差卷积块与特征图扩张网络的残差卷积块的结构相同，残差卷积块的输入x经过连续两次相同的卷积、批量归一化Batch Normal、激活函数relu之后，得到主输出F(x)，输入x还通过直接连接shortcut直接将来自输入x与主输出F(x)相加，得到最终输出F(x)+x。

进一步地，步骤S2中，注意力网络具有两个输入，即分别来自上一层特征图扩张网络中的残差卷积块输出和特征图收缩网络的残差卷积块，两个输入分别经过1*1*1的卷积操作，然后将两个输入特征图求和，该求和结果依此通过relu激活函数、1*1*1的卷积操作、sigmoild激活函数、上采样，最后将采样结果与来自特征图收缩网络的特征图相乘，输出到目标层。

进一步地，步骤S1中，对待分割的医学图像进行预处理，具体为：

S11、对待分割的医学图像数据进行格式转换；

S12、对格式转换后的图像进行归一化处理，将其归一化到[0,1]区间；具体为，计算全部数据集图像的均值和标准差，按对比度归一化公式处理图像的对比度，其中对比度归一化公式表示为：

I＝(I-Mean)/Std (1)

其中，I表示图像的对比度，Mean表示图像数据的均值，Std表示图像数据的标准差；

S13、将归一化后的图像分为训练集数据、验证集和测试集数据；

S14、对训练集数据进行多尺度化处理，分别得到多种尺寸不同的图像。

进一步地，步骤S3中，将训练集数据输入残差型全卷积神经网络进行训练，得到学习后的卷积神经网络模型；具体为：

S31、将训练集数据分为m批，并初始化卷积核权重和偏值；

S32、分批次将未被训练的训练集数据输入步骤S2构建好的基于注意力机制的残差型全卷积神经网络；

S33、将训练集数据与构建好的基于注意力机制的残差型全卷积神经网络中进行计算，实现网络训练的前向传播，输出预测概率图；

S34、计算各层预测概率图与训练集数据中对应标准分割图片之间的误差，计算公式为：

其中γ为1.33，c为每个像素所对应的类别，

其中，P_ic代表像素点i预测为c类的概率，g_iC标准分割图像中像素i对应的值，

表示像素点i不属于c类的概率，

则表示在标准分割图像中像素i对应1-g_iC的值，N代表一张图像中像素点的总个数，α的值为0.7，β的值为0.3，ε为1；

残差卷积块六、残差卷积块七、残差卷积块八的输出对应的误差计算函数为FTL_c，残差卷积块九的输出对应的误差计算函数是TI_c；

S35、采用动量随机梯度下降法最小化误差计算函数，然后利用该误差计算函数值进行梯度计算，对网络参数更新时选择多步学习率策略改变学习速率，根据迭代次数而逐渐减小；网络参数更新完成后，将验证集数据的图像输入到已训练的网络模型中，计算验证集数据中图像分割的准确率，若该批次训练后的网络模型在验证集中准确率高于上一批次训练模型的准确率，则保存训练后的网络模型参数到硬盘文件中，否则不保存；训练集数据的各批次分别训练完成后，最终得到学习后的卷积神经网络模型。

进一步地，步骤S32中，将训练集数据中四种尺寸不同的图像输入基于注意力机制的残差型全卷积神经网络的特征图收缩网络的相应层次中。

本发明的有益效果是：该种基于注意力机制的残差型全卷积神经网络的医学图像分割方法，利用注意力网络将特征图收缩网络中提取的图像特征有效的传递给特征图扩张网络，解决了在图像反卷积过程中，缺乏图像的空间特征的问题，同时注意力网络还能够抑制低层特征图中与分割目标不相关的图像区域，减小了图像的冗余，同时也增加了图像分割的准确率。利用残差卷积块解决在加深网络结构的时候，容易引发的梯度消失、网络性能退化的问题。

附图说明

图1是本发明实施例基于注意力机制的残差型全卷积神经网络的医学图像分割方法的流程示意图。

图2是实施例中基于注意力机制的残差型全卷积神经网络的说明示意图。

其中：黑色箭头中，conv为卷积核大小为3*3的卷积操作，bn为批量归一化，relu为激活函数。绿色箭头代表卷积核为2x2的最大池化操作。橙色箭头代表反卷积操作。橙色箭头中，2x2deconv代表卷积核为2*2的反卷积操作。虚线箭头中的skip connection代表跳过连接，没有进行其他操作。蓝色箭头代表卷积核为1x1的卷积操作，并且经过sigmoid激活函数。灰色的箭头状图形代表了注意力网络。蓝色框图代表残差卷积块。Multi-scale inputs代表多尺度输入，deep supervision代表多层次误差计算。

图3是实施例中残差卷积块的说明示意图。其中relu为激活函数，bn为批量归一化操作，conv为卷积操作。X为输入，F(x)为主输出，F(x)+x为最终输出。

图4是实施例中注意力网络的说明示意图。

具体实施方式

下面结合附图详细说明本发明的优选实施例。

实施例

一种基于注意力机制的残差型全卷积神经网络的医学图像分割方法，如图1，包括以下步骤：

S1、对待分割的医学图像数据进行预处理，得到训练集数据，验证集数据和测试集数据。

S11、对待分割的医学图像数据进行格式转换。将原始的dcm格式的医学图像转换成png格式的医学图像。

S12、对格式转换后的图像进行归一化处理，将其归一化到[0,1]区间。

计算全部数据集图像的均值和标准差，按对比度归一化公式处理图像的对比度，其中对比度归一化公式表示为：

I＝(I-Mean)/Std (1)

其中，I表示图像的对比度，Mean表示图像数据的均值，Std表示图像数据的标准差。

S13、将归一化后的图像按比例7：1：2分为训练集数据、验证集和测试集数据。

S14、对训练集数据进行多尺度化处理。多尺度化处具体为：将步骤S1完成后的图像进行平均池化操作，得到原图像尺寸的1/2大小，重复平均池化操作分别得到原图像尺寸1/4、1/8大小的图像，最终分别得到四种尺寸不同的图像。

S2、构建基于注意力机制的残差型全卷积神经网络，如图2，包括特征图收缩网络、注意力网络、特征图扩张网络组，其中，特征图收缩网络用于对原始输入图像的特征提取，得到图像特征信息；特征图扩张网络用于对特征图收缩网络提供的图像特征信息的基础上，预测出与原始图像尺寸大小相同的分割图像；注意力网络用于将每层特征图收缩网络中图像特征传递给特征图扩张网络。

S21、构建特征图收缩网络，用于提取图像的语义特征。

特征图收缩网络包括自上而下分层设置且结构相同的四层残差卷积块和自上而下分层设置且结构相同的四层最大池化层，四层残差卷积块即残差卷积块一ResConvBlock_1、残差卷积块二ResConvBlock_2、残差卷积块三ResConvBlock_3、残差卷积块四ResConvBlock_4，四层最大池化层即最大池化层一MaxPooling_1、的最大池化层二MaxPooling_2、最大池化层三MaxPooling_3、最大池化层四MaxPooling_4，残差卷积块一的输入是原始输入图像，残差卷积块一通过最大池化层一输出到残差卷积块二，残差卷积块二、残差卷积块三和残差卷积块四的输入分别是来自上一层的残差卷积块的输出经过最大池化层操作后的输出和原始图像平均池化后的特征图合并；残差卷积块二和残差卷积块三经过特征提取后，分别输出到相对应的注意力网络，同时经过最大池化操作后输出到特征图收缩网络的下一层的残差卷积块，残差卷积块四经过特征提取后输出到相应的注意力网络，同时残差卷积块四也将经过最大池化层四输出到特征图扩张网络的残差卷积块五。

图2的左半部分为分割模型的特征图收缩网络。特征图收缩网络自上而下包括：残差卷积块一ResConvBlock_1,最大池化层一MaxPooling_1,残差卷积块二ResConvBlock_2,最大池化层二MaxPooling_2,残差卷积块三ResConvBlock_3，最大池化层三MaxPooling_3，残差卷积块四ResConvBlock_4，最大池化层四MaxPooling_4。

其中ResConvBlock_1,ResConvBlock_2,ResConvBlock_3,ResConvBlock_4均为残差卷积块，残差卷积块名称末尾的数字代表图2左侧特征图收缩网络中自上而下出现的先后顺序。残差卷积块的网络结构如图3所示，输入x经过连续两次相同的卷积、批量归一化Batch Normal(BN)、激活函数relu之后，得到的主输出F(x)。输入x通过直接连接shortcut直接将来自输入x与主输出F(x)相加，得到最终输出F(x)+x，保留了信息的完整性，同时也增强了网络的表达能力，缓解了在加深网络的情况下梯度消失的问题。MaxPooling_1、MaxPooling_2、MaxPooling_3、MaxPooling_4为卷积核为2*2的最大池化操作，用于进一步提取特征，减少网络参数。最大池化操作名称末尾的数字代表在图2左侧特征图收缩网络中自上而下出现的先后顺序。图2的左侧，特征图收缩网络的ResConvBlock_1的输入是原始图像，ResConvBlock_2，ResConvBlock_3，ResConvBlock_4的输入来自上一层的最大池化操作后的输出和图像多尺度化处理后对应尺寸的输入图像的特征图合并。

S22、构建特征图扩张路径，用于预测图像语义信息。

特征图扩张网络包括自下而上分层设置且结构相同的五层残差卷积块，即残差卷积块五ResConvBlock_5、残差卷积块六ResConvBlock_6、残差卷积块七ResConvBlock_7、残差卷积块八ResConvBlock_8和残差卷积块九ResConvBlock_9，残差卷积块五ResConvBlock_5的输入来自特征图收缩网络的残差卷积块四ResConvBlock_4经过最大池化层四MaxPooling_4操作后的输出，残差卷积块六、残差卷积块七、残差卷积块八和残差卷积块九的输入来自上一层残差卷积块经过反卷积的输出和经过注意力网络输出的特征图的合并。

图2的右半部分为分割模型的特征图扩张网络。特征图扩张网络包括：残差卷积块五ResConvBlock_5，DeConv_1，残差卷积块六ResConvBlock_6,DeConv_2,残差卷积块七ResConvBlock_7，DeConv_3,残差卷积块八ResConvBlock_8，DeConv_4。其中ResConvBlock_5,ResConvBlock_6,ResConvBlock_7,ResConvBlock_8，ResConBlock_9为残差卷积块，结构与特征图收缩网络中的残差卷积块的结构相同。残差卷积块名称末尾的数字代表自图1右侧自下而上出现在特征图扩张网络的先后顺序。DeConv_1，DeConv_2，DeConv_3，DeConv_4为反卷积操作，反卷积的目的是将输入的图像特征的尺寸扩大2倍。反卷积名称末尾的数字代表了反卷积操作在图2右侧自下而上出现的先后顺序。ResConvBlock_5的输入来自特征图收缩网络中的最大池化层MaxPooling_4。ResConvBlock_6，ResConvBlock_7，ResConvBlock_8的输入来自上一层的反卷积和各自相对应的注意力网络的特征图合并。并且在扩张网络中，ResConvBlock_6、ResConvBlock_7、ResConvBlock_8、ResConvBlock_9的输出都对应了一个损失函数来评价当前的预测效果。

S23、构建注意力网络，用于对低层特征图感兴趣区域提取，对与目标相关的区域图像起到增强效果，与目标区域无关的区域图像起到抑制的效果。如图3所示。在单个注意力网络中，来自上层残差卷积块的输出和特征图收缩网络的残差卷积块的输出，这两个作为输入经过1*1*1的卷积操作，将两个输入特征图求和，然后求和结果依此通过relu激活函数、1*1*1的卷积操作、sigmoild激活函数、上采样，最后将采样结果与特征图收缩网络的残差卷积块的特征图相乘，输出到目标层。其中，在基于注意力机制的残差型全卷积神经网络中自上而下存在三个注意力网络，注意力网络一、注意力网络二、注意力网络三，注意力网络一的目标层为特征图扩张网络的残差卷积块八，注意力网络二的目标层为特征图扩张网络的残差卷积块七，注意力网络三的目标层为特征图扩张网络的残差卷积块六。

S3、将训练集数据输入残差型全卷积神经网络进行训练，得到学习后的卷积神经网络模型。

S31、将训练集数据分为m批，并初始化卷积核权重和偏值。

S32、分批次将未被训练的训练集数据输入构建好的基于注意力机制的残差型全卷积神经网络。其中如图1所示，四种尺寸不同的图像输入分割网络的相应层次中，为下一步的特征提取提供更多的图像语义的空间信息。

S33、将训练集数据与构建好的基于注意力机制的残差型全卷积神经网络中进行计算，实现网络训练的前向传播，输出预测概率图。

其中γ为1.33，c为每个像素所对应的类别，

表示像素点i不属于c类的概率，

在特征图扩张网络当中的残差卷积块，ResConvBlock_6、ResConvBlock_7、ResConvBlock_8、ResConvBlock_9。每个块的输出都有对应尺寸的标准分割图片和相应的误差计算函数，其中ResConvBlock_6、ResConvBlock_7、ResConvBlock_8的误差计算函数为FTL_c，最后一个ResConvBlock_9的输出对应的误差计算函数是TI_c。

该种基于注意力机制的残差型全卷积神经网络的医学图像分割方法，通过选择训练数据集、验证数据集和测试数据集，并对上述图像进行预处理；构建并训练由特征图收缩网络、注意力网络、特征图扩张网络构成的图像分割模型。其中收缩网络主要负责对原始输入图像的特征提取，而扩张网络则负责在收缩网络提供的图像特征的基础上，最终预测出与原始图像尺寸大小相同的分割图像。注意力网络则是负责将每层收缩网络中图像特征有效的传递给收缩网络。将训练集数据分多个批次放入网络中训练，保存收敛后的权重参数。

该种基于注意力机制的残差型全卷积神经网络的医学图像分割方法，结合了注意力机制和残差型网络在医学图像分割的优势，提升了分割网络的性能。解决了现有分割方法分割准确率低、图像空间细节信息丢失等问题。

该种基于注意力机制的残差型全卷积神经网络的医学图像分割方法，通过注意力网络对低层特征图进行增强或抑制，减少了低层特征图传递到高层特征图时存在的冗余信息。同时也增加了图像分割的准确率。通过残差卷积块减少因网络深度的增加造成的梯度消失，解决网络性能下降的问题。

Claims

1.一种基于注意力机制的残差型全卷积神经网络的医学图像分割方法，其特征在于：包括以下步骤，

步骤S2中，特征图收缩网络包括自上而下分层设置且结构相同的四层残差卷积块和自上而下分层设置且结构相同的四层最大池化层，四层残差卷积块即残差卷积块一、残差卷积块二、残差卷积块三、残差卷积块四，四层最大池化层即最大池化层一、的最大池化层二、最大池化层三、最大池化层四，残差卷积块一的输入是原始输入图像，残差卷积块一通过最大池化层一输出到残差卷积块二，残差卷积块二、残差卷积块三和残差卷积块四的输入分别是来自上一层的残差卷积块的输出经过最大池化层操作后的输出和原始图像平均池化后的特征图合并；残差卷积块二和残差卷积块三经过特征提取后，分别输出到相对应的注意力网络，同时经过最大池化操作后输出到特征图收缩网络的下一层的残差卷积块，残差卷积块四经过特征提取后输出到相应的注意力网络，同时残差卷积块四也将经过最大池化层四输出到特征图扩张网络的残差卷积块五；

步骤S2中，特征图扩张网络包括自下而上分层设置且结构相同的五层残差卷积块，即残差卷积块五、残差卷积块六、残差卷积块七、残差卷积块八和残差卷积块九，残差卷积块五的输入来自特征图收缩网络的残差卷积块四经过最大池化层四操作后的输出，残差卷积块六、残差卷积块七、残差卷积块八和残差卷积块九的输入来自上一层残差卷积块经过反卷积的输出和经过注意力网络输出的特征图的合并；特征图收缩网络的残差卷积块与特征图扩张网络的残差卷积块的结构相同，残差卷积块的输入x经过连续两次相同的卷积、批量归一化Batch Normal、激活函数relu之后，得到主输出F(x)，输入x还通过直接连接shortcut直接将来自输入x与主输出F(x)相加，得到最终输出F(x)+x；

步骤S2中，注意力网络具有两个输入，即分别来自上一层特征图扩张网络中的残差卷积块输出和特征图收缩网络的残差卷积块，两个输入分别经过1*1*1的卷积操作，然后将两个输入特征图求和，求和结果依此通过relu激活函数、1*1*1的卷积操作、sigmoild激活函数、上采样，最后将采样结果与来自特征图收缩网络的特征图相乘，输出到目标层；

2.如权利要求1所述的基于注意力机制的残差型全卷积神经网络的医学图像分割方法，其特征在于：步骤S1中，对待分割的医学图像进行预处理，具体为，

S11、对待分割的医学图像数据进行格式转换；

I＝(I-Mean)/Std (1)

3.如权利要求1或2所述的基于注意力机制的残差型全卷积神经网络的医学图像分割方法，其特征在于：步骤S3中，将训练集数据输入残差型全卷积神经网络进行训练，得到学习后的卷积神经网络模型；具体为，

S31、将训练集数据分为m批，并初始化卷积核权重和偏值；

其中γ为1.33，c为每个像素所对应的类别，

表示像素点i不属于c类的概率，

4.如权利要求3所述的基于注意力机制的残差型全卷积神经网络的医学图像分割方法，其特征在于：步骤S32中，将训练集数据中四种尺寸不同的图像输入基于注意力机制的残差型全卷积神经网络的特征图收缩网络的相应层次中。