CN114463339A - 一种基于自注意力的医疗影像分割方法 - Google Patents

Abstract

本发明公开了一种基于自注意力的医疗影像分割方法，可以应用于医疗影像分割领域。本发明利用Unet作为基准模型，通过增加多尺度特征提取编码结构和语义特征增强结构的处理，实现了多尺度特征的提取能力和准确边缘语义信息的获取能力。网络模型主要分为编码器、语义特征增强模块、解码器共三个模块。本方案适用于医疗影像的病变区域分割问题，具备多尺度特征提取能力和准确边缘语义信息的获取能力，具体能够解决多尺寸病变区域分割难和病变区域无固定形状导致的分割边缘模糊的问题。

Description

一种基于自注意力的医疗影像分割方法

技术领域

本发明可以应用于医疗影像分割领域，利用自注意力机制对医疗影像进行分割处理。

背景技术

随着人们日常医疗生活水平的提高，胃镜，肠镜以及超声成像等医疗成像技术让医生们对患者病情有了更加清晰和直观的了解，也是后续持续治疗的基础。影像分割标识出图像中病变区域和健康区域的边界，随着这些技术的普及，医师的手动分割显然应对不了庞大的分割任务量，因此如何快速高效的分析影像，提高医师们的工作效率成为了医疗影像分析领域极有价值的研究问题。

解决医疗影像的分割问题的方法，主要可以分为两类，分别是使用传统机器学习的方法以及使用新兴的深度学习的方法，特别是深度学习的方法，在近两年已经取得了非常大的进展。

传统的机器学习的方法包括很多种方式，比如经典的基于阈值的图像分割方法如最大类间方差法(参考文献Otsu N.A Threshold Selection Method from Gray-LevelHistograms[J].Systems Man&Cybernetics IEEE Transactions on,1979.)，按照大津法求得的阈值进行图像分割。基于区域生长的图像分割方法(参考文献舒添慧,胥布工,胡战虎.基于区域生长法的医学图像分割[J].微计算机信息,2008,24(18):3.)通过设置种子点的位置，生长准则和生长顺序完成影像的分割。基于聚类的分割同样可以解决问题，如MeanShift算法(参考文献赵晓静,陈兆学,王志祯.基于MeanShift方法的肝脏CT图像的自动分割[J].中国医学影像技术,2010(12):4.)，Medoidshift算法(参考文献Gomathi V V,Karthikeyan S.A Proposed Hybrid Medoid Shift with K-Means(HMSK)SegmentationAlgorithm to Detect Tumor and Organs for Effective Radiotherapy[J].Springer-Verlag New York,Inc.2013.)等，这些方法将聚类的思想应用到图像分割中，将相似的像素归类到一起，不断迭代修正，得到收敛后的模型。

基于深度学习的方法相比较传统的机器学习方法能够完成更加复杂的任务，具有更高的模型泛化能力。如Unet模型(参考文献Ronneberger O,Fischer P,Brox T.U-Net:Convolutional Networks for Biomedical Image Segmentation[C]//InternationalConference on Medical Image Computing and Computer-AssistedIntervention.Springer International Publishing,2015.)，采用包含编码器和解码器的U型结构，实现了多尺度的特征融合能力，Unet++模型(参考文献Zhou Z,Siddiquee M,Tajbakhsh N,et al.UNet++:A Nested U-Net Architecture for Medical ImageSegmentation[C]//4th Deep Learning in Medical Image Analysis(DLMIA)Workshop.2018.)在Unet模型的基础上，对skip connection结构进行了改进，实现了多级互通的能力，提高了解码的准确率；TransUnet模型(参考文献J Chen,Lu Y,Yu Q,etal.TransUNet:Transformers Make Strong Encoders for Medical Image Segmentation[J].2021.)首次将transformer与Unet进行结合，通过transformer的使用，提高了对全局语义特征的提取能力，大大提高了模型的性能。

综上所述，目前医疗影像分割领域，深度学习方法已经成为主流，通过使用Unet作为基准模型，已经提出了一系列针对空间信息和语义信息的改进方案，随着transformer的加入，借助transformer强大的全局特征提取能力，相关模型也取得了不错的成果。

但对于医疗影像分割任务来说，始终面临着多尺寸病变区域分割难和病变区域无固定形状导致的分割边缘模糊的问题。因此所提出的医疗影像分割模型应当针对这两个问题，具备多尺度特征提取能力和准确边缘语义信息的获取能力。

发明内容

针对上述要求，本发明提供了一种基于自注意力的医疗影像分割方法，利用Unet作为基准模型，通过增加多尺度特征提取编码结构和语义特征增强结构的处理，实现了多尺度特征的提取能力和准确边缘语义信息的获取能力。

本发明所述的基于自注意力的医疗影像分割方法，所采用的技术方案是：图像影像在经过编码器时，利用编码器中的多尺度特征提取结构获得多尺度的特征，得到原图像1/8大小的隐藏特征图，然后将隐藏特征图输入到三层全局语义特征增强模块中，得到语义特征，然后将语义特征输入解码器中，经过解码block的卷积和上采样完成特征解码。上采样的级别分别是1/8原图，1/4原图和1/2原图大小，并且在每一次上采样之后与编码器中相应每一层特征进行特征融合，作为对细节信息的补充，最后输出一个两通道的特征图，为最后分割完成的结果图。

进一步的，所述的多尺度特征提取编码结构使用多头注意力和空洞卷积结合的方式完成对多尺度特征的提取。整个结构包含两个1x1的卷积、一个3x3的卷积和两个使用空洞卷积实现的多头注意力模块，两个空洞卷积的空洞率分别是1和2，能够获得不同尺度的感受野，因此能够实现多尺度特征的提取。输入的张量feature1(B,C,H,W)首先经过1x1卷积完成提高特征维度的操作，得到中间张量feature2(B,4*C,H,W)，然后中间张量经过一个三分支的结构，分别是3x3卷积，空洞率为1的多头自注意力(MHSA 3x3)和空洞率为2多头自注意力(MHSA 3x3)，使用不同大小的感受野提取不同尺度的特征，然后拼接三个分支返回的张量feature3(B,12*C,H,W)，经过1x1卷积，降低张量维度feature4(B,C,H,W)，其中B,C,H,W分别表示输入的数量、特征图的通道数、特征图的高和宽。将该模块放入ResNet网络的瓶颈层(bottleneck)中，实现模块的灵活嵌入。在本方案中，特征经过该结构后，能够实现多尺度的特征提取。

所述的语义特征增强结构包括两个部分，分别是通道自注意力模块和全局空间自注意力模块。在实现的过程中，首先将特征张量feature5(B,C,H,W)输入通道自注意力模块，经过线性映射之后，将特征张量按通道数均分成Q1，K1，V1(B,H,C,W)，Q1，K1，V1为分别为Query，Key和Value的缩写，在接下来的注意力计算过程中，在Query中查询对应Key的注意力权重，然后与Value相乘，得到注意力加权值。计算过程如下，Q1，K1进行矩阵相乘，得到注意力特征图feature6(B,H,C,C)，将注意力特征图与V1相乘，并且reshape之后，得到加权过后的特征feature7(B,C,H,W)，由此完成通道自注意力计算流程。然后将特征张量feature5(B,C,H,W)与特征张量feature7(B,C,H,W)相加，进行残差连接得到特征feature8(B,C,H,W)，将得到的特征feature8输入全局空间自注意力模块，同样将特征经过卷积映射后分为Q2，K2，V2(B,H,C,W)三部分，计算Q2，K2得到注意力特征图feature9(B,heads,H*W,H*W)，heads即为将通道数分为heads份，实现多头注意力的计算，然后与V2相乘，并且reshape之后，得到加权过后的特征feature10(B,C,H,W)，由此完成全局空间自注意力计算流程。

然后将特征张量feature8(B,C,H,W)与特征张量feature10(B,C,H,W)相加作残差连接，得到特征feature11，作为语义信息增强模块最后的输出，其中B,C,H,W分别表示输入的数量、特征图的通道数、特征图的高和宽。整体经过通道自注意力模块和全局空间自注意力模块，完成语义信息的增强。

进一步的，所述一种基于自注意力的医疗影像分割方法，使用pytorch框架编写深度学习模型，模型训练使用的损失函数如下：

L＝0.5*Dice_loss+0.5*CE_loss

Dice表示集合相似度度量函数，Dice_loss即为1-Dice，CE_loss为交叉熵分类损失。

与现有技术相比，本发明具有如下优点和有益效果：

(1)本发明提供的基于自注意力的医疗影像分割方法利用自注意力能够在医疗影像如胃部息肉影像上达到很好的分割性能。本方案对于输入的医疗图像张量(C*H*W)，一般通道数(C)为3，在经过7x7卷积的预处理之后，输出通道数提高数倍，高度H和宽度W缩小2倍的张量。之后将该张量输入编码器，编码器由多个基础block组成，每一个基础block包含bottleneck瓶颈模块以及上述提到的多尺度特征提取编码结构，这两个部分串行连接。bottleneck模块由三层卷积和一个残差连接组成，在串行经过若干bottleneck模块后，将输出输入到多尺度特征提取编码结构。多尺度特征提取编码结构拼接经过其内部三条支路的特征，经过卷积之后，作为整个block的获取的特征张量输出。此时的特征张量的尺寸，相较于原图，高度H和宽度W已经缩小了8倍。将特征张量输入语义特征提取器，语义特征增强器利用多层堆叠的语义特征提取结构获得经过通道和全局空间加权过后的语义特征；之后将特征输入与编码器对应的解码结构，在对应尺寸的部分采用跳连的方式对语义特征做空间细节的补充，解码器单个模块由两层卷积和一个上采样模块完成。

(2)本发明针对医疗影像中病变区域尺寸变化大，不易分割，设计了基于自注意力的多尺度特征提取结构。基于自注意力的多尺度特征提取结构由多头自注意力结构以及空洞卷积实现，使用空洞卷积实现模块对图像多种感受野特征的获取，利用多头自注意力结构对特征图(feature maps)进行处理，以抑制冗余信息，增强关键的结构特征。这种结构既能利用多个不同空洞率的空洞卷积获取多种感受野的特征，又能利用多头自注意力抑制无关信息和冗余信息，保证特征图的有效性。

(3)本发明针对医疗影像中病变区域形状多变，不易学习，设计了基于自注意力的语义特征增强结构。基于自注意力的语义特征提取结构由通道自注意力模块和全局空间自注意力模块实现，使用通道自注意力模块对特征图各通道的语义特征进行注意力选择，增强与病变区域相关的通道，抑制与病变区域无关的通道；利用全局空间自注意力模块对特征图的各个区域的空间特征进行选择，增强与病变区域相关的空间信息，抑制与病变区域无关的空间信息通道，强化难以分割的边缘信息。这种结构既能利用通道自注意力模块保证语义特征在通道上的有效性，又能利用全局空间自注意力模块保证语义特征在空间上的关键性。

附图说明

图1是本发明实施例中的“基于自注意力的医疗影像分割”范式网络示意图。

图2是本发明实施例中编码器-语义特征增强器-解码器模块结构示意图。

图3是本发明实施例中多尺度编码结构示意图。

图4是本发明实施例中语义特征增强block结构示意图。

图5是本发明实施例中多尺度编码结构block结构示意图。

具体实施方式

下面结合实例和附图，讲解具体的医疗影像分割流程，但该发明并不仅限于该实例。

以3x512x512的医疗图像作为训练图像，也以3x512x512的医疗图像作为训练图像，主要步骤包括：

1.数据预处理以及模型训练超参数设置：

1.1本实例使用Kvasir-seg行演示。将1000张胃部息肉影像及对应的掩膜图像按照8:1:1分为训练集，验证集和测试集，在训练集上训练，同时在验证集上找出最优的模型，并且在测试集上计算得到最终的分割准确率。

1.2将训练集图像以batch size为4的3x512x512规格张量，输入网络模型进行训练，全部数据迭代150次，训练所用的损失函数为：

L＝0.5*Dice_loss+0.5*CE_loss

Dice表示集合相似度度量函数,Dice_loss即为1-Dice，CE_loss为交叉熵分类损失。损失函数的权重大小可以更改，一般选用0.5。

2.编码：

原始的4x3x512x512的图像张量首先经过由多个block组成的编码器网络如图2所示。编码器各block之间采用串行连接。每一个基础block包含若干个bottleneck瓶颈模块和一个基于自注意力的多尺度特征提取编码结构，如图5所示，bottleneck瓶颈模块和多尺度特征提取编码结构这两个部分串行连接，bottleneck模块由三层卷积和一个残差连接组成，在串行经过若干bottleneck瓶颈模块后，将输出输入到多尺度特征提取编码结构，如图3所示。多尺度特征提取编码结构拼接经过其内部三条支路的特征，经过卷积之后，作为整个block的获取的特征张量输出。

所述的多尺度特征提取编码结构使用多头注意力和空洞卷积结合的方式完成对多尺度特征的提取。整个结构包含两个1x1的卷积、一个3x3的卷积和两个使用空洞卷积实现的多头注意力模块，两个空洞卷积的空洞率分别是1和2，能够获得不同尺度的感受野，因此能够实现多尺度特征的提取。输入张量feature1(B,C,H,W)首先经过1x1卷积完成提高特征维度的操作，得到中间张量feature2(B,4*C,H,W)，然后中间张量经过一个三分支的结构，分别是3x3卷积，空洞率为1的多头自注意力(MHSA 3x3)和空洞率为2多头自注意力(MHSA 3x3)，使用不同大小的感受野提取不同尺度的特征，然后拼接三个分支返回的张量feature3(B,12*C,H,W)，经过1x1卷积，降低张量维度feature4(B,C,H,W)。将该模块放入ResNet网络的瓶颈层(bottleneck)中，实现模块的灵活嵌入。在本方案中，特征经过该结构后，能够实现多尺度的特征提取。

依赖空洞卷积的特性，这一设计能够获得多尺度的特征，并且借由自注意力机制能够去除冗余，增强有效特征。经过编码器之后，此时的特征张量的尺寸，相较于原图，高度H和宽度W已经缩小了8倍，通道数则提高为256，即输出4x256x64x64。

3.语义特征增强：

将尺寸为4x256x64x64张量输入到语义特征增强模块中进行语义增强，如附图4所示。语义特征增强模块主要是利用多头自注意力机制对特征进行注意力增强。下式为自注意力的计算公式。

特征张量feature5经由通道自注意力模块完成对通道的注意力增强，首先经过线性映射，将特征张量feature5分成Q1，K1，V1(B,H,C,W)三个张量，Q1，K1，V1为分别为Query，Key和Value的缩写，在接下来的注意力计算过程中，在Query中查询对应Key的注意力权重，然后与Value相乘，得到注意力加权值。计算过程如下，Q1，K1进行矩阵相乘，得到注意力特征图feature6(B,H,C,C)，将注意力特征图与V1相乘，并且reshape之后，得到加权过后的特征feature7(B,C,H,W)，由此完成通道自注意力计算流程。然后将特征张量feature5(B,C,H,W)与特征张量feature7(B,C,H,W)相加，进行残差连接得到feature8(B,C,H,W)，将得到的特征feature8输入全局空间自注意力模块，同样将特征经过卷积映射后分为Q2，K2，V2(B,H,C,W)三部分，计算Q2，K2得到注意力特征图feature9(B,heads,H*W,H*W)，heads即为将通道数分为heads份，实现多头注意力的计算，然后与V2相乘，并且reshape之后，得到加权过后的特征feature10(B,C,H,W)，由此完成全局空间自注意力计算流程。

然后将特征张量feature8(B,C,H,W)与特征张量feature10(B,C,H,W)相加作残差连接，得到特征feature11，作为语义信息增强模块最后的输出。整体经过通道自注意力模块和全局空间自注意力模块，完成语义信息的增强。输出特征张量尺寸为4x512x32x32。

4.解码

之后将语义特征输入到解码器当中，如附图1所示。4x512x32x32的张量进入3个解码block组成的解码器。每个解码block由上采样模块、与编码器中相同尺寸特征相连接的跳连结构(skip connection)以及卷积模块组成。每一层解码，上采样将张量尺寸提高两倍，跳连结构(skip connection)将语义特征与对应尺寸的编码器获得的空间纹理特征在进行拼接，利用编码器获得的纹理特征补充语义特征在细节上的不足，并且去除上采样过程中产生的噪声，之后利用卷积模块将各通道之间的信息进行交互补充，将通道间的信息逐渐转移到空间维度。最后获得4x2x512x512的张量，完成医疗影像的分割。

5.测试

将测试集中的待分割影像输入到训练好的影像分割模型中得到分割结果。

本发明在网络模型中主要体现在两个部分，编码器中的多尺度特征提取模块和随后的语义信息增强模块，所提出的网络结构，在Kvasir-seg数据集上，分割后的图像mdice为93％，mIou为88％。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (7)

1.一种基于自注意力的医疗影像分割方法，其特征在于，包括如下步骤：

首先构建并训练影像分割模型，所述影像分割模型包括编码器、语义特征增强模块和语义特征增强模块，具体处理过程如下；

步骤1，利用编码器中的多尺度特征提取结构获得图像的多尺度的特征，得到隐藏特征图；

步骤2，将隐藏特征图输入到全局语义特征增强模块中，得到语义特征；

步骤3，将语义特征输入解码器中，经过多个解码block完成特征解码，每个解码block包括上采样模块和卷积模块，并且在每一次上采样之后与编码器中相应每一层特征进行跳连连接实现特征融合，输出一个两通道的特征图，为最后分割完成的结果图；

将待分割影像输入到训练好的影像分割模型中得到分割结果。

2.如权利要求1所述的一种基于自注意力的医疗影像分割方法，其特征在于：步骤1中，编码器由多个编码block组成，各编码block之间采用串行连接，每一个基础编码block包含bottleneck瓶颈模块以及基于自注意力的多尺度特征提取编码结构，所述bottleneck瓶颈模块由三层卷积和一个残差连接组成。

3.如权利要求1所述的一种基于自注意力的医疗影像分割方法，其特征在于：所述的多尺度特征提取结构使用多头注意力和空洞卷积结合的方式完成对多尺度特征的提取，整个结构包含两个1x1的卷积、一个3x3的卷积和两个使用空洞卷积实现的多头注意力模块，两个空洞卷积的空洞率分别是1和2，能够获得不同尺度的感受野，因此能够实现多尺度特征的提取；

输入的张量feature1(B,C,H,W)首先经过1x1卷积完成提高特征维度的操作，得到中间张量feature2(B,4*C,H,W)，然后中间张量feature2经过一个三分支的结构，分别是3x3卷积，空洞率为1的多头自注意力和空洞率为2多头自注意力，使用不同大小的感受野提取不同尺度的特征，然后拼接三个分支返回的张量feature3(B,12*C,H,W)，经过1x1卷积降低张量维度，得到张量feature4(B,C,H,W)，其中(·,·,·,·)用于说明张量的尺寸，B,C,H,W分别表示输入的数量、特征图的通道数、特征图的高和宽。

4.如权利要求1所述的一种基于自注意力的医疗影像分割方法，其特征在于：所述的语义特征增强结构包括两个部分，分别是通道自注意力模块和全局空间自注意力模块；在实现的过程中，首先将特征张量feature5(B,C,H,W)输入通道自注意力模块，经过线性映射之后，将特征张量按通道数均分成Q1，K1，V1(B,H,C,W)，Q1，K1，V1为分别为Query，Key和Value的缩写，在接下来的注意力计算过程中，在Query中查询对应Key的注意力权重，然后与Value相乘，得到注意力加权值，计算过程如下，Q1，K1进行矩阵相乘，得到注意力特征图feature6(B,H,C,C)，将注意力特征图与V1相乘，并且reshape之后，得到加权过后的特征feature7(B,C,H,W)，由此完成通道自注意力计算流程；

然后将特征张量feature5(B,C,H,W)与特征张量feature7(B,C,H,W)相加，进行残差连接得到特征feature8(B,C,H,W)，将得到的特征feature8输入全局空间自注意力模块，同样将特征经过卷积映射后分为Q2，K2，V2(B,H,C,W)三部分，计算Q2，K2得到注意力特征图feature9(B,heads,H*W,H*W)，heads即为将通道数分为heads份，实现多头注意力的计算，然后与V2相乘，并且reshape之后，得到加权过后的特征feature10(B,C,H,W)，由此完成全局空间自注意力计算流程；

然后将特征张量feature8(B,C,H,W)与特征张量feature10(B,C,H,W)相加作残差连接，得到特征feature11，作为语义信息增强模块最后的输出，其中(·,·,·,·)用于说明张量或特征或特征图的尺寸，B,C,H,W分别表示输入的数量、特征图的通道数、特征图的高和宽。

5.如权利要求1所述的一种基于自注意力的医疗影像分割方法，其特征在于：模型训练使用的损失函数如下：

L＝a*Dice_loss+(1-a)*CE_loss

其中，Dice表示集合相似度度量函数，Dice_loss即为1-Dice，CE_loss为交叉熵分类损失，a为权重值。

6.如权利要求1所述的一种基于自注意力的医疗影像分割方法，其特征在于：解码器包括3个解码block，解码block中上采样的级别分别是1/8原图，1/4原图和1/2原图大小。

7.如权利要求5所述的一种基于自注意力的医疗影像分割方法，其特征在于：a的取值为0.5。

Images