CN112734762A - 基于协方差自注意力机制的双路径UNet网络肿瘤分割方法 - Google Patents

Abstract

基于协方差自注意力机制的双路经UNet网络肿瘤分割方法，包括基本X模块、底部模块、下采样模块和上采样模块，基本块X模块包括输入层、两个BN+ReLU层、两个卷积层和输出层，输入层和输出层特征图大小相同，其和底部模块一样结构；下采样模块包括输入层、两个BN+ReLU层、两个卷积层和输出层，采用一个卷积替换残差连接；上采样模块包括输入层、一个上采样块、一个反卷积层和输出层；底部模块设置于底层，上层基本X模块向下层基本X模块进行下采样运算，由底部模块向上层基本X模块进行上采样运算，在双路径UNet基础上构建协方差自注意力机制的双路经UNet网络。该分隔方法具有两个收缩路径和两个扩展路径，提高了检测精度，帮助医生对直肠肿瘤进行诊断和识别。

Description

基于协方差自注意力机制的双路径UNet网络肿瘤分割方法

技术领域

本发明属于医学图像分割分析技术领域，具体涉及到一种基于协方差自注意力机制的双路径UNet网络(简称CSA-DPUNet，Covariance self-attention Double Path UNet)的肿瘤分割方法，特别是涉及到CSA-DPUNet网络的直肠肿瘤分割方法。

背景技术

直肠癌是消化道最常见的恶性肿瘤之一，常见于直肠齿状线与乙状结肠交界处间。而直肠肿瘤到直肠癌有一个相对缓慢的病理过程，只要及时发现治疗，就能有效预防，因此早期直肠肿瘤的准确识别和检测对直肠癌的诊断和治疗具有重要意义。一般来说，CT(Computed Tomography)图像是诊断直肠肿瘤或潜在致癌风险的关键技术，但因技术上的局限性和直肠肿瘤的不明显特征，使得直肠肿瘤在CT图像中不易被发现，如果医生缺乏经验和细心，直肠肿瘤容易被漏诊。随着人工智能算法技术的飞速发展，从图像处理中衍生出的医学图像分割技术，其目的是分割具有特定意义的医学图像并提取相关特征，为临床诊断和病理学研究提供可靠的依据，帮助医生做出更准确的诊断，同时也在医学诊断方面取得了巨大的成功。

基于像素间长距离信息依赖的全局模块被广泛应用于医学图像分割，为了更好地理解这种依赖关系，通常使用一种自注意力机制对像素之间的依赖关系进行建模。自注意力机制旨在对任意两个像素点使用点积运算来表征关系，然而点积运算的结果并不能完全反映两个像素之间的相关性。同时由于每个像素包含丰富的信息，除了自身位置和像素值信息外，还应考虑它对图像中其他像素的影响，而传统的点积运算忽略了全局信息影响对其刻画不够严谨和全面。基于此在计算自注意力机制相关性时，用像素间的协方差来代替传统的点积运算，利用十字交叉注意力网络构造一种交叉操作模式来计算像素之间的相关性。

发明内容

本发明要解决的技术问题在于提供一种新的肿瘤分割方法，该分割从更全面的角度探索更有效的语义信息，提出新的网络模型DPUNet(双路径UNet)由两条收缩路径和两条扩展路径组成，同时为了更好的计算像素之间的相关性，提出了新的协方差的自注意力机制，因此所提出的总的网络模型称作CSA-DPUNet(基于协方差自注意力机制的双路经UNet)。

为了解决上述技术问题，本发明通过以下方式来实现：

基于协方差自注意力机制的双路径UNet网络肿瘤分割方法，主要包括基本X模块、底部模块、下采样模块和上采样模块，所述基本X模块、底部模块、下采样模块和上采样模块均是用于增加表示能力的残差结构；所述基本X模块包括输入层、两个BN+ReLU层、两个3×3步长为1的卷积层和输出层，BN+ReLU层和卷积层相互交叉设置，输入层和输出层特征图大小相同；所述底部模块与基本X模块相同；所述下采样模块包括输入层、两个BN+ReLU层、一个3×3步长为2的卷积层、一个3×3步长为1的卷积层和输出层，BN+ReLU层和卷积层相互交叉设置，采用一个1×1步长为2的卷积替换残差连接；所述上采样模块包括输入层、一个上采样块、一个3×3步长为2的反卷积层和输出层，上采样模块采用反卷积运算用以替换原始残差连接；所述底部块模块设置于底层，其上设置有多个基本块X模块，由上层的基本块X模块向下层的基本块X模块至底部块模块进行下采样运算操作，由底部块模块向上层的基本块X模块进行上采样运算操作。

为了提高DPUNet的性能，本发明进一步调整DPUNet的结构，所述上采样模块还包括协方差自注意力模块(Covariance self-attention)，协方差自注意力模块嵌入上采样块后；所述底部模块上仅在协方差自注意力模块上应用残差连接，改进后的DPUNet网络称作CSA-DPUNet网络。

优选的，所述协方差自注意力模块首先将输入特征为

通过三个1×1的卷积运算分别生成的三个特征图Q、K和V，其中

和

d_q，d_k和d_v分别表示Q，K和V的通道数，取d_q＝d_k，且d_q，d_k和d_v均小于d；

自注意力特征图

通过特征图Q和K的相关性生成，在特征图Q的空间维度中每个像素位置u，可得到

在特征图K中每个对应空间位置u的相关性计算方法为：

其中K_i，u是

第i个元素，

表示Q_u向量的均值，

表示K_i，u向量的均值，i＝[1，2，…，h+w-1]，C_i，u表示特征图Q_u和K_i，u之间的相关性矩阵，

然后通过C计算自注意力特征图SA：

SA_i，u＝softmax(C_i，u) (2)

每个位置u的空间维度上，由

获得十字交叉集合

通过像素之间的长距离信息相关性融合：

其中H_u输出特征图在位置u的特征向量，SA_i，u是SA的通道i和位置u的标量值。

与现有技术相比，本发明具有的有益效果：

本发明提出了一种新的直肠肿瘤分割网络，CSA-DPUNet网络具有两个收缩路径和两个扩展路径，不仅集成了多尺度的语义信息，而且解码器可以在多个尺度上获得足够的细粒度和粗粒度的语义信息，提高了检测精度，并减少网络参数，提高计算效率，能够帮助医生对直肠肿瘤进行诊断和识别，并有助于减少漏诊和降低医生工作强度。同时改善了自注意力模块的缺陷，并通过将协方差自注意力模块与网络模型相结合，使用一种自开发的像素间相关运算来计算注意地图，提高网络的表征能力，能够提取出更丰富有效信息。

附图说明

图1为本发明CSA-DPUNet网络结构图。

图2a为本发明基本X模块结构图。

图2b为本发明下采样模块结构图。

图2c为本发明上采样模块结构图。

图3a为本发明融合协方差自注意力机制的上采样模块结构图。

图3b为本发明融合协方差自注意力机制的底部模块结构图。

图4为本发明协方差自注意力机制模块结构图。

图5为本发明的一种实施例的分隔结果示意图。

具体实施方式

下面结合附图和具体实施例对本发明的具体实施方式作进一步详细的说明。

如图1～3所示，基于协方差自注意力机制的双路径UNet网络肿瘤分割方法，主要包括基本X模块、底部模块、下采样模块和上采样模块，所述基本X模块、底部模块、下采样模块和上采样模块均是用于增加表示能力的残差结构；所述基本X模块包括输入层、两个BN+ReLU层、两个3×3步长为1的卷积层和输出层，BN+ReLU层和卷积层相互交叉设置，输入层和输出层特征图大小相同；所述底部模块与基本X模块相同；所述下采样模块包括输入层、两个BN+ReLU层、一个3×3步长为2的卷积层、一个3×3步长为1的卷积层和输出层，BN+ReLU层和卷积层相互交叉设置，采用一个1×1步长为2的卷积替换残差连接；所述上采样模块包括输入层、一个上采样块、一个3×3步长为2的反卷积层和输出层，上采样模块采用反卷积运算用以替换原始残差连接；所述底部块模块设置于底层，其上设置有多个基本块X模块，由上层的基本块X模块向下层的基本块X模块至底部块模块进行下采样运算操作，由底部块模块向上层的基本块X模块进行上采样运算操作。

为了提高DPUNet的性能，本发明进一步调整DPUNet的结构，所述上采样模块还包括协方差自注意力模块(Covariance self-attention)，协方差自注意力模块嵌入上采样块后；所述底部模块上仅在协方差自注意力模块上应用残差连接。改进后的DPUNet网络称作CSA-DPUNet网络。

如图4所示，每个框分别表示相应的矩阵，矩阵的变量名位于每个框内，矩阵大小表示在每个框的外部，黑叉表示相关运算。若

为输入特征，协方差自注意力模块首先由三个1×1的卷积运算分别生成的三个特征图Q、K和V，其中

和

d_q，d_k和d_v分别表示Q，K和V的通道数，取d_q＝d_k，且d_q，d_k和d_v均小于d；

自注意力特征图

通过特征图Q和K的相关性生成，在特征图Q的空间维度中每个像素位置u，可得到

在特征图K中每个对应空间位置u的相关性计算方法为：

其中K_i，u是

第i个元素，

表示Q_u向量的均值，

表示K_i，u向量的均值，i＝[1，2，…，h+w-1]，C_i，u表示特征图Q_u和K_i，u之间的相关性矩阵，

然后通过C计算自注意力特征图SA：

SA_i，u＝softmax(C_i，u) (2)

每个位置u的空间维度上，由

获得十字交叉集合

通过像素之间的长距离信息相关性融合：

其中H_u输出特征图在位置u的特征向量，SA_i，u是SA的通道i和位置u的标量值。

本发明采用第七届“泰迪杯”数据挖掘挑战赛B题的数据，使用“基于U-Net改进模型的直肠肿瘤分割方法”中相同的预处理、数据扩充和相同的优化器Adam。直肠肿瘤患者的影像数据分为动脉期和门脉期两种，动脉期是患者在造影注射25～30s时间拍摄，而门脉期是在患者造影注射60s后拍摄，两者在肿瘤区域和周围组织的强度存在差异。由CT影像和标注的直肠肿瘤区域掩模作为数据训练样本进行训练，由于CT图像是连续断层扫描图像，故图像中有些含有直肠肿瘤区域，有些则没有。训练集包含1693张带有标注的图像，每张图像都包含直肠肿瘤区域；测试集包含104张带有标注的图像，其中102张图像包含直肠肿瘤区域，剩余2张不包含，全部来自非训练集中的其他患者。所有训练集和测试集图像大小统一为256×256，并进行归一化处理。

为了评价本发明分隔方法的性能，本申请采用Dice系数、查准率P和查全率R三个指标进行，各个指标的计算公式分别如下：

其中：A是标注的直肠肿瘤区域像素构成的集合；B是分割得到的直肠肿瘤区域像素构成的集合；TP表示被正确检测为正样本的像素数量；FP表示被错误检测为正样本的像素数量；FN表示被错误检测为负样本的像素数量。Dice系数的取值范围是[0，1]，Dice系数的值越大，说明算法分割的结果与标注的结果越接近，分割效果越好；如果查准率P越低，说明分割越不够精确；如果查全率R越低，说明越多的直肠肿瘤区域没有被分割出来。

如图5所示，每行对应一个CT图像，第一列为原始CT图像，第二列为真实分割结果，第3列至第8列为模型分割结果。通过分割图像底部列出的Dice值，DPUNet和CSA-DPUNet的分割结果与真实分割最接近，其中CSA-DPUNet更优于DPUNet。

不同网络结构分割性能比较如下表，在四个指标上DPUNet和CSA-DPUNet的性能均优于其他网络结构，分割性能得到了显着改善；与UNet-SCB相比，CSA-DPUNet的Dice系数、P、R和F1分别提高了15.31％、7.2％、11.8％和9.5％；同时，CSA-DPUNet获得了除P外的最佳评估指标值，说明协方差自注意力模块可以提高DPUNet的性能。

同时本发明为证明协方差自注意力模块有效性，训练并测试DPUNet嵌入的原始自注意力模块(SA-DPUNet)、十字交叉注意力模块(CC-DPUNet)和CSA-DPUNet的注意力机制性能对比如下表，与CC-DPUNet相比，CSA-DPUNet的Dice系数、P、R和F1分别提高了2.37％，-0.59％，4.97％和2.37％；与SA-DPUNet相比，CSA-DPUNet的Dice系数、P、R和F1分别增加了1.01％，0％，1.86％和0.62％。因此，CSA-DPUNet的评估指标优于SA-DPUNet和CSA-DPUNet，表明协方差计算可以提高SA-DPUNet的性能。

以上所述仅是本发明的实施方式，再次声明，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进，这些改进也列入本发明权利要求的保护范围内。

Claims (3)

1.基于协方差自注意力机制的双路径UNet网络肿瘤分割方法，其特征在于：主要包括基本X模块、底部模块、下采样模块和上采样模块，所述基本X模块、底部模块、下采样模块和上采样模块均是用于增加表示能力的残差结构；所述基本X模块包括输入层、两个BN+ReLU层、两个3×3步长为1的卷积层和输出层，BN+ReLU层和卷积层相互交叉设置，输入层和输出层特征图大小相同；所述底部模块与基本X模块相同；所述下采样模块包括输入层、两个BN+ReLU层、一个3×3步长为2的卷积层、一个3×3步长为1的卷积层和输出层，BN+ReLU层和卷积层相互交叉设置，采用一个1×1步长为2的卷积替换残差连接；所述上采样模块包括输入层、一个上采样块、一个3×3步长为2的反卷积层和输出层，上采样模块采用反卷积运算用以替换原始残差连接；所述底部块模块设置于底层，其上设置有多个基本块X模块，由上层的基本块X模块向下层的基本块X模块至底部块模块进行下采样运算操作，由底部块模块向上层的基本块X模块进行上采样运算操作。

2.如权利要求1所述的基于协方差自注意力机制的双路径DPUNet网络肿瘤分割方法，其特征在于：所述上采样模块还包括协方差自注意力模块，协方差自注意力模块嵌入上采样块后；所述底部块模块上仅在协方差自注意力模块上应用残差连接。

3.如权利要求2所述的基于协方差自注意力机制的双路径DPUNet网络肿瘤分割方法，其特征在于：所述协方差自注意力模块首先将输入特征为

通过三个1×1的卷积运算分别生成的三个特征图Q、K和V，其中

和

d_q，d_k和d_v分别表示Q，K和V的通道数，取d_q＝d_k，且d_q，d_k和d_v均小于d；

自注意力特征图

通过特征图Q和K的相关性生成，在特征图Q的空间维度中每个像素位置u，可得到

在特征图K中每个对应空间位置u的相关性计算方法为：

其中K_i，u是

第i个元素，

表示Q_u向量的均值，

表示K_i，u向量的均值，i＝[1，2，…，h+w-1]，C_i，u表示特征图Q_u和K_i，u之间的相关性矩阵，

然后通过C计算自注意力特征图SA：

SA_i，u＝softmax(C_i，u) (2)

每个位置u的空间维度上，由

获得十字交叉集合

通过像素之间的长距离信息相关性融合：

其中H_u输出特征图在位置u的特征向量，SA_i，u是SA的通道i和位置u的标量值。

Images