CN112949838A - 基于四分支注意力机制的卷积神经网络及图像分割方法 - Google Patents

Abstract

本发明公开了基于四分支注意力机制的卷积神经网络及图像分割方法，解决了现有技术中特征信息提取不全面，获取特征信息维度单一对医学图像分割精度和准度较低的问题，网络利用四个分支组成的注意力结构来捕获通道和空间位置之间的跨维度交互特征，帮助其学习更多的通道相关性和空间相关性以及通道空间交互的相关性；利用长短跳跃连接模块使用长短跳跃连接来替代普通的跳跃连接，用于提高高分辨率信息和低分辨率信息的特征融合，采用本发明网络对图像进行分割，能够提高医学图像，特别是腹部CT图像中肝脏和肝脏肿瘤的分割精度和准确度。

Description

基于四分支注意力机制的卷积神经网络及图像分割方法

技术领域

本发明属于图像处理技术及模式识别领域，具体涉及基于四分支注意力机制的卷积神经网络及图像分割方法。

背景技术

肝癌已成为世界上最常见、最致命的癌症，严重影响人类健康。手工标记肝脏和肝脏肿瘤具有主观性，准确性有限，且缺乏可重复性。通常CT图像具有噪声大、对比度低，以及肝脏和肝脏肿瘤与其他组织的边界灰度差异性较小等特点，并且肝脏肿瘤的形状和大小复杂多样，与邻近器官灰度值相近，因此直观分割肝脏和肝脏肿瘤比较困难；同时，对腹部CT图像进行逐切片手工标注不仅过程繁琐、效率低下，而且极易受到主观因素的影响，导致其分割精度有限。因此，对肝脏及肝脏肿瘤自动分割的研究不仅有助于临床医生进行术前分析和诊断，而且可以减少临床医生的工作量。目前，计算机视觉结合医学影像研究已成为智能医疗领域热点。其中，基于深度学习的肝脏及肝脏肿瘤分割技术可以获取肝脏以及肝脏肿瘤的大小以及几何形状等信息，从而辅助医生的初期诊断和治疗。

在深度学习技术出现之前，肝脏和肝脏肿瘤分割通常是半自动的，它们主要依靠基于模型驱动的图像分割算法，例如活动轮廓模型、图切割、形状统计模型等。这些方法可以大致分为三类：基于像素的方法、基于图的方法和基于轮廓的方法。第一种方法包括阈值化和区域合并，这种方法只能实现较低的肝脏和肝脏肿瘤分割精度。基于图的方法可以通过简单地标记前景和背景来实现肝脏分割，并且它们不需要迭代操作。但分割结果很容易受到标记结果的影响，并且要求高分辨率图像具有较高的计算成本。基于轮廓的肝脏分割或肝脏肿瘤分割可以利用曲线或形状演变提供更好的分割结果。然而利用这些算法精确提取肝脏和肝脏肿瘤是很困难的。

相比于传统肝脏分割方法，深度学习方法能够充分利用大量训练样本的数据多样性，使得肝脏及肝脏肿瘤分割结果优于传统方法。全卷积神经网络(Fully ConvolutionalNetworks,FCN)是一种经典的端到端深度学习网络，该网络通常采用多级编码器-解码器结构，并且编码器和解码器通常由大量标准卷积层与反卷积层组成。Olaf等人提出的U-Net网络架构是近年来基于编解码的医学图像分割领域中最流行的网络。Gu等人将通过ImageNet进行预训练的ResNet作为U-Net网络中的编码器进行医学图像分割，取得了较高的分割精度。为了进一步利用特征图中可能有用的信息，Alom等人提出的R2U-Net引入了循环卷积，能够多次使用同一层提取特征。Zhou等人提出的UNet++在U-Net中使用不同的深度的连接代替远程连接，这样避免了低级和高级特征的粗略融合。改进U-Net的另一种思路是在编码器和解码器之间添加注意力机制，以关注感兴趣的区域。Oktay等人提出Attention U-Net中注意力模块通过对空间位置的特征加权，捕获空间注意力。Chen等人提出的FED-Net用于自动肝脏病变分割，使用SE-block捕获通道注意力。Fan等人提出MA-Net，网络设计了两个注意力模块分别捕获全局中的空间和通道注意力。为了从CT数据中提取到时间信息，Cicek和Milletari等人分别提出了基于3D-CNN的3D U-Net和V-Net。

现有的分割网络可以很好地进行端到端的肝脏及肝脏肿瘤分割，但分割精度和准确度依然有待提高。腹部CT中肝脏和肝脏肿瘤大小和形状复杂多变，与邻近器官灰度值相近，器官边界难以区分。传统注意力编解码网络中引入的注意力模块主要是根据空间或通道不同的重要性有选择地改变输入或赋予输入变量不同的权重。传统注意力机制包括空间注意力和通道注意力，他们可以获得空间和通道的依赖性。虽然传统注意力机制的使用可以为神经网络带来较大程度的性能提升，但现有网络结构只有限的考虑了空间或通道一个维度的注意力模块，这种注意力模块对于信息的关注和提取是有限的。同时，传统编解码网络为了使分割肝脏和肝脏肿瘤取得更高的分割准确率，引入了卷积操作和池化操作，这两个操作获得了更深层次的语义特征，但池化操作降低了图像分辨率，阻碍了边缘等浅层特征的向下传输，导致网络传输了大量的低分辨率语义特征，没有得到足够的边缘和小目标信息特征。现有神经网络使用的注意力机制忽略了通道和空间位置之间的跨维度依赖关系，这使得提取不到足够的空间和通道的交互信息。其次，传统跳跃连接在特征映射中重复传输低分辨率信息可以提高学习效率，但这种操作会导致提取的图像特征模糊，从而导致分割的准确率降低。

发明内容

为了解决现有技术中特征信息提取不全面，获取特征信息维度单一对医学图像分割精度和准度较低的问题，本发明提供了基于四分支注意力机制的卷积神经网络及图像分割方法，能够提高医学图像，特别是腹部CT图像中肝脏和肝脏肿瘤的分割精度和准确度。

为了实现以上目的，本发明提供了基于四分支注意力机制的卷积神经网络，包括U-Net基础网络结构，在编码器和解码器的特征融合处设置四分支注意力机制模块，四分支注意力机制模块获取包括通道注意力、空间注意力以及通道和空间之间所产生的跨维度交互注意力；在跳跃连接处设置长短跳跃连接模块，长短跳跃连接模块包括在每层池化操作之后设置的残差模块，残差模块包括反卷积操作和激活操作，并将结果合并进跳跃连接中；长短跳跃连接模块还包括在跳跃连接与解码器拼接之前设置的额外卷积模块，额外卷积模块包括卷积操作、归一化处理操作和激活操作，编码器传输的特征通过额外卷积模块后再传输到解码器。

进一步地，所述四分支注意力机制模块定义为输入输出维度相同的四个分支，通过四个分支来捕获输入的(H,W)、(C,C)、(H,C)和(C,W)维度之间的依赖关系，从而捕获空间注意力、通道注意力以及空间通道跨维度交互注意力，给定X∈R^(C×H×W)作为输入，其中，C是通道数，H是输入特征图的高度，W是输入特征图的宽度。

进一步地，所述四分支注意力机制模块的第一个分支获取空间注意力包括：

1)给定原始输入特征X∈R^(C×H×W)，将其维度调整为X∈R^(C×N)，其中N＝H×W；

2)将X∈R^(C×N)的转置矩阵与X₁∈R^(N×C)和X₂∈R^(C×N)相乘，并通过归一化计算得到空间注意力矩阵M∈R^(N×N)，

其中m_ji代表空间注意力矩阵M中第i个位置与第j个位置之间的相关性，x代表像素值；同时，对X∈R^(C×H×W)进行维度变换，生成原始特征矩阵Q∈R^(C×N)，对原始特征矩阵Q∈R^(C×N)和空间注意力矩阵M∈R^(N×N)执行矩阵乘法，得到加权空间注意力矩阵；

3)将加权空间注意力矩阵乘比例系数α后与原始输入特征X∈R^(C×H×W)进行逐元素求和，得到最终输出Out₁∈R^(C×H×W)。

进一步地，所述四分支注意力机制模块的第二个分支获取通道注意力包括：首先计算通道注意力矩阵M∈R^(C×C)；然后将原始特征矩阵X∈R^(C×H×W)转置为Q∈R^(C×N)，并将Q∈R^(C×N)矩阵与M∈R^(C×C)矩阵相乘，相乘后在矩阵结果中添加比例系数α，与原始输入特征X∈R^(C×H×W)进行逐元素求和，得到最终输出Out₂∈R^(C×H×W)。

进一步地，所述四分支注意力机制模块的第三个分支获取H维和C维的交互注意力包括：

1)将原始输入特征X∈R^(C×H×W)映射转置为X₁∈R^(W×H×C)，在W维度上分别进行全局最大池化和全局平均池化，得到特征映射X₂∈R^(2×H×C)；

2)将特征映射X₂∈R^(2×H×C)通过标准卷积层和归一化层，得到输出X₂∈R^(1×H×C)；

3)将输出X₂∈R^(1×H×C)通过sigmoid激活层生成注意力权重，将注意力权重应用于X₁∈R^(W×H×C)，再进行维度调整，得到输出Out₃∈R^(C×H×W)。

进一步地，所述四分支注意力机制模块的第四个分支获取C维和W维的交互注意力包括：首先将原始输入特征X∈R^(C×H×W)通过H维的池化操作转置为X₂∈R^(1×C×W)，然后将X₂∈R^(1×C×W)通过sigmoid激活层生成注意力权重，将注意力权重应用于X₁∈R^(W×H×C)，再进行维度调整，得到输出Out₄∈R^(C×H×W)。

进一步地，所述网络的运行参数为：学习率η＝1×10^-4，使用Adam梯度下降优化网络模型。

本发明还提供了基于四分支注意力机制的卷积神经网络的图像分割方法，包括：首先对医学CT图像进行预处理；然后将预处理后的医学CT图像输入上述的基于四分支注意力机制的卷积神经网络，输出分割结果。

进一步地，所述预处理包括：采用W/L调窗算法设置医学CT图像的对比度，将灰度像素归一化至设定范围内，并调整图像分辨率。

进一步地，所述W/L调窗算法包括：

1)将图像DICOM转为HU，公式为：

HU＝D×RS+RI

其中，D为图像的DIOCM值；

2)计算映射区间最小值min和最大值max，映射公式为：

min＝(2×WC-WW)/2.0

max＝(2×WC+WW)/2.0

其中，WW为窗宽；WC为窗位；

3)将HU映射到灰度区间[0，255]为：

其中，g为调窗后的输出图像；

所述灰度像素归一化至[-200，250]范围内，分辨率调整为512×512。

与现有技术相比，本发明的基于四分支注意力机制的卷积神经网络(QAU-Net)首先提出了包含四个分支的注意力机制模块，不仅可以分别对空间和通道依赖性进行建模，还可以对通道和空间交叉维度的交互注意进行建模，以捕捉通道和空间位置之间的内部和跨维度交互信息，并且设计了长短跳跃连接模块，主要是在跳跃连接中加入额外卷积模块，并在每层池化操作后都加入一个残差模块，这样有助于提高高分辨率信息和低分辨率信息的特征融合，帮助网络获取到在传统跳跃连接和池化中被忽略的边缘特征，同时在一定程度上防止了大量重复语义特征的传播，避免了低分辨率信息的重复处理，提高了低分辨率和高分辨率信息的特征融合效率，进而更加精确的确定肝脏以及肝脏肿瘤的轮廓位置，实现更为精准的肝脏和肝脏肿瘤分割。

本发明的基于四分支注意力机制的卷积神经网络(QAU-Net)提出了包含四个分支的注意力机制，以捕捉通道和空间位置各自内部注意力和它们之间的跨维度交互。传统的空间和通道注意力机制的缺点是通道注意力和空间注意力是相互独立的，本发明提出了跨维相互作用的概念，它通过捕捉空间维度和通道维度之间的相互作用克服了这个问题。通过训练和学习将注意力集中在任务相关区域，帮助网络过滤不相关区域，兼顾了目标区域信息和边缘细节信息，使分割结果的边界更平滑，分割精度更准确。

本发明的QAU-Net网络还包括长短跳跃连接，避免了低分辨率信息的重复处理，提高了低分辨率信息和高分辨率信息的特征融合效率。对于肝脏肿瘤这样的小目标，池化操作往往会导致小目标特征的丢失，因此本发明在池化操作后加入了一个残差模块，残差模块中的反卷积操作可以恢复池化操作所过滤掉的小对象特征，然后通过跳跃连接将获取的目标特征传输到解码器部分。肝脏这样的大目标需要提取完整的边缘轮廓信息，本发明在跳跃连接中加入的额外卷积模块可以获取到被忽略的边缘特征，自适应地将高分辨率边缘信息传输到解码器区域。

本发明的图像分割方法，利用本发明的QAU-Net网络，能够提高医学CT图像，特别是肝脏和肝脏肿瘤的分割精度，能有效解决现有技术中肝脏以及肝脏肿瘤分割难题，具有广阔智能医学应用前景。

附图说明

图1是本发明的QAU-Net网络的模型图；

图2是本发明的四分支注意力机制模块的模型图；

图3是本发明的四分支注意力机制模块的计算过程图；

图4a是现有的跳跃连接模块的模型图；图4b是本发明的长短跳跃连接模块的模型图；

图5是本发明的方法流程图。

具体实施方式

下面结合说明书附图和具体的实施例对本发明作进一步地解释说明，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

针对传统U型编解码神经网络在分割肝脏以及肝脏肿瘤边界较模糊的影像数据时，小目标肿瘤对象容易丢失，大目标肝脏对象边缘信息容易模糊，从而导致分割精度低的问题，本发明提供了基于四分支注意力机制的卷积神经网络，用于对医学图像，特别是肝脏CT图像进行肝脏以及肝脏肿瘤分割，参见图1、图2、图3和图4b，包括U-Net基础网络结构，在编码器和解码器的特征融合处设置四分支注意力机制模块，四分支注意力机制模块获取包括通道注意力、空间注意力以及通道和空间之间所产生的跨维度交互注意力；在跳跃连接处设置长短跳跃连接模块，长短跳跃连接模块包括在每层池化操作之后设置的残差模块，残差模块包括反卷积操作和激活操作，并将结果合并进跳跃连接中；长短跳跃连接模块还包括在跳跃连接与解码器拼接之前设置的额外卷积模块，额外卷积模块包括卷积操作、归一化处理操作和激活操作，编码器传输的特征通过额外卷积模块后再传输到解码器。

具体地，参见图2，四分支注意力机制模块定义为输入输出维度相同的四个分支，通过四个分支来捕获输入的(H,W)、(C,C)、(H,C)和(C,W)维度之间的依赖关系，从而捕获空间注意力、通道注意力以及空间通道跨维度交互注意力，给定X∈R^(C×H×W)作为输入，其中，C是通道数，H是输入特征图的高度，W是输入特征图的宽度。

本发明提出了一种新的注意力机制，即四分支注意力，它不仅可以分别对空间和通道依赖性进行建模，还可以对通道和空间交叉维度的交互信息进行建模。将四分支注意力定义为一个输入输出维度相同的四分支模块。给定一个X∈R^(C×H×W)作为模块的输入，其中C是通道数，H是输入特征图的高度，W是输入特征图的宽度，通过四个分支来捕获输入的(H,W)、(C,C)、(H,C)和(C,W)维度之间的依赖关系，从而在四分支注意力中实现空间注意力与通道注意力以及空间通道跨维度交互注意力的捕获。

具体地，四分支注意力机制模块的第一个分支获取空间注意力包括：

1)得到空间注意力矩阵，矩阵中的信息主要是各个空间像素之间的相关性，通过加权注意矩阵乘原始特征图来捕获空间注意力，具体的操作过程可以描述如下：给定一个原始输入特征X∈R^(C×H×W)，将其维度调整为X∈R^(C×N)，其中N＝H×W；

2)将X∈R^(C×N)的转置矩阵与X₁∈R^(N×C)和X₂∈R^(C×N)相乘，并通过归一化计算得到空间注意矩阵M∈R^(N×N)，

其中m_ji代表空间注意力矩阵M中第i个位置与第j个位置之间的相关性，x代表像素值；同时，对X∈R^(C×H×W)进行维度变换，生成原始特征矩阵Q∈R^(C×N)，对原始特征矩阵Q和注意力矩阵M执行矩阵乘法，得到加权空间注意力矩阵；

3)将加权空间注意力矩阵乘比例系数α后与原始特征X∈R^(C×H×W)进行逐元素求和，得到最终输出Out₁∈R^(C×H×W)，如下所示：

其中α被初始化为0，在学习中分配到合适的权重，每个位置的结果特征Out₁是带有空间注意力权重和原始特征。

第二个分支获取通道注意力使用类似于获取空间注意力的方式，包括：首先计算通道注意矩阵M∈R^(C×C)，将原始特征矩阵X∈R^(C×H×W)转置为Q∈R^(C×N)，并将Q矩阵与M矩阵相乘，在矩阵结果中添加比例系数α之后，与特征X∈R^(C×H×W)进行逐元素求和，得到最终输出Out₂∈R^(C×H×W)。

第三个分支获取H维和C维的交互注意力包括：

1)将输入特征映射X∈R^(C×H×W)转置为X₁∈R^(W×H×C)，然后在W维度上分别进行全局最大池化和全局平均池化，该步骤减少了无关分支维数的计算，可以提高计算速度，得到特征映射X₂∈R^(2×H×C)；

2)通过标准卷积层和归一化层，得到输出X₂∈R^(1×H×C)；

3)再通过sigmoid激活层生成所得到的注意力权重，注意力权重随后应用于X₁∈R^(W×H×C)，然后再进行维度调整，得到输出Out₃∈R^(C×H×W)，Out₃可以表示为：Out₃＝S(C(P(X₁)))X₁，其中S(·)是sigmoid激活，C(·)是卷积运算，P(·)是池化运算。

第四个分支获取C维和W维的交互注意力与第三个分支类似，包括将X∈R^(C×H×W)通过H维的池化操作转置为X₂∈R^(1×C×W)，进行第三分支相同的操作得到输出Out₄∈R^(C×H×W)，即将X₂∈R^(1×C×W)通过sigmoid激活层生成注意力权重，将注意力权重应用于X₁∈R^(W×H×C)，再进行维度调整，得到输出Out₄∈R^(C×H×W)。

由此，对于输入X∈R^(C×H×W)，从四分支注意力机制模块中获得输出的过程可以表示Out＝1/4(Out₁+Out₂+Out₃+Out₄)。

具体地，参见图4a和图4b，长短跳跃连接模块包括在每层池化操作之后添加残差路径模块，残差模块包括反卷积操作和激活操作，再将结果合并进跳跃连接中；编码器传输的特征通过额外卷积模块后再传输到解码器，额外卷积模块包括卷积操作、归一化处理操作和激活操作，这有助于网络获取在传统跳跃连接的中被忽略的边缘特征。同时，额外卷积块防止大量重复语义特征的传输。

本发明的QAU-Net网络训练阶段使用腹部肝脏CT图像作为输入，QAU-Net网络运行参数为：学习率η＝1×10^-4，使用Adam梯度下降来优化模型。

本发明还提供了基于上述的四分支注意力机制的卷积神经网络的图像分割方法，参见图5，包括：首先对医学CT图像进行预处理；然后将预处理后的医学CT图像输入QAU-Net网络，输出分割结果。本实施例以肝脏CT图像为例，输入肝脏CT图像，输出肝脏以及肝脏肿瘤的分割结果。

具体地，预处理包括应用Window-Leveling(W/L)调窗算法将肝脏CT数据设置至合适的对比度；将数据的灰度像素归一化至设定范围内，并调整图像分辨率。

W/L调窗算法具体步骤为：

(a)将图像DICOM转为HU，公式为：

HU＝D×RS+RI

其中，D为图像的DIOCM值，本实施例设置RS值为1，RI值为-1024；

(b)计算映射区间最小值(min)和最大值(max)，映射公式为：

min＝(2×WC-WW)/2.0

max＝(2×WC+WW)/2.0

其中，WW(window width)为窗宽，本实施例取400hu；WC(window center)为窗位，本实施例取100hu；

(c)将HU映射到灰度区间[0，255]为：

其中，g为调窗后的输出图像。

本实施例将数据的灰度像素归一化至[-200，250]范围内，并导出为图片，分辨率大小为512×512。

为了测试本发明用于分割肝脏及肝脏肿瘤影像的准确性和优越性，通过以下实验进一步说明。硬件实验平台：CPU为Intel Core i9-9900X 10，3.5GHz，GPU为NVIDIAGeForce RTX 2080Ti，显存为11GB；软件平台：PyTorch。实验采用LITS公开数据集中的100例影像数据进行网络模型的训练，30例数据作为测试集。本实施例通过计算以下几个指标参数来评估算法性能，分别是：

RMSD＝max({B_pred,B_gt})，

其中，Dice表示集合相似度，RVD表示相对体积差，VOE表示体积重叠误差；ASD表示平均对称表面距离；RMSD表示最大对称表面距离，RMSE表示肝脏的肿瘤负担；V_seg代表算法分割结果；V_gt代表金标准结果；B_pred表示预测边界；B_gt表示金标准边界。

本实施例将本发明的QAU-Net网络和传统的U-Net网络通过消融实验进行对比验证QAU-Net中两个核心模块：四分支注意力机制模块和长短跳跃连接模块的有效性，结果参见表1：

表1在肝脏测试集上的消融实验的比较

从表1中可以看出，传统U-Net在肝脏和肿瘤中的分割准确率分别为93.99％和82.16％。可以看出，长短跳跃连接可以有效地提高U-Net在肝脏和肝脏肿瘤分割中的分割精度，分别提高1.6％和2.36％。空间和通道注意力的加入明显有助于网络自适应地获取空间和通道信息的相关性，提高分割性能。然而，上述实验表明，四分支注意力机制模块具有更好的特征表征，这说明了在计算注意权重时捕捉跨维度依赖的重要性。与仅获取通道和空间注意相比，加入四分支注意力机制模块后，肝脏和肝脏肿瘤的分割精度分别提高了0.29％和0.71％。证明了QAU-Net中四分支注意力机制模块和长短跳跃连接模块的有效性。

为了验证本发明提出的QAU-Net的优越性，将六种主流的用于肝脏和肝脏肿瘤分割的网络作为比较方法，结果参见表2和表3：

表2在肝脏测试集上的各项指标的平均值及标准差

表3在肝脏肿瘤测试集上的各项指标的平均值及标准差

从表2和表3可以得出使用U-Net、CE-Net、MA-Net、3D U-Net、V-Net和提议的QAU-Net在测试集上的分割性能。很明显，本发明提出的QAU-Net在肝脏和肝脏肿瘤分割中的平均DICE分别为96.13％和85.90％，平均VOE分别为8.52％和24.13％，平均RVD分别为1.85％和0.82％，平均ASSD分别为2.03mm和18.73mm，平均RMSD分别为52.60mm和63.12mm。在肝脏肿瘤分割中，QAU-Net的RMSE值为0.016。除了肝脏分割的RVD值和肝脏肿瘤分割的RMSD值略低于3D-UNet提供的值外，QAU-Net的其余指标均高于比较网络。实验结果表明，本文提出的QAU网络具有较好的性能。通过对表1～表3的综合分析，证明本发明提出的QAU-Net能实现更高精度的肝脏以及肝脏肿瘤分割结果，在智能医疗领域具有广泛的应用前景。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

Claims (10)

1.基于四分支注意力机制的卷积神经网络，其特征在于，包括U-Net基础网络结构，在编码器和解码器的特征融合处设置四分支注意力机制模块，四分支注意力机制模块获取包括通道注意力、空间注意力以及通道和空间之间所产生的跨维度交互注意力；在跳跃连接处设置长短跳跃连接模块，长短跳跃连接模块包括在每层池化操作之后设置的残差模块，残差模块包括反卷积操作和激活操作，并将结果合并进跳跃连接中；长短跳跃连接模块还包括在跳跃连接与解码器拼接之前设置的额外卷积模块，额外卷积模块包括卷积操作、归一化处理操作和激活操作，编码器传输的特征通过额外卷积模块后再传输到解码器。

2.根据权利要求1所述的基于四分支注意力机制的卷积神经网络，其特征在于，所述四分支注意力机制模块定义为输入输出维度相同的四个分支，通过四个分支来捕获输入的(H,W)、(C,C)、(H,C)和(C,W)维度之间的依赖关系，从而捕获空间注意力、通道注意力以及空间通道跨维度交互注意力，给定X∈R^(C×H×W)作为输入，其中，C是通道数，H是输入特征图的高度，W是输入特征图的宽度。

3.根据权利要求2所述的基于四分支注意力机制的卷积神经网络，其特征在于，所述四分支注意力机制模块的第一个分支获取空间注意力包括：

1)给定原始输入特征X∈R^(C×H×W)，将其维度调整为X∈R^(C×N)，其中N＝H×W；

2)将X∈R^(C×N)的转置矩阵与X₁∈R^(N×C)和X₂∈R^(C×N)相乘，并通过归一化计算得到空间注意力矩阵M∈R^(N×N)，

其中m_ji代表空间注意力矩阵M中第i个位置与第j个位置之间的相关性，x代表像素值；同时，对X∈R^(C×H×W)进行维度变换，生成原始特征矩阵Q∈R^(C×N)，对原始特征矩阵Q∈R^(C×N)和空间注意力矩阵M∈R^(N×N)执行矩阵乘法，得到加权空间注意力矩阵；

3)将加权空间注意力矩阵乘比例系数α后与原始输入特征X∈R^(C×H×W)进行逐元素求和，得到最终输出Out₁∈R^(C×H×W)。

4.根据权利要求3所述的基于四分支注意力机制的卷积神经网络，其特征在于，所述四分支注意力机制模块的第二个分支获取通道注意力包括：首先计算通道注意力矩阵M∈R^{(C ×C)}；然后将原始特征矩阵X∈R^(C×H×W)转置为Q∈R^(C×N)，并将Q∈R^(C×N)矩阵与M∈R^(C×C)矩阵相乘，相乘后在矩阵结果中添加比例系数α，与原始输入特征X∈R^(C×H×W)进行逐元素求和，得到最终输出Out₂∈R^(C×H×W)。

5.根据权利要求4所述的基于四分支注意力机制的卷积神经网络，其特征在于，所述四分支注意力机制模块的第三个分支获取H维和C维的交互注意力包括：

1)将原始输入特征X∈R^(C×H×W)映射转置为X₁∈R^(W×H×C)，在W维度上分别进行全局最大池化和全局平均池化，得到特征映射X₂∈R^(2×H×C)；

2)将特征映射X₂∈R^(2×H×C)通过标准卷积层和归一化层，得到输出X₂∈R^(1×H×C)；

3)将输出X₂∈R^(1×H×C)通过sigmoid激活层生成注意力权重，将注意力权重应用于X₁∈R^(W×H×C)，再进行维度调整，得到输出Out₃∈R^(C×H×W)。

6.根据权利要求5所述的基于四分支注意力机制的卷积神经网络，其特征在于，所述四分支注意力机制模块的第四个分支获取C维和W维的交互注意力包括：首先将原始输入特征X∈R^(C×H×W)通过H维的池化操作转置为X₂∈R^(1×C×W)，然后将X₂∈R^(1×C×W)通过sigmoid激活层生成注意力权重，将注意力权重应用于X₁∈R^(W×H×C)，再进行维度调整，得到输出Out₄∈R^{(C ×H×W)}。

7.根据权利要求1所述的基于四分支注意力机制的卷积神经网络，其特征在于，所述网络的运行参数为：学习率η＝1×10^-4，使用Adam梯度下降优化网络模型。

8.基于四分支注意力机制的卷积神经网络的图像分割方法，其特征在于，包括：首先对医学CT图像进行预处理；然后将预处理后的医学CT图像输入如权利要求1至7中任一项所述的基于四分支注意力机制的卷积神经网络，输出分割结果。

9.根据权利要求8所述的基于四分支注意力机制的卷积神经网络的图像分割方法，所述预处理包括：采用W/L调窗算法设置医学CT图像的对比度，将灰度像素归一化至设定范围内，并调整图像分辨率。

10.根据权利要求9所述的基于四分支注意力机制的卷积神经网络的图像分割方法，所述W/L调窗算法包括：

1)将图像DICOM转为HU，公式为：

HU＝D×RS+RI

其中，D为图像的DIOCM值；

2)计算映射区间最小值min和最大值max，映射公式为：

min＝(2×WC-WW)/2.0

max＝(2×WC+WW)/2.0

其中，WW为窗宽；WC为窗位；

3)将HU映射到灰度区间[0，255]为：

其中，g为调窗后的输出图像；

所述灰度像素归一化至[-200，250]范围内，分辨率调整为512×512。

Images