CN112308835A - 一种融合密集连接与注意力机制的颅内出血分割方法 - Google Patents

Abstract

本发明针对颅内出血区域结构不明确且存在伪影和其他脑组织等噪声对分割任务造成了极大的影响。为提高颅内出血分割的性能，提出了融合密集连接与注意机制的颅内出血分割方法。在全卷积网络的编码器部分引入密集连接块进行颅内出血特征提取，但从编码器中提取的特征并非所有都可用于分割，为此，本文将融合空间和通道注意力的注意力机制融入网络架构中，在空间和通道方面对颅内出血特征进行加权，捕获丰富的上下文关系，获取更为精确的特征。另外，本文采用Focal Tversky损失函数针对处理小面积颅内出血的分割。有效的提升的分割性能，可以实现精确，快速的分割。

Description

一种融合密集连接与注意力机制的颅内出血分割方法

技术领域

本发明涉及医学图像处理及语义分割，具体设计了一种融合密集连接与注意力机制的颅内出血分割方法。

背景技术

颅内出血是一种神经系统疾病，是由血管破裂进入组织并可能延伸脑内内皮细胞导致，一直以来，颅内出血是导致死亡和残疾瘫痪的主要原因，颅脑损伤后，如果不及时的进行诊断和治疗，极有可能会诱发较高的死亡率^[1]。传统的诊断方法由医生人工定量估计出血区域和大小，整个过程非常耗时，且确定其出血的类型和区域十分依赖于医生的经验累积，人为误差也是导致颅内出血诊断偏差的问题所在。

随着深度学习的发展，基于深度学习的图像分割技术已经成为图像分割的重要组成部分，分割任务的挑战性在于识别医学图像中器官或病变的区域位置^[2]。对于颅内出血，深度学习方法最近在分割颅内出血方面取得了成功。其分割目的在于传递和提取出血点定量测量的关键信息。然而，与人体器官分割相比，颅内出的血病灶分割存在更大的困难与挑战：1)与人体其他部位的图像相比，脑部CT图像存在成像伪影及颅骨等脑部组织噪声的复杂情况。2)颅内出血区域常常表现为结构相对不明确的高密度区域，分割任务更具有挑战性。因此需要一种能高效准确分割出血区域的病灶分割方法。

发明内容

本发明设计一种融合密集连接与注意力机制的颅内出血分割方法。用于解决颅内CT图像存在成像伪影及颅骨等脑部组织噪声、颅内出血区域常常结构相对不明确等各种问题，为了达到理想分割效果，该方法通过对颅内出血CT扫描图像数据集进行标注与训练，以全卷积网络融合密集连接块与注意力机制的方式对颅内出血病灶的特征进行精细的提取。在全卷积网络的基础上，采用密集连接的思想，并在网络的编码与解码的连接部分融合了一种包括空间和通道注意的注意力机制，以捕获丰富的上下文关系来精准的提取高质量的颅内出血特征。针对面积较小的颅内出血区域，本方法引入了Focal Tversky损失函数以解决对小面积出血病灶的分割精度不足的问题，有效的提升了颅内出血分割的性能。

网络模型由全卷积密集网络以及该网络中编码器、解码器两者连接间的注意力机制模块组成。本方法在颅内出血分割网络中编码器部分融合了密集连接块，编码器和解码器由池化层，密集连接块，过渡层和上采样层，共计167个卷积层组成。编码器用于提取特征，解码器用于恢复特征至原始输入图像的分辨率，并且采用跳跃连接的方式将编码器和解码器进行连接，以融合前面特征层所提取到的细节信息。

在编解码与解码器中，引入通道和空间注意力机制模块。其中，网络编码器中密集连接块用于获取颅内出血病灶特征，并将编码器中提取的每一层特征输入到注意力机制中，在注意力机制中，将分别在通道注意力和空间注意力上进行特征加权，从而获得颅内出血病灶最详尽的特征以及特征利用，以提高颅内出血分割的准确率。最后，将特征由解码器映射到标签概率以获取分割结果。

附图说明

图1是本发明所述的一种融合密集连接与注意力机制的颅内出血分割方法的卷积神经网络框架。

具体实施方式

请参阅图1所示：

1、一种融合密集连接与注意力机制的颅内出血分割方法，其特征在于提取颅内出血CT扫描图像中颅内出血病灶的特征精细提取，所述方法包括以下步骤：

步骤一：颅内出血CT扫描图像据集采集，采集颅内出血病患的CT扫描图像，并在专业医生的指导下对扫描图像中颅内出血病灶区域进行人工标注。将标注好的图像组成颅内出血病灶数据集进入步骤二；

步骤二：颅内出血病灶数据集训练，接着将我们标注的颅内出血病灶数据集作为我们密集连接与注意力机制模型的训练集，最终得到颅内出血分割模型进行进入步骤三；

步骤三：病灶分割，根据步骤二得到的颅内出血分割模型，对实时采集的颅内出血CT扫描图像进行病灶分割，分割出CT扫描图像中颅内出血病灶的大小以及区域。

2、根据权利要求1所述的一种融合密集连接与注意力机制的颅内出血分割方法，其特征在于，步骤一中所述采集颅内出血数据集方法包括以下步骤：

步骤一：首先利用CT扫描仪扫描脑部图像，并保留进入步骤二；

步骤二：然后删除掉不存在颅内出血情况的病例图像，在医生的指导下使用3dslicer进行人工标注。

3、根据权利要求1所述的种融合密集连接与注意力机制的颅内出血分割方法，其特征在于，步骤二所述的密集连接与注意力机制模型训练包括以下步骤：

步骤一：训练过程中，输入图像进入我们的密集连接与注意力机制网络，进行特征提取，我们的密集连接与注意力机制网络框架采用编码器和解码器的组成结构。它由池化层，密集连接块，过渡层和上采样层，共计167个卷积层组成。编码器用于提取特征，解码器用于恢复特征至原始输入图像的分辨率，并且采用跳跃连接的方式将编码器和解码器进行连接，以融合前面特征层所提取到的细节信息。

编码器以除去全连接层的DenseNet-161为基础网络，如图1所示卷积层 1一密集连接块4构成了编码器部分，包含了3×3卷积的卷积层1步长为2，步长为2的3×3最大池化层，以及4个密集连接块和3个过渡层。每个密集连接块由若干1×1、3×3卷积组合构成，密集连接块1-4中分别包含了6、12、36、 24个1×1、3×3卷积组合。3个过渡层均由批归一化层(BN)、1×1卷积和2×2 平均池化组成。密集连接块中提取的特征图在过渡层中通过卷积与合并来缩小特征图大小。该编码器中共计有160个卷积层，由于网络深度越深，其特征提取能力越强，密集连接块的引入不仅有效的提高颅内出血特征的利用率，而且可以更加有效的进行梯度传递，以防止梯度消失。码器由5个上采样层以及1个卷积层组成。由图1可知，解码器中的1-3个上采样层分别与分别与3-1密集连接块相连接，上采样层4与卷积层1相连。上采样层为2×2的卷积，通过双线性插值实现上采样操作，解码器通过5次上采样使得分割结果最终能拥有更为精细的边缘信息。卷积层2由一个1×1卷积构成，用来恢复分辨率至原始图像分辨率，同时卷积层2也降低了参数量。解码器中采用sigmoid激活函数输出概率范围为(0，1)，获得颅内出血的概率。

我们在上述网络编码器和解码器的连接中引入了一种融合空间和通道注意力的注意力机制模型，该模型将编码器中各通道的特征y₁，y₂，…y_n进行连接，然后在通道和空间上对连接后的特征进行校准获得Y_c、Y_s，最后将它们融合以获得丰富的融合特征，最终将融合后的特征连接到解码器进行解码。

本方法首先将来自每个通道输出的各个颅内出血特征进行连接，作为注意力机制模块的输入。计算公式如下：

式中n是每个层中通道的数量。本文为了简化描述，以通道数为32的输出为例。

在通道注意力模块中，首先进行全局平均池化，以生成特征向量

该特征向量表示的全局信息，其第k个特征向量表示为：

然后，利用两个连接的卷积层对通道注意力中特征向量进行编码，计算公式如下：

其中W₁、W₂表示两个连接卷积层的权重，δ(g)表示对特征向量进行修正线性单元(ReLU)操作。并对重新编码后的特征向量

进行sigmoid操作，以获取通道注意力的权重，该权重将通过与注意力机制模块的输入Y相乘，获得最终的通道注意力，计算公式如下：

其中

表示第i个通道的重要系数，y_i为第i个通道的特征输出。

在空间注意力模块中，空间注意力输入可以表示为：

Y＝[y^1，1，y^1，2，…y^i，j，…y^H，W] (5)

其中，

i∈1，2…H，j∈1，2…W。

然后，本文对空间注意力的输入进行1×1卷积运算，计算公式如下：

d＝W_s*Y (6)

其中，

W_s为空间注意力权重，用于压缩空间域，并生成映射向量，该向量表示空间位置上所有通道的线性组合。本文注意力机制模型将向量最终通过sigmoid操作获取空间注意力权重并计算空间注意力。计算公式如下：

Y_s＝[σ(d_1，1)y^1，1，…σ(d_i，j)y^i，j，…σ(d_H，W)y^H，W] (7)

式中，σ(d_i，j)表示空间信息的重要系数。

获得通道注意力与空间注意力特征之后，本文将两者进行融合，融合的特征表示是通过将按通道注意力和空间注意力特征相加而获得，融合公式如下：

Y_f＝Y_c+Y_s (8)

本文通道和空间注意力机制可以直接适用于任何类型的特征表示问题，并且其促进颅内出血分割网络捕获丰富的脑部CT上下文关系，进行颅内出血特征区域校准。此外，该注意力机制对整个网络的复杂度仅有很小的增加，在不影响其效率的同时，以获得更精确的颅内出血特征。

步骤二：考虑由于小面积的出血病灶并未对损失造成重大影响，因此，对于小面积的出血区域很难进行分割。为解决此问题，针对颅内出血的特点，本文采用Focal Tversky损失函数：

其中为p_i、g_i像素i属于出血区域的概率，

为像素i不属于出血区域的概率。α、β为权重调节系数，ε为非零常数。

FTL＝∑_c(1-Tl)1/γ (10)

其中，γ在[1，3]范围内变化，本文经过比对，选定α＝0.7，β＝0.3，γ＝ 4/3。

4.根据权利要求1所述的种融合密集连接与注意力机制的颅内出血分割方法，其特征在于，步骤三所述的病灶分割包括以下步骤：

步骤一：分割过程中，颅内出血CT扫描图像输入进训练完毕的网络模型中，由网络模型对其进行颅内出血病灶位置区域的分割。

步骤二：本方法对颅内出血病灶的分割结果使用Dice相似性系数、 Hausdorff距离(HD)、精确度(precision)和灵敏度(Sensitivity)作为颅内出血分割任务的评价指标。

Dice相似性系数表达式如下：

精确度(precision)、灵敏度(Sensitivity)表达式如下：

上述式中，TP定义为正确分割为颅内出血的区域(真阳性)，FP定义为将非颅内出血区域错误分割成颅内出血区域(假阳性)，FN定义为错误漏分割颅内出血区域(假阴性)。

Hausdorff距离(HD)表示颅内出血标签和分割结果两者表面点之间的最大欧式距离。其指标越小，分割精度越高。Hausdorff距离公式如下：

式中，颅内出血区域标签点为A，颅内出血分割结果区域表面的点为 B，d(a，b)为两点之间的欧氏距离。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所做的等效结构或等流程变换，或直接或间接运用在相关技术领域，均同理包括在本发明的专利保护范围。

Claims (4)

1.一种融合密集连接与注意力机制的颅内出血分割方法，其特征在于提取颅内出血CT扫描图像中颅内出血病灶的特征精细提取，所述方法包括以下步骤：

步骤一：颅内出血CT扫描图像据集采集，采集颅内出血病患的CT扫描图像，并在专业医生的指导下对扫描图像中颅内出血病灶区域进行人工标注。将标注好的图像组成颅内出血病灶数据集进入步骤二；

步骤二：颅内出血病灶数据集训练，接着将我们标注的颅内出血病灶数据集作为我们密集连接与注意力机制模型的训练集，最终得到颅内出血分割模型进行进入步骤三；

步骤三：病灶分割，根据步骤二得到的颅内出血分割模型，对实时采集的颅内出血CT扫描图像进行病灶分割，分割出CT扫描图像中颅内出血病灶的大小以及区域。

2.根据权利要求1所述的一种融合密集连接与注意力机制的颅内出血分割方法，其特征在于，步骤一中所述采集颅内出血数据集方法包括以下步骤：

步骤一：首先利用CT扫描仪扫描脑部图像，并保留进入步骤二；

步骤二：然后删除掉不存在颅内出血情况的病例图像，在医生的指导下使用3d slicer进行人工标注。

3.根据权利要求1所述的种融合密集连接与注意力机制的颅内出血分割方法，其特征在于，步骤二所述的密集连接与注意力机制模型训练包括以下步骤：

步骤一：训练过程中，输入图像进入我们的密集连接与注意力机制网络，进行特征提取，我们的密集连接与注意力机制网络框架采用编码器和解码器的组成结构。它由池化层，密集连接块，过渡层和上采样层，共计167个卷积层组成。编码器用于提取特征，解码器用于恢复特征至原始输入图像的分辨率，并且采用跳跃连接的方式将编码器和解码器进行连接，以融合前面特征层所提取到的细节信息。

编码器以除去全连接层的DenseNet-161为基础网络，如图1所示卷积层1-密集连接块4构成了编码器部分，包含了3×3卷积的卷积层1步长为2，步长为2的3×3最大池化层，以及4个密集连接块和3个过渡层。每个密集连接块由若干1×1、3×3卷积组合构成，密集连接块1-4中分别包含了6、12、36、24个1×1、3×3卷积组合。3个过渡层均由批归一化层(BN)、1×1卷积和2×2平均池化组成。密集连接块中提取的特征图在过渡层中通过卷积与合并来缩小特征图大小。该编码器中共计有160个卷积层，由于网络深度越深，其特征提取能力越强，密集连接块的引入不仅有效的提高颅内出血特征的利用率，而且可以更加有效的进行梯度传递，以防止梯度消失。码器由5个上采样层以及1个卷积层组成。解码器中的1-3个上采样层分别与分别与3-1密集连接块相连接，上采样层4与卷积层1相连。上采样层为2×2的卷积，通过双线性插值实现上采样操作，解码器通过5次上采样使得分割结果最终能拥有更为精细的边缘信息。卷积层2由一个1×1卷积构成，用来恢复分辨率至原始图像分辨率，同时卷积层2也降低了参数量。解码器中采用sigmoid激活函数输出概率范围为(0，1)，获得颅内出血的概率。

我们在上述网络编码器和解码器的连接中引入了一种融合空间和通道注意力的注意力机制模型，该模型将编码器中各通道的特征y₁，y₂，…y_n进行连接，然后在通道和空间上对连接后的特征进行校准获得Y_c、Y_s，最后将它们融合以获得丰富的融合特征，最终将融合后的特征连接到解码器进行解码。

本方法首先将来自每个通道输出的各个颅内出血特征进行连接，作为注意力机制模块的输入。计算公式如下：

式中n是每个层中通道的数量。本文为了简化描述，以通道数为32的输出为例。在通道注意力模块中，首先进行全局平均池化，以生成特征向量

该特征向量表示的全局信息，其第k个特征向量表示为：

然后，利用两个连接的卷积层对通道注意力中特征向量进行编码，计算公式如下：

其中W₁、W₂表示两个连接卷积层的权重，δ(g)表示对特征向量进行修正线性单元(ReLU)操作。并对重新编码后的特征向量

进行sigmoid操作，以获取通道注意力的权重，该权重将通过与注意力机制模块的输入Y相乘，获得最终的通道注意力，计算公式如下：

其中

表示第i个通道的重要系数，y_i为第i个通道的特征输出。

在空间注意力模块中，空间注意力输入可以表示为：

Y＝[y^1，1，y^1，2，…y^i，j，…y^H，W] (5)

其中，

然后，本文对空间注意力的输入进行1×1卷积运算，计算公式如下：

d＝W_s*Y (6)

其中，

W_s为空间注意力权重，用于压缩空间域，并生成映射向量，该向量表示空间位置上所有通道的线性组合。本文注意力机制模型将向量最终通过sigmoid操作获取空间注意力权重并计算空间注意力。计算公式如下：

Y_s＝[σ(d_1，1)y^1，1，…σ(d_i，j)y^i，j，…σ(d_H，W)y^H，W] (7)

式中，σ(d_i，j)表示空间信息的重要系数。

获得通道注意力与空间注意力特征之后，本方法将两者进行融合，融合的特征表示是通过将按通道注意力和空间注意力特征相加而获得，融合公式如下：

Y_f＝Y_c+Y_s (8)

本文通道和空间注意力机制可以直接适用于任何类型的特征表示问题，并且其促进颅内出血分割网络捕获丰富的脑部CT上下文关系，进行颅内出血特征区域校准。此外，该注意力机制对整个网络的复杂度仅有很小的增加，在不影响其效率的同时，以获得更精确的颅内出血特征。

步骤二：考虑由于小面积的出血病灶并未对损失造成重大影响，因此，对于小面积的出血区域很难进行分割。为解决此间题，针对颅内出血的特点，本文采用Focal Tversky损失函数：

其中为p_i、g_i像素i属于出血区域的概率，

为像素i不属于出血区域的概率。α、β为权重调节系数，ε为非零常数。

FTL＝∑_c(1-Tl)1/γ (10)

其中，γ在[1，3]范围内变化，本文经过比对，选定α＝0.7，β＝0.3，γ＝4/3。

4.根据权利要求1所述的种融合密集连接与注意力机制的颅内出血分割方法，其特征在于，步骤三所述的病灶分割包括以下步骤：

步骤一：分割过程中，颅内出血CT扫描图像输入进训练完毕的网络模型中，由网络模型对其进行颅内出血病灶位置区域的分割。

步骤二：本方法对颅内出血病灶的分割结果使用Dice相似性系数、Hausdorff距离(HD)、精确度(precision)和灵敏度(Sensitivity)作为颅内出血分割任务的评价指标。

Dice相似性系数表达式如下：

精确度(precision)、灵敏度(Sensitivity)表达式如下：

上述式中，TP定义为正确分割为颅内出血的区域(真阳性)，FP定义为将非颅内出血区域错误分割成颅内出血区域(假阳性)，FN定义为错误漏分割颅内出血区域(假阴性)。

Hausdorff距离(HD)表示颅内出血标签和分割结果两者表面点之间的最大欧式距离。其指标越小，分割精度越高。Hausdorff距离公式如下：

式中，颅内出血区域标签点为A，颅内出血分割结果区域表面的点为B，d(a，b)为两点之间的欧氏距离。

Images