CN113160232A - 基于MU-Net应用于CT影像的颅内出血病灶分割算法 - Google Patents

Abstract

本发明公开了一种基于MU‑Net应用于CT影像的颅内出血病灶分割算法，所述颅内出血病灶分割算法在基于U‑Net的基础上提出了一个新的分割结构MU‑Net，并将其应用到颅内出血分割任务中。在编码器模块，引入了Res2Net的网络模块。这样的设计可以提取更精细的多尺度特征，并增加特征图的感受野。为了减少编码层和解码层对应层次之间存在的语义鸿沟，提出了多编码信息融合模块(MIF)，通过对特征进行信息融合有效地弥补解码器丢失的全局信息。除此之外，为了进一步减小编码器解码器之间的语义鸿沟并且聚集多尺度信息，本发明提出了新的解码器模块(MDB)。

Description

基于MU-Net应用于CT影像的颅内出血病灶分割算法

技术领域

本发明属于智能医学影像处理领域，涉及一种基于MU-Net应用于CT影像的颅内出血病灶分割算法。

背景技术

颅内出血(Intracranial Hemorrhage,ICH)是一种发生在脑室内或脑组织中的出血性疾病。颅内出血包含：脑室内出血(IVH)、脑实质性出血(IPH)、蛛网膜下腔出血(SAH)、硬膜外出血(EDH) 和硬膜下血肿(SDH)。诊断颅内出血是医学领域的一个重要挑战。确定颅内出血的部位是治疗病人的关键。目前的诊断颅内出血的方法是对大脑进行CT扫描。由于脑组织、血液、肌肉和骨骼等对X射线吸收特性不同，CT扫描会产生高对比度图像，然后供医生查看。颅内出血病灶分割的研究针对的是存在颅内出血的CT切片，进一步得到出血病灶的区域。这类研究可以辅助医师估计出血量、预测死亡率等。

在颅内出血病灶分割领域，U-Net网络已经展现了显著的性能优势。然而，U-Net的网络设计仍存在以下问题：U-Net的编码层的卷积操作过于简单，并不能提取更精细的特征；U-Net的跳跃连接设计使得浅层编码层的特征将直接与深层解码层的特征进行连接，这意味着解码层将引入不相关的噪声从而导致像素的错误分类；解码层的双线性插值的上采样方法无法聚集多尺度特征信息，从而影响图像病灶的边缘和细节的还原，限制了网络的分割性能。

发明内容

为了解决目前颅内出血病灶分割领域U-Net分割性能不佳的问题，本发明提供了一种基于MU-Net应用于CT影像的颅内出血病灶分割算法。

本发明的目的是通过以下技术方案实现的：

一种基于MU-Net应用于CT影像的颅内出血病灶分割算法，包括如下步骤：

步骤一、数据获取

从DICOM格式的医学CT影像得到CT图像值，对得到的CT图像值进行开窗操作，合成图片并保存成NIFTI格式；

步骤二、数据扩充

(1)CT图像和标签进行通道融合得到融合图像；

(2)将融合图像进行数据增强处理，得到新融合图像；

(3)将新融合图像进行通道拆分，得到新CT图像；

步骤三、在特征编码器模块中加入Res2Block

(1)输入1×1卷积计算，其输出的特征图通道数设为n，引入超参数s表示将特征图的通道分成多少个组，则每个尺度的特征图的通道数w＝n/s；

(2)均分后每个组的特征设为x_i,i∈{1,2,...,s}，定义K_i()为3×3 的卷积核，其输出为y_i，每个子特征x_i与K_i-1()相加，然后作为K_i()的输入，y_i的表达式：

(3)将每个尺度的输出特征进行通道拼接；

(4)将拼接之后的特征图进行1×1的卷积操作，进而得到这个 block的输出；

步骤四、在解码器模块中设计加入MD模块

(1)输入1×1卷积计算，其输出的特征图通道数设为n，将通道数划分为4份，均分后每个组的特征设为x_i,i∈{1,2,3,4}；

(2)定义

为步长为1的3×3的反卷积核，其输出为y_i，每个子特征x_i与

相加，然后作为

的输入，y_i的表达式如下：

(3)将y_i进行通道拼接；

(4)将拼接后的特征图作为步长为2的3×3反卷积的输入；

步骤五、在U-Net原有基础上引入MIF模块

(1)对应编码层的特征图输出进行特征提取：

其中，k∈{1,2,3}，当k＝1时，代表当前为一个编码层输出之后的 MIF模块；f_i代表了对应编码层的输出，F_i代表的是经过3×3卷积核 SE模块之后得到的特征图；

(2)将F_i,i≠k经过反卷积处理得到与F_k相同维度的特征图：

其中，DC代表了反卷积操作；

(3)按照如下公式将得到的相同维度的特征图进行通道聚合，使用1×1卷积得到最终的多融合特征，即MIF模块的输出：

其中，C_1×1为1×1卷积操作；

步骤六：设置损失函数

损失函数如下公式所示：

其中，N代表的是像素数，p_(k,i)∈[0,1]和g_(k,i)∈[0,1]分别代表着k类预测概率和真实标签，K是类别的数量，w_k代表着像素类的权重；

步骤七、输出预测结果。

相比于现有技术，本发明具有如下优点：

1、创新性地引入了Res2Net的网络模块并嵌入到U-Net中并作为编码层的特征提取器，其结构如图1所示。这样的设计可以提取更精细的多尺度特征，并增加特征图的感受野。

2、为了减少编码层和解码层对应层次之间存在的语义鸿沟，提出了多编码信息融合模块(MIF)，其结构如图3所示，通过信息融合的方式有效地弥补解码器丢失的全局信息。MIF引入了SE(Squeeze and Excitation)模块以自适应去融合不同阶段的编码信息，然后再进行与解码器的跳跃连接从而弥补了之前方法全局信息的缺失。MIF模块通过多个特征聚合的方式消除这种编码层与解码层之间的语义信息缺失，从而解决语义鸿沟问题，提升模型的分割性能。

3、为了多尺度并且更细粒度地还原图像的边缘与细节，提出了新的解码器模块——多尺度反卷积模块(MDB)，如图2所示。在每一个反卷积模块中又增加小的反卷积操作，增加了每一层的感受野大小，以更细粒度的方式进行上采样操作，从而更好的还原图像的边缘和细节。

4、本发明将以上提出的模块在U-Net的基础上进行替换或改进，得到新的分割网络结构—多尺度MU-Net(Multiscale U-Net, MU-Net)，如图5所示，并应用到颅内出血病灶分割任务中。MU-Net 网络结构仍然分成两个模块。特征编码器模块和特征解码器模块。为了更好地提取多尺度的特征，编码器模块中的使用的是Res2Block。特征解码器模块中使用的是MDB模块。为了减少跳跃连接造成的语义鸿沟，在原有的基础上加入了MIF模块。实验证明，本发明提出的方法是非常有效的。

附图说明

图1为Res2Net模块；

图2为MD模块；

图3为MIF模块；

图4为SE模块结构图；

图5为颅内出血病灶分割的网络结构；

图6为数据扩充示意图；

图7为分割效果可视化。

具体实施方式

下面结合附图对本发明的技术方案作进一步的说明，但并不局限于此，凡是对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。

本发明在基于U-Net的基础上提出了一个新的分割结构MU-Net，并将其应用到颅内出血分割任务中。在编码器模块，引入了Res2Net 的网络模块。这样的设计可以提取更精细的多尺度特征，并增加特征图的感受野。为了减少编码层和解码层对应层次之间存在的语义鸿沟，提出了多编码信息融合模块(MIF)，通过对特征进行信息融合有效地弥补解码器丢失的全局信息。除此之外，为了进一步减小编码器解码器之间的语义鸿沟并且聚集多尺度信息，本发明提出了新的解码器模块(MDB)。具体实施步骤如下：

步骤一：数据获取

本发明使用的数据集是一个颅内出血的公开数据集CT-ICH，这个数据集收集了82个患者的CT扫描，其中36个患者存在颅内出血。每个患者有30张CT切片，切片厚度为5mm。患者平均年龄和年龄标准差分别是27.8和19.5。存在出血的区域被专业的放射科医师进行了标注。

针对于数据格式，数据集的原作者已经对DICOM格式的图像进行了开窗操作，使用两个窗口：大脑(窗位40，窗宽120)和颅骨(窗位700，窗宽120)合成图片并保存成NIFTI格式。

步骤二：数据扩充

由于使用的数据集存在未出血的病例，但本发明关注的是出血病灶的分割。因此，本发明将数据集重新整理，将只存在出血图片和标注筛选出来，一共是318张CT切片。318张图像数据量不足以训练本发明提出的网络模型。因此，本发明进行了数据扩充处理。

由于出血的CT切片带有出血区域的标签，在做数据扩充的时候就要针对CT图像和标签同时进行。如图6所示，数据扩充的流程分以下三个步骤：

(1)CT图像和标签进行通道融合得到融合图像。

(2)将融合图像进行随机旋转变换、翻转变换、缩放变换、对比度变换、噪声扰动等数据增强处理，得到新融合图像。

(3)将新融合图像进行通道拆分，得到新CT图像。

本发明通过以上流程将样本在原来的基础上扩充了10倍，并按照4:1的比例重新划分了训练集和测试集，得到训练样本3047张，测试样本768张。

步骤三：在特征编码器模块中加入Res2Block

在特征编码器中引入了Res2Net模块作为特征提取器。其网络模型如图1所示。首先，将输入1×1卷积计算，其输出的特征图通道数设为n。在这里引入一个新的超参数s，表示将特征图的通道分成多少个组，s＝4。因此，每个尺度的特征图的通道数w＝n/s。值得注意的是，划分后的特征图的大小不变，仅仅是特征图的通道数发生了改变。均分后每个组的特征设为x_i,i∈{1,2,...,s}。定义K_i()为3×3的卷积核，其输出为y_i。每个子特征x_i与K_i-1()相加，然后作为K_i()的输入。为了减少参数量，省略了第一个尺度的3×3卷积操作。下列公式展示了y_i的表达式：

其中，x_i,i∈{1,2,...,s}为均分后每个组的特征，K_i()为3×3的卷积核，y_i为其输出。

每个3×3卷积核的输入是该层前面的所有分离的特征信息 {x_j,j≤i}，这样的处理使得每个组的输出包括了多个尺度的特征，丰富了特征信息。然后，将每个尺度的输出特征进行通道拼接。最后，将拼接之后的特征图进行1×1的卷积操作，其目的是将这些多尺度的特征进行融合，进而得到这个block的输出。为了加速训练，使用经过预训练的Res2Net50的前四个特征提取块作为整个编码层的特征提取器。

步骤四：在解码器模块中设计加入MD模块

本发明在Res2Net的启发下，设计了多尺度反卷积模块 (MultiscaleDeconvolution Block,MDB)。在每一个反卷积模块中又增加小的反卷积操作，增加了每一层的感受野大小，以更细粒度的方式进行上采样操作，从而更好的还原图像的边缘和细节。其网络结构如图2所示。

其中，图中橙色和绿色的方块代表的是反卷积操作。在这里，本发明使用了两种反卷积，虽然卷积核大小都是3×3，但是其步长不一样。橙色的3×3卷积的步长是1，padding设置也是1。因此，反卷积前后特征图的大小并没有发生改变。与橙色反卷积块不同的是，绿色的反卷积块设置的步长是2，padding也是1，经过反卷积后的特征图增大了，从而达到了上采样的目的。具体步骤如下：

首先，将输入1×1卷积计算，其输出的特征图通道数设为n。与Res2Block不同的是，本发明将通道数划分为4份。类似地，划分后的特征图的大小不变，仅仅是特征图的通道数发生了改变。均分后每个组的特征设为x_i,i∈{1,2,3,4}。定义

为步长为1的3×3的反卷积核，其输出为y_i。每个子特征x_i与

相加，然后作为

的输入。y_i的表达式如下：

其中，

为步长为1的3×3的反卷积核。

然后，将y_i进行通道拼接。最后，将拼接后的特征图作为步长为 2的3×3反卷积的输入，使得特征图增大，从而实现上采样。

步骤五：在U-Net原有基础上引入MIF模块

本发明提出了多编码信息融合模块(Multi-encoder Information Fusion,MIF)。MIF引入了SE(Squeeze and Excitation)模块以自适应去融合不同阶段的编码信息，然后再进行与解码器的跳跃连接从而弥补了之前方法全局信息的缺失。MIF的设计思路如图3所示。

SE模块是一种软注意力机制，SENet通过对特征图通道之间的相互依赖关系的显式建模，可以自适应地校准通道之间的特征响应，从而学习到通道之间的对结果的相对重要程度。随后通过不同权重的增强或抑制(重要程度高的增强，重要程度低的抑制)，进而提升网络模型的性能。图4展示了SE模块的网络结构。SE模块关注了通道间的关系，增加了模型对通道维度特征的敏感性。SE模块的具体操作和其名字一样，分为Squeeze(挤压)和Excitation(激发)模块。首先，是对输入的特征图进行挤压操作，如下列公式所示：

其中，x_c为经过卷积核处理后得到的特征图X的第c个子集，维度为H×W。挤压操作通常采用全局最大池化或者全局平均池化将全局信息压缩为一个通道维度的描述子z_c。挤压的目的是让输出的特征图可以利用到局部范围之外的上下文信息。

接下来，激励操作的目的是抓取通道之间的关系。如下公式所示：

s＝F_ex(z,W)＝σ(g(z,W))＝σ(W₂ReLU(W₁z))；

其中，W是用于控制特征图维度的参数，

W₁通过降维系数r降低特征图的维度，再经过ReLU函数激活后，通过W₂将特征图恢复为原来的维度。σ()代表的是Sigmoid函数。

激励操作需要满足两个准则：(1)灵活的计算通道之间的非线性关系；(2)学习到的关系是非互斥的，因为这里允许通过多通道的特征，而不是one-hot的形式。因此，这里采用Sigmoid形式的门控机制。

最后，将学习到的各个通道的激活值s与原始特征图X进行乘运算得到最后的输出

如下公式所示：

其中，s_c为各个通道的激活值，x_c为原始特征图。

在SE模块中，模型通过训练学习到了各通道之间的权重参数，使得模型将注意力集中在对结果贡献大的通道上，进而提升了模型的性能。

在MIF模块中，通过将当前编码层输出特征图与深层次的编码层输出的特征图相结合来重构跳跃连接。

首先，对应编码层的特征图输出进行特征提取。如下公式所示：

在这里一共有三个MIF模块，故k∈{1,2,3}。当k＝1时，代表当前为一个编码层输出之后的MIF模块。f_i代表了对应编码层的输出，F_i代表的是经过3×3卷积核SE模块之后得到的特征图。

由于F_i,i≠k与F_k的维度不一致，将F_i,i≠k经过反卷积处理得到与 F_k相同维度的特征图，其公式如下所示：

其中，DC代表了反卷积操作。在这里，使用反卷积的方法实现上采样。

最后，如下公式所示，将得到的相同维度的特征图进行通道聚合，使用1×1卷积得到最终的多融合特征，即MIF模块的输出。MIF模块通过多个特征聚合的方式消除这种编码层与解码层之间的语义信息缺失，从而解决语义鸿沟问题，减少不相关噪声的引入，进而提升网络的分割性能。

其中，C_1×1为1×1卷积操作。

步骤六：设置损失函数

本发明的网络架构的训练过程是端到端的，网络框架的输入是 CT图像，输出是预测的标签图像，与真实的标签图像计算损失迭代训练网络。这本质上也是一个像素分类问题。在深度学习领域，最常用的损失函数是交叉熵损失。但是由于颅内病灶只占有整个图像一小部分区域，交叉熵损失对于这样的任务表现得并不理想。在本发明中，使用了Dice系数损失来代替交叉熵损失。损失定义如下公式所示：

其中，N代表的是像素数，p_(k,i)∈[0,1]和g_(k,i)∈[0,1]分别代表着k类预测概率和真实标签。K是类别的数量。w_k代表着像素类的权重，本发明中，

步骤七：输出预测结果

本发明使用的深度学习模型是在Pytorch框架下实现的，使用 NVIDIARTX 2080TI显卡进行GPU加速训练。实验部分使用的数据集是数据处理之后得到的数据集。在训练过程中，使用的优化器是 Adam，初始学习率0.0002，学习率的调整策略是根据训练损失调节的，如果每3个epoch的训练损失不变，则学习率降为原来的0.5倍。图片的分辨率设置成448×448，每个mini-batch的batchsize设置成16，总共训练100个epoch。表1的实验结果表明本发明提出的方法在颅内出血分割任务中取得了优异的成绩，且具有广泛的应用前景。另外，图7可视化了出血病灶的分割效果。从左到右依次是原始图片、医生标注的病灶标签、U-Net网络的分割效果、CE-Net网络的分割效果和使用本方法的分割效果。从图中可以地直观看出，本发明的分割效果比U-Net和CE-Net更优异，能更好地还原边缘信息和细节。值得一提的是，由于标注设备的原因，由图7所示，放射科医师标注的标签并不能完全拟合出血病灶区域，反而是本发明的分割效果更接近于真实的出血病灶区域。

表1

方法	Dice	Precision	Sensitivity
				U-Net	0.7220	0.7958	0.6776
CE-Net	0.7254	0.7854	0.6882
				MU-Net	0.7957	0.8136	0.7882

Claims (3)

1.一种基于MU-Net应用于CT影像的颅内出血病灶分割算法，其特征在于所述颅内出血病灶分割算法包括如下步骤：

步骤一、数据获取

从DICOM格式的医学CT影像得到CT图像值，对得到的CT图像值进行开窗操作，合成图片并保存成NIFTI格式；

步骤二、数据扩充

(1)CT图像和标签进行通道融合得到融合图像；

(2)将融合图像进行数据增强处理，得到新融合图像；

(3)将新融合图像进行通道拆分，得到新CT图像；

步骤三、在特征编码器模块中加入Res2Block

(1)输入1×1卷积计算，其输出的特征图通道数设为n，引入超参数s表示将特征图的通道分成多少个组，则每个尺度的特征图的通道数w＝n/s；

(2)均分后每个组的特征设为x_i,i∈{1,2,...,s}，定义K_i()为3×3的卷积核，其输出为y_i，每个子特征x_i与K_i-1()相加，然后作为K_i()的输入；

(3)将每个尺度的输出特征进行通道拼接；

(4)将拼接之后的特征图进行1×1的卷积操作，进而得到这个block的输出；

步骤四、在解码器模块中设计加入MD模块

(1)输入1×1卷积计算，其输出的特征图通道数设为n，将通道数划分为4份，均分后每个组的特征设为x_i,i∈{1,2,3,4}；

(2)定义

为步长为1的3×3的反卷积核，其输出为y_i，每个子特征x_i与

相加，然后作为

的输入；

(3)将y_i进行通道拼接；

(4)将拼接后的特征图作为步长为2的3×3反卷积的输入；

步骤五、在U-Net原有基础上引入MIF模块

(1)对应编码层的特征图输出进行特征提取：

其中，k∈{1,2,3}，当k＝1时，代表当前为一个编码层输出之后的MIF模块；f_i代表了对应编码层的输出，F_i代表的是经过3×3卷积核SE模块之后得到的特征图；

(2)将F_i,i≠k经过反卷积处理得到与F_k相同维度的特征图：

其中，DC代表了反卷积操作；

(3)按照如下公式将得到的相同维度的特征图进行通道聚合，使用1×1卷积得到最终的多融合特征，即MIF模块的输出：

其中，C_1×1为1×1卷积操作；

步骤六：设置损失函数

其中，N代表的是像素数，p_(k,i)∈[0,1]和g_(k,i)∈[0,1]分别代表着k类预测概率和真实标签，K是类别的数量，w_k代表着像素类的权重；

步骤七、输出预测结果。

2.根据权利要求1所述的基于MU-Net应用于CT影像的颅内出血病灶分割算法，其特征在于所述步骤三中，y_i的表达式如下：

3.根据权利要求1所述的基于MU-Net应用于CT影像的颅内出血病灶分割算法，其特征在于所述步骤四中，y_i的表达式如下：

Images