CN115311194A - 一种基于transformer和SE块的CT自动肝脏图像分割方法 - Google Patents

Abstract

本发明提供了一种基于transformer和SE块在电子计算机断层扫描中自动肝脏图像分割方法，属于医学图像分割领域。本发明通过图像分割方法，对肝脏实现自动分割。引入transformer，SE块使其能够自使用地提取图像特征，同时抑制不相关区域，以保证网络聚焦于特定的分割任务相关的特征。用RepVGG替代U‑Net网络的解码器部分，用一种简单的架构，来实现速度与精度的平衡。本发明解决了现有的卷积神经网络在肝脏图像分割上存在的感受野不足，无法建立有效的远程依赖等问题，并提高了肝脏分割的准确性。

Description

一种基于transformer和SE块的CT自动肝脏图像分割方法

技术领域

本发明涉及一种基于transformer和SE块的CT自动肝脏图像分割方法，属于医学图像分割领域。

背景技术

肝癌是世界上最常见、死亡率最高的癌症之一。肝脏分割是肝癌诊断和手术计划的必要前提。为了从腹部CT图像中获得完整、准确的肝脏分割图像，成像医生需要逐个手动标记切片。然而，每例患者的肝脏与周围邻近器官的对比度较低，边界较弱，肝脏形态差异较大。这个过程不仅是劳动密集型的，而且也是对医生经验的检验。因此，临床迫切需要自动、准确的肝脏分割方法。

在过去的几十年里，研究人员开发的许多自动肝脏分割方法可以分为三类：一类是基于传统图像分析的，一类是基于机器学习的，另一类是基于深度学习的。基于传统的图像分析方法，大多是半自动的，易受噪声影响，分割过程复杂。虽然基于机器学习的方法极大地提高了分割精度，但对鉴别特征的设计有很高的要求。然而，随着医学图像越来越复杂，很难获得理想的图像。基于深度学习的方法可以根据提供的数据集自动学习和识别特征，实现肝脏的自动分割。

在基于深度学习的方法中，Jonathanlong等人提出的FCN具有显著的像素级分割精度。该模型与CNN的主要区别在于它使用卷积层而不是全连接层。 Ronneberger等人在FCN的基础上提出了u-net模型。该模型在医学图像分割领域取得了巨大的成功。随后的大多数模型都是在u-net的基础上进行修改的，这促进了医学图像分割的发展。然而，尽管卷积神经网络在医学图像分割领域取得了巨大的成功，但它也遇到了瓶颈。卷积运算的固有局部性通常在建立远程关系时有局限性，这将产生较弱的性能，尤其是对于在纹理、形状和大小上表现出巨大差异的目标结构。与之前基于CNN的方法不同，transformer不仅在全局上下文表现出非常强大的性能，而且在大规模的预训练下，它还表现出良好的下游任务的能力。它的全注意力结构不仅提高了特征提取的能力，而且保持了并行计算的特点。

发明内容

为了解决现有技术中存在的一些问题，如缺乏感受野，无法获得有效的全局信息；本发明提供了一种基于卷积变换的CT肝脏图像自动分割方法，部分解决了上述问题。

本发明在u-net网络模型的总体框架中增加了Repvgg模块、SE模块和trans-former模块。选择Repvgg模块的原因是模型的计算速度快，现有的计算库和硬件对3×3卷积进行了深入优化，计算密度高且有效，并且在节省内存的同时具有灵活性。选择Transformer是因为模型全部由注意力机制组合而成，可以实现更好的提取全局信息。选择SE模块的目的是通过一组权重值来表达每个特征通道的重要性，并根据权重值对特征通道进行重新排序，增加有用特征通道的权重，削弱不太有用的特征通道。

本发明提供了一种基于transformer和SE块的CT自动肝脏图像分割方法，该分割方法包括以下步骤：

步骤1：选择包含131组3D腹部CT扫描的Lits2017作为所需数据集，其中121组数据用作训练集，另外10组数据用作测试集。

步骤2：对数据集进行图像预处理和数据增强。首先，读取lits2017数据集的图像，将其转换为灰度图像，并通过直方图均衡化增强图像的对比度和清晰度。为了消除训练过程中的过拟合问题，对原始数据集进行剪切、翻转、旋转和弹性变形以扩展数据集。数据增强可以提高网络模型的泛化能力，增强噪声和网络模型的鲁棒性。

步骤3：构建网络模型：

3.1.本发明的编码器部分由编码器部分和解码器部分组成。编码器部分负责特征提取，解码器部分负责特征定位。整个架构由一个Repvgg模块、12个 transformer模块、4个SE模块和4个上采样模块组成。卷积核的大小为3×3，池层的步长为2×2。经过卷积块、池化、transformer等一系列操作后，每个512 x512x1特征图像获得大小为512x512x1的分割图像。

3.2.在整个网络中，首先是由一个Repvgg模块构成。Repvgg在VGG网络的基础上加入了Identity和残差分支，就相当将ResNet网络中的精华部分应用到VGG中。由于残差结构具有多个分支，就相当于给网络增加了多条梯度流动的路径，类似于模型集成的思路，简单又高效。且当前大多数引擎对3x3的卷积做了特定的加速，减少了整个网络的时间。

3.3.解码器的第二部分是由12个transformer构成。Transformer模型全部由注意力机制组合而成，可以实现更好的提取全局信息，但是容易忽视低分辨率的图像细节，在解码的过程中容易产生偏差。

transformer模型包括：位置编码，前向传播，多头注意力模块，自注意力和相加归一化。

位置编码：通过注入数据的顺序信息增强模型输入。

自注意力模块中，三个输入的初始向量分别为K(key),Q(query),V(value), 权值的计算公式是：

其中为了防止Q与K点乘的乘积过大，所以除以

3.4.此外，为了从编码器的特征映射中获取信息，在每一个跳跃连接中加入 SE模块，自适应的提取图像特征。因为模块中的通道注意力机制，使得网络能够专注于特定的分割任务。

SE模块的具体操作：第一步，通过全局平均池化将每个通道的特征映射压缩为实数，第二步，添加一个连通的神经网路，非线性变换以获得每个特征通道的权重。最后，将获得的权重归一化后应用于每个通道的特征，从而达到了提取特定信息的目的。

3.5.本网络模型采用了经典的编解码结构，包括上采样，下采样和跳跃连接。跳跃连接把编码器每一次下采样得到的特征通过级联与解码器上采样结果融合，从而使分割结果更加精准。

3.6.损失函数利用BCE损失函数和Dice损失函数进行融合构建损失函数作用于损失值的计算。

BCE损失函数公式为：

其中

l_n＝-w[y_n·logx_n+(1-y_n)·log(1-x_n)] (2)

N表示图像的像素总数，yn和xn分别表示第i个像素的真实值和预测值。

Dice损失函数公式如下：

结合Dice损失函数与二元交叉熵损失函数构建网络的损失函数：

Loss＝α·BCE_loss+(1-α)·Dice_loss (4)

其中，a为权重因子，用于调节Dice损失函数和二元交叉函数所占比重，取值范围为0–1。

3.6.此方法，采用了如下几种常见的指标：

Dice coeffcient(DC):用于度量两个集合的相似性，值越大，表示分割的精度越高。

其中X表示分割结果，Y是表示的标签。

准确率Accuracy:

敏感度Sensitivity:

特异度Specificity:

其中TN、FP、FN和TP分别代表真阴性，假阳性，假阴性，真阳性的数量。

AUC指标是用来评价分类器对于正样本和负样本的分辨能力。AUC是ROC 曲线与坐标轴围成的面积，以Sen为横轴，Spe为纵轴所绘制而成的曲线，越靠近左上角，模型的性能就越好。

本发明提供的技术方法，具有以下优势：

本发明提供了一种基于transformer和卷积的CT肝脏图像分割方法，该方法将Repvgg、transformer和SE模块组合成了一个U型网络。在构建的网络模型中，引入的transformer模块在全局上下文方面表现的很强大。该网络模型克服了卷积操作在建模远程关系时存在的固有局限性，特别是对于在纹理，形状和大小等方面表现出较大差异的目标结构。

但是单纯的使用transformer并不能够产生令人满意的结果，因为trans- former在所有阶段只专注于全局上下文，缺乏低分辨率特征的详细定位信息，所以在通过上采样时无法恢复有效的特征信息，导致分割结果粗糙。所有选择加入CNN,将CNN在提取底层细节的优势融入到网络模型中，有效的弥补了 transformer的缺陷。在跳跃连接时，还加入了SE模块，自适应的提取图像特征。因为模块中的通道注意力机制，使得网络能够专注于特定的分割任务。

本发明中还采用结合Dice损失函数与二元交叉熵损失函数构建网络的损失函数，对网络模型进行优化训练。二元交叉熵损失函数是通过突出特征像素和标签像素的距离差异，来优化整体的网络结构参数，Dice损失函数是通过度量两个样本之间的相似度。

附图说明

图1网络结构示意图；

图2 SE模块具体结构示意图；

图3 Repvgg模块具体结构示意图；

图4本发明方法流程图；

具体实施方式

基于本发明中的实施例，本领域技术人员在没有提出创造性劳动前提下所得到的其他实施例，都在本发明保护的范围之内。

为了使本发明的目的和优势更加清楚，下面对本发明的技术方案作进一步的描述。本发明提供了一种基于transformer和SE块的CT自动肝脏图像分割方法，该分割方法包括以下步骤：

步骤1：选择包含131组3D腹部CT扫描的Lits2017作为所需数据集，其中121组数据用作训练集，另外10组数据用作测试集。

步骤2：对数据集进行图像预处理和数据增强。首先，读取lits2017数据集的图像，将其转换为灰度图像，并通过直方图均衡化增强图像的对比度和清晰度。为了消除训练过程中的过拟合问题，对原始数据集进行剪切、翻转、旋转和弹性变形以扩展数据集。数据增强可以提高网络模型的泛化能力，增强噪声和网络模型的鲁棒性。

步骤3：构建网络模型：

3.1.本发明的编码器部分由编码器部分和解码器部分组成。编码器部分负责特征提取，解码器部分负责特征定位。整个架构由一个Repvgg模块、12个 transformer模块、4个SE模块和4个上采样模块组成。卷积核的大小为3×3，池层的步长为2×2。经过卷积块、池化、transformer等一系列操作后，每个512 x512x1特征图像获得大小为512x512x1的分割图像。

3.2.在整个网络中，首先是由一个Repvgg模块构成。Repvgg在VGG网络的基础上加入了Identity和残差分支，就相当将ResNet网络中的精华部分应用到VGG中。由于残差结构具有多个分支，就相当于给网络增加了多条梯度流动的路径，类似于模型集成的思路，简单又高效。且当前大多数引擎对3x3的卷积做了特定的加速，减少了整个网络的时间。

3.3.解码器的第二部分是由12个transformer构成。Transformer模型全部由注意力机制组合而成，可以实现更好的提取全局信息，但是容易忽视低分辨率的图像细节，在解码的过程中容易产生偏差。

transformer模型包括：位置编码，前向传播，多头注意力模块，自注意力和相加归一化。

位置编码：通过注入数据的顺序信息增强模型输入。

自注意力模块中，三个输入的初始向量分别为K(key),Q(query),V(value), 权值的计算公式是：

其中为了防止Q与K点乘的乘积过大，所以除以

3.4.此外，为了从编码器的特征映射中获取信息，在每一个跳跃连接中加入 SE模块，自适应的提取图像特征。因为模块中的通道注意力机制，使得网络能够专注于特定的分割任务。

SE模块的具体操作：第一步，通过全局平均池化将每个通道的特征映射压缩为实数，第二步，添加一个连通的神经网路，非线性变换以获得每个特征通道的权重。最后，将获得的权重归一化后应用于每个通道的特征，从而达到了提取特定信息的目的。

3.5.本网络模型采用了经典的编解码结构，包括上采样，下采样和跳跃连接。跳跃连接把编码器每一次下采样得到的特征通过级联与解码器上采样结果融合，从而使分割结果更加精准。

3.6.损失函数利用BCE损失函数和Dice损失函数进行融合构建损失函数作用于损失值的计算。

BCE损失函数公式为：

其中

l_n＝-w[y_n·logx_n+(1-y_n)·log(1-x_n)] (10)

N表示图像的像素总数，yn和xn分别表示第i个像素的真实值和预测值。

Dice损失函数公式如下：

结合Dice损失函数与二元交叉熵损失函数构建网络的损失函数：

Loss＝α·BCE_loss+(1-α)·Dice_loss (12)

其中，a为权重因子，用于调节Dice损失函数和二元交叉函数所占比重，取值范围为0–1。

3.6.此方法，采用了如下几种常见的指标：

Dice coeffcient(DC):用于度量两个集合的相似性，值越大，表示分割的精度越高。

其中X表示分割结果，Y是表示的标签。

准确率Accuracy:

敏感度Sensitivity:

特异度Specificity:

其中TN、FP、FN和TP分别代表真阴性，假阳性，假阴性，真阳性的数量。

AUC指标是用来评价分类器对于正样本和负样本的分辨能力。AUC是ROC 曲线与坐标轴围成的面积，以Sen为横轴，Spe为纵轴所绘制而成的曲线，越靠近左上角，模型的性能就越好。

Claims (1)

1.本发明提供了一种基于transformer和SE块的CT自动肝脏图像分割方法，该分割方法包括以下步骤：

步骤1：选择包含131组3D腹部CT扫描的Lits2017作为所需数据集，其中121组数据用作训练集，另外10组数据用作测试集。

步骤2：对数据集进行图像预处理和数据增强。首先，读取lits2017数据集的图像，将其转换为灰度图像，并通过直方图均衡化增强图像的对比度和清晰度。为了消除训练过程中的过拟合问题，对原始数据集进行剪切、翻转、旋转和弹性变形以扩展数据集。数据增强可以提高网络模型的泛化能力，增强噪声和网络模型的鲁棒性。

步骤3：构建网络模型：

3.1.本发明的编码器部分由编码器部分和解码器部分组成。编码器部分负责特征提取，解码器部分负责特征定位。整个架构由一个Repvgg模块、12个transformer模块、4个SE模块和4个上采样模块组成。卷积核的大小为3×3，池层的步长为2×2。经过卷积块、池化、transformer等一系列操作后，每个512x512x1特征图像获得大小为512x512x1的分割图像。

3.2.在整个网络中，首先是由一个Repvgg模块构成。Repvgg在VGG网络的基础上加入了Identity和残差分支，就相当将ResNet网络中的精华部分应用到VGG中。由于残差结构具有多个分支，就相当于给网络增加了多条梯度流动的路径，类似于模型集成的思路，简单又高效。且当前大多数引擎对3x3的卷积做了特定的加速，减少了整个网络的时间。

3.3.解码器的第二部分是由12个transformer构成。Transformer模型全部由注意力机制组合而成，可以实现更好的提取全局信息，但是容易忽视低分辨率的图像细节，在解码的过程中容易产生偏差。

transformer模型包括：位置编码，前向传播，多头注意力模块，自注意力和相加归一化。

位置编码：通过注入数据的顺序信息增强模型输入。

自注意力模块中，三个输入的初始向量分别为K(key),Q(query),V(value),权值的计算公式是：

其中为了防止Q与K点乘的乘积过大，所以除以

3.4.此外，为了从编码器的特征映射中获取信息，在每一个跳跃连接中加入SE模块，自适应的提取图像特征。因为模块中的通道注意力机制，使得网络能够专注于特定的分割任务。

SE模块的具体操作：第一步，通过全局平均池化将每个通道的特征映射压缩为实数，第二步，添加一个连通的神经网路，非线性变换以获得每个特征通道的权重。最后，将获得的权重归一化后应用于每个通道的特征，从而达到了提取特定信息的目的。

3.5.本网络模型采用了经典的编解码结构，包括上采样，下采样和跳跃连接。跳跃连接把编码器每一次下采样得到的特征通过级联与解码器上采样结果融合，从而使分割结果更加精准。

3.6.损失函数利用BCE损失函数和Dice损失函数进行融合构建损失函数作用于损失值的计算。

BCE损失函数公式为：

其中

N表示图像的像素总数，yn和xn分别表示第i个像素的真实值和预测值。

Dice损失函数公式如下：

结合Dice损失函数与二元交叉熵损失函数构建网络的损失函数：

Loss＝α·BCE_loss+(1-α)·Dice_loss (4)

其中，a为权重因子，用于调节Dice损失函数和二元交叉函数所占比重，取值范围为0–1。

3.6.此方法，采用了如下几种常见的指标：

Dice coeffcient(DC):用于度量两个集合的相似性，值越大，表示分割的精度越高。

其中X表示分割结果，Y是表示的标签。

准确率Accuracy:

敏感度Sensitivity:

特异度Specificity:

其中TN、FP、FN和TP分别代表真阴性，假阳性，假阴性，真阳性的数量。

AUC指标是用来评价分类器对于正样本和负样本的分辨能力。AUC是ROC曲线与坐标轴围成的面积，以Sen为横轴，Spe为纵轴所绘制而成的曲线，越靠近左上角，模型的性能就越好。

Images