CN115131364B - 一种基于Transformer的医学图像分割方法 - Google Patents

Abstract

本发明公开了一种基于Transformer的医学图像分割方法，属于图像处理技术领域。本发明包括：一、获取医学图像数据集，并分配为训练集和测试集；二、对获得图像进行切割，得到patch图像；三、在U‑Net网络中用TransConvBlock代替原有卷积块，再用自注意力块代替原有Unet编码器剩余部分，获得改进的UNet编码器；四、在解码器部分使用卷积块并依次进行下采样与残差连接，最后将每个输入的patch图像拼接成原图大小；五、使用二进制交叉熵损失函数计算损失，对网络进行训练；六、用图像测试集测试UTCNet，并用图像分割评价指标对模型进行评价。本发明实现了高精度的医学图像分割。

Description

一种基于Transformer的医学图像分割方法

技术领域

本发明涉及图像分割技术领域，更具体地说，涉及一种基于Transformer的医学图像分割方法。

背景技术

结果准确的医学图像分割对计算机辅助诊断和图像引导的手术系统至关重要，对医学扫描中的器官或病变的分割有助于临床医生做出准确的诊断。而在计算机视觉中，卷积神经网络（Convolutional Nueral Networks，CNNs）广泛应用在医学图像分割中。但是，卷积神经网络缺乏对图像中存在的长距离依赖关系进行建模的能力。

也有一些研究希望提高卷积神经网络的长距离依赖关系建模能力，例如图像金字塔、空洞卷积和注意力机制，但是这些方法都没能很好的应用在医学图像分割这一领域。

在现有技术中，在医学图像分割领域广泛使用的是Transformer，获得了巨大的成果。但是Transformer在计算量和提取局部特征上存在弱点，因此在分割精确度上仍有上升空间。

经检索，专利申请公布号CN114445422A，公开日2022年5月6日，公开了一种基于transformer的医学图像分割方法、系统、介质及电子设备；该申请案提取所述医学图像对应的训练集以及测试集；基于transformer构建第一编码器块得到预设分割模型，并将所述训练集输入到所述分割模型中进行训练，其中，当训练次数达到预设阈值后，停止训练，并将所述测试集输入到所述预设分割模型中进行测试，以得到分割图像。该申请案将transformer和卷积神经网络相结合，在传统分割模型U型结构的基础上进行改进，将transformer作为主干网络，融合不同特征，并且对解码器块的结果分别进行深监督，使得模型具有更强的特征提取和特征融合能力。但该申请案的设计思路与本专利存在较大差异，对本专利不具备参考性。

发明内容

1.发明要解决的技术问题

为克服现有技术中医学图像分割领域存在的上述不足，本发明提供了一种基于Transformer的医学图像分割方法；本发明改进了基于U-Net的网络，加入SwinTransformer，利用自注意力，实现了高精度的医学图像分割。

2.技术方案

为达到上述目的，本发明提供的技术方案为：

本发明的一种基于Transformer的医学图像分割方法，包括以下步骤：

步骤一、获取医学图像数据集，并将此数据集分配为图像训练集和图像测试集；

步骤二、对步骤一中获得的图像训练集和图像测试集中的图像进行切割，得到patch图像；

步骤三、在U-Net网络中用TransConvBlock代替原有的卷积块，再用自注意力块代替原有Unet编码器剩余部分，获得改进的UNet编码器；

步骤四、在解码器部分使用卷积块并依次进行下采样与残差连接，最后将每个输入的patch图像拼接成原图大小；

步骤五、使用二进制交叉熵损失函数计算损失，对网络进行训练；

步骤六、用步骤一中的图像测试集测试步骤五所得网络UTCNet，并用图像分割评价指标对模型进行评价。

更进一步地，步骤三中，TransConvBlock的结构为：输入先经过一个1×1卷积核的卷积层，再通过split函数将卷积层输出分为两个，其中一个分支为SwinTBlock，第二个分支为RconvBlock，两个分支结果通过concatenate函数进行连接，输入至卷积核大小为3×3，步长为1的卷积层。

更进一步地，SwinTBlock的组成顺序是：第一层是归一化层；第二层是窗口多头自注意力块；第三层是使用DropPath函数的正则化层；第四层是跳跃连接层；第五层是LN层；第六层是全连接层和GELU激活函数构成的多层感知机层；第七层是Drop Path正则化层；第八层是跳跃连接层。

更进一步地，RconvBlock的组成顺序是：第一层是拥有2个卷积核的卷积层，第二层是ReLU激活函数层；第三层是有2个卷积核的卷积层，第四层是跳跃连接层。

更进一步地，自注意力层结构为：第一个块中第一层为32个卷积核的卷积层，第二层是批归一化层，第三层是ReLU层，第四层是自注意力层，第五层是ReLU层；第六层是32个卷积核的卷积层，前六层定义为AttentionBlock；第七到十二层为AttentionBlock，其中卷积核个数为64，第二个块是4层AttentionBlock块，其中第一层卷积核个数为64，其余三层个数为128；第三个块是1层AttentionBlock块，卷积核个数128。

更进一步地，步骤四中，解码器组成的顺序依次是：第一层为256个卷积核的卷积层，该卷积核大小为3×3，步长为2；第二层是跳跃连接层；第三层是256个卷积核的卷积层，该卷积核大小为3×3，步长为1；第四层是跳跃连接层；第五层是128个卷积核的卷积层，该卷积核大小为3×3，步长为1；第六层是跳跃连接层；第七层是64个卷积核的卷积层，该卷积核大小为3×3，步长为1；第八层是跳跃连接层；第九层32个卷积核的卷积层，该卷积核大小为3×3，步长为1；第十层将输出的每一个patch拼接回原图大小。

更进一步地，步骤五中，损失函数

表示为：

其中w和h是输入图像的宽和高，

对应图像的像素，

代表

位置 的预测。

3.有益效果

采用本发明提供的技术方案，与已有的公知技术相比，具有如下显著效果：

本发明的一种基于Transformer的医学图像分割方法，改进了基于U-Net的医学图像分割模型，在其中加入了Swin Transformer，将Transformer与卷积模块（ConvolutionalModule）结合得到TranConvBlock改进网络编码器部分，分为两个分支（SwinTBlock和RConvBlock），在RConv Block中引入ReLU激活函数；并且在此模型中引入自注意力机制（Self-Attention Mechanism）；最后使用卷积层（Convolutinal Layer）作为解码器并于编码器进行残差连接（Residual Connection），输出预测分割结果。本发明是在U-Net基础结构上，通过引入Swin Transformer与Convolutional Module改进网络的编码器部分，使得模型不仅提高抓取图像局部信息的能力，也促进模型对图像patch之间的信息的理解；同时利用SwinTransformer，提取更多的全局信息，在处理医学图像分割中取得了良好的效果。

附图说明

图1是本发明的一种基于Transformer的医学图像分割方法的模型网络图；

图2是本发明中实施例1的实验结果对比图；

图3是本发明中实施例1的细节捕捉实验结果对比图；

图4是本发明中实施例1的消融实验结果对比图；

图5是本发明的一种基于Transformer的医学图像分割方法的流程图。

具体实施方式

为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。

实施例1

参见图1，本实施例的一种基于Transformer的医学图像分割方法，主要包括原始医学图像预处理、构造医学图像分割模型、原始医学图像迭代计算和原始医学图像分割处理；具体包括以下步骤：

步骤一、获取苏木精-伊红染色的细胞图像数据集，并且将此数据集按照需求分配为图像训练集和图像测试集；

步骤二、对步骤一中获得的图像训练集和图像测试集中的每张图像进行切割，得到4×4的patch图像；

步骤三、在U-Net网络中用TransConvBlock代替原有的卷积块，再用自注意力块代替原有Unet编码器剩余部分，获得改进的UNet编码器；

其中，TransConvBlock的结构为：将输入经过一个1×1卷积核的卷积层，再通过split函数将卷积层输出分为两个，其中，第一个分支（SwinTBlock）组成顺序是：第一层是归一化层（Layer Normalization，LN层）；第二层是窗口多头自注意力块（Window Multi-head Self-attention Module, WMSA）；第三层是使用DropPath函数的正则化层；第四层是跳跃连接层；第五层是LN层；第六层是全连接层和GELU激活函数构成的多层感知机层（Multilayer Perception，MLP）；第七层是Drop Path正则化层；第八层是跳跃连接层。第二个分支（RconvBlock）组成顺序是：第一层是一个拥有2个卷积核的卷积层，该卷积核是3×3大小，步长为1；第二层是ReLU激活函数层；第三层是有2个卷积核的卷积层，该卷积核是3×3大小，步长为1；第四层是跳跃连接层。最终两个分支结果通过concatenate函数进行连接，输入至卷积核大小为3×3，步长为1的卷积层。

所述的自注意力层结构为：第一个块中第一层为32个卷积核的卷积层，该卷积核大小为3×3，步长为1；第二层是批归一化层（Batch Normalization,BN层）；第三层是ReLU层；第四层是自注意力层，通过einsum函数计算Q、K、V；第五层是ReLU层；第六层是32个卷积核的卷积层，该卷积核大小为3×3，步长为1（前六层定义为AttentionBlock）；第七到十二层为AttentionBlock，其中将卷积核个数修改为64。第二个块是4层AttentionBlock块，其中第一层卷积核个数为64，其余三层个数为128。第三个块是1层AttentionBlock块，卷积核个数128。

步骤四、在解码器部分使用卷积块并依次进行下采样与残差连接，最后将每个输入的patch图像拼接成原图大小；解码器组成的顺序依次是：第一层是为256个卷积核的卷积层，该卷积核大小为3×3，步长为2；第二层是跳跃连接层；第三层是256个卷积核的卷积层，该卷积核大小为3×3，步长为1；第四层是跳跃连接层；第五层是128个卷积核的卷积层，该卷积核大小为3×3，步长为1；第六层是跳跃连接层；第七层是64个卷积核的卷积层，该卷积核大小为3×3，步长为1；第八层是跳跃连接层；第九层32个卷积核的卷积层，该卷积核大小为3×3，步长为1；第十层将输出的每一个patch拼接回原图大小。

步骤五、使用二进制交叉熵损失函数计算损失，对网络进行训练。损失函数

表示为：

其中w和h是输入图像的宽和高，

对应图像的像素，

代表

位 置的预测。

值得说明的是，步骤二、三、四、五共同组成UTCNet。

步骤六、用步骤一中的图像测试集测试UTCNet，并用图像分割评价指标对模型进行评价。

参见图2，本实施例的U-Net解码器部分更加复杂并增加了跳过连接，与FCN相比，分割结果更好一些。而UNet++通过添加redesigned skip connections和dense skipconnections来提高准确性，给出更好的分割结果。然而，对于Res-UNet来说，它并没有通过增加残余连接而得到精准度高的结果；AxialUNet模型由于缺乏大量的数据集训练没有给出正确的分割结果。而本实施例的模型相较于其他模型给出了更精确的细节，例如在图2的右下角本实施例得到了更清晰和更明确的分割结果。

参见图3，由于数据集较少，Axial-Unet依然给出错误的结果。第一行的模型也表现得很糟糕，未能给出正确的分割结果；而MedT的分割结果较好。但是本实施例的模型捕捉到了局部和全局的信息，在所有的结果中呈现出最好的分割结果。可以看出我们的模型更有效地捕捉到了细节，分割出了海马的正确位置，并且最接近标签。

图像结果评价指标如下：

表1 医学图像使用不同的分割方法在不同数据集下的各指标结果对比表

参见图4，为了验证本实施例的有效性，对MoNuSeg数据集做了消融实验。

从图4中可以看出，每增加一个创新点，实验数据都有所提升，依此可说明本发明提出的模型的创新点对实验的最终结果均起到作用。

表2 消融实验的mIoU指标结果对比

以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (2)

1.一种基于Transformer的医学图像分割方法，其特征在于，包括以下步骤：

步骤一、获取医学图像数据集，并将此数据集分配为图像训练集和图像测试集；

步骤二、对步骤一中获得的图像训练集和图像测试集中的图像进行切割，得到patch图像；

步骤三、在Unet网络中改进编码器获得改进的UNet编码器，改进后UNet编码器包括依次连接的一个包含7×7卷积核和3×3卷积核的卷积块、一个TransConvBlock和3个自注意力块；

TransConvBlock的结构为：输入先经过一个1×1卷积核的卷积层，再通过split函数将卷积层输出分为两个，其中一个分支为SwinTBlock，第二个分支为RconvBlock，两个分支结果通过concatenate函数进行连接，输入至卷积核大小为3×3，步长为1的卷积层；

SwinTBlock的组成顺序是：第一层是归一化层；第二层是窗口多头自注意力块；第三层是使用DropPath函数的正则化层；第四层是跳跃连接层， 将正则化的输出结果和输入到归一化层的输入数据进行连接； 第五层是LN层；第六层是全连接层和GELU激活函数构成的多层感知机层；第七层是Drop Path正则化层；第八层是跳跃连接层，将第七层的正则化层结果和第四层跳跃连接层的结果进行连接；

RconvBlock的组成顺序是：第一层是拥有2个卷积核的卷积层，第二层是ReLU激活函数层；第三层是有2个卷积核的卷积层，第四层是跳跃连接层，将输入到第一层的输入数据和第三层卷积层的结果进行连接；

3个自注意力块结构分别为：第一个自注意力块中第一层为32个卷积核的卷积层，第二层是批归一化层，第三层是ReLU层，第四层是自注意力层，第五层是ReLU层；第六层是32个卷积核的卷积层，前六层定义为AttentionBlock；第七到十二层为AttentionBlock，其中卷积核个数为64，第二个自注意力块是4层AttentionBlock块，其中第一层卷积核个数为64，其余三层个数为128；第三个自注意力块是1层AttentionBlock块，卷积核个数128；

步骤四、在解码器部分使用卷积块并依次进行上采样与残差连接，最后将每个输入的patch图像拼接成原图大小；

步骤五、使用二进制交叉熵损失函数计算损失，对网络进行训练；

步骤六、用步骤一中的图像测试集测试步骤五所得网络UTCNet，并用图像分割评价指标对模型进行评价。

2.根据权利要求1所述的一种基于Transformer的医学图像分割方法，其特征在于：步骤五中，损失函数

表示为：

其中w和h是输入图像的宽和高，

对应图像的像素，

代表

位置的预测。

Images