CN115965633A - 一种结合Transformer和U-Net的医学图像肝脏分割方法及系统 - Google Patents

Abstract

本发明具体涉及结合Transformer和U‑Net的医学图像肝脏分割方法及系统。所述方法包括：获取待分割的医学图像；将待分割的医学图像输入训练后的肝脏分割模型，输出对应的肝脏分割预测结果；其中肝脏分割模型首先通过U‑Net网络的编码器结构和Transformer结构分别提取医学图像的局部特征信息和全局特征信息；然后融合医学图像的局部特征信息和全局特征信息，并辅助编码器结构生成肝脏分割特征图像；最后通过U‑Net网络的解码器结构对肝脏分割特征图像进行特征定位和图像重建，以生成并输出对应的肝脏分割预测结果。本发明能够通过Transformer提取全局特征信息来增强U‑Net网络的编码器部分，并且能够兼顾Transformer和U‑Net网络的优势，从而能够提高医学图像肝脏分割的精确性和全面性。

Description

一种结合Transformer和U-Net的医学图像肝脏分割方法及系统

技术领域

本发明涉及医学图像处理技术领域，具体涉及一种结合Transformer和U-Net的医学图像肝脏分割方法及系统。

背景技术

肝脏是人体腹腔内最大的实质性器官，它有着十分复杂的结构和丰富的血管，同时肝脏有病变种类多、发病率高的特点。肝脏分割是癌症检测和治疗的关键前提。目前为了从腹部的医学图像(如CT图像)中获得关于肝脏体积、位置和形状的准确信息，放射科医生需要逐个手动标记切片，这个过程既耗时又容易出错。因此，临床迫切需要自动化和准确的医学图像肝脏分割方法。

现有的自动肝脏分割方法大致分为三类：传统方法、基于机器学习的方法和基于深度学习的方法。传统方法主要是半自动方法，易受噪声影响，需要人工干预复杂的参数设置。基于机器学习的方法可以很好地证明分割的准确性。然而，大多数基于机器学习的方法需要手动设计特征，这会显著影响准确性。相比之下，基于深度学习的肝脏分割方法具有不错的准确性。如，公开号为CN110570432A的中国专利就公开了《一种基于深度学习的CT图像肝脏肿瘤分割方法》，其基于U-Net网络结构建立并训练模型，进而通过训练好的模型对待预测肝脏肿瘤CT图像进行分割以得到分割结果。

上述现有基于U-Net网络的肝脏分割方法，具有较强的快速学习能力，并且对于小数据集具有优异性能。然而，U-Net网络模型虽然能够提取医学图像的局部特征信息，但无法有效提取医学图像的全局特征信息，这导致肝脏分割模型的视觉感知范围窄，当医学图像中的肝脏存在边缘模糊、对比度低、区域不连续或形状太小等问题时，无法保证肝脏分割的精确性和全面性。因此，如何设计一种能够提高肝脏分割的精确性和全面性的医学图像肝脏分割方法是亟需解决的技术问题。

发明内容

针对上述现有技术的不足，本发明所要解决的技术问题是：如何提供一种结合Transformer和U-Net的医学图像肝脏分割方法，能够通过Transformer提取全局特征信息来增强U-Net网络的编码器部分，并且能够兼顾Transformer和U-Net网络的优势，从而能够提高医学图像肝脏分割的精确性和全面性。

为了解决上述技术问题，本发明采用了如下的技术方案：

一种结合Transformer和U-Net的医学图像肝脏分割方法，包括：

S1：获取待分割的医学图像；

S2：将待分割的医学图像输入训练后的肝脏分割模型，输出对应的肝脏分割预测结果；

肝脏分割模型基于Transformer和U-Net网络构建；

肝脏分割模型首先通过U-Net网络的编码器结构和Transformer结构分别提取医学图像的局部特征信息和全局特征信息；然后融合医学图像的局部特征信息和全局特征信息，并辅助编码器结构生成肝脏分割特征图像；最后通过U-Net网络的解码器结构对肝脏分割特征图像进行特征定位和图像重建，以生成并输出对应的肝脏分割预测结果；

S3：将肝脏分割模型输出的肝脏分割预测结果作为待分割医学图像的分割结果。

优选的，编码器结构和解码器结构分别包括用于进行局部特征提取且依次级联设置的四层编码Res-SE-Block和四层解码Res-SE-Block；Transformer结构包括用于进行全局特征提取且依次级联设置的四层Swin Transformer块；其中编码器结构和Transformer结构之间设置有用于融合局部特征信息和全局特征信息且依次级联设置的三层特征反馈增强层；

第一层编码Res-SE-Block和第一层Swin Transformer块的输入为肝脏分割模型输入的医学图像；第一层特征反馈增强层的输入为第一层Swin Transformer块输出的特征图和第一层编码Res-SE-Block下采样后输出的特征图；

第二层编码Res-SE-Block的输入为第一层特征反馈增强层输出的融合特征图；第二层Swin Transformer块的输入为第一层Swin Transformer块输出的特征图；第二层特征反馈增强层的输入为第二层Swin Transformer块输出的特征图和第二层编码Res-SE-Block下采样后输出的特征图；

第三层编码Res-SE-Block的输入为第二层特征反馈增强层输出的融合特征图；第三层Swin Transformer块的输入为第二层Swin Transformer块输出的特征图；第三层特征反馈增强层的输入为第三层Swin Transformer块输出的特征图和第三层编码Res-SE-Block下采样后输出的特征图；

第四层编码Res-SE-Block的输入为第三层特征反馈增强层输出的融合特征图；第四层Swin Transformer块的输入为第三层Swin Transformer块输出的特征图；

第四层解码Res-SE-Block的输入为第四层Swin Transformer块输出的特征图、第四层编码Res-SE-Block下采样后输出的特征图以及第四层编码Res-SE-Block输出的特征图；

第三层解码Res-SE-Block的输入为第四层解码Res-SE-Block上采样后输出的特征图和第三层编码Res-SE-Block输出的特征图；

第二层解码Res-SE-Block的输入为第三层解码Res-SE-Block上采样后输出的特征图和第二层编码Res-SE-Block输出的特征图；

第一层解码Res-SE-Block的输入为第二层解码Res-SE-Block上采样后输出的特征图和第一层编码Res-SE-Block输出的特征图；

第一层解码Res-SE-Block的输出为肝脏分割模型的输出，即肝脏分割预测结果。

优选的，第四层编码Res-SE-Block和第四层解码Res-SE-Block之间设置有用于在多个尺度上捕捉特征图上下文信息的ASPP模块；

ASPP模块的输入为第四层Swin Transformer块输出的特征图和第四层编码Res-SE-Block下采样后输出的特征图；ASPP模块输出的特征图和第四层编码Res-SE-Block输出的特征图作为第四层解码Res-SE-Block的输入。

优选的，特征反馈增强层通过如下步骤生成融合特征图：

S201：获取对应Swin Transformer块输出的特征图和对应编码Res-SE-Block下采样后输出的特征图h；

S202：通过最近邻算法对Swin Transformer块输出的特征图进行上采样，并通过Sigmoid激活进行卷积，生成对应的特征图g；

S203：将特征图g与编码Res-SE-Block下采样后输出的特征图h相乘，并与特征图h相加，生成对应的中间注意力特征h·g+h；

S204：通过全局平均池化层和Sigmoid激活的全连接层接收中间注意力特征h·g+h，并输出对应的权重向量f；

S205：将中间注意力特征h·g+h的每个通道与权重向量f的每个元素相乘，生成对应的最终注意力掩码(h·g+h)×f以作为特征反馈增强层输出的融合特征图。

优选的，Res-SE-Block包括两组3×3卷积、一组SE块和一个残差连接；每一组3×3卷积之后使用批量标准化和LeaklyReLu激活函数。

优选的，Swin Transformer块包括依次连接的LayerNorm层、多头自注意模块、残差连接和具有GELU非线性的两层MLP；

相邻的两个Swin Transformer块之间的多头自注意模块交替设置为窗口多头自注意层W-MSA和基于位移的窗口多头自注意层SW-MSA。

优选的，通过如下步骤训练肝脏分割模型：

S211：准备医学图像数据集，分为训练图像数据集和测试图像数据集，并对训练图像数据集进行图像预处理；

S212：将图像预处理后的训练图像数据输入肝脏分割模型进行训练，直至模型收敛或达到最大迭代次数；

S213：通过测试图像数据集对肝脏分割模型进行测试。

优选的，训练肝脏分割模型时，通过如下的训练损失函数优化肝脏分割模型的模型参数：

L_Total＝αL_CE+βL_Dice；

L_CE＝-ylog(p)-(1-y)log(1-p)；

式中：L_Total表示训练损失；L_CE表示交叉熵损失；L_Dice表示dice损失；α和β表示交叉熵损失和dice损失的权重；y∈(0，1)表示医学图像的类别真实值；p∈[0，1]表示医学图像中的预测概率；N表示医学图像中所有预测像素的数量；p_i表示医学图像中像素i的预测概率；y_i表示医学图像中像素i的真实类别。

优选的，步骤S211中，图像预处理包括：使用窗口技术在Hounsfield的单位值[-200,200]范围内打开窗口，以去除其他无关的组织并增强肝脏和其他组织之间的对比度；然后将医学图像的体素值归一化至[-1,1]；最后对医学图像进行归一化处理。

本发明还公开了一种结合Transformer和U-Net的医学图像肝脏分割系统，基于本发明的医学图像肝脏分割方法实施，包括：

数据收集模块，用于收集包含肝脏的医学图像数据集，并生成训练图像数据集和测试图像数据集；

模型搭建模块，用于通过PyTorch框架搭建肝脏分割模型；

模型训练模块，用于通过训练图像数据集和测试图像数据集对肝脏分割模型进行训练和测试；

肝脏分割模块，用于将待分割的医学图像输入训练后的肝脏分割模型，以输出肝脏分割预测结果；

可视化模块，用于对将肝脏分割预测结果进行可视化展示。

本发明中结合Transformer和U-Net的医学图像肝脏分割方法及系统与现有技术相比，具有如下有益效果：

本发明通过U-net网络的编码器结构和Transformer结构分别提取医学图像的局部特征信息和全局特征信息，进而融合局部特征信息和全局特征信息并生成肝脏分割特征图像，以实现肝脏分割预测结果的预测。一方面，本发明在U-Net网络通过编码器部分提取医学图像局部特征的基础上，加入Transformer结构来捕获全局上下文，以实现图像特征的远程交互和空间联系，实现了通过Transformer提取全局特征信息来增强U-Net网络的编码器部分，并且提高了模型的视觉感知范围，改善了医学图像分割的多尺度长距离依赖性，即能够适用于肝脏边缘模糊、对比度低、区域不连续和形状太小的医学图像，从而能够提高医学图像肝脏分割的精确性和全面性。另一方面，本发明通过融合局部特征信息和全局特征信息的方式辅助编码器结构生成肝脏分割特征图像，这能够充分利用Transformer的全局特征和U-Net网络的局部特征，进而继承U-Net网络的快速学习能力和Transformer的优秀泛化能力，并兼顾U-Net网络对于小数据集的优异性能以及Transformer捕获全局上下文的能力，即实现了兼顾Transformer和U-Net网络的优势，从而能够提高肝脏分割模型的性能和决策能力。

附图说明

为了使发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：

图1为医学图像肝脏分割方法的逻辑框图；

图2为肝脏分割模型的网络结构图；

图3为ASPP模块的网络结构图；

图4为特征反馈增强层的网络结构图；

图5为Res-SE-Block的网络结构图；

图6为Swin Transformer块的网络结构图；

图7(a)为图像预处理前的图像，图7(b)为图像预处理后的图像；

图8为LiTS数据集上不同模型输出的可视化比较；

图9为3DIRCADb数据集上不同模型输出的视觉比较；

图10为医学图像肝脏分割系统的逻辑框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件能够以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。此外，术语“水平”、“竖直”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。例如“水平”仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

下面通过具体实施方式进一步详细的说明：

实施例一：

本实施例中公开了一种结合Transformer和U-Net的医学图像肝脏分割方法。

如图1所示，结合Transformer和U-Net的医学图像肝脏分割方法，包括：

S1：获取待分割的医学图像；

S2：将待分割的医学图像输入训练后的肝脏分割模型，输出对应的肝脏分割预测结果；

结合图2所示，肝脏分割模型基于Transformer和U-Net网络构建；

肝脏分割模型首先通过U-Net网络的编码器结构和Transformer结构分别提取医学图像的局部特征信息和全局特征信息；然后融合医学图像的局部特征信息和全局特征信息，并辅助编码器结构生成肝脏分割特征图像；最后通过U-Net网络的解码器结构对肝脏分割特征图像进行特征定位和图像重建，以生成并输出对应的肝脏分割预测结果；

其中，本发明中U-Net网络的编码器结构和解码器结构的运行逻辑和训练方法均与现有U-Net网络一致。

S3：将肝脏分割模型输出的肝脏分割预测结果作为待分割医学图像的分割结果。

本发明通过U-Net网络的编码器结构和Transformer结构分别提取医学图像的局部特征信息和全局特征信息，进而融合局部特征信息和全局特征信息并生成肝脏分割特征图像，以实现肝脏分割预测结果的预测。一方面，本发明在U-Net网络通过编码器部分提取医学图像局部特征的基础上，加入Transformer结构来捕获全局上下文，以实现图像特征的远程交互和空间联系，实现了通过Transformer提取全局特征信息来增强U-Net网络的编码器部分，并且提高了模型的视觉感知范围，改善了医学图像分割的多尺度长距离依赖性，即能够适用于肝脏边缘模糊、对比度低、区域不连续和形状太小的医学图像，从而能够提高医学图像肝脏分割的精确性和全面性。另一方面，本发明通过融合局部特征信息和全局特征信息的方式辅助编码器结构生成肝脏分割特征图像，这能够充分利用Transformer的全局特征和U-Net网络的局部特征，进而继承U-Net网络的快速学习能力和Transformer的优秀泛化能力，并兼顾U-Net网络对于小数据集的优异性能以及Transformer捕获全局上下文的能力，即实现了兼顾Transformer和U-Net网络的优势，从而能够提高肝脏分割模型的性能和决策能力。

结合图2所示，编码器结构和解码器结构分别包括用于进行局部特征提取且依次级联设置的四层编码Res-SE-Block(图2中左侧的Res-SE-Block)和四层解码Res-SE-Block(图2中右侧的Res-SE-Block)；Transformer结构包括用于进行全局特征提取且依次级联设置的四层Swin Transformer块；其中编码器结构和Transformer结构之间设置有用于融合局部特征信息和全局特征信息且依次级联设置的三层特征反馈增强层；

本实施例中，所述的Res-SE-Block为残差SE模块，其中SE块是一种现有成熟模型。

其中SE是指(Squeeze-and-Excitation,SE)。

第一层编码Res-SE-Block和第一层Swin Transformer块的输入为肝脏分割模型输入的医学图像；第一层特征反馈增强层的输入为第一层Swin Transformer块输出的特征图和第一层编码Res-SE-Block下采样后输出的特征图；

第二层编码Res-SE-Block的输入为第一层特征反馈增强层输出的融合特征图；第二层Swin Transformer块的输入为第一层Swin Transformer块输出的特征图；第二层特征反馈增强层的输入为第二层Swin Transformer块输出的特征图和第二层编码Res-SE-Block下采样后输出的特征图；

第三层编码Res-SE-Block的输入为第二层特征反馈增强层输出的融合特征图；第三层Swin Transformer块的输入为第二层Swin Transformer块输出的特征图；第三层特征反馈增强层的输入为第三层Swin Transformer块输出的特征图和第三层编码Res-SE-Block下采样后输出的特征图；

第四层编码Res-SE-Block的输入为第三层特征反馈增强层输出的融合特征图；第四层Swin Transformer块的输入为第三层Swin Transformer块输出的特征图；

第四层解码Res-SE-Block的输入为第四层Swin Transformer块输出的特征图、第四层编码Res-SE-Block下采样后输出的特征图以及第四层编码Res-SE-Block输出的特征图；

第三层解码Res-SE-Block的输入为第四层解码Res-SE-Block上采样后输出的特征图和第三层编码Res-SE-Block输出的特征图；

第二层解码Res-SE-Block的输入为第三层解码Res-SE-Block上采样后输出的特征图和第二层编码Res-SE-Block输出的特征图；

第一层解码Res-SE-Block的输入为第二层解码Res-SE-Block上采样后输出的特征图和第一层编码Res-SE-Block输出的特征图；

第一层解码Res-SE-Block的输出为肝脏分割模型的输出，即肝脏分割预测结果。

例如，肝脏分割模型的输入为224*224*1的医学图像，分别输入到编码器结构(即CNN路径)和Transformer结构(即Transformer路径)，Transformer路径由4个SwinTransformer组成，CNN路径由4个Res-SE-Block组成。其中，特征反馈增强层会将SwinTransformer块的输出和Res-SE-Block下采样后的输出作为输入进行计算，并将输出作为下一个Res-SE-Block的输入。如：第一层Swin Transformer块的输出为[56*56*96],第一层Res-SE-Block的输出经过下采样后为[112*112*64]，则第一层特征反馈增强层的输出等于第一层Res-SE-Block的输出，即[112*112*64]。

第四层Swin Transformer块的输出[7*7*768]与第四层编码Res-SE-Block下采样的输出[14*14*512]进行连接得到[14*14*512],并输入到ASPP模块，ASPP模块的输出等于输入的大小[14*14*512]；然后输入上采样层得到[28*28*512]和第四层编码Res-SE-Block的输出进行跳跃连接得到[28*28*1024]，输入到解码器结构的解码Res-SE-Block得到[28*28*512]，反复上采样和卷积，最后得到最终的肝脏分割预测结果为[224*224*1]。

本发明在编码器结构部分设计了级联通道，使得能够通过编码器结构和Transformer结构分别提取医学图像的局部特征信息和全局特征信息，并通过特征反馈增强层在级联通道中的每一层将Transformer通道的输出(全局特征)与上一层Res-SE-Block的输出(局部特征)进行计算，并将增强后的输出作为当前层Res-SE-Block的输入，即能够通过级联通道设计和特征反馈增强层来实现充分利用Transformer的全局特征和U-Net网络的局部特征，进而能够更好的适用于肝脏边缘模糊、对比度低、区域不连续和形状太小的医学图像，从而能够进一步提高医学图像肝脏分割的精确性和全面性。

具体实施过程中，第四层编码Res-SE-Block和第四层解码Res-SE-Block之间设置有用于在多个尺度上捕捉特征图上下文信息的ASPP模块。

其中ASPP是指空洞空间卷积池化金字塔(Atrous Spatial Pyramid Pooling，ASPP)。

结合图3所示，ASPP模块的输入为第四层Swin Transformer块输出的特征图和第四层编码Res-SE-Block下采样后输出的特征图；ASPP模块输出的特征图和第四层编码Res-SE-Block输出的特征图作为第四层解码Res-SE-Block的输入。

本发明通过ASPP模块在多个尺度上捕捉特征图上下文信息，能够辅助实现通过Transformer提取全局特征信息来增强U-Net网络的编码器部分，进而能够更好的适用于肝脏边缘模糊、对比度低、区域不连续和形状太小的医学图像，从而能够进一步提高医学图像肝脏分割的精确性和全面性。

结合图4所示，特征反馈增强层通过如下步骤生成融合特征图：

S201：获取对应Swin Transformer块输出的特征图和对应编码Res-SE-Block下采样后输出的特征图；

S202：通过最近邻算法对Swin Transformer块输出的特征图进行上采样，并通过Sigmoid激活进行卷积，生成对应的特征图g；

S203：将特征图g与编码Res-SE-Block下采样后输出的特征图h相乘，并与特征图h相加，生成对应的中间注意力特征h·g+h；

S204：通过全局平均池化层和Sigmoid激活的全连接层接收中间注意力特征h·g+h，并输出对应的权重向量f；

S205：将中间注意力特征h·g+h的每个通道与权重向量f的每个元素相乘，生成对应的最终注意力掩码(h·g+h)×f以作为特征反馈增强层输出的融合特征图。

本发明的特征反馈增强层能够有效融合局部特征和全局特征，能够充分利用Transformer的全局特征和U-Net网络的局部特征，进而继承U-Net网络的快速学习能力和Transformer的优秀泛化能力，并兼顾U-Net网络对于小数据集的优异性能以及Transformer捕获全局上下文的能力，即实现了兼顾Transformer和U-Net网络的优势，从而能够进一步提高肝脏分割模型的性能和决策能力。

结合图5所示，Res-SE-Block包括两组3×3卷积、一组SE块和一个残差连接；每一组3×3卷积之后使用批量标准化和Leakly ReLu激活函数。

其中SE块执行如下操作：1)利用全局平均池化将每个通道的二维特征映射(HxW)压缩为实数；2)在全连接的网络中，添加非线性变换以获得每个特征通道的权重；3)将获得的归一化权重应用于每个通道的特征，提取特定信息。

本发明的Res-SE-Block通过SE块明确地模拟其卷积特征的通道之间的相互依赖关系来提高表征的质量，并且允许网络进行特征再校准，能够学习使用全局信息来有选择地强调有信息的特征并抑制不太有用的特征，即Res-SE-Block模块能够显著提高肝脏和肿瘤分割的准确性，并且与其他注意机制相比，Res-SE-Block更容易整合到其他网络中。

结合图6所示，Swin Transformer块包括依次连接的LayerNorm层、多头自注意模块、残差连接和具有GELU非线性的两层MLP；

其中GELU是指高斯误差线性(Gaussian Error Linerar Units，GELU)。

MLP是指多层感知器(Multilayer Perceptron，MLP)。

相邻的两个Swin Transformer块之间的多头自注意模块交替设置为窗口多头自注意层W-MSA和基于位移的窗口多头自注意层SW-MSA。

本发明的Swin-Transformer块可以反映复杂的空间变换和远程特征依赖关系，并且能够通过自注意力机制和MLP获得全局特征，即能够通过Swin-Transformer块捕获全局上下文以实现图像特征的远程交互和空间联系，并且提高了模型的视觉感知范围，改善了医学图像分割的多尺度长距离依赖性，能够更好的适用于肝脏边缘模糊、对比度低、区域不连续和形状太小的医学图像。

具体实施过程中，通过如下步骤训练肝脏分割模型：

S211：准备医学图像数据集，分为训练图像数据集和测试图像数据集，并对训练图像数据集进行图像预处理；

本实施例中，图像预处理包括：使用窗口技术在Hounsfield的单位值[-200,200]范围内打开窗口，以去除其他无关的组织并增强肝脏和其他组织之间的对比度；然后将医学图像的体素值归一化至[-1,1]；最后对医学图像进行归一化处理。图7为图像预处理前后的对比图，可见，肝脏的区域在预处理后更清晰，纹理和轮廓也更清晰，有利于更好的完成模型训练，进而提高肝脏分割模型的训练效果和性能。

S212：将图像预处理后的训练图像数据输入肝脏分割模型进行训练，直至模型收敛或达到最大迭代次数；

S213：通过测试图像数据集对肝脏分割模型进行测试。

训练肝脏分割模型时，通过如下的训练损失函数优化肝脏分割模型的模型参数：

L_Total＝αL_CE+βL_Δice；

L_CE＝-ylog(p)-(1-y)log(1-p)；

式中：L_Total表示训练损失；L_CE表示交叉熵损失；L_Dice表示dice损失；α和β表示交叉熵损失和dice损失的权重，α＝0.5，β＝1；y∈(0，1)表示医学图像的类别真实值；p∈[0，1]表示医学图像中的预测概率；N表示医学图像中所有预测像素的数量；p_i表示医学图像中像素i的预测概率；y_i表示医学图像中像素i的真实类别。

本发明通过交叉熵损失和dice损失联合训练肝脏分割模型，使得能够更好的适应于医学图像的器官类型、大小和形状复杂，器官和其他组织之间的界限模糊的特征，并且能够更好的适用于肝脏边缘模糊、对比度低、区域不连续和形状太小的医学图像，从而能够提高肝脏分割模型的训练效果和性能。

本实施例中，在LiTS数据集上训练、验证和测试本发明提出的肝脏分割模型，并在3DIRCADb数据集上测试肝脏分割模型的泛化能力。

本实验将本发明提出的肝脏分割模型(简称为ResTransUNet)与五种最先进的方法进行比较，评估ResTransUNet在LiTS数据集和3D-IRCADb数据集上的有效性和鲁棒性。六种方法在LiTS数据集上的比较结果如表1所示。结果表明，本发明提出的ResTransUNet具有较好的性能。

此外，不同模型输出的可视化对比如图8所示，我们可以看到U-Net在肝脏和肿瘤分割方面表现不佳，而我们提出的ResTransUNet在肝脏和肿瘤分割方面都有更好的表现。

为了评估我们提出的ResTransUNet的有效性和鲁棒性，我们还在3D-IRCADb数据集上进行了实验。在3DIRCADb数据集上的对比和可视化对比结果分别如表2和图9所示。可以看到，我们提出的方法在3D-IRCADb数据集上仍然优于其他方法，实验对比验证了本发明方法与其他方法相比的优越性。

表1LiTS数据集上不同方法的比较

表2 3D IRCADb数据集上不同方法的比较

实施例二：

本实施例中公开了一种结合Transformer和U-Net的医学图像肝脏分割系统，基于实施例一中的医学图像肝脏分割方法实施。

如图10所示，一种结合Transformer和U-Net的医学图像肝脏分割系统，包括：

数据收集模块，用于收集包含肝脏的医学图像数据集，并生成训练图像数据集和测试图像数据集；

模型搭建模块，用于通过PyTorch框架搭建肝脏分割模型；

模型训练模块，用于通过训练图像数据集和测试图像数据集对肝脏分割模型进行训练和测试；

肝脏分割模块，用于将待分割的医学图像输入训练后的肝脏分割模型，以输出肝脏分割预测结果；

可视化模块，用于对将肝脏分割预测结果进行可视化展示。

本发明提供了一种端到端的医学图像肝脏分割系统，能够高效、精准的实现医学图像的肝脏分割处理，并且能够实现肝脏分割预测结果的可视化展示。

最后需要说明的是，以上实施例仅用以说明本发明的技术方案而非限制技术方案，本领域的普通技术人员应当理解，那些对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种结合Transformer和U-Net的医学图像肝脏分割方法，其特征在于，包括：

S1：获取待分割的医学图像；

S2：将待分割的医学图像输入训练后的肝脏分割模型，输出对应的肝脏分割预测结果；

肝脏分割模型基于Transformer和U-Net网络构建；

肝脏分割模型首先通过U-Net网络的编码器结构和Transformer结构分别提取医学图像的局部特征信息和全局特征信息；然后融合医学图像的局部特征信息和全局特征信息，并辅助编码器结构生成肝脏分割特征图像；最后通过U-Net网络的解码器结构对肝脏分割特征图像进行特征定位和图像重建，以生成并输出对应的肝脏分割预测结果；

S3：将肝脏分割模型输出的肝脏分割预测结果作为待分割医学图像的分割结果。

2.如权利要求1所述的结合Transformer和U-Net的医学图像肝脏分割方法，其特征在于：编码器结构和解码器结构分别包括用于进行局部特征提取且依次级联设置的四层编码Res-SE-Block和四层解码Res-SE-Block；Transformer结构包括用于进行全局特征提取且依次级联设置的四层Swin Transformer块；其中编码器结构和Transformer结构之间设置有用于融合局部特征信息和全局特征信息且依次级联设置的三层特征反馈增强层；

第一层编码Res-SE-Block和第一层Swin Transformer块的输入为肝脏分割模型输入的医学图像；第一层特征反馈增强层的输入为第一层Swin Transformer块输出的特征图和第一层编码Res-SE-Block下采样后输出的特征图；

第二层编码Res-SE-Block的输入为第一层特征反馈增强层输出的融合特征图；第二层Swin Transformer块的输入为第一层Swin Transformer块输出的特征图；第二层特征反馈增强层的输入为第二层Swin Transformer块输出的特征图和第二层编码Res-SE-Block下采样后输出的特征图；

第三层编码Res-SE-Block的输入为第二层特征反馈增强层输出的融合特征图；第三层Swin Transformer块的输入为第二层Swin Transformer块输出的特征图；第三层特征反馈增强层的输入为第三层Swin Transformer块输出的特征图和第三层编码Res-SE-Block下采样后输出的特征图；

第四层编码Res-SE-Block的输入为第三层特征反馈增强层输出的融合特征图；第四层Swin Transformer块的输入为第三层Swin Transformer块输出的特征图；

第四层解码Res-SE-Block的输入为第四层Swin Transformer块输出的特征图、第四层编码Res-SE-Block下采样后输出的特征图以及第四层编码Res-SE-Block输出的特征图；

第三层解码Res-SE-Block的输入为第四层解码Res-SE-Block上采样后输出的特征图和第三层编码Res-SE-Block输出的特征图；

第二层解码Res-SE-Block的输入为第三层解码Res-SE-Block上采样后输出的特征图和第二层编码Res-SE-Block输出的特征图；

第一层解码Res-SE-Block的输入为第二层解码Res-SE-Block上采样后输出的特征图和第一层编码Res-SE-Block输出的特征图；

第一层解码Res-SE-Block的输出为肝脏分割模型的输出，即肝脏分割预测结果。

3.如权利要求2所述的结合Transformer和U-Net的医学图像肝脏分割方法，其特征在于：第四层编码Res-SE-Block和第四层解码Res-SE-Block之间设置有用于在多个尺度上捕捉特征图上下文信息的ASPP模块；

ASPP模块的输入为第四层Swin Transformer块输出的特征图和第四层编码Res-SE-Block下采样后输出的特征图；ASPP模块输出的特征图和第四层编码Res-SE-Block输出的特征图作为第四层解码Res-SE-Block的输入。

4.如权利要求2所述的结合Transformer和U-Net的医学图像肝脏分割方法，其特征在于，特征反馈增强层通过如下步骤生成融合特征图：

S201：获取对应Swin Transformer块输出的特征图和对应编码Res-SE-Block下采样后输出的特征图h；

S202：通过最近邻算法对Swin Transformer块输出的特征图进行上采样，并通过Sigmoid激活进行卷积，生成对应的特征图g；

S203：将特征图g与编码Res-SE-Block下采样后输出的特征图h相乘，并与特征图h相加，生成对应的中间注意力特征h·g+h；

S204：通过全局平均池化层和Sigmoid激活的全连接层接收中间注意力特征h·g+h，并输出对应的权重向量f；

S205：将中间注意力特征h·g+h的每个通道与权重向量f的每个元素相乘，生成对应的最终注意力掩码(h·g+h)×f以作为特征反馈增强层输出的融合特征图。

5.如权利要求2所述的结合Transformer和U-Net的医学图像肝脏分割方法，其特征在于：Res-SE-Block包括两组3×3卷积、一组SE块和一个残差连接；每一组3×3卷积之后使用批量标准化和LeaklyReLu激活函数。

6.如权利要求2所述的结合Transformer和U-Net的医学图像肝脏分割方法，其特征在于：Swin Transformer块包括依次连接的LayerNorm层、多头自注意模块、残差连接和具有GELU非线性的两层MLP；

相邻的两个Swin Transformer块之间的多头自注意模块交替设置为窗口多头自注意层W-MSA和基于位移的窗口多头自注意层SW-MSA。

7.如权利要求6所述的结合Transformer和U-Net的医学图像肝脏分割方法，其特征在于，通过如下步骤训练肝脏分割模型：

S211：准备医学图像数据集，分为训练图像数据集和测试图像数据集，并对训练图像数据集进行图像预处理；

S212：将图像预处理后的训练图像数据输入肝脏分割模型进行训练，直至模型收敛或达到最大迭代次数；

S213：通过测试图像数据集对肝脏分割模型进行测试。

8.如权利要求7所述的结合Transformer和U-Net的医学图像肝脏分割方法，其特征在于，训练肝脏分割模型时，通过如下的训练损失函数优化肝脏分割模型的模型参数：

L_Total＝αL_CE+βL_Dice；

L_CE＝-ylog(p)-(1-y)log(1-p)；

式中：L_Total表示训练损失；L_CE表示交叉熵损失；L_Dice表示dice损失；α和β表示交叉熵损失和dice损失的权重；y∈(0，1)表示医学图像的类别真实值；p∈[0，1]表示医学图像中的预测概率；N表示医学图像中所有预测像素的数量；p_i表示医学图像中像素i的预测概率；y_i表示医学图像中像素i的真实类别。

9.如权利要求6所述的结合Transformer和U-Net的医学图像肝脏分割方法，其特征在于，步骤S211中，图像预处理包括：使用窗口技术在Hounsfield的单位值[-200,200]范围内打开窗口，以去除其他无关的组织并增强肝脏和其他组织之间的对比度；然后将医学图像的体素值归一化至[-1,1]；最后对医学图像进行归一化处理。

10.一种结合Transformer和U-Net的医学图像肝脏分割系统，其特征在于，基于权利要求1中所述的医学图像肝脏分割方法实施，包括：

数据收集模块，用于收集包含肝脏的医学图像数据集，并生成训练图像数据集和测试图像数据集；

模型搭建模块，用于通过PyTorch框架搭建肝脏分割模型；

模型训练模块，用于通过训练图像数据集和测试图像数据集对肝脏分割模型进行训练和测试；

肝脏分割模块，用于将待分割的医学图像输入训练后的肝脏分割模型，以输出肝脏分割预测结果；

可视化模块，用于对将肝脏分割预测结果进行可视化展示。

Images