CN114972362A - 一种基于RMAU-Net网络的医学图像自动分割方法与系统 - Google Patents

Abstract

本发明涉及医学图像处理技术领域，尤其涉及一种基于RMAU‑Net网络的医学图像自动分割方法与系统。方法包括：准备医学图像数据集，进行图像预处理；搭建深度学习网络模型；将图像预处理后的训练图像数据输入搭建好的深度学习网络模型，进行训练，得到训练后效果最好的网络模型；进行验证；待分割的医学图像输入到验证好的网络模型中进行分割，并将分割结果可视化展示。本发明可以学习到不同尺度的特征信息，适应不同形状、大小等几何形变，加入空间和通道注意力机制，更关注于分割精度、分割难度大的样本，从而让模型的分割性能得到更进一步的提升。本发明的方法的分割精度高、泛化能力好。

Description

一种基于RMAU-Net网络的医学图像自动分割方法与系统

技术领域

本发明涉及医学图像处理技术领域，尤其涉及一种基于RMAU-Net网络的医学图像自动分割方法与系统。

背景技术

肝脏是人体最重要的器官之一，肝脏具有重要的排毒和消化功能。肝癌对人类健康构成重大威胁，在所有癌症中死亡率位居第四。计算机断层扫描(CT)是放射科医生和肿瘤学家用于评估和分析肝脏和病变的最常见成像方式之一。放射科医生和肿瘤学家分析计算机断层扫描(CT)或磁共振图像(MRI)，以找到病变区域，从而制定诊断和治疗计划。目前，大部分肝脏和肝脏肿瘤的分割都是手动进行的，这十分消耗时间和劳动力，而且尤其依赖于外科医生的经验。计算机辅助肝脏肿瘤分割可以减少外科医生的工作量，并提高手术的成功率，这具有很高的临床价值。此外，肝脏和肿瘤的形状、位置和体积因患者而异，病变和周围正常肝组织之间的界限模糊不清，成像设备和设置的差异可能导致肿瘤颜色和对比度的显著差异，使自动计算机辅助肝脏和肿瘤分割成为一项具有挑战性的研究。

在过去几年里，卷积神经网络(CNN)在计算机视觉领域取得了巨大成功。在图像语义分割领域，提出了一种新型卷积神经网络，即全卷积网络(FCN)，其优点是网络的输入和输出图像大小相同，输入图像都是任意分辨率的完整图像。FCN因其在特征提取方面的突出优势而迅速受到关注。与自然图像分割相比，医学图像分割是一项具有挑战性的任务，因为病变区域的大小、形状和位置不同，患者体内器官之间的对比度较低。此外，由于病变边界模糊，精确的肝脏肿瘤分割被认为是一项极其复杂的任务。为了解决这些困难，在医学图像分割领域提出了一些深度学习方法。U-Net是医学图像分割领域最受欢迎的编码器解码器网络架构之一。U-Net使用来自较低级别的层跳跃连接到更高的层，利用多尺度特征信息，并弥补因下采样而丢失的信息。添加跳跃连接大大提高了信息的利用率和分割的准确性。受U-Net的启发，提出了许多基于U-Net架构的变体，包括Attention U-Net、3D U-Net和U-Net++。AttentionU-Net提供了一种注意力机制，专注于目标，抑制背景特征，并通过在编码器和解码器功能的拼接之前插入注意力模块来消除无关的信息和噪音。3D U-Net将U-Net中的所有3D卷积操作转换为3D卷积操作，以恢复3D信息。基于改进U-Net的U-Net++结合了四种不同深度的结构和不同长度的密集跳跃连接，以提高性能。不同的跳跃连接的差异有助于捕获不同级别的丰富语义特征信息并缩小语义间隙，但它无法描述图像像素之间的空间关系和通道依赖性，这对医学图像分割至关重要。

综合上述可知现有技术都采用普通卷积神经网络作为图像分割模型，而普通卷积神经网络在全局信息建模和多尺度特征提取方面表现不佳。在肝脏和肿瘤分割任务中，肿瘤在不同患者甚至同一患者中具有不同的大小、形状、位置和数量，这可能会对肝脏肿瘤自动分割造成重大挑战。此外，由于某些病变缺乏明确的边界，再加上严重的噪音，导致边缘分割表现不佳。

发明内容

本发明的目的是提供一种基于RMAU-Net网络的医学图像自动分割方法与系统，解决肝脏肿瘤分割精度低的技术问题。

为了实现上述目的，本发明采用了如下技术方案：

一种基于RMAU-Net网络的医学图像自动分割方法，包括以下步骤：

S1.准备医学图像数据集，分为训练图像数据集和测试图像数据集，并对训练图像数据集进行图像预处理；

S2.基于PyTorch框架搭建深度学习网络模型，所述深度学习网络模型为U-Net的改进网络模型，所述深度学习网络模型的编码结构中，应用4组残差卷积模块和4组2×2最大池化层，并在编码结构最后一层加入多尺度注意力模块，所述深度学习网络模型的解码结构中，应用4组上采样和4组残差卷积模块，并在最后一层加入多尺度注意力模块；

S3.将图像预处理后的训练图像数据输入S2搭建好的深度学习网络模型，进行训练，得到训练后效果最好的网络模型；

S4.采用测试图像数据集对S3得到的网络模型进行验证；

S5.将待分割的医学图像输入到验证好的网络模型中进行分割，并将分割结果可视化展示。

进一步地，所述图像预处理包括：切片、降噪。

进一步地，所述训练图像数据集和测试图像数据集为LiTS2017数据集和3D-IRCADb数据集。

进一步地，S3中，在训练过程中，还包括以下步骤：

对训练图像进行数据增强；

所述数据增强包括：随机垂直旋转，和/或，随机水平旋转。

进一步地，S2中，所述残差卷积模块包括两组3×3卷积、一组Squeeze-and-Excitation操作和一个残差连接，在每一组3×3卷积之后使用批量标准化和Leakly ReLu激活函数。

进一步地，S2中，所述多尺度注意力模块包括：空间特征金字塔模块、空间注意力模块和通道注意力模块。

进一步地，S3中，训练过程使用的损失函数为交叉熵和Dice系数结合的损失函数：

式中，N表示样本个数，y_i表示真实值，p_i表示预测值。

进一步地，S4中，验证的评估指标包括以下中的至少一种：DSC,VOE和RVD，具体为：

其中A,B分别表示金标准和预测结果。

本发明还提供一种基于RMAU-Net网络的医学图像自动分割系统，所述系统包括：

数据收集模块，用于收集多种数据格式的肝脏肿瘤数据集；

数据预处理模块，对肝脏肿瘤数据集进行预处理操作；

模型搭建模块，利用PyTorch框架搭建网络模型；

模型训练模块，将预处理后的数据输入到搭建完成后的模型中进行网络训练，通过不断迭代后训练得到最佳的网络模型；

模型分割模块：将训练得到的模型对待处理的图像进行分割得到肝分割结果。

本发明至少具备以下有益效果：

本发明提出的自动分割方法，通过在U-Net网络的基础上，加入不同采样率的空洞卷积，可以学习到不同尺度的特征信息，适应不同形状、大小等几何形变，加入空间和通道注意力机制，更关注于分割精度、分割难度大的样本，从而让模型的分割性能得到更进一步的提升。本发明的方法的分割精度优于现有的其他主流方法，本发明的方法具有很好的泛化能力，可以应用于多个数据集上无需进行重新训练。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明方法的流程图；

图2为本发明网络模型的示意图。

图3为实施例1中的数据预处理前后的对比图；

图4为本发明残差卷积模块的示意图

图5为本发明中多尺度融合注意力模块的示意图

图6为本发明实施例1肝脏肿瘤分割结果示意图。

图7为本发明系统的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例1：

参照图1，一种基于RMAU-Net网络的医学图像自动分割方法，具体包括以下步骤：

(1)准备医学图像数据集，对数据集中原始3D的CT图像进行包括切片、降噪等预处理操作；

(2)基于PyTorch框架搭建深度学习网络模型，其中网络模型包括改进U-Net的基准模型，残差SE卷积模块，多尺度注意力机制模块，跳跃连接。

(3)将预处理后的数据输入搭建完成的网络模型中进行训练，最后得到效果最佳的网络模型。

(4)使用最佳的网络模型对测试集的肝脏肿瘤CT图像进行分割得到分割结果，将分割结果可视化展示。

(5)对待分割的图像输入到验证好的模型中进行分割，并进行可视化。

参照图7，本发明还提供一种基于RMAU-Net网络的CT图像肝脏肿瘤自动分割系统，包括：

(1)数据收集模块：用于收集多种数据格式的肝脏肿瘤数据集；

(2)数据预处理模块：对不同格式的数据进行预处理，转换为符合模型输入要求的格式

(3)模型搭建模块：利用PyTorch框架搭建网络模型，其中网络模型包括改进U-Net的基准模型，残差SE卷积模块，多尺度注意力机制模块，跳跃连接。

(4)模型训练模块：将预处理后的数据输入到搭建完成后的模型中进行网络训练，通过不断迭代后训练得到最佳的网络模型

(5)模型分割模块：将训练得到的模型对待处理的CT图像进行分割得到肝脏肿瘤分割结果，并可视化显示在系统界面。

具体的，本申请提供以下具体实施例：

实施例1：

本实施例提供一种基于深度学习的CT图像肝脏肿瘤自动分割方法。

使用两个公开的数据集LiTS2017数据集和3D-IRCADb数据集。LiTS数据集包含131组训练数据和70组测试数据，其中测试数据没有金标准。3D-IRCADb数据集包含20组数据，分别为10组男性数据和10组女性数据。

在本实施例中，我们在LiTS数据集上训练、验证、测试我们提出的模型，并在3D-IRCADb数据集上测试其泛化能力。

参阅图3，为了使CT切片有利于网络训练，需要使用窗口技术对原始肝脏CT图像进行预处理。为了对数据集进行预处理，在Hounsfield的单位值[-200,200]范围内打开窗口，以去除其他无关的组织并增强肝脏和其他组织之间的对比度，然后将体素值归一化为[-1,1]，对图像进行归一化，仅保留包含肝脏的切片，划分ROI进行裁剪，增大前景，减小背景干扰。图6显示了原始CT切片和预处理CT切片之间的比较。可以看到，预处理后，肝脏区域更明显，质地和轮廓更清晰。原始的CT图像大小为512×512像素，已下采样为256×256像素，以加快网络训练并减少背景区域。

在训练过程中，数据增强应用于数据集，以增加样本数量并增强模型的泛化能力。使用的数据增强方法包括：随机垂直旋转和随机水平旋转。

参看图2，本发明基于U-Net的改进网络模型，将原始U-Net的卷积层替换为Res-SE-Block。在Res-SE-Block中，包含两组3×3卷积、一组Squeeze-and-Excitation操作和一个残差连接，在每一组3×3卷积之后使用批量标准化(Batch Normalization)和LeaklyReLu激活函数。在U-Net编码结构中应用了4组Res-SE-Block和4组2×2最大池化层，并在编码结构最后一层加入多尺度注意力模块(MAB)。在U-Net的解码结构中，应用了4组上采样和4组Res-SE-Block，并在最后一层加入MAB，最后输出预测概率图。MAB使用了空间特征金字塔模块、空间注意力机制和通道注意力机制，来捕获网络模型中尺度多样、信息多样的特征。空间特征金字塔模块使用4个不同采样率(1,2,4,8)的空洞卷积来提取多尺度融合特征，然后输入到注意力模块，对多尺度特征进入空间和通道上的权重校准。其中残差卷积模块的示意图参见图4，多尺度融合注意力模块的示意图参见图5。

本发明基于PyTorch框架搭建训练模型，实验具体环境和配置如表1所示。模型的训练超参数如表2所示：

表1.实验环境配置

实验环境	配置信息
		GPU	RTX3090
内存	64G
		操作系统	Ubuntu 18.04
硬盘	4TB
		编程软件	PyTorch 1.7；Python 3.7

表2.模型训练的超参数设置

超参数	设置
		学习率	0.0001
Batch-size	8
		迭代次数	250
优化器	Adam

将预处理后的数据集输入搭建完成的网络中进行训练，迭代更新模型中的权重参数，最终得到训练完成的模型，保存模型的权重参数。训练时使用的损失函数为交叉熵和Dice系数结合的损失函数：

式中，N表示样本个数，y_i表示真实值，p_i表示预测值。

将测试集的肝脏肿瘤CT图像输入到训练得到的模型，模型通过计算输出肝脏肿瘤的分割结果并可视化展示。最终结果参见图6。

本发明的模型预测精度对比于现有的技术有一定程度上的提升，模型与现有技术的性能对比如表3所示。

对模型的评估指标有DSC,VOE和RVD，其公式为

其中A,B分别表示金标准和预测结果

表3.模型分割性能对比结果

综合上述可知：本发明提出的分割方法，在U-Net网络的基础上，加入不同采样率的空洞卷积，可以学习到不同尺度的特征信息，适应不同肝脏和肿瘤的形状、大小等几何形变，加入空间和通道注意力机制，更关注于分割精度、分割难度大的肝脏肿瘤样本，从而让模型的分割性能得到更进一步的提升。本发明的所述方法的分割精度优于现有的其他主流方法，本发明的方法具有很好的泛化能力，可以应用于多个数据集上无需进行重新训练。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (9)

1.一种基于RMAU-Net网络的医学图像自动分割方法，其特征在于，包括以下步骤：

S1.准备医学图像数据集，分为训练图像数据集和测试图像数据集，并对训练图像数据集进行图像预处理；

S2.基于PyTorch框架搭建深度学习网络模型，所述深度学习网络模型为U-Net的改进网络模型，所述深度学习网络模型的编码结构中，应用4组残差卷积模块和4组2×2最大池化层，并在编码结构最后一层加入多尺度注意力模块，所述深度学习网络模型的解码结构中，应用4组上采样和4组残差卷积模块，并在最后一层加入多尺度注意力模块；

S3.将图像预处理后的训练图像数据输入S2搭建好的深度学习网络模型，进行训练，得到训练后效果最好的网络模型；

S4.采用测试图像数据集对S3得到的网络模型进行验证；

S5.将待分割的医学图像输入到验证好的网络模型中进行分割，并将分割结果可视化展示。

2.根据权利要求1所述的一种基于RMAU-Net网络的医学图像自动分割方法，其特征在于，所述图像预处理包括：切片、降噪。

3.根据权利要求1所述的一种基于RMAU-Net网络的医学图像自动分割方法，其特征在于，所述训练图像数据集和测试图像数据集为LiTS2017数据集和3D-IRCADb数据集。

4.根据权利要求1所述的一种基于RMAU-Net网络的医学图像自动分割方法，其特征在于，S3中，在训练过程中，还包括以下步骤：

对训练图像进行数据增强；

所述数据增强包括：随机垂直旋转，和/或，随机水平旋转。

5.根据权利要求1所述的一种基于RMAU-Net网络的医学图像自动分割方法，其特征在于，S2中，所述残差卷积模块包括两组3×3卷积、一组Squeeze-and-Excitation操作和一个残差连接，在每一组3×3卷积之后使用批量标准化和Leakly ReLu激活函数。

6.根据权利要求1所述的一种基于RMAU-Net网络的医学图像自动分割方法，其特征在于，S2中，所述多尺度注意力模块包括：空间特征金字塔模块、空间注意力模块和通道注意力模块。

7.根据权利要求1所述的一种基于RMAU-Net网络的医学图像自动分割方法，其特征在于，S3中，训练过程使用的损失函数为交叉熵和Dice系数结合的损失函数：

式中，N表示样本个数，y_i表示真实值，p_i表示预测值。

8.根据权利要求1所述的一种基于RMAU-Net网络的医学图像自动分割方法，其特征在于，S4中，验证的评估指标包括以下中的至少一种：DSC,VOE和RVD，具体为：

其中A,B分别表示金标准和预测结果。

9.一种基于RMAU-Net网络的医学图像自动分割系统，其特征在于，所述系统包括：

数据收集模块，用于收集多种数据格式的肝脏肿瘤数据集；

数据预处理模块，对肝脏肿瘤数据集进行预处理操作；

模型搭建模块，利用PyTorch框架搭建网络模型；

模型训练模块，将预处理后的数据输入到搭建完成后的模型中进行网络训练，通过不断迭代后训练得到最佳的网络模型；

模型分割模块：将训练得到的模型对待处理的图像进行分割得到肝分割结果。

Images