CN114842020A - 一种轻量化的肿瘤图像分割方法 - Google Patents

Abstract

本发明公开了一种轻量化的肿瘤图像分割方法，涉及医学图像分割技术领域，该轻量化的肿瘤图像分割方法使用轻量化网络ESPNet作为本发明的基准模型，为了使ESPNet模型适用于二分类的肿瘤图像分割任务，将模型解码器模块的通道数进行相应调整，借鉴U‑Net模型框架的编码器和解码器通道数的设置,将ESPNet模型解码器通道数设置为和编码器对应层通道数一致，使原模型更加适用于肿瘤图像分割任务。

Description

一种轻量化的肿瘤图像分割方法

技术领域

本发明涉及医学图像分割技术领域，具体来说涉及一种基于卷积神经网络的轻量化肿瘤分割方法。

背景技术

随着科学技术的迅速发展，人类对医学相关技术需求也日益增高，如今由医学器械采集到的人体内部图像是医学诊断过程中的重要方式，它可以精确直观的反映病人体内的状况。目前医学图像在临床过程中被广泛应用，在疾病诊断和治疗过程中发挥了重要的作用。肿瘤是一种恶性疾病，由正常细胞变异形成的肿瘤细胞生长形成，对肿瘤位置及大小进行精准检测对于疾病治疗起到至关重要的作用。医学图像正在成为侵入性手术的一个重要组成部分，既用于手术计划，也用于手术过程中实时成像，还能够验证肿瘤的治疗效果。临床上，医学图像分割仍然是一个难题，为了减轻医生的工作量，提高工作效率，需要一种能够自动勾画出医学图像中感兴趣区域的精确算法，这正是迫切的现实需求。

深度神经网络一般采用若干非线性变换来拟合数据特征的分布情况，逐层深入提取对象的深层特征，并通过组合连接的方式以实现更具抽象性和代表性的高级别特征信息，这些特征信息可以作为事物实质的描述。医学图像分割任务作为图像分割任务的一个重要子任务，自2015年U-Net的提出，医学图像分割领域内的深度神经网络便日新月异，各种新颖的分割算法大放异彩，不断涌现。这些新式的模型在处理医学图像分割任务时的精确度都有提升。但由于这些网络需要在存储和计算资源充足的服务器上部署，很难将此类模型在实际中进行使用，导致分割模型难以进行落地。

发明内容

本发明所要解决的技术问题是提供一种轻量化的肿瘤图像分割方法，提出了一种轻量化的肿瘤图像分割方法，该方法克服了ESP模块经过逐点卷积造成的特征图信息损失的弊端，使模型参数量和推理时间较ESPNet更低。

为实现上述目的，本发明提供以下的技术方案：

该轻量化的肿瘤图像分割方法包括如下步骤：

(1)数据获取和基本分割模型选取：

1)数据获取。该方法所有实验均在自建的肝转移瘤数据集以及kaggle公开脑肿瘤数据集brain MRI上进行。其中自建的肝转移瘤数据集具有2维图像数据2320张，大小均为512×512的灰度图像。脑肿瘤数据集是从brain MRI数据集中挑选出来的1373 张具有肿瘤的图像，大小均为256×256的三维彩色图像。

2)基本分割模型选取。ESPNet模型是一种高效的卷积神经网络，在保证分割性能的前提下，使模型足够轻量化用于资源受限情况下的图像分割任务。ESPNet基于一个新的高效空间金字塔卷积模块，此模块在计算、内存、功耗方面都是高效的。该方法在此基础上，通过改变高效空洞卷金字塔模块的结构，可以使ESPNet模型在模型参数下降一多半，推理时间降低的前提下，使模型性能在可接受范围内降低。

(2)数据预处理：通过计算肿瘤图像不同通道的均值和方差，然后对肿瘤图像不同通道的数值做归一化处理，将处理后的图像数据输入到模型中进行训练。将数据集都按照7:3的比例划分训练集和测试集

(3)确定损失函数：采用带权重的交叉熵损失函数改善上述情况。详细公式如下：Loss(p，y)＝-aylogp-(1-a)(1-y)log(1-p)#(1)

(4)确定评价指标：下面所有式子中，

1)mIoU相似系数。IoU是语义分割中最常用的指标之一。IoU是模型预测和真实标签的重叠面积除以模型预测与真实标签的结合面积。定义如下：

(5)肿瘤分割模型搭建：

3)构造Shuffle ESP模块：为了避免ESP模块通过逐点卷积操作降低特征图通道数造成特征图信息损失的弊端。该方法对高效空间金字塔模块重新进行构造，在将特征图送入不同扩张率的空洞卷积分支之前，不经过逐点卷积降低特征图通道数，而是通过分组卷积将特征图按照通道数进行分组，将不同组特征图分别送入到不同扩张率的空洞卷积分支，在保留较大有效感受野的前提下，不增加模型的参数。使模型可以提取不同尺度的特征信息，为了避免分组卷积导致不同组特征之间通道信息交互失败，引入通道混洗机制，人为将不同组特征图通道进行打乱，避免模型失去不同组特征信息的交互能力。

4)构造Shuffle Semi-ESPNet：为了使ESP模型可以适用于肿瘤图像分割这样的二分类的密集分割任务，将解码器阶段的模块的通道数设定为与编码器对应位置相同。为了得到更加轻量化的肿瘤图像分割模型，该方法在ESP模型的基础上将所有模块的特征图通道数进行减半操作。为了减缓由于模型参数减少造成的模型性能指标下降，该方法使用Shuffle ESP模块替换ESPNet模型中原始的高效特征金字塔模块，使模型网络在参数量减少一半的前提下，模型的性能指标下降一个点左右。

(6)进行肿瘤图像分割，方法如下：

1)训练阶段。利用预处理好的数据对该方法提出的网络分割方法进行训练。实验是在配有2块NVIDIATesla M40的服务器上进行的,操作系统环境为Ubuntu120.04。实验结束后，最终选取整个训练周期内模型性能指标最大时所对应的轮数参数作为最终的模型权重。

2)测试阶段：首先把训练阶段得到的模型权重加载进入模型中，随后将划分到测试集中的图像送进模型中进行测试，最终得到预测的肿瘤分割图和对应的指标参数。

采用以上技术方案的有益效果是：该轻量化的肿瘤图像分割方法提出了一种轻量化的肿瘤图像分割方法，该方法克服了ESP模块经过逐点卷积造成的特征图信息损失的弊端，使模型参数量和推理时间较ESPNet更低。通过在肝转移瘤和脑肿瘤数据集上的实验证明该方法的有效性和鲁棒性。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细的描述。

图1为该轻量化的肿瘤图像分割方法的流程图；

图2为本发明提出的分组高效空间金字塔结构图；

图3为本发明提出的Shuffle ESPNet模型结构图；

图4为ESPNet模型的不同变种模型；

图5为本发明提出的轻量化网络整体模型结构图。

具体实施方式

下面结合附图详细说明本发明轻量化的肿瘤图像分割方法的优选实施方式。

图1至图5出示本发明轻量化的肿瘤图像分割方法的具体实施方式：

该轻量化的肿瘤图像分割方法包括如下步骤：

(1)数据获取和基本分割模型选取:

1)数据获取：本文使用自建肝转移瘤分割数据集以及kaggle公开脑肿瘤数据集brain MRI进行实验。肝转移瘤数据集是由合作肿瘤医院日常产生的真实患者数据，经过脱敏处理，指导相关医学影像专家通过ITK-SNAP软件进行标注。通过软件读取完图片后，需要操作画笔，按住左键勾画出目标区域闭合的轮廓，确认即可得到目标区域相应的掩码图像，当标注完数据后，直接将其导出生成对应标签数据。肝转移瘤数据集拥有2320张二维图像数据，每张二维数据都是由三维体素数据进行切片产生，所有数据分辨率为512×512。脑瘤数据集kaggle_3m共包含110个患者的脑肿瘤数据，本文从中筛选出1373张包含脑肿瘤的图片作为模型数据集使用，此数据集是由MRI形成的彩色三维图像，图像大小为256×256。两个数据集都是按照7:3的比例随机划分训练集和测试集。

表1为该方法的模型在脑肿瘤数据集上的实验指标

2)分割模型选取：深度卷积神经网络模型在计算机视觉任务中已经达到了很高的准确性。这些网络的精度随着深度和宽度的增加而提高，但是大型网络无论是对计算资源还是存储资源的需求都很大，这对于计算量大的图像任务来说尤其成问题。许多现实场景需要将模型部署在移动设备上，基于以上原因，该方法提出SS-ESPNet(Shuffle Semi-ESPNet)模型在轻量化网络ESPNet的基础上，将所有模块通道数减半，将模型参数量进一步降低。为了解决因此造成的模型性能下降问题，对ESP模块中的逐点卷积降维的操作进行改进，通过逐点卷积进行特征图降维会导致特征图信息损失。本文通过使用分组卷积，避免特征图经过降维操作造成信息损失，可以在模型大幅降低参数量的同时，保持模型的性能指标稳定。

(2)数据预处理:通过计算肿瘤图像不同通道的均值和方差，然后对肿瘤图像不同通道的数值做归一化处理，将处理后的图像数据输入到模型中进行训练。将数据集都按照7:3的比例划分训练集和测试集。

(3)确定损失函数：肝肿瘤图像分割问题其实是一个像素级的分类问题，一般采用交叉熵损失函数。但是比起非肝部像素数目，肝部像素数目较少，存在着样本不均衡问题，如果不妥善处理，会削减模型的学习能力，因此本方法采用带权重的交叉熵损失函数改善上述情况。详细公式如下：

Loss(p，y)＝-aylogp-(1-a)(1-y)log(1-p)

(4)确定评价肝肿瘤分割性能的指标：为了更好的评估所改进的肿瘤图像分割方法的有效性，我们将使用以下3个比较常用的相关性能指标进行评估：Dice相似系数(Dice)、相对体积差(RVD)、体积误差重叠(VOE)。

1)Dice相似系数，表示的是预测结果和真实标签间交叉部分所占全部面积的比值，取值范围属于0～1。其值越大，代表预测的结果越接近真实标签，即分割效果越好。

其中，P代表的是模型预测出的分割结果，T代表的是真实的分割结果。

表2为该方法的模型在肝转移瘤数据集上的实验指标

(5)分割模型搭建：

1)Shuffle-ESP模块

在原来ESP网络的基础上，针对ESP模块需要先通过逐点卷积降低特征图维度会造成特征图信息损失的弊端。本文引入分组卷积到特征金字塔中，将输入特征图的所有维度，按照特征空间金字塔中并行卷积的个数进行分组，然后经过由不同扩张率的空洞卷积组成的特征金字塔模块，进行不同尺度的特征信息的提取及融合。空洞卷积的空间金字塔同时使用K个n×n空洞卷积核重新采样这些低维特征映射，每个卷积核的扩张率为2^k-1，k＝{1,…,K}。为了降低计算成本，将输入特征图

进行分组。将其分为K个组，每个组的输入特征图为

每个组的输出特征图为

经过空洞卷积金字塔将并行空洞卷积的输出进行拼接生成最终的输出

对于输入特征维度和输出特征图的维度不能被并行空洞卷积个数整除的情况，该方法设定一种策略，将剩余的通道数都交给扩张率最大的分支卷积进行计算。当此层的输入特征图通道数为M时，输出特征图通道数为N。则前K-1个空洞卷积的特征图。

输入维度为

特征图输出维度为

第个空洞卷积的特征图输入维度为M₂＝M-(K-1)M₁，特征图输出维度为N₂＝N-(K-1)N₁。这种分解大大减少了ESP模块所需的参数数量和内存，同时保留了一个大的有效接收域 [(n-1)2^K-1+1]²。

当将不同扩张率的空洞卷积进行并行组合时，可以使模型具有更大的有效接收域，且可以使模型具有提取不同尺度特征的能力。但是空洞卷积在扩大模型有效接收域的同时，会引入任务不需要的网格状伪影。为了解决ESP模块中的网状伪影问题，使用 HFF(Hierarchical feature fusion)操作，将不同扩张率空洞卷积获得的特征图在进行拼接之前，将它们获得的特征图进行逐层相加，不仅不会增加模块的复杂性，而且可以很好的解决网状伪影问题。

针对分组卷积的特性，当连续几个分组卷积连接使用时，会造成特定卷积组的输出特征信息只来自于同组内的输入特征信息，不同组之间的信息交流消失。造成特征图信息损失，模型特征提取能力减弱。针对此问题，通过使用通道混洗技术，使不同卷积分组之间的特征图能够相互进行信息交流，减缓分组卷积造成的信息损失，改进后的Shuffle-ESP(Shuffle-Efficient Spatial Pyramid)如下图3所示。

2)ESPNet使用ESP模块学习卷积核以及下采样操作，除了第一层只包含标准卷积，最后一层只包含逐点卷积外，所有层后面都有一个BN和一个PReLU激活函数。最后一层输入softmax进行像素级别的分类。ESPNet的不同变体如图4所示。第一种变体 ESPNet-C(图4(a))加强了内部的输入图像，以进一步改善信息流。这一种变体产生的输出空间尺寸为输入图像的八分之一。第二种变体ESPNet(图4(b))向ESPNet-C添加了一个轻量级解码器，该解码器输出与输入图像具有相同空间分辨率的分割掩码。为了在不改变网络拓扑结构的情况下为边缘设备构建计算效率更高的网络，超参数控制网络的深度：ESP模块在空间级别处重复次。因为在这些空间级别(l＝0和l＝1)上空间特征图维度较高，CNN在更高的空间级别需要更多内存。为了节省内存，ESP和卷积模块都不会在这些空间级别重复。

为了将模型结构部署在计算、存储资源受限的移动设备上，本文将ESP结构中的所有部分特征通道数减半，称为Semi-ESPNet模型。此时模型的参数量和计算量大大减少，便于模型的落地，但是由于参数量的减少会造成模型特征表达能力不足，无法很好的拟合数据，造成模型性能的明显下降。因此本文在Semi-ESPNet模型中，使用了Shuffle-ESP模块，在将特征图输入特征金字塔时不进行逐点卷积降低输入特征图的维度，减少因此造成特征图信息的损失。而是直接将特征图进行分组，将不同组的特征图送入特征金字塔的不同分支，为了避免分组卷积连续使用造成的组间特征信息交流消失的问题，使用通道混洗技术使不同组特征图通道进行交换，人为使不同组特征信息进行交流。本文将引入Shuffle-ESP模块的网络称为Shuffle Semi-ESPNet，模型结构图如下图5所示。为了增加模型性能，可以在特征金字塔部分，不同扩张率空洞卷积输入特征图拼接之后，将特征图送入到一个SE注意力模块，使模型着重强调对任务更加有用的通道信息。

(6)进行肝肿瘤图像分割，方法如下：

1)训练阶段。利用预处理好的数据对本发明提出的网络分割方法进行训练。对数据按照7:3的比例划分为训练集和测试集。实验是在配有2块NVIDIA Tesla M40的服务器上进行的,操作系统环境为Ubuntu20.04。实验采用的深度学习框架是pytorch，采用Adam优化器，权重衰减参数weight decay设为0.0001，初始学习率lr为0.001，训练周期设置为150个epoch，批数据大小batchsize设置为12。使用StepLR进行学习率调整，变化方式为每50个epoch学习率变化为原来的0.5倍。此外，本发明所采用的是带权重的交叉熵损失函数。实验结束后，最终选取整个训练周期内损失值最小时所对应的轮数参数作为最终权重。

2)测试阶段：首先把训练阶段得到的权重加载进入模型中，随后将划分到测试集中的图像送进模型中进行测试，最终得到预测的肝肿瘤分割图和对应的指标参数。

该轻量化的肿瘤图像分割方法的主要创新之处和优点在于：

a.该方法使用轻量化网络ESPNet作为本发明的基准模型，为了使ESPNet模型适用于二分类的肿瘤图像分割任务，将模型解码器模块的通道数进行相应调整，借鉴 U-Net模型框架的编码器和解码器通道数的设置,将ESPNet模型解码器通道数设置为和编码器对应层通道数一致，使原模型更加适用于肿瘤图像分割任务。

为了使模型更加轻量化，该方法将ESPNet模型的所有模块通道数减半。为了防止模型因参数量减少造成模型性能大幅下降，该方法对ESP模块进行改变，不将特征图经过逐点卷积降低特征图通道数，这样会造成特征图信息的损失。该方法通过分组卷积，将输入特征图在通道维度上进行分组，将分组后的特征图经过不同扩张率的并行空洞卷积。使模型在不增加参数量的前提下，增大有效接收域的大小。为了避免因为分组卷积造成的不同分组通道间信息交互能力消失，本发明采用通道混洗技术使不同分组的特征图信息进行通道交互。

b.由于ESPNet模型中缺乏注意力机制，无法使模型对不同信息施加不同的关注程度。该方法在ESP模块中添加SE注意力模块，在将不同空洞卷积分支的输出特征图进行拼接之后，将特征图送入到SE模块中，使模型可以将与任务有关的通道信息进行增强，无关通道信息进行减弱。

以上的仅是本发明的优选实施方式，应当指出，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (1)

1.一种轻量化的肿瘤图像分割方法，其特征在于：所述轻量化的肿瘤图像分割方法包括如下步骤：

(1)数据获取和基本分割模型选取：

1)数据获取；该方法所有实验均在自建的肝转移瘤数据集以及kaggle公开脑肿瘤数据集brain MRI上进行，其中自建的肝转移瘤数据集具有2维图像数据2320张，大小均为512×512的灰度图像，脑肿瘤数据集是从brain MRI数据集中挑选出来的1373张具有肿瘤的图像，大小均为256×256的三维彩色图像；

2)基本分割模型选取；ESPNet模型是一种高效的卷积神经网络，在保证分割性能的前提下，使模型足够轻量化用于资源受限情况下的图像分割任务，ESPNet基于一个新的高效空间金字塔卷积模块，此模块在计算、内存、功耗方面都是高效的，该方法在此基础上，通过改变高效空洞卷金字塔模块的结构，可以使ESPNet模型在模型参数下降一多半，推理时间降低的前提下，使模型性能在可接受范围内降低；

(2)数据预处理：通过计算肿瘤图像不同通道的均值和方差，然后对肿瘤图像不同通道的数值做归一化处理，将处理后的图像数据输入到模型中进行训练，将数据集都按照7:3的比例划分训练集和测试集；

(3)确定损失函数：采用带权重的交叉熵损失函数改善上述情况，详细公式如下：

Loss(p，y)＝-aylogp-(1-a)(1-y)log(1-p) #(1)

(4)确定评价指标：下面所有式子中，

1)mIoU相似系数。IoU是语义分割中最常用的指标之一，IoU是模型预测和真实标签的重叠面积除以模型预测与真实标签的结合面积，定义如下：

(5)肿瘤分割模型搭建：

1)构造Shuffle ESP模块：为了避免ESP模块通过逐点卷积操作降低特征图通道数造成特征图信息损失的弊端，该方法对高效空间金字塔模块重新进行构造，在将特征图送入不同扩张率的空洞卷积分支之前，不经过逐点卷积降低特征图通道数，而是通过分组卷积将特征图按照通道数进行分组，将不同组特征图分别送入到不同扩张率的空洞卷积分支，在保留较大有效感受野的前提下，不增加模型的参数，使模型可以提取不同尺度的特征信息，为了避免分组卷积导致不同组特征之间通道信息交互失败，引入通道混洗机制，人为将不同组特征图通道进行打乱，避免模型失去不同组特征信息的交互能力；

2)构造Shuffle Semi-ESPNet：为了使ESP模型可以适用于肿瘤图像分割这样的二分类的密集分割任务，将解码器阶段的模块的通道数设定为与编码器对应位置相同，为了得到更加轻量化的肿瘤图像分割模型，该方法在ESP模型的基础上将所有模块的特征图通道数进行减半操作，为了减缓由于模型参数减少造成的模型性能指标下降，该方法使用ShuffleESP模块替换ESPNet模型中原始的高效特征金字塔模块，使模型网络在参数量减少一半的前提下，模型的性能指标下降一个点左右；

(6)进行肿瘤图像分割，方法如下：

1)训练阶段；利用预处理好的数据对该方法提出的网络分割方法进行训练，实验是在配有2块NVIDIATeslaM40的服务器上进行的,操作系统环境为Ubuntu120.04，实验结束后，最终选取整个训练周期内模型性能指标最大时所对应的轮数参数作为最终的模型权重；

2)测试阶段；首先把训练阶段得到的模型权重加载进入模型中，随后将划分到测试集中的图像送进模型中进行测试，最终得到预测的肿瘤分割图和对应的指标参数。

Images