CN117152179A - 基于U-Net和SENet实现直肠癌CT图像的分割与分类方法 - Google Patents

Abstract

本发明属于CT图像的分割与分类方法的技术领域，尤其涉及基于U‑Net和SENet实现直肠癌CT图像的分割与分类方法，解决了现有肿瘤的分割主要依赖医生主观分出，导致分割的主观性比较强并且成本较大的技术问题，其包括图像预处理；利用改进后的U‑Net卷积神经网络进行图像分割，通过改进后的U‑Net卷积神经网络对输入的特征图中的每个像素进行分类，将每个像素分配到不同的类别，即完成图像的分割；通过嵌入了SENet的ResNet卷积神经网络对分割好的图像进行分类，最终输出图像的T期分类结果。本发明所述分类方法的结构精确，能对直肠癌T期分类的判断起到可观的帮助作用，在医学影响领域具有重要意义。

Description

基于U-Net和SENet实现直肠癌CT图像的分割与分类方法

技术领域

本发明涉及CT图像的分割与分类方法的技术领域，尤其涉及基于U-Net和SENet实现直肠癌CT图像的分割与分类方法。

背景技术

直肠癌是指从齿状线至直肠乙状结肠交界处之间产生的癌变，是临床常见的恶性肿瘤，属于一种消化系统恶性肿瘤，具有较高的发病率和死亡率。直肠癌是消化道最常见的恶性肿瘤之一，相关数据显示，世界各国每年新发直肠癌患者数量超过120万，其中死亡患者将近60万，死亡率接近50%。我国大多数直肠癌患者在确诊时就已经是中晚期，所以直肠癌的早期诊断以及治疗对提高患者治愈率有着至关重要的作用。目前对于直肠癌术前分期的判定，主要通过影像学检查实现，其中CT扫描速度快、扫描范围广，但是因为直肠壁层次结构比较难分辨，使得术前T分期诊断的准确性受到很大程度的影响，并且肿瘤的分割主要依赖医生主观分出，导致分割的主观性比较强并且成本较大。所以准确快速地在直肠癌CT图像中完成肿瘤分割并确定T分期对直肠癌临床治疗有很大帮助。

随着近年来深度学习技术的发展，尤其是卷积神经网络的发展深入，使得其在医学图像分割算法领域取得了很多可观的成果。尤其是2015年全卷积神经网络的提出实现了端到端的图像分割，将图像分类提升到了像素级。就卷积神经网络而言，其中的卷积层可以识别到上一层的局部图案数据，池化层可以减小表示的维数，从而增加感受野的同时还可以抵抗噪声。因此深度学习使得其在协助医生诊断直肠癌上起到了可观的帮助作用，在医学影响领域具有重要意义。

发明内容

为克服现有肿瘤的分割主要依赖医生主观分出，导致分割的主观性比较强并且成本较大的技术缺陷，本发明提供了一种基于U-Net和SENet实现直肠癌CT图像的分割与分类方法；基于U-Net卷积神经网络对收集的直肠癌CT图像进行分割，在此基础上使用SENet神经网络对分割好的CT图像进行分类，使得直肠癌CT图像经过神经网络的处理后能够更有利于临床医生对直肠癌的T分期的识别和判断，进而提出更为有效的治疗方案。

本发明提供了基于U-Net和SENet实现直肠癌CT图像的分割与分类方法，包括以下步骤：

步骤一、图像预处理：需要对原始的直肠癌CT图像进行裁剪，对图像进行扩大或缩小比例使肿瘤区域包含于图像内，然后对直肠癌CT图像进行直方图均衡化，将原始图像的灰度图转变为均匀分布，之后再对直肠癌CT图像进行标准归一化处理；

步骤二、利用改进后的U-Net卷积神经网络进行图像分割：原始的U-Net卷积神经网络包括Encoder阶段和Decoder阶段，改进时，首先对Encoder阶段每一层编码模块设置padding值，然后在Encoder阶段相邻编码模块的采样过程中分别加入注意力模块，注意力模块从前到后依次包括Global pooling层、两个全连接层和ReLu层，上一编码模块的输出通过Global pooling层对特征图进行池化，再通过两个全连接层学习通道的权重，之后通过ReLu层中ReLu函数激活，最终将原始的特征图与ReLu层最后的输出进行Scale操作，改进后的U-Net卷积神经网络中，Encoder阶段包括七层编码器，Decoder阶段包括六层解码器；采用随机梯度下降法对改进后的U-Net卷积神经网络进行训练，框架为Caffee，输入为单个图像；通过改进后的U-Net卷积神经网络对输入的特征图中的每个像素进行分类，将每个像素分配到不同的类别；

步骤三、通过嵌入了SENet的ResNet卷积神经网络对分割好的图像进行分类，最终输出图像的T期分类结果。

本发明中，利用改进后的U-Net卷积神经网络进行图像分割时，通过Encoder部分提取图像的高级特征，然后通过Decoder部分将这些特征映射回输入图像的大小，同时利用跳跃连接来融合不同尺度的信息，从而在图像分割任务中取得了良好的性能。本申请中对Encoder结构做的第一步改进就是设置适当的padding值使其在每次进行下采样前保持图像尺寸不变，保证图像信息不丢失，使得图像在具体执行下采样前保持原有的分辨率。其次，在下采样的过程中，为了能够保留图像的关键特征，使得网络能够更好学习图像特征，本申请还在下采样过程中分别加入注意力模块，通过Global pooling层对特征图进行池化，再通过两个全连接层学习通道的权重，之后通过ReLu函数激活并与原始特征图进行Scale操作，Scale操作会将每个通道的特征值乘以对应的注意力权重。如果一个通道的注意力权重较高，那么它的特征响应将会被放大，以增强网络对这个通道的关注；相反，如果一个通道的注意力权重较低，那么它的特征响应将被减小，以减弱网络对这个通道的关注。这种注意力机制有助于网络更好地选择和利用输入特征图中的信息，提高了网络的表示能力和泛化能力。除此之外，在原有网络结构基础上，本发明还新增了两层下采样层以及对应的上采样层，为了能够更好地学习图像特征。因此，当图像通过U-Net网络结构处理后，不会将输入图像分成多个小图，而是将每个像素分配到相应的类别，这样的分割结果可以用来标记图像中的不同区域，从而凸显出想要分割的目标物体。而权重即网络中的模型参数，用于学习特征表示和从训练数据中推断出图像的分割结果。权重的训练是通过最小化损失函数来进行的，该损失函数衡量了模型预测分割结果与真实分割结果之间的差异。交叉熵损失函数用于比较网络预测的分割结果与真实的分割标签之间的差异，并通过反向传播来调整模型权重以最小化损失。在训练期间，权重的更新是为了使网络更好地适应分割任务。在模型完成了所有上采样处理之后，模型输出之前通过Softmax操作输出一个概率分布，其中每个通道对应一个类别。然后，可以根据最高概率的类别来确定像素的分类标签，从而得出分割结果。

在步骤三中，每个肿瘤图像都有其对应的T期分类标签，总共四类，分别为T1、T2、T3、T4期，在网络的顶部添加一个输出层，用于执行T期分类任务。用一个全连接层作为输出层，其输出数量等于T期的类别数，具体例如T1、T2、T3、T4等。使用Softmax激活函数来获得类别概率分布。对于新的肿瘤分割图像，将其输入到经过训练的网络中。模型的输出将是每个T期类别的概率分布。选择使用概率最高的类别作为图像对应的最终T期分类结果。

本发明提供的技术方案与现有技术相比具有如下优点：本发明结构简单，主要是通过采集的直肠癌CT图像数据，基于U-Net卷积神经网络对收集的直肠癌CT图像进行分割，在此基础上再使用嵌入SENet的ResNet神经网络对分割好的CT图像进行分类，该分类方法的结构精确，能对直肠癌T期分类的判断起到可观的帮助作用，在医学影响领域具有重要意义。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明中在Encoder下采样部分中加入padding值后的改进结构示意图；

图2为本发明中下采样部分中加入注意力模块后的改进结构示意图；

图3为本发明中改进后的U-Net网络结构示意图；

图4为本发明中SENet网络结构示意图；；

图5为本发明所述基于U-Net和SENet实现直肠癌CT图像的分割与分类方法的结构示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面将对本发明的方案进行进一步描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但本发明还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本发明的一部分实施例，而不是全部的实施例。

下面结合附图1至图5对本发明的具体实施例进行详细说明。

基于U-Net和SENet实现直肠癌CT图像的分割与分类方法，包括以下步骤：

步骤一、图像预处理：需要对原始的直肠癌CT图像进行裁剪，对图像进行扩大或缩小比例使肿瘤区域包含于图像内，然后对直肠癌CT图像进行直方图均衡化，将原始图像的灰度图转变为均匀分布，之后再对直肠癌CT图像进行标准归一化处理；具体选取尚未标注以及对应的标注好的直肠癌CT图像，方便之后用于对模型的训练；之后对收集的图像数据进行预处理得到模型的输入数据，将输入数据分为训练集和测试集，将训练集输入到网络中进行训练得到训练好的网络模型，然后将测试集再次输入到训练好的模型中，进行后续分割及分类操作；

步骤二、利用改进后的U-Net卷积神经网络进行图像分割：原始的U-Net卷积神经网络包括Encoder阶段和Decoder阶段，改进时，首先对Encoder阶段每一层编码模块设置padding值，然后在Encoder阶段相邻编码模块的采样过程中分别加入注意力模块，注意力模块从前到后依次包括Global pooling层、两个全连接层和ReLu层，上一编码模块的输出通过Global pooling层对特征图进行池化，再通过两个全连接层学习通道的权重，之后通过ReLu层中ReLu函数激活，最终将原始的特征图与ReLu层最后的输出进行Scale操作，改进后的U-Net卷积神经网络中，Encoder阶段包括七层编码器，Decoder阶段包括六层解码器；采用随机梯度下降法对改进后的U-Net卷积神经网络进行训练，框架为Caffee，输入为单个图像；通过改进后的U-Net卷积神经网络对输入的特征图中的每个像素进行分类，将每个像素分配到不同的类别；

步骤三、通过嵌入了SENet的ResNet卷积神经网络对分割好的图像进行分类，最终输出图像的T期分类结果。

本发明中，利用改进后的U-Net卷积神经网络进行图像分割时，通过Encoder部分提取图像的高级特征，然后通过Decoder部分将这些特征映射回输入图像的大小，同时利用跳跃连接来融合不同尺度的信息，从而在图像分割任务中取得了良好的性能。具体的，Encoder部分包括一系列卷积层和池化层，逐渐减小图像的空间分辨率。Decoder部分包括一系列卷积层和上采样操作，逐渐增加特征图的空间分辨率，同时融合来自不同分辨率的特征图。之后将融合后的结果输入到输出层，输出层通过激活函数得到每个像素的类别概率，每个像素的类别由概率最高的决定，从而完成分割。

本申请中对Encoder结构做的第一步改进就是设置适当的padding值使其在每次进行下采样前保持图像尺寸不变，保证图像信息不丢失，使得图像在具体执行下采样前保持原有的分辨率。其次，在下采样的过程中，为了能够保留图像的关键特征，使得网络能够更好学习图像特征，本申请还在下采样过程中分别加入注意力模块，通过Global pooling层对特征图进行池化，再通过两个全连接层学习通道的权重，之后通过ReLu函数激活并与原始特征图进行Scale操作，Scale操作会将每个通道的特征值乘以对应的注意力权重。如果一个通道的注意力权重较高，那么它的特征响应将会被放大，以增强网络对这个通道的关注；相反，如果一个通道的注意力权重较低，那么它的特征响应将被减小，以减弱网络对这个通道的关注。这种注意力机制有助于网络更好地选择和利用输入特征图中的信息，提高了网络的表示能力和泛化能力。除此之外，在原有网络结构基础上，本发明还新增了两层下采样层以及对应的上采样层，为了能够更好地学习图像特征。因此，当图像通过U-Net网络结构处理后，不会将输入图像分成多个小图，而是将每个像素分配到相应的类别，这样的分割结果可以用来标记图像中的不同区域，从而凸显出想要分割的目标物体。而权重即网络中的模型参数，用于学习特征表示和从训练数据中推断出图像的分割结果。权重的训练是通过最小化损失函数来进行的，该损失函数衡量了模型预测分割结果与真实分割结果之间的差异。交叉熵损失函数用于比较网络预测的分割结果与真实的分割标签之间的差异，并通过反向传播来调整模型权重以最小化损失。在训练期间，权重的更新是为了使网络更好地适应分割任务。在模型完成了所有上采样处理之后，模型输出之前通过Softmax操作输出一个概率分布，其中每个通道对应一个类别。然后，可以根据最高概率的类别来确定像素的分类标签，从而得出分割结果。

在步骤三中，每个肿瘤图像都有其对应的T期分类标签，总共四类，分别为T1、T2、T3、T4期，在网络的顶部添加一个输出层，用于执行T期分类任务。用一个全连接层作为输出层，其输出数量等于T期的类别数，具体例如T1、T2、T3、T4等。使用Softmax激活函数来获得类别概率分布。对于新的肿瘤分割图像，将其输入到经过训练的网络中。具体的，步骤三中，分割图通过ResNet网络的编码器和SEBlock提取特征，这一步骤可以产生一组特征向量，这些特征向量捕获了输入分割图的关键特征信息。在特征提取后，使用具有全连接层的输出层来执行T期分类任务。这个输出层可以是一个包含T期类别数量的全连接层，然后应用Softmax激活函数来获得每个类别的概率分布，模型的输出将是每个T期类别的概率分布。选择使用概率最高的类别作为图像对应的最终T期分类结果。自此就在完成分割任务的基础上完成了肿瘤的分类任务。

具体实施例中，步骤三中SENet卷积神经网络包括压缩网络和激励网络，压缩网络是对输入的特征图进行squeeze操作，因为每个卷积提取到的特征都是一个局部特征，并不能接受局部之外的信息。为了缓解这个问题，提出了squeeze操作。它其实就是对提取到的特征，在每个通道上执行全局平均池化（global average pooling）。z∈RC是对特征在空间维度中执行全局平均池化的结果，其计算下面所示：

。

第二部分为Excition部分，为了利用压缩部分的信息依赖，需要通过这一部分来完成，这个操作需要满足两个条件：第一，能够获得通道间的非线性关系；第二，学习到的依赖关系不一定互斥，因为我们希望多个通道特征被加强，而不是只加强某一个通道特征。因此需要采用如下的变换形式：

。

得到s后，最后通过如下两个公式得到最终输出：

。

SENet卷积神经网络的结构如图2所示。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。尽管参照前述各实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离各实施例技术方案的范围，其均应涵盖权利要求书的保护范围中。

Claims (2)

1.基于U-Net和SENet实现直肠癌CT图像的分割与分类方法，其特征在于，包括以下步骤：

步骤一、图像预处理：需要对原始的直肠癌CT图像进行裁剪，对图像进行扩大或缩小比例使肿瘤区域包含于图像内，然后对直肠癌CT图像进行直方图均衡化，将原始图像的灰度图转变为均匀分布，之后再对直肠癌CT图像进行标准归一化处理；

步骤二、利用改进后的U-Net卷积神经网络进行图像分割：原始的U-Net卷积神经网络包括Encoder阶段和Decoder阶段，改进时，首先对Encoder阶段每一层编码模块设置padding值，然后在Encoder阶段相邻编码模块的采样过程中分别加入注意力模块，注意力模块从前到后依次包括Global pooling层、两个全连接层和ReLu层，上一编码模块的输出通过Global pooling层对特征图进行池化，再通过两个全连接层学习通道的权重，之后通过ReLu层中ReLu函数激活，最终将原始的特征图与ReLu层最后的输出进行Scale操作，改进后的U-Net卷积神经网络中，Encoder阶段包括七层编码器，Decoder阶段包括六层解码器；采用随机梯度下降法对改进后的U-Net卷积神经网络进行训练，框架为Caffee，输入为单个图像；通过改进后的U-Net卷积神经网络对输入的特征图中的每个像素进行分类，将每个像素分配到不同的类别，即完成图像的分割；

步骤三、通过嵌入了SENet的ResNet卷积神经网络对分割好的图像进行分类，最终输出图像的T期分类结果。

2.根据权利要求1所述的基于U-Net和也挺实现直肠癌CT图像的分割与分类方法，其特征在于，步骤二中，padding值为3。