CN110675406A - 基于残差双注意力深度网络的ct图像肾脏分割算法 - Google Patents

Abstract

本发明公开了一种基于残差双注意力深度网络的CT图像肾脏分割算法，该方法将残差单元能重复利用特征的优点和双注意力机制优良的特征学习能力相结合，设计了残差双注意力模块，并以残差双注意力模块为基础模块构建U型深度网络分割模型，同时设计用于分割的损失函数，使U型深度网络分割模型能够更加关注肾脏区域特征，可有效应对囊性病变肾脏的形状变化，能够对囊性病变下肾脏的形状变化保持鲁棒；进而准确定位肾脏区域边界，实现CT图像中肾脏区域的自动分割，并起到很好的分割效果。

Description

基于残差双注意力深度网络的CT图像肾脏分割算法

技术领域

本发明涉及数据信息处理技术领域，尤其涉及一种基于残差双注意力深度网络的CT图像肾脏分割算法。

背景技术

在临床应用中，肾脏分割对于病情诊断，功能评估和治疗决策非常重要，早期的分割工作是由有经验的医生手动勾画的，这种分割方式主观性强、效率低并且分割结果无法复现，已经不能很好满足临床要求，在现实应用中已经逐渐被淘汰。随着科学技术的不断发展，利用计算机技术实现医学图像分割成为可能，研究人员开始纷纷探索自动分割的方法。然而，准确可靠地在CT图像中分割肾脏存在一些难点，比如：CT图像对比度低，肾脏与相邻的器官和组织之间边界模糊，个体肾脏的形状存在差异，肾脏内部的水和空气会引起噪声和空洞等，对于肾囊肿患者而言，囊肿病变使得肾脏体积扩大会导致肾脏形状发生很大变化，从而相对于正常(非病变)肾脏，CT图像切片囊肿肾脏分割更为困难。因此，开发用于囊肿肾脏的快速和精确的全自动分割算法有着很实际的研究意义。

近些年来，国内外学者在医学图像肾脏分割领域做出了相应的研究和贡献，大致可以分为两类，一类是传统方法，一类是深度学习方法。传统方法通常是指利用先验知识和图像特征实现分割，此类方法的基本原理是根据图像中不同区域的不同特征(如灰度值、纹理等)和已知的结构信息对图像中的像素进行分类处理，如自适应区域生长算法以及主动轮廓等，传统方法一般需要人为干预，不能做到完全自动分割，且处理过程较为繁琐。深度学习方法是指基于卷积神经网络(CNN)设计的深度网络分割模型，此类方法主要采用数据驱动的模式，其性能与数据的数量和质量密切相关，通过合理设置网络结构与优化学习方法，同时构建恰当的损失函数并进行迭代训练，使得模型具有高效提取图像特征的能力，能够自动分割所关注的目标，无需人为干预且操作过程较为简单，相比于传统方法更为高效。但由于人体肾脏存在形状的多样性和解剖结构的复杂性，囊肿病变也会导致肾脏形状发生大幅变化，这使得对CT图像中肾脏，特别是囊肿肾脏的自动分割存在诸多挑战。现有的一些全卷积网络，如基于VGG的全卷积网络，并不能很好地定位出肾脏区域边界。如何设计更有效的分割网络是提升肾脏自动分割准确性的关键。

发明内容

为解决现有技术中存在的问题，本发明提供一种基于残差双注意力深度网络的CT图像肾脏分割算法，实现CT图像切片中的肾脏区域的准确分割，其技术方案如下：

一种基于残差双注意力深度网络的CT图像肾脏分割算法，包括如下具体步骤：

S101、采集腹部CT图像切片扫描序列，构建腹部CT图像切片数据集；再通过标注软件对每张CT图像切片的肾脏区域进行标注，并生成对应的二值化掩码图；；

S102、对S101中CT图像切片与对应的二值化掩码图分别进行预处理操作，再分别将预处理后的CT图像切片和对应的二值化掩码图按照6:2:2的比例划分为训练集、验证集和测试集；

S103、设计残差双注意力模块，再以残差双注意力模块为基础模块构建U型深度网络分割模型，并设计用于分割的损失函数；

S104、选择合适的优化学习方法，设置相关的超参数，利用训练集和验证集对S103中所述U型深度网络分割模型进行训练；

S105、训练完成后，从测试集中任选一张CT图像切片，输入U型深度网络分割模型，加载训练好的模型权重进行分割，生成肾脏/背景的概率图谱，分割出CT图像切片中的肾脏区域，并生成分割后的二值化掩码图。

优选地，所述残差双注意力模块，对于给定的输入特征图，首先经过两个卷积层，再经双注意力机制进行处理，然后对处理后得到的两种特征图进行融合，再将融合后的特征图与输入特征图进行残差连接，最后经过ReLu激活函数得到输出特征图；其中，双注意力机制包括空间注意力机制和通道注意力机制；所述两个卷积层的卷积核尺寸均为3x3,步长均为1，均使用BN层；

优选地，所述双注意力机制处理包括如下具体步骤：

对于给定的特征图X∈R^r×r×c，r为特征图尺寸，c为通道数，

空间注意力机制依据特征图X∈R^r×r×c中每个像素位置的贡献进行特征重组，具体过程为:特征图X∈R^r×r×c依次通过1x1卷积和Sigmoid激活函数对空间依赖性编码，得到单通道空间注意力热图U∈R^r×r×1，再将空间注意力热图U∈R^r×r×1与特征图X∈R^r×r×c进行元素相乘；

通道注意力机制依据特征图X∈R^r×r×c中每个通道的贡献进行特征重组，具体过程为:特征图X∈R^r×r×c依次通过全局平均池化，1x1卷积和Sigmoid激活函数对通道依赖性编码，得到通道注意力热图Z∈R^1×1×c，再将通道注意力热图Z∈R^1×1×c与特征图X∈R^r×r×c进行元素相乘；

最后对经过双注意力机制处理后的特征图进行元素相加操作，整个过程可以表示为：

式中X'表示融合后的特征图，表示对应元素相乘。

优选地，S103中所述U型深度网络分割模型，对于给定的输入特征图，首先经过两个3x3卷积层，再依次经四个编码器块和四个解码器块，然后经过1x1卷积进行通道数降维，最后经过一个分类器输出概率图谱；

其中，每个编码器块由两个残差双注意力模块组成，用于提取图像语义特征；第二个残差双注意力模块通过设置卷积步长为2进行下采样，以扩大神经元感受野以获取高阶语义信息；每个解码器块由一个残差双注意力模块和一个反卷积级联组成，用于特征重构；编码器块和解码器块对于相同分辨率的特征图之间进行跳跃连接；概率图谱定义为图像上每个像素属于肾脏/非肾脏的概率，该概率值范围在(0,1)；

优选地，所述分类器选用softmax分类器。

优选地，损失函数选用Dice损失函数，其中Dice损失函数如下式所示：

式中N表示像素的总个数，p_l(x)表示网络预测的第x个像素属于类别l的概率，g_l(x)表示第x个像素属于类别l的真实概率。

优选地，S101中所述标注软件为ITK-SNAP；所述腹部CT图像切片扫描序列样本数大于等于30。

优选地，S102中所述预处理操作包括调整窗宽值、窗位值和归一化。

优选地，S104中所述合适的优化学习方法为采用SGD或ADAM优化器进行优化；所述相关的超参数包括学习率、batch_size、动量和权重衰减系数。

本发明相比现有技术具有如下优点：

本发明将残差单元能重复利用特征的优点和双注意力机制优良的特征学习能力相结合，设计了残差双注意力模块，并以残差双注意力模块为基础模块构建U型深度网络分割模型，同时设计用于分割的损失函数，使U型深度网络分割模型能够更加关注肾脏区域特征，可有效应对囊性病变肾脏的形状变化，能够对囊性病变下肾脏的形状变化保持鲁棒；进而准确定位肾脏区域边界，实现CT图像中肾脏区域的自动分割，并起到很好的分割效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明方法的控制流程图；

图2是本发明中残差双注意力模块结构图；

图3是本发明中U型深度网络分割模型结构图；

图4是本发明分割结果示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施例采用本发明提供的一种基于残差双注意力深度网络的CT图像肾脏分割算法，对CT图像中肾脏进行分割，如图1所示，包括如下具体步骤：

S101、采集腹部CT图像切片扫描序列，构建腹部CT图像切片数据集；再通过标注软件对每张CT图像切片的肾脏区域进行标注，并生成对应的二值化掩码图。

本实施例的腹部CT图像切片扫描序列采集自某医院的临床病例CT图像切片扫描序列，包括79位肾脏囊肿患者，共计6072张腹部平扫CT图像切片，数据格式为DICOM格式，像素间距为0.625mm，切片厚度为1.0mm，切片间距为0.5mm，图像分辨率为512x512。本实施例利用ITK-SNAP软件对每张CT图像切片的肾脏区域进行标注，并生成二值化掩码图。

S102、为了配合网络训练，对S101中图像切片分别进行预处理操作，该图像切片包括CT图像切片和对应的二值化掩码图，本实施例中预处理操作包括：

分别将CT图像切片与对应的二值化掩码图窗宽值、窗位值调整为420hu和60hu，使得肾脏成像清晰；

将CT图像切片与对应的二值化掩码图分辨率缩小为256x256，以增大训练时每个批次图片的数量；

采用水平、翻转将训练集数据扩充为两倍使得网络训练更充分；

对CT图像切片与对应的二值化掩码图进行归一化处理，以加速深度全卷积网络的收敛。

再按照6:2:2的比例将预处理后的CT图像切片和对应的二值化掩码图进行划分，随机选取其中52个病例(4159张切片)作为训练集，13个病例(960张切片)作为验证集，14个病例(953张切片)作为测试集。

S103、设计残差双注意力模块，再以残差双注意力模块为基础模块构建U型深度网络分割模型，并设计用于分割的损失函数。

S1031、残差单元直接将输入信息与输出相连接，保护了信息的完整性，起到了特征重用的作用，网络只需学习输入、输出差别的那一部分，简化了学习目标和难度。双注意力机制相比于普通卷积而言，可以将特征图通道和空间信息分开提取有用信息，双注意力机制能够关注于某个维度提取有意义的特征。本发明将残差单元能重复利用特征的优点和双注意力机制能学到更好特征表达的优点结合，设计了残差双注意力模块。

如图2所示，残差双注意力模块，对于给定输入特征图，在经过两个卷积层后(卷积核尺寸为3x3,步长为1，使用BN层)，经双注意力机制处理，然后对处理后的两种特征图进行融合，再与输入特征图进行残差连接，最后经过ReLu激活函数。其中，双注意力机制包括空间注意力机制和通道注意力机制，对于给定的特征图X∈R^r×r×c，r为特征图尺寸，c为通道数，包含如下处理过程：

空间注意力机制，依据特征图中每个像素位置的贡献进行特征重组，具体操作为：特征图X∈R^r×r×c依次通过1x1卷积和Sigmoid激活函数对空间依赖性编码，得到单通道空间注意力热图U∈R^r×r×1，再将空间注意力热图U∈R^r×r×1与特征图X∈R^r×r×c进行元素相乘；

通道注意力机制，依据特征图中每个通道的贡献进行特征重组，具体操作为：特征图X∈R^r×r×c依次通过全局平均池化，1x1卷积和Sigmoid激活函数，对通道依赖性编码，得到通道注意力热图Z∈R^1×1×c，再将通道注意力热图Z∈R^1×1×c与特征图X∈R^r×r×c进行元素相乘。

最后对经过两种注意力机制重组处理后的特征图进行元素相加操作，整个过程可以表示为：

式中X'表示输出特征图，表示对应元素相乘(element-wise multiplication)。

S1032、如图3所示，借鉴U-net网络结构，以残差双注意力模块为基础模块构建U型深度网络分割模型，该U型深度网络分割模型，对于给定的输入特征图，首先经过两个3x3卷积层，再依次经四个编码器块和四个解码器块，然后经过1x1卷积进行通道数降维，最后经过一个分类器输出概率图谱；

每个编码器块由两个残差双注意力模块组成，用于提取图像语义特征，第二个残差双注意力模块通过设置卷积步长为2进行下采样，以扩大神经元感受野以获取高阶语义信息。

每个解码器块由一个残差双注意力模块和一个反卷积级联组成，用于特征重构，其中反卷积的作用是实现上采样，提高特征图分辨率。

编码器块和解码器块对于相同分辨率的特征图之间进行跳跃连接；

本实施例的U型深度网络分割模型，最后通过softmax分类器输出概率图谱，概率图谱定义为图像上每个像素属于肾脏/非肾脏的概率，概率图谱值范围在0～1。

S1033、本文利用Dice损失函数来训练优化，Dice损失函数可以表示为：

其中N表示像素的总个数，p_l(x)表示网络预测的第x个像素属于类别l的概率，g_l(x)表示第x个像素属于类别l的真实概率。

S104、选择合适的优化学习方法，设置相关的超参数，并利用训练集进行迭代训练，利用验证集进行模型性评估能，以调节超参数；其中，合适的优化学习方法为采用SGD或ADAM优化器进行优化；相关的超参数包括学习率、batch_size、动量和权重衰减系数；

本实施例训练时的超参数都采用如下相同设置：batch_size设定为16；初始学习率设定为10^-3，在训练完30个epoch后自动调整为10^-4；动量设定为0.95，权重衰减系数恒定为10^-4。本实施例加载训练集，使用Adam优化器进行训练，持续训练到损失收敛为止，并不断利用验证集评估模型性能，以调节超参数。

S105、训练完成后，对于测试集中任意一张CT图像切片，利用训练好的网络模型分割出肾脏区域，具体步骤为：

在训练完成后，从测试集中任选一张CT图像切片，输入U型深度网络分割模型，加载训练好的模型权重进行分割，得到概率图谱，将概率图谱进行二值化(概率值大于等于0.5的变为1，小于0.5的变为0)，生成最终的二值化分割掩码图，分割结果如图4所示，能够对一些形状复杂的囊肿产生很好地分割效果。

Claims (9)

1.一种基于残差双注意力深度网络的CT图像肾脏分割算法，包括如下具体步骤：

S101、采集腹部CT图像切片扫描序列，构建腹部CT图像切片数据集；再通过标注软件对每张CT图像切片的肾脏区域进行标注，并生成对应的二值化掩码图；

S102、对S101中CT图像切片与对应的二值化掩码图分别进行预处理操作，再分别将预处理后的CT图像切片和对应的二值化掩码图按照6:2:2的比例划分为训练集、验证集和测试集；

S103、设计残差双注意力模块，再以残差双注意力模块为基础模块构建U型深度网络分割模型，并设计用于分割的损失函数；

S104、选择合适的优化学习方法，设置相关的超参数，利用训练集和验证集对S103中所述U型深度网络分割模型进行训练；

S105、训练完成后，从测试集中任选一张CT图像切片，输入U型深度网络分割模型，加载训练好的模型权重进行分割，生成肾脏/背景的概率图谱，分割出CT图像切片中的肾脏区域，并生成分割后的二值化掩码图。

2.根据权利要求1所述的基于残差双注意力深度网络的CT图像肾脏分割算法，所述残差双注意力模块，对于给定的输入特征图，首先经过两个卷积层，再经双注意力机制进行处理，然后对处理后得到的两种特征图进行融合，再将融合后的特征图与输入特征图进行残差连接，最后经过ReLu激活函数得到输出特征图；其中，双注意力机制包括空间注意力机制和通道注意力机制；所述两个卷积层的卷积核尺寸均为3x3,步长均为1，均使用BN层。

3.根据权利要求2所述的基于残差双注意力深度网络的CT图像肾脏分割算法，

所述双注意力机制处理包括如下具体步骤：

对于给定的特征图X∈R^r×r×c，r为特征图尺寸，c为通道数，

空间注意力机制依据特征图X∈R^r×r×c中每个像素位置的贡献进行特征重组，具体过程为:特征图X∈R^r×r×c依次通过1x1卷积和Sigmoid激活函数对空间依赖性编码，得到单通道空间注意力热图U∈R^r×r×1，再将空间注意力热图U∈R^r×r×1与特征图X∈R^r×r×c进行元素相乘；

通道注意力机制依据特征图X∈R^r×r×c中每个通道的贡献进行特征重组，具体过程为:特征图X∈R^r×r×c依次通过全局平均池化，1x1卷积和Sigmoid激活函数对通道依赖性编码，得到通道注意力热图Z∈R^1×1×c，再将通道注意力热图Z∈R^1×1×c与特征图X∈R^r×r×c进行元素相乘；

最后对经过双注意力机制处理后的特征图进行元素相加操作，整个过程可以表示为：

式中X'表示融合后的特征图，

表示对应元素相乘。

4.根据权利要求1-3任一所述的基于残差双注意力深度网络的CT图像肾脏分割算法，S103中所述U型深度网络分割模型，对于给定的输入特征图，首先经过两个3x3卷积层，再依次经四个编码器块和四个解码器块，然后经过1x1卷积进行通道数降维，最后经过一个分类器输出概率图谱；

其中，每个编码器块由两个残差双注意力模块组成，用于提取图像语义特征；第二个残差双注意力模块通过设置卷积步长为2进行下采样，以扩大神经元感受野以获取高阶语义信息；每个解码器块由一个残差双注意力模块和一个反卷积级联组成，用于特征重构；编码器块和解码器块对于相同分辨率的特征图之间进行跳跃连接；概率图谱定义为图像上每个像素属于肾脏/非肾脏的概率，该概率值范围在(0,1)。

5.根据权利要求4所述的基于残差双注意力深度网络的CT图像肾脏分割算法，所述分类器选用softmax分类器。

6.根据权利要求5所述的基于残差双注意力深度网络的CT图像肾脏分割算法，损失函数选用Dice损失函数，其中Dice损失函数如下式所示：

式中N表示像素的总个数，p_l(x)表示网络预测的第x个像素属于类别l的概率，g_l(x)表示第x个像素属于类别l的真实概率。

7.根据权利要求1所述的基于残差双注意力深度网络的CT图像肾脏分割算法，S101中所述标注软件为ITK-SNAP；所述腹部CT图像切片扫描序列样本数大于等于30。

8.根据权利要求1所述的基于残差双注意力深度网络的CT图像肾脏分割算法，S102中所述预处理操作包括调整窗宽值、窗位值和归一化。

9.根据权利要求1所述的基于残差双注意力深度网络的CT图像肾脏分割算法，S104中所述合适的优化学习方法为采用SGD或ADAM优化器进行优化；所述相关的超参数包括学习率、batch_size、动量和权重衰减系数。

Images