CN109872325A - 基于双路三维卷积神经网络的全自动肝脏肿瘤分割方法 - Google Patents

Abstract

本发明提供一种基于双路三维卷积神经网络的肝脏肿瘤图像分割方法，包括：准备数据集；将数据集中的原始CT图像进行滤波与标准化的预处理操作；训练具有并行路径结构的双路三维卷积神经网络；利用已训练好的双路三维卷积神经网络来分割CT图像中的肝脏肿瘤，并生成肿瘤分割结果的概率图；本发明基于双路三维卷积神经网络，全自动的实现对肝脏CT图像的肿瘤分割，准确率高、速度快。

Description

基于双路三维卷积神经网络的全自动肝脏肿瘤分割方法

技术领域

本发明涉及计算机辅助诊断技术领域，具体而言，尤其涉及一种基于双路三维卷积神经网络的全自动肝脏肿瘤分割方法。

背景技术

肝脏是人体最大的内脏器官，是人体新陈代谢最为旺盛、人体最为重要的解毒器官。同时，肝脏也是人体肿瘤发病率较高的器官之一，而且肝脏中恶性肿瘤的发病率远高于良性肿瘤。据统计，在世界范围内，肝癌的发病率以每年约70万人的速度增长，而中国的肝癌发病率与死亡率更是占到了全世界的50％以上。国家癌症中心发布的《2018年全国最新癌症报告》指出，在我国的癌症病患中，肝癌的发病率高居前五，肝癌的死亡率高达第二。肝癌是人类生命健康的重大威胁。从腹部CT图像中精确测量肿瘤大小，分割和定位肿瘤区域有助于医生做出准确的肝脏肿瘤评估，更好地预测肝脏肿瘤的生长和临床诊断，对确定所需的治疗方案，进行计算机辅助手术有着重要的作用。在当前的临床实践中，肿瘤分割通常由放射科医师以逐片方式手动执行。然而，通过在数百张CT切片上手动分割获得肿瘤区域是非常繁琐且耗时的，并且引入了人的主观性，专家的知识和经验水平是影响分割准确性的重要因素。在对肝脏肿瘤自动分割算法的研究中，主要存在如下难点：首先，肝脏与其相邻器官，以及腹腔内的一些肌肉、脂肪等人体组织之间的边缘非常紧凑，相互之间的接触面积也比较大，但它们的CT值却相差不大，所以对肝脏边缘的分割带来非常大的干扰；其次，在肝脏内部肿瘤和健康组织的低对比度导致可观察到的变化很小，使其界限模糊；再有肝脏肿瘤的影像表现在大小、形状、位置等方面复杂多变，同一病患自身以及病患与病患之间都存在较大差异。精确的肝脏及肝脏肿瘤自动分割算法已成为医学图像处理中的主要研究焦点，其结果可以为肝脏肿瘤的临床评估提供客观的、可再现的依据。

发明内容

根据上述提出的技术问题，而提供一种基于双路三维卷积神经网络的全自动肝脏肿瘤分割方法。本发明主要利用多尺度特征融合的思想设计了一种具有并行路径结构的三维卷积神经网络模型(three-dimensional dual path convolutional neural network，TDP-CNN)，用以将局部特征与上下文信息进行有效地融合；同时，为了更好地获取图像的空间信息，在本发明方法的网络模型中使用了3D卷积结构；最后，在本发明方法中结合了条件随机场用于精细化分割结果。

本发明采用的技术手段如下：

一种基于双路三维卷积神经网络的全自动肝脏肿瘤分割方法，其特征在于，包括以下步骤：

步骤S1：准备数据集；

步骤S101：收集腹部肝脏CT图像三维数据，每张CT图像的分辨率为512×512，像素间距从0.55mm到1.0mm，切片间距从0.45mm到6.0mm，均采用Nifti格式；

步骤S102：将所述收集到的腹部肝脏CT图像三维数据分为训练集、测试集和验证集；

步骤S2：将所述训练集、测试集和验证集中的原始CT图像进行滤波与标准化的预处理操作；

步骤S3：训练具有并行路径结构的三维卷积神经网络；

所述步骤S3中，双路三维卷积神经网络由局部路径和全局路径组成，每条路径均包括8个模块，所述模块表示卷积层、规范层与激活层的连接组合，在所述双路三维卷积神经网络的第4、6和第8个模块之后融合残差输入，最后使用卷积核尺寸为1×1×1的全连接层来连接两个路径的最后一个卷积层，每个全连接层之后都连接一个随机丢弃层，最后将融合后的特征图送入softmax分类器；

所述局部路径中，第1个卷积层的三维卷积核为3×3×3，特征图数量为30；第2个卷积层的三维卷积核为3×3×3，特征图数量为30；第3个卷积层的三维卷积核为3×3×3，特征图数量为40；第4个卷积层的三维卷积核为3×3×3，特征图数量为40；第5个卷积层的三维卷积核为3×3×3，特征图数量为30；第6个卷积层的三维卷积核为3×3×3，特征图数量为40；第7个卷积层的三维卷积核为3×3×3，特征图数量为50；第8个卷积层的三维卷积核为3×3×3，特征图数量为50；

所述全局路径中，第1个卷积层的三维卷积核为3×3×3，特征图数量为30，；第2个卷积层的三维卷积核为3×3×3，特征图数量为30；第3个卷积层的三维卷积核为3×3×3，特征图数量为40；第4个卷积层的三维卷积核为3×3×3，特征图数量为40；第5个卷积层的三维卷积核为3×3×3，特征图数量为30；第6个卷积层的三维卷积核为3×3×3，特征图数量为40；第7个卷积层的三维卷积核为3×3×3，特征图数量为50；第8个卷积层的三维卷积核为3×3×3，特征图数量为50；

所述步骤S3中的训练过程还包括：

步骤S301：用分辨率43×43×43将每个三维CT图像分割为50个子图像块，作为局部路径的输入；

步骤S302：用分辨率129×129×129将每个三维CT图像分割为20个子图像块，并做降采样，令其分辨率为43×43×43，作为全局路径的输入；

步骤S303：训练过程的参数设置为：初始学习率＝0.001，L1正则化系数＝0.00001，L2正则化系数＝0.0001，阈值＝0.5，batch_size＝10，迭代次数＝700；

步骤S4：利用已训练好的双路三维卷积神经网络来分割CT图像中的肝脏肿瘤，并生成肿瘤分割结果的概率图；

步骤S401：将待分割的CT图像，根据步骤S2进行预处理；

步骤S402：将预处理后的三维CT图像，根据步骤S301、步骤S302进行子图像块的切割，并送入已训练好的双路三维卷积神经网络中；

步骤S403：得到通过双路三维卷积神经网络的肝脏肿瘤的分割概率图，其中阈值在0.5以上的体素值是肝脏肿瘤部分。

进一步地，所述步骤S2的预处理操作过程如下：

步骤S201：使用3×3维的高斯卷积核对原始CT图像进行滤波；

步骤S202：滤波完成后，将处理后的CT图像再进行标准化处理，使所有CT二维图像的像素值均满足均值为0，标准差为1的标准正态分布；

步骤S203：再对标准化处理后的CT图像进行降采样，从而使每张CT图像的分辨率为256×256。

较现有技术相比，本发明的有益效果是：

本发明基于双路三维卷积神经网络，全自动的实现对肝脏CT图像的肿瘤分割，准确率高、速度快。

基于上述理由本发明可在计算机辅助诊断等领域广泛推广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明中双路三维卷积神经网络的结构图。

图2为本发明实施例中含有较小肿瘤区域情况下，肝脏肿瘤分割结果示意图。

图3为本发明实施例中含有大块肿瘤区域情况下，肝脏肿瘤分割结果示意图。

图4为本发明实施例中含有多个肿瘤情况下，肝脏肿瘤分割结果示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例

本发明提供了一种基于双路三维卷积神经网络的全自动肝脏肿瘤分割方法，包括以下步骤：

步骤S1：准备数据集；

步骤S101：收集131组腹部肝脏CT图像三维数据，并由临床专家给出肝脏肿瘤的分割结果，像素间距从0.55mm到1.0mm，切片间距从0.45mm到6.0mm，均采用Nifti格式，轴向切片的数量不固定，数量范围为74到987，每个CT切片的分辨率为512×512。

步骤S102：将所述收集到的腹部肝脏CT图像三维数据分为训练集、测试集和验证集；其中，训练集81个CT序列，测试集25个CT序列，验证集25个CT序列。

步骤S2：将所述训练集、测试集和验证集中的原始CT图像进行滤波与标准化的预处理操作；

步骤S201：使用3×3维的高斯卷积核对原始CT图像进行滤波；

步骤S202：滤波完成后，将处理后的CT图像再进行标准化处理，使所有CT二维图像的像素值均满足均值为0，标准差为1的标准正态分布；

步骤S203：再对标准化处理后的CT图像进行降采样，从而使每张CT图像的分辨率为256×256。

步骤S3：训练具有并行路径结构的双路三维卷积神经网络；

所述步骤S3中，如图1所示，双路三维卷积神经网络由局部路径和全局路径组成，每条路径均包括8个模块，所述模块表示卷积层、规范层与激活层的连接组合，在所述双路三维卷积神经网络的第4、6和第8个模块之后融合残差输入，最后使用卷积核尺寸为1×1×1的全连接层来连接两个路径的最后一个卷积层，每个全连接层之后都连接一个随机丢弃层，最后将融合后的特征图送入softmax分类器；

所述局部路径中，第1个卷积层的三维卷积核为3×3×3，特征图数量为30；第2个卷积层的三维卷积核为3×3×3，特征图数量为30；第3个卷积层的三维卷积核为3×3×3，特征图数量为40；第4个卷积层的三维卷积核为3×3×3，特征图数量为40；第5个卷积层的三维卷积核为3×3×3，特征图数量为30；第6个卷积层的三维卷积核为3×3×3，特征图数量为40；第7个卷积层的三维卷积核为3×3×3，特征图数量为50；第8个卷积层的三维卷积核为3×3×3，特征图数量为50；

所述全局路径中，第1个卷积层的三维卷积核为3×3×3，特征图数量为30，；第2个卷积层的三维卷积核为3×3×3，特征图数量为30；第3个卷积层的三维卷积核为3×3×3，特征图数量为40；第4个卷积层的三维卷积核为3×3×3，特征图数量为40；第5个卷积层的三维卷积核为3×3×3，特征图数量为30；第6个卷积层的三维卷积核为3×3×3，特征图数量为40；第7个卷积层的三维卷积核为3×3×3，特征图数量为50；第8个卷积层的三维卷积核为3×3×3，特征图数量为50；

所述步骤S3中的训练过程还包括：

步骤S301：用分辨率43×43×43将每个三维CT图像分割为50个子图像块，根据步骤S102中训练集有81个CT序列，共有50×81个图像块作为局部路径的输入；

步骤S302：用分辨率129×129×129将每个三维CT图像分割为20个子图像块，并做降采样，令其分辨率为43×43×43，根据步骤S102中训练有81个CT序列，共有20×81个图像块作为全局路径的输入；

步骤S303：训练过程的参数设置为：初始学习率＝0.001，L1正则化系数＝0.00001，L2正则化系数＝0.0001，阈值＝0.5，batch_size＝10，迭代次数＝700；

步骤S4：利用已训练好的双路三维卷积神经网络来分割CT图像中的肝脏肿瘤，并生成肿瘤分割结果的概率图；

步骤S401：将待分割的CT图像，根据步骤S2进行预处理，得到256×256×N的CT序列图像，其中N为层数；

步骤S402：将预处理后的三维CT图像，根据步骤S301、步骤S302进行子图像块的切割，并送入已训练好的双路三维卷积神经网络中；

步骤S403：得到通过双路三维卷积神经网络的肝脏肿瘤的分割概率图，其中阈值在0.5以上的体素值是肝脏肿瘤部分。

作为本发明优选的实施例，双路三维卷积神经网络局部路径和全局路径网络参数如表1所示：

表1 TDP-CNN局部路径和全局路径网络参数

表中conv表示卷积层，conv_n表示从输入层开始往后依次递增的第n个卷积层，kernel对应于每一层卷积核的尺寸，FMs对应于每一层特征图的数量。

作为本发明优选的实施例，双路三维卷积神经网络训练过程中的参数设置如表2所示：

表2双路三维卷积神经网络训练过程中的参数设置

作为本发明优选的实施例，本发明分别列出了3种类型：肿瘤区域体积较小，大块连通的肿瘤区域，相互独立的多个肿瘤区域。如图2所示，本发明的方法可以成功地检测出较小的肿瘤区域，但对于图中靠近肝脏下半部分的微小的肿瘤区域只检测到其中一点，没有分割出完整区域。如图3所示，本发明的方法在对含有大块肿瘤区域的样本的分割结果中，有较好的表现。如图4所示，本发明的方法对含有相互独立的多个肿瘤区域的样本的分割结果中，可以有效的识别多个肿瘤，并准确分割。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (2)

1.一种基于双路三维卷积神经网络的全自动肝脏肿瘤分割方法，其特征在于，包括以下步骤：

步骤S1：准备数据集；

步骤S101：收集腹部肝脏CT图像三维数据，每张CT图像的分辨率为512×512，像素间距从0.55mm到1.0mm，切片间距从0.45mm到6.0mm，均采用Nifti格式；

步骤S102：将所述收集到的腹部肝脏CT图像三维数据分为训练集、测试集和验证集；

步骤S2：将所述训练集、测试集和验证集中的原始CT图像进行滤波与标准化的预处理操作；

步骤S3：训练具有并行路径结构的双路三维卷积神经网络；

所述步骤S3中，双路三维卷积神经网络由局部路径和全局路径组成，每条路径均包括8个模块，所述模块表示卷积层、规范层与激活层的连接组合，在所述双路三维卷积神经网络的第4、6和第8个模块之后融合残差输入，最后使用卷积核尺寸为1×1×1的全连接层来连接两个路径的最后一个卷积层，每个全连接层之后都连接一个随机丢弃层，最后将融合后的特征图送入softmax分类器；

所述局部路径中，第1个卷积层的三维卷积核为3×3×3，特征图数量为30；第2个卷积层的三维卷积核为3×3×3，特征图数量为30；第3个卷积层的三维卷积核为3×3×3，特征图数量为40；第4个卷积层的三维卷积核为3×3×3，特征图数量为40；第5个卷积层的三维卷积核为3×3×3，特征图数量为30；第6个卷积层的三维卷积核为3×3×3，特征图数量为40；第7个卷积层的三维卷积核为3×3×3，特征图数量为50；第8个卷积层的三维卷积核为3×3×3，特征图数量为50；

所述全局路径中，第1个卷积层的三维卷积核为3×3×3，特征图数量为30，；第2个卷积层的三维卷积核为3×3×3，特征图数量为30；第3个卷积层的三维卷积核为3×3×3，特征图数量为40；第4个卷积层的三维卷积核为3×3×3，特征图数量为40；第5个卷积层的三维卷积核为3×3×3，特征图数量为30；第6个卷积层的三维卷积核为3×3×3，特征图数量为40；第7个卷积层的三维卷积核为3×3×3，特征图数量为50；第8个卷积层的三维卷积核为3×3×3，特征图数量为50；

所述步骤S3中的训练过程还包括：

步骤S301：用分辨率43×43×43将每个三维CT图像分割为50个子图像块，作为局部路径的输入；

步骤S302：用分辨率129×129×129将每个三维CT图像分割为20个子图像块，并做降采样，令其分辨率为43×43×43，作为全局路径的输入；

步骤S303：训练过程的参数设置为：初始学习率＝0.001，L1正则化系数＝0.00001，L2正则化系数＝0.0001，阈值＝0.5，batch_size＝10，迭代次数＝700；

步骤S4：利用已训练好的双路三维卷积神经网络来分割CT图像中的肝脏肿瘤，并生成肿瘤分割结果的概率图；

步骤S401：将待分割的CT图像，根据步骤S2进行预处理；

步骤S402：将预处理后的三维CT图像，根据步骤S301、步骤S302进行子图像块的切割，并送入已训练好的双路三维卷积神经网络中；

步骤S403：得到通过双路三维卷积神经网络的肝脏肿瘤的分割概率图，其中阈值在0.5以上的体素值是肝脏肿瘤部分。

2.根据权利要求1所述的基于双路三维卷积神经网络的全自动肝脏肿瘤分割方法，其特征在于，所述步骤S2的预处理操作过程如下：

步骤S201：使用3×3维的高斯卷积核对原始CT图像进行滤波；

步骤S202：滤波完成后，将处理后的CT图像再进行标准化处理，使所有CT二维图像的像素值均满足均值为0，标准差为1的标准正态分布；

步骤S203：再对标准化处理后的CT图像进行降采样，从而使每张CT图像的分辨率为256×256。