CN112686849A - 一种基于三维卷积神经网络的肺叶分割系统 - Google Patents

Abstract

本公开提供了一种基于三维卷积神经网络的肺叶分割系统，包括：数据获取模块，被配置为：获取待识别的胸部CT图像数据，并进行预处理；肺叶分割模块，被配置为：将预处理后的肺部CT图像数据输入到预设的三维卷积神经网络模型中，得到肺叶分割结果；其中，三维卷积神经网络模型包括三个下采样层和三个上采样层，下采样层通过卷积层实现，上采样层通过反卷积层实现；本公开能够快速实现对不同肺叶区域的分割，对广泛的临床数据具有较高的鲁棒性，对不同医院的数据具有较强的泛化性。

Description

一种基于三维卷积神经网络的肺叶分割系统

技术领域

本公开涉及图像处理技术领域，特别涉及一种基于三维卷积神经网络的肺叶分割系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术，并不必然构成现有技术。

随着医学硬件设备的不断提升，CT影像质量越来越高，并且影像数量也是成倍增。并且由于容积效应以及患者在拍摄过程中的身体抖动及其他因素的影响，导致CT图像模糊，医生在判断病变位于哪一肺叶时，具有一定难度，给医生诊断速度及精度带来很大困难，给医生的日常工作带来一定的负担。

在胸部CT影像中，病变位于肺叶不同位置对于其恶性程度具有重要影响，因此，准确鉴别肺叶对肺部疾病的诊断以及判断其恶性程度具有重要的临床意义。

发明人发现，目前较多分割算法常用于血管及肺部的分割，对于肺叶分割的算法大都使用传统的几何学的方法，执行效率较低，不能满足医生日常工作需求。

发明内容

为了解决现有技术的不足，本公开提供了一种基于三维卷积神经网络的肺叶分割系统，能够快速实现对不同肺叶区域的分割，对广泛的临床数据具有较高的鲁棒性，对不同医院的数据具有较强的泛化性。

为了实现上述目的，本公开采用如下技术方案：

本公开第一方面提供了一种基于三维卷积神经网络的肺叶分割系统。

一种基于三维卷积神经网络的肺叶分割系统，包括：

数据获取模块，被配置为：获取待识别的胸部CT图像数据，并进行预处理；

肺叶分割模块，被配置为：将预处理后的肺部CT图像数据输入到预设的三维卷积神经网络模型中，得到肺叶分割结果；

其中，三维卷积神经网络模型包括三个下采样层和三个上采样层，下采样层通过卷积层实现，上采样层通过反卷积层实现。

作为可能的一些实现方式，对获取的肺部CT图像数据进行HU值调整，并进行归一化处理，然后对数据通过旋转平移和高斯滤波处理。

作为可能的一些实现方式，三维卷积神经网络模型的训练，包括：

截取预设大小的数据块输入到三维卷积神经网络模型中，对于不满足要求的数据块采取平移以使得数据库大小一致。

作为进一步的限定，三维卷积神经网络模型，包括两部分：

第一部分通过下采样，将输入数据在轴向上缩小一倍，送入第一阶段网络中，得到一个粗糙尺度下的分割结果；

第二部分则是将原始尺度大小的数据与第一部分中得到的分割结果进行拼接，共同送入第二阶段网络中得到最终的分割结果。

作为进一步的限定，网络训练的优化器为Adam，初始学习率为0.0001，训练过程中学习率不断衰减，当训练epoch达到milestones值时，初始学习率乘以gamma得到新的学习率。

作为进一步的限定，将预测结果与图像标注的结果进行IOU计算，评估算法准确性，计算公式为：

(预测结果区域∩原始图像标注区域)/(预测结果区域∪原始图像标注区域)。

作为可能的一些实现方式，所述三维卷积神经网络模型中引入残差网络结构。

作为可能的一些实现方式，每组卷积层后设置有批归一化层。

本公开第二方面提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如下步骤：

获取待识别的胸部CT图像数据，并进行预处理；

将预处理后的肺部CT图像数据输入到预设的三维卷积神经网络模型中，得到肺叶分割结果；

其中，三维卷积神经网络模型包括三个下采样层和三个上采样层，下采样层通过卷积层实现，上采样层通过反卷积层实现。

本公开第三方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如下步骤：

获取待识别的胸部CT图像数据，并进行预处理；

将预处理后的肺部CT图像数据输入到预设的三维卷积神经网络模型中，得到肺叶分割结果；

其中，三维卷积神经网络模型包括三个下采样层和三个上采样层，下采样层通过卷积层实现，上采样层通过反卷积层实现。

与现有技术相比，本公开的有益效果是：

1、本公开所述的系统、介质或电子设备，能够快速实现对不同肺叶区域的分割，对广泛的临床数据具有较高的鲁棒性，对不同医院的数据具有较强的泛化性。

2、本公开所述的系统、介质或电子设备，三维卷积神经网络模型，包括两部分：第一部分通过下采样，将输入数据在轴向上缩小一倍，送入第一阶段网络中，得到一个粗糙尺度下的分割结果；第二部分则是将原始尺度大小的数据与第一部分中得到的分割结果进行拼接，共同送入第二阶段网络中得到最终的分割结果，极大的提高了分割的准确性。

3、本公开所述的系统、介质或电子设备，网络模型共包括三个下采样层和三个上采样层，分别由卷积层和反卷积层实现，使用卷积层来替代池化层可以减小在训练过程中的内存占用；在每组卷积后添加批归一化层，以加快收敛速度，防止过拟合现象；引入残差网络结构，增加了特征数量，提高了网络的分割精度。

本公开附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1为本公开实施例1提供的基于三维卷积神经网络的肺叶分割系统的工作方法流程示意图。

图2为本公开实施例1提供的网络结构示意图。

图3为本公开实施例1提供的原始图像与分割后的结果对比示意图。

具体实施方式

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。

实施例1：

如图1、图2和图3所示，本公开实施例1提供了一种基于三维卷积神经网络的肺叶分割系统，包括步骤：

数据获取模块，被配置为：获取待识别的胸部CT图像数据，并进行预处理；

肺叶分割模块，被配置为：将预处理后的肺部CT图像数据输入到预设的三维卷积神经网络模型中，得到肺叶分割结果。

具体的，包括以下内容：

S1：选择合适的胸部CT数据，由专家医生进行数据的标注工作，主要是通过3DSlicer软件，将肺部5个肺叶分别用不同的颜色沿着边缘进行勾勒描绘，分别包括：左肺上叶、左肺下叶、右肺上叶、右肺中叶和右肺下叶，除五个肺叶的其他部位不用进行标注。

S2：在标注完成之后，由另外一组专家医师对标注数据进行审核，意见统一时则作为最后数据，意见不统一则由其他医师对这组数据重新进行标注。

S3：将标注好的数据按照3:1:1的比例分为训练集、验证集和测试集，在训练开始之前，需要对训练集进行预处理。

首先，CT数据的HU值调整到[-1000，-200]，并进行归一化处理；

然后，采用数据增强方法，如旋转、高斯滤波、噪声及放缩等处理来增加样本数量，保证数据的多样性。

S4：在训练过程中，首先截取128*128*48的数据块输入到网络中，对于不满足要求的数据块采取平移的方法进行移动以满足输入的要求，保证数据块的尺寸均为128*128*48。

采用三维卷积神经网络保证影像空间结构的关联性，提升网络的分割精度，共包括三个下采样层和三个上采样层，分别由卷积层和反卷积层实现；使用卷积层来替代池化层可以减小在训练过程中的内存占用。

在每组卷积后添加批归一化层，以加快收敛速度，防止过拟合现象；引入残差网络结构，增加特征数量，提高网络的分割精度；网络的最后一层为卷积层，由它实现背景与肺叶的分类。

训练主要包括两部分：

第一部分通过下采样，将输入数据在轴向上缩小一倍，然后送入到左侧的网络中，得到一个粗糙尺度下的分割结果；

第二部分则是将原始尺度大小的数据与第一步中得到的分割结果进行拼接，共同送入第二阶段网络中得到最终的分割结果。

S5：网络训练的优化器为Adam，初始学习率为0.0001；训练过程中学习率不断衰减，当训练epoch达到milestones值时，初始学习率乘以gamma得到新的学习率。

S6：在验证集上，当连续3个epoch的损失不再下降时则停止训练，进行测试。

S7：随机选取测试集中的数据输入到已经训练好的网络中进行测试，观察输入图像与输出图像的分类结果是否一致。

S8：迭代训练完成之后，将待识别的影像输入到网络中进行分割预测，不同肺叶区域分别由不同颜色表示，将识别结果与专家医师标注的结果进行IOU计算，评估本网络的分割精度，计算公式为：

(预测结果区域∩原始图像标注区域)/(预测结果区域∪原始图像标注区域)。

实施例2：

本公开实施例2提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如下步骤：

获取待识别的胸部CT图像数据，并进行预处理；

将预处理后的肺部CT图像数据输入到预设的三维卷积神经网络模型中，得到肺叶分割结果；

其中，三维卷积神经网络模型包括三个下采样层和三个上采样层，下采样层通过卷积层实现，上采样层通过反卷积层实现。

详细步骤与实施例1提供的方法相同，这里不再赘述。

实施例3：

本公开实施例3提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如下步骤：

获取待识别的胸部CT图像数据，并进行预处理；

将预处理后的肺部CT图像数据输入到预设的三维卷积神经网络模型中，得到肺叶分割结果；

其中，三维卷积神经网络模型包括三个下采样层和三个上采样层，下采样层通过卷积层实现，上采样层通过反卷积层实现。

详细步骤与实施例1提供的方法相同，这里不再赘述。

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.一种基于三维卷积神经网络的肺叶分割系统，其特征在于：包括：

数据获取模块，被配置为：获取待识别的胸部CT图像数据，并进行预处理；

肺叶分割模块，被配置为：将预处理后的肺部CT图像数据输入到预设的三维卷积神经网络模型中，得到肺叶分割结果；

其中，三维卷积神经网络模型包括三个下采样层和三个上采样层，下采样层通过卷积层实现，上采样层通过反卷积层实现。

2.如权利要求1所述的基于三维卷积神经网络的肺叶分割系统，其特征在于：

对获取的肺部CT图像数据进行HU值调整，并进行归一化处理，然后对数据通过旋转平移和高斯滤波处理。

3.如权利要求1所述的基于三维卷积神经网络的肺叶分割系统，其特征在于：

三维卷积神经网络模型的训练，包括：

截取预设大小的数据块输入到三维卷积神经网络模型中，对于不满足要求的数据块采取平移以使得数据库大小一致。

4.如权利要求3所述的基于三维卷积神经网络的肺叶分割系统，其特征在于：

三维卷积神经网络模型，包括两部分：

第一部分通过下采样，将输入数据在轴向上缩小一倍，送入第一阶段网络中，得到一个粗糙尺度下的分割结果；

第二部分则是将原始尺度大小的数据与第一部分中得到的分割结果进行拼接，共同送入第二阶段网络中得到最终的分割结果。

5.如权利要求3所述的基于三维卷积神经网络的肺叶分割系统，其特征在于：

网络训练的优化器为Adam，初始学习率为0.0001，训练过程中学习率不断衰减，当训练epoch达到milestones值时，初始学习率乘以gamma得到新的学习率。

6.如权利要求3所述的基于三维卷积神经网络的肺叶分割系统，其特征在于：将预测结果与图像标注的结果进行IOU计算，评估算法准确性，计算公式为：

(预测结果区域∩原始图像标注区域)/(预测结果区域∪原始图像标注区域)。

7.如权利要求1所述的基于三维卷积神经网络的肺叶分割系统，其特征在于：

所述三维卷积神经网络模型中引入残差网络结构。

8.如权利要求1所述的基于三维卷积神经网络的肺叶分割系统，其特征在于：

每组卷积层后设置有批归一化层。

9.一种计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现如下步骤：

获取待识别的胸部CT图像数据，并进行预处理；

将预处理后的肺部CT图像数据输入到预设的三维卷积神经网络模型中，得到肺叶分割结果；

其中，三维卷积神经网络模型包括三个下采样层和三个上采样层，下采样层通过卷积层实现，上采样层通过反卷积层实现。

10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如下步骤：

获取待识别的胸部CT图像数据，并进行预处理；

将预处理后的肺部CT图像数据输入到预设的三维卷积神经网络模型中，得到肺叶分割结果；

其中，三维卷积神经网络模型包括三个下采样层和三个上采样层，下采样层通过卷积层实现，上采样层通过反卷积层实现。

Images