CN112541909B - 基于切片感知的三维神经网络的肺结节探测方法及系统 - Google Patents

Abstract

本发明公开一种基于切片感知的三维神经网络的肺结节探测方法及系统，包括：获取三维CT图像；根据成组切片非局部模块，三维区域候选网络和假阳减少模块构建三维神经网络，根据三维神经网络得到三维CT图像的肺结节探测结果；采用所述成组切片非局部模块提取三维CT图像的图像特征；采用所述三维区域候选网络根据图像特征获取肺结节候选目标；采用所述假阳减少模块获取肺结节候选目标的多尺度特征，将多尺度特征进行融合后得到肺结节探测结果。通过成组切片非局部模块学习成组切片内的元素间非局部依赖关系，以更好地学习判别性的特征；通过假阳减少模块对多尺度特征进行提取融合，以减少错误识别的肺结节，显著提高肺结节检测的效果。

Description

基于切片感知的三维神经网络的肺结节探测方法及系统

技术领域

本发明涉及图像处理技术领域，特别是涉及一种基于切片感知的三维神经网络的肺结节探测方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

近年来随着计算机技术的不断发展以及日常生活中的广泛需求，图像处理技术得到了蓬勃的进步。图像处理中的目标探测技术用于探测图像中特定的目标类别，在自然图像和医学图像中都有较多的应用。肺癌已成为全世界癌症死亡的主要原因之一，肺结节是肺部的病变，具有发展成为恶性肿瘤的高可能性，早期诊断肺结节，并及时治疗是肺癌的最佳解决方案。胸部计算机断层扫描(CT)是早期诊断肺结节的有效工具，在降低肺癌的死亡率中起着重要的作用。在CT图像中，肺结节和其他组织的X射线吸收水平通常相同；但是，结节通常是孤立的球形，这与血管和支气管的连续管状结构大不相同。由于解析CT数据需要一次分析数百张图像，因此经验丰富的医生通常需要花费大约10分钟才能对患者进行彻底检查，而且，肺部存在大量的小结节，并且不同类型的结节具有不同的形态。因此准确地识别并诊断结节的危害性对医生来说是一个巨大的挑战。

近年来，计算机辅助诊断(CAD)系统被大量开发，以帮助医生更有效且更准确地解释CT图像。传统的计算机辅助诊断系统主要依靠形态学运算或低阶的描述子来检测肺结节候选目标。然而，由于结节的大小、形状和类型多种多样，这些方法会通常获得较差的检测结果。

随着深度学习的发展，一些基于卷积神经网络(CNN)的网络结构，例如Faster R-CNN、SSD和YOLO等被提出并证明在目标探测中非常有效。对于医学图像分析领域的肺结节检测，基于CNN的方法也被提出。与自然图像中的二维目标探测相比，肺结节探测是使用三维CT数据的三维目标探测问题，因此要困难得多。一些研究利用二维的区域候选网络(RPN)在三维CT图像中的每个二维切片中获取候选目标，然后将二维候选目标跨切片合并以生成三维的候选目标。如今，考虑到三维卷积神经网络在三维目标探测中的性能优越性，越来越多的方法采用基于三维卷积神经网络的模型来处理CT数据，并直接生成三维的候选目标；与二维卷积神经网络相比，三维卷积神经网络具有大量的参数，因此需要更多时间和更多GPU显存进行训练。

然而，已有的利用三维卷积神经网络进行肺结节探测的方法，通常是将二维目标探测网络模型中的二维卷积直接替换为三维卷积，进而直接生成三维的肺结节探测结果。这类方法忽略三维CT数据中不同切片之间的深层联系，不能很好的应对具有多种不同形状的肺结节。此外，这类方法没有考虑在医学图像处理中非常重要的假阳性问题，没有减少假阳性肺结节的模块，因此在探测较小的肺结节时效果相对较差。

发明内容

为了解决上述问题，本发明提出了一种基于切片感知的三维神经网络的肺结节探测方法及系统，改进三维卷积神经网络，提出基于切片感知的三维神经网络技术，通过成组切片非局部模块学习成组切片内的元素间非局部依赖关系，以更好地学习判别性的特征；通过假阳减少模块对多尺度特征进行提取融合，以减少错误识别的肺结节，显著提高肺结节检测的效果。

为了实现上述目的，本发明采用如下技术方案：

第一方面，本发明提供一种基于切片感知的三维神经网络的肺结节探测方法，包括：

获取三维CT图像；

根据成组切片非局部模块，三维区域候选网络和假阳减少模块构建三维神经网络，根据三维神经网络得到三维CT图像的肺结节探测结果；

采用所述成组切片非局部模块提取三维CT图像的图像特征；

采用所述三维区域候选网络根据图像特征获取肺结节候选目标；

采用所述假阳减少模块获取肺结节候选目标的多尺度特征，将多尺度特征进行融合后得到肺结节探测结果。

第二方面，本发明提供一种基于切片感知的三维神经网络的肺结节探测系统，包括：

图像获取模块，被配置为获取三维CT图像；

探测模块，被配置为根据成组切片非局部模块，三维区域候选网络和假阳减少模块构建三维神经网络，根据三维神经网络得到三维CT图像的肺结节探测结果；

第一处理模块，被配置为采用所述成组切片非局部模块提取三维CT图像的图像特征；

第二处理模块，被配置为采用所述三维区域候选网络根据图像特征获取肺结节候选目标；

第三处理模块，被配置为采用所述假阳减少模块获取肺结节候选目标的多尺度特征，将多尺度特征进行融合后得到肺结节探测结果。

第三方面，本发明提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述的方法。

第四方面，本发明提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。

与现有技术相比，本发明的有益效果为：

本发明基于切片感知的三维神经网络的肺结节探测方法，针对三维CT图像中的肺结节探测任务，根据不同CT切片间的成组联系来增强多种类型肺结节的探测能力；通过由成组切片非局部模块、三维区域候选网络、假阳减少模块构成切片感知的三维神经网络，在改进的三维神经网络中直接输入三维肺部CT数据进行训练，生成三维肺结节探测结果，学习胸部CT图像中多个切片间的详细关联，提高三维肺结节的目标探测效果。

本发明改进三维卷积神经网络，提出基于切片感知的三维神经网络技术，加入成组切片非局部模块探索学习一个成组切片内的元素间非局部依赖关系，以更好地学习判别性的特征。

本发明同时提出假阳减少模块，在假阳减少模块中，多尺度的特征被提取融合，以减少错误识别的肺结节，特别是一些形状较小且难以识别的肺结节，显著提高了肺结节检测的效果，在人工智能助力医疗健康领域有着较好的应用前景。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例1提供的基于切片感知的三维神经网络的肺结节探测方法流程示意图；

图2为本发明实施例1提供的基于切片感知的三维神经网络的肺结节探测方法中的成组切片非局部模块结构图；

图3为本发明实施例1提供的基于切片感知的三维神经网络的肺结节探测方法中的三维肺结节假阳减少模块结构图。

具体实施方式：

下面结合附图与实施例对本发明做进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例1

如图1所示，本实施例提供一种基于切片感知的三维神经网络的肺结节探测方法，包括：

S1：获取三维CT图像；

S2：根据成组切片非局部模块，三维区域候选网络和假阳减少模块构建三维神经网络，根据三维神经网络得到三维CT图像的肺结节探测结果；

S3：采用所述成组切片非局部模块提取三维CT图像的图像特征；

S4：采用所述三维区域候选网络根据图像特征获取肺结节候选目标；

S5：采用所述假阳减少模块获取肺结节候选目标的多尺度特征，将多尺度特征进行融合后得到肺结节探测结果。

所述步骤S2中，本实施例选择已有的二维深度学习模型，并将其扩展为三维深度学习模型；本实施例选择的是三维ResNet50模型，按照其网络结构，将3DResNet50的特征提取部分划分为阶段一到阶段五的5个阶段；

优选地，为了增大特征图的尺寸，添加三个上采样的阶段，为阶段六到阶段八。

所述步骤S3中，为了探索切片组内的元素间非局部依赖关系，以更好地学习肺结节的判别性特征，本实施例将成组切片非局部模块加入三维深度学习模型中，用于对输入的三维CT图像提取特征，包括五个阶段的特征：f1、f2、f3、f4、f5。

优选地，五个成组切片非局部模块被添加到三维特征提取网络中；如本实施例在阶段3和阶段4加入成组切片非局部模块，如图2所示，输入的特征首先经过三个1×1×1卷积层，之后利用切片成组操作将三个特征图分组，然后利用矩阵乘法操作捕获特征图中一个切片组的任何位置和任何通道之间的长期依赖关系，学习每个切片组内的关联，最后与输入的特征拼接，加入背景信息，提高肺结节探测效果。

所述步骤S4中，本实施例利用三维区域候选网络获取具有高灵敏度的肺结节候选目标，包括三维位置信息和类别信息；具体地：

输入的特征首先经过一个1×1×1卷积层，然后经过并联的两个1×1×1卷积层以输出候选肺结节目标的三维位置框以及类别；

优选地，利用交叉熵损失函数计算三维区域候选网络预测的候选目标位置与真值标签之间的损失，进行梯度回传，更新网络参数。

所述步骤S5中，所述假阳减少模块基于三维区域候选网络获取的肺结节候选目标，裁取肺结节候选目标的多个尺度的特征，将截取后的多尺度特征融合，以进一步精确肺结节候选目标的三维位置和类别，以减少错误识别的肺结节，提高肺结节的探测效果；

假阳减少模块的详细示意图如图3，首先利用三维区域候选网络预测的肺结节候选目标框对来自切片感知的三维卷积网络阶段8的特征图进行裁剪，得到候选目标的特征图；其次经过上采样和一个1×1×1卷积层与来自阶段2的裁剪后的特征图进行拼接；然后经过一个1×1×1卷积层，再重复上采样和1×1×1卷积操作，之后与来自阶段1裁剪后的特征图进行拼接；最后经过一个1×1×1卷积层，输出改进后的候选目标框。

优选地，利用交叉熵损失函数，计算假阳减少模块预测的精细候选目标位置与真值标签之间的损失，进行梯度回传，更新网络参数。

实施例2

本实施例提供一种基于切片感知的三维神经网络的肺结节探测系统，包括：

图像获取模块，被配置为获取三维CT图像；

探测模块，被配置为根据成组切片非局部模块，三维区域候选网络和假阳减少模块构建三维神经网络，根据三维神经网络得到三维CT图像的肺结节探测结果；

第一处理模块，被配置为采用所述成组切片非局部模块提取三维CT图像的图像特征；

第二处理模块，被配置为采用所述三维区域候选网络根据图像特征获取肺结节候选目标；

第三处理模块，被配置为采用所述假阳减少模块获取肺结节候选目标的多尺度特征，将多尺度特征进行融合后得到肺结节探测结果。

此处需要说明的是，上述模块对应于实施例1中的步骤S1至S5，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。

在更多实施例中，还提供：

一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1中所述的方法。为了简洁，在此不再赘述。

应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。

一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1中所述的方法。

实施例1中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (9)

1.一种基于切片感知的三维神经网络的肺结节探测方法，其特征在于，包括：

获取三维CT图像；

根据成组切片非局部模块，三维区域候选网络和假阳减少模块构建三维神经网络，根据三维神经网络得到三维CT图像的肺结节探测结果；

采用所述成组切片非局部模块提取三维CT图像的图像特征；

采用所述三维区域候选网络根据图像特征获取肺结节候选目标；

采用所述假阳减少模块获取肺结节候选目标的多尺度特征，将多尺度特征进行融合后得到肺结节探测结果；

采用所述成组切片非局部模块提取三维CT图像的图像特征包括：通过三个1×1×1卷积层得到三个特征图，对三个特征图采用切片成组操作进行分组后，利用矩阵乘法操作得到特征图中切片组的任何位置和任何通道之间的长期依赖关系，最后将所述长期依赖关系与输入的三维CT图像进行拼接得到三维CT图像的图像特征；

假阳减少模块首先利用三维区域候选网络预测的肺结节候选目标框对来自切片感知的三维卷积网络阶段8的特征图进行裁剪，得到候选目标的特征图；其次经过上采样和一个1×1×1卷积层与来自阶段2的裁剪后的特征图进行拼接；然后经过一个1×1×1卷积层，再重复上采样和1×1×1卷积操作，之后与来自阶段1裁剪后的特征图进行拼接；最后经过一个1×1×1卷积层，输出改进后的候选目标框。

2.如权利要求1所述的基于切片感知的三维神经网络的肺结节探测方法，其特征在于，采用所述三维区域候选网络根据图像特征获取肺结节候选目标包括：通过一个1×1×1卷积层对图像特征卷积处理后，再次通过两个并联的1×1×1卷积层输出肺结节候选目标的三维位置框和类别。

3.如权利要求1所述的基于切片感知的三维神经网络的肺结节探测方法，其特征在于，所述三维神经网络采用三维ResNet50模型，将三维ResNet50模型的特征提取划分为阶段一到阶段五，并添加阶段六到阶段八的三个上采样阶段。

4.如权利要求3所述的基于切片感知的三维神经网络的肺结节探测方法，其特征在于，根据肺结节候选目标对阶段八输出的特征图进行裁剪，得到肺结节候选目标特征图，将肺结节候选目标特征图通过上采样和一个1×1×1卷积层与阶段二输出的特征图进行拼接后，再次通过一个1×1×1卷积层，重复上采样和1×1×1卷积操作，之后将操作结果与来自阶段一输出的特征图进行拼接，将拼接结果通过一个1×1×1卷积层输出改进后的肺结节候选目标。

5.如权利要求4所述的基于切片感知的三维神经网络的肺结节探测方法，其特征在于，对改进后的肺结节候选目标裁取得到多尺度特征，将多尺度特征融合后，得到改进后的肺结节候选目标的三维位置框和类别。

6.如权利要求3所述的基于切片感知的三维神经网络的肺结节探测方法，其特征在于，在阶段一到阶段五中添加成组切片非局部模块。

7.一种基于切片感知的三维神经网络的肺结节探测系统，其特征在于，包括：

图像获取模块，被配置为获取三维CT图像；

探测模块，被配置为根据成组切片非局部模块，三维区域候选网络和假阳减少模块构建三维神经网络，根据三维神经网络得到三维CT图像的肺结节探测结果；

第一处理模块，被配置为采用所述成组切片非局部模块提取三维CT图像的图像特征；

第二处理模块，被配置为采用所述三维区域候选网络根据图像特征获取肺结节候选目标；

第三处理模块，被配置为采用所述假阳减少模块获取肺结节候选目标的多尺度特征，将多尺度特征进行融合后得到肺结节探测结果；

采用所述成组切片非局部模块提取三维CT图像的图像特征包括：通过三个1×1×1卷积层得到三个特征图，对三个特征图采用切片成组操作进行分组后，利用矩阵乘法操作得到特征图中切片组的任何位置和任何通道之间的长期依赖关系，最后将所述长期依赖关系与输入的三维CT图像进行拼接得到三维CT图像的图像特征；

假阳减少模块首先利用三维区域候选网络预测的肺结节候选目标框对来自切片感知的三维卷积网络阶段8的特征图进行裁剪，得到候选目标的特征图；其次经过上采样和一个1×1×1卷积层与来自阶段2的裁剪后的特征图进行拼接；然后经过一个1×1×1卷积层，再重复上采样和1×1×1卷积操作，之后与来自阶段1裁剪后的特征图进行拼接；最后经过一个1×1×1卷积层，输出改进后的候选目标框。

8.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-6任一项所述的方法。

9.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-6任一项所述的方法。

Images