CN106504232A - 一种基于3d卷积神经网络的肺部结节自动检测方法 - Google Patents

Abstract

本发明公开了一种基于3D卷积神经网络的肺部结节自动检测方法，本发明创新性地将检测分为两大阶段：(1)候选肺部结节检测阶段和(2)假阳性肺部结节筛除阶段，同时，每个阶段都会构建并训练出一个独特的3D CNN，以适用肺部结节的检测和筛除；通过第一阶段的3D CNN可以初步检测出疑似肺部结节的候选肺部结节位置，再利用第二阶段的3D CNN滤除掉候选结节中的假阳性肺部结节，最终找出整幅肺部CT影像中所有存在的结节位置。利用本发明可以自动地检测出一副肺部CT影像中结节的存在情况，与传统的依赖人工的结节检测方法相比较，具有检测准确率高、健壮性强、高效、耗时短等特点，使得肺部结节的检测更加便捷、有效。

Description

一种基于3D卷积神经网络的肺部结节自动检测方法

技术领域

本发明属于肺部CT影像检测筛选技术领域，更为具体地讲，涉及一种基于3D卷积神经网络(Convolutional Neural Network，简称CNN)的肺部结节自动检测方法。

背景技术

目前，由于长期吸烟、空气污染等原因造成了肺癌病例在全世界范围内呈现迅猛增长态势的现象。肺癌在世界上属于一种发病率和死亡率较高的癌症类型。有数据显示，在全球范围内肺癌平均5年生存率仅为16％，而在早期阶段(I期)肺癌5年生存率可达65％，而不幸的是仅有10％的患者能够在肺癌早期阶段发现患病并采取相应治疗。有证据表明，对肺癌高危人群每年按时进行肺部计算机断层扫描(CT)来筛查肺部健康状况，可以降低20％的肺癌死亡率。

肺部的结节往往与肺癌有着一定的联系。当在肺部CT影像中发现存在结节时，需要引起被检测者的注意，并给予充分的重视并积极进行进一步检测、治疗。同时，及早发现肺部的结节可以极大提高治愈的可能性，因此，通过CT影像检测肺部结节的存在情况对于肺癌的早期筛查有着重大的意义。

现行的临床方法对于肺部结节的检测多是利用CT机来获得整个肺部的平面灰度断层影像即CT影像，再通过专业的医疗人员人工完成肺部结节的检测工作，筛选出肺部结节影像。这样的传统方法多存在工作量大、耗时长、易出错遗漏等问题，筛选的结果也多依赖于医疗人员个人的专业技术水平。

发明内容

本发明的目的在于克服现有技术的不足，提出一种基于3D卷积神经网络的肺部结节自动检测方法，以降低医疗人员的工作量，节约医疗人员的工作时间，使得肺部结节的检测更加便捷高效，同时提高检测准确率。

为实现上述发明目的，本发明基于3D卷积神经网络的肺部结节自动检测方法，其特征在于，包括以下步骤：

(1)、构建并训练一个用于候选肺部结节检测的3D卷积神经网络

1.1)、构建候选肺部结节检测的3D CNN训练集

收集一定数量的尺寸大小为16x16x10的肺部局部CT影像作为训练集，其中包含正常的肺部组织，也包含了含有结节的异常肺部组织，包含正常肺部组织的CT影像记作‘0’，含有结节的异常肺部组织CT影像记作‘1’；

对训练集中的所有CT影像进行归一化处理：

其中x为CT影像中的像素点像素值，x_min为CT影像像素点中的最小像素值，x_max为CT影像像素点中的最大像素值，CT影像中所有像素点都经过公式(1)的处理后，得到归一化的CT影像；

1.2)、构建用于候选肺部结节检测的3D卷积神经网络

第1层为卷积层(记作C1层)，使用64个大小为5x5x3的卷积核，以步长为1做卷积；C1层输入数据为16x16x10大小的CT影像，则C1层输出数据为64个12x12x8大小的特征图；

第2层为池化层(记作M1层)，对C1层输出数据以步长为2，非重叠地做2x2x2的最大池化操作；M1层输入数据为64个12x12x8大小的特征图，则M1层输出数据为64个6x6x4大小的特征图；

第3层为卷积层(记作C2层)，使用64个大小为3x3x3的卷积核，以步长为1对M1层输出数据做卷积；C2层输入数据为64个6x6x4大小的特征图，则C2层输出数据为64个4x4x2大小的特征图；

第4层为卷积层(记作C3层)，使用64个大小为3x3x1的卷积核，以步长为1对C2层输出数据做卷积，C3层输入数据为64个4x4x2大小的特征图，则C3层输出数据为64个2x2x2大小的特征图；

在C1、C2以及C3层中，采用的激活函数为修正线性单元ReLu：

其中，y表示激活函数的输入，Relu(y)为激活函数的输出；

第5层为全连接层(记作FC1层)，共有150个神经元，每个神经元与C3层输出的64个2x2x2大小的特征图进行全连接；FC1层输入数据为64个2x2x2大小的特征图，则FC1层输出数据为一个150维大小的向量；其中，采用的激活函数为tanh函数：

其中，z表示激活函数的输入，tanh(z)为激活函数的输出；

第6层为全连接层(记作FC2层)，共有2个神经元(即0或者1)，每个神经元与FC1层输出的150维大小的向量进行全连接；FC2层输入数据为一个150维大小的向量，则FC2层输出数据为一个2维大小的向量，分别表示属于类别0的概率和属于类别1的概率；其中，采用的激活函数为sigmoid函数：

其中，u表示激活函数的输入，sigmoid(u)为激活函数的输出；

1.3)、训练用于候选肺部结节检测的3D卷积神经网络

将步骤1.1)得到的归一化后的3D CNN训练集中的CT影像作为步骤1.2)构建的用于候选肺部结节检测的3D卷积神经网络的输入数据，对其进行训练；

(2)、构建并训练一个用于假阳性肺部结节筛除的3D卷积神经网络

2.1)、构建假阳性肺部结节筛除的3D CNN训练集

训练集主要由两部分组成：一部分是尺寸大小为16x16x10的含有结节的异常肺部组织的CT影像，标记为“1”；另一部分是尺寸大小为16x16x10的包含正常肺部组织的CT影像经过步骤(1)构建并训练得到的用于候选结节检测的3D卷积神经网络的检测，被判断为含有结节的异常肺部组织的CT影像，并标记为“0”；

同样，按照步骤1.1)的方法，对训练集中的所有CT影像进行归一化处理；

2.2)、构建用于假阳性肺部结节筛除的3D卷积神经网络

第1层为卷积层(记作C1层)，使用32个大小为5x5x3的卷积核，以步长为1做卷积；C1层输入数据为16x16x10大小的CT影像，则C1层输出数据为32个12x12x8大小的特征图；

第2层为池化层(记作M1层)，对C1层输出数据以步长为2，非重叠地做2x2x2的最大池化操作；M1层输入数据为32个12x12x8大小的特征图，则M1层输出数据为32个6x6x4大小的特征图；

第3层为卷积层(记作C2层)，使用64个大小为3x3x3的卷积核，以步长为1对M1层输出数据做卷积；C2层输入数据为32个6x6x4大小的特征图，则C2层输出数据为64个4x4x2大小的特征图；

在C1、C2层中，采用的激活函数为修正线性单元ReLu：

其中，y表示激活函数的输入，Relu(y)为激活函数的输出；

第4层为全连接层(记作FC1层)，共有500个神经元，每个神经元与C2层输出的64个2x2x2大小的特征图进行全连接，FC1层输入数据为64个2x2x2大小的特征图，则FC1层输出数据为一个500维大小的向量；

第5层为全连接层(记作FC2层)，共有100个神经元，每个神经元与FC1层输出的500维的向量进行全连接；FC2层输入数据为一个500维大小的向量，则FC2层输出数据为一个100维大小的向量；

在FC1、FC2层中，采用的激活函数为tanh函数：

其中，z表示激活函数的输入，tanh(z)为激活函数的输出；

第6层为全连接层(记作FC3层)，共有2个神经元(即0或者1)，每个神经元与FC2层输出的100维大小的向量进行全连接；FC3层输入数据为一个100维大小的向量，则FC3层输出数据为一个2维大小的向量，分别表示属于类别0的概率和属于类别1的概率；其中，采用的激活函数为sigmoid函数：

2.3)、训练用于假阳性肺部结节筛除的3D卷积神经网络

将步骤2.1)得到的归一化后的3D CNN训练集中的CT影像作为步骤2.2)构建的用于假阳性肺部结节筛选的3D卷积神经网络的输入数据，对其进行训练；

(3)、肺部结节自动检测

将整幅肺部CT影像以步长为1，分割成尺寸为16x16x10的肺部局部CT影像，送入步骤(1)训练好的用于候选肺部结节检测的3D卷积神经网络中，检测完成后记录下输出的每个肺部局部CT影像属于类别1概率，得到一个三维概率矩阵；设定阈值Thr1，阈值的范围为0.6到0.7，找出三维概率矩阵中所有大于阈值Thr1的位置点，则该位置点对应的肺部局部CT影像被判定为疑似肺部结节，作为候选肺部结节CT影像记录下来；

将候选肺部结节CT影像送入步骤(2)训练好的用于假阳性肺部结节筛除的3D卷积神经网络中，筛选完成后记录下输出的每个候选肺部结节CT影像属于类别1概率；设定阈值Thr2，阈值的范围为0.6到0.7，如果候选肺部结节CT影像属于类别1概率大于阈值Thr2，则认为对应位置点存在肺部结节，否则认为为正常的肺部组织。

本发明的目的是这样实现的。

本发明提出了一种基于3D卷积神经网络(简称：3D CNN)的肺部结节自动检测方法，本发明创新性地将检测分为两大阶段：(1)候选肺部结节检测阶段和(2)假阳性肺部结节筛除阶段，同时，每个阶段都会构建并训练出一个独特的3D CNN，以适用肺部结节的检测和筛除；通过第一阶段的3D CNN可以初步检测出疑似肺部结节的候选肺部结节位置，再利用第二阶段的3D CNN滤除掉候选结节中的假阳性肺部(即被判定为异常结节，但实际上是正常的肺部组织)结节，最终找出整幅肺部CT影像中所有存在的结节位置。

利用本发明可以自动地检测出一副肺部CT影像中结节的存在情况，与传统的依赖人工的结节检测方法相比较，本发明具有检测准确率高、健壮性强、高效、耗时短等特点。同时，可以降低医疗人员的工作量，节约医疗人员的工作时间，使得肺部结节的检测更加便捷、有效。

附图说明

图1是本发明基于3D卷积神经网络的肺部结节自动检测方法检测流程示意图；

图2是本发明基于3D卷积神经网络的肺部结节自动检测方法中第一阶段中构建的3D卷积神经网络的结构示意图；

图3是经过第一阶段即候选肺部结节检测后得到其中的四张肺部CT影像中候选肺部结节位置图；

图4是本发明基于3D卷积神经网络的肺部结节自动检测方法中第二阶段中构建的3D卷积神经网络的结构示意图；

图5是经过第二阶段即假阳性肺部结节筛出后得到其中的四张肺部CT影像中肺部结节位置图；

图6是第一阶段检测结果、第二阶段筛选结果对比图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

本发明的主要目的在于利用当前先进的深度学习技术，提供一种准确的在肺部CT影像中自动检测并找到结节的位置，使得计算机辅助诊断可以在肺部结节检测中发挥重要的作用。

图1是本发明基于3D卷积神经网络的肺部结节自动检测方法检测流程示意图。

本发明通过级联的两个阶段来实现高效、准确地检测肺部结节。在本实施例中，如图1所示，本发明基于3D卷积神经网络的肺部结节自动检测方法包括两个阶段分别为：(1)候选肺部结节检测阶段和(2)假阳性肺部结节筛除阶段。下面对两个阶段进行详细说明。

一、候选肺部结节检测阶段

为了实现候选肺部结节检测，需要构建并训练一个用于候选肺部结节检测的3D卷积神经网络。为此，首先需要构建一个训练集。收集一定数量的尺寸大小为16x16x10的肺部局部的CT影像作为训练集，其中包含正常的肺部组织，也包含了含有结节的异常肺部组织，包含正常肺部组织的CT影像记作‘0’，含有结节的异常肺部组织CT影像记作‘1’。

对训练集中的所有CT影像进行归一化处理，得到归一化的CT影像。

选取的肺部局部CT影像的尺寸大小为16x16x10，一方面是适用于肺部结节的自动检测，另一方面也适用于后续的3D CNN。

其次，需要构建一个用于候选肺部结节检测的3D卷积神经网络，该3D卷积神经网络的结构如表1所示，其结构图如图2所示。

表1

最后，需要对构建的用于候选肺部结节检测的3D卷积神经网络进行训练。将归一化后的3D CNN训练集中的CT影像作为构建的用于假阳性肺部结节筛选的3D卷积神经网络的输入数据，对其进行训练。训练完成后，得到该3D卷积神经网络的各项参数。

在本实施例中，将尺寸大小为512x512x148整幅肺部CT影像即148张512x512的CT影像以步长为1，分割成尺寸为16x16x10的肺部局部CT影像，送入训练好的用于候选肺部结节检测的3D卷积神经网络中，检测完成后记录下输出的每个肺部局部CT影像属于类别1概率，得到一个尺寸大小为497x497x139的三维概率矩阵。

设定阈值Thr1为0.65，找出三维概率矩阵中所有大于阈值Thr1的位置点，则该位置点对应(映射)的肺部局部CT影像被判定为疑似肺部结节，并作为候选肺部结节CT影像记录下来。在本实施例中，如图3所示，四张即(a)、(b)、(c)、(d)肺部CT影像中白色小方块处为候选肺部结节位置。

二、假阳性肺部结节筛除阶段

为了实现假阳性肺部结节筛除，需要构建并训练一个用于假阳性肺部结节筛除的3D卷积神经网络。为此，首先需要再构建一个训练集。训练集主要由两部分组成：一部分是尺寸大小为16x16x10的含有结节的异常肺部组织的CT影像，标记为“1”；另一部分是尺寸大小为16x16x10的包含正常肺部组织的CT影像经过构建并训练得到的用于候选结节检测的3D卷积神经网络的检测，被判断为含有结节的异常肺部组织的CT影像，并标记为“0”。同样，需要对训练集中的所有CT影像进行归一化处理。

其次，需要构建一个用于假阳性肺部结节筛除的3D卷积神经网络，该3D卷积神经网络的结构如表2所示，其结构图如图4所示。

表2

最后，需要对构建的用于假阳性肺部结节筛除的3D卷积神经网络。将得到的归一化后的3D CNN训练集中的CT影像作为构建的用于假阳性肺部结节筛选的3D卷积神经网络的输入数据，对其进行训练。训练完成后，得到该3D卷积神经网络的各项参数。

将第一阶段计算得到的大小为16x16x10的候选肺部结节CT影像送入第二阶段训练好的用于假阳性肺部结节筛选的3D卷积神经网络中，经过该3D卷积神经网络筛选，输出每个候选肺部结节CT影像的最终判定结果，即排除掉候选结节位置中假阳性的结节位置。在本实施例中，如图5所示，四张即(a)、(b)、(c)、(d)肺部CT影像中白色小方块处为肺部结节位置。在本实施例中，阈值Thr2＝0.65。

图6是第一阶段检测结果、第二阶段筛选结果对比图。其中，第一行四张肺部CT影像为第一阶段检测出的候选肺部结节位置，第二行四张肺部CT影像为同样第二阶段假阳性肺部结节后的最终结果即位置。从图6中，我们可以看出，最终结果比候选肺部结节少，其中第一张少了5个(从6个减少到1个)、第二张少了2个(从3个减少到1个)、第三张少了4个(从5个减少到1个)、第四张少了5个(从6个减少到1个)。

本发明采用3D卷积神经网络，通过级联在一起的两大步骤：(1)候选肺部结节检测和(2)假阳性肺部结节筛除，来自动检测肺部存在结节的位置，具有高效性、准确性、健壮性的特点。本发明所提出的通过级联的两个阶段来完成结节的检测又进一步提升了检测结节的准确性。整个自动检测具有高度的准确性，使得将计算机用于医疗影像领域做辅助检测成为可能。不但提高了诊断的准确性，又降低了医护人员的工作量。具有较高的现实意义和社会价值。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (2)

1.一种基于3D卷积神经网络的肺部结节自动检测方法，其特征在于，包括以下步骤：

(1)、构建并训练一个用于候选肺部结节检测的3D卷积神经网络

1.1)、构建候选肺部结节检测的3D CNN训练集

收集一定数量的尺寸大小为16x16x10的肺部局部CT影像作为训练集，其中包含正常的肺部组织，也包含了含有结节的异常肺部组织，包含正常肺部组织的CT影像记作‘0’，含有结节的异常肺部组织CT影像记作‘1’；

对训练集中的所有CT影像进行归一化处理：

$norm\left(x\right)=\frac{x-x_{min}}{x_{max}-x_{min}}---\left(1\right)$

其中x为CT影像中的像素点像素值，x_min为CT影像像素点中的最小像素值，x_max为CT影像像素点中的最大像素值，CT影像中所有像素点都经过公式(1)的处理后，得到归一化的CT影像；

1.2)、构建用于候选肺部结节检测的3D卷积神经网络

第1层为卷积层(记作C1层)，使用64个大小为5x5x3的卷积核，以步长为1做卷积；C1层输入数据为16x16x10大小的CT影像，则C1层输出数据为64个12x12x8大小的特征图；

第2层为池化层(记作M1层)，对C1层输出数据以步长为2，非重叠地做2x2x2的最大池化操作；M1层输入数据为64个12x12x8大小的特征图，则M1层输出数据为64个6x6x4大小的特征图；

第3层为卷积层(记作C2层)，使用64个大小为3x3x3的卷积核，以步长为1对M1层输出数据做卷积；C2层输入数据为64个6x6x4大小的特征图，则C2层输出数据为64个4x4x2大小的特征；

第4层为卷积层(记作C3层)，使用64个大小为3x3x1的卷积核，以步长为1对C2层输出数据做卷积，C3层输入数据为64个4x4x2大小的特征图，则C3层输出数据为64个2x2x2大小的特征图；

在C1、C2以及C3层中，采用的激活函数为修正线性单元ReLu：

$\mathrm{Re}Lu\left(y\right)=\frac{1}{2}(y+|y\left|\right)---\left(2\right)$

其中，y表示激活函数的输入，Relu(y)为激活函数的输出；

第5层为全连接层(记作FC1层)，共有150个神经元，每个神经元与C3层输出的64个2x2x2大小的特征图进行全连接；FC1层输入数据为64个2x2x2大小的特征图，则FC1层输出数据为一个150维大小的向量；其中，采用的激活函数为tanh函数：

$\tanh \left(z\right)=\frac{e^z-e^{-z}}{e^z+e^{-z}}---\left(3\right)$

其中，z表示激活函数的输入，tanh(z)为激活函数的输出；

第6层为全连接层(记作FC2层)，共有2个神经元(即0或者1)，每个神经元与FC1层输出的150维大小的向量进行全连接；FC2层输入数据为一个150维大小的向量，则FC2层输出数据为一个2维大小的向量，分别表示属于类别0的概率和属于类别1的概率；其中，采用的激活函数为sigmoid函数：

$sigmoid\left(u\right)=\frac{1}{1+e^{-u}}---\left(4\right)$

其中，u表示激活函数的输入，sigmoid(u)为激活函数的输出；

1.3)、训练用于候选肺部结节检测的3D卷积神经网络

将步骤1.1)得到的归一化后的3D CNN训练集中的CT影像作为步骤1.2)构建的用于候选肺部结节检测的3D卷积神经网络的输入数据，对其进行训练；

(2)、构建并训练一个用于假阳性肺部结节筛除的3D卷积神经网络

2.1)、构建假阳性肺部结节筛除的3D CNN训练集

训练集主要由两部分组成：一部分是尺寸大小为16x16x10的含有结节的异常肺部组织的CT影像，标记为“1”；另一部分是尺寸大小为16x16x10的包含正常肺部组织的CT影像经过步骤(1)构建并训练得到的用于候选结节检测的3D卷积神经网络的检测，被判断为含有结节的异常肺部组织的CT影像，并标记为“0”；

同样，按照步骤1.1)的方法，对训练集中的所有CT影像进行归一化处理；

2.2)、构建用于假阳性肺部结节筛除的3D卷积神经网络

第1层为卷积层(记作C1层)，使用32个大小为5x5x3的卷积核，以步长为1做卷积；C1层输入数据为16x16x10大小的CT影像，则C1层输出数据为32个12x12x8大小的特征图；

第2层为池化层(记作M1层)，对C1层输出数据以步长为2，非重叠地做2x2x2的最大池化操作；M1层输入数据为32个12x12x8大小的特征图，则M1层输出数据为32个6x6x4大小的特征图；

第3层为卷积层(记作C2层)，使用64个大小为3x3x3的卷积核，以步长为1对M1层输出数据做卷积；C2层输入数据为32个6x6x4大小的特征图，则C2层输出数据为64个4x4x2大小的特征图；

在C1、C2层中，采用的激活函数为修正线性单元ReLu：

$\mathrm{Re}Lu\left(y\right)=\frac{1}{2}(y+|y\left|\right)---\left(5\right)$

其中，y表示激活函数的输入，Relu(y)为激活函数的输出；

第4层为全连接层(记作FC1层)，共有500个神经元，每个神经元与C2层输出的64个2x2x2大小的特征图进行全连接，FC1层输入数据为64个2x2x2大小的特征图，则FC1层输出数据为一个500维大小的向量；

第5层为全连接层(记作FC2层)，共有100个神经元，每个神经元与FC1层输出的500维的向量进行全连接；FC2层输入数据为一个500维大小的向量，则FC2层输出数据为一个100维大小的向量；

在FC1、FC2层中，采用的激活函数为tanh函数：

$\tanh \left(z\right)=\frac{e^z-e^{-z}}{e^z+e^{-z}}---\left(6\right)$

其中，z表示激活函数的输入，tanh(z)为激活函数的输出；

第6层为全连接层(记作FC3层)，共有2个神经元(即0或者1)，每个神经元与FC2层输出的100维大小的向量进行全连接；FC3层输入数据为一个100维大小的向量，则FC3层输出数据为一个2维大小的向量，分别表示属于类别0的概率和属于类别1的概率；其中，采用的激活函数为sigmoid函数：

$sigmoid\left(u\right)=\frac{1}{1+e^{-u}}---\left(7\right);$

2.3)、训练用于假阳性肺部结节筛除的3D卷积神经网络

将步骤2.1)得到的归一化后的3D CNN训练集中的CT影像作为步骤2.2)构建的用于假阳性肺部结节筛选的3D卷积神经网络的输入数据，对其进行训练；

(3)、肺部结节自动检测

将整幅肺部CT影像以步长为1，分割成尺寸为16x16x10的肺部局部CT影像，送入步骤(1)训练好的用于候选肺部结节检测的3D卷积神经网络中，检测完成后记录下输出的每个肺部局部CT影像属于类别1概率，得到一个三维概率矩阵；设定阈值Thr1，阈值的范围为0.6到0.7，找出三维概率矩阵中所有大于阈值Thr1的位置点，则该位置点对应的肺部局部CT影像被判定为疑似肺部结节，作为候选肺部结节CT影像记录下来；

将候选肺部结节CT影像送入步骤(2)训练好的用于假阳性肺部结节筛除的3D卷积神经网络中，筛选完成后记录下输出的每个候选肺部结节CT影像属于类别1概率；设定阈值Thr2，阈值的范围为0.6到0.7，如果候选肺部结节CT影像属于类别1概率大于阈值Thr2，则认为对应位置点存在肺部结节，否则认为为正常的肺部组织。

2.根据权利要求1所述的识别方法，其特征在于，在步骤(2)中，所述的阈值Thr1、阈值Thr2均为0.65。