CN108805209B - 一种基于深度学习的肺结节筛查方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的肺结节筛查方法，包括以下几个步骤：S1、对肺部CT影像进行预处理，提取出肺部实质部分；S2、利用肺部结节检测网络对预处理后的肺部CT影像进行检测，检测肺部结节的位置，得到肺部结节候选区位置；S3、对上述结节候选区位置区域进行进一步分类，利用深度学习分类网络筛选出真实结节区域；S4、利用深度学习分类网络对上述真实结节区域进行结节恶性程度分级。上述肺结节筛查方法，针对CT图像进行肺部结节检测，判别目标结节恶性程度，大大地降低了医生的工作负担，提高了医生的诊断效率。

Description

一种基于深度学习的肺结节筛查方法

技术领域

本发明涉及图像识别、医学影像，特别是涉及一种基于深度学习的肺部结节筛查方法。

背景技术

肺癌是癌症中死亡率最高的癌症，对于人类健康危害极大，并且随着环境污染等问题日益严重，肺癌发病率和死亡率逐年上升。2012年，据估计全世界有180万新增肺癌病人，占当年所有肺癌病例的13％，在中国等东亚国家，超过半数肺癌死亡是由大气颗粒物造成的。此外，我国居民的死因调查结果显示，肺癌是死亡增长最快的恶性肿瘤。

肺癌早期不易被发现，症状轻微，发病时间短，恶性程度高，转移速度快，所以很多病人在能够确诊时，已经处于晚期，失去了手术治疗的机会。肺癌早期以一种类球团型病灶，即肺部结节的方式呈现，其良性或者恶性的精确判断主要取决于结节的各项特征、增长速度等。如果能在早期检测到结节，并对其进行检测，及早介入治疗，癌症病人存活率会得到很大的提高，肺癌5年内的生存率将从14％升至49％。

在胸部诊断中，计算机断层图像(CT)是最常用的一种技术，医生通常通过查看一张张的肺部CT影像数据进行诊断，但是肺结节形态各异、大小不同、分布位置不定，而且非常容易与其他组织连接，在影像中与肺部某些组织(如气管、血管等)相混淆，因此医生在诊断时工作量较大，分辨也较为困难，容易出现误诊、漏诊。即使是有经验的医生，在大量影像数据的负担下，也难以一直客观、准确地判断，最终导致病人贻误了最佳的治疗时间。

计算机辅助诊断技术(CAD)是通过计算机帮助医生对病人进行诊断，从而为医生减轻负担，同时提高诊断效率与准确率。这种技术已经应用于多种医学诊断问题中，肺部结节自动检测技术对于肺癌早期诊断有着巨大的意义。肺结节诊断CAD需要对肺部影像进行分析，快速检测出肺部结节的位置，并对恶性结节做出判断。而肺部结节分布分散、形状各异、易与其他组织粘连的特性，为检测算法增加了巨大的难度。

传统的肺结节检测算法，利用人工设计的特征，再利用分类器对提取到的特征进行分类，但是肺部结节有着各种各样的形态特征，最主要的类型有孔洞型、毛玻璃型、孤立型、胸壁粘连型、血管粘连型，这种差异化导致了肺结节特征较为复杂，人工难以设计得到满意的特征，这就使得检测结果仍有较大的提升空间。

随着深度学习算法在计算机视觉领域的盛行，越来越多的人开始尝试使用卷积神经网络对图像进行分类、检测与分割，其在自然图像领域取得了令人震惊的效果，在相同问题下其准确率远远超过了最好的手工设计特征。大数据与人工智能等前沿技术在医疗领域应用也已经成为一种趋势，将大数据驱动的人工智能应用于肺癌早期诊断中，不仅可以挽救无数患者的生命，对于缓解医疗资源和医患矛盾也有重大意义。

正基于此，通过对肺部计算机辅助诊断算法进行研究，提出一种基于深度学习算法的肺结节筛查方法以及结节的特征检测方法。

发明内容

本发明主要目的在于将在自然图像识别领域效果极佳的深度学习算法引入医学影像诊断领域，结合多种经典算法，设计出一整套适合肺部结节检测的模型。

为实现上述目的，本发明采用以下技术方案：

一种基于深度学习的肺结节筛查方法，包括以下几个步骤：

S1、对肺部CT影像进行预处理，提取出肺部实质部分；

S2、利用肺部结节检测网络对预处理后的肺部CT影像进行检测，检测肺部结节的位置，得到肺部结节候选区位置；

S3、对上述结节候选区位置区域进行进一步分类，利用深度学习分类网络筛选出真实结节区域；

S4、利用深度学习分类网络对上述真实结节区域进行结节恶性程度分级。

作为一种优选，步骤S1中，采用了三维图像处理方法，利用高斯模糊平滑图像，利用自适应阈值分割法得到二值图，去除较小的区域，再利用偏心率去除近似于圆形的区域，之后再去除掉与图像边界相连的部分，保持在一定体积范围内的连通域，最后填充孔洞，得到分割出的肺实质。

作为一种优选，步骤S2中的肺结节检测网络为三维的卷积神经网络，其有16层三维卷积/反卷积层，前10层为卷积层，每一个卷积层后接上一个激活层(ReLU)，每两层卷积层后接上三维的下采样层，后6层为反卷积层，每层反卷积层后接上激活层(ReLU)，每两层反卷积层后接上上采样层。

作为一种优选，步骤S3中的分类网络中的特征提取部分是与步骤S2中肺部结节检测网络共用，此网络的前15层与上述检测网络相同，最后一层输出的特征图，取其中心2×2×2的部分，利用2×2×2尺寸的池化层对其进一步处理，再接以全连接层，最后尾接sigmoid层做二分类。

作为一种优选，步骤S5中采用了GoogleNet中inception结构与Resnet中残差结构相结合的方式，得到针对目标结节的分级网络，具体步骤如下：首先以卷积层对输入图像进行特征提取，然后再交替使用为CT影像筛查专门设计的特征提取结构ct-inception和ct-inception-res，最后接以softmax多分类器，将结节恶性程度分为1～5级。

本发明的与现有技术相比，有益技术效果为：本发明公开的基于深度学习的肺结节筛查方法，针对CT图像进行肺部结节检测，判别目标结节恶性程度，大大地降低了医生的工作负担，提高了医生的诊断效率，同时也因此保证了医生的诊断准确率，降低了因为工作繁重、疲劳和诊断水平不一而造成的肺部结节误诊、漏诊几率。

附图说明

图1为本发明基于深度学习肺结节筛查方法流程图。

图2为本发明肺部结节检测模型结构。

图3为本发明肺部结节恶性程度判别网络。

图4为inception结构图

图5为inception-res结构图。

具体实施方式

下面结合附图对本发明的优选实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

图1中为基于深度学习肺结节筛查方法流程图，主要包括以下四个步骤：

步骤S1中，采用一系列图像处理方法，提取出肺部实质部分，降低信噪比，为后面的进一步识别、检测做准备。

步骤S1包括：首先，应用1个像素大小高斯滤波器对图像进行模糊，去掉一些尖锐毛刺，再应用阈值法对图像进行二值化，去除较小的区域(小于30个像素)这里与前面的方法无异。再利用偏心率，可以去除偏心率大于0.99的区域，这样可以去除一些近似于圆形的区域，比如某些气管。之后再去除掉与图像边界相连的部分，如同上一节一样。这个时候，还需要继续进行处理，应用三维连通域，因为人体肺部的体积500～5000ml的大小，将图像尺寸转换为真实大小，可以将不在这个体积范围内的连通域去除。为了留有一定余量，我们选取0.25～7.5L作为阈值。最后再填充得到的mask的孔洞。到这一步得到的图像已经基本是肺实质部分了，但是为了便于后面的肺结节检测部分，还需要进一步处理。首先将得到的mask进行进一步的膨胀，将有可能被忽略的肺边缘部分组织涵盖进来。由于CT图像是亨氏单位，其域值较广，而自然图像领域像素值通常为0至255，所以这里对CT图像像素进行一个归一化，用[-1200,600]的窗去截取CT图像像素，并将其归一化至[0,255]。得到这个提取结果后，可以看到有一部分气管没有去除，但是从肺部影像可以看，气管内通常没有任何其余组织，其像素值与肺部正常区域相同，因此对最后肺部结节检测没有任何影响。但是肺部边缘的外部组织，由于有一些是骨骼部分，所以对最后膨胀加入进来的这部分组织，像素值大于210的明显是骨骼的体素为其赋值为170(170是整个图像的平均值)。这样处理后为被提取的区域像素值如果直接令其为0，这些对于整个深度学习模型的输入就是0，为了不会对后面的深度学习模型造成困扰，将mask外的区域均赋值为像素值170。但是继续观察这个最终的结果，可以看到，图像整体区域中，大部分外围像素是无用的，没有任何信息，对于肺部结节检测是没有帮助的。因此可以对图像进行裁剪，保留最有用的信息，使得肺实质位于图像中心，占据大部分区域，这样也减小了深度学习模型大小，降低了复杂度。最后又将整个图像恢复到实际尺寸大小，即1个体素对应。

步骤S2利用肺部结节检测网络对预处理后的图像进行检测，检测出肺部结节的位置。其设计的模型主要结构如下：

依据Faster RCNN检测网络和FCN全卷积分割网络的结构，以此为基础设计出适合肺部结节检测的网络模型。在本发明中模型设计首先的思路是以Faster RCNN模型为基本模型，因为Faster RCNN是检测问题的经典模型，它是图像中检测问题优秀的解决方案。考虑到肺部CT是扫描图像，具有三维结构，而结节也是三维的结构，应该保持其三维特征，这样有利于问题的解决，即结节检测。如果只从二维角度出发，由于切片三维结构问题，在某些切片中结节二维特征并不明显，容易被漏检。因此首先模型应该是基于三维结构的，这里我们只需要将Faster RCNN中的所有二维操作转换为三维操作，例如三维卷积、三维池化等。

在结节检测时，有两个主要问题：结节直径约为3～40mm，跨度较大，针对不同大小的结节，都要保证能够提取到其特征，并最后将其检测出来；整幅图像大小在经过归一化后体积约为，整套CT图像中结节占比极小。需要将不同形态特征、不同大小的结节全能检测出来，第一个方法是提升模型的表达能力，通常通过增加模型深度和卷积层中卷积核数量来提高模型表达能力，但是增加网络层数，势必会增大最后输出特征图每一个单元的感受野，损失掉较小结节的特征。为了在有一定深度的同时保证较小结节的检出率，很容易想到反卷积的操作，这样既可以提取到更多不同类型的结节特征，又能保证较小的结节仍然可以保存下来。整个模型的结构将会在后文附图中说明。

步骤S3中结节候选区域分类网络结构设计如下：

在Faster RCNN中，通过RPN网络先对整个网络进行候选区选取，同时通过训练这个RPN网络得到的网络结构来提取特征，可以将这些特征同时运用于候选区选取与候选区再分类，从而达到了节省计算资源的目的，比R-CNN与Fast RCNN训练耗时、前向推导均节省大量时间。这种共享权重的思想也可以借鉴到我们要设计的这个结节分类器上。在结节检测网络中，这个模型有前部分是一个多层的，结构较为复杂的卷积部分，这个部分的权重参数通过训练后，可以提取结节的特征用于后面的定位与分类，那么在我们的结节分类网络中，也可以直接借用这个已经训练好的特征提取部分用以分类。

所以在第S2步骤中得到的检测模型中，将最后一个模块的输入特征图取出来，这是一个维度为64×32×32×32的特征图，提取这个特征图的中心2×2×2或4×4×4的部分(分类网络中，最后特征图的激活值会集中于特征图中心，取中心可以降低维度，同时保存网络的最大激活部分)，以2×2×2的池化大小进行池化，然后再接以全连接层予以分类。

在S4步骤中的模型设计结构参见图3：Inception中有不同大小的卷积核对输入图像进行卷积，然后将得到的特征图进行融合(concatenation，即将不同大小卷积核得到的相同尺寸的特征图放在一起组成下一层操作的输入)，参见图4。这样就可以利用不同大小的卷积核提取输入图像中不同尺度的特征。即使结节大小各异，依然可以保持每一种大小的结节的恶化程度识别效果。

深度神经网络加深网络深度，增大模型，可以更好地提高效果和模型的表达能力，但是在模型到达一定深度后，梯度弥散导致模型难以训练，同时带来了网络降级问题(深层网络效果反而比浅层网络效果差)。而Resnet残差网络解决了这些问题，并且将模型深度提升到152层相较于浅层网络仍然可以提升准确率。其原因就在于残差结构中的shortcut(将浅层特征与深层特征融合)，保证了模型在深层效果不佳时，至少可以保持浅层的效果。可以以如下表达式来说明，设输入为X，卷积、激活等操作设为函数

Y＝F(X)，

而shorcut操作则相当于使得最后输出为

Y＝F(X)+X，

其中F(X)是有参数可训练的，如果模型最优解指向Y＝X，残差模型依然可以拟合。在结节恶性程度识别问题中，为提高模型表达能力，更好地提取出结节各个特征，需要加深模型，这就意味着越往后，特征图上每一个像素对应原图中感受野越大，为了不丢失小结节的特征，引入这种残差网络可以较好地保留较小结节特征。根据残差结构，本发明结合inception结构设计了inception-res结构，参见图5.

最后在借鉴了很多模型的超参数设计，并通过实验进行调整后，得到了本发明中结节恶化程度分级的模型。

以一套病人完整的肺部CT影像作为输入数据，数据可以为标准的dicom格式或mhd和raw的形式。一般输入切片超过100层，而每一层为512×512。

首先这个数据读取到内存中，经过步骤S1的预处理，将其肺部实质提取出来，这个步骤中会将图像归一化到实际尺寸，即图像中每一个体素对应1mm³的体积。同时会将肺部主要部分保持，而去除不相关部分。

有了处理后的数据，这时就可以针对这个数据进行检测、识别了。在步骤S2中的模型，输入尺寸是128×128×128，这样的尺寸作为输入可以很好地降低模型显存占用率，同时这个大小的区域可以将一般直径为3～40mm的结节全涵盖进去。在后文图2中，对模型结构进行了简要描述，图2中每个特征层上数字表示每个阶段处理后输出的特征图维度，特征图的维度反映了处理阶段中卷积核的数量、大小，以及池化尺寸。在本实施方案中，卷积核均选用3×3×3大小，步长为1，补零为1。每次卷积过后，激活函数为ReLU：

没两层卷积层过后，对特征图进行下采样，下采样大小为2×2×2。反卷积模型参数也类似，反卷积核大小为3×3×3，步长1，补零1，激活函数ReLU，上采样尺寸2×2×2。在图2中，“+”表示这里的输出特征合并，将低维与高维特征放一起，这样可以同时保持大的与小的结节特征。在模型最后一层输出的特征图上，对特征图上每一个像素代表的感受野是否是目标物体输出概率值，同时输出对于感受野区域的位置、大小进行回归修正的值。在本实施方案中，由于结节大小特征，我们将输出特征图中每个像素感受野设置为10,30,60mm边长的立方体。在这个模型处理后，可以得到疑似结节的候选区域，需要用S3中模型进一步筛查。

步骤S3中模型，直接将步骤S2中模型的前15层已经训练好的结构拿来使用，因为两者输入数据相同，提取的特征也类似，只是任务不同，只需要在最后的输出特征图后接以分类任务的分类器即可。所以在S3步骤中，最后先用2×2×2的池化层对特征图中心2×2×2的区域进行池化，然后只取这个区域作为输入，利用全连接层对中心特征进行分类。

S4步骤中则是根据输入图像，以64×64×64的输入尺寸进行分类。因为这个尺寸能够更清楚地集中于提取结节特征，用以判断结节恶性程度。

整个筛查方法执行步骤，即上传CT影像，步骤S1进行预处理，步骤S2进行结节候选区域检测，将得到的候选区域通过S3步骤的模型进一步筛查。最后针对结节候选区域，通过S4步骤判断其恶性程度。

以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。

Claims (4)

1.一种基于深度学习的肺结节筛查方法，其特征在于：包括以下几个步骤：

S1、对肺部CT影像进行预处理，提取出肺部实质部分；

S2、利用肺部结节检测网络对预处理后的肺部CT影像进行检测，检测肺部结节的位置，得到肺部结节候选区位置；

S3、对上述结节候选区位置区域进行进一步分类，利用深度学习分类网络筛选出真实结节区域；

S4、利用深度学习分类网络对上述真实结节区域进行结节恶性程度分级；

其中，步骤S2中的肺部结节检测网络为三维的卷积神经网络，其有16层三维卷积/反卷积层，前10层为卷积层，每一个卷积层后接上一个激活层ReLU，每两层卷积层后接上三维的下采样层，后6层为反卷积层，每层反卷积层后接上激活层ReLU，每两层反卷积层后接上上采样层。

2.如权利要求1所述的肺结节筛查方法，其特征在于，步骤S1中，采用了三维图像处理方法，利用高斯模糊平滑图像，利用自适应阈值分割法得到二值图，去除较小的区域，再利用偏心率去除近似于圆形的区域，之后再去除掉与图像边界相连的部分，保持在一定体积范围内的连通域，最后填充孔洞，得到分割出的肺实质。

3.如权利要求1所述的肺结节筛查方法，其特征在于，步骤S3中的深度学习分类网络中的特征提取部分是与步骤S2中的肺部结节检测网络共用，此网络的前15层与所述肺部结节检测网络相同，最后一层输出的特征图，取其中心2×2×2的部分，利用2×2×2尺寸的池化层对其进一步处理，再接以全连接层，最后尾接sigmoid层做二分类。

4.如权利要求1中所述的肺结节筛查方法，其特征在于，步骤S5中采用了GoogleNet中inception结构与Resnet中残差结构相结合的方式，得到针对目标结节的分级网络，具体步骤如下：首先以卷积层对输入图像进行特征提取，然后再交替使用为CT影像筛查专门设计的特征提取结构ct-inception和ct-inception-res，最后接以softmax多分类器，将结节恶性程度分为1～5级。

Images