CN112419306A - 一种基于nas-fpn的肺结节检测方法 - Google Patents

Abstract

本发明涉及一种基于NAS‑FPN的肺结节检测方法，特别是一种深度学习中神经网络架构自动搜索技术（Neural Architecture Search，NAS）和一种特征提取金字塔网络（Feature Pyramid Network，FPN）的结合，不同于现在手动设计肺结节检测网络的检测方式，该方法通过一种可以自动搜索扩展的特征金字塔结构（NAS‑FPN），用自主学习、自动搜索的方式自动学习出一种肺结节检测网络完成结节检测任务，可以用于更精准的肺CT影像的肺结节检测，并且有效的降低假阳性结节，为肺部计算机辅助诊断系统提供更加精准、可靠的结节图像。

Description

一种基于NAS-FPN的肺结节检测方法

技术领域

本发明涉及一种肺结节检测方法，特别是基于NAS-FPN的肺结节检测方法，是深度学习中神经网络架构自动搜索技术（Neural Architecture Search，NAS）和一种特征提取金字塔网络（Feature Pyramid Network，FPN）的结合，不同于现在手动设计肺结节检测网络的检测方式，该方法通过一种可以自动搜索扩展的特征金字塔结构（NAS-FPN），用自主学习、自动搜索的方式自动学习出一种肺结节检测网络完成结节检测任务，可以用于更精准的肺CT影像的肺结节检测，并且有效的降低假阳性结节，为肺部计算机辅助诊断系统提供更加精准、可靠的结节图像。

背景技术

肺癌是发病率和死亡率增长最快，对人体健康和生命威胁最大的恶性肿瘤之一。肺结节的诊断对于提高肺癌患者的存活率有着重要的作用。尤其是早期的肺癌CT检查，能及时发现并准确判断肺结节，有助于延长肺癌患者的生存时间，并且大幅度降低肺癌的死亡率。然而肺结节筛查工作量大，易遗漏。影像科医生需要阅读大量的肺部CT图像找出结节并作出临床诊断。为了减少医师的工作量并且提高结节诊断的效率，在临床工作中，已经开始使用计算机辅助诊断技术。

随着电脑硬件的高速发展，在医学领域中，计算机辅助医学诊断的方法更是已经成为医学影像、诊断放射、计算机科学中的重要领域，其中比传统的方法更加优秀的深度学习进入到医学领域后，已经取得了不少优异的成果，但结节数据集相比于自然图像数据集拥有更加复杂的不规则形状、更小的目标。而FPN网络的特点是顶层包含语义特征信息过高，难以精准还原至低层原始图像，对于小结节检测不是很理想，手动设计修改FPN网络比较困难。

发明内容

本发明所要解决的技术问题是针对现有FPN网络在检测方面上难以精准还原至原始图像、小结节检测不理想等问题，提出了一种使用NAS自动搜索FPN的NAS-FPN结节检测方法，使FPN网络能够的检测到图像的小结节并确定结节位置，改变了手动设计检测网路的局面，得到更为精准的检测结果。本发明通过强化学习控制器在给定的空间搜索出最优的模型框架，由于不知道FPN的跨连接情况，本发明设计的针对肺结节检测的NAS-FPN检测网络采用递归神经网络RNN为控制器，用于构建不同的连接，控制器通过子模型在搜索空间中的准确度作为评价标准来更新参数。

为了实现上述目的，本发明的技术方案如下:一种基于神经网络搜索的的可拓展金字塔结构（NAS-FPN）的肺结节检测方法，包括以下步骤:

步骤一：为NAS-FPN模型设置所使用的特征提取网络，用该特征提取网络对肺CT图像进行特征提取，建立自底而上的金字塔特征层。

步骤二：为步骤一提取的金字塔结构建立横向特征层连接，用循环神经网络（RNN）建立NAS的控制器把并用准确度作为奖励方式，通过NAS自动控制横向扩展金字塔结构的数量，直至检测的网络的准确度不再增加，控制器自动停止网络的搜索学习。

步骤三：用FCN网路对检测到的肺结节的候选框进行最终的筛选，在原始图像上进行结节定位，并输出最终的检测结果。

所述步骤一中的具体过程如下：

（1）选择ResNet-50作为特征提取网络，构建自底而上的金字塔结构。

（2）特征提取所选的图像来自Luna16公开挑战赛的数据集，特征提取时对CT图像进行特征提取，并选取部分特征层输送给NAS-FPN网络。

所述步骤二中的具体过程如下：

（1）用RNN网络做NAS的控制器构建NAS-FPN网络；

① 将步骤一特征取后的特征图国建自顶而下的横向连接；

② 构建能够选择FPN数量的RNN控制器

③ 将控制器嵌入到FPN网络中

（2）FPN的众多跨连接构成了很大的搜索空间, 在搜素空间中，一个FPN由很多个merging cells 组成,选取一个merging cell的操作如下：

① 从候选中选取一个特征层；

② 从候选中没有替换地选出另一个特征层

③ 选择输出特征的分辨率

④ 选择一个operation操作来融合步骤1和步骤2的特征，然后生成一个分辨率为步骤3的选定新的特征层。

（3）用NAS控制FPN进行横向扩展，并用RNN控制横向扩展的数量。

① 设置初始FPN的数量为1

② 设置RNN控制器，控制FPN的数量从1到N依次增加

③ 控制器使用搜索空间中的子模型的准确性作为更新其参数的奖励信号.

④ 通过反复试验，控制器可以学习如何随着时间推移生成更好的架构。

⑤ 将学习好的框架进行保存，并传给下一层网络

所述步骤三中的具体过程如下：

（1）将上述生成的候选框进行筛选，控制阈值选出结节区域

① 将Focal loss函数引入，减少负样本的数量

② 引入调制系数，通过减少易分类样本的权重，从而使得模型在训练时更专注于难分类的样本。

③ 控制正负样本对总损失函数的共享权重

（2）对包含结节的Anchor进行筛选

① 分类子网络在每个空间位置，为A个anchor和K个类别，预测结节的概率

② 这个子网络是小的FCN（全卷积网络），与FPN中的每层相接

③ 这个子网络的参数在整个金字塔的层间共享。设计方法是：如果一个从金字塔某个层里来的Feature map是C个通道，子网络使用四个3*3 的卷积层，C个滤波器，每个都接着Relu激活函数。

④ 接下来用 3*3 的卷积层，有KA个滤波器。用sigmoid激活函数对于每个空间位置，输出KA个binary预测

⑤ 输出包含结节的最优Anchor

（3）将检测到结节在原始图片上进行还原并输出带有检测到结节的图片。

附图说明

图1为本发明的流程图；

图2为本发明的检测网络架构图；

图3为本发明的merging cell特征选择架构图；

图4为本发明的NAS-FPN数量与准确率关系图；

图5为本发明的训练次数和准确率关系图。

具体实施方式

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。下面结合附图和实施例对本发明的技术方案做进一步的说明。

本发明提供一种基于NAS-FPN的肺结节检测方法，该方法采用NAS-FPN网络在RetinaNet框架下设计出一种利用特征金子塔网络，提取结节多尺度特征，并强化细小结节及边界特征并快速定位结节区域的结节检测网络，为结节分类提供更准确地的结节图片。

如图1所示，第一个方框代表输入图像的测试集，为后续实验提供数据支持。第二方框代表ResNet-50特征提取网络，是整个网络的第一个金字塔特征提取结构，第三个方框代表NAS-FPN搜索结构的模型，通过这个模型可以自动学习出结节检测的横向链接网络，最够几个框代表结节筛选分类的FCN网络通过这个部分可以将检测到的结节候选框进行分类，并输出检测到的结节。该方法在Ubuntu16.04操作系统下，基于Nvidia P100的GPU硬件平台上在Python环境下搭建深度学习框架，进行级联型NAS-FPN模型的训练和测试，FCN后期处理，以及结节图像的输出。

具体实现为：

现有FPN网络在检测方面上难以精准还原至原始图像、小结节检测不理想等问题，提出了一种使用NAS自动搜索FPN的NAS-FPN结节检测方法。本方法使FPN网络能够的检测到图像的小结节并确定结节位置，改变了手动设计检测网路的局面，得到更为精准的检测结果。

Step 1：为NAS-FPN模型设置所使用的特征提取网络，用该特征提取网络对肺CT图像进行特征提取，建立自底而上的金字塔特征层。

Step 2：为步骤一提取的金字塔结构建立横向特征层连接，用循环神经网络（RNN）建立NAS的控制器把并用准确度作为奖励方式，通过NAS自动控制横向扩展金字塔结构的数量，直至检测的网络的准确度不在增加，控制器自动停止网络的搜索学习。

Step 3：用FCN网路对检测到的肺结节的候选框进行最终的筛选，在原始图像上进行结节定位，并输出最终的检测结果。

所述Step 1中的具体过程如下：

Step 1.1：如图2所示为NAS-FPN模型选取用的特征提取网络，并应于肺CT图像上进行特征提取

Step1.1.1：选择ResNet-50 为特征提取网络;

Step1.1.2：按照特征图提取顺序建立自底而上的特征提取网络；

Step1.1.3：对特征网络进行筛选抽样，抽取一部分特征层用于横向连接，为下面的步骤做准备；

Step 1.2：特征提取的数据集来自Luna16数据集，数据集在训练之前进行预处理，预处理的步骤在下面会进行介绍

所述Step 2中的具体过程如下：

Step 2.1：首先对数据集进行预处理；

Step 2.1.1：我们需要生成结节的mask图像，将数据集中的annotations.csv文件读取出来

Step 2.1.2：通过这个文件包含结节的信息，每行都对应一个结节的id、三维坐标、以及结节的大小等信息可以从中获取相关的结节像素坐标和大小信息，进行分类；

Step 2.1.3：生成mask图像文件

Step 2.1.4：除去CT图像中的噪声，例如骨头的亮点，CT床金属线等，并将图像归一化到（0,1）

Step 2.1.5：从candidates.csv文件读取坐标和类别标签，将图像分为两类；

Step 2.1.6：然后对肺结节训练数据和测试数据都进行数据扩充；

Step 2.1.7：再对其分成非肺结节训练数据（80%）和测试数据（20%），最后将两类的训练数据和测试数据分别合并。

Step 2.2：用循环神经网络（RNN）建立NAS的控制器通过NAS自动控制横向扩展金字塔结构的数量；

Step 2.2.1：建立RNN控制器；

Step 2.2.2：将RNN控制器嵌入到FPN控制网络，用其控制FPN的数量，依次增长；

Step 2.2.3：为控制器RNN建立奖励措施，控制器使用搜索空间中的子模型的准确性作为更新其参数的奖励信号，通过反复试验，神经架构搜索训练控制器使用强化学习在给定搜素空间中选择最佳模型架构，控制器可以学习如何随着时间推移生成更好的架构。

Step 2.3：多个FPN的跨连接构成了很大的搜索空间, 在搜素空间中，如图3所示，一个FPN由很多个merging cells 组成；

Step 2.3.1：从候选中选取一个特征层；

Step 2.3.2：从候选中没有替换地选出另一个特征层；

Step 2.3.3：选择输出特征的分辨率；

Step 2.3.4：选择一个operation操作来融合步骤1和步骤2的特征，然后生成一个分辨率为步骤3的选定新的特征层；

Step 2.4：将学习出的模型进行保存

所述Step 3中的具体过程如下：

Step 3.1：用FCN网路对检测到的肺结节的候选框进行最终的筛选

Step 3.1.1：将上述生成的候选框进行筛选，控制阈值选出结节区域；

Step 3.1.2：将Focal loss函数引入，减少负样本的数量；

Step 3.1.3：引入调制系数，通过减少易分类样本的权重，从而使得模型在训练时更专注于难分类的样本；

Step 3.1.4：控制正负样本对总损失函数的共享权重；

Step 3.2：对包含结节的Anchor进行筛选

Step 3.2.1：分类子网络在每个空间位置，为A个anchor和K个类别，预测结节的概率；

Step 3.2.2：这个子网络是小的FCN（全卷积网络），与FPN中的每层相接；

Step 3.2.3：这个子网络的参数在整个金字塔的层间共享。设计方法是：从金字塔某个层里来的Feature map是C个通道，子网络使用四个3*3 的卷积层，C个滤波器，每个都接着Relu激活函数。

Step 3.2.4：接下来用 3*3 的卷积层，有KA个滤波器。用sigmoid激活函数对于每个空间位置，输出KA个binary预测；

Step 3.2.4：输出包含结节的最优Anchor；

Step 3.3：在原始图像上进行结节定位，并输出最终的检测结果。

如图4所示为NAS-FPN堆叠数量与准确率关系图，结节检测模型的准确率（Accurary）衡量模型性能的一个重要指标，它能反映出检测模型对整个样本的检测能力，也能反映出检测正确数量占总检测数量的比重。Resnet-50在金字塔网络堆叠5次是表现效果最好准确率可以达到97.56%。

如图5所示为本发明的训练次数和准确率关系图，在NAS-FPN规范化后的特征层中引入3x3的Drop Block块，引入Drop Block 可以最少提升1%的检测准确率，还能使模型收敛速度变快。得出上述最优模型后，我们将模型在测试集上进行最终的验证，验证的准确率为97.53%。

Claims (2)

1.一种基于NAS-FPN的肺结节检测方法，其特征在于：深度学习中神经网络架构自动搜索技术（Neural Architecture Search，NAS）和特征提取金字塔网络（Feature PyramidNetwork，FPN）的结合，不同于现在手动设计肺结节检测网络的检测方式，该方法通过一种可以自动搜索扩展的特征金字塔结构（NAS-FPN），用自主学习、自动搜索的方式自动学习出一种肺结节检测网络完成结节检测任务，可以用于更精准的肺CT影像的肺结节检测，并且有效的降低假阳性结节，为肺部计算机辅助诊断系统提供更加精准、可靠的结节图像；本发明提出的检测框架由三部分组成，特征提取部分（Resnet部分），NAS-FPN部分（Resnet部分层特征），FCN部分（分类和回归）；首先，先用自下而上Resnet50做特征提取，多个FPN组合构成NAS-FPN，构成自上而下横向连接；自底而上的路径通常是特征提取的卷积网络，自底而上，空间分辨率递减，检测更多的高层结构，网络层语义相应增加，所以一般情况下，低层的分辨率高，但是语义值不够高，目标检测时，不使用这些层，而自上而下的路径，基于语义丰富层构建的分辨率较高的层，尽管重建语义足够丰富，但是经过这些下采样和上采样过程，目标位置就不再准确了，因此在重建层和相应的特征映射间增加横向连接，可以帮助检测器更好的预测位置，并且同时起到了跳跃连接的作用；用NAS自动搜索FPN的NAS-FPN结节检测方法，使FPN网络能够的检测到图像的小结节并确定结节位置，改变了手动设计检测网路的局面，得到更为精准的检测结果通过强化学习控制器在给定的空间搜索出最优的模型框架，由于不知道FPN的跨连接情况，我们设计的针对肺结节检测的NAS-FPN检测网络采用递归神经网络RNN为控制器，用于构建不同的连接，控制器通过子模型在搜索空间中的准确度作为评价标准来更新参数。

2.根据权利要求1所述的一种基于NAS-FPN的肺结节检测方法，其特征在于：一种基于NAS-FPN的肺结节检测方法的具体包括以下步骤：

Step 1：为NAS-FPN模型设置所使用的特征提取网络，用该特征提取网络对肺CT图像进行特征提取，建立自底而上的金字塔特征层；

Step 2：为步骤一提取的金字塔结构建立横向特征层连接，用循环神经网络（RNN）建立NAS的控制器把并用准确度作为奖励方式，通过NAS自动控制横向扩展金字塔结构的数量，直至检测的网络的准确度不在增加，控制器自动停止网络的搜索学习；

Step 3：用FCN网路对检测到的肺结节的候选框进行最终的筛选，在原始图像上进行结节定位，并输出最终的检测结果；

所述Step 1中的具体过程如下：

Step 1.1：NAS-FPN模型选取用的特征提取网络，并应于肺CT图像上进行特征提取

Step1.1.1：选择ResNet-50 为特征提取网络;

Step1.1.2：按照特征图提取顺序建立自底而上的特征提取网络；

Step1.1.3：对特征网络进行筛选抽样，抽取一部分特征层用于横向连接，为下面的步骤做准备；

Step 1.2：特征提取的数据集来自Luna16数据集，数据集在训练之前进行预处理，预处理的步骤在下面会进行介绍

所述Step 2中的具体过程如下：

Step 2.1：首先对数据集进行预处理；

Step 2.1.1：我们需要生成结节的mask图像，将数据集中的annotations.csv文件读取出来

Step 2.1.2：通过这个文件包含结节的信息，每行都对应一个结节的id、三维坐标、以及结节的大小等信息可以从中获取相关的结节像素坐标和大小信息，进行分类；

Step 2.1.3：生成mask图像文件

Step 2.1.4：除去CT图像中的噪声，例如骨头的亮点，CT床金属线等，并将图像归一化到（0,1）

Step 2.1.5：从candidates.csv文件读取坐标和类别标签，将图像分为两类；

Step 2.1.6：然后对肺结节训练数据和测试数据都进行数据扩充；

Step 2.1.7：再对其分成非肺结节训练数据（80%）和测试数据（20%），最后将两类的训练数据和测试数据分别合并；

Step 2.2：用循环神经网络（RNN）建立NAS的控制器通过NAS自动控制横向扩展金字塔结构的数量；

Step 2.2.1：建立RNN控制器；

Step 2.2.2：将RNN控制器嵌入到FPN控制网络，用其控制FPN的数量，依次增长；

Step 2.2.3：为控制器RNN建立奖励措施，控制器使用搜索空间中的子模型的准确性作为更新其参数的奖励信号，通过反复试验，神经架构搜索训练控制器使用强化学习在给定搜素空间中选择最佳模型架构，控制器可以学习如何随着时间推移生成更好的架构；

Step 2.3：多个FPN的跨连接构成了很大的搜索空间, 在搜素空间中，一个FPN由很多个merging cells 组成；

Step 2.3.1：从候选中选取一个特征层；

Step 2.3.2：从候选中没有替换地选出另一个特征层；

Step 2.3.3：选择输出特征的分辨率；

Step 2.3.4：选择一个operation操作来融合步骤1和步骤2的特征，然后生成一个分辨率为步骤3的选定新的特征层；

Step 2.4：将学习出的模型进行保存

所述Step 3中的具体过程如下：

Step 3.1：用FCN网路对检测到的肺结节的候选框进行最终的筛选

Step 3.1.1：将上述生成的候选框进行筛选，控制阈值选出结节区域；

Step 3.1.2：将Focal loss函数引入，减少负样本的数量；

Step 3.1.3：引入调制系数，通过减少易分类样本的权重，从而使得模型在训练时更专注于难分类的样本；

Step 3.1.4：控制正负样本对总损失函数的共享权重；

Step 3.2：对包含结节的Anchor进行筛选

Step 3.2.1：分类子网络在每个空间位置，为A个anchor和K个类别，预测结节的概率；

Step 3.2.2：这个子网络是小的FCN（全卷积网络），与FPN中的每层相接；

Step 3.2.3：这个子网络的参数在整个金字塔的层间共享；设计方法是：从金字塔某个层里来的Feature map是C个通道，子网络使用四个3*3 的卷积层，C个滤波器，每个都接着Relu激活函数；

Step 3.2.4：接下来用 3*3 的卷积层，有KA个滤波器；用sigmoid激活函数对于每个空间位置，输出KA个binary预测；

Step 3.2.4：输出包含结节的最优Anchor；

Step 3.3：在原始图像上进行结节定位，并输出最终的检测结果。

Images