CN110807764A - 一种基于神经网络的肺癌筛查方法 - Google Patents

Abstract

本发明公开一种基于神经网络的肺癌筛查方法，包括：数据准备，该阶段主要完成数据从医院数据系统导入以及数据的标定；数据预处理，该阶段对数据进行预处理，肺部区域的分割；三维RPN网络的构建，训练，使用采集的数据和标定结果训练RPN网络；训练适合不同分辨率的网络，构建结合策略；使用训练好的模型对输入的三维CT图像进行肺结节检测，输出预测的肺结节信息，包括中心点三维坐标以及肺结节的直径大小；通过第5步给出的中心点的三维坐标以及直径大小，构建基于注意力机制的神经网络，对肺结节的性质进行判定。本发明从检测采用对三维输入直接进行候选结节的检测，这一方法使得候选检测更全面可靠。

Description

一种基于神经网络的肺癌筛查方法

技术领域

本发明涉及疾病判断的深度学习领域，尤其涉及一种基于神经网络的肺癌筛查方法。

背景技术

针对肺结节的辅助诊断在最近几年已经被广泛研究，这些研究大多数集中在肺结节的检查方面，真正的着眼于肺结节的定性任务却鲜有研究。目前典型的肺癌筛查方法包括两个步骤：(1)肺结节的检测；(2)结节的定性分析。肺癌的临床表现皆是肺结节，肺结节的特性反应其是否是癌症的程度，本发明的第一步对肺癌的筛查尤其关键，这为肺癌的筛查奠定了一定的基础；结节的定性分析是本发明的第二步骤，该步骤将对癌症的诊断起关键作用，会给临床癌症的早期筛查带了巨大帮助。

现有的肺癌筛查方法，在肺结节的检测部分要么是基于传统的特征设计方法，这些方法提取的特征不仅设计起来十分繁琐，而且所提取的特征的有效性也难以保证；基于神经网络的方法，可以使用神经网络自动地从CT影像中学习肺结节的本质特征，这些方法考虑到了肺结节的尺寸信息，CT影像的上下文背景信息，但是实际的临床中，病人所拍的CT片子包含了不同层厚的CT片子，之前的研究并没有研究从不同分辨率CT中检测肺结节的算法，本发明研究了一种针对不同CT分辨率的算法，来检测肺结节；在肺结节的定性方面，之前的方法都是基于卷积神经网络的应用，或者基于了一些简单的特征维度，鉴别肺结节的良恶性，本发明基于注意力机制，使得神经网络可以将学习的特征聚焦到某些特定的影响组学特征上，进而有效地鉴别肺结节的性质。

发明内容

本发明旨在提供一种基于神经网络的肺癌筛查方法，同时构建了一种基于注意力机制的深度神经网络模型，综合多种影像组学特性，进而有效的判定结节的良恶性，准确地进行肺癌的早期筛查。

本发明所使用的检测、定性模型仅需要两个阶段，检测准确，效率高。

本发明基于区域的以及基于注意力机制的三维卷积神经网络模型都可以提取深层次的本质特征，适合处理三维的CT数据，并基于提取的有效特征检测肺结节以及对结节的性质进行鉴定。

本发明提出的多分辨率的模型可以检测不同层厚CT中的肺结节，首次将注意力机制运用于肺结节定性中，提高模型的对肺结节性质的判别能力。

为达到上述目的，本发明是采用以下技术方案实现的：

本发明公开一种基于神经网络的肺癌筛查方法，包括以下步骤：

a)数据准备：准备多个肺部CT图像，肺部CT图像为三维图像，对肺部CT图像中的肺结节的位置进行标注，获取肺结节的病例特征；

b)数据预处理：将肺部区域从肺部CT图像中分割后形成肺部区域和背景区域，将肺部区域切割成多个固定大小的区域；

c)三维RPN网络模型的构建和训练：

c1、根据标注的肺结节的位置坐标，建立三维模型，三维模型中包括三维卷积层、三维池化层，三维模型使用深度残差网络结构，

c2、设置锚点，锚点的维度信息包括：是否为肺结节、肺结节中心的三维坐标、肺结节直径的预测输出，

c3、难分样本挖掘，设置负样本，负样本总量为N，使用模型判断难以与正样本区别的负样本，从中选取n个作为负样本集进行训练，

c4、确定学习误差，对设置的每一个锚点采用一个CrossEntropy分类学习误差和一个L2回归学习误差，设定一个计算所得的目标信息为元组(g_x,g_y,g_z,g_d)以及一个锚点的位置信息为元组(a_x,a_y,a_z,a_d)，IoU被用来衡量一个锚点位置是否为肺结节，如果一个锚点位置坐标和任何一个目标的IoU大于阈值0.5则认为是正样本，如果小于0.02则作为负样本，设定目标为肺结节的概率为y＝1,目标为背景区域的概率为y＝0，，所以分类的学习误差为

L_cis＝y(log(q))+(1-y)(log(1-q))

目标的回归目标定义为

设定对应的预测结果为(m′_x,m′_y,m′_z,m′_d)，回归学习误差定义为

其中L1-norm误差函数为

网络整体的学习误差为

L_total＝L_cls+L_reg

其中下标x,y,z分别表示三维CT图像的三个维度，下标d代表直径的大小，单位为mm，IoU为体积的交比并，q为设定锚点的预测概率，

c5、网络训练，设置学习率为0.01，卷积权值使用高斯分布初始化，依次训练批次设置为24，学习迭代次数为100，采用BP反馈传播算法同时使用分类误差区分当前锚点是肺结节还是背景区域，使用回归误差对肺结节的中心坐标和直径进行回归学习，每个批次均更新一次参数，每次迭代学习后，模型判断肺结节检测结果的总误差大小，若当前误差小于上一个迭代误差，则保存当前模型，直到达到最大迭代次数；

d)根据步骤c，对训练适合不同分辨率的网络模型，构件结合策略；

e)根据步骤c或步骤d得到的模型，对三维CT图像进行肺结节检测，输出肺结节信息，包括肺结节中心点三维坐标以及肺结节的直径大小；

f)根据e得到的肺结节信息，构件基于注意力机制的定性模型。

优选的，步骤b中，将肺部区域从肺部CT图像中分割包括以下步骤：

b1、设定切割阈值；

b2、通过切割阈值对肺部CT二值化处理；

b3、使用清除边界、腐蚀、膨胀的至少一种；

b4、得到肺部区域和背景区域，将肺部区域规范化至0～255之间，将非肺部区域填充170的灰度值。

优选的，步骤b中，将肺部区域切割成多个固定大小的区域时，创建标签记录模型输入与输出之间的大小变化比例。

优选的，将肺部区域切割成多个固定大小的区域后，每一个训练样本内，保留一个正样本进行训练。

优选的，步骤c2中，锚点直径为5mm、20mm、80mm的任一。

优选的，步骤c3中N＝600，n＝2。

优选的，步骤d中，对于不同分辨率的CT影像，通过步骤c得到检测模型d_i，对多个检测模型进行投票训练

d＝NMS(d₀,d₁,…,d_n)。

优选的，对于步骤f，构建模型时，主体网络使用残差模块作为网络的主体层，在每一个残差模块的后面接上一个注意力机制模块，对于每一个注意力模块，通过3维卷积神经网络提取的CT影像中的特征图，先通过一个先降维再升维的过程，算出每一个特征图的对下一层特征提取的贡献程度，然而用这些值乘上当前阶段输出的特征图，对特征图的综合输出进行不同强度的组合。

优选的，还包括对假阳性肺结节的检测，包括以下步骤：

g1、输入三维CT图像，按照步骤b进行预处理；

g2、输入RPN网络中，得到所有候选肺结节；

g3、对候选肺结节使用NMS函数进行筛选，排出相同位置的候选肺结节；

g4、使用训练得到网络模型对候选肺结节进行区分，记录真阳性肺结节的位置坐标，得到CT图像中肺结节的检测结果。

优选的，对于步骤c1中，使用inception系列神经网络或VGGNet系列神经网络，将卷积核拓展为为三维。

本发明的有益效果：

1.本发明从检测采用对三维输入直接进行候选结节的检测，这一方法使得候选检测更全面可靠，降低了这一阶段产生的假阳性和假阴性样本，为后续假阳性筛查提供更好的数据准备。

2.本发明结合三维候选结节检测，同时考虑到多分辨率CT数据对肺结节检测模型对结节检测的影响，使用多分辨率模型结合策略检测不同分辨率CT上的肺结节。

3.本发明基于注意力机制，通过综合分析肺结节的多个影像组学特征，对肺结节性质进行准确判定，准确地鉴别肺结节的性质。

4.对于已经完成训练的模型，可以快速检测，实现批量CT检测，可以实现无人值守批量操作，且速度快速，速度可随设备扩展提升。节省了初级筛查的人力物力，解放医生工作集中于更高层次的诊断的处置方案设计。

5.向底层推广，可以解决基层医院专业医疗资源不足的问题，提升基层医院诊断水平，减少偏远地区误诊与漏诊的机率。

附图说明

图1为本发明的流程图；

图2为基于区域卷积神经网络的肺结节检测模型；

图3为基于注意力机制的肺结节定性模型。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，对本发明进行进一步详细说明。

本发明所关注的技术问题为：如何利用计算机在多分辨率CT图像中自动、高效、准确地检测肺结节；同时如何通过多种影响组学特征对肺结节的性质进行判定。为解决上述技术问题，本发明提供了一种利用深度卷积神经网络检测CT肺结节的方法。该方法在获取候选肺结节时使用基于区域提议网络的目标检测方法，网络结构采用三维的残差网络作为特征提取，学习误差包括回归误差和分类误差。使用不同层厚的数据对模型进行迭代更新，提出对应的策略结合不同的模型对模型的效果进行综合提升。本发明使用基于注意力机制的卷积神经网络，融合多种影像组学特征对肺结节的性质进行判定。它的具体步骤如图1所示，包括：

1.数据准备。该阶段主要完成数据从医院数据系统导入以及数据的标定。

2.数据预处理。该阶段对数据进行预处理，肺部区域的分割。

3.三维RPN网络的构建，训练。使用采集的数据和标定结果训练RPN网络。

4.训练适合不同分辨率的网络，构建结合策略。

5.使用步骤3，步骤4训练好的模型对输入的三维CT图像进行肺结节检测，输出预测的肺结节信息，包括中心点三维坐标以及肺结节的直径大小。

6.通过第5步给出的中心点的三维坐标以及直径大小，构建基于注意力机制的神经网络，对肺结节的性质进行判定。

步骤1)数据准备

深度神经网络方法需要大量的数据用于训练，因此首先需要准备好数据用于模型的训练。本发明所用数据为华西医院影像科肺部CT图像，采集1000多个病人的数据。本发明所用来训练模型的方法是一种基于监督学习的方法，模型的迭代更新需要大量有准确标签的数据。本发明所使用的数据需要两种标签：结节的位置、结节的性质。对于结节的位置标签，对于每一例CT检查的影像，都由不同华西医院专家进行多轮标注标定，保证每一个标签准确与客观性，对于有争议的肺结节，会进行磋商讨论，决定其是否纳入训练的数据库。对于结节的性质，通过医院中病人的穿刺、活检日期，查询病人对应的病理结果，最终给每一个结节打上性质的标签。

步骤2)数据预处理

数据预处理阶段对原始的CT影像数据进行处理，使得突出其有效的特征，便于更好地检测CT影像中的肺结节。数据的预处理第一部分是分割肺部的区域，肺结节只存在于肺内，然而在CT中的其他区域如胃部等区域也有某些区域(未消化的事物)因为其形态相似于肺结节会被检测为疑似病变区域。有效地分割肺部区域可以有效地降低将检测的假阳性。本发明分割肺部的方法是一种基于阈值分割的肺部组织分割方法。首先通过给定的阈值对肺部CT进行二值化处理，而后通过清除边界，腐蚀与膨胀等操作完整的分割出肺部的有效区域。对于分割出来的肺部区域将其规范化到(0-255)之间，对于非肺部的区域填充170的灰度值。

模型的计算需要处理好地带标签数据，同时受限于机器硬件的性能，一个完整的分割的肺部区域送入网络中训练会极大地较低训练的效率。在送入网络计算之前需要将分割的肺部crop成一个个固定大小的区域。根据模型输入与输出之间大小的变化比例，创建对应的标签，在每一个训练样本内部，仅保留一个正样本，其他的正样本不予训练，这样可以保障模型训练的效率与稳定性。

步骤3)肺结节检测模型的构建

本发明使用的候选肺结节检测模型的由两个部分组成：一是Kaimin He等人提出的残差卷积神经网络作为主体特征提取网络；另一个是Kaimin He等人提出的区域候选网络(Region Proposal Network，RPN)用于输出CT影像中的疑似候选区域。由于本发明只考虑三维CT影像，因此，本发明中肺结节检测模型所用的卷积神经网络结构所包括不同类型的网络层，因为输入的数据具有三个维度的特征，所以网络模型所使用的模块都是三维的操作。每个部分详细的设置如下所述：

18层三维残差卷积网络：本发明中采用的三维卷积网络结构参考Kaimin He等人于2016年在CVPR大会上提出的深度残差网络结构。目前普遍认为，神经网络的深度可以有助于提高模型对数据的抽象建模能力，然而过深的网络因梯度消失问题而不利于网络的训练。残差网络结构提出了在传统卷积网络结构中加入捷径连接以消除深度网络在学习过程中梯度回传容易消失的问题，使得网络可以在很深的层次下依然可以有效并且快速地训练。由于本发明中输入的为三维图像，如果使用太深的网络结构将会使得模型过于庞大，将会耗费大量的硬件资源。因此本发明参考使用18层残差网络的一部分结构作为本发明的卷积网络结构。本发明将残差网络的二维卷积层，二维池化层替换为三维卷积层，三维池化层。由于保留了残差网络的捷径连接结构，网络具备很强的学习能力。

锚点的设置。锚点的配置参数是区域候选网络的核心超参数。锚点的合理设置直接影响着本发明中候选肺结节的检测好坏。锚点的设置主要是为了使区域候选网络的回归学习误差便于训练，加快模型的学习收敛速度。正常情况下，一个锚点会被设置为矩形或者长方体，由于一个肺结节一般近似为球体。因此在本发明中，锚点只需一个位置加直径的描述。锚点的配置参数包括尺度，长宽比率，个数。由于本发明中锚点默认为球体，因此长宽比率在本发明中不做考虑。考虑到一般肺结节的直径不大于80mm，而大多数肺结节直径集中在5mm至60mm之间，本发明设置锚点尺度为5mm，20mm，80mm。卷积网络输出最后一层的特征映射大小为32*32*32，通道数为64，每一个锚点上输出一个区域的5个维度信息：该区域是否是结节，该结节的三维坐标中心以及直径的预测输出。

步骤4)肺结节检测网络的训练

本发明基于步骤3设计的网络结构进行训练。网络的训练主要分为以下几个步骤：

难分样本挖掘：网络训练使用的正样本为标定的肺结节，负样本为除开这些标定位置的其他与标定位置不重叠的坐标位置。由于在一个CT图像上，一般所有肺结节所占的总体积非常小，所以按照该方法将会产生大量的负样本，正负样本严重不平衡，而且该方式采样的负样本很容易与正样本分开。所以本发明考虑使用在线的负样本筛选机制。通过先设置一个负样本总量N，然后使用模型判断哪些负样本比较难以与正样本区分，然后从中选取n个作为负样本集进行训练，本发明设置N＝600，n＝2。

Cross Entropy分类学习误差和L1-norm回归学习误差。学习误差直接影响着模型的训练好坏。本发明考虑对设置的每一个锚点采用一个CrossEntropy分类学习误差和一个L2回归学习误差。设定一个计算所得的目标信息为元组(g_x,g_y,g_z,g_d)以及一个锚点的位置信息为元组(a_x,a_y,a_z,a_d)。其中下标x,y,z分别表示三维CT图像的三个维度，下标d代表直径的大小，单位为mm。体积的交比并(IoU)被用来衡量一个锚点位置是否为肺结节。如果一个锚点位置坐标和任何一个目标的IoU大于阈值0.5则认为是正样本，如果小于0.02则作为负样本，其他的锚点训练时不提供学习误差。设定目标为肺结节的概率为y＝1,目标为肺部背景的概率为y＝0。设定锚点的预测概率为q，所以分类的学习误差为

L_cls＝y(log(q))+(1-y)(log(1-q)).

目标的回归目标定义为

定义回归目标为上述形式是为了让回归误差更容易收敛。设定对应的预测结果为(m′_x,m′_y,m′_z,m′_d)。回归学习误差定义为

其中L1-norm误差函数为

网络整体的学习误差为

L_total＝L_eis+L_reg

网络训练：网络设置学习率为0.01，学习率每经过20个学习迭代之后衰减十倍。卷积权值使用高斯分布初始化。一次训练批次设置为24，学习迭代次数为100。网络训练采用BP反馈传播算法同时使用分类误差区分当前锚点是肺结节还是肺部背景，使用回归误差对肺结节的中心坐标和直径进行回归学习。网络学习针对每个批次更新一次参数。每一次迭代学习之后，模型判断肺结节检测结果的总误差大小，如果当前误差小于上一个迭代的误差，就保存当前模型，然后继续训练，直到达到最大迭代次数。

针对不同分辨率训练不同的检测模型并通过对应的策略结合

本发明考虑不同CT影像的分辨率对肺结节模型的影响，因而本发明根据不同的分辨率构建不同的模型。首先对不同分辨率的CT影像数据进行预处理，使用这些处理好的多分辨率CT图片对模型进行训练。而后在使用的时候通过以下结合策略将两个模型结合起来，进行投票训练。具体的结合策略如下所示：

d＝NMS(d₀,d_i，...，d_n)

其中，d_i是使用不同分辨率CT影像数据训练出来的检测模型，上式指出，不同检测模型预测的结果通过极大化抑制来进行结合，最终给出更加准确的结果。

基于注意力机制的肺结节定性

卷积神经网络中所提取的特征都存储在神经网络的特征图中，不同特征图之间的相互组合传递到下一层，形成神经网络对所识别问题的不同层次的表达。然而，相关文献指出，卷积神经网络中不同特征图之间的相互组合也将会影响网络的性能，本发明基于注意力机制，构建一套肺结节定性模型，如图3所示。该肺结节的定性模型，主体网络使用残差模块作为网络的主体层，在每一个残差模块的后面接上一个注意力机制模块。对于每一个注意力模块，通过3维卷积神经网络提取的CT影像中的特征图，先通过一个先降维再升维的过程，算出每一个特征图的对下一层特征提取的贡献程度，然而用这些值乘上当前阶段输出的特征图，对特征图的综合输出进行不同强度的组合。

候选肺结节的预测与假阳性样本筛查

使用训练得到的RPN网络模型进行候选肺结节预测，使用训练得到的三维胶囊网络模型筛选样本的假阳性结节。肺结节的检测具体步骤为：首先输入一例三维CT图像，对图像进行预处理，准备下一阶段直接输入到RPN网络模型中。数据预处理完后，将CT图像输入到RPN网络中获得所有的候选肺结节。对于候选肺结节使用NMS函数对候选肺结节进行筛选，防止相同位置候选肺结节的出现。然后通过三维胶囊网络对候选肺结节进行区分真假阳性结节，记录真阳性结节的位置坐标，从而得到每个CT图像中肺结节检测结果。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种基于神经网络的肺癌筛查方法，其特征在于包括以下步骤：

a)数据准备：准备多个肺部CT图像，肺部CT图像为三维图像，对肺部CT图像中的肺结节的位置进行标注，获取肺结节的病例特征；

b)数据预处理：将肺部区域从肺部CT图像中分割后形成肺部区域和背景区域，将肺部区域切割成多个固定大小的区域；

c)三维RPN网络模型的构建和训练：

c1、根据标注的肺结节的位置坐标，建立三维模型，三维模型中包括三维卷积层、三维池化层，三维模型使用深度残差网络结构，

c2、设置锚点，锚点的维度信息包括：是否为肺结节、肺结节中心的三维坐标、肺结节直径的预测输出，

c3、难分样本挖掘，设置负样本，负样本总量为N，使用模型判断难以与正样本区别的负样本，从中选取n个作为负样本集进行训练，

c4、确定学习误差，对设置的每一个锚点采用一个CrossEntropy分类学习误差和一个L2回归学习误差，设定一个计算所得的目标信息为元组(g_x,g_y,g_z,g_d)以及一个锚点的位置信息为元组(a_x,a_y,a_z,a_d)，IoU被用来衡量一个锚点位置是否为肺结节，如果一个锚点位置坐标和任何一个目标的IoU大于阈值0.5则认为是正样本，如果小于0.02则作为负样本，设定目标为肺结节的概率为y＝1,目标为背景区域的概率为y＝0，，所以分类的学习误差为

L_cls＝y(log(q))+(1-y)(log(1-q)).

目标的回归目标定义为

设定对应的预测结果为(m′_x,m′_y,m′_z,m′_d)，回归学习误差定义为

其中L1-norm误差函数为

网络整体的学习误差为

L_total＝L_cls+L_reg

其中下标x,y,z分别表示三维CT图像的三个维度，下标d代表直径的大小，单位为mm，IoU为体积的交比并，q为设定锚点的预测概率，

c5、网络训练，设置学习率为0.01，卷积权值使用高斯分布初始化，依次训练批次设置为24，学习迭代次数为100，采用BP反馈传播算法同时使用分类误差区分当前锚点是肺结节还是背景区域，使用回归误差对肺结节的中心坐标和直径进行回归学习，每个批次均更新一次参数，每次迭代学习后，模型判断肺结节检测结果的总误差大小，若当前误差小于上一个迭代误差，则保存当前模型，直到达到最大迭代次数；

d)根据步骤c，对训练适合不同分辨率的网络模型，构件结合策略；

e)根据步骤c或步骤d得到的模型，对三维CT图像进行肺结节检测，输出肺结节信息，包括肺结节中心点三维坐标以及肺结节的直径大小；

f)根据e得到的肺结节信息，构件基于注意力机制的定性模型。

2.根据权利要求1所述的肺癌筛查方法，其特征在于：步骤b中，将肺部区域从肺部CT图像中分割包括以下步骤：

b1、设定切割阈值；

b2、通过切割阈值对肺部CT二值化处理；

b3、使用清除边界、腐蚀、膨胀的至少一种；

b4、得到肺部区域和背景区域，将肺部区域规范化至0～255之间，将非肺部区域填充170的灰度值。

3.根据权利要求1所述的肺癌筛查方法，其特征在于：步骤b中，将肺部区域切割成多个固定大小的区域时，创建标签记录模型输入与输出之间的大小变化比例。

4.根据权利要求3所述的肺癌筛查方法，其特征在于：将肺部区域切割成多个固定大小的区域后，每一个训练样本内，保留一个正样本进行训练。

5.根据权利要求1所述的肺癌筛查方法，其特征在于：步骤c2中，锚点直径为5mm、20mm、80mm的任一。

6.根据权利要求1所述的肺癌筛查方法，其特征在于：步骤c3中N＝600，n＝2。

7.根据权利要求1所述的肺癌筛查方法，其特征在于：步骤d中，对于不同分辨率的CT影像，通过步骤c得到检测模型d_i，对多个检测模型进行投票训练

d＝NMS(d₀,d₁,…,d_n)。

8.根据权利要求1所述的肺癌筛查方法，其特征在于：对于步骤f，构建模型时，主体网络使用残差模块作为网络的主体层，在每一个残差模块的后面接上一个注意力机制模块，对于每一个注意力模块，通过3维卷积神经网络提取的CT影像中的特征图，先通过一个先降维再升维的过程，算出每一个特征图的对下一层特征提取的贡献程度，然而用这些值乘上当前阶段输出的特征图，对特征图的综合输出进行不同强度的组合。

9.根据权利要求1所述的肺癌筛查方法，其特征在于：还包括对假阳性肺结节的检测，包括以下步骤：

g1、输入三维CT图像，按照步骤b进行预处理；

g2、输入RPN网络中，得到所有候选肺结节；

g3、对候选肺结节使用NMS函数进行筛选，排出相同位置的候选肺结节；

g4、使用训练得到网络模型对候选肺结节进行区分，记录真阳性肺结节的位置坐标，得到CT图像中肺结节的检测结果。

10.根据权利要求1所述的肺癌筛查方法，其特征在于：对于步骤c1中，使用inception系列神经网络或VGGNet系列神经网络，将卷积核拓展为为三维。

Images