CN110766051A - 一种基于神经网络的肺结节形态学分类方法 - Google Patents

Abstract

本发明公开一种基于神经网络的肺结节形态学分类方法，包括以下步骤：1、数据准备。该阶段主要完成数据从医院数据系统导入以及对待分类的肺结节进行标定；2、数据预处理，该阶段对数据进行预处理，主要包括原始CT图像的预处理与结节区域的截取；3、构建多尺度三维残差网络模型，并使用采集的数据和标定的结果对模型进行训练；4、重复步骤3，构建并训练好多种形态学分类的模型；5、使用步骤3、步骤4训练好的模型对检测任务自动检测出的肺结节进行分类，输出模型预测的肺结节形态学特征的信息。本发明将结节截取三个尺度作为对应尺度残差的网络的输入，提取三种尺度结节的深度特征，最后经过融合，集成三个模型得到最后的分类结果。

Description

一种基于神经网络的肺结节形态学分类方法

技术领域

本发明涉及深度学习技术领域，尤其涉及一种基于神经网络的肺结节形态学分类方法。

背景技术

肺癌的CAD系统已经在最近的几年广泛研究，其主要包括了两个任务：肺结节的检测和分类。在结节的分类任务中通过形态学特征对结节的性质进行判断也在受着持续的关注，Jeremy J.Erasmus,John E.Connolly,H.Page McAdams和Victor L.Roggli在他们的早期的研究中从医学的角度上指出通过结节的形态学特征来判断其性质的可靠性，通过实际的数据来证明结节表现出的特征与其性质的联系。其中也指出了与性质相关的几种重要特征，包括毛刺征、分叶征、质地和钙化等。

现有的很多研究都通过结节的形态学特征直接对结节的性质进行预测。其中的特征都是采用的传统数字图像处理的方法，通过对像素值的计算来提取特征，将提取到的特征集来表达单个结节，最后将特征集采用传统的分类器对其性质进行分类。这种方法需要人为对特征进行选择，并定义特征的计算规则。Ashis Kumar Dhara，SudiptaMukhopadhyay和Anirvan Dutta等人的研究中，首先对结节进行半自动的分割，然后对分割后的结节进行特征提取，计算2D和3D的特征，包括直径，毛刺征，分叶征等对结节良恶性密切相关的特征，以及一些结节的属性：体积，表面积等，用此特征集来表达一个结节，最后用SVM分类器对结节性质进行分类。然而其效果大都取决于分割的效果，以及特征的计算规则和特征集的选取。在Aydin Kaya和Ahmet Burak Can的研究中同样对每个结节进行特征提取，然后对每种形态学特征选择不同特征子集进行形态学特征的分类，最后基于每个结节标注的产生的形态特征与性质的映射关系生成规则，对良恶性进行预测。

由于特征提取时的复杂问题，人工定义特征仍然避免不了很多问题，并且对于模型的鲁棒性也存在一定的挑战。相较于传统方法，近几年基于神经网络对图像深层的特征进行提取的方法取得了飞速的发展，在目标识别领域，深度神经网络取得了非常的成功的应用。2012年，AlexNet在ImageNet数据集上将错误率降低到16.4％，深度神经网络得到广泛应用。2014年，VGGNet使用19层深度网络将错误率降到7.3％。GoogleNet提出Inception的结构，通过使用多层Inception结构，采用多个层级的误差函数进一步提高了识别率。2015年，ResNet提出在传统卷积网络上增加一个捷径连接结构，该结构能够减少模型训练过程中的梯度消失。最终一个152层的ResNet将ImageNet的识别率降低到3.57％。

现在已经有了很多研究采用神经网络对结节进行分类：Wei Li,Peng Cao,DazheZhao,和Junbo Wang采用一个2D的网络对实性、半实性、磨玻璃结节进行分类，输入图片尺寸固定为32*32；Xinzhuo Zhao，Liyao Liu1，Shouliang Qi，Yueyang Teng，Jianhua LiWei和Qian提出将LeNet和AlexNet组合的网络模型对结节良恶性进行分类，输入图片尺寸固定为53*53；Arnaud ArindraAdiyosoSetio等人提出一个多视图的结节分类方法，将结节从三维的空间中的各个方向截取一张二维图片，然后调整图片大小固定到64*64，输入到网络对假阳性结节进行判断。

现有方法很多都是直接对良恶性进行判断，然而对肺结节从影像学中表现出来的形态学特征(毛刺征，分叶征，实性、半实性与磨玻璃结节，钙化等)进行直接分类可以帮助医生对肺结节的性质作出更准确的判断，有着很重要意义。现有结节分类的方法主要分为两类：基于传统的机器学习方法和基于神经网络的方法。对与传统的机器学习方法，操作复杂，耗时耗力——分类达到的正确率完全取决于特征的提取，即特征计算的定义和特征集的选取；如果在特征提取之前还需要首先进行分割，其特征集的表达效果也跟分割方法的正确率直接相关，而对于存在着许多与肺结节重叠的血管以及其他肺部组织的CT图像来说，这个任务是极具挑战性的；除此之外，这类方法也只能提取到浅层特征，在复杂的三维CT图像中的效果有限。而对于目前的一些神经网络的结节分类方法，其将三维CT肺部图像当成多个二维切片，将待分类结节从整张切片直接截取下来作为数，据集中一个独立的数据进行二维网络模型的训练，这种方法显然不能提取到结节的三维空间上表现出来的特征；另外，由于结节的生长，其直径是影响形态学特征以及性质的一个重要因素，此前的方法采取用固定尺寸的图片作为网络的输入的方式，结节关键的尺寸信息会一定程度乃至完全丢失。

发明内容

本发明旨在提供一种基于神经网络的肺结节形态学分类方法，便于提取三维空间特征，将结节截取三个尺度作为对应尺度残差的网络的输入，提取三种尺度结节的深度特征，最后经过融合，集成三个模型得到最后的分类结果。

为达到上述目的，本发明是采用以下技术方案实现的：

本发明公开一种基于神经网络的肺结节形态学分类方法，包括以下步骤：

a)数据准备：

a1、准备多个肺部CT图像，

a2、对肺部CT图像中的肺结节进行标定，

a3、确定肺结节的空间位置、直径、标定的特征信息；

b)数据预处理：

b1、通过肺结节的空间位置和直径计算肺结节的中心的像素坐标，

b2、根据肺结节中心的像素坐标从肺部CT图像中截取固定大小的肺结节数据，

b3、使用0值填充截取的CT图像中越界部分；

c)构建多尺度三维残差网络模型，使用采集的数据和标定的结果对模型进行训练：

c1、构件模型：

c11、建立特征提取神经网络，第一级神经网络包括三维卷积层、三维池化层，特征提取神经网络包括对应多个尺度的肺结节数据的子网络，

c12、建立连接层，连接层由上一层的输出层神经元与最终输出分类层的神经元的线形连接组成，

c2、模型训练：

c21、将步骤b3中的肺结节数据随机剪裁成多个尺度的肺结节数据，

c22、网络输入，将步骤c21得到的多个尺度的肺结节数据输入模型，

c23、使用交叉熵方法确定分类学习误差，

c3、网络训练，

c31、设置学习率为0.001，卷积权值使用高斯分布初始化，依次训练批次设置为24，学习迭代次数为200，

c32、每次迭代学习后，判断总误差大小，若总误差小于上一个迭代的误差，则保存当前模型，制造达到最大的迭代次数；

d)重复步骤c进而构建并训练多种形态学分布的模型；

e)使用步骤c或步骤d得到的模型对肺结节分类并输出模型预测的肺结节形态学特征信息；

其中，端到端的模型在梯度反向传播时，从最后的网络堆叠层，然后传到各个残差网络模块。首先当一个样本si＝(Xi,yi)经过三个尺度的残差网络后的输出为：

其中n为类别数、#∈(S,M,L)，分别对应三个对应尺度的自网络，然后所有子网络的输出神经元与最终输出层神经元进行一次全连接，最终输出层的第j(j＝1,..,n)个神经元的输出为

其中，

表示第#个的子网络的输出层第i个神经元与输出层的第j个神经元的连接权值，f(·)为softmax激活函数。

按照以下规则进行更新

其中，

η为训练设置的学习率，残差网络的内部也按照如此规则进行。

优选的，步骤c21中肺结节数据为8×20×20、16×30×30、26×40×40中任一。

优选的，步骤c23中，设定模型最终的输出元祖为(o1,…,on)，其中n表示分类任务的类别数，o1,…,on分别表示对应类别的概率，其中概率最大的即为模型所预测的类别，目标元祖表示为(t1,…,tn)，样本属于第i个类别，则ti的值为1，其他的则都为0。即，

O＝(o₁,...,o_n)

T＝(t₁,…,t_n),若样本属于第i类，则

对于一个样本的网络的输出，交叉熵误差定义为：

优选的，步骤b2中，截取肺结节数据的尺度为64×64×64。

优选的，步骤c11中，特征提取神经网络为深度残差网络。

优选的，特征提取神经网络由三个18层三维残差网络并列构成。

优选的，步骤c11中，特征提取神经网络使用inception系列神经网络或VGGNet系列神经网络，卷积核为为三维。

本发明的有益效果：

1.本发明从检测采用对三维输入直接进行候选结节的检测，这一方法使得候选检测更全面可靠，能提取到更丰富的肺结节空间特征，从而为肺结节的形态学特征分类带来有益效果。

2.本发明端到端的多尺度三维残差网络，这一网络对三维数据形成更丰富的表达，并通过动态路由算法整合特征信息获得分类的预测结果；除此之外，在训练是也不需要首先将多尺度的模型预先训练完成，再进行模型的集成，而仅仅只需要将结节裁剪后的图像输入到网络，即可对残差网络参数和模型堆叠的参数进行更新。

3.对于已经完成训练的模型，可以快速检测，实现批量CT检测，可以实现无人值守批量操作，且速度快速，速度可随设备扩展提升。节省了初级筛查的人力物力，解放医生工作集中于更高层次的诊断的处置方案设计，并可无人值守对未完全分析的积压性数据进行自动处理。

附图说明

图1为本发明的流程图；

图2为端到端的多尺度三维残差网络模型图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。

本发明包括以下步骤：

1.数据准备。该阶段主要完成数据从医院数据系统导入以及对待分类的肺结节进行标定。

2.数据预处理。该阶段对数据进行预处理，主要包括原始CT图像的预处理与结节区域的截取。

3.构建多尺度三维残差网络模型，并使用采集的数据和标定的结果对模型进行训练。

4.重复步骤3，构建并训练好多种形态学分类的模型。

5.使用步骤3，步骤4训练好的模型对检测任务自动检测出的肺结节进行分类，输出模型预测的肺结节形态学特征的信息。

步骤1)数据准备

深度神经网络方法需要大量的数据用于训练，因此首先需要准备好数据用于模型的训练。本发明所用数据为华西医院影像科肺部CT图像，由于涉及到多种肺结节的形态学的特征(毛刺征、分叶征、实性/半实性/磨玻璃结节、钙化/非钙化等)，因此对于每种形态学特征需要各采集数据1500例。本发明使用的方法是一种有监督的学习方法，因此在数据准备阶段需要对训练数据进行标定。我们对结节的标注工作采取半自动的方法：对于每一例CT图像，首先用我们的检测模型对肺结节进行一次自动检测，取得模型预测的结节，然后每一例CT都会由华西医院专家对模型检测的肺结节进行审核，然后对肺结节表现的影像特征进行交叉标定。对有争议的肺结节类型评级，本发明不采用该结果，以确保数据的准确性。最后每一例CT图像都包含着肺结节的空间位置、直径、以及标定的特征信息。

步骤2)数据预处理

不同仪器不同环境采集得到的CT图像在像素间隔，图像对比度方面有很大的不同。本步骤通过三维样条插值、数值归一化的手段预处理CT图像，来得到各方面一致的CT体数据。这使得后续分类步骤中的CT图像的空间信息和强度信息保持一致，并保证了后续机器学习步骤能提取到有用的特征，获得更好的效果。

对于每一例CT图像，我们从半自动标注结果中可以获得的肺结节的位置以及尺寸等信息，由位置和尺寸信息，我们可以计算出结节的中心点的像素坐标；然后，我们根据中心点的位置，直接从经过预处理的原始CT图像中截取出64*64*64像素的肺结节数据；对于超过与图像边界的数据，我们以0值来填充越界(截取区域的边界超出了CT图像的边界)的部分，以确保结节的中心就在截取图像数据的中心。对于标定的数据存在问题的CT图像(例如同一个标定的肺结节切片不连续等)，将进行重新标定。通过以上步骤，为此后网络的训练和测试做好了数据的准备。

步骤3)端到端多尺度残差网络模型的构建

本发明使用的肺结节形态学特征分类模型是基于何凯明2016年在CVPR大会上提出的深度残差网络结构。由于本发明只考虑三维CT图像，因此本发明中的残差网络的卷积神经网络结构包括三维卷积层，三维池化层。对于不同尺度的输入我们采取集成的方法，使得不同尺度下提取到的信息得道融合。网络的结构示意图如图2所示。具体来说多尺度的三维残差网络主要包含以下两个部分：

三维18层残差网络结构。本发明中深度特征提取所采用的三维卷积网络结构即深度残差网络，此网络结构提出了在传统卷积网络结构中加入捷径连接层以消除深度网络在学习过程中梯度回传容易消失的问题，使得网络在越深的情况下越能够学习到更深层的特征。由于本发明中输入的为三维图像，如果使用太深的网络结构将会使得模型过于庞大，将会耗费大量的硬件资源。因此本发明参考使用18层残差网络的一部分结构作为本发明的卷积网络结构。本发明将残差网络的二维卷积层，二维池化层替换为三维卷积层，三维池化层。由于保留了残差网络的捷径连接结构，网络具备很强的学习能力。考虑到一般肺结节的直径不小于32mm，而大多数肺结节直径集中在6mm至20mm之间，并且通过实验测试，我们最终选取了8*20*20、16*30*30、和26*40*40三种尺度来作为本发明的各个尺度的网络输入。

端到端的多尺度网络集成。本发明中提出用于肺结节形态学特征分类的多尺度三维残差网络是一种端到端的网络，即每个尺度的网络不需要进行单独的训练，然后才将这些尺度的网络模型进行集成；并且在集成时，也不需要设计好一组模型的权重，将各模型的输出结果以加权和进行整合取得最终结果。本发明中直接将多个尺度的网络的输出层的神经元并列，单独作为一个隐藏层，与最后的分类层(输出层)神经元进行线性连接，即在最后的多模型输出层再加一个全连接层。

最终，我们形成了两级的网络结构：在第一级，由三个18层三维残差网络并列构成，作为多尺度的特征提取器；第二级由上一层的输出层神经元与最终输出分类层的神经元的线性连接组成。在反向传播时，根据梯度信息，第一级结构的网络参数可以跟随着的第二级的参数的变化而进行更新。

步骤4)多尺度残差网络的训练

本发明基于步骤3设计的网络结构进行训练。网络的训练主要分为以下几个步骤：

网络输入。网络的训练数据为步骤1标定步骤2计算得到的肺结节中心点位置与肺结节的形态特征的标定结果。本发明中的网络是一种端到端的模型，因此模型只要得到输入数据就可以进行训练，因此输入的大小固定为64*64*64,单个网络在数据处理前，动态的随机裁剪到网络所需要的尺度大小，并且由于训练的需要，图像会经历三个维度的随机旋转、翻转等方法进行数据增广。实际上有三个尺度的子网络，其输入分别为8*20*20、16*30*30和26*40*40。

CrossEntropy分类学习误差。学习误差直接影响着模型的训练好坏。本发明考虑对最后模型堆叠后的结果采用一个交叉熵(Cross Entropy Loss)分类学习误差。设定模型最终的输出元祖为(o1,…,on)，其中n表示分类任务的类别数，o1,…,on分别表示对应类别的概率。其中概率最大的即为模型所预测的类别。目标元祖表示为(t1,…,tn)，样本属于第i个类别，则ti的值为1，其他的则都为0。即，

O＝(o₁,...,o_n)

T＝(t₁,…,t_n),若样本属于第i类，则

对于一个样本的网络的输出，交叉熵误差定义为：

网络训练。网络设置学习率为0.001，当在验证集的误差在20次迭代中都没有下降时，学习率就衰减10倍。卷积权值使用高斯分布初始化。一次训练批次设置为24，学习迭代次数为200。同时由于样本的不平衡，我们对样本少的类别进行过采样，使得各个类别都以平衡的数据进行网络的训练。网络学习针对每个批次更新一次参数。每一次迭代学习之后，模型判断肺结节检测结果的总误差大小，如果当前误差小于上一个迭代的误差，就保存当前模型，然后继续训练，直到达到最大迭代次数。

端到端的模型在梯度反向传播时，从最后的网络堆叠层，然后传到各个残差网络模块。首先当一个样本si＝(Xi,yi)经过三个尺度的残差网络后的输出为：

其中n为类别数、#∈(S,M,L)，分别对应三个对应尺度的自网络，然后所有子网络的输出神经元与最终输出层神经元进行一次全连接，最终输出层的第j(j＝1,..,n)个神经元的输出为

其中，

表示第#个的子网络的输出层第i个神经元与输出层的第j个神经元的连接权值，f(·)为softmax激活函数。按照以下规则进行更新

其中，

η为训练设置的学习率。残差网络的内部也按照如此规则进行。

本发明关注的问题为：如何利用计算机在CT图像中自动、高效、准确地检测肺结节。为解决上述技术问题，本发明提供了一种利用深度卷积神经网络检测CT肺结节的方法。该方法在获取候选肺结节时使用基于区域提议网络的目标检测方法，网络结构采用三维的残差网络作为特征提取，学习误差包括回归误差和分类误差。在对候选结节进行筛选时采用目前前沿的三维胶囊网络作为分类网络，网络的负样本使用区域提议网络假阳性样本。本发明充分发挥了深度学习方法的优势，并能在保证假阳性结节检出率更低的同时，保证对结节有较高的查全率。

实际使用时，由于肺结节在肺内部表现为小于或等于3cm的类圆形或不规则形的病灶，而在CT图像中肺结节的直径在5到50像素不等，对于尺度的差异，本方法将结节截取为多个尺度的图像，采用三维残差网络的模型结构来提取图像的深层特征，学习分类时的误差。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (7)

1.一种基于神经网络的肺结节形态学分类方法，其特征在于包括以下步骤：

a)数据准备：

a1、准备多个肺部CT图像，

a2、对肺部CT图像中的肺结节进行标定，

a3、确定肺结节的空间位置、直径、标定的特征信息；

b)数据预处理：

b1、通过肺结节的空间位置和直径计算肺结节的中心的像素坐标，

b2、根据肺结节中心的像素坐标从肺部CT图像中截取固定大小的肺结节数据，

b3、使用0值填充截取的CT图像中越界部分；

c)构建多尺度三维残差网络模型，使用采集的数据和标定的结果对模型进行训练：

c1、构件模型：

c11、建立特征提取神经网络，第一级神经网络包括三维卷积层、三维池化层，特征提取神经网络包括对应多个尺度的肺结节数据的子网络，

c12、建立连接层，连接层由上一层的输出层神经元与最终输出分类层的神经元的线形连接组成，

c2、模型训练：

c21、将步骤b3中的肺结节数据随机剪裁成多个尺度的肺结节数据，

c22、网络输入，将步骤c21得到的多个尺度的肺结节数据输入模型，

c23、使用交叉熵方法确定分类学习误差，

c3、网络训练，

c31、设置学习率为0.001，卷积权值使用高斯分布初始化，依次训练批次设置为24，学习迭代次数为200，

c32、每次迭代学习后，判断总误差大小，若总误差小于上一个迭代的误差，则保存当前模型，制造达到最大的迭代次数；

d)重复步骤c进而构建并训练多种形态学分布的模型；

e)使用步骤c或步骤d得到的模型对肺结节分类并输出模型预测的肺结节形态学特征信息；

其中，端到端的模型在梯度反向传播时，从最后的网络堆叠层，然后传到各个残差网络模块。首先当一个样本si＝(Xi,yi)经过三个尺度的残差网络后的输出为：

其中n为类别数、#∈(S,M,L)，分别对应三个对应尺度的自网络，然后所有子网络的输出神经元与最终输出层神经元进行一次全连接，最终输出层的第j(j＝1,..,n)个神经元的输出为

其中，

表示第#个的子网络的输出层第i个神经元与输出层的第j个神经元的连接权值，f(·)为softmax激活函数。

按照以下规则进行更新

其中，

η为训练设置的学习率，残差网络的内部也按照如此规则进行。

2.根据权利要求1所述的分类方法，其特征在于：步骤c21中肺结节数据为8×20×20、16×30×30、26×40×40中任一。

3.根据权利要求1所述的分类方法，其特征在于：步骤c23中，设定模型最终的输出元祖为(o1,…,on)，其中n表示分类任务的类别数，o1,…,on分别表示对应类别的概率，其中概率最大的即为模型所预测的类别，目标元祖表示为(t1,…,tn)，样本属于第i个类别，则ti的值为1，其他的则都为0，即

O＝(o₁,...,o_n)

T＝(t₁,…,t_n),若样本属于第i类，则

对于一个样本的网络的输出，交叉熵误差定义为：

4.根据权利要求2所述的分类方法，其特征在于：步骤b2中，截取肺结节数据的尺度为64×64×64。

5.根据权利要求2所述的分类方法，其特征在于：步骤c11中，特征提取神经网络为深度残差网络。

6.根据权利要求5所述的分类方法，其特征在于：特征提取神经网络由三个18层三维残差网络并列构成。

7.根据权利要求2所述的分类方法，其特征在于：步骤c11中，特征提取神经网络使用inception系列神经网络或VGGNet系列神经网络，卷积核为为三维。

Images