CN108830826B - 一种检测肺结节的系统及方法 - Google Patents

Abstract

本发明公开一种检测肺结节位的系统及方法，包括：图像预处理模块，用于对原始三维CT图像进行预处理，获取标准CT图像；三维RPN网络模型，用于从所述图像预处理模块输出的标准CT图像中检测出第一候选肺结节；三维胶囊网络模型，用于对所述三维RPN网络模型输出的第一候选肺结节进行假阳性肺结节筛查，获取肺结节检测结果。本发明提供的技术方案，能够在保证假阳性肺结节检出率更低的同时，保证对肺结节有较高的查全率；且检测方法简单、检测速度快。

Description

一种检测肺结节的系统及方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种检测肺结节的系统及方法。

背景技术

肺癌是世界上发病率和死亡率最高的恶性肿瘤。随着计算机断层扫描(CT)技术在医院普及使用，肺癌的死亡率减少了20％左右。所有肺癌都是由肺结节演变而来，肺癌和肺结核的早期影像学均表现为肺结节。目前，CT检测是肺癌早期筛查的关键步骤。然而CT筛查早期肺癌同样具有挑战性。要对肺小结节做出明确诊断，必须精细检查，三维作图，全方位分析，消耗大量的资源和时间，且肺结节的诊断主观性大。据《2017年中国卫生统计年鉴》显示，理论上每位影像诊断医师需要在5～10min内判别CT图像上肺部直径4～10mm的肺结节，每个肺结节包含77～1200个像素，仅占肺体积的0.00085％～0.013％。繁重的工作极易产生视觉疲劳，降低工作效率和诊断准确性。同时，人工诊断肺结节误、漏诊概率高。研究发现，影像诊断医师诊断肺结节的敏感性为51.0％～83.2％，假阳性率为每例0.33～1.39。因此，通过机器学习的方法自动从CT图像中检测出肺结节是一个非常有意义的辅助医疗方式。肺结节的计算机辅助检测(CAD)将大幅度提高CT 图像的读片速度，减少医生的负担以及人为出错率。

肺结节的自动检测系统已经在最近几年被广泛研究，其主要的检测框架包括：(1)候选肺结节的检测；(2)假阳性样本筛查。第一步是为了保证肺结节的查全率(Sensitivity)。在保证检测查全率的情况下，检测方法不可避免地会引入大量的假阳性样本。因此在第二阶段需要对检测的候选肺结节进行排查，筛除假阳性样本。因此，一个完善的肺结节检测系统需要效果同时优越的检测模型和假阳性筛查模型。

现有的肺结节自动检测方法主要是基于传统机器学习的方法。这类方法的主要缺点是肺结节的检测效果一般，而且部分方法操作复杂。例如，现有的基于人工特征采集的方法需要大量的人力物力对肺部特征进行采集，耗时耗力。而传统的基于机器学习的方法只能提取浅层特征，在复杂的三维CT图像上效果一般。目前存在一些基于卷积神经网络的肺结节检测方法，但是该类方法大多数都是将三维CT肺部图像当成多个二维切片，首先对这些二维切片进行肺结节检测，然后对多个二维切片的检测结果进行肺结节融合，筛选获得最终的候选肺结节。这种方法操作复杂，而且在对不同切片的结果进行融合的时候也会产生一些误差，导致错误候选肺结节的产生。

发明内容

本发明旨在提供一种检测肺结节的系统及方法，能够在保证假阳性肺结节检出率更低的同时，保证对肺结节有较高的查全率；且检测方法简单、检测速度快。

为达到上述目的，本发明采用的技术方案如下：

一种检测肺结节的系统，包括：图像预处理模块，用于对原始三维CT图像进行预处理，获取标准CT图像；三维RPN网络模型，用于从所述图像预处理模块输出的标准CT图像中检测出第一候选肺结节；三维胶囊网络模型，用于对所述三维RPN网络模型输出的第一候选肺结节进行假阳性肺结节筛查，获取肺结节检测结果。

进一步地，还包括：筛选模块，用于采用NMS函数对所述三维 RPN网络模型输出的第一候选肺结节进行筛选，获取第二候选肺结节；所述三维胶囊网络模型用于对所述筛选模块输出的第二候选肺结节进行假阳性肺结节筛查，获取肺结节检测结果。

优选地，所述肺结节检测结果包括：肺结节的中心点三维坐标，肺结节的直径大小。

优选地，所述标准CT图像为图像的空间信息和强度信息均达到预定值的三维CT图像。

优选地，所述图像预处理模块采用三维线性插值或者数值归一化算法对原始三维CT图像进行预处理，获取标准CT图像。

进一步地，所述三维RPN网络模型为三维18层残差神经网络；所述三维18层残差神经网络包括：三维卷积层，三维池化层，捷径连接层；所述三维卷积层输出的最后一层的特征映射大小为32×32 ×32；所述三维18层残差神经网络的锚点为球体，所述锚点的尺度用于描述肺结节的直径；所述锚点的尺度包括：6mm，20mm，36mm；

还包括：三维18层残差神经网络训练模块，用于对所述三维18 层残差神经网络进行训练；所述对所述三维18层残差神经网络进行训练包括：从预设的标准CT图像中选取第一正样本和第一负样本；设置所述三维18层残差神经网络的输入参数；设置所述三维18层残差神经网络的分类学习误差和回归学习误差，所述分类学习误差用于判断每一个所述锚点是否为肺结节，所述回归学习误差用于对所述分类学习误差判断出的肺结节的信息进行回归学习；根据所述第一正样本和第一负样本、所述所述三维18层残差神经网络的输入参数、所述分类学习误差和回归学习误差，采用BP反馈传播算法，对所述三维18层残差神经网络进行训练。

优选地，所述第一正样本为在所述预设的标准CT图像中预先标定的肺结节，所述预先标定的肺结节包括：标定的肺结节的中心点三维坐标，标定的肺结节的直径大小；所述第一负样本的获取方法为：从所述预设的标准CT图像中提取除所述预先标定的肺结节以外的坐标位置，为第一坐标位置；采用所述三维18层残差神经网络对所述第一坐标位置进行检测，获取所述第一坐标位置中难以与所述预先标定的肺结节区分的第二坐标位置；从所述第二坐标位置中选取预定个数的坐标位置作为所述第一负样本；

所述三维18层残差神经网络的学习率为0.01，一次训练批次为 24，学习迭代次数为100；所述预设的标准CT图像的大小为128×128 ×128；

所述分类学习误差为Cross Entropy分类学习误差，所述回归学习误差为L1-norm回归学习误差；对所述三维18层残差神经网络的每一个锚点均设置一个所述CrossEntropy分类学习误差和一个所述 L1-norm回归学习误差。

进一步地，还包括：三维胶囊网络模型训练模块，用于对所述三维胶囊网络模型进行训练；所述对所述三维胶囊网络模型进行训练包括：从所述预设的标准CT图像中选取第二正样本；从所述三维RPN 网络模型输出的第一候选肺结节中选取假阳性样本，并从所述假阳性样本中选取第二负样本；设置所述三维胶囊网络模型的输入参数；设置所述三维胶囊网络模型的训练误差；根据所述第二正样本、所述第二负样本、所述三维胶囊网络模型的输入参数、所述训练误差，对所述三维胶囊网络模型进行训练。

一种检测肺结节的方法，包括：获取肺部三维CT图像；对所述肺部三维CT图像进行预处理，获取标准CT图像；将所述标准CT图像输入到所述三维RPN网络模型中，获取第一候选肺结节；将所述第一候选肺结节输入到所述三维胶囊网络模型中，获取肺结节检测结果。

进一步地，还包括：采用NMS函数对所述第一候选肺结节进行筛选，获取第二候选肺结节；将所述第二候选肺结节输入到所述三维胶囊网络模型中，获取肺结节检测结果。

本发明实施例提供的检测肺结节的系统及方法，与现有技术相比，只需要两个神经网络模型，检测步骤便捷。且三维RPN网络模型和三维胶囊网络模型都能够提取三维图像的深层特征，尤其适合处理基于三维CT图像的肺结节检测。本发明直接将一个标准的三维CT图像作为一个整体依次输入上述两个网络模型，获得肺结节的位置信息，与现有技术中需要单独处理三维CT图像的每一个二维CT切片、再将上述二维CT切片进行整合的技术方案相比，大大简化了检测步骤，提高了检测速度。此外，本发明首次提出使用三维胶囊网络模型用于肺结节的检测，提高了肺结节的检测效果。本发明中的三维RPN网络模型能够保证假阳性肺结节检出率更低，而三维胶囊网络模型能够保证对肺结节有较高的查全率。

附图说明

图1为本发明一个实施例的结构示意图；

图2为本发明另一个实施例的结构示意图；

图3为本发明实施例的方法流程图；

图4为本发明实施例中三维RPN网络模型的结构示意图；

图5为本发明实施例中三维胶囊网络模型的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。

本发明所关注的技术问题为：如何利用计算机在CT图像中自动、高效、准确地检测肺结节。为解决上述技术问题，本发明提供了一种利用深度卷积神经网络检测CT肺结节的系统和方法。该系统和方法在获取候选肺结节时使用基于区域提议网络(Region ProposalNetwork，RPN)的目标检测方法，网络结构采用三维的残差网络作为特征提取，学习误差包括回归误差和分类误差。在对候选肺结节进行筛选时采用目前前沿的三维胶囊网络作为分类网络，网络的负样本使用区域提议网络(RPN)输出的假阳性样本。本发明充分发挥了深度学习方法的优势，并能在保证假阳性结节检出率更低的同时，保证对肺结节有较高的查全率。本系统的具体建立步骤如下：

(1)数据准备。该阶段主要完成数据从医院数据系统导入以及数据的标定。

(2)数据预处理。该阶段对数据进行预处理，主要包括对标定的数据信息进行融合计算出肺结节的中心点位置和直径大小。

(3)三维RPN网络模型的构建、训练。使用上述标定的数据信息训练三维RPN网络。

(4)三维胶囊网络模型的构建、训练。使用三维RPN网络模型难以区分的假阳性肺结节作为负样本用于本模型的训练。

系统建立后，使用步骤(3)、步骤(4)训练好的两个模型对输入的标准的三维CT图像进行肺结节检测，输出肺结节检测结果，该肺结节检测结果包括：肺结节的中心点三维坐标以及肺结节的直径大小。

以下对上述四个步骤进行详细描述：

1)数据准备：

深度神经网络需要大量的数据用于训练，因此，首先需要准备好数据用于模型的训练。本发明所用数据为华西医院影像科肺部CT图像，采集数据1500例。本发明使用的方法是一种有监督的学习方法，因此在数据准备阶段需要对训练数据进行标定。对于每一例CT图像，都由多名华西医院专家在专门的数据标定系统中交叉进行标定。对于有争议的肺结节位置，本发明不采用该结果。标定的工作在每一个 CT图像切片上完成，每个肺结节位置由一个矩形框标定，矩形框保证在最小的情况下包住肺结节。每个标定的矩形框保存该矩形框的中心点距离以及该矩形框的长宽大小。

2)数据预处理：

不同仪器在不同环境下采集得到的CT图像在图像像素间隔、图像对比度方面有很大的不同。本步骤通过三维线性插值、数值归一化算法等手段预处理CT图像，来得到各方面一致的标准CT图像，该标准CT图像为图像的空间信息和强度信息均达到预定值的三维CT图像。这使得后续的检测步骤中CT图像的空间信息和强度信息保持一致，并保证了后续机器学习步骤能提取到有用的特征，获得更好的学习效果。

对于每一例CT图像，由于肺结节的位置信息由每个切片标定，所以需要将标定的每个切片上的肺结节位置信息融合计算出三维肺结节的中心点坐标与直径大小。单张切片上的矩形长宽是已经标定过的，因此，先计算单张切片中肺结节的横截面的直径。由于本发明中标定的标准是让矩形框尽量包住肺结节，因此考虑使用矩形框的长宽中的较大值作为当前切片的横截面直径，整个三维肺结节的直径为所有单张CT切片上的直径最大值。肺结节的中心点定义为相邻切片序列中，排在中间位置的切片上的中心点像素坐标。对于标定的数据存在问题的CT图像(例如，同一个标定的肺结节切片不连续等)，将进行重新标定。

3)三维RPN网络模型的构建：

本发明使用的候选肺结节检测模型是Faster R-CNN中提出的区域提议网络RPN，该方法是目前最好的检测模型之一。由于本发明只考虑三维CT图像，因此，本发明中RPN网络中的卷积神经网络结构包括三维卷积层，三维池化层。网络的结构示意图如图4所示。具体来说，三维RPN网络主要包含以下两个部分：

a)三维18层残差神经网络结构。本发明中采用的三维卷积网络结构参考何凯明2016年在CVPR大会上提出的深度残差网络结构。该网络结构提出了在传统卷积网络结构中加入捷径连接层以消除深度网络在学习过程中梯度回传容易消失的问题，使得网络在越深的情况下越能够学习到更深层的特征。由于本发明中输入的为三维CT图像，如果使用太深的网络结构将会使得模型过于庞大，从而将会耗费大量的硬件资源。因此本发明参考使用18层残差网络的一部分结构作为本发明的卷积网络结构。本发明将残差网络的二维卷积层，二维池化层替换为三维卷积层，三维池化层。由于保留了上述深度残差网络的捷径连接层结构，本网络具备很强的学习能力。

b)锚点的设置。锚点是RPN网络的核心参数。锚点的合理设置直接影响着本发明中候选肺结节的检测好坏。锚点的设置主要是为了使RPN网络的回归学习误差便于训练、加快模型的学习收敛速度。正常情况下，一个锚点会被设置为矩形或者长方体，而本发明中由于一个肺结节一般近似为球体。因此锚点只需一个直径描述。锚点的设置主要因素一般包括：尺度、长宽比率和个数。但由于本发明中锚点默认为球体，因此长宽比率在本发明中不做考虑。考虑到一般肺结节的直径不小于32mm，而大多数肺结节直径集中在6mm至20mm之间，本发明设置锚点尺度为6mm，20mm，36mm。上述三维卷积层输出的最后一层的特征映射大小为32×32×32，通道数为64，因此一个输入三维图像的锚点个数为3×64×32×32×32个。

具体的三维RPN网络结构如下：

①网络输入为三维CT图像，从图像中按照标注坐标位置截取128 ×128×128大小的立方块。网络首先经过一个共计(1×24)个卷积核，卷积核大小为(5,5,5)，卷积步长为1的卷积层。

②获得的24个特征映射经过一个由卷积层，BatchNorm层，ReLU 激活函数，卷积层，BatchNorm层和捷径连接(shortcut)层组成的残差块，其中的两个卷积层分别为一个共计(24×32)个卷积核，卷积核大小为(3,3,3)，卷积步长为2的卷积层和一个共计(32×32)个卷积核，卷积核大小为(3,3,3)，卷积步长为1的卷积层。

③获得的32个大小为64×64×64的三维特征映射层经过一个与②中结构类似的残差块，其中两个卷积层分别为一个共计(32×64) 个卷积核，卷积核大小为(3,3,3)，卷积步长为2的卷积层和一个共计(64×64)个卷积核，卷积核大小为(3,3,3)，卷积步长为1 的卷积层。

④获得的64个大小为(32×32×32)的三维特征映射层经过一个与②中类似的残差块，其中两个卷积层分别为一个共计(64×64) 个卷积核，卷积核大小为(3,3,3)，卷积步长为2的卷积层和一个共计(64×64)个卷积核，卷积核大小为(3,3,3)卷积步长为1的卷积层。

⑤获得64个大小为(16×16×16)的三维特征映射层经过一个与②中类似的残差块，其中两个卷积层分别为一个共计(64×64)个卷积核，卷积核大小为(3,3,3)，卷积步长为2的卷积层和一个共计(64×64)个卷积核，卷积核大小为(3,3,3)，卷积步长为1的卷积层。

⑥获得64个大小为(8×8×8)的三维特征映射层经过一个共计 (64×64)个反卷积核，反卷积核为(3,3,3)，反卷积步长为2的反卷积层。

⑦将④中获得和⑥中获得的三维特征映射层经过一个共计(64 ×64)个反卷积核，反卷积核为(3,3,3)，反卷积步长为2的反卷积层。

⑧将⑤中获得和⑦中获得的三维特征映射层经过一个共计(64 ×15)个卷积核，卷积核为(3,3,3)，卷积步长为2的卷积层。

⑨将获得的特征映射对应到所有的锚点，计算训练误差用于训练。

4)三维RPN网络模型的训练：

本发明基于步骤3)设计的网络结构进行训练。网络的训练主要分为以下几个步骤：

a)难分样本挖掘：网络训练使用的正样本为标定的肺结节，负样本为除开这些标定位置的其他与标定位置不重叠的坐标位置。由于在一个CT图像上，一般所有肺结节所占的总体积非常小，所以按照该方法将会产生大量的负样本，正负样本严重不平衡，而且该方式采用的负样本很容易与正样本分开。所以本发明考虑使用在线的负样本筛选机制。通过先设置一个负样本总量N，然后使用三维RPN网络模型判断哪些负样本比较难以与正样本区分，然后从中选取n个作为负样本集进行训练，本发明设置N＝600，n＝2。

b)网络输入：网络的训练数据为步骤1)中标定的肺结节和步骤2)中计算得到的肺结节中心点位置与肺结节直径。网络输入的CT 图像原则上可以为任意大小，然而为了减小硬件设备的需求，本发明训练RPN网络阶段将CT图像固定为128×128×128的大小。CT图像在输入到网络之前，图像将先经过裁剪，翻转，平移，缩放等方法进行数据增广，然后每一例CT图像都输入到RPN网络中得到64个32 ×32×32的特征映射。

c)Cross Entropy分类学习误差和L1-norm回归学习误差。学习误差直接影响着模型的训练好坏。本发明考虑对设置的每一个锚点采用一个Cross Entropy分类学习误差和一个L1-norm回归学习误差。设定一个计算所得的目标信息为元组(g_x,g_y,g_z,g_d)以及一个锚点的位置信息为元组(a_x,a_y,a_z,a_d)。其中下标x,y,z分别表示三维CT图像的三个维度，下标d代表直径的大小，单位为mm。体积的交比并(IoU) 被用来衡量一个锚点位置是否为肺结节。如果一个锚点位置坐标和任何一个目标的IoU大于阈值0.5，则认为是正样本，如果小于阈值0.02 则作为负样本，其他的锚点训练时不提供学习误差。设定目标为肺结节的概率为p＝1，目标为肺部背景的概率为p＝0。设定锚点的预测概率为q，所以,分类学习误差为:

L_cls＝plog(q)+(1-p)log(1-q)

目标的回归目标定义为:

定义回归目标为上述形式是为了让回归误差更容易收敛。设定对应的预测结果为(m'_x,m'_y,m'_z,m'_d)。回归学习误差定义为:

其中,L1-norm误差函数为:

网络整体的学习误差为:

L_total＝L_cls+L_reg

d)网络训练：网络设置学习率为0.01，学习率每经过20个学习迭代之后衰减十倍。卷积权值使用高斯分布初始化。一次训练批次设置为24，学习迭代次数为100。网络训练采用BP反馈传播算法，同时使用分类误差区分当前锚点是肺结节还是肺部背景，使用回归误差对肺结节的中心坐标和直径进行回归学习。网络学习针对每个批次更新一次参数。每一次迭代学习之后，模型判断肺结节检测结果的总误差大小，如果当前误差小于上一个迭代的误差，就保存当前模型，然后继续训练，直到达到最大迭代次数。

5)三维胶囊网络模型的构建：

本发明使用的三维胶囊网络参考的是深度学习的奠基人G. Hinton教授2017年在NIPS大会上提出的胶囊网络。三维胶囊网络主要将网络中的二维卷积层，二维池化层替换为三维卷积层，三维池化层。人类视觉通过使用仔细确定的固定点序列来忽略不相关的细节，以确保只有极小部分的光学阵列以最高的分辨率被处理。Hinton教授假设多层视觉系统在每个固定点上都会创建一个类似解析树这样的东西，并且单一固定解析树在多个固定点中如何协调的问题会被忽略掉。

解析树通常通过动态分配内存来快速构建，胶囊网络对于单个固定点，从固定的多层神经网络中构建出一个解析树，每个层被分成许多神经元组，解析树中的每个节点就对应着一个活动的胶囊。通过一个迭代路由过程，每个活动胶囊将在更高的层中选择一个胶囊作为其在树中的父结点。对于更高层次的视觉系统，这样的迭代过程就很有潜力解决一个物体的部分如何层层组合成整体的问题。

一个活动的胶囊内的神经元活动表示了图像中出现的特定实体的各种属性。这些属性可以包括许多不同类型的实例化参数，例如姿态(位置，大小，方向)，变形，速度，反照率，色相，纹理等。一个非常特殊的属性是图像中某个类别的实例的存在。胶囊的输出是一个向量，这一设定使得用强大的动态路由机制来确保胶囊的输出被发送到上述层中的适当的父节点成为可能。最初，输出经过耦合总和为 1的系数缩小后，路由到所有可能的父节点。

本发明构建的胶囊网络结构如图3所示。胶囊网络的输入大小为一个32×32×32的肺部立方块，其中肺结节或者负样本都位于立方块中心位置，为了保证肺部血管组织对假阳性样本筛查造成影响，将非目标位置统一填充为170。网络首先经过三层普通卷积层(图5中未标明)，将立方块映射为4×4×4的小的特征映射。然后经过 Capsule结构，输出为两个Capsule结构。

具体的三维胶囊网络搭建步骤如下：

①网络输入三维CT图像，根据候选肺结节阶段提供的结节位置，截取大小为32×32×32的立方块，直接输入到一个共计(1×128) 个卷积核，卷积核大小为(5,5,5)，卷积步长为2的三维卷积层。

②获得128个大小为(14×14×14)的三维特征映射层经过一个共计(128×256)个卷积核，卷积核大小为(5,5,5)，卷积步长为1的卷积层。

③获得256个大小为(10,10,10)的三维特征映射层经过一个共计(256×32)个卷积核，卷积大小为(3,3,3)，卷积步长为2，胶囊向量长度为8的卷积胶囊层。

④获得的向量长度为8的共计(32×4×4×4)个胶囊单元经过一个权值大小为(8×16)，总计(32×4×4×4×2)的全连接胶囊层。

⑤网络输出向量长度为16的2个胶囊层经过边缘误差计算训练误差用于梯度下降法训练网络。

6)三维胶囊网络模型的训练：

三维胶囊网络的训练主要包括以下几个主要步骤：

a)难分样本挖掘：网络训练使用的正样本为标定的肺结节，该正样本与训练RPN网络时所采用的正样本相同，负样本为RPN网络监测输出的假阳性样本坐标位置。因为候选肺结节的检测需要保证查全率，因此将会产生大量的负样本，正负样本严重不平衡，本发明在训练三维胶囊网络的时候同样使用难分样本挖掘技术。不同于RPN网络负样本在一个训练批次上在线选取，该步骤下考虑设置n固定为1，初始设置N＝10。每经过一次迭代，N增加10，N的最大值为400。即第40次迭代之后N固定为400。

b)网络输入：对真阳性结节样本进行扩展可以采用随机对原样本的三维图像块作若干次的平移、缩放和水平旋转操作，得到若干个新的三维图像块，即新的真阳性结节图像块扩充训练数据。假阳性样本采用检测模型难以区分的训练集上的假阳性样本以经过难分样本挖掘技术筛选后作为负样本。训练阶段将CT图像固定为32×32×32 的大小。CT图像在输入到网络之前，图像同样经过裁剪，翻转，平移，缩放等方法进行数据增广。

c)网络前向计算：与传统网络的主要区别是一个胶囊单元由一组向量组成。胶囊输出向量的模长用来表示一个胶囊所表征的实体在输入中出现的概率。因此胶囊网络采用一个非线性函数对向量进行“压缩”，短向量被压缩到几乎为零，长向量也被压缩到1以下长度。判别学习中充分利用这个非线性函数。函数数学公式如下：

其中，V_j是胶囊j的输出向量，s_j是它的全部输入。除了第一层胶囊，胶囊s_j的全部输入是对预测向量

的加权求和。这些预测向量都是由低一层的胶囊产生，通过胶囊的输出u_i和一个权重矩阵W_ij相乘得来。

其中，c_ij是由迭代的动态路径过程决定的耦合系数。胶囊i和其上一层中所有胶囊的耦合系数的和为1，初始b_ij设置为0。计算公式为：

d)动态路由算法：动态路由的思路是通过测量每个高一层胶囊 j的当前输出v_j和低一层胶囊i的预测值u_ij之间的一致性。这个一致性可被看做最大似然值，并在计算出所有将胶囊i连接到更高层胶囊得到的新耦合值前，加到初始逻辑值b_ij上，公式如下：

e)训练误差：胶囊网络的实例化向量的模长用来表示胶囊要表征的实体是否存在。所以当且仅当图片里出现属于类别k的数字时，胶囊网络希望类别k的最高层胶囊的实例化向量模长很大。为了允许一张图里有多个数字，胶囊网络对每一个表征数字k的胶囊分别给出单独的边缘损失函数(margin loss):

L_c＝T_cmax(0,m⁺-||v_c||)²+λ(1-T_c)max(0,||v_c||-m^-)²

上述系统建立后，使用训练得到的RPN网络模型进行候选肺结节预测，使用训练得到的三维胶囊网络模型筛选样本的假阳性结节。肺结节的检测具体步骤为：首先输入一例三维CT图像，对图像进行预处理，准备下一阶段直接输入到RPN网络模型中。数据预处理完后，将CT图像输入到RPN网络中获得所有的候选肺结节。对于候选肺结节使用NMS函数对候选肺结节进行筛选，防止相同位置候选肺结节的出现。然后通过三维胶囊网络对候选肺结节进行区分真假阳性结节，记录真阳性结节的位置坐标，从而得到每个CT图像中肺结节检测结果。

本发明实施例提供的检测肺结节的系统及方法，采用三维RPN网络模型对标准的三维CT图像直接进行候选肺结节检测的方法，使得获取的候选肺结节更加全面可靠，降低了这一阶段产生的假阳性样本和假阴性样本，为后续的假阳性肺结节筛查提供了更好的数据准备；本发明结合了三维候选肺结节检测和三维假阳性肺结节筛查两个步骤，且该两个步骤中均采用三维图像输入，保证了CT图像中信息的完备，与现有的采用二维CT切片进行整合的方法相比，检测结果更加准确。本发明首次提出使用三维胶囊网络模型用于肺结节的检测，这一网络能够对三维数据形成更加丰富的表达，并通过动态路由算法整合信息预测结果，进一步提升了检测结果的准确性。对于已经完成训练的三维RPN网络模型和三维胶囊网络模型，可以实现对输入的标准三维CT图像进行快速、批量的检测，大大节省了人力物力，提高医疗效率。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种检测肺结节的系统，其特征在于，包括：

图像预处理模块，用于对原始三维CT图像进行预处理，获取标准CT图像；

三维RPN网络模型，用于从所述图像预处理模块输出的标准CT图像中检测出第一候选肺结节；

三维胶囊网络模型，用于对所述三维RPN网络模型输出的第一候选肺结节进行假阳性肺结节筛查，获取肺结节检测结果；

筛选模块，用于采用NMS算法对所述三维RPN网络模型输出的第一候选肺结节进行筛选，获取第二候选肺结节；所述三维胶囊网络模型用于对所述筛选模块输出的第二候选肺结节进行假阳性肺结节筛查，获取肺结节检测结果；

所述三维RPN网络模型为三维18层残差神经网络；所述三维18层残差神经网络包括：三维卷积层，三维池化层，捷径连接层；所述三维卷积层输出的最后一层的特征映射大小为32×32×32；所述三维18层残差神经网络的锚点为球体，所述锚点的尺度用于描述肺结节的直径；所述锚点的尺度包括：6mm，20mm，36mm；

三维18层残差神经网络训练模块，用于对所述三维18层残差神经网络进行训练；所述对所述三维18层残差神经网络进行训练包括：从预设的标准CT图像中选取第一正样本和第一负样本；设置所述三维18层残差神经网络的输入参数；设置所述三维18层残差神经网络的分类学习误差和回归学习误差，所述分类学习误差用于判断每一个所述锚点是否为肺结节，所述回归学习误差用于对所述分类学习误差判断出的肺结节的信息进行回归学习；根据所述第一正样本和第一负样本、所述三维18层残差神经网络的输入参数、所述分类学习误差和回归学习误差，采用BP反馈传播算法，对所述三维18层残差神经网络进行训练；

三维RPN网络模型的训练分为以下几个步骤：

a)难分样本挖掘：网络训练使用的第一正样本为标定的肺结节，第一负样本为除开这些标定位置的其他与标定位置不重叠的坐标位置,使用在线的负样本筛选机制:通过先设置一个第一负样本总量N，然后使用三维RPN网络模型判断哪些第一负样本不能与第一正样本区分，然后从中选取n个作为负样本集进行训练，设置N＝600，n＝2；

b)网络输入：网络的训练数据为标定的肺结节和计算得到的肺结节中心点位置与肺结节直径；训练三维RPN网络阶段将标准CT图像固定为128×128×128的大小；标准CT图像在输入到网络之前，图像将先经过裁剪，翻转，平移，缩放进行数据增广，然后每一例标准CT图像都输入到三维RPN网络中得到64个32×32×32的特征映射；

c)Cross Entropy分类学习误差和L1-norm回归学习误差：对设置的每一个锚点采用一个Cross Entropy分类学习误差和一个L1-norm回归学习误差；设定一个计算所得的目标信息为元组(g_x,g_y,g_z,g_d)以及一个锚点的位置信息为元组(a_x,a_y,a_z,a_d)，其中下标x,y,z分别表示三维CT图像的三个维度，下标d代表直径的大小，单位为mm,体积的交并比被用来衡量一个锚点位置是否为肺结节,如果一个锚点位置坐标和任何一个目标的交并比大于阈值0.5，则认为是正样本，如果小于阈值0.02则作为负样本，其他的锚点训练时不提供学习误差；设定目标为肺结节的概率为p＝1，目标为肺部背景的概率为p＝0；设定锚点的预测概率为q，分类学习误差为:

L_cls＝p log(q)+(1-p)log(1-q)

目标的回归目标定义为:

对应的预测结果为(m'_x,m'_y,m'_z,m'_d)；回归学习误差定义为:

其中,L1-norm误差函数为:

网络整体的学习误差为:

L_total＝L_cls+L_reg；

d)网络训练：网络设置学习率为0.01，学习率每经过20个学习迭代之后衰减十倍；卷积权值使用高斯分布初始化；一次训练批次设置为24，学习迭代次数为100；网络训练采用BP反馈传播算法，同时使用分类误差区分当前锚点是肺结节还是肺部背景，使用回归误差对肺结节的中心坐标和直径进行回归学习；网络学习针对每个批次更新一次参数，每一次迭代学习之后，模型判断肺结节检测结果的总误差大小，如果当前误差小于上一个迭代的误差，就保存当前模型，然后继续训练，直到达到最大迭代次数。

2.根据权利要求1所述的检测肺结节的系统，其特征在于，所述肺结节检测结果包括：肺结节的中心点三维坐标，肺结节的直径大小。

3.根据权利要求2所述的检测肺结节的系统，其特征在于，所述标准CT图像为图像的空间信息和强度信息均达到预定值的三维CT图像。

4.根据权利要求1所述的检测肺结节的系统，其特征在于，所述图像预处理模块采用三维线性插值或者数值归一化算法对原始三维CT图像进行预处理，获取标准CT图像。

5.根据权利要求1所述的检测肺结节的系统，其特征在于，所述第一正样本为在所述预设的标准CT图像中预先标定的肺结节，所述预先标定的肺结节包括：标定的肺结节的中心点三维坐标，标定的肺结节的直径大小；所述第一负样本的获取方法为：从所述预设的标准CT图像中提取除所述预先标定的肺结节以外的坐标位置，为第一坐标位置；采用所述三维18层残差神经网络对所述第一坐标位置进行检测，获取所述第一坐标位置中不能与所述预先标定的肺结节区分的第二坐标位置；从所述第二坐标位置中选取预定个数的坐标位置作为所述第一负样本；

所述预设的标准CT图像的大小为128×128×128。

6.根据权利要求5所述的检测肺结节的系统，其特征在于，还包括：三维胶囊网络模型训练模块，用于对所述三维胶囊网络模型进行训练；

所述对所述三维胶囊网络模型进行训练包括：从所述预设的标准CT图像中选取第二正样本；从所述三维RPN网络模型输出的第一候选肺结节中选取假阳性样本，并从所述假阳性样本中选取第二负样本；设置所述三维胶囊网络模型的输入参数；设置所述三维胶囊网络模型的训练误差；根据所述第二正样本、所述第二负样本、所述三维胶囊网络模型的输入参数、所述训练误差，对所述三维胶囊网络模型进行训练。

7.使用如权利要求1至6任意一项所述的检测肺结节的系统检测肺结节的方法，其特征在于，包括：

获取肺部三维CT图像；

对所述肺部三维CT图像进行预处理，获取标准CT图像；

将所述标准CT图像输入到所述三维RPN网络模型中，获取第一候选肺结节；

将所述第一候选肺结节输入到所述三维胶囊网络模型中，获取肺结节检测结果。

8.根据权利要求7所述的检测肺结节的方法，其特征在于，还包括：

采用NMS算法对所述第一候选肺结节进行筛选，获取第二候选肺结节；将所述第二候选肺结节输入到所述三维胶囊网络模型中，获取肺结节检测结果。

Images