CN111723817A - 一种肺结节辅助检测方法 - Google Patents

Abstract

本发明涉及一种肺结节辅助检测方法，主要步骤包括S100获取数据集，该数据集包括N个患者的胸部扫描CT图像，每个患者有一系列胸部扫描CT图像；S200建立多尺度辅助检测模型，该模型由三个空洞率不同的U‑net网络和一个VGG神经网络组成，采用S100的数据，利用相关多任务联合损失函数对多尺度辅助检测模型的参数进行训练和优化；S300将待预测患者的一系列CT图像输入优化后的多尺度辅助检测模型，输出待预测患者的检测结果、分割结果和分类结果。本方法在肺结节多尺度统一表征的基础上，分析肺结节辅助检测多任务之间的“强相关”作用关系，实现多任务联合训练与优化，对肺结节辅助检测的敏感度和准确率的整体优化。

Description

一种肺结节辅助检测方法

技术领域

本发明涉及肺结节辅助检测方法，尤其涉及一种基于多尺度的检测、分类、分割多任务协同的肺结节辅助检测方法。

背景技术

肺结节筛查用于肺癌早期防控的形势依然严峻。患肺癌人数多，发病率高，医疗花费大。深度学习技术应用于医学影像以来，在肺癌防控强烈需求驱动下，肺结节计算机辅助筛查技术表现出深度学习、数据驱动、特征自学习、处理端到端等新特征。围绕肺结节检测、分割、分类、属性特征学习，设计肺结节辅助诊断构成为肺结节筛查技术的发展重点，涌现出一系列适用于医学影像分析的新型神经网络结构。深度学习人工智能技术辅助肺结节筛查为肺癌防控工作带来了新机遇。辅助筛查有助于节省大量医疗经费。据我国医院协会信息管理专业委员会的数据预测，在癌症方面，智能医疗技术可为我国节省诊疗与用药支出353亿美元，其中节省医保和民政救济支出152亿美元。肺结节辅助筛查有助于提升筛查效率和质量，改善供需矛盾。因此，无论是过去的发展期，还是现在的成熟期，肺结节辅助诊断推荐依然是一门热门的研究内容。

现有的肺结节辅助诊断系统的诊断流程通常是肺结节检测、肺结节分割、肺结节属性提取以及分类，对于每一个任务都通过一个网络来进行处理，但是这样子的处理却忽略了每一个不同任务的内在联系。另一方面，每一个任务对应着一个网络，会导致肺结节辅助检测步骤较多，任何一环出现了问题都会导致最终的误差，误差在每个任务之间进行传递使得最终结果出现严重偏差，导致肺结节辅助检测的稳定性较差。

肺结节辅助诊断系统的关键是肺结节诊断的准确性和稳定性。但现有的系统主要依据不同的任务需求进行单一建模，并将单一任务结果整合形成一套串行的肺结节诊断过程，这样的过程是繁琐的，没有考虑到检测、分类和分割三个任务在数据上共享特征和相互增强特性。

发明内容

针对现有技术存在的上述问题，本发明的要解决的技术问题是：现有单一尺度、单一任务的肺结节检测、分类、分割网络的冗余性以及效率低的问题。

为解决上述技术问题，本发明采用如下技术方案：一种肺结节辅助检测方法，主要包括如下步骤：

S100:获取数据集，该数据集包括N个患者的胸部扫描CT图像，每个患者有一系列胸部扫描CT图像；

所述数据集中的每个CT图像由至少1位经验丰富的放射科医生为其标注结节信息，此结节信息包括每个结节勾画的轮廓信息、结节良恶性以及结节的各属性信息，并将结节信息保存在XML文件中；

同时为每张胸部扫描CT图像打上标签，标签的种类为0或1；

S200:建立多尺度辅助检测模型，该模型由三个空洞率不同的U-net网络和一个VGG神经网络组成，三个U-net网络并列设置，且三个U-net网络的中间一层共同连接VGG神经网络的输入层；

将S100每个患者的一系胸部扫描CT图像分别输入三个U-net网络的输入层，利用相关多任务联合损失函数对多尺度辅助检测模型的参数进行训练和优化；

S300:将待预测患者的一系列CT图像输入优化后的多尺度辅助检测模型，输出待预测患者的检测结果、分割结果和分类结果。

作为改进，所述S200中的参数训练和参数优化方法为：

设计相关多任务联合损失函数，并采用梯度下降法更新参数：

L_zh＝αL_sg+βL_ncs+γL_cl (4)；

其中，L_cl是肺结节分类损失函数，L_sg是肺结节分割损失函数，L_ncs是肺结节目标检测损失函数。L_zh是肺结节加权求和的相关多任务联合损失函数；

其中，B表示多尺度辅助检测模型训练的过程一次性放入图片的数量，

表示通过多尺度辅助检测模型预测出来的像素的值，

表示数据集中胸部扫描CT图像的像素值，ω_i,j代表权重；

I表示肺结节分类种类的数量，

表示标签的种类,

表示多尺度辅助检测模型预测出属于种类的概率，β_i.j表示加权；

L_cls表示选择出来的坐标框是不是标签表示的框,p_i表示标签取值，

表示多尺度辅助检测模型预测的属于边框的置信度概率值，N_cls代表分类的个数，L_reg表示多尺度辅助检测模型选择出来的边框与标签边框的对比；

α，β和γ均为权值，t_i＝{t_x,t_y,t_w,t_h}，t_x和t_y分别表示为选择框中心点横纵坐标，t_w和t_h分别表示为宽和高的偏置，N_reg表示个数表示多尺度辅助检测模型预测出来的边框的个数；

作为改进，所述S200中多尺度辅助检测模型训练时的数据处理过程具体如下：

S201:将所述S100中的每个患者的一系列胸部扫描CT图像同时输入三个U-net网络中进行第一次卷积，第一次卷积后每个U-net网络输出一个三维的数据块Ⅰ，该三个三维的数据块Ⅰ分别进入步骤S202和步骤S206进行处理；

S202:所述第一次卷积后得到的三维的数据块Ⅰ首先进行中心池化，然后再进行Gabor卷积后，每个U-net网络输出一个三维的数据块Ⅱ，该三个三维的数据块Ⅱ分别进入步骤S203和步骤S206进行处理；

S203:所述三个三维的数据块Ⅱ首先进行中心池化得到三个三维的数据块Ⅲ，该三个三维的数据块Ⅲ分别进入步骤S204和步骤S205进行处理；

S204:所述三个三维的数据块Ⅲ依次经过两次卷积，并对两次卷积后的数据进行拉伸得到一个一维向量Ⅰ；

S205：所述三个三维的数据块Ⅲ经过中心池化得到三个三维的数据块Ⅳ，所述三个三维的数据块Ⅳ分别进入步骤S208和步骤S206进行处理；

S206：所述三个三维的数据块Ⅳ进行Gabor卷积后，再进行上采样得到三个三维的数据块Ⅵ，所述三个三维的数据块Ⅵ与所述三个三维的数据块Ⅱ进行叠加后，再进行上采样得到三个三维的数据块Ⅶ，所述三个三维的数据块Ⅶ与所述三个三维的数据块Ⅰ进行叠加得到每个患者一系列胸部扫描CT图像对应的特征图，利用所述特征图执行分割任务，执行步骤S207；

S207：将所述S206中的特征图进行卷积得到三个三维数据块Ⅷ，并将所述三个三维数据块Ⅷ进行拉伸和拼接得到一个一维向量Ⅲ，将所述S206中的特征图进行卷积得到三个三维的数据块Ⅷ，将三个三维的数据块Ⅷ进行叠加得到分割结果，并输出分割结果，然后再将三个三维的数据块Ⅷ拉伸得到一维向量Ⅲ将所述一维向量Ⅲ输入S209；

S208：所述三个三维的数据块Ⅳ进行Gabor卷积再将Gabor卷积后得到的三个数据块叠加得到一个三维的数据块Ⅹ，将所述三维数据块Ⅹ输入VGG神经网络，执行检测任务，并输出一个一维向量Ⅱ，所述一维向量Ⅱ作为检测结果输出，同时将所述一维向量Ⅱ输入步骤S209；

S209：将所述一维向量Ⅱ和所述一维向量Ⅲ进行全连接得到一维向量Ⅳ，所述一维向量Ⅳ与所述一维向量Ⅰ进行叠加得到一个一维向量Ⅴ，所述一维向量Ⅴ作为分类结果，输出该分类结果。

相对于现有技术，本发明至少具有如下优点：

本发明在肺结节多尺度统一表征的基础上，分析肺结节辅助检测多任务之间的“强相关”作用关系，建立以肺结节检测、分类与实例分割为基本流程的多尺度多任务协同增强的深度学习网络模型，实现多任务联合训练与优化，对肺结节辅助检测的敏感度和准确率的整体优化。

附图说明

图1为基于参数硬共享机制的多任务深度卷积网络结构。

图2为本发明方法的多任务协同增强原理图。

图3为本发明方法的网络结构图。

具体实施方式

下面对本发明作进一步详细说明。

参见图1-3，一种肺结节辅助检测方法，主要包括如下步骤：

S100:获取数据集，该数据集包括N个患者的胸部扫描CT图像，每个患者有一系列胸部扫描CT图像，每个患者至少有130张图像。

所述数据集中的每个CT图像由至少1位经验丰富的放射科医生为其标注结节信息，此结节信息包括每个结节勾画的轮廓信息、结节良恶性以及结节的各属性信息，并将结节信息保存在XML文件中；本发明获取的数据集为公开医疗数据集。

同时为每张胸部扫描CT图像打上标签，标签的种类为0或1，1表示有病变，0表示没有病变。

S200:建立多尺度辅助检测模型，该模型由三个空洞率不同的U-net网络和一个VGG神经网络组成，三个U-net网络并列设置，且三个U-net网络的中间一层共同连接VGG神经网络的输入层；具体实施时，三个空洞率不同的U-net网络的空洞率可以分别设置为1、2和3，

将S100每个患者的一系胸部扫描CT图像分别输入三个U-net网络的输入层，利用相关多任务联合损失函数对多尺度辅助检测模型的参数进行训练和优化。

所述S200中的参数训练和参数优化方法为：

设计相关多任务联合损失函数，并采用梯度下降法更新参数：

L_zh＝αL_sg+βL_ncs+γL_cl (4)；

其中，L_cl是肺结节分类损失函数，L_sg是肺结节分割损失函数，L_ncs是肺结节目标检测损失函数，L_zh是肺结节加权求和的相关多任务联合损失函数。

其中，B表示多尺度辅助检测模型训练的过程一次性放入图片的数量，可自行设置，

表示通过多尺度辅助检测模型预测出来的像素的值，

表示数据集中胸部扫描CT图像的像素值，ω_i,j代表权重，为经验值；

I表示肺结节分类种类的数量，

表示标签的种类,

示多尺度辅助检测模型预测出属于种类的概率，β_i.j表示加权，为经验值；

L_cls表示选择出来的坐标框是不是标签表示的框,p_i表示标签取值，标签取值为0or 1,

表示多尺度辅助检测模型预测的属于边框的置信度概率值

取值为0-1之间，N_cls代表分类的个数，L_reg表示网络选择出来的边框与标签边框的对比；

α，β和γ均为权值，具体为经验值，t_i＝{t_x,t_y,t_w,t_h}，t_x和t_y分别表示为选择框中心点横纵坐标，t_w和t_h分别表示为宽和高的偏置，N_reg表示个数表示多尺度辅助检测模型预测出来的边框的个数；

所述S200中多尺度辅助检测模型训练时的数据处理过程具体如下：

S201:将所述S100中的每个患者的一系列胸部扫描CT图像同时输入三个U-net网络中进行第一次卷积，第一次卷积后每个U-net网络输出一个三维的数据块Ⅰ，每个三维的数据块中包括通道数，宽和高三类数据，该三个三维的数据块Ⅰ分别进入步骤S202和步骤S206进行处理；

S202:所述第一次卷积后得到的三维的数据块Ⅰ首先进行中心池化，然后再进行Gabor卷积后，每个U-net网络输出一个三维的数据块Ⅱ，该三个三维的数据块Ⅱ分别进入步骤S203和步骤S206进行处理；

S203:所述三个三维的数据块Ⅱ首先进行中心池化得到三个三维的数据块Ⅲ，该三个三维的数据块Ⅲ分别进入步骤S204和步骤S205进行处理；

S204:所述三个三维的数据块Ⅲ依次经过两次卷积，并对两次卷积后的数据进行拉伸得到一个一维向量Ⅰ；

S205：所述三个三维的数据块Ⅲ经过中心池化得到三个三维的数据块Ⅳ，所述三个三维的数据块Ⅳ分别进入步骤S208和步骤S206进行处理；

S206：所述三个三维的数据块Ⅳ进行Gabor卷积后，再进行上采样得到三个三维的数据块Ⅵ，所述三个三维的数据块Ⅵ与所述三个三维的数据块Ⅱ进行叠加后，再进行上采样得到三个三维的数据块Ⅶ，所述三个三维的数据块Ⅶ与所述三个三维的数据块Ⅰ进行叠加得到每个患者一系列胸部扫描CT图像对应的特征图，利用所述特征图执行分割任务，执行步骤S207；

S207：将所述S206中的特征图进行卷积得到三个三维数据块Ⅷ，并将所述三个三维数据块Ⅷ进行拉伸和拼接得到一个一维向量Ⅲ，将所述S206中的特征图进行卷积得到三个三维的数据块Ⅷ，将三个三维的数据块Ⅷ进行叠加得到分割结果，并输出分割结果，然后再将三个三维的数据块Ⅷ拉伸得到一维向量Ⅲ将所述一维向量Ⅲ输入S209；

S208：所述三个三维的数据块Ⅳ进行Gabor卷积再将Gabor卷积后得到的三个数据块叠加得到一个三维的数据块Ⅹ，将所述三维数据块Ⅹ输入VGG神经网络，执行检测任务，并输出一个一维向量Ⅱ，所述一维向量Ⅱ作为检测结果输出，同时将所述一维向量Ⅱ输入步骤S209；

S209：将所述一维向量Ⅱ和所述一维向量Ⅲ进行全连接得到一维向量Ⅳ，所述一维向量Ⅳ与所述一维向量Ⅰ进行叠加得到一个一维向量Ⅴ，所述一维向量Ⅴ作为分类结果，输出该分类结果。

S300:将待预测患者的一系列CT图像输入优化后的多尺度辅助检测模型，输出待预测患者的检测结果、分割结果和分类结果。

肺结节尺度范围能够在临床先验知识上确定，采取对不同尺度范围肺结节进行尺度统一化表征,使同一层级不同尺度下肺结节特征保持一致性,同时尽可能保持肺结节多尺度与空间分辨率特征信息。基于多尺度和多任务及深度学习的启发下，本发明描述了一种基于多尺度的检测、分类、分割多任务协同的肺结节辅助检测方法。该发明从现实的角度出发，分析出肺结节检测、分类和分割是相辅相成的，三者具有强的耦合关系，并且针对不同类型的肺结节，不同的尺度得到的效果也是不一样的。因此，肺结节辅助检测系统也要多尺度下构建肺结节检测、分割和分类多任务协同增强模型。克服尺度、串联式任务对肺结节辅助诊断的影响，建立多尺度肺结节“统一表征”模型，并实现分割、检测和分类统一建模。

本发明的肺结节辅助检测是根据输入的医学图像，通过神经网络的处理，从而产生与输入相同大小的mask和肺结节各种种类预测的概率，以及检测的坐标框。

肺结节检测、肺结节分类、肺结节分割和肺结节诊断是紧密联系、相互影响的，采用多任务学习方法中的参数硬共享机制和卷积神经网络，设计基于参数硬共享机制的多任务深度卷积网络结构。

本发明的整理思路是：首先将肺结节CT影像作为数据输入层，利用Cabor卷积、中心池化方式进行视觉特征学习作为网络参数共享层，通过共享卷积下采样的过程进行参数硬共享。

其次根据肺结节辅助诊断任务划分三个特定任务分别为:检测任务、分割任务、分类任务。

利用VGG-16网络进行训练进行分类和检测任务，采用基于全卷积网络(FCN)的多尺度CaborU-net进行分割任务训练。

最后利用多任务联合损失函数进行多任务调优。

综上所述，本发明建立的肺结节辅助检测方法是集检测、分割和分类于一体的、由下至上的肺结节辅助诊断网络模型。进行肺结节诊断时，检测、分割与分类三个任务存在强的耦合关系，耦合就意味着在实行辅助诊断时，必须对这三个任务进行多任务一体化建模，由于肺结节辅助诊断网络的特征层分为底层、中层、高层3个等级。肺结节在低层级网络提取了抽象的纹理、边缘、轮廓信息，更适合肺结节的定位和分割任务，高层级网络提取了丰富的语义信息，有利于肺结节的属性分类、良恶性诊断等更复杂的任务。中间层(过渡层)特征作为多任务之间的“信息传递”的纽带。

首先，通过多任务网络下采样过程参数共享机制对肺结节辅助诊断多任务之间的“强相关”的关系进行解耦。

其次，利用低层、中层、高层级网络层学习的特定的肺结节的视觉属性进行特征图融合，使肺结节共性征象语义特征得到增强，通过网络全连接，分别构建肺结节的检测任务、分类任务和分割任务，

最后通过综合损失函数提高多任务之间整体优化与调优。

训练数据源为LIDC-IDRI，该数据集由胸部医学图像文件(如CT、X光片)和对应的诊断结果病变标注组成。该数据是由美国国家癌症研究所(National Cancer Institute)发起收集的，目的是为了研究高危人群早期癌症检测。该数据集中，共收录了1018个研究实例。对于每个实例中的图像，都由4位经验丰富的胸部放射科医师进行两阶段的诊断标注。在第一阶段，每位医师分别独立诊断并标注病患位置，其中会标注三中类别：1)>＝3mm的结节,2)<3mm的结节,3)>＝3mm的非结节。在随后的第二阶段中，各位医师都分别独立的复审其他三位医师的标注，并给出自己最终的诊断结果。这样的两阶段标注可以在避免forcedconsensus的前提下，尽可能完整的标注所有结果。

随机选取LIDC数据集中的70％为训练数据，剩下30％为测试数据。随后对LIDC图片进行窗位的调整。评价指标为accuracy,sensitivity以及Dice。

accuracy表示检测的准确率。

sensitivity表示对肺结节分类的平均敏感度。

Dice表示对肺结节分割的准确率。

公式

其中Y_pre为网络预测出来的结果，Y_gt为数据的真实mask标签，公式

公式

其中TP为真阳性的数量，TN为真阴性的数量，FP为假阳性的数量，FN为假阴性的数量。

为了使得本发明的性能达到最优，首先对其自身的参数学习率(lr)、优化器(optimizer)、迭代次数(epoch)进行优化。学习率表示网络在学习的时候更新参数的幅度，优化器表示网络在学习到差异之后如何进行最小化差异，迭代次数表示网络需要多少次次对训练集的遍历。通过对所有的参数组合进行实验，找到了最优的参数值选择。最优的参数值是lr＝0.00003,optimizer＝Adam,epoch＝50。为了进一步验证本发明的有效性，将其与热门主流的检测算法进行了对比，它们分别如下：

为了进一步验证本发明的有效性，将其与热门主流的推荐算法进行了对比，它们分别如下：

SVM：一种经典的传统图像检测算法。

3D convolution：一种基于神经网络的3D检测算法。

multi-resolution analysis:一种传统的多分辨率检测算法。

Multi-Resolution CNN:一种基于神经网络的多特征图的检测算法。

U-net:一种基于神经网络的医疗图像分割算法，旨在通过跳跃连接来进行特征的传递。

Nodule-Net:一种基于神经网络的多任务分割分类算法，旨在通过不同特征图来进行多任务之间的解耦。

方法	Accuracy(％)	Dice(％)	Sensitivity(avg％)
				SVM	87	-	-
3Dconvolution	-	-	75.36
				multi-resolution analysis	81.21	-	-
Multi-Resolution CNN	92.33	-	-
				Unet	-	86.3	-
NoduleNet	87.27	83.1	-
				Our(多尺度多任务)	95.1	89.1	76.8

本发明提出的基于多尺度最优化感知肺结节辅助检测方法称作HyperNodule-Net。

实验结果显示，无论是accuracy，Sensitivity还是Dice，本发明都明显优于其他的检测算法，这表明本文提出基于多尺度最优化感知是有效的。SVM算法性能的优劣主要取决于核函数的选取,所以对于一个实际问题而言,如何根据实际的数据模型选择合适的核函数从而构造SVM算法。3D convolution是一种基于深度学习的3D检测方法，但是其参数量过于庞大，导致推理时间增加，并且其准确率较低。multi-resolution analysis使用对多分辨率对图像进行检测，但是对于特异性结节检测率不高。Multi-Resolution CNN使用多分辨率的图片进行检测，但是其预处理过程使得图片的原始信息大概率丢失。U-net使用特殊的跳跃连接方式来构建网络，但是其作为单任务没有分类的指导导致形状奇怪的结节病没有分割出来。Nodule-Net使用多任务的网络来进行检测，但其没有对肺结节尺度的问题作出处理，导致不同分辨率的结节不易分割和检测。

简而言之，本发明提出了一种基于多尺度的检测、分类、分割多任务协同的肺结节辅助检测方法，一方面采取对不同尺度范围肺结节进行尺度统一化表征,使同一层级不同尺度下肺结节特征保持一致性,同时尽可能保持肺结节多尺度与空间分辨率特征信息。另一方面通过自下而上建立多任务协同增强网络模型，以降低模型复杂度，提高各过程之间的关联性，实现肺结节辅助检测整体调优。本发明(HyperNodule-Net)的性能优于目前热门主流的检测算法，可以运用至实际的生活场景。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (3)

1.一种肺结节辅助检测方法，其特征在于，主要包括如下步骤：

S100:获取数据集，该数据集包括N个患者的胸部扫描CT图像，每个患者有一系列胸部扫描CT图像；

所述数据集中的每个CT图像由至少1位经验丰富的放射科医生为其标注结节信息，此结节信息包括每个结节勾画的轮廓信息、结节良恶性以及结节的各属性信息，并将结节信息保存在XML文件中；

同时为每张胸部扫描CT图像打上标签，标签的种类为0或1；

S200:建立多尺度辅助检测模型，该模型由三个空洞率不同的U-net网络和一个VGG神经网络组成，三个U-net网络并列设置，且三个U-net网络的中间一层共同连接VGG神经网络的输入层；

将S100每个患者的一系胸部扫描CT图像分别输入三个U-net网络的输入层，利用相关多任务联合损失函数对多尺度辅助检测模型的参数进行训练和优化；

S300:将待预测患者的一系列CT图像输入优化后的多尺度辅助检测模型，输出待预测患者的检测结果、分割结果和分类结果。

2.如权利要求1所述的肺结节辅助检测方法，其特征在于，所述S200中的参数训练和参数优化方法为：

设计相关多任务联合损失函数，并采用梯度下降法更新参数：

L_zh＝αL_sg+βL_ncs+γL_cl (4)；

其中，L_cl是肺结节分类损失函数，L_sg是肺结节分割损失函数，L_ncs是肺结节目标检测损失函数。L_zh是肺结节加权求和的相关多任务联合损失函数；

其中，B表示多尺度辅助检测模型训练的过程一次性放入图片的数量，

表示通过多尺度辅助检测模型预测出来的像素的值，

表示数据集中胸部扫描CT图像的像素值，ω_i,j代表权重；

I表示肺结节分类种类的数量，

表示标签的种类,

表示多尺度辅助检测模型预测出属于种类的概率，β_i.j表示加权；

L_cls表示选择出来的坐标框是不是标签表示的框,p_i表示标签取值，

表示多尺度辅助检测模型预测的属于边框的置信度概率值，N_cls代表分类的个数，L_reg表示多尺度辅助检测模型选择出来的边框与标签边框的对比；

α，β和γ均为权值，t_i＝{t_x,t_y,t_w,t_h}，t_x和t_y分别表示为选择框中心点横纵坐标，t_w和t_h分别表示为宽和高的偏置，N_reg表示个数表示多尺度辅助检测模型预测出来的边框的个数；

3.如权利要求1所述的肺结节辅助检测方法，其特征在于，所述S200中多尺度辅助检测模型训练时的数据处理过程具体如下：

S201:将所述S100中的每个患者的一系列胸部扫描CT图像同时输入三个U-net网络中进行第一次卷积，第一次卷积后每个U-net网络输出一个三维的数据块Ⅰ，该三个三维的数据块Ⅰ分别进入步骤S202和步骤S206进行处理；

S202:所述第一次卷积后得到的三维的数据块Ⅰ首先进行中心池化，然后再进行Gabor卷积后，每个U-net网络输出一个三维的数据块Ⅱ，该三个三维的数据块Ⅱ分别进入步骤S203和步骤S206进行处理；

S203:所述三个三维的数据块Ⅱ首先进行中心池化得到三个三维的数据块Ⅲ，该三个三维的数据块Ⅲ分别进入步骤S204和步骤S205进行处理；

S204:所述三个三维的数据块Ⅲ依次经过两次卷积，并对两次卷积后的数据进行拉伸得到一个一维向量Ⅰ；

S205：所述三个三维的数据块Ⅲ经过中心池化得到三个三维的数据块Ⅳ，所述三个三维的数据块Ⅳ分别进入步骤S208和步骤S206进行处理；

S206：所述三个三维的数据块Ⅳ进行Gabor卷积后，再进行上采样得到三个三维的数据块Ⅵ，所述三个三维的数据块Ⅵ与所述三个三维的数据块Ⅱ进行叠加后，再进行上采样得到三个三维的数据块Ⅶ，所述三个三维的数据块Ⅶ与所述三个三维的数据块Ⅰ进行叠加得到每个患者一系列胸部扫描CT图像对应的特征图，利用所述特征图执行分割任务，执行步骤S207；

S207：将所述S206中的特征图进行卷积得到三个三维数据块Ⅷ，并将所述三个三维数据块Ⅷ进行拉伸和拼接得到一个一维向量Ⅲ，将所述S206中的特征图进行卷积得到三个三维的数据块Ⅷ，将三个三维的数据块Ⅷ进行叠加得到分割结果，并输出分割结果，然后再将三个三维的数据块Ⅷ拉伸得到一维向量Ⅲ将所述一维向量Ⅲ输入S209；

S208：所述三个三维的数据块Ⅳ进行Gabor卷积再将Gabor卷积后得到的三个数据块叠加得到一个三维的数据块Ⅹ，将所述三维数据块Ⅹ输入VGG神经网络，执行检测任务，并输出一个一维向量Ⅱ，所述一维向量Ⅱ作为检测结果输出，同时将所述一维向量Ⅱ输入步骤S209；

S209：将所述一维向量Ⅱ和所述一维向量Ⅲ进行全连接得到一维向量Ⅳ，所述一维向量Ⅳ与所述一维向量Ⅰ进行叠加得到一个一维向量Ⅴ，所述一维向量Ⅴ作为分类结果，输出该分类结果。

Images