CN112116603A - 一种基于多任务学习的肺结节假阳性筛查方法 - Google Patents
一种基于多任务学习的肺结节假阳性筛查方法 Download PDFInfo
- Publication number
- CN112116603A CN112116603A CN202010961105.9A CN202010961105A CN112116603A CN 112116603 A CN112116603 A CN 112116603A CN 202010961105 A CN202010961105 A CN 202010961105A CN 112116603 A CN112116603 A CN 112116603A
- Authority
- CN
- China
- Prior art keywords
- image
- nodules
- nodule
- candidate
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000012216 screening Methods 0.000 title claims abstract description 22
- 230000002685 pulmonary effect Effects 0.000 title claims abstract description 17
- 238000001514 detection method Methods 0.000 claims abstract description 51
- 230000003211 malignant effect Effects 0.000 claims abstract description 27
- 238000002372 labelling Methods 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 210000004072 lung Anatomy 0.000 claims abstract description 9
- 206010056342 Pulmonary mass Diseases 0.000 claims description 29
- 238000011176 pooling Methods 0.000 claims description 23
- 238000013527 convolutional neural network Methods 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 4
- 238000003745 diagnosis Methods 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000004195 computer-aided diagnosis Methods 0.000 abstract description 2
- 206010054107 Nodule Diseases 0.000 description 58
- 238000012549 training Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 13
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 8
- 201000005202 lung cancer Diseases 0.000 description 8
- 208000020816 lung neoplasm Diseases 0.000 description 8
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000013507 mapping Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 241000575946 Ione Species 0.000 description 1
- LTXREWYXXSTFRX-QGZVFWFLSA-N Linagliptin Chemical compound N=1C=2N(C)C(=O)N(CC=3N=C4C=CC=CC4=C(C)N=3)C(=O)C=2N(CC#CC)C=1N1CCC[C@@H](N)C1 LTXREWYXXSTFRX-QGZVFWFLSA-N 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
- G06T2207/30064—Lung nodule
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
一种基于多任务学习的肺结节假阳性筛查方法，包括以下步骤：步骤1、通过CT探测仪获取待检测肺部的初始CT图像，对该三维的初始CT图像进行预处理，得到标准CT影像；步骤2、对标准CT影像进行切片处理，将固定大小的CT切片输入到候选结节检测模型中，获取候选结节；步骤3、将步骤2中获取的候选结节进行阳性结节和假阳性结节标注，并输入到多任务模型中，获得候选结节的良恶性分类以及重建的输入图像；特点是利用计算机辅助检测是利用数字图像、计算机视觉、模式识别等交叉技术，帮助医生完成辅助诊断的工作。借助计算机辅助诊断技术能够快速准确的从CT影像中检测出疑似结节区域，不仅能够减少医生的工作量，同时能够提高阅片的准确率和效率。
Description
技术领域
本发明涉及肺结节筛查领域，具体涉及一种基于多任务学习的肺结节假阳性筛查方法。
背景技术
肺癌是目前世界上发病率和死亡率最高的疾病之一，并且随着工业化的进程，以及环境污染等问题不断加剧，肺癌的发病率和死亡率仍在持续上升。相对于其它的癌症，肺癌的生物学特性十分复杂，肺癌早期症状轻微，发病时间短，因此在初期不易被发现，一旦确诊为肺癌中晚期，患者就会错失治疗的最佳时期，而肺癌的早期诊断和治疗通常能够大幅的提高患者的生存率。
肺癌早期是以肺结节的形式存在的，伴随着医学影像技术的不断发展，可以从CT影像中清晰的观测到肺部病变组织的位置、形状等特征，而要对肺结节做出明确的诊断，必须进行精细地检查以及全面的分析，若仅通过医生进行人工检查需要消耗大量的时间和精力，巨大的CT影像阅片量使医生的工作强度大幅度上升，且极易引起疲劳，进而导致阅读效率和质量下降，造成一定几率的误诊、漏诊等情况，并且医生在肺结节的诊断中具有一定的主观性。目前现有的肺结节自动检测系统大都是利用传统的机器学习方法以及二维图像的方式，该方式实际操作过程较为复杂，且由于CT序列图像具有三维性质，利用二维CT影像进行检测，通常会遗失一些肺部的空间上下文信息，不同切片上产生的结果不同，也容易导致检测的误差。因此为了提高阅片速度，减轻医生的工作量，提高诊断的客观性，需要一种可有效提高肺结节诊断准确率以及效率的方法。
发明内容
本发明所要解决的技术问题是：提供一种可有效提高肺结节检查准确率、检测效率且可有效降低医生工作量的基于多任务学习的肺结节假阳性筛查方法。
本发明解决上述技术问题所采用的技术方案为：一种基于多任务学习的肺结节假阳性筛查方法，具体包括以下步骤：
步骤1、通过CT探测仪获取待检测肺部的初始CT图像，对该三维的初始CT图像进行预处理，得到标准CT影像；
步骤2、对标准CT影像进行切片处理，将固定大小的CT切片输入到候选结节检测模型中，获取候选结节；
步骤3、将步骤2中获取的候选结节进行阳性结节和假阳性结节标注，并输入到多任务模型中，获得候选结节的良恶性分类以及重建的输入图像。
更进一步地，步骤1中对三维CT图像进行预处理包括：将肺部影像的HU值截取到区间[-1000, 400]，其中CT影像分辨率为1mm，对HU值进行二值化处理得到二值图像，0限定图像像素值为[0，1]之间，获得标准CT影像。
更进一步地，步骤2所述的候选结节检测模型通过三维卷积神经网络构建，从标准CT影像中裁剪出尺寸为64*64*64的三维CT切片，并将三维CT切片输入到候选结节检测模型中获得候选结节位置。
更进一步地，步骤3中所述的多任务模型包含两个分支：主分支与次分支；所述主分支用于肺结节分类，所述次分支用于图像重构。
更进一步地，所述的多任务模型依次间隔排列的卷积层和池化层，所述的卷积层、池化层数量均为3个， 所述的主分支包括依次设置的用于候选结节分类的两个全连接层和一个Sigmoid输出层，两个全连接层设置在最后一个池化层的后方；次分支包括依次间隔排列设置的用于重构出和输入图像尺寸相同图像的反池化层和反卷积层，其中反池化层、反卷积层的数量均为3个，所述的次分支设置在最后一个池化层的后方
步骤1中，在对初始CT图像进行预处理时主要包含CT影像预处理和数据标注两部分。在预处理时，对收集到的初始CT图像采用三维图像处理方法，使用线性插值统一CT影像的分辨率，并将图像像素归一化，获得适合于输入到神经网络的标准CT影像；数据标注是影像科医生手动完成的，对初始CT图像中的肺结节进行标注，作为训练候选结节检测模型时的标签。在标注结节位置时，使用一个矩形框将结节标注出来，分别记录矩形框的中心点坐标以及宽和高，用做肺结节检测金标准。对结节的良恶性进行标注时，医生根据经验分别标注该结节的良恶性，良性结节标注为0，恶性结节标注为1，用做假阳性筛查的金标准。
步骤2中，候选结节检测模型是一个基于二维标准FasterR-CNN网络并将其中二维结构扩展为三维结构的三维FasterR-CNN网络。该候选结节检测模型主要包含输入模块，位置检测模块（RPN检测网络），以及一个输出模块（包含回归层和分类层，其中回归层输出的时肺结节的位置，分类层输出的是肺结节的类型）三个部分。利用三维FasterR-CNN网络构建起候选结节检测模型，从标准CT影像中截取固定大小的三维切片进行训练，由于正样本数量较少，在训练前使用上采样方法以及图像旋转，变换的方法，平衡正负样本的数量。
所述三维FasterR-CNN网络的参数包含：输入模型的三维CT切片的大小为64*64*64，模型训练的迭代次数为100，每次迭代的批次为32，学习率为0.01。
在确定肺结节位置信息时，还利用极大值抑制（NMS）方法计算不同区域之间的交并比（IoU），保留检测结果中分数最高的窗口，去除冗余的检测框获得最优果。
步骤3中肺结节的筛查包含：将步骤2中检测出来的候选结节输入到预先构建的多任务模型中，其中和步骤1中恶性结节的交并比大于0.5的结节视为阳性（恶性）结节，其余为假阳性结节。多任务模型输出结果为该结节是阳性（即性）结节的概率，输出值越大，该结节是恶性结节的概率越大，同时模型还能够重构输入图像。本发明使用的多任务模型包含良恶性结节分类和输入图像重构两个分支，其中良恶性结节分类为主分支，输入图像重构作为辅助分支。设置多任务模型的分类误差和重构误差以及优化器，通过梯度下降以及反向传播来优化误差，优化分类误差用于判断每个锚点是否是恶性肺结节，优化重构误差用于重构输入图像。图像重构任务不仅能够帮助主分支任务优化误差，而且能够增加网络的可解释性，是网络能过够更好的学习到恶性结节的特性。
与现有技术相比，本发明的优点是使用了三维CT影像信息，以及多任务学习方法，并且本发明中是将一个固定大小的三维CT切片输入到候选结节检测模型和假阳性筛查模型中，减小了计算资源提高了计算速度，使得检测准确且高效。且本发明中使用的是三维FasterR-CNN网络模型和三维多任务模型都能够提取三维图像的深层特征，尤其适合处理基于三维CT图像的肺结节检测。此外，本发明首次提出使用多任务模型用于肺结节假阳性筛查中，提高了假阳性结节筛查的灵敏度。
本发明中使用的候选结节检测模型是Faster R-CNN检测网络，由于肺部CT是扫描图像，具有三维结构，因此肺结节也是三维的结构，应该保持其三维特征，这样有利于结节的检测的结果的准确性。如果只从二维角度出发，在某些切片中肺结节的二维特征可能并不明显，容易被漏检。因此本发明将FasterR-CNN网络改为适用于三维图像的三维FasterR-CNN检测网络，不仅可以在候选结节中进行假阳性筛除，还可以输入图像的重构。
计算机辅助检测是利用数字图像、计算机视觉、模式识别等交叉技术，帮助医生完成辅助诊断的工作。借助计算机辅助诊断技术能够快速准确的从CT影像中检测出疑似结节区域，不仅能够减少医生的工作量，同时能够提高阅片的准确率和效率。其主要包含两个阶段：（1）候选结节检测；（2）假阳性筛查。候选结节检测主要是为了能够检测出CT影像中所有的疑似结节，在这一阶段主要是利用卷积神经网络构建起检测模型，将经过预处理的CT影像输入到检测模型中，检测出CT影像中疑似结节的位置，从而确保查全率，尽量能够检测出全部的疑似结节，有效减少医生的工作量，避免出现疲劳引起的检查错误。第二阶段是筛除假阳性样本，这一部分首先需要对检测出的结节进行良恶性标注，利用构建的分类模型，对检测出的候选结节进行良恶性的分类，识别出候选结节中的恶性结节，提高结节检测准确率。
附图说明
图1为本发明基于多任务学习的肺结节检测系统流程图；
图2为本发明肺结节检测模型结构图；
图3为本发明肺结节筛查模型结构图；
图4为本发明实施中三维FasterR-CNN模型结构示意图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
下面结合附图对本发明的优选实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。
一种基于多任务学习的肺结节假阳性筛查方法，包含以下三个步骤：
步骤1、通过CT探测仪获取待检测肺部的初始CT图像，对该三维的初始CT图像进行预处理，得到标准CT影像；在对初始CT图像进行预处理时主要包含CT影像预处理和数据标注两部分。
更具体为在预处理时，对收集到的初始CT图像采用三维图像处理方法，使用线性插值统一CT影像的分辨率，并将图像像素归一化，获得适合于输入到神经网络的标准CT影像，即由于使用不同的仪器或者是在不同环境下采集的到的CT影像在像素间隔方面存在很大的不同，本发明使用线性插值，将图像分辨率限定在1mm，并对图像进行形态学上的操作的方式对CT影像进行预处理。且CT影像采用亨氏单位，相比于自然图像，其值域比较广，需要对CT影像的像素进行归一化，使用[-1000，400]的窗去截取CT图像的HU值，并将其归一化到[0，1]，得到标准CT影像。
而数据标注是影像科医生手动完成的，对初始CT图像中的肺结节进行标注，作为训练候选结节检测模型时的标签，即在进行数据预处理前需要对训练数据进行标注，对于每一例CT影像，其中肺结节的位置是由一个矩形框标注出来，该矩形框称为金标准（ground-truthbox）,肺结节位于该矩形框的中心位置，同一个结节在标注时只需标注结节中心所在的CT切片，保存矩形框的中心点坐标以及宽高作为候选结节位置检测时的标签。
在标注结节位置时，使用一个矩形框将结节标注出来，分别记录矩形框的中心点坐标以及宽和高，用做肺结节检测金标准。对结节的良恶性进行标注时，医生根据经验分别标注该结节的良恶性，良性结节标注为0，恶性结节标注为1，用做假阳性筛查的金标准。
步骤3、将步骤2中获取的候选结节进行阳性结节和假阳性结节标注，并输入到多任务模型中，获得候选结节的良恶性分类以及重建的输入图像。
步骤2中构建基于Faster R-CNN检测网络的候选结节检测模型，对标准CT影像进行切片处理，将固定大小的三维CT切片输入到候选结节检测模型中进行训练，获得候选结节的位置；具体为：为了节省计算资源并提高计算效率和准确率，并且能够完全包含结节区域，本发明中将标准CT影像以32的步长将一个CT影像切分为若干个大小为64*64*64的三维CT切片，将其作为三维Faster R-CNN检测网络中的输入，检测结果为肺结节在标准CT影像中的中心点坐标以及宽高大小。
Faster R-CNN检测网络的作用是输入一张图像，输出一批矩形候选区域。网络结构是基于卷积神经网络，但输出是包含一个二分类的分类结果和一个候选框（bbox）回归的多任务模型。
锚点（anchor）是Faster R-CNN检测网络的核心，anchor可以理解为一些预设大小的框。在确定每个滑窗中心对应感受野内存在目标与否时，由于目标大小和长宽比例不一，需要多个尺度的窗，anchor即给出一个基准窗大小，按照倍数和长宽比例得到不同大小的窗。例如FasterR-CNN论文中基准窗大小为16，给了（8、16、32）三种倍数和（0.5、1、2）三种比例，这样能够得到一共9种尺度的anchor，这样能够适应不同肺部结节的尺寸。在肺结节中，结节直径一般为3-40mm，因此为了将这些跨度较大的结节全部检测出来，就需要，使用不同尺度的窗。
本模型中CLS和REG表示表示系统中的结节分类任务以及结节位置预测（回归）任务，ROIpooling表示感兴趣区域（即存在结节的区域）的池化。Conv，pool，fc分别表示模型的卷积层，池化层，全连接层，unconv，unpool分别表示模型的反卷积层和上采样层。Featuremap是模型提取的输入图像的特征图，proposal是对回归做拟合，使回归框更准确。
由于本发明中使用的三维FasterR-CNN网络和三维的CT影像，模型的参数较多，若是使用整个CT影像作为输入，或者是太深的网络结构会导致参数数量过多，容易发生过拟合，并且需要消耗大量的硬件计算资源，因此本发明中肺结节检测网络的输入为CT影像中固定大小的三维切片。
由于在影像中正样本比较少，在进行训练时可采用图像反转，变换，上采样等操作增加正样本的数量，以及采用下采样的方式降低负样本的数量，使正负样本的数量大约为1：2。
在训练Faster R-CNN检测网络时，本发明将将和ground-truthbox拥有最大IoU的anchor或者是和任何一个ground-truthbox的IoU的大于0.7的anchor标记为正样本；将和所有的ground-truthbox的IoU小于0.3的anchor标记为负样本；其它的样本不参与训练。
在三维Faster R-CNN检测网络中，模型的输出是候选区域所属的类，和候选区域在图像中的精确位置。两个网络的损失函数使用交叉熵损失函数和smoothL1损失函数来表示。学习误差的大小直接决定着模型的好坏，本发明中使用交叉熵损失函数来计算分类误差，用smoothL1来计算回归学习误差。
因此，在Faster R-CNN检测网络中的损失函数为：
其中，
表示多任务学习的分类任务和回归任务的联合损失，
和
分别表示网络中分类任务和回归任务的损失。i表示在一个训练批次中一个anchor的序号，p i 表示anchor i 是对良恶性肺结节的标注，若该结节为恶性结节，则
，反之，
。
为预测该结节为恶性结节的概率，概率值越大，表示该结节为恶性结节的可能性越大。
代anchor的金标准ground-truthbox。t * 是和正样本anchor相关联的矩形框位置预测值。其中，在实际过程中，由于分类损失和回归损失的差距过大，因此用参数
平衡两部分误差，
约等于回归损失和分类损失的比值（例如分类损失等于128，回归损失等于1200时，设置
），使总的网络损失在计算过程中能够综合考虑到两种损失。
表示损失函数只用在正样本中，而不用于负样本。
和
分别是分类任务中和回归任务中每个批次的样本数量。
这里比较重要的是smoothL1损失，计算公式如下：
其中，
表示网络中回归任务的损失函数，
和
分别表示真实值和预测值。
分别表示标注框的中心点坐标以及宽度和高度。
表示具体的回归任务损失函数，即平滑最小绝对值偏差函数。
表示的是真实值和预测值之间偏差的绝对值。
在进行边界框回归时，输出的是边界框的偏差量，因此需要将边界框的偏移量和输入的三维CT切片位置进行计算得到实际预测输出结节中心点坐标和宽高，本发明采用的坐标和宽高参数如下：
步骤3：对步骤2获取的候选结节进行阳性结节和假阳性结节标注，并输入到多任务模型中，获得候选结节的良恶性分类以及重建的输入图像。
为了提高肺结节检测的召回率，并且降低漏检率，第二部中不可避免地引入大量的假阳性样本，第三步的目的就是对假阳性样本进行筛查。
本发明中的进行假阳性筛查的模块为一个用于肺结节分类以及图像重构多任务模型。因此模型中包含良恶性结节分类和输入图像重构两个分支，其中良恶性结节分类为主分支，输入图像重构作为辅助分支。图像重构任务不仅能够帮助主分支任务优化误差，而且能够增加网络的可解释性，是网络能过够更好的学习到恶性结节的特性，提高模型的稳定性以及肺结节分类准确率。
本发明中使用的多任务模型分为共享参数部分以及不同任务独立训练两个阶段。两个分支的共享参数部分共有3个卷积层，并且在每个卷积层后边都会接上一个池化层。输入为体格64*64*64的候选结节，贡献参数部分的输出用于两个独立任务分别进行训练和预测。输入图像经过参数共享部分具体步骤如下：
（1）将检测部分获得的大小为64*64*64的候选结节作为输入，输入到一个共有24个卷积核，卷积核大小为（5，5，5），卷积步长为1的三维卷积层中，并经过一个步长为2的三维最大池化层，获得大小为30*30*30的三维特征映射。
（2）将大小为30*30*30的候选结节输入到一个共有36个卷积核，卷积核大小为（3，3，3），卷积步长为1的三维卷积层中，并经过一个步长为2的三维最大池化层，获得大小为14*14*14的三维特征映射。
（3）将大小为14*14*14的候选结节输入到一个共有48个卷积核，卷积核大小为（3，3，3），卷积步长为1的三维卷积层中，并经过一个步长为2的三维最大池化层，获得大小为6*6*6的三维特征映射。
对于独立训练阶段，其中主分支为在最后一个池化层后面接上两个全连接层以及一个Sigmoid输出层，用于候选结节的假阳性筛查，获得结节的良恶性分类结果；辅助分支为在最后一个池化层后面接上和共享参数部分相对应的3个反卷积层，并且在每个反卷积层后边接上一个和池化层对应的反池化层，用于重构出和输入图像尺寸相同的图像。主分支的具体步骤如下：
（1）将获得的48个6*6*6的三位特征映射转换成为长度为48*6*6*6的特征映射，并经过第一个全连接层，输出一个256的特征映射。
（2）将长度为256的特征映射，并经过第二个全连接层，并连接一个Sigmoid层，得到最终的结节分类结果。
辅助分支的具体步骤如下：
（1）将获得的48个6*6*6的三位特征映射经过一个步长为2的三维最大反池化层，并输入到一个共有36个卷积核，卷积核大小为（3，3，3），卷积步长为1的三维反卷积层中，获得32个大小为14*14*14的三维特征映射。
（2）将获得的36个大小为14*14*14的三位特征映射经过一个步长为2的三维最大反池化层，并输入到一个共有24个卷积核，卷积核大小为（3，3，3），卷积步长为1的三维反卷积层中，获得24个大小为30*30*30的三维特征映射。
（3）将获得的24个大小为30*30*30的三位特征映射经过一个步长为2的三维最大反池化层，并输入到一个共有24个卷积核，卷积核大小为（5，5，5），卷积步长为1的三维反卷积层中，获得一个与输入图像相同大小的图像，即重构的输入图像。
辅助分支的主要任务是使模型能够学习到更多的和输入图像相关的信息，提高主分支的分类准确性，重构出来的图像和输入图像越接近，则证明该多任务模型的性能越好，模型具有更高的鲁棒性，并且能够提高模型的可解释性，同时能够提高主分支的分类性能，使模型不容易发生过拟合。
在每次训练时，通过将重构的图像与输入图像计算的误差和分类时的误差进加权相加，由于分类权重明显小于重构权重，因此权重分别为对方权重所占的比例，其中分类任务使用是交叉熵损失函数，图像重构任务使用的二值交叉熵损失函数，通过反向传播方法同时迭代两个损失，来减小该多任务模型的误差。
Claims (5)
1.一种基于多任务学习的肺结节假阳性筛查方法，其特征在于，包括以下步骤：
步骤1、通过CT探测仪获取待检测肺部的初始CT图像，对该三维的初始CT图像进行预处理，得到标准CT影像；
步骤2、对标准CT影像进行切片处理，将固定大小的CT切片输入到候选结节检测模型中，获取候选结节；
步骤3、将步骤2中获取的候选结节进行阳性结节和假阳性结节标注，并输入到多任务模型中，获得候选结节的良恶性分类以及重建的输入图像。
2.根据权利要求1所述的一种基于多任务学习的肺结节假阳性筛查方法，其特征在于，步骤1中对三维CT图像进行预处理包括：将肺部影像的HU值截取到区间[-1000, 400]，其中CT影像分辨率为1mm，对HU值进行二值化处理得到二值图像，限定图像像素值为[0，1]之间，获得标准CT影像。
3.根据权利要求1所述的一种基于多任务学习的肺结节假阳性筛查方法，其特征在于，步骤2所述的候选结节检测模型通过三维卷积神经网络构建，从标准CT影像中裁剪出尺寸为64mm *64mm *64mm的三维CT切片，并将三维CT切片输入到候选结节检测模型中获得候选结节位置。
4.根据权利要求1所述的一种基于多任务学习的肺结节假阳性筛查方法，其特征在于，步骤3中所述的多任务模型包括两个分支：主分支与次分支；所述主分支用于肺结节分类，所述次分支用于图像重构。
5.根据权利要求4所述的一种基于多任务学习的肺结节假阳性筛查方法，其特征在于，所述的多任务模型依次间隔排列的卷积层和池化层，所述的卷积层、池化层数量均为3个，所述的主分支包括依次设置的用于候选结节分类的两个全连接层和一个Sigmoid输出层，两个全连接层设置在最后一个池化层的后方；次分支包括依次间隔排列设置的用于重构出和输入图像尺寸相同图像的反池化层和反卷积层，其中反池化层、反卷积层的数量均为3个，所述的次分支设置在最后一个池化层的后方。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010961105.9A CN112116603A (zh) | 2020-09-14 | 2020-09-14 | 一种基于多任务学习的肺结节假阳性筛查方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010961105.9A CN112116603A (zh) | 2020-09-14 | 2020-09-14 | 一种基于多任务学习的肺结节假阳性筛查方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112116603A true CN112116603A (zh) | 2020-12-22 |
Family
ID=73801957
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010961105.9A Pending CN112116603A (zh) | 2020-09-14 | 2020-09-14 | 一种基于多任务学习的肺结节假阳性筛查方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112116603A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112669319A (zh) * | 2021-03-22 | 2021-04-16 | 四川大学 | 一种多视角多尺度淋巴结假阳性抑制建模方法 |
| CN112767355A (zh) * | 2021-01-20 | 2021-05-07 | 北京小白世纪网络科技有限公司 | 一种甲状腺结节Tirads分级自动识别模型构建方法及装置 |
| CN112836744A (zh) * | 2021-02-02 | 2021-05-25 | 北京小白世纪网络科技有限公司 | 一种基于ct切片的多模型假阳衰减的疾病分类方法及装置 |
| CN113066576A (zh) * | 2021-05-12 | 2021-07-02 | 北京大学深圳医院 | 一种基于三维掩模-区域卷积神经网络的肺癌筛查方法 |
| CN113177486A (zh) * | 2021-04-30 | 2021-07-27 | 重庆师范大学 | 基于区域建议网络的蜻蜓目昆虫识别方法 |
| CN114446474A (zh) * | 2021-12-25 | 2022-05-06 | 新瑞鹏宠物医疗集团有限公司 | 宠物疾病预警装置、方法、电子设备及存储介质 |
| CN114821250A (zh) * | 2022-03-23 | 2022-07-29 | 支付宝(杭州)信息技术有限公司 | 一种跨域的模型训练方法、装置以及设备 |
| CN115409815A (zh) * | 2022-09-02 | 2022-11-29 | 山东财经大学 | 一种基于三维可变形transformer的肺结节检测方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108670285A (zh) * | 2018-06-05 | 2018-10-19 | 胡晓云 | 一种ct肺结核检测人工智能诊疗系统 |
| CN108805209A (zh) * | 2018-06-14 | 2018-11-13 | 清华大学深圳研究生院 | 一种基于深度学习的肺结节筛查方法 |
| CN108830826A (zh) * | 2018-04-28 | 2018-11-16 | 四川大学 | 一种检测肺结节的系统及方法 |
| CN109035234A (zh) * | 2018-07-25 | 2018-12-18 | 腾讯科技（深圳）有限公司 | 一种结节检测方法、装置和存储介质 |
| CN109166104A (zh) * | 2018-08-01 | 2019-01-08 | 沈阳东软医疗系统有限公司 | 一种病变检测方法、装置及设备 |
| CN110136828A (zh) * | 2019-05-16 | 2019-08-16 | 杭州健培科技有限公司 | 一种基于深度学习实现医学影像多任务辅助诊断的方法 |
| WO2019238104A1 (zh) * | 2018-06-16 | 2019-12-19 | 深圳市前海安测信息技术有限公司 | 实现肺结节图像分类检测的计算机装置及方法 |
| CN110599483A (zh) * | 2019-09-19 | 2019-12-20 | 慧影医疗科技（北京）有限公司 | 肺部病灶检测装置、检测设备及可读存储介质 |
| CN111311589A (zh) * | 2020-03-05 | 2020-06-19 | 上海市肺科医院（上海市职业病防治院） | 一种肺部结节检测及性质判定系统及方法 |
-
2020
- 2020-09-14 CN CN202010961105.9A patent/CN112116603A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108830826A (zh) * | 2018-04-28 | 2018-11-16 | 四川大学 | 一种检测肺结节的系统及方法 |
| CN108670285A (zh) * | 2018-06-05 | 2018-10-19 | 胡晓云 | 一种ct肺结核检测人工智能诊疗系统 |
| CN108805209A (zh) * | 2018-06-14 | 2018-11-13 | 清华大学深圳研究生院 | 一种基于深度学习的肺结节筛查方法 |
| WO2019238104A1 (zh) * | 2018-06-16 | 2019-12-19 | 深圳市前海安测信息技术有限公司 | 实现肺结节图像分类检测的计算机装置及方法 |
| CN109035234A (zh) * | 2018-07-25 | 2018-12-18 | 腾讯科技（深圳）有限公司 | 一种结节检测方法、装置和存储介质 |
| CN109166104A (zh) * | 2018-08-01 | 2019-01-08 | 沈阳东软医疗系统有限公司 | 一种病变检测方法、装置及设备 |
| CN110136828A (zh) * | 2019-05-16 | 2019-08-16 | 杭州健培科技有限公司 | 一种基于深度学习实现医学影像多任务辅助诊断的方法 |
| CN110599483A (zh) * | 2019-09-19 | 2019-12-20 | 慧影医疗科技（北京）有限公司 | 肺部病灶检测装置、检测设备及可读存储介质 |
| CN111311589A (zh) * | 2020-03-05 | 2020-06-19 | 上海市肺科医院（上海市职业病防治院） | 一种肺部结节检测及性质判定系统及方法 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112767355A (zh) * | 2021-01-20 | 2021-05-07 | 北京小白世纪网络科技有限公司 | 一种甲状腺结节Tirads分级自动识别模型构建方法及装置 |
| CN112836744A (zh) * | 2021-02-02 | 2021-05-25 | 北京小白世纪网络科技有限公司 | 一种基于ct切片的多模型假阳衰减的疾病分类方法及装置 |
| CN112669319A (zh) * | 2021-03-22 | 2021-04-16 | 四川大学 | 一种多视角多尺度淋巴结假阳性抑制建模方法 |
| CN113177486A (zh) * | 2021-04-30 | 2021-07-27 | 重庆师范大学 | 基于区域建议网络的蜻蜓目昆虫识别方法 |
| CN113177486B (zh) * | 2021-04-30 | 2022-06-03 | 重庆师范大学 | 基于区域建议网络的蜻蜓目昆虫识别方法 |
| CN113066576A (zh) * | 2021-05-12 | 2021-07-02 | 北京大学深圳医院 | 一种基于三维掩模-区域卷积神经网络的肺癌筛查方法 |
| CN114446474A (zh) * | 2021-12-25 | 2022-05-06 | 新瑞鹏宠物医疗集团有限公司 | 宠物疾病预警装置、方法、电子设备及存储介质 |
| CN114821250A (zh) * | 2022-03-23 | 2022-07-29 | 支付宝(杭州)信息技术有限公司 | 一种跨域的模型训练方法、装置以及设备 |
| CN115409815A (zh) * | 2022-09-02 | 2022-11-29 | 山东财经大学 | 一种基于三维可变形transformer的肺结节检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112116603A (zh) | 一种基于多任务学习的肺结节假阳性筛查方法 | |
| CN107016665B (zh) | 一种基于深度卷积神经网络的ct肺结节检测方法 | |
| CN107886514B (zh) | 基于深度残差网络的乳腺钼靶图像肿块语义分割方法 | |
| CN110942446A (zh) | 一种基于ct影像的肺结节自动检测方法 | |
| Elakkiya et al. | Imaging based cervical cancer diagnostics using small object detection-generative adversarial networks | |
| CN110490892A (zh) | 一种基于USFaster R-CNN的甲状腺超声图像结节自动定位识别方法 | |
| CN112380900A (zh) | 基于深度学习的子宫颈液基细胞数字图像分类方法及系统 | |
| US20210216745A1 (en) | Cell Detection Studio: a system for the development of Deep Learning Neural Networks Algorithms for cell detection and quantification from Whole Slide Images | |
| CN112329871B (zh) | 一种基于自校正卷积与通道注意力机制的肺结节检测方法 | |
| Xu et al. | An improved faster R-CNN algorithm for assisted detection of lung nodules | |
| CN112132166A (zh) | 一种数字细胞病理图像智能分析方法、系统及装置 | |
| CN112215799A (zh) | 一种磨玻璃肺结节自动分类方法及系统 | |
| CN112508884A (zh) | 一种癌变区域综合检测装置及方法 | |
| CN114600155A (zh) | 用于细胞检测和分割的弱监督多任务学习 | |
| CN112700461A (zh) | 一种肺结节检测和表征类别识别的系统 | |
| CN114445356A (zh) | 基于多分辨率的全视野病理切片图像肿瘤快速定位方法 | |
| CN116883341A (zh) | 一种基于深度学习的肝脏肿瘤ct图像自动分割方法 | |
| Chengdong et al. | Establishing and validating a spotted tongue recognition and extraction model based on multiscale convolutional neural network | |
| CN115661029A (zh) | 基于YOLOv5的肺结节检测与识别系统 | |
| CN111724356B (zh) | 一种用于ct影像肺炎识别的图像处理方法和系统 | |
| CN116468690B (zh) | 基于深度学习的浸润性非粘液性肺腺癌的亚型分析系统 | |
| Cao et al. | 3D convolutional neural networks fusion model for lung nodule detection onclinical CT scans | |
| CN117474876A (zh) | 基于深度学习的肾癌亚型辅助诊断及不确定性评估方法 | |
| CN117036288A (zh) | 一种面向全切片病理图像的肿瘤亚型诊断方法 | |
| CN115527204A (zh) | 一种框架辅助肝癌组织全幻灯片的肿瘤微环境分析方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201222 |