CN114757902A - 一种基于多任务学习的肺结节检测分割方法 - Google Patents
一种基于多任务学习的肺结节检测分割方法 Download PDFInfo
- Publication number
- CN114757902A CN114757902A CN202210351676.XA CN202210351676A CN114757902A CN 114757902 A CN114757902 A CN 114757902A CN 202210351676 A CN202210351676 A CN 202210351676A CN 114757902 A CN114757902 A CN 114757902A
- Authority
- CN
- China
- Prior art keywords
- lung
- network
- segmentation
- lung nodule
- nodule
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 76
- 238000001514 detection method Methods 0.000 title claims abstract description 30
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000002685 pulmonary effect Effects 0.000 title claims description 10
- 206010056342 Pulmonary mass Diseases 0.000 claims abstract description 97
- 238000000605 extraction Methods 0.000 claims abstract description 33
- 210000004072 lung Anatomy 0.000 claims description 56
- 238000012549 training Methods 0.000 claims description 17
- 238000002372 labelling Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 12
- 230000000877 morphologic effect Effects 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 6
- 238000012952 Resampling Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 230000001629 suppression Effects 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000002591 computed tomography Methods 0.000 description 13
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 7
- 201000005202 lung cancer Diseases 0.000 description 7
- 208000020816 lung neoplasm Diseases 0.000 description 7
- 210000001519 tissue Anatomy 0.000 description 4
- 230000005855 radiation Effects 0.000 description 3
- 230000004083 survival effect Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 206010054107 Nodule Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000002498 deadly effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 210000004224 pleura Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种基于多任务学习的肺结节检测分割方法，该方法采用多任务学习策略，引入分割任务辅助肺结节检测。考虑到模型复杂度，在相对简单的主干网络上引入肺结节分割模块。所提出模型包含三个分支，分别用于肺结节候选区域提取、假阳性去除和肺结节分割，同时，利用不同特征图解耦候选区域分割分支和假阳性去除分支。本发明克服了肺结节检测与分割任务中目标体积小、与周围组织对比度低且周围环境复杂的问题。此外，本发明所提出的技术可以同时解决两个任务，具有较高的应用价值。
Description
技术领域
本发明属于模式识别技术领域，具体涉及一种肺结节检测分割方法。
背景技术
在世界范围内，肺癌都是最常见和致死人数最多的癌症之一。研究表明，如果肺癌患者能在早期被发现并得到治疗，其五年存活率可以达到60％；然而，临床数据显示肺癌的五年存活率仅为19％，尤其是，如果病人是在第四期确诊，其五年存活率仅有5％。由此可见，早期诊断对于挽救肺癌患者的生命起着至关重要的作用。肺癌的早期形态大多表现为肺部的恶性结节，使用计算机断层扫描(Computed Tomography，CT)进行肺结节筛查可以将肺癌患者的死亡率降低20％。然而，由于肺结节体积很小，形态变化较大、与周围组织的对比度低且一些肺结节附着在胸膜和血管上，导致肺结节检测与分割变得异常困难。
与此同时，经过多年的发展，深度学习的相关算法在计算机视觉领域取得了显著的成果。其中基于深度学习技术的经典模型Faster R-CNN、FCN等被广泛应用于目标检测和分割任务。如He等人通过结合Faster R-CNN和FCN的思想，利用一个网络同时解决目标检测和分割问题。
发明内容
为了克服现有技术的不足，本发明提供了一种基于多任务学习的肺结节检测分割方法，该方法采用多任务学习策略，引入分割任务辅助肺结节检测。考虑到模型复杂度，在相对简单的主干网络上引入肺结节分割模块。所提出模型包含三个分支，分别用于肺结节候选区域提取、假阳性去除和肺结节分割，同时，利用不同特征图解耦候选区域分割分支和假阳性去除分支。本发明克服了肺结节检测与分割任务中目标体积小、与周围组织对比度低且周围环境复杂的问题。此外，本发明所提出的技术可以同时解决两个任务，具有较高的应用价值。
本发明解决其技术问题所采用的技术方案包括如下步骤：
步骤1：数据预处理
步骤1-1：通过线性插值将数据集中的原始CT图像重采样为空间分辨率为1mm×1mm×1mm；
步骤1-2：使用阈值法对重采样后的CT图像二值化，像素值小于400的记为1，反之记为0；
步骤1-3：清除肺部边界区域，将肺部外面区域像素值置为0；
步骤1-4：保留肺部区域中的两个最大的连通域，此即为左右肺部；
步骤1-5：对得到的两个连通域，采用半径为10的圆形结构进行形态学闭操作，填充肺部中的细小的空洞；
步骤1-6：接着采用半径为10的圆形结构对肺部区域进行形态学膨胀操作，得到肺部掩码图像；
步骤1-7：将原始CT图像与得到的肺部掩码图像相乘即得到肺实质图像的分割结果；
步骤1-8：以[-1000,600]为阈值对肺实质体素值进行截断处理，然后将截断后的值映射到0～1之间，计算公式如下：
其中，v表示肺实质体素值；
步骤2：构建检测与分割模型；
步骤2-1：将经过步骤1预处理步骤得到的肺实质图像切割成多个大小为d×h×w的数据块图像，作为训练样本，d、h、w分别为数据块图像的深度、高度和宽度；
检测与分割模型包括特征提取网络、肺结节候选区域分割网络、假阳性去除网络和肺结节分割网络；
步骤2-2：特征提取网络：
所述特征提取网络为U型结构神经网络，包含编码器和解码器两部分；将训练样本输入特征提取网络，经过res_1、res_2、res_3、res_4、dres_1、dres_2层，得到大小为d/2×h/2×w/2的特征图；
步骤2-3：肺结节候选区域分割网络：
首先使用一个卷积核大小为3×3×3，填充量为1，步长为1的卷积对特征提取网络输出的特征图进行卷积；接着使用两个并行的大小为1×1×1的卷积核分别生成包含肺结节的边界框的预测值和分类概率，边界框和分类概率分别代表肺结节候选区域的位置和属于肺结节的概率；
步骤2-4：假阳性去除网络；
使用步骤2-3得到的边界框从特征提取网络的res_2层输出的特征图中提取候选肺结节区域，再采用3D ROI Align从候选肺结节区域中选取感兴趣区域，然后采用感兴趣对齐方法将提取到的感兴趣区域缩放到统一尺度，接着再经过一个3×3×3大小的卷积核处理，最后再输入到三个串行的全连接网络中，得到修正后的属于肺结节的概率和肺结节位置；
步骤2-5：肺结节分割网络
对特征提取网络的dres_2层输出的特征图进行上采样，得到大小为d/2×h/2×w/2的特征图，然后与从特征提取网络的res_1层得到的特征图进行拼接，并执行卷积操作，接下来再执行上采样操作，得到大小为d×h×w的特征图，再和训练样本进行拼接，并使用1×1×1大小的卷积进行操作，最后经过激活函数即得到最终的肺结节分割结果；
步骤3：模型训练；
整个网络采用端到端的方式进行训练；对于肺结节候选区域分割网络，当预测的边界框和真实的标注框之间的交并比大于等于0.5时，则判定网络检测到的是一个真的肺结节，当预测的边界框和真实的标注框之间的交并比值小于0.1时，则判定不是肺结节；当不存在预测的边界框和真实的标注框之间的交并比大于等于0.5时，则将最大交并比的预测框作为候选肺结节，再采用非极大值抑制来去除多余的候选肺结节；
检测与分割模型的肺结节候选区域分割网络、假阳性去除网络和肺结节分割网络共享特征提取网络，检测与分割模型的总损失函数为肺结节候选区域分割网络、假阳性去除网络和肺结节分割网络三个网络的损失函数之和。
优选地，所述d＝64,h＝64,w＝64。
本发明的有益效果如下：
本发明克服了肺结节检测与分割任务中目标体积小、与周围组织对比度低且周围环境复杂的问题。此外，本发明所提出的技术可以同时解决两个任务，具有较高的应用价值。
附图说明
图1是本发明方法的结构框图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
一种基于多任务学习的肺结节检测分割方法，包括如下步骤：
步骤1：数据预处理
步骤1-1：通过线性插值将数据集中的原始CT图像重采样为空间分辨率为1mm×1mm×1mm；
步骤1-2：使用阈值法对重采样后的CT图像二值化，像素值小于400的记为1，反之记为0；
步骤1-3：清除肺部边界区域，将肺部外面区域像素值置为0；
步骤1-4：保留肺部区域中的两个最大的连通域，此即为左右肺部；
步骤1-5：对得到的两个连通域，采用半径为10的圆形结构进行形态学闭操作，填充肺部中的细小的空洞；
步骤1-6：接着采用半径为10的圆形结构对肺部区域进行形态学膨胀操作，得到肺部掩码图像；
步骤1-7：将原始CT图像与得到的肺部掩码图像相乘即得到肺实质图像的分割结果；
步骤1-8：以[-1000,600]为阈值对肺实质体素值进行截断处理，然后将截断后的值映射到0～1之间，计算公式如下：
其中，v表示肺实质体素值；
步骤2：构建检测与分割模型；
步骤2-1：将经过步骤1预处理步骤得到的肺实质图像切割成多个大小为d×h×w的数据块图像，作为训练样本，d、h、w分别为数据块图像的深度、高度和宽度；
检测与分割模型包括特征提取网络、肺结节候选区域分割网络、假阳性去除网络和肺结节分割网络；
步骤2-2：特征提取网络：
所述特征提取网络为U型结构神经网络，包含编码器和解码器两部分；将训练样本输入特征提取网络，经过res_1、res_2、res_3、res_4、dres_1、dres_2层，得到大小为d/2×h/2×w/2的特征图；
步骤2-3：肺结节候选区域分割网络：
首先使用一个卷积核大小为3×3×3，填充量为1，步长为1的卷积对特征提取网络输出的特征图进行卷积；接着使用两个并行的大小为1×1×1的卷积核分别生成包含肺结节的边界框的预测值和分类概率，边界框和分类概率分别代表肺结节候选区域的位置和属于肺结节的概率；
步骤2-4：假阳性去除网络；
使用步骤2-3得到的边界框从特征提取网络的res_2层输出的特征图中提取候选肺结节区域，再采用3D ROI Align从候选肺结节区域中选取感兴趣区域，然后采用感兴趣对齐方法将提取到的感兴趣区域缩放到统一尺度，接着再经过一个3×3×3大小的卷积核处理，最后再输入到三个串行的全连接网络中，得到修正后的属于肺结节的概率和肺结节位置；
步骤2-5：肺结节分割网络
对特征提取网络的dres_2层输出的特征图进行上采样，得到大小为d/2×h/2×w/2的特征图，然后与从特征提取网络的res_1层得到的特征图进行拼接，并执行卷积操作，接下来再执行上采样操作，得到大小为d×h×w的特征图，再和训练样本进行拼接，并使用1×1×1大小的卷积进行操作，最后经过激活函数即得到最终的肺结节分割结果；
步骤3：模型训练；
整个网络采用端到端的方式进行训练；对于肺结节候选区域分割网络，当预测的边界框和真实的标注框之间的交并比大于等于0.5时，则判定网络检测到的是一个真的肺结节，当预测的边界框和真实的标注框之间的交并比值小于0.1时，则判定不是肺结节；当不存在预测的边界框和真实的标注框之间的交并比大于等于0.5时，则将最大交并比的预测框作为候选肺结节，再采用非极大值抑制来去除多余的候选肺结节；
检测与分割模型的肺结节候选区域分割网络、假阳性去除网络和肺结节分割网络共享特征提取网络，检测与分割模型的总损失函数为肺结节候选区域分割网络、假阳性去除网络和肺结节分割网络三个网络的损失函数之和。
优选地，所述d＝64,h＝64,w＝64。
具体实施例：
1、数据预处理
为了降低肺结节检测复杂度并提高精度，需要首先对肺实质进行分割，采用阈值法和形态学操作，主要步骤包括：
1)首先对CT图像进行重采样，通过线性插值将CT影像重采样为空间分辨率为1mm×1mm×1mm；
2)使用阈值法对重采样后的CT图像二值化，小于400的记为1，反之记为0；
3)清除肺部边界区域，将肺部外面区域置为0；
4)寻找上述得到的肺部中的连通区域并标记，然后保留上述肺部区域中的两个最大的连通域，此即为左右肺部；
5)对得到的两个连通域，采用半径为10的圆形结构进行形态学闭操作，填充肺部中的细小的空洞
6)接着采用半径为10的圆形结构对肺部区域进行形态学膨胀操作，使得到的肺部掩码包含尽可能多的肺部组织；
7)将原始图像与得到的肺部掩码相乘即可得到肺实质的分割结果。
经上述步骤分割得到的肺实质放射剂量仍在[1000,3000]之间，而放射剂量大于600的部分均为不同密度的骨头，此部分对于肺结节的检测没有影响，因此需要对肺实质的体素值进行归一化处理。首先使用[-1000,600]为阈值对放射值进行截断处理，然后将截断后的值映射到0～1之间，计算公式如下：
2、模型检测和分割
将经过预处理步骤得到的肺实质切割成大小为64×64×64的数据块，并输入到网络中进行训练。具体网络结构如图1所示。所提出的网络整体上包含三个分支，分别是：肺结节候选区域选取，肺结节假阳性去除和肺结节分割。为了解决肺结节候选区域分割分支和假阳性去除分支之间的特征耦合问题，所提出的网络的假阳性去除分支选取特征提取网络早期阶段的特征，而不是和肺结节候选区域分割部分使用相同的特征。网络的三个分支共享同一个特征提取框架，且整个网络是端到端的，网络的损失函数为三个部分的损失函数之和。
1)特征提取网络：
特征提取网络整体上是一个U型结构的网络，包含编码器和解码器两部分。对任意一张输入图像，经过特征提取网络即可得到大小为原始输入图像1/4的特征图，这些特征图将用于后续任务。
2)肺结节候选区域选取：
为了从特征图中得到所需要的肺结节候选区域，首先使用一个卷积核大小为3×3×3，填充量为1，步长为1的卷积对此特征图进行卷积；接着使用两个并行的大小为1×1×1的卷积核来生成分类的概率和一个边界框(一个6元组(z,x,y,d,h,w)，分别表示预测得到的三维边界框的中心点坐标和厚度，高度和宽度)的预测值，这两组数据即代表肺结节候选区域的位置和属于肺结节的概率。
3)假阳性去除：
根据肺结节候选区域分割步骤得到的检测框从res_2部分提取候选肺结节区域，采用3D ROI Align选取感兴趣区域，然后采用感兴趣对齐将选取到的感兴趣区域缩放到统一尺度，接着用一个3×3×3大小的卷积核对其进行卷积操作，最后将得到的特征输入到三个串行的全连接网络中，得到修正后的类别概率和位置。
4)肺结节分割
肺结节分割是在原始的CT图像尺度上进行的，通过对裁剪后的高级特征图(dres_2)逐一进行上采样，并和底层上的强语义特征拼接，并得到最终的分割结果。首先对从dres_2中裁剪得到的特征图进行上采样，得到大小为d/2×h/2×w/2大小的特征图，然后将从res_1部分得到的相同大小的特征图进行拼接，并执行卷积等操作，接下来再执行上采样操作，得到大小为d×h×w的特征图，并和从原始CT图像中裁剪得到的同样大小的数据块进行拼接，并使用1×1×1大小的卷积进行操作，最后经过激活函数即可得到最终的分割结果。
3、训练阶段：
整个网络采用端到端的方式进行训练。对于肺结节候选区域分割网络来说，当预测的边界框和真实的标注框之间的交并比大于等于0.5时，认为网络检测到的是一个真的肺结节，当和真实标注之间的交并比值小于0.1时，认为不是肺结节。为了保证尽可能多地检测出肺结节，对于任何一个真实标注框来说，当不存在预测的值和真实值之间的交并比大于等于0.5时，则认为和真实标注有最大交并比的预测框为候选肺结节。之后用非极大值抑制来去除多余的候选框。
4、测试阶段：
对于任意输入图像，同样将其切块后输入到训练好的模型中，从而预测其中是否包含肺结节、肺结节的位置和置信度以及肺结节的边界等信息。
Claims (2)
1.一种基于多任务学习的肺结节检测分割方法，其特征在于，包括如下步骤：
步骤1：数据预处理
步骤1-1：通过线性插值将数据集中的原始CT图像重采样为空间分辨率为1mm×1mm×1mm；
步骤1-2：使用阈值法对重采样后的CT图像二值化，像素值小于400的记为1，反之记为0；
步骤1-3：清除肺部边界区域，将肺部外面区域像素值置为0；
步骤1-4：保留肺部区域中的两个最大的连通域，此即为左右肺部；
步骤1-5：对得到的两个连通域，采用半径为10的圆形结构进行形态学闭操作，填充肺部中的细小的空洞；
步骤1-6：接着采用半径为10的圆形结构对肺部区域进行形态学膨胀操作，得到肺部掩码图像；
步骤1-7：将原始CT图像与得到的肺部掩码图像相乘即得到肺实质图像的分割结果；
步骤1-8：以[-1000,600]为阈值对肺实质体素值进行截断处理，然后将截断后的值映射到0～1之间，计算公式如下：
其中，v表示肺实质体素值；
步骤2：构建检测与分割模型；
步骤2-1：将经过步骤1预处理步骤得到的肺实质图像切割成多个大小为d×h×w的数据块图像，作为训练样本，d、h、w分别为数据块图像的深度、高度和宽度；
检测与分割模型包括特征提取网络、肺结节候选区域分割网络、假阳性去除网络和肺结节分割网络；
步骤2-2：特征提取网络：
所述特征提取网络为U型结构神经网络，包含编码器和解码器两部分；将训练样本输入特征提取网络，经过res_1、res_2、res_3、res_4、dres_1、dres_2层，得到大小为d/2×h/2×w/2的特征图；
步骤2-3：肺结节候选区域分割网络：
首先使用一个卷积核大小为3×3×3，填充量为1，步长为1的卷积对特征提取网络输出的特征图进行卷积；接着使用两个并行的大小为1×1×1的卷积核分别生成包含肺结节的边界框的预测值和分类概率，边界框和分类概率分别代表肺结节候选区域的位置和属于肺结节的概率；
步骤2-4：假阳性去除网络；
使用步骤2-3得到的边界框从特征提取网络的res_2层输出的特征图中提取候选肺结节区域，再采用3D ROI Align从候选肺结节区域中选取感兴趣区域，然后采用感兴趣对齐方法将提取到的感兴趣区域缩放到统一尺度，接着再经过一个3×3×3大小的卷积核处理，最后再输入到三个串行的全连接网络中，得到修正后的属于肺结节的概率和肺结节位置；
步骤2-5：肺结节分割网络
对特征提取网络的dres_2层输出的特征图进行上采样，得到大小为d/2×h/2×w/2的特征图，然后与从特征提取网络的res_1层得到的特征图进行拼接，并执行卷积操作，接下来再执行上采样操作，得到大小为d×h×w的特征图，再和训练样本进行拼接，并使用1×1×1大小的卷积进行操作，最后经过激活函数即得到最终的肺结节分割结果；
步骤3：模型训练；
整个网络采用端到端的方式进行训练；对于肺结节候选区域分割网络，当预测的边界框和真实的标注框之间的交并比大于等于0.5时，则判定网络检测到的是一个真的肺结节，当预测的边界框和真实的标注框之间的交并比值小于0.1时，则判定不是肺结节；当不存在预测的边界框和真实的标注框之间的交并比大于等于0.5时，则将最大交并比的预测框作为候选肺结节，再采用非极大值抑制来去除多余的候选肺结节；
检测与分割模型的肺结节候选区域分割网络、假阳性去除网络和肺结节分割网络共享特征提取网络，检测与分割模型的总损失函数为肺结节候选区域分割网络、假阳性去除网络和肺结节分割网络三个网络的损失函数之和。
2.根据权利要求1所述的一种基于多任务学习的肺结节检测分割方法，其特征在于，所述d＝64,h＝64,w＝64。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210351676.XA CN114757902A (zh) | 2022-04-02 | 2022-04-02 | 一种基于多任务学习的肺结节检测分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210351676.XA CN114757902A (zh) | 2022-04-02 | 2022-04-02 | 一种基于多任务学习的肺结节检测分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114757902A true CN114757902A (zh) | 2022-07-15 |
Family
ID=82328465
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210351676.XA Withdrawn CN114757902A (zh) | 2022-04-02 | 2022-04-02 | 一种基于多任务学习的肺结节检测分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114757902A (zh) |
-
2022
- 2022-04-02 CN CN202210351676.XA patent/CN114757902A/zh not_active Withdrawn
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8319793B2 (en) | Analyzing pixel data by imprinting objects of a computer-implemented network structure into other objects | |
| US7801361B2 (en) | Analyzing pixel data using image, thematic and object layers of a computer-implemented network structure | |
| JP2023550844A (ja) | 深層形状学習に基づく肝臓ｃｔ自動分割方法 | |
| US7295870B2 (en) | Method for the detection and automatic characterization of nodules in a tomographic image and a system of medical imaging by tomodensimetry | |
| CN112991365B (zh) | 一种冠状动脉分割方法、系统及存储介质 | |
| Ye et al. | Automatic graph cut segmentation of lesions in CT using mean shift superpixels | |
| US20090252429A1 (en) | System and method for displaying results of an image processing system that has multiple results to allow selection for subsequent image processing | |
| CN112446892A (zh) | 一种基于注意力学习的细胞核分割方法 | |
| CN111598875A (zh) | 甲状腺结节自动检测模型构建方法、系统及装置 | |
| CN112365973B (zh) | 基于对抗网络和Faster R-CNN的肺结节辅助诊断系统 | |
| CN112734755A (zh) | 基于3d全卷积神经网络与多任务学习的肺叶分割方法 | |
| CN112102275B (zh) | 肺主动脉血管图像提取方法、装置、存储介质及电子设备 | |
| CN113223005B (zh) | 一种甲状腺结节自动分割及分级的智能系统 | |
| CN111402254A (zh) | 一种ct图像肺结节高性能自动检测方法及装置 | |
| US20050001832A1 (en) | Method for local surface smoothing with application to chest wall nodule segmentation in lung CT data | |
| CN111275712A (zh) | 一种面向大尺度图像数据的残差语义网络训练方法 | |
| CN114283165A (zh) | 肺结节的智能影像处理系统 | |
| CN111784638A (zh) | 一种基于卷积神经网络的肺结节假阳性筛除方法及系统 | |
| CN113724267B (zh) | 一种乳腺超声图像肿瘤分割方法及装置 | |
| US6891922B2 (en) | Methods and apparatus for the classification of nodules | |
| WO2005029410A1 (en) | Method and system for ground glass nodule (ggn) segmentation with shape analysis | |
| CN115631194B (zh) | 颅内动脉瘤识别检测的方法、装置、设备及介质 | |
| CN116883341A (zh) | 一种基于深度学习的肝脏肿瘤ct图像自动分割方法 | |
| CN114757902A (zh) | 一种基于多任务学习的肺结节检测分割方法 | |
| CN113379691B (zh) | 一种基于先验引导的乳腺病灶深度学习分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20220715 |
|
| WW01 | Invention patent application withdrawn after publication |