CN113610807A - 基于弱监督多任务学习的新冠肺炎分割方法 - Google Patents
基于弱监督多任务学习的新冠肺炎分割方法 Download PDFInfo
- Publication number
- CN113610807A CN113610807A CN202110907227.4A CN202110907227A CN113610807A CN 113610807 A CN113610807 A CN 113610807A CN 202110907227 A CN202110907227 A CN 202110907227A CN 113610807 A CN113610807 A CN 113610807A
- Authority
- CN
- China
- Prior art keywords
- network
- segmentation
- loss
- convolution kernel
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 117
- 238000000034 method Methods 0.000 title claims abstract description 56
- 206010035664 Pneumonia Diseases 0.000 title claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 27
- 238000012360 testing method Methods 0.000 claims abstract description 19
- 238000012795 verification Methods 0.000 claims abstract description 7
- 238000012952 Resampling Methods 0.000 claims abstract description 6
- 238000002591 computed tomography Methods 0.000 claims description 43
- 230000006870 function Effects 0.000 claims description 26
- 239000011800 void material Substances 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 6
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 4
- 238000010200 validation analysis Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 230000000644 propagated effect Effects 0.000 claims description 2
- 230000003902 lesion Effects 0.000 abstract description 35
- 230000000694 effects Effects 0.000 abstract description 16
- 210000004072 lung Anatomy 0.000 abstract description 7
- 208000025721 COVID-19 Diseases 0.000 description 12
- 238000004088 simulation Methods 0.000 description 7
- 230000035945 sensitivity Effects 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 5
- 238000003757 reverse transcription PCR Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000000750 progressive effect Effects 0.000 description 3
- 206010037660 Pyrexia Diseases 0.000 description 2
- 241000700605 Viruses Species 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 208000015181 infectious disease Diseases 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000002685 pulmonary effect Effects 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000031504 Asymptomatic Infections Diseases 0.000 description 1
- 206010011224 Cough Diseases 0.000 description 1
- 208000000059 Dyspnea Diseases 0.000 description 1
- 206010013975 Dyspnoeas Diseases 0.000 description 1
- 206010017964 Gastrointestinal infection Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000621 bronchi Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000011976 chest X-ray Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000000586 desensitisation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 241001493065 dsRNA viruses Species 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 206010016256 fatigue Diseases 0.000 description 1
- 239000005337 ground glass Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000002773 nucleotide Substances 0.000 description 1
- 125000003729 nucleotide group Chemical group 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 208000023504 respiratory system disease Diseases 0.000 description 1
- 229920002477 rna polymer Polymers 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000008719 thickening Effects 0.000 description 1
- 230000003612 virological effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于弱监督多任务学习的新冠肺炎病灶分割方法，主要解决现有方法对不同临床等级患者的影像差异大、分割结果差的问题。其方案是：获取新冠肺炎患者的CT影像数据进行重采样和直方图匹配，划分出训练集、验证集、测试集；设计多尺度卷积模块HMS，以替代现有3D ResUNet分割网络最后两层编码层中的卷积层，并在该网络中增加分类网络，构建基于弱监督多任务学习的新冠肺炎病灶分割网络；用训练集训练该网络并用验证集选择效果最好的训练后模型；将测试集输入到最终训练后模型得到分割结果。本发明能使网络学习到更鲁棒的病灶特征，有效提升不同临床等级患者的病灶分割效果，可用于新冠肺炎肺部CT影像的病灶识别。
Description
技术领域
本发明是属于图像处理技术领域，特别涉及一种新冠肺炎病灶分割方法，可用于新冠肺炎肺部CT影像中的病灶识别。
背景技术
新冠肺炎（COVID-19）是一种传染性极高的呼吸系统疾病。新冠肺炎是由属于核糖核酸RNA病毒家族的病毒引起的，并引起各种症状，例如肺炎，发烧，呼吸困难和肺部感染。COVID-19的临床症状包括发烧，疲劳，咳嗽，其中一些患有胃肠道感染。在老年人中，传播速度很快，患有疾病的人更容易受到病毒的攻击。患者的平均年龄为47-59岁及以上，其中41.9–45.7％是女性病例。
为了对病人进行准确的COVID-19测量，一些咽拭子的测试方法被研究并大规模使用。逆转录聚合酶链反应RT-PCR是从口咽拭子，鼻咽拭子，支气管肺泡灌洗液或气管抽吸物中获得的标本中检测核苷酸的标准诊断方法之一。但是最近的研究表明，RT-PCR的灵敏度可能不足以检测，这可能归因于标本的质量、稳定性和病毒物质不足。另一方面，从COVID-19患者中获取的CT影像通常显示肺部出现双侧斑片状阴影或毛玻璃片混浊，CT已成为检测COVID-19重要补充工具。与RT-PCR测试相比，肺部CT相对易于操作，并且对筛查COVID- 19感染具有较高的敏感性。因此，CT可以作为早期诊断COVID-19的一种实用方法。但是随着确诊和疑似病例的COVID-19的增加，对大量新冠肺炎患者的CT数据进行阅片是一项繁琐而费力的工作。为了加快诊断速度，开发针对COVID-19CT感染区域的快速自动分割方法对于疾病评估至关重要。
最近针对肺部病灶感染区域的自动分割提出了大量的方法，如使用两阶段的分割方法，首先粗分割出病灶区域，再对粗分割的病灶区域进行精细分割；以及使用检测分割结合的方法，即先检测出病灶区域，再对检测的目标区域进行进一步分割，通过缩小分割的目标区域提升分割的性能。目前针对COVID-19的肺炎分割已经提出了几种基于深度学习的技术，如 Shi等人使用VB-Net和随机森林等技术处理COVID-19。Wang等人介绍了一种针对COVID- 19定制的深度卷积神经网络，称为COVID-Net，用于从胸部X射线图像中检测出COVID-19 病例。Gozes等人提出了一种利用2D和3D深度学习模型，修改现有深度网络模型并将其与临床理解相结合的系统。但是不同临床等级的病人CT影像表现差异较大，表现为病灶形状、尺寸、密度纹理等差异。现有的分割算法通常将不同的病灶区域作为一类标签处理，即在数据标注时不考虑病灶的形状、尺寸和图像特征，将所有的病灶区域划分为一类，导致不同类别数据进行无差别训练后网络对于不同类别的病灶学习受到不同病灶不同特征的干扰，影响最终分割效果。
与此同时，医生在对病人进行临床诊断时会结合不同病灶区域的表现进行综合判断。由于病灶的等级标签通常和病灶的表现较为相关，不同的病人等级对应的病灶表现差异较大，因此对于有不同类别的病人的分割任务来说，针对不同的表现需使用不同的模型或者有区别性的分割不同的病灶区域，而现有的分割方法没有对不同临床等级的病人进行区分，导致网络对易分的数据结果较好，对难分的数据结果较差，从而影响总体分割效果。
发明内容
本发明的目的在于针对现有技术的不足，提出一种基于弱监督多任务学习的新冠肺炎病灶分割方法，以对不同临床等级的病人进行区分，提升不同临床等级患者的病灶分割效果，尤其是明显提高对病灶表现不明显的难分数据分割效果。
为实现上述目的，本发明的技术方案包括如下：
(1)划分训练集、验证集和测试集：
(1a)获取新冠肺炎患者的计算机断层扫描CT影像数据，将计算机断层扫描CT影像数据通过重采样变换到分辨率为1mm×1mm×1mm的同一空间，并从中选择一个体素值分布均匀、图像清晰的CT影像数据作为模板；
(1b)通过直方图匹配将CT影像的其他数据匹配成与模版数据类似的分布，再将匹配后的CT影像数据按照3：1：1的比例随机划分训练集、验证集和测试集；
(2)构建基于弱监督多任务学习的分割网络WML-SegNet：
(2a)设计不同空洞率和不同尺寸卷积核构成多尺度卷积模块HMS，把现有3DResUNet 最后两层编码层中的卷积层替换成HMS；
(2b)在3D ResUNet下采样的最后一层依次连接两个反卷积模块、一个全连接层，构成分类子网络，并将该分类子网络与3D ResUNet上采样的分割子网络并行连接构成基于弱监督多任务学习的分割网络；
(2c)设定分割网络的损失函数：Lossall＝β1Lossseg+β2Lossclass，其中，β1是分割子网络的加权系数，Lossseg是分割子网络的损失函数，β2是分类子网络的加权系数，Lossclass是分类子网络的损失函数，β1＝β2＝1；
(3)对基于弱监督多任务学习的分割网络进行训练：
(3a)设置最大迭代次数为100；
(3b)将训练集输入到网络编码器中，得到训练集的特征图，将该特征图分别输入到(2b) 中的分割网络和分类网络中，得到分割结果和分类结果；
(3c)根据(3b)的两个结果与训练集的分割标签、类别标签，分别计算分割子网络的分割损失值和分类子网络的分类损失值，并将这两个损失值进行加权相加得到网络的整体损失值；
(3d)将(3c)的整体损失值进行反向传播，直到损失函数收敛，得到初步训练后的网络Wi， i为训练的迭代次数，i＝1,2,…,100；
(3e)对初步训练后的网络Wi循环执行(3b)-(3d)过程，每次迭代都将验证集输入到网络Wi中，得到分割结果、分割精度，直到迭代次数达到100时，停止训练，从中选择分割精度最高的网络作为最终训练好的网络W；
(4)将测试集输入到(3e)训练好的网络W中，得到测试集的分割结果、分割精度。
本发明与现有技术相比具有如下优点：
1.提升对不同类别病灶的分割性能。
本发明构建了基于弱监督多任务学习的新冠肺炎分割网络，能够有针对性地对不同数据学习，有效地提升不同类别病灶的分割效果，尤其是明显提升对早期新冠肺炎患者的病灶分割效果。
2.能够处理尺度形状差异大的病灶区域。
本发明通过设计不同空洞率和不同尺寸的卷积核引入多尺度卷积模块HMS，能够处理不同尺度和不同形状的病灶区域。
附图说明
图1是本发明的实现流程框图；
图2为新冠肺炎患者在早期、进展期、重症期、恢复期不同阶段的CT影像；
图3为分别用本发明和原始分割方法对早期新冠肺炎患者病灶区域的分割结果图；
图4为分别用本发明和原始分割方法对进展期新冠肺炎患者病灶区域的分割结果图。
具体实施方式
下面结合附图对本发明的实施例和效果作进一步详细描述。
参见图1，本实例的具体实现步骤包括如下：
步骤1，划分训练、验证和测试集。
1.1)从不同医院获取新冠肺炎患者的计算机断层扫描CT影像数据：
由于数据来自不同的医院，受制于不同医院的治疗水平的限制，收治的病人的病情分布不均匀，且大部分新冠肺炎患者的CT表现较轻，其收集的117例CT影像数据中无症状感染患者数据有3例，早期患者数据有56例，进展期患者数据有57例，重症患者数据仅有1例，且在数据采集时间内无恢复期患者数据；
1.2)对所有的CT影像数据进行重采样和直方图匹配：
由于不同医院的CT设备质量类型不一致，因而在进行实验前，需要对所有的CT影像数据进行重采样和直方图匹配，以保证所有CT影像数据的质量和分布的一致性，即先将计算机断层扫描CT影像数据通过重采样变换到分辨率为1mm×1mm×1mm的同一空间，使得所有数据的空间尺度信息保持一致，并从中选择一个体素值分布均匀、图像清晰的CT影像数据作为模板，再通过直方图匹配将CT影像的其他数据匹配成与模版数据类似的分布；
1.3)划分训练集、验证集、测试集：
将直方图匹配后的CT影像数据按照3：1：1的比例随机划分训练集、验证集和测试集。
步骤2，构建基于弱监督多任务学习的新冠肺炎病灶分割网络。
针对不同临床等级病人的病灶区域临床表现差异大导致不同的病人病灶区域分割结果差异大的问题，将病人的类别信息引入到分割网络中，设计了基于弱监督的分割网络，同时结合多任务学习机制，在分割网络中增加分类网络。其具体实现是：
2.1)设计由10个不同空洞率和不同尺寸卷积核构成多尺度卷积模块HMS：
每三个卷积核串行连接得到三个级联支路，这三者并行连接后再与第十个卷积核串行连接，其中：
第一个卷积核的空洞率d＝2、卷积核大小为3×3×3，
第二个卷积核的空洞率d＝4、卷积核大小为3×3×3，
第三个卷积核的空洞率d＝6、卷积核大小为3×3×3，
第四个卷积核的空洞率d＝2、卷积核大小为5×5×5，
第五个卷积核的空洞率d＝4、卷积核大小为5×5×5，
第六个卷积核的空洞率d＝6、卷积核大小为5×5×5，
第七个卷积核的空洞率d＝1、卷积核大小为1×1×1，
第八个卷积核的空洞率d＝1、卷积核大小为3×3×3，
第九个卷积核的空洞率d＝1、卷积核大小为5×5×5，
第十个卷积核大小为1×1×1；
2.2)将现有的分割网络3D ResUNet的最后两层编码层中的卷积层替换成2.1)构建的多尺度卷积模块HMS；
2.3)设计反卷积模块，其由一个残差块、一个3D反卷积块级联组成，其中：
所述残差块，由一个卷积核大小为3×3×1的卷积核与一个卷积核大小为1×1×3的卷积核并行连接，再与一个卷积核大小为1×1×1的卷积核串行连接组成；
所述3D反卷积块，由反卷积层、批量归一化层、激活层串行连接组成；
2.4)设计全连接层为softmax层；
2.5)将2.3)设计的两个反卷积模块和2.4)设计的一个全连接层依次连接在3DResUNet 下采样的最后一层构成分类子网络，并将该分类子网络与3D ResUNet上采样的分割子网络并行连接，构成基于弱监督多任务学习的新冠肺炎病灶分割网络。
步骤3，对基于弱监督多任务学习的新冠肺炎病灶分割网络进行训练。
3.1)设最大迭代次数为100，初始学习率为0.001，每批次处理的数据个数为2，设在分割和分类网络反向传播过程中的参数学习使用的优化器为Adam优化器；
3.2)设分割子网络的损失函数Lossseg为骰子损失函数Lossdice和加权交叉熵损失函数 Losswce之和，表示如下：
Lossseg＝λ1Lossdice+λ2Losswce
其中，λ1是骰子损失函数Lossdice的权重系数，λ2是加权交叉熵损失函数Losswce的权重系数，λ1＝1，λ2＝100；
式中，M表示最大标签类别数目，c表示类别序号，Q表示像素点总个数，n表示像素点序号，ε＝10-5，pcn表示第n个像素点属于第c类的概率值，gcn表示第n个像素点的真实标签，若第n个像素点属于第c类，则gcn＝1，否则gcn＝0；
3.3)设分类子网络的损失函数Lossclass为交叉熵损失函数Lossce，表示如下：
Lossclass＝Lossce
其中，
是交叉熵损失函数，M表示最大标签类别数目，c 表示类别序号，Q表示像素点总个数，n表示像素点序号，pcn表示第n个像素点属于第c类的概率值，gcn表示第n个像素点的真实标签，若第n个像素点属于第c类，则gcn＝1，否则gcn＝0；
3.4)将训练集输入到步骤2构建好的网络中，得到训练集的分割结果和分类结果；
3.5)根据3.4)的两个结果与训练集的分割标签、类别标签，分别计算分割子网络的分割损失值和分类子网络的分类损失值，并将这两个损失值进行加权相加得到网络的整体损失值；
3.6)将3.5)的整体损失值进行反向传播，直到损失函数收敛，得到初步训练后的网络Wi， i为训练的迭代次数，i＝1,2,…,100；
3.7)对3.6)初步训练后的网络Wi循环执行3.4)-3.6)过程，每次迭代都将验证集输入到网络Wi中，得到分割结果和分割精度，直到迭代次数达到100，停止训练，从中选择分割精度最高的网络作为最终训练好的网络W。
步骤4，对测试集进行新冠肺炎病灶分割，得到测试集的分割结果、分割精度。
将步骤1中划分的测试集输入到步骤3中训练完成的基于弱监督多任务学习的新冠肺炎病灶分割模型，得到测试集的分割结果、分割精度。
以下结合仿真实验结果对本发明的技术效果再做说明：
一.仿真条件：
本发明的仿真实验平台是Ubuntu18.04操作系统，配置为3.6GHz的Intel Corei7-9700K CPU和NVIDIA RTX2080Ti GPU，使用Tensorflow深度学习框架，开发语言为Python。
本发明的仿真实验数据来自于新冠肺炎患者的检测脱敏数据。本数据集总共117例CT影像数据，所有病人的分级标签均是由多位临床医生结合病人的CT影像数据和病人的临床表现进行判别，再经过讨论确定最终的患者类别。新冠肺炎患者的临床等级，分为早期、进展期、重症期和恢复期，不同的等级的病人的CT影像表现差异较大，一般轻症患者的CT表现为单发或者多发性的毛玻璃影、斑块状以及网状的病变分布。对于进展期的病人的CT影像，其临床表现为病变区域进一步恶化，病灶增多、病灶密实、范围扩大，病灶范围能够扩展到两个肺叶。对于重症期的病人图像，通常病变区域扩展到双肺，临床表现为双肺呈弥漫性病变。对于恢复期的病人的CT表现通常有一定的好转，经过一段时间积极治疗后病变范围缩小，部分索条影可完全吸收，支气管增粗的程度减轻。
不同时期病人的CT表现如图2，从图2中可见，不同临床等级病人病灶的特征表现差异较大。
二.仿真内容及结果分析：
仿真1，分别利用现有医学影像分割方法和本发明，对图2所示的新冠肺炎早期患者的 CT影像数据进行病灶区域分割，结果如图3，图3中的每一行表示处于新冠肺炎早期的不同患者，其中：
第一行表示患者1，第二行表示患者2，第三行表示患者3，第四行表示患者4，第一列表示原始图像，第二列表示标签，第三列表示现有方法的分割结果，第四列表示本发明方法的分割结果。
由图3可见，现有方法对新冠肺炎早期患者数据进行分割时，对部分不明显的病灶区域产生了漏分割的现象，如患者2和患者4中部分表现较轻的毛玻璃区域，以及对某些孤立的病灶区域也未能成功分割，如患者1和患者3中某些孤立的小型病灶区域，导致整体的分割结果较差。而本发明方法能够提升这些区域的分割结果，如由患者2和患者4的分割结果可以看出在表现较轻的病灶区域产生了更好的分割结果，并且能够识别出患者1和患者3影像中孤立的病灶区域。
计算现有方法和本发明方法对新冠肺炎早期患者病灶分割效果的不同定量指标，结果如表1。
表1不同方法对新冠肺炎早期患者的分割结果不同定量指标对比
| 方法 | DSC | ASD | HD95 | PPV | SEN |
| 现有方法 | 0.74±0.13 | 1.58±0.81 | 5.55±3.83 | 0.74±0.15 | 0.79±0.13 |
| 本发明方法 | 0.78±0.10 | 1.52±0.98 | 4.47±3.36 | 0.75±0.13 | 0.82±0.11 |
表1中DSC表示分割骰子相似系数、ASD表示平均表面距离、HD95表示95％豪斯多夫距离、PPV表示精确率、SEN表示敏感度。指标DSC、PPV、SEN越高，ASD、HD95越低，则表明分割的效果越好。
由表1可见，本发明方法对新冠肺炎早期患者病灶分割的分割骰子相似系数DSC指标、精确率PPV指标、敏感度SEN指标比现有方法均有提升，以及在平均表面距离ASD指标、95％豪斯多夫距离HD95指标比现有方法均有降低，证明了本发明所提出的基于弱监督多任务学习的新冠肺炎病灶分割方法能够提升病灶的分割性能。
仿真2，分别利用现有医学影像分割方法和本发明，对图2所示的新冠肺炎进展期患者的CT影像数据进行病灶区域分割，结果如图4，图4中的每一行表示处于新冠肺炎进展期的不同患者，其中：
第一行表示患者1，第二行表示患者2，第三行表示患者3，第四行表示患者4，第一列表示原始图像，第二列表示标签，第三列表示现有方法的分割结果，第四列表示本发明方法的分割结果。
由图4可见，现有方法对新冠肺炎进展期患者数据进行分割时，对部分较为明显的病灶区域也会产生漏分割的现象，如患者1、患者3中表现明显的病灶区域，以及对某些孤立的病灶区域也未能成功分割，如患者2、患者4中部分孤立的病灶区域，导致整体的分割结果较差。而本发明方法能够提升这些区域的分割结果，如患者1和患者3的分割结果可以看出在病灶表现明显的区域产生了更好的分割结果，并且能够识别出患者2和患者4影像中孤立的病灶区域。
计算现有方法和本发明方法对新冠肺炎进展期患者病灶分割效果的不同定量指标，结果如表2。
表2不同方法对新冠肺炎进展期患者的分割结果不同定量指标对比
| 方法 | DSC | ASD | HD95 | PPV | SEN |
| 现有方法 | 0.79±0.13 | 5.10±8.95 | 21.5±27.8 | 0.84±0.05 | 0.77±0.18 |
| 本发明方法 | 0.80±0.08 | 5.37±9.38 | 17.4±24.4 | 0.82±0.09 | 0.82±0.15 |
表2中DSC表示分割骰子相似系数、ASD表示平均表面距离、HD95表示95％豪斯多夫距离、PPV表示精确率、SEN表示敏感度。指标DSC、PPV、SEN越高，ASD、HD95越低，代表效果越好。
由表2可见，本发明方法对新冠肺炎进展期患者病灶分割的分割骰子相似系数DSC指标、敏感度SEN指标比现有方法均有提升，以及在95％豪斯多夫距离HD95指标上比现有方法降低，证明了本发明所提出的基于弱监督多任务学习的新冠肺炎病灶分割方法能够提升病灶的分割性能。
综上，针对新冠肺炎患者中不同临床等级的患者CT影像中病灶区域表现差异大导致分割模型对不同临床等级的患者分割结果差异大的问题，本发明提出了一种基于弱监督多任务学习的病灶分割方法。将数据的类别信息作为额外的辅助信息引入到模型构建了基于弱监督的分割网络，然后将多任务机制与分割网络结合，在分割网络中增加分类网络。通过病灶分割标签信息和病灶类别标签信息的共同作用使得网络能够学习到更鲁棒的病灶特征，以提升最终的病灶分割效果。通过实验证明了本发明能够有效的提升不同类别患者病灶的分割效果，提升了分割性能的一致性。
Claims (6)
1.一种基于弱监督多任务学习的新冠肺炎分割方法，其特征在于，包括：
(1)划分训练集、验证集和测试集：
(1a)获取新冠肺炎患者的计算机断层扫描CT影像数据，将计算机断层扫描CT影像数据通过重采样变换到分辨率为1mm×1mm×1mm的同一空间，并从中选择一个体素值分布均匀、图像清晰的CT影像数据作为模板；
(1b)通过直方图匹配将CT影像的其他数据匹配成与模版数据类似的分布，再将匹配后的CT影像数据按照3：1：1的比例随机划分训练集、验证集和测试集；
(2)构建基于弱监督多任务学习的分割网络WML-SegNet：
(2a)设计不同空洞率和不同尺寸卷积核构成多尺度卷积模块HMS，把现有3D ResUNet最后两层编码层中的卷积层替换成HMS；
(2b)在3D ResUNet下采样的最后一层依次连接两个反卷积模块、一个全连接层，构成分类子网络，并将该分类子网络与3D ResUNet上采样的分割子网络并行连接构成基于弱监督多任务学习的分割网络；
(2c)设定分割网络的损失函数：Lossall＝β1Lossseg+β2Lossclass，其中，β1是分割子网络的加权系数，Lossseg是分割子网络的损失函数，β2是分类子网络的加权系数，Lossclass是分类子网络的损失函数，β1＝β2＝1；
(3)对基于弱监督多任务学习的分割网络进行训练：
(3a)设置最大迭代次数为100；
(3b)将训练集输入到网络编码器中，得到训练集的特征图，将该特征图分别输入到(2b)中的分割网络和分类网络中，得到分割结果和分类结果；
(3c)根据(3b)的两个结果与训练集的分割标签、类别标签，分别计算分割子网络的分割损失值和分类子网络的分类损失值，并将这两个损失值进行加权相加得到网络的整体损失值；
(3d)将(3c)的整体损失值进行反向传播，直到损失函数收敛，得到初步训练后的网络Wi，i为训练的迭代次数，i＝1,2,…,100；
(3e)对初步训练后的网络Wi循环执行(3b)-(3d)过程，每次迭代都将验证集输入到网络Wi中，得到分割结果、分割精度，直到迭代次数达到100时，停止训练，从中选择分割精度最高的网络作为最终训练好的网络W；
(4)将测试集输入到(3e)训练好的网络W中，得到测试集的分割结果、分割精度。
2.根据权利要求1所述的方法，其特征在于，(2a)中的多尺度卷积模块HMS，包括10个卷积核，每三个卷积核串行连接得到三个级联支路，这三者并行连接后再与第十个卷积核串行连接，其中：
第一个卷积核的空洞率d＝2、卷积核大小为3×3×3，
第二个卷积核的空洞率d＝4、卷积核大小为3×3×3，
第三个卷积核的空洞率d＝6、卷积核大小为3×3×3，
第四个卷积核的空洞率d＝2、卷积核大小为5×5×5，
第五个卷积核的空洞率d＝4、卷积核大小为5×5×5，
第六个卷积核的空洞率d＝6、卷积核大小为5×5×5，
第七个卷积核的空洞率d＝1、卷积核大小为1×1×1，
第八个卷积核的空洞率d＝1、卷积核大小为3×3×3，
第九个卷积核的空洞率d＝1、卷积核大小为5×5×5，
第十个卷积核大小为1×1×1。
3.根据权利要求1所述的方法，其特征在于，(2b)中的反卷积模块，均由一个残差块、一个3D反卷积块级联组成，其中：
所述残差块，由一个卷积核大小为3×3×1的卷积核与一个卷积核大小为1×1×3的卷积核并行连接，再与一个卷积核大小为1×1×1的卷积核串行连接组成；
所述3D反卷积块，由反卷积层、批量归一化层、激活层串行连接组成。
4.根据权利要求1所述的方法，其特征在于，(2b)中的全连接层为softmax层。
5.根据权利要求1所述的方法，其特征在于，(2c)中的分割子网络的损失函数Lossseg，表示如下：
Lossseg＝λ1Lossdice+λ2Losswce
其中，λ1是骰子损失函数Lossdice的权重系数，λ2是加权交叉熵损失函数Losswce的权重系数，λ1＝1，λ2＝100；
式中，M表示最大标签类别数目，c表示类别序号，Q表示像素点总个数，n表示像素点序号，ε＝10-5，pcn表示第n个像素点属于第c类的概率值，gcn表示第n个像素点的真实标签，若第n个像素点属于第c类，则gcn＝1，否则gcn＝0。
6.根据权利要求1所述的方法，其特征在于，(2c)中的分类子网络的损失函数Lossclass，表示如下：
Lossclass＝Lossce
其中，
是交叉熵损失函数，M表示最大标签类别数目，c表示类别序号，Q表示像素点总个数，n表示像素点序号，pcn表示第n个像素点属于第c类的概率值，gcn表示第n个像素点的真实标签，若第n个像素点属于第c类，则gcn＝1，否则gcn＝0。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110907227.4A CN113610807B (zh) | 2021-08-09 | 2021-08-09 | 基于弱监督多任务学习的新冠肺炎分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110907227.4A CN113610807B (zh) | 2021-08-09 | 2021-08-09 | 基于弱监督多任务学习的新冠肺炎分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113610807A true CN113610807A (zh) | 2021-11-05 |
| CN113610807B CN113610807B (zh) | 2024-02-09 |
Family
ID=78307597
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110907227.4A Active CN113610807B (zh) | 2021-08-09 | 2021-08-09 | 基于弱监督多任务学习的新冠肺炎分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113610807B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115222942A (zh) * | 2022-07-26 | 2022-10-21 | 吉林建筑大学 | 一种基于弱监督学习的新冠肺炎ct图像分割的方法 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109063723A (zh) * | 2018-06-11 | 2018-12-21 | 清华大学 | 基于迭代挖掘物体共同特征的弱监督图像语义分割方法 |
| CN109784424A (zh) * | 2019-03-26 | 2019-05-21 | 腾讯科技（深圳）有限公司 | 一种图像分类模型训练的方法、图像处理的方法及装置 |
| CN110197215A (zh) * | 2019-05-22 | 2019-09-03 | 深圳市牧月科技有限公司 | 一种自主驾驶的地面感知点云语义分割方法 |
| CN110322446A (zh) * | 2019-07-01 | 2019-10-11 | 华中科技大学 | 一种基于相似性空间对齐的域自适应语义分割方法 |
| CN110363210A (zh) * | 2018-04-10 | 2019-10-22 | 腾讯科技（深圳）有限公司 | 一种图像语义分割模型的训练方法和服务器 |
| CN110598609A (zh) * | 2019-09-02 | 2019-12-20 | 北京航空航天大学 | 一种基于显著性引导的弱监督目标检测方法 |
| CN110706793A (zh) * | 2019-09-25 | 2020-01-17 | 天津大学 | 一种基于注意力机制的甲状腺结节半监督分割方法 |
| CN110837836A (zh) * | 2019-11-05 | 2020-02-25 | 中国科学技术大学 | 基于最大化置信度的半监督语义分割方法 |
| CN111444939A (zh) * | 2020-02-19 | 2020-07-24 | 山东大学 | 电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法 |
| CN111723845A (zh) * | 2020-05-19 | 2020-09-29 | 浙江工业大学 | 一种基于Mask轮廓的细胞图像分割方法 |
| WO2021031279A1 (zh) * | 2019-08-20 | 2021-02-25 | 东北大学 | 一种基于深度学习的X-Ray胸片肺炎智能诊断系统与方法 |
| CN113160234A (zh) * | 2021-05-14 | 2021-07-23 | 太原理工大学 | 基于超分辨率和域自适应的无监督遥感图像语义分割方法 |
| CN113159120A (zh) * | 2021-03-15 | 2021-07-23 | 浙江工商大学 | 一种基于多尺度跨图像弱监督学习的违禁物检测方法 |
-
2021
- 2021-08-09 CN CN202110907227.4A patent/CN113610807B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110363210A (zh) * | 2018-04-10 | 2019-10-22 | 腾讯科技（深圳）有限公司 | 一种图像语义分割模型的训练方法和服务器 |
| CN109063723A (zh) * | 2018-06-11 | 2018-12-21 | 清华大学 | 基于迭代挖掘物体共同特征的弱监督图像语义分割方法 |
| CN109784424A (zh) * | 2019-03-26 | 2019-05-21 | 腾讯科技（深圳）有限公司 | 一种图像分类模型训练的方法、图像处理的方法及装置 |
| CN110197215A (zh) * | 2019-05-22 | 2019-09-03 | 深圳市牧月科技有限公司 | 一种自主驾驶的地面感知点云语义分割方法 |
| CN110322446A (zh) * | 2019-07-01 | 2019-10-11 | 华中科技大学 | 一种基于相似性空间对齐的域自适应语义分割方法 |
| WO2021031279A1 (zh) * | 2019-08-20 | 2021-02-25 | 东北大学 | 一种基于深度学习的X-Ray胸片肺炎智能诊断系统与方法 |
| CN110598609A (zh) * | 2019-09-02 | 2019-12-20 | 北京航空航天大学 | 一种基于显著性引导的弱监督目标检测方法 |
| CN110706793A (zh) * | 2019-09-25 | 2020-01-17 | 天津大学 | 一种基于注意力机制的甲状腺结节半监督分割方法 |
| CN110837836A (zh) * | 2019-11-05 | 2020-02-25 | 中国科学技术大学 | 基于最大化置信度的半监督语义分割方法 |
| CN111444939A (zh) * | 2020-02-19 | 2020-07-24 | 山东大学 | 电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法 |
| CN111723845A (zh) * | 2020-05-19 | 2020-09-29 | 浙江工业大学 | 一种基于Mask轮廓的细胞图像分割方法 |
| CN113159120A (zh) * | 2021-03-15 | 2021-07-23 | 浙江工商大学 | 一种基于多尺度跨图像弱监督学习的违禁物检测方法 |
| CN113160234A (zh) * | 2021-05-14 | 2021-07-23 | 太原理工大学 | 基于超分辨率和域自适应的无监督遥感图像语义分割方法 |
Non-Patent Citations (3)
| Title |
|---|
| HONGYING LIU，SHUIPING GOU: "Fast Classification for Large Polarimetric SAR Data Based on Refined Spatial-Anchor Graph", IEEE GEOSCIENCE AND REMOTE SENSING LETTERS, vol. 14, no. 9 * |
| SHUIPING GOU, AND SHUYUAN YANG: "Shape constrained fully convolutional DenseNet with adversarial training for multiorgan segmentation on head and neck CT and low-field MR images", MEDICAL PHYSICS * |
| 卢云飞: "基于强化学习多尺度和多任务的病灶分割与few-shot自适应多器官分割研究", 中国优秀硕士学位论文全文数据库 基础科学辑 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115222942A (zh) * | 2022-07-26 | 2022-10-21 | 吉林建筑大学 | 一种基于弱监督学习的新冠肺炎ct图像分割的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113610807B (zh) | 2024-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yang et al. | Deep learning for detecting corona virus disease 2019 (COVID-19) on high-resolution computed tomography: a pilot study | |
| Zhong et al. | Cancer image classification based on DenseNet model | |
| KR101144964B1 (ko) | 간질성 폐질환 검출 시스템 및 그 방법 | |
| CN108629785B (zh) | 基于自步学习的三维磁共振胰腺图像分割方法 | |
| CN111340770B (zh) | 结合全局加权lbp和纹理分析的癌症预后模型构建方法 | |
| Malik et al. | BDCNet: Multi-classification convolutional neural network model for classification of COVID-19, pneumonia, and lung cancer from chest radiographs | |
| CN113095382B (zh) | 基于ct图像的可解释性肺结核分类网络识别方法 | |
| CN112581450B (zh) | 基于膨胀卷积金字塔与多尺度金字塔的花粉检测方法 | |
| CN109191422B (zh) | 基于常规ct图像的缺血性脑卒中早期检测系统和方法 | |
| Nurmaini et al. | Automated Detection of COVID-19 Infected Lesion on Computed Tomography Images Using Faster-RCNNs. | |
| Yu et al. | Break: Bronchi reconstruction by geodesic transformation and skeleton embedding | |
| James et al. | Detection Of CT-scan lungs COVID-19 image using convolutional neural network and CLAHE | |
| CN107133626A (zh) | 一种基于部分平均随机优化模型的医学影像分类方法 | |
| CN114549452A (zh) | 基于半监督深度学习的新冠肺炎ct图像分析方法 | |
| de Vente et al. | Improving automated covid-19 grading with convolutional neural networks in computed tomography scans: An ablation study | |
| CN113610807B (zh) | 基于弱监督多任务学习的新冠肺炎分割方法 | |
| Rashid et al. | Transfer learning based method for COVID-19 detection from chest X-ray images | |
| CN111583179A (zh) | 一种基于浮动切割的肺结节深度学习分类方法 | |
| Xiao et al. | Verifiability of genus-level classification under quantification and parsimony theories: a case study of follicucullid radiolarians | |
| Neshat et al. | Hybrid Inception Architecture with Residual Connection: Fine-tuned Inception-ResNet Deep Learning Model for Lung Inflammation Diagnosis from Chest Radiographs | |
| CN112638262A (zh) | 相似度确定装置、方法及程序 | |
| Jiang et al. | Classification of benign and malignant breast cancer based on DWI texture features | |
| Lu et al. | Data enhancement and deep learning for bone age assessment using the standards of skeletal maturity of hand and wrist for chinese | |
| Monowar et al. | Lung opacity classification with convolutional neural networks using chest x-rays | |
| CN113362927A (zh) | 一种基于深度学习的鳞状食道癌放化疗效果预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |