CN116486068A - 一种基于嵌套u型网络的covid-19病灶分割方法 - Google Patents

一种基于嵌套u型网络的covid-19病灶分割方法 Download PDF

Info

Publication number
CN116486068A
CN116486068A CN202211205490.XA CN202211205490A CN116486068A CN 116486068 A CN116486068 A CN 116486068A CN 202211205490 A CN202211205490 A CN 202211205490A CN 116486068 A CN116486068 A CN 116486068A
Authority
CN
China
Prior art keywords
covid
nested
model
network
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211205490.XA
Other languages
English (en)
Inventor
张继勇
唐江平
周晓飞
李世锋
周振
何帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Power Data Service Co ltd
Hangzhou Dianzi University
Original Assignee
China Power Data Service Co ltd
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Power Data Service Co ltd, Hangzhou Dianzi University filed Critical China Power Data Service Co ltd
Priority to CN202211205490.XA priority Critical patent/CN116486068A/zh
Publication of CN116486068A publication Critical patent/CN116486068A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于嵌套U型网络的COVID‑19病灶分割方法,构造一个以RSU为基本单元,经过少量带标签的样本训练获得的COVID‑19分割网络,引入边缘和语义信息增强网络对COVID‑19的表征能力,该网络可以将病灶区域精准快速地分割出来。此外,在标签图像极其有限的情况下,通过半监督学习策略,充分利用大量未标记的图像数据,进一步提升模型的性能表现。

Description

一种基于嵌套U型网络的COVID-19病灶分割方法
技术领域
本发明涉及一种基于嵌套U型网络的COVID-19病灶分割方法,属于病灶分割技术领域。
背景技术
计算机断层扫描(CT)能够帮助医护人员早期准确及时地识别COVID-19,对于提高COVID-19病例救治效率有着巨大意义。但医学影像的人工诊断过于依赖专业知识,分析耗时较长,早期难以发现隐匿病变,且与其它病毒性肺炎和细菌性肺炎难以区分。此外,随着COVID-19的不断发展,待分析图像数量急剧增加,使得人工分割在临床实践中不切实际。幸运的是,利用人工智能技术可以将视觉影像信息转化为深层次特征信息,其有助于减少人工操作、提高精准定量分析的效率。因此,COVID-19病灶分割模型能有效地辅助医学专家对COVID-19进行高效精准分析。
目前,对COVID-19病灶进行分割已经成为了国内外研究的重点。针对现有深度学习方法在COVID-19患者CT图像分割时存在的局限性:第一,带标签的图像样本不足,模型容易过拟合;第二,COVID-19相关影像学特征表现出纹理、大小和位置变化大等特点,导致现有病灶分割模型效果不佳。因此,为了克服现有模型存在的不足,提出一种改进的基于嵌套U型网络的COVID-19病灶分割模型,可以提升病灶分割精度,更有效地辅助专家进行诊断。
发明内容
本发明的目的是针对现有方法存在的不足,提供一种基于嵌套U型网络的COVID-19病灶分割方法,该模型可以从少量带标签的计算机断层扫描图像(CT)中学习COVID-19相关病灶的视觉特征,实现感染区域的自动分割。此外,为了缓解带标签图像的不足,同时提出一种基于随机选择传播策略的半监督分割框架,该框架可以有效地利用更多的未标记图像,从而提高模型的学习能力并获得更高的分割性能。为了对技术方案的分割效果进行定量评估,采用了六个指标,包括精度(Prec),召回率(Recall),骰子相似系数(DSC),结构度量(Sm),增强对齐度量和平均绝对误差(MAE),其计算公式如下所示:
Sm=α·So(P,G)+(1-α)·Sr(P,G) (4)
其中,TP,FP,FN分别为真阳性,假阳性和假阴性;P为预测图,G为真值图;Sr表示区域感知结构相似性测量,So表示目标感知结构相似性测量,α根据经验,取0.5;h和w分别表示输入图像的高和宽,(x,y)表示预测图和真值图对应的坐标位置。
为实现上述目的,本发明的技术方案是:
一种基于嵌套U型网络的COVID-19病灶分割方法,包括以下步骤:
步骤一、以RSU为基本单元,以U型网络结构进行构造,构造嵌套U型网络的主干网络;
步骤二、引入边缘监督模块,捕获丰富的空间细节信息;
步骤三、引入高层语义增强模块,学习病灶区域的位置信息;
步骤四、在解码器部分,通过注意力融合模块将解码器阶段的不同级别的多尺度特征进行特征融合;
步骤五、基于多尺度特征图的融合结果对输入的COVID-19图像进行分割;
步骤六、对上述过程得到的模型M进一步引入半监督策略学习;
步骤七、新增无标签数据,按照标签7:无标签3的比例进行随机选取;
步骤八、使用模型M对步骤七中扩增数据进行预测,生成伪标签;
步骤九、将伪标签和初始标签数据合并为新的标签数据集,同时,将随机选取的数据从无标签数据集中移除;
步骤十、在新标签数据集上对模型M进行再次训练,得到迭代后的模型。步骤十一、重复执行步骤七-十,直到无标签数据集为空;
步骤十二、得到最终的模型M’。
所述步骤一中RSU具体包括三个部分:
一个输入卷积层,将输入特征图转换为通道数为Cout的中间层特征图;
一个U型对称编解码器结构,L为编解码器的层数;
通过相加操作融合局部特征和多尺度特征的残差连接;
本发明是在残差U型块(RSU)的基础上提出的模型设计。
现有的残差U型块(RSU)简介如下:
受U-Net启发,构造以RSU为基本单元的主干网络,可获取更多的上下文信息。其中,RSU用于捕获内部多尺度感受野特征,该结构(Cin,M,Cout)主要包括三个部分:1)一个输入卷积层,将输入特征图(H×W×Cin)转换为通道数为Cout的中间层特征图;2)一个U型对称编解码器结构,L为编解码器的层数;3)通过相加操作融合局部特征和多尺度特征的残差连接。该设计可在RSU中混合不同大小的感受野,从而捕获更多的上下文信息。此外,更大的层数L可以形成更深的RSU和更多的池化操作,从而得到更丰富的局部和全局特征,同时也避免了计算成本的增加。
整体网络结构描述如下。首先,通过在编码阶段引入边缘和语义信息共同增强网络对COVID-19的表征能力。这里,考虑到低层特征分辨率高,可以捕获丰富的空间细节信息。因此,设计“边缘监督模块”将对应的特征整合到图中S1~S2阶段,突出低层边缘特征。此外,高层语义特征包含位置信息,因此,设计“高层语义增强模块”将对应的特征合并到图中S3~S5阶段。随后,设计“注意力融合模块”将解码阶段的不同级别的多尺度特征进行特征融合。最后,基于得到的多尺度特征图的融合结果对输入的COVID-19图像进行分割。
本发明构造一个以RSU为基本单元,经过少量带标签的样本训练获得的COVID-19分割网络,引入边缘和语义信息增强网络对COVID-19的表征能力,该网络可以将病灶区域精准快速地分割出来。此外,在标签图像极其有限的情况下,通过半监督学习策略,充分利用大量未标记的图像数据,进一步提升模型的性能表现。因此,该模型能够有效地辅助医学专家对COVID-19进行高效精准分析。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明基于嵌套U型网络的COVID-19病灶分割方法的RSU结构;
图2为本发明基于嵌套U型网络的COVID-19病灶分割方法的嵌套U型网络整体框图。
图3为本发明基于嵌套U型网络的COVID-19病灶分割方法中配置不同模块对应的视觉效果比较图,其中,(a)为图像输入,(b)为真值图,(c)为技术方案完整结构,(d)没有配置注意力融合,(e)没有配置高层语义增强,(f)没有配置边缘监督。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
一种基于嵌套U型网络的COVID-19病灶分割方法,包括以下步骤:
本发明提供了一种嵌套U型网络的COVID-19病灶分割网络,包括以下步骤:
步骤一:以RSU为基本单元,以U型网络结构进行构造,即构造嵌套U型网络的主干网络。
步骤二:S1~S2阶段引入边缘监督模块,捕获丰富的空间细节信息。
步骤三:S3~S5阶段引入高层语义增强模块,学习病灶区域位的置信息。
步骤四:在解码器部分,通过注意力融合模块将解码器阶段的不同级别的多尺度特征进行特征融合。
步骤五:基于多尺度特征图的融合结构对输入的COVID-19图像进行分割。
步骤六:对上述过程得到的模型M进一步引入半监督策略学习。
步骤七:新增无标签数据,按照7(标签):3(无标签)的比例进行随机选取。
步骤八:使用模型M对步骤7中扩增数据进行预测,生成伪标签。
步骤九:将伪标签和初始标签数据合并为新的标签数据集,同时,将随机选取的数据从无标签数据集中移除。
步骤十:在新的标签数据集下对模型M再次训练。
步骤十一:重复执行步骤7-10,直到无标签数据集为空。
步骤十二:得到最终的模型M’。
为了对技术方案的分割效果进行定量评估,采用了六个指标,包括精度(Prec),召回率(Recall),骰子相似系数(DSC),结构度量(Sm),增强对齐度量和平均绝对误差(MAE),其计算公式如下所示:
Sm=α·So(P,G)+(1-α)·Sr(P,G) (4)
其中,TP,FP,FN分别为真阳性,假阳性和假阴性;P为预测图,G为真值图;Sr表示区域感知结构相似性测量,So表示目标感知结构相似性测量,α根据经验,取0.5;h和w分别表示输入图像的高和宽,(x,y)表示预测图和真值图对应的坐标位置。
至此,对步骤一到步骤五进行了定量和定性实验,以验证各个关键组件的效果,如表1和图3所示。
表1不同模块的定量评估
目前,由于手动分割COVID-19病灶区域既困难又耗时,具有专家注释的带标签CT数据集非常有限。为了解决这个问题,该发明使用半监督学习策略对网络进一步优化,该策略利用大量未标记CT图像来有效地扩充训练数据集。它基于随机抽样策略,可以为未标记的CT图像生成伪标签,该过程如算法1描述所示。
算法1:半监督嵌套U型网络模型
输入:A1张带标签训练数据Dlabeled和A2张无标签训练数据Dunlabeled
输出:训练后的半监督嵌套U型网络模型
1:将所有带标签数据作为训练集,
2:使用步骤1中得到的训练集对模型进行训练,得到预训练模型M,
3:重复后续步骤4~8,
4:从无标签数据中随机选取图像,保持跟上一步训练数量7:3的关系,并使用得到的预训练模型M对其进行测试,生成伪标签数据,
5:使用步骤4中得到的伪标签数据,对初始训练数据集进行扩增,
6:将随机选取的图像从Dunlabeled移除,
7:使用扩增后的数据集对M进行微调,
8:直到Dunlabeled数据为空,
9:返回最终的模型M’。
使用半监督学习策略的模型框架有以下两方面的优点。首先,训练和图像选取过程简单且易于实施,期间不需要对生成的伪标签进行评估。其次,该策略可以提供比其他半监督学习方法更鲁棒的性能,防止过拟合。
步骤七到步骤十一,对模型的最终改进效果如表2所示。其中步骤七作为动态随机选择策略的关键,可以大大缩减半监督学习策略的训练时间。通常,随机选择策略采用固定数量的抽取方式,比如在1600张未标记CT图像中,一次循环只随机选择K张图片,当K=5时,需要对模型迭代训练320次,花费数天的时间才能完成整个过程。而本方案采用动态的方式,每次迭代按照一定比例进行抽取,可以加速整个过程,所花费的时间可以缩短几倍甚至几十倍。
表2使用半监督学习前后的定量评估
以上结合附图对本发明的实施方式作了详细说明,但本发明不限于所描述的实施方式。对于本领域的技术人员而言,在不脱离本发明原理和精神的情况下,对这些实施方式进行多种变化、修改、替换和变型,仍落入本发明的保护范围内。

Claims (3)

1.一种基于嵌套U型网络的COVID-19病灶分割方法,其特征在于:包括以下步骤:
步骤一、以RSU为基本单元,以U型网络结构进行构造,构造嵌套U型网络的主干网络;
步骤二、引入边缘监督模块,捕获丰富的空间细节信息;
步骤三、引入高层语义增强模块,学习病灶区域的位置信息;
步骤四、在解码器部分,通过注意力融合模块将解码器阶段的不同级别的多尺度特征进行特征融合;
步骤五、基于多尺度特征图的融合结果对输入的COVID-19图像进行分割;
步骤六、对上述过程得到的模型M进一步引入半监督策略学习;
步骤七、新增无标签数据,按照标签7:无标签3的比例进行随机选取;
步骤八、使用模型M对步骤七中扩增数据进行预测,生成伪标签;
步骤九、将伪标签和初始标签数据合并为新的标签数据集,同时,将随机选取的数据从无标签数据集中移除;
步骤十、在新标签数据集上对模型M进行再次训练,得到迭代后的模型;
步骤十一、重复执行步骤七-十,直到无标签数据集为空;
步骤十二、得到最终的模型M’。
2.根据权利要求1所述的一种基于嵌套U型网络的COVID-19病灶分割方法,其特征在于:所述步骤一中RSU具体包括三个部分:
一个输入卷积层,将输入特征图转换为通道数为Cout的中间层特征图;
一个U型对称编解码器结构,L为编解码器的层数;
通过相加操作融合局部特征和多尺度特征的残差连接。
3.根据权利要求1所述的一种基于嵌套U型网络的COVID-19病灶分割方法,其特征在于:对分割效果进行定量评估,采用精度(Prec),召回率(Recall),骰子相似系数(DSC),结构度量(Sm),增强对齐度量和平均绝对误差(MAE)六个指标,其计算公式如下所示:
Sm=α·So(P,G)+(1-α)·Sr(P,G) (4)
其中,TP,FP,FN分别为真阳性,假阳性和假阴性;P为预测图,G为真值图;Sr表示区域感知结构相似性测量,So表示目标感知结构相似性测量,α取0.5;h和w分别表示输入图像的高和宽,(x,y)表示预测图和真值图对应的坐标位置。
CN202211205490.XA 2022-09-23 2022-09-23 一种基于嵌套u型网络的covid-19病灶分割方法 Pending CN116486068A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211205490.XA CN116486068A (zh) 2022-09-23 2022-09-23 一种基于嵌套u型网络的covid-19病灶分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211205490.XA CN116486068A (zh) 2022-09-23 2022-09-23 一种基于嵌套u型网络的covid-19病灶分割方法

Publications (1)

Publication Number Publication Date
CN116486068A true CN116486068A (zh) 2023-07-25

Family

ID=87214324

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211205490.XA Pending CN116486068A (zh) 2022-09-23 2022-09-23 一种基于嵌套u型网络的covid-19病灶分割方法

Country Status (1)

Country Link
CN (1) CN116486068A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117011713A (zh) * 2023-08-08 2023-11-07 中国水利水电科学研究院 一种基于卷积神经网络的田块信息提取方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117011713A (zh) * 2023-08-08 2023-11-07 中国水利水电科学研究院 一种基于卷积神经网络的田块信息提取方法
CN117011713B (zh) * 2023-08-08 2024-05-07 中国水利水电科学研究院 一种基于卷积神经网络的田块信息提取方法

Similar Documents

Publication Publication Date Title
He et al. Automated model design and benchmarking of deep learning models for covid-19 detection with chest ct scans
CN110717907A (zh) 一种基于深度学习的手部肿瘤智能检测方法
CN111325750B (zh) 一种基于多尺度融合u型链神经网络的医学图像分割方法
CN117152433A (zh) 一种基于多尺度跨层注意力融合网络的医学图像分割方法
CN109949297B (zh) 基于Reception和Faster R-CNN的肺结节检测方法
CN106033540A (zh) 一种阴道微生态形态学自动分析方法和系统
CN109741410A (zh) 基于深度学习的荧光编码微球图像生成及标注方法
CN110246579B (zh) 一种病理诊断方法及装置
CN111950595A (zh) 肝脏病灶图像处理方法、系统、存储介质、程序、终端
CN116228792A (zh) 一种医学图像分割方法、系统及电子装置
CN114445339A (zh) 基于改进Faster RCNN算法的泌尿系结石检测分类方法
CN110930378A (zh) 基于低数据需求的肺气肿影像处理方法及系统
CN115222942A (zh) 一种基于弱监督学习的新冠肺炎ct图像分割的方法
CN112085742A (zh) 一种基于上下文注意力的nafld超声视频诊断方法
CN116579982A (zh) 一种肺炎ct图像分割方法、装置及设备
CN115311194A (zh) 一种基于transformer和SE块的CT自动肝脏图像分割方法
CN116486068A (zh) 一种基于嵌套u型网络的covid-19病灶分割方法
CN115457049A (zh) 一种基于迁移学习和注意力机制的肺部ct图像分割方法
CN117274147A (zh) 一种基于混合Swin Transformer U-Net的肺部CT图像分割方法
CN116434226A (zh) 循环肿瘤细胞分析仪
Ameen et al. Explainable residual network for tuberculosis classification in the IoT era
Liu et al. MRL-Net: multi-scale representation learning network for COVID-19 lung CT image segmentation
Lin et al. Lesion detection of chest X-Ray based on scalable attention residual CNN
CN116759076A (zh) 一种基于医疗影像的无监督疾病诊断方法及系统
CN112686912B (zh) 基于逐步学习和混合样本的急性脑卒中病变分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination