CN113012171A - 一种基于协同优化网络的肺结节分割方法 - Google Patents

一种基于协同优化网络的肺结节分割方法 Download PDF

Info

Publication number
CN113012171A
CN113012171A CN202110356839.9A CN202110356839A CN113012171A CN 113012171 A CN113012171 A CN 113012171A CN 202110356839 A CN202110356839 A CN 202110356839A CN 113012171 A CN113012171 A CN 113012171A
Authority
CN
China
Prior art keywords
segmentation
data
sample data
network
generator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110356839.9A
Other languages
English (en)
Inventor
郭继峰
杨帆
马志强
庞志奇
孙文博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeast Forestry University
Original Assignee
Northeast Forestry University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeast Forestry University filed Critical Northeast Forestry University
Priority to CN202110356839.9A priority Critical patent/CN113012171A/zh
Publication of CN113012171A publication Critical patent/CN113012171A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于协同优化网络的肺结节分割方法。包括如下步骤：1：把原始样本数据x输入到表示分割网络S中，训练分割网络的分割能力以生成带标签的数据y1；2：将带标签的样本数据y输入到生成器G中，将生成器生成数据x1和原始的样本数据x输入到判别器D中，在每次迭代结束后，对对抗网络进行更新训练；3：将带标签的真实样本数据y输入到生成器G中，将生成器生成数据x1和原始的样本数据x分别输入到判别器D和分割模型S中，在每次迭代结束后，对任务分割模型和对抗网络进行更新训练。本发明在分割模型中增加了整个架构的深度，而没有显著增加计算成本，使生成特征表示的生成器与状态鉴别器进行对抗训练。

Description

一种基于协同优化网络的肺结节分割方法
技术领域：
本发明涉及计算机视觉和深度学习领域，具体为一种基于协同优化网络的肺结节分割方法。
背景技术：
CT成像是一种流行的肺部疾病诊断技术，在实践中，从胸部CT切片中分割不同的器官和病变可以为医生诊断和量化肺部疾病提供关键信息。这些算法通常使用具有提取特征的分类器来分割胸部CT中的结节。例如，Kenisha等人利用支持向量机(SVM)分类器从计算机断层扫描切片中检测肺结节。Shen等人提出了一种基于双向链码的自动肺分割系统来提高性能。
然而，结节和背景的相似视觉外观使得难以提取结节区域。为了克服这个问题，已经提出了几种深度学习算法来学习强大的视觉表示。例如，Wang等人开发了一种中心聚焦卷积神经网络来从非均匀CT切片中分割肺结节。(无监督的)异常检测/分割可以检测异常区域，然而，它不能识别异常区域是否与肺结节相关。相比之下，基于少量标记数据的半监督模型能够从其他异常区域中识别出目标区域，更适合于肺结节的评价。
目前，人们越来越重视使用SSL策略来训练深层神经网络。这些方法通常优化已标记数据的监督损失以及未标记数据或已标记和未标记数据的非监督损失。Lee等人提出通过计算未标记数据的伪标签来利用交叉熵损失，这被认为是额外的监督损失。总之，现有的深度SSL算法通过实施平滑且一致的分类边界来规范网络，该分类边界对随机扰动是鲁棒的，并且其他方法通过探索所学习的知识来丰富监督信号，例如，基于时间集合预测和伪标签。此外，半监督学习已广泛应用于医学分割任务，其中一个常见的问题是缺乏像素级的标记数据，即使当大规模的未标记图像集可用时。例如，Nie等人提出了一种用于盆腔器官分割的基于注意力的半监督深度网络，其中开发了半监督区域注意力丢失来解决训练深度学习模型的数据不足问题。Cui等人修改了用于磁共振图像中中风损伤分割任务的平均教师框架。Zhao等人提出了一种基于自集成结构和随机拼块大小训练策略的半监督分割方法。
此外，迁移学习技术是处理有限数据的另一个好选择。但目前，分割肺结节的主要问题是，已经有一些公共数据集，但缺乏高质量的像素级注释。这个问题将变得更加突出，即使收集大规模的COVID19数据集，在那里获取注释仍然很昂贵。因此，本发明的目标是有效地利用有限的注释和利用未标记的数据。本发明为解决这个问题提供了更合适的解决方案。本发明的主要目标是使用有限数量的已标记数据和大量未标记数据来提高分割模型性能。
发明内容：
本发明的目的是克服现有肺结节分割方法的不足，提出一种基于协同优化网络的肺结节分割方法，利用有限的注释和未标记的数据以解决基于深度学习的图像分割任务中数据集的标注成本过高的问题。
一种基于协同优化网络的肺结节分割方法，其特征在于，包括如下步骤：
步骤1：把原始样本数据x输入到表示分割网络S中，训练分割网络的分割能力以生成带标签的数据y1；
步骤2：将带标签的样本数据y输入到生成器G中，将生成器生成数据x1和原始的样本数据x输入到判别器D中，在每次迭代结束后，对对抗网络进行更新训练；
步骤3：将带标签的真实样本数据y输入到生成器G中，将生成器生成数据x1和原始的样本数据x分别输入到判别器D和分割模型S中，在每次迭代结束后，对任务分割模型和对抗网络进行更新训练。
所述步骤1包括如下步骤：
步骤1.1：本发明设计了一种表示分割模型S，是一个两级嵌套的U型结构。该设计具有以下优点:(1)在本模型中提出的残差U型区块(RSU)中混合了不同大小的感受野，能够从不同的尺度捕捉更多的上下文信息，(2)在这些RSU区块中使用了汇集操作，它增加了整个架构的深度，而没有显著增加计算成本。损失预测模块的损失函数为：
Figure BDA0003003643960000031
其中(m，n)是像素坐标，(H，W)是图像尺寸:高度和宽度。PG(m，n)和PS(m，n)分别表示样本数据真值和预测显著性概率图的像素值。
步骤1.2：把原始样本数据x输入到表示分割网络S中，训练分割网络的分割能力以生成带标签的数据y1。
所述步骤2包括如下步骤：
步骤2.1：本发明设计了损失预测模块用于损失预测，损失预测模块通过计算一对样本的损失预测值之间的差异进行训练，损失预测模块的损失函数为：
Figure BDA0003003643960000032
其中pdata(x)是真实图像的数据分布，py(y)是生成标签的数据分布，E表示数学期望。
步骤2.2：将带标签的样本数据y输入到生成器G中，将生成器生成数据x1和原始的样本数据x输入到判别器D中，在每次迭代结束后，对对抗网络进行更新训练。
所述步骤3包括如下步骤：
步骤3.1：本发明设计了协同优化模块部分的损失预测模块用于损失预测，损失预测模块通过计算一对样本的损失预测值之间的差异进行训练，损失预测模块的损失函数为：
Figure BDA0003003643960000041
步骤3.2：将带标签的真实样本数据y输入到生成器G中，将生成器生成数据x1和原始的样本数据x分别输入到判别器D和分割模型S中，在每次迭代结束后，对任务分割模型和对抗网络进行更新训练。
步骤3.3：在每次迭代结束后，对任务分割模型和对抗网络模型进行更新训练。
本发明的有益效果：目前基于深度学习的图像分割任务的性能严重依赖于大规模的标注样本，而许多领域中标记样本的获取十分困难，甚至不可能大规模获得。本发明设计了一种基于协同优化网络的肺结节分割方法，该方法既考虑了任务相关性又考虑了样本的多样性。该方法包括表示生成器、状态鉴别器和分割模块。表示生成器的目的是生成样本的特征表示，之后本发明将样本的特征表示与注释信息进行拼接，状态鉴别器对拼接后的特征向量的状态进行预测。
附图说明：
图1是一种基于协同优化网络的肺结节分割方法的流程图；
图2是基于协同优化网络的肺结节分割方法的模型结构图；
图3是以本发明为dice与epochs训练的指标图。
具体实施方式：
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施的具体流程示意图，该方法包括如下步骤：
步骤1：把原始样本数据x输入到表示分割网络S中，训练分割网络的分割能力以生成带标签的数据y1；
步骤2：将带标签的样本数据y输入到生成器G中，将生成器生成数据x1和原始的样本数据x输入到判别器D中，在每次迭代结束后，对对抗网络进行更新训练；
步骤3：将带标签的真实样本数据y输入到生成器G中，将生成器生成数据x1和原始的样本数据x分别输入到判别器D和分割模型S中，在每次迭代结束后，对任务分割模型和对抗网络进行更新训练。
具体的，图2为本发明提出的协同优化网络的肺结节分割方法的整体结构图，所述步骤1包括如下步骤：
步骤1.1：本发明设计了一种表示分割模型S，是一个两级嵌套的U型结构。该设计具有以下优点:(1)在本模型中提出的残差U型区块(RSU)中混合了不同大小的感受野，能够从不同的尺度捕捉更多的上下文信息，(2)在这些RSU区块中使用了汇集操作，它增加了整个架构的深度，而没有显著增加计算成本。损失预测模块的损失函数为：
Figure BDA0003003643960000051
其中(m，n)是像素坐标，(H，W)是图像尺寸:高度和宽度。PG(m，n)和PS(m，n)分别表示样本数据真值和预测显著性概率图的像素值。
步骤1.2：把原始样本数据x输入到表示分割网络S中，训练分割网络的分割能力以生成带标签的数据y1。
所述步骤2包括如下步骤：
步骤2.1：本发明设计了损失预测模块用于损失预测，损失预测模块通过计算一对样本的损失预测值之间的差异进行训练，损失预测模块的损失函数为：
Figure BDA0003003643960000052
其中pdata(x)是真实图像的数据分布，py(y)是生成标签的数据分布，E表示数学期望。训练后的损失预测模块将对未标记样本的损失值进行预测。
步骤2.2：将带标签的样本数据y输入到生成器G中，将生成器生成数据x1和原始的样本数据x输入到判别器D中，在每次迭代结束后，对对抗网络进行更新训练。
所述步骤3包括如下步骤：
步骤3.1：本发明设计了协同优化模块部分的损失预测模块用于损失预测，损失预测模块通过计算一对样本的损失预测值之间的差异进行训练，损失预测模块的损失函数为：
Figure BDA0003003643960000061
步骤3.2：将带标签的真实样本数据y输入到生成器G中，将生成器生成数据x1和原始的样本数据x分别输入到判别器D和分割模型S中，在每次迭代结束后，对任务分割模型和对抗网络进行更新训练。
步骤3.3：在每次迭代结束后，对任务分割模型和对抗网络模型进行更新训练。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
以上结合附图所述，仅为本发明的具体实施方式及流程，但本发明的保护范围并不局限于此，任何熟悉本领域的技术人员应当理解，此仅为举例说明，可以对此实施方式做出多种变化和替换，而不背离本发明的实质内容。本发明的范围仅由所附权利要求书限定。
本发明通过参考附图描述的实施方式是示例性的，仅用于对本发明进行解释，不能理解为对本发明的限制，本发明的实施例具体范围不受此限制，相反，本发明的所有实施例包括落入所附权利要求书的精神和内涵范围内的所有变化和修改。

Claims (2)

1.一种基于协同优化网络的肺结节分割方法，其特征在于，包括如下步骤：
步骤1：把原始样本数据x输入到表示分割网络S中，训练分割网络的分割能力以生成带标签的数据y1；
步骤2：将带标签的样本数据y输入到生成器G中，将生成器生成数据x1和原始的样本数据x输入到判别器D中，在每次迭代结束后，对对抗网络进行更新训练；
步骤3：将带标签的真实样本数据y输入到生成器G中，将生成器生成数据x1和原始的样本数据x分别输入到判别器D和分割模型S中，在每次迭代结束后，对任务分割模型和对抗网络进行更新训练。
2.根据权利要求1所述的基于协同优化网络的肺结节分割方法，其特征在于，所述步骤1包括如下步骤：
步骤1.1：本发明设计了一种表示分割模型S，是一个两级嵌套的U型结构。该设计具有以下优点:(1)在本模型中提出的残差U型区块(RSU)中混合了不同大小的感受野，能够从不同的尺度捕捉更多的上下文信息，(2)在这些RSU区块中使用了汇集操作，它增加了整个架构的深度，而没有显著增加计算成本。损失预测模块的损失函数为：
Figure FDA0003003643950000011
其中(m，n)是像素坐标，(H，W)是图像尺寸:高度和宽度。PG(m，n)和PS(m，n)分别表示样本数据真值和预测显著性概率图的像素值。
步骤1.2：把原始样本数据x输入到表示分割网络S中，训练分割网络的分割能力以生成带标签的数据y1。
所述步骤2包括如下步骤：
步骤2.1：本发明设计了损失预测模块用于损失预测，损失预测模块通过计算一对样本的损失预测值之间的差异进行训练，损失预测模块的损失函数为：
Figure FDA0003003643950000012
其中pdata(x)是真实图像的数据分布，py(y)是生成标签的数据分布，E表示数学期望。
步骤2.2：将带标签的样本数据y输入到生成器G中，将生成器生成数据x1和原始的样本数据x输入到判别器D中，在每次迭代结束后，对对抗网络进行更新训练。
所述步骤3包括如下步骤：
步骤3.1：本发明设计了协同优化模块部分的损失预测模块用于损失预测，损失预测模块通过计算一对样本的损失预测值之间的差异进行训练，损失预测模块的损失函数为：
Figure FDA0003003643950000021
步骤3.2：将带标签的真实样本数据y输入到生成器G中，将生成器生成数据x1和原始的样本数据x分别输入到判别器D和分割模型S中，在每次迭代结束后，对任务分割模型和对抗网络进行更新训练。
步骤3.3：在每次迭代结束后，对任务分割模型和对抗网络模型进行更新训练。
CN202110356839.9A 2021-04-01 2021-04-01 一种基于协同优化网络的肺结节分割方法 Pending CN113012171A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110356839.9A CN113012171A (zh) 2021-04-01 2021-04-01 一种基于协同优化网络的肺结节分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110356839.9A CN113012171A (zh) 2021-04-01 2021-04-01 一种基于协同优化网络的肺结节分割方法

Publications (1)

Publication Number Publication Date
CN113012171A true CN113012171A (zh) 2021-06-22

Family

ID=76387694

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110356839.9A Pending CN113012171A (zh) 2021-04-01 2021-04-01 一种基于协同优化网络的肺结节分割方法

Country Status (1)

Country Link
CN (1) CN113012171A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038844A (zh) * 2017-11-30 2018-05-15 东北大学 一种基于轻巧型cnn的肺结节良恶性预测方法
CN112419327A (zh) * 2020-12-10 2021-02-26 复旦大学附属肿瘤医院 一种基于生成对抗网络的图像分割方法、系统和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038844A (zh) * 2017-11-30 2018-05-15 东北大学 一种基于轻巧型cnn的肺结节良恶性预测方法
CN112419327A (zh) * 2020-12-10 2021-02-26 复旦大学附属肿瘤医院 一种基于生成对抗网络的图像分割方法、系统和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
魏凤芹: "基于深度学习的甲状腺超声图像自动分割方法研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 *

Similar Documents

Publication Publication Date Title
Tian et al. Constrained contrastive distribution learning for unsupervised anomaly detection and localisation in medical images
CN108268870B (zh) 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN108171232B (zh) 基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法
Soudani et al. An image-based segmentation recommender using crowdsourcing and transfer learning for skin lesion extraction
Wang et al. Breast mass classification via deeply integrating the contextual information from multi-view data
CN112102266B (zh) 基于注意力机制的脑梗死医学影像分类模型的训练方法
CN111882560B (zh) 一种基于加权全卷积神经网络的肺实质ct图像分割方法
CN106056595A (zh) 基于深度卷积神经网络自动识别甲状腺结节良恶性的方法
CN111598875A (zh) 甲状腺结节自动检测模型构建方法、系统及装置
JP2021527478A (ja) 第２のリーダー
Luo et al. Retinal image classification by self-supervised fuzzy clustering network
CN110689025A (zh) 图像识别方法、装置、系统及内窥镜图像识别方法、装置
WO2019184851A1 (zh) 图像处理方法和装置及神经网络模型的训练方法
CN106780453A (zh) 一种基于深度信任网络实现对脑肿瘤分割的方法
CN114663426B (zh) 一种基于关键骨区定位的骨龄评估方法
Zhao et al. D2a u-net: Automatic segmentation of covid-19 lesions from ct slices with dilated convolution and dual attention mechanism
Wang et al. PaI‐Net: A modified U‐Net of reducing semantic gap for surgical instrument segmentation
CN116350231A (zh) 基于层级不同粒度类别约束的半监督心电图心肌梗死定位方法
CN111667469B (zh) 肺部疾病分类方法、装置及设备
CN113012171A (zh) 一种基于协同优化网络的肺结节分割方法
Qing et al. MPSA: Multi-Position Supervised Soft Attention-based convolutional neural network for histopathological image classification
Hage Chehade et al. A Systematic Review: Classification of Lung Diseases from Chest X-Ray Images Using Deep Learning Algorithms
Zhong et al. Ensemble learning method based on CNN for class imbalanced data
Sudha et al. Automatic lung cancer detection using hybrid particle snake swarm optimization with optimized mask RCNN
Abdel-Basset et al. Explainable Conformer Network for Detection of COVID-19 Pneumonia from Chest CT Scan: From Concepts toward Clinical Explainability.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210622