CN111369574A - 一种胸腔器官的分割方法及装置 - Google Patents

一种胸腔器官的分割方法及装置 Download PDF

Info

Publication number
CN111369574A
CN111369574A CN202010166412.8A CN202010166412A CN111369574A CN 111369574 A CN111369574 A CN 111369574A CN 202010166412 A CN202010166412 A CN 202010166412A CN 111369574 A CN111369574 A CN 111369574A
Authority
CN
China
Prior art keywords
segmentation
segmented
image
module
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010166412.8A
Other languages
English (en)
Other versions
CN111369574B (zh
Inventor
李秀林
韩文廷
石军
陈俊仕
郝晓宇
王朝晖
文可
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Kaibil High Tech Co ltd
Original Assignee
Hefei Kaibil High Tech Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Kaibil High Tech Co ltd filed Critical Hefei Kaibil High Tech Co ltd
Priority to CN202010166412.8A priority Critical patent/CN111369574B/zh
Publication of CN111369574A publication Critical patent/CN111369574A/zh
Application granted granted Critical
Publication of CN111369574B publication Critical patent/CN111369574B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种胸腔器官分割方法及装置，其中，方法包括：获取待分割图像；将待分割图像输入完成训练的网络模型，得到分类结果和分割数据；网络模型包括：主干网络和分类器；主干网络和分类器连接；主干网络包括编码模块和解码模块；编码模块的数量和解码模块的数量相同；主干网络中对应位置的编码模块和解码模块进行跳转连接；分类结果是分类器输出的表示待分割图像中包含待分割胸腔器官的概率；分割数据是主干网络输出的对待分割胸腔器官的分割结果；根据分类结果和分割数据，确定分割结果；输出分割结果。本申请可以降低假阳性分割结果。

Description

一种胸腔器官的分割方法及装置
技术领域
本申请涉及医学图像处理领域，尤其涉及一种胸腔器官的分割方法及装置。
背景技术
精准的器官分割对于胸腔恶性肿瘤的放射治疗过程有着至关重要的影响，因为其直接影响放疗计划中照射范围和剂量的制定。
近年来，深度学习技术发展迅速，越来越广泛地被应用于医学图像分析领域，并取得了显著的效果。其中，对于医学图像中的器官分割任务，深度卷积神经网络已然成为了主流研究方法。最具代表性的是基于全卷积神经网络的FCN和U-Net结构，二者通过特征自动提取和梯度反向传播优化机制，实现了对输入图像的逐像素分类，即语义分割。
虽然目前基于深度学习技术的算法要远远优于传统方法，但是，由于软组织与相邻器官的低对比度将导致大量的假阳性分割结果，即将非待分割器官判定为待分割器官。
发明内容
本申请提供了一种胸腔器官的分割方法及装置，目的在于解决由于软组织与相邻器官的低对比度将导致大量的假阳性分割结果的问题。
为了实现上述目的，本申请提供了以下技术方案：
本申请提供了一种胸腔器官的分割方法，包括：
获取待分割图像；
将所述待分割图像输入完成训练的网络模型，得到分类结果和分割数据；所述网络模型包括：主干网络和分类器；所述主干网络和所述分类器连接；所述主干网络包括编码模块和解码模块；所述编码模块的数量和所述解码模块的数量相同；所述主干网络中对应位置的编码模块和解码模块进行跳转连接；所述分类结果是所述分类器输出的表示所述待分割图像中包含待分割胸腔器官的概率；所述分割数据是所述主干网络输出的对所述待分割胸腔器官的分割结果；
根据所述分类结果和所述分割数据，确定分割结果；
输出所述分割结果。
可选的，所述根据所述分类结果和所述分割数据，确定分割结果，包括：
在所述分类结果大于所述待分割胸腔器官的预设阈值的情况下，确定分割结果为所述分割数据；
在所述分类结果不大于所述预设阈值的情况下，确定所述分割结果为预设图像；所述预设图像是表示所述待分割图像中不存在所述待分割器官的图像。
可选的，所述分类器由全局最大池化层、全连接层和softmax构成；其中，输入所述分类器的数据依次经过所述全局最大池化层、所述全连接层和所述softmax函数。
可选的，所述主干网络中的任一编码模块由混合空洞卷积模块和最大池化层构成；任一解码模块由一个双线性插值层和3个标准的3x3卷积层叠加而成。
可选的，所述主干网络还包括：空间金字塔池化模块；所述空间金字塔池化模块位于中所述编码模块和所述解码模块的瓶颈处。
可选的，在所述获取待分割图像之后，并且，在将所述待分割图像输入完成训练的网络模型，得到分类结果和分割数据之前，还包括：
对所述待分割图像进行预处理，得到预处理后的待分割图像；所述预处理包括：灰度截断、冗余信息清除以及重采样；
所述将所述待分割图像输入所述完成训练的网络模型，得到分类结果和分割数据，具体为：
将所述预处理后的待分割图像输入所述完成训练的网络模型，得到分类结果和分割数据。
可选的，在所述根据所述分类结果和所述分割数据，确定分割结果之后，还包括：
对所述分割结果进行裁剪或填充，得到第一分割结果；
对所述第一分割结果进行重采样至原始分辨率，得到第二分割结果；
移除所述第二分割结果中预设大小的连通域，得到第三分割结果；
所述输出分割结果，具体为：
输出所述第三分割结果。
可选的，对所述网络模型的训练方式包括：
获取训练数据；
根据所述训练数据、预设的第一损失函数和预设的第二损失函数，对所述网络模型进行训练；所述第一损失函数为所述主干网络的损失函数；所述第二损失函数为所述分类器的损失函数。
可选的，在所述获取训练数据之后，并且，在所述根据所述训练数据、预设的第一损失函数和预设的第二损失函数，对所述网络模型进行训练之前，还包括：
对所述训练数据进行预处理，得到预处理后的训练数据；
对所述预处理后的训练数据进行增强变换，得到变换后的训练数据；
所述根据所述训练数据、预设的第一损失函数和预设的第二损失函数，对所述网络模型进行训练，具体为：
根据所述变换后的训练数据、预设的第一损失函数和预设的第二损失函数，对所述网络模型进行训练。
本申请还提供了一种胸腔器官的分割装置，包括：
获取模块，用于获取待分割图像；
输入模块，用于将所述待分割图像输入完成训练的网络模型，得到分类结果和分割数据；所述网络模型包括：主干网络和分类器；所述主干网络和所述分类器连接；所述主干网络包括编码模块和解码模块；所述编码模块的数量和所述解码模块的数量相同；所述主干网络中对应位置的编码模块和解码模块进行跳转连接；所述分类结果是所述分类器输出的表示所述待分割图像中包含待分割胸腔器官的概率；所述分割数据是所述主干网络输出的对所述待分割胸腔器官的分割结果；
确定模块，用于根据所述分类结果和所述分割数据，确定分割结果；
输出模块，用于输出所述分割结果。
可选的，所述确定模块，用于根据所述分类结果和所述分割数据，确定分割结果，包括：
所述确定模块，具体用于在所述分类结果大于所述待分割胸腔器官的预设阈值的情况下，确定分割结果为所述分割数据；
在所述分类结果不大于所述预设阈值的情况下，确定所述分割结果为预设图像；所述预设图像是表示所述待分割图像中不存在所述待分割器官的图像。
可选的，所述分类器由全局最大池化层、全连接层和softmax构成；其中，输入所述分类器的数据依次经过所述全局最大池化层、所述全连接层和所述softmax函数。
可选的，所述主干网络中的任一编码模块由混合空洞卷积模块和最大池化层构成；任一解码模块由一个双线性插值层和3个标准的3x3卷积层叠加而成。
可选的，所述主干网络还包括：空间金字塔池化模块；所述空间金字塔池化模块位于中所述编码模块和所述解码模块的瓶颈处。
可选的，该胸腔器官分割装置还包括：
第一预处理模块，用于在所述获取模块获取待分割图像之后，并且，在所述输入模块将所述待分割图像输入完成训练的网络模型，得到分类结果和分割数据之前，对所述待分割图像进行预处理，得到预处理后的待分割图像；所述预处理包括：灰度截断、冗余信息清除以及重采样；
所述输入模块，用于将所述待分割图像输入所述完成训练的网络模型，得到分类结果和分割数据，具体为：
所述输入模块，具体用于将所述预处理后的待分割图像输入所述完成训练的网络模型，得到分类结果和分割数据。
可选的，该胸腔器官分割装置还包括：处理模块，用于在所述确定模块根据所述分类结果和所述分割数据，确定分割结果之后，对所述分割结果进行裁剪或填充，得到第一分割结果；对所述第一分割结果进行重采样至原始分辨率，得到第二分割结果；移除所述第二分割结果中预设大小的连通域，得到第三分割结果；
所述输出模块，用于输出分割结果，具体为：
所述输出模块，具体用于输出所述第三分割结果。
可选的，所述胸腔器官分割装置还包括：训练模块，用于获取训练数据；
根据所述训练数据、预设的第一损失函数和预设的第二损失函数，对所述网络模型进行训练；所述第一损失函数为所述主干网络的损失函数；所述第二损失函数为所述分类器的损失函数。
可选的，该胸腔器官分割装置还包括：第二预处理模块，用于在所述获取模块获取训练数据之后，并且，在所述训练模块根据所述训练数据、预设的第一损失函数和预设的第二损失函数，对所述网络模型进行训练之前，对所述训练数据进行预处理，得到预处理后的训练数据；对所述预处理后的训练数据进行增强变换，得到变换后的训练数据；
所述训练模块，用于根据所述训练数据、预设的第一损失函数和预设的第二损失函数，对所述网络模型进行训练，具体为：
所述训练模块，具体用于根据所述变换后的训练数据、预设的第一损失函数和预设的第二损失函数，对所述网络模型进行训练。
本申请所述的胸腔器官的分割方法及装置中，获取待分割图像；将待分割图像输入完成训练的网络模型，得到分类结果和分割数据；网络模型包括：主干网络和分类器；主干网和分类器连接；主干网络包括编码模块和解码模块；编码模块的数量和解码模块的数量相同；主干网络中对应位置的编码模块和解码模块进行跳转连接；分类结果是分类器输出的表示待分割图像中包含待分割胸腔器官的概率；分割数据是主干网络输出的对待分割胸腔器官的分割结果；根据分类结果和分割数据确定分割结果，输出分割结果。
由于主干网络包括编码模块和解码模块，其中，编码模块的数量和解码模块的数量相同，主干网络中对应位置的编码模块和解码模块进行跳转连接，因此，主干网络可以输出分割数据。又由于网络模型中包括分类器，并且，分类器输出的分类结果表示待分割图像中包含待分割胸腔器官的概率，即表示主干网络输出的分割数据是待分割器官的分割数据的概率，因此，依据分类结果和分割数据输出的分割结果，可以降低分割结果的假阳性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例公开的一种胸腔器官的分割方法的流程图；
图2(a)为本申请实施例公开的分类器的结构示意图；
图2(b)为本申请实施例公开的任一编码模块中混合空洞卷积模块的结构示意图；
图2(c)为本申请实施例公开的任一解码模块中标准卷积模块的结构示意图；
图2(d)为本申请实施例公开的空间金字塔池化模块的结构示意图；
图2(e)为本申请实施例公开的网络模型的结构示意图；
图3为本申请实施例公开的一种3D可视化分割结果的示意图；
图4为本申请实施例公开的一种网络模型的训练方法的流程图；
图5为本申请实施例公开的一种胸腔器官的分割装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请实施例中，胸腔器官可以包含以下6种：左肺、右肺、心脏、气管、食道和脊髓。当然，在实际中，胸腔器官还可以包含其他器官，本申请实施例不对胸腔器官的具体内容作限定。
在本申请实施例中，对胸腔器官中的每类器官的分割过程是独立进行的，即对待分割图像的一次分割过程，是对待分割图像中的一个胸腔器官进行分割。为了描述方便，在以下实施例中，对于所需分割的任一胸腔器官称为待分割器官。
图1为本申请实施例提供的一种胸腔器官的分割方法，包括以下步骤：
S101、获取待分割图像。
在本实施例中，待分割图像可以为CT图像，也可以为核磁图像，当然，待分割图像还可以为其他类型，本实施例不对待分割图像的图像类型作限定。本实施例以待分割图像为CT图像为例，进行介绍。
在本实施例中，待分割图像可以为训练数据集中未参与训练的样本，或者为新样本。本实施例不对待分割图像的性质作限定。
S102、对待分割图像进行预处理，得到预处理后的待分割图像。
在本实施例中，预处理可以包括：灰度截断、冗余信息清除、重采样、填充或裁剪，以及格式转换等，得到预处理后的待分割图像。
其中，灰度截断的实现过程包括：根据对待分割图像中待分割器官设置的灰度范围，对待分割图像进行灰度截断。使得灰度截断得到的图像的图像对比度得到提高。在实际中，在CT图像中，不同组织器官对应着不同的HU(亨氏单位)范围，可以根据临床医学知识，选择对应的HU范围对图像进行灰度截断，以此提高器官与周围组织的对比度。
例如，一张灰度图像的灰度范围为[0,255]，如果想提高在灰度范围[100,200]的对比度，就可以将该灰度图像中小于100的像素值灰度置为100，高于200的像素值灰度设置为200(相当于这些超出范围的像素信息被丢弃)，然后将通过该处理得到的图像的灰度值范围再调整为[0,255]。
在实际中，由于CT图像中除了人体信息以外，还会包含一些冗余的背景信息，如床板等。因此，在本步骤中，冗余信息清除指：消除图像中的冗余背景信息。其中，可以采用高级形态学方法以及阈值分割算法，消除图像中的冗余背景信息，具体的冗余信息清除的具体实现方式为现有技术，这里不再赘述。
在实际中，由于患者的身材体型大小差异较大，所以扫描的时候，不同患者的CT图像可能具有不同的像素间距以及层厚，导致不同患者的CT图像包含的2D切片数量以及图像内容比例差异较大。为了消除这个因素导致的不同患者的CT图像包含的2D切片数量以及图像内容比例差异较大的影响，在本步骤中，可以预先设置固定的各向分辨率，采用该各像分辨率对数据进行重新采样，本步骤通过重采样可以将所有CT图像的像素间距和层厚统一。
在本实施例中，对待分割图像的预处理操作还可以包括：通过填充或裁剪至固定尺寸。其中，固定尺寸的取值可以为512x512，当然，在实际中，固定尺寸的取值还可以为其他值，本实施例不对固定尺寸的具体取值作限定。
在本实施例中，对待分图像的预处理操作还可以包括：转存为指定格式，以方便读取。其中，可选的，可以转存为HDF5格式。具体的，可以以3邻接的形式进行转存。例如，CT图像是3D数据，由一定数量的2D切片组成，而本步骤是以2.5D数据作为输入。即3邻接形式的数据指：每次将连续的三张切片作为输入，输出中间切片的分割结果，以此类推。从而，可以利用切片与切片之间的上限文信息，可以进一步提高分割精度。
需要说明的是，在本实施例中，本步骤是可选步骤。
S103、将预处理后的待分割图像输入完成训练的网络模型，得到分类结果和分割数据。
在本实施例中，网络模型可以包括：主干网络和分类器。其中，主干网络和分类器连接，主干网络包括编码模块和解码模块，编码模块的数量和解码模块的数量相同，并且，主干网络中对应位置的编码模块和解码模块进行跳转连接。由于主干网络中编码模块和解码模块对称，为了描述方便，将主干网络中对称的编码模块和解码模块，称为对应位置的编码模块和解码模块。
其中，残差连接应用于全部的编码解码模块，可以避免训练过程中出现梯度弥散问题。
可选的，分类器由全局最大池化层、全连接层和softmax构成。其中，输入分类器的数据依次经过全局最大池化层、全连接层和softmax函数。具体的，分类器的结构如图2(a)所示。
可选的，在本实施例中，主干网络中的任一编码模块可以由混合空洞卷积模块和最大池化层构成。其中，任一编码模块中的混合空洞卷积模块的结构如图2(b)所示。可选的，在本步骤中，每个混合空洞卷积模块保持相同的空洞率组合：[1,2,5]，最大池化层的步长可以为2。需要说明的是，空洞率组合的取值和最大池化层的步长的取值，只是本实施例提供的一种具体实现方式，在实际中，空洞率组合的取值和最大池化层的步长的取值还可以为其他取值，本实施例不作具体限定。
可选的，主干网络中的任一解码模块可以由一个双线性插值层和3个标准的3x3卷积层叠加而成。具体的，主干网络中的任一解码模块中标准卷积的结构如图2(c)所示。
可选的，在本实施例中，主干网络还可以包括：空间金字塔池化模块。其中，该空间金字塔池化模块位于主干网络的编码模块和解码模块的瓶颈处。在本实施例中，按照输入主干网络的数据依次经过预设数量串行的编码模块，最后一个编码模块输出的数据依次经过预设数量串行的解码模块。其中，编码模块和解码模块的瓶颈处指：数据传输过程中的最后一个编码模块和第一个解码模块之间。
在本步骤中，作为示例，金字塔池化模块可以由4个并行的空洞卷积层构成，空洞率组合可以为：[2,4,8,16]，用于提取多尺寸的上下文信息。全部空洞卷积层的输出将会在通道维度上进行融合，之后利用一个1x1的标准卷积降低特征的维度。具体的，金字塔池化模块的具体结构如图2(d)所示。
通过上述描述的网络模型，具体的，本实施例提供的最优网络模型的结图2(e)所示。在本实施例中，可以利用Tensorflow搭建该网络模型，其中，搭建的具体实现过程为现有技术，这里不再赘述。当然，在实际中，还可以采用其他方式搭建该网络模型，本实施例不对具体的搭建方式作限定。
在本步骤中，分类结果是分类器输出的表示待分割图像中包含待分割胸腔器官的概率。分割数据是主干网络输出的对待分割胸腔器官的分割结果。以待分割器官为心脏为例，在本步骤中，分类结果是分类器输出的表示待分割图像中包含心脏的概率。分割数据是主干网络输出的心脏分割结果。
需要说明的是，如果本实施例不包括S102，则在本步骤中，将待分割图像输入完成训练的网络模型，得到分类结果和分割数据。
S104、根据分类结果和分割数据，确定分割结果。
在本实施例中，由于分类结果表示待分割图像中包含待分割器官的概率，即反映了网络模型输出的分割数据是待分割器官的分割数据的概率，因此，在本实施例中，可以根据分类结果和分割数据，确定分割结果。
可选的，在本步骤中，根据分类结果和分割数据，确定分割结果的过程，可以包括步骤A1～步骤A2：
A1、在分类结果大于待分割胸腔器官的预设阈值的情况下，确定分割数据为分割结果。
在本实施例中，任一待分割胸腔器官的预设阈值可以根据该待分割胸腔器官的训练样本的真实分布确定。
在本步骤中，如果分类结果大于待分割胸腔器官的预设阈值，则表示待分割图像中包含待分割胸腔器官，否则，表示待分割图像中不包含待分割胸腔器官。
A2、在分类结果不大于预设阈值的情况下，确定分割结果为表示待分割图像中不存在待分割器官的预设图像。
在本步骤中，在分类结果不大于待分割胸腔器官的预设阈值，表示待分割图像中不包含待分割胸腔器官，因此，确定分割结果为预设图像，其中，预设图像表示待分割图像中不包含待分割胸腔器官。可选的，在本实施例中，预设图像可以全零图像，即预设图像可以为像素值全部为零的二值图像。
S105、对分割结果进行处理。
在本步骤中，对分割结果进行的处理操作可以包括步骤B1～步骤B3：
B1、对分割结果进行裁剪或填充，得到第一分割结果。
在本步骤中，对分割结果进行裁剪或填充的目的是：第一分割结果恢复为待分割图像的尺寸。本步骤的具体实现方式为现有技术，这里不再赘述。
B2、对第一分割结果进行重采样至原始分辨率，得到第二分割结果。
在本步骤中，重采样的具体实现方式为现有技术，这里不再赘述。
B3、移除第二分割结果中较小的连通域，得到第三分割结果。
在本步骤中，移除第二分割结果中较小的连通域的具体实现方式为现有技术，这里不再赘述。
在本实施例中，通过步骤B1～步骤B3对分割结果的处理操作，可以使得第三分割结果的分割准确度进一步得到提高。其中，分割准确度可以通过DSC(dice similaritycoefficient)进行度量。
需要说明的是，本步骤是可选步骤。
S106、输出分割结果。
如果本实施例包含S105，则本步骤输出的分割结果为第三分割结果，如果本实施例不包含S105，本步骤输出的分割结果为S104确定的分割结果。
在本实施例中，为了充分地评估网络模型的分割性能，可以采用两个评估标准进行性能评价，分别是DSC系数和豪斯多夫距离距离(HD)，其中DSC主要从区域的角度进行评估，而HD则是从边缘的方面进行考量。
本实施例具有以下有益效果：
有益效果一：
在本实施例中，网络模型采用了与U-net相似的编码解码设计思想，以实现端到端的逐像素分割，并且，单个网络就可以完成待分割胸腔器官的分割。
有益效果二：
本实施例中，在网络模型的编码模块中使用了混合空洞卷积，代替了现有的编码模块中的标准卷积，从而扩大了卷积操作的感受野。同时，在主干网络的编码模块和解码模块的瓶颈处，添加了空间金字塔池化模块，该空间金字塔池化模块用于提取不同尺寸的上下文信息，从而，适应不同人的胸腔器官形状大小不同的特点，使得本实施例可以适用于不同人的待分割图像。
有益效果三：
在本实施中，网络模型包括分类器，该分类器输出分类结果，该分类结果表示待分割图像中包含待分割胸腔器官的概率，即网络模型的主干网络输出的分割数据为待分割胸腔器官的分割结果的概率，即分类结果对分割结果可以产生正向干预，从而，本实施例能够减少假阳性分割结果。
图3为本申请实施例提供的一种3D可视化分割结果示意图，从图3中可以看出，分割出了左肺、右肺、心脏、食道、气管和脊髓。
图4为本申请实施例提供的一种网络模型的训练方法，包括以下步骤：
S401、获取训练数据。
具体的，在本步骤中，获取的训练数据可以是不少于50例带标注的胸部CT图像。当然，在实际中，训练数据中包含的图像帧数和图像类型可以根据实际情况确定，本实施例不对训练数据中的图像帧数和图像类型作限定。
S402、对训练数据进行预处理。
在本步骤中，对训练数据进行的预处理操作可以包括：数据清洗、灰度截断、冗余信息清除、重采样、裁剪或填充至固定尺寸，以及转存至指定格式等。
其中，数据清洗指：剔除训练数据中标注不规范的数据样本。其中，数据不规范可以包括：标注不完全、标注错误、标注命名不规范和标注不统一。
其中，灰度截断、冗余信息清除、重采样、裁剪或填充至固定尺寸，以及转存至指定格式的具体定义，可以参考S102，这里不再赘述。
需要说明的是，在本实施例中，本步骤是可选步骤。
S403、对训练数据进行增强变换，得到变换后的训练数据。
在本实施例中，为了防止过拟合，可以对训练数据进行在线随机增强，具体的，在对网络模型训练时，对训练数据数据进行增强变换。其中，数据增强可以包括：水平垂直翻转、缩放、平移以及高斯噪声。当然，在实际中，数据增强还可以包括其他内容，本实施例不对数据增强的具体内容作限定。
需要说明的是，如果本实施例包括S402，则本步骤对预处理后的训练数据进行数据增强，如果本实施例不包括S402，则本步骤对S401获取的训练数据进行数据增强。
还需要说明的是，在本实施例中，本步骤是可选步骤。
S404、根据变换后的训练数据、预设的第一损失函数和预设的第二损失函数，对网络模型进行训练。
在本实施例中，网络模型的主干网络输出分割数据，因此，可以将主干网络称作分割分支，主干网络输出的分割数据还需要输入分类器，因此，可以将主干网络和分类器组成的分支，称为分类分支。
在本实施例中，在训练网络模型的过程中，分割分支和分类分支所采用的损失函数不同，其中，对于分割分支所采用的损失函数称为第一损失函数，对于分类分支所采用的损失函数称为第二损失函数。其中，第一损失函数可以为Dice损失函数，当然，在实际中，第一损失函数还可以为其他损失函数，本实施例不对第一损失函数的具体内容作限定。第二损失函数可以为交叉熵损失，当然，在实际中，第二损失函数还可以为其他损失函数，本实施例不对第二损失函数的具体内容作限定。在本实施例中，将第一损失函数和第二损失函数的加权和，作为网络模型的损失函数。
在本步骤中，通过配置软硬件环境，对网络模型进行多次迭代训练，通过实时评估最优的模型参数。其中，优化器选择Adam，初始学习率设置为1e-3，Batch size根据所选的硬件加速显卡而定。
图5为本申请实施例提供的一种胸腔器官的分割装置，包括：获取模块501、输入模块502、确定模块503和输出模块504；其中，
获取模块501，用于获取待分割图像；
输入模块502，用于将待分割图像输入完成训练的网络模型，得到分类结果和分割数据；网络模型包括：主干网络和分类器；主干网络和分类器连接；主干网络包括编码模块和解码模块；编码模块的数量和解码模块的数量相同；主干网络中对应位置的编码模块和解码模块进行跳转连接；分类结果是分类器输出的表示待分割图像中包含待分割胸腔器官的概率；分割数据是主干网络输出的对待分割胸腔器官的分割结果；
确定模块503，用于根据分类结果和分割数据，确定分割结果；
输出模块504，用于输出分割结果。
可选的，确定模块503，用于根据分类结果和分割数据，确定分割结果，包括：确定模块503，具体用于在分类结果大于待分割胸腔器官的预设阈值的情况下，确定分割结果为分割数据；在分类结果不大于预设阈值的情况下，确定分割结果为预设图像；预设图像是表示待分割图像中不存在待分割器官的图像。
可选的，分类器由全局最大池化层、全连接层和softmax构成；其中，输入分类器的数据依次经过全局最大池化层、全连接层和softmax函数。
可选的，主干网络中的任一编码模块由混合空洞卷积模块和最大池化层构成；任一解码模块由一个双线性插值层和3个标准的3x3卷积层叠加而成。
可选的，主干网络还包括：空间金字塔池化模块；空间金字塔池化模块位于中编码模块和解码模块的瓶颈处。
可选的，该胸腔器官分割装置还可以包括：
第一预处理模块，用于在获取模块501获取待分割图像之后，并且，在输入模块502将待分割图像输入完成训练的网络模型，得到分类结果和分割数据之前，对待分割图像进行预处理，得到预处理后的待分割图像；预处理包括：灰度截断、冗余信息清除以及重采样；
输入模块502，用于将待分割图像输入完成训练的网络模型，得到分类结果和分割数据，具体为：输入模块502，具体用于将预处理后的待分割图像输入完成训练的网络模型，得到分类结果和分割数据。
可选的，该胸腔器官分割装置，还可以包括：
处理模块，用于在确定模块503根据分类结果和分割数据，确定分割结果之后，对分割结果进行裁剪或填充，得到第一分割结果；对第一分割结果进行重采样至原始分辨率，得到第二分割结果；移除第二分割结果中预设大小的连通域，得到第三分割结果。
其中，输出模块504，用于输出分割结果，具体为：输出模块504，具体用于输出第三分割结果。
可选的，该胸腔器官分割装置还可以：
训练模块，用于获取训练数据；根据训练数据、预设的第一损失函数和预设的第二损失函数，对网络模型进行训练；第一损失函数为主干网络的损失函数；第二损失函数为分类器的损失函数。
可选的，该胸腔器官分割装置还可以包括：
第二预处理模块，用于在获取模块获取训练数据之后，并且，在训练模块根据训练数据、预设的第一损失函数和预设的第二损失函数，对网络模型进行训练之前，对训练数据进行预处理，得到预处理后的训练数据；对预处理后的训练数据进行增强变换，得到变换后的训练数据。
其中，训练模块，用于根据训练数据、预设的第一损失函数和预设的第二损失函数，对网络模型进行训练，具体为：
训练模块，具体用于根据变换后的训练数据、预设的第一损失函数和预设的第二损失函数，对网络模型进行训练。
本申请实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算设备可读取存储介质中。基于这样的理解，本申请实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备(可以是个人计算机，服务器，移动计算设备或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种胸腔器官的分割方法，其特征在于，包括：
获取待分割图像；
将所述待分割图像输入完成训练的网络模型，得到分类结果和分割数据；所述网络模型包括：主干网络和分类器；所述主干网络和所述分类器连接；所述主干网络包括编码模块和解码模块；所述编码模块的数量和所述解码模块的数量相同；所述主干网络中对应位置的编码模块和解码模块进行跳转连接；所述分类结果是所述分类器输出的表示所述待分割图像中包含待分割胸腔器官的概率；所述分割数据是所述主干网络输出的对所述待分割胸腔器官的分割结果；
根据所述分类结果和所述分割数据，确定分割结果；
输出所述分割结果。
2.根据权利要求1所述的方法，其特征在于，所述根据所述分类结果和所述分割数据，确定分割结果，包括：
在所述分类结果大于所述待分割胸腔器官的预设阈值的情况下，确定分割结果为所述分割数据；
在所述分类结果不大于所述预设阈值的情况下，确定所述分割结果为预设图像；所述预设图像是表示所述待分割图像中不存在所述待分割器官的图像。
3.根据权利要求1所述的方法，其特征在于，所述分类器由全局最大池化层、全连接层和softmax构成；其中，输入所述分类器的数据依次经过所述全局最大池化层、所述全连接层和所述softmax函数。
4.根据权利要求1所述的方法，其特征在于，所述主干网络中的任一编码模块由混合空洞卷积模块和最大池化层构成；任一解码模块由一个双线性插值层和3个标准的3x3卷积层叠加而成。
5.根据权利要求1所述的方法，其特征在于，所述主干网络还包括：空间金字塔池化模块；所述空间金字塔池化模块位于中所述编码模块和所述解码模块的瓶颈处。
6.根据权利要求1所述的方法，其特征在于，在所述获取待分割图像之后，并且，在将所述待分割图像输入完成训练的网络模型，得到分类结果和分割数据之前，还包括：
对所述待分割图像进行预处理，得到预处理后的待分割图像；所述预处理包括：灰度截断、冗余信息清除以及重采样；
所述将所述待分割图像输入所述完成训练的网络模型，得到分类结果和分割数据，具体为：
将所述预处理后的待分割图像输入所述完成训练的网络模型，得到分类结果和分割数据。
7.根据权利要求所6述的方法，其特征在于，在所述根据所述分类结果和所述分割数据，确定分割结果之后，还包括：
对所述分割结果进行裁剪或填充，得到第一分割结果；
对所述第一分割结果进行重采样至原始分辨率，得到第二分割结果；
移除所述第二分割结果中预设大小的连通域，得到第三分割结果；
所述输出分割结果，具体为：
输出所述第三分割结果。
8.根据权利要求1所述的方法，其特征在于，对所述网络模型的训练方式包括：
获取训练数据；
根据所述训练数据、预设的第一损失函数和预设的第二损失函数，对所述网络模型进行训练；所述第一损失函数为所述主干网络的损失函数；所述第二损失函数为所述分类器的损失函数。
9.根据权利要求8所述的方法，其特征在于，在所述获取训练数据之后，并且，在所述根据所述训练数据、预设的第一损失函数和预设的第二损失函数，对所述网络模型进行训练之前，还包括：
对所述训练数据进行预处理，得到预处理后的训练数据；
对所述预处理后的训练数据进行增强变换，得到变换后的训练数据；
所述根据所述训练数据、预设的第一损失函数和预设的第二损失函数，对所述网络模型进行训练，具体为：
根据所述变换后的训练数据、预设的第一损失函数和预设的第二损失函数，对所述网络模型进行训练。
10.一种胸腔器官的分割装置，其特征在于，包括：
获取模块，用于获取待分割图像；
输入模块，用于将所述待分割图像输入完成训练的网络模型，得到分类结果和分割数据；所述网络模型包括：主干网络和分类器；所述主干网络和所述分类器连接；所述主干网络包括编码模块和解码模块；所述编码模块的数量和所述解码模块的数量相同；所述主干网络中对应位置的编码模块和解码模块进行跳转连接；所述分类结果是所述分类器输出的表示所述待分割图像中包含待分割胸腔器官的概率；所述分割数据是所述主干网络输出的对所述待分割胸腔器官的分割结果；
确定模块，用于根据所述分类结果和所述分割数据，确定分割结果；
输出模块，用于输出所述分割结果。
CN202010166412.8A 2020-03-11 2020-03-11 一种胸腔器官的分割方法及装置 Active CN111369574B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010166412.8A CN111369574B (zh) 2020-03-11 2020-03-11 一种胸腔器官的分割方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010166412.8A CN111369574B (zh) 2020-03-11 2020-03-11 一种胸腔器官的分割方法及装置

Publications (2)

Publication Number Publication Date
CN111369574A true CN111369574A (zh) 2020-07-03
CN111369574B CN111369574B (zh) 2023-05-16

Family

ID=71210589

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010166412.8A Active CN111369574B (zh) 2020-03-11 2020-03-11 一种胸腔器官的分割方法及装置

Country Status (1)

Country Link
CN (1) CN111369574B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150449A (zh) * 2020-09-29 2020-12-29 太原理工大学 一种脑卒中病灶分割方法和系统
CN113436138A (zh) * 2021-03-31 2021-09-24 成都飞机工业（集团）有限责任公司 一种基于数字图像的航空结构件识别的图像预处理方法
WO2022007957A1 (zh) * 2020-07-10 2022-01-13 北京医智影科技有限公司 用于对图像进行自动处理的网络架构、程序载体和工作站
CN116258672A (zh) * 2022-12-26 2023-06-13 浙江大学 医学图像分割方法、系统、存储介质及电子设备
CN116823810A (zh) * 2023-08-25 2023-09-29 之江实验室 基于联邦学习的腹部多器官动态增强分割方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006087136A (ja) * 2002-04-19 2006-03-30 Matsushita Electric Ind Co Ltd 可変長符号化方法および可変長復号化方法
US20180276825A1 (en) * 2017-03-23 2018-09-27 Petuum, Inc. Structure Correcting Adversarial Network for Chest X-Rays Organ Segmentation
CN109686426A (zh) * 2018-12-29 2019-04-26 上海商汤智能科技有限公司 医疗影像处理方法及装置、电子设备及存储介质
CN110232394A (zh) * 2018-03-06 2019-09-13 华南理工大学 一种多尺度图像语义分割方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006087136A (ja) * 2002-04-19 2006-03-30 Matsushita Electric Ind Co Ltd 可変長符号化方法および可変長復号化方法
US20180276825A1 (en) * 2017-03-23 2018-09-27 Petuum, Inc. Structure Correcting Adversarial Network for Chest X-Rays Organ Segmentation
CN110232394A (zh) * 2018-03-06 2019-09-13 华南理工大学 一种多尺度图像语义分割方法
CN109686426A (zh) * 2018-12-29 2019-04-26 上海商汤智能科技有限公司 医疗影像处理方法及装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
赵泉华;谢凯浪;王光辉;李玉;: "结合编码-解码网络和条件随机场的全极化合成孔径雷达土地覆盖分类" *
邓金城;彭应林;刘常春;陈子杰;雷国胜;吴江华;张广顺;邓小武;: "深度卷积神经网络在放射治疗计划图像分割中的应用" *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022007957A1 (zh) * 2020-07-10 2022-01-13 北京医智影科技有限公司 用于对图像进行自动处理的网络架构、程序载体和工作站
CN112150449A (zh) * 2020-09-29 2020-12-29 太原理工大学 一种脑卒中病灶分割方法和系统
CN113436138A (zh) * 2021-03-31 2021-09-24 成都飞机工业（集团）有限责任公司 一种基于数字图像的航空结构件识别的图像预处理方法
CN113436138B (zh) * 2021-03-31 2023-07-21 成都飞机工业（集团）有限责任公司 一种基于数字图像的航空结构件识别的图像预处理方法
CN116258672A (zh) * 2022-12-26 2023-06-13 浙江大学 医学图像分割方法、系统、存储介质及电子设备
CN116258672B (zh) * 2022-12-26 2023-11-17 浙江大学 医学图像分割方法、系统、存储介质及电子设备
CN116823810A (zh) * 2023-08-25 2023-09-29 之江实验室 基于联邦学习的腹部多器官动态增强分割方法及系统
CN116823810B (zh) * 2023-08-25 2023-11-17 之江实验室 基于联邦学习的腹部多器官动态增强分割方法及系统

Also Published As

Publication number Publication date
CN111369574B (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
CN111369574B (zh) 一种胸腔器官的分割方法及装置
CN111798462B (zh) 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
CN109461495B (zh) 一种医学图像的识别方法、模型训练的方法及服务器
CN113012172B (zh) 一种基于AS-UNet的医学图像分割方法及系统
CN110544264B (zh) 一种基于3d深监督机制的颞骨关键解剖结构小目标分割方法
CN110930416B (zh) 一种基于u型网络的mri图像前列腺分割方法
CN111369565B (zh) 一种基于图卷积网络的数字病理图像的分割与分类方法
CN109872325B (zh) 基于双路三维卷积神经网络的全自动肝脏肿瘤分割方法
JP2023550844A (ja) 深層形状学習に基づく肝臓ｃｔ自動分割方法
CN111784671A (zh) 基于多尺度深度学习的病理图像病灶区域检测方法
CN115578404B (zh) 一种基于深度学习的肝脏肿瘤图像增强和分割的方法
CN116097302A (zh) 用于病灶检测的利用联合训练的连接式机器学习模型
CN107766874B (zh) 一种超声容积生物学参数的测量方法及测量系统
CN113223005B (zh) 一种甲状腺结节自动分割及分级的智能系统
CN112949654A (zh) 图像检测方法及相关装置、设备
CN111915626B (zh) 心脏超声图像的心室区域自动分割方法、装置及存储介质
CN112396605A (zh) 网络训练方法及装置、图像识别方法和电子设备
Ferreira et al. GAN-based generation of realistic 3D volumetric data: A systematic review and taxonomy
CN113256670A (zh) 图像处理方法及装置、网络模型的训练方法及装置
NL2037742A (en) Liver and liver tumor segmentation method based on parallel residual attention mechanism
CN117710317A (zh) 检测模型的训练方法及检测方法
CN114187181A (zh) 基于残差信息精炼的双路径肺部ct图像超分辨率方法
CN117522892A (zh) 基于空间通道注意力增强的肺腺癌ct影像病灶分割方法
CN116883341A (zh) 一种基于深度学习的肝脏肿瘤ct图像自动分割方法
CN115410032A (zh) 基于自监督学习的octa图像分类结构训练方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant