CN112085743A - 一种肾肿瘤的图像分割方法 - Google Patents
一种肾肿瘤的图像分割方法 Download PDFInfo
- Publication number
- CN112085743A CN112085743A CN202010924384.1A CN202010924384A CN112085743A CN 112085743 A CN112085743 A CN 112085743A CN 202010924384 A CN202010924384 A CN 202010924384A CN 112085743 A CN112085743 A CN 112085743A
- Authority
- CN
- China
- Prior art keywords
- image
- module
- kidney
- renal tumor
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 208000008839 Kidney Neoplasms Diseases 0.000 title claims abstract description 74
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000003709 image segmentation Methods 0.000 title claims abstract description 12
- 230000011218 segmentation Effects 0.000 claims abstract description 84
- 210000003734 kidney Anatomy 0.000 claims abstract description 34
- 238000005070 sampling Methods 0.000 claims abstract description 29
- 210000001015 abdomen Anatomy 0.000 claims abstract description 15
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 14
- 230000003187 abdominal effect Effects 0.000 claims abstract description 14
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims abstract description 9
- 238000009826 distribution Methods 0.000 claims abstract description 8
- 238000013507 mapping Methods 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 4
- 230000001174 ascending effect Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 230000001502 supplementing effect Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 210000000056 organ Anatomy 0.000 abstract description 4
- 230000010339 dilation Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 238000002679 ablation Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 208000017169 kidney disease Diseases 0.000 description 2
- 239000011295 pitch Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 210000000683 abdominal cavity Anatomy 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000007795 chemical reaction product Substances 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003907 kidney function Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30084—Kidney; Renal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种肾肿瘤的图像分割方法，其包括以下步骤：S1、获取腹部扫描图像，并划分成数据集和训练集；S2、对获取的腹部扫描图像进行下采样的预处理操作，得到缩放后的图像；S3、利用腹部空间的全局位置信息确定S2中预处理后图像的感兴趣区域并进行图像分割，通过U型肾肿瘤分割网络进行训练和预测；S4、将S1中的腹部扫描图像进行向外扩张一定范围后分割左肾脏及右肾脏的图像，对所有分割出来的图像进行插值并统一到相同数据分布内，得到左右肾VOI图像；S5、通过U型肾肿瘤分割网络对左右肾VOI图像进行肿瘤分割预测；本发明通过该方法有效避免其他器官组织的干扰，提高了肾肿瘤的识别和分割图像的准确度，且效率更高。
Description
技术领域
本发明涉及医学图像处理的技术领域，尤其涉及一种肾肿瘤的图像分割方法。
背景技术
肾脏是人体的重要器官，肾功能一旦受损会导致多种代谢终产物在体内堆积，进而影响到生命安全。在多种肾脏疾病中，肾肿瘤是肾脏健康的头号危险病种。目前CT影像学检查是肾肿瘤等肾脏疾病的主要检查方式之一，根据肾肿瘤的大小，医生可以对肿瘤的严重程度进行分级，并制定相应的治疗手段；同时对肾肿瘤定位，并分析形状和大小；现有通过医学图像处理对获取到的肾脏图像进行肾脏及肾肿瘤区域的精确分割判断，有效缓解了医生的工作量及展示了科技智能化的成效，但是目前在图像的分割任务中大多数都是以端到端方式实现，即一次性输入完整的图像，网络返回全图的分割结果，通过滑动窗口按顺序在完整图像上进行遍历，分割网络对每个滑动窗口对应的局部区域进行分割预测，最后将所有小窗口的局部分割结果按照空间位置和遍历顺序组合成完整的全图分割结果，但是肾肿瘤目标有大有小，遇到体积较小的肾肿瘤，在腹腔内直接进行肿瘤分割判断，不仅搜索空间较大而且容易受到来自其他器官组织的干扰，效率低下且准确度不高。
发明内容
本发明的目的在于提供一种肾肿瘤的图像分割方法，通过该方法有效避免其他器官组织的干扰，提高了肾肿瘤的识别和分割图像的准确度，且效率更高。
为实现上述目的，本发明采用以下技术方案：
一种肾肿瘤的图像分割方法，包括以下步骤：
S1、获取腹部扫描图像，并划分成数据集和训练集；
S2、对获取的腹部扫描图像进行下采样的预处理操作，得到缩放后的图像；
S3、利用腹部空间的全局位置信息确定S2中预处理后图像的感兴趣区域并进行图像分割，通过U型肾肿瘤分割网络进行训练和预测；
S4、将S1中的腹部扫描图像进行向外扩张一定范围后分割左肾脏及右肾脏的图像，对所有分割出来的图像进行插值并统一到相同数据分布内，得到左右肾VOI图像；
S5、通过U型肾肿瘤分割网络对左右肾VOI图像进行肿瘤分割预测。
进一步地，所述步骤S2中的下采样预处理操作将腹部扫描图像在XYZ三个方向的采样间距都下采样到4mm，放缩后的图像尺寸为原来的1/16；步骤S3中在放缩后图像在U型肾肿瘤分割网络进行训练和预测后，将预测结果图重新上采样到原始尺寸大小，并对数据集提供的肾脏和肾肿瘤标签修改为同一类，都属于肾脏区域。
进一步地，所述步骤S4中的插值进行预处理统一将水平面(XY)方向和纵向(Z)方向采样间距分别插值到1mm和2mm，在U型肾肿瘤分割网络的第一个采样层中，只对水平面(XY)方向下采样而不对Z方向进行下采样用于对齐三个方向上的数据分布。
进一步地，所述U型肾肿瘤分割网络由若干个下采样路径上的编码器模块和上采样路径的解码器模块配合跨层跳跃连接组成；编码器模块输出的特征图通过跨层跳跃连接直接与解码路径的高维语义相融合，利用来自编码器模块的低维表征包括形状、边缘及纹理的上下文信息补充上采样路径所缺乏的细粒度特征，产生高质量的高分辨率分割结果；放缩后的图像输入U型肾肿瘤分割网络进行3次最大池化的下采样操作。
进一步地，所述编码器模块和解码器模块在U型肾肿瘤分割网络中的结构和功能是相互对称的，解码器模块将网络最底层编码器模块输出的特征图沿着上采样路径恢复到原始输入尺寸大小，并且通过解码器模块的卷积层对特征通道降维。
进一步地，所述U型肾肿瘤分割网络还包括残差模块及混合扩张模块。
进一步地，所述编码器模块具有卷积模块及相对应的特征通道，沿着下采样路径，卷积层的通道数分别增大为32、64、96及128；所有编码器模块和解码器模块采用Conv-BN-ReLU的组合方式，卷积核大小为3，当卷积核大小为1用于特征通道升维和降维。
进一步地，所述残差模块包括直接映射部分和残差部分组成，具体公式如下：
hi+1＝hi+F(hi，Wi)
其中，i表示层数，hi表示直接映射部分的第i层的特征图，F(hi，Wi)表示残差部分的第i层的特征映射学习，为2个或3个卷积操作；通过残差模块的直接映射部分hi，映射学习残差部分F(hi，Wi)转化hi，转化为F(hi，Wi)+hi转化hi，等价F(hi，Wi)转化0。
进一步地，所述混合扩张模块在U型肾肿瘤分割网络中采用串行堆叠的3个3×3×3的扩张卷积，3个扩张卷积的扩张率分别设置为1、2及4；混合扩张模块具有一条跨层跳跃连接将未进行感受野扩张的卷积特征与感受野扩张后的卷积特征进行连接。
采用上述技术方案后，本发明与背景技术相比，具有如下优点：
1、本发明对腹部扫描图像进行分类后，对图像进行下采样的预处理得到缩放后的图像，利用腹部空间的全局位置信息确定预处理后的图像中感兴趣的区域并进行图像分割，对腹部扫描图像分割左肾脏及右肾脏，并对所有分割出来的图像进行插值统一到相同的数据分布内，得到左右肾VOI图像，通过U型肾肿瘤分割网络对左右肾VOI图像进行肿瘤分割预测，通过该方法有效避免其他器官组织的干扰，极大地缩小了肾肿瘤在腹部内的搜索空间，只需在肾脏范围内进行肾肿瘤的分割，提高了肾肿瘤的识别和分割图像的准确度，且效率更高。
2、本发明U型肾肿瘤分割网络对网络卷积层数进行了加深增强了特征学习能力，通过引入残差模块及混合扩张模块，残差模块的引入不仅消除网络加深带来的收敛问题，还加快了网络训练收敛速度，混合扩张模块能够灵活地扩张感受野范围，帮助准确地抓取不同大小肿瘤的上下文信息，从而增强跨层跳跃连接携带信息的完整性。
附图说明
图1为本发明整体流程示意图；
图2为本发明具体流程示意图；
图3为本发明U型肾肿瘤分割网络主要结构示意图；
图4为本发明残差模块示意图；
图5为本发明混合扩张模块示意图；
图6为本发明U型肾肿瘤分割网络整体结构示意图；
图7为本发明实验评价的结果对比示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例
配合图1至图6所示，本发明公开了一种肾肿瘤的图像分割方法，包括以下步骤：
S1、获取腹部扫描图像，并划分成数据集和训练集。
S2、对获取的腹部扫描图像进行下采样的预处理操作，得到缩放后的图像。
S3、利用腹部空间的全局位置信息确定S2中预处理后图像的感兴趣区域并进行图像分割，通过U型肾肿瘤分割网络进行训练和预测。
S4、将S1中的腹部扫描图像进行向外扩张一定范围后分割左肾脏及右肾脏的图像，对所有分割出来的图像进行插值并统一到相同数据分布内，得到左右肾VOI图像。
S5、通过U型肾肿瘤分割网络对左右肾VOI图像进行肿瘤分割预测。
腹部扫描图像常见的有CT，MRI数据均为三维图像，图像尺寸优选512×512×128。
配合图1至图2所示，步骤S2中的下采样预处理操作将腹部扫描图像在XYZ三个方向的采样间距都下采样到4mm，放缩后的图像尺寸为原来的1/16；步骤S3中在放缩后图像在U型肾肿瘤分割网络进行训练和预测后，将预测结果图重新上采样到原始尺寸大小，并对数据集提供的肾脏和肾肿瘤标签修改为同一类，都属于肾脏区域。
步骤S4中的插值进行预处理统一将水平面(XY)方向和纵向(Z)方向采样间距分别插值到1mm和2mm，在U型肾肿瘤分割网络的第一个采样层中，只对水平面(XY)方向下采样而不对Z方向进行下采样用于对齐三个方向上的数据分布。
首先对肾脏区域进行定位，极大地缩小了肾肿瘤在腹部内的搜索空间，使得只需要在肾脏范围内进行肾肿瘤的分割，左右肾VOI图像可以动态地囊括充分的上下文信息，帮助U型肾肿瘤分割网络更加准确地分割肾肿瘤。
配合图3至图6所示，本实施例的U型肾肿瘤分割网络是基于U-net的U型网络结构进行改进的，U型肾肿瘤分割网络由若干个下采样路径上的编码器模块(Encoder)和上采样路径的解码器模块(Dncoder)配合跨层跳跃连接组成；编码器模块输出的特征图通过跨层跳跃连接直接与解码路径的高维语义相融合，利用来自编码器模块的低维表征包括形状、边缘及纹理的上下文信息补充上采样路径所缺乏的细粒度特征，产生高质量的高分辨率分割结果；放缩后的图像输入U型肾肿瘤分割网络进行3次最大池化的下采样操作，一方面降低了特征图的尺寸从而减小计算量，另一方面利用最大池化层的非线性计算帮助提取更好的、具有更强烈的语义信息的特征；解码器模块(Dncoder)具有Conv block。
在原始的U-net的U型网络中，每个编码器模块和解码器模块都仅包含两个卷积模块，因此需要增加网络深度和特征学习参数来增强网络对复杂肾肿瘤特征的学习。
编码器模块和解码器模块在U型肾肿瘤分割网络中的结构和功能是相互对称的，解码器模块将网络最底层编码器模块输出的特征图沿着上采样路径恢复到原始输入尺寸大小，并且通过解码器模块的卷积层对特征通道降维。
编码器模块具有卷积模块及相对应的特征通道，沿着下采样路径，卷积层的通道数分别增大为32、64、96及128；所有编码器模块和解码器模块采用Conv-BN-ReLU的组合方式，卷积核大小为3，当卷积核大小为1用于特征通道升维和降维；在特征图尺寸的第一个编码器模块Encoder1内，卷积层数量扩展为3个，在之后的3个编码器模块中，卷积层数量均被扩充到5个，对网络进行加深后，肾肿瘤分割网络的参数量从7M增长到17M。
U型肾肿瘤分割网络还包括残差模块(Residual block)及混合扩张模块(HybridDilated Convolutionblock，HDC block)。
残差模块包括直接映射部分和残差部分组成，具体公式如下：
hi+1＝hi+F(hi，Wi)
其中，i表示层数，hi表示直接映射部分的第i层的特征图，F(hi，Wi)表示残差部分的第i层的特征映射学习，为2个或3个卷积操作；通过残差模块的直接映射部分hi，映射学习残差部分F(hi，Wi)转化hi，转化为F(hi，Wi)+hi转化hi，等价F(hi，Wi)转化0。
本实施例的U型肾肿瘤分割网络在编码器模块的路径上优选full pre-activation的残差连接方式来解决由于网络加深带来的退化问题。
混合扩张模块的扩张卷积用于增加分割卷积核的感受野范围，对于一个具有K*K卷积核大小扩张卷积(K为正整数)，其扩张率为τ，扩张卷积的感受野则为K+(K-1)*(τ-1)；混合扩张模块在U型肾肿瘤分割网络中采用串行堆叠的3个3×3×3的扩张卷积，3个扩张卷积的扩张率分别设置为1、2及4；在分割任务中使用扩张卷积来取代部分下采样层能够在获取广泛的感受野的同事保持特征图分辨率不变；混合扩张模块具有一条跨层跳跃连接将未进行感受野扩张的卷积特征与感受野扩张后的卷积特征进行连接。
本实施例提出基于扩张卷积的混合扩张模块并引用在网络的浅层编码器上，在不影响特征图分辨率的情况下增强浅层编码器的感受野范围从而捕捉更加充分的低维特征，补充跨层跳跃连续中肾肿瘤上下文信息的完整性。
相比于基于滑动窗口的单阶段分割方法，本实施例分割存在三点优势：第一，基于全局空间位置特征进行肾脏分割缩小了肾肿瘤的搜索范围，同时先验地排除了肾脏区域以外的肾肿瘤假阳分割，提升了分割的准确性；第二，提取左右肾VOI图像时，根据步骤S3的肾脏分割结果可以自适应在肾脏周边进行外扩，保证肾肿瘤被完整地包含在窗口图像内并且拥有丰富的周边上下文信息，有利于网络充分认知肾肿瘤的特征；第三，由于步骤S3仅在放缩后的1/16图像上进行运算，而且步骤S4及S5也只在左右肾的两个VOI局部区域上进行分割，本实施例的分割方法无论是在效率还是运算时间上都明显优于全图上的滑动分割的单阶段分割方法。
实验评价
本实验评价的腹部扫描图像采集自医学图像顶会MICCAI2019上所开源的肾脏肿瘤分割数据集，通过Dice分数、Recall召回率分数及Precision精确率分数用于评估分割结果的准确性，其中Dice分数作为衡量分割效果的主要指标，3个指标越高均表示模型效果越好，3个指标的定义公式如下：
其中，TP表示模型预测为肿瘤，实际标签为肿瘤的区域面积，FP表示模型预测为肿瘤，实际标签为背景的区域面积，FN表示模型预测为背景，实际标签是肿瘤的区域面积；此外，还将每一项指标计算标准差std用于衡量模型预测结果整体的稳定性。
参考图7所示，图中从数据集选取两张原图，原图通过预测识别后标注分割标签、本发明定位分割及单阶段滑动窗口，本实验评价的U型肾肿瘤分割网络的识别和分割图像算法命名为本发明定位分割算法，对比例采用传统的单阶段滑动窗口算法识别和分割图像，结果如表1和表2所示。
| Method | Dice(std) | Recall(std) | Precision(std) |
| 单阶段滑动窗口 | 78.8(14.5) | 83.5(11.5) | 77.9(20.1) |
| 本发明定位分割 | 96.7(6.6) | 98.1(4.0) | 95.7(7.9) |
表1 单阶段滑动窗口算法与本发明定位分割算法的肾脏分割效果比较
| Method | Dice(std) | Recall(std) | Precision(std) |
| 单阶段滑动窗口 | 42.8(32.0) | 54.2(33.7) | 47.3(36.4) |
| 本发明定位分割 | 70.6(28.2) | 71.6(29.8) | 77.4(29.6) |
表2单阶段滑动窗口算法与本发明定位分割算法的肿瘤分割效果比较
本实验评价对两种分割算法的运行效率进行比较，工作环境为单块GTX1080TiGPU显卡，CPU为Intel(R)Cpre(TM)i7-7820X，通过对50套数据集进行完整的发肾肿瘤分割预测，对两类算法的运行计算时间进行统计，并且排除了从磁盘读取数据的时间，最终的结果如表3所示。
| Method | 每例平均运行时间(秒) |
| 单阶段滑动窗口 | 32.694 |
| 本发明定位分割 | 12.583 |
表3单阶段滑动窗口算法与本发明定位分割算法的运行效率比较
根据结果可以得出本发明定位分割算法整体的运行时间只有单阶段滑动窗口的38.5％。
本实验评价对实际应用的U型肾肿瘤分割网络(U-shape Kidney Tumor Network，UKT-Net)进行有效性分析，U型肾肿瘤分割网络基于经典的U新分割网络结构，一方面结合残差模块(Residual block)对网络深度进行加深，另一方面在浅层编码器上应用了提出的混合扩张模块(Hybrid Dilated Convolutionblock，HDC block)，提升网络的浅层低维特征抓取能力，进行消融验证结果如表4所示。
表4 U型肾肿瘤分割网络消融验证结果
表4中第2、3列记录了消融验证情况，其中符号√表示在验证中应用了对应功能模块，第4行完整的UKT-Net比第1行中消融了残差模块和混合扩张模块的UKT-Net基础网络在Dice分数、Recall分数和Precision分数的3个指标上分别超出了4.7％、3.1％和4.2％的差距，在UKT-Net基础网络应用残差模块和混合扩张模块在关键的Dice分数上也分别提升了3.4％和1.5％，由此得出结合残差模块和混合扩张模块对肾肿瘤特征学习具有明显帮助。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (9)
1.一种肾肿瘤的图像分割方法，其特征在于，包括以下步骤：
S1、获取腹部扫描图像，并划分成数据集和训练集；
S2、对获取的腹部扫描图像进行下采样的预处理操作，得到缩放后的图像；
S3、利用腹部空间的全局位置信息确定S2中预处理后图像的感兴趣区域并进行图像分割，通过U型肾肿瘤分割网络进行训练和预测；
S4、将S1中的腹部扫描图像进行向外扩张一定范围后分割左肾脏及右肾脏的图像，对所有分割出来的图像进行插值并统一到相同数据分布内，得到左右肾VOI图像；
S5、通过U型肾肿瘤分割网络对左右肾VOI图像进行肿瘤分割预测。
2.如权利要求1所述的一种肾肿瘤的图像分割方法，其特征在于：所述步骤S2中的下采样预处理操作将腹部扫描图像在XYZ三个方向的采样间距都下采样到4mm，放缩后的图像尺寸为原来的1/16；步骤S3中在放缩后图像在U型肾肿瘤分割网络进行训练和预测后，将预测结果图重新上采样到原始尺寸大小，并对数据集提供的肾脏和肾肿瘤标签修改为同一类，都属于肾脏区域。
3.如权利要求1所述的一种肾肿瘤的图像分割方法，其特征在于：所述步骤S4中的插值进行预处理统一将水平面XY方向和纵向Z方向采样间距分别插值到1mm和2mm，在U型肾肿瘤分割网络的第一个采样层中，只对水平面XY方向下采样而不对Z方向进行下采样用于对齐三个方向上的数据分布。
4.如权利要求1所述的一种肾肿瘤的图像分割方法，其特征在于：所述U型肾肿瘤分割网络由若干个下采样路径上的编码器模块和上采样路径的解码器模块配合跨层跳跃连接组成；编码器模块输出的特征图通过跨层跳跃连接直接与解码路径的高维语义相融合，利用来自编码器模块的低维表征包括形状、边缘及纹理的上下文信息补充上采样路径所缺乏的细粒度特征，产生高质量的高分辨率分割结果；放缩后的图像输入U型肾肿瘤分割网络进行3次最大池化的下采样操作。
5.如权利要求4所述的一种肾肿瘤的图像分割方法，其特征在于：所述编码器模块和解码器模块在U型肾肿瘤分割网络中的结构和功能是相互对称的，解码器模块将网络最底层编码器模块输出的特征图沿着上采样路径恢复到原始输入尺寸大小，并且通过解码器模块的卷积层对特征通道降维。
6.如权利要求4所述的一种肾肿瘤的图像分割方法，其特征在于：所述U型肾肿瘤分割网络还包括残差模块及混合扩张模块。
7.如权利要求5所述的一种肾肿瘤的图像分割方法，其特征在于：所述编码器模块具有卷积模块及相对应的特征通道，沿着下采样路径，卷积层的通道数分别增大为32、64、96及128；所有编码器模块和解码器模块采用Conv-BN-ReLU的组合方式，卷积核大小为3，当卷积核大小为1用于特征通道升维和降维。
8.如权利要求6所述的一种肾肿瘤的图像分割方法，其特征在于：所述残差模块包括直接映射部分和残差部分组成，具体公式如下：
hi+1＝hi+F(hi，Wi)
其中，i表示层数，hi表示直接映射部分的第i层的特征图，F(hi，Wi)表示残差部分的第i层的特征映射学习，为2个或3个卷积操作；通过残差模块的直接映射部分hi，映射学习残差部分F(hi，Wi)转化hi，转化为F(hi，Wi)+hi转化hi，等价F(hi，Wi)转化0。
9.如权利要求6所述的一种肾肿瘤的图像分割方法，其特征在于：所述混合扩张模块在U型肾肿瘤分割网络中采用串行堆叠的3个3×3×3的扩张卷积，3个扩张卷积的扩张率分别设置为1、2及4；混合扩张模块具有一条跨层跳跃连接将未进行感受野扩张的卷积特征与感受野扩张后的卷积特征进行连接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010924384.1A CN112085743A (zh) | 2020-09-04 | 2020-09-04 | 一种肾肿瘤的图像分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010924384.1A CN112085743A (zh) | 2020-09-04 | 2020-09-04 | 一种肾肿瘤的图像分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112085743A true CN112085743A (zh) | 2020-12-15 |
Family
ID=73732602
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010924384.1A Pending CN112085743A (zh) | 2020-09-04 | 2020-09-04 | 一种肾肿瘤的图像分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112085743A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112767407A (zh) * | 2021-02-02 | 2021-05-07 | 南京信息工程大学 | 一种基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法 |
| CN113012164A (zh) * | 2021-03-12 | 2021-06-22 | 山东大学 | 基于聚合层间信息的U-Net肾脏肿瘤图像分割方法、设备及存储介质 |
| CN113034513A (zh) * | 2021-03-17 | 2021-06-25 | 成都理工大学 | 一种用于肾脏肿瘤的全自动分割技术 |
| CN113052849A (zh) * | 2021-04-16 | 2021-06-29 | 中国科学院苏州生物医学工程技术研究所 | 腹部组织图像自动分割方法及系统 |
| CN113570619A (zh) * | 2021-07-13 | 2021-10-29 | 清影医疗科技（深圳）有限公司 | 基于人工智能的计算机辅助胰腺病理图像诊断系统 |
| CN115829962A (zh) * | 2022-11-25 | 2023-03-21 | 江南大学 | 医学图像分割装置、训练方法及医学图像分割方法 |
| CN116109608A (zh) * | 2023-02-23 | 2023-05-12 | 智慧眼科技股份有限公司 | 一种肿瘤分割方法、装置、设备及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070081710A1 (en) * | 2005-10-07 | 2007-04-12 | Siemens Corporate Research, Inc. | Systems and Methods For Segmenting Object Of Interest From Medical Image |
| CN103020969A (zh) * | 2012-12-25 | 2013-04-03 | 中国科学院深圳先进技术研究院 | 一种ct图像肝脏分割的处理方法及系统 |
| WO2016032398A2 (en) * | 2014-08-25 | 2016-03-03 | Singapore University Of Technology And Design | Method and device for analysing an image |
| US20190080456A1 (en) * | 2017-09-12 | 2019-03-14 | Shenzhen Keya Medical Technology Corporation | Method and system for performing segmentation of image having a sparsely distributed object |
| CN109598728A (zh) * | 2018-11-30 | 2019-04-09 | 腾讯科技（深圳）有限公司 | 图像分割方法、装置、诊断系统及存储介质 |
| CN109801272A (zh) * | 2019-01-07 | 2019-05-24 | 华南师范大学 | 肝脏肿瘤自动分割定位方法、系统及存储介质 |
| CN110060235A (zh) * | 2019-03-27 | 2019-07-26 | 天津大学 | 一种基于深度学习的甲状腺结节超声图像分割方法 |
| CN111127484A (zh) * | 2019-12-25 | 2020-05-08 | 北京小白世纪网络科技有限公司 | 基于深度学习神经网络的肝脏ct图像分割方法及装置 |
| AU2019204365B1 (en) * | 2019-06-21 | 2020-05-28 | Curvebeam Ai Limited | Method and System for Image Segmentation and Identification |
| CN111354002A (zh) * | 2020-02-07 | 2020-06-30 | 天津大学 | 一种基于深度神经网络的肾脏及肾脏肿瘤分割方法 |
-
2020
- 2020-09-04 CN CN202010924384.1A patent/CN112085743A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070081710A1 (en) * | 2005-10-07 | 2007-04-12 | Siemens Corporate Research, Inc. | Systems and Methods For Segmenting Object Of Interest From Medical Image |
| CN103020969A (zh) * | 2012-12-25 | 2013-04-03 | 中国科学院深圳先进技术研究院 | 一种ct图像肝脏分割的处理方法及系统 |
| WO2016032398A2 (en) * | 2014-08-25 | 2016-03-03 | Singapore University Of Technology And Design | Method and device for analysing an image |
| US20190080456A1 (en) * | 2017-09-12 | 2019-03-14 | Shenzhen Keya Medical Technology Corporation | Method and system for performing segmentation of image having a sparsely distributed object |
| CN109598728A (zh) * | 2018-11-30 | 2019-04-09 | 腾讯科技（深圳）有限公司 | 图像分割方法、装置、诊断系统及存储介质 |
| CN109801272A (zh) * | 2019-01-07 | 2019-05-24 | 华南师范大学 | 肝脏肿瘤自动分割定位方法、系统及存储介质 |
| CN110060235A (zh) * | 2019-03-27 | 2019-07-26 | 天津大学 | 一种基于深度学习的甲状腺结节超声图像分割方法 |
| AU2019204365B1 (en) * | 2019-06-21 | 2020-05-28 | Curvebeam Ai Limited | Method and System for Image Segmentation and Identification |
| CN111127484A (zh) * | 2019-12-25 | 2020-05-08 | 北京小白世纪网络科技有限公司 | 基于深度学习神经网络的肝脏ct图像分割方法及装置 |
| CN111354002A (zh) * | 2020-02-07 | 2020-06-30 | 天津大学 | 一种基于深度神经网络的肾脏及肾脏肿瘤分割方法 |
Non-Patent Citations (4)
| Title |
|---|
| LIANSHENG WANG等: "Nested Dilation Network (NDN) for Multi-Task Medical Image Segmentation", 《IEEE》, 31 March 2019 (2019-03-31), pages 44676 - 44685 * |
| LIANSHENG WANG等: "Nested Dilation Network (NDN) for Multi-Task Medical Image Segmentation", 《IEEE》, pages 44676 - 44685 * |
| 田启川;孟颖;: "卷积神经网络图像语义分割技术", 小型微型计算机系统, no. 06 * |
| 赵于前;周洁;王小芳;: "腹部CT图像肾脏自动分割方法研究", 计算机应用研究, no. 04 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112767407A (zh) * | 2021-02-02 | 2021-05-07 | 南京信息工程大学 | 一种基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法 |
| CN112767407B (zh) * | 2021-02-02 | 2023-07-07 | 南京信息工程大学 | 一种基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法 |
| CN113012164A (zh) * | 2021-03-12 | 2021-06-22 | 山东大学 | 基于聚合层间信息的U-Net肾脏肿瘤图像分割方法、设备及存储介质 |
| CN113034513A (zh) * | 2021-03-17 | 2021-06-25 | 成都理工大学 | 一种用于肾脏肿瘤的全自动分割技术 |
| CN113052849A (zh) * | 2021-04-16 | 2021-06-29 | 中国科学院苏州生物医学工程技术研究所 | 腹部组织图像自动分割方法及系统 |
| CN113052849B (zh) * | 2021-04-16 | 2024-01-26 | 中国科学院苏州生物医学工程技术研究所 | 腹部组织图像自动分割方法及系统 |
| CN113570619A (zh) * | 2021-07-13 | 2021-10-29 | 清影医疗科技（深圳）有限公司 | 基于人工智能的计算机辅助胰腺病理图像诊断系统 |
| CN113570619B (zh) * | 2021-07-13 | 2024-05-14 | 清影医疗科技（深圳）有限公司 | 基于人工智能的计算机辅助胰腺病理图像诊断系统 |
| CN115829962A (zh) * | 2022-11-25 | 2023-03-21 | 江南大学 | 医学图像分割装置、训练方法及医学图像分割方法 |
| CN115829962B (zh) * | 2022-11-25 | 2024-04-16 | 江南大学 | 医学图像分割装置、训练方法及医学图像分割方法 |
| CN116109608A (zh) * | 2023-02-23 | 2023-05-12 | 智慧眼科技股份有限公司 | 一种肿瘤分割方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112085743A (zh) | 一种肾肿瘤的图像分割方法 | |
| CN109523521B (zh) | 基于多切片ct图像的肺结节分类和病灶定位方法和系统 | |
| CN111429474B (zh) | 基于混合卷积的乳腺dce-mri图像病灶分割模型建立及分割方法 | |
| CN109978756A (zh) | 目标检测方法、系统、装置、存储介质和计算机设备 | |
| Muhammad et al. | Visual saliency models for summarization of diagnostic hysteroscopy videos in healthcare systems | |
| Horng et al. | DeepNerve: a new convolutional neural network for the localization and segmentation of the median nerve in ultrasound image sequences | |
| CN111951288A (zh) | 一种基于深度学习的皮肤癌病变分割方法 | |
| CN111429460A (zh) | 图像分割方法、图像分割模型训练方法、装置和存储介质 | |
| CN112712532B (zh) | 基于瓶颈结构的多尺度DC-CUNets的肝脏肿瘤分割方法 | |
| CN114202545A (zh) | 一种基于UNet++的低级别胶质瘤图像分割方法 | |
| CN112465754B (zh) | 基于分层感知融合的3d医疗图像分割方法、装置及存储介质 | |
| CN115131369A (zh) | 一种基于3DA-U-Nets架构的CT图像肝脏肿瘤分割方法 | |
| CN113537357A (zh) | 一种基于深度残差网络的甲状腺癌ct影像分类系统 | |
| Hasegawa et al. | Automatic detection and segmentation of liver tumors in multi-phase ct images by phase attention mask r-cnn | |
| CN115471512A (zh) | 一种基于自监督对比学习的医学影像分割方法 | |
| CN116503330A (zh) | 一种基于边界引导Transformer的黑色素瘤皮肤病检测方法及系统 | |
| Gao et al. | Dense encoder-decoder network based on two-level context enhanced residual attention mechanism for segmentation of breast tumors in magnetic resonance imaging | |
| CN113764101B (zh) | 基于cnn的乳腺癌新辅助化疗多模态超声诊断系统 | |
| CN114565601A (zh) | 基于DeepLabV3+改进的肝脏CT图像分割算法 | |
| Lin et al. | CSwinDoubleU-Net: A double U-shaped network combined with convolution and Swin Transformer for colorectal polyp segmentation | |
| Wang et al. | Controlling false-positives in automatic lung nodule detection by adding 3D cuboid attention to a convolutional neural network | |
| CN116542988A (zh) | 结节分割方法、装置、电子设备及存储介质 | |
| CN116309679A (zh) | 一种适用于多种模态的类mlp医学影像分割方法 | |
| TW202346826A (zh) | 影像處理方法 | |
| Ru et al. | A dermoscopic image segmentation algorithm based on U-shaped architecture |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |