CN112085736A - 一种基于混维卷积的肾肿瘤分割方法 - Google Patents
一种基于混维卷积的肾肿瘤分割方法 Download PDFInfo
- Publication number
- CN112085736A CN112085736A CN202010923743.1A CN202010923743A CN112085736A CN 112085736 A CN112085736 A CN 112085736A CN 202010923743 A CN202010923743 A CN 202010923743A CN 112085736 A CN112085736 A CN 112085736A
- Authority
- CN
- China
- Prior art keywords
- convolution
- mixed
- dimension
- module
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 208000008839 Kidney Neoplasms Diseases 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000011218 segmentation Effects 0.000 title claims abstract description 26
- 210000001015 abdomen Anatomy 0.000 claims abstract description 21
- 230000004927 fusion Effects 0.000 claims abstract description 21
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims abstract description 4
- 239000010410 layer Substances 0.000 claims description 55
- 238000000605 extraction Methods 0.000 claims description 17
- 239000011229 interlayer Substances 0.000 claims description 11
- 206010028980 Neoplasm Diseases 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 210000003734 kidney Anatomy 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 230000003213 activating effect Effects 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000000903 blocking effect Effects 0.000 claims description 3
- 238000001125 extrusion Methods 0.000 claims description 3
- 230000009191 jumping Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 15
- 230000008569 process Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 208000017169 kidney disease Diseases 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000007795 chemical reaction product Substances 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 230000003907 kidney function Effects 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 239000011295 pitch Substances 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30084—Kidney; Renal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于混维卷积的肾肿瘤分割方法，其包括以下步骤：S1、获取腹部扫描图像，对获取的腹部扫描图像划分数据集和训练集；S2、对数据集内的腹部扫描图像进行预处理，得到预处理后的图像；S3、构建混维卷积网络，通过该网络配合混维卷积模块优化混维卷积网络对肾肿瘤的特征学习；S4、将预处理后的图像输入混维卷积网络进行预测，最终得到分割结果；本发明通过混合卷积网络同时学习肾肿瘤的2D、2.5D及3D卷积特征，2D、2.5D及3D卷积特征通过特征融合，增强了模型特征的泛化能力。
Description
技术领域
本发明涉及医学图像处理的技术领域，尤其涉及一种基于混维卷积的肾肿瘤分割方法。
背景技术
肾脏是人体的重要器官，肾功能一旦受损会导致多种代谢终产物在体内堆积，进而影响到生命安全。在多种肾脏疾病中，肾肿瘤是肾脏健康的头号危险病种。目前CT影像学检查是肾肿瘤等肾脏疾病的主要检查方式之一，根据肾肿瘤的大小，医生可以对肿瘤的严重程度进行分级，并制定相应的治疗手段；同时对肾肿瘤定位，并分析形状和大小；现有通过医学图像处理对获取到的肾脏图像进行肾脏及肾肿瘤区域的精确分割判断，有效缓解了医生的工作量及展示了科技智能化的成效，现有技术的肾肿瘤分割技术是在三维VT图像场景下进行的，但是三维CT图像的成像特性以及图像采集设备的差异，使得图像采样间距存在差异，导致肾肿瘤的是三维形状都出现不同程度的挤压，增加了特征学习的泛化难度。
发明内容
本发明的目的在于提供一种基于混维卷积的肾肿瘤分割方法，通过混合卷积网络同时学习肾肿瘤的2D、2.5D及3D卷积特征，2D、2.5D及3D卷积特征通过特征融合，增强了模型特征的泛化能力。
为实现上述目的，本发明采用以下技术方案：
一种基于混维卷积的肾肿瘤分割方法，包括以下步骤：
S1、获取腹部扫描图像，对获取的腹部扫描图像划分数据集和训练集；
S2、对数据集内的腹部扫描图像进行预处理，得到预处理后的图像；
S3、构建混维卷积网络，通过该网络配合混维卷积模块优化混维卷积网络对肾肿瘤的特征学习；
S4、将预处理后的图像输入混维卷积网络进行预测，最终得到分割结果。
进一步地，所述步骤S2中的预处理采用下采样操作具体为将获取的腹部扫描图像在XYZ三个方向的采样间距都下采样4mm，得到放缩后的图像为原来的1/16。
进一步地，所述步骤S3中的混维卷积网络由下采样路径的编码器模块和上采样路径的解码器模块组成，编码器模块和解码器模块通过跳跃连接；预处理后的图像输入混维卷积网络进行3次下采样操作及3次上采样操作；混维卷积模块包括2D卷积模块、2.5D卷积模块及3D卷积模块，2D卷积模块、2.5D卷积模块及3D卷积模块设置在编码器模块内。
进一步地，所述预处理后的图像分别通过3D卷积模块提取得到肾肿瘤的3D空间卷积特征、2D卷积模块提取得到肾肿瘤的2D层内平面特征及2.5D卷积模块提取得到肾肿瘤的2.5D层间上下文信息；预处理后的图像包括水平XY面、矢状XZ面及冠状YZ面，2D卷积模块及2.5D卷积模块均设有特征提取单元，特征提取单元的模型为：
OZ＝g(V·SZ)
SZ＝σ(U·XZ+W·SZ-1)
其中，XZ为输入层的值，具体为水平XY面，OZ为输出层的值，具体为平面特征，SZ为隐藏层的值，SZ-1为上一次隐藏层的值，U为输入层到隐藏层的权重矩阵，V为隐藏层到输出层的权重矩阵，W为隐藏层的权重。
进一步地，所述2D卷积模块分离出人体纵向Z方向，水平XY面作为特征提取维度，通过阻断隐藏层，2D卷积模块提取得到肾肿瘤的2D层内平面特征为：
OZ＝σ(W2D·XZ)
其中，W2D为2D卷积隐藏层的权重。
进一步地，所述2.5D卷积模块还设有用于控制传输状态的LSTM控制单元，LSTM控制单元包括忘记门和选择门，通过忘记门和选择门筛选2.5D层间的上下文信息，得到肾肿瘤的上下文信息。
进一步地，所述肾肿瘤的3D空间卷积特征、肾肿瘤的2D层内平面特征及肾肿瘤的2.5D层间上下文信息分别进行特征连接，利用1×1×1的卷积对肾肿瘤的3D空间卷积特征、肾肿瘤的2D层内平面特征及肾肿瘤的2.5D层间上下文信息沿着特征通道降维得到融合特征，通过注意力单元对融合特征进行自适应加权特征增强。
进一步地，所述融合特征为X×Y×Z×C的4维张量特征图，X、Y及Z表示空间维度，C表示特征维度，注意力单元对融合特征的具体步骤如下：
S31、在融合特征的空间维度上施加3D全局池化操作挤压特征图，得到1×1×1×C的通道特征；
S32、对通道特征施加2次全连接操作，第一次通道向量长度减半，第二次恢复通道特征的原始尺寸；
S33、通过Sigmoid函数激活通道特征，使通道生成0-1的权重值并在特征维度对融合特征进行加权增强。
采用上述技术方案后，本发明与背景技术相比，具有如下优点：
1、本发明获取腹部扫描图像，腹部扫描图像通过预处理，构建混维卷积网络配合2D卷积模块、2.5D卷积模块及3D卷积模块，输入预处理后的图像获取图像中的肾肿瘤卷积特征，3D卷积模块得到3D空间卷积特征囊括全局空间信息，使得混维卷积网络对肾肿瘤及周围上下文信息的理解更加充分，利用2D卷积模块及2.5D卷积模块获取局部平面信息，3D卷积模块、2D卷积模块及2.5D卷积模块的卷积特征及特征提取方式通过互为补充，对三维空间表征缺陷严重的肾肿瘤具有较好的学习效果。
2、本发明通过对融合特征施加3D全局池化操作后施加2次全连接操作，利用Sigmoid函数激活通道特征，给每个特征通道赋予新的权重值，注意力单元对融合后的混维卷积特征图在通道维度上进行加权增强，保留包含有效信息的通道，同时抑制携带无关特征的通道。
附图说明
图1为本发明整体流程示意图；
图2为本发明混维卷积网络主体结构示意图；
图3为本发明混维卷积模块特征提取示意图；
图4为本发明FC-LSTM扩展为ConLSTM示意图；
图5为本发明注意力单元的特征通道增强流程示意图；
图6为本发明混维卷积模块分割效果对比图
图7为本发明混维卷积网络与肾肿瘤分割对比方法的分割效果对比图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例
配合图1至图5所示，本发明公开了一种基于混维卷积的肾肿瘤分割方法，包括以下步骤：
S1、获取腹部扫描图像，对获取的腹部扫描图像划分数据集和训练集。
S2、对数据集内的腹部扫描图像进行预处理，得到预处理后的图像。
S3、构建混维卷积网络(Mix-dimension Convolution Network，MDC-Net)，通过该网络配合混维卷积模块(Mix-dimension Convolution block,MDCblock)优化混维卷积网络对肾肿瘤的特征学习。
S4、将预处理后的图像输入混维卷积网络进行预测，最终得到分割结果。
配合图2至图3所示，步骤S2中的预处理采用下采样操作具体为将获取的腹部扫描图像在XYZ三个方向的采样间距都下采样4mm，得到放缩后的图像为原来的1/16。
步骤S3中的混维卷积网络由下采样路径的编码器模块(Encoder)和上采样路径的解码器模块(Decoder)组成，编码器模块和解码器模块通过跳跃连接；预处理后的图像输入混维卷积网络进行3次下采样操作及3次上采样操作；混维卷积模块包括2D卷积模块、2.5D卷积模块及3D卷积模块，2D卷积模块、2.5D卷积模块及3D卷积模块设置在编码器模块内。
输入特征图Finput∈X×Y×Z×C，通过空间特征提取得到特征图F3D∈X×Y×Z×C，通过2D层内特征提取得到特征图F2D∈X×Y×Z×C，对特征图F2D通过2.5D层间特征提取得到F2.5D∈X×Y×Z×C。
预处理后的图像分别通过3D卷积模块提取得到肾肿瘤的3D空间卷积特征、2D卷积模块提取得到肾肿瘤的2D层内平面特征及2.5D卷积模块提取得到肾肿瘤的2.5D层间上下文信息；预处理后的图像包括水平XY面、矢状XZ面及冠状YZ面，2D卷积模块及2.5D卷积模块均设有特征提取单元，特征提取单元的模型为：
OZ＝g(V·SZ)
SZ＝σ(U·XZ+W·SZ-1)
其中，XZ为输入层的值，具体为水平XY面，OZ为输出层的值，具体为平面特征，SZ为隐藏层的值，SZ-1为上一次隐藏层的值，U为输入层到隐藏层的权重矩阵，V为隐藏层到输出层的权重矩阵，W为隐藏层的权重。
2D卷积模块分离出人体纵向Z方向，水平XY面作为特征提取维度，通过阻断隐藏层，2D卷积模块提取得到肾肿瘤的2D层内平面特征为：
OZ＝σ(W2D·XZ)
其中，W2D为2D卷积隐藏层的权重。
2.5D卷积模块还设有用于控制传输状态的LSTM控制单元(ConvLSTM)，LSTM控制单元带有卷积，由全连接LSTM(FC-LSTM)在输入到状态和状态到状态转换中装备2D卷积结构来处理时空序列，2D卷积模块增加了LSTM处理空间数据卷积特征能力；LSTM又称长短期记忆(Long short-term memory)，相比于循环神经网络RNN只有一个隐状态变量，LSTM控制单元包括忘记门和选择门，LSTM控制单元在肾肿瘤层间特征提取前向过程不再阻断隐藏层，Z方向迭代到新的一层通过忘记门和选择门筛选2.5D层间的上下文信息，得到肾肿瘤的上下文信息，其中忘记门对之前层特征中保留下来的上下文进行筛选除去无关组织和背景的切片信息，选择门保留与肾肿瘤有关的上下文信息；LSTM控制单元在前向过程中对遍历过的上下文信息逐层进行忘记门和选择门操作，从冗余的信息空间中根据每一例肿瘤病例的实际情况提炼出相关的上下文信息，动态为层间特征提取聚合充足的上下文信息。
由于LSTM具有方向性，目前每一层的上下文层间信息都仅仅来自于之前层中，为了能够为每一层的特征学习提供完整的层间信息，LSTM控制单元的前向过程进一步被修改为双向迭代，Z方向上的每一层切片不仅可以关联前向传播过来的上下文信息，还可以同时引用后向传播过来的上下文特征。
肾肿瘤的3D空间卷积特征、肾肿瘤的2D层内平面特征及肾肿瘤的2.5D层间上下文信息分别进行特征连接，利用1×1×1的卷积对肾肿瘤的3D空间卷积特征、肾肿瘤的2D层内平面特征及肾肿瘤的2.5D层间上下文信息沿着特征通道降维得到融合特征，通过注意力单元(Attention)对融合特征进行自适应加权特征增强。
参考图5所示，融合特征为X×Y×Z×C的4维张量特征图，X、Y及Z表示空间维度，C表示特征维度，注意力单元对融合特征的具体步骤如下：
S31、在融合特征的空间维度上施加3D全局池化操作挤压特征图，得到1×1×1×C的通道特征。
S32、对通道特征施加2次全连接操作，第一次通道向量长度减半，第二次恢复通道特征的原始尺寸。
S33、通过Sigmoid函数激活通道特征，使通道生成0-1的权重值并在特征维度对融合特征进行加权增强。
本实施例通过对融合特征施加3D全局池化操作(Global Pooling)后施加2次全连接操作(Fully Connection)，利用Sigmoid函数激活通道特征，给每个特征通道赋予新的权重值，注意力单元对融合后的混维卷积特征图在通道维度上进行加权增强，保留包含有效信息的通道，同时抑制携带无关特征的通道。
本实施例获取腹部扫描图像，腹部扫描图像通过预处理，构建混维卷积网络配合2D卷积模块、2.5D卷积模块及3D卷积模块，输入预处理后的图像获取图像中的肾肿瘤卷积特征，3D卷积模块得到3D空间卷积特征囊括全局空间信息，使得混维卷积网络对肾肿瘤及周围上下文信息的理解更加充分，利用2D卷积模块及2.5D卷积模块获取局部平面信息，3D卷积模块、2D卷积模块及2.5D卷积模块的卷积特征及特征提取方式通过互为补充，对三维空间表征缺陷严重的肾肿瘤具有较好的学习效果。
实验评价
本实验评价的腹部扫描图像采集自医学图像顶会MICCAI2019上所开源的肾脏肿瘤分割数据集，选取的腹部扫描图像标记分割标签，通过Dice分数、Recall召回率分数及Precision精确率分数用于评估分割结果的准确性，其中Dice分数作为衡量分割效果的主要指标，3个指标越高均表示模型效果越好，3个指标的定义公式如下：
其中，TP表示模型预测为肿瘤，实际标签为肿瘤的区域面积，FP表示模型预测为肿瘤，实际标签为背景的区域面积，FN表示模型预测为背景，实际标签是肿瘤的区域面积；此外，还将每一项指标计算标准差std用于衡量模型预测结果整体的稳定性。
参考图6所示，验证混维卷积模块(Mix-dimension Convolution block,MDCblock)的有效性，结果如表1所示：
表1混维卷积模块有效性验证对比表
其中，符号√表示在验证中应用了对应功能模块，混维卷积网络利用不同卷积的特性进行有效组合获得了比单类卷积作用下更优的分割效果。
验证混维卷积模块(Mix-dimension Convolutionblock,MDC block)在混维卷积网络中的位置效果，结果如表2所示：
| Method | Encoder1 | Encoder1 | Encoder1 | Encoder4 | Dice(std) | Recall(std) | Precision(std) |
| MDC-Net | 76.1(23.7) | 76.6(26.1) | 83.2(23.5) | ||||
| MDC-Net | √ | 78.0(24.4) | 77.8(25.6) | 84.7(22.3) | |||
| MDC-Net | √ | √ | 80.1(21.1) | 78.8(24.4) | 86.6(17.6) | ||
| MDC-Net | √ | √ | √ | 80.8(20.7) | 79.5(23.8) | 87.1(17.4) | |
| MDC-Net | √ | √ | √ | √ | 81.0(21.6) | 80.6(22.4) | 85.8(20.8) |
表2混维卷积模块在混维卷积网络中的位置效果对比表
编码器模块包含4个编码器，依次利用混维卷积模块在每一层编码器上替换其中的3D卷积层，前2层编码器Encoder1和Encoder2上应用混维卷积模块时，混维卷积网络的分割效果获得了明显的增长，当继续沿着网络伸出的Encoder3和Encoder4继续应用混维卷积模块时，分割效果的提升明显放缓，根据验证结果证明混维卷积模块能够帮助模型应付复杂的肾肿瘤表征获取鲁棒的肾肿瘤特征，并且在网络浅层的编码器所带来的提升效果更明显。
参考图7所示，验证混维卷积网络与肾肿瘤分割对比方法的效果对比，肾肿瘤分割对比方法包括Crossbar-Net、nnU-Net及VB-Net，通过数据集中提取50套测试集进行验证，结果如表3所示：
表3混维卷积网络与肾肿瘤分割对比方法的效果对比表
其中，由于Crossbar-Net是应用在二维水平面肿瘤图像上的分割方法，因此应用到肾肿瘤的三维CT影像分割任务中，Dice分数明显落后于其余的3D分割方法大约10％，另一方面，nnU-Net的方法额外无法完全复现出混维卷积网络中关于肾肿瘤85.7％的Dice分数，本发明所提出的MDC-Net在Dice分数上比nn-Unet高出1.8％并且比VB-Net高出了2.9％，综上所述证明了本发明所提出的MDC-Net略优于肾肿瘤分割对比方法。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (8)
1.一种基于混维卷积的肾肿瘤分割方法，其特征在于，包括以下步骤：
S1、获取腹部扫描图像，对获取的腹部扫描图像划分数据集和训练集；
S2、对数据集内的腹部扫描图像进行预处理，得到预处理后的图像；
S3、构建混维卷积网络，通过该网络配合混维卷积模块优化混维卷积网络对肾肿瘤的特征学习；
S4、将预处理后的图像输入混维卷积网络进行预测，最终得到分割结果。
2.如权利要求1所述的一种基于混维卷积的肾肿瘤分割方法，其特征在于：所述步骤S2中的预处理采用下采样操作具体为将获取的腹部扫描图像在XYZ三个方向的采样间距都下采样4mm，得到放缩后的图像为原来的1/16。
3.如权利要求1所述的一种基于混维卷积的肾肿瘤分割方法，其特征在于：所述步骤S3中的混维卷积网络由下采样路径的编码器模块和上采样路径的解码器模块组成，编码器模块和解码器模块通过跳跃连接；预处理后的图像输入混维卷积网络进行3次下采样操作及3次上采样操作；混维卷积模块包括2D卷积模块、2.5D卷积模块及3D卷积模块，2D卷积模块、2.5D卷积模块及3D卷积模块设置在编码器模块内。
4.如权利要求3所述的一种基于混维卷积的肾肿瘤分割方法，其特征在于：所述预处理后的图像分别通过3D卷积模块提取得到肾肿瘤的3D空间卷积特征、2D卷积模块提取得到肾肿瘤的2D层内平面特征及2.5D卷积模块提取得到肾肿瘤的2.5D层间上下文信息；预处理后的图像包括水平XY面、矢状XZ面及冠状YZ面，2D卷积模块及2.5D卷积模块均设有特征提取单元，特征提取单元的模型为：
OZ＝g(V·SZ)
SZ＝σ(U·XZ+W·SZ-1)
其中，XZ为输入层的值，具体为水平XY面，OZ为输出层的值，具体为平面特征，SZ为隐藏层的值，SZ-1为上一次隐藏层的值，U为输入层到隐藏层的权重矩阵，V为隐藏层到输出层的权重矩阵，W为隐藏层的权重。
5.如权利要求4所述的一种基于混维卷积的肾肿瘤分割方法，其特征在于：所述2D卷积模块分离出人体纵向Z方向，水平XY面作为特征提取维度，通过阻断隐藏层，2D卷积模块提取得到肾肿瘤的2D层内平面特征为：
OZ＝σ(W2D·XZ)
其中，W2D为2D卷积隐藏层的权重。
6.如权利要求4所述的一种基于混维卷积的肾肿瘤分割方法，其特征在于：所述2.5D卷积模块还设有用于控制传输状态的LSTM控制单元，LSTM控制单元包括忘记门和选择门，通过忘记门和选择门筛选2.5D层间的上下文信息，得到肾肿瘤的上下文信息。
7.如权利要求4所述的一种基于混维卷积的肾肿瘤分割方法，其特征在于：所述肾肿瘤的3D空间卷积特征、肾肿瘤的2D层内平面特征及肾肿瘤的2.5D层间上下文信息分别进行特征连接，利用1×1×1的卷积对肾肿瘤的3D空间卷积特征、肾肿瘤的2D层内平面特征及肾肿瘤的2.5D层间上下文信息沿着特征通道降维得到融合特征，通过注意力单元对融合特征进行自适应加权特征增强。
8.如权利要求7所述的一种基于混维卷积的肾肿瘤分割方法，其特征在于：所述融合特征为X×Y×Z×C的4维张量特征图，X、Y及Z表示空间维度，C表示特征维度，注意力单元对融合特征的具体步骤如下：
S31、在融合特征的空间维度上施加3D全局池化操作挤压特征图，得到1×1×1×C的通道特征；
S32、对通道特征施加2次全连接操作，第一次通道向量长度减半，第二次恢复通道特征的原始尺寸；
S33、通过Sigmoid函数激活通道特征，使通道生成0-1的权重值并在特征维度对融合特征进行加权增强。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010923743.1A CN112085736B (zh) | 2020-09-04 | 2020-09-04 | 一种基于混维卷积的肾肿瘤分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010923743.1A CN112085736B (zh) | 2020-09-04 | 2020-09-04 | 一种基于混维卷积的肾肿瘤分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112085736A true CN112085736A (zh) | 2020-12-15 |
| CN112085736B CN112085736B (zh) | 2024-02-02 |
Family
ID=73732829
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010923743.1A Active CN112085736B (zh) | 2020-09-04 | 2020-09-04 | 一种基于混维卷积的肾肿瘤分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112085736B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113052849A (zh) * | 2021-04-16 | 2021-06-29 | 中国科学院苏州生物医学工程技术研究所 | 腹部组织图像自动分割方法及系统 |
| CN113628216A (zh) * | 2021-08-11 | 2021-11-09 | 北京百度网讯科技有限公司 | 模型训练方法、图像分割方法、装置及相关产品 |
| CN115619687A (zh) * | 2022-12-20 | 2023-01-17 | 安徽数智建造研究院有限公司 | 一种隧道衬砌脱空雷达信号识别方法、设备及存储介质 |
| CN116229174A (zh) * | 2023-03-10 | 2023-06-06 | 南京审计大学 | 一种基于空谱联合注意力机制的高光谱多类变化检测方法 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190223725A1 (en) * | 2018-01-25 | 2019-07-25 | Siemens Healthcare Gmbh | Machine Learning-based Segmentation for Cardiac Medical Imaging |
| US20190365341A1 (en) * | 2018-05-31 | 2019-12-05 | Canon Medical Systems Corporation | Apparatus and method for medical image reconstruction using deep learning to improve image quality in position emission tomography (pet) |
| CN110753935A (zh) * | 2017-04-25 | 2020-02-04 | 小利兰·斯坦福大学托管委员会 | 用于医学成像的使用深度卷积神经网络的剂量减少 |
| US20200085382A1 (en) * | 2017-05-30 | 2020-03-19 | Arterys Inc. | Automated lesion detection, segmentation, and longitudinal identification |
| CN110910335A (zh) * | 2018-09-15 | 2020-03-24 | 北京市商汤科技开发有限公司 | 一种图像处理方法、图像处理设备及计算机可读存储介质 |
| CN110910408A (zh) * | 2019-11-28 | 2020-03-24 | 慧影医疗科技（北京）有限公司 | 图像分割方法、装置、电子设备及可读存储介质 |
| CN110945564A (zh) * | 2019-08-13 | 2020-03-31 | 香港应用科技研究院有限公司 | 基于混合上下文cnn模型的医学图像分割 |
| US20200167930A1 (en) * | 2017-06-16 | 2020-05-28 | Ucl Business Ltd | A System and Computer-Implemented Method for Segmenting an Image |
| CN111340828A (zh) * | 2020-01-10 | 2020-06-26 | 南京航空航天大学 | 基于级联卷积神经网络的脑部胶质瘤分割 |
| CN111429404A (zh) * | 2020-03-04 | 2020-07-17 | 张峰 | 一种用于心脑血管检测的成像系统和方法 |
| CN111429474A (zh) * | 2020-02-27 | 2020-07-17 | 西北大学 | 基于混合卷积的乳腺dce-mri图像病灶分割模型建立及分割方法 |
| CN111583246A (zh) * | 2020-05-11 | 2020-08-25 | 北京小白世纪网络科技有限公司 | 利用ct切片图像对肝脏肿瘤进行分类的方法 |
-
2020
- 2020-09-04 CN CN202010923743.1A patent/CN112085736B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110753935A (zh) * | 2017-04-25 | 2020-02-04 | 小利兰·斯坦福大学托管委员会 | 用于医学成像的使用深度卷积神经网络的剂量减少 |
| US20200085382A1 (en) * | 2017-05-30 | 2020-03-19 | Arterys Inc. | Automated lesion detection, segmentation, and longitudinal identification |
| US20200167930A1 (en) * | 2017-06-16 | 2020-05-28 | Ucl Business Ltd | A System and Computer-Implemented Method for Segmenting an Image |
| US20190223725A1 (en) * | 2018-01-25 | 2019-07-25 | Siemens Healthcare Gmbh | Machine Learning-based Segmentation for Cardiac Medical Imaging |
| US20190365341A1 (en) * | 2018-05-31 | 2019-12-05 | Canon Medical Systems Corporation | Apparatus and method for medical image reconstruction using deep learning to improve image quality in position emission tomography (pet) |
| CN110910335A (zh) * | 2018-09-15 | 2020-03-24 | 北京市商汤科技开发有限公司 | 一种图像处理方法、图像处理设备及计算机可读存储介质 |
| CN110945564A (zh) * | 2019-08-13 | 2020-03-31 | 香港应用科技研究院有限公司 | 基于混合上下文cnn模型的医学图像分割 |
| CN110910408A (zh) * | 2019-11-28 | 2020-03-24 | 慧影医疗科技（北京）有限公司 | 图像分割方法、装置、电子设备及可读存储介质 |
| CN111340828A (zh) * | 2020-01-10 | 2020-06-26 | 南京航空航天大学 | 基于级联卷积神经网络的脑部胶质瘤分割 |
| CN111429474A (zh) * | 2020-02-27 | 2020-07-17 | 西北大学 | 基于混合卷积的乳腺dce-mri图像病灶分割模型建立及分割方法 |
| CN111429404A (zh) * | 2020-03-04 | 2020-07-17 | 张峰 | 一种用于心脑血管检测的成像系统和方法 |
| CN111583246A (zh) * | 2020-05-11 | 2020-08-25 | 北京小白世纪网络科技有限公司 | 利用ct切片图像对肝脏肿瘤进行分类的方法 |
Non-Patent Citations (2)
| Title |
|---|
| JIE HU ET AL.: "Squeeze-and-Excitation Networks", 《PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》, pages 7132 - 7141 * |
| LIANSHENG WANG ET AL.: "Nested Dilation Network (NDN) for Multi-Task Medical Image Segmentation", 《IEEE ACCESS》, vol. 7, pages 44676 - 44685, XP011718870, DOI: 10.1109/ACCESS.2019.2908386 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113052849A (zh) * | 2021-04-16 | 2021-06-29 | 中国科学院苏州生物医学工程技术研究所 | 腹部组织图像自动分割方法及系统 |
| CN113052849B (zh) * | 2021-04-16 | 2024-01-26 | 中国科学院苏州生物医学工程技术研究所 | 腹部组织图像自动分割方法及系统 |
| CN113628216A (zh) * | 2021-08-11 | 2021-11-09 | 北京百度网讯科技有限公司 | 模型训练方法、图像分割方法、装置及相关产品 |
| CN115619687A (zh) * | 2022-12-20 | 2023-01-17 | 安徽数智建造研究院有限公司 | 一种隧道衬砌脱空雷达信号识别方法、设备及存储介质 |
| CN116229174A (zh) * | 2023-03-10 | 2023-06-06 | 南京审计大学 | 一种基于空谱联合注意力机制的高光谱多类变化检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112085736B (zh) | 2024-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109523521B (zh) | 基于多切片ct图像的肺结节分类和病灶定位方法和系统 | |
| Frid-Adar et al. | Synthetic data augmentation using GAN for improved liver lesion classification | |
| Ruan et al. | Vm-unet: Vision mamba unet for medical image segmentation | |
| CN112085736A (zh) | 一种基于混维卷积的肾肿瘤分割方法 | |
| CN116309650B (zh) | 基于双分支嵌入注意力机制的医学图像分割方法与系统 | |
| CN111260055A (zh) | 基于三维图像识别的模型训练方法、存储介质和设备 | |
| CN113674253A (zh) | 基于U-Transformer的直肠癌CT影像自动分割方法 | |
| Rahman et al. | A new method for lung nodule detection using deep neural networks for CT images | |
| JP2023540910A (ja) | 病変検出のための共同訓練を伴う接続機械学習モデル | |
| CN114494296A (zh) | 一种基于Unet和Transformer相融合的脑部胶质瘤分割方法与系统 | |
| CN112767417A (zh) | 一种基于级联U-Net网络的多模态图像分割方法 | |
| Wazir et al. | HistoSeg: Quick attention with multi-loss function for multi-structure segmentation in digital histology images | |
| CN112465754B (zh) | 基于分层感知融合的3d医疗图像分割方法、装置及存储介质 | |
| Li et al. | Cats: complementary CNN and transformer encoders for segmentation | |
| Mienye et al. | Improved predictive sparse decomposition method with densenet for prediction of lung cancer | |
| CN114581701A (zh) | 一种t2加权影像特征生成动态增强影像特征的方法 | |
| Umer et al. | Breast cancer classification and segmentation framework using multiscale CNN and U‐shaped dual decoded attention network | |
| Rasool et al. | Unveiling the complexity of medical imaging through deep learning approaches | |
| Qin et al. | Dynamically aggregating MLPs and CNNs for skin lesion segmentation with geometry regularization | |
| CN117291935A (zh) | 一种头颈瘤病灶区域图像分割方法及计算机可读介质 | |
| CN115760797A (zh) | 一种基于混合注意力网络对胰腺图像进行分类的方法 | |
| CN116524178A (zh) | 基于半监督的mri图像组织分割方法及成像方法 | |
| CN113379770B (zh) | 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置 | |
| CN112967295B (zh) | 一种基于残差网络和注意力机制的图像处理方法及系统 | |
| CN114155232A (zh) | 颅内出血区域检测方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |