CN112102276A - 基于迁移学习图像增强的低场强mr胃部分割方法 - Google Patents
基于迁移学习图像增强的低场强mr胃部分割方法 Download PDFInfo
- Publication number
- CN112102276A CN112102276A CN202010947917.8A CN202010947917A CN112102276A CN 112102276 A CN112102276 A CN 112102276A CN 202010947917 A CN202010947917 A CN 202010947917A CN 112102276 A CN112102276 A CN 112102276A
- Authority
- CN
- China
- Prior art keywords
- res3
- net
- network
- image
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 104
- 210000002784 stomach Anatomy 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000013526 transfer learning Methods 0.000 title claims abstract description 10
- 238000012549 training Methods 0.000 claims abstract description 95
- 238000012360 testing method Methods 0.000 claims abstract description 21
- 238000003709 image segmentation Methods 0.000 claims abstract description 18
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 5
- 238000013508 migration Methods 0.000 claims description 47
- 230000005012 migration Effects 0.000 claims description 41
- 230000006870 function Effects 0.000 claims description 16
- 238000005457 optimization Methods 0.000 claims description 16
- 238000000638 solvent extraction Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 11
- 238000011176 pooling Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 238000012795 verification Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 7
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 238000012952 Resampling Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 230000003042 antagnostic effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 238000010200 validation analysis Methods 0.000 claims description 3
- 238000009827 uniform distribution Methods 0.000 claims description 2
- 208000005718 Stomach Neoplasms Diseases 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 5
- 230000018109 developmental process Effects 0.000 description 5
- 206010017758 gastric cancer Diseases 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000001959 radiotherapy Methods 0.000 description 5
- 201000011549 stomach cancer Diseases 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 4
- 238000005481 NMR spectroscopy Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000002512 chemotherapy Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000002496 gastric effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000002675 image-guided surgery Methods 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000005865 ionizing radiation Effects 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 201000011591 microinvasive gastric cancer Diseases 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 208000018556 stomach disease Diseases 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30092—Stomach; Gastric
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于迁移学习图像增强的低场强MR胃部影像分割方法,主要解决低场强3DMR影像噪声大、伪影多、影像数据较少的问题。其方案包括:获取高、低场强3DMR胃部影像数据集以及相应的标签数据集,并对影像数据进行预处理;将预处理后的数据输入循环生成式对抗网络中,获得增强后的伪低场强3DMR胃部影像集;构建并训练3D Res3‑U‑net分割网络;再将伪低场强3DMR胃部影像集输入分割网络,完成分割网络参数的微调,形成迁移学习后的3D Res3‑U‑net分割网络,将测试数据输入该网络得到分割结果。本发明实现了低场强3DMR胃部影像的分割,有效提高了图像分割精度。
Description
技术领域
本发明属于医学图像处理技术领域,进一步涉及图像分割技术,具体为一种基于迁移学习图像增强的低场强MR胃部影像分割方法,可用于在低场强3DMR影像中对胃部区域进行精确分割。
背景技术
目前,胃癌发病率率仅次于肺癌,死亡率排第三位。全球每年新发胃癌病例约120万,中国约占其中的40%。我国早期胃癌发现率低,仅约20%,大多数发现时已到进展期,总体5年生存率不足50%。因此对胃部疾病的诊断研究受到广泛关注,更加准确、高效的医疗诊断成为一种迫切的需要。
依据《中国胃部诊疗规范》相关文献,影像检查在胃癌诊疗规范中起到指导作用。随着计算机技术和医学技术的迅速发展,影像引导放射治疗技术也取得了巨大突破,并在临床应用中被广泛使用。影像引导放射治疗是在患者进行治疗前、治疗中利用各种影像设备,对肿瘤及正常器官进行监控,并根据器官位置的变化调整治疗位置、治疗条件,使照射视野紧紧“追随”靶区,做到真正的精确治疗。影像引导放疗系统主要采用MV级锥形束CT、三维超声图像和核磁图像引导。核磁共振引导系统有高于CT数倍的软组织分辨能力,而且不会产生损伤人体的电离辐射。
目前,核磁共振引导系统中,主要采用低场强磁共振设备,该设备产生影像磁场强度小于0.5T,具有更大的扫描空间,而且不需要安装通风管,可以根据需要移动治疗床,适合辅助医生进行放化疗。但低场强磁共振扫描和成像速度较慢,容易因体内器官的运动造成伪影,而且成像中含有大量噪声,严重影响了图像引导放射治疗手术。低场强MR分割技术在医学图像分析中占有重要地位,其发展影响到医学图像处理中的其他相关技术发展,比如影像可视化和三维重建等。低场强MR胃部分割是决定低场强MR影像在胃癌精准治疗中能否提供可靠依据的关键。
医学图像分割方法主要分为两大类:基于传统算法的医学图像分割和基于深度学习的医学图像分割。基于传统算法的医学图像分割方法主要有基于阈值、区域生长、边缘检测、活动轮廓和水平集的分割方法等。然而,由于低场强磁共振扫描和成像速度较慢,容易因体内器官的运动造成伪影,且在成像中含有大量噪声,因此,传统医学图像分割方法不能满足图像引导手术对图像配准精度和速度的要求。随着深度学习算法发展,深度学习以其强大的特征提取和抽象表示能力,逐渐代替了手工提取特征的方法,在图像分割的任务上取得了巨大突破。然而,低场强MR影像存在噪声大、伪影多、影像数据较少的问题,且在使用3D深度学习网络进行分割时会出现过拟合的情况,因此迫切需要准确可靠、具有泛化能力的分割方法以确保图像分割的精度,从而满足实际应用的要求。
发明内容
本发明目的在于针对目前已有分割技术的不足,提出一种基于迁移学习图像增强的低场强MR胃部影像分割方法,以实现低场强3DMR胃部影像的分割,提高图像分割精度。
本发明的思路是:将高、低场强磁共振图像作为输入数据,通过使用循环生成对抗网络CycleGAN生成具有高、低场强磁共振图像之间映射关系的图像,获得图像增强后的伪低场强3DMR胃部影像集,使用部分低场强3DMR胃部影像训练生成3D Res3-U-net分割网络;再将伪低场强3DMR胃部影像集输入该分割网络,完成分割网络参数微调,形成迁移学习后的3D Res3-U-net分割网络,。最终提高低场强3DMR胃部影像测试集分割效果。本发明采用的3DMR胃部分割网络具有一定泛化能力,在低场强MR胃部分割任务中取得较为理想的分割效果,进而为临床应用提供了可靠依据。
为实现上述目的,本发明的技术方案包括:
(1)输入高场强3DMR胃部影像集Ahigh及待分割的低场强3DMR胃部影像集Alow,分别对其进行预处理,得到强度均匀的预处理后高场强3DMR胃部影像集X和预处理后待分割的低场强3DMR胃部影像集Y,且X与Y空间分辨率、大小及灰度区间保持一致;其中,X对应标签数据集XL,Y对应标签数据集YL;
(2)生成伪低场强3DMR胃部影像集:
将预处理后的高场强3DMR胃部影像集X与预处理后的待分割低场强3DMR胃部影像集Y输入循环生成式对抗网络CycleGAN中,学习影像集X和Y之间的映射关系,生成伪低场强3DMR胃部影像集 对应标签数据集
(3)构建训练集、验证集、测试集和迁移训练集:
在预处理后待分割的低场强3DMR胃部影像集Y中随机抽取60%作为训练集Train,对应标签数据集将剩余的40%影像随机等分为两部分,一部分为验证集Valid,对应标签数据集另一部分为低场强3DMR胃部影像作为测试集Test,对应标签数据集将伪低场强3DMR胃部影像集为迁移训练集Train1,对应标签数据集
(4)构建3D Res3-U-Net分割网络N:
(4a)由归一化层BN+非线性激活层Relu+卷积层conv3×3×3构成第一卷积模块C1;由归一化层BN+非线性激活层Relu+卷积层conv1×1×1构成第二卷积模块C2;
(4b)将第一卷积模块C1和第二卷积模块C2按照C2+C1+C2的方式得到卷积操作模块C;
(4c)根据卷积操作模块C构建结构如下的3D Res3-U-Net分割网络N:
第一卷积层→第二卷积层→第一池化层→第三卷积层→第四卷积层→第二池化层→第五卷积层→第六卷积层→第三池化层→第七卷积层→第八卷积→第一上采样层→第九卷积层→第十卷积层→第二上采样层→第十一卷积层→第十二卷积层→第三上采样层→第十三卷积层→第十四卷积层→全连接层;
(5)使用训练集Train和验证集Valid,训练步骤(4)构建的3D Res3-U-Net分割网络N,得到最优3D Res3-U-Net分割网络Nbest;
(5a)令3D Res3-U-Net分割网络N训练及验证的迭代次数为e,且1≤e≤E;其中E表示设置的最大迭代次数,E∈[50,500];
(5b)初始化当前迭代次数,即令迭代次数e=1;初始化最优Dice相似系数,即令最优Dice相似系数Dbest=0;
(5c)使用训练集Train,训练第e次迭代的3D Res3-U-Net分割网络N,获取训练后3D Res3-U-Net分割网络Ne,及其对应的权重We和偏置be;
(5d)将验证集Valid样本记为其中Iv为验证集中的胃部影像,为胃部影像Iv对应的标签;将Iv输入训练后3D Res3-U-Net分割网络Ne得到胃部影像Iv对应的输出Ov,获取输出Ov与标签之间的Dice相似系数De;
(5e)将De与当前最优Dice相似系数Dbest进行比较,若De≥Dbest,则令训练后3DRes3-U-Net分割网络Ne为最优3D Res3-U-Net分割网络Nbest,并将当前最优Dice相似系数Dbest更新为De;
(5f)判断当前迭代次数e是否达到最大迭代次数E;若未达到,即e≠E,继续执行步骤(5g);反之,若e=E,则终止训练过程,得到最优3D Res3-U-Net分割网络Nbest,直接执行步骤(6):
(5g)对当前迭代次数e加1之后,返回步骤(5c);
(6)使用迁移训练集Train1,对最优3D Res3-U-Net分割网络Nbest进行迁移学习,得到迁移后最优3D Res3-U-Net分割网络N'best;
(6a)令最优3D Res3-U-Net分割网络Nbest训练迭代次数为h,且1≤h≤H,其中H表示设置的分割网络Nbest训练迭代最大次数,H∈[20,100];
(6b)初始化当前迭代次数,即令迭代次数h=1;
(6c)使用迁移训练集Train1,对最优3D Res3-U-Net分割网络Nbest进行第h次迭代训练;
(6d)判断当前迭代次数h是否达到最大迭代次数H;若未达到,即h≠H,继续执行步骤(6e);反之,若h=H,则终止训练过程,得迁移后最优3D Res3-U-Net分割网络Nb'est,直接执行步骤(7);
(6e)对当前迭代次数h加1之后,返回步骤(6c)。
(7)利用迁移后最优3D Res3-U-Net分割网络N'best,获得测试集Test的胃部影像分割结果。
本发明与现有技术相比具有以下优点:
第一、本发明通过循环生成式对抗网络CycleGAN学习高、低场强MR图像的映射关系,生成图像增强的伪低场强MR影像,并且达到带标签训练数据扩增目的,同时克服了高、低场强MR影像之间存在的域偏移问题;
第二、由于本发明使用3D Res3-U-Net将网络中的卷积操作模块改进为三个由“归一化层+线性整流函数层ReLU+卷积层”组成的连接模型,从而优化了卷积结构,使得胃部影像分割性能提升;
第三、本发明采用迁移学习的方法,在使用低场强MR影像生成3D Res3-U-Net后,采用伪低场强MR影像对该3D Res3-U-Net进行样本迁移;实现整个分割过程的全自动化,无需人机交互,避免了人为因素的干扰,有效提高了分割效率。
附图说明
图1是本发明方法的实现流程图;
图2是本发明中训练3D Res3-U-Net分割网络使用的高场强MR影像轴切面示例图;
图3是本发明中训练3D Res3-U-Net分割网络使用的高场强MR影像轴切面标签示例图;
图4是本发明中训练3D Res3-U-Net分割网络使用的低场强MR影像轴切面示例图;
图5是本发明中训练3D Res3-U-Net分割网络使用的低场强MR影像轴切面标签示例图;
图6是本发明中3D Res3-U-Net分割网络的结构示意图;
图7是本发明中3D Res3-U-Net分割网络的卷积模块示意图;
图8是本发明对测试样本低场强MR影像的3D分割效果图。
具体实施方式
以下结合附图,对本发明的具体实施方案和效果作进一步描述。
参照图1,本发明提出的基于迁移学习图像增强的低场强MR胃部影像分割方法,包括如下步骤:
步骤1:数据准备:
获取高场强3DMR胃部影像集Ahigh及待分割的低场强3DMR胃部影像集Alow,分别对其进行预处理,这里的预处理是指偏场校正、图像重采样、图像裁块和数据归一化处理等,得到强度均匀的预处理后高场强3DMR胃部影像集X和预处理后待分割的低场强3DMR胃部影像集Y,且X与Y分辨率、大小及灰度区间保持一致;
高场强3DMR胃部影像集Ahigh经过偏场校正、图像重采样、图像裁块、数据归一化,得到预处理后高场强3DMR胃部影像集X,如图2所示;对应标签数据集XL,如图3所示;
待分割的低场强3DMR胃部影像集Alow经过偏场校正、图像重采样、图像裁块、数据归一化,得到预处理后待分割的低场强3DMR胃部影像集Y,如图4所示;对应标签数据集YL,如图5所示;
步骤2.生成伪低场强MR胃部影像集:
将预处理后的高场强3DMR胃部影像集X与预处理后的待分割的低场强3DMR胃部影像集Y输入循环生成式对抗网络CycleGAN中,本实施例将CycleGAN网络生成器的学习速率设为0.0001,判别器的学习速率设为0.0004,学习影像集X和Y之间的映射关系,生成伪低场强3DMR胃部影像集 对应标签数据集
步骤3.划分训练集、验证集、测试集和迁移训练集:
在预处理后待分割的低场强3DMR胃部影像集Y中随机抽取60%作为训练集Train,对应标签数据集将剩余的40%影像随机等分为两部分,一部分为验证集Valid,对应标签数据集另一部分为低场强3DMR胃部影像作为测试集Test,对应标签数据集将伪低场强3DMR胃部影像集作为迁移训练集Train1,对应标签数据集
步骤4.构建3D Res3-U-Net分割网络N:
(4a)由归一化层BN+非线性激活层Relu+卷积层conv3×3×3构成第一卷积模块C1;由归一化层BN+非线性激活层Relu+卷积层conv1×1×1构成第二卷积模块C2;
(4b)将第一卷积模块C1和第二卷积模块C2按照C2+C1+C2的方式得到卷积操作模块C,如图7所示;
(4c)根据卷积操作模块C构建结构如下的3D Res3-U-Net分割网络N:
第一卷积层→第二卷积层→第一池化层→第三卷积层→第四卷积层→第二池化层→第五卷积层→第六卷积层→第三池化层→第七卷积层→第八卷积→第一上采样层→第九卷积层→第十卷积层→第二上采样层→第十一卷积层→第十二卷积层→第三上采样层→第十三卷积层→第十四卷积层→全连接层;
3D Res3-U-Net分割网络N的整体结构如图6所示。
各卷积层的输出ψ按照如下步骤计算:
A1)计算卷积层的卷积输出F:
A2)使用修正线性单元ReLU对卷积输出F进行非线性激活,得到卷积层的输出ψ:
步骤5:使用训练集Train和验证集Valid,训练并验证步骤4构建的3D Res3-U-Net分割网络N,得到最优3D Res3-U-Net分割网络Nbest;
(5a)令3D Res3-U-Net分割网络N训练及验证的迭代次数为e,且1≤e≤E;其中E表示设置的最大迭代次数,E∈[50,500];
(5b)初始化当前迭代次数,即令迭代次数e=1;初始化最优Dice相似系数,即令最优Dice相似系数Dbest=0;
(5c)使用训练集Train,训练第e次迭代的3D Res3-U-Net分割网络N,获取训练后3D Res3-U-Net分割网络Ne,及其对应的权重We和偏置be;
使用训练集Train,训练第e次迭代的3D Res3-U-Net分割网络N,具体按照如下步骤进行:
(5c2)将胃部影像I输入到3D Res3-U-Net分割网络N中,经过3D Res3-U-Net分割网络N得到胃部影像I对应的输出O,得到3D Res3-U-Net分割网络N的损失函数L:
其中,B表示训练集Train样本的数量,G表示训练集Train中任一影像样本的像素点数量,pb,j表示3D Res3-U-Net分割网络对于训练集Train第b个影像样本的第j个像素点的输出,gb,j表示训练集Train第b个影像对应标签的第j个像素点的值,gb,j∈{0,1},gb,j=0表示该像素点为背景,gb,j=1表示该像素点为前景。
(5c3)根据损失函数L和自适应学习率优化算法Adam对3D Res3-U-Net分割网络N进行优化;使用Early stop机制防止过拟合,并采用误差反向传播机制对3D Res3-U-Net分割网络N的权重W和偏置b进行更新,得到优化权重W'和优化偏置b';按照如下步骤进行:
(5c3.1)对3D Res3-U-Net分割网络N的权重W和偏置b进行初始化,其公式如下:
W~U(-0.01,0.01),
b=0,
其中,U(·,·)表示均匀分布;
(5c3.2)设置初始学习率η=0.0001,采用误差反向传播机制对3D Res3-U-Net分割网络N的权重W和偏置b进行更新,得到优化权重W'和优化偏置b':
(5c4)将优化权重W'和优化偏置b'作为3D Res3-U-Net分割网络N的权重W和偏置b,返回执行步骤(5c1),直到遍历完训练集Train中的所有数据,最终得到训练后3D Res3-U-Net分割网络Ne,及其对应的权重We和偏置be。
(5d)将验证集Valid样本记为其中Iv为验证集中的胃部影像,为与Iv对应的标签,将Iv输入训练后3D Res3-U-Net分割网络Ne得到胃部影像Iv对应的输出Ov,获取Ov与标签之间的Dice相似系数De;按照如下步骤计算:
(5d1)对输出Ov中的第i个值进行离散化得到其对应的分割结果值Qv,i:
其中,i={1,2,…,Z},Z表示输出Ov中的数值总数;
其中,Qv={Qv,1,Qv,2,…Qv,i,…,Qv,z}表示输出Ov中的所有数值均进行离散化后得到输出分割结果;|·|表示对集合中的所有值求和;∩表示位与运算。
(5e)将De与当前最优Dice相似系数Dbest进行比较,若De≥Dbest,则令训练后3DRes3-U-Net分割网络Ne为最优3D Res3-U-Net分割网络Nbest,并将当前最优Dice相似系数Dbest更新为De;
(5f)判断当前迭代次数e是否达到最大迭代次数E;若未达到,即e≠E,继续执行步骤(5g);反之,若e=E,则终止训练过程,得到最优3D Res3-U-Net分割网络Nbest,执行步骤(6):
(5g)对当前迭代次数e加1之后,返回步骤(5c);
步骤6:使用迁移训练集Train1,对最优3D Res3-U-Net分割网络Nbest进行迁移学习,得到迁移后最优3D Res3-U-Net分割网络N'best;
(6a)令最优3D Res3-U-Net分割网络Nbest训练迭代次数为h,且1≤h≤H,其中H表示设置的分割网络Nbest训练迭代最大次数,H∈[20,100];
(6b)初始化当前迭代次数,即令迭代次数h=1;
(6c)使用迁移训练集Train1,对最优3D Res3-U-Net分割网络Nbest进行第h次迭代训练;具体按照如下步骤进行:
(6c2)将伪胃部影像I1输入到最优3D Res3-U-Net分割网络Nbest中,经过最优3DRes3-U-Net分割网络Nbest得到伪胃部影像I1对应的输出O1,得到最优3D Res3-U-Net分割网络Nbest的损失函数L':
其中,B'表示迁移训练集Train1样本的数量,G'表示迁移训练集Train1中任一影像样本的像素点数量,p'b',j'表示最优3D Res3-U-Net分割网络Nbest对于迁移训练集Train1第b'个影像样本的第j'个像素点的输出,g'b',j'表示迁移训练集Train1第b'个影像对应标签的第j'个像素点的值,且g'b',j'∈{0,1},g'b',j'=0表示该像素点为背景,g'b',j'=1表示该像素点为前景。
(6c3)根据分割网络Nbest的损失函数L'和自适应学习率优化算法Adam对最优3DRes3-U-Net分割网络Nbest进行优化,得到迁移优化权重Wb'est和迁移优化偏置bb'est;具体操作如下:
设置迁移初始学习率η'=0.0001,采用误差反向传播机制对最优3D Res3-U-Net分割网络Nbest的权重Wbest和偏置bbest进行更新,得到迁移优化权重Wb'est和迁移优化偏置bb'est:
(6c4)将优化权重Wb'est和优化偏置bb'est作为最优3D Res3-U-Net分割网络Nbest的权重Wbest和偏置bbest,返回执行步骤(6c1),直到遍历完迁移训练集Train1中的所有数据,最终得到第h次迭代迁移训练后3D Res3-U-Net分割网络Nb'est,h,及其对应的权重Wbest,h和偏置bbest,h。
(6d)判断当前迭代次数h是否达到最大迭代次数H;若未达到,即h≠H,继续执行步骤(6e);反之,若h=H,则终止训练过程,得迁移后最优3D Res3-U-Net分割网络Nb'est,直接执行步骤7;
(6e)对当前迭代次数h加1之后,返回步骤(6c)。
步骤7:利用迁移后最优3D Res3-U-Net分割网络N'best,获得测试集Test的胃部影像分割结果。
将测试集Test中的胃部影像输入到步骤7获得的迁移后最优3D Res3-U-Net分割网络N'best,对其进行仿真3D分割测试,得到胃部影像对应的一组分割结果,其中一个3D分割结果如图8所示。
上述分析和所得结果证明了本发明所提方法的正确性与有效性。
本发明未详细说明部分属于本领域技术人员公知常识。
以上描述仅是本发明的一个具体实例,不构成对本发明的任何限制,显然对于本领域的专业人员来说,在了解了本发明内容和原理后,都可能在不背离本发明原理、结构的情况下,进行形式和细节上的各种修正和改变,但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。
Claims (9)
1.一种基于迁移学习图像增强的低场强MR胃部分割方法,其特征在于,包括如下步骤:
(1)输入高场强3DMR胃部影像集Ahigh及待分割的低场强3DMR胃部影像集Alow,分别对其进行预处理,得到强度均匀的预处理后高场强3DMR胃部影像集X和预处理后待分割的低场强3DMR胃部影像集Y,且X与Y空间分辨率、大小及灰度区间保持一致;其中,X对应标签数据集XL,Y对应标签数据集YL;
(2)生成伪低场强3DMR胃部影像集:
将预处理后的高场强3DMR胃部影像集X与预处理后的待分割低场强3DMR胃部影像集Y输入循环生成式对抗网络CycleGAN中,学习影像集X和Y之间的映射关系,生成伪低场强3DMR胃部影像集 对应标签数据集
(3)构建训练集、验证集、测试集和迁移训练集:
在预处理后待分割的低场强3DMR胃部影像集Y中随机抽取60%作为训练集Train,对应标签数据集将剩余的40%影像随机等分为两部分,一部分为验证集Valid,对应标签数据集另一部分为低场强3DMR胃部影像作为测试集Test,对应标签数据集将伪低场强3DMR胃部影像集作为迁移训练集Train1,对应标签数据集
(4)构建3D Res3-U-Net分割网络N:
(4a)由归一化层BN+非线性激活层Relu+卷积层conv3×3×3构成第一卷积模块C1;由归一化层BN+非线性激活层Relu+卷积层conv1×1×1构成第二卷积模块C2;
(4b)将第一卷积模块C1和第二卷积模块C2按照C2+C1+C2的方式得到卷积操作模块C;
(4c)根据卷积操作模块C构建结构如下的3D Res3-U-Net分割网络N:
第一卷积层→第二卷积层→第一池化层→第三卷积层→第四卷积层→第二池化层→第五卷积层→第六卷积层→第三池化层→第七卷积层→第八卷积→第一上采样层→第九卷积层→第十卷积层→第二上采样层→第十一卷积层→第十二卷积层→第三上采样层→第十三卷积层→第十四卷积层→全连接层;
(5)使用训练集Train和验证集Valid,训练步骤(4)构建的3D Res3-U-Net分割网络N,得到最优3D Res3-U-Net分割网络Nbest;
(5a)令3D Res3-U-Net分割网络N训练及验证的迭代次数为e,且1≤e≤E;其中E表示设置的最大迭代次数,E∈[50,500];
(5b)初始化当前迭代次数,即令迭代次数e=1;初始化最优Dice相似系数,即令最优Dice相似系数Dbest=0;
(5c)使用训练集Train,训练第e次迭代的3D Res3-U-Net分割网络N,获取训练后3DRes3-U-Net分割网络Ne,及其对应的权重We和偏置be;
(5d)将验证集Valid样本记为其中Iv为验证集中的胃部影像,为胃部影像Iv对应的标签;将Iv输入训练后3D Res3-U-Net分割网络Ne得到胃部影像Iv对应的输出Ov,获取输出Ov与标签之间的Dice相似系数De;
(5e)将De与当前最优Dice相似系数Dbest进行比较,若De≥Dbest,则令训练后3D Res3-U-Net分割网络Ne为最优3D Res3-U-Net分割网络Nbest,并将当前最优Dice相似系数Dbest更新为De;
(5f)判断当前迭代次数e是否达到最大迭代次数E;若未达到,即e≠E,继续执行步骤(5g);反之,若e=E,则终止训练过程,得到最优3D Res3-U-Net分割网络Nbest,直接执行步骤(6):
(5g)对当前迭代次数e加1之后,返回步骤(5c);
(6)使用迁移训练集Train1,对最优3D Res3-U-Net分割网络Nbest进行迁移学习,得到迁移后最优3D Res3-U-Net分割网络N'best;
(6a)令最优3D Res3-U-Net分割网络Nbest训练迭代次数为h,且1≤h≤H,其中H表示设置的分割网络Nbest训练迭代最大次数,H∈[20,100];
(6b)初始化当前迭代次数,即令迭代次数h=1;
(6c)使用迁移训练集Train1,对最优3D Res3-U-Net分割网络Nbest进行第h次迭代训练;
(6d)判断当前迭代次数h是否达到最大迭代次数H;若未达到,即h≠H,继续执行步骤(6e);反之,若h=H,则终止训练过程,得迁移后最优3D Res3-U-Net分割网络N'best,直接执行步骤(7);
(6e)对当前迭代次数h加1之后,返回步骤(6c);
(7)利用迁移后最优3D Res3-U-Net分割网络N'best,获得测试集Test的胃部影像分割结果。
2.根据权利要求1所述的方法,其特征在于:步骤(1)中所述预处理指偏场校正、图像重采样、图像裁块和数据归一化处理。
3.根据权利要求1所述的方法,其特征在于:步骤(5c)中使用训练集Train,训练第e次迭代的3D Res3-U-Net分割网络N,具体按照如下步骤进行:
(5c2)将胃部影像I输入到3D Res3-U-Net分割网络N中,经过3D Res3-U-Net分割网络N得到胃部影像I对应的输出O,得到3D Res3-U-Net分割网络N的损失函数L;
(5c3)根据分割网络N的损失函数L和自适应学习率优化算法Adam对3D Res3-U-Net分割网络N进行优化,得到优化权重W'和优化偏置b';
(5c4)将优化权重W'和优化偏置b'作为3D Res3-U-Net分割网络N的权重W和偏置b,返回执行步骤(5c1),直到遍历完训练集Train中的所有数据,最终得到训练后3D Res3-U-Net分割网络Ne,及其对应的权重We和偏置be。
7.根据权利要求1所述的方法,其特征在于:步骤(6c)中使用迁移训练集Train1,对最优3D Res3-U-Net分割网络Nbest进行第h次迭代训练,具体按照如下步骤进行:
(6c2)将伪胃部影像I1输入到最优3D Res3-U-Net分割网络Nbest中,经过最优3D Res3-U-Net分割网络Nbest得到伪胃部影像I1对应的输出O1,得到最优3D Res3-U-Net分割网络Nbest的损失函数L';
(6c3)根据分割网络Nbest的损失函数L'和自适应学习率优化算法Adam对最优3D Res3-U-Net分割网络Nbest进行优化,得到迁移优化权重W'best和迁移优化偏置b'best;
(6c4)将优化权重W'best和优化偏置b'best作为最优3D Res3-U-Net分割网络Nbest的权重Wbest和偏置bbest,返回执行步骤(6c1),直到遍历完迁移训练集Train1中的所有数据,最终得到第h次迭代迁移训练后3D Res3-U-Net分割网络N'best,h,及其对应的权重Wbest,h和偏置bbest,h。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010947917.8A CN112102276B (zh) | 2020-09-10 | 2020-09-10 | 基于迁移学习图像增强的低场强mr胃部分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010947917.8A CN112102276B (zh) | 2020-09-10 | 2020-09-10 | 基于迁移学习图像增强的低场强mr胃部分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112102276A true CN112102276A (zh) | 2020-12-18 |
CN112102276B CN112102276B (zh) | 2023-03-28 |
Family
ID=73751840
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010947917.8A Active CN112102276B (zh) | 2020-09-10 | 2020-09-10 | 基于迁移学习图像增强的低场强mr胃部分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112102276B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112686906A (zh) * | 2020-12-25 | 2021-04-20 | 山东大学 | 基于均匀分布迁移引导的图像分割方法及系统 |
CN112700534A (zh) * | 2020-12-30 | 2021-04-23 | 华东师范大学 | 一种基于特征迁移的超声或ct医学影像三维重建方法 |
CN113205528A (zh) * | 2021-04-02 | 2021-08-03 | 上海慧虎信息科技有限公司 | 医学影像分割模型训练方法、分割方法及装置 |
CN113205521A (zh) * | 2021-04-23 | 2021-08-03 | 复旦大学 | 一种医学影像数据的图像分割方法 |
CN113421274A (zh) * | 2021-07-13 | 2021-09-21 | 上海工程技术大学 | 一种基于ct影像的胃癌智能分期方法 |
CN114170276A (zh) * | 2021-10-15 | 2022-03-11 | 烟台大学 | 一种磁共振脑图像海马配准方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109377497A (zh) * | 2018-08-17 | 2019-02-22 | 西安电子科技大学 | 一种低场强胃部mri图像的分割装置及方法 |
US20190295302A1 (en) * | 2018-03-22 | 2019-09-26 | Northeastern University | Segmentation Guided Image Generation With Adversarial Networks |
CN110414481A (zh) * | 2019-08-09 | 2019-11-05 | 华东师范大学 | 一种基于Unet和LSTM的3D医学影像识别和分割方法 |
CN110580728A (zh) * | 2019-09-16 | 2019-12-17 | 中南大学 | 基于结构特征自增强的ct-mr模态迁移方法 |
CN110751651A (zh) * | 2019-09-27 | 2020-02-04 | 西安电子科技大学 | 基于多尺度迁移学习的mri胰腺图像分割方法 |
US20200125818A1 (en) * | 2018-10-23 | 2020-04-23 | The Chinese University Of Hong Kong | Method and apparatus for segmenting cellular image |
CN111179269A (zh) * | 2019-11-11 | 2020-05-19 | 浙江工业大学 | 一种基于多视图和3维卷积融合策略的pet图像分割方法 |
CN111260651A (zh) * | 2018-11-30 | 2020-06-09 | 西安电子科技大学 | 一种基于深度迁移学习的胃部低质量mri图像分割方法 |
CN111539467A (zh) * | 2020-04-17 | 2020-08-14 | 北京工业大学 | 基于生成对抗网络为医疗影像数据集做数据增广的gan网络架构及方法 |
-
2020
- 2020-09-10 CN CN202010947917.8A patent/CN112102276B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190295302A1 (en) * | 2018-03-22 | 2019-09-26 | Northeastern University | Segmentation Guided Image Generation With Adversarial Networks |
CN109377497A (zh) * | 2018-08-17 | 2019-02-22 | 西安电子科技大学 | 一种低场强胃部mri图像的分割装置及方法 |
US20200125818A1 (en) * | 2018-10-23 | 2020-04-23 | The Chinese University Of Hong Kong | Method and apparatus for segmenting cellular image |
CN111260651A (zh) * | 2018-11-30 | 2020-06-09 | 西安电子科技大学 | 一种基于深度迁移学习的胃部低质量mri图像分割方法 |
CN110414481A (zh) * | 2019-08-09 | 2019-11-05 | 华东师范大学 | 一种基于Unet和LSTM的3D医学影像识别和分割方法 |
CN110580728A (zh) * | 2019-09-16 | 2019-12-17 | 中南大学 | 基于结构特征自增强的ct-mr模态迁移方法 |
CN110751651A (zh) * | 2019-09-27 | 2020-02-04 | 西安电子科技大学 | 基于多尺度迁移学习的mri胰腺图像分割方法 |
CN111179269A (zh) * | 2019-11-11 | 2020-05-19 | 浙江工业大学 | 一种基于多视图和3维卷积融合策略的pet图像分割方法 |
CN111539467A (zh) * | 2020-04-17 | 2020-08-14 | 北京工业大学 | 基于生成对抗网络为医疗影像数据集做数据增广的gan网络架构及方法 |
Non-Patent Citations (6)
Title |
---|
MICHAŁ JANUSZEWSKI ET AL.: "Segmentation-Enhanced CycleGAN", 《BIORXIV PREPRINT》 * |
OLAF RONNEBERGER ET AL.: "U-Net: Convolutional Networks for Biomedical Image Segmentation", 《ARXIV[CS.CV]》 * |
WEI YU ET AL.: "Liver Vessels Segmentation Based on 3d Residual U-NET", 《2019 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》 * |
XIAO XIAO ET AL.: "Weighted Res-UNet for High-quality Retina Vessel Segmentation", 《2018 9TH INTERNATIONAL CONFERENCE ON INFORMATION TECHNOLOGY IN MEDICINE AND EDUCATION(ITME)》 * |
张倩雯 等: "基于3D ResUnet网络的肺结节分割", 《中国医学物理学杂志》 * |
张家兵 等: "基于深度监督残差网络的肝脏及肝肿瘤分割", 《集成技术》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112686906A (zh) * | 2020-12-25 | 2021-04-20 | 山东大学 | 基于均匀分布迁移引导的图像分割方法及系统 |
CN112686906B (zh) * | 2020-12-25 | 2022-06-14 | 山东大学 | 基于均匀分布迁移引导的图像分割方法及系统 |
CN112700534A (zh) * | 2020-12-30 | 2021-04-23 | 华东师范大学 | 一种基于特征迁移的超声或ct医学影像三维重建方法 |
CN113205528A (zh) * | 2021-04-02 | 2021-08-03 | 上海慧虎信息科技有限公司 | 医学影像分割模型训练方法、分割方法及装置 |
CN113205528B (zh) * | 2021-04-02 | 2023-07-07 | 上海慧虎信息科技有限公司 | 医学影像分割模型训练方法、分割方法及装置 |
CN113205521A (zh) * | 2021-04-23 | 2021-08-03 | 复旦大学 | 一种医学影像数据的图像分割方法 |
CN113421274A (zh) * | 2021-07-13 | 2021-09-21 | 上海工程技术大学 | 一种基于ct影像的胃癌智能分期方法 |
CN113421274B (zh) * | 2021-07-13 | 2022-08-02 | 上海工程技术大学 | 一种基于ct影像的胃癌智能分期方法 |
CN114170276A (zh) * | 2021-10-15 | 2022-03-11 | 烟台大学 | 一种磁共振脑图像海马配准方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112102276B (zh) | 2023-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112102276B (zh) | 基于迁移学习图像增强的低场强mr胃部分割方法 | |
CN108921851B (zh) | 一种基于3d对抗网络的医学ct图像分割方法 | |
EP4014201A1 (en) | Three dimensional object segmentation of medical images localized with object detection | |
CN112365980B (zh) | 脑肿瘤多靶点辅助诊断与前瞻性治疗演化可视化方法及系统 | |
US8290568B2 (en) | Method for determining a property map of an object, particularly of a living being, based on at least a first image, particularly a magnetic resonance image | |
CN109829880A (zh) | 一种基于深度学习的ct图像检测方法、装置和控制设备 | |
CN113516210B (zh) | 一种基于pet/ct的肺腺癌鳞癌诊断模型训练方法及装置 | |
CN108629785B (zh) | 基于自步学习的三维磁共振胰腺图像分割方法 | |
CN109215035B (zh) | 一种基于深度学习的脑部mri海马体三维分割方法 | |
CN111430025B (zh) | 一种基于医疗影像数据扩增的疾病诊断模型训练方法 | |
CN111724344A (zh) | 一种基于对抗网络生成医学超声影像数据的方法 | |
CN113989551A (zh) | 一种基于改进ResNet网络的阿尔茨海默病分类方法 | |
CN114972266A (zh) | 基于自注意机制和稳定学习的淋巴瘤超声图像语义分割方法 | |
CN112508943A (zh) | 基于超声影像的乳腺肿瘤识别方法 | |
CN115601535A (zh) | 联合Wasserstein距离与差异度量的胸片异常识别域自适应方法及系统 | |
Putri et al. | Artificial neural network for cervical abnormalities detection on computed tomography images | |
CN113889235A (zh) | 一种三维医学影像无监督特征抽取系统 | |
Reddy et al. | Different algorithms for lung cancer detection and prediction | |
Jain et al. | SumNet Convolution Neural network based Automated pulmonary nodule detection system | |
CN111488878A (zh) | 一种基于伪彩色ct图像的深度学习分割方法 | |
Li et al. | CAGAN: Classifier‐augmented generative adversarial networks for weakly‐supervised COVID‐19 lung lesion localisation | |
Balaji | Generative deep belief model for improved medical image segmentation | |
Burgos et al. | Simulation and Synthesis in Medical Imaging: 5th International Workshop, SASHIMI 2020, Held in Conjunction with MICCAI 2020, Lima, Peru, October 4, 2020, Proceedings | |
Sangeetha et al. | Deep Residual Learning for Lung Cancer Nodules Detection and Classification | |
CN117831757B (zh) | 基于病理ct多模态先验知识引导的肺癌诊断方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |