CN110751651B - 基于多尺度迁移学习的mri胰腺图像分割方法 - Google Patents
基于多尺度迁移学习的mri胰腺图像分割方法 Download PDFInfo
- Publication number
- CN110751651B CN110751651B CN201910923449.8A CN201910923449A CN110751651B CN 110751651 B CN110751651 B CN 110751651B CN 201910923449 A CN201910923449 A CN 201910923449A CN 110751651 B CN110751651 B CN 110751651B
- Authority
- CN
- China
- Prior art keywords
- layer
- image
- mri
- pancreas
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000000496 pancreas Anatomy 0.000 title claims abstract description 181
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000003709 image segmentation Methods 0.000 title claims abstract description 19
- 238000013508 migration Methods 0.000 title claims abstract description 7
- 230000005012 migration Effects 0.000 title claims abstract description 7
- 230000011218 segmentation Effects 0.000 claims abstract description 82
- 238000012549 training Methods 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 4
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 219
- 238000002600 positron emission tomography Methods 0.000 claims description 164
- 230000004913 activation Effects 0.000 claims description 51
- 238000000605 extraction Methods 0.000 claims description 44
- 230000004927 fusion Effects 0.000 claims description 37
- 238000005070 sampling Methods 0.000 claims description 26
- 238000003384 imaging method Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 11
- 238000013526 transfer learning Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 8
- 238000012986 modification Methods 0.000 claims description 7
- 230000004048 modification Effects 0.000 claims description 7
- 101001013832 Homo sapiens Mitochondrial peptide methionine sulfoxide reductase Proteins 0.000 claims description 6
- 102100031767 Mitochondrial peptide methionine sulfoxide reductase Human genes 0.000 claims description 6
- 238000002790 cross-validation Methods 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000011423 initialization method Methods 0.000 claims description 4
- 230000020411 cell activation Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 238000000638 solvent extraction Methods 0.000 claims description 2
- 230000003190 augmentative effect Effects 0.000 claims 1
- 230000001617 migratory effect Effects 0.000 claims 1
- 206010061902 Pancreatic neoplasm Diseases 0.000 description 6
- 208000015486 malignant pancreatic neoplasm Diseases 0.000 description 6
- 201000002528 pancreatic cancer Diseases 0.000 description 6
- 208000008443 pancreatic carcinoma Diseases 0.000 description 6
- 206010028980 Neoplasm Diseases 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 201000011510 cancer Diseases 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000001959 radiotherapy Methods 0.000 description 3
- 210000004872 soft tissue Anatomy 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000019155 Radiation injury Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000002399 angioplasty Methods 0.000 description 1
- 238000002648 combination therapy Methods 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 238000012012 milestone trend analyses Methods 0.000 description 1
- 210000004923 pancreatic tissue Anatomy 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 210000000952 spleen Anatomy 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000011277 treatment modality Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明公开了一种基于多尺度迁移学习的MRI胰腺图像分割方法,主要解决现有技术对MRI胰腺图像分割精确低的问题。其方案:从人体胰腺部位获取PET和MRI图像,并对其进行标记,得到对应的胰腺标签图像;对PET和MRI图像扩充并归一化,对胰腺标签图像扩充并转换为浮点型;建立的PET网络并对其训练,得到训练好的PET网络;建立一个包括两条支路的MRI网络,将训练好的PET网络中对应的结构和权重迁移到该网络的第二支路,并训练其第一支路,得到训练好的MRI网络;输入MRI图像到训练好的MRI网络,输出胰腺分割结果。本发明提升了工作效率,提高了MRI图像的胰腺分割准确度,可用于对MRI图像的处理。
Description
技术领域
本发明属于医学图像处理技术领域,特别涉及一种MRI胰腺图像分割的方法,可用于提高MRI图像中胰腺组织的分割效果。
背景技术
胰腺癌是出现在腹部胰脏的癌症,是常见肿瘤中恶性程度最高、死亡率最高的癌症。在过去十年,胰腺癌的发病率有所上升,胰腺癌的5年存活率为9%,是所有癌症中存活率最低的。胰腺癌多发现于晚期,通常患者错过了手术治疗的最佳时期。针对胰腺癌患者,以放射治疗为基础的综合治疗成为国际标准治疗方式。
当前,以磁共振成像MRI引导的放射治疗是胰腺癌诊断和治疗的主要手段。MRI对人体不产生放射伤害,不受限于患者内部解剖结构,且一次成像可以提供多种图像序列帮助医生诊断治疗,可以多方位观察病变区域信息。但是胰腺位于人体上腹深处,周围组织结构复杂,临近肝脏,脾脏等器官,且胰腺体积小,与周围组织黏连严重,个体差异大。此外,受限MRI软组织成像边缘模糊,胰腺分割难度进一步增加。
PET/MRI是将正子发射断层扫描PET的分子成像功能与磁共振成像MRI的软组织对比功能结合起来的一种新技术,相比于当前的磁共振成像MRI,其软组织成像对比度更高,对人体的辐射更小,灵敏度更高,准确性较好,可用于各种疾病的早期诊断。但是,PET/MRI成像作为新技术,与适应病症相关的协议不成熟,以及高额的研发成本,使得市面上用于临床治疗的设备较少。且使用PET/MRI图像进行计算机辅助诊断提出了更高的要求,对放疗医生提出了更高的知识储备要求,使得市场接受程度相对较低。
此外,使用PET/MRI图像进行器官分割面临的最大问题是:由于获取的PET图像是三维全身成像,MRI是二维成像,两种模态图像之间差异较大,找到对应的PET与MRI图像对,为MRI图像胰腺部位分割提供位置先验信息,这种方法在实际应用中耗费大量时间与资源;二维MRI胰腺图像对比度低,视觉效果差,并且样本量小。上述问题导致在术前规划过程中,很难使用深度学习的方法利用PET/MRI图像多模态多参数的优势对胰腺部位进行有效的分割。
发明内容
本发明的目的在于针对上述方法在医学图像分割过程中的不足,提出一种基于多尺度迁移学习的MRI胰腺图像分割方法,以在二维MRI胰腺图像对比度低,视觉效果差,且样本量小的情况下,提高图像分割的精度。
为实现上述目的,其实现方案包括如下步骤:
(1)使用正电子发射断层扫描PET设备对人体胰腺部位进行成像,得到PET图像序列,记为PET图像数据集X,使用磁共振成像MRI设备对人体胰腺部位进行成像,得到MRI图像序列,记为MRI图像数据集Y,其中,PET图像是三维全身成像,MRI是二维成像;
(2)对PET图像数据集X中的胰腺部位进行标记,得到PET胰腺参考数据集XT,对MRI图像数据集Y中的胰腺部位进行标记,得到MRI胰腺参考数据集YT;
(3)对PET图像数据集对{X,XT}进行扩充,得到扩充的PET图像数据集对{P,PT},对MRI图像数据集对{Y,YT}进行扩充,得到扩充的MRI图像数据集对{M,MT};
(4)对扩充的PET图像数据集对{P,PT}中P的每张PET图像和扩充的MRI图像数据集对{M,MT}中M的每张MRI图像进行归一化操作,即将Hu值映射到区间[0,1],对扩充的PET图像数据集对{P,PT}中PT的每张PET胰腺参考图像和扩充的MRI图像数据集对{M,MT}中MT的每张MRI胰腺参考图像进行灰度转换操作,即将二值图像转换成浮点数;
(5)对扩充的PET图像数据集对{P,PT}和扩充的MRI图像数据集对{M,MT}中的每张PET图像和MRI图像及其对应的胰腺参考图像进行裁剪,得PET图像数据集对{DP,GP}和MRI图像数据集对{DM,GM};
(6)搭建基于PET图像的编码器-解码器网络N,并初始化:
(6a)根据得到的PET图像数据集对{DP,GP},通过交叉验证搭建一个包括输入层、特征提取层、下采样层、反卷积层和输出层的25层网络,构成基于PET图像的编码器-解码器网络N,网络的输入为PET图像,输出为胰腺分割结果图像;
(6b)用MSRA初始化方法初始化网络的权值W,并将网络的所有偏置b初始化为0;
(7)使用PET图像数据集对{DP,GP},训练基于PET图像的编码器-解码器网络N,得到训练好的分割网络NT;
(8)搭建基于多尺度迁移学习的编码器-解码器MRI分割网络M,并初始化:
(8a)根据MRI图像数据集对{DM,GM},通过交叉验证搭建一个包括两条支路构成的基于多尺度迁移学习的编码器-解码器MRI分割网络M,其中,第一支路依次连接第一多尺度卷积层、第二多尺度卷积层、第三多尺度卷积层、第四多尺度卷积层、第一上采样层、第一特征提取层、第二上采样层、第二特征提取层、第三上采样层、第三特征提取层和输出层;将编码器-解码器网络NT中的第2层到第9层对应的结构和权重迁移到MRI分割网络M中,并在训练过程中保持不变,构成其第二支路;在上采样层,将多尺度卷积层提取的多尺度图像特征和第二支路中卷积层提取的图像特征融合输出,该网络的输入为MRI图像,输出为胰腺分割结果图像;
(8b)用MSRA初始化方法初始化MRI分割网络M的权值W,并将MRI分割网络M的所有偏置b初始化为0;
(9)使用MRI图像数据集对{DM,GM},训练基于多尺度迁移学习的编码器-解码器MRI分割网络M,得到训练好的MRI分割网络MT;
(10)将一张完整的MRI图像XM输入到训练好的MRI分割网络MT中,经过该分割网络MT的前向传播,得到胰腺分割结果图像AT。
本发明与现有技术相比具有以下优点:
1、本发明由于在胰腺图像分割的过程中加入多尺度卷积,使得MRI图像分割网络不仅可以获取图像不同感受野范围的特征,而且可避免过拟合,提高了胰腺图像分割网络的特征表达能力。
2、本发明由于在胰腺图像分割网络的上采样过程中使用插值上采样和反卷积结合的方式,其中,插值上采样将最主要的特征进行放大,反卷积则将低维特征映射成高维特征,使得胰腺图像分割网络能兼顾图像的局部特征与全局特征,对输入图像更全面地进行高维特征提取,丰富了解码部分的图像信息,使得网络的性能得以提高。
3、本发明由于在胰腺图像分割网络的训练过程中加入了迁移学习的思想,通过构造一个基于PET图像的编码器-解码器结构的分割网络,让编码器学习胰腺区域的高阶特征,然后将该部分编码器的结构和权重迁移到MRI胰腺图像分割网络中,在进行MRI胰腺特征提取时,使得胰腺图像分割网络更多地关注可能的胰腺部位信息,并在网络的上采样层使用融合的方式将该部分信息与胰腺特征信息进行融合,使得网络对胰腺分割效果更好。
4、本发明由于通过迁移学习,为MRI分割模型提供了感兴趣区域的先验信息,使得胰腺图像分割网络在应用的时候,不需要使用PET图像即可进行MRI的分割,舍弃了找寻配对PET和MRI进行图像分割的繁琐步骤,提升了工作效率。
附图说明
图1本发明实现的流程图;
图2本发明中构建的编码器-解码器分割网络N的结构图;
图3本发明中构建的基于多尺度迁移学习的编码器-解码器分割网络M的结构图;
图4本发明中所使用的数据扩充示例图;
图5是用本发明对MRI图像进行分割的仿真结果图。
具体实施方式
以下结合附图,对本发明的具体实施方案和效果作进一步的解释和说明:
参照图1,本发明基于多尺度迁移学习的MRI胰腺图像分割方法,其实现步骤如下:
步骤1:数据准备。
1a)使用正电子发射断层扫描PET设备对人体胰腺部位进行成像,得到PET图像序列,记为PET图像数据集X,使用磁共振成像MRI设备对人体胰腺部位进行成像,得到MRI图像序列,记为MRI图像数据集Y,其中,PET图像是三维全身成像,MRI是二维成像;
1b)对PET图像数据集X中的胰腺部位进行标记,得到PET胰腺参考数据集XT,对MRI图像数据集Y中的胰腺部位进行标记,得到MRI胰腺参考数据集YT;
1c)对PET图像数据集对{X,XT}进行扩充,得到扩充的PET图像数据集对{P,PT}:
(1c1)对PET图像数据集X中PET图像x进行扩充,得到扩充的PET图像数据集P:
首先,对PET图像x沿其水平中轴线上下翻转,得到第2张PET图像;
接着,对PET图像x逆时针旋转90度,得到第3张PET图像;再沿水平中轴线上下翻转,得到第4张PET图像;
接着,对PET图像x逆时针旋转180度,得到第5张PET图像;再沿其水平中轴线上下翻转,得到第6张PET图像;
然后,对PET图像x逆时针旋转270度,得到第7张PET图像;再沿其水平中轴线上下翻转,得到第8张PET图像;
(1c2)对PET图像数据集X对应的胰腺参考图像数据集XT进行扩充,得到扩充的胰腺参考图像数据集PT:
首先,对胰腺参考图像xT沿其水平中轴线上下翻转,得到第2张胰腺参考图像;
接着,对胰腺参考图像xT逆时针旋转90度,得到第3张胰腺参考图像;再沿水平中轴线上下翻转,得到第4张胰腺参考图像;
接着,对胰腺参考图像xT逆时针旋转180度,得到第5张胰腺参考图像;再沿其水平中轴线上下翻转,得到第6张胰腺参考图像;
然后,对胰腺参考图像xT逆时针旋转270度,得到第7张胰腺参考图像;再沿其水平中轴线上下翻转,得到第8张胰腺参考图像;
(1c3)重复操作(1c1)和(1c2),依次处理PET图像数据集{X,XT}中每一对PET图像x及其对应的胰腺参考图像xT,得到扩充的PET图像数据集对{P,PT},如图4(A)所示。
1d)对MRI图像数据集对{Y,YT}进行扩充,得到扩充的MRI图像数据集对{M,MT}:
(1d1)对MRI图像数据集Y中MRI图像y进行扩充,得到扩充的MRI图像数据集M:
首先,对MRI图像y沿其水平中轴线上下翻转,得到第2张MRI图像;
接着,对MRI图像y逆时针旋转90度,得到第3张MRI图像;再沿水平中轴线上下翻转,得到第4张MRI图像;
接着,对MRI图像y逆时针旋转180度,得到第5张MRI图像;再沿其水平中轴线上下翻转,得到第6张MRI图像;
然后,对MRI图像y逆时针旋转270度,得到第7张MRI图像;再沿其水平中轴线上下翻转,得到第8张MRI图像;
(1d2)对MRI图像数据集Y对应的胰腺参考图像数据集YT进行扩充,得到扩充的胰腺参考图像数据集MT:
首先,对胰腺参考图像yT沿其水平中轴线上下翻转,得到第2张胰腺参考图像;
接着,对胰腺参考图像yT逆时针旋转90度,得到第3张胰腺参考图像;再沿水平中轴线上下翻转,得到第4张胰腺参考图像;
接着,对胰腺参考图像yT逆时针旋转180度,得到第5张胰腺参考图像;再沿其水平中轴线上下翻转,得到第6张胰腺参考图像;
然后,对胰腺参考图像yT逆时针旋转270度,得到第7张胰腺参考图像;再沿其水平中轴线上下翻转,得到第8张胰腺参考图像;
(1d3)重复操作(1d1)和(1d2),依次处理MRI图像数据集{Y,YT}中每一对MRI图像y及其对应的胰腺参考图像yT,得到扩充的MRI图像数据集对{M,MT},如图4(B)所示。
1e)对扩充的PET图像数据集对{P,PT}和扩充的MRI图像数据集对{M,MT}进行归一化和数值转换:
(1e1)将PET图像和MRI图像的灰度值归一化到[0,1],得到归一化后的图像X':
其中,X表示输入图像,min(X)表示输入的PET图像或MRI图像像素灰度值的最小值,max(X)表示输入的PET图像或MRI图像像素灰度值的最大值;
(1e2)将输入PET图像和MRI图像对应的胰腺参考图像的灰度值转换为浮点型。
1f)对每张PET图像和MRI图像及其对应的胰腺参考图像进行裁剪,实现如下:
(1f1)对PET图像集{P,PT}进行裁剪,即将PET图像及其对应的胰腺参考图像,裁剪其上下左右各40个像素点,再调整其尺寸为320*240;
(1f2)对MRI图像集{M,MT}进行裁剪,即将MRI图像及其对应的胰腺参考图像,裁剪其上下各136个像素点,左右各96个像素点,再调整其尺寸为320*240;
(1f3)重复(1f1)和(1f2),依次处理PET图像数据集{P,PT}和MRI图像数据集{M,MT}中每一对PET图像和每一对MRI图像,得到裁剪后的PET图像数据集{DP,GP}和MRI图像数据集{DM,GM}。
步骤2:构建基于PET图像的编码器-解码器网络N。
根据得到的PET图像数据集对{DP,GP},通过交叉验证设置一个包括输入层、下采样层、特征提取层、反卷积层和输出层的25层网络,编码器-解码器网络N的输入为PET图像,输出为胰腺分割结果图像。
参照图2,本步骤构建的网络结构如下:
第1层是输入层,输入尺寸大小240*320*1的PET图像;
第2层至第3层是特征提取层,每一层含有1个卷积层Conv、1个修正线性单元激活层Relu,该卷积层含有64个卷积核,每个卷积核大小为3*3;
第4层是最大池化层,其卷积核的大小为2*2;
第5层至第6层是特征提取层,每一层含有1个卷积层Conv、1个修正线性单元激活层Relu,该卷积层含有128个卷积核,每个卷积核大小为3*3;
第7层是最大池化层,其卷积核的大小为2*2;
第8层至第9层是特征提取层,每一层含有1个卷积层Conv、1个修正线性单元激活层Relu,该卷积层含有256个卷积核,每个卷积核大小为3*3;
第10层是最大池化层,其卷积核的大小为2*2;
第11层至第12层是特征提取层,每一层含有1个卷积层Conv、1个修正线性单元激活层Relu,该卷积层含有512个卷积核,每个卷积核大小为3*3;
第13层是反卷积层up-conv,该卷积层含有256个卷积核,每个卷积核大小为2*2;
第14层是融合层Merge,用于将第13层的反卷积结果和Copy第9层的卷积结果融合输出;
第15层至第16层是特征提取层,每一层含有1个卷积层Conv、1个修正线性单元激活层Relu,该卷积层含有256个卷积核,每个卷积核大小为3*3;
第17层是反卷积层up-conv,该卷积层含有128个卷积核,每个卷积核大小为2*2;
第18层是融合层Merge,用于将第17层的反卷积结果和Copy第6层的卷积结果融合输出;
第19层至第20层是特征提取层,每一层含有1个卷积层Conv、1个修正线性单元激活层Relu,该卷积层含有128个卷积核,每个卷积核大小为3*3;
第21层是反卷积层up-conv,该卷积层含有64个卷积核,每个卷积核大小为2*2;
第22层是融合层Merge,用于将第21层的反卷积结果和Copy第3层的卷积结果融合输出;
第23层至第24层是特征提取层,每一层含有1个卷积层Conv、1个修正线性单元激活层Relu,该卷积层含有64个卷积核,每个卷积核大小为3*3;
第25层是输出层,含有一个卷积核大小为1*1的卷积层Conv和一个修正线性单元激活层Sigmoid。
上述编码器-解码器网络N中的卷积层,其数学形式如下:
其中,表示网络第l层的第i个特征图,当l=0时,F0表示网络输入的PET图像块,表示网络第l层的第i个卷积核的权值,表示网络第l层的第i个卷积核的偏置,nl表示网络第l层的卷积核数量,表示图像卷积运算,该卷积运算采用“same”方式,以保持卷积前后图像大小不变;
上述编码器-解码器网络N中的修正线性单元激活层ReLU,其数学形式如下:
其中,x表示输入数据;
上述编码器-解码器网络N中的修正线性单元激活层Sigmoid,其数学形式如下:
其中,x表示输入数据。
步骤3:对图编码器-解码器网络N的权值W和偏置b进行初始化。
3a)使用MSRA方法对网络N的权值W进行初始化,其公式如下:
3b)将网络N的所有偏置b均初始化为数值0。
步骤4:使用PET图像数据集{DP,GP},训练基于PET图像的编码器-解码器网络N。
(4a)打乱{DP,GP}中PET图像数据对的顺序,依次从{DP,GP}中选择3对PET图像数据和对应的参考图像,记为一个训练批次其中是当前训练批次中第i张PET图像,为第i张PET图像对应的胰腺参考图像;
(4d)根据编码器-解码器网络N的整体损失值LN,使用自适应矩估计优化器Adam对网络N的权值W和所有偏置b进行更新;
(4e)重复(4a)到(4d),直到达到网络训练的最大迭代次数T=50,得到训练好的分割网络NT。
步骤5:构成基于多尺度迁移学习的编码器-解码器MRI分割网络M。
参照图3,本步骤的具体实现根据MRI图像数据集对{DM,GM},通过交叉验证设置一个包括两条支路的网络,MRI分割网络M的输入为MRI图像,输出为胰腺分割结果图像。
所述第一条支路由依次连接的第一多尺度卷积层、第二多尺度卷积层、第三多尺度卷积层、第四多尺度卷积层、第一上采样层、第一特征提取层、第二上采样层、第二特征提取层、第三上采样层、第三特征提取层和输出层组成,其中:
该第一多尺度卷积层、第二多尺度卷积层和第三多尺度卷积层具有相同的结构,即每层含有3条分支、一个融合层和一个激活层,其中:
第1分支由依次连接的第1卷积层、修正线性单元激活层Relu、第2卷积层和修正线性单元激活层Relu组成,每个卷积层Conv的卷积核大小均为3*3;
第2分支由依次连接的第3卷积层、修正线性单元激活层Relu、第4卷积层和修正线性单元激活层Relu组成,其中,第3卷积层的卷积核大小为3*3,第4卷积层的卷积核大小为5*5;
第3分支包含1个池化层Pool,卷积核大小为2*2;
融合层,其包含一个融合函数Merge,用于将第一层中第1分支到第3分支的结果融合输出;
激活层,其包含一个修正线性单元激活层Relu,用于将第一层中融合层的结果线性修正后输出;
上述第一多尺度卷积层中每个卷积层Conv有64个卷积核,第二多尺度卷积层中每个卷积层Conv有128个卷积核,第三多尺度卷积层中每个卷积层Conv有256个卷积核;
该第四多尺度卷积层含有2条分支、一个融合层和一个激活层,其中:
第1分支由依次连接的第1卷积层Conv和修正线性单元激活层Relu组成,该卷积层Conv含有大小为3*3的512个卷积核;
第2分支由依次连接的第2卷积层Conv和修正线性单元激活层Relu组成,该卷积层Conv含有大小为5*5的512个卷积核;
融合层,其包含一个融合函数Merge,用于将第四层中第1分支和第2分支的结果融合输出;
激活层,其包含一个修正线性单元激活层Relu,用于将第四层中融合层的结果线性修正后输出;
该第一上采样层含有5条分支、一个融合层、两个卷积层和三个激活层,其中:
第1分支由第三多尺度卷积层的第1卷积层和修正线性单元激活层Relu组成;
第2分支由第三多尺度卷积层的第3卷积层和修正线性单元激活层Relu组成;
第3分支由反卷积层Deconv和修正线性单元激活层Relu组成,反卷积层Deconv含有大小为3*3的256个卷积核,该分支输入是第四多尺度卷积层的融合层输出;
第4分支由插值上采样层和修正线性单元激活层Relu组成,该分支输入是第四多尺度卷积层的融合层输出;
第5分支由第二支路的第9卷积层和修正线性单元激活层Relu组成;
融合层,其包含一个融合函数Merge,用于将第1分支到第5分支的结果融合输出;
激活层,其包含一个修正线性单元激活层Relu,用于将融合层的结果线性修正后输出;
该第二上采样层含有5条分支、一个融合层、两个卷积层和三个激活层,其中:
第1分支由第二多尺度卷积层的第1卷积层和修正线性单元激活层Relu组成;
第2分支由第二多尺度卷积层的第3卷积层和修正线性单元激活层Relu组成;
第3分支由反卷积层Deconv和修正线性单元激活层Relu组成,反卷积层Deconv含有大小为3*3的128个卷积核,该分支输入是第一上采样层的融合层输出;
第4分支由插值上采样层和修正线性单元激活层Relu组成,该分支输入是第一上采样层的融合层输出;
第5分支由第二支路的第6卷积层和修正线性单元激活层Relu组成;
融合层,其包含一个融合函数Merge,用于将第1分支和第5分支的结果融合输出;
激活层,其包含一个修正线性单元激活层Relu,用于将融合层的结果线性修正后输出;
该第三上采样层含有5条分支、一个融合层、两个卷积层和三个激活层,其中:
第1分支由第一多尺度卷积层的第1卷积层和修正线性单元激活层Relu组成;
第2分支由第一多尺度卷积层的第3卷积层和修正线性单元激活层Relu组成;
第3分支由反卷积层Deconv和修正线性单元激活层Relu组成,反卷积层Deconv含有大小为3*3的64个卷积核,该分支输入是第二上采样层的融合层输出;
第4分支由插值上采样层和修正线性单元激活层Relu组成,该分支输入是第二上采样层的融合层输出;
第5分支由第二支路的第3卷积层和修正线性单元激活层Relu组成;
融合层,其包含一个融合函数Merge,用于将第1分支和第5分支的结果融合输出;
激活层,其包含一个修正线性单元激活层Relu,用于将融合层的结果线性修正后输出;
该第一特征提取层、第二特征提取层和第三特征提取层具有相同的结构,即由依次连接的卷积层Conv、修正线性单元激活层Relu、卷积层Conv和修正线性单元激活层Relu组成,每个卷积核大小均为3*3;
其中,第一特征提取层中每个卷积层Conv有256个卷积核,第二特征提取层中每个卷积层Conv有128个卷积核,第三特征提取层中每个卷积层Conv有64个卷积核;
该输出层含有1个卷积层和1个修正线性单元激活层Sigmoid,卷积层含有1个大小为1*1的卷积核;
所述第二支路的网络结构共有8层,将编码器-解码器网络NT中的第2层到第9层对应的结构和权重迁移到MRI分割网络M中,并在训练过程中保持不变,构成其第二支路。
上述MRI分割网络M中的卷积层,其数学形式如下:
其中,表示网络第l层的第i个特征图,当l=0时,F0表示网络输入的MRI图像块,表示网络第l层的第i个卷积核的权值,表示网络第l层的第i个卷积核的偏置,nl表示网络第l层的卷积核数量,表示图像卷积运算,该卷积运算采用“same”方式,以保持卷积前后图像大小不变;
上述MRI分割网络M中的修正线性单元激活层ReLU,其数学形式如下:
其中,x表示输入数据。
上述MRI分割网络M中的修正线性单元激活层Sigmoid,其数学形式如下:
其中,x表示输入数据。
步骤6:对MRI分割网络M的权值W和偏置b进行初始化。
3a)使用MSRA方法对MRI分割网络M的权值W进行初始化,其公式如下:
3b)将MRI分割网络M的所有偏置b均初始化为数值0。
步骤7:使用MRI图像数据集{DM,GM},训练基于多尺度迁移学习的编码器-解码器MRI分割网络M。
(7a)打乱{DM,GM}中MRI图像数据对的顺序,依次从{DM,GM}中选择3对MRI图像数据和对应的参考图像,记为一个训练批次其中是当前训练批次中第i张MRI图像,第i张MRI图像对应的胰腺参考图像;
(7d)根据多尺度编码器-解码器MRI分割网络M的整体损失值LM,使用自适应矩估计优化器Adam对MRI分割网络M的权值W和所有偏置b进行更新;
(7e)重复步骤(7a)到(7d),直到达到MRI分割网络训练的最大迭代次数T=100,得到训练好的MRI分割网络MT。
步骤8:使用训练好的MRI分割网络MT对MRI图像进行胰腺分割。
将一张完整的MRI图像XT,如图5(A)所示,输入到训练好的MRI分割网络MT中,经过该MRI分割网络MT的前向传播,得到胰腺分割结果图像AT,如图5(B)所示。
以上描述仅是本发明的一个具体实例,并未构成对本发明的任何限制,显然对于本领域的专业人员来说,在了解了本发明内容和原理后,都可能在不背离本发明原理、结构的情况下,进行形式和细节上的各种修正和改变,但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。
Claims (9)
1.一种基于多尺度迁移学习的MRI胰腺图像分割方法,其特征在于,包括如下:
(1)使用正电子发射断层扫描PET设备对人体胰腺部位进行成像,得到PET图像序列,记为PET图像数据集X,使用磁共振成像MRI设备对人体胰腺部位进行成像,得到MRI图像序列,记为MRI图像数据集Y,其中,PET图像是三维全身成像,MRI是二维成像;
(2)对PET图像数据集X中的胰腺部位进行标记,得到PET胰腺参考数据集XT,对MRI图像数据集Y中的胰腺部位进行标记,得到MRI胰腺参考数据集YT;
(3)对PET图像数据集对{X,XT}进行扩充,得到扩充的PET图像数据集对{P,PT},对MRI图像数据集对{Y,YT}进行扩充,得到扩充的MRI图像数据集对{M,MT};
(4)对扩充的PET图像数据集对{P,PT}中P的每张PET图像和扩充的MRI图像数据集对{M,MT}中M的每张MRI图像进行归一化操作,即将图像灰度值映射到区间[0,1],对扩充的PET图像数据集对{P,PT}中PT的每张PET胰腺参考图像和扩充的MRI图像数据集对{M,MT}中MT的每张MRI胰腺参考图像进行灰度转换操作,即将二值图像转换成浮点数;
(5)对扩充的PET图像数据集对{P,PT}和扩充的MRI图像数据集对{M,MT}中的每张PET图像和MRI图像及其对应的胰腺参考图像进行裁剪,得PET图像数据集对{DP,GP}和MRI图像数据集对{DM,GM};
(6)搭建基于PET图像的编码器-解码器网络N,并初始化:
(6a)根据得到的PET图像数据集对{DP,GP},通过交叉验证搭建一个包括输入层、特征提取层、下采样层、反卷积层和输出层的25层网络,构成基于PET图像的编码器-解码器网络N,网络的输入为PET图像,输出为胰腺分割结果图像;
(6b)用MSRA初始化方法初始化网络的权值WPET,并将网络的所有偏置bPET初始化为0;
(7)使用PET图像数据集对{DP,GP},训练基于PET图像的编码器-解码器网络N,得到训练好的分割网络NT;
(8)搭建基于多尺度迁移学习的编码器-解码器MRI分割网络M,并初始化:
(8a)根据MRI图像数据集对{DM,GM},通过交叉验证搭建一个包括两条支路构成的基于多尺度迁移学习的编码器-解码器MRI分割网络M,其中,第一支路依次连接第一多尺度卷积层、第二多尺度卷积层、第三多尺度卷积层、第四多尺度卷积层、第一上采样层、第一特征提取层、第二上采样层、第二特征提取层、第三上采样层、第三特征提取层和输出层;将编码器-解码器网络NT中的第2层到第9层对应的结构和权重迁移到MRI分割网络M中,并在训练过程中保持不变,构成其第二支路;在第一上采样层,将第三多尺度卷积层提取的多尺度图像特征和第二支路中的第9卷积层提取的图像特征融合输出;第二上采样层,将第二多尺度卷积层提取的多尺度图像特征和第二支路中的第6卷积层提取的图像特征融合输出;第三上采样层,将第一多尺度卷积层提取的多尺度图像特征和第二支路中的第3卷积层提取的图像特征融合输出;该网络的输入为MRI图像,输出为胰腺分割结果图像;
(8b)用MSRA初始化方法初始化MRI分割网络M的权值WMRI,并将MRI分割网络M的所有偏置bMRI初始化为0;
(9)使用MRI图像数据集对{DM,GM},训练基于多尺度迁移学习的编码器-解码器MRI分割网络M,得到训练好的MRI分割网络MT;
(10)将一张完整的MRI图像XM输入到训练好的MRI分割网络MT中,经过该分割网络MT的前向传播,得到胰腺分割结果图像AT。
2.根据权利要求1所述的方法,其特征在于,(3)中对PET图像数据集对{X,XT}进行扩充,得到扩充的PET图像数据集对{P,PT},按如下步骤进行:
(3a)对PET图像数据集X中PET图像x进行扩充,得到扩充的PET图像数据集P:
(3a1)对PET图像x沿其水平中轴线上下翻转,得到第2张PET图像;
(3a2)对PET图像x逆时针旋转90度,得到第3张PET图像;再沿水平中轴线上下翻转,得到第4张PET图像;
(3a3)对PET图像x逆时针旋转180度,得到第5张PET图像;再沿其水平中轴线上下翻转,得到第6张PET图像;
(3a4)对PET图像x逆时针旋转270度,得到第7张PET图像;再沿其水平中轴线上下翻转,得到第8张PET图像;
(3b)对PET胰腺参考数据集XT进行扩充,得到扩充的PET胰腺参考数据集PT:
(3b1)对胰腺参考图像xT沿其水平中轴线上下翻转,得到第2张胰腺参考图像;
(3b2)对胰腺参考图像xT逆时针旋转90度,得到第3张胰腺参考图像;再沿水平中轴线上下翻转,得到第4张胰腺参考图像;
(3b3)对胰腺参考图像xT逆时针旋转180度,得到第5张胰腺参考图像;再沿其水平中轴线上下翻转,得到第6张胰腺参考图像;
(3b4)对胰腺参考图像xT逆时针旋转270度,得到第7张胰腺参考图像;再沿其水平中轴线上下翻转,得到第8张胰腺参考图像;
(3c)重复操作(3a)和(3b),依次处理PET图像数据集{X,XT}中每一对PET图像x及其对应的胰腺参考图像xT,得到扩充的PET图像数据集对{P,PT}。
3.根据权利要求1所述的方法,其特征在于,(3)中对MRI图像数据集对{Y,YT}进行扩充,得到扩充的MRI图像数据集对{M,MT},按如下步骤进行:
(3d)对MRI图像数据集Y中MRI图像y进行扩充,得到扩充的MRI图像数据集M:
(3d1)对MRI图像y沿其水平中轴线上下翻转,得到第2张MRI图像;
(3d2)对MRI图像y逆时针旋转90度,得到第3张MRI图像;再沿水平中轴线上下翻转,得到第4张MRI图像;
(3d3)对MRI图像y逆时针旋转180度,得到第5张MRI图像;再沿其水平中轴线上下翻转,得到第6张MRI图像;
(3d4)对MRI图像y逆时针旋转270度,得到第7张MRI图像;再沿其水平中轴线上下翻转,得到第8张MRI图像;
(3e)对MRI胰腺参考数据集YT进行扩充,得到扩充的MRI胰腺参考数据集MT:
(3e1)对胰腺参考图像yT沿其水平中轴线上下翻转,得到第2张胰腺参考图像;
(3e2)对胰腺参考图像yT逆时针旋转90度,得到第3张胰腺参考图像;再沿水平中轴线上下翻转,得到第4张胰腺参考图像;
(3e3)对胰腺参考图像yT逆时针旋转180度,得到第5张胰腺参考图像;再沿其水平中轴线上下翻转,得到第6张胰腺参考图像;
(3e4)对胰腺参考图像yT逆时针旋转270度,得到第7张胰腺参考图像;再沿其水平中轴线上下翻转,得到第8张胰腺参考图像;
(3f)重复操作(3d)和(3e),依次处理MRI图像数据集{Y,YT}中每一对MRI图像y及其对应的胰腺参考图像yT,得到扩充的MRI图像数据集对{M,MT}。
5.根据权利要求1所述的方法,其特征在于,(5)中对每张PET图像和MRI图像及其对应的胰腺参考图像进行裁剪,实现如下:
(5a)对PET图像集{P,PT}进行裁剪,即将PET图像及其对应的胰腺擦参考图像,裁剪其上下左右各40个像素点,再调整其尺寸为320*240;
(5b)对MRI图像集{M,MT}进行裁剪,即将MRI图像及其对应的胰腺参考图像,裁剪其上下各136个像素点,左右各96个像素点,再调整其尺寸为320*240;
(5c)重复(5a)和(5b),依次处理PET图像数据集{P,PT}和MRI图像数据集{M,MT}中每一对PET图像和每一对MRI图像,得到裁剪后的PET图像数据集{DP,GP}和MRI图像数据集{DM,GM}。
6.根据权利要求1所述的方法,其特征在于,(6a)中搭建的25层编码器-解码器网络N,其结构如下:
第1层是输入层,输入尺寸大小320*240的PET图像;
第2层至第3层是特征提取层,每一层含有1个卷积层Conv、1个修正线性单元激活层Relu,该卷积层含有64个卷积核,每个卷积核大小为3*3;
第4层是最大池化层,其卷积核的大小为2*2;
第5层至第6层是特征提取层,每一层含有1个卷积层Conv、1个修正线性单元激活层Relu,该卷积层含有128个卷积核,每个卷积核大小为3*3;
第7层是最大池化层,其卷积核的大小为2*2;
第8层至第9层是特征提取层,每一层含有1个卷积层Conv、1个修正线性单元激活层Relu,该卷积层含有256个卷积核,每个卷积核大小为3*3;
第10层是最大池化层,其卷积核的大小为2*2;
第11层至第12层是特征提取层,每一层含有1个卷积层Conv、1个修正线性单元激活层Relu,该卷积层含有512个卷积核,每个卷积核大小为3*3;
第13层是反卷积层,该卷积层含有256个卷积核,每个卷积核大小为2*2;
第14层是融合层,用于将第13层的反卷积结果和第9层的卷积结果融合输出;
第15层至第16层是特征提取层,每一层含有1个卷积层Conv、1个修正线性单元激活层Relu,该卷积层含有256个卷积核,每个卷积核大小为3*3;
第17层是反卷积层,该卷积层含有128个卷积核,每个卷积核大小为2*2;
第18层是融合层,用于将第17层的反卷积结果和第6层的卷积结果融合输出;
第19层至第20层是特征提取层,每一层含有1个卷积层Conv、1个修正线性单元激活层Relu,该卷积层含有128个卷积核,每个卷积核大小为3*3;
第21层是反卷积层,该卷积层含有64个卷积核,每个卷积核大小为2*2;
第22层是融合层,用于将第21层的反卷积结果和第3层的卷积结果融合输出;
第23层至第24层是特征提取层,每一层含有1个卷积层Conv、1个修正线性单元激活层Relu,该卷积层含有64个卷积核,每个卷积核大小为3*3;
第25层是输出层,含有一个卷积核大小为1*1的卷积层Conv和一个修正线性单元激活层Sigmoid。
7.根据权利要求1所述的方法,其特征在于,(7)中训练基于PET图像的编码器-解码器网络N,其实现如下:
(7a)打乱{DP,GP}中图像对的顺序,依次从{DP,GP}中选择3对PET图像数据和对应的胰腺参考图像数据,记为一个训练批次其中是当前训练批次中第i张PET图像,为第i张PET图像对应的胰腺参考图像;
(7d)根据编码器-解码器网络N的整体损失值LN,使用自适应矩估计优化器Adam对网络N的权值W和所有偏置b进行更新;
(7e)重复(7a)到(7d),直到达到网络训练的最大迭代次数T=50,得到训练好的分割网络NT。
8.根据权利要求1所述的方法,其中(8a)搭建的基于多尺度迁移学习的编码器-解码器MRI分割网络M中的第一支路,其结构与参数如下:
所述第一多尺度卷积层、第二多尺度卷积层和第三多尺度卷积层具有相同的结构,即每层含有3条分支、一个融合层和一个激活层,其中
第1分支由依次连接的第1卷积层、修正线性单元激活层Relu、第2卷积层和修正线性单元激活层Relu组成,每个卷积层Conv的卷积核大小均为3*3;
第2分支由依次连接的第3卷积层、修正线性单元激活层Relu、第4卷积层和修正线性单元激活层Relu组成,其中,第3卷积层的卷积核大小为3*3,第4卷积层的卷积核大小为5*5;
第3分支包含1个池化层Pool,卷积核大小为2*2;
第一多尺度卷积层所含的每个卷积层Conv的卷积核个数为64;
第二多尺度卷积层所含的每个卷积层Conv的卷积核个数为128;
第三多尺度卷积层所含的每个卷积层Conv的卷积核个数为256;
所述第四多尺度卷积层含有2条分支、一个融合层和一个激活层,其中:
第1分支由依次连接的第1卷积层Conv和修正线性单元激活层Relu组成,该卷积层Conv含有大小为3*3的512个卷积核;
第2分支由依次连接的第2卷积层Conv和修正线性单元激活层Relu组成,该卷积层Conv含有大小为5*5的512个卷积核;
所述第一至第三上采样层均包括5个分支、1个融合层和一个修正线性单元激活层Relu,其中:
第一上采样层的第1分支由第三多尺度卷积层的第1卷积层组成,第2分支由第三多尺度卷积层的第3卷积层组成,第3分支由反卷积层组成,第4分支由插值上采样层组成,第5分支由第二支路的第6卷积层组成;
第二上采样层的第1分支由第二多尺度卷积层的第1卷积层组成,第2分支由第二多尺度卷积层的第3卷积层组成,第3分支由反卷积层组成,第4分支由插值上采样层组成,第5分支由第二支路的第4卷积层组成;
第三上采样层的第1分支由第一多尺度卷积层的第1卷积层组成,第2分支由第一多尺度卷积层的第3卷积层组成,第3分支由反卷积层组成,第4分支由插值上采样层组成,第5分支由第二支路的第2卷积层组成;
所述第一特征提取层、第二特征提取层和第三特征提取层具有相同的结构,即由依次连接的卷积层Conv、修正线性单元激活层Relu、卷积层Conv和修正线性单元激活层Relu组成,每个卷积核大小均为3*3,其中:
第一特征提取层中每个卷积层Conv有256个卷积核;
第二特征提取层中每个卷积层Conv有128个卷积核;
第三特征提取层中每个卷积层Conv有64个卷积核;
所述输出层含有1个卷积层和1个修正线性单元激活层Sigmoid,卷积层含有1个大小为1*1的卷积核;
上述各层中的融合层,其包含一个融合函数Merge,用于将第1分支和第2分支中的第四层结果融合输出;
上述各层中的激活层,其包含一个修正线性单元激活层Relu,用于将融合层的结果线性修正后输出。
9.根据权利要求1所述的方法,其中(9)中训练基于多尺度迁移学习的编码器-解码器MRI分割网络M,其实现如下:
(9d)根据多尺度编码器-解码器MRI分割网络M的整体损失值LM,使用自适应矩估计优化器Adam对MRI分割网络M第一支路的权值W和所有偏置b进行更新,第二支路的权值W和所有偏置b与训练好的编码器-解码器网络NT中对应的权值W和偏置b相同,且在训练过程中保持不变;
(9e)重复步骤(9a)到(9d),直到达到MRI分割网络训练的最大迭代次数T=100,得到训练好的MRI分割网络MT。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910923449.8A CN110751651B (zh) | 2019-09-27 | 2019-09-27 | 基于多尺度迁移学习的mri胰腺图像分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910923449.8A CN110751651B (zh) | 2019-09-27 | 2019-09-27 | 基于多尺度迁移学习的mri胰腺图像分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110751651A CN110751651A (zh) | 2020-02-04 |
CN110751651B true CN110751651B (zh) | 2022-03-04 |
Family
ID=69277242
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910923449.8A Active CN110751651B (zh) | 2019-09-27 | 2019-09-27 | 基于多尺度迁移学习的mri胰腺图像分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110751651B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111784653B (zh) * | 2020-06-28 | 2023-08-01 | 西安电子科技大学 | 基于形状约束的多尺度网络mri胰腺轮廓定位方法 |
CN112102276B (zh) * | 2020-09-10 | 2023-03-28 | 西安电子科技大学 | 基于迁移学习图像增强的低场强mr胃部分割方法 |
CN112036382A (zh) * | 2020-11-04 | 2020-12-04 | 北京圣点云信息技术有限公司 | 一种基于地形点分类的指静脉特征提取及识别方法和装置 |
CN113052826A (zh) * | 2021-03-31 | 2021-06-29 | 浙江工业大学 | 一种多尺度特征选择性融合的胰腺图像分割方法 |
CN113221983B (zh) * | 2021-04-28 | 2024-03-12 | 北京达佳互联信息技术有限公司 | 迁移学习模型的训练方法及装置、图像处理方法及装置 |
CN113222061B (zh) * | 2021-05-31 | 2022-12-09 | 北京理工大学 | 一种基于双路小样本学习的mri图像分类方法 |
CN113706486B (zh) * | 2021-08-17 | 2024-08-02 | 西安电子科技大学 | 基于密集连接网络迁移学习的胰腺肿瘤图像分割方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107203999A (zh) * | 2017-04-28 | 2017-09-26 | 北京航空航天大学 | 一种基于全卷积神经网络的皮肤镜图像自动分割方法 |
CN107220980A (zh) * | 2017-05-25 | 2017-09-29 | 重庆理工大学 | 一种基于全卷积网络的mri图像脑肿瘤自动分割方法 |
CN107680678A (zh) * | 2017-10-18 | 2018-02-09 | 北京航空航天大学 | 基于多尺度卷积神经网络甲状腺超声图像结节自动诊断系统 |
CN108596915A (zh) * | 2018-04-13 | 2018-09-28 | 深圳市未来媒体技术研究院 | 一种基于无标注数据的医疗图像分割方法 |
CN109978850A (zh) * | 2019-03-21 | 2019-07-05 | 华南理工大学 | 一种多模态医学影像半监督深度学习分割系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3435294B1 (en) * | 2017-07-24 | 2024-04-03 | Tata Consultancy Services Limited | Systems and methods for solving inverse problems using a coupled autoencoder |
-
2019
- 2019-09-27 CN CN201910923449.8A patent/CN110751651B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107203999A (zh) * | 2017-04-28 | 2017-09-26 | 北京航空航天大学 | 一种基于全卷积神经网络的皮肤镜图像自动分割方法 |
CN107220980A (zh) * | 2017-05-25 | 2017-09-29 | 重庆理工大学 | 一种基于全卷积网络的mri图像脑肿瘤自动分割方法 |
CN107680678A (zh) * | 2017-10-18 | 2018-02-09 | 北京航空航天大学 | 基于多尺度卷积神经网络甲状腺超声图像结节自动诊断系统 |
CN108596915A (zh) * | 2018-04-13 | 2018-09-28 | 深圳市未来媒体技术研究院 | 一种基于无标注数据的医疗图像分割方法 |
CN109978850A (zh) * | 2019-03-21 | 2019-07-05 | 华南理工大学 | 一种多模态医学影像半监督深度学习分割系统 |
Non-Patent Citations (2)
Title |
---|
cC-GAN: A Robust Transfer-Learning Framework for HEp-2 Specimen Image Segmentation;Y. Li,L. Shen;《IEEE Access》;20180223;第6卷;第14048-14058页 * |
图像分割中多尺度CNN方法;汪淼;《万方学位论文》;20190603;第1-62页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110751651A (zh) | 2020-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110751651B (zh) | 基于多尺度迁移学习的mri胰腺图像分割方法 | |
Dou et al. | Pnp-adanet: Plug-and-play adversarial domain adaptation network at unpaired cross-modality cardiac segmentation | |
CN111192245B (zh) | 一种基于U-Net网络的脑肿瘤分割网络及分割方法 | |
CN112489047B (zh) | 一种基于深度学习的盆骨及其动脉血管的多层级分割方法 | |
CN113344951B (zh) | 一种边界感知双重注意力引导的肝段分割方法 | |
CN109598722B (zh) | 基于递归神经网络的图像分析方法 | |
CN107203989A (zh) | 基于全卷积神经网络的端对端胸部ct图像分割方法 | |
CN113506310B (zh) | 医学图像的处理方法、装置、电子设备和存储介质 | |
WO2022213654A1 (zh) | 一种超声图像的分割方法、装置、终端设备和存储介质 | |
Wu et al. | AAR-RT–a system for auto-contouring organs at risk on CT images for radiation therapy planning: principles, design, and large-scale evaluation on head-and-neck and thoracic cancer cases | |
Zeng et al. | Liver segmentation in magnetic resonance imaging via mean shape fitting with fully convolutional neural networks | |
Wang et al. | Sk-unet: An improved u-net model with selective kernel for the segmentation of lge cardiac mr images | |
CN108898578B (zh) | 一种医疗图像的处理方法、装置及计算机存储介质 | |
Zheng et al. | MsVRL: self-supervised multiscale visual representation learning via cross-level consistency for medical image segmentation | |
CN116645380A (zh) | 基于两阶段渐进式信息融合的食管癌ct图像肿瘤区自动分割方法 | |
Li et al. | Automatic quantification of epicardial adipose tissue volume | |
Gao et al. | Multi-resolution path cnn with deep supervision for intervertebral disc localization and segmentation | |
Wang et al. | Automated delineation of nasopharynx gross tumor volume for nasopharyngeal carcinoma by plain CT combining contrast-enhanced CT using deep learning | |
CN115830016A (zh) | 医学图像配准模型训练方法及设备 | |
CN114387282A (zh) | 一种医学影像器官精准自动分割方法及系统 | |
Affane et al. | Robust deep 3-D architectures based on vascular patterns for liver vessel segmentation | |
Liu et al. | Cuts: A framework for multigranular unsupervised medical image segmentation | |
CN110570416B (zh) | 多模态心脏图像的可视化和3d打印的方法 | |
Xiao et al. | PET and CT image fusion of lung cancer with siamese pyramid fusion network | |
Yang et al. | Automatic segmentation of the clinical target volume and organs at risk for rectal cancer radiotherapy using structure-contextual representations based on 3D high-resolution network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |