CN114066798B - 一种基于深度学习的脑肿瘤核磁共振影像数据合成方法 - Google Patents
一种基于深度学习的脑肿瘤核磁共振影像数据合成方法 Download PDFInfo
- Publication number
- CN114066798B CN114066798B CN202010743235.5A CN202010743235A CN114066798B CN 114066798 B CN114066798 B CN 114066798B CN 202010743235 A CN202010743235 A CN 202010743235A CN 114066798 B CN114066798 B CN 114066798B
- Authority
- CN
- China
- Prior art keywords
- discriminator
- brain
- image
- generator
- magnetic resonance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005481 NMR spectroscopy Methods 0.000 title claims abstract description 45
- 208000003174 Brain Neoplasms Diseases 0.000 title claims abstract description 44
- 238000013135 deep learning Methods 0.000 title claims abstract description 29
- 238000001308 synthesis method Methods 0.000 title claims abstract description 25
- 210000004556 brain Anatomy 0.000 claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 34
- 230000006870 function Effects 0.000 claims abstract description 22
- 238000003062 neural network model Methods 0.000 claims abstract description 18
- 238000007781 pre-processing Methods 0.000 claims abstract description 3
- 206010028980 Neoplasm Diseases 0.000 claims description 29
- 238000000034 method Methods 0.000 claims description 15
- 238000010606 normalization Methods 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 230000002194 synthesizing effect Effects 0.000 claims description 8
- 206010030113 Oedema Diseases 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 230000003595 spectral effect Effects 0.000 claims description 6
- 238000001228 spectrum Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 230000001338 necrotic effect Effects 0.000 claims description 4
- 241000282376 Panthera tigris Species 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000002131 composite material Substances 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 230000017074 necrotic cell death Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 210000003625 skull Anatomy 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 description 11
- 230000000875 corresponding effect Effects 0.000 description 9
- 230000011218 segmentation Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 239000000872 buffer Substances 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 230000007170 pathology Effects 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 230000008485 antagonism Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000000293 three-dimensional nuclear magnetic resonance spectroscopy Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- JXSJBGJIGXNWCI-UHFFFAOYSA-N diethyl 2-[(dimethoxyphosphorothioyl)thio]succinate Chemical compound CCOC(=O)CC(SP(=S)(OC)OC)C(=O)OCC JXSJBGJIGXNWCI-UHFFFAOYSA-N 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Radiology & Medical Imaging (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Quality & Reliability (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明提供一种基于深度学习的脑肿瘤核磁共振影像数据合成方法，其特征在于，包括如下步骤：步骤S1，对收集到的样本图像进行预处理从而消除由于数据来源不同而导致的差异；步骤S2，在与每一个病人相对应的样本图像中标注出脑部的四个区域从而获得标签图，并将获得的标签图作为训练集；步骤S3，构建生成器的神经网络模型；步骤S4，构建鉴别器的神经网络模型以及用于缓存合成图像的图像池；步骤S5，构建损失函数；步骤S6，利用所述训练集对与特定模态相对应的生成器和鉴别器进行模型训练，通过向训练完成后的生成器和鉴别器输入三维的脑部标签图，可以合成对应的脑部核磁共振影像。
Description
技术领域
本发明属于医疗影像技术领域，涉及一种基于深度学习的脑肿瘤核磁共振影像数据合成方法。
背景技术
脑肿瘤的定量评估是脑肿瘤诊断程序的重要部分，为脑肿瘤诊断提供了各种有价值的信息。其中，图像自动分割可以通过例如确定子区域的体积等方式，更快、更客观、更准确地描述相关肿瘤参数。然而，由于缺少高质量的训练样本，目前基于机器学习的自动分割的算法仍具有很多缺陷。
类别不平衡或变异性不足的数据会导致机器学习算法性能降低。而在图像分割任务中，手动注释三维体素数据每次需要超过十五分钟，效率非常低，这使得它在繁忙的放射学实践中不切实际。虽然传统的数据增强技术(例如，裁剪，平移，旋转)可以减轻其中一些问题，但它们会产生了高度相关的图像训练样本，导致数据的不平衡性加剧。
现有技术中，提出了一种由粗到细边界感知生成对抗网络，网络中的粗化生成器旨在以较低分辨率从二维标签图绘制多种模态下二维的脑肿瘤核磁共振影像的原始形状和纹理，多重任务生成器旨在校正粗化生成器完成的低分辨率核磁共振影像的缺陷，并保留完整肿瘤的边界。但该方法仅适用于二维核磁共振数据的合成，缺乏全局的三维脑部信息。
另外还有人提出了通过三个对抗生成网络实现了对三维核磁共振脑肿瘤数据的定制化合成和分割，其系统中的三个对抗生成网络分别实现脑部核磁共振影像到脑部各区域标签图，带有肿瘤的脑部各区域标签图到脑部核磁共振影像，脑部核磁共振影像到脑肿瘤分割结果的转换。但其模型训练过程繁琐，且其合成和分割的结果的质量不高。
发明内容
为解决上述问题，提供一种基于深度学习的脑肿瘤核磁共振影像数据合成方法，以获得高质量的具有标签的三维核磁共振影像数据，本发明采用了如下技术方案：
本发明提供了一种基于深度学习的脑肿瘤核磁共振影像数据合成方法，其特征在于，包括如下步骤：步骤S1，收集患有脑肿瘤的病人的多模态的脑部核磁共振影像作为样本图像，并对收集到的所述样本图像进行预处理从而消除由于数据来源不同而导致的差异；步骤S2，在与每一个病人相对应的所述样本图像中标注出脑部的四个区域从而获得标签图，并将获得的标签图作为训练集，所述四个区域包括GD增强肿瘤区域、肿瘤周围水肿区域、坏死和非增强肿瘤核心区域以及其他脑部区域；步骤S3，构建生成器的神经网络模型，用于合成所述样本图像获得合成图像；步骤S4，构建用于鉴别所述合成图像真假的鉴别器的神经网络模型以及用于缓存所述合成图像的图像池；步骤S5，构建损失函数；步骤S6，利用所述训练集对与特定模态相对应的所述生成器和所述鉴别器进行模型训练，从而获得训练完成后的所述生成器和所述鉴别器，通过向训练完成后的所述生成器和所述鉴别器输入三维的脑部标签图，可以合成对应的脑部核磁共振影像。
本发明提供的一种基于深度学习的脑肿瘤核磁共振影像数据合成方法，其特征在于，所述步骤S1的具体过程如下：对所述样本图像进行归一化处理，去除所述样本图像中的颅骨，进一步通过差值将所有所述样本图像的分辨率进行统一并与标准的解剖模板对齐。
本发明提供的一种基于深度学习的脑肿瘤核磁共振影像数据合成方法，其特征在于，所述步骤S2的具体过程如下：将所述坏死和非增强肿瘤核心区域标注为1，将所述肿瘤周围水肿区域标注为2，将所述其他脑部区域标注为3，将所述GD增强肿瘤区域标注为4。
本发明提供的一种基于深度学习的脑肿瘤核磁共振影像数据合成方法，还可以具有这样的特征，其中，所述生成器神经网络模型为一个包含3次下采样和3次上采样的Unet3d网络的变体，
在所述Unet3d网络的每一个三维卷积层后添加谱归一化层，所述上采样使用三重线性插值算法和双曲正切函数作为激活函数，此外其他层均使用带泄露修正线性单元函数(leakyReLU)函数，所述三维卷积层的核大小为3*3*3，步长为1，最大池化层的核大小为2*2*2，步长为2，
在第一次进行所述上采样后，所述三维卷积层将通道数扩展为16，进一步在每次进行所述下采样时后续的所述三维卷积层将通道数翻倍，同时在每次进行所述上采样时后续的所述三维卷积层将通道数减半。
本发明提供的一种基于深度学习的脑肿瘤核磁共振影像数据合成方法，还可以具有这样的特征，其中，所述鉴别器由一个模块一、三个模块二以及一个模块三级联，
所述模块一具有第一卷积层、第一谱归一化层以及第一leakyReLU激活层，
所述模块二具有第二卷积层、第二谱归一化层、实例正则化层以及第二leakyReLU激活层，
所述模块三具有第三卷积层以及第三谱归一化层，
所述第一卷积层、所述第二卷积层以及所述第三卷积层的卷积核大小均为3*3*3，所述第一卷积层的步长为2，输出通道数为32，位于所述鉴别器的最上层的所述第二卷积层的步长为2，输出通道数为64，剩余两个索虎第二卷积层的步长为1，输出通道数是输入通道数的两倍，所述第三卷积层的步长为1，输出通道数为1。
本发明提供的一种基于深度学习的脑肿瘤核磁共振影像数据合成方法，还可以具有这样的特征，其中，所述图像池用于缓存至多4个所述合成图像。
本发明提供的一种基于深度学习的脑肿瘤核磁共振影像数据合成方法，还可以具有这样的特征，其中，所述损失函数使用LSGAN数，鉴别器单元损失函数的计算公式如下：
式中，D和G分别表示所述鉴别器和所述生成器，x和y分别所述标签图和所述样本图像，w、d和h是判别器最终输出的体素的宽度，深度和长度，a、b和c分别为0，1和1的维度为w×d×h的矩阵。
本发明提供的一种基于深度学习的脑肿瘤核磁共振影像数据合成方法，其特征在于，所述步骤S6的具体过程如下：利用反向传播的算法对所述生成器的神经网络模型和所述鉴别器的神经网络模型中的参数进行优化，每优化完一侧所述生成器后，就对所述鉴别器进行一次优化，当对所述鉴别器进行优化时，所述生成器当前生成的所述合成图像存储到所述图像池中同时在所述图像池中随机挑选一个缓存图像作为鉴别器的输入。
发明作用与效果
根据本发明的基于深度学习的脑肿瘤核磁共振影像数据合成方法，通过医院搜集到的患有肿瘤患者的脑部核磁共振扫描结果，并对脑肿瘤的各区域进行标注，构建起训练集。利用该训练集训练出对抗生成神经网络模型，这一模型可以针对不同模态的三维脑部核磁共振影像，通过向其输入特定模态下包含肿瘤的三维脑部标签图的方式来获取与标签图对应三维核磁共振影像，从而生成出全新的具有标签的三维核磁共振影像数据。这些生成出的新数据不仅符合病理，而且和其标签图对应良好，因此结果更加真实，符合病理，且可通过修改其输入标签来操纵结果。
附图说明
图1是本发明实施例的基于深度学习的脑肿瘤核磁共振影像数据合成方法的流程图；
图2是本发明实施例的生成器结构示意图；
图3是本发明实施例的鉴别器结构示意图。
图4是本发明实施例的基于深度学习的脑肿瘤核磁共振影像数据合成的系统结构图；
具体实施方式
以下结合附图以及实施例来说明本发明的具体实施方式。
<实施例>
图1是本发明实施例的基于深度学习的脑肿瘤核磁共振影像数据合成方法的流程图。
如图1所示，本实施例提供一种基于深度学习的脑肿瘤核磁共振影像数据合成方法，用于获取具有标签的三维核磁共振影像数据，包括如下步骤：
步骤S1，收集患有脑肿瘤的病人在T1，T1ce，T2，Flair四种模态的脑部核磁共振影像作为样本图像，并对收集到的样本图像进行预处理从而消除由于数据来源不同而导致的差异。
对样本图像进行归一化处理，去除样本图像中的颅骨，进一步通过差值将所有样本图像的分辨率进行统一并与标准的解剖模板对齐。
步骤S2，在与每一个病人相对应的样本图像中标注出脑部的四个区域从而获得标签图，并将获得的标签图作为训练集，四个区域包括GD增强肿瘤区域、肿瘤周围水肿区域、坏死和非增强肿瘤核心区域以及其他脑部区域。
将坏死和非增强肿瘤核心区域标注为1，将肿瘤周围水肿区域标注为2，将其他脑部区域标注为3，将GD增强肿瘤区域标注为4。
步骤S3，构建生成器的神经网络模型，用于合成样本图像获得合成图像。
图2是本发明实施例的对抗生成神经网络中生成器结构示意图。
如图2所示，生成器神经网络模型为一个包含3次下采样和3次上采样的Unet3d网络的变体，
在Unet3d网络的每一个三维卷积层后添加谱归一化层，上采样使用三重线性插值算法和双曲正切函数作为激活函数，此外其他层均使用带泄露修正线性单元函数(leakyReLU)函数，三维卷积层的核大小为3*3*3，步长为1，最大池化层的核大小为2*2*2，步长为2，
在第一次进行上采样后，三维卷积层将通道数扩展为16，进一步在每次进行下采样时后续的三维卷积层将通道数翻倍，同时在每次进行上采样时后续的三维卷积层将通道数减半。
步骤S4，构建用于鉴别合成图像真假的鉴别器的神经网络模型以及用于缓存合成图像的图像池。
图3是本发明实施例的对抗生成神经网络中鉴别器结构示意图。
鉴别器由一个模块一、三个模块二以及一个模块三级联，
模块一具有第一卷积层、第一谱归一化层以及第一leakyReLU激活层，
模块二具有第二卷积层、第二谱归一化层、实例正则化层以及第二leakyReLU激活层，
模块三具有第三卷积层以及第三谱归一化层，
第一卷积层、第二卷积层以及第三卷积层的卷积核大小均为3*3*3，第一卷积层的步长为2，输出通道数为32，位于鉴别器的最上层的第二卷积层的步长为2，输出通道数为64，剩余两个索虎第二卷积层的步长为1，输出通道数是输入通道数的两倍，第三卷积层的步长为1，输出通道数为1。
图像池用于缓存至多4个合成图像。
步骤S5，构建损失函数。
损失函数使用LSGAN数，鉴别器单元损失函数的计算公式如下：
式中，D和G分别表示鉴别器和生成器，x和y分别标签图和样本图像，w、d和h是判别器最终输出的体素的宽度，深度和长度，a、b和c分别为0，1和1的维度为w×d×h的矩阵。
步骤S6，利用所述训练集对与特定模态相对应的生成器和鉴别器进行模型训练，从而获得训练完成后的生成器和鉴别器，通过向训练完成后的生成器和鉴别器输入三维的脑部标签图，可以合成对应的脑部核磁共振影像。
利用反向传播的算法对生成器的神经网络模型和鉴别器的神经网络模型中的参数进行优化，每优化完一侧生成器后，就对鉴别器进行一次优化，
当对鉴别器进行优化时，生成器当前生成的合成图像存储到图像池中同时在图像池中随机挑选一个缓存图像作为鉴别器的输入。
本实施例中，采用从属于反向传播算法的Adam优化器对生成器和鉴别器进行模型训练，对于生成器初始学习率lr＝0.0004，系数betas＝(0.0,0.9)；对于判别器初始学习率lr＝0.0001，系数betas＝(0.0,0.9)。网络先训练100轮，之后100轮按固定步长衰减学习率直至0.0。
本实施例中，使用BraTS 2017数据集中的训练集285个病例进行训练，训练完成之后通过修改训练集中的标签图生成出一个包含855个病例的数据集。用这个数据集和BraTS2017的训练集一起训练一个Unet3d网络变体。使用BraTS2017的包含46个病例的验证集进行测试，测试结果相较于用BraTS 2017训练集训练的Unet3d分割模型，平均的Dice系数至多可提升0.16。
图4是本发明实施例的基于深度学习的脑肿瘤核磁共振影像数据合成的系统结构图。
如图4所示，本实施例提供一种基于深度学习的脑肿瘤核磁共振影像数据合成的系统100包括肿瘤的脑部各区域标签图数据101，计算设备110和存储设备191。
脑部各区域标签图数据101可以是在已有的三维标签上修改得到或其他方法合成出来的。标签图数据101还可以是除包含GD增强肿瘤，肿瘤周围水肿，坏死和非增强肿瘤核心和其他脑部区域四种标签之外的脑部区域标签图。
计算设备110是处理标签图数据101的计算设备，主要包括计算机处理器120，内存130。处理器120是一个用于计算设备110的硬件处理器，如中央处理器CPU，图形计算处理器。
内存130是一个非易失的存储设备，用于储存计算机代码用于处理器120的计算过程，同时，内存130也会存储各类中间数据、及参数。内存130包括脑肿瘤核磁共振影像数据集135及图像缓存池模块144、可执行代码140。
脑肿瘤核磁共振影像数据集135包含搜集好并经过预处理后的患有脑肿瘤的患者的多种模态下的核磁共振影像作为样本图像以及由专业人员对其脑部各区域进行标注得到的标签图。
可执行代码140包括两个软件模块：生成器神经网络模块141和鉴别器神经网络模块143。生成器神经网络模块141将根据输入计算设备110的标签图生成出与之对应的核磁共振影像。
图像缓存池模块144将缓存之前生成器神经网络模块141生成出来的样本，并随机地替换当前生成器神经网络模块141生成出来的样本。
鉴别器神经网络模块143将对由生成器神经网络模块141生成出的核磁共振影像，图像缓存池模块144中的样本以及包括脑肿瘤核磁共振影像数据集135中的真实样本进行鉴定，并计算损失函数，通过反向传播算法对生成器神经网络模块141和鉴别器神经网络模块143的参数进行优化。
存储设备191是用于储存根据输入标签图101合成出的合成样本195的设备，通常为磁盘。
实施例作用与效果
本实施例提供的基于深度学习的脑肿瘤核磁共振影像数据合成方法，通过医院搜集到的患有肿瘤患者的脑部核磁共振扫描结果，并对脑肿瘤的各区域进行标注，构建起训练集。利用该训练集训练出针对不同模态的三维脑部核磁共振影像，通过向其输入特定模态下包含肿瘤的三维脑部标签图的方式来获取与标签图对应三维核磁共振影像，从而生成出全新的具有标签的三维核磁共振影像数据。这些生成出的新数据不仅符合病理，而且和其标签图对应良好，因此结果更加真实，符合病理，且可通过修改其输入标签来操纵结果。
本实施例提供的基于深度学习的脑肿瘤核磁共振影像数据合成方法，可以通过输入不同的标签图生成出新的数据，用作自动分割算法的训练数据，帮助解决其面临的数据缺乏和类不平衡问题。
本实施例提供的基于深度学习的脑肿瘤核磁共振影像数据合成方法，使用该方法生成出来的数据与原数据截然不同，无法从生成的结果之上获取到病人的信息。因此该方法可以用来作为数据匿名工具，使用它生成出的数据不会造成隐私泄露，可以更容易地被分享。
上述实施例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实施例的描述范围。
Claims (6)
1.一种基于深度学习的脑肿瘤核磁共振影像数据合成方法，用于获取具有标签的三维核磁共振影像数据，其特征在于，包括如下步骤：
步骤S1，收集患有脑肿瘤的病人的多模态的脑部核磁共振影像作为样本图像，并对收集到的所述样本图像进行预处理从而消除由于数据来源不同而导致的差异；
步骤S2，在与每一个病人相对应的所述样本图像中标注出脑部的四个区域从而获得标签图，并将获得的所述标签图作为训练集，所述四个区域包括GD增强肿瘤区域、肿瘤周围水肿区域、坏死和非增强肿瘤核心区域以及其他脑部区域；
步骤S3，构建生成器的神经网络模型，用于合成所述样本图像获得合成图像；
步骤S4，构建用于鉴别所述合成图像真假的鉴别器的神经网络模型以及用于缓存所述合成图像的图像池；
步骤S5，构建损失函数；
步骤S6，利用所述训练集对与特定模态相对应的所述生成器和所述鉴别器进行模型训练，从而获得训练完成后的所述生成器和所述鉴别器，通过向训练完成后的所述生成器和所述鉴别器输入三维的脑部标签图，可以合成对应的脑部核磁共振影像，
其中，所述生成器的神经网络模型为一个包含3次下采样和3次上采样的Unet3d网络的变体，
在所述Unet3d网络的每一个三维卷积层后添加谱归一化层，所述上采样使用三重线性插值算法和双曲正切函数作为激活函数，此外其他层均使用带泄露修正线性单元函数，所述三维卷积层的核大小为3*3*3，步长为1，最大池化层的核大小为2*2*2，步长为2，
在第一次进行所述上采样后，所述三维卷积层将通道数扩展为16，进一步在每次进行所述下采样时后续的所述三维卷积层将通道数翻倍，同时在每次进行所述上采样时后续的所述三维卷积层将通道数减半，
所述鉴别器由一个模块一、三个模块二以及一个模块三级联，
所述模块一具有第一卷积层、第一谱归一化层以及第一leakyReLU激活层，
所述模块二具有第二卷积层、第二谱归一化层、实例正则化层以及第二leakyReLU激活层，
所述模块三具有第三卷积层以及第三谱归一化层，
所述第一卷积层、所述第二卷积层以及所述第三卷积层的卷积核大小均为3*3*3，所述第一卷积层的步长为2，输出通道数为32，位于所述鉴别器的最上层的所述第二卷积层的步长为2，输出通道数为64，剩余两个索虎第二卷积层的步长为1，输出通道数是输入通道数的两倍，所述第三卷积层的步长为1，输出通道数为1。
2.根据权利要求1所述的基于深度学习的脑肿瘤核磁共振影像数据合成方法，其特征在于，所述步骤S1的具体过程如下：
对所述样本图像进行归一化处理，去除所述样本图像中的颅骨，进一步通过差值将所有所述样本图像的分辨率进行统一并与标准的解剖模板对齐。
3.根据权利要求1所述的基于深度学习的脑肿瘤核磁共振影像数据合成方法，其特征在于，所述步骤S2的具体过程如下：
将所述坏死和非增强肿瘤核心区域标注为1，将所述肿瘤周围水肿区域标注为2，将所述其他脑部区域标注为3，将所述GD增强肿瘤区域标注为4。
4.根据权利要求1所述的基于深度学习的脑肿瘤核磁共振影像数据合成方法，其特征在于：
其中，所述图像池用于缓存至多4个所述合成图像。
5.根据权利要求1所述的基于深度学习的脑肿瘤核磁共振影像数据合成方法，其特征在于：
其中，所述损失函数使用LSGAN数，鉴别器单元损失函数的计算公式如下：
式中，D和G分别表示所述鉴别器和所述生成器，x和y分别所述标签图和所述样本图像，w、d和h是判别器最终输出的体素的宽度，深度和长度，a、b和c分别为0，1和1的维度为w×d×h的矩阵。
6.根据权利要求1所述的基于深度学习的脑肿瘤核磁共振影像数据合成方法，其特征在于，所述步骤S6的具体过程如下：
利用反向传播的算法对所述生成器的神经网络模型和所述鉴别器的神经网络模型中的参数进行优化，每优化完一侧所述生成器后，就对所述鉴别器进行一次优化，
当对所述鉴别器进行优化时，所述生成器当前生成的所述合成图像存储到所述图像池中同时在所述图像池中随机挑选一个缓存图像作为鉴别器的输入。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010743235.5A CN114066798B (zh) | 2020-07-29 | 2020-07-29 | 一种基于深度学习的脑肿瘤核磁共振影像数据合成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010743235.5A CN114066798B (zh) | 2020-07-29 | 2020-07-29 | 一种基于深度学习的脑肿瘤核磁共振影像数据合成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114066798A CN114066798A (zh) | 2022-02-18 |
| CN114066798B true CN114066798B (zh) | 2024-05-14 |
Family
ID=80226731
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010743235.5A Active CN114066798B (zh) | 2020-07-29 | 2020-07-29 | 一种基于深度学习的脑肿瘤核磁共振影像数据合成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114066798B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114782443A (zh) * | 2022-06-22 | 2022-07-22 | 深圳科亚医疗科技有限公司 | 基于数据增强的动脉瘤风险评估的装置和存储介质 |
| CN115512182B (zh) * | 2022-09-26 | 2023-07-04 | 中国人民解放军总医院第一医学中心 | 一种基于聚焦学习的ct血管造影智能成像方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018082084A1 (zh) * | 2016-11-07 | 2018-05-11 | 中国科学院自动化研究所 | 融合全卷积神经网络和条件随机场的脑肿瘤自动分割方法 |
| CN108062753A (zh) * | 2017-12-29 | 2018-05-22 | 重庆理工大学 | 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法 |
| CN110120033A (zh) * | 2019-04-12 | 2019-08-13 | 天津大学 | 基于改进的U-Net神经网络三维脑肿瘤图像分割方法 |
-
2020
- 2020-07-29 CN CN202010743235.5A patent/CN114066798B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018082084A1 (zh) * | 2016-11-07 | 2018-05-11 | 中国科学院自动化研究所 | 融合全卷积神经网络和条件随机场的脑肿瘤自动分割方法 |
| CN108062753A (zh) * | 2017-12-29 | 2018-05-22 | 重庆理工大学 | 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法 |
| CN110120033A (zh) * | 2019-04-12 | 2019-08-13 | 天津大学 | 基于改进的U-Net神经网络三维脑肿瘤图像分割方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于多通路CNN的多模态MRI神经胶质瘤分割;朱婷;王瑜;肖洪兵;曹利红;;计算机应用与软件;20180430(第04期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114066798A (zh) | 2022-02-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10769791B2 (en) | Systems and methods for cross-modality image segmentation | |
| CN108022238B (zh) | 对3d图像中对象进行检测的方法、计算机存储介质和系统 | |
| US11430140B2 (en) | Medical image generation, localizaton, registration system | |
| CN109754394B (zh) | 三维医学图像处理装置及方法 | |
| US10733788B2 (en) | Deep reinforcement learning for recursive segmentation | |
| US9361686B2 (en) | Method and apparatus for the assessment of medical images | |
| CN111260705B (zh) | 一种基于深度卷积神经网络的前列腺mr图像多任务配准方法 | |
| CN111047605B (zh) | 一种脊椎ct分割网络模型的构建方法及分割方法 | |
| CN112529834A (zh) | 病理图像模式在3d图像数据中的空间分布 | |
| CN114066798B (zh) | 一种基于深度学习的脑肿瘤核磁共振影像数据合成方法 | |
| CN111696126B (zh) | 一种基于多视角的多任务肝脏肿瘤图像分割方法 | |
| CN109447963A (zh) | 一种脑部影像识别的方法及装置 | |
| US10964074B2 (en) | System for harmonizing medical image presentation | |
| Lu et al. | Two-stage self-supervised cycle-consistency transformer network for reducing slice gap in MR images | |
| CN115984257A (zh) | 一种基于多尺度transformer的多模态医学图像融合方法 | |
| CN113379770B (zh) | 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置 | |
| CN111612762B (zh) | Mri脑肿瘤图像生成方法及系统 | |
| Mani | Deep learning models for semantic multi-modal medical image segmentation | |
| CN111080572B (zh) | 白质高信号定位方法、装置、设备和存储介质 | |
| Zhao et al. | MRI-trans-GAN: 3d MRI cross-modality translation | |
| Liu et al. | Progressive residual learning with memory upgrade for ultrasound image blind super-resolution | |
| CN115148341B (zh) | 一种基于体位识别的ai结构勾画方法及系统 | |
| Li | Computer generative method on brain tumor segmentation in MRI images | |
| US11282193B2 (en) | Systems and methods for tumor characterization | |
| CN115330828A (zh) | 一种自由式三维超声中目标区域自动重建的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |