CN113870279A - 多模态脑肿瘤图像分割系统及方法 - Google Patents
多模态脑肿瘤图像分割系统及方法 Download PDFInfo
- Publication number
- CN113870279A CN113870279A CN202111021342.8A CN202111021342A CN113870279A CN 113870279 A CN113870279 A CN 113870279A CN 202111021342 A CN202111021342 A CN 202111021342A CN 113870279 A CN113870279 A CN 113870279A
- Authority
- CN
- China
- Prior art keywords
- brain tumor
- image segmentation
- network
- tumor image
- modal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 208000003174 Brain Neoplasms Diseases 0.000 title claims abstract description 77
- 238000003709 image segmentation Methods 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000012549 training Methods 0.000 claims abstract description 58
- 238000013528 artificial neural network Methods 0.000 claims abstract description 17
- 230000000306 recurrent effect Effects 0.000 claims abstract description 13
- 230000003042 antagnostic effect Effects 0.000 claims abstract description 8
- 230000011218 segmentation Effects 0.000 claims description 44
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 11
- 206010028980 Neoplasm Diseases 0.000 description 10
- 238000002595 magnetic resonance imaging Methods 0.000 description 9
- 238000009826 distribution Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 238000002372 labelling Methods 0.000 description 6
- 238000010276 construction Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 3
- 230000001737 promoting effect Effects 0.000 description 3
- JXSJBGJIGXNWCI-UHFFFAOYSA-N diethyl 2-[(dimethoxyphosphorothioyl)thio]succinate Chemical compound CCOC(=O)CC(SP(=S)(OC)OC)C(=O)OCC JXSJBGJIGXNWCI-UHFFFAOYSA-N 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 208000029824 high grade glioma Diseases 0.000 description 2
- 208000030173 low grade glioma Diseases 0.000 description 2
- 201000011614 malignant glioma Diseases 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 239000003005 anticarcinogenic agent Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 201000007983 brain glioma Diseases 0.000 description 1
- 210000003169 central nervous system Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度卷积生成对抗网络的多模态脑肿瘤图像分割系统及方法，包括以下步骤：数据获取模块，用于获取待分割多模态脑部肿瘤图像；图像分割模块，用于采用脑部肿瘤图像分割模型进行图像分割；其中，所述脑部肿瘤图像分割模型基于深度卷积生成式对抗网络预先训练得到；所述深度卷积生成式对抗网络包括生成器和鉴别器，所述生成器以全卷积网络为基础，在输出层后连接附加层，所述附加层为循环神经网络，所述循环神经网络的每一层表示条件随机场的一个步骤。本发明可用于训练的标注图像非常少的情况下分割多模态脑部肿瘤图像的问题。
Description
技术领域
本发明属于医学图像处理技术领域，尤其涉及一种基于深度卷积生成对抗网络的多模态脑肿瘤图像分割系统及方法。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
脑部胶质瘤是最常见的原发性中枢神经系统恶性肿瘤，包含多个亚区，并且肿瘤区域的形状和位置差异很大。脑肿瘤磁共振成像(Magnetic Resonance Imaging，MRI)中脑肿瘤目标结构复杂、形状多变、图像灰度不均匀以及在不同的患者身上表现出相当大的差异性，并且，图像采集方法在其设置和几何形状以及硬件差异方面可能产生肿瘤外观变化，这些均带来了图像分割的难度。
尽管可以采用卷积神经网络(Convolutional neural network，CNN)执行图像分割，具体而言，基于特征对图像体素进行分类，获得堆叠特征并产生分割结果。然而，由于图像中的每个像素几乎是相互独立预测的，加之脑肿瘤的出现不可预测，且MRI的强度并不均匀，因此，基于CNN方法的分割结果总是边界粗糙，对肿瘤子区域的细节表现不佳。此外，CNN的训练过程需要大量的手工标注数据，但是，MRI脑肿瘤图像靶区勾画耗时耗力，常常受到主观差异的影响，而缺少大量手工标注数据的情况下难以实现快速准确的分割结果。
发明内容
为克服上述现有技术的不足，本发明提供了一种基于深度卷积生成对抗网络的多模态脑肿瘤图像分割系统及方法，利用多模态脑肿瘤图像分割模型对采集的图像样本进行特征提取和训练，并利用训练好的模型实现快速准确的多模态脑肿瘤图像分割。
为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
一种基于深度卷积生成对抗网络的多模态脑肿瘤图像分割系统，包括以下步骤：
数据获取模块，用于获取待分割多模态脑部肿瘤图像；
图像分割模块，用于采用脑部肿瘤图像分割模型进行图像分割；
其中，所述脑部肿瘤图像分割模型基于深度卷积生成式对抗网络预先训练得到；所述深度卷积生成式对抗网络包括生成器和鉴别器，所述生成器以全卷积网络为基础，在输出层后连接附加层，所述附加层为循环神经网络，所述循环神经网络的每一层表示条件随机场的一个步骤。
进一步地，所述脑部肿瘤图像分割模型的训练方法包括：
获取多模态脑部肿瘤样本作为训练集，所述训练集中的样本均进行了手工标注；
将训练集作为输入，基于深度卷积生成式对抗网络进行训练得到脑部肿瘤图像分割模型。
进一步地，获取多模态脑部肿瘤样本后，还进行预处理：
对所述多模态脑部肿瘤样本进行标准化处理标准化；
将样本图像进行裁剪，调整所需分割区域大小；
对各模态数据进行切片，并抛弃无病灶切片，最后合并成多通道数据并保存。
进一步地，所述生成器的训练方法包括：
将训练集作为输入，基于全卷积网络进行训练，得到初始模型参数；
基于初始模型参数，基于添加附加层的全卷积神经网络重新进行训练，得到生成器。
进一步地，所述鉴别器包括多层卷积神经网络。
进一步地，所述深度卷积生成式对抗网络的架构为：
首先基于生成器和鉴别器组成基本的生成对抗网络，然后在所有卷积网络中使用卷积和去卷积代替池化层，并且，在生成器和鉴别器中均添加批量归一化操作；卷积后使用全局池化层替代全连接层。
进一步地，所述全卷积神经网络为U-net网络。
一个或多个实施例提供了一种基于深度卷积生成对抗网络的多模态脑肿瘤图像分割方法，包括以下步骤：
获取待分割脑部肿瘤图像；
采用脑部肿瘤图像分割模型进行图像分割；
其中，所述脑部肿瘤图像分割模型基于深度卷积生成式对抗网络预先训练得到；所述深度卷积生成式对抗网络包括生成器和鉴别器，所述生成器以全卷积网络为基础，在输出层后连接附加层，所述附加层为循环神经网络，所述循环神经网络的每一层表示条件随机场的一个步骤。
一个或多个实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的多模态脑肿瘤图像分割方法。
一个或多个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的多模态脑肿瘤图像分割方法。
以上一个或多个技术方案存在以下有益效果：
通过采用深度卷积的生成对抗网络作为网络的主体结构，由于深度卷积生成对抗网络具有良好的生成能力，可以使用有限数量的训练数据生成大量高质量的分割结果，有效解决传统分割网络在脑肿瘤标注数据非常少的情况下难以进行准确分割的问题。并且，采用对抗学习的方法对模型进行训练，在生成新的数据样本的同时估计数据样本的潜在分布，有效解决不同脑肿瘤图像存在较大差异性的问题。
在生成分割结果的生成器网络中，采用U-net网络和条件随机场进行组合，利用经典的U-net网络实现特征提取，并将提取的图像像素特征提供给条件随机场进行上下文建模和局部精确定位，增强脑肿瘤图像分割结果输出标签的空间连续性，有效解决因脑肿瘤形状复杂多变产生的分割结果边界粗糙的问题。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例中基于深度卷积生成对抗网络的多模态脑肿瘤图像分割方法流程图；
图2为本发明实施例中基于深度卷积生成对抗网络的分割模型训练方法流程图；
图3为本发明实施例中生成器训练方法流程图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
生成对抗算法可以很好的解决标注图像非常少的情况下分割多模态脑部肿瘤图像的问题。生成式对抗网络的基本思想来源于博弈论中的二人零和博弈，它由一个生成器和一个鉴别器组成。采用对抗学习的方法对其进行训练，以估计数据样本的潜在分布并生成新的数据样本。由于其良好的生成能力和善于捕捉数据分布的特点，有效地提高了肿瘤分割的准确性。
实施例一
本实施例公开了一种基于深度卷积生成对抗网络的多模态脑肿瘤图像分割方法，如图1所示，包括以下步骤：
步骤1：获取待分割多模态脑部肿瘤图像；
本实施例中，脑部肿瘤图像为MRI图像，当然，也可以其他类型的医学图像，在此不做限定。
步骤2：采用脑部肿瘤图像分割模型进行图像分割；其中，所述脑部肿瘤图像分割模型基于深度卷积生成式对抗网络预先训练得到。
具体地，结合图2，所述脑部肿瘤图像分割模型的训练方法如下：
S1：采集多模态脑部肿瘤MRI样本，将所有样本分为训练集与测试集，对训练集样本进行手工标注，并对两个数据集样本进行标准化预处理；
S2：构建以深度卷积生成式对抗网络(Deep Convolutional GAN，DCGAN)为基础的生成对抗算法，输入训练集样本进行训练；
S3：将测试集样本输入训练好的生成对抗网络中，得到最终分割模型。
所述步骤S1包括以下步骤：
S11：将采集到的多模态脑部肿瘤MRI样本按一定比例划分为训练集和测试集；
S12：对划分好的训练集样本进行手工标注，得到真实分割图；
S13：对训练集样本和测试集样本进行标准化预处理。
所述步骤S13包括以下步骤：
S131：采用z-score方式来对样本数据中每个模态图像分别进行标准化；
S132：将样本图像进行裁剪，调整所需分割区域大小；
S133：对各模态数据进行切片，并抛弃无病灶切片，最后合并成多通道数据并保存。
所述步骤S2包括以下步骤：
S21：构建以U-net为基础的分割网络作为生成器(Generator，G)，生成训练集样本相应分割图像；
S22：构建以CNN为基础的鉴别网络作为鉴别器(Discriminator，D)，同时输入训练集样本的真实分割图以及G生成的生成分割图，得到鉴别结果“真”或“假”；
S23：构建以DCGAN为基础的生成对抗网络；
S24：将未标注的原始训练集样本作为D的额外输入信息，指导数据鉴别过程，促进D优化自身以正确区分真实/生成分割结果；
S25：加入对抗性损失函数，将D的鉴别结果反馈到G，促使G根据鉴别结果对自身进行优化，尝试生成与手工标注的分割图非常相似的分割结果，从而试图欺骗D。
所述步骤S21中以U-net为基础的分割网络结构如下：
使用完全卷积的编码器-解码器结构构建U-net网络；使用卷积核为4×4、步长为2的卷积层进行下采样，使用卷积核为3×3、步长为1的卷积层进行上采样；输出层使用Tanh作为激活函数，其它层使用Relu作为激活函数；在编码器与解码器相应层之间添加跳跃连接，完成U-net网络构建；在输出层后，以循环神经网络(RNN)的形式添加一个条件随机场(Conditional random field，CRF)算法作为U-net网络的附加层，并使其具有可训练性，完成G的构建。
具体地，条件随机场算法的每一次迭代包括信息传递、滤波结果加权相加，类别兼容转换、加入数据项、归一化五个步骤，将迭代过程的每一步作为一个子层进行程序编写，所有子层叠加并进行迭代训练，并在Tensorflow平台中进行实现，即可构成一个循环神经网络形式的条件随机场，即CRF-RNN层。
该附加层程序可作为U-net的后处理程序，对U-net输出的分割结果图进行细节恢复，以提高分割结果的精确度。使用构建的U-net网络进行特征训练，固定好网络权重后，在U-net网络程序中加入编写好的CRF-RNN程序，对新的网络进行训练，使其具有可训练性，完成模型的更新。由于脑肿瘤结构复杂、形状多变，传统的分割方法难以准确捕捉肿瘤形状的变形，而条件随机场可以增强输出标签的空间连续性，对预测像素进行局部精确定位，从而帮助产生平滑准确的脑肿瘤图像分割结果。
其中，CRF是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型，其特点是假设输出随机变量构成马尔可夫随机场。CRF主要用于增强输出标签空间连续性，以完全连通的CRF作为U-net的后处理程序来提高分割网络的性能，更好的完成输出分割结果图中的细节恢复。
设X与Y是随机变量，P(Y|X)是在给定X的条件下Y的条件概率分布。若随机变量Y构成一个由无向图G＝(V，E)表示的马尔可夫随机场，即：
P(Yv|X，Yw，w≠v)＝P(Yv|X，Yw，w～v)
对任意结点v成立，则称条件概率分布P(Y|X)为条件随机场。
如图3所示，所述生成器的训练过程如下：
首先使用构建好的U-net网络训练特征，训练好所有特征后，插入自定义CRF-RNN层。然后重新训练网络，并使用新模型进行推理。
所述步骤S22中以CNN为基础的鉴别网络结构如下：
使用三个卷积核为3×3、步长为2的卷积层构成多层CNN；所有层使用LeakyRelu激活函数，完成D的构建。
所述步骤S23中以DCGAN为基础的生成对抗网络的结构如下：
利用所述步骤S21中构建的G以及所述步骤S22中构建的D组成基本的生成式对抗网络结构；在所有卷积网络中使用卷积和去卷积代替池化层；在上述G和D中添加批量归一化操作；卷积后使用全局池化层替代全连接层；完成DCGAN的构建。
其中，DCGAN通过使用去卷积层，改变了传统GAN对标准多层感知器体系结构的依赖。并可以有效解决训练不稳定、模式崩溃和内部协变变换等问题。
综上，所述步骤S2中：
G主要用于学习真实分割结果图的分布，使自己生成的分割结果图更加真实，从而欺骗D。D是对接收到的两种分割结果图真假进行鉴别。整个过程就是使G生成的分割结果图越来越真实，D对真实分割结果图的判断也越来越准确，随着时间的推移，两种模型达到了平衡。即D和G进行了具有以下目标损失函数的极小—极大值博弈过程：
如上训练过程可以看作是对上述目标损失函数不断优化的过程，该目标损失函数即为所述步骤S25中的对抗性损失函数。整个目标损失函数由两部分组成，训练过程也可分为两步理解:
1)修正生成器G，更新鉴别器D，使目标函数最大化；
2)修正鉴别器D，更新生成器G，使目标函数最小化。
在此过程中，采用反向传播算法对参数进行更新。
通过这一最小最大优化过程，得到以下优化生成模型：
作为一个具体的示例，所述系统具体包括：
本实施例基于国际医学图像计算和计算机辅助干预协会举办的MICCAI会议提供的BraTS 2013数据集。该数据集包括由临床获得的四种模态的3D MRI扫描图像(T1、T1c、T2和Flair)，并且所有分割图像均由经过专家委员会认证的神经放射科医生手动标注。其中，训练数据集包括20例高级别胶质瘤和10例低级别胶质瘤患者图像。测试数据集则由15例高级别胶质瘤和低级别胶质瘤混合图像构成。数据格式为.mha文件，数据将肿瘤区域手动分割为三个子区域，包括完整肿瘤、肿瘤核心和肿瘤增强。
参照上述步骤S1—S3，具体实施步骤如下：
S1：采集多模态脑部肿瘤MRI样本，将所有样本分为训练集与测试集，对训练集样本进行手工标注，并对两个数据集样本进行标准化预处理；
其中，使用上述BraTS 2013数据集，该数据集已完成步骤S11及步骤S12。因此，对数据集中多模态数据执行步骤S13，对数据集中各个模态的样本进行标准化预处理。
首先，BraTS采用了T1，T2，flair，T1c这四个序列的MRI数据，这四个序列是不同模态的图像，因此图像对比度也不一样，采用z-score方式来对每个模态图像分别进行标准化，图像减去均值除以标准差。
其次，对各模态脑部肿瘤数据进行裁剪，通过裁剪和调整分割所需区域的大小将其从256x256调整为28x28。
最后对各模态数据进行切片，并抛弃无病灶切片，将标准化和切片后的四个模态数据合并成四通道数据，保存数据。
S2：构建以DCGAN为基础的生成对抗算法，输入训练集样本进行训练；
首先，按照S21所述步骤构建G，输入未标记的训练集样本训练特征，生成初步的分割结果图。在初步结果输出层后加入自定义CRF-RNN层提高分割网络性能，重新训练网络，并使用新模型进行推理，生成最终分割结果图。
第二，按照S22所述步骤构建D，同时输入由神经放射科医生手动标注的训练集样本真实分割图以及G生成的生成分割图，得到鉴别结果“真”或“假”。
其次，按照S23所述步骤构建DCGAN，完成该生成对抗算法的基本构建。
再次，将未标注的原始训练集样本作为D的额外输入信息，指导数据鉴别过程，促进D优化自身以正确区分真实/生成分割结果；
最后，加入如下对抗性损失函数，将D的鉴别结果反馈到G，促使G根据鉴别结果对自身进行优化，尝试生成与手工标注的分割图非常相似的分割结果，从而试图欺骗D。
在以上训练过程中，采用Nvidia Tesla P100 GPU进行加速运算。并采用Adam优化器，学习率设置为0.001，动量设置为0.9，步长设置为64进行网络训练。
S3：将测试集样本输入上述训练好的网络中，设置超参数并进行迭代运算，得到最终分割结果。
实施例二
本实施例的目的是提供一种基于深度卷积生成对抗网络的多模态脑肿瘤图像分割系统，所述系统包括以下步骤：
数据获取模块，用于获取待分割多模态脑部肿瘤图像；
图像分割模块，用于采用脑部肿瘤图像分割模型进行图像分割；
其中，所述脑部肿瘤图像分割模型基于深度卷积生成式对抗网络预先训练得到；所述深度卷积生成式对抗网络包括生成器和鉴别器，所述生成器以全卷积网络为基础，在输出层后连接附加层，所述附加层为循环神经网络，所述循环神经网络的每一层表示条件随机场的一个步骤。
实施例三
本实施例的目的是提供一种电子设备。
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如实施例一所述的方法。
实施例四
本实施例的目的是提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如实施例一所述的方法。
以上实施例二至四中涉及的各步骤或模块与实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。
综上所述，本发明提出了一种基于条件随机场的深度卷积生成式对抗网络进行多模态脑部肿瘤图像分割的方法。本发明可用于训练的标注图像非常少的情况下分割多模态脑部肿瘤图像的问题。在标注样本数量少的情况下生成新的标注样本，并通过对抗训练有效地提取分割特征，提高网络分割的性能。本发明一定程度上实现了多模态脑部肿瘤图像的自动化分割，提高了脑部肿瘤预测准确度和有效性，以便更好地制定治疗计划并监测疾病进展，为脑部肿瘤疾病治疗提供了基础保障。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.一种基于深度卷积生成对抗网络的多模态脑肿瘤图像分割系统，其特征在于，包括以下步骤：
数据获取模块，用于获取待分割多模态脑部肿瘤图像；
图像分割模块，用于采用脑部肿瘤图像分割模型进行图像分割；
其中，所述脑部肿瘤图像分割模型基于深度卷积生成式对抗网络预先训练得到；所述深度卷积生成式对抗网络包括生成器和鉴别器，所述生成器以全卷积网络为基础，在输出层后连接附加层，所述附加层为循环神经网络，所述循环神经网络的每一层表示条件随机场的一个步骤。
2.如权利要求1所述的多模态脑肿瘤图像分割系统，其特征在于，所述脑部肿瘤图像分割模型的训练方法包括：
获取多模态脑部肿瘤样本作为训练集，所述训练集中的样本均进行了手工标注；
将训练集作为输入，基于深度卷积生成式对抗网络进行训练得到脑部肿瘤图像分割模型。
3.如权利要求2所述的多模态脑肿瘤图像分割系统，其特征在于，获取多模态脑部肿瘤样本后，还进行预处理：
对所述多模态脑部肿瘤样本进行标准化处理标准化；
将样本图像进行裁剪，调整所需分割区域大小；
对各模态数据进行切片，并抛弃无病灶切片，最后合并成多通道数据并保存。
4.如权利要求2所述的多模态脑肿瘤图像分割系统，其特征在于，所述生成器的训练方法包括：
将训练集作为输入，基于全卷积网络进行训练，得到初始模型参数；
基于初始模型参数，基于添加附加层的全卷积神经网络重新进行训练，得到生成器。
5.如权利要求2所述的多模态脑肿瘤图像分割系统，其特征在于，所述鉴别器包括多层卷积神经网络。
6.如权利要求5所述的多模态脑肿瘤图像分割系统，其特征在于，所述深度卷积生成式对抗网络的架构为：
首先基于生成器和鉴别器组成基本的生成对抗网络，然后在所有卷积网络中使用卷积和去卷积代替池化层，并且，在生成器和鉴别器中均添加批量归一化操作；卷积后使用全局池化层替代全连接层。
7.如权利要求1所述的多模态脑肿瘤图像分割系统，其特征在于，所述全卷积神经网络为U-net网络。
8.一种基于深度卷积生成对抗网络的多模态脑肿瘤图像分割方法，其特征在于，包括以下步骤：
获取待分割脑部肿瘤图像；
采用脑部肿瘤图像分割模型进行图像分割；
其中，所述脑部肿瘤图像分割模型基于深度卷积生成式对抗网络预先训练得到；所述深度卷积生成式对抗网络包括生成器和鉴别器，所述生成器以全卷积网络为基础，在输出层后连接附加层，所述附加层为循环神经网络，所述循环神经网络的每一层表示条件随机场的一个步骤。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求8所述的多模态脑肿瘤图像分割方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求8所述的多模态脑肿瘤图像分割方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111021342.8A CN113870279A (zh) | 2021-09-01 | 2021-09-01 | 多模态脑肿瘤图像分割系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111021342.8A CN113870279A (zh) | 2021-09-01 | 2021-09-01 | 多模态脑肿瘤图像分割系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113870279A true CN113870279A (zh) | 2021-12-31 |
Family
ID=78989260
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111021342.8A Pending CN113870279A (zh) | 2021-09-01 | 2021-09-01 | 多模态脑肿瘤图像分割系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113870279A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115359881A (zh) * | 2022-10-19 | 2022-11-18 | 成都理工大学 | 一种基于深度学习的鼻咽癌肿瘤自动勾画方法 |
| CN116681790A (zh) * | 2023-07-18 | 2023-09-01 | 脉得智能科技(无锡)有限公司 | 一种超声造影图像生成模型的训练方法及图像的生成方法 |
| WO2024036367A1 (en) * | 2022-08-16 | 2024-02-22 | Annalise-Ai Pty Ltd | Object detection and point localization in medical images using structured prediction |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3373246A1 (en) * | 2017-03-08 | 2018-09-12 | Tsinghua University | Inspection apparatuses and methods for segmenting an image of a vehicle |
| US20180260957A1 (en) * | 2017-03-08 | 2018-09-13 | Siemens Healthcare Gmbh | Automatic Liver Segmentation Using Adversarial Image-to-Image Network |
| CN111784628A (zh) * | 2020-05-11 | 2020-10-16 | 北京工业大学 | 基于有效学习的端到端的结直肠息肉图像分割方法 |
| CN112384948A (zh) * | 2018-06-12 | 2021-02-19 | 通腾全球信息公司 | 用于图像分割的生成对抗网络 |
| CN112771581A (zh) * | 2018-07-30 | 2021-05-07 | 纪念斯隆凯特琳癌症中心 | 用于对免疫疗法和放射疗法的分割、结果预测和纵向应答监测的多模态、多分辨率深度学习神经网络 |
-
2021
- 2021-09-01 CN CN202111021342.8A patent/CN113870279A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3373246A1 (en) * | 2017-03-08 | 2018-09-12 | Tsinghua University | Inspection apparatuses and methods for segmenting an image of a vehicle |
| US20180260957A1 (en) * | 2017-03-08 | 2018-09-13 | Siemens Healthcare Gmbh | Automatic Liver Segmentation Using Adversarial Image-to-Image Network |
| CN112384948A (zh) * | 2018-06-12 | 2021-02-19 | 通腾全球信息公司 | 用于图像分割的生成对抗网络 |
| CN112771581A (zh) * | 2018-07-30 | 2021-05-07 | 纪念斯隆凯特琳癌症中心 | 用于对免疫疗法和放射疗法的分割、结果预测和纵向应答监测的多模态、多分辨率深度学习神经网络 |
| CN111784628A (zh) * | 2020-05-11 | 2020-10-16 | 北京工业大学 | 基于有效学习的端到端的结直肠息肉图像分割方法 |
Non-Patent Citations (4)
| Title |
|---|
| YUAN XUE ET AL.: "SegAN: Adversarial Network with Multi-scale L1 Loss for Medical Image Segmentation", ARXIV:1706.01805V2, 16 July 2017 (2017-07-16), pages 1 - 9 * |
| 唐诗;王福龙;: "结合CRF的DCNN脑肿瘤MRI分割方法", 现代计算机(专业版), no. 20, 15 July 2018 (2018-07-15) * |
| 徐宗本 等: "数据智能研究前沿", 31 December 2019, 上海交通大学出版社, pages: 145 - 147 * |
| 邢波涛;李锵;关欣;: "改进的全卷积神经网络的脑肿瘤图像分割", 信号处理, no. 08, 25 August 2018 (2018-08-25) * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024036367A1 (en) * | 2022-08-16 | 2024-02-22 | Annalise-Ai Pty Ltd | Object detection and point localization in medical images using structured prediction |
| CN115359881A (zh) * | 2022-10-19 | 2022-11-18 | 成都理工大学 | 一种基于深度学习的鼻咽癌肿瘤自动勾画方法 |
| CN116681790A (zh) * | 2023-07-18 | 2023-09-01 | 脉得智能科技(无锡)有限公司 | 一种超声造影图像生成模型的训练方法及图像的生成方法 |
| CN116681790B (zh) * | 2023-07-18 | 2024-03-22 | 脉得智能科技(无锡)有限公司 | 一种超声造影图像生成模型的训练方法及图像的生成方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111476292B (zh) | 医学图像分类处理人工智能的小样本元学习训练方法 | |
| CN110619369B (zh) | 基于特征金字塔与全局平均池化的细粒度图像分类方法 | |
| CN107016681B (zh) | 基于全卷积网络的脑部mri肿瘤分割方法 | |
| CN110825899B (zh) | 融合颜色特征和残差网络深度特征的服装图像检索方法 | |
| CN112819076B (zh) | 基于深度迁移学习的医学图像分类模型的训练方法及装置 | |
| CN113870279A (zh) | 多模态脑肿瘤图像分割系统及方法 | |
| CN109345527B (zh) | 一种基于MaskRcnn的膀胱肿瘤检测方法 | |
| CN109035172B (zh) | 一种基于深度学习的非局部均值超声图像去噪方法 | |
| CN111738363B (zh) | 基于改进的3d cnn网络的阿尔茨海默病分类方法 | |
| CN111652317B (zh) | 基于贝叶斯深度学习的超参数图像分割方法 | |
| CN109033978B (zh) | 一种基于纠错策略的cnn-svm混合模型手势识别方法 | |
| CN111968138B (zh) | 基于3d动态边缘不敏感性损失函数的医学图像分割方法 | |
| CN109711283A (zh) | 一种联合双字典和误差矩阵的遮挡表情识别算法 | |
| CN112614119A (zh) | 医学图像感兴趣区域可视化方法、装置、存储介质和设备 | |
| CN112446891A (zh) | 基于U-Net网络脑胶质瘤的医学图像分割方法 | |
| CN115049952B (zh) | 一种基于多尺度级联感知深度学习网络的幼鱼肢体识别方法 | |
| CN110349170B (zh) | 一种全连接crf级联fcn和k均值脑肿瘤分割算法 | |
| Zhan et al. | Semi-supervised classification of hyperspectral data based on generative adversarial networks and neighborhood majority voting | |
| CN106682127A (zh) | 图像搜索系统及方法 | |
| CN112686902A (zh) | 核磁共振影像中脑胶质瘤识别与分割的两阶段计算方法 | |
| CN114600155A (zh) | 用于细胞检测和分割的弱监督多任务学习 | |
| CN111680755A (zh) | 医学图像识别模型构建及医学图像识别方法、装置、介质及终端 | |
| Soleymanifard et al. | Segmentation of whole tumor using localized active contour and trained neural network in boundaries | |
| Patil et al. | Techniques of deep learning for image recognition | |
| CN112863650A (zh) | 一种基于卷积与长短期记忆神经网络的心肌病识别系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |