CN111833359A - 基于生成对抗网络的脑瘤分割数据增强方法 - Google Patents
基于生成对抗网络的脑瘤分割数据增强方法 Download PDFInfo
- Publication number
- CN111833359A CN111833359A CN202010667811.2A CN202010667811A CN111833359A CN 111833359 A CN111833359 A CN 111833359A CN 202010667811 A CN202010667811 A CN 202010667811A CN 111833359 A CN111833359 A CN 111833359A
- Authority
- CN
- China
- Prior art keywords
- image
- patient
- brain
- representing
- data enhancement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 57
- 208000003174 Brain Neoplasms Diseases 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000006870 function Effects 0.000 claims abstract description 69
- 238000012549 training Methods 0.000 claims abstract description 32
- 230000008447 perception Effects 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 8
- 206010028980 Neoplasm Diseases 0.000 claims description 44
- 210000004556 brain Anatomy 0.000 claims description 38
- 230000003042 antagnostic effect Effects 0.000 claims description 16
- 239000002131 composite material Substances 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 6
- JXSJBGJIGXNWCI-UHFFFAOYSA-N diethyl 2-[(dimethoxyphosphorothioyl)thio]succinate Chemical compound CCOC(=O)CC(SP(=S)(OC)OC)C(=O)OCC JXSJBGJIGXNWCI-UHFFFAOYSA-N 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 239000003550 marker Substances 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 238000013519 translation Methods 0.000 abstract description 4
- 210000001519 tissue Anatomy 0.000 description 14
- 238000002474 experimental method Methods 0.000 description 10
- 238000002595 magnetic resonance imaging Methods 0.000 description 7
- 238000009826 distribution Methods 0.000 description 6
- 238000007917 intracranial administration Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 206010018338 Glioma Diseases 0.000 description 5
- 238000003709 image segmentation Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000002679 ablation Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 208000032612 Glial tumor Diseases 0.000 description 2
- 102100022778 POC1 centriolar protein homolog A Human genes 0.000 description 2
- 101710125073 POC1 centriolar protein homolog A Proteins 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 210000005013 brain tissue Anatomy 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000004083 survival effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000012902 Nervous system disease Diseases 0.000 description 1
- 208000025966 Neurological disease Diseases 0.000 description 1
- 206010030113 Oedema Diseases 0.000 description 1
- 208000007913 Pituitary Neoplasms Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 201000007989 benign glioma Diseases 0.000 description 1
- 230000004791 biological behavior Effects 0.000 description 1
- 210000000133 brain stem Anatomy 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000001638 cerebellum Anatomy 0.000 description 1
- 210000001175 cerebrospinal fluid Anatomy 0.000 description 1
- 210000004720 cerebrum Anatomy 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 210000003238 esophagus Anatomy 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 210000004884 grey matter Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 208000032839 leukemia Diseases 0.000 description 1
- 208000030173 low grade glioma Diseases 0.000 description 1
- 210000003563 lymphoid tissue Anatomy 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000002418 meninge Anatomy 0.000 description 1
- 206010027191 meningioma Diseases 0.000 description 1
- 230000001394 metastastic effect Effects 0.000 description 1
- 206010061289 metastatic neoplasm Diseases 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 210000004498 neuroglial cell Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000001817 pituitary effect Effects 0.000 description 1
- 208000010916 pituitary tumor Diseases 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 238000007430 reference method Methods 0.000 description 1
- 210000001154 skull base Anatomy 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 230000009885 systemic effect Effects 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 210000004291 uterus Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 210000004885 white matter Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及脑瘤图像处理技术领域，具体公开了一种基于生成对抗网络的脑瘤分割数据增强方法，该方法构建了图像到图像转换框架——TumorGAN网络架构(包括生成器、全局判别器和局部判别器)，该网络架构可以从n个真实数据对(带分割标签的多模态脑瘤图片集)中合成n2‑n个虚拟图像对，并通过训练得到数据增强模型，保证数据增强模型所合成图像的质量和真实性；基于语义标签提供的注意力区域，在生成器中增加了区域感知损失函数和区域
损失函数，帮助训练具有真实性的图像到图像翻译模型，能够保留图像细节，并提高模型的泛化性能；应用局部判别器，与全局判别器配合使用，可提高判别效率，并帮助模型生成具有更真实纹理细节的医学图像对。
Description
技术领域
本发明涉及脑瘤图像处理技术领域，尤其涉及一种基于生成对抗网络的脑瘤分割数据增强方法。
背景技术
脑肿瘤是一种常见的神经系统疾病，在中国，作为一种常见的高发疾病，其发病率已达1.34/10万，在美国，每年有超过20万的病人被诊断为原发性或转移性脑肿瘤。在全身肿瘤的发病率中，脑瘤的发病率仅次于胃、子宫、乳腺及食管等部位肿瘤的发病率，约占全身肿瘤的2％，而死亡比例也已超过2％。据调查，脑肿瘤在儿童患者中所占比例最高，其次发病率最高的是20-50岁的青壮年，其中神经胶质瘤患者数量最多。在儿童恶性肿瘤中，脑肿瘤发病率排名第二，仅位于白血病之后，脑肿瘤有120多种不同类型，使有效治疗变得非常复杂。按其起源部位进行分类可分为源于颅内组织的原发性颅内肿瘤(一般发生在颅内脑膜、胶质细胞、脑下垂体、淋巴组织以及神经系统等位置)和由于身体远隔部位发生转移或者邻近部位延伸到颅内的继发性颅内肿瘤；按其生物学行为可分为良性颅内肿瘤和恶性颅内肿瘤；按组织病理类型可以分为胶质瘤、垂体瘤、脑膜瘤等；按发病部位可以分为大脑半球，小脑，脑干、颅底等。神经胶质瘤是最普遍的原发性胶质瘤，占成人恶性脑肿瘤的70％，被世界卫生组织(WHO)划分为四个等级，属于一二级的良性胶质瘤(Low GradeGliomas，LGG)较属于三四级的恶性胶质瘤(High Grade Gliomas，HGG)有更长的存活时间和存活几率。
随着医学影像技术的不断发展，诊断肿瘤的手段主要包括计算机断层扫描(Computer Tomography，CT)、核磁共振成像(Magnetic Resonance Imaging，MRI)、共振波谱(Magnetic Resonance Spectrum，MRS)以及正电子发射断层成像(Positron EmissionTomography，PET)等技术。作为一项非入侵式脑瘤诊断的标准技术，MRI是医学诊断和治疗的重要组成部分，它利用磁共振现象从大脑中获得电磁信号，以此来重建出脑部信息并为大脑提供一个有效的解剖成像，从而增加医学诊断者的诊断能力。
大脑自身结构复杂，包括脑皮层、灰质、白质和脑脊液等多种组织，且每种组织结构形状复杂；不同组织之间的灰度分布不均匀，存在相互交叠的现象；不同病人或者同一病人在不同年龄段的组织结构差异较大；脑瘤可以分布在大脑的任意区域，几乎可以变成任意大小和形状，而且MRI图像自身存在第三维度分辨率低、图像灰度分布不均等问题，因此对脑瘤图像进行精确的分割仍是现在社会所面临的一个巨大挑战。
精细的肿瘤分割模型对于肿瘤早期诊断和后期进行放射治疗至关重要。传统方法中，具有医学专业背景的人员会对MRI图像进行标注，得到肿瘤信息的语义分割标签，然后在MRI图像和语义分割标签之间找到映射函数来完成肿瘤分割。但是，医学图像分割标签的标注是一项很难的挑战，因为它十分耗时并且需要医学专家。缺少合适的肿瘤分割标签限制了以数据驱动的医学图像分割(例如基于深度学习的方法)的潜力。像旋转、镜像这样的数据增强是扩展标记样本的数据集的一种可能方法。但是，这些方法不足以表示形状、位置和病理的变化。
最近，许多研究人员使用生成对抗网络(GAN)进行图像合成和数据增强。尽管GAN的早期变体只能从随机噪声中生成图像，但基于条件GAN的图像到图像转换模型却为生成像素级图像提供了新的解决方案。近几年提出了许多强大的基于GAN的图像到图像变体，这些方法可以通过考虑输入图像和给定条件来生成逼真的图像。实际上，一些流行的图像到图像转换框架(例如Pix2pix或CycleGAN)已经显示出将仅包含语义信息的图像转换为逼真的图像而实现像素级图像生成的潜力。但是，在将此类方法应用于多模态医学图像增强之前，仍然面临两个挑战。第一个挑战是缺乏源数据，这意味着我们需要先生成合理的语义标签，然后再将其提供给图像到图像翻译模型，不正确的病变区域可能导致无用的增强输出。第一个挑战是缺少图像对，在增强阶段虽能保证合成图像质量但却没有足够的真实性，无法获得像素级的真实医学图像。
发明内容
本发明提供基于生成对抗网络的脑瘤分割数据增强方法，解决的技术问题是，现有脑瘤图像分割增强方法无法获得像素级的真实医学图像。
为解决以上技术问题，本发明提供一种基于生成对抗网络的脑瘤分割数据增强方法，
本发明提供的基于生成对抗网络的脑瘤分割数据增强方法，包括步骤：
S1.构建TumorGAN网络架构，所述TumorGAN网络架构包括生成器、全局判别器和局部判别器，并设计有损失函数，所述损失函数由对抗损失函数、区域
损失函数以及区域感知损失函数线性组合而成；
S2.将带分割标签的多模态脑瘤图片集作为训练集输入到所述TumorGAN网络架构中进行训练，得到数据增强模型。
进一步地，在一次训练过程中：
所述生成器的输入图像包括第一患者、第二患者之间的虚拟语义标签图像和第一患者的大脑图像；所述虚拟语义标签图像由所述第一患者对应于其大脑图像的语义标签中的肿瘤区域和所述第二患者对应于其大脑图像的语义标签中的大脑背景合成；所述生成器的输出数据为增强合成图像；
所述全局判别器的输入图像包括所述增强合成图像、所述虚拟语义标签图像，和所述第二患者的大脑图像及其对应的语义标签；
所述局部判别器的输入图像为对所述增强合成图像或所述第二患者的大脑图像裁剪后的第一图像。
进一步地，所述第一图像的大小为64×64像素。
进一步地，所述损失函数的表达式为：
其中，
表示所述损失函数，
表示所述区域感知损失函数，
表示所述区域
损失函数，
表示所述对抗损失函数，λ、μ、γ分别表示所述区域感知损失函数、所述区域
损失函数和所述对抗损失函数的权重常数；
进一步地，所述对抗损失函数的表达式为：
Ladv＝Lg(Dg,G)+Ll(Dl,G) (2)
其中，G表示所述生成器，Dg表示所述全局判别器，Dl表示所述局部判别器，Lg(Dg,G)表示所述全局判别器Dg和所述生成器G之间的对抗损失，Ll(Dl,G)表示所述局部判别器Dl和所述生成器G之间的对抗损失。
进一步地，λ：μ：γ＝1：1000：1000。
进一步地，所述区域感知损失函数的表达式为：
其中,ytis和ytum分别表示所述增强合成图像y的组织区域和肿瘤区域，
表示所述第二患者b的组织区域的掩膜，
表示第一患者a的脑瘤区域的掩膜，
表示所述第二患者b的大脑图像xb的组织区域，xtum表示所述生成器的输入图像x的肿瘤区域；φi,j表示在第i最大池化层之前的第j个卷积层后特征图，φk,j表示在第k最大池化层之前的第j个卷积层后特征图，i、j、k≥1；φ3,4表示在第三最大池化层之前的最后一个卷积层后特征图，φ4,4表示第四最大池化层之前的最后一个卷积层后特征图，E表示条件期望函数，λ1、λ2、λ3分别表示对应条件期望函数的权重常数。
优选的，λ1：λ2：λ3＝1：100：100。
进一步地，所述区域
损失函数的关系式为：
其中，ytis表示所述增强合成图像y的组织区域，
表示所述第二患者b的大脑图像xb的组织区域。
进一步地，所述生成器的结构为：CIR64F7-CIR128F3-CIR256F3-Res256-Res256-Res256-Res256-Res256-Res256-Res256-Res256-Res256-DCIR128F3-DCIR64F3-C1F7；
所述全局判别器的结构为：CLR64F4-CILR128F4-CILR256F4-CILR512F4-CILR512F4-CILR512F4-C1F4；
所述局部判别器的结构为：CLR64F4-CILR128F4-CILR256F4-CILR512F4-CILR512F4-C1F4；
其中，CIRpFq或DCIRpFq表示具有p个q×q大小卷积核的Convolutional-InstanceNorm-ReLU或Deconvolutional-Convolutional-InstanceNorm-ReLU层，Res256表示具有256个卷积核为3×3的残差块卷积，所述生成器的最后一层使用Sigmoid作为激活函数，CLRsFt或CILRsFt表示包含s个t×t大小卷积核的Convolutional-LeakyReLU或Convolutional-InstanceNorm-LeakyReLU层，p、q、s、t≥1；C1F4表示包含1个4×4大小卷积核的Convolutional层，C1F7表示包含1个7×7大小卷积核的Convolutional-Tanh层。
进一步地，所述训练集基于BraTS 2017数据集，包含不少于200张含标记患者图片，每张所述含标记患者图片具有flair、t1、t1ce、t2四种MRI成像模态且经过归一化处理，所述归一化处理的公式为：
IN＝(I-Imin)/(Imax-Imin) (5)
其中，IN表示输入的一所述含标记患者图片归一化后的值，Imin和Imax分别表示所述含标记患者图片中的最小像素值和最大像素值，I表示输入的一所述含标记患者图片的像素值。
本发明提供的一种基于生成对抗网络的脑瘤分割数据增强方法，其有益效果在于：
1、构建了图像到图像转换框架——TumorGAN网络架构(包括生成器、全局判别器和局部判别器)，该网络架构可以从n个真实数据对(带分割标签的多模态脑瘤图片集)中合成n2-n个虚拟图像对，并通过训练得到数据增强模型，保证数据增强模型所合成图像(医学图像对，包括大脑图像和语义标签)的质量和真实性；
2、基于语义标签提供的注意力区域，在生成器中增加了区域感知损失函数和区域
损失函数，帮助训练具有真实性的图像到图像翻译模型，能够保留图像细节，并提高模型的泛化性能；
3、应用局部判别器，与全局判别器配合使用，可提高判别效率，并帮助模型生成具有更真实纹理细节的医学图像对；
4、对于多模态和单模态数据集上的肿瘤分割，本发明的增强方法能够明显增强其分割效果，得到像素级的真实医学图像。
附图说明
图1是本发明实施例提供的基于生成对抗网络的脑瘤分割数据增强方法的步骤流程图；
图2是本发明实施例提供的TumorGAN网络架构的结构图；
图3是本发明实施例提供的合成虚拟语义标签图像的示意图；
图4是本发明实施例提供的损失函数的计算细节展示图；
图5是本发明实施例提供的TumorGAN网络架构的训练结果展示图；
图6是本发明实施例提供的消融实验的结果展示图。
具体实施方式
下面结合附图具体阐明本发明的实施方式，实施例的给出仅仅是为了说明目的，并不能理解为对本发明的限定，包括附图仅供参考和说明使用，不构成对本发明专利保护范围的限制，因为在不脱离本发明精神和范围基础上，可以对本发明进行许多改变。
一、方法介绍
本发明实施例提供的一种基于生成对抗网络的脑瘤分割数据增强方法，如图1、2所示，包括步骤S1-S2：
S1.构建TumorGAN网络架构，TumorGAN网络架构包括生成器G、全局判别器Dg和局部判别器Dl并设计有损失函数，损失函数由对抗损失函数、区域
损失函数以及区域感知损失函数线性组合而成；
S2.将带分割标签的多模态脑瘤图片集作为训练集输入到TumorGAN网络架构中进行训练，得到数据增强模型。
(1)针对步骤S1：
本实施例的TumorGAN网络架构是基于GAN(生成对抗网络)，生成对抗网络的初始原理十分容易理解，即构造两个神经网络，一个生成器，一个判别器，二者互相竞争训练，最后达到一种平衡(纳什平衡)。生成器捕捉样本数据的分布，用服从某一分布(均匀分布、高斯分布等)的噪声生成一个类似真实训练数据的样本，追求效果是越像真实样本越好。判别器是一个二分类器，估计一个样本来自于训练数据(而非生成数据)的概率，如果样本来自于真实的训练数据，判别器输出大概率，否则，输出小概率。采用对抗训练机制进行训练，并使用优化器，如随机梯度下降(SGD,stochastic gradient descent)、自适应时刻估计方法(Adam，AdaptiveMoment Estimation)等实现优化，二者交替训练，直到达到纳什均衡后停止训练。
在GAN的基础上，本实施例的生成器G从CycleGAN派生而来，包含9个残差块。局部判别器Dl与全局判别器Dg相似，但局部判别器Dl的输入尺寸减小，比全局判别器Dg其卷积层要少一层。
具体的，生成器G的结构为：CIR64F7-CIR128F3-CIR256F3-Res256-Res256-Res256-Res256-Res256-Res256-Res256-Res256-Res256-DCIR128F3-DCIR64F3-C1F7；
全局判别器Dg的结构为：CLR64F4-CILR128F4-CILR256F4-CILR512F4-CILR512F4-CILR512F4-C1F4；
局部判别器Dl的结构为：CLR64F4-CILR128F4-CILR256F4-CILR512F4-CILR512F4–C1F4；
其中，CIRpFq或DCIRpFq表示具有p个q×q大小卷积核的Convolutional-InstanceNorm-ReLU或Deconvolutional-Convolutional-InstanceNorm-ReLU层，Res256表示具有256个卷积核为3×3的残差块卷积，生成器G的最后一层使用Sigmoid作为激活函数，CLRsFt或CILRsFt表示包含j个t×t大小卷积核的Convolutional-LeakyReLU或Convolutional-InstanceNorm-LeakyReLU层，p、q、s、t≥1；C1F4表示包含1个4×4大小卷积核的Convolutional层，C1F7表示包含1个7×7大小卷积核的Convolutional-Tanh层。
在本实施例中，如图2所示，在一次训练过程中：
生成器G的输入图像x包括第一患者a、第二患者b之间的虚拟语义标签图像sab(参见图3)和第一患者a的大脑图像xa；虚拟语义标签图像sab由第一患者a对应于其大脑图像xa的语义标签sa中的肿瘤区域和第二患者b对应于其大脑图像sb的语义标签中的大脑背景合成；生成器G的输出数据为增强合成图像y；
全局判别器Dg的输入图像包括增强合成图像y、虚拟语义标签图像sab，和第二患者的大脑图像及其对应的语义标签；
局部判别器Dl的输入图像为对增强合成图像y或第二患者b的大脑图像裁剪后的第一图像，裁剪后的第一图像的大小为64×64像素(本实施例中图像大小均指像素大小)。
在本实施例中，损失函数的表达式为：
其中，
表示损失函数，
表示区域感知损失函数，
表示区域
损失函数，
表示对抗损失函数，λ、μ、γ分别表示区域感知损失函数、区域
损失函数和对抗损失函数的权重常数，λ：μ：γ＝1：1000：1000(只是优选值，其他实施例可采用其他比例，比如1：2000：1000等)。
对抗损失函数的表达式为：
Ladv＝Lg(Dg,G)+Ll(Dl,G) (2)
其中，G表示生成器，Dg表示全局判别器，Dl表示局部判别器，Lg(Dg,G)表示全局判别器Dg和生成器G之间的对抗损失，Ll(Dl,G)表示局部判别器Dl和生成器G之间的对抗损失。
区域感知损失函数的表达式为：
其中,ytis和ytum分别表示增强合成图像y的组织区域和肿瘤区域，
表示所述第二患者b的组织区域的掩膜，
表示第一患者a的脑瘤区域的掩膜，
表示第二患者b的大脑图像xb的组织区域，xtum表示生成器的输入图像x的肿瘤区域；φi,j表示在第i最大池化层之前的第j个卷积层后特征图，φk,j表示在第k最大池化层之前的第j个卷积层后特征图，i、j、k≥1；φ3,4表示在第三最大池化层之前的最后一个卷积层后特征图，φ4，4表示第四最大池化层之前的最后一个卷积层后特征图，E表示条件期望函数，λ1、λ2、λ3分别表示对应条件期望函数的权重常数，λ1∶λ2∶λ3＝1∶100∶100(只是优选值，其他实施例可采用其他比例，比如1∶200∶100等)。
区域
损失函数(局部判别器中)的关系式为：
其中，ytis表示增强合成图像y的组织区域，
表示第二患者b的大脑图像xb的组织区域。
损失函数的计算细节如图4所示。
(2)针对步骤S2：
如下表1所示，在整个训练过程中，步骤S2中的训练集基于BraTS 2017数据集，该BraTS 2017数据集总共包含285个含标记患者图片，每张含标记患者图片具有flair、t1、t1ce、t2四种MRI成像模态，大小为240×240×155(包含155帧大小为240×240的图片区域)。本实施例使用BraTS 2017数据集中的226张图像(HGG：166，LGG：60)作为训练集，剩下的59张(HGG：44，LGG：15)用作测试集，以评估算法性能。
表1
| 数据集 | 总数 | HGG | LGG |
| BraTS 2017数据集 | 285 | 210 | 75 |
| 训练集 | 226 | 166 | 60 |
| 虚拟语义标签图像 | 226 | 166 | 60 |
| 测试集 | 59 | 44 | 15 |
在将226张含标记患者图片输入到如图2所示的TumorGAN网络架构进行训练时(以及将剩余的59张输入到已经训练完成的数据增强模型中进行测试时)，需要对这些图片做归一化处理，归一化处理的公式为：
IN＝(I-Imin)/(Imax-Imin) (5)
其中，IN表示输入的一含标记患者图片归一化后的值，Imin和Imax分别表示含标记患者图片中的最小像素值和最大像素值，I表示输入的一含标记患者图片的像素值。
由于肿瘤总是位于大脑组织上，本实施例特别取出患者在横轴上的30-110帧(大脑组织区域)，并将它们的大小调整为256×256。也就是，最后输入在TumorGAN网络架构进行训练的226张含标记患者图片其中的1-29帧和111-155帧大小为240×240，30-110帧大小为256×256。
理论上，226张含标记患者图片(226个真实数据对，一张含标记患者图片包含大脑图像和对应的语义标签，即为一个真实数据对)输入在TumorGAN网络架构中进行训练，可生成226×(226-1)＝50850个虚拟语义标签图像(每2个图像之间可生成1个虚拟语义标签图像)。考虑到计算时间问题，本实施例生成了和原始训练数据集具有相同数量的226个虚拟语义标签图像，来进行语义分割任务的训练，得到对应的数据增强模型，其合成的增强图像如图5所示。可以看出，合成的大脑图像与语义标签非常匹配。同样，不同形态的大脑图像具有不同的特征。例如，t1ce(t1加权对比增强)可以使肿瘤核心变亮，以区分肿瘤核和水肿区域。
本发明实施例提供的一种基于生成对抗网络的脑瘤分割数据增强方法，其有益效果在于：
1、构建了图像到图像转换框架——TumorGAN网络架构(包括生成器、全局判别器和局部判别器)，该网络架构可以从n个真实数据对(带分割标签的多模态脑瘤图片集)中合成n2-n个虚拟图像对，并通过训练得到数据增强模型，保证数据增强模型所合成图像(医学图像对，包括大脑图像和语义标签)的质量和真实性；
2、基于语义标签提供的注意力区域，在生成器中增加了区域感知损失函数和区域
损失函数，帮助训练具有真实性的图像到图像翻译模型，能够保留图像细节，并提高模型的泛化性能；
3、应用局部判别器，与全局判别器配合使用，可提高判别效率，并帮助模型生成具有更真实纹理细节的医学图像对；
4、对于多模态和单模态数据集上的肿瘤分割，本发明的增强方法能够明显增强其分割效果，得到像素级的真实医学图像。
二、试验
(1)单模态消融实验
1、定性评价
为了验证上述方法所训练的数据增强模型的效果，本实施例在flair这种模态的数据上做了消融实验，来证明TumorGAN中每个部分的效率，其结果如图6所示，其中i-v表示来自同一病人的第50、60、70、80和90帧，第一列表示语义标签图，最后一列表示TumorGAN获得的结果(ours)，第二列分别表示基准方法CycleGAN和Pix2pix获得的结果，第四列和第五列分别表示来自缺失区域感知损失
和缺失局部判别器Dl(w/o d_local)的TumorGAN的合成图像。可以观察到：
当去除区域感知损失时，合成图像缺少细节并变得模糊；
当去除局部判别器时，会出现许多噪声；
与基准方法CycleGAN和Pix2pix相比，TumorGAN获得最佳的定性结果；
CycleGAN合成的图像没有生成与脑瘤的语义标签对应的组织信息；
Pix2pix合成图像在脑瘤区域的边界处有一些模糊。
上述这些问题在TumorGANT合成的图像中均未出现，可证明本实施例上述方法的效果。对于TumorGAN，本实施例使用从226名患者的30到110帧的数据作为训练数据集来训练。对于CycleGAN和Pix2pix，本实施例通过合并来自同一大脑图像的肿瘤区域和大脑背景来创建语义标签图像，以此方式，获得配对的数据来训练Pix2pix(训练集需要严格配对的数据对进行训练)，同时采用相同的数据来训练CycleGAN(数据对并不需要严格配对，但是为了检测的一致性，采用和Pix2pix相同的数据集)。
2、定量评价
为了测量所生成图像的质量，本实施例使用起始距离(FID)来评估真实图像与所生成样本之间的相似性。和图6对应，如下表2所示，与基准方法相比，TumorGAN获得的FID较为理想(分数越低越好)，这表明TumorGAN可以生成与实际数据分布非常匹配的图像。
表2
| 方法 | CycleGAN | Pix2pix | w/o per | w/o d_local | ours |
| FID | 154.86 | 126.42 | 87.75 | 145.67 | 77.43 |
(2)多模态分割实验
1、分割网络
Cascaded Net是一个三级级联网络，并在BraTS 2018Challenge上获得了最高排名。级联网将肿瘤分割分为三个阶段。在第一阶段，级联网络定位并挑选出整个脑肿瘤区域。在第二阶段，它去除肿瘤周围组织区域，找到瘤核，并根据瘤核裁剪出一个方形区域，作为下一网络的输入。在第三阶段，将瘤核分为增强区域和非增强区域。最后，采用多视图融合来合并每个阶段的结果。在实验中，本实施例仅使用轴向数据进行数据合成并进行分割实验，由于GPU内存有限，其批量大小更改为3。
U-Net是用于医学图像分割的流行的深层神经网络，是一种带有多个跳转连接的编码器-解码器结构。本次实验使用了四倍的下采样和四倍的上采样来构建U-Net。
Deeplab及其变体在许多常见的语义分割任务上取得了巨大的成功。在这项工作中，本次实验将Deeplab-v3用作肿瘤图像分割任务的另一个基准方法。Deeplab-v3采用了使用空洞卷积的卷积层，可以扩展视野，并采用了预训练好的的骨干网络。此外，它们增强了先前提出的空洞空间金字塔池化模块。本次实验使用resnet50作为骨干网络来实现Deeplab-v3。
2、评价指标
这三个分割模型均用于评估本实施例所保护数据增强方法的合成数据的有效性。采用表1中的划分方式，将测试集用于分割精度评价，并使用Dice得分评估测试集上的肿瘤分割性能。Dice定义如下：
其中ppred是预测值，ptrue是分割真值；求和均按照体素计算；∈是一个很小的常数，可以防止零除。
3、具体结果
当仅仅使用原始数据，以及使用原始数据加增强数据时，分割网络在多模态BraTS数据上的Dice得分数据如下表3所示：
表3
表3中，whole表示完整的肿瘤分割，core和en分别表示对瘤核core和增强区域enhanced的分割，mean表示均值处理后的肿瘤分割。
表3显示，在三个分割网络上，采用数据增强时，dice得分均优于没有增强数据的情况，每个分割模型的平均骰子得分提高了2-3％。所有这三个模型在瘤核分割方面都有很大的改进，整个肿瘤和增强区域分割任务性能也有所改善。
(3)单模态分割实验
表4显示了基于TumorGAN的增强方法在基于单模态(flair、t1、t1ce、t2)数据的分割任务上的Dice得分情况，同样，在表4中，whole表示完整的肿瘤分割，core和en分别表示对瘤核core和增强区域enhanced的分割，mean表示均值处理后的肿瘤分割。
在没有其他模态数据的情况下，表4的分数低于表3中的分数。对比表4和表3，可知：基于TumorGAN的数据增强方法可以在单模态输入的情况下提高大多数分割任务的Dice得分。
表4
(4)结论
实验结果证明，对于多模态和单模态数据集上的肿瘤分割，本发明的增强方法能够明显增强其分割效果，得到像素级的真实医学图像。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (10)
1.基于生成对抗网络的脑瘤分割数据增强方法，其特征在于，包括步骤：
S1.构建TumorGAN网络架构，所述TumorGAN网络架构包括生成器、全局判别器和局部判别器，并设计有损失函数，所述损失函数由对抗损失函数、区域
损失函数以及区域感知损失函数线性组合而成；
S2.将带分割标签的多模态脑瘤图片集作为训练集输入到所述TumorGAN网络架构中进行训练，得到数据增强模型。
2.如权利要求1所述的基于生成对抗网络的脑瘤分割数据增强方法，其特征在于，在一次训练过程中：
所述生成器的输入图像包括第一患者、第二患者之间的虚拟语义标签图像和第一患者的大脑图像；所述虚拟语义标签图像由所述第一患者对应于其大脑图像的语义标签中的肿瘤区域和所述第二患者对应于其大脑图像的语义标签中的大脑背景合成；所述生成器的输出数据为增强合成图像；
所述全局判别器的输入图像包括所述增强合成图像、所述虚拟语义标签图像，和所述第二患者的大脑图像及其对应的语义标签；
所述局部判别器的输入图像为对所述增强合成图像或所述第二患者的大脑图像裁剪后的第一图像。
3.如权利要求2所述的基于生成对抗网络的脑瘤分割数据增强方法，其特征在于：所述第一图像的大小为64×64像素。
4.如权利要求2所述的基于生成对抗网络的脑瘤分割数据增强方法，其特征在于，所述损失函数的表达式为：
其中，
表示所述损失函数，
表示所述区域感知损失函数，
表示所述区域
损失函数，
表示所述对抗损失函数，λ、μ、γ分别表示所述区域感知损失函数、所述区域
损失函数和所述对抗损失函数的权重常数；
所述对抗损失函数的表达式为：
Ladv＝Lg(Dg,G)+Ll(Dl,G) (2)
其中，G表示所述生成器，Dg表示所述全局判别器，Dl表示所述局部判别器，Lg(Dg,G)表示所述全局判别器Dg和所述生成器G之间的对抗损失，Ll(Dl,G)表示所述局部判别器Dl和所述生成器G之间的对抗损失。
5.如权利要求4所述的基于生成对抗网络的脑瘤分割数据增强方法，其特征在于，λ：μ：γ＝1：1000：1000。
6.如权利要求2所述的基于生成对抗网络的脑瘤分割数据增强方法，其特征在于，所述区域感知损失函数的表达式为：
其中，ytis和ytum分别表示所述增强合成图像y的组织区域和肿瘤区域，
表示所述第二患者b的组织区域的掩膜，
表示第一患者a的脑瘤区域的掩膜，
表示所述第二患者b的大脑图像xb的组织区域，xtum表示所述生成器的输入图像x的肿瘤区域；φi,j表示在第i最大池化层之前的第j个卷积层后特征图，φk,j表示在第k最大池化层之前的第j个卷积层后特征图，i、j、k≥1；φ3,4表示在第三最大池化层之前的最后一个卷积层后特征图，φ4,4表示第四最大池化层之前的最后一个卷积层后特征图，E表示条件期望函数，λ1、λ2、λ3分别表示对应条件期望函数的权重常数。
7.如权利要求6所述的基于生成对抗网络的脑瘤分割数据增强方法，其特征在于：λ1：λ2：λ3＝1：100：100。
8.如权利要求2所述的基于生成对抗网络的脑瘤分割数据增强方法，其特征在于，所述区域
损失函数的关系式为：
其中，ytis表示所述增强合成图像y的组织区域，
表示所述第二患者b的大脑图像xb的组织区域。
9.如权利要求2所述的基于生成对抗网络的脑瘤分割数据增强方法，其特征在于：
所述生成器的结构为：CIR64F7-CIR128F3-CIR256F3-Res256-Res256-Res256-Res256-Res256-Res256-Res256-Res256-Res256-DCIR128F3-DCIR64F3-C1F7；
所述全局判别器的结构为：CLR64F4-CILR128F4-CILR256F4-CILR512F4-CILR512F4-CILR512F4-C1F4；
所述局部判别器的结构为：CLR64F4-CILR128F4-CILR256F4-CILR512F4-CILR512F4-C1F4；
其中，CIRpFq或DCIRpFq表示具有p个q×q大小卷积核的Convolutional-InstanceNorm-ReLU或Deconvolutional-Convolutional-InstanceNorm-ReLU层，Res256表示具有256个卷积核为3×3的残差块卷积，所述生成器的最后一层使用Sigmoid作为激活函数，CLRsFt或CILRsFt表示包含s个t×t大小卷积核的Convolutional-LeakyReLU或Convolutional-InstanceNorm-LeakyReLU层，p、q、s、t≥1；C1F4表示包含1个4×4大小卷积核的Convolutional层，C1F7表示包含1个7×7大小卷积核的Convolutional-Tanh层。
10.如权利要求1所述的基于生成对抗网络的脑瘤分割数据增强方法，其特征在于：所述训练集基于BraTS 2017数据集，包含不少于200张含标记患者图片，每张所述含标记患者图片具有flair、t1、t1ce、t2四种MRI成像模态且经过归一化处理，所述归一化处理的公式为：
IN＝(I-Imin)/(Imax-Imin) (5)
其中，IN表示输入的一所述含标记患者图片归一化后的值，Imin和Imax分别表示所述含标记患者图片中的最小像素值和最大像素值，I表示输入的一所述含标记患者图片的像素值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010667811.2A CN111833359B (zh) | 2020-07-13 | 2020-07-13 | 基于生成对抗网络的脑瘤分割数据增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010667811.2A CN111833359B (zh) | 2020-07-13 | 2020-07-13 | 基于生成对抗网络的脑瘤分割数据增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111833359A true CN111833359A (zh) | 2020-10-27 |
| CN111833359B CN111833359B (zh) | 2022-07-12 |
Family
ID=72899871
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010667811.2A Active CN111833359B (zh) | 2020-07-13 | 2020-07-13 | 基于生成对抗网络的脑瘤分割数据增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111833359B (zh) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112258530A (zh) * | 2020-12-21 | 2021-01-22 | 四川大学 | 基于神经网络的计算机辅助肺结节自动分割方法 |
| CN112419340A (zh) * | 2020-12-09 | 2021-02-26 | 沈阳先进医疗设备技术孵化中心有限公司 | 脑脊液分割模型的生成方法、应用方法及装置 |
| CN112508775A (zh) * | 2020-12-10 | 2021-03-16 | 深圳先进技术研究院 | 基于循环生成对抗网络的mri-pet图像模态转换方法及系统 |
| CN112508862A (zh) * | 2020-11-19 | 2021-03-16 | 电子科技大学 | 一种通过改进gan增强裂纹磁光图像的方法 |
| CN112668424A (zh) * | 2020-12-19 | 2021-04-16 | 北京工业大学 | 基于rbsagan的数据增广方法 |
| CN113033567A (zh) * | 2021-03-22 | 2021-06-25 | 安阳师范学院 | 一种融合分割网络和生成网络的甲骨拓片图像字符提取方法 |
| CN113222114A (zh) * | 2021-04-22 | 2021-08-06 | 北京科技大学 | 一种图像数据增广方法及装置 |
| CN113223014A (zh) * | 2021-05-08 | 2021-08-06 | 中国科学院自动化研究所 | 基于数据增强的脑部图像分析系统、方法及设备 |
| CN113688832A (zh) * | 2021-08-27 | 2021-11-23 | 北京三快在线科技有限公司 | 一种模型训练及图像处理方法、装置 |
| CN113724266A (zh) * | 2021-07-26 | 2021-11-30 | 山东师范大学 | 胶质瘤分割方法及系统 |
| CN114240950A (zh) * | 2021-11-23 | 2022-03-25 | 电子科技大学 | 一种基于深度神经网络的脑部肿瘤图像生成和分割方法 |
| CN114373532A (zh) * | 2021-12-31 | 2022-04-19 | 华南理工大学 | 基于目标感知生成对抗网络的多模态医学图像翻译方法 |
| EP4075380A1 (en) * | 2021-04-16 | 2022-10-19 | Heuron Co., Ltd. | Medical image-based tumor detection and diagnostic device |
| CN115409837A (zh) * | 2022-11-01 | 2022-11-29 | 北京大学第三医院（北京大学第三临床医学院） | 一种基于多模态ct图像的子宫内膜癌ctv自动勾画方法 |
| WO2023097640A1 (zh) * | 2021-12-03 | 2023-06-08 | 宁德时代新能源科技股份有限公司 | 用于生成包含特定特征的图像样本的方法和系统 |
| CN117034142A (zh) * | 2023-10-07 | 2023-11-10 | 之江实验室 | 一种不平衡医疗数据缺失值填充方法及系统 |
| CN117911705A (zh) * | 2024-03-19 | 2024-04-19 | 成都理工大学 | 一种基于GAN-UNet变体网络的脑部MRI肿瘤分割方法 |
| CN114373532B (zh) * | 2021-12-31 | 2024-07-02 | 华南理工大学 | 基于目标感知生成对抗网络的多模态医学图像翻译方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110993094A (zh) * | 2019-11-19 | 2020-04-10 | 中国科学院深圳先进技术研究院 | 一种基于医学图像的智能辅助诊断方法及终端 |
| CN111402179A (zh) * | 2020-03-12 | 2020-07-10 | 南昌航空大学 | 结合对抗自编码器和生成对抗网络的图像合成方法及系统 |
-
2020
- 2020-07-13 CN CN202010667811.2A patent/CN111833359B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110993094A (zh) * | 2019-11-19 | 2020-04-10 | 中国科学院深圳先进技术研究院 | 一种基于医学图像的智能辅助诊断方法及终端 |
| CN111402179A (zh) * | 2020-03-12 | 2020-07-10 | 南昌航空大学 | 结合对抗自编码器和生成对抗网络的图像合成方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| HOO-CHANG SHIN ET AL.: "Medical Image Synthesis for Data Augmentation and Anonymization using Generative Adversarial Networks", 《ARXIV:1807.10225V2 [CS.CV]》 * |
| ZIQIANG ZHENG ET AL.: "Photo-to-Caricature Translation on Faces in the Wild", 《ARXIV:1711.10735V1 [CS.CV]》 * |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112508862A (zh) * | 2020-11-19 | 2021-03-16 | 电子科技大学 | 一种通过改进gan增强裂纹磁光图像的方法 |
| CN112419340A (zh) * | 2020-12-09 | 2021-02-26 | 沈阳先进医疗设备技术孵化中心有限公司 | 脑脊液分割模型的生成方法、应用方法及装置 |
| CN112508775A (zh) * | 2020-12-10 | 2021-03-16 | 深圳先进技术研究院 | 基于循环生成对抗网络的mri-pet图像模态转换方法及系统 |
| CN112668424A (zh) * | 2020-12-19 | 2021-04-16 | 北京工业大学 | 基于rbsagan的数据增广方法 |
| CN112668424B (zh) * | 2020-12-19 | 2024-02-06 | 北京工业大学 | 基于rbsagan的数据增广方法 |
| CN112258530A (zh) * | 2020-12-21 | 2021-01-22 | 四川大学 | 基于神经网络的计算机辅助肺结节自动分割方法 |
| CN113033567A (zh) * | 2021-03-22 | 2021-06-25 | 安阳师范学院 | 一种融合分割网络和生成网络的甲骨拓片图像字符提取方法 |
| EP4075380A1 (en) * | 2021-04-16 | 2022-10-19 | Heuron Co., Ltd. | Medical image-based tumor detection and diagnostic device |
| US11568538B2 (en) | 2021-04-16 | 2023-01-31 | Heuron Co., Ltd. | Medical image-based tumor detection and diagnostic device |
| CN113222114A (zh) * | 2021-04-22 | 2021-08-06 | 北京科技大学 | 一种图像数据增广方法及装置 |
| CN113222114B (zh) * | 2021-04-22 | 2023-08-15 | 北京科技大学 | 一种图像数据增广方法及装置 |
| CN113223014A (zh) * | 2021-05-08 | 2021-08-06 | 中国科学院自动化研究所 | 基于数据增强的脑部图像分析系统、方法及设备 |
| CN113724266B (zh) * | 2021-07-26 | 2022-12-20 | 山东师范大学 | 胶质瘤分割方法及系统 |
| CN113724266A (zh) * | 2021-07-26 | 2021-11-30 | 山东师范大学 | 胶质瘤分割方法及系统 |
| CN113688832A (zh) * | 2021-08-27 | 2021-11-23 | 北京三快在线科技有限公司 | 一种模型训练及图像处理方法、装置 |
| CN114240950A (zh) * | 2021-11-23 | 2022-03-25 | 电子科技大学 | 一种基于深度神经网络的脑部肿瘤图像生成和分割方法 |
| CN114240950B (zh) * | 2021-11-23 | 2023-04-07 | 电子科技大学 | 一种基于深度神经网络的脑部肿瘤图像生成和分割方法 |
| US11804037B1 (en) | 2021-12-03 | 2023-10-31 | Contemporary Amperex Technology Co., Limited | Method and system for generating image sample having specific feature |
| WO2023097640A1 (zh) * | 2021-12-03 | 2023-06-08 | 宁德时代新能源科技股份有限公司 | 用于生成包含特定特征的图像样本的方法和系统 |
| CN114373532A (zh) * | 2021-12-31 | 2022-04-19 | 华南理工大学 | 基于目标感知生成对抗网络的多模态医学图像翻译方法 |
| CN114373532B (zh) * | 2021-12-31 | 2024-07-02 | 华南理工大学 | 基于目标感知生成对抗网络的多模态医学图像翻译方法 |
| CN115409837A (zh) * | 2022-11-01 | 2022-11-29 | 北京大学第三医院（北京大学第三临床医学院） | 一种基于多模态ct图像的子宫内膜癌ctv自动勾画方法 |
| CN117034142A (zh) * | 2023-10-07 | 2023-11-10 | 之江实验室 | 一种不平衡医疗数据缺失值填充方法及系统 |
| CN117034142B (zh) * | 2023-10-07 | 2024-02-09 | 之江实验室 | 一种不平衡医疗数据缺失值填充方法及系统 |
| CN117911705A (zh) * | 2024-03-19 | 2024-04-19 | 成都理工大学 | 一种基于GAN-UNet变体网络的脑部MRI肿瘤分割方法 |
| CN117911705B (zh) * | 2024-03-19 | 2024-05-28 | 成都理工大学 | 一种基于GAN-UNet变体网络的脑部MRI肿瘤分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111833359B (zh) | 2022-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111833359B (zh) | 基于生成对抗网络的脑瘤分割数据增强方法 | |
| Ye et al. | Multi-depth fusion network for whole-heart CT image segmentation | |
| Huang et al. | Diagnosis of Alzheimer’s disease via multi-modality 3D convolutional neural network | |
| Ramzan et al. | Volumetric segmentation of brain regions from MRI scans using 3D convolutional neural networks | |
| Ueda et al. | An age estimation method using 3D-CNN from brain MRI images | |
| Dou et al. | A deep attentive convolutional neural network for automatic cortical plate segmentation in fetal MRI | |
| Chen et al. | HSN: hybrid segmentation network for small cell lung cancer segmentation | |
| Hua et al. | Segmenting brain tumor using cascaded V-Nets in multimodal MR images | |
| Sun et al. | Hierarchical amortized GAN for 3D high resolution medical image synthesis | |
| US9687199B2 (en) | Medical imaging system providing disease prognosis | |
| CN113506310B (zh) | 医学图像的处理方法、装置、电子设备和存储介质 | |
| Gore et al. | Comparative study of various techniques using deep Learning for brain tumor detection | |
| CN110288609A (zh) | 一种注意力机制引导的多模态全心脏图像分割方法 | |
| WO2022121100A1 (zh) | 一种基于darts网络的多模态医学图像融合方法 | |
| Kamiya | Deep learning technique for musculoskeletal analysis | |
| CN112529909A (zh) | 一种基于图像补全的肿瘤图像脑区分割方法及系统 | |
| Oh et al. | Semantic segmentation of white matter in FDG-PET using generative adversarial network | |
| Kong et al. | Automatic tissue image segmentation based on image processing and deep learning | |
| CN114565816B (zh) | 一种基于全局信息融合的多模态医学图像融合方法 | |
| CN113628220B (zh) | 基于改进的U-Net网络对MRI脑肿瘤图像的分割方法及系统 | |
| Fashandi et al. | An investigation of the effect of fat suppression and dimensionality on the accuracy of breast MRI segmentation using U‐nets | |
| Liu et al. | An automatic cardiac segmentation framework based on multi-sequence MR image | |
| Lindner et al. | Using synthetic training data for deep learning-based GBM segmentation | |
| Mecheter et al. | Deep learning with multiresolution handcrafted features for brain MRI segmentation | |
| Zhan et al. | D2FE-GAN: Decoupled dual feature extraction based GAN for MRI image synthesis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |