CN114119788A - 一种基于对抗生成网络的多模态医学图像编码与生成方法 - Google Patents
一种基于对抗生成网络的多模态医学图像编码与生成方法 Download PDFInfo
- Publication number
- CN114119788A CN114119788A CN202111454051.8A CN202111454051A CN114119788A CN 114119788 A CN114119788 A CN 114119788A CN 202111454051 A CN202111454051 A CN 202111454051A CN 114119788 A CN114119788 A CN 114119788A
- Authority
- CN
- China
- Prior art keywords
- image
- sequence
- training
- pattern
- generator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 47
- 238000013528 artificial neural network Methods 0.000 claims abstract description 22
- 230000003042 antagnostic effect Effects 0.000 claims abstract description 20
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 35
- 206010028980 Neoplasm Diseases 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 7
- 230000014759 maintenance of location Effects 0.000 claims description 6
- 208000005017 glioblastoma Diseases 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 4
- 208000030173 low grade glioma Diseases 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 230000001338 necrotic effect Effects 0.000 claims description 4
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 claims description 4
- 210000003625 skull Anatomy 0.000 claims description 4
- 206010072360 Peritumoural oedema Diseases 0.000 claims description 3
- JXSJBGJIGXNWCI-UHFFFAOYSA-N diethyl 2-[(dimethoxyphosphorothioyl)thio]succinate Chemical compound CCOC(=O)CC(SP(=S)(OC)OC)C(=O)OCC JXSJBGJIGXNWCI-UHFFFAOYSA-N 0.000 claims description 3
- 208000029824 high grade glioma Diseases 0.000 claims description 3
- 201000011614 malignant glioma Diseases 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 2
- 238000000605 extraction Methods 0.000 abstract description 3
- 238000007781 pre-processing Methods 0.000 abstract 1
- 230000006872 improvement Effects 0.000 description 7
- 238000003745 diagnosis Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 206010030113 Oedema Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 208000003174 Brain Neoplasms Diseases 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000002075 inversion recovery Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种基于对抗生成网络的多模态医学图像编码与生成方法，包括以下步骤：对数据预处理并得到训练数据集、模拟临床MRI序列缺失的场景、构建生成对抗神经网络和训练生成对抗神经网络；本发明通过一次性地训练一个网络，实现同时对多种MRI序列的特征提取，与现有模型相比，翻译图像的质量更高，具备了将输入的MRI的图像灵活地翻译成任何所需的MRI序列的能力，可以解决对各种模态MRI图像的特征编码以及MRI多模态图像间的相互生成，且采用无监督的训练方式，在训练数据模态缺失的情况下，依旧可以训练生成网络，更加符合临床场景，可以实现任意多模态间的图像生成。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于对抗生成网络的多模态医学图像编码与生成方法。
背景技术
磁共振成像(MRI)可以获得多种不同序列(例如T1加权、T2加权、T1增强对比(T1c)和T2液体衰减反转恢复(T2FLAIR)等)，其中每个序列能够提供不同的组织对比视图和空间分辨率，序列间的组合提供了更多补充信息，使医生能够做出更准确的诊断和治疗，很多时候，特定的序列对特定的疾病诊断效果最佳，例如，对于胶质母细胞瘤的诊断而言，T1和T2的FLAIR序列可以清楚地显示肿瘤的水肿区，T1c序列可以清晰地显示肿瘤周围的强化区域。
然而，由于机构间采集协议的差异、时间限制和图像伪影的存在，很多时候很难获得患者的足够多的MRI序列，导致MRI检查中经常缺少序列，此外，不同中心产生的MRI序列因技术人员、机器、患者状况和其他因素的不同而有很大差异，这限制了MRI序列跨中心的比较和研究。
上述问题不仅干扰了医生的诊断，也阻碍了许多下游数据的分析，这些分析通常假设存在特定的一组脉冲序列来执行他们的任务，尽管基于深度学习、有明确的临床需求的脑肿瘤分割取得了很大进展，但将最先进的计算方法转化为临床常规的使用工具仍然是一个重大挑战，因为大多数方法都依赖于向模型输入特定的序列，因此模型在某些序列缺失的情况下可能会失效，此外，来自单个中心的稀疏MRI序列通常数据量太小不足以训练模型，而跨中心MRI序列的差异使模型即使能在大量公共数据上训练，却依旧很难在本地数据上发挥作用。
目前针对MRI缺失序列和跨中心差异的解决方法中，修改现有分析方法和模型结构以处理丢失的序列是困难的，并且会可能导致模型性能下降，此外，由于区域解剖结构的变化，重新进行扫描以获取丢失的序列是耗时的，并且前后扫描之间缺乏一致性，因此，本发明提出一种基于对抗生成网络的多模态医学图像编码与生成方法以解决现有技术中存在的问题。
发明内容
针对上述问题，本发明的目的在于提出一种基于对抗生成网络的多模态医学图像编码与生成方法，该方法通过一次性地训练一个网络，实现同时对多种MRI序列的特征提取，具备了将输入的MRI的图像灵活地翻译成任何所需的MRI序列的能力，可以解决对各种模态MRI图像的特征编码以及MRI多模态图像间的相互生成，且采用无监督的训练方式，在训练数据模态缺失的情况下，依旧可以训练生成网络。
为了实现本发明的目的，本发明通过以下技术方案实现：一种基于对抗生成网络的多模态医学图像编码与生成方法，包括以下步骤：
步骤一：先从不同机构采集不同患者的磁共振扫描数据，再使用线性插值器将所有的磁共振扫描数据重新采样到1mm3的各向同性分辨率，剥离颅骨，并使用具有互信息相似性度量的刚性配准模型与单个解剖模板共同配准，得到训练数据集；
步骤二：将训练数据集分为四组，且每组只有一种磁共振成像序列，并以此为基础模拟符合临床实际的磁共振成像序列缺失场景；
步骤三：根据模拟出的符合临床实际的磁共振成像序列缺失场景，设计适用于多模态图像生成的生成对抗神经网络，具体为：设X和Y分别为MRI图像和MRI序列的集合，给定一个图像x∈X和一个序列y∈Y，训练一个生成器G，通过该生成器G生成与图像x对应的序列y的图像，再设计一个样式编码器E来学习代表特定序列y的样式码s，并训练生成器G来反映该样式码s，然后设计一个鉴别器D确定图像x是目标序列y的真实图像或由生成器G产生的假图像G(x，s)；
步骤四：对生成对抗神经网络进行训练，且每轮训练接受来自不同患者的不同模态的图片，其中一个作为源序列，另一个作为目标序列，每轮训练随机选择源序列和目标序列，使生成对抗神经网络实现任意序列间的互相转换，先通过样式编码器E提取目标图像序列的风格特征，并以样式码s表示，再通过生成器G以该样式码s为参考，将源序列的图片转换到目标序列的图片，然后通过鉴别器D判断生成的序列是否属于目标序列。
进一步改进在于：所述步骤一中，所述训练数据集分为两个队列，分别为胶质母细胞瘤/高级别胶质瘤和低级别胶质瘤，患者的磁共振扫描数据包含四个脉冲序列，分别为T1、T2、T1ce和FLAIR，临床医生和委员会认证的放射科医生对所有磁共振扫描数据手动注释，每个肿瘤被分割成强化的肿瘤、瘤周水肿以及坏死和非强化的肿瘤核心。
进一步改进在于：所述步骤三中，所述生成对抗神经网络实现任意序列之间的转换，以便任何现有序列生成任何丢失的序列，所述生成对抗神经网络在单次训练过程接受来自不同患者的不同模态。
进一步改进在于：所述步骤三中，所述生成器G将输入图像x转换为反映样式码s的输出图像G(x，s)，样式码s的输出图像G(x，s)由映射网络F或样式编码器E提供，其中s被设计为表示特定序列的y的样式。
进一步改进在于：所述步骤三中，所述样式编码器E给定图像x及其目标序列y，所述样式编码器E提取x的样式码s＝Ey(x)，其中，Ey(·)表示对应于域y的E的输出，所述样式编码器E使用不同的参考图像产生不同的样式代码。
进一步改进在于：所述步骤三中，所述鉴别器D为多任务鉴别器并由多组输出分支组成的，所述鉴别器D通过每组分支学习确定图像x是目标序列y的真实图像还是由生成器G产生的假图像G(x，s)。
进一步改进在于：所述步骤四，训练过程中的损失函数包括特征保留损失、样式编码损失和对抗损失，所述特征保留损失具体为：生成器G以源序列的样式码s为参考将生成的目标序列图像还原成源序列的图像，且还原的图像与源序列的真实图像一致；所述样式编码损失具体为：样式编码器E提取生成图像的样式码s’，且提取的样式码s’与从目标序列图像中提取的样式码s相似；所述对抗损失具体为：鉴别器D判断生成的图象是否输入目标序列，之后固定生成器G和样式编码器E的参数，使用对抗损失更新鉴别器D的参数。
本发明的有益效果为：本发明使用一种改良的生成对抗神经网络来执行多个MRI序列图像间的同时转换，该生成对抗神经网络框架结构允许在单个网络内一次性地利用多序列和多中心的MRI序列进行训练，即通过一次性地训练一个网络，实现同时对多种MRI序列的特征提取，与现有模型相比，翻译图像的质量更高，具备了将输入的MRI的图像灵活地翻译成任何所需的MRI序列的能力，可以解决对各种模态MRI图像的特征编码以及MRI多模态图像间的相互生成，且采用无监督的训练方式，在训练数据模态缺失的情况下，依旧可以训练生成网络，更加符合临床场景，可以实现任意多模态间的图像生成。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中的方法流程示意图；
图2是本发明实施例中的训练数据集示意图；
图3是本发明实施例中的生成对抗神经网络框架示意图；
图4是本发明实施例中的一轮训练过程示意图；
图5是本发明实施例中的损失函数示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1、2、3、4、5，本实施例提供了一种基于对抗生成网络的多模态医学图像编码与生成方法，包括以下步骤：
步骤一：先从不同机构采集不同患者的磁共振(MR)扫描数据，再使用线性插值器将所有的磁共振扫描数据重新采样到1mm3的各向同性分辨率，剥离颅骨，并使用具有互信息相似性度量的刚性配准模型与单个解剖模板共同配准，得到训练数据集；
训练数据集由来自多个不同机构的总共335名患者MR扫描组成，分为两个队列：胶质母细胞瘤/高级别胶质瘤(GBM/HGG)(259例)和低级别胶质瘤(LGG)(76例)，患者扫描包含四个脉冲序列T1、T2、T1c和T2FLAIR，如图2所示；
临床医生和委员会认证的放射科医生对所有的扫描数据手动注释，每个肿瘤被分割成强化的肿瘤(enhancing tumor)、瘤周水肿(the peritumoral edema)以及坏死和非强化的肿瘤核心(the necrotic and non-enhancing tumor core)；
步骤二：将训练数据集分为四组，且每组只有一种磁共振成像(MRI)序列，并以此为基础模拟符合临床实际的磁共振成像序列缺失场景，该场景最极端的情况，即每个患者只有一种MRI序列(在临床实践中，患者可能会有更多的MRI序列，本实施例只是用这个最困难的例子来证明本发明方法的有效性)；
步骤三：根据模拟出的符合临床实际的磁共振成像序列缺失场景，设计适用于多模态图像生成的生成对抗神经网络(GAN)，其框架如图3所示，具体为：设X和Y分别为MRI图像和MRI序列的集合，给定一个图像x∈X和一个序列y∈Y，训练一个生成器G，通过该生成器G生成与图像x对应的序列y的图像，再设计一个样式编码器E来学习代表特定序列y的样式码s，并训练生成器G来反映该样式码s，然后设计一个鉴别器D确定图像x是目标序列y的真实图像或由生成器G产生的假图像G(x，s)；
所述生成对抗神经网络具备以下特点：
多模态，假设不能知道患者在临床中可能丢失了哪个序列，例如，在本实施例模拟的场景中，所有四个序列都可能丢失，因此该生成对抗神经网络应该实现任意序列之间的转换，以便任何现有序列都可以生成任何丢失的序列；
无监督，由于训练数据序列缺失，无法提供监督信息，因此需要一次训练过程接受的是来自不同患者的不同模态，而不是同一个患者的配对好的不同模态；
所述生成器G将输入图像x转换为反映样式码s的输出图像G(x，s)，样式码s的输出图像G(x，s)由映射网络F或样式编码器E提供，其中s被设计为表示特定序列的y的样式，并允许生成器G合成所有序列的MRI图像；
所述样式编码器E给定图像x及其目标序列y，所述样式编码器E提取x的样式码s＝Ey(x)，其中，Ey(·)表示对应于域y的E的输出，与映射网络F类似，样式编码器E受益于多任务学习设置，样式编码器E可以使用不同的参考图像产生不同的样式代码，生成器允许G合成反映参考图像x的样式s的输出图像；
所述鉴别器D为多任务鉴别器并由多组输出分支组成的，所述鉴别器D通过每组分支学习确定图像x是目标序列y的真实图像还是由生成器G产生的假图像G(x，s)；
步骤四：对生成对抗神经网络进行训练，生成对抗神经网络的训练过程是无监督的，即每轮训练接受来自不同患者的不同模态的图片，其中一个作为源序列，另一个作为目标序列(如图3所示，指向GAN的箭头表示源序列，从GAN发出的箭头表示目标序列)，每轮训练随机选择源序列和目标序列，使生成对抗神经网络实现任意序列间的互相转换，先通过样式编码器E提取目标图像序列的风格特征，并以样式码s表示，再通过生成器G以该样式码s为参考，将源序列的图片转换到目标序列的图片，然后通过鉴别器D判断生成的序列是否属于目标序列；
如图4所示，以一次训练为例展示训练过程，在该轮训练过程中，T1视为源序列，T1ce视为目标序列，样式编码器E提取来自患者二的T1ce序列的特征，生成器G以该特征为参考，从患者一的T1序列的图像生成T1ce序列的图像，鉴别器D判断生成的T1ce图像与提取的T1ce的特征是否相符；
如图5所示，训练过程中的损失函数包括特征保留损失、样式编码损失和对抗损失，所述特征保留损失具体为：生成器G以源序列的样式码s为参考将生成的目标序列图像还原成源序列的图像，且还原的图像与源序列的真实图像一致；所述样式编码损失具体为：样式编码器E提取生成图像的样式码s’，且提取的样式码s’与从目标序列图像中提取的样式码s相似；所述对抗损失具体为：鉴别器D判断生成的图象是否输入目标序列，之后固定生成器G和样式编码器E的参数，使用对抗损失更新鉴别器D的参数。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于对抗生成网络的多模态医学图像编码与生成方法，其特征在于，包括以下步骤：
步骤一：先从不同机构采集不同患者的磁共振扫描数据，再使用线性插值器将所有的磁共振扫描数据重新采样到1mm3的各向同性分辨率，剥离颅骨，并使用具有互信息相似性度量的刚性配准模型与单个解剖模板共同配准，得到训练数据集；
步骤二：将训练数据集分为四组，且每组只有一种磁共振成像序列，并以此为基础模拟符合临床实际的磁共振成像序列缺失场景；
步骤三：根据模拟出的符合临床实际的磁共振成像序列缺失场景，设计适用于多模态图像生成的生成对抗神经网络，具体为：设X和Y分别为MRI图像和MRI序列的集合，给定一个图像x∈X和一个序列y∈Y，训练一个生成器G，通过该生成器G生成与图像x对应的序列y的图像，再设计一个样式编码器E来学习代表特定序列y的样式码s，并训练生成器G来反映该样式码s，然后设计一个鉴别器D确定图像x是目标序列y的真实图像或由生成器G产生的假图像G(x，s)；
步骤四：对生成对抗神经网络进行训练，且每轮训练接受来自不同患者的不同模态的图片，其中一个作为源序列，另一个作为目标序列，每轮训练随机选择源序列和目标序列，使生成对抗神经网络实现任意序列间的互相转换，先通过样式编码器E提取目标图像序列的风格特征，并以样式码s表示，再通过生成器G以该样式码s为参考，将源序列的图片转换到目标序列的图片，然后通过鉴别器D判断生成的序列是否属于目标序列。
2.根据权利要求1所述的一种基于对抗生成网络的多模态医学图像编码与生成方法，其特征在于：所述步骤一中，所述训练数据集分为两个队列，分别为胶质母细胞瘤/高级别胶质瘤和低级别胶质瘤，患者的磁共振扫描数据包含四个脉冲序列，分别为T1、T2、T1ce和FLAIR，临床医生和委员会认证的放射科医生对所有磁共振扫描数据手动注释，每个肿瘤被分割成强化的肿瘤、瘤周水肿以及坏死和非强化的肿瘤核心。
3.根据权利要求1所述的一种基于对抗生成网络的多模态医学图像编码与生成方法，其特征在于：所述步骤三中，所述生成对抗神经网络实现任意序列之间的转换，以便任何现有序列生成任何丢失的序列，所述生成对抗神经网络在单次训练过程接受来自不同患者的不同模态。
4.根据权利要求1所述的一种基于对抗生成网络的多模态医学图像编码与生成方法，其特征在于：所述步骤三中，所述生成器G将输入图像x转换为反映样式码s的输出图像G(x，s)，样式码s的输出图像G(x，s)由映射网络F或样式编码器E提供，其中s被设计为表示特定序列的y的样式。
5.根据权利要求1所述的一种基于对抗生成网络的多模态医学图像编码与生成方法，其特征在于：所述步骤三中，所述样式编码器E给定图像x及其目标序列y，所述样式编码器E提取x的样式码s＝Ey(x)，其中，Ey(·)表示对应于域y的E的输出，所述样式编码器E使用不同的参考图像产生不同的样式代码。
6.根据权利要求1所述的一种基于对抗生成网络的多模态医学图像编码与生成方法，其特征在于：所述步骤三中，所述鉴别器D为多任务鉴别器并由多组输出分支组成的，所述鉴别器D通过每组分支学习确定图像x是目标序列y的真实图像还是由生成器G产生的假图像G(x，s)。
7.根据权利要求1所述的一种基于对抗生成网络的多模态医学图像编码与生成方法，其特征在于：所述步骤四，训练过程中的损失函数包括特征保留损失、样式编码损失和对抗损失，所述特征保留损失具体为：生成器G以源序列的样式码s为参考将生成的目标序列图像还原成源序列的图像，且还原的图像与源序列的真实图像一致；所述样式编码损失具体为：样式编码器E提取生成图像的样式码s’，且提取的样式码s’与从目标序列图像中提取的样式码s相似；所述对抗损失具体为：鉴别器D判断生成的图象是否输入目标序列，之后固定生成器G和样式编码器E的参数，使用对抗损失更新鉴别器D的参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111454051.8A CN114119788A (zh) | 2021-12-01 | 2021-12-01 | 一种基于对抗生成网络的多模态医学图像编码与生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111454051.8A CN114119788A (zh) | 2021-12-01 | 2021-12-01 | 一种基于对抗生成网络的多模态医学图像编码与生成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114119788A true CN114119788A (zh) | 2022-03-01 |
Family
ID=80369210
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111454051.8A Pending CN114119788A (zh) | 2021-12-01 | 2021-12-01 | 一种基于对抗生成网络的多模态医学图像编码与生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114119788A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115147679A (zh) * | 2022-06-30 | 2022-10-04 | 北京百度网讯科技有限公司 | 多模态图像识别方法和装置、模型训练方法和装置 |
| WO2023207743A1 (zh) * | 2022-04-27 | 2023-11-02 | 腾讯科技（深圳）有限公司 | 图像检测方法、装置、计算机设备、存储介质及程序产品 |
-
2021
- 2021-12-01 CN CN202111454051.8A patent/CN114119788A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023207743A1 (zh) * | 2022-04-27 | 2023-11-02 | 腾讯科技（深圳）有限公司 | 图像检测方法、装置、计算机设备、存储介质及程序产品 |
| CN115147679A (zh) * | 2022-06-30 | 2022-10-04 | 北京百度网讯科技有限公司 | 多模态图像识别方法和装置、模型训练方法和装置 |
| CN115147679B (zh) * | 2022-06-30 | 2023-11-14 | 北京百度网讯科技有限公司 | 多模态图像识别方法和装置、模型训练方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111461983B (zh) | 一种基于不同频度信息的图像超分辨率重建模型及方法 | |
| Huo et al. | Synseg-net: Synthetic segmentation without target modality ground truth | |
| Salem et al. | Multiple sclerosis lesion synthesis in MRI using an encoder-decoder U-NET | |
| Wang et al. | Cross-modality LGE-CMR segmentation using image-to-image translation based data augmentation | |
| CN110461228A (zh) | 使用多对比度和深度学习改进医学图像的质量 | |
| Sugimori | Classification of computed tomography images in different slice positions using deep learning | |
| CN110288609B (zh) | 一种注意力机制引导的多模态全心脏图像分割方法 | |
| CN114119788A (zh) | 一种基于对抗生成网络的多模态医学图像编码与生成方法 | |
| WO2023045482A1 (zh) | 基于长距离注意力模型重建的多层磁共振成像方法及装置 | |
| Chen et al. | Generative adversarial U-Net for domain-free medical image augmentation | |
| CN112488976A (zh) | 一种基于darts网络的多模态医学图像融合方法 | |
| CN112819914A (zh) | 一种pet图像处理方法 | |
| JP2022077991A (ja) | 医用画像処理装置、医用画像処理方法、医用画像処理プログラム、モデルトレーニング装置、およびトレーニング方法 | |
| JP7084494B2 (ja) | 重み画像生成装置、方法およびプログラム、判別器学習装置、方法およびプログラム、領域抽出装置、方法およびプログラム並びに判別器 | |
| Zhou et al. | Extracting and representing the cortical sulci | |
| Mamdouh et al. | Converting 2D-medical image files “DICOM” into 3D-models, based on image processing, and analysing their results with python programming | |
| Wang et al. | IGNFusion: an unsupervised information gate network for multimodal medical image fusion | |
| CN114529562A (zh) | 一种基于辅助学习任务与重分割约束的医学图像分割方法 | |
| Aldemir et al. | Chain code strategy for lossless storage and transfer of segmented binary medical data | |
| CN115984257A (zh) | 一种基于多尺度transformer的多模态医学图像融合方法 | |
| WO2022163402A1 (ja) | 学習済みモデルの生成方法、機械学習システム、プログラムおよび医療画像処理装置 | |
| CN115294023A (zh) | 肝脏肿瘤自动分割方法及装置 | |
| Zhong et al. | PMFSNet: Polarized Multi-scale Feature Self-attention Network For Lightweight Medical Image Segmentation | |
| CN114049334A (zh) | 一种以ct图像为输入的超分辨率mr成像方法 | |
| Tu et al. | Self pre-training with single-scale adapter for left atrial segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |