CN111862261B - 一种flair模态磁共振影像生成方法及系统 - Google Patents

一种flair模态磁共振影像生成方法及系统 Download PDF

Info

Publication number
CN111862261B
CN111862261B CN202010766229.1A CN202010766229A CN111862261B CN 111862261 B CN111862261 B CN 111862261B CN 202010766229 A CN202010766229 A CN 202010766229A CN 111862261 B CN111862261 B CN 111862261B
Authority
CN
China
Prior art keywords
magnetic resonance
image
flair
training
modal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010766229.1A
Other languages
English (en)
Other versions
CN111862261A (zh
Inventor
刘涛
程健
张心雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202010766229.1A priority Critical patent/CN111862261B/zh
Publication of CN111862261A publication Critical patent/CN111862261A/zh
Application granted granted Critical
Publication of CN111862261B publication Critical patent/CN111862261B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Medicines Containing Antibodies Or Antigens For Use As Internal Diagnostic Agents (AREA)

Abstract

本发明公开了一种FLAIR模态磁共振影像生成方法及系统。该方法包括：获取包括T1模态磁共振训练影像、与T1模态磁共振训练影像配对的FLAIR模态磁共振影像、年龄信息和性别信息的训练样本集；基于Pytorch框架构建生成对抗网络模型；基于训练样本集，采用反向传播算法和梯度下降算法对生成对抗网络模型进行训练得到FLAIR模态磁共振影像生成模型；采用交叉验证法对生成模型进行验证，得到验证后的FLAIR模态磁共振影像生成模型；将待测集输入至验证后的FLAIR模态磁共振影像生成模型中，得到FLAIR模态磁共振影像生成结果。本发明能生成清晰的FLAIR模态磁共振影像，提高影像的生成质量。

Description

一种FLAIR模态磁共振影像生成方法及系统
技术领域
本发明涉及计算机及神经科学技术领域，特别是涉及一种FLAIR模态磁共振影像生成方法及系统。
背景技术
磁共振成像(Magnetic resonance imaging，MRI)以其安全性和信息丰富性在各种医学成像技术中日益突出，并广泛应用于临床诊断和治疗。磁共振成像有不同的模式，每种模式都捕捉到了底层解剖学的某些特征，并提供了内在磁共振参数的独特视图。获取具有多个不同对比度的同一解剖结构的图像可增加MRI检查中可用诊断信息的多样性。
例如，在图像分割任务中，很多时候的数据只有T1模态，而在单一模态T1上分割效果不好。实验发现基于T1模态的分割倾向于过度分割图像，通过利用液体衰减反转恢复(Fluid-attenuated inversion recovery，FLAIR)模态影像的先验信息，可以提高分割准确率。大量研究证明T1影像结合FLAIR图像的分割结果会比单独在T1影像上分割效果要好，多模态磁共振影像结合将会提供更可靠的分割效果。然而由于后勤原因，大多数现有的数据集只包含T1影像，没有FLAIR影像，因而需要使用图像生成技术利用T1影像生成FLAIR影像。因而，T1影像生成对应的FLAIR影像是一个非常值得研究的问题，其目的是利用先验信息指导T1影像分割过程的优化。
传统的机器学习的方法在跨模态图像生成任务上无法获得满意的结果。因为跨模态的图像特征的差异较大，MRI任何两种模态之间的关系都是高度非线性的，而现有传统的机器学习的方法无法较好地模拟不同模态图像间的非线性关系，因而在图像生成任务上表现不佳。
发明内容
基于此，有必要提供一种FLAIR模态磁共振影像生成方法及系统，以生成清晰的FLAIR模态磁共振影像，提高影像的生成质量。
为实现上述目的，本发明提供了如下方案：
一种FLAIR模态磁共振影像生成方法，包括：
获取训练样本集；所述训练样本集包括T1模态磁共振训练影像、与所述T1模态磁共振训练影像配对的FLAIR模态磁共振影像、与所述T1模态磁共振训练影对应的年龄信息和性别信息；所述T1模态磁共振训练影像为配对的FLAIR模态磁共振影像已知的T1模态磁共振影像；
基于Pytorch框架，构建生成对抗网络模型；所述生成对抗网络模型包括生成器和判别器；所述生成器的输出连接所述判别器的输入；所述生成器为基于ResNet的UNet结构；所述判别器包括第一网络模型和第二网络模型；所述第一网络模型的结构与所述生成器的结构相同；所述第二网络模型为卷积神经网络；
基于所述训练样本集，采用反向传播算法和梯度下降算法对所述生成对抗网络模型进行训练，得到FLAIR模态磁共振影像生成模型；
采用交叉验证法对所述FLAIR模态磁共振影像生成模型进行验证，得到验证后的FLAIR模态磁共振影像生成模型；
将待测集输入至所述验证后的FLAIR模态磁共振影像生成模型中，得到FLAIR模态磁共振影像生成结果；所述待测集包括T1模态磁共振测试影像、与所述T1模态磁共振测试影像对应的年龄信息和性别信息；所述T1模态磁共振测试影像为配对的FLAIR模态磁共振影像未知的T1模态磁共振影像。
可选的，所述基于所述训练样本集，采用反向传播算法和梯度下降算法对所述生成对抗网络模型进行训练，得到FLAIR模态磁共振影像生成模型，具体包括：
将所述T1模态磁共振训练影像和与所述T1模态磁共振训练影对应的年龄信息和性别信息作为输入，与所述T1模态磁共振训练影像配对的FLAIR模态磁共振影像作为输出，采用反向传播算法和梯度下降算法对所述生成器进行训练，得到训练好的生成器；
采用FLAIR模态磁共振训练影像、所述T1模态磁共振训练影像、与所述T1模态磁共振训练影对应的年龄信息和性别信息对所述判别器进行训练，得到训练好的判别器；所述FLAIR模态磁共振训练影像为所述生成器输出的FLAIR模态磁共振影像或与所述T1模态磁共振训练影像配对的FLAIR模态磁共振影像；所述训练好的生成器和所述训练好的判别器构成FLAIR模态磁共振影像生成模型。
可选的，所述生成器包括生成器编码部分和生成器解码部分；
所述生成器编码部分包括依次连接的UNetConvBlock模块和四个降采样模块；所述UNetConvBlock模块包括两个第一卷积块；所述第一卷积块包括一个第一卷积层、一个批标准化层以及一个relu激活层；所述降采样模块包括卷积单元和一个ResidualUnit模块；所述卷积单元包括第二卷积层和dropout层；所述ResidualUnit模块包括第一分支和第二分支；所述第一分支包括两个第二卷积块；所述第二卷积块包括一个第一卷积层、一个批标准化层和一个relu激活层；所述第二分支包括一个第三卷积层、一个批标准化层和一个relu激活层；与所述T1模态磁共振训练影对应的年龄信息和性别信息均通过全连接层后输出的特征图像与第四个降采样模块的dropout层输出的特征图像合并；
所述生成器解码部分包括依次连接的四个上采样模块和第四卷积层；所述上采样模块包括反卷积块和ResidualUnit模块；所述反卷积块包括一个反卷积层、一个批标准化层和一个relu激活层。
可选的，所述第二网络模型包括依次连接的六个第三卷积块、一个resize操作块和三个全连接层；所述第三卷积块包括一个第五卷积层和一个leaky_relu激活层；六个第三卷积块对应的六个第五卷积层的卷积核参数分别为92、42、52、42、52、42。
可选的，在所述获取训练样本集之后，还包括：
对所述训练样本集进行预处理；所述预处理包括图像配准、头骨剥离、图像数据标准化以及图像块提取。
本发明还提供了一种FLAIR模态磁共振影像生成系统，包括：
训练样本集获取模块，用于获取训练样本集；所述训练样本集包括T1模态磁共振训练影像、与所述T1模态磁共振训练影像配对的FLAIR模态磁共振影像、与所述T1模态磁共振训练影对应的年龄信息和性别信息；所述T1模态磁共振训练影像为配对的FLAIR模态磁共振影像已知的T1模态磁共振影像；
网络模型构建模块，用于基于Pytorch框架，构建生成对抗网络模型；所述生成对抗网络模型包括生成器和判别器；所述生成器的输出连接所述判别器的输入；所述生成器为基于ResNet的UNet结构；所述判别器包括第一网络模型和第二网络模型；所述第一网络模型的结构与所述生成器的结构相同；所述第二网络模型为卷积神经网络；
训练模块，用于基于所述训练样本集，采用反向传播算法和梯度下降算法对所述生成对抗网络模型进行训练，得到FLAIR模态磁共振影像生成模型；
验证模块，用于采用交叉验证法对所述FLAIR模态磁共振影像生成模型进行验证，得到验证后的FLAIR模态磁共振影像生成模型；
影像生成模块，用于将待测集输入至所述验证后的FLAIR模态磁共振影像生成模型中，得到FLAIR模态磁共振影像生成结果；所述待测集包括T1模态磁共振测试影像、与所述T1模态磁共振测试影像对应的年龄信息和性别信息；所述T1模态磁共振测试影像为配对的FLAIR模态磁共振影像未知的T1模态磁共振影像。
可选的，所述训练模块，具体包括：
第一训练单元，用于将所述T1模态磁共振训练影像和与所述T1模态磁共振训练影对应的年龄信息和性别信息作为输入，与所述T1模态磁共振训练影像配对的FLAIR模态磁共振影像作为输出，采用反向传播算法和梯度下降算法对所述生成器进行训练，得到训练好的生成器；
第二训练单元，用于采用FLAIR模态磁共振训练影像、所述T1模态磁共振训练影像、与所述T1模态磁共振训练影对应的年龄信息和性别信息对所述判别器进行训练，得到训练好的判别器；所述FLAIR模态磁共振训练影像为所述生成器输出的FLAIR模态磁共振影像或与所述T1模态磁共振训练影像配对的FLAIR模态磁共振影像；所述训练好的生成器和所述训练好的判别器构成FLAIR模态磁共振影像生成模型。
可选的，所述网络模型构建模块中的所述生成器包括生成器编码部分和生成器解码部分；
所述生成器编码部分包括依次连接的UNetConvBlock模块和四个降采样模块；所述UNetConvBlock模块包括两个第一卷积块；所述第一卷积块包括一个第一卷积层、一个批标准化层以及一个relu激活层；所述降采样模块包括卷积单元和一个ResidualUnit模块；所述卷积单元包括第二卷积层和dropout层；所述ResidualUnit模块包括第一分支和第二分支；所述第一分支包括两个第二卷积块；所述第二卷积块包括一个第一卷积层、一个批标准化层和一个relu激活层；所述第二分支包括一个第三卷积层、一个批标准化层和一个relu激活层；与所述T1模态磁共振训练影对应的年龄信息和性别信息均通过全连接层后输出的特征图像与第四个降采样模块的dropout层输出的特征图像合并；
所述生成器解码部分包括依次连接的四个上采样模块和第四卷积层；所述上采样模块包括反卷积块和ResidualUnit模块；所述反卷积块包括一个反卷积层、一个批标准化层和一个relu激活层。
可选的，所述网络模型构建模块中的所述第二网络模型包括依次连接的六个第三卷积块、一个resize操作块和三个全连接层；所述第三卷积块包括一个第五卷积层和一个leaky_relu激活层；六个第三卷积块对应的六个第五卷积层的卷积核参数分别为92、42、52、42、52、42。
可选的，所述FLAIR模态磁共振影像生成系统还包括：
预处理模块，用于对所述训练样本集进行预处理；所述预处理包括图像配准、头骨剥离、图像数据标准化以及图像块提取。
与现有技术相比，本发明的有益效果是：
本发明提出了一种FLAIR模态磁共振影像生成方法及系统。该方法采用了基于生成对抗(GAN)思想的卷积神经网络结构，具体的基于Pytorch框架构建生成对抗网络模型(T12FLAIR-GAN)；生成对抗网络模型包括生成器和判别器；生成器的输出连接判别器的输入；生成器为基于ResNet的UNet结构；判别器包括第一网络模型和第二网络模型；第一网络模型的结构与生成器的结构相同；第二网络模型为卷积神经网络。该生成对抗网络模型能够更有效地提高特征的提取和利用效率，生成清晰的FLAIR模态磁共振影像，提高影像的生成质量，并保持实际训练成本不变。将年龄信息与性别信息与T1模态磁共振影像共同馈入到生成器中，可以提供更多的训练样本先验信息(年龄与性别)，能辅助FLAIR模态磁共振影像生成，进一步提高影像的生成质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的FLAIR模态磁共振影像生成方法的流程图；
图2为本发明实施例提供的生成对抗网络模型的框架图；
图3为本发明实施例提供的生成对抗网络模型中生成器的网络结构图；
图4为本发明实施例提供的生成器中的UNetConvBlock模块(3x3卷积模块)的结构图；
图5为本发明实施例提供的生成器中的ResidualUnit(残差连接单元)模块的结构图；
图6为本发明实施例提供的生成器中的上采样模块的结构图；
图7为本发明实施例提供的生成对抗网络模型中第二网络模型的结构图；
图8为本发明提供的FLAIR模态磁共振影像生成方法的一个具体实例的流程图；
图9为本发明实施例提供的FLAIR模态磁共振影像生成系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
磁共振成像有不同的模式，每种模式都捕捉到了底层解剖学的某些特征，并提供了内在磁共振参数的独特视图。获取具有多个不同对比度的同一解剖结构的图像可增加MRI检查中可用诊断信息的多样性。例如，在图像分割任务中，研究发现在单一模态T1上分割效果不好，可以利用其他序列，如FLAIR序列指导分割过程的优化。然而很多时候的数据只有T1模态，因而需要使用图像生成技术利用T1生成FLAIR模态。本发明旨在利用T1模态影像生成对应FLAIR模态影像，为后续T1模态分割过程提供先验信息，提升分割效果。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
生成对抗网络(GAN)的思想是利用博弈不断的优化生成器和判别器从而使得生成的图像与真实图像在分布上越来越相近。GAN相比传统的图像合成方法，生成的图像比较清晰，在一些任务上甚至达到以假乱真的程度，这使得GAN这一工具对医学影像研究者产生了极大的吸引力。但不同于自然图像，磁共振影像是一种三维的图像，而且训练样本量远小于自然图像，因此对生成对抗网络的结构提出了更高的挑战，要求卷积神经网络能对磁共振影像中所包含的信息进行充分的提取和利用。
本实施例的FLAIR模态磁共振影像生成方法，通过改进的生成对抗网络，基于T1模态磁共振影像并结合年龄信息和性别信息生成对应的FLAIR模态磁共振影像。本实施例将生成对抗网络做为一种高维特征提取器，结合年龄与性别信息对复杂的大脑磁共振影像的特征信息进行分层次表征描述，先表示出底层的特征，然后将这些底层特征组合得到更为细致丰富的高层特征进行表达，高效地提炼出有效特征，同时利用生成器和判别器的互相博弈学习，生成真实清晰的对应的FLAIR模态磁共振影像。
图1为本发明实施例提供的FLAIR模态磁共振影像生成方法的流程图。
参见图1，本实施例的FLAIR模态磁共振影像生成方法，包括：
步骤101：获取训练样本集；所述训练样本集包括T1模态磁共振训练影像、与所述T1模态磁共振训练影像配对的FLAIR模态磁共振影像、与所述T1模态磁共振训练影对应的年龄信息和性别信息；所述T1模态磁共振训练影像为配对的FLAIR模态磁共振影像已知的T1模态磁共振影像。所述T1模态磁共振训练影像可以为来自不同来源的T1模态磁共振影像。
具体的，在获取训练样本集后，还对所述训练样本集进行预处理。
所述预处理包括对训练样本集中的T1模态磁共振训练影像和配对的FLAIR模态磁共振影像进行图像配准、头骨剥离、图像数据标准化以及图像块提取。其中，所述图像配准包括将T1模态磁共振训练影像和配对的FLAIR模态磁共振影像执行非线性配准操作；所述头骨剥离包括通过预先设定阈值获取已配准后的磁共振影像的头骨剥离图像；所述图像数据标准化包括计算经过头骨剥离后的大脑轮廓内体素的平均值和标准差，将大脑轮廓内体素进行高斯标准化；所述图像块提取为图像patch块提取，包括将图像数据标准化后的磁共振影像切割成固定大小的重叠的patch，将切割好的patch作为所述生成对抗网络模型(T12FLAIR-GAN)的输入。
对于性别信息进行one-hot编码，其中男性编码为01，女性编码为10。
步骤102：基于Pytorch框架，构建生成对抗网络模型；所述生成对抗网络模型包括生成器和判别器；所述生成器的输出连接所述判别器的输入；所述生成器为基于ResNet的UNet结构；所述判别器包括第一网络模型和第二网络模型；所述第一网络模型的结构与所述生成器的结构相同；所述第二网络模型为卷积神经网络。生成对抗网络模型如图2所示，该图中的判别器1表示第一网络模型，判别器2表示第二网络模型。
所述生成器采用基于ResNet的UNet结构，同时在输入和输出之间添加长期的残差连接单元(long-termresidual unit)，并在训练时将年龄信息与编码好的性别信息分别通过全连接层(FCL)，并调整输出的特征图像(feature map)的大小，再与生成器的bottleneck处的特征图像合并后，共同馈入下一个卷积层。
如图3-图6所示，所述生成器包括生成器编码(encode)部分和生成器解码(decode)部分。所述长期的残差连接单元(long-term residual unit)是将生成器解码部分的输出和T1模态磁共振训练影像patch沿channel方向的中间层的影像相加之后，作为生成器的最终输出，即生成的FLAIR模态磁共振影像patch。
所述生成器编码部分包括依次连接的UNetConvBlock模块(3x3卷积模块)和四个降采样模块；所述UNetConvBlock模块包括两个第一卷积块；所述第一卷积块包括一个第一卷积层、一个批标准化层以及一个relu激活层；所述第一卷积层为stride＝1，padding＝1，kernel_size＝3x3的卷积层；所述降采样模块包括卷积单元和一个ResidualUnit(残差连接单元)模块；所述卷积单元包括第二卷积层和dropout层；所述第二卷积层为stride＝2，padding＝1，kernel_size＝4x4的卷积层；所述ResidualUnit模块包括第一分支和第二分支；所述第一分支包括两个第二卷积块；所述第二卷积块包括一个第一卷积层、一个批标准化层和一个relu激活层；所述第二分支包括一个第三卷积层、一个批标准化层和一个relu激活层；所述第三卷积层为stride＝1，padding＝0，kernel_size＝3x3的卷积层。与所述T1模态磁共振训练影对应的年龄信息和性别信息均通过全连接层(FCL)后，调整输出的特征图像的大小，再与第四个降采样模块的dropout层输出的特征图像合并，共同馈入后续的卷积层。ResidualUnit模块的输入分别送入两个分支进行卷积操作，最后将两个分支输出的特征图像相加作为最终输出。
所述生成器解码部分包括依次连接的四个上采样(UnetUpResBlock)模块和第四卷积层；所述上采样模块包括反卷积块和ResidualUnit模块；所述反卷积块包括一个反卷积层、一个批标准化层和一个relu激活层；所述第四卷积层为stride＝1,padding＝0,kernel_size＝1x1的卷积层。首先将生成器的上采样模块的输出经过反卷积块，该反卷积块中的反卷积层为stride＝2，padding＝0，kernel_size＝2的反卷积层，将所述反卷积块输出的特征图像和同一stage的生成器的降采样块的特征图像进行拼接合并，如果大小不一致，就对降采样模块的特征图像进行crop操作，合并后的特征图像共同馈入后面的UnetUpResBlock模块的ResidualUnit模块。
如图7所示，所述第二网络模型包括依次连接的六个第三卷积块、一个resize操作块和三个全连接层；所述第三卷积块包括一个第五卷积层和一个leaky_relu激活层；六个第三卷积块对应的六个第五卷积层的卷积核参数分别为92、42、52、42、52、42。
步骤103：基于所述训练样本集，采用反向传播算法和梯度下降算法对所述生成对抗网络模型进行训练，得到FLAIR模态磁共振影像生成模型。
所述步骤103，具体包括：
(1)将所述T1模态磁共振训练影像和与所述T1模态磁共振训练影对应的年龄信息和性别信息作为输入，与所述T1模态磁共振训练影像配对的FLAIR模态磁共振影像作为输出，采用反向传播算法和梯度下降算法对所述生成器进行训练，得到训练好的生成器。所述训练好的生成器为预测精度高、泛化能力强的模型。
具体的，所述生成器采用基于ResNet的UNet结构，输入预处理后的T1模态磁共振训练影像patch并结合年龄信息与one-hot编码的性别信息，输出对应生成的FLAIR模态磁共振影像patch。
(2)采用FLAIR模态磁共振训练影像、所述T1模态磁共振训练影像、与所述T1模态磁共振训练影对应的年龄信息和性别信息对所述判别器进行训练，得到训练好的判别器；所述FLAIR模态磁共振训练影像为所述生成器输出的FLAIR模态磁共振影像或与所述T1模态磁共振训练影像配对的FLAIR模态磁共振影像；所述训练好的生成器和所述训练好的判别器构成FLAIR模态磁共振影像生成模型。所述训练好的生成器和所述训练好的判别器均为预测精度高、泛化能力强的模型。
具体的，所述判别器中的第一网络模型在每轮训练过程中由上述生成器更新参数后复制过来，并在整个判别器反向传播更新权重时，该部分模型权重保持不变；第二网络模型是一个典型的CNN结构，在整个判别器反向传播时仅更新该部分模型权重。判别器的输入是配对的T1模态磁共振训练影像patch和生成器输出的FLAIR模态磁共振影像patch(或真实的FLAIR模态磁共振影像patch)，对于真实的配对(T1模态磁共振训练影像patch和真实的FLAIR模态磁共振影像patch)，判别器输出为1，对于虚假的配对(T1模态磁共振训练影像patch和生成器输出的FLAIR模态磁共振影像patch)，判别器输出为0。
步骤104：采用交叉验证法对所述FLAIR模态磁共振影像生成模型进行验证，得到验证后的FLAIR模态磁共振影像生成模型。具体的，采用交叉验证法对所述FLAIR模态磁共振影像生成模型进行验证，调整FLAIR模态磁共振影像生成模型训练中的超参数，得到验证后的FLAIR模态磁共振影像生成模型。
步骤105：将待测集输入至所述验证后的FLAIR模态磁共振影像生成模型中，得到FLAIR模态磁共振影像生成结果；所述待测集包括T1模态磁共振测试影像、与所述T1模态磁共振测试影像对应的年龄信息和性别信息；所述T1模态磁共振测试影像为配对的FLAIR模态磁共振影像未知的T1模态磁共振影像。
本实施例的FLAIR模态磁共振影像生成方法，采用基于GAN思想的深度卷积神经网络结构T12FLAIR-GAN，能够从磁共振影像中提取高维复杂特征，同时结合对应的年龄和性别信息，从而可以准确、高效、快速地从T1模态磁共振影像生成其对应的FLAIR模态磁共振影像。
本实施例的FLAIR模态磁共振影像生成方法的优点，具体如下：
(1)采用了基于GAN思想的卷积神经网络结构，即T12FLAIR-GAN。相比于一般的生成对抗网络，本实施例的判别器包括两个部分模型，第一网络模型由生成器复制过来，在反向传播时，该部分模型权重固定不更新；第二网络模型是一个简单的典型的CNN结构，在反向传播时正常更新该部分模型权重。该设计有以下优点：第一，该设计使得判别器的第一网络模型只需要每次复制训练好的生成器，本身不需要训练，这样可以减少模型的训练时间，加快训练速度；第二，判别器第二网络模型结构比较简单，这样可以大大减少整个判别器网络的设计成本；第三，判别器网络反向传播过程中实际只需要更新第二网络模型即可，第一网络模型使得整个判别器网络参数增多的同时，不增加训练成本。该设计能够更有效地提高特征的提取和利用效率，并保持实际训练成本不变。
(2)在深度学习模型设计过程中，相比一般的卷积网络，没有采用池化层，因为池化层会造成一定的模糊。同时T12FLAIR-GAN的生成器采用基于ResNet的UNet结构，ResNet的identity shortcut connection和UNet的skip connection设计能够融合多尺度特征，可以有效的提高特征利用率。
(3)将年龄与编码好的性别信息与T1模态磁共振影像共同馈入到生成器中，相比于传统的医学图像跨模态生成模型，可以提供更多的训练样本先验信息(年龄信息与性别信息)，辅助FLAIR模态磁共振影像生成。
(4)通过T1模态磁共振影像并结合年信息龄与性别信息，能准确、高效、快速的生成对应的FLAIR模态磁共振影像，为后续T1模态分割过程提供先验信息，提升分割效果。
下面提供一个具体实例进行说明。
本实例将将上述方法用于经过非线性配准及剥离头骨的大脑磁共振影像，采用FSL5.0fsl_anat命令进行处理，同时将训练集磁共振影像切割成固定大小的重叠的patch，使其满足生成对抗网络T1toFLAIR-GAN的输入；再结合对应的年龄、性别(one-hot编码)信息，通过生成对抗网络T1toFLAIR-GAN对输入的切割好的T1模态磁共振影像的patch进行多层卷积操作，将提取的特征多尺度融合后，得到对应的FALAIR模态磁共振影像的patch，最后将这些patch按照一定顺序拼接组合即为完整的生成的FALAIR模态磁共振影像。其中，在将所有T1模态磁共振影像的patch按照顺序依次输入T12FLAIR-GAN网络后，再将生成的FALAIR模态磁共振影像的patch按照相同的顺序重新拼接组合。具体实现方法如下：
如图8所示，首先是构建原始输入，即采用大脑T1模态磁共振影像作为原始输入，然后进行图像配准，配准后数据尺寸为240×240×48。
根据设定好的阈值，对配准后地影像中的头骨进行剥离，仅保留脑组织。
进行数据标准化，由于磁共振影像存在着大量黑色背景，会极大影响数据标准化效果，因此本实例首先通过设定阈值得到粗糙的大脑轮廓，然后计算大脑轮廓内体素的平均值和标准差，将脑部提速进行高斯标准化。
将尺寸为240×240×48的T1模态磁共振影像切割成64×64×5且有重叠的patch，依次输入到前期已训练好的生成对抗网络模型(T12FLAIR-GAN)的生成器中，并结合年龄与one-hot编码的性别信息，输出对应FLAIR模态磁共振影像的patch，最后将生成的所有的patch按照一定顺序拼接组合，得到最终完整的生成的FLAIR模态磁共振影像。
本发明还提供了一种FLAIR模态磁共振影像生成系统，图9为本发明实施例提供的FLAIR模态磁共振影像生成系统的结构示意图。
参见图9，本实施例的FLAIR模态磁共振影像生成系统包括：
训练样本集获取模块201，用于获取训练样本集；所述训练样本集包括T1模态磁共振训练影像、与所述T1模态磁共振训练影像配对的FLAIR模态磁共振影像、与所述T1模态磁共振训练影对应的年龄信息和性别信息；所述T1模态磁共振训练影像为配对的FLAIR模态磁共振影像已知的T1模态磁共振影像。
网络模型构建模块202，用于基于Pytorch框架，构建生成对抗网络模型；所述生成对抗网络模型包括生成器和判别器；所述生成器的输出连接所述判别器的输入；所述生成器为基于ResNet的UNet结构；所述判别器包括第一网络模型和第二网络模型；所述第一网络模型的结构与所述生成器的结构相同；所述第二网络模型为卷积神经网络。
训练模块203，用于基于所述训练样本集，采用反向传播算法和梯度下降算法对所述生成对抗网络模型进行训练，得到FLAIR模态磁共振影像生成模型。
验证模块204，用于采用交叉验证法对所述FLAIR模态磁共振影像生成模型进行验证，得到验证后的FLAIR模态磁共振影像生成模型。
影像生成模块205，用于将待测集输入至所述验证后的FLAIR模态磁共振影像生成模型中，得到FLAIR模态磁共振影像生成结果；所述待测集包括T1模态磁共振测试影像、与所述T1模态磁共振测试影像对应的年龄信息和性别信息；所述T1模态磁共振测试影像为配对的FLAIR模态磁共振影像未知的T1模态磁共振影像。
作为一种可选的实施方式，所述训练模块203，具体包括：
第一训练单元，用于将所述T1模态磁共振训练影像和与所述T1模态磁共振训练影对应的年龄信息和性别信息作为输入，与所述T1模态磁共振训练影像配对的FLAIR模态磁共振影像作为输出，采用反向传播算法和梯度下降算法对所述生成器进行训练，得到训练好的生成器。
第二训练单元，用于采用FLAIR模态磁共振训练影像、所述T1模态磁共振训练影像、与所述T1模态磁共振训练影对应的年龄信息和性别信息对所述判别器进行训练，得到训练好的判别器；所述FLAIR模态磁共振训练影像为所述生成器输出的FLAIR模态磁共振影像或与所述T1模态磁共振训练影像配对的FLAIR模态磁共振影像；所述训练好的生成器和所述训练好的判别器构成FLAIR模态磁共振影像生成模型。
作为一种可选的实施方式，所述网络模型构建模块202中的所述生成器包括生成器编码部分和生成器解码部分。
所述生成器编码部分包括依次连接的UNetConvBlock模块和四个降采样模块；所述UNetConvBlock模块包括两个第一卷积块；所述第一卷积块包括一个第一卷积层、一个批标准化层以及一个relu激活层；所述降采样模块包括卷积单元和一个ResidualUnit模块；所述卷积单元包括第二卷积层和dropout层；所述ResidualUnit模块包括第一分支和第二分支；所述第一分支包括两个第二卷积块；所述第二卷积块包括一个第一卷积层、一个批标准化层和一个relu激活层；所述第二分支包括一个第三卷积层、一个批标准化层和一个relu激活层；与所述T1模态磁共振训练影对应的年龄信息和性别信息均通过全连接层后输出的特征图像与第四个降采样模块的dropout层输出的特征图像合并。
所述生成器解码部分包括依次连接的四个上采样模块和第四卷积层；所述上采样模块包括反卷积块和ResidualUnit模块；所述反卷积块包括一个反卷积层、一个批标准化层和一个relu激活层。
作为一种可选的实施方式，所述网络模型构建模块202中的所述第二网络模型包括依次连接的六个第三卷积块、一个resize操作块和三个全连接层；所述第三卷积块包括一个第五卷积层和一个leaky_relu激活层；六个第三卷积块对应的六个第五卷积层的卷积核参数分别为92、42、52、42、52、42。
作为一种可选的实施方式，所述FLAIR模态磁共振影像生成系统还包括：
预处理模块，用于对所述训练样本集进行预处理；所述预处理包括图像配准、头骨剥离、图像数据标准化以及图像块提取。
本实施例的FLAIR模态磁共振影像生成系统，在传统对抗生成网络的基础上提出T12FLAIR-GAN网络结构，能够大大提高网络的特征利用率，获得更清晰真实的FLAIR模态磁共振影像；分析速度快，泛化能力强，且具有实用性，易用性。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种FLAIR模态磁共振影像生成方法，其特征在于，包括：
获取训练样本集；所述训练样本集包括T1模态磁共振训练影像、与所述T1模态磁共振训练影像配对的FLAIR模态磁共振影像、与所述T1模态磁共振训练影对应的年龄信息和性别信息；所述T1模态磁共振训练影像为配对的FLAIR模态磁共振影像已知的T1模态磁共振影像；
基于Pytorch框架，构建生成对抗网络模型；所述生成对抗网络模型包括生成器和判别器；所述生成器的输出连接所述判别器的输入；所述生成器为基于ResNet的UNet结构；所述判别器包括第一网络模型和第二网络模型；所述第一网络模型的结构与所述生成器的结构相同；所述第二网络模型为卷积神经网络；
基于所述训练样本集，采用反向传播算法和梯度下降算法对所述生成对抗网络模型进行训练，得到FLAIR模态磁共振影像生成模型；
采用交叉验证法对所述FLAIR模态磁共振影像生成模型进行验证，得到验证后的FLAIR模态磁共振影像生成模型；
将待测集输入至所述验证后的FLAIR模态磁共振影像生成模型中，得到FLAIR模态磁共振影像生成结果；所述待测集包括T1模态磁共振测试影像、与所述T1模态磁共振测试影像对应的年龄信息和性别信息；所述T1模态磁共振测试影像为配对的FLAIR模态磁共振影像未知的T1模态磁共振影像。
2.根据权利要求1所述的一种FLAIR模态磁共振影像生成方法，其特征在于，所述基于所述训练样本集，采用反向传播算法和梯度下降算法对所述生成对抗网络模型进行训练，得到FLAIR模态磁共振影像生成模型，具体包括：
将所述T1模态磁共振训练影像和与所述T1模态磁共振训练影对应的年龄信息和性别信息作为输入，与所述T1模态磁共振训练影像配对的FLAIR模态磁共振影像作为输出，采用反向传播算法和梯度下降算法对所述生成器进行训练，得到训练好的生成器；
采用FLAIR模态磁共振训练影像、所述T1模态磁共振训练影像、与所述T1模态磁共振训练影对应的年龄信息和性别信息对所述判别器进行训练，得到训练好的判别器；所述FLAIR模态磁共振训练影像为所述生成器输出的FLAIR模态磁共振影像或与所述T1模态磁共振训练影像配对的FLAIR模态磁共振影像；所述训练好的生成器和所述训练好的判别器构成FLAIR模态磁共振影像生成模型。
3.根据权利要求1所述的一种FLAIR模态磁共振影像生成方法，其特征在于，所述生成器包括生成器编码部分和生成器解码部分；
所述生成器编码部分包括依次连接的UNetConvBlock模块和四个降采样模块；所述UNetConvBlock模块包括两个第一卷积块；所述第一卷积块包括一个第一卷积层、一个批标准化层以及一个relu激活层；所述降采样模块包括卷积单元和一个ResidualUnit模块；所述卷积单元包括第二卷积层和dropout层；所述ResidualUnit模块包括第一分支和第二分支；所述第一分支包括两个第二卷积块；所述第二卷积块包括一个第一卷积层、一个批标准化层和一个relu激活层；所述第二分支包括一个第三卷积层、一个批标准化层和一个relu激活层；与所述T1模态磁共振训练影对应的年龄信息和性别信息均通过全连接层后输出的特征图像与第四个降采样模块的dropout层输出的特征图像合并；
所述生成器解码部分包括依次连接的四个上采样模块和第四卷积层；所述上采样模块包括反卷积块和ResidualUnit模块；所述反卷积块包括一个反卷积层、一个批标准化层和一个relu激活层。
4.根据权利要求1所述的一种FLAIR模态磁共振影像生成方法，其特征在于，所述第二网络模型包括依次连接的六个第三卷积块、一个resize操作块和三个全连接层；所述第三卷积块包括一个第五卷积层和一个leaky_relu激活层；六个第三卷积块对应的六个第五卷积层的卷积核参数分别为92、42、52、42、52、42。
5.根据权利要求1所述的一种FLAIR模态磁共振影像生成方法，其特征在于，在所述获取训练样本集之后，还包括：
对所述训练样本集进行预处理；所述预处理包括图像配准、头骨剥离、图像数据标准化以及图像块提取。
6.一种FLAIR模态磁共振影像生成系统，其特征在于，包括：
训练样本集获取模块，用于获取训练样本集；所述训练样本集包括T1模态磁共振训练影像、与所述T1模态磁共振训练影像配对的FLAIR模态磁共振影像、与所述T1模态磁共振训练影对应的年龄信息和性别信息；所述T1模态磁共振训练影像为配对的FLAIR模态磁共振影像已知的T1模态磁共振影像；
网络模型构建模块，用于基于Pytorch框架，构建生成对抗网络模型；所述生成对抗网络模型包括生成器和判别器；所述生成器的输出连接所述判别器的输入；所述生成器为基于ResNet的UNet结构；所述判别器包括第一网络模型和第二网络模型；所述第一网络模型的结构与所述生成器的结构相同；所述第二网络模型为卷积神经网络；
训练模块，用于基于所述训练样本集，采用反向传播算法和梯度下降算法对所述生成对抗网络模型进行训练，得到FLAIR模态磁共振影像生成模型；
验证模块，用于采用交叉验证法对所述FLAIR模态磁共振影像生成模型进行验证，得到验证后的FLAIR模态磁共振影像生成模型；
影像生成模块，用于将待测集输入至所述验证后的FLAIR模态磁共振影像生成模型中，得到FLAIR模态磁共振影像生成结果；所述待测集包括T1模态磁共振测试影像、与所述T1模态磁共振测试影像对应的年龄信息和性别信息；所述T1模态磁共振测试影像为配对的FLAIR模态磁共振影像未知的T1模态磁共振影像。
7.根据权利要求6所述的一种FLAIR模态磁共振影像生成系统，其特征在于，所述训练模块，具体包括：
第一训练单元，用于将所述T1模态磁共振训练影像和与所述T1模态磁共振训练影对应的年龄信息和性别信息作为输入，与所述T1模态磁共振训练影像配对的FLAIR模态磁共振影像作为输出，采用反向传播算法和梯度下降算法对所述生成器进行训练，得到训练好的生成器；
第二训练单元，用于采用FLAIR模态磁共振训练影像、所述T1模态磁共振训练影像、与所述T1模态磁共振训练影对应的年龄信息和性别信息对所述判别器进行训练，得到训练好的判别器；所述FLAIR模态磁共振训练影像为所述生成器输出的FLAIR模态磁共振影像或与所述T1模态磁共振训练影像配对的FLAIR模态磁共振影像；所述训练好的生成器和所述训练好的判别器构成FLAIR模态磁共振影像生成模型。
8.根据权利要求6所述的一种FLAIR模态磁共振影像生成系统，其特征在于，所述网络模型构建模块中的所述生成器包括生成器编码部分和生成器解码部分；
所述生成器编码部分包括依次连接的UNetConvBlock模块和四个降采样模块；所述UNetConvBlock模块包括两个第一卷积块；所述第一卷积块包括一个第一卷积层、一个批标准化层以及一个relu激活层；所述降采样模块包括卷积单元和一个ResidualUnit模块；所述卷积单元包括第二卷积层和dropout层；所述ResidualUnit模块包括第一分支和第二分支；所述第一分支包括两个第二卷积块；所述第二卷积块包括一个第一卷积层、一个批标准化层和一个relu激活层；所述第二分支包括一个第三卷积层、一个批标准化层和一个relu激活层；与所述T1模态磁共振训练影对应的年龄信息和性别信息均通过全连接层后输出的特征图像与第四个降采样模块的dropout层输出的特征图像合并；
所述生成器解码部分包括依次连接的四个上采样模块和第四卷积层；所述上采样模块包括反卷积块和ResidualUnit模块；所述反卷积块包括一个反卷积层、一个批标准化层和一个relu激活层。
9.根据权利要求6所述的一种FLAIR模态磁共振影像生成系统，其特征在于，所述网络模型构建模块中的所述第二网络模型包括依次连接的六个第三卷积块、一个resize操作块和三个全连接层；所述第三卷积块包括一个第五卷积层和一个leaky_relu激活层；六个第三卷积块对应的六个第五卷积层的卷积核参数分别为92、42、52、42、52、42。
10.根据权利要求6所述的一种FLAIR模态磁共振影像生成系统，其特征在于，还包括：
预处理模块，用于对所述训练样本集进行预处理；所述预处理包括图像配准、头骨剥离、图像数据标准化以及图像块提取。
CN202010766229.1A 2020-08-03 2020-08-03 一种flair模态磁共振影像生成方法及系统 Active CN111862261B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010766229.1A CN111862261B (zh) 2020-08-03 2020-08-03 一种flair模态磁共振影像生成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010766229.1A CN111862261B (zh) 2020-08-03 2020-08-03 一种flair模态磁共振影像生成方法及系统

Publications (2)

Publication Number Publication Date
CN111862261A CN111862261A (zh) 2020-10-30
CN111862261B true CN111862261B (zh) 2022-03-29

Family

ID=72952801

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010766229.1A Active CN111862261B (zh) 2020-08-03 2020-08-03 一种flair模态磁共振影像生成方法及系统

Country Status (1)

Country Link
CN (1) CN111862261B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529949A (zh) * 2020-12-08 2021-03-19 北京安德医智科技有限公司 一种基于t2图像生成dwi图像的方法及系统
CN113379616B (zh) * 2021-04-28 2023-09-05 北京航空航天大学 一种生成钆造影剂增强磁共振图像的方法
CN117077141A (zh) * 2023-10-13 2023-11-17 国网山东省电力公司鱼台县供电公司 一种智能电网恶意软件检测方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110827232A (zh) * 2019-11-14 2020-02-21 四川大学 基于形态特征gan的跨模态mri合成方法
CN110930397A (zh) * 2019-12-06 2020-03-27 陕西师范大学 一种磁共振图像分割方法、装置、终端设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110827232A (zh) * 2019-11-14 2020-02-21 四川大学 基于形态特征gan的跨模态mri合成方法
CN110930397A (zh) * 2019-12-06 2020-03-27 陕西师范大学 一种磁共振图像分割方法、装置、终端设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MS-GAN: GAN-based Semantic Segmentation of Multiple Sclerosis Lesions in Brain Magnetic Resonance Imaging;Chaoyi Zhang et al.;《2018 Digital Image Computing: Techniques and Applications》;20181213;全文 *
Multimodal MRI Brain Tumor Image Segmentation Using Sparse Subspace Clustering Algorithm;Li Liu et al.;《Computational and Mathematical Methods in Medicine》;20200704;全文 *
基于多网络集成的脑白质高信号分割方法;李鑫鑫 等;《中国卒中杂志》;20200331;第15卷(第3期);全文 *

Also Published As

Publication number Publication date
CN111862261A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN111862261B (zh) 一种flair模态磁共振影像生成方法及系统
US20180260951A1 (en) Deep Image-to-Image Recurrent Network with Shape Basis for Automatic Vertebra Labeling in Large-Scale 3D CT Volumes
Hu et al. Brain MR to PET synthesis via bidirectional generative adversarial network
Salem et al. Multiple sclerosis lesion synthesis in MRI using an encoder-decoder U-NET
CN107997778A (zh) 在计算机断层扫描血管造影术中基于深度学习的骨移除
Sudar et al. Alzheimer's Disease Analysis using Explainable Artificial Intelligence (XAI)
CN112365980B (zh) 脑肿瘤多靶点辅助诊断与前瞻性治疗演化可视化方法及系统
CN112686898B (zh) 一种基于自监督学习的放疗靶区自动分割方法
CN111932529B (zh) 一种图像分类分割方法、装置及系统
CN111881926A (zh) 图像生成、图像生成模型的训练方法、装置、设备及介质
CN112085736B (zh) 一种基于混维卷积的肾肿瘤分割方法
Cheng et al. DDU-Net: A dual dense U-structure network for medical image segmentation
Yao et al. GeminiNet: combine fully convolution network with structure of receptive fields for object detection
Al-Khasawneh et al. Alzheimer’s Disease Diagnosis Using MRI Images
Nelkenbaum et al. Automatic segmentation of white matter tracts using multiple brain MRI sequences
CN117218453B (zh) 一种不完备多模态医学影像学习方法
Hao et al. Improving audio-visual segmentation with bidirectional generation
Li et al. Pancreas segmentation via spatial context based u-net and bidirectional lstm
Zhan et al. Uniclam: Contrastive representation learning with adversarial masking for unified and interpretable medical vision question answering
Qin et al. Dynamically aggregating MLPs and CNNs for skin lesion segmentation with geometry regularization
CN110096145A (zh) 基于混合现实和神经网络的心理状态显示方法及装置
CN111612762B (zh) Mri脑肿瘤图像生成方法及系统
Chen et al. Myocardial segmentation of cardiac MRI sequences with temporal consistency for coronary artery disease diagnosis
CN113052840A (zh) 一种基于低信噪比pet图像的处理方法
CN112529949A (zh) 一种基于t2图像生成dwi图像的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant