CN117541673B - 一种多模态磁共振图像的转换方法 - Google Patents

一种多模态磁共振图像的转换方法 Download PDF

Info

Publication number
CN117541673B
CN117541673B CN202311509887.2A CN202311509887A CN117541673B CN 117541673 B CN117541673 B CN 117541673B CN 202311509887 A CN202311509887 A CN 202311509887A CN 117541673 B CN117541673 B CN 117541673B
Authority
CN
China
Prior art keywords
layer
feature
image
magnetic resonance
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311509887.2A
Other languages
English (en)
Other versions
CN117541673A (zh
Inventor
吕骏
颜首昂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yantai University
Original Assignee
Yantai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yantai University filed Critical Yantai University
Priority to CN202311509887.2A priority Critical patent/CN117541673B/zh
Publication of CN117541673A publication Critical patent/CN117541673A/zh
Application granted granted Critical
Publication of CN117541673B publication Critical patent/CN117541673B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明涉及一种多模态磁共振图像的转换方法，包括：获取一定数量的多模态磁共振图像构成数据集，并对磁共振图像的不同模态进行分类；将数据集分成训练集和测试集；构建图像转换模型，并分批次使用训练集中的磁共振图像对构建的图像转换模型进行训练，得到训练完成的图像转换模型；其中图像转换模型包括卷积层、Transformer模块、卷积神经网络、配准模块和鉴别器；任意选取测试集中的其中一幅磁共振图像作为测试样本，将测试样本输入到去除鉴别器后的图像转换模型中，即得到测试样本转换后的MRI图像。该转换方法转换后的图像更接近于地面真实图像，融合的结果更加清晰，细节更加充分，图像特征也更加完整，具有很好的鲁棒性。

Description

一种多模态磁共振图像的转换方法
技术领域
本发明涉及磁共振图像技术领域，尤其涉及一种多模态磁共振图像的转换方法。
背景技术
磁共振成像(MRI)是目前医疗诊断上常用的手段之一，跟电子计算机断层扫描和正电子发射计算机断层扫描相比，磁共振成像是一种相对安全的成像手段，最大的优点是扫描过程中避免了辐射对受试人群的危害，使得MRI在临床应用上大受欢迎。
通过设置不同类型的脉冲序列及参数产生不同结构和组织对比度信息，临床上常见的有T1加权(T1)、T2加权(T2)和T2流体衰减反转恢复(FLAIR)。T1模态用于观察扫描到的结构信息，T2主要用于定位肿瘤区域，FLARI则是通过水抑制方式将病变位置显示出来。目前MRI被广泛的用于肿瘤检测和早期诊断，并在临床各种任务中也显示出了极大的优势。
然而现有技术中获取多模态MRI图像既困难又昂贵，并且存在如下使用局限性：其一、一次完整的诊断过程需进行多次采样扫描；其二、核磁共振扫描过程中存在一定不成功的几率，比如扫描时间过长，采样过程中遭到损坏等；其三、磁共振扫描期间由于患者(尤其是儿科人群和老年人群)难以保持绝对的静止，导致扫描结果出现伪影，使得同一患者采集到的磁共振图像存在空间错位现象；其四、两个不同模态之间的关系是高度非线性的，由于不同的特征差异，故现有方法无法实现中所论述的跨模态生成的满意结果。为此，需要对现有技术作进一步的改进。
发明内容
本发明所要解决的技术问题是针对上述现有技术，而提供一种在硬件受限的条件下能实现磁共振图像转换的多模态磁共振图像的转换方法。
本发明解决上述技术问题所采用的技术方案为：一种多模态磁共振图像的转换方法，其特征在于包括如下步骤：
S1、获取一定数量的多模态磁共振图像构成数据集，并对磁共振图像的不同模态进行分类，得到分类结果；
S2、将数据集分成训练集和测试集；
S3、构建图像转换模型，并分批次使用训练集中的磁共振图像对构建的图像转换模型进行训练，得到训练完成的图像转换模型；
其中图像转换模型包括卷积层、Transformer模块、卷积神经网络、配准模块和鉴别器；
对图像转换模型进行一次训练的具体过程为：
S3-1、将当前批次选择的磁共振图像输入到卷积层中，得到第一特征张量X；
S3-2、对第一特征张量X进行分裂，得到第一特征组I1和第二特征组I2；
S3-3、将第一特征组I1输入到Transformer模块中，得到第一输出特征FT；将第二特征组I2输入到卷积神经网络中，得到第二输出特征FC，并将第一输出特征FT和第二输出特征FC进行融合，得到第二特征张量F；
S3-4、将第二特征张量F输入到配准模块中，得到转换后的MRI图像；
S3-5、将S3-4中转换后的MRI图像送入到鉴别器中，得到鉴别结果，并根据鉴别结果及该转换后的MRI图像所对应的原始磁共振图像的分类结果计算损失函数，最后使用损失函数反向更新图像转换模型的网络参数，得到一次训练后的图像转换模型；
S4、任意选取测试集中的其中一幅磁共振图像作为测试样本，将测试样本输入到去除鉴别器后的图像转换模型中，即：按照S3-1～3-4中相同的方式得到测试样本转换后的MRI图像。
优选地，所述Transformer模块的具体结构为：
所述Transformer模块包括依次相连接的第一归一化层、密集多头注意模块、第二归一化层、第一多层感知器、第三归一化层、稀疏多头注意模块、第四归一化层和第二多层感知器，其中将第一归一化层的输入和密集多头注意模块的输出进行残差连接，将第二归一化层的输入和第一多层感知器的输出进行残差连接，将第三归一化层的输入和稀疏多头注意模块的输出进行残差连接，第四归一化层的输入和第二多层感知器的输出进行残差连接。
具体地，所述密集多头注意模块的具体处理过程为：
步骤a、将第一特征组I1划分成M×M个不重叠的局部窗口，得到个大小为M2*C的窗口，H、W和C分别为第一特征组I1的长、宽和通道数，C＝1；M为正整数；
步骤b、通过下述公式计算得到每个窗口的密集自我注意值MSA(X)；
其中，X为一个窗口的特征，Softmax()为归一化指数函数，Q为查询向量，Q＝X*PQ，PQ为能训练的第一参数矩阵；K为键向量，KT为K的转置，K＝X*PK，PK为能训练的第二参数矩阵；d为X的图像大小，V为值向量，V＝X*PV，PV为能训练的第三参数矩阵；B为能学习的相对位置编码；
步骤c、将步骤b中得到的个窗口所对应的密集自我注意值按照窗口顺序形成密集多头注意模块的输出结果。
具体地，所述稀疏多头注意模块的具体处理过程为：
将第三归一化层输出结果记为第三特征组，提取第三特征组上间隔为I的稀疏位置并对其进行分组，得到个局部窗口；I为正整数；
并将分组后的窗口按照步骤b和步骤c的方式进行计算，得到稀疏多头注意模块的输出结果。
具体地，所述卷积神经网络的具体处理过程为：
将第二特征组I2分解成n组特征；n为正整数；
使用分解的大核卷积对每组特征进行深度特征提取，得到每组特征的输出结果；其中对每组特征进行深度特征提取的具体过程为：对每组特征依次进行a×a深度方向卷积、b×b深度方向膨胀卷积和和一个1×1卷积；a和b均为正整数；
将所有组特征的输出结果进行相加，得到最终输出结果；
将最终输出结果输入到依次相连接的激活层和全连接层中，即得到第二输出特征FC。
具体地，所述配准模块采用Unet网络，其包括具有N个第一特征提取层和N个下采样层的编码器、具有N个第二特征提取层和N个上采样层的解码器以及Transformer模块；N为正整数；
所述配准模块的具体连接关系为：依次相连接的第1第一特征提取层、第1下采样层、第2第一特征提取层、第2下采样层、...第N第一特征提取层、第N下采样层、Transformer模块、第N上采样层、第N第二特征提取层、...第1第二特征提取层、第1上采样层；并且第j第一特征提取层与第j第二特征提取层具有残差连接，j＝1、2...N。
与现有技术相比，本发明的优点在于：通过将磁共振图像转换成特征张量，将经过特征张量分裂得到的两个特征组分别输入到Transformer模块和卷积神经网络中，进而在Transformer模块中进行深层次特征提取以及在卷积神经网络中突出关键信息并削减不相关信息，并对经过Transformer模块得到的输出特征和卷积神经网络得到的输出特征融合，从而使转换后的图像更接近于地面真实图像，尤其是在病变区域和边缘细节信息方面，融合的结果更加清晰，细节更加充分，图像特征也更加完整，具有很好的鲁棒性。
附图说明
图1为本发明实施例中多模态磁共振图像转换方法的流程框图；
图2为图1中图像转换模型的示意图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
如图1所示，本实施例中多模态磁共振图像的转换方法包括如下步骤：
S1、获取一定数量的多模态磁共振图像构成数据集，并对磁共振图像的不同模态进行分类，得到分类结果；
S2、将数据集分成训练集和测试集；
S3、构建图像转换模型，并分批次使用训练集中的磁共振图像对构建的图像转换模型进行训练，得到训练完成的图像转换模型；
其中图像转换模型包括卷积层、Transformer模块、卷积神经网络、配准模块和鉴别器；
如图2所示，对图像转换模型进行一次训练的具体过程为：
S3-1、将当前批次选择的磁共振图像输入到卷积层中，得到第一特征张量X；
本实施例中卷积层为1×1卷积层；
S3-2、对第一特征张量X进行分裂，得到第一特征组I1和第二特征组I2；
本实施例中分裂过程描述为：I1，I2＝Split(Conv1×1(x))；
其中，Split为对字符串按照指定规则进行分割，Conv1×1(x)为将磁共振图像x输入到1×1卷积层中而得到的结果；
S3-3、将第一特征组I1输入到Transformer模块中，得到第一输出特征FT；将第二特征组I2输入到卷积神经网络中，得到第二输出特征FC，并将第一输出特征FT和第二输出特征FC进行融合，得到第二特征张量F；
本实施例中Transformer模块的具体结构为：
Transformer模块包括依次相连接的第一归一化层、密集多头注意模块、第二归一化层、第一多层感知器、第三归一化层、稀疏多头注意模块、第四归一化层和第二多层感知器，其中将第一归一化层的输入和密集多头注意模块的输出进行残差连接，将第二归一化层的输入和第一多层感知器的输出进行残差连接，将第三归一化层的输入和稀疏多头注意模块的输出进行残差连接，第四归一化层的输入和第二多层感知器的输出进行残差连接；
其中，密密集多头注意模块的具体处理过程为：
步骤a、将第一特征组I1划分成M×M个不重叠的局部窗口，得到个大小为M2*C的窗口，H、W和C分别为第一特征组I1的长、宽和通道数，C＝1，表示图像为灰度图；M为正整数；
步骤b、通过下述公式计算得到每个窗口的密集自我注意值MSA(X)；
其中，X为一个窗口的特征，Softmax()为归一化指数函数，Q为查询向量，Q＝X*PQ，PQ为能训练的第一参数矩阵；K为键向量，KT为K的转置，K＝X*PK，PK为能训练的第二参数矩阵；d为X的图像大小，V为值向量，V＝X*PV，PV为能训练的第三参数矩阵；B为能学习的相对位置编码；
步骤c、将步骤b中得到的个窗口所对应的密集自我注意值按照窗口顺序形成密集多头注意模块的输出结果；
稀疏多头注意模块的具体处理过程为：
将第三归一化层输出结果记为第三特征组，提取第三特征组上间隔为I的稀疏位置并对其进行分组，得到个局部窗口；I为正整数；
并将分组后的窗口按照步骤b和步骤c的方式进行计算，得到稀疏多头注意模块的输出结果；
本实施例中，卷积神经网络的具体处理过程为：
将第二特征组I2分解成n组特征；n为正整数；
使用分解的大核卷积对每组特征进行深度特征提取，得到每组特征的输出结果；
其中对每组特征进行深度特征提取的具体过程为：对每组特征依次进行a×a深度方向卷积、b×b深度方向膨胀卷积和和一个1×1卷积；a和b均为正整数；本实施例中深度方向卷积和深度方向膨胀卷积均为现有技术，在此不再展开赘述；
将所有组特征的输出结果进行相加，得到最终输出结果；
将最终输出结果输入到依次相连接的激活层和全连接层中，即得到第二输出特征FC；
本实施例中n＝3，即将第二特征组I2分解成3组特征，分别为Group1、Group2和Group3，对这三个组特征同时进行不同大小的卷积核操作，对Group1执行的是3乘3的深度方向卷积，5乘5的深度方向膨胀卷积以及1乘1的卷积；对Group2执行的是5乘5的深度方向卷积，7乘7的深度方向膨胀卷积以及1乘1的卷积；对Group3执行的是7乘7的深度方向卷积，9乘9的深度方向膨胀卷积以及1乘1的卷积；
S3-4、将第二特征张量F输入到配准模块中，得到转换后的MRI图像；
本实施例中，配准模块采用Unet网络，其包括具有N个第一特征提取层和N个下采样层的编码器、具有N个第二特征提取层和N个上采样层的解码器以及Transformer模块；N为正整数；
配准模块的具体连接关系为：依次相连接的第1第一特征提取层、第1下采样层、第2第一特征提取层、第2下采样层、...第N第一特征提取层、第N下采样层、Transfonner模块、第N上采样层、第N第二特征提取层、...第1第二特征提取层、第1上采样层；并且第j第一特征提取层与第j第二特征提取层具有残差连接，j＝1、2...N；
本实施例中N＝4，在上采样路径和下采样路径中都应用了卷积层，即：将第一特征提取层和第二特征提取层的核大小均设置为3，步长调整为2乘2的卷积层，每层卷积后都添加一层参数为0.2的LeakyRELU层；下采样层均采用卷积核为2，填充为1的卷积层；上采样层均采用卷积核为2，步长为2的卷积层；上述技术为现有技术，在此不再展开赘述，该Transformer模块为图像转换模型中的Transformer模块；
在编码过程中，通过四层卷积和下采样操作从输入中提取特征，在每一层提取的特征也被传递到解码路径上的相应层，而最底部的特征被传递到Transformer中去。在解码阶段，在上采样、卷积和级联跳跃连接之间交替，每个卷积之后是一个上采样层，将图像恢复到全分辨率，生成需要的磁共振图像。在该过程中存在着配准损失，故将医学图像中这种错位偏差被当作噪声进行处理，目的是在利用带有噪声标签的数据集上训练生成器，尽最大可能达到理想化的结果；
S3-5、将S3-4中转换后的MRI图像送入到鉴别器中，得到鉴别结果，并根据鉴别结果及该转换后的MRI图像所对应的原始磁共振图像的分类结果计算损失函数，最后使用损失函数反向更新图像转换模型的网络参数，得到一次训练后的图像转换模型；
本实施例中，鉴别器是用于鉴别生成图像的真或假，包含4层卷积神经网络层，每个卷积层的卷积核为4×4，步长为2×2，第一层产生64个特征图，第二层产生128个特成图，以此类推第三层产生256个特征图，最后一层为512个特成图，并在最后使用激活函数，用于将合成的图像和真实的图像区分开；
本发明中主要的损失函数来自有对抗网络中的生成对抗损失以及生成的目标图像和地面真实图像间的相似性损失及修正配准损失；
本实施例中以T1模态的磁共振图像生成T2模态的磁共振图像为例进行说明，用x代表给定图像T1，而则代表生成的目标图像T2，生成器对应的映射可表示成/> 用y表示T2模态的地面真实图像/>与此同时，鉴别器对应的映射表示为/>因此训练过程中的生成对抗损失可表示为：
其中，为数学期望；
将有空间错位的目标图像可以与理想状态下的地面真实图像间的位移误差表示为：
其中，Δ为梯度算子，T代表变形场预测网络该变形场会对每个图像中的每个像素产生随机位移。生成器之后添加一个损失修正配准网络R，用于对生成器合成的目标模态图像进行校正，填补原始图像的空间错位，将该损失称作是修正配准损失minG，RLcorr(G，R)，用下面的公式表示：
其中，代表的是重采样操作，/>表示变形场操作，修正配准网络基于性能强大的UNet进行构造的，为了使变形场/>的梯度变换尽可能的平缓，故定义个公式调整平滑损失，来评价变形场中的平滑度；
S4、任意选取测试集中的其中一幅磁共振图像作为测试样本，将测试样本输入到去除鉴别器后的图像转换模型中，即：按照S3-1～3-4中相同的方式得到测试样本转换后的MRI图像。
本实施例中为了使图像转换模型选择合适的超参数，在公共数据集Brats2018上进行了T1→T2的实验，→代表图像生成的方向，T1→T2表示了从给定T1模态中生成目标T2模态的图像；本实施例还涉及一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器运行时执行如上述多模态磁共振图像的转换方法。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (3)

1.一种多模态磁共振图像的转换方法，其特征在于包括如下步骤：
S1、获取一定数量的多模态磁共振图像构成数据集，并对磁共振图像的不同模态进行分类，得到分类结果；
S2、将数据集分成训练集和测试集；
S3、构建图像转换模型，并分批次使用训练集中的磁共振图像对构建的图像转换模型进行训练，得到训练完成的图像转换模型；
其中图像转换模型包括卷积层、Transformer模块、卷积神经网络、配准模块和鉴别器；
所述Transformer模块的具体结构为：
所述Transformer模块包括依次相连接的第一归一化层、密集多头注意模块、第二归一化层、第一多层感知器、第三归一化层、稀疏多头注意模块、第四归一化层和第二多层感知器，其中将第一归一化层的输入和密集多头注意模块的输出进行残差连接，将第二归一化层的输入和第一多层感知器的输出进行残差连接，将第三归一化层的输入和稀疏多头注意模块的输出进行残差连接，第四归一化层的输入和第二多层感知器的输出进行残差连接；
所述密集多头注意模块的具体处理过程为：
步骤a、将第一特征组I1划分成M×M个不重叠的局部窗口，得到个大小为M2*C的窗口，H、W和C分别为第一特征组I1的长、宽和通道数，C＝1；M为正整数；
步骤b、通过下述公式计算得到每个窗口的密集自我注意值MSA(X)；
其中，X为一个窗口的特征，Softmax()为归一化指数函数，Q为查询向量，Q＝X*PQ，PQ为能训练的第一参数矩阵；K为键向量，KT为K的转置，K＝x*PK，PK为能训练的第二参数矩阵；d为X的图像大小，V为值向量，V＝X*PV，PV为能训练的第三参数矩阵；B为能学习的相对位置编码；
步骤c、将步骤b中得到的个窗口所对应的密集自我注意值按照窗口顺序形成密集多头注意模块的输出结果；
所述稀疏多头注意模块的具体处理过程为：
将第三归一化层输出结果记为第三特征组，提取第三特征组上间隔为I的稀疏位置并对其进行分组，得到个局部窗口；I为正整数；
并将分组后的窗口按照步骤b和步骤c的方式进行计算，得到稀疏多头注意模块的输出结果；
对图像转换模型进行一次训练的具体过程为：
S3-1、将当前批次选择的磁共振图像输入到卷积层中，得到第一特征张量X；
S3-2、对第一特征张量X进行分裂，得到第一特征组I1和第二特征组I2；
S3-3、将第一特征组I1输入到Transformer模块中，得到第一输出特征FT；将第二特征组I2输入到卷积神经网络中，得到第二输出特征FC，并将第一输出特征FT和第二输出特征FC进行融合，得到第二特征张量F；
S3-4、将第二特征张量F输入到配准模块中，得到转换后的MRI图像；
S3-5、将S3-4中转换后的MRI图像送入到鉴别器中，得到鉴别结果，并根据鉴别结果及该转换后的MRI图像所对应的原始磁共振图像的分类结果计算损失函数，最后使用损失函数反向更新图像转换模型的网络参数，得到一次训练后的图像转换模型；
S4、任意选取测试集中的其中一幅磁共振图像作为测试样本，将测试样本输入到去除鉴别器后的图像转换模型中，即：按照S3-1～3-4中相同的方式得到测试样本转换后的MRI图像。
2.根据权利要求1所述的转换方法，其特征在于：所述卷积神经网络的具体处理过程为：
将第二特征组I2分解成n组特征；n为正整数；
使用分解的大核卷积对每组特征进行深度特征提取，得到每组特征的输出结果；其中对每组特征进行深度特征提取的具体过程为：对每组特征依次进行a×a深度方向卷积、b×b深度方向膨胀卷积和和一个1×1卷积；a和b均为正整数；
将所有组特征的输出结果进行相加，得到最终输出结果；
将最终输出结果输入到依次相连接的激活层和全连接层中，即得到第二输出特征FC。
3.根据权利要求1所述的转换方法，其特征在于：所述配准模块采用Unet网络，其包括具有N个第一特征提取层和N个下采样层的编码器、具有N个第二特征提取层和N个上采样层的解码器以及Transformer模块；N为正整数；
所述配准模块的具体连接关系为：依次相连接的第1第一特征提取层、第1下采样层、第2第一特征提取层、第2下采样层、…第N第一特征提取层、第N下采样层、Transformer模块、第N上采样层、第N第二特征提取层、…第1第二特征提取层、第1上采样层；并且第j第一特征提取层与第j第二特征提取层具有残差连接，j＝1、2…N。
CN202311509887.2A 2023-11-13 2023-11-13 一种多模态磁共振图像的转换方法 Active CN117541673B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311509887.2A CN117541673B (zh) 2023-11-13 2023-11-13 一种多模态磁共振图像的转换方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311509887.2A CN117541673B (zh) 2023-11-13 2023-11-13 一种多模态磁共振图像的转换方法

Publications (2)

Publication Number Publication Date
CN117541673A CN117541673A (zh) 2024-02-09
CN117541673B true CN117541673B (zh) 2024-04-26

Family

ID=89781901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311509887.2A Active CN117541673B (zh) 2023-11-13 2023-11-13 一种多模态磁共振图像的转换方法

Country Status (1)

Country Link
CN (1) CN117541673B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110930397A (zh) * 2019-12-06 2020-03-27 陕西师范大学 一种磁共振图像分割方法、装置、终端设备及存储介质
CN116309910A (zh) * 2023-03-12 2023-06-23 上海大学 一种用于去除磁共振图像的吉布斯伪影的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11580646B2 (en) * 2021-03-26 2023-02-14 Nanjing University Of Posts And Telecommunications Medical image segmentation method based on U-Net

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110930397A (zh) * 2019-12-06 2020-03-27 陕西师范大学 一种磁共振图像分割方法、装置、终端设备及存储介质
CN116309910A (zh) * 2023-03-12 2023-06-23 上海大学 一种用于去除磁共振图像的吉布斯伪影的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
姚发展 ; 李智 ; 王丽会 ; 程欣宇 ; 张健 ; .深度迭代融合的脑部磁共振图像颅骨去除网络.中国图象图形学报.2020,(10),全文. *
深度迭代融合的脑部磁共振图像颅骨去除网络;姚发展;李智;王丽会;程欣宇;张健;;中国图象图形学报;20201016(10);全文 *

Also Published As

Publication number Publication date
CN117541673A (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
US10043088B2 (en) Image quality score using a deep generative machine-learning model
Biffi et al. Explainable anatomical shape analysis through deep hierarchical generative models
US20210233244A1 (en) System and method for image segmentation using a joint deep learning model
Zhao et al. Deep learning of brain magnetic resonance images: A brief review
US20230281809A1 (en) Connected machine-learning models with joint training for lesion detection
CN109214989A (zh) 基于多方向特征预测先验的单幅图像超分辨率重建方法
JP2002539870A (ja) 画像処理の方法と装置
Wang et al. Pyramid convolutional RNN for MRI reconstruction
CN112634265B (zh) 基于dnn的胰腺全自动分割模型的构建、分割方法及系统
CN114241077B (zh) 一种ct图像分辨率优化方法及装置
CN116823625B (zh) 基于变分自编码器的跨对比度磁共振超分辨率方法和系统
Singh et al. Medical image generation using generative adversarial networks
US20230024401A1 (en) Implicit Neural Representation Learning with Prior Embedding for Sparsely Sampled Image Reconstruction and Other Inverse Problems
WO2022086910A1 (en) Anatomically-informed deep learning on contrast-enhanced cardiac mri
CN114331849B (zh) 一种跨模态核磁共振超分网络及图像超分辨率方法
Thomas Bio-medical Image Denoising using Autoencoders
CN117541673B (zh) 一种多模态磁共振图像的转换方法
CN116071270A (zh) 基于可变形卷积生成对抗网络的电子数据生成方法及系统
CN115239740A (zh) 基于GT-UNet的全心分割算法
Kening et al. Nested recurrent residual unet (nrru) on gan (nrrg) for cardiac ct images segmentation task
Nimitha et al. Multi image super resolution of MRI images using generative adversarial network
Narayana Affine Transform Assisted Firefly Algorithm in Image Registry to MRI and CT Brain Images
Zhou et al. AR-UNet: A Deformable Image Registration Network with Cyclic Training
CN118015118A (zh) 基于渐进学习的无对比剂ct血管造影重构方法及系统
Miller Methods for Reducing 3D Non-Cartesian Reconstruction Time

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant