CN114049408A - 用于加速多模态mr成像的深度网络模型 - Google Patents

用于加速多模态mr成像的深度网络模型 Download PDF

Info

Publication number
CN114049408A
CN114049408A CN202111348120.7A CN202111348120A CN114049408A CN 114049408 A CN114049408 A CN 114049408A CN 202111348120 A CN202111348120 A CN 202111348120A CN 114049408 A CN114049408 A CN 114049408A
Authority
CN
China
Prior art keywords
image
target
auxiliary
modality
branch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111348120.7A
Other languages
English (en)
Other versions
CN114049408B (zh
Inventor
鄢云路
徐勇
冯春梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Harbin Institute of Technology
Original Assignee
Shenzhen Graduate School Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Harbin Institute of Technology filed Critical Shenzhen Graduate School Harbin Institute of Technology
Priority to CN202111348120.7A priority Critical patent/CN114049408B/zh
Publication of CN114049408A publication Critical patent/CN114049408A/zh
Application granted granted Critical
Publication of CN114049408B publication Critical patent/CN114049408B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明提供了一种本发明的提出了一种用于加速多模态MR成像的深度网络模型以及基于该模型的多模态MR成像方法。所述用于加速多模态MR成像的深度网络模型融合不同模态磁共振图像特征。该模型利用双支路Transformer产生的多尺度patch来表示不同的模态，并将它们进行合并，使之相互补充。本发明通过多模态交叉注意力机制实现基于Transformer的多模态MR成像的特征融合策略，每个分支都将另一个分支的特征作为键和值，然后使用它们进行有效查询，来从另一种模态中获得有用的信息。此外，两个分支的多尺度patch不仅可以捕获不同的结构信息，还可以捕获细微的像素级信息。结果表明，对于图像重建和超分这两个加速MR成像任务，该方法在定性和定量评价两个方面均优于其他多模态MR成像方法。

Description

用于加速多模态MR成像的深度网络模型
技术领域
本发明涉及磁共振成像技术领域，尤其涉及一种用于加速多模态MR成像的深度网络模型以及基于该模型的多模态MR成像方法。
背景技术
磁共振(MR)成像正迅速成为图像引导的自适应放射治疗的主导技术，因为它提供了比计算机断层扫描(CT)更好的软组织对比，同时避免辐射损伤。然而，由于磁共振成像的物理性质，扫描时间可长达数十分钟，这严重影响患者的体验，并导致成像高成本。因此，加速磁共振成像已经成为一个热门的研究课题，其中从下采样的k-space重建图像是一个标准的策略。然而，采样不足造成的混叠伪影往往影响临床诊断。因此，从欠采样k-space测量中恢复高质量的图像是加速磁共振成像的最终目标。目前，主流的成像方法包括磁共振成像重建和超分辨率。前者旨在消除欠采样造成的混叠现象，后者提高了图像分辨率。
扫描仪根据采集参数的不同，可以提供不同模态的MR图像。对于同一采样对象，这些模态通常具有模态间的一致性信息和模态特有信息。此外，不同模态的获得程序也不尽相同。例如T1和T2加权图像(T1WIs和T2WIs)，以及质子密度和脂肪抑制的质子密度加权图像(PDWIs和FS-PDWIs)，是两对结构互补的图像。由于磁共振成像的物理特征，T1WIs比T2WIs更容易获得，因为它们需要更短的重复时间(TR)和回声时间(TE)，类似地，PDWI需要比FS-PDWI更短的扫描时间。因此，我们可以使用相对容易获取的模态作为补充信息来引导和加速以较慢成像速度获取的目标模态。基于这一点，多模态MR图像的联合学习为加速磁共振成像提供了一个新的框架。
各种传统技术，如压缩感知、贝叶斯学习、字典学习和图表示理论等已经被用于加速MR成像。最近，深度学习已经成为多模态MR成像研究的焦点。例如，Salman et al.将辅助模态作为先验信息添加到生成对抗网络(GAN)的生成器中(参见非专利文献1：SU Dar，MYurt，ME Ildz，M Shahdloo，T Cukur:Prior-Guided Image Reconstruction forAccelerated Multi-Contrast MRI via Generative Adversarial Networks.IEEEJournal of Selected Topics in Signal Processing 14(6),1072–1087(2020))，Lyu etal.在较小尺寸的特征水平上连接两个模态(参见非专利文献2：Lyu,Q.,Shan,H.,Steber,C.,Helis,C.,Whitlow,C.T.,Chan,M.,Wang,G.:Multi-contrast super-resolution mrithrough a progressive network.IEEE Transactions on Medical Imaging(2020))。然而，这些方法中的大多数只是对幅值图像进行向下采样，来模拟欠采样或低分辨率MR图像扫描的获取，这意味着它们对于快速多模态MR成像的有效性仍有待证实。此外，不同的模态在不同的磁场强度分布下有模态特异性表现。因此，如何有效融合两种模态是多模态MR成像中需要解决的固有问题。另一方面，卷积神经网络(CNNs)由于卷积操作的固有局部性，很难完全捕获全局信息，而Transformer可以通过获取远程依赖来学习全局信息。受益于此，Transformer最近在各种计算机视觉任务上取得了最先进的性能。例如，VisionTransformer将图像分割成小块，并使用一个Transformer将它们之间的相关性建模为序列，在图像分类任务中取得了令人满意的效果(参见非专利文献3：Dosovitskiy,A.,Beyer,L.,Kolesnikov,A.,Weissenborn,D.,Zhai,X.,Unterthiner,T.,Dehghani,M.,Minderer,M.,Heigold,G.,Gelly,S.,et al.:An image is worth 16x16 words:Transformers forimage recognition at scale.arXiv preprint arXiv:2010.11929(2020))。目标检测Transformer在Transformer的帮助下将目标检测作为一个端到端预测任务。Transformer也被用于医学成像任务，例如，将Transformer集成到UNet中用于医学图像分割。虽然最近的工作已经证明了Transformer在视觉任务中的优势，但Transformer在多模态MR成像中的潜在优势仍有待验证。
综上所述，加速多模态磁共振成像是一种新的、有效的快速磁共振成像解决方案，在辅助模态的引导下恢复目标模态，展现了其卓越的性能。然而，现有的研究只是简单地将辅助模态作为先验信息进行组合，缺乏对不同模态融合的潜在机制进行更加深入的研究。此外，它们通常依赖于卷积神经网络CNNs，而卷积神经网络在捕获长距离依赖时受到固有的局部性的限制。因此，亟需一种新的用于加速多模态MR成像的深度网络模型。
发明内容
为了解决现有技术中的问题，本发明提供了一种用于加速多模态MR成像的深度网络模型以及基于该模型的多模态MR成像方法。本发明具体通过如下技术方案实现：
一种用于加速多模态MR成像的深度网络模型，所述模型包括网络头部模块、多模态Transformer模块、网络尾部模块；其中，
所述网络头部模块包括目标分支网络头部子模块和辅助分支网络头部子模块，两个网络头部子模块分别从多模态输入图像中提取不同尺度的模态特征；
所述多模态Transformer模块用于融合不同的模态，通过将当前分支的特征作为查询来与另一个分支交换信息；具体地，将可学习的位置编码加入到目标模态的特征向量序列中，而一个不同尺度的位置编码被加入到辅助模态中；经过位置编码嵌入后的patch序列，将被输入到级联的多个交叉Transfomer编码器模块，每个交叉Transfomer编码器由两个组件组成，用于目标模态的交叉Transfomer编码器encodertar和用于辅助模态的交叉Transfomer辅助编码器encoderaux；利用交叉注意力机制将当前分支中的特征作为查询query，通过注意力与其他分支的特征进行交互；
所述网络尾部模块包括目标分支网络尾部子模块和辅助分支网络尾部子模块，两个网络头部子模块分别将特征映射到恢复的图像。
作为本发明的进一步改进，所述网络头部子模块由3个连续的3×3卷积层组成。
作为本发明的进一步改进，所述辅助分支网络头部子模块用于将辅助模态的Ground Truth图像
Figure BDA0003354739600000031
生成辅助特征
Figure BDA0003354739600000032
其中C是通道维度，H和W是特征的高和宽；对于重建任务，所述目标分支网络头部子模块用于将零填充图像
Figure BDA0003354739600000033
生成目标特征
Figure BDA0003354739600000034
对于超分任务，所述目标分支网络头部子模块用于将低分辨率图像
Figure BDA0003354739600000035
生成目标特
Figure BDA0003354739600000036
其中s是分辨率退化尺度因子。
作为本发明的进一步改进，所述多模态Transformer模块采用了两个对称的分支：一个辅助模态分支和一个目标模态分支；首先将辅助模态特征变换成向量序列
Figure BDA0003354739600000037
其中
Figure BDA0003354739600000038
是patch的数目，P是patch的分辨率；将目标模态特征变换成向量序列
Figure BDA0003354739600000039
Figure BDA00033547396000000310
然后，可学习的位置编码
Figure BDA00033547396000000311
加入到目标模态的特征向量序列中，而一个不同尺度的位置编码
Figure BDA00033547396000000312
被加入到辅助模态中，加入的位置编码可以保留每个patch的位置信息；
Figure BDA00033547396000000313
z和
Figure BDA00033547396000000314
是经过位置编码嵌入后的patch序列，将被输入到级联的多个交叉Transfomer编码器模块；接下来，
Figure BDA00033547396000000315
z和
Figure BDA00033547396000000316
通过线性投影变换对齐维度，得到对齐后的特征
Figure BDA00033547396000000317
和
Figure BDA00033547396000000318
和
Figure BDA00033547396000000319
被输入到Layer Norm层和所述交叉注意力机制进行融合，融合后的特征被进一步输入到一个前馈网络FFN和一个LP层中将特征恢复成初始的维度，整个过程通过残差连接输入和输出：
Figure BDA0003354739600000041
Figure BDA0003354739600000042
Figure BDA0003354739600000043
Figure BDA0003354739600000044
其中，i＝[1,2,...,N],CAtar和CAaux是两条分支的交叉注意力机制，两个分支的输出序列作为下一个交叉Transformer编码器的输入，LN()表示Layer Norm层的操作。
作为本发明的进一步改进，所述交叉注意力机制是一个改进的多头注意力机制，它吸收了辅助模态的特征，有助于增强目标模态特征；具体地，对于目标模态分支，将对齐后的特征
Figure BDA0003354739600000045
输入到Layer Norm层得到
Figure BDA0003354739600000046
并作为query，并且它也会和来自于辅助模态的特征
Figure BDA0003354739600000047
连接作为键，值；辅助模态分支是目标模态分支的镜像操作；接着一个标准的Scaled Dot-Product Attention操作被执行：
Figure BDA0003354739600000048
zsa分为目标分支
Figure BDA0003354739600000049
和辅助分支
Figure BDA00033547396000000410
交叉注意力机制的整个过程可以表示为：
Figure BDA00033547396000000411
Figure BDA00033547396000000412
作为本发明的进一步改进，每个网络尾部子模块由一个1×1卷积层组成。
作为本发明的进一步改进，所述尾部模块将多通道特征映射到图像空间，并得到目标图像
Figure BDA00033547396000000413
目标图像x′tar对于重建和超分任务，其大小均是H×W。
作为本发明的进一步改进，损失函数直接采用L1损失函数来训练：
Figure BDA00033547396000000414
其中，α是两条分支的损失函数的权重因子，M是训练样本的数目。
另一方面，本发明还提供了一种基于该模型的多模态MR成像方法，所述方法包括以下步骤：
从MR图像扫描仪获得图像块；
从所述图像块获得辅助模态的Ground Truth图像
Figure BDA0003354739600000051
其中，H和W是特征的高和宽；对于重建任务，从所述图像块获得零填充图像
Figure BDA0003354739600000052
对于超分任务，从所述图像块获得低分辨率图像
Figure BDA0003354739600000053
将目标模态图像
Figure BDA0003354739600000054
或
Figure BDA0003354739600000055
以及辅助模态图像xaux输入本发明的多模态Transformer模型，得到目标图像x′tar和x′aux。
本发明的有益效果是：本发明的提出了一种新的网络模型multi-modal(MTrans)Transformer来融合不同模态磁共振图像特征。该方法利用双支路Transformer产生的多尺度patch来表示不同的模态，并将它们进行合并，使之相互补充。本发明通过多模态交叉注意力机制实现基于Transformer的多模态MR成像的特征融合策略，每个分支都将另一个分支的特征作为键和值，然后使用它们进行有效查询，来从另一种模态中获得有用的信息。此外，两个分支的多尺度patch不仅可以捕获不同的结构信息，还可以捕获细微的像素级信息。结果表明，对于图像重建和超分这两个加速MR成像任务，该方法在定性和定量评价两个方面均优于其他多模态MR成像方法。
附图说明
图1是本发明的多模态Transformer网络模型的功能架构图；
图2是本发明的多模态Transformer模块的原理图；
图3是本发明的交叉Transformer编码器的原理图；
图4是本发明的交叉注意力机制的原理图；
图5是本发明的多模态MR成像方法流程图。
具体实施方式
下面结合附图说明及具体实施方式对本发明进一步说明。
本发明提出了一种新的网络架构，命名为MTrans，与现有的基于CNN的方法相比，它能够捕获丰富的全局信息。本发明还设计了交叉注意力机制，有效地提取每个分支中的有用信息，然后结合多个尺度的特征，这些特征提供了不同的结构信息和细微的像素级信息。
首先，令y表示从MR图像扫描仪获得的全采样k-space测量值。我们可以通过
Figure BDA0003354739600000056
得到对应的全采样MR幅值图像，其中F-1是二维逆傅里叶变换。
在临床实践中，由于只有幅值图像是可见的，医院通常保留这些图像用于医学诊断。在这项工作中，所有的数据(如重建的零填充图像和超分的低分辨率图像)都是从真实的MR图像频率空间数据中获得的，以探索加速磁共振成像的有效性，而这是目前快速多模态磁共振成像方法往往被忽略的一个重要问题。在本发明中，我们考虑两种加速MR成像技术，包括(i)从带混叠伪影的图像(欠采样图像)重建清晰图像和(ii)从退化图像恢复高分辨率图像。
MRI重建：通过对MR图像扫描仪获得的全采样k-space测量值y进行二进制掩码运算，我们可以获得欠采样的k-space数据。本发明可使用6×加速度的随机掩码来获取全采样k-space子集。由此，可以得到零填充图像
Figure BDA0003354739600000061
和目前直接恢复欠采样图像
Figure BDA0003354739600000066
不同，我们从一个额外的模态中引入相同结构信息来恢复目标模态。
MRI超分：以往MR图像SR方法的训练时通常在下采样的幅值图像上加入高斯模糊，以获得LR图像。然而，简单地在图像域缩小图像大小与实际的MR图像获取过程相矛盾。本发明中，我们首先截断全采样k-space的边缘测量，然后以所需的退化尺度因子来降低分辨率，然后
Figure BDA0003354739600000064
来获得LR图像
Figure BDA0003354739600000065
这更好地模拟了真实的图像采集过程，并且避免产生伪影。
在本发明的MTrans中，图像块被处理成一个线性嵌入序列，以创建一个双分支结构。如图1所示，MTrans整体架构由三个组件组成。具体来说，利用两个网络头部模块从多模态输入图像(如目标零填充的大尺寸全采样辅助模态图像或小尺寸LR图像)中提取不同尺度的模态特征；建立了一个多模态Transformer来融合不同的模态，通过将当前分支的特征作为查询来与另一个分支交换信息；最后通过两个网络尾部模块用于将特征映射到恢复的图像中。特别的是，来自不同模态的输入被分为不同大小的图像块，这能够提取结构特征，同时也捕捉精细的像素级信息，以补充目标模态。MTrans的主要目标是融合不同尺度的多模态图像，接下来将详细介绍MTrans模型的架构。
一、网络头部模块
为了提取不同模态特有的特征，我们通过两个不同的网络头部从两个不同的分支提取初步特征，其中Headaux是辅助模态分支的网络头部，而Headtar是目标模态的网络头部，每个网络头部由3个连续的3×3卷积层组成。辅助模态的Ground Truth(GT)图像
Figure BDA0003354739600000062
被输入到Head来生成辅助特征
Figure BDA0003354739600000063
其中C是通道维度，H和W是特征的高和宽。对于重建任务，我们将零填充图像
Figure BDA0003354739600000071
输入到Headtar来生成目标特征
Figure BDA0003354739600000072
而对于超分任务，我们输入低分辨率图像
Figure BDA0003354739600000073
来生成目标特
Figure BDA0003354739600000074
其中s是分辨率退化尺度因子。
二、多模态Transformer模块
本发明提出的多模态Transformer融合了不同模态的特征，其结构如图2所示，采用了两个对称的分支，一个辅助模态分支和一个目标模态分支。为了降低2D图像特征的维度，我们将两个模态的特征Faux和Ftar划分为互不重叠的patch(具体操作可参考非专利文献3)。我们首先将辅助模态特征变换成向量序列
Figure BDA0003354739600000075
其中
Figure BDA0003354739600000076
是patch的数目，P是patch的分辨率。相似地，我们将目标模态特征变换成向量序列
Figure BDA0003354739600000077
特别的是，目标模态的patch尺度是辅助模态的一半，我们在辅助和目标模态中使用不同大小的图像块来产生更强的图像特征。然后，可学习的位置编码
Figure BDA0003354739600000078
加入到目标模态的特征向量序列中，而一个不同尺度的位置编码
Figure BDA0003354739600000079
被加入到辅助模态中，加入的位置编码可以保留每个patch的位置信息：
Figure BDA00033547396000000710
Figure BDA00033547396000000711
Figure BDA00033547396000000712
和
Figure BDA00033547396000000713
是经过位置编码嵌入后的patch序列，将被输入到级联的多个交叉Transfomer编码器模块。每个交叉Transfomer编码器由两个组件组成，用于目标模态的交叉Transfomer编码器encodertar和用于辅助模态的交叉Transfomer辅助编码器encoderaux，可以分别融合不同模态之间的信息。这样的交叉模式确保每个分支从其他模态中学习重要信息，图2中的空心箭头对应于当前分支模态的信息更新，实心箭头促进了两种模态之间的信息交换。我们可以将多模态Transfomer写成：
Figure BDA00033547396000000714
其中
Figure BDA00033547396000000715
是多模态Transfomer模块，由N个交叉Transformer编码器组成，
Figure BDA00033547396000000716
和
Figure BDA00033547396000000717
是两条分支的对应输出。
(1)交叉Transformer编码器：本发明的交叉Transformer编码器旨在有效融合两种模态，如图3所示。
Figure BDA00033547396000000718
和
Figure BDA00033547396000000719
首先通过线性投影变换(LinearlyProjected,LP)对齐维度，其过程可以表示为：
Figure BDA0003354739600000081
Figure BDA0003354739600000082
Figure BDA0003354739600000083
和
Figure BDA0003354739600000084
是对齐后的特征被输入到Layer Norm层和一个交叉注意力机制进行融合，融合后的特征被进一步输入到一个前馈网络(Feedforward network,FFN)和一个LP层中将特征恢复成初始的维度，整个过程通过残差连接输入和输出：
Figure BDA0003354739600000085
Figure BDA0003354739600000086
Figure BDA0003354739600000087
Figure BDA0003354739600000088
其中，i＝[1,2,...,N],CAtar和CAaux是两条分支的交叉注意力机制，两个分支的输出序列作为下一个交叉Transformer编码器的输入，其中，LN()表示Layer Norm层的操作。
(2)交叉注意力机制：本发明的交叉注意力机制是一个改进的多头注意力机制，它吸收了辅助模态的特征，有助于增强目标模态特征。具体来说，为了更有效地融合不同的模态，当前分支中的特征作为查询(query)，通过注意力与其他分支的特征进行交互。其中，query与其它分支的特征进行了对齐，因此这两个分支的特征尺度是不同的，这使得交叉注意融合模块既可以学习清晰的结构信息，也可以学习细微的像素级特征，其具体结构如图4所示。对于目标模态分支，我们将对齐后的特征
Figure BDA0003354739600000089
输入到Layer Norm层得到
Figure BDA00033547396000000810
并作为query，并且它也会和来自于辅助模态的特征
Figure BDA00033547396000000811
连接作为键(key)，值(value)。辅助模态分支是目标模态分支的镜像操作。接着一个标准的Scaled Dot-Product Attention操作被执行：
Figure BDA00033547396000000812
zsa分为目标分支
Figure BDA00033547396000000813
和辅助分支
Figure BDA00033547396000000814
交叉注意力机制的整个过程可以表示为：
Figure BDA00033547396000000815
Figure BDA00033547396000000816
三、网络尾部模块
最后，多模态交叉Transformer编码器的输出会被输入到两个网络尾部得到各个分支的输出，每个网络尾部由一个1×1卷积层组成。尾部模块将多通道特征映射到图像空间，并得到目标图像：
Figure BDA0003354739600000091
目标图像x′tar对于重建和超分任务，其大小均是H×W。
四、损失函数
本发明的损失函数直接采用L1损失函数来训练：
Figure BDA0003354739600000092
其中，α是两条分支的损失函数的权重因子，M是训练样本的数目。
如图5所示，本发明的多模态MR成像方法包括以下步骤：
S501，从MR图像扫描仪获得图像块；
S502，从所述图像块获得辅助模态的Ground Truth图像
Figure BDA0003354739600000093
其中，H和W是特征的高和宽；对于重建任务，从所述图像块获得零填充图像
Figure BDA0003354739600000094
对于超分任务，从所述图像块获得低分辨率图像
Figure BDA0003354739600000095
S503，将目标模态图像
Figure BDA0003354739600000096
或
Figure BDA0003354739600000097
以及辅助模态图像xaux输入本发明的多模态Transformer模型，得到目标图像x′tar和x′aux。
在本发明中，我们致力于探索丰富的全局信息来加速多模态MR成像。为此，我们提出了一种新的用于加速多模态MR成像的网络模型，该网络可用于MR图像重建和超分，在辅助模态的引导下有效地恢复目标模态。通过融合不同模态的特征，该方法有助于获取多模态MR图像的全局信息，获得更高质量的重建图像，并显著降低失真。特别的是，提出的交叉注意力机制可以很好地探索不同尺度下的融合策略，既能获得清晰的结构信息，又能获得细微的像素级信息。在不同的欠采样模式设置下，我们在fastMRI和真实的临床数据集上进行了大量的实验。结果表明，本发明的模型在加速MR成像方面优于最先进的方法。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (9)

1.一种用于加速多模态MR成像的深度网络模型，所述模型包括网络头部模块、多模态Transformer模块、网络尾部模块；其中，
所述网络头部模块包括目标分支网络头部子模块和辅助分支网络头部子模块，两个网络头部子模块分别从多模态输入图像中提取不同尺度的模态特征；
所述多模态Transformer模块用于融合不同的模态，通过将当前分支的特征作为查询来与另一个分支交换信息；具体地，将可学习的位置编码加入到目标模态的特征向量序列中，而一个不同尺度的位置编码被加入到辅助模态中；经过位置编码嵌入后的patch序列，将被输入到级联的多个交叉Transfomer编码器模块，每个交叉Transfomer编码器由两个组件组成，用于目标模态的交叉Transfomer编码器encodertar和用于辅助模态的交叉Transfomer辅助编码器encoderaux；利用交叉注意力机制将当前分支中的特征作为查询query，通过注意力与其他分支的特征进行交互；
所述网络尾部模块包括目标分支网络尾部子模块和辅助分支网络尾部子模块，两个网络头部子模块分别将特征映射到恢复的图像。
2.根据权利要求1所述的深度网络模型，其特征在于：所述网络头部子模块由3个连续的3×3卷积层组成。
3.据权利要求1所述的深度网络模型，其特征在于：所述辅助分支网络头部子模块用于将辅助模态的Ground Truth图像
Figure FDA0003354739590000011
生成辅助特征
Figure FDA0003354739590000012
其中C是通道维度，H和W是特征的高和宽；对于重建任务，所述目标分支网络头部子模块用于将零填充图像
Figure FDA0003354739590000013
生成目标特征
Figure FDA0003354739590000014
对于超分任务，所述目标分支网络头部子模块用于将低分辨率图像
Figure FDA0003354739590000015
生成目标特
Figure FDA0003354739590000016
其中s是分辨率退化尺度因子。
4.据权利要求1所述的深度网络模型，其特征在于：所述多模态Transformer模块采用了两个对称的分支：一个辅助模态分支和一个目标模态分支；首先将辅助模态特征变换成向量序列
Figure FDA0003354739590000017
其中
Figure FDA0003354739590000018
是patch的数目，P是patch的分辨率；将目标模态特征变换成向量序列
Figure FDA0003354739590000019
然后，可学习的位置编码
Figure FDA00033547395900000110
加入到目标模态的特征向量序列中，而一个不同尺度的位置编码
Figure FDA00033547395900000111
被加入到辅助模态中，加入的位置编码可以保留每个patch的位置信息；
Figure FDA00033547395900000112
和
Figure FDA00033547395900000113
是经过位置编码嵌入后的patch序列，将被输入到级联的多个交叉Transfomer编码器模块；接下来，
Figure FDA0003354739590000021
和
Figure FDA0003354739590000022
通过线性投影变换对齐维度，得到对齐后的特征
Figure FDA0003354739590000023
和
Figure FDA0003354739590000024
Figure FDA0003354739590000025
和
Figure FDA0003354739590000026
被输入到Layer Norm层和所述交叉注意力机制进行融合，融合后的特征被进一步输入到一个前馈网络FFN和一个LP层中将特征恢复成初始的维度，整个过程通过残差连接输入和输出：
Figure FDA0003354739590000027
Figure FDA0003354739590000028
Figure FDA0003354739590000029
Figure FDA00033547395900000210
其中，i＝[1,2,...,N],CAtar和CAaux是两条分支的交叉注意力机制，两个分支的输出序列作为下一个交叉Transformer编码器的输，LN()表示Layer Norm层的操作。
5.据权利要求4所述的深度网络模型，其特征在于：所述交叉注意力机制是一个改进的多头注意力机制，它吸收了辅助模态的特征，有助于增强目标模态特征；具体地，对于目标模态分支，将对齐后的特征
Figure FDA00033547395900000211
输入到Layer Norm层得到
Figure FDA00033547395900000212
并作为query，并且它也会和来自于辅助模态的特征
Figure FDA00033547395900000213
连接作为键，值；辅助模态分支是目标模态分支的镜像操作；接着一个标准的Scaled Dot-Product Attention操作被执行：
Figure FDA00033547395900000214
zsa分为目标分支
Figure FDA00033547395900000215
和辅助分支
Figure FDA00033547395900000216
交叉注意力机制的整个过程可以表示为：
Figure FDA00033547395900000217
Figure FDA00033547395900000218
6.据权利要求1所述的深度网络模型，其特征在于：每个网络尾部子模块由一个1×1卷积层组成。
7.据权利要求1所述的深度网络模型，其特征在于：所述尾部模块将多通道特征映射到图像空间，并得到目标图像
Figure FDA0003354739590000031
目标图像x′tar对于重建和超分任务，其大小均是H×W。
8.据权利要求4所述的深度网络模型，其特征在于：损失函数直接采用L1损失函数来训练：
Figure FDA0003354739590000032
其中，α是两条分支的损失函数的权重因子，M是训练样本的数目。
9.一种基于如权利要求1-任一项所述模型的多模态MR成像方法，所述方法包括以下步骤：
从MR图像扫描仪获得图像块；
从所述图像块获得辅助模态的Ground Truth图像
Figure FDA0003354739590000033
其中，H和W是特征的高和宽；对于重建任务，从所述图像块获得零填充图像
Figure FDA0003354739590000034
对于超分任务，从所述图像块获得低分辨率图像
Figure FDA0003354739590000035
将目标模态图像
Figure FDA0003354739590000036
或
Figure FDA0003354739590000037
以及辅助模态图像xaux输入本发明的多模态Transformer模型，得到目标图像x′tar和x′aux。
CN202111348120.7A 2021-11-15 2021-11-15 用于加速多模态mr成像的深度网络方法及其成像方法 Active CN114049408B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111348120.7A CN114049408B (zh) 2021-11-15 2021-11-15 用于加速多模态mr成像的深度网络方法及其成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111348120.7A CN114049408B (zh) 2021-11-15 2021-11-15 用于加速多模态mr成像的深度网络方法及其成像方法

Publications (2)

Publication Number Publication Date
CN114049408A true CN114049408A (zh) 2022-02-15
CN114049408B CN114049408B (zh) 2024-07-12

Family

ID=80209169

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111348120.7A Active CN114049408B (zh) 2021-11-15 2021-11-15 用于加速多模态mr成像的深度网络方法及其成像方法

Country Status (1)

Country Link
CN (1) CN114049408B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114331849A (zh) * 2022-03-15 2022-04-12 之江实验室 一种跨模态核磁共振超分网络及图像超分辨率方法
CN114357231A (zh) * 2022-03-09 2022-04-15 城云科技（中国）有限公司 一种基于文本的图像检索方法、装置及可读存储介质
CN114565816A (zh) * 2022-03-03 2022-05-31 中国科学技术大学 一种基于全局信息融合的多模态医学图像融合方法
CN114693977A (zh) * 2022-04-06 2022-07-01 北京百度网讯科技有限公司 图像处理方法、模型训练方法、装置、设备及介质
CN115082758A (zh) * 2022-08-19 2022-09-20 深圳比特微电子科技有限公司 目标检测模型的训练方法、目标检测方法、装置和介质
CN116630466A (zh) * 2023-07-26 2023-08-22 济南大学 基于生成对抗性网络的脊柱ct到mr转换方法及系统
WO2024187889A1 (zh) * 2023-03-14 2024-09-19 中国科学院深圳先进技术研究院 基于基因影像组的预测方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160093048A1 (en) * 2014-09-25 2016-03-31 Siemens Healthcare Gmbh Deep similarity learning for multimodal medical images
KR20160108902A (ko) * 2015-03-09 2016-09-21 주식회사 코윈스블루 3상 교류 전기기기의 유/무선 제어시스템
CN111126282A (zh) * 2019-12-25 2020-05-08 中国矿业大学 一种基于变分自注意力强化学习的遥感图像内容描述方法
CN113506222A (zh) * 2021-07-30 2021-10-15 合肥工业大学 一种基于卷积神经网络的多模态图像超分辨方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160093048A1 (en) * 2014-09-25 2016-03-31 Siemens Healthcare Gmbh Deep similarity learning for multimodal medical images
KR20160108902A (ko) * 2015-03-09 2016-09-21 주식회사 코윈스블루 3상 교류 전기기기의 유/무선 제어시스템
CN111126282A (zh) * 2019-12-25 2020-05-08 中国矿业大学 一种基于变分自注意力强化学习的遥感图像内容描述方法
CN113506222A (zh) * 2021-07-30 2021-10-15 合肥工业大学 一种基于卷积神经网络的多模态图像超分辨方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
孙利雷;徐勇;: "基于深度学习的乳腺X射线影像分类方法研究", 计算机工程与应用, no. 21, 1 November 2018 (2018-11-01) *
杨云;王全;: "层聚合的对抗机器翻译模型的方法研究", 陕西科技大学学报, no. 01, 14 January 2020 (2020-01-14) *
杨琬琪;周子奇;郭心娜: "注意力机制引导的多模态心脏图像分割", 南京师大学报(自然科学版), vol. 42, no. 003, 31 December 2019 (2019-12-31) *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114565816A (zh) * 2022-03-03 2022-05-31 中国科学技术大学 一种基于全局信息融合的多模态医学图像融合方法
CN114565816B (zh) * 2022-03-03 2024-04-02 中国科学技术大学 一种基于全局信息融合的多模态医学图像融合方法
CN114357231A (zh) * 2022-03-09 2022-04-15 城云科技（中国）有限公司 一种基于文本的图像检索方法、装置及可读存储介质
CN114331849A (zh) * 2022-03-15 2022-04-12 之江实验室 一种跨模态核磁共振超分网络及图像超分辨率方法
CN114331849B (zh) * 2022-03-15 2022-06-10 之江实验室 一种跨模态核磁共振超分网络及图像超分辨率方法
CN114693977A (zh) * 2022-04-06 2022-07-01 北京百度网讯科技有限公司 图像处理方法、模型训练方法、装置、设备及介质
CN115082758A (zh) * 2022-08-19 2022-09-20 深圳比特微电子科技有限公司 目标检测模型的训练方法、目标检测方法、装置和介质
WO2024187889A1 (zh) * 2023-03-14 2024-09-19 中国科学院深圳先进技术研究院 基于基因影像组的预测方法、装置、设备及存储介质
CN116630466A (zh) * 2023-07-26 2023-08-22 济南大学 基于生成对抗性网络的脊柱ct到mr转换方法及系统
CN116630466B (zh) * 2023-07-26 2023-10-24 济南大学 基于生成对抗性网络的脊柱ct到mr转换方法及系统

Also Published As

Publication number Publication date
CN114049408B (zh) 2024-07-12

Similar Documents

Publication Publication Date Title
CN114049408A (zh) 用于加速多模态mr成像的深度网络模型
Liu et al. Perception consistency ultrasound image super-resolution via self-supervised CycleGAN
Yang et al. Deep edge guided recurrent residual learning for image super-resolution
Meng et al. Single-image dehazing based on two-stream convolutional neural network
CN109214989B (zh) 基于多方向特征预测先验的单幅图像超分辨率重建方法
Qu et al. TransFuse: A unified transformer-based image fusion framework using self-supervised learning
Li et al. Model-informed Multi-stage Unsupervised Network for Hyperspectral Image Super-resolution
Pandey et al. Segmentation of liver lesions with reduced complexity deep models
CN116823625B (zh) 基于变分自编码器的跨对比度磁共振超分辨率方法和系统
Zhao et al. MPSHT: multiple progressive sampling hybrid model multi-organ segmentation
CN116596949A (zh) 一种基于条件扩散模型的医学图像分割方法
CN116309278A (zh) 基于多尺度上下文感知的医学图像分割模型及方法
CN118470036A (zh) 一种HL-UNet图像分割模型及心脏动态磁共振成像分割方法
Ghahremani et al. NeuroConstruct: 3D reconstruction and visualization of neurites in optical microscopy brain images
Xie et al. MRSCFusion: Joint residual Swin transformer and multiscale CNN for unsupervised multimodal medical image fusion
Feng et al. Deep multi-modal aggregation network for MR image reconstruction with auxiliary modality
Qiu et al. Cardiac Magnetic Resonance Images Superresolution via Multichannel Residual Attention Networks
Gu et al. Endoscopic single image super-resolution based on transformer and convolutional neural network
CN116309679A (zh) 一种适用于多种模态的类mlp医学影像分割方法
CN114298979B (zh) 一种局灶性病变征象描述指导的肝核磁影像序列生成方法
Wu et al. Scale-aware dynamic network for continuous-scale super-resolution
CN112967295B (zh) 一种基于残差网络和注意力机制的图像处理方法及系统
Geng et al. FFusionCGAN: An end-to-end fusion method for few-focus images using conditional GAN in cytopathological digital slides
Qin et al. Remote sensing image super-resolution using multi-scale convolutional neural network
Xiao et al. Multi-Scale Non-Local Sparse Attention for Single Image Super-Resolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant