CN114331849B - 一种跨模态核磁共振超分网络及图像超分辨率方法 - Google Patents

一种跨模态核磁共振超分网络及图像超分辨率方法 Download PDF

Info

Publication number
CN114331849B
CN114331849B CN202210250052.9A CN202210250052A CN114331849B CN 114331849 B CN114331849 B CN 114331849B CN 202210250052 A CN202210250052 A CN 202210250052A CN 114331849 B CN114331849 B CN 114331849B
Authority
CN
China
Prior art keywords
network
module
cross
modal
stage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210250052.9A
Other languages
English (en)
Other versions
CN114331849A (zh
Inventor
程乐超
王良
方超伟
张鼎文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202210250052.9A priority Critical patent/CN114331849B/zh
Publication of CN114331849A publication Critical patent/CN114331849A/zh
Application granted granted Critical
Publication of CN114331849B publication Critical patent/CN114331849B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明提出了一种跨模态核磁共振超分网络及图像超分辨率方法，通过引入T1WI核磁共振图像作为辅助信息重建高分辨率T2WI图像，实现不同模态之间的信息交流与互补，显著提高信息的融合能力，加强特征表达。将T2WI模态图像的低高频信息重建任务分而治之，利用卷积的局部感知特性及可变形网络的全局感知特性来加强网络对特征的感受能力，有效提升高频信息的重建效果。设计的模态间多头注意力模块，利用空间特征自相似性来有效融合特征非局部信息，有效提高模型泛化性。

Description

一种跨模态核磁共振超分网络及图像超分辨率方法
技术领域
本发明涉及核磁共振图像超分辨率领域，特别涉及一种跨模态核磁共振超分网络及图像超分辨率方法。
背景技术
凭借其在捕获人体软组织的病理学细节方面的适用性，核磁共振图像被认为是计算机辅助诊断和脑功能探究中使用最广泛的数据之一，可以有效地帮助医学研究者进行疾病诊断和脑功能分析。高分辨率核磁共振图像能给病理分析提供有效的辅助信息，反之，低分辨率核磁共振图像可能会在临床诊断中对部分疾病（例如病灶区域很小的肿瘤）的诊断造成困难，不利于病情的及时诊断而带来健康隐患，也给研究人员探索人脑内部结构带来挑战。然而，由于硬件和处理程序的运行限制，在特定模态下完成核磁扫描程序以获取高分辨率核磁共振图像需要耗费较长的时间。为了提高核磁共振图像分辨率，我们可以改善成像设备的精密度，然而，由此而造成的成本会显著增加。而现有图像超分重建算法在提升分辨率时，往往会引入噪声信息，导致信噪比较低。为了解决这个问题，课题组计划基于可变形神经网络构建新型核磁共振图像超分框架，以期推动该研究领域的进展，大幅改善超分图像的全局结构信息的准确度和局部细节的清晰度。
当前核磁共振图像超分辨率的主流技术是基于卷积神经网络的深度学习模型。借助强大的表征学习能力，卷积神经网络可以有效学习从低分辨率图像到高分辨率图像的非线性映射，使得模型能够取得令人较为满意的结果。但是，由于卷积神经网络固有的局部感知特性影响，其捕获全局结构和长距离上下文信息的能力较为欠缺，而核磁共振超分辨率重建需要深度学习模型既能拥有良好的局部感知特性来重建低频上下文细节，又能拥有长距离的全局感知来重建高频纹理结构，这使得基于卷积神经网络的核磁共振超分辨率技术并不是最优解决方案。对于核磁共振图像超分任务，如果能够同时实现高质量的低频信号重建和高频结构以及纹理信息恢复，那么将能以较低成本为疾病诊断和治疗带来便利，有效提高临床诊断地准确性，更好地造福人类生命健康。
发明内容
本发明的目的主要解决当前基于深度学习的核磁共振图像超分任务中，跨模态核磁共振图像超分问题。基于卷积神经网络的深度学习模型难以兼顾局部和全局信息的互补融合，并且单模态输入无法引入有效的辅助信息，这极大限制了深度学习模型的上采样映射能力。
为实现上述目的，本发明提供如下技术方案：
本申请公开了一种跨模态核磁共振超分网络的图像超分辨率方法，包括以下步骤：所述跨模态核磁共振超分网络包括依次串联的输入门、跨模态高频融合互补模块和输出门，所述跨模态高频融合互补模块包括多级跨模态高频可变形网络模块和多级密集残差嵌入网络，其中，多级所述跨模态高频可变形网络模块和多级所述密集残差嵌入网络一一对应，多级所述跨模态高频可变形网络模块依次串联，多级所述密集残差嵌入网络依次串联，当前级的跨模态高频可变形网络模块的输出以及当前级的密集残差嵌入网络的输出相加获得的结果作为下一级的密集残差嵌入网络的输入，最后一级的跨模态高频可变形网络模块的输出以及最后一级的密集残差嵌入网络的输出相加获得的结果作为所述输出门的输入；
所述方法包括以下步骤：
S1、对核磁共振图像T1、T2进行处理，获得T2对应的模态图像
Figure DEST_PATH_IMAGE001
和梯度图
Figure 100002_DEST_PATH_IMAGE002
、T1对应的梯度图为
Figure DEST_PATH_IMAGE003
，其中，T1、T2分别为同一人体组织部位所获得的T1加权图像和T2加权图像；
S2、将
Figure 360455DEST_PATH_IMAGE001
、
Figure 759819DEST_PATH_IMAGE002
、
Figure 742818DEST_PATH_IMAGE003
输入所述输入门，在所述输入门中进行浅层度特征提取，获得T1对应的浅层梯度特征
Figure 100002_DEST_PATH_IMAGE004
、T2对应的浅层图像域特征
Figure DEST_PATH_IMAGE005
、T2对应的浅层梯度特征
Figure 100002_DEST_PATH_IMAGE006
；
S3、将
Figure 793820DEST_PATH_IMAGE005
作为第一级的密集残差嵌入网络的输入，将
Figure 873771DEST_PATH_IMAGE004
、
Figure 368338DEST_PATH_IMAGE006
作为第一级的跨模态高频可变形网络模块的输入，在所述跨模态高频融合互补模块中进行处理，获得最后一级的跨模态高频可变形网络模块的输出以及最后一级的密集残差嵌入网络的输出；
S4、将
Figure 900950DEST_PATH_IMAGE005
、最后一级的跨模态高频可变形网络模块的输出以及最后级的密集残差嵌入网络的输出输入所述输出门，以通过所述输出门的上下分支分别输出高分辨率图像
Figure 100002_DEST_PATH_IMAGE007
及其对应的梯度图像
Figure 100002_DEST_PATH_IMAGE008
。
作为优选，所述跨模态高频可变形网络模块共有4级，所述密集残差嵌入网络共有4级。
作为优选，所述跨模态高频可变形网络模块从由长短距离感知模块，空间特征自适应模块和模态间多头注意力模块依次串联而成，所述长短距离感知模块内部连接结构依次串联有短距离窗口注意力模块、第一多层感知机、长距离窗口注意力模块、第二多层感知机，所述第一多层感知机和第二多层感知机内部结构依次为层归一化，卷积，高斯线性分布单元；所述短距离窗口注意力模块的窗口采样方式为相邻的5*5大小局部变形方式，长距离窗口注意力模块的窗口采样方式为相邻的5*5大小全局稀疏变形方式，所述短距离窗口注意力模块和长距离窗口注意力模块的位置编码均采用可学习参数形式，参数初始化为1。
作为优选，所述步骤S3具体包括：
S31、将
Figure 788266DEST_PATH_IMAGE005
作为第一级的密集残差嵌入网络的输入，将
Figure 660407DEST_PATH_IMAGE004
、
Figure 122612DEST_PATH_IMAGE006
作为第一级的跨模态高频可变形网络模块的输入，在所述跨模态高频融合互补模块中，当前级的T2对应的跨模态高频可变形网络模块输出的T2对应的浅层图像域特征
Figure 100002_DEST_PATH_IMAGE009
通过下一级的密集残差嵌入网络得到特征
Figure 100002_DEST_PATH_IMAGE010
，特征
Figure 329471DEST_PATH_IMAGE010
通过一组卷积得到跨模态输入特征
Figure 100002_DEST_PATH_IMAGE011
，并与T2对应的浅层梯度特征
Figure 738587DEST_PATH_IMAGE006
进行通道拼接，得到
Figure 100002_DEST_PATH_IMAGE012
；其中，
Figure 100002_DEST_PATH_IMAGE013
，R表示通过密集残差嵌入网络；i为密集残差嵌入网络的级别数，且i≥1；
Figure 100002_DEST_PATH_IMAGE014
，C表示通过一组卷积；
S32、在跨模态高频融合互补模块中的第一级跨模态高频可变形网络模块内，
Figure 439737DEST_PATH_IMAGE012
经过长短距离感知模块得到特征
Figure 100002_DEST_PATH_IMAGE015
，
Figure 338423DEST_PATH_IMAGE015
与T1对应的浅层梯度特征
Figure 48890DEST_PATH_IMAGE004
结合输入空间特征自适应模块得到分布对齐特征
Figure 100002_DEST_PATH_IMAGE016
，
Figure 307702DEST_PATH_IMAGE015
与
Figure 154435DEST_PATH_IMAGE016
进行通道拼接之后经过模态间多头注意力模块得到特征
Figure 100002_DEST_PATH_IMAGE017
；
S33、
Figure 224023DEST_PATH_IMAGE011
经过一组卷积和GELU激活函数得到高低频融合注意力图
Figure 100002_DEST_PATH_IMAGE018
，通过矩阵相乘广播机制得到
Figure 100002_DEST_PATH_IMAGE019
；其中，
Figure 100002_DEST_PATH_IMAGE020
；
Figure 100002_DEST_PATH_IMAGE021
表示通过过矩阵相乘广播机制；
S34、迭代步骤S31至S33，迭代预设次后，获得最后一级的跨模态高频可变形网络模块的输出以及最后一级的密集残差嵌入网络的输，其中，预设次为跨模态高频融合互补模块中跨模态高频可变形网络模块的总级数。
本发明还公开了一种跨模态核磁共振超分网络，包括依次串联的输入门、跨模态高频融合互补模块和输出门，所述跨模态高频融合互补模块包括多级跨模态高频可变形网络模块和多级密集残差嵌入网络，其中，多级所述跨模态高频可变形网络模块和多级所述密集残差嵌入网络一一对应，多级所述跨模态高频可变形网络模块依次串联，多级所述密集残差嵌入网络依次串联，当前级的跨模态高频可变形网络模块的输出以及当前级的密集残差嵌入网络的输出相加获得的结果作为下一级的密集残差嵌入网络的输入，最后一级的跨模态高频可变形网络模块的输出以及最后级的密集残差嵌入网络的输出相加获得的结果作为所述输出门的输入；
其中，所述输入门用于对外部输入的核磁共振图像T2对应的模态图像
Figure 579043DEST_PATH_IMAGE001
和梯度图
Figure 861120DEST_PATH_IMAGE002
、核磁共振图像T1对应的梯度图为
Figure 77206DEST_PATH_IMAGE003
进行浅层度特征提取，获得T1对应的浅层梯度特征
Figure 114432DEST_PATH_IMAGE004
、T2对应的浅层图像域特征
Figure 100002_DEST_PATH_IMAGE022
、T2对应的浅层梯度特征
Figure 100002_DEST_PATH_IMAGE023
；T1、T2分别为同一人体组织部位所获得的T1加权图像和T2加权图像；将
Figure 2754DEST_PATH_IMAGE022
作为第一级的密集残差嵌入网络的输入，将
Figure 100002_DEST_PATH_IMAGE024
、
Figure 305166DEST_PATH_IMAGE023
作为第一级的跨模态高频可变形网络模块的输入，在所述跨模态高频融合互补模块中进行处理，获得最后一级的跨模态高频可变形网络模块的输出以及最后一级的密集残差嵌入网络的输出；
所述输出门用于接收
Figure 126491DEST_PATH_IMAGE022
、最后一级的跨模态高频可变形网络模块的输出和最后级的密集残差嵌入网络的输出，以通过所述输出门的上下分支分别输出高分辨率图像
Figure 100002_DEST_PATH_IMAGE025
及其对应的梯度图像
Figure DEST_PATH_IMAGE026
。
作为优选，所述跨模态高频可变形网络模块共有4级，所述密集残差嵌入网络共有4级。
作为优选，所述密集残差嵌入网络由5组密集残差嵌入模块串联而成，所述密集残差嵌入模块串联由5组密集残差模块串联而成。
作为优选，所述跨模态高频可变形网络模块从由长短距离感知模块，空间特征自适应模块和模态间多头注意力模块依次串联而成，所述长短距离感知模块内部连接结构依次串联有短距离窗口注意力模块、第一多层感知机、长距离窗口注意力模块、第二多层感知机，所述第一多层感知机和第二多层感知机内部结构依次为层归一化，卷积，高斯线性分布单元；所述短距离窗口注意力模块的窗口采样方式为相邻的5*5大小局部变形方式，长距离窗口注意力模块的窗口采样方式为相邻的5*5大小全局稀疏变形方式，所述短距离窗口注意力模块和长距离窗口注意力模块的位置编码均采用可学习参数形式，参数初始化为1。
本发明还公开了一种跨模态核磁共振超分网络的图像超分辨率装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现上述的一种跨模态核磁共振超分网络的图像超分辨率方法。
本发明还公开了一种计算机可读存储介质，其特征在于：其上存储有程序，该程序被处理器执行时，用于实现上述的一种跨模态核磁共振超分网络的图像超分辨率方法。
本发明的有益效果：
1、本发明通过引入T1核磁共振图像作为辅助信息重建高分辨率T2核磁共振图像，实现不同模态之间的信息交流与互补，显著提高信息的融合能力，加强特征表达。
2、本发明将T2对应的模态图像的低高频信息重建任务分而治之，利用卷积的局部感知特性及可变形网络的全局感知特性来加强网络对特征的感受能力，有效提升高频信息的重建效果。
3、本发明设计的模态间多头注意力模块，利用空间特征自相似性来有效融合特征非局部信息，有效提高模型泛化性。
本发明的特征及优点将通过实施例结合附图进行详细说明。
附图说明
图1是本发明一种跨模态核磁共振超分网络的结构示意图；
图2是本发明的跨模态高频可变形模块结构示意图；
图3是本发明的长短距离感知模块中的长短距离采样结构示意图；
图4是本发明的输出门的结构示意图；
图5是本发明空间特征自适应模块的结构示意图；
图6是本发明模态间多头注意力模块的结构示意图；
图7是本发明一种跨模态核磁共振超分网络的图像超分辨率装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图及实施例，对本发明进行进一步详细说明。但是应该理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
参见图1，本发明实施例中的跨模态核磁共振超分网络包括依次串联的输入门、跨模态高频融合互补模块和输出门，所述跨模态高频融合互补模块包括多级跨模态高频可变形网络模块和多级密集残差嵌入网络（图1中的5xRRDB），其中，多级所述跨模态高频可变形网络模块和多级所述密集残差嵌入网络一一对应，多级所述跨模态高频可变形网络模块依次串联，多级所述密集残差嵌入网络依次串联，当前级的跨模态高频可变形网络模块的输出以及当前级的密集残差嵌入网络的输出相加获得的结果作为下一级的密集残差嵌入网络的输入，最后一级的跨模态高频可变形网络模块的输出以及最后一级的密集残差嵌入网络的输出相加获得的结果作为所述输出门的输入。
其中，所述输入门用于对外部输入的核磁共振图像T2对应的模态图像
Figure 6723DEST_PATH_IMAGE027
和梯度图
Figure DEST_PATH_IMAGE028
、核磁共振图像T1对应的梯度图为
Figure DEST_PATH_IMAGE029
进行浅层度特征提取，获得T1对应的浅层梯度特征
Figure DEST_PATH_IMAGE030
、T2对应的浅层图像域特征
Figure DEST_PATH_IMAGE031
、T2对应的浅层梯度特征
Figure DEST_PATH_IMAGE032
。T1、T2分别为同一人体组织部位所获得的T1加权图像和T2加权图像。
将
Figure 834870DEST_PATH_IMAGE031
作为第一级的密集残差嵌入网络的输入，将
Figure 209482DEST_PATH_IMAGE030
、
Figure 150893DEST_PATH_IMAGE032
作为第一级的跨模态高频可变形网络模块的输入，在所述跨模态高频融合互补模块中进行处理，获得最后一级的跨模态高频可变形网络模块的输出以及最后一级的密集残差嵌入网络的输出。
所述输出门用于接收
Figure 529922DEST_PATH_IMAGE031
、最后一级的跨模态高频可变形网络模块的输出和最后级的密集残差嵌入网络的输出，以通过所述输出门的上下分支分别输出高分辨率图像
Figure DEST_PATH_IMAGE033
及其对应的梯度图像
Figure DEST_PATH_IMAGE034
。
本发明实施例通过引入T1核磁共振图像作为辅助信息重建高分辨率T2核磁共振图像，实现不同模态之间的信息交流与互补，显著提高信息的融合能力，加强特征表达；并且，将T2对应的模态图像的低高频信息重建任务分而治之，利用卷积的局部感知特性及可变形网络的全局感知特性来加强网络对特征的感受能力，有效提升高频信息的重建效果；另外，本发明实施例设计的模态间多头注意力模块，利用空间特征自相似性来有效融合特征非局部信息，有效提高模型泛化性。
本发明实施例中，将核磁共振图像T1、T2的加权成像T1WI和T2WI的模态图像经过梯度提取卷积，再逐像素平方和再取其算术平方根，得到梯度图，其中T2WI模态图像及其梯度图设为
Figure 845366DEST_PATH_IMAGE027
，
Figure 335253DEST_PATH_IMAGE028
，T1WI的梯度图为
Figure 600012DEST_PATH_IMAGE029
。
可选地，在一些实施例中，跨模态高频融合互补模块的具体处理过程如下：
S31、将
Figure 353204DEST_PATH_IMAGE005
作为第一级的密集残差嵌入网络的输入，将
Figure 234573DEST_PATH_IMAGE004
、
Figure 528151DEST_PATH_IMAGE006
作为第一级的跨模态高频可变形网络模块的输入，在所述跨模态高频融合互补模块中，当前级的T2对应的跨模态高频可变形网络模块输出的T2对应的浅层图像域特征
Figure 660798DEST_PATH_IMAGE009
通过下一级的密集残差嵌入网络得到特征
Figure 319313DEST_PATH_IMAGE010
，特征
Figure 484715DEST_PATH_IMAGE010
通过一组卷积得到跨模态输入特征
Figure 254088DEST_PATH_IMAGE011
，并与T2对应的浅层梯度特征
Figure 290177DEST_PATH_IMAGE006
进行通道拼接，得到
Figure 103281DEST_PATH_IMAGE012
；其中，
Figure 755979DEST_PATH_IMAGE013
，R表示通过密集残差嵌入网络；i为密集残差嵌入网络的级别数，且i≥1；
Figure 329043DEST_PATH_IMAGE014
，C表示通过一组卷积；
S32、在跨模态高频融合互补模块中的第一级跨模态高频可变形网络模块内，
Figure 688480DEST_PATH_IMAGE012
经过长短距离感知模块得到特征
Figure 954377DEST_PATH_IMAGE015
，
Figure 782786DEST_PATH_IMAGE015
与T1对应的浅层梯度特征
Figure DEST_PATH_IMAGE035
结合输入空间特征自适应模块得到分布对齐特征
Figure 690700DEST_PATH_IMAGE016
，
Figure 904643DEST_PATH_IMAGE015
与
Figure 341441DEST_PATH_IMAGE016
进行通道拼接之后经过模态间多头注意力模块得到特征
Figure DEST_PATH_IMAGE036
；
S33、
Figure 421261DEST_PATH_IMAGE011
经过一组卷积和GELU激活函数得到高低频融合注意力图
Figure 336128DEST_PATH_IMAGE018
，通过矩阵相乘广播机制得到
Figure 466895DEST_PATH_IMAGE019
；其中，
Figure 74593DEST_PATH_IMAGE020
；
Figure 861284DEST_PATH_IMAGE021
表示通过过矩阵相乘广播机制；
S34、迭代步骤S31至S22，迭代预设次后，获得最后一级的跨模态高频可变形网络模块的输出以及最后一级的密集残差嵌入网络的输，其中，预设次为跨模态高频融合互补模块中跨模态高频可变形网络模块的总级数。
可以理解地，本发明实施例中，
Figure 376579DEST_PATH_IMAGE010
为各级密集残差嵌入网络的输出，
Figure 578497DEST_PATH_IMAGE019
为各级跨模态高频可变形网络模块的输出。
在跨模态高频融合互补模块中，跨模态高频可变形网络模块的级数与密集残差嵌入网络的级数大小相等，具体可根据需要设置跨模态高频可变形网络模块的级数与密集残差嵌入网络的级数大。例如，在一些实施例中，所述跨模态高频可变形网络模块共有4级，所述密集残差嵌入网络共有4级，本实施例中，i=1,2,3,4，通过将跨模态高频可变形网络模块的级数和密集残差嵌入网络的级数均设置成4级，能够利用卷积的局部感知特性及可变形网络的全局感知特性来加强网络对特征的感受能力，从而有效提升高频信息的重建效果。当然，跨模态高频可变形网络模块的级数和密集残差嵌入网络的级数也可设置为其他大小，如2、3、5、6等等。
所述跨模态高频可变形网络模块从由长短距离感知模块，空间特征自适应模块和模态间多头注意力模块依次串联而成，所述长短距离感知模块内部连接结构依次串联有短距离窗口注意力模块、第一多层感知机、长距离窗口注意力模块、第二多层感知机，所述第一多层感知机和第二多层感知机内部结构依次为层归一化，卷积，高斯线性分布单元；所述短距离窗口注意力模块的窗口采样方式为相邻的5*5大小局部变形方式，长距离窗口注意力模块的窗口采样方式为相邻的5*5大小全局稀疏变形方式，所述短距离窗口注意力模块和长距离窗口注意力模块的位置编码均采用可学习参数形式，参数初始化为1。
实施例：
本发明的学习目标是：
Figure DEST_PATH_IMAGE037
；
Figure DEST_PATH_IMAGE038
；
Figure DEST_PATH_IMAGE039
；
Figure DEST_PATH_IMAGE040
；
X为输入的低分辨率图像，Y是高分辨率图像输出，S是网络上采样函数，
Figure DEST_PATH_IMAGE041
、
Figure DEST_PATH_IMAGE042
、
Figure DEST_PATH_IMAGE043
分别为输入特征的通道数、长、宽，
Figure DEST_PATH_IMAGE044
为上采用因子，
Figure DEST_PATH_IMAGE045
、
Figure DEST_PATH_IMAGE046
分别代表输出空间与输入空间。
对此，本发明从跨模态核磁共振图像超分入手，设计出能兼顾全局和局部感知特性的跨模态高频可变形网络，利用其内部空间特征自适应模块消除不同模态特征之间的差异性，进一步加强跨模态特征融合，并设计了高频结构先验和模态间上下文先验，引入峰值信噪比和结构相似性约束，将高分辨率T2WI模态的图像及其高频梯度图像作为网络学习目标，卷积神经网络和可变形网络双分支中间不同频率及不同模态特征彼此融合，相互提高表达能力。
本发明设计的一种跨模态核磁共振超分网络从网络结构（如图1）上看，可以分成三个部分：输入门(Input Gate)（如图1中的部分标注），由4个结构相同的跨模态高频可变形网络(Cross-modality High-frequency Transformer Cohf-T)（如图2）构成的跨模态高频融合互补模块，输出门(Output Gate)（如图3）。输入门由卷积神经网络构成，其作用是对输入的T1WI和T2WI模态图像进行浅层特征提取，跨模态高频可变形网络进行跨模态特征融合与互补,输出门将融合的T1WI和T2WI特征进行上采样重建。本发明所设计的网络输入是T1WI核磁共振模态图像作为辅助信息，T2WI模态核磁共振图像作为所要超分的对象，网络输出为放大n(
Figure DEST_PATH_IMAGE047
)倍的T2W1模态核磁共振高分辨率图像。
本发明在训练模型上包括如下步骤：
步骤S01：高分辨率T2WI模态的核磁共振图像经过K-space频域下采样方法得到低分辨率图像，K-space操作首先将输入的高分辨率T2WI模态图像进行傅里叶变换，然后根据下采样因子截断频谱图外圈频域信息，最后反傅里叶变换。
二维傅里叶变换：
Figure DEST_PATH_IMAGE048
二维傅里叶反变换：
Figure DEST_PATH_IMAGE049
Figure DEST_PATH_IMAGE050
、
Figure DEST_PATH_IMAGE051
分别图像长、宽，
Figure DEST_PATH_IMAGE052
辅助信息为高分辨率T1WI模态的核磁共振图像，均为单通道图像，
Figure DEST_PATH_IMAGE053
，像素值已线性归一化到[0,1],
线性归一化：
Figure DEST_PATH_IMAGE054
Figure DEST_PATH_IMAGE055
、
Figure DEST_PATH_IMAGE056
分别代表输入图像的像素最大值及最小值
在输入到输入门之前，辅助模态图像经过梯度提取操作得到其梯度图像，
水平方向梯度：
Figure DEST_PATH_IMAGE057
垂直方向梯度：
Figure DEST_PATH_IMAGE058
水平垂直梯度：
Figure DEST_PATH_IMAGE059
梯度2范数：
Figure DEST_PATH_IMAGE060
输入门的设计如图1部分标注所示，其中，RRDB（residual-in-residual denseblock,）表示密集残差嵌入模块，由5个密集残差模块（Residual Dense Network RDN）经过串联而成，一个密集残差模块由5层卷积结构经过残差连接而成，残差连接是指输入特征经过某个卷积层或者某个模块得到的输出特征与输入特征相加形成新的输出特征，传播到下一个串联模块。
RRDB模块：
Figure DEST_PATH_IMAGE061
Figure DEST_PATH_IMAGE062
GELU表示高斯分布线性单元(Gaussian Error Linerar Units)。
Figure DEST_PATH_IMAGE063
；
步骤S02：输入门出来的T1WI、T2WI模态特征及其梯度特征分别为
Figure DEST_PATH_IMAGE064
，结构一致的跨模态高频可变形网络模块迭代4次，跨模态高频可变形网络模块包括3个模块，分别为长短距离感知模块，空间特征自适应模块，长短距离感知模块包括短距离感知模块和长距离感知模块，短距离感知模块由短距离窗口采样模块和多层感知机串联而成，长距离感知模块由长距离窗口采样模块和多层感知机串联而成。
第i个跨模态高频可变形网络模块的输入输出：
Figure DEST_PATH_IMAGE065
；
第i+1个跨模态高频可变形网络模块的输入输出：
Figure DEST_PATH_IMAGE066
；
步骤S02所提的长短距离感知模块，如图3，为了充分利用可变形网络的长距离信息感知能力，在该模块中引入两种不同的长短距离窗口采样作为特征向量嵌入方式，如图4，使得一个特征窗口内既包含短距离细节信息，又包含长距离的结构信息，两种不同距离的向量嵌入交替迭代在网络的前向传播过程，由卷积神经网络提取的浅层特征经过本发明设计的长短距离注意力提取更深更高频的特征，短距离注意力模块的输入特征为像素相邻的特征元素构成，旨在感知局部信息，提取和加工由T2图像域的低频特征，补充卷积核所感w知的局部信息，恢复图像的纹理细节。长距离注意力模块的输入特征（embedding)为全局间隔特征元素构成，旨在感知全局部信息，提取和加工由T2梯度域的高频特征，补充卷积核所不充分感知的全局信息，恢复图像的高频结构。长短距离向量嵌入相互配合，可以提高可变形网络对特征的感知能力，让网络在同时具有局部感知何全局感知的能力，在感知纹理细节的同时能够有效处理全局的高频信息。
窗口变形函数：
Figure DEST_PATH_IMAGE067
；
Figure DEST_PATH_IMAGE068
、
Figure DEST_PATH_IMAGE069
、
Figure DEST_PATH_IMAGE070
、
Figure DEST_PATH_IMAGE071
分别表示特征维度、高、宽、窗口大小。
步骤S03：经过长短距离感知模块提取的特征输入到空间特征自适应模块，本发明在进行跨模态注意力之前，将T1WI(T1)的梯度特征与T2WI(T2)特征分布一致，使得跨模态注意力模块能够更准确地融合T1和T2模态地高频分量。使网络学习出适应T1模态特征均值和方差分布的能力，在设计跨模态注意力模块之前，本发明加入空间特征自适应模块，如图5，使T1模态特征分布适应T2模态特征分布，能够更好地进行跨模态高频特征融合。
T1WI模态梯度特征归一化：
Figure DEST_PATH_IMAGE072
，
Figure DEST_PATH_IMAGE073
，
Figure DEST_PATH_IMAGE074
分别表示
Figure DEST_PATH_IMAGE075
通道上的均值和方差。
T1WI模态梯度特征反归一化输出：
Figure DEST_PATH_IMAGE076
，
Figure DEST_PATH_IMAGE077
，
Figure DEST_PATH_IMAGE078
分别表示
Figure 668681DEST_PATH_IMAGE075
通道上的均值偏移量和方差偏移量。
步骤S04：T1模态的特征分布经通过空间特征自适应模块之后，送入模态间多头注意力，如图6，根据T2模态特征的自相似性和T2与T1模态特征之间的互相关性，该模块提取到加强的高频信息，以T1模态的相关高频特征来补充T2模态的高频特征，T1与T2特征经过一系列卷积然后融合各自的位置编码，得到嵌入向量，该模块主要由头内注意力及头间注意力两部分构成，在头内注意力部分，T2 模态的嵌入向量由网络自学习出头内注意力矩阵，通过头内自相关性进行特征融合，
Figure DEST_PATH_IMAGE079
；
Figure DEST_PATH_IMAGE080
；
Figure DEST_PATH_IMAGE081
；
Figure DEST_PATH_IMAGE082
；
Figure DEST_PATH_IMAGE083
；
Figure DEST_PATH_IMAGE084
；
Figure DEST_PATH_IMAGE085
，
Figure DEST_PATH_IMAGE086
，
Figure DEST_PATH_IMAGE087
分别表示查询量，键，值，
Figure DEST_PATH_IMAGE088
，
Figure DEST_PATH_IMAGE089
，
Figure DEST_PATH_IMAGE090
分别表示特征头数，特征维度，窗口大小。
为了充分利用头间特征，在头内注意力之后，该模块加入了头间注意力融合模块，通过头间相关性矩阵融合进一步加强特征表达能力；
Figure DEST_PATH_IMAGE091
；
Figure DEST_PATH_IMAGE092
；
Figure DEST_PATH_IMAGE093
；
Figure DEST_PATH_IMAGE094
，
A、u、V分别表示头间注意力分数矩阵、输出特征、输入特征，N、M分别表示特征维度及空间大小。
步骤S05：经过迭代的跨模态高频可变形网络模块之后，T1WI和T2WI模态的特征输入到输出门，输出门通过通道混洗(Channel Shuffle)将通道特征转变为空间特征，然后经过卷积重构特征为图像。特征尺寸的转换过程如下：
Figure DEST_PATH_IMAGE095
Figure DEST_PATH_IMAGE096
分别代表图像的批次、通道、高、宽，
Figure DEST_PATH_IMAGE097
代表上采样倍数。
步骤S06：重构的图像与目标图像的损失函数L为：
Figure DEST_PATH_IMAGE098
；
Figure DEST_PATH_IMAGE099
Figure DEST_PATH_IMAGE100
；
Figure DEST_PATH_IMAGE101
；
Figure DEST_PATH_IMAGE102
Figure DEST_PATH_IMAGE103
；
Figure DEST_PATH_IMAGE104
；
Figure DEST_PATH_IMAGE105
；
Figure DEST_PATH_IMAGE106
，
Figure DEST_PATH_IMAGE107
，
Figure DEST_PATH_IMAGE108
，
Figure DEST_PATH_IMAGE109
，
Figure DEST_PATH_IMAGE110
分别表示均方差，图像域输出，图像域真值，梯度域输出，梯度域真值；在SSIM计算中，
Figure DEST_PATH_IMAGE111
、
Figure DEST_PATH_IMAGE112
为图像的均值和方差，
Figure DEST_PATH_IMAGE113
为x和y的协方差，
Figure DEST_PATH_IMAGE114
，
Figure DEST_PATH_IMAGE115
分别为
Figure DEST_PATH_IMAGE117
、
Figure DEST_PATH_IMAGE118
，L为像素的动态范围，
Figure DEST_PATH_IMAGE119
、
Figure DEST_PATH_IMAGE120
分别为常数0.01、0.03。
实施例：
1.数据集与平均指标
本发明利用两个常用医学影像分析的数据集作为训练及测试数据：BraTS2018[16]和IXI[17]。BraTS2018是由 750 个核磁共振三维体（volume）组成。空间分辨率为（1毫米（mm）×1mm×1mm）。其中训练集484个volume（包括75,020张图像），验证集66个volume（包括10,230张图像）测试集200个volume（包括31,000张图像）。IXI数据集由 576 个MRvolume构成，其中训练集404个volume（包括48480张图像），验证集42个volume（包括5040张图像），测试集130个volume（包括15600张图像）。
评价指标
a. 峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）
b. 结构相似性（Structural SIMilarity，SSIM）
2.数据准备与参数设置
T1WI模态输入的图像为高分辨率核磁共振图像，T2WI模态输入的图像为低分辨率分辨率核磁共振图像，下采样方式为K域（K-space）频域下采样。
网络搭建架构基于python 火炬库（Pytorch），在英伟达（nVidia）V100上训练并测试，使用阿达姆（Adam）优化器，其权重衰减系数为0.0001，网络特征维度为32，在长短距离子模块，模态内注意力模块的窗口大小为6*6，patch大小为1，模态间注意力模块的窗口大小为5*5，多头自注意力的头（head）数为4，如不加特别说明，本发明所使用的卷积核为3*3大小，图像外填充为1，步长为1，各组RRDB的输入输出通道为32。损失函数系数λ为0.5，α为0.95。
3.图像处理过程
在Bra2018和IXI两个数据集中，高分辨率T1WI和T2WI模态图像空间分辨率为240*240，在四倍下采样设定下，输入的低分辨率T2WI模态图像大小为为60*60，低分辨T2WI和高分辨T1WI模态图像首先经过梯度提取卷积,横向卷积核为[[1,0,-1],[1,0,-1],[1,0,-1]],纵向卷积核为[[1,0,-1],[1,0,-1],[1,0,-1]]的转置，分别得到两个方向的梯度图，然后逐像素平方和再取其算术平方根，得到梯度图。输入的T2WI模态图像及其梯度图设为
Figure DEST_PATH_IMAGE121
，
Figure DEST_PATH_IMAGE122
；
T1WI的高分辨率辅助梯度图为
Figure DEST_PATH_IMAGE123
。
在一个跨模态高频可变形网络模块内，
Figure 687541DEST_PATH_IMAGE121
,
Figure 209789DEST_PATH_IMAGE122
,
Figure 518411DEST_PATH_IMAGE123
首先经过输入门分别得到
Figure DEST_PATH_IMAGE124
，
Figure DEST_PATH_IMAGE125
，
Figure DEST_PATH_IMAGE126
；
Figure DEST_PATH_IMAGE127
通过一组卷积得到跨模态输入特征
Figure DEST_PATH_IMAGE128
，并与
Figure 389284DEST_PATH_IMAGE126
进行通道拼接，得到
Figure DEST_PATH_IMAGE129
，依次经过短距窗口感知模块，长距离感知模块，与
Figure 150566DEST_PATH_IMAGE124
结合输入空间自适应模块，经过模态间注意力模块得到
Figure DEST_PATH_IMAGE130
，
Figure 430500DEST_PATH_IMAGE128
经过一组卷积和GELU激活函数得到高低频融合注意力图
Figure DEST_PATH_IMAGE131
，，通过矩阵相乘广播机制得到
Figure DEST_PATH_IMAGE132
,该步骤一次迭代4次，得到输出门的输入特征，其中T2WI模态的图像特征为
Figure DEST_PATH_IMAGE133
，梯度域特征为
Figure DEST_PATH_IMAGE134
。
Figure DEST_PATH_IMAGE135
，
Figure DEST_PATH_IMAGE136
，
Figure DEST_PATH_IMAGE137
；
Figure 187103DEST_PATH_IMAGE133
，
Figure 78746DEST_PATH_IMAGE134
，
Figure 389642DEST_PATH_IMAGE125
输入到输出门，
Figure 253693DEST_PATH_IMAGE133
通过3组RRDB模块与
Figure 5748DEST_PATH_IMAGE125
残差形式相加，输出门上下分支输出分别为高分辨率图像
Figure DEST_PATH_IMAGE138
及其对应的梯度图像
Figure DEST_PATH_IMAGE139
。
子模块使用步骤
输入门模块对输入图像进行浅层特征提取，具体而言是图像域的T1W2核磁共振图像经过一层卷积层（Conv1），其输入通道为1，输出通道为32，卷积核大小为3，步长为1，无填充，梯度域的低分辨率T1W2核磁共振图像经过一层与Conv1相同设置的卷积层，以及5个迭代的密集残差嵌入模块（RRDB），输出通道为32，梯度域的高分辨率T1W1核磁共振图像的输入门分支设置与梯度域的低分辨率T1W2核磁共振图像处理形式相同，输入门的三分支输出分布是
Figure DEST_PATH_IMAGE140
。
输入门之后的特征传入基于可变形网络的跨模态高频融合互补模块(Cross-modality High-frequency Transformer, Cohf-T)进行跨模态特征融合与互补，将高分辨率T1WI模态特征作为辅助信息，来复原低分辨率T1W2模态的高频结构部分，其子模块连接顺序分别为短距离窗口注意力子模块，长距离窗口注意力子模块，空间特征自适应模块，模态间注意力子模块。图像域的特征
Figure DEST_PATH_IMAGE141
通过5*RRDB模块得到特征
Figure DEST_PATH_IMAGE142
，
Figure 484003DEST_PATH_IMAGE142
经过一个卷积层得到加强特征，并于梯度与特征进行通道拼接，接入下一个卷积层，之后依次传入短距离窗口注意力模块，多层感知机，长距离感知子模块，多层感知机，空间自适应模块，模态间注意力子模块，多层感知机，每两个相邻的子模块之间采用残差连接。
连接图像域及梯度域的RRDB迭代模块将加强的梯度辅助信息引入图像域中，加强低频信息与高频信息融合，提高图像复原质量。来自梯度域的高频特征与卷积分支的图像域特征进行通道拼接之后传入下一个RRDB模块，依次同形式迭代4次，输入门得到的图形域T1WI模块特征经过残差连接域最后一个RRDB输出的特征传入输出门，得到最后的T1W2模块高分辨率复原图像。
输出门是进行低频图像域及高频梯度域的深层特征融合，得到最后的输出图像，低频图像域特征首先经过3个RRDB，然后与输入门传来的浅层特征进行通道拼接，输入到下一个卷积层，通过通道混洗将通过信息转移到空间上来，再传到下一个卷积及高斯线性激活函数，与经过同种形式的卷积操作的梯度域特征进行通道拼接，然后经过一个RRDB模块和一层卷积得到最后的输出。
本发明实施例还提供一种跨模态核磁共振超分网络的图像超分辨率方法，包括以下步骤：
S1、对核磁共振图像T1、T2进行处理，获得T2对应的模态图像
Figure 954299DEST_PATH_IMAGE121
和梯度图
Figure 372773DEST_PATH_IMAGE122
、T1对应的梯度图为
Figure 244914DEST_PATH_IMAGE123
，其中，T1、T2分别为同一人体组织部位所获得的T1加权图像和T2加权图像。
S2、将
Figure 769436DEST_PATH_IMAGE121
、
Figure 727028DEST_PATH_IMAGE122
、
Figure 932881DEST_PATH_IMAGE123
输入所述输入门，在所述输入门中进行浅层度特征提取，获得T1对应的浅层梯度特征
Figure DEST_PATH_IMAGE143
、T2对应的浅层图像域特征
Figure DEST_PATH_IMAGE144
、T2对应的浅层梯度特征
Figure DEST_PATH_IMAGE145
。
S3、将
Figure 112059DEST_PATH_IMAGE144
作为第一级的密集残差嵌入网络的输入，将
Figure 807482DEST_PATH_IMAGE143
、
Figure 986791DEST_PATH_IMAGE145
作为第一级的跨模态高频可变形网络模块的输入，在所述跨模态高频融合互补模块中进行处理，获得最后一级的跨模态高频可变形网络模块的输出以及最后一级的密集残差嵌入网络的输出。
S4、将
Figure 793073DEST_PATH_IMAGE144
、最后一级的跨模态高频可变形网络模块的输出以及最后级的密集残差嵌入网络的输出输入所述输出门，以通过所述输出门的上下分支分别输出高分辨率图像
Figure DEST_PATH_IMAGE146
及其对应的梯度图像
Figure DEST_PATH_IMAGE147
。
在一些实施例中，所述步骤S3具体包括：
S31、将
Figure 325292DEST_PATH_IMAGE144
作为第一级的密集残差嵌入网络的输入，将
Figure 129300DEST_PATH_IMAGE143
、
Figure 123801DEST_PATH_IMAGE145
作为第一级的跨模态高频可变形网络模块的输入，在所述跨模态高频融合互补模块中，当前级的T2对应的跨模态高频可变形网络模块输出的T2对应的浅层图像域特征
Figure DEST_PATH_IMAGE148
通过下一级的密集残差嵌入网络得到特征
Figure DEST_PATH_IMAGE149
，特征
Figure 592828DEST_PATH_IMAGE149
通过一组卷积得到跨模态输入特征
Figure DEST_PATH_IMAGE150
，并与T2对应的浅层梯度特征
Figure DEST_PATH_IMAGE151
进行通道拼接，得到
Figure DEST_PATH_IMAGE152
；其中，
Figure DEST_PATH_IMAGE153
，i为密集残差嵌入网络的级别数，且i≥1；
Figure DEST_PATH_IMAGE154
；
S32、在跨模态高频融合互补模块中的第一级跨模态高频可变形网络模块内，
Figure 716904DEST_PATH_IMAGE152
经过长短距离感知模块得到特征
Figure 691813DEST_PATH_IMAGE015
，
Figure 626140DEST_PATH_IMAGE015
与T1对应的浅层梯度特征
Figure 774225DEST_PATH_IMAGE035
结合输入空间特征自适应模块得到分布对齐特征
Figure 329971DEST_PATH_IMAGE016
，
Figure 538098DEST_PATH_IMAGE015
与
Figure 648137DEST_PATH_IMAGE016
进行通道拼接之后经过模态间多头注意力模块得到特征
Figure DEST_PATH_IMAGE155
；
S33、
Figure 285398DEST_PATH_IMAGE150
经过一组卷积和GELU激活函数得到高低频融合注意力图
Figure DEST_PATH_IMAGE156
，通过矩阵相乘广播机制得到
Figure 492389DEST_PATH_IMAGE157
；其中，
Figure DEST_PATH_IMAGE158
；
S34、迭代步骤S31至S22，迭代预设次后，获得最后一级的跨模态高频可变形网络模块的输出以及最后一级的密集残差嵌入网络的输，其中，预设次为跨模态高频融合互补模块中跨模态高频可变形网络模块的总级数。
本发明实施例还提供一种跨模态核磁共振超分网络的图像超分辨率方法，包括以下步骤：
S10、将核磁共振图像T1、T2的加权成像T1WI和T2WI的模态图像经过梯度提取卷积，再逐像素平方和再取其算术平方根，得到梯度图，其中T2WI模态图像及其梯度图设为
Figure 277942DEST_PATH_IMAGE159
，
Figure DEST_PATH_IMAGE160
，T1WI的梯度图为
Figure 124544DEST_PATH_IMAGE161
；
S20、将
Figure 614431DEST_PATH_IMAGE159
，
Figure 144770DEST_PATH_IMAGE160
，
Figure 897962DEST_PATH_IMAGE161
经过输入门得到T1WI浅层梯度特征
Figure DEST_PATH_IMAGE162
，T2WI浅层图像域特征
Figure DEST_PATH_IMAGE163
，T2WI浅层梯度特征
Figure DEST_PATH_IMAGE164
；
S30、T2WI浅层图像域特征
Figure DEST_PATH_IMAGE165
通过一个密集残差嵌入网络得到特征
Figure DEST_PATH_IMAGE166
，特征
Figure 202167DEST_PATH_IMAGE166
通过一组卷积得到跨模态输入特征
Figure DEST_PATH_IMAGE167
，并与T2WI浅层梯度特征
Figure 682696DEST_PATH_IMAGE164
进行通道拼接，得到
Figure DEST_PATH_IMAGE168
；其中，
Figure DEST_PATH_IMAGE169
，i=1,2,3,4；
Figure DEST_PATH_IMAGE170
；
S40、在跨模态高频融合互补模块中的第一个跨模态高频可变形网络模块内，
Figure DEST_PATH_IMAGE171
经过长短距离感知模块得到特征
Figure DEST_PATH_IMAGE172
，
Figure DEST_PATH_IMAGE173
与T1WI浅层梯度特征
Figure DEST_PATH_IMAGE174
结合输入空间特征自适应模块得到分布对齐特征
Figure DEST_PATH_IMAGE175
，
Figure 628393DEST_PATH_IMAGE173
与
Figure 801754DEST_PATH_IMAGE175
进行通道拼接之后经过模态间多头注意力模块得到特征
Figure DEST_PATH_IMAGE176
；
S50、
Figure DEST_PATH_IMAGE177
经过一组卷积和GELU激活函数得到高低频融合注意力图
Figure DEST_PATH_IMAGE178
，通过矩阵相乘广播机制得到
Figure DEST_PATH_IMAGE179
；
Figure DEST_PATH_IMAGE180
；
S60、迭代步骤S3至S5，迭代4次后得到输出门的输入特征，其中T2WI模态的图像特征为
Figure DEST_PATH_IMAGE181
，梯度域特征为
Figure DEST_PATH_IMAGE182
；
S70、
Figure 265359DEST_PATH_IMAGE181
，
Figure 97048DEST_PATH_IMAGE182
，
Figure 601979DEST_PATH_IMAGE163
输入到输出门，
Figure 680662DEST_PATH_IMAGE181
通过3组密集残差嵌入模块与
Figure 333360DEST_PATH_IMAGE163
残差形式相加，输出门上下分支输出分别为高分辨率图像
Figure DEST_PATH_IMAGE183
及其对应的梯度图像
Figure DEST_PATH_IMAGE184
。
本发明实施例还提供一种跨模态核磁共振超分网络的图像超分辨率装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现上述实施例中的跨模态核磁共振超分网络的图像超分辨率方法。
本发明一种跨模态核磁共振超分网络的图像超分辨率装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图7所示，为本发明一种跨模态核磁共振超分网络的图像超分辨率装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图7所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的一种跨模态核磁共振超分网络的图像超分辨率装置。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡(Smart Media Card，SMC)、SD卡、闪存卡(Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种跨模态核磁共振超分网络的图像超分辨率方法，其特征在于，所述跨模态核磁共振超分网络包括依次串联的输入门、跨模态高频融合互补模块和输出门，所述跨模态高频融合互补模块包括多级跨模态高频可变形网络模块和多级密集残差嵌入网络；
所述跨模态高频可变形网络模块从由长短距离感知模块，空间特征自适应模块和模态间多头注意力模块依次串联而成，所述长短距离感知模块内部连接结构依次串联有短距离窗口注意力模块、第一多层感知机、长距离窗口注意力模块、第二多层感知机，所述第一多层感知机和第二多层感知机内部结构依次为层归一化，卷积，高斯线性分布单元；所述短距离窗口注意力模块的窗口采样方式为相邻的5*5大小局部变形方式，长距离窗口注意力模块的窗口采样方式为相邻的5*5大小全局稀疏变形方式，所述短距离窗口注意力模块和长距离窗口注意力模块的位置编码均采用可学习参数形式，参数初始化为1；
其中，多级所述跨模态高频可变形网络模块和多级所述密集残差嵌入网络一一对应，多级所述跨模态高频可变形网络模块依次串联，多级所述密集残差嵌入网络依次串联，当前级的跨模态高频可变形网络模块的输出以及当前级的密集残差嵌入网络的输出相加获得的结果作为下一级的密集残差嵌入网络的输入，最后一级的跨模态高频可变形网络模块的输出以及最后一级的密集残差嵌入网络的输出相加获得的结果作为所述输出门的输入；
所述方法包括以下步骤：
S1、对核磁共振图像T1、T2进行处理，获得T2对应的模态图像
Figure 469555DEST_PATH_IMAGE001
和梯度图
Figure DEST_PATH_IMAGE002
、T1对应的梯度图为
Figure 324379DEST_PATH_IMAGE003
，其中，T1、T2分别为同一人体组织部位所获得的T1加权图像和T2加权图像；
S2、将
Figure 776220DEST_PATH_IMAGE001
、
Figure 905850DEST_PATH_IMAGE002
、
Figure 516960DEST_PATH_IMAGE003
输入所述输入门，在所述输入门中进行浅层度特征提取，获得T1对应的浅层梯度特征
Figure DEST_PATH_IMAGE004
、T2对应的浅层图像域特征
Figure 480368DEST_PATH_IMAGE005
、T2对应的浅层梯度特征
Figure DEST_PATH_IMAGE006
；
S3、将
Figure 947733DEST_PATH_IMAGE005
作为第一级的密集残差嵌入网络的输入，将
Figure 881054DEST_PATH_IMAGE004
、
Figure 81092DEST_PATH_IMAGE006
作为第一级的跨模态高频可变形网络模块的输入，在所述跨模态高频融合互补模块中进行处理，获得最后一级的跨模态高频可变形网络模块的输出以及最后一级的密集残差嵌入网络的输出；
S4、将
Figure 746559DEST_PATH_IMAGE005
、最后一级的跨模态高频可变形网络模块的输出以及最后级的密集残差嵌入网络的输出输入所述输出门，以通过所述输出门的上下分支分别输出高分辨率图像
Figure DEST_PATH_IMAGE007
及其对应的梯度图像
Figure DEST_PATH_IMAGE008
。
2.如权利要求1所述的一种跨模态核磁共振超分网络的图像超分辨率方法，其特征在于，所述跨模态高频可变形网络模块共有4级，所述密集残差嵌入网络共有4级。
3.如权利要求1或2所述的一种跨模态核磁共振超分网络的图像超分辨率方法，其特征在于：所述步骤S3具体包括如下步骤：
S31、将
Figure 766468DEST_PATH_IMAGE005
作为第一级的密集残差嵌入网络的输入，将
Figure 910004DEST_PATH_IMAGE004
、
Figure 230127DEST_PATH_IMAGE006
作为第一级的跨模态高频可变形网络模块的输入，在所述跨模态高频融合互补模块中，当前级的T2对应的跨模态高频可变形网络模块输出的T2对应的浅层图像域特征
Figure DEST_PATH_IMAGE009
通过下一级的密集残差嵌入网络得到特征
Figure DEST_PATH_IMAGE010
，特征
Figure 597655DEST_PATH_IMAGE010
通过一组卷积得到跨模态输入特征
Figure DEST_PATH_IMAGE011
，并与T2对应的浅层梯度特征
Figure DEST_PATH_IMAGE012
进行通道拼接，得到
Figure DEST_PATH_IMAGE013
；其中，
Figure DEST_PATH_IMAGE014
，R表示通过密集残差嵌入网络；i为密集残差嵌入网络的级别数，且i≥1；
Figure DEST_PATH_IMAGE015
；C表示通过一组卷积；
S32、在跨模态高频融合互补模块中的第一级跨模态高频可变形网络模块内，
Figure DEST_PATH_IMAGE016
经过长短距离感知模块得到特征
Figure DEST_PATH_IMAGE017
，
Figure 121171DEST_PATH_IMAGE017
与T1对应的浅层梯度特征
Figure DEST_PATH_IMAGE018
结合输入空间特征自适应模块得到分布对齐特征
Figure DEST_PATH_IMAGE019
，
Figure 333978DEST_PATH_IMAGE017
与
Figure 711869DEST_PATH_IMAGE019
进行通道拼接之后经过模态间多头注意力模块得到特征
Figure DEST_PATH_IMAGE020
；
S33、
Figure DEST_PATH_IMAGE021
经过一组卷积和GELU激活函数得到高低频融合注意力图
Figure DEST_PATH_IMAGE022
，通过矩阵相乘广播机制得到
Figure DEST_PATH_IMAGE023
；其中，
Figure DEST_PATH_IMAGE024
；
Figure DEST_PATH_IMAGE025
表示通过矩阵相乘广播机制；
S34、迭代步骤S31至S33，迭代预设次后，获得最后一级的跨模态高频可变形网络模块的输出以及最后一级的密集残差嵌入网络的输，其中，预设次为跨模态高频融合互补模块中跨模态高频可变形网络模块的总级数。
4.一种跨模态核磁共振超分网络，其特征在于，包括依次串联的输入门、跨模态高频融合互补模块和输出门，所述跨模态高频融合互补模块包括多级跨模态高频可变形网络模块和多级密集残差嵌入网络；
所述跨模态高频可变形网络模块从由长短距离感知模块，空间特征自适应模块和模态间多头注意力模块依次串联而成，所述长短距离感知模块内部连接结构依次串联有短距离窗口注意力模块、第一多层感知机、长距离窗口注意力模块、第二多层感知机，所述第一多层感知机和第二多层感知机内部结构依次为层归一化，卷积，高斯线性分布单元；所述短距离窗口注意力模块的窗口采样方式为相邻的5*5大小局部变形方式，长距离窗口注意力模块的窗口采样方式为相邻的5*5大小全局稀疏变形方式，所述短距离窗口注意力模块和长距离窗口注意力模块的位置编码均采用可学习参数形式，参数初始化为1；
其中，多级所述跨模态高频可变形网络模块和多级所述密集残差嵌入网络一一对应，多级所述跨模态高频可变形网络模块依次串联，多级所述密集残差嵌入网络依次串联，当前级的跨模态高频可变形网络模块的输出以及当前级的密集残差嵌入网络的输出相加获得的结果作为下一级的密集残差嵌入网络的输入，最后一级的跨模态高频可变形网络模块的输出以及最后级的密集残差嵌入网络的输出相加获得的结果作为所述输出门的输入；
其中，所述输入门用于对外部输入的核磁共振图像T2对应的模态图像
Figure 722069DEST_PATH_IMAGE001
和梯度图
Figure 857516DEST_PATH_IMAGE002
、核磁共振图像T1对应的梯度图为
Figure 670751DEST_PATH_IMAGE003
进行浅层度特征提取，获得T1对应的浅层梯度特征
Figure 965466DEST_PATH_IMAGE004
、T2对应的浅层图像域特征
Figure 471534DEST_PATH_IMAGE005
、T2对应的浅层梯度特征
Figure 828697DEST_PATH_IMAGE006
；T1、T2分别为同一人体组织部位所获得的T1加权图像和T2加权图像；将
Figure 507940DEST_PATH_IMAGE005
作为第一级的密集残差嵌入网络的输入，将
Figure 594845DEST_PATH_IMAGE004
、
Figure 209497DEST_PATH_IMAGE006
作为第一级的跨模态高频可变形网络模块的输入，在所述跨模态高频融合互补模块中进行处理，获得最后一级的跨模态高频可变形网络模块的输出以及最后一级的密集残差嵌入网络的输出；
所述输出门用于接收
Figure 178590DEST_PATH_IMAGE005
、最后一级的跨模态高频可变形网络模块的输出和最后级的密集残差嵌入网络的输出，以通过所述输出门的上下分支分别输出高分辨率图像
Figure 333627DEST_PATH_IMAGE007
及其对应的梯度图像
Figure 478301DEST_PATH_IMAGE008
。
5.如权利要求4所述的一种跨模态核磁共振超分网络，其特征在于：所述跨模态高频可变形网络模块共有4级，所述密集残差嵌入网络共有4级。
6.如权利要求4所述的一种跨模态核磁共振超分网络，其特征在于：所述密集残差嵌入网络由5组密集残差嵌入模块串联而成，所述密集残差嵌入模块串联由5组密集残差模块串联而成。
7.一种跨模态核磁共振超分网络的图像超分辨率装置，其特征在于：包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现权利要求1-3任一项所述的一种跨模态核磁共振超分网络的图像超分辨率方法。
8.一种计算机可读存储介质，其特征在于：其上存储有程序，该程序被处理器执行时,实现权利要求1-3任一项所述的一种跨模态核磁共振超分网络的图像超分辨率方法。
CN202210250052.9A 2022-03-15 2022-03-15 一种跨模态核磁共振超分网络及图像超分辨率方法 Active CN114331849B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210250052.9A CN114331849B (zh) 2022-03-15 2022-03-15 一种跨模态核磁共振超分网络及图像超分辨率方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210250052.9A CN114331849B (zh) 2022-03-15 2022-03-15 一种跨模态核磁共振超分网络及图像超分辨率方法

Publications (2)

Publication Number Publication Date
CN114331849A CN114331849A (zh) 2022-04-12
CN114331849B true CN114331849B (zh) 2022-06-10

Family

ID=81033651

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210250052.9A Active CN114331849B (zh) 2022-03-15 2022-03-15 一种跨模态核磁共振超分网络及图像超分辨率方法

Country Status (1)

Country Link
CN (1) CN114331849B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115619647B (zh) * 2022-12-20 2023-05-09 北京航空航天大学 一种基于变分推断的跨模态超分辨率重建方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919838A (zh) * 2019-01-17 2019-06-21 华南理工大学 基于注意力机制提升轮廓清晰度的超声图像超分辨率重建方法
CN114049408A (zh) * 2021-11-15 2022-02-15 哈尔滨工业大学（深圳） 用于加速多模态mr成像的深度网络模型

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103167218B (zh) * 2011-12-14 2016-04-06 北京大学 一种基于非局部性的超分辨率重建方法和设备
CN110136066B (zh) * 2019-05-23 2023-02-24 北京百度网讯科技有限公司 面向视频的超分辨率方法、装置、设备和存储介质
CN110728658A (zh) * 2019-09-16 2020-01-24 武汉大学 一种基于深度学习的高分辨率遥感影像弱目标检测方法
CN110827200B (zh) * 2019-11-04 2023-04-07 Oppo广东移动通信有限公司 一种图像超分重建方法、图像超分重建装置及移动终端
WO2021230646A1 (en) * 2020-05-12 2021-11-18 Samsung Electronics Co., Ltd. System and method for depth map recovery
CN111754406B (zh) * 2020-06-22 2024-02-23 北京大学深圳研究生院 图像分辨率处理方法、装置、设备及可读存储介质
CN111768342B (zh) * 2020-09-03 2020-12-01 之江实验室 基于注意力机制和多级反馈监督的人脸超分辨方法
CN113850719A (zh) * 2021-06-16 2021-12-28 北京大学 基于联合隐式图像函数的rgb图像引导深度图超分辨率方法
CN113506222B (zh) * 2021-07-30 2024-03-01 合肥工业大学 一种基于卷积神经网络的多模态图像超分辨方法
CN113592718A (zh) * 2021-08-12 2021-11-02 中国矿业大学 基于多尺度残差网络的矿井图像超分辨率重建方法及系统
CN113837940A (zh) * 2021-09-03 2021-12-24 山东师范大学 基于密集残差网络的图像超分辨率重建方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919838A (zh) * 2019-01-17 2019-06-21 华南理工大学 基于注意力机制提升轮廓清晰度的超声图像超分辨率重建方法
CN114049408A (zh) * 2021-11-15 2022-02-15 哈尔滨工业大学（深圳） 用于加速多模态mr成像的深度网络模型

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
分层特征融合注意力网络图像超分辨率重建;雷鹏程等;《中国图象图形学报》;20200916(第09期);全文 *

Also Published As

Publication number Publication date
CN114331849A (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
Lee et al. Deep learning in MR image processing
CN109214989B (zh) 基于多方向特征预测先验的单幅图像超分辨率重建方法
CN111932460B (zh) Mr图像超分辨率重建方法、装置、计算机设备及存储介质
CN115496771A (zh) 一种基于脑部三维mri图像设计的脑肿瘤分割方法
CN114299185A (zh) 磁共振图像生成方法、装置、计算机设备和存储介质
CN114331849B (zh) 一种跨模态核磁共振超分网络及图像超分辨率方法
CN110246200B (zh) 磁共振心脏电影成像方法、装置及磁共振扫描仪
CN115330813A (zh) 一种图像处理方法、装置、设备及可读存储介质
Lim et al. Motion artifact correction in fetal MRI based on a Generative Adversarial network method
Jha et al. VRfRNet: Volumetric ROI fODF reconstruction network for estimation of multi-tissue constrained spherical deconvolution with only single shell dMRI
US20100202709A1 (en) Process and apparatus
Sander et al. Autoencoding low-resolution MRI for semantically smooth interpolation of anisotropic MRI
CN115984296B (zh) 一种应用多注意力机制的医学图像分割方法及系统
WO2024021796A1 (zh) 一种图像处理方法、装置、电子设备、存储介质及程序产品
WO2024093083A1 (zh) 一种基于变分自编码器的磁共振加权图像合成方法和装置
CN116309754A (zh) 一种基于局部-全局信息协作的大脑医学图像配准方法及系统
Sun et al. Leveraging EAP-sparsity for compressed sensing of MS-HARDI in-space
US11941732B2 (en) Multi-slice MRI data processing using deep learning techniques
WO2021129235A1 (zh) 三维磁共振快速参数成像方法和装置
Christilin et al. Residual encoder-decoder up-sampling for structural preservation in noise removal
Vaidya et al. Perceptually improved T1-T2 MRI translations using conditional generative adversarial networks
CN117333571B (zh) 磁共振图像的重建方法、系统、设备及介质
Radhakrishnan et al. Establishing the Validity of Compressed Sensing Diffusion Spectrum Imaging
CN116805284B (zh) 基于特征迁移的三维磁共振平面间超分辨重建方法和系统
Rodriguez-Florido et al. DT-MRI regularization using anisotropic tensor field filtering

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant