CN116823613A - 基于梯度增强注意力的多模态mr影像超分辨率方法 - Google Patents

基于梯度增强注意力的多模态mr影像超分辨率方法 Download PDF

Info

Publication number
CN116823613A
CN116823613A CN202310795009.5A CN202310795009A CN116823613A CN 116823613 A CN116823613 A CN 116823613A CN 202310795009 A CN202310795009 A CN 202310795009A CN 116823613 A CN116823613 A CN 116823613A
Authority
CN
China
Prior art keywords
image
resolution
feature map
attention
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310795009.5A
Other languages
English (en)
Inventor
王润涵
冯瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202310795009.5A priority Critical patent/CN116823613A/zh
Publication of CN116823613A publication Critical patent/CN116823613A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于梯度增强注意力的多模态MR影像超分辨率方法，具有这样的特征，包括以下步骤：步骤S1，对辅助模态影像和源模态影像分别进行预处理，得到预处理辅助模态影像和预处理源模态影像；步骤S2，构建包括生成器和判别器的生成对抗网络，并将现有的多张多模态的MR影像作为训练数据，再通过训练数据对生成对抗网络进行训练，将训练好的生成器作为多模态MR影像超分辨率模型；步骤S3，将预处理辅助模态影像和预处理源模态影像输入多模态MR影像超分辨率模型，得到目标影像。总之，本方法能够根据高分辨率的辅助模态影像和低分辨率的源模态影像生成更高质量的超分辨率的目标影像。

Description

基于梯度增强注意力的多模态MR影像超分辨率方法
技术领域
本发明涉及计算机视觉领域以及医疗影像领域，具体涉及一种基于梯度增强注意力的多模态MR影像超分辨率方法。
背景技术
核磁共振(MR)成像技术是一种常用的且十分重要的疾病监测技术，通过核磁共振医学影像可以反映人体器官的侧面、冠状、矢状以及任何方向截断面的影像，并具有丰富的纹理信息。因此MR影像被广泛地用于临床诊断、手术模拟以及生物组织物理特性的评估，特别是疾病的早期诊断。作为软组织病灶评估的首选方法，MR影像可以提供多种不同的对比度，通过同一处病理的不同对比度影像，提供更加丰富的诊断信息。如T1加权影像对于灰质和白质的描述很有效，而T2加权影像对于流体和脂肪的描述则更有用，其中T1与T2是MR成像过程中的两种弛豫时间，表示两种不同模态的MR影像。
近年来，随着深度学习的不断发展，MR成像技术在医学影像分析领域越发重要。对MR影像进行分类、分割等任务的神经网络深度学习模型需要大量的样本作为训练集。而MR影像不同于人脸、服装等影像，它涉及到病人的隐私等问题，一般难以获取到大量数据。同时，拍摄MR影像也存在着成本高昂，速度缓慢等缺点。
传统的数据集扩充方法包括旋转、翻转、裁剪等虽然可以缓解医学影像样本稀缺的问题，但是这些方法只提供全局影像变换，不改变影像的细节，使得产生的影像是高度相似的，这会导致深度学习模型过拟合，影像最终结果。生成对抗网络(GAN)的产生和不断发展，提升了医学影像的生成质量和生成速度，其仅利用相同特征分布的影像数据，通过特征提取的方式进行影像的生成，为医学影像合成提供了新的思路。然而由于GAN利用随机噪声生成影像不能模拟生物组织的纹理结构信息的局限性，其生成的影像质量依然不高。同时，GAN要求在模型训练的过程中，用作输入的源模态影像和目标模态的真实影像是配对的，以此来使得损失函数最小化，从而训练模型，这就对于训练集提出了更高的要求。
现有的大多数MR影像超分重建算法是基于单张低分辨率的MR影像重建出对应的高分辨率MR影像。然而，基于单张MR影像的超分辨率算法是存在不足的。一方面，从理论上来说这个任务是不适定的，因为其实质是根据低分辨率MR影像中的不完整信息来生成高分辨率MR影像所对应的整个k空间的信息。在尺度为2倍的单张MR影像超分辨率任务中，所使用的低分辨率影像包含整个k空间四分之一的信息，而所生成的高分辨率影像则包含整个k空间的信息。在没有其他限制条件的情况下，同一张低分辨率MR影像的超分辨率问题的解不是唯一的。因此在临床上，医生无法将这种生成的像素作为临床诊断的判断依据。另一方面，简单地将自然图像领域的超分算法迁移到MR影像上的做法是值得商榷的，这些算法并没有结合MR影像本身具有多个模态的特点，忽略了不同模态MR影像间的关联信息。
总之，现有技术对于如何利用现有的多模态MR影像获得更好的超分辨率MR影像还存在较大的提升空间。
发明内容
本发明是为了解决上述问题而进行的，目的在于提供一种基于梯度增强注意力的多模态MR影像超分辨率方法。
本发明提供了一种基于梯度增强注意力的多模态MR影像超分辨率方法，用于根据以加权方式A成像的高分辨率的辅助模态影像和以加权方式B成像的低分辨率的源模态影像得到以加权方式B成像的超分辨率的目标影像，具有这样的特征，包括以下步骤：步骤S1，对辅助模态影像和源模态影像分别进行预处理，得到预处理辅助模态影像和预处理源模态影像；步骤S2，构建包括生成器和判别器的生成对抗网络，并将现有的多张多模态的MR影像作为训练数据，再通过训练数据对生成对抗网络进行训练，将训练好的生成器作为多模态MR影像超分辨率模型；步骤S3，将预处理辅助模态影像和预处理源模态影像输入多模态MR影像超分辨率模型，得到目标影像，其中，多模态MR影像超分辨率模型包括Transformer模块和UNet模块，Transformer模块包括多模态图像融合Transformer子模块、第一Transformer子模块、第二Transformer子模块和第三Transformer子模块，多模态图像融合Transformer子模块用于根据由Sobel边缘算子从预处理辅助模态影像中提取的边缘特征图E、、预处理辅助模态影像和预处理源模态影像进行注意力计算，得到第一特征图，第一Transformer子模块用于对边缘特征图E和第一特征图进行处理，得到第二特征图，第二Transformer子模块用于对边缘特征图E和第二特征图进行处理，得到第三特征图，第三Transformer子模块用于对边缘特征图E和第一特征图进行处理，得到第四特征图，UNet模块包括编码器子模块、融合子模块和解码器子模块，编码器子模块用于对第四特征图和预处理源模态影像分别进行卷积和下采样，得到对应的模态特征图，融合子模块用于根据交叉注意力机制，对第四特征图对应的模态特征图和预处理源模态影像对应的模态特征图进行计算，得到计算结果，解码子模块用于结合跨越连接对计算结果进行上采样和卷积，得到目标影像。
在本发明提供的基于梯度增强注意力的多模态MR影像超分辨率方法中，还可以具有这样的特征：其中，在步骤S2中，训练数据包括以加权方式A成像的高分辨率的高分辨图像A和对应的以加权方式B成像的低分辨率的低分辨图像B，步骤S2包括以下子步骤：步骤S2-1，构建生成器和判别器作为生成对抗网络；步骤S2-2，对所有训练数据进行预处理，再将预处理后的训练数据划分为训练集和验证集；步骤S2-3，通过训练集对生成对抗网络进行训练，得到训练后生成对抗网络；步骤S2-4，通过验证集调整训练后生成对抗网络的参数，直至训练后生成对抗网络的性能不再提升，则得到训练好的生成器和判别器；步骤S2-5，将生成器作为多模态MR影像超分辨率模型。
在本发明提供的基于梯度增强注意力的多模态MR影像超分辨率方法中，还可以具有这样的特征：其中，在步骤S2-2中，预处理的具体过程为：根据低分辨图像B对对应的高分辨图像A进行配准，再将配准后的低分辨图像B和高分辨图像A的像素值映射到[0,1]，再将所有图像采样至统一的固定尺寸，则得到预处理后的训练数据。
在本发明提供的基于梯度增强注意力的多模态MR影像超分辨率方法中，还可以具有这样的特征：其中，生成器的输入为预处理后的高分辨图像A和低分辨图像B，生成器的输出为对应该低分辨图像B的超分辨图像B作为生成影像，判别器的输入为生成影像，判别器的输出为概率值，概率值表示判别器判定生成影像为真或为假的概率。
在本发明提供的基于梯度增强注意力的多模态MR影像超分辨率方法中，还可以具有这样的特征：其中，在步骤S2中，判别器包括依次设置的输入层、卷积层、全连接层和归一化层。
在本发明提供的基于梯度增强注意力的多模态MR影像超分辨率方法中，还可以具有这样的特征：其中，在多模态图像融合Transformer子模块中，注意力计算包括以下步骤：步骤T1，将预处理辅助模态影像进行编码作为Value向量；步骤T2，将预处理源模态影像上采样至高分辨率再进行编码作为Query向量；步骤T3，将预处理辅助模态影像先下采样至低分辨率，再上采样至高分辨率并进行编码作为Key向量；步骤T4，将Query向量和Key向量依次经由Matmul函数和Softmax函数处理，得到注意力权重；步骤T5，将注意力权重和Value向量经由Matmul函数处理，得到注意力特征图；步骤T6，将边缘特征图E进行编码作为位置编码；步骤T7，根据位置编码对注意力特征图进行Edge mask操作，得到第一特征图。
在本发明提供的基于梯度增强注意力的多模态MR影像超分辨率方法中，还可以具有这样的特征：其中，第iTransformer子模块对输入的边缘特征图E和第i特征图zi进行处理得到第i+1特征图的过程包括以下步骤：步骤R1，分别对第i特征图和边缘特征图E进行LayerNorm操作，得到注意力计算的Q、K和V以及归一化后边缘特征图E'；步骤R2，对Q、K和V进行非局部注意力计算，得到非局部注意力特征；步骤R3，根据归一化后边缘特征图E'对非局部注意力特征进行Edge mask操作，得到掩码后特征；步骤R4，将掩码后特征与第i特征图相加，得到相加特征；步骤R5，对相加特征进行LayerNorm操作得到归一化后相加特征；步骤R6，将归一化后相加特征经由MLP多层感知器处理，再将MLP多层感知器处理的结果与相加特征相加，得到第i+1特征图。
发明的作用与效果
根据本发明所涉及的基于梯度增强注意力的多模态MR影像超分辨率方法，因为通过基于注意力机制的多模态图像融合Transformer子模块101模块在高分辨率的尺度下逐像素编码，对每个像素点进行细粒度的融合，使得超分辨率的目标图像的每个像素都可溯源，并且通过边缘特征图对边缘处的像素赋予更大的权重，提高边缘特征的生成效果，从而得到具有更好保真度和保有更多生物组织结构信息的目标影像。所以，本发明的基于梯度增强注意力的多模态MR影像超分辨率方法能够根据高分辨率的辅助模态影像和低分辨率的源模态影像生成更高质量的超分辨率的目标影像。
附图说明
图1是本发明的实施例中基于梯度增强注意力的多模态MR影像超分辨率方法的流程示意图；
图2是本发明的实施例中多模态MR影像超分辨率模型的结构及工作原理示意图；
图3是本发明的实施例中注意力计算的流程示意图；
图4是本发明的实施例中Transformer子模块的工作流程示意图；
图5是本发明的实施例中Transformer子模块的网络结构示意图；
图6是本发明的实施例中UNet模块20的结构示意图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下实施例结合附图对本发明基于梯度增强注意力的多模态MR影像超分辨率方法作具体阐述。
本实施例中基于梯度增强注意力的多模态MR影像超分辨率方法，用于根据以加权方式A成像的高分辨率的辅助模态影像和以加权方式B成像的低分辨率的源模态影像，得到以加权方式B成像的超分辨率的目标影像，本实施例中不同加权方式成像的MR影像类型包括T1加权影像、T2加权影像、T1增强影像T1ce、T2液体抑制反转影像T2-FLAIR、扩散加权影像DWI和血管造影影像MRA。
图1是本发明的实施例中基于梯度增强注意力的多模态MR影像超分辨率方法的流程示意图。
如图1所示，本实施例中基于梯度增强注意力的多模态MR影像超分辨率方法包括以下步骤：
步骤S1，对辅助模态影像和源模态影像分别进行预处理，得到预处理辅助模态影像和预处理源模态影像。
步骤S2，构建包括生成器和判别器的生成对抗网络，并将现有的多张多模态的MR影像作为训练数据，再通过训练数据对生成对抗网络进行训练，将训练好的生成器作为多模态MR影像超分辨率模型。
其中，训练数据包括以加权方式A成像的高分辨率的高分辨图像A和对应的以加权方式B成像的低分辨率的低分辨图像B。
其中，判别器包括依次设置的输入层、卷积层、全连接层和归一化层
步骤S2包括以下子步骤：
步骤S2-1，构建生成器和判别器作为生成对抗网络。
步骤S2-2，对所有训练数据进行预处理，再将预处理后的训练数据划分为训练集和验证集。
其中，预处理的具体过程为：根据低分辨图像B对对应的高分辨图像A进行配准，再将配准后的低分辨图像B和高分辨图像A的像素值映射到[0,1]，再将所有图像采样至统一的固定尺寸，则得到预处理后的训练数据。
步骤S2-3，通过训练集对生成对抗网络进行训练，得到训练后生成对抗网络。
步骤S2-4，通过验证集调整训练后生成对抗网络的参数，直至训练后生成对抗网络的性能不再提升，则得到训练好的生成器和判别器。
其中，在使用训练集和验证集的过程中，生成器的输入为预处理后的高分辨图像A和低分辨图像B，生成器的输出为对应该低分辨图像B的超分辨图像B作为生成影像，判别器的输入为生成影像，判别器的输出为概率值，概率值表示判别器判定生成影像为真或为假的概率。
步骤S2-5，将生成器作为多模态MR影像超分辨率模型。
图2是本发明的实施例中多模态MR影像超分辨率模型的结构及工作原理示意图。
如图2所示，多模态MR影像超分辨率模型100包括Transformer模块10和UNet模块20。
Transformer模块10包括多模态图像融合Transformer子模块101、第一Transformer子模块102、第二Transformer子模块103和第三Transformer子模块104。
多模态图像融合Transformer子模块101用于根据由Sobel边缘算子从预处理辅助模态影像中提取的边缘特征图E、预处理辅助模态影像和预处理源模态影像进行注意力计算，得到第一特征图。
图3是本发明的实施例中注意力计算的流程示意图。
如图3所示，注意力计算包括以下步骤：
步骤T1，将预处理辅助模态影像进行编码作为Value向量。
步骤T2，将预处理源模态影像上采样至高分辨率再进行编码作为Query向量。
步骤T3，将预处理辅助模态影像先下采样至低分辨率，再上采样至高分辨率并进行编码作为Key向量。
步骤T4，将Query向量和Key向量依次经由Matmul函数和Softmax函数处理，得到注意力权重。
步骤T5，将注意力权重和Value向量经由Matmul函数处理，得到注意力特征图。
步骤T6，将边缘特征图E进行编码作为位置编码。
步骤T7，根据位置编码对注意力特征图进行Edge mask操作，得到第一特征图。
第一Transformer子模块102用于对边缘特征图E和第一特征图进行处理，得到第二特征图。
第二Transformer子模块103用于对边缘特征图E和第二特征图进行处理，得到第三特征图。
第三Transformer子模块104用于对边缘特征图E和第一特征图进行处理，得到第四特征图。
本实施例中第一Transformer子模块102、第二Transformer子模块103和第三Transformer子模块104具有相同的网络结构，第一Transformer子模块102、第二Transformer子模块103和第三Transformer子模块104对应的网络参数不同。
图4是本发明的实施例中Transformer子模块的工作流程示意图。
如图4所示，设定i的取值范围为1～3，i＝1时对应第一Transformer子模块102，i＝2时对应第二Transformer子模块103，i＝3时对应第三Transformer子模块104，则第iTransformer子模块对输入的边缘特征图E和第i特征图zi进行处理得到第i+1特征图的过程包括以下步骤：
步骤R1，分别对第i特征图和边缘特征图E进行LayerNorm操作，得到注意力计算的Q、K和V以及归一化后边缘特征图E'；
步骤R2，对Q、K和V进行非局部注意力计算，得到非局部注意力特征；
步骤R3，根据归一化后边缘特征图E'对非局部注意力特征进行Edge mask操作，得到掩码后特征；
步骤R4，将掩码后特征与第i特征图相加，得到相加特征；
步骤R5，对相加特征进行LayerNorm操作得到归一化后相加特征；
步骤R6，将归一化后相加特征经由MLP多层感知器处理，再将MLP多层感知器处理的结果与相加特征相加，得到第i+1特征图。
图5是本发明的实施例中Transformer子模块的网络结构示意图。
如图5所示，该网络结构包括顺次连接的第一LayerNorm层、Non-localAttention层、Edge Mask层、第二LayerNorm层和MLP层。
第一LayerNorm层执行的动作包括：对第i特征图zi进行归一化操作得到注意力计算的Q、K和V，以及对边缘特征图E进行归一化操作得到归一化后边缘特征图E'，即步骤R1的获得Q、K和V以及归一化后边缘特征图E'的动作。
Non-localAttention层用于执行对Q、K和V进行非局部注意力计算，得到非局部注意力特征的动作，即步骤R2的获得非局部注意力特征的动作。
Edge Mask层用于执行将归一化后边缘特征图E'作为掩膜与非局部注意力特征相加得到掩码后特征的动作，即步骤R3的获得掩码后特征的动作。
第二LayerNorm层执行用于对掩码后特征和第i特征图zi相加的特征进行归一化得到归一化后相加特征的动作，即步骤R5的获得归一化后相加特征的动作。
MLP层用于执行对归一化后相加特征进行处理得到处理结果的动作，即步骤R6的获得MLP多层感知器处理的结果的动作。
最后该网络结构将MLP多层感知器处理的结果和掩码后特征和第i特征图zi相加的特征再进行相加，得到第i+1特征图zi+1作为输出，即步骤R6的获得第i+1特征图的动作。
本实施例中在每个Transformer子模块中将边缘特征图E作为边缘掩膜作用于非局部注意力特征，对边缘处的像素赋予更大的权重，从而提高边缘特征的生成效果，使得Transformer模块10输出的第四特征图蕴含高分辨率MR影像的纹理和细节。
UNet模块20包括编码器子模块201、融合子模块202和解码器子模块203。
图6是本发明的实施例中UNet模块20的结构示意图。
如图6所示，本实施例中编码器子模块201包括多个Initconv层、EnconvBlock层和EnconvDown层，Initconv层为初始卷积层通过使用较大卷积核来过滤噪声，EnconvBlock层由卷积层和ReLU激活函数构成，EnconvDown层由卷积层和下采样层构成。
编码器子模块201用于对第四特征图和预处理源模态影像分别进行卷积和下采样，得到对应的模态特征图。
编码器子模块201将输入的第四特征图依次经由通道数为16的Initconv层、通道数为16的EnconvBlock层、通道数为32的EnconvDown层、通道数为32的EnconvBlock层、通道数为32的EnconvBlock层、通道数为64的EnconvDown层、通道数为64的EnconvBlock层、通道数为64的EnconvBlock层、通道数为128的EnconvDown层、通道数为128的EnconvBlock层和通道数为128的EnconvBlock层处理，得到第四特征图对应的模态特征图。
编码器子模块201将输入的预处理源模态影像依次经由通道数为64的Initconv层、通道数为128的EnconvBlock层和通道数为128的EnconvDown层，得到预处理源模态影像对应的模态特征图。
编码器子模块202即Dual Domain Fusion，用于根据交叉注意力机制，对第四特征图对应的模态特征图和预处理源模态影像对应的模态特征图进行计算，得到计算结果。
解码子模块203包括一个Initconv层、多个DeconvBlock层和多个DeconvUp层，Initconv层为初始卷积层通过使用较大卷积核来过滤噪声，DeconvBlock层由卷积层和ReLU激活函数构成，DeconvUp层由卷积层和上采样层构成。
解码子模块203用于结合跨越连接对计算结果进行上采样和卷积，得到目标影像，其具体过程为：
将计算结果结果依次经由通道数为128的DeconvBlock层、通道数为128的DeconvBlock层和通道数为128的DeconvUp层，再将输出结果与编码器子模块201的通道数为64的EnconvBlock层的输出沿着通道维度进行拼接，再将拼接结果依次经由通道数为64的DeconvBlock层、通道数为64的DeconvBlock层和通道数为64的DeconvUp层，再将输出结果与编码器子模块201的通道数为32的EnconvBlock层的输出沿着通道维度进行拼接，再将拼接结果依次经由通道数为32的DeconvBlock层、通道数为32的DeconvBlock层和通道数为32的DeconvUp层，再将输出结果与编码器子模块201的通道数为16的EnconvBlock层的输出沿着通道维度进行拼接，再将拼接结果依次经由通道数为16的DeconvBlock层和通道数为1的Initconv层，输出结果即为目标影像。
步骤S3，将预处理辅助模态影像和预处理源模态影像输入多模态MR影像超分辨率模型100，得到目标影像。
本实施例中根据本发明的基于梯度增强注意力的多模态MR影像超分辨率方法构建多模态MR影像超分辨率模型100作为本发明模型，并通过现有数据和硬件设备将本发明模型与现有方法构建的模型进行性能比较，现有方法构建的模型包括根据现有的基于卷积神经网络的MR超分算法DenseUNet算法构建DenseUNet模型，以及根据现有的基于卷积神经网络的MR超分算法DuDoRNet算法构建DuDoRNet模型。
从现有的IXI数据集中选取400张T2MR影像和对应的T1MR影像，对所有T1MR影像和对应的T2MR影像进行配准，并且因为MR影像的像素值反应的是组织间的对比度不具有量纲，因此再将所有MR图像的像素值映射到[0,1]，最后对所有MR图像进行统一采样至256×256×120的尺寸，再将其中300张影像作为训练集，100张影像作为测试集。
在英伟达GTX 1080TiGPU的硬件设备上在PyTorch框架中根据训练集对本发明模型、DenseUNet模型和DuDoRNet模型进行100次迭代训练，在该训练过程中本发明模型模型的参数由Adam算法进行优化，Adam算法的一阶矩和二阶矩设置为0.9和0.999，生成对抗网络中的生成器和判别器的初始学习率分别设为0.0002和0.0001，且在70轮迭代后按照0.998的衰减率进行指数衰减。
通过测试集对训练好的本发明模型、DenseUNet模型和DuDoRNet模型进行性能指标的计算，对于将T1MR影像作为辅助模态影像且T2MR影像作为源模态影像的2倍超分任务，即模型所得的目标影像的边长为源模态影像的2倍，本发明模型相较于DenseUNet模型和DuDoRNet模型，PSNR指标提高了7dB，SSIM指标提高了8.4％。对于将T1MR影像作为辅助模态影像且T2MR影像作为源模态影像的4倍超分任务，即模型所得的目标影像的边长为源模态影像的4倍，本发明模型相较于DenseUNet模型和DuDoRNet模型，NMSE指标减少了29％，PSNR指标提高了1.6dB，SSIM指标提高了2.5％。
上述性能测试的4倍超分任务中，需要从低分辨率的源模态影像的1个像素点生成高分辨率的目标影像的16个像素点，其中缺失的15个像素将从高分辨率额辅助模态影像中得到补充，本发明模型通过Transformer模块10在高分辨率的尺度下逐像素编码，对每个像素点进行细粒度的融合，最终得到的超分结果中的每个像素点均可溯源至输入的像素点，且这些补充的像素值具有与真实图像高度相似的分布，因此本发明模型生成的目标影像相较于现有方法生成的图像，与真实图像更相似即图像质量更好。
实施例的作用与效果
根据本实施例所涉及的基于梯度增强注意力的多模态MR影像超分辨率方法，通过基于注意力机制的多模态图像融合Transformer子模块101模块在高分辨率的尺度下逐像素编码，对每个像素点进行细粒度的融合，使得超分辨率的目标图像的每个像素都可溯源，并且通过边缘特征图对边缘处的像素赋予更大的权重，提高边缘特征的生成效果，从而得到具有更好保真度和保有更多生物组织结构信息的目标影像。总之，本方法能够根据高分辨率的辅助模态影像和低分辨率的源模态影像生成更高质量的超分辨率的目标影像。
上述实施方式为本发明的优选案例，并不用来限制本发明的保护范围。

Claims (7)

1.一种基于梯度增强注意力的多模态MR影像超分辨率方法，用于根据以加权方式A成像的高分辨率的辅助模态影像和以加权方式B成像的低分辨率的源模态影像得到以加权方式B成像的超分辨率的目标影像，其特征在于，包括以下步骤：
步骤S1，对所述辅助模态影像和所述源模态影像分别进行预处理，得到预处理辅助模态影像和预处理源模态影像；
步骤S2，构建包括生成器和判别器的生成对抗网络，并将现有的多张多模态的MR影像作为训练数据，再通过所述训练数据对所述生成对抗网络进行训练，将训练好的所述生成器作为多模态MR影像超分辨率模型；
步骤S3，将所述预处理辅助模态影像和所述预处理源模态影像输入所述多模态MR影像超分辨率模型，得到所述目标影像，
其中，所述多模态MR影像超分辨率模型包括Transformer模块和UNet模块，
所述Transformer模块包括多模态图像融合Transformer子模块、第一Transformer子模块、第二Transformer子模块和第三Transformer子模块，
所述多模态图像融合Transformer子模块用于根据由Sobel边缘算子从所述预处理辅助模态影像中提取的边缘特征图E、所述预处理辅助模态影像和所述预处理源模态影像进行注意力计算，得到第一特征图，
所述第一Transformer子模块用于对所述边缘特征图E和所述第一特征图进行处理，得到第二特征图，
所述第二Transformer子模块用于对所述边缘特征图E和所述第二特征图进行处理，得到第三特征图，
所述第三Transformer子模块用于对所述边缘特征图E和所述第一特征图进行处理，得到第四特征图，
所述UNet模块包括编码器子模块、融合子模块和解码器子模块，
所述编码器子模块用于对所述第四特征图和所述预处理源模态影像分别进行卷积和下采样，得到对应的模态特征图，
所述融合子模块用于根据交叉注意力机制，对所述第四特征图对应的模态特征图和所述预处理源模态影像对应的模态特征图进行计算，得到计算结果，
所述解码子模块用于结合跨越连接对所述计算结果进行上采样和卷积，得到所述目标影像。
2.根据权利要求1所述的基于梯度增强注意力的多模态MR影像超分辨率方法，其特征在于：
其中，在所述步骤S2中，所述训练数据包括以加权方式A成像的高分辨率的高分辨图像A和对应的以加权方式B成像的低分辨率的低分辨图像B，
所述步骤S2包括以下子步骤：
步骤S2-1，构建所述生成器和所述判别器作为所述生成对抗网络；
步骤S2-2，对所有所述训练数据进行预处理，再将预处理后的所述训练数据划分为训练集和验证集；
步骤S2-3，通过所述训练集对所述生成对抗网络进行训练，得到训练后生成对抗网络；
步骤S2-4，通过所述验证集调整所述训练后生成对抗网络的参数，直至所述训练后生成对抗网络的性能不再提升，则得到训练好的所述生成器和所述判别器；
步骤S2-5，将所述生成器作为所述多模态MR影像超分辨率模型。
3.根据权利要求2所述的基于梯度增强注意力的多模态MR影像超分辨率方法，其特征在于：
其中，在步骤S2-2中，所述预处理的具体过程为：根据所述低分辨图像B对对应的所述高分辨图像A进行配准，再将配准后的所述低分辨图像B和所述高分辨图像A的像素值映射到[0,1]，再将所有图像采样至统一的固定尺寸，则得到预处理后的所述训练数据。
4.根据权利要求2所述的基于梯度增强注意力的多模态MR影像超分辨率方法，其特征在于：
其中，所述生成器的输入为预处理后的所述高分辨图像A和所述低分辨图像B，所述生成器的输出为对应该低分辨图像B的超分辨图像B作为生成影像，
所述判别器的输入为所述生成影像，所述判别器的输出为概率值，所述概率值表示所述判别器判定所述生成影像为真或为假的概率。
5.根据权利要求1所述的基于梯度增强注意力的多模态MR影像超分辨率方法，其特征在于：
其中，在所述步骤S2中，所述判别器包括依次设置的输入层、卷积层、全连接层和归一化层。
6.根据权利要求1所述的基于梯度增强注意力的多模态MR影像超分辨率方法，其特征在于：
其中，在所述多模态图像融合Transformer子模块中，所述注意力计算包括以下步骤：
步骤T1，将所述预处理辅助模态影像进行编码作为Value向量；
步骤T2，将所述预处理源模态影像上采样至所述高分辨率再进行编码作为Query向量；
步骤T3，将所述预处理辅助模态影像先下采样至所述低分辨率，再上采样至所述高分辨率并进行编码作为Key向量；
步骤T4，将所述Query向量和所述Key向量依次经由Matmul函数和Softmax函数处理，得到注意力权重；
步骤T5，将所述注意力权重和所述Value向量经由Matmul函数处理，得到注意力特征图；
步骤T6，将所述边缘特征图E进行编码作为位置编码；
步骤T7，根据所述位置编码对所述注意力特征图进行Edge mask操作，得到所述第一特征图。
7.根据权利要求1所述的基于梯度增强注意力的多模态MR影像超分辨率方法，其特征在于：
其中，第iTransformer子模块对输入的所述边缘特征图E和第i特征图zi进行处理得到第i+1特征图的过程包括以下步骤：
步骤R1，分别对第i特征图和所述边缘特征图E进行LayerNorm操作，得到注意力计算的Q、K和V以及归一化后边缘特征图E'；
步骤R2，对Q、K和V进行非局部注意力计算，得到非局部注意力特征；
步骤R3，根据所述归一化后边缘特征图E'对所述非局部注意力特征进行Edge mask操作，得到掩码后特征；
步骤R4，将所述掩码后特征与所述第i特征图相加，得到相加特征；
步骤R5，对所述相加特征进行LayerNorm操作得到归一化后相加特征；
步骤R6，将所述归一化后相加特征经由MLP多层感知器处理，再将MLP多层感知器处理的结果与所述相加特征相加，得到所述第i+1特征图。
CN202310795009.5A 2023-06-30 2023-06-30 基于梯度增强注意力的多模态mr影像超分辨率方法 Pending CN116823613A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310795009.5A CN116823613A (zh) 2023-06-30 2023-06-30 基于梯度增强注意力的多模态mr影像超分辨率方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310795009.5A CN116823613A (zh) 2023-06-30 2023-06-30 基于梯度增强注意力的多模态mr影像超分辨率方法

Publications (1)

Publication Number Publication Date
CN116823613A true CN116823613A (zh) 2023-09-29

Family

ID=88142775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310795009.5A Pending CN116823613A (zh) 2023-06-30 2023-06-30 基于梯度增强注意力的多模态mr影像超分辨率方法

Country Status (1)

Country Link
CN (1) CN116823613A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117649344A (zh) * 2024-01-29 2024-03-05 之江实验室 磁共振脑影像超分辨率重建方法、装置、设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117649344A (zh) * 2024-01-29 2024-03-05 之江实验室 磁共振脑影像超分辨率重建方法、装置、设备和存储介质
CN117649344B (zh) * 2024-01-29 2024-05-14 之江实验室 磁共振脑影像超分辨率重建方法、装置、设备和存储介质

Similar Documents

Publication Publication Date Title
Usman et al. Retrospective motion correction in multishot MRI using generative adversarial network
JP7373042B2 (ja) グラフモデルに基づく脳機能レジストレーション方法
CN109214989B (zh) 基于多方向特征预测先验的单幅图像超分辨率重建方法
Liu et al. Fusing multi-scale information in convolution network for MR image super-resolution reconstruction
Du et al. Accelerated super-resolution MR image reconstruction via a 3D densely connected deep convolutional neural network
JP2023540910A (ja) 病変検出のための共同訓練を伴う接続機械学習モデル
Gu et al. Deep generative adversarial networks for thin-section infant MR image reconstruction
CN113744275B (zh) 一种基于特征变换的三维cbct牙齿图像的分割方法
CN116823613A (zh) 基于梯度增强注意力的多模态mr影像超分辨率方法
CN112862805A (zh) 听神经瘤图像自动化分割方法及系统
CN115330813A (zh) 一种图像处理方法、装置、设备及可读存储介质
CN115809998A (zh) 基于E2C-Transformer网络的胶质瘤MRI数据分割方法
Li et al. High‐fidelity fast volumetric brain MRI using synergistic wave‐controlled aliasing in parallel imaging and a hybrid denoising generative adversarial network (HDnGAN)
Wang et al. Brain MR image super-resolution using 3D feature attention network
Lim et al. Motion artifact correction in fetal MRI based on a Generative Adversarial network method
Forigua et al. SuperFormer: Volumetric transformer architectures for MRI super-resolution
CN116309754A (zh) 一种基于局部-全局信息协作的大脑医学图像配准方法及系统
Zhu et al. Whole‐brain functional MRI registration based on a semi‐supervised deep learning model
Wang et al. FBUNet: Full convolutional network based on fusion block architecture for biomedical image segmentation
CN114419015A (zh) 一种基于多模态配准的脑功能融合分析方法
CN114119558A (zh) 一种自动生成鼻咽癌影像诊断结构化报告方法
CN114581459A (zh) 一种基于改进性3D U-Net模型的学前儿童肺部影像感兴趣区域分割方法
CN114049334A (zh) 一种以ct图像为输入的超分辨率mr成像方法
CN114764766A (zh) 一种基于FC-VoVNet和WGAN的B超图像去噪方法
Kalluvila Super-Resolution of Brain MRI via U-Net Architecture

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination