CN112950473A - 一种mr图像超分辨方法 - Google Patents
一种mr图像超分辨方法 Download PDFInfo
- Publication number
- CN112950473A CN112950473A CN202110238429.4A CN202110238429A CN112950473A CN 112950473 A CN112950473 A CN 112950473A CN 202110238429 A CN202110238429 A CN 202110238429A CN 112950473 A CN112950473 A CN 112950473A
- Authority
- CN
- China
- Prior art keywords
- image
- pyramid
- super
- attention
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000005070 sampling Methods 0.000 claims abstract description 5
- 238000000605 extraction Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 10
- 230000009977 dual effect Effects 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 4
- 230000003321 amplification Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 230000003213 activating effect Effects 0.000 claims description 2
- 238000005215 recombination Methods 0.000 claims description 2
- 230000006798 recombination Effects 0.000 claims description 2
- 238000003860 storage Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010339 medical test Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种MR图像超分辨方法，包括如下步骤：第一步:建立金字塔双自相似性模块PDSB，该模块同时融合全局点相关性和包含多尺度块相关性的金字塔相关性，使用PDSB在空间域充分地提取MR图像的自相似先验特征；第二步:在通道域建立非降维通道注意力模块NCAB；第三步:将空间域的PDSB与通道域的NCAB组合成为金字塔正交注意力模块POAB，并与多个残差模块RB和像素上采样层相结合，构成用于MR图像超分辨的金字塔正交注意力网络POAN；第四步:利用训练好的适用于不同超分尺度的网络对输入的MR图像进行超分辨,得到输出的高清图像。利用本申请的MR图像超分辨方法可实现高质量的MR图像超分辨效果。
Description
技术领域
本发明涉及计算机视觉和图像处理领域，特别涉及一种MR图像超分辨方法。
背景技术
使用医学影像辅助诊断和治疗已经成为目前医学检测不可缺少的检测项目。核磁共振图像(MR)能够从人体分子内部反映出人体器官失常和早期病变，在颅脑、心脏等部位有较好的成像和诊断效果。与其他类型的医学图像相比，高质量MR图像具有较高的分辨率，可包含详细的结构和组织信息，因此更适合于临床诊断、决策和准确的定量图像分析。然而，由于硬件和物理设备的限制，高分辨率成像的代价是扫描时间长、空间覆盖范围小、空间收敛性慢。此外在成像过程中引入的信号噪声也会导致MR图像有较低的信噪比。低分辨率的MR图像相对更容易获得，但是低质量MR图像由于明暗对比度较差、灰度动态范围小等问题，会出现重要信息不明显，甚至噪声信号淹没有用信号的现象。图像超分辨率可以通过数字图像处理技术从直接给定的低质量图像重建高分辨率图像。在避免成像阶段的硬件和速度限制的同时，有效扩大MR图像的分辨率并减少噪声。因此最近几年在MR图像数据集上的超分辨率任务在医学图像处理中受到了广泛关注。
对于一幅高分辨图像，在低分辨率空间中往往可以找到多张图像与之对应。因此，图像超分辨任务在图像处理领域是典型不适定逆问题，图像中的局部纹理和微小结构通常难以被准确重建。传统的插值方法大都是简单的对图像的灰度进行线性或非线性变换，这在增加分辨率的同时也不可避免地放大噪声。一些基于机器学习的方法利用图像本身的分布先验知识来从原始图像中捕捉特征帮助高分辨率图像的重建。但由于传统方法需要图像自身满足部分恒定假设和固定先验条件，同时模型的表达能力有限，因此很难适用于复杂而精细的医学图像。基于深度学习的卷积神经网络凭借其强大的特征表达和学习能力在多个计算机视觉任务中获得了较高的性能。大量研究证明了深层网络可以有效学习外部数据集的固有特征，对图像底层视觉特征的学习有极大的优势。
但是目前的方法主要存在两个问题。首先，尽管不同的自相似结构执行全局匹配，但多元化的搜索单位会找到不同的对应目标。固定规模的非本地注意力限制了搜索范围。点相似性计算成对像素相关性并捕获整个图像的远距离依赖性。块相似性来在单个尺度上计算以加快匹配速度。但基于特定尺度的搜索忽略了跨尺度的自相关信息。而分离点相似性和块相似性的现有方法将失去MR图像的特征特异性。其次，MR图像中较大的背景区域会干扰显着区域中的自相似特征提取。现有的空间注意机制将高频纹理和低频背景均等地对待，这将带来很多冗余和重复的特征。网络很难更加注意包含复杂纹理的区域。尽管通道注意机制可以自适应地区分显着特征，但是大多数模块都使用通道降维操作来降低模型的复杂性。我们发现中间层通道的突然下降会破坏密集的信道相关性并影响预测精度。
需要说明的是，在上述背景技术部分公开的信息仅用于对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本发明的主要目的在于提出一种基于双自相似性的金字塔正交注意力网络的MR图像超分辨方法，以解决上述现有技术存在的超分辨结果质量较低的技术问题。
为实现上述目的，本发明采用以下技术方案：
一种MR图像超分辨方法，其特征在于，包括如下步骤：
第一步:建立金字塔双自相似性模块PDSB，该模块同时融合全局点相关性和包含多尺度块相关性的金字塔相关性，使用PDSB在空间域充分地提取MR图像的自相似先验特征；
第二步:在通道域建立非降维通道注意力模块NCAB；
第三步:将空间域的PDSB与通道域的NCAB组合成为金字塔正交注意力模块POAB，并与多个残差模块RB和像素上采样层相结合，构成用于MR图像超分辨的金字塔正交注意力网络POAN；
第四步:利用训练好的适用于不同超分尺度的网络对输入的MR图像进行超分辨,得到输出的高清图像。
进一步地：
所述第一步具体包括：所述金字塔双自相似性模块PDSB包括点相似性提取部分和金字塔相似性提取部分，所述点相似性提取部分计算成对像素相关性并捕获整个图像的远距离依赖性，所述金字塔相似性提取部将单个尺度上的图像块相关性扩展到多个尺度以扩大匹配范围，块搜索空间从单个特征图扩展到多尺度特征金字塔以实现更好的匹配。
所述第二步具体包括：所述非降维通道注意力模块NCAB使用协方差池化得到全局描述符并保留原始特征通道数量，使用全局协方差合并来提取图像的高阶统计分布。
所述第二步具体包括：使用Softmax函数激活转化的描述符，根据特定位置的特征复杂性来自适应地获得激活概率，经所述非降维通道注意力模块NCAB处理后的特征可保留最有价值和代表性的纹理细节。
所述第三步具体包括：利用多级残差结构将空间域的PDSB与通道域的NCAB组合成为金字塔正交注意力模块POAB，其中，PDSB在空间域中输出自相似注意特征，而NCAB在通道域中输出高阶非降维注意特征，所述POAB在两个方向上合并和传输，并通过直接跳跃连接组成多级残差机制来融合不同信息。
所述第三步具体包括：所述POAB与所述多个残差模块RB堆叠，网络末尾使用基于子像素卷积和多通道重组的pixel-shuffle层在图像重建中执行不同比例的上采样，所述金字塔正交注意力网络POAN在重建阶段引入全局跳跃连接来稳定训练过程并保留更多低级特征，网络经过训练得到最终的网络模型。
所述第四步具体包括：对于每一个原始低质量MR图像，直接将其输入到训练好的金字塔正交注意力网络中，经过特征提取和重建后，在网络终端输出重构后的特定放大尺度的高质量图像。
一种计算机可读存储介质，存储有计算机程序，所述计算机程序由处理器执行时，实现所述的MR图像超分辨方法。
本申请与现有技术对比的有益效果包括：
本申请提出了一种基于双自相似性的金字塔正交注意力网络的MR图像超分辨方法；利用本申请可实现高质量的MR图像超分辨效果，是第一次在MR图像超分辨方法中考虑同时包含非局部点相似性和多尺度金字塔相似性的方式。融合的自相似机制覆盖了全局的完整接收域，并在整个输入图像中对不同大小的特征之间的相关性进行建模。在通道域使用非降维通道操作，以最大程度地实现连续的跨通道交互。使用协方差池来代替通用的全局池来捕获灰度值的高阶梯度差。通过将空间注意力和通道注意力与多层残差结构相结合，组成了一种正交注意力结构。同时,本申请提出的多尺度混合注意力残差学习方法，将完整的空间统计相关性和通道自关注映射集合以指导高水平重建和自适应地区域激活，这更适合于MR图像超分辨。该模型方法在法在定量和定性实验中均实现了卓越的性能，更好的网络表示能力带来了更高质量的MR图像超分辨结果。
附图说明
图1是本发明一种实施例的金字塔双自相似性模块(PDSB)的结构示意图。
图2是本发明一种实施例的非降维通道注意力模块(NCAB)的结构示意图。
图3是本发明一种实施例的金字塔正交注意力模块(POAB)的结构示意图。
图4是本发明一种实施例的金字塔正交注意力网络(POAN)的结构示意图。
具体实施方式
下面结合具体实施方式并对照附图对本专利申请作进一步详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本专利申请的范围及其应用。
参照以下附图，将描述非限制性和非排他性的实施例，其中相同的附图标记表示相同的部件，除非另外特别说明。
本领域技术人员将认识到，对以上描述做出众多变通是可能的，所以实施例仅是用来描述一个或多个特定实施方式。
本发明实施例提供一种基于双自相似性的金字塔正交注意力网络的MR图像超分辨方法,包括如下步骤:
第一步:建立金字塔双自相似性模块(pyramid dual self-similarity block，PDSB)，如图1所示，该模块同时融合全局点相关性(point-similarity)和包含多尺度块相关性(patch-similarity)的金字塔相关性(pyramid-similarity)。使用PDSB在空间域充分地提取MR图像的自相似先验特征；
第二步:在通道域设计非降维通道注意力模块(non-reduction channelattentionblock，NCAB)，如图2所示。注意力机制避免MR图像的大量背景区域干扰有效自相似性区域的提取，增加显著区域被激活的概率；
第三步:将空间域的PDSB与通道域的NCAB组合成为金字塔正交注意力模块(pyramid orthogonal attentionblock，POAB)，如图3所示，并与多个残差模块(ResidualBlock，RB)和像素上采样层相结合构成用于MR图像超分辨的金字塔正交注意力网络(pyramid orthogonal attention network，POAN)，网络总体结构如图4所示；
第四步:利用训练好的适用于不同超分尺度(2、3和4)的网络对输入的MR图像进行超分辨,得到输出的高清图像。
在优选的实施例中，所述第一步具体包括：建立金字塔双自相似性模块PDSB,如图1中所示，PDSB分为点相似性提取和金字塔相似性提取两部分。点相似性计算成对像素相关性并捕获整个图像的远距离依赖性。金字塔相似性将单个尺度上的图像块相关性扩展到多个尺度以扩大匹配范围。块搜索空间从单个特征图扩展到多尺度特征金字塔实现更好的匹配。
在优选的实施例中，所述第二步具体包括：在通道域设计非降维通道注意力模块NCAB,如图2中所示，NCAB保留非线性相关性并评估空间自相似性的重要性。与一阶全局池相比，高阶统计量更能够发现高频特征。NCAB使用协方差池化得到全局描述符并保留原始特征通道数量。我们使用Softmax函数激活转化的描述符，可以根据特定位置的特征复杂性来自适应地获得激活概率，经NCAB处理后的特征可保留最有价值和代表性的纹理细节。
在优选的实施例中，所述第三步具体包括：利用多级残差结构将空间域的PDSB与通道域的NCAB组合成为金字塔正交注意力模块POAB。如图3中所示，PDSB在空间域中输出自相似注意特征，而NCAB在通道域中输出高阶非降维注意特征。POAB在这两个方向上合并和传输，并通过直接跳跃连接组成多级残差机制来融合不同信息。
POAB与多个残差模块(RB)堆叠，网络末尾使用基于子像素卷积和多通道重组的pixel-shuffle层在图像重建中执行不同比例的上采样，如图4中所示。金字塔正交注意力网络POAN在重建阶段引入了全局跳跃连接来稳定训练过程并保留更多低级特征。网络经过特定数据集训练可得到最终的网络模型。
在优选的实施例中，所述第四步具体包括：对于每一个原始低质量MR图像，直接将其输入到训练好的金字塔正交注意力网络中，该网络的组成和重构过程如图4所示。经过特征提取和重建后，在网络最终端输出重构后的特定放大尺度的高质量图像。
在一个具体实施例中，采用如下方式实施基于双自相似性的金字塔正交注意力网络的MR图像超分辨方法。POAN中有40个RB，在第20个块之后插入一个POAB。在PDSB中，我们构建3级自相似特征金字塔。训练过程中，每个训练批次包含96个64×64低质量原始图像块，并且所有特征图的数量均设置为64。梯度优化使用自适应学习率的Adam算法(使用标准参数：β1＝0.9,β2＝0.999,ε＝10-8)，训练可得到最优网络参数。学习率初始化为1×10-4，然后每200个周期减少一半。我们使用Pytorch框架实现所有模型，并在NVIDIA GeForce GTX1080Ti GPU上训练了1000个周期。
下面再对优选实施例的MR图像超分辨方法作进一步详细描述。
金字塔双自相似性模块(PDSB):金字塔相似度包括多尺度图像块的自相关。点相似度矩阵捕获每个像素在非局部范围内的长期依赖关系。如图1所示，我们结合了以上两种类型的相似性，构建了金字塔双重自相似性块。我们将点SS的函数定义为
将金字塔SS的函数定义为
将融合特征表示为：
xP＝Fc'([xp1,xp2])
xp1代表点相似度运算的输出特征，而xp2代表金字塔相似度运算的输出特征。我们通过信道级联和卷积层将xp1和xp2组合在一起，以获得xp作为融合金字塔双重自相似特征。
非降维通道注意力(NCAB):如图2中所示,我们使用非降维通道注意机制来获得区分性特征的表示。常用的全局池化层和通道缩减获得一阶统计信息，这破坏了通道之间的串行相关性。因此，我们使用全局协方差合并来提取图像的高阶统计分布。重映射卷积内核的数量设置为等于输入特征图。过非还原挤压和激励操作获得最终的注意力向量，该过程可表示为：
Σ＝UΛUT
其中Σ是对应的协方差矩阵。最终的频道关注向量是通过重新映射Softmax函数获得的，然后乘以NCAB的输入特征xp'以获得最终的高阶关注特征输出xs。
金字塔正交注意块(PDSB)：PDSB在空间域中输出自相似注意特征，而NCAB在通道域中输出高阶非降维注意特征。我们在这两个方向上合并并合并输出，以基于双重自相似性获得金字塔正交注意特征。如图3所示，POAB中的多级残差机制通过层之间的跳过连接来促进信息流并稳定训练过程。POAB的内部实现可以用以下公式表示：
xP＝FPSDB(xt),
xp'＝FCONV(xP),
xs＝FNCAB(xp'),
xf＝FCONV(xs+xp')+xt
其中FPSDB和FNCAB分别代表PDSB和NCAB的对应函数。FCONV被定义为具有1x 1的卷积内核的卷积层，用于调整输出的通道数。xf是正交注意之后的输出。使用POAB中的残差结构创建映射，通过直接添加跨层元素更容易学习。
网络优化目标:尽管最近在自然图像SR任务中出现了一些出色的损失函数。但是，过度平滑和产生对抗性学习将给MR图像带来纹理和结构变形的风险。因此，我们选择L1损失作为优化目标。给定一组N对的低质量和高质量训练图像
我们将LR和SR图像之间的相应函数定义为FPOAN，并最大程度地减少高质量图像和超分辨重建图像之间的损失：
其中θ表示模型中所有的可学习参数，
是与
相对应的高分辨图像。
MR图像超分辨实现:将待超分的测试集MR图像输入到训练好的特定尺度放大的金字塔正交注意力的神经网络模型,即可得到高分辨率的MR图像输出。
本发明的背景部分可以包含关于本发明的问题或环境的背景信息，而不一定是描述现有技术。因此，在背景技术部分中包含的内容并不是申请人对现有技术的承认。
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中，参考术语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管已经详细描述了本发明的实施例及其优点，但应当理解，在不脱离专利申请的保护范围的情况下，可以在本文中进行各种改变、替换和变更。
Claims (8)
1.一种MR图像超分辨方法，其特征在于，包括如下步骤：
第一步:建立金字塔双自相似性模块PDSB，该模块同时融合全局点相关性和包含多尺度块相关性的金字塔相关性，使用PDSB在空间域充分地提取MR图像的自相似先验特征；
第二步:在通道域建立非降维通道注意力模块NCAB；
第三步:将空间域的PDSB与通道域的NCAB组合成为金字塔正交注意力模块POAB，并与多个残差模块RB和像素上采样层相结合，构成用于MR图像超分辨的金字塔正交注意力网络POAN；
第四步:利用训练好的适用于不同超分尺度的网络对输入的MR图像进行超分辨,得到输出的高清图像。
2.如权利要求1所述的MR图像超分辨方法，其特征在于：所述第一步具体包括：所述金字塔双自相似性模块PDSB包括点相似性提取部分和金字塔相似性提取部分，所述点相似性提取部分计算成对像素相关性并捕获整个图像的远距离依赖性，所述金字塔相似性提取部将单个尺度上的图像块相关性扩展到多个尺度以扩大匹配范围，块搜索空间从单个特征图扩展到多尺度特征金字塔以实现更好的匹配。
3.如权利要求1所述的MR图像超分辨方法，其特征在于：所述第二步具体包括：所述非降维通道注意力模块NCAB使用协方差池化得到全局描述符并保留原始特征通道数量，使用全局协方差合并来提取图像的高阶统计分布。
4.如权利要求3所述的MR图像超分辨方法，其特征在于：所述第二步具体包括：使用Softmax函数激活转化的描述符，根据特定位置的特征复杂性来自适应地获得激活概率，经所述非降维通道注意力模块NCAB处理后的特征可保留最有价值和代表性的纹理细节。
5.如权利要求1至4任一项所述的MR图像超分辨方法，其特征在于：所述第三步具体包括：利用多级残差结构将空间域的PDSB与通道域的NCAB组合成为金字塔正交注意力模块POAB，其中，PDSB在空间域中输出自相似注意特征，而NCAB在通道域中输出高阶非降维注意特征，所述POAB在两个方向上合并和传输，并通过直接跳跃连接组成多级残差机制来融合不同信息。
6.如权利要求1至5任一项所述的MR图像超分辨方法，其特征在于：所述第三步具体包括：所述POAB与所述多个残差模块RB堆叠，网络末尾使用基于子像素卷积和多通道重组的pixel-shuffle层在图像重建中执行不同比例的上采样，所述金字塔正交注意力网络POAN在重建阶段引入全局跳跃连接来稳定训练过程并保留更多低级特征，网络经过训练得到最终的网络模型。
7.如权利要求1至6任一项所述的MR图像超分辨方法，其特征在于：所述第四步具体包括：对于每一个原始低质量MR图像，直接将其输入到训练好的金字塔正交注意力网络中，经过特征提取和重建后，在网络终端输出重构后的特定放大尺度的高质量图像。
8.一种计算机可读存储介质，存储有计算机程序，其特征在于：所述计算机程序由处理器执行时，实现如权利要求1至7任一项所述的MR图像超分辨方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110238429.4A CN112950473B (zh) | 2021-03-04 | 2021-03-04 | 一种mr图像超分辨方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110238429.4A CN112950473B (zh) | 2021-03-04 | 2021-03-04 | 一种mr图像超分辨方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112950473A true CN112950473A (zh) | 2021-06-11 |
| CN112950473B CN112950473B (zh) | 2023-04-18 |
Family
ID=76247496
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110238429.4A Active CN112950473B (zh) | 2021-03-04 | 2021-03-04 | 一种mr图像超分辨方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112950473B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023169508A1 (en) * | 2022-03-09 | 2023-09-14 | Nvidia Corporation | Robust vision transformers |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001319229A (ja) * | 2000-05-10 | 2001-11-16 | Toyota Central Res & Dev Lab Inc | 画像における相関演算方法 |
| CN111047516A (zh) * | 2020-03-12 | 2020-04-21 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
| CN111932460A (zh) * | 2020-08-10 | 2020-11-13 | 北京大学深圳医院 | Mr图像超分辨率重建方法、装置、计算机设备及存储介质 |
| CN112183432A (zh) * | 2020-10-12 | 2021-01-05 | 中国科学院空天信息创新研究院 | 一种基于中分辨率sar图像的建筑区提取方法以及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110969577B (zh) * | 2019-11-29 | 2022-03-11 | 北京交通大学 | 一种基于深度双重注意力网络的视频超分辨率重建方法 |
-
2021
- 2021-03-04 CN CN202110238429.4A patent/CN112950473B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001319229A (ja) * | 2000-05-10 | 2001-11-16 | Toyota Central Res & Dev Lab Inc | 画像における相関演算方法 |
| CN111047516A (zh) * | 2020-03-12 | 2020-04-21 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
| CN111932460A (zh) * | 2020-08-10 | 2020-11-13 | 北京大学深圳医院 | Mr图像超分辨率重建方法、装置、计算机设备及存储介质 |
| CN112183432A (zh) * | 2020-10-12 | 2021-01-05 | 中国科学院空天信息创新研究院 | 一种基于中分辨率sar图像的建筑区提取方法以及系统 |
Non-Patent Citations (4)
| Title |
|---|
| XIAOLE ZHAO等: "Channel Splitting Network for Single MR Image Super-Resolution", 《IEEE TRANSACTION ON IMAGE PROCESSING (IEEE TIP)》 * |
| YIQUN MEI等: "Pyramid attention networks for image", 《ARXIV》 * |
| 欧阳宁等: "结合感知边缘约束与多尺度融合网络的图像超分辨率重建方法", 《计算机应用》 * |
| 王诗言等: "基于注意力机制与特征融合的图像超分辨率重建", 《计算机工程》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023169508A1 (en) * | 2022-03-09 | 2023-09-14 | Nvidia Corporation | Robust vision transformers |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112950473B (zh) | 2023-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7438108B2 (ja) | 画像処理方法、処理装置及び処理デバイス | |
| CN108734659B (zh) | 一种基于多尺度标签的亚像素卷积图像超分辨率重建方法 | |
| CN111461983A (zh) | 一种基于不同频度信息的图像超分辨率重建模型及方法 | |
| CN114119444B (zh) | 一种基于深度神经网络的多源遥感图像融合方法 | |
| CN106097253B (zh) | 一种基于块旋转和清晰度的单幅图像超分辨率重建方法 | |
| JP2013109759A (ja) | 辞書を用いてパンクロマチック画像及びマルチスペクトル画像をパンシャープン化する方法 | |
| CN110942424A (zh) | 一种基于深度学习的复合网络单图像超分辨率重建方法 | |
| CN111487573B (zh) | 一种用于磁共振欠采样成像的强化型残差级联网络模型 | |
| CN114565816B (zh) | 一种基于全局信息融合的多模态医学图像融合方法 | |
| CN115760814A (zh) | 一种基于双耦合深度神经网络的遥感图像融合方法及系统 | |
| CN113744136A (zh) | 基于通道约束多特征融合的图像超分辨率重建方法和系统 | |
| CN112950473B (zh) | 一种mr图像超分辨方法 | |
| CN114049408A (zh) | 用于加速多模态mr成像的深度网络模型 | |
| CN116823625B (zh) | 基于变分自编码器的跨对比度磁共振超分辨率方法和系统 | |
| CN112508794A (zh) | 医疗图像超分辨率重建方法及系统 | |
| CN113269677A (zh) | 基于无监督学习的hsi超分辨重建方法及相关设备 | |
| CN116596949A (zh) | 一种基于条件扩散模型的医学图像分割方法 | |
| Szczotka et al. | Zero-shot super-resolution with a physically-motivated downsampling kernel for endomicroscopy | |
| EP3937120B1 (en) | Computer-implemented method, computer program product and system for processing images | |
| Sharma et al. | Irgun: Improved residue based gradual up-scaling network for single image super resolution | |
| CN110570355B (zh) | 多尺度自动聚焦超分辨率处理系统和方法 | |
| Liu et al. | Hyperspectral image super-resolution employing nonlocal block and hybrid multiscale three-dimensional convolution | |
| JP4982393B2 (ja) | 画像フィルタリング装置、画像フィルタリングプログラム、画像フィルタリング方法及び超音波診断装置 | |
| Wang et al. | FrMLNet: Framelet-Based Multilevel Network for Pansharpening | |
| CN114298979B (zh) | 一种局灶性病变征象描述指导的肝核磁影像序列生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |