CN111798377B - 基于多分辨率学习策略的磁共振图像超分辨率重建方法 - Google Patents
基于多分辨率学习策略的磁共振图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN111798377B CN111798377B CN202010650903.XA CN202010650903A CN111798377B CN 111798377 B CN111798377 B CN 111798377B CN 202010650903 A CN202010650903 A CN 202010650903A CN 111798377 B CN111798377 B CN 111798377B
- Authority
- CN
- China
- Prior art keywords
- resolution
- feature
- magnetic resonance
- feature map
- scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000013507 mapping Methods 0.000 claims abstract description 101
- 238000003062 neural network model Methods 0.000 claims abstract description 47
- 238000005070 sampling Methods 0.000 claims abstract description 46
- 238000000605 extraction Methods 0.000 claims abstract description 27
- 230000004927 fusion Effects 0.000 claims abstract description 22
- 238000010586 diagram Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 8
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 238000012549 training Methods 0.000 abstract description 15
- 230000000694 effects Effects 0.000 abstract description 14
- 230000015654 memory Effects 0.000 abstract description 12
- 238000010606 normalization Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 210000000278 spinal cord Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Processing (AREA)
Abstract
本发明提供的一种基于多分辨率学习策略的磁共振图像超分辨率重建方法，将低分辨率的磁共振图像输入至神经网络模型中，以通过神经网络模型对该低分辨率的磁共振图像进行多尺度特征提取，多分辨率上采样以及加权融合，重建出高分辨率的磁共振图像；与现有技术相比，本申请能够获得比自然图像更丰富的特征信息的同时降低了网络的时间复杂度、减少了显存的消耗；并且，通过多尺度特征映射单元对磁共振图像进行特征提取，不仅能够获得较为多样化的多尺度特征信息，还能够提升网络的深度，降低网络的参数量，减少网络的训练时间；另外，本发明还通过多分辨率学习层实现高分辨率磁共振图像的超分辨率重建，与期望输出更为接近，效果更佳。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于多分辨率学习策略的磁共振图像超分辨率重建方法、装置、存储介质和计算机设备。
背景技术
磁共振成像是一种用于产生体内组织图像的成像技术，它利用磁共振现象从人体中获得电磁信号，并重建出人体信息。目前，核磁共振成像(MRI)已应用于全身各系统的成像诊断，包括有颅脑及其脊髓、心脏大血管、关节骨骼、软组织及盆腔等。
但是，在使用MRI的过程中，由于其扫描时间过长，病人无法长时间保持不动，进而导致最终的成像产生运动伪影；为了缩短扫描时间，通常会加大层厚，但获得的磁共振图像却为低分辨率图像，因此，需要对该低分辨率图像进行重建，以获得高分辨率图像。
现有的基于深度学习的磁共振图像超分辨率重建算法通常采用插值法，将原始的处于低分辨率空间的图像通过插值放大到高分辨率空间，随后再将插值后的低分辨率图像作为神经网络模型的输入，并选用单一尺寸的卷积核对磁共振图像进行特征提取；该过程中，由于插值后的低分辨率图像的尺寸变大，将其输入到神经网络模型中进行训练，会增加网络的时间复杂度，大大增加了模型的训练时间；并且采用单一尺寸的卷积核进行特征提取，这样获得的特征信息较为单一，不利于模型的进一步重建，从而影响最终的重建效果。
发明内容
本发明的目的旨在至少能解决上述的技术缺陷之一，特别是现有技术中的基于深度学习的磁共振图像超分辨率重建算法，不仅会增加网络的时间复杂度，提高模型的训练时间，还会影响最终的重建效果的技术缺陷。
本发明实施例提供了一种基于多分辨率学习策略的磁共振图像超分辨率重建方法，包括：
获取磁共振图像，将所述磁共振图像输入到预先建立的神经网络模型中；其中，所述磁共振图像为归一化处理后的低分辨率图像，所述神经网络模型包括第一卷积层、级联的多尺度特征映射单元、多分辨率上采样反卷积层和多分辨率学习层；
通过所述第一卷积层提取所述低分辨率图像的第一特征图，并将所述第一特征图经过所述级联的多尺度特征映射单元进行逐层的特征提取和叠加，得到各个多尺度特征映射单元的叠加特征图；
利用所述多分辨率上采样反卷积层对各个叠加特征图进行多分辨率上采样，得到多个第二特征图，将所述第二特征图输入到所述多分辨率学习层中，通过所述多分辨率学习层对所述第二特征图进行加权融合，重建出高分辨率的磁共振图像。
可选地，将所述第一特征图经过所述级联的多尺度特征映射单元进行逐层的特征提取和叠加，得到各个多尺度特征映射单元的叠加特征图的步骤，包括：
通过第一个多尺度特征映射单元提取所述第一卷积层输入的第一特征图的多尺度特征信息，并将所述多尺度特征信息对应的特征图与所述第一特征图进行叠加，得到第一个多尺度特征映射单元的叠加特征图；
将所述叠加特征图作为下一个多尺度特征映射单元的输入，并通过所述多尺度映射单元进行特征提取后，与所述第一特征图进行叠加，得到所述多尺度特征映射单元的叠加特征图。
可选地，所述多尺度特征映射单元包括多个并联的同一尺寸的卷积核，以及与所述同一尺寸的卷积核串联的不同尺寸的卷积核；
所述通过第一个多尺度特征映射单元提取所述第一卷积层输入的第一特征图的多尺度特征信息的步骤，包括：
通过各个并联的同一尺寸的卷积核同时提取所述第一特征图中的像素特征，得到第一特征信息；
将所述第一特征信息输入至所述串联的不同尺寸的卷积核中，得到第二特征信息；
将所述第二特征信息中与所述第一特征信息的输出通道数相同的特征信息进行融合，得到多尺度特征信息；
其中，所述多尺度特征信息的输出通道数为输出通道数相同的所述第一特征信息和所述第二特征信息的输出通道数之和；
并且，所述多尺度特征信息的输出通道数和尺寸大小与所述第一特征图的输入通道数和尺寸大小均保持一致。
可选地，将所述第一特征信息输入至所述串联的不同尺寸的卷积核中，得到第二特征信息的步骤之前，还包括：
对所述串联的不同尺寸的卷积核采用自适应填充的方式，以使所述第二特征信息对应的特征图的尺寸大小与所述第一特征信息对应的特征图的尺寸大小保持一致。
可选地，利用所述多分辨率上采样反卷积层对各个叠加特征图进行多分辨率上采样的步骤之前，还包括：
通过所述多分辨率上采样反卷积层对所述低分辨率图像进行反卷积操作，得到所述低分辨率图像的第一上采样特征图。
可选地，利用所述多分辨率上采样反卷积层对各个叠加特征图进行多分辨率上采样，得到多个第二特征图的步骤，包括：
利用所述多分辨率上采样反卷积层对各个叠加特征图进行反卷积操作，得到各个多尺度特征映射单元的第二上采样特征图；
将所述第一上采样特征图分别与各个第二上采样特征图进行融合，得到多个第二特征图。
可选地，将所述第二特征图输入到所述多分辨率学习层中，通过所述多分辨率学习层对所述第二特征图进行加权融合，重建出高分辨率的磁共振图像的步骤，包括：
利用所述神经网络模型的期望输出在所述多分辨率学习层中进行自适应学习，以确定各个第二特征图对应的重建的磁共振图像的贡献度；
根据所述第二特征图对应的贡献度对各个第二特征图进行加权融合，重建出高分辨率的磁共振图像。
本发明还提供了一种基于多分辨率学习策略的磁共振图像超分辨率重建装置，包括：
数据获取模块，用于获取磁共振图像，将所述磁共振图像输入到预先建立的神经网络模型中；其中，所述磁共振图像为归一化处理后的低分辨率图像，所述神经网络模型包括第一卷积层、级联的多尺度特征映射单元、多分辨率上采样反卷积层和多分辨率学习层；
数据处理模块，用于通过所述第一卷积层提取所述低分辨率图像的第一特征图，并将所述第一特征图经过所述级联的多尺度特征映射单元进行逐层的特征提取和叠加，得到各个多尺度特征映射单元的叠加特征图；
图像重建模块，用于利用所述多分辨率上采样反卷积层对各个叠加特征图进行多分辨率上采样，得到多个第二特征图，将所述第二特征图输入到所述多分辨率学习层中，通过所述多分辨率学习层对所述第二特征图进行加权融合，重建出高分辨率的磁共振图像。
本发明还提供了一种存储介质，所述存储介质中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如上述实施例中任一项所述基于多分辨率学习策略的磁共振图像超分辨率重建方法的步骤。
本发明还提供了一种计算机设备，所述计算机设备中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如上述实施例中任一项所述基于多分辨率学习策略的磁共振图像超分辨率重建方法的步骤。
从以上技术方案可以看出，本发明实施例具有以下优点：
本发明的基于多分辨率学习策略的磁共振图像超分辨率重建方法，将低分辨率的磁共振图像输入至神经网络模型中，以通过神经网络模型对该低分辨率的磁共振图像进行多尺度特征提取，多分辨率上采样以及加权融合，重建出高分辨率的磁共振图像；与现有技术相比，本申请直接采用低分辨率的磁共振图像作为神经网络模型的输入，能够获得比自然图像更丰富的特征信息的同时降低了网络的时间复杂度、减少了显存的消耗；并且，通过多尺度特征映射单元对磁共振图像进行特征提取，不仅能够获得较为多样化的多尺度特征信息，还能够提升网络的深度，降低网络的参数量，减少网络的训练时间；另外，本发明还通过多分辨率学习层实现多分辨率学习策略，该策略能够更好地利用多尺度特征信息，将获得的携带多分辨率信息的第二特征图进行加权融合，超分辨率重建出最终的高分辨率磁共振图像，与期望输出更为接近，效果更佳。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的基于多分辨率学习策略的磁共振图像超分辨率重建方法的流程示意图；
图2为本发明实施例提供的多尺度特征映射单元结构示意图；
图3为本发明实施例提供的多分辨率学习网络结构示意图；
图4为本发明实施例提供的基于多分辨率学习策略的磁共振图像超分辨率重建装置结构示意图；
图5为本发明实施例提供的一种计算机设备的内部结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像本申请实施例中一样被特定定义，否则不会用理想化或过于正式的含义来解释。
请参阅图1，图1为本发明实施例提供的基于多分辨率学习策略的磁共振图像超分辨率重建方法的流程示意图；本发明实施例提供了一种基于多分辨率学习策略的磁共振图像超分辨率重建方法，具体可以包括：
S110：获取磁共振图像，将所述磁共振图像输入到预先建立的神经网络模型中；其中，所述磁共振图像为归一化处理后的低分辨率图像，所述神经网络模型包括第一卷积层、级联的多尺度特征映射单元、多分辨率上采样反卷积层和多分辨率学习层。
本步骤中，将经过归一化处理后的磁共振图像输入到预先建立的神经网络模型中，以通过该神经网络模型的第一卷积层、级联的多尺度特征映射单元、多分辨率上采样反卷积层和多分辨率学习层进行超分辨率重建。
其中，本申请采用低分辨率的磁共振图像作为神经网络模型的输入，主要是考虑到磁共振图像的灰度级范围为0-65535，而自然图像的像素级范围为0-255，因此磁共振图像具有比自然图像更丰富的信息；并且，直接采用低分辨率的磁共振图像，相对于采用插值后的低分辨率图像，不仅能够降低时间复杂度，还能够减少显存的消耗。
可以理解的是，对低分辨率图像进行插值的操作，即是将低分辨率图像从原本的低分辨率空间插值到了高分辨率空间，因此，图像的尺寸变大，但其内部的分辨率却并没有提升，这样不仅会造成人工伪影，还增加网络的时间复杂度。
而使用本申请的直接将低分辨率的磁共振图像输入到神经网络模型中，可以有效降低时间复杂度；举例来说，当该神经网络模型为卷积神经网络模型时，根据卷积神经网络模型的时间复杂度的计算公式：
其中，D表示卷积神经网络模型所具有的卷积层数，也就是网络的深度；l表示卷积神经网络模型的第l个卷积层；Ml表示第l个卷积层中每个卷积核输出的特征图边长，表示输出的特征图面积，Kl表示每个卷积核的边长，/>表示每个卷积核的面积大小；Cl-1表示第l-1层的输出通道数，即第l层的输入通道数；Cl则是第l层的输出通道数。
由时间复杂度的计算公式可以看出，每个卷积层的时间复杂度由输出特征图面积、卷积核面积、输入和输出通道数完全决定；其中，输出特征图的尺寸本身又由输入矩阵尺寸X、卷积核尺寸K、填充P、步长S这四个参数所决定，表示成：M＝(X-K+2P)/S+1。
由此可见，输入的矩阵尺寸大小会直接影响到网络的时间复杂度，时间复杂度决定了模型的训练/预测时间，如果时间复杂度过高，则会导致模型训练和预测耗费大量时间，既无法快速的验证想法和改善模型，也无法做到快速的预测。
进一步地，在本申请中，由于磁共振图像的灰度级范围为0-65535，为了方便卷积神经网络的处理，需要对磁共振图像作归一化处理，以使磁共振图像的灰度级范围归一化到0-255范围内。
可以理解的是，这里的归一化处理指的是把需要处理的数据通过某种算法限制在需要的一定的范围内的操作，且归一化本身不会改变图像本身的信息存储，即归一化前与归一化后的运行结果完全一致。
这里将磁共振图像进行归一化的好处包括：1、转换成标准模式，防止仿射变换的影响；2、减小几何变换的影响；3、加快梯度下降求最优解的速度。
另外，本申请中，预先建立的神经网络模型包括有第一卷积层、级联的多尺度特征映射单元、多分辨率上采样反卷积层和多分辨率学习层。
其中，第一卷积层能够对磁共振图像进行粗特征提取，级联的多尺度特征映射单元能够对第一卷积层中通过粗特征提取的特征图进行逐层的由粗到精的特征提取，以获得多尺度的特征信息，这样能够更好地完成超分辨率重建；多分辨率上采样反卷积层能够获取到低分辨率图像中的细节信息，并且加快网络的训练速度，减少硬件资源的消耗，最后通过多分辨率学习层进行自适应学习，能够充分利用每个多尺度特征映射单元获取的特征信息，实现超分辨率重建。
S120：通过所述第一卷积层提取所述低分辨率图像的第一特征图，并将所述第一特征图经过所述级联的多尺度特征映射单元进行逐层的特征提取和叠加，得到各个多尺度特征映射单元的叠加特征图。
本步骤中，通过步骤S110将低分辨率的磁共振图像输入到神经网络模型中，以通过第一卷积层提取该低分辨率图像的第一特征图；可以理解的是，这里的第一特征图指的是经过第一卷积层进行卷积后得到粗特征图，这里的第一卷积层可以由192个通道的3×3大小的卷积核组成。
当选用192个通道的3×3大小的卷积核对低分辨率图像进行特征提取后，可得到192张粗特征图，即第一特征图，将该192张粗特征图全部输入到多尺度特征映射单元中，以作进一步的优化处理。
其中，本申请使用级联的多尺度特征映射单元，对第一特征图进行逐层的由粗到精的特征提取，由于多尺度特征映射单元为多个卷积层所组成，且多个卷积层中包含有不同尺寸的卷积核，这样便可以得到不同分辨率的特征图信息，与使用单一尺寸的卷积核得到的特征效果要好。
并且，为了避免信息损失，多尺度特征映射单元对输入的特征图进行特征提取后，还会与第一卷积层提取的第一特征图进行叠加，并将叠加得到的叠加特征图作为下一个多尺度特征映射单元的输入。
需要说明的是，这里的3×3大小的卷积核指的是卷积核尺寸大小为3×3；这里通过多尺度特征映射单元进行特征提取，即可得到不同分辨率的特征图信息指的是，多尺度特征映射单元中采用不同尺寸的卷积核对特征图进行卷积，得到的感受野也不同，当采用的卷积核越大时，感受野也越大，看到的图像信息越多，且获得的特征也越好；这里的不同分辨率，指的经过不同尺寸的卷积核卷积后，携带的特征图信息量不同。
S130：利用所述多分辨率上采样反卷积层对各个叠加特征图进行多分辨率上采样，得到多个第二特征图，将所述第二特征图输入到所述多分辨率学习层中，通过所述多分辨率学习层对所述第二特征图进行加权融合，重建出高分辨率的磁共振图像。
本步骤中，通过步骤S120获得各个多尺度特征映射单元的叠加特征图后，可利用多分辨率上采样反卷积层对各个叠加特征图进行多分辨率上采样，以得到多个第二特征图。
其中，多分辨率上采样指的是对各个不同分辨率的叠加特征图进行的上采样操作。举例来说，为了能够直接从低分辨率图像中获取到细节信息，同时加快网络的训练速度，减少硬件资源的消耗，本申请的神经网络模型采用反卷积实现图像放大；为了最大限度的保留低分辨率图像中的细节信息，将通过反卷积后的低分辨率的磁共振图像与各个多尺度特征映射单元输出的叠加特征图分别进行融合，这样能够充分利用每个多尺度特征映射单元获取到的特征信息，避免网络在传递过程中造成的信息丢失。
当通过多分辨率上采样得到多个第二特征图后，可将各个第二特征图输入到多分辨率学习层中，以通过多分辨率学习层对各个第二特征图进行加权后融合，并重建出高分辨率的磁共振图像。
可以理解的是，由于通过多分辨率上采样反卷积层输出的第二特征图蕴含着不同分辨率的图像信息，每一个输出的第二特征图对最终的高分辨率磁共振图像的贡献度也必然不同。因此，在多分辨率学习层中，需要充分利用获取到的第二特征图，以便更好地重建出高分辨率磁共振图像。
本申请中，多分辨率学习层通过自适应学习的方式，自适应地学习融合各个第二特征图的权重，并超分辨率重建出最终的高分辨率磁共振图像。
需要说明的是，这里的权重指的是通过神经网络模型的总的损失函数自动更新迭代得到的各个多尺度特征映射单元对最终的高分辨率磁共振图像的贡献度。由于高分辨率的磁共振图像是通过多个第二特征图进行加权融合得到的，随着总的损失函数的值的不断更新，权重也会自动随着总损失函数的更新而更新，从而达到自适应学习的效果。
这里的损失指的是整个网络在训练过程中的总损失；其中，损失函数的值越接近于零，表示重建出的高分辨率磁共振图像与真实的高分辨率磁共振图像越接近；并且，总损失由多尺度特征映射单元的损失以及多分辨率学习层的损失这两部分组成，即意味着如果想要让总损失接近于零，多尺度特征映射单元的损失和多分辨率学习层的损失都必须接近于零，这样也就起到了共同监督的作用，重建出的高分辨率磁共振图像的效果也能够更好一些。
举例来说，本申请提出的方法在×2、×3、×4的放大倍数下进行训练所需要的时间分别为43.85秒、44.53秒、38.12秒，所消耗的显存分别为1597M、1231M、1109M，而增强型的递归残差网络训练的时间则分别为171.15秒、172.23秒、172.32秒，所消耗的显存均为3723M，因此本申请提出的方法存在很好的应用前景。
上述实施例的基于多分辨率学习策略的磁共振图像超分辨率重建方法，将低分辨率的磁共振图像输入至神经网络模型中，以通过神经网络模型对该低分辨率的磁共振图像进行多尺度特征提取，多分辨率上采样以及加权融合，重建出高分辨率的磁共振图像；与现有技术相比，本申请直接采用低分辨率的磁共振图像作为神经网络模型的输入，能够获得比自然图像更丰富的特征信息的同时降低了网络的时间复杂度、减少了显存的消耗；并且，通过多尺度特征映射单元对磁共振图像进行特征提取，不仅能够获得较为多样化的多尺度特征信息，还能够提升网络的深度，降低网络的参数量，减少网络的训练时间；另外，本发明还通过多分辨率学习层实现多分辨率学习策略，该策略能够更好地利用多尺度特征信息，将获得的携带多分辨率信息的第二特征图进行加权融合，超分辨率重建出最终的高分辨率磁共振图像，与期望输出更为接近，效果更佳。
在一个实施例中，S120中，将所述第一特征图经过所述级联的多尺度特征映射单元进行逐层的特征提取和叠加，得到各个多尺度特征映射单元的叠加特征图的步骤，可以包括：
S121：通过第一个多尺度特征映射单元提取所述第一卷积层输入的第一特征图的多尺度特征信息，并将所述多尺度特征信息对应的特征图与所述第一特征图进行叠加，得到第一个多尺度特征映射单元的叠加特征图；
S122：将所述叠加特征图作为下一个多尺度特征映射单元的输入，并通过所述多尺度映射单元进行特征提取后，与所述第一特征图进行叠加，得到所述多尺度特征映射单元的叠加特征图。
本实施例中，为了避免信息损失，第一卷积层将提取到的第一特征图传递至每个多尺度特征映射单元的输出端，当多尺度特征映射单元对输入的特征图进行特征提取后，与第一卷积层提取的第一特征图进行叠加，并将叠加得到的叠加特征图作为下一个多尺度特征映射单元的输入。
具体地，当通过第一个多尺度特征映射单元提取第一特征图中的多尺度特征信息后，可将该多尺度特征信息对应的特征图与第一特征图进行叠加，得到第一个多尺度特征映射单元的叠加特征图。
然后，再将第一个多尺度特征映射单元输出的叠加特征图作为下一个多尺度特征映射单元的输入，并通过该多尺度映射单元进行特征提取后，再次与第一卷积层输入的第一特征图进行叠加，得到该多尺度特征映射单元的叠加特征图。
在一个实施例中，所述多尺度特征映射单元可以包括多个并联的同一尺寸的卷积核，以及与所述同一尺寸的卷积核串联的不同尺寸的卷积核；S121中，所述通过第一个多尺度特征映射单元提取所述第一卷积层输入的第一特征图的多尺度特征信息的步骤，可以包括：
S210：通过各个并联的同一尺寸的卷积核同时提取所述第一特征图中的像素特征，得到第一特征信息；
S211：将所述第一特征信息输入至所述串联的不同尺寸的卷积核中，得到第二特征信息；
S212：将所述第二特征信息中与所述第一特征信息的输出通道数相同的特征信息进行融合，得到多尺度特征信息。
本实施例中，各个多尺度特征映射单元提取的多尺度特征信息的输出通道数为输出通道数相同的第一特征信息和第二特征信息的输出通道数之和；并且，多尺度特征信息的输出通道数和尺寸大小与第一特征图的输入通道数和尺寸大小均保持一致。
下面通过一示例来进行说明，如图2所示，图2为本实施例提供的多尺度特征映射单元结构示意图；本示例选用了192个通道的3×3大小的卷积核对低分辨率图像进行特征提取，因此，在图2中，多尺度特征映射单元选用了并联设置的、且卷积核尺寸为1×1、3×3、5×5的卷积核来捕获第一卷积层得到的第一特征图中的特征信息。
图2中，有着3×3和5×5卷积核对应的卷积层前各有一层带有1×1卷积核的卷积层，以通过降维来达到降低网络参数量的效果；并且，由于第一卷积层采用192个通道的3×3大小的卷积核，在第一个多尺度特征映射单元中的1×1卷积核的卷积层分别采用64、96通道，以实现最终通过concat层融合后的特征图的尺寸大小与融合前的相同，通道数为融合前的通道数之和。
另外，图2中，1×1大小的卷积核，其卷积核尺寸为1×1，步长为1，填充为0，3×3大小的卷积核，其卷积核尺寸为3×3，步长为1，填充为1，5×5大小的卷积核，其卷积核尺寸为5×5，步长为1，填充为2。
因此，由时间复杂度的计算公式可知，经过一个多尺度特征映射单元的时间复杂度为：
而使用递归残差网络的第一个卷积层输出通道数为128，且每个残差单元中包含了2个卷积层，每个卷积层包含了128个通道的3×3的卷积核，则经过一个残差单元的时间复杂度为：
其中，
这里的F表示放大倍数，表示经过插值后特征图的面积大小；由于递归残差网络采用预先放大的方式，所以它的特征图是经过插值后的特征图，并且，由于F大于1，因此，从数值中可以看出使用本申请的神经网络模型大大减少了时间复杂度。
需要说明的是，本实施例中选取第一卷积层192个通道卷积核，是因为多尺度特征映射单元中3层并列的卷积层，每个卷积层最终的输出都为64张特征图，即输出通道数为64。
当使用concat操作将同样尺寸大小的特征图融合在一起后，通道数是之前所有的通道数的总和，即64×3；而图2中的求和操作，要求参与求和叠加的特征图的大小和通道数均为一致，此外，叠加后的特征图与叠加前的特征图尺寸大小和通道数也保持一致。
并且，选取3×3大小的卷积核，相对于使用5×5、7×7大小的卷积核来说，能够保证在具有相同感知野的条件下，提升网络的深度，并在一定程度上提升了神经网络模型的效果，减少计算参数量。
举例来说，整个网络的参数量是多层卷积层参数量的总和，而对于每一个卷积层的参数量计算公式为：
Kh×Kw×Cin×Cout+Cout
其中，Kh表示卷积核的高度，Kw表示卷积核的宽度，Cin表示输入的通道数，Cout表示输出的通道数。
从上述公式里可以看出，参数量和输出的通道数密切相关。本申请中降低参数量指的就是降低卷积层的输出通道数，把原本输入的高维特征压缩到低维空间内。如一层卷积层的输入通道数为192，输出通道数为64，与输入通道数为192，输出通道数为192相比，卷积层的参数量降低到了原先的1/3。
图2中，1×1卷积核起到的最直接而有效的作用就是将192维特征压缩到96维空间内，起到了降维和降低网络参数量的作用；后面再通过3×3或5×5卷积核的卷积层对96维特征进行处理，捕获特征信息，能够大大降低时间复杂度，减少硬件资源的消耗。
在一个实施例中，S211中，将所述第一特征信息输入至所述串联的不同尺寸的卷积核中，得到第二特征信息的步骤之前，还可以包括：
对所述串联的不同尺寸的卷积核采用自适应填充的方式，以使所述第二特征信息对应的特征图的尺寸大小与所述第一特征信息对应的特征图的尺寸大小保持一致。
本实施例中，由公式M＝(X-K+2P)/S+1可知，经过每一次卷积层进行卷积后，特征图的尺寸都会变小，当步长S为1，卷积核K大小为3，填充P为0的时候，特征图会随着不断地卷积变得越来越小，也就是将原先的特征信息提取到了尺寸更小的特征图中，特征图的分辨率也随之改变。但填充本身只是在待卷积的特征图周围补0，并不会影响特征图存储的特征信息。
因此，为了保证输出的特征图尺寸大小一致，可采用自适应填充的方式，对不同尺寸的卷积核采用不同的填充数。例如，对于1×1大小的卷积核，其填充为0，对于3×3大小的卷积核，其填充为1，对于5×5大小的卷积核，其填充为2，以此类推。
在一个实施例中，S130中利用所述多分辨率上采样反卷积层对各个叠加特征图进行多分辨率上采样的步骤之前，还可以包括：
S300：通过所述多分辨率上采样反卷积层对所述低分辨率图像进行反卷积操作，得到所述低分辨率图像的第一上采样特征图。
本实施例中，为了保证在学习的过程中，最原始的磁共振图像的图像细节信息不丢失，采用将原始的低分辨率图像进行反卷积后叠加的方式，以充分利用低分辨率图像中的原始信息，对后续重建高分辨率图像起到很大的帮助。
当然，这里使用反卷积是为了将原始的低分辨率图像的尺寸进行放大，以便与多尺度特征映射单元中进行反卷积操作后的特征图尺寸大小保持一致，这样更方便进行叠加操作。
在一个实施例中，S130中利用所述多分辨率上采样反卷积层对各个叠加特征图进行多分辨率上采样，得到多个第二特征图的步骤，可以包括：
S301：利用所述多分辨率上采样反卷积层对各个叠加特征图进行反卷积操作，得到各个多尺度特征映射单元的第二上采样特征图；
S302：将所述第一上采样特征图分别与各个第二上采样特征图进行融合，得到多个第二特征图。
本实施例中，为了能够直接从低分辨率图像中获取到细节信息，同时加快网络的训练速度，减少硬件资源的消耗，网络采用了反卷积实现放大；并且，为了最大限度的保留低分辨率图像中的细节信息，将低分辨率图像的第一上采样特征图与各个多尺度特征映射单元的第二上采样特征图分别进行融合，这样能够充分利用每个多尺特征度映射单元获取到的特征信息，避免网络在传递的过程中造成的信息丢失。
由此可见，本申请中，反卷积层的输入为N+1个特征图，输出为N个融合后的第二特征图，其公式可表示为：
其中，x表示输入的低分辨率图像，Ui表示第i个多尺度特征映射单元的叠加特征图，fdec(·)表示反卷积运算。
在一个实施例中，S130中，将所述第二特征图输入到所述多分辨率学习层中，通过所述多分辨率学习层对所述第二特征图进行加权融合，重建出高分辨率的磁共振图像的步骤，可以包括：
S303：利用所述神经网络模型的期望输出在所述多分辨率学习层中进行自适应学习，以确定各个第二特征图对应的重建的磁共振图像的贡献度；
S304：根据所述第二特征图对应的贡献度对各个第二特征图进行加权融合，重建出高分辨率的磁共振图像。
本实施例中，由于神经网络模型中的信息传递，是一个由粗到精的过程，因此，每一个输出的第二特征图对最终的高分辨率的磁共振图像的贡献度也必然不同，如果仅仅只是将各个第二特征图进行叠加，那么重建的效果将会不理想。
因此，本申请提出了一种自适应学习策略，通过自适应地学习融合各个第二特征图的权重，超分辨率重建出最终的高分辨率磁共振图像。
例如，本申请使用了N个多尺度特征映射单元，因此，将权重的初始值设置为1/N，得到的最终的高分辨率磁共振图像的公式为：
其中，表示超分辨率重建出的最终的高分辨率磁共振图像，/>表示第i个多尺度特征映射单元的叠加特征图经过多分辨率上采样得到的第二特征图，wi表示第i个多尺度特征映射单元对应的第二特征图的贡献度，即/>的权重。
另外，由于权重是通过神经网络模型的总的损失函数自动更新迭代得到，而总损失由多尺度特征映射单元的损失以及多分辨率学习层的损失这两部分组成，即
其中，y表示神经网络模型的期望输出，即真实高分辨率图像；当期望重建出的最终的高分辨率磁共振图像更接近于真实高分辨率图像时，也就意味着要让总损失接近于零。因此，需要通过自适应学习的方式，不断地更新总损失的值，这样权重的值也就自动随着总损失的更新而更新，以实现最终的超分辨率重建。
下面通过一示例来辅助说明本发明的实施过程，如图3所示，图3为本实施例提供的多分辨率学习网络结构示意图；本示例选用了192个通道的3×3大小的卷积核对低分辨率图像进行特征提取，因此，在图3中，多尺度特征映射单元选用了并联设置的、且卷积核尺寸为1×1、3×3、5×5的卷积核来捕获上一个多尺度特征映射单元输出的叠加特征图。
该叠加特征图包括第一卷积层输出的第一特征图，以及上一个多尺度特征映射单元输出的多尺度特征信息，通过图3可知，各个多尺度特征映射单元的叠加特征图同时也传递到多分辨率上采样反卷积层进行反卷积操作，并与低分辨率图像进行反卷积操作得到的第一上采样特征图进行融合，得到多个第二特征图，然后将各个第二特征图进行加权融合，以得到最终的高分辨率的磁共振图像。
在一个实施例中，如图4所示，图4为本发明实施例提供的基于多分辨率学习策略的磁共振图像超分辨率重建装置的结构示意图；本发明还提供了一种基于多分辨率学习策略的磁共振图像超分辨率重建装置，包括数据获取模块110、数据处理模块120、图像重建模块130，具体如下：
数据获取模块110，用于获取磁共振图像，将所述磁共振图像输入到预先建立的神经网络模型中；其中，所述磁共振图像为归一化处理后的低分辨率图像，所述神经网络模型包括第一卷积层、级联的多尺度特征映射单元、多分辨率上采样反卷积层和多分辨率学习层。
数据处理模块120，用于通过所述第一卷积层提取所述低分辨率图像的第一特征图，并将所述第一特征图经过所述级联的多尺度特征映射单元进行逐层的特征提取和叠加，得到各个多尺度特征映射单元的叠加特征图。
图像重建模块130，用于利用所述多分辨率上采样反卷积层对各个叠加特征图进行多分辨率上采样，得到多个第二特征图，将所述第二特征图输入到所述多分辨率学习层中，通过所述多分辨率学习层对所述第二特征图进行加权融合，重建出高分辨率的磁共振图像。
上述实施例中，将低分辨率的磁共振图像输入至神经网络模型中，以通过神经网络模型对该低分辨率的磁共振图像进行多尺度特征提取，多分辨率上采样以及加权融合，重建出高分辨率的磁共振图像；与现有技术相比，本申请直接采用低分辨率的磁共振图像作为神经网络模型的输入，能够获得比自然图像更丰富的特征信息的同时降低了网络的时间复杂度、减少了显存的消耗；并且，通过多尺度特征映射单元对磁共振图像进行特征提取，不仅能够获得较为多样化的多尺度特征信息，还能够提升网络的深度，降低网络的参数量，减少网络的训练时间；另外，本发明还通过多分辨率学习层实现多分辨率学习策略，该策略能够更好地利用多尺度特征信息，将获得的携带多分辨率信息的第二特征图进行加权融合，超分辨率重建出最终的高分辨率磁共振图像，与期望输出更为接近，效果更佳。
关于基于多分辨率学习策略的磁共振图像超分辨率重建装置的具体限定可以参见上文中对于基于多分辨率学习策略的磁共振图像超分辨率重建方法的限定，在此不再赘述。上述基于多分辨率学习策略的磁共振图像超分辨率重建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于终端设备中的处理器中，也可以以软件形式存储于终端设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种存储介质，所述存储介质中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如上述实施例中任一项所述基于多分辨率学习策略的磁共振图像超分辨率重建方法的步骤。
在一个实施例中，提供了一种计算机设备，所述计算机设备中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如上述实施例中任一项所述基于多分辨率学习策略的磁共振图像超分辨率重建方法的步骤。
图5为本发明实施例提供的一种计算机设备的内部结构示意图，该计算机设备200可以被提供为一服务器。参照图5，计算机设备200包括处理组件202，其进一步包括一个或多个处理器，以及由存储器201所代表的存储器资源，用于存储可由处理组件202的执行的指令，例如应用程序。存储器201中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件202被配置为执行指令，以执行上述任意实施例的数据库连接方法。
计算机设备200还可以包括一个电源组件203被配置为执行计算机设备200的电源管理，一个有线或无线网络接口204被配置为将计算机设备200连接到网络，和一个输入输出(I/O)接口205。计算机设备200可以操作基于存储在存储器201的操作系统，例如WindowsServer TM、Mac OS XTM、Unix TM、Linux TM、Free BSDTM或类似。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种基于多分辨率学习策略的磁共振图像超分辨率重建方法，其特征在于，包括：
获取磁共振图像，将所述磁共振图像输入到预先建立的神经网络模型中；其中，所述磁共振图像为归一化处理后的低分辨率图像，所述神经网络模型包括第一卷积层、级联的多尺度特征映射单元、多分辨率上采样反卷积层和多分辨率学习层；所述多尺度特征映射单元包括多个并联的同一尺寸的卷积核，以及与所述同一尺寸的卷积核串联的不同尺寸的卷积核；
通过所述第一卷积层提取所述低分辨率图像的第一特征图，并通过第一个多尺度特征映射单元提取所述第一卷积层输入的第一特征图的多尺度特征信息，并将所述多尺度特征信息对应的特征图与所述第一特征图进行叠加，得到第一个多尺度特征映射单元的叠加特征图；
将所述叠加特征图作为下一个多尺度特征映射单元的输入，并通过所述多尺度特征映射单元进行特征提取后，与所述第一特征图进行叠加，得到所述多尺度特征映射单元的叠加特征图；
所述通过第一个多尺度特征映射单元提取所述第一卷积层输入的第一特征图的多尺度特征信息的步骤，包括：
通过各个并联的同一尺寸的卷积核同时提取所述第一特征图中的像素特征，得到第一特征信息；
将所述第一特征信息输入至所述串联的不同尺寸的卷积核中，得到第二特征信息；
将所述第二特征信息中与所述第一特征信息的输出通道数相同的特征信息进行融合，得到多尺度特征信息；
其中，所述多尺度特征信息的输出通道数为输出通道数相同的所述第一特征信息和所述第二特征信息的输出通道数之和；
并且，所述多尺度特征信息的输出通道数和尺寸大小与所述第一特征图的输入通道数和尺寸大小均保持一致；
利用所述多分辨率上采样反卷积层对各个叠加特征图进行多分辨率上采样，得到多个第二特征图，将所述第二特征图输入到所述多分辨率学习层中，通过所述多分辨率学习层对所述第二特征图进行加权融合，重建出高分辨率的磁共振图像；
将权重的初始值设置为1/N，得到的最终的高分辨率磁共振图像的公式为：
其中，表示超分辨率重建出的最终的高分辨率磁共振图像，/>表示第i个多尺度特征映射单元的叠加特征图经过多分辨率上采样得到的第二特征图，wi表示第i个多尺度特征映射单元对应的第二特征图的贡献度，即/>的权重；
所述神经网络模型的总的损失函数由多尺度特征映射单元的损失以及多分辨率学习层的损失这两部分组成，即
其中，y表示神经网络模型的期望输出，即真实高分辨率图像；当期望重建出的最终的高分辨率磁共振图像更接近于真实高分辨率图像时，也就意味着要让总损失接近于零，因此，需要通过自适应学习的方式，不断地更新总损失的值，这样权重的值也就自动随着总损失的更新而更新，以实现最终的超分辨率重建。
2.根据权利要求1所述的基于多分辨率学习策略的磁共振图像超分辨率重建方法，其特征在于，将所述第一特征信息输入至所述串联的不同尺寸的卷积核中，得到第二特征信息的步骤之前，还包括：
对所述串联的不同尺寸的卷积核采用自适应填充的方式，以使所述第二特征信息对应的特征图的尺寸大小与所述第一特征信息对应的特征图的尺寸大小保持一致。
3.根据权利要求1所述的基于多分辨率学习策略的磁共振图像超分辨率重建方法，其特征在于，利用所述多分辨率上采样反卷积层对各个叠加特征图进行多分辨率上采样的步骤之前，还包括：
通过所述多分辨率上采样反卷积层对所述低分辨率图像进行反卷积操作，得到所述低分辨率图像的第一上采样特征图。
4.根据权利要求3所述的基于多分辨率学习策略的磁共振图像超分辨率重建方法，其特征在于，利用所述多分辨率上采样反卷积层对各个叠加特征图进行多分辨率上采样，得到多个第二特征图的步骤，包括：
利用所述多分辨率上采样反卷积层对各个叠加特征图进行反卷积操作，得到各个多尺度特征映射单元的第二上采样特征图；
将所述第一上采样特征图分别与各个第二上采样特征图进行融合，得到多个第二特征图。
5.根据权利要求1所述的基于多分辨率学习策略的磁共振图像超分辨率重建方法，其特征在于，将所述第二特征图输入到所述多分辨率学习层中，通过所述多分辨率学习层对所述第二特征图进行加权融合，重建出高分辨率的磁共振图像的步骤，包括：
利用所述神经网络模型的期望输出在所述多分辨率学习层中进行自适应学习，以确定各个第二特征图对应的重建的磁共振图像的贡献度；
根据所述第二特征图对应的贡献度对各个第二特征图进行加权融合，重建出高分辨率的磁共振图像。
6.一种基于多分辨率学习策略的磁共振图像超分辨率重建装置，其特征在于，包括：
数据获取模块，用于获取磁共振图像，将所述磁共振图像输入到预先建立的神经网络模型中；其中，所述磁共振图像为归一化处理后的低分辨率图像，所述神经网络模型包括第一卷积层、级联的多尺度特征映射单元、多分辨率上采样反卷积层和多分辨率学习层；所述多尺度特征映射单元包括多个并联的同一尺寸的卷积核，以及与所述同一尺寸的卷积核串联的不同尺寸的卷积核；
数据处理模块，用于通过所述第一卷积层提取所述低分辨率图像的第一特征图，并通过第一个多尺度特征映射单元提取所述第一卷积层输入的第一特征图的多尺度特征信息，并将所述多尺度特征信息对应的特征图与所述第一特征图进行叠加，得到第一个多尺度特征映射单元的叠加特征图；
将所述叠加特征图作为下一个多尺度特征映射单元的输入，并通过所述多尺度特征映射单元进行特征提取后，与所述第一特征图进行叠加，得到所述多尺度特征映射单元的叠加特征图；
所述数据处理模块中通过第一个多尺度特征映射单元提取所述第一卷积层输入的第一特征图的多尺度特征信息，包括：
通过各个并联的同一尺寸的卷积核同时提取所述第一特征图中的像素特征，得到第一特征信息；
将所述第一特征信息输入至所述串联的不同尺寸的卷积核中，得到第二特征信息；
将所述第二特征信息中与所述第一特征信息的输出通道数相同的特征信息进行融合，得到多尺度特征信息；
其中，所述多尺度特征信息的输出通道数为输出通道数相同的所述第一特征信息和所述第二特征信息的输出通道数之和；
并且，所述多尺度特征信息的输出通道数和尺寸大小与所述第一特征图的输入通道数和尺寸大小均保持一致；
图像重建模块，用于利用所述多分辨率上采样反卷积层对各个叠加特征图进行多分辨率上采样，得到多个第二特征图，将所述第二特征图输入到所述多分辨率学习层中，通过所述多分辨率学习层对所述第二特征图进行加权融合，重建出高分辨率的磁共振图像；
将权重的初始值设置为1/N，得到的最终的高分辨率磁共振图像的公式为：
其中，表示超分辨率重建出的最终的高分辨率磁共振图像，/>表示第i个多尺度特征映射单元的叠加特征图经过多分辨率上采样得到的第二特征图，wi表示第y个多尺度特征映射单元对应的第二特征图的贡献度，即/>的权重；
所述神经网络模型的总的损失函数由多尺度特征映射单元的损失以及多分辨率学习层的损失这两部分组成，即
其中，y表示神经网络模型的期望输出，即真实高分辨率图像；当期望重建出的最终的高分辨率磁共振图像更接近于真实高分辨率图像时，也就意味着要让总损失接近于零，因此，需要通过自适应学习的方式，不断地更新总损失的值，这样权重的值也就自动随着总损失的更新而更新，以实现最终的超分辨率重建。
7.一种存储介质，其特征在于：所述存储介质中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至5中任一项所述基于多分辨率学习策略的磁共振图像超分辨率重建方法的步骤。
8.一种计算机设备，其特征在于：所述计算机设备中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至5中任一项所述基于多分辨率学习策略的磁共振图像超分辨率重建方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010650903.XA CN111798377B (zh) | 2020-07-08 | 2020-07-08 | 基于多分辨率学习策略的磁共振图像超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010650903.XA CN111798377B (zh) | 2020-07-08 | 2020-07-08 | 基于多分辨率学习策略的磁共振图像超分辨率重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111798377A CN111798377A (zh) | 2020-10-20 |
| CN111798377B true CN111798377B (zh) | 2023-07-28 |
Family
ID=72810414
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010650903.XA Active CN111798377B (zh) | 2020-07-08 | 2020-07-08 | 基于多分辨率学习策略的磁共振图像超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111798377B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112200725B (zh) * | 2020-10-26 | 2023-11-28 | 深圳大学 | 一种超分辨率重建方法、装置、存储介质及电子设备 |
| CN112801868B (zh) * | 2021-01-04 | 2022-11-11 | 青岛信芯微电子科技股份有限公司 | 图像超分辨率重建的方法、电子设备及存储介质 |
| CN112862913B (zh) * | 2021-01-28 | 2023-06-20 | 首都师范大学 | 一种多尺度带孔密集重建网络及其有限角ct成像方法 |
| CN113191948B (zh) * | 2021-04-22 | 2022-05-03 | 中南民族大学 | 多分辨率特征交叉融合的图像压缩感知重构系统及其方法 |
| CN114283069B (zh) * | 2022-01-17 | 2023-06-23 | 卡乐福医疗科技集团有限公司 | 一种脑部磁共振图像超分辨率重建方法 |
| CN117853502B (zh) * | 2023-12-15 | 2024-06-14 | 北京透彻未来科技有限公司 | 基于多尺度混合分析的病理图像分割模型及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107610194A (zh) * | 2017-08-14 | 2018-01-19 | 成都大学 | 基于多尺度融合cnn的磁共振图像超分辨率重建方法 |
| CN108734660A (zh) * | 2018-05-25 | 2018-11-02 | 上海通途半导体科技有限公司 | 一种基于深度学习的图像超分辨率重建方法及装置 |
| CN110276721A (zh) * | 2019-04-28 | 2019-09-24 | 天津大学 | 基于级联残差卷积神经网络的图像超分辨率重建方法 |
| CN111292240A (zh) * | 2020-01-23 | 2020-06-16 | 上海交通大学 | 一种基于成像模型与机器学习的磁共振超分辨率成像方法 |
-
2020
- 2020-07-08 CN CN202010650903.XA patent/CN111798377B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107610194A (zh) * | 2017-08-14 | 2018-01-19 | 成都大学 | 基于多尺度融合cnn的磁共振图像超分辨率重建方法 |
| CN108734660A (zh) * | 2018-05-25 | 2018-11-02 | 上海通途半导体科技有限公司 | 一种基于深度学习的图像超分辨率重建方法及装置 |
| CN110276721A (zh) * | 2019-04-28 | 2019-09-24 | 天津大学 | 基于级联残差卷积神经网络的图像超分辨率重建方法 |
| CN111292240A (zh) * | 2020-01-23 | 2020-06-16 | 上海交通大学 | 一种基于成像模型与机器学习的磁共振超分辨率成像方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于多尺度图像融合的单幅图像去雾算法;潘磊;郑益军;;计算机工程(第08期);第255页-260页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111798377A (zh) | 2020-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111798377B (zh) | 基于多分辨率学习策略的磁共振图像超分辨率重建方法 | |
| CN110705699B (zh) | 超分辨率重建方法、装置、电子设备和可读存储介质 | |
| CN107123089A (zh) | 基于深度卷积网络的遥感图像超分辨重建方法及系统 | |
| CN111951164B (zh) | 一种图像超分辨率重建网络结构及图像重建效果分析方法 | |
| CN112991227B (zh) | 基于U-net++网络的弱光图像增强方法和装置 | |
| CN113674191B (zh) | 一种基于条件对抗网络的弱光图像增强方法和装置 | |
| CN115564649B (zh) | 一种图像超分辨率重建方法、装置及设备 | |
| CN111932461A (zh) | 一种基于卷积神经网络的自学习图像超分辨率重建方法及系统 | |
| CN113706388B (zh) | 图像超分辨率重建方法及装置 | |
| CN112862689A (zh) | 一种图像超分辨率重建方法及系统 | |
| CN111986092B (zh) | 一种基于双重网络的图像超分辨率重建方法及系统 | |
| CN112602114A (zh) | 图像处理方法及装置、神经网络及训练方法、存储介质 | |
| Rivadeneira et al. | Thermal image super-resolution challenge-pbvs 2021 | |
| CN110084745A (zh) | 基于并联的稠密卷积神经网络的图像超分辨率重建方法 | |
| CN116485934A (zh) | 一种基于CNN和ViT的红外图像彩色化方法 | |
| CN114936977A (zh) | 一种基于通道注意力和跨尺度特征融合的图像去模糊方法 | |
| CN115293968A (zh) | 一种超轻量高效的单图像超分辨率方法 | |
| CN108038840A (zh) | 一种图像处理方法、装置、图像处理设备及存储介质 | |
| CN117078516B (zh) | 基于残差混合注意力的矿井图像超分辨率重建方法 | |
| CN116935045B (zh) | 一种基于混合注意力和多尺度级联的视网膜血管分割方法和系统 | |
| CN112200719B (zh) | 图像处理方法、电子设备及可读存储介质 | |
| CN117333751A (zh) | 一种医学图像融合方法 | |
| CN117475268A (zh) | 一种基于sgdd gan的多模态医学图像融合方法 | |
| CN117237365A (zh) | 一种腰椎ct盘黄间隙检测方法 | |
| CN117011139A (zh) | 基于深度学习的人脸超分辨率图形重建方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240821 Address after: Room 201, Building A, No. 318 Outer Ring West Road, University City, Panyu District, Guangzhou City, Guangdong Province, 510006 Patentee after: Guangzhou University Town (Guangong) Science and Technology Achievement Transformation Center Country or region after: China Address before: No.729, Dongfeng East Road, Yuexiu District, Guangzhou City, Guangdong Province 510060 Patentee before: GUANGDONG University OF TECHNOLOGY Country or region before: China |