CN116029908A - 基于跨模态和跨尺度特征融合的3d磁共振超分辨率方法 - Google Patents
基于跨模态和跨尺度特征融合的3d磁共振超分辨率方法 Download PDFInfo
- Publication number
- CN116029908A CN116029908A CN202310175391.XA CN202310175391A CN116029908A CN 116029908 A CN116029908 A CN 116029908A CN 202310175391 A CN202310175391 A CN 202310175391A CN 116029908 A CN116029908 A CN 116029908A
- Authority
- CN
- China
- Prior art keywords
- resolution
- cross
- feature
- branch network
- modal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 94
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000013508 migration Methods 0.000 claims abstract description 26
- 230000005012 migration Effects 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 6
- 238000000605 extraction Methods 0.000 claims description 77
- 238000005070 sampling Methods 0.000 claims description 23
- 238000006731 degradation reaction Methods 0.000 claims description 20
- 230000015556 catabolic process Effects 0.000 claims description 17
- 230000004913 activation Effects 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 6
- 238000004088 simulation Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- JXSJBGJIGXNWCI-UHFFFAOYSA-N diethyl 2-[(dimethoxyphosphorothioyl)thio]succinate Chemical compound CCOC(=O)CC(SP(=S)(OC)OC)C(=O)OCC JXSJBGJIGXNWCI-UHFFFAOYSA-N 0.000 claims description 3
- 230000002779 inactivation Effects 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 238000004451 qualitative analysis Methods 0.000 abstract description 2
- 238000004445 quantitative analysis Methods 0.000 abstract 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 79
- 230000006870 function Effects 0.000 description 22
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000032612 Glial tumor Diseases 0.000 description 1
- 206010018338 Glioma Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000021615 conjugation Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明属于图像处理的超分辨率技术领域，具体为一种基于跨模态和跨尺度特征融合的3D磁共振超分辨率方法，主要包括：构建多个残差通道注意力块为主干的网络；将高分辨率参考图像梯度信息作为参考分支输入，为主干网络提供高频信息；设计跨尺度特征迁移模块，灵活嵌入主干网络中，捕获特征内全局跨尺度自相似性；利用通道、空间注意力将所有特征图融合，自适应调整高分辨率特征。本发明充分利用了图像自身内部先验信息和跨模态图像的外部先验信息，显著提高超分模型的性能，比其他先进方法取得更好的定量、定性分析。
Description
技术领域
本发明属于图像处理中的超分辨率技术领域，具体涉及基于跨模态和跨尺度特征融合的3D磁共振超分辨率方法。
背景技术
磁共振成像(Magnetic Resonance Imaging，MRI)是多参数无创成像技术，MRI图像质量受信噪比(Signal to Noise Ratio，SNR)、分辨率、扫描时间等因素影响。通常是通过增加扫描层厚来确保一定的SNR要求的同时减少运动伪影，但是会产生低分辨率MRI图像，也会限制分析准确性。
超分辨率(Super Resolution，SR)是一种可以突破硬件限制提升MRI图像空间分辨率的技术。SR主要分为基于插值的SR方法、基于重构的SR方法、基于学习的SR方法。基于插值的SR方法简单高效，但插值后的MRI图像会有明显的块效应、振铃效应与锯齿效应。基于重构的SR方法提取低分辨率图像中的关键信息，并通过先验知识来约束高分辨率图像的的重建过程。基于学习的SR方法是从大量的训练数据中学习高分辨率图像和低分辨率图像之间某种映射关系，并根据学习到的映射关系提高目标低分辨率图像的分辨率。
卷积神经网络(Convolutional Neural Networks，CNNs)在自然图像超分辨率方面取得成功。基于CNN的SR方法可以分为单幅图像超分辨率(Single image super-resolution，SISR)方法和基于参考的超分辨率(Reference-based image super-resolution，RefSR)方法。SISR是通过学习一个端到端映射函数，从低分辨率MRI图像中重建高分辨率MRI图像。图像超分辨率模型(Super Nesolution Convolutional NeuralNetwork，SRCNN)用于提高2D图像超分辨率，随后将SRCNN算法从2D扩展到3D，并将其应用于3D脑部MRI图像的超分辨率任务，再将全局与局部残差跳接思想应用于2D的MRI切片的超分辨率重建中，提出了基于固定跳接的渐进式残差网络结构。
为提高MRI图像的SR网络的表达能力，提出多尺度学习、注意力机制、生成对抗网络和多分支网络等策略。应用3D通道和空间特征注意力来提高SR网络的学习能力对特征进行不同维度的调整，在增强有价值的特征的同时抑制冗余信息。多级并行的卷积和反卷积网络，利用不同分支的特征。深度通道划分模型来对MRI图像切片进行超分辨率，将特征映射划分成不同的分支来构造多分支结构。
RefSR利用额外的高分辨率参考图像，从高分辨率参考图像中提取高频信息，从低分辨率图像重建相应的高分辨率图像。高分辨率参考图像与低分辨率图像通常由同一场景不同角度或视频的不同序列获得。MRI图像是一种多参数的成像方式，且不同的成像参数所需的成像时间不同，将成像时间短的模态图像作为参考图像，来为成像时间长的模态图像的超分辨率提供高频信息。
现有基于CNNs的SR方法对于如何充分挖掘MRI图像自身内部先验信息和跨模态MRI图像的外部先验信息仍有所欠缺。
发明内容
本发明为克服上述现有技术的不足，提供了一种基于跨模态和跨尺度特征融合的3D磁共振超分辨率方法，能够充分挖掘跨模态MRI图像的外部先验信息和MRI图像内部先验信息用于图像超分辨率重建。
本发明技术方案如下：基于跨模态和跨尺度特征融合的3D磁共振超分辨率方法，其特征在于，操作如下：将低分辨率MRI图像输入训练好的基于跨模态和跨尺度特征融合的超分辨率网络模型，得到相应的超分辨率MRI图像；
所述基于跨模态和跨尺度特征融合的超分辨率网络模型的构建包括以下步骤：
S1:构建基于跨模态和跨尺度特征融合的超分辨率网络模型；
所述超分辨率网络模型包括跨模态参考分支网络和主分支网络；
所述跨模态参考分支网络包括跨模态参考分支网络参考图像梯度图提取模块和跨模态参考分支网络参考图像特征提取模块；
主分支网络包括主分支网络浅层特征提取模块、主分支网络深度特征提取模块、主分支网络上采样和特征融合模块(Upsampling and Feature Fusion，UFF)、主分支网络图像重建模块、主分支网络高分辨率图像输出模块；
S2:从公开数据集中获取目标模态和参考模态高分辨率MRI图像；
其中，公开数据集中以T1W作为目标模态高分辨率MRI图像，以T2W和FLAIR作为参考模态高分辨率参考图像；
S3:对目标模态高分辨率MRI图像数据进行模拟退化预处理，得目标模态低分辨率MRI图像数据；
S4:将参考模态高分辨率MRI图像输入跨模态参考分支网络参考图像梯度图提取模块，获得参考模态MRI图像的梯度图；
结合3D卷积层和激活函数构建特征提取模块；将特征提取模块加入跨模态参考分支网络中作为跨模态参考分支网络特征提取模块；
S5:将S4得到的梯度图输入参考分支网络特征提取模块，捕捉参考高分辨率图像的结构化依赖性和空间关系，并输出参考模态MRI图像特征；
将特征提取模块加入主分支网络中作为主分支网络浅层特征提取模块；
S6:将S3得到的目标模态低分辨率MRI图像数据输入主分支网络浅层特征提取模块中提取目标模态低分辨率MRI图像浅层特征；
S7:将S6提取的浅层特征输入主分支网络深度特征提取模块，得到多层次深度特征；
其中，将多个残差通道注意力块(Residual Channel Attention Block，RCA)堆叠作为主干，跨尺度特征迁移模块(Plug-in Mutual-Projection Feature Enhancement，PMFE)灵活嵌入RCA块之间，组成主分支网络深度特征提取模块；
S8:将S5输出的参考模态MRI图像特征、PMFE模块输出的目标尺度特征和S7得到的多层次深度特征输入主分支网络上采样和特征融合模块，自适应调整、融合来自不同分支的特征获得融合特征；
S9：将S8获得的融合特征和S3获得的目标模态低分辨率MRI图像输入主分支网络图像重建模块，得到重建的高分辨率图像；
S10:设置损失函数，对基于跨模态和跨尺度特征融合的超分辨率网络模型进行迭代训练；
S11:重复S4-S10，直至模型收敛，得到训练好的基于跨模态和跨尺度特征融合的超分辨率网络模型。
作为优选，所述跨模态参考分支网络参考图像梯度图提取模块的输出端与跨模态参考分支网络参考图像特征提取模块连接，跨模态参考分支网络参考图像特征提取模块输出端分别与跨尺度特征迁移模块和主分支网络上采样和特征融合模块连接；
所述主分支网络浅层特征提取模块输出端与主分支网络深度特征提取模块连接，跨模态参考分支网络参考图像特征提取模块输出端、主分支网络深度特征提取模块输出端和跨尺度特征迁移模块输出端与主分支网络上采样和特征融合模块连接，主分支网络上采样和特征融合模块输出端与主分支网络图像重建模块连接，主分支网络图像重建模块输出端与主分支网络高分辨率图像输出模块连接。
作为优选，步骤S3对目标模态高分辨率MRI图像数据进行模拟退化预处理，得到目标模态低分辨率图像数据，具体做法为：采用基于图像空间的模拟退化方式与基于频域的模拟退化方式来模拟目标模态高分辨率MRI图像的退化过程；其中，在基于图像空间的模拟退化中采用高斯模糊和双三次下采样(Cubic Downsampling)获得低分辨率MRI图像；在基于频域的模拟退化方式将目标模态高分辨率MRI图像经过傅里叶变换至频域，根据超分辨率重建系数对频域数据的边缘部分进行截断处理，并用零填充的方式对截断的部分进行填充，随后对填充过的频域数据进行傅里叶逆变换，将其转化至图像空间，对MRI图像进行空间下采样生成最终的低分辨率MRI图像。
作为优选，步骤S4将参考模态高分辨率MRI图像输入跨模态参考分支网络参考图像梯度图提取模块中，获得参考模态MRI图像的梯度图，具体做法为：使用了一个卷积层来实现梯度图提取的操作，其中，梯度的提取操作的表达公式如下：
GH(IRef)＝IRef(H+1，W，L)-IRef(H-1，W，L)，
Gww(IRef)＝IRef(H，W+1，L)-IRef(H，W-1，L)，
GL(IRef)＝IRef(H，W，L+1)-IRef(H，W，L-1)，
式中，IRef代表参考模态高分辨率MRI图像，H代表高度，W代表宽度，L表长度，GH(·)、Gw(·)、GL(·)代表在对应方向上提取梯度的操作；
代表获得具有梯度强度和梯度方向的梯度信息的操作，GI(·)代表提取仅包含梯度强度信息的梯度图的操作，||·||2代表求梯度强度平方和的平方根的操作。
作为优选，步骤S5中利用3D卷积层和激活函数结合构建特征提取模块的具体做法为：选用渗漏修正线性单元(Leaky Rectified Linear Unit，LReLU)作为激活函数，其中，ReLU会将负数输入映射为0不同，LReLU会将负数输入乘以一个极小的权重，权重的取值范围为0.001-0.01，使其输出极小的负数，而防止负数全输出0造成的神经元失活的问题。
作为优选，步骤S6将S3得到的目标模态低分辨率MRI图像数据输入主分支网络浅层特征提取模块中提取目标模态低分辨率MRI图像浅层特征，具体做法为：激活函数选用LReLU，则浅层特征提取过程表示为：
X0＝FConv(ILR)，
式中，X0代表目标模态低分辨率MRI图像浅层特征，ILR为目标模态低分辨率图像，FConv(·)代表提取目标模态低分辨率MRI图像浅层特征的操作。
作为优选，步骤S7中，将S6提取的浅层特征输入主分支网络深度特征提取模块，得到多层次深度特征，具体做法为：将M(10≤M≤15)个RCA块堆叠作为主干，PMEF模块灵活嵌入RCA块之间处理得具有高分辨率细节的主分支网络输出目标尺度特征和相应的低分辨率尺度特征，将M个RCA模块输出特征、PMFE模块输出低分辨率尺度特征融合得到多层次深度特征；
将PMEF模块嵌入第m(1≤m≤M-1)个和第m+1个RCA块之间处理得到特征的具体做法为：将第m个的RCA模块输出特征Xm(Xm中下标m对应第m个RCA块)输入PMEF模块，探索MRI图像不同尺度特征的全局自相似性先验信息，得到具有丰富高分辨率细节的特征Ym(Ym中下标m对应第m个RCA块)；将Ym和Xm融合得具有高分辨率细节的主分支网络输出目标尺度特征Y′m，将Y′m和参考模态MRI图像特征IRef融合得低分辨率尺度特征X′m，其中，将特征信息Xm输入PMFE模块，以步长s(1≤s≤3)进行下采样得下采样特征
将Xm、
进行卷积操作得Q、K(Q全称Query，代表查询；K全称Key，代表被查询信息与其他信息的相关性的向量；)，分别以步长为g(1≤g≤3)和块大小p(1≤p≤3)对Q、K进行切块得q(Q切出的若干个块，第i个块称为qi)、k(K切出的若干个块，第j个块称为kj)，计算每个q、k之间的相似性权重，来探索Q和K的全局跨尺度依赖关系，计算公式如下：
式中，<·，·>代表内积操作，qi代表第i个q块，kj代表第j个k块，wi，j代表第i个q块、第j个k块之间的相似度权重，exp(·)代表以自然常数e为底的指数函数；
对Xm进行卷积操作得到V，以步长s×g和块大小q(1≤q≤3)进行切块得v(V切出的若干个块，第j个块称为vj)，与相似度权重进行卷积操作，计算公式如下：
式中，vj代表第j个v块，wi，j代表第i个q块、第j个k块之间的相似度权重，v′i代表第i个通过注意力操作后得到的高分辨率补丁，
代表元素级乘法操作；
所有通过注意力操作后得到的高分辨率补丁融合后得到具有丰富高分辨率细节的特征Ym；将Ym和Xm融合得具有高分辨率细节的主分支网络输出目标尺度特征Y′m，将Y′m和参考模态MRI图像特征IRef融合得低分辨率尺度特征X′m，具体公式如下：
Y′m＝Fup(Xm)+Ym，
X′m＝Fdown(Y′m+XRef)，
[X′m，Y′m]＝FPMFE([Xm，IRef])，
式中，m代表第m个RCA模块，Xm代表第m个RCA模块输出特征，Ym代表具有丰富高分辨率细节的特征，Y′m和X′m代表具有高分辨率细节的主分支网络输出目标尺度特征和相应的低分辨率尺度特征，Fup(·)为步长为s(1≤s≤3)的反卷积上采样操作，Fdown(·)为步长为s(1≤s≤3)的卷积下采样操作，FPMFE(·)为PMFE模块函数；
将M个RCA模块输出特征、PMFE模块输出低分辨率尺度特征连接得到多层次深度特征的具体做法为：将PMFE模块输出低分辨率尺度特征X′m作为第m+1个RCA块的输入得到Xm+1，再将M个RCA模块输出特征和X′m沿着通道方向拼接得到多层次深度特征Xc(下标c代表Concatenation)。
作为优选，步骤S8中步骤S8中将S5输出的参考模态MRI图像特征、跨尺度特征迁移模块的目标尺度特征和S7得到的多层次深度特征输入主分支网络上采样和特征融合模块，自适应调整、融合来自不同分支的特征获得融合特征的具体做法为：将参考模态MRI图像特征信息IRef、PMFE模块输出Y′m和多层次深度特征Xc融合得初步融合特征Ya(下标a代表addition)；其中，IRef和Y′m的尺度与目标尺度相同，将与目标模态低分辨率MRI图像尺度相同的多层次深度特征Xc用3D亚像素卷积层(sub-pixel convolution layer)进行上采样得到目标尺度的上采样特征；特征Ya通过空间注意力(spatial attention，SA)得到特征特征YSA(下标SA代表spatial attention)；特征通过通道注意力(channel attention，CA)得到特征YCA(下标CA代表channel attention)；沿着通道方向将特征YSA和特征YCA拼接并经过卷积操作后得融合特征Yf(下标f表示fusion)，计算公式如下：
Yf＝FNConv([YCA，YSA])，
式中，Yf是融合特征，[YCA，YSA]是特征YSA和特征YcA拼接的过程，FNconv(·)为无激活函数的卷积操作。
作为优选，步步骤S9将S8获得的融合特征和S3获得的目标模态低分辨率MRI图像输入主分支网络图像重建模块，得到重建的高分辨率图像的具体做法为：将目标模态低分辨率图像进行上采样得目标模态低分辨率图像上采样特征
(下标LR代表目标模态低分辨率图像)并与融合特征Yf融合得重建的高分辨率图像，计算公式如下：
式中，SR代表超分辨率，LR代表低分辨率，ISR代表重建的高分辨率图像，Yf代表融合特征，
代表目标模态低分辨率图像上采样特征。
作为优选，步骤S10中设置损失函数，对跨模态和跨尺度特征融合超分辨率网络模型进行迭代训练的具体做法为：超分辨率网络模型进行迭代训练，反复迭代到网络模型收敛，选择具有正则项的平均绝对误差(Mean Absolute Error，MAE)作为损失函数，其表达公式如下：
式中，F(·)代表ILR和IHR之间的映射函数，LR即低分辨；HR代高分辨率，N代表训练数据量。
本发明提供的3D磁共振超分辨率方法其特点如下：本发明设计了基于跨模态和跨尺度特征融合的3D磁共振超分辨率方法，具体来说，构建多个残差通道注意力块为主干的网络；将高分辨率参考图像梯度信息作为参考分支输入，为主干网络提供高频信息；设计跨尺度特征迁移模块，灵活嵌入主干网络中，捕获特征内全局跨尺度自相似性；利用通道、空间注意力将所有特征图融合，自适应调整高分辨率特征，可充分利用参考模态高分辨率MRI图像的跨模态自相似性先验信息和目标模态低分辨率MRI图像全局跨尺度自相似先验信息。
与现有技术相比，本发明具有以下有益效果：本发明提供了基于跨模态和跨尺度特征融合的3D磁共振超分辨率方法，通过自适应调整、融合参考模态高分辨率MRI图像的跨模态自相似性先验信息和目标模态低分辨率MRI图像全局跨尺度自相似先验信息，为重建高分辨率图像提供了丰富的高分辨率细节。
附图说明
图1为本发明所述方法的流程示意图；
图2为本发明所述方法构建超分辨率网络模型的结构图；
图3为主分支跨尺度特征迁移模块的结构图；
图4为主分支网络上采样和特征融合模块的结构图；
图5为本发明所述方法与其他方案的超分辨率定性分析结果。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的；
下面结合附图和实施例对本发明的技术方案做进一步的说明。
具体而言，基于跨模态和跨尺度特征融合的3D磁共振超分辨率方法的流程图如附录图1所示，基于跨模态和跨尺度特征融合网络模型的结构图如附录图2所示。以下实施例在NVIDIA 3090GPU上，用PyTorch进行实验，重建尺度设为2。
实施例1
S1：构建基于跨模态和跨尺度特征融合的超分辨率网络模型；
具体的，如附录图2所示，所述的基于跨模态和跨尺度特征融合的超分辨率网络模型包括跨模态参考分支网络和主分支网络。
跨模态参考分支网络包括跨模态参考分支网络参考图像梯度图提取模块、跨模态参考分支网络参考图像特征提取模块；跨模态参考分支网络参考图像梯度图提取模块的输出端与跨模态参考分支网络参考图像特征提取模块连接，跨模态参考分支网络参考图像特征提取模块输出端分别与跨尺度特征迁移模块和主分支网络上采样和特征融合模块连接。
主分支网络包括主分支网络浅层特征提取模块、主分支网络深度特征提取模块、主分支网络上采样和特征融合模块、主分支网络图像重建模块、主分支网络高分辨率图像输出模块。主分支网络浅层特征提取模块输出端与主分支网络深度特征提取模块连接，跨模态参考分支网络参考图像特征提取模块输出端、主分支网络深度特征提取模块输出端和跨尺度特征迁移模块输出端与主分支网络上采样和特征融合模块连接，主分支网络上采样和特征融合模块输出端与主分支网络图像重建模块连接，主分支网络图像重建模块输出端与主分支网络高分辨率图像输出模块连接；
其中，将多RCA块堆叠作为主干，跨尺度特征迁移模块灵活嵌入RCA块之间，组成主分支网络深度特征提取模块；
S2:从公开数据集中获取目标模态和参考模态高分辨率MRI图像；
具体的，本发明选择由Kennedy Krieger研究所F.M.Kirby功能性脑成像中心提供Kirby21 dataset(KKI06-KKI42)作为MRI图像数据，其中，以T1W作为目标模态低分辨率图像，以T2W和FLAIR作为参考模态高分辨率参考图像；
S3:对目标模态高分辨率MRI图像数据进行模拟退化预处理，得目标模态低分辨率MRI图像数据；
具体的，采用基于图像空间的模拟退化方式来模拟目标模态高分辨率MRI图像的退化过程；其中，在基于图像空间的模拟退化中采用高斯模糊和双三次下采样(CubicDownsampling)获得低分辨率MRI图像；
更具体的，对于训练数据集，从低分辨率MRI图像以步幅为13裁出26×26×26的低分辨率块，用Cubic方法将T1W低分辨率图像插值到和高分辨率图像相同大小，应用MATLAB2017的‘imregister’函数将T1W低分辨率图像与参考模态MRI图像进行配准。
S4：将参考模态高分辨率MRI图像输入跨模态参考分支网络参考图像梯度图提取模块，获得参考模态MRI图像的梯度图；
结合3D卷积层和激活函数构建特征提取模块；
将特征提取模块加入跨模态参考分支网络中作为跨模态参考分支网络特征提取模块；
具体的，选用渗漏修正线性单元LReLU作为激活函数，其中，ReLU会将负数输入映射为0不同，LReLU会将负数输入乘以一个极小的权重(0.001-0.01)，使其输出极小的负数，而防止负数全输出0造成的神经元失活的问题。
更具体的，获得高度、宽度和长度三个方向上的梯度，通过求梯度平方和的平方根的操作求得参考模态MRI图像的梯度图，使用了一个具有48个通道，卷积核大小为3×3×3卷积层获得参考模态MRI图像特征，具体公式如下：
GH(IRef)＝IRef(H+1，W，L)-IRef(H-1，W，L)，
Gww(IRef)＝IRef(H，W+1，L)-IRef(H，W-1，L)，
GL(IRef)＝IRef(H，W，L+1)-IRef(H，W，L-1)，
式中，IRef代表参考模态高分辨率MRI图像，H代表高度，W代表宽度，L表长度，GH(·)、Gw(·)、GL(·)代表在对应方向上提取梯度的操作；
代表获得具有梯度强度和梯度方向的梯度信息的操作，GI(·)代表提取仅包含梯度强度信息的梯度图的操作，||·||2代表求梯度强度平方和的平方根的操作。
S5：将S4得到的梯度图输入参考分支网络特征提取模块，捕捉参考高分辨率图像的结构化依赖性和空间关系，并输出参考模态MRI图像特征；
S6：将S3得到的目标模态低分辨率MRI图像数据输入主分支网络浅层特征提取模块中提取目标模态低分辨率MRI图像浅层特征；
具体的，利用3D卷积层和LReLU激活函数结合构建特征提取模块，则浅层特征提取过程表示为：
X0＝FConv(ILR)，
式中，X0代表目标模态低分辨率MRI图像浅层特征，ILR为目标模态低分辨率图像，FConv(·)代表具有48个通道，卷积核大小为3×3×3的卷积层实现卷积操作。
S7：将S6提取的浅层特征输入主分支网络深度特征提取模块，得到多层次深度特征；
具体的，将10个RCA块堆叠作为主干，PMEF模块灵活嵌入第5个和第6个RCA块之间处理得具有高分辨率细节的主分支网络输出目标尺度特征和相应的低分辨率尺度特征，将10个RCA模块输出特征、PMFE模块输出低分辨率尺度特征融合得到多层次深度特征；
更具体的，将第5个的RCA模块输出特征X5输入PMEF模块，以步长2进行下采样得下采样特征
将X5、
进行卷积操作得Q、K(Q全称Query，代表查询；K全称Key，代表被查询信息与其他信息的相关性的向量；)，分别以步长为2和块大小3对Q、K进行切块得q(Q切出的若干个块，第i个块称为qi)、k(K切出的若干个块，第j个块称为kj)，计算每个q、k之间的相似性权重，来探索Q和K的全局跨尺度依赖关系，计算公式如下：
式中，<·，·>代表内积操作，qi代表第i个q块，kj代表第j个k块，wi，j代表第i个q块、第j个k块之间的相似度权重，exp(·)代表以自然常数e为底的指数函数；
对X5进行卷积操作得到V，展开为步长为4的补丁，以步长4和块大小3进行切块得v(V切出的若干个块，第j个块称为vj)，与相似度权重进行卷积操作，计算公式如下：
式中，vj代表第j个V块，wi，j代表第i个q块、第j个k块之间的相似度权重，v′i代表第i个通过注意力操作后得到的高分辨率补丁，
代表元素级乘法操作；
所有通过注意力操作后得到的高分辨率补丁融合后得到具有丰富高分辨率细节的特征Y5；将Y5和X5融合得具有高分辨率细节的主分支网络输出目标尺度特征Y′5，将Y′5和参考模态MRI图像特征IRef融合得低分辨率尺度特征X′5，具体公式如下：
Y′5＝Fup(X5)+Y5，
X′5＝Fdown(Y′5+XRef)，
[X′5，Yq′5]＝FPMFE([X5，IRef])，
式中，5代表第5个RCA模块，X5代表第5个RCA模块输出特征，Y5代表具有丰富高分辨率细节的特征，Y′5和X′5代表具有高分辨率细节的主分支网络输出目标尺度特征和相应的低分辨率尺度特征，Fup(·)为步幅为2的反卷积上采样操作，Fdown(·)为步幅为2的卷积下采样操作，FPMFE(·)为PMFE模块函数；
更具体的，将PMFE模块输出低分辨率尺度特征X′5作为第6块RCA块的输入得到X6，再将10个RCA模块输出特征和X′5沿着通道方向拼接得到多层次深度特征Xc。
S8：将S5输出的参考模态MRI图像特征、PMFE模块输出的目标尺度特征和S7得到的多层次深度特征输入主分支网络上采样和特征融合模块，自适应调整、融合来自不同分支的特征获得融合特征；
具体的，将参考模态MRI图像特征信息IRef、PMFE模块输出Y′5和多层次深度特征Xc融合得初步融合特征Ya(下标a代表addition)；其中，IRef和Y′m的尺度与目标尺度相同，将与目标模态低分辨率MRI图像尺度相同的多层次深度特征Xc用具有48个通道，卷积核大小为3×3×3的3D亚像素卷积层(sub-pixel convolution layer)进行上采样得到目标尺度的上采样特征；特征Ya通过空间注意力(spatial attention，SA)得到特征特征YSA(下标SA代表spatial attention)；特征通过通道注意力(channel attention，CA)得到特征YCA(下标CA代表channel attention)；沿着通道方向将特征YSA和特征YCA拼接并经过卷积操作后得融合特征Yf(下标f表示fusion)，计算公式如下：
Yf＝FConv([YCA，YSA])，
式中，Yf是融合特征，[YCA，YSA]是特征YSA和特征YCA拼接的过程，FConv(·)为无激活函数，具有48个通道卷，积核大小为3×3×3的卷积层；
S9：将S8获得的融合特征和S3获得的目标模态低分辨率MRI图像输入主分支网络图像重建模块，得到重建的高分辨率图像；
具体的，将目标模态低分辨率图像进行上采样得目标模态低分辨率图像上采样特征
并与融合特征Yf融合得重建的高分辨率图像，计算公式如下：
式中，SR代表超分辨率，LR代表低分辨率，ISR代表重建的高分辨率图像，Yf代表融合特征，
代表目标模态低分辨率图像上采样特征。
S10：设置损失函数，对基于跨模态和跨尺度特征融合的超分辨率网络模型进行迭代训练；
具体的，选择具有正则项的平均绝对误差(Mean Absolute Error，MAE)作为损失函数，其表达公式如下：
式中，F(·)代表ILR和IHR之间的映射函数，θ是参数，N是训练数据量，在本实例中为17982，正则化项的超参数λ设为1e-6。
更具体的，批处理大小(batch size)设置为16，学习率设为10，训练100epochs，使用Adam优化器来训练参考超分辨率网络。
S11：重复S4-S10，直至模型收敛，得到训练好的基于跨模态和跨尺度特征融合的超分辨率网络模型；
S12：将低分辨率MRI图像输入训练好的基于跨模态和跨尺度特征融合的网络模型，得到相应的超分辨率MRI图像。
本发明在空间域退化下，分别在PSNR、SSIM上定量分析对比了基于跨模态和跨尺度特征融合的3D磁共振超分辨率方法和其他方法的性能，详见表1。
图5为本发明在空间域退化下的基于跨模态和跨尺度特征融合的3D磁共振超分辨率方法与其他方案的超分辨率定性分析结果，图上对比可以看到本发明所提出的方法能够保持更多的解剖内容的细节，可以更好地恢复胶质瘤部分，消除模糊边缘(红色箭头所示)，产生与真相图像最相似的视觉效果。
表1
PSNR、SSIM的指标越高表明图像质量越好。由表1中结果可知，本发明提出的方法在数据集中取得效果最好。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内；在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.基于跨模态和跨尺度特征融合的3D磁共振超分辨率方法，其特征在于，操作如下：将低分辨率MRI图像输入训练好的基于跨模态和跨尺度特征融合的超分辨率网络模型，得到相应的超分辨率MRI图像；
所述基于跨模态和跨尺度特征融合的超分辨率网络模型的构建包括以下步骤：
S1:构建基于跨模态和跨尺度特征融合的超分辨率网络模型；
所述超分辨率网络模型包括跨模态参考分支网络和主分支网络；
所述跨模态参考分支网络包括跨模态参考分支网络参考图像梯度图提取模块和跨模态参考分支网络参考图像特征提取模块；
主分支网络包括主分支网络浅层特征提取模块、主分支网络深度特征提取模块、主分支网络上采样和特征融合模块、主分支网络图像重建模块、主分支网络高分辨率图像输出模块；
S2:从公开数据集中获取目标模态和参考模态高分辨率MRI图像；
其中，公开数据集中以T1W作为目标模态高分辨率MRI图像，以T2W和FLAIR作为参考模态高分辨率参考图像；
S3:对目标模态高分辨率MRI图像数据进行模拟退化预处理，得目标模态低分辨率MRI图像数据；
S4:将参考模态高分辨率MRI图像输入跨模态参考分支网络参考图像梯度图提取模块，获得参考模态MRI图像的梯度图；
结合3D卷积层和激活函数构建特征提取模块；将特征提取模块加入跨模态参考分支网络中作为跨模态参考分支网络特征提取模块；
S5:将S4得到的梯度图输入参考分支网络特征提取模块，捕捉参考高分辨率图像的结构化依赖性和空间关系，并输出参考模态MRI图像特征；
将特征提取模块加入主分支网络中作为主分支网络浅层特征提取模块；
S6:将S3得到的目标模态低分辨率MRI图像数据输入主分支网络浅层特征提取模块中提取目标模态低分辨率MRI图像浅层特征；
S7:将S6提取的浅层特征输入主分支网络深度特征提取模块，得到多层次深度特征；
其中，将多个残差通道注意力块堆叠作为主干，跨尺度特征迁移模块灵活嵌入残差通道注意力块块之间，组成主分支网络深度特征提取模块；
S8:将S5输出的参考模态MRI图像特征、跨尺度特征迁移模块输出的目标尺度特征和S7得到的多层次深度特征输入主分支网络上采样和特征融合模块，自适应调整、融合来自不同分支的特征获得融合特征；
S9：将S8获得的融合特征和S3获得的目标模态低分辨率MRI图像输入主分支网络图像重建模块，得到重建的高分辨率图像；
S10:设置损失函数，对基于跨模态和跨尺度特征融合的超分辨率网络模型进行迭代训练；
S11:重复S4-S10，直至模型收敛，得到训练好的基于跨模态和跨尺度特征融合的超分辨率网络模型。
2.根据权利要求1所述的基于跨模态和跨尺度特征融合的3D磁共振超分辨率方法，其特征在于，所述跨模态参考分支网络参考图像梯度图提取模块的输出端与跨模态参考分支网络参考图像特征提取模块连接，跨模态参考分支网络参考图像特征提取模块输出端分别与跨尺度特征迁移模块和主分支网络上采样和特征融合模块连接；
所述主分支网络浅层特征提取模块输出端与主分支网络深度特征提取模块连接，跨模态参考分支网络参考图像特征提取模块输出端、主分支网络深度特征提取模块输出端和跨尺度特征迁移模块输出端与主分支网络上采样和特征融合模块连接，主分支网络上采样和特征融合模块输出端与主分支网络图像重建模块连接，主分支网络图像重建模块输出端与主分支网络高分辨率图像输出模块连接。
3.根据权利要求1所述的基于跨模态和跨尺度特征融合的3D磁共振超分辨率方法，其特征在于，步骤S3对目标模态高分辨率MRI图像数据进行模拟退化预处理，得目标模态低分辨率MRI图像数据，具体做法为：采用基于图像空间的模拟退化方式与基于频域的模拟退化方式来模拟目标模态高分辨率MRI图像的退化过程；其中，在基于图像空间的模拟退化中采用高斯模糊和双三次下采样获得低分辨率MRI图像数据；在基于频域的模拟退化方式将目标模态高分辨率MRI图像经过傅里叶变换至频域，根据超分辨率重建系数对频域数据的边缘部分进行截断处理，并用零填充的方式对截断的部分进行填充,随后对填充过的频域数据进行傅里叶逆变换，将其转化至图像空间,对MRI图像进行空间下采样生成最终的低分辨率MRI图像数据。
4.根据权利要求1所述的基于跨模态和跨尺度特征融合的3D磁共振超分辨率方法，其特征在于，步骤S4将参考模态高分辨率MRI图像输入跨模态参考分支网络参考图像梯度图提取模块中，获得参考模态MRI图像的梯度图，具体做法为：使用了一个卷积层来实现梯度图提取的操作，其中，梯度的提取操作的表达公式如下：
GH(IRef)＝IRef(H+1，W，L)-IRef(H-1，W，L)，
Gw(IRef)＝IRef(H，W+1，L)-IRef(H，W-1，L)，
GL(IRef)＝IRef(H，W，L+1)-IRef(H，W，L-1)，
式中，IRef代表参考模态高分辨率MRI图像，H代表高度，W代表宽度，L表长度，GH(·)、GW(·)、GL(·)代表在对应方向上提取梯度的操作；
代表获得具有梯度强度和梯度方向的梯度信息的操作，GI(·)代表提取仅包含梯度强度信息的梯度图的操作，||·||2代表求梯度强度平方和的平方根的操作。
5.根据权利要求1所述的基于跨模态和跨尺度特征融合的3D磁共振超分辨率方法，其特征在于，步骤S5中利用3D卷积层和激活函数结合构建特征提取模块的具体做法为：选用渗漏修正线性单元LReLU作为激活函数，其中，ReLU会将负数输入映射为0不同，LReLU会将负数输入乘以一个权重，权重的取值范围为0.001-0.01，使其输出极小的负数，而防止负数全输出0造成的神经元失活的问题。
6.根据权利要求1所述的基于跨模态和跨尺度特征融合的3D磁共振超分辨率方法，其特征在于，步骤S6将S3得到的目标模态低分辨率MRI图像数据输入主分支网络浅层特征提取模块中提取目标模态低分辨率MRI图像浅层特征，具体做法为：激活函数选用LReLU，则浅层特征提取过程表示为：
X0＝FConv(ILR),
式中，X0代表目标模态低分辨率MRI图像浅层特征，ILR为目标模态低分辨率MRI图像，FConv(·)代表提取目标模态低分辨率MRI图像浅层特征的操作。
7.根据权利要求1所述的基于跨模态和跨尺度特征融合的3D磁共振超分辨率方法，其特征在于，步骤S7中，将S6提取的浅层特征输入主分支网络深度特征提取模块，得到多层次深度特征，具体做法为：将M个残差通道注意力块堆叠作为主干，10≤M≤15，跨尺度特征迁移模块灵活嵌入残差通道注意力块之间处理得具有高分辨率细节的主分支网络输出目标尺度特征和相应的低分辨率尺度特征，将M个残差通道注意力块输出特征、跨尺度特征迁移模块输出低分辨率尺度特征融合得到多层次深度特征；
将跨尺度特征迁移模块嵌入第m个和第m+1个残差通道注意力块之间处理得到特征的具体做法为：将第m个的残差通道注意力块输出特征Xm输入跨尺度特征迁移模块，探索MRI图像不同尺度特征的全局自相似性先验信息，得到具有丰富高分辨率细节的特征Ym；将Ym和Xm融合得具有高分辨率细节的主分支网络输出目标尺度特征Y′m，将Y′m和参考模态MRI图像特征IRef融合得低分辨率尺度特征X′m，其中，将特征信息Xm输入跨尺度特征迁移模块，以步长s进行下采样得下采样特征
1≤s≤3；将Xm、
进行卷积操作得Q、K，分别以步长为g和块大小p,对Q、K进行切块得q、k，1≤g≤3，1≤p≤3，计算每个q、k之间的相似性权重，来探索Q和K的全局跨尺度依赖关系，计算公式如下：
式中，<·，·>代表内积操作，qi代表第i个q块，kj代表第j个k块，wi，j代表第i个q块、第j个k块之间的相似度权重，exp(·)代表以自然常数e为底的指数函数；
对Xm进行卷积操作得到V,以步长s×g和块大小q进行切块得v,与相似度权重进行卷积操作，计算公式如下：
式中，vj代表第j个v块，wi，j代表第i个q块、第j个k块之间的相似度权重，v′i代表第i个通过注意力操作后得到的高分辨率补丁，
代表元素级乘法操作；
所有通过注意力操作后得到的高分辨率补丁融合后得到具有丰富高分辨率细节的特征Ym,将Ym和Xm融合得具有高分辨率细节的主分支网络输出目标尺度特征Y′m，将Y′m和参考模态MRI图像特征IRef融合得低分辨率尺度特征X′m，具体公式如下：
Y′m＝Fup(Xm)+Ym,
X′m＝Fdown(Y′m+XRef)，
[X′m，Y′m]＝FPMFE([Xm，IRef])，
式中，m代表第m个残差通道注意力块，Xm代表第m个残差通道注意力块输出特征，Ym代表具有丰富高分辨率细节的特征，Y′m和X′m代表具有高分辨率细节的主分支网络输出目标尺度特征和相应的低分辨率尺度特征，Fup(·)为步长为s的反卷积上采样操作，Fdown(·)为步长为s的卷积下采样操作，FPMFE(·)为跨尺度特征迁移模块函数；
将M个残差通道注意力块输出特征、跨尺度特征迁移模块输出的低分辨率尺度特征连接得到多层次深度特征的具体做法为：将跨尺度特征迁移模块输出低分辨率尺度特征X′m作为第m+1个残差通道注意力块的输入得到Xm+1，再将M个残差通道注意力块输出特征和X′m沿着通道方向拼接得到多层次深度特征Xc。
8.根据权利要求6所述的基于跨模态和跨尺度特征融合的3D磁共振超分辨率方法，其特征在于，步骤S8中将S5输出的参考模态MRI图像特征、跨尺度特征迁移模块的目标尺度特征和S7得到的多层次深度特征输入主分支网络上采样和特征融合模块，自适应调整、融合来自不同分支的特征获得融合特征的具体做法为：将参考模态MRI图像特征信息IRef、跨尺度特征迁移模块的目标尺度特征Y′m和多层次深度特征Xc融合得初步融合特征Ya；其中，IRef和Y′m的尺度与目标尺度相同，将与目标模态低分辨率MRI图像尺度相同的多层次深度特征Xc用3D亚像素卷积层进行上采样得到目标尺度上采样特征；特征Ya通过空间注意力得到特征特征YSA；特征通过通道注意力得到特征YCA；沿着通道方向将特征YSA和特征YCA拼接并经过卷积操作后得融合特征Yf，计算公式如下：
Yf＝FNConv([YCA，YSA])，
式中，Yf是融合特征，[YCA，YSA]是特征YSA和特征YCA拼接的过程，FNConv(·)为无激活函数的卷积操作。
9.根据权利要求1所述的基于跨模态和跨尺度特征融合的3D磁共振超分辨率方法，其特征在于，步骤S9将S8获得的融合特征和S3获得的目标模态低分辨率MRI图像输入主分支网络图像重建模块，得到重建的高分辨率图像的具体做法为：将目标模态低分辨率图像进行上采样得目标模态低分辨率图像上采样特征
并与融合特征Yf融合得重建的高分辨率图像，计算公式如下：
式中，SR代表超分辨率，LR代表低分辨率，ISR代表重建的高分辨率图像，Yf代表融合特征，
代表目标模态低分辨率图像上采样特征。
10.根据权利要求1所述的基于跨模态和跨尺度特征融合的3D磁共振超分辨率方法，其特征在于，步骤S10中设置损失函数，对基于跨模态和跨尺度特征融合的超分辨率网络模型进行迭代训练的具体做法为：超分辨率网络模型进行迭代训练，反复迭代到网络模型收敛，选择有正则项的平均绝对误差MAE作为损失函数，其表达公式如下：
式中，F(·)代表ILR和IHR之间的映射函数，LR即低分辨率，HR代高分辨率，N代表训练数据量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310175391.XA CN116029908A (zh) | 2023-02-28 | 2023-02-28 | 基于跨模态和跨尺度特征融合的3d磁共振超分辨率方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310175391.XA CN116029908A (zh) | 2023-02-28 | 2023-02-28 | 基于跨模态和跨尺度特征融合的3d磁共振超分辨率方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116029908A true CN116029908A (zh) | 2023-04-28 |
Family
ID=86081269
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310175391.XA Pending CN116029908A (zh) | 2023-02-28 | 2023-02-28 | 基于跨模态和跨尺度特征融合的3d磁共振超分辨率方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116029908A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116630639A (zh) * | 2023-07-20 | 2023-08-22 | 深圳须弥云图空间科技有限公司 | 对象图像的识别方法及装置 |
-
2023
- 2023-02-28 CN CN202310175391.XA patent/CN116029908A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116630639A (zh) * | 2023-07-20 | 2023-08-22 | 深圳须弥云图空间科技有限公司 | 对象图像的识别方法及装置 |
| CN116630639B (zh) * | 2023-07-20 | 2023-12-12 | 深圳须弥云图空间科技有限公司 | 对象图像的识别方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110119780B (zh) | 基于生成对抗网络的高光谱图像超分辨重建方法 | |
| CN111062872B (zh) | 一种基于边缘检测的图像超分辨率重建方法及系统 | |
| CN110570353B (zh) | 密集连接生成对抗网络单幅图像超分辨率重建方法 | |
| CN109214989B (zh) | 基于多方向特征预测先验的单幅图像超分辨率重建方法 | |
| CN110310227A (zh) | 一种基于高低频信息分解的图像超分辨率重建方法 | |
| CN111598778B (zh) | 一种绝缘子图像超分辨率重建方法 | |
| Zhang et al. | Image super-resolution reconstruction based on sparse representation and deep learning | |
| Sood et al. | An application of generative adversarial networks for super resolution medical imaging | |
| Li et al. | Example-based image super-resolution with class-specific predictors | |
| CN113269818B (zh) | 一种基于深度学习的地震数据纹理特征重建方法 | |
| Li et al. | Underwater image high definition display using the multilayer perceptron and color feature-based SRCNN | |
| CN115511767B (zh) | 一种自监督学习的多模态图像融合方法及其应用 | |
| Yang et al. | Image super-resolution based on deep neural network of multiple attention mechanism | |
| He et al. | Remote sensing image super-resolution using deep–shallow cascaded convolutional neural networks | |
| Hu et al. | Hyperspectral image super resolution based on multiscale feature fusion and aggregation network with 3-D convolution | |
| Hui et al. | Two-stage convolutional network for image super-resolution | |
| CN116029908A (zh) | 基于跨模态和跨尺度特征融合的3d磁共振超分辨率方法 | |
| CN112163998A (zh) | 一种匹配自然降质条件的单图像超分辨率分析方法 | |
| CN116757930A (zh) | 基于残差分离注意力机制的遥感图像超分辨率方法、系统及介质 | |
| CN115578262A (zh) | 基于afan模型的偏振图像超分辨率重建方法 | |
| CN116630209A (zh) | 基于交叉混合注意力的sar与可见光图像融合方法 | |
| Chen et al. | MICU: Image super-resolution via multi-level information compensation and U-net | |
| Deng et al. | Multiple frame splicing and degradation learning for hyperspectral imagery super-resolution | |
| Wang et al. | Underwater image super-resolution using multi-stage information distillation networks | |
| CN112508786B (zh) | 面向卫星图像的任意尺度超分辨率重建方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |