CN114155145B - 一种基于深度展开网络的空谱同时超分辨率重建方法 - Google Patents
一种基于深度展开网络的空谱同时超分辨率重建方法 Download PDFInfo
- Publication number
- CN114155145B CN114155145B CN202111338122.8A CN202111338122A CN114155145B CN 114155145 B CN114155145 B CN 114155145B CN 202111338122 A CN202111338122 A CN 202111338122A CN 114155145 B CN114155145 B CN 114155145B
- Authority
- CN
- China
- Prior art keywords
- equation
- resolution
- super
- spatial
- spectrum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000001228 spectrum Methods 0.000 title claims abstract description 64
- 230000015556 catabolic process Effects 0.000 claims abstract description 9
- 238000006731 degradation reaction Methods 0.000 claims abstract description 9
- 238000012804 iterative process Methods 0.000 claims abstract description 5
- 230000003595 spectral effect Effects 0.000 claims description 46
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000005070 sampling Methods 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 7
- 238000000701 chemical imaging Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 238000005316 response function Methods 0.000 claims description 4
- 230000002441 reversible effect Effects 0.000 claims description 4
- 239000000654 additive Substances 0.000 claims description 3
- 230000000996 additive effect Effects 0.000 claims description 3
- 229940060587 alpha e Drugs 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 238000006467 substitution reaction Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000009827 uniform distribution Methods 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 2
- 238000012549 training Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000002679 ablation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 240000005160 Parkia speciosa Species 0.000 description 1
- 235000017333 Parkia speciosa Nutrition 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000012733 comparative method Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- ZZUFCTLCJUWOSV-UHFFFAOYSA-N furosemide Chemical compound C1=C(Cl)C(S(=O)(=O)N)=CC(C(O)=O)=C1NCC1=CC=CO1 ZZUFCTLCJUWOSV-UHFFFAOYSA-N 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于深度展开网络的空谱同时超分辨率重建方法。步骤1：确定图像退化模型；步骤2：将单张图像超分和光谱超分的观测模型结合到空间光谱超分辨率模型中；步骤3：利用交替方向乘子法ADMM求解基于模型的能量函数；步骤4：将步骤3的ADMM算法的迭代过程展开成一个多级网络；步骤5：利用步骤4的多级网络解决在空间和光谱上产生超分辨率结果。本发明用以解决现有技术中空间分辨率和光谱分辨率不高的问题。
Description
技术领域
本发明涉及图像处理与计算机视觉领域，具体涉及一种基于深度展开网络的空谱同时超分辨率重建方法。
背景技术
空间光谱超分辨率的目标是将低空间分辨率的多光谱图像转换为高空间分辨率的高光谱图像。高空间分辨率图像包含精细的图像细节具有更好的视觉效果，而高光谱图像(HSI)具有较高的光谱分辨率，适用于检测物体的物理结构和化学成分。高光谱成像已成为各个领域的新兴科学工具，例如目标识别和跟踪、医学图像处理和遥感。
然而，在光学遥感系统的设计中，由于入射能量有限，空间分辨率、光谱分辨率和信噪比之间存在关键的权衡。传感器无法生成具有全色图像空间分辨率和HSI光谱分辨率的图像。作为全色图像和HSI之间的折衷，多光谱图像(MSI)既没有高空间分辨率也没有高光谱分辨率，这极大地限制了其应用。因此，提高MSI的空间分辨率和光谱分辨率非常重要。
图像空谱超分问题可以解释为逆问题，从空间和光谱退化的数据立方体中恢复三维数据立方体。为了解决这种严重不适定的问题，一种直接的方法是依次执行单张图像超分方法后跟一个图像光谱超分方法或者将这两个阶段执行顺序反过来。需要注意的是，当首先完成光谱超分时，会得到低分辨率高光谱图像，有两种方法得到超分辨目标高分辨率高光谱图像。一种方法是通过单张图像超分辨率算法分别重建每个高分辨率光谱图像，另一种是通过高光谱图像超分辨率算法联合估计目标高分辨率高光谱图像。另外，还可以对低分辨率多光谱图像分别进行单张图像超分和光谱超分得到高分辨率多光谱图像和低分辨率高光谱图像，然后通过高光谱图像与多光谱图像融合得到高分辨率高光谱图像。
发明内容
本发明提供了一种基于深度展开网络的空谱同时超分辨率重建方法，用以解决现有技术中空间分辨率和光谱分辨率不高的问题。
本发明通过以下技术方案实现：
一种基于深度展开网络的空谱同时超分辨率重建方法，所述超分辨率重建方法具体包括以下步骤：
步骤1：确定图像退化模型；
步骤2：将单张图像超分和光谱超分的观测模型结合到空间光谱超分辨率模型中；
步骤3：利用交替方向乘子法ADMM求解基于模型的能量函数；
步骤4：将步骤3的ADMM算法的迭代过程展开成一个多级网络；
步骤5：利用步骤4的多级网络解决在空间和光谱上产生超分辨率结果。
进一步的，所述步骤1具体为，图像空谱超分的观测模型写成：
Y＝LXR+N (1)
其中X∈RHW×S是目标高空间分辨率高光谱图像，H、W和S分别是其高度、宽度和波段数，Y∈Rhw×s是低空间分辨率多光谱图像，h、w和s分别是其高度、宽度和波段数s＜＜S，R∈RS×s是多光谱成像传感器的光谱响应函数，L∈Rhw×HW代表空间退化算子通常假设由循环卷积算子和下采样矩阵组成，N表示加性噪声；因此，通过最小化以下优化问题来估计高空间分辨率高光谱图像：
其中是保真度项，λf(X)是正则化项，表示X的先验知识，λ是正则化参数；
受到高光谱与多光谱图像融合任务的启发，其中目标高分辨率高光谱图像从给定的高分辨率多光谱图像和低分辨率高光谱图像重建，引入了两个辅助变量P∈RHW×s和Q∈Rhw ×S，并将空谱超分问题公式(1)分解为以下两个子问题：
P∈RHW×s和Q∈Rhw×S分别代表单张图片超分结果HR-MSI和光谱超分结果LR-HSI。
进一步的，所述步骤2具体为，空谱超分问题被分解为单张图像超分公式(7)、光谱超分公式(8)和空间光谱融合公式(9)三个子问题；通过变量分离技术，将分解为和目标方程(2)等价于
其中α∈[0,1]是一个权衡参数；
当α＝0时，目标方程退化为只引入谱超分辅助任务；
当α＝1时，目标方程退化为只引入单张图片超分辅助任务。
进一步的，所述步骤3具体为，
其中U和V是拉格朗日乘数(β>0，γ>0)；ADMM理论指出，最小化方程；
公式(6)等价于迭代以下步骤直到收敛
其中拉格朗日乘子通过以下公式更新：
U(k+1)＝U(k)-(P(k+1)-X(k+1)R) (10)
V(k+1)＝V(k)-(Q(k+1)-LX(k+1)) (11)；
上述，左乘矩阵表示对输入做空间变换，右乘矩阵表示对输入做通道变换。进一步的，等式(7)看作是空间超分问题，它存在以下形式的闭式解：
P(k+1)＝(2αLTL+βI)-1(2αLTY+β(X(k)R+U(k))) (12),
其中I∈RHW×HW是单位矩阵；
因此，方程(8)也看作是光谱超分问题，它存在以下形式的闭式解：
Q(k+1)＝(2(1-α)YRT+γ(LX(k)+V(k)))(2(1-α)RRT+γI)-1 (13)；
使用近端梯度算子解决方程(9)，方程(9)的更新规则为：
X(k+1)＝proxλ,f(X(k)-η(βX(k)RRT+γLTLX(k)+β(U(k)-P(k+1))RT+γLT(V(k)-Q(k+1)))) (14),
其中η为步长，proxλ,f(·)是依赖于λ和f的近端算子。
进一步的，所述步骤4具体为，网络由K个阶段组成，对应于求解方程(6)的迭代算法中的K次迭代；每个阶段取原始LR-MSIY和前一阶段的输出X,P,Q,U,V作为输入，并输出更新后的X,P,Q,U,V作为下一阶段的输入；
首先展开迭代方程(12)将它转换为等效的以下三个连续部分：
在等式(15)中LT∈RHW×wh代表一个上采样操作，通过几个2D转置卷积层来实现，每个2D转置卷积层执行2倍上采样；R表示通道减少操作，通过使用1×1卷积层实现；
将定义为空间全局变换，并引入非局部操作(non-local)来展开方程(16)；
然后展开方程(13)为以下两个等效的连续部分：
在等式(18)中RT∈Rs×S表示通道增加操作，使用1×1卷积层来实现它；L表示下采样操作，通过几个内核步长为2的2D卷积层来实现它；在公式(19)中,(2(1-α)RRT+γI)-1表示对输入的通道进行变换，所以通过使用一个可逆的1×1卷积层来实现它以保持通道数；
最后，将方程(14)等价的分成以下五个连续部分：
E(k)＝β(U(k)-P(k+1))RT (22)
F(k)＝γLT(V(k)-Q(k+1)) (23)
在等式(20)中,RRT表示对输入先减少通道数，然后增加通道数；通过使用两个1×1卷积层来实现它；在方程式(21)中LTL代表对输入先下采样再上采样，分别通过使用2D卷积层和内核步长为2的2D转置卷积层来实现它们；在方程式(19)中；proxλ,f(·)是近端算子；采用深度残差网络ResNet来学习这个近端算子。
进一步的，所述快速全局操作；公式(16)中的非局部操作对应于矩阵2αLTL+βI)-1∈RHW×HW；
基于Sherman-Morrison-Woodbury公式进一步求解方程(16)：
用非局部操作来代替方程(25)中的而不是方程(16)中的(2αLTL+βI)-1∈RHW×HW；新的解决方案大大降低了时间和空间的复杂度，从到
将公式(25)代入到公式(17)中：
然后将迭代方程(16)展开为以下等效的三个连续部分：
进一步的，图像空谱联合超分具体包括以下步骤：
步骤1：输入低分辨率多光谱图像；
步骤2：将步骤1的图像初始化α∈[0,1]之间的均匀分布，使用正态分布随机采样β>0,γ>0；
步骤3：更新P(k+1)；
步骤4：更新Q(k+1)；
步骤5：更新X(k+1)；
步骤6：更新U(k+1)←U(k)-(P(k+1)-X(k+1)R)；
步骤7：更新V(k+1)←V(k)-(Q(k+1)-LX(k+1))；
步骤8：输出高分辨率高光谱图像。
本发明的有益效果是：
本发明提出了一个端到端可训练的空谱超分辨率网络，它可以在一个统一的框架中同时处理单幅图像超分辨率和光谱超分辨率。通过引入两个辅助任务：单张图像超分和谱超分使目标方程的求解变得简单高效。
本发明所提出的方法求解单张图像超分子问题和光谱超分子问题的闭式解。具体来说，在单张图像超分子问题中，对于优化过程中需要用到的空间全局变换操作，设计了快速全局变换操作，算法时间空间复杂度可以从降到
本发明通过优化算法引导设计每个模块及其迭代，所提出的空谱超分方法以最小的参数量实现了最优的性能。特别是在更锐利的边缘和更真实的纹理图案方面，所提出的空谱超分方法实现了最引人注目的视觉性能。大量的消融实验进一步验证了所提出方法不同部分的有效性。
附图说明
图1本发明的US3RN整体结构示意图。
图2本发明的快速全局操作流程示意图。
图3本发明的CAVE数据集的定性结果。将高光谱图像的波段28-13-5的合成R-G-B图像显示，并将指定的区域放大4倍的图像。
图4本发明的Pavia Centre数据集第51通道的定性结果和相应的误差图像。
图5本发明的Pavia Centre数据集中四个随机选择位置的重建光谱特征图。
图6本发明的方法流程示意图。
具体实施方式
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
符号和缩写
一种基于深度展开网络的空谱同时超分辨率重建方法，所述超分辨率重建方法具体包括以下步骤：
步骤1：确定图像退化模型；
步骤2：将单张图像超分和光谱超分的观测模型结合到空间光谱超分辨率模型中；
步骤3：利用交替方向乘子法ADMM求解基于模型的能量函数；
步骤4：将步骤3的ADMM算法的迭代过程展开成一个多级网络；
步骤5：利用步骤4的多级网络解决在空间和光谱上产生超分辨率结果。
进一步的，所述步骤1具体为，图像空谱超分的观测模型写成：
γ＝LXR+N (1)
其中X∈RHW×S是目标高空间分辨率高光谱图像，H、W和S分别是其高度、宽度和波段数，Y∈Rhw×s是低空间分辨率多光谱图像，h、w和s分别是其高度、宽度和波段数s＜＜S，R∈RS×s是多光谱成像传感器的光谱响应函数，L∈Rhw×HW代表空间退化算子通常假设由循环卷积算子和下采样矩阵组成，N表示加性噪声；因此，通过最小化以下优化问题来估计高空间分辨率高光谱图像：
其中是保真度项，λf(X)是正则化项，表示X的先验知识，λ是正则化参数；
受到高光谱与多光谱图像融合任务的启发，其中目标高分辨率高光谱图像从给定的高分辨率多光谱图像和低分辨率高光谱图像重建，引入了两个辅助变量P∈RHW×s和Q∈Rhw ×S，并将空谱超分问题公式(1)分解为以下两个子问题：
P∈RHW×s和Q∈Rhw×S分别代表单张图片超分结果HR-MSI和光谱超分结果LR-HSI。
高光谱图像融合任务以低分辨率高光谱图像和高分辨率多光谱图像作为输入，因此与仅观察低分辨率多光谱图像的光谱超分任务相比，这是一个更容易的问题。考虑到这一点并受到之前高光谱图像融合方法的启发，引入空间超分和光谱超分作为辅助任务，然后通过交替方向乘子法(ADMM)求解基于模型的能量函数。相应地，可以获得一个迭代过程，该迭代过程在解决三个子问题之间迭代交替，分别与空间超分、光谱超分和空间光谱融合相关。然后将这些迭代步骤展开到一个深度网络架构中，以取代传统的迭代算法。
进一步的，所述步骤2具体为，空谱超分问题被分解为单张图像超分、光谱超分和空间光谱融合三个子问题；通过变量分离技术，将分为 和目标方程(2)等价于
其中α∈[0,1]是一个权衡参数；
为了获得单张图像超分任务和谱超分任务的最佳组合，将α设置为可学习的参数而不是固定值(例如，0.5)；消融实验证明了这种设置的有效性；值得注意的是，
当α＝0时，目标方程退化为只引入谱超分辅助任务；
当α＝1时，目标方程退化为只引入单张图片超分辅助任务。
与基于模型的方法精心设计先验不同，通过深度展开网络学习基于数据驱动的隐式先验f(·)；这样做的原因是高光谱图像的类型很多，基于模型的手工制作的先验可能在某个数据集上表现良好，但很难在所有高光谱数据集上都表现良好；
进一步的，所述步骤3求解能量函数具体为，通过使用ADMM，方程(5)分解成几个子问题；相应的增广拉格朗日函数表示为：
其中U和V是拉格朗日乘数(β>0，γ>0)；ADMM理论指出，最小化方程；
公式(6)等价于迭代以下步骤直到收敛
其中拉格朗日乘子通过以下公式更新：
U(k+1)＝U(k)-(P(k+1)-X(k+1)R) (10)
V(k+1)＝V(k)-(Q(k+1)-LX(k+1)) (11)；
上述，左乘矩阵表示对输入做空间变换，右乘矩阵表示对输入做通道变换。进一步的，等式(7)看作是空间超分问题，它存在以下形式的闭式解：
P(k+1)＝(2αLTL+βI)-1(2αLTY+β(X(k)R+U(k))) (12),
其中I∈RHW×HW是单位矩阵；
因此，方程(8)也看作是光谱超分问题，它存在以下形式的闭式解：
Q(k+1)＝(2(1-α)YRT+γ(LX(k)+V(k)))(2(1-α)RRT+γI)-1 (13)；
使用近端梯度算子解决方程(9)，方程(9)的更新规则为：
X(k+1)＝proxλ,f(X(k)-η(βX(k)RRT+γLTLX(k)+β(U(k)-P(k+1))RT+γLT(V(k)-Q(k+1)))) (14),
其中η为步长，proxλ,f(·)是依赖于λ和f的近端算子。
进一步的，所述步骤4具体为，网络由K个阶段组成，对应于求解方程(6)的迭代算法中的K次迭代；每个阶段取原始LR-MSIY和前一阶段的输出X,P,Q,U,V作为输入，并输出更新后的X,P,Q,U,V作为下一阶段的输入；
首先展开迭代方程(12)将它转换为等效的以下三个连续部分：
在等式(15)中LT∈RHW×wh代表一个上采样操作，通过几个2D转置卷积层来实现，每个2D转置卷积层执行2倍上采样；R表示通道减少操作，通过使用1×1卷积层轻松实现；从方程(17)了解到N∈RHW×HW就像一个对中间结果的所有像素加权算子；由于2αLTL+βI非常大，所以求这个矩阵的逆计算成本很高；在之前的单张图像超分工作中通常使用共轭梯度算法来优化求解，而不是直接使用闭式解；这种替代方案虽然节省计算成本，但也容易陷入局部最优解；如果N表示不同像素之间的相似度，则公式(17)将是非局部操作non-local，受这一观察的启发，在本文中将N定义为空间全局变换，并引入非局部操作来展开方程(16)；
然后展开方程(13)为以下两个等效的连续部分：
在等式(18)中RT∈Rs×S表示通道增加操作，使用1×1卷积层来实现它；L表示下采样操作，通过几个内核步长为2的2D卷积层来实现它；在公式(19)中,(2(1-α)RRT+γI)-1表示对输入的通道进行变换，所以通过使用一个可逆的1×1卷积层来实现它以保持通道数；
最后，将方程(14)等价的分成以下五个连续部分：
E(k)＝β(U(k)-P(k+1))RT, (22)
F(k)＝γLT(V(k)-Q(k+1)), (23)
在等式(20)中,RRT表示对输入先减少通道数，然后增加通道数；通过使用两个1×1卷积层来实现它；在方程式(21)中LTL代表对输入先下采样再上采样，分别通过使用2D卷积层和内核步长为2的2D转置卷积层来实现它们；在方程式(19)中；proxλ,f(·)是近端算子；采用深度残差网络ResNet来学习这个近端算子。
进一步的，所述快速全局操作；公式(16)中的非局部操作对应于矩阵2αLTL+βI)-1∈RHW×HW；在网络实现时直接将公式(16)求逆转化为非局部操作计算和内存负担繁重尤其是在特征图非常大的时候；因此，需要找到一种替代解决方案，以更有效的方式实现这样的目标；
为了解决上述问题，基于Sherman-Morrison-Woodbury公式进一步求解方程(16)：
用非局部操作来代替方程(25)中的而不是方程(16)中的(2αLTL+βI)-1∈RHW×HW；新的解决方案大大降低了时间和空间的复杂度，从到
将公式(25)代入到公式(17)中：
然后将迭代方程(16)展开为以下等效的三个连续部分：
在图2中展示了快速全局操作；显然，将非局部算子从原始空间(具有HW×HW维)转换到更紧密的空间(具有hw×hw维)，从而减小计算复杂度和内存需求；
进一步的，图像空谱联合超分具体包括以下步骤：
步骤1：输入低分辨率多光谱图像；
步骤2：将步骤1的图像初始化α∈[0,1]之间的均匀分布，使用正态分布随机采样β>0,γ>0；
步骤3：通过方程(15),(27)-(29)更新P(k+1)；
步骤4：通过方程(18)和(19)更新Q(k+1)；
步骤5：通过方程(20)-(24)更新X(k+1)；
步骤6：更新U(k+1)←U(k)-(P(k+1)-X(k+1)R)；
步骤7：更新V(k+1)←V(k)-(Q(k+1)-LX(k+1))；
步骤8：输出高分辨率高光谱图像。
US3RN方法与由最先进(SOTA)单张图片超分+光谱超分或光谱超分+单张高光谱图像超分组成的两阶段方法和最近提出的一种SOTA空谱联合超分方法SSJSR进行比较。另外，考虑到高光谱与多光谱图像融合，首先使用单张图片超分方法和谱超分方法分别在空间和光谱上对原始LR-MSI进行超分辨，然后使用高光谱图像与多光谱图像融合方法进行融合。其中单张图像超分方法使RCAN，对与光谱超分方法使用AWAN。对于单张高光谱图像超分，选择RCAN和SSPSR。选择MoG-DCN进行高光谱图像与多光谱图像融合。所有比较方法都在相同的训练数据集重新训练。至于客观比较，使用四种图像质量指标来评估不同方法的性能，包括PSNR、SSIM、SAM和ERGAS。PSNR和SSIM在每个2D空间图像上计算，然后在所有波段上取平均值。他们分别基于MSE和结构一致性来评估恢复的HR-HSI和地真之间的相似性。SAM计算恢复的HR-HSI和地真的频谱向量之间的平均角度。至于ERGAS，它反映了恢复的HR-HSI的整体质量。ERGAS和SAM的值越小结果越好，而PSNR和SSIM的值越大结果越好。
实验设置
训练数据集在二个公开可用的高光谱成像数据集上评估的US3RN方法，包括CAVE和Pavia Centre。CAVE数据集由32张在受控照明下捕获的室内图像组成，空间大小为512×512，包括31个10nm宽的光谱带，涵盖了从400到700nm的可见光谱。HR-MSI(RGB图像)是通过将所有地真HR-HSI波段乘以与尼康D700相机相同的模拟光谱响应函数R得到，LR-HSI和LR-MSI是通过将对应的HR-HSI和HR-MSI进行双三次下采样d倍得到的。选择前22个样本并从中随机提取64×64的有重叠块作为参考HR-HSI进行训练。因此，HR-HSI、HR-MSI、LR-HSI和LR-MSI的大小分别为64×64×31、64×64×3、和数据库中剩余的10个样本用于测试。
Pavia Centre数据集由反射光学系统成像光谱仪(ROSIS)传感器拍摄，是2001年在意大利北部帕维亚中心地区拍摄的机载HSI。它有102个光谱通道，光谱范围从430到860nm。Pavia Centre总共包含1096×1096个像素点，但有部分区域没有信息将其删除，仅选择1096×715个有效像素点。左上1024×128像素被裁剪作为测试数据，而数据集的其余部分被选为训练数据。遵循与SSJSR相同的设置来生成HR-MSI。从训练数据中随机提取64×64的有重叠块作为参考HR-HSI进行训练。因此，使用的HR-HSI、HR-MSIs、LR-HSI和LR-MSI的大小分别为64×64×102、64×64×4、和消融分析
为了探索展开网络迭代次数对SSSR性能的影响。报告了具有不同迭代次数K的US3RN的性能。表3-1展示了对来自CAVE数据集的10张测试图像的×4上采样的平均结果(在本小节中，使用相同的数据集和设置来评估所提出的方法)。从表中可以观察到，随着迭代次数的增加，PSNR和SSIM性能会提高，但是当K>4时，PSNR和SSIM性能会下降。在接下来的实验中，在实现中选择K＝4来平衡性能和计算复杂度。这说明的方法在多次迭代后可以快速收敛，但是增加迭代次数可能不会提高性能，因为网络太复杂，很难训练得到最优解。
表3-1迭代次数对网络性能的影响
关于α的分析。为了验证两个辅助任务的有效性，报告了具有不同α值的US3RN的性能。表3-2列出了×4上采样平均结果。其中α＝0代表目标方程退化只引入谱超分辅助任务，而α＝1代表目标方程退化只引入单张图片超分辅助任务。``learnableα"表示每个阶段的α都使用基于梯度的方法更新。从这些比较结果中，观察到当α＝0和α＝1这两种情况时，性能都不是最优的。他们的PSNR比的小0.4dB(最后一行)。如果引入两个辅助任务，网络性能比只引入一个辅助任务时更好，大概有0.2～0.4dB提升。这证明引入空间超分任务和光谱超分任务可以有效帮助空谱联合任务。通过比较表3-2中的第二行、第三行、第四行和第六行，可以观察到可学习的α比每个自定义的α都更好。
表3-2空间超分和光谱超分增广任务对网络性能的影响
与SOTA的对比
CAVE数据集上的结果。表3-3显示了CAVE数据集上所有对比方法的PSNR、SAM、ERGAS和SSIM的平均结果。从表中可以观察到SSJSR方法的性能比其他方法差。这可能是由于网络深度限制了其性能。此外，可以发现先空间超分再光谱超分的性能优于先光谱超分再空间超分的性能。显然，所提出的方法在大多数情况下优于其他算法，表明的方法可以更好地恢复空间和光谱信息。随着上采样规模的增加，US3RN和次优方法之间的性能差距越来越大。这表明US3RN能比对比方法更好地处理具有挑战性的场景。值得一提的是，×2的性能不如×4和×8。一种可能的解释是，当上采样尺度大于2时，使用多层2D转置卷积进行上采样，每层2D转置卷积的上采样尺度为2。因此，4倍上采样和8倍上采样时的网络参数将大于2倍上采样时的网络参数。比如2次上采样的网络参数是250K，4次上采样的时候网络参数是295K(还是比其他比较方法小很多)。这导致的网络在上采样规模较大时表现更好。
在图3中，展示了所有对比方法生成的高光谱图像合成的RGB图像，分别以28-13-5通道作R-G-B。从图3可以看出，US3RN得到的合成图像最接近地真，而SSJSR方法的结果通常含有明显的结构错误或光谱失真。显然，所提出的方法在恢复原始HSI的细节方面表现最好，并实现了最小的重构误差。
表3-3对比方法在CAVE数据集的10张测试图像的四个PQIS定量比较
Pavia Center数据集的结果CAVE数据集中的HSI包含31个光谱通道。为了测试所提出方法的泛化性，在包含比CAVE数据集光谱通道多得多的的Pavia Center数据集上进一步评估的方法。表3-5展示了所提出的方法在Pavia Center数据集上的PSNR、SSIM、SAM和ERGAS平均性能超过了对比方法。在这四种两步法中，AWAN+SSPSR的表现优于其他三种情况。将此归因于SSPSR方法良好的光谱建模能力，特别是当光谱通道数量很大时。
从列表结果可以看出，所提出的US3RN方法在所有客观评估指标方面始终优于所有四种竞争方法。的方法相对于次优方法的平均PSNR增益分别为×2下提升1.32dB、×4下提升0.52dB和×8下提升0.05dB。
图5给出了Pavia Center数据集上645nm处的三个示例。从视觉上可以观察到SSJSR的超分辨率图像非常模糊。的方法取得了最好的视觉效果，边缘轮廓清晰。此外，为了清楚地显示光谱矢量恢复结果，在图6中，绘制了通过五种对比方法重建的四个随机选择的光谱矢量。很明显，所提出的US3RN的光谱向量最接近地真，这表明所提出的方法不仅很好地恢复了空间信息，而且还保留了重要的高维光谱信息。
表3-5对比方法在Pavia Centre数据集的四个PQIS定量比较
Claims (7)
1.一种基于深度展开网络的空谱同时超分辨率重建方法，其特征在于，所述超分辨率重建方法具体包括以下步骤：
步骤1：确定图像退化模型；
步骤2：将单张图像超分和光谱超分的观测模型结合到空间光谱超分辨率模型中；
步骤3：利用交替方向乘子法ADMM求解基于模型的能量函数；
步骤4：将步骤3的ADMM算法的迭代过程展开成一个多级网络；
步骤5：利用步骤4的多级网络解决在空间和光谱上产生超分辨率结果；
所述步骤2具体为，图像超分和光谱超分的观测模型结合到空间光谱超分辨率模型写成：
Y＝LXR+N (1)
其中X∈RHW×S是目标高空间分辨率高光谱图像，H、W和S分别是其高度、宽度和波段数，Y∈Rhw×s是低空间分辨率多光谱图像，h、w和s分别是其高度、宽度和波段数s＜＜S，R∈RS×s是多光谱成像传感器的光谱响应函数，L∈Rhw×HW代表空间退化算子通常假设由循环卷积算子和下采样矩阵组成，N表示加性噪声；因此，通过最小化以下优化问题来估计高空间分辨率高光谱图像：
其中是保真度项，λf(X)是正则化项，表示X的先验知识，λ是正则化参数；
受到高光谱与多光谱图像融合任务的启发，其中目标高分辨率高光谱图像从给定的高分辨率多光谱图像和低分辨率高光谱图像重建，引入了两个辅助变量P∈RHW×s和Q∈Rhw×s，并将空谱超分问题公式(1)分解为以下两个子问题：
P∈RHW×s和Q∈Rhw×s分别代表单张图片超分结果HR-MSI和光谱超分结果LR-HSI。
2.根据权利要求1所述一种基于深度展开网络的空谱同时超分辨率重建方法，其特征在于，所述步骤2具体为，空谱超分问题被分解为单张图像超分公式(7)、光谱超分公式(8)和空间光谱融合公式(9)三个子问题；通过变量分离技术，将分解为和目标方程(2)等价于
其中α∈[0，1]是一个权衡参数；
当α＝0时，目标方程退化为只引入谱超分辅助任务；
当α＝1时，目标方程退化为只引入单张图片超分辅助任务。
3.根据权利要求2所述一种基于深度展开网络的空谱同时超分辨率重建方法，其特征在于，所述步骤3求解能量函数具体为，
其中U和V是拉格朗日乘数(β＞0，γ＞0)；ADMM理论指出，最小化方程；
公式(6)等价于迭代以下步骤直到收敛
其中拉格朗日乘子通过以下公式更新：
U(k+1)＝U(k)-(P(k+1)-X(k+1)R) (10)
V(k+1)＝V(k)-(Q(k+1)-LX(k+1)) (11)；
上述，左乘矩阵表示对输入做空间变换，右乘矩阵表示对输入做通道变换。
4.根据权利要求3所述一种基于深度展开网络的空谱同时超分辨率重建方法，其特征在于，等式(7)看作是空间超分问题，它存在以下形式的闭式解：
P(k+1)＝(2αLTL+βI)-1(2αLTY+β(X(k)R+U(k))) (12)，
其中I∈RHW×HW是单位矩阵；
因此，方程(8)也看作是光谱超分问题，它存在以下形式的闭式解：
Q(k+1)＝(2(1-α)YRT+γ(LX(k)+V(k)))(2(1-α)RRT+γI)-1 (13)；
使用近端梯度算子解决方程(9)，方程(9)的更新规则为：
X(k+1)＝proxλ，f(X(k)-η(βX(k)RRT+γLTLX(k)+β(U(k)-P(k+1))RT+γLT(V(k)-Q(k+1)))) (14)，
其中η为步长，proxλ，f(·)是依赖于λ和f的近端算子。
5.根据权利要求4所述一种基于深度展开网络的空谱同时超分辨率重建方法，其特征在于，所述步骤4具体为，网络由K个阶段组成，对应于求解方程(6)的迭代算法中的K次迭代；每个阶段取原始LR-MSI Y和前一阶段的输出X，P，Q，U，V作为输入，并输出更新后的X，P，Q，U，V作为下一阶段的输入；
首先展开迭代方程(12)将它转换为等效的以下三个连续部分：
在等式(15)中LT∈RHW×wh代表一个上采样操作，通过几个2D转置卷积层来实现，每个2D转置卷积层执行2倍上采样；R表示通道减少操作，通过使用1×1卷积层实现；
将定义为空间全局变换，并引入非局部操作non-local来展开方程(16)；
然后展开方程(13)为以下两个等效的连续部分：
在等式(18)中RT∈Rs×S表示通道增加操作，使用1×1卷积层来实现它；L表示下采样操作，通过几个内核步长为2的2D卷积层来实现它；在公式(19)中，(2(1-α)RRT+γI)-1表示对输入的通道进行变换，所以通过使用一个可逆的1×1卷积层来实现它以保持通道数；
最后，将方程(14)等价的分成以下五个连续部分：
E(k)＝β(U(k)-P(k+1))RT (22)
F(k)＝γLT(V(k)-Q(k+1)) (23)
在等式(20)中，RRT表示对输入先减少通道数，然后增加通道数；通过使用两个1×1卷积层来实现它；在方程式(21)中LTL代表对输入先下采样再上采样，分别通过使用2D卷积层和内核步长为2的2D转置卷积层来实现它们；在方程式(19)中；proxλ，f(·)是近端算子；采用深度残差网络ResNet来学习这个近端算子。
6.根据权利要求5所述一种基于深度展开网络的空谱同时超分辨率重建方法，其特征在于，所述空间全局变换；公式(16)中的非局部操作对应于矩阵(2αLTL+βI)-1∈RHW×HW；
基于Sherman-Morrison-Woodbury公式进一步求解方程(16)：
用非局部操作来代替方程(25)中的而不是方程(16)中的(2αLTL+βI)-1∈RHW×HW；新的解决方案大大降低了时间和空间的复杂度，从到
将公式(25)代入到公式(17)中：
然后将迭代方程(16)展开为以下等效的三个连续部分：
7.根据权利要求6所述一种基于深度展开网络的空谱同时超分辨率重建方法，其特征在于，图像空谱联合超分具体包括以下步骤：
步骤1：输入低分辨率多光谱图像；
步骤2：将步骤1的图像初始化α∈[0，1]之间的均匀分布，使用正态分布随机采样β＞0，γ＞0；
步骤3：更新P(k+1)；
步骤4：更新Q(k+1)；
步骤5：更新X(k+1)；
步骤6：更新U(k+1)←U(k)-(P(k+1)-X(k+1)R)；
步骤7：更新V(k+1)←V(k)-(Q(k+1)-LX(k+1))；
步骤8：输出高分辨率高光谱图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111338122.8A CN114155145B (zh) | 2021-11-12 | 2021-11-12 | 一种基于深度展开网络的空谱同时超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111338122.8A CN114155145B (zh) | 2021-11-12 | 2021-11-12 | 一种基于深度展开网络的空谱同时超分辨率重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114155145A CN114155145A (zh) | 2022-03-08 |
| CN114155145B true CN114155145B (zh) | 2024-05-17 |
Family
ID=80460090
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111338122.8A Active CN114155145B (zh) | 2021-11-12 | 2021-11-12 | 一种基于深度展开网络的空谱同时超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114155145B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114841901B (zh) * | 2022-07-01 | 2022-10-25 | 北京大学深圳研究生院 | 一种基于通用化深度展开网络的图像重建方法 |
| CN115760670B (zh) * | 2023-01-06 | 2023-05-23 | 之江实验室 | 基于网络隐式先验的无监督高光谱融合方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111192193A (zh) * | 2019-11-26 | 2020-05-22 | 西安电子科技大学 | 一种基于1维-2维卷积神经网络高光谱单图超分辨方法 |
| CN112700370A (zh) * | 2020-12-29 | 2021-04-23 | 南京理工大学 | 超参数保真与深度先验联合学习的高光谱图像超分辨方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10482576B2 (en) * | 2018-03-19 | 2019-11-19 | Mitsubishi Electric Research Laboratories, Inc. | Systems and methods for multi-spectral image super-resolution |
| US10891527B2 (en) * | 2019-03-19 | 2021-01-12 | Mitsubishi Electric Research Laboratories, Inc. | Systems and methods for multi-spectral image fusion using unrolled projected gradient descent and convolutinoal neural network |
-
2021
- 2021-11-12 CN CN202111338122.8A patent/CN114155145B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111192193A (zh) * | 2019-11-26 | 2020-05-22 | 西安电子科技大学 | 一种基于1维-2维卷积神经网络高光谱单图超分辨方法 |
| CN112700370A (zh) * | 2020-12-29 | 2021-04-23 | 南京理工大学 | 超参数保真与深度先验联合学习的高光谱图像超分辨方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于级联深度卷积神经网络的高性能图像超分辨率重构;郭晓;谭文安;计算机应用;20171231;第37卷(第11期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114155145A (zh) | 2022-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Dong et al. | Laplacian pyramid dense network for hyperspectral pansharpening | |
| CN110119780B (zh) | 基于生成对抗网络的高光谱图像超分辨重建方法 | |
| Ma et al. | Deep unfolding network for spatiospectral image super-resolution | |
| Dong et al. | Generative dual-adversarial network with spectral fidelity and spatial enhancement for hyperspectral pansharpening | |
| Huang et al. | Deep hyperspectral image fusion network with iterative spatio-spectral regularization | |
| CN114155145B (zh) | 一种基于深度展开网络的空谱同时超分辨率重建方法 | |
| CN103150713B (zh) | 利用图像块分类稀疏表示与自适应聚合的图像超分辨方法 | |
| CN114119444B (zh) | 一种基于深度神经网络的多源遥感图像融合方法 | |
| CN110969577A (zh) | 一种基于深度双重注意力网络的视频超分辨率重建方法 | |
| Qu et al. | A dual-branch detail extraction network for hyperspectral pansharpening | |
| CN109509160A (zh) | 一种利用逐层迭代超分辨率的分层次遥感图像融合方法 | |
| CN113284051B (zh) | 一种基于频率分解多注意力机制的人脸超分辨方法 | |
| CN112837224A (zh) | 一种基于卷积神经网络的超分辨率图像重建方法 | |
| CN105631807A (zh) | 基于稀疏域选取的单帧图像超分辨重建方法 | |
| CN106920214A (zh) | 空间目标图像超分辨率重建方法 | |
| Liu et al. | Research on super-resolution reconstruction of remote sensing images: A comprehensive review | |
| Li et al. | CADUI: Cross-attention-based depth unfolding iteration network for pansharpening remote sensing images | |
| Wang et al. | A group-based embedding learning and integration network for hyperspectral image super-resolution | |
| Li et al. | Model-informed Multi-stage Unsupervised Network for Hyperspectral Image Super-resolution | |
| CN115496662A (zh) | 基于光谱信息融合的高阶张量光谱图像超分辨率重建方法 | |
| Xing et al. | Residual swin transformer channel attention network for image demosaicing | |
| Xiong et al. | Gradient boosting for single image super-resolution | |
| CN116563100A (zh) | 一种基于内核引导网络的盲超分辨率重建方法 | |
| Xu et al. | AS 3 ITransUNet: Spatial-Spectral Interactive Transformer U-Net with Alternating Sampling for Hyperspectral Image Super-Resolution | |
| Fang et al. | SDRCNN: A single-scale dense residual connected convolutional neural network for pansharpening |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |