CN114612297A - 高光谱图像超分辨率重建方法及装置 - Google Patents

高光谱图像超分辨率重建方法及装置 Download PDF

Info

Publication number
CN114612297A
CN114612297A CN202210079410.4A CN202210079410A CN114612297A CN 114612297 A CN114612297 A CN 114612297A CN 202210079410 A CN202210079410 A CN 202210079410A CN 114612297 A CN114612297 A CN 114612297A
Authority
CN
China
Prior art keywords
image
model
network
hrms
lrhs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210079410.4A
Other languages
English (en)
Inventor
朱青
王晓晨
齐娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202210079410.4A priority Critical patent/CN114612297A/zh
Publication of CN114612297A publication Critical patent/CN114612297A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

高光谱图像超分辨率重建方法及装置，针对高光谱图像，建立基于迭代阈值收缩方法及非局部自回归的融合模型，针对模型进行优化，然后进行网络设计、网络训练、网络测试，因此本发明利用非局部自相似性有效地恢复了缺失的高频信息，同时利用ISTA‑Net对变换域的信息加以利用，使网络具有很好的可解释性，提升了重建效果。

Description

高光谱图像超分辨率重建方法及装置
技术领域
本发明涉及图像处理的技术领域，尤其涉及一种高光谱图像超分辨率重建方法，以及高光谱图像超分辨率重建装置。
背景技术
高光谱成像是一种新兴的成像方式，能够在同一场景中获得特定频率的数十到数百个波段的图像，并最终获得三维数据立方体。与传统的RGB图像相比，高光谱图像(HSI)具有更多的真实场景信息，它不仅具有每个像素的光谱数据，而且还包括每个光谱波段下的图像信息。高光谱成像技术的出现，促进了计算机遥感、跟踪、分类、识别、分割等任务的发展。此外，由于高光谱图像丰富的光谱数据，引申出了针对光谱处理的许多问题，如光谱特性分析、光谱分离和目标检测。然而，虽然高光谱成像具有丰富的光谱信息，但由于入射能量有限，与可见光谱中的常规RGB相机相比，其空间分辨率有非常严重的限制。因此，对高光谱图像进行超分辨率重建的工作有着重要意义。
具体来说，传统的高光谱图像超分辨率(HSSR)方法可以分为三大类：组件替换(CS)、贝叶斯方法和稀疏表示。虽然这些方法可以完成任务，但往往存在光谱失真，难以反映HSI复杂的光谱信息，因此还需要改进。为了解决这一问题，将高分辨率多光谱(HrMS)图像和低分辨率高光谱(LrHS)图像融合得到高分辨率高光谱(HrHS)图像的方法引起了人们的注意。这种方法能够充分利用HSI的空间信息和光谱信息。MS/HS融合问题可以理解为一个从两个降维的立方体数据恢复一个三维数据的问题。与传统的泛锐化(pansharpening)方法相比，HrMS图像的每个光谱波段都作为一个PAN图像。
近年来，基于深度学习的HSSR方法取得了积极进展。这些方法可以在较少的先决条件下有效地恢复高频图像的细节部分。然而，这些方法大多数是不可解释的，这导致无法理解网络的内部机制。为了提高可解释性，通过正则化未知HrHS图像的先验结构，提出了一种具有数据驱动深度表示先验的MS/HS融合模型，充分利用光谱信息来提高HSSR的效率。
上述模型注意到了网络的可解释性，其中模块的每个部分都有明确的物理意义。这极大地促进了对网络内部发生的事情的简单直观地观察和分析。然而，在变换域中一些未被注意的信息会对重构结果产生影响。
发明内容
为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种高光谱图像超分辨率重建方法，其更好地解决高光谱图像超分辨率中遇到的光谱畸变以及深度网络中可解释性较差的问题，有效地恢复了缺失的高频信息，提升了重建效果。
本发明的技术方案是：这种高光谱图像超分辨率重建方法，其包括以下步骤：
(1)针对高光谱图像，建立基于迭代阈值收缩方法及非局部自回归的融合模型，将非局部矩阵S嵌入到标准的图像退化模型中，表示为公式(1)：
Figure BDA0003485492950000021
其中，Y表示HrMS图像，其高度和宽度为H和W，Z表示由h和w定义的LrHS图像，其高度和宽度分别为h和w，h<<H，w<<W，A、B是可以从整个训练数据中正确得到的固定矩阵，C是LrHS的空间响应，
Figure BDA0003485492950000022
是未知的，需要进行估计，其中λ是一个权重参数，f(·)代表了
Figure BDA0003485492950000023
的正则项；
(2)针对模型进行优化，并展开为一个可解释的深度网络结构，该模型通过迭代收缩阈值算法来求解，该算法通过计算公式(3)进行迭代更新
Figure BDA0003485492950000031
Figure BDA0003485492950000032
是第t次迭代中的更新变量，
Figure BDA0003485492950000033
f(·)分别表示非局部自回归模型定义的先验和重构先验；
(3)网络设计：利用HrMS图像和LrHS图像变换域上的信息设计一个可解释网络基础架构；
(4)网络训练：对待估计图像
Figure BDA0003485492950000037
进行处理，输出训练模型；
(5)网络测试：加载训练好的网络模型，向系统输入LrHS图像和HrMS图像，利用NAM-DuFNet进行重建，输出HrMS图像。
本发明针对高光谱图像，建立基于迭代阈值收缩方法及非局部自回归的融合模型，针对模型进行优化，然后进行网络设计、网络训练、网络测试，因此本发明利用非局部自相似性有效地恢复了缺失的高频信息，同时利用ISTA-Net对变换域的信息加以利用，提升了重建效果。
还提供了高光谱图像超分辨率重建装置，该装置包括：
模型建立模块，其配置来针对高光谱图像，建立基于迭代阈值收缩方法及非局部自回归的融合模型，将非局部矩阵S嵌入到标准的图像退化模型中，表示为公式(1)：
Figure BDA0003485492950000034
其中，Y表示HrMS图像，其高度和宽度为H和W，Z表示由h和w定义的LrHS图像，其高度和宽度分别为h和w，h<<H，w<<W，A、B是可以从整个训练数据中正确得到的固定矩阵，C是LrHS的空间响应，
Figure BDA0003485492950000036
是未知的，需要进行估计，其中λ是一个权重参数，f(·)代表了
Figure BDA0003485492950000038
的正则项；
模型优化模块，其配置来针对模型进行优化，并展开为一个可解释的深度网络结构，该模型通过迭代收缩阈值算法来求解，该算法通过计算公式(3)进行迭代更新
Figure BDA0003485492950000035
Figure BDA0003485492950000041
是第t次迭代中的更新变量，
Figure BDA0003485492950000042
f(·)分别表示非局部自回归模型定义的先验和重构先验；
网络设计模块，其配置来利用HrMS图像和LrHS图像变换域上的信息设计一个可解释网络基础架构；
网络训练模块，其配置来对待估计图像
Figure BDA0003485492950000044
进行处理，输出训练模型；网络测试模块，其配置来加载训练好的网络模型，向系统输入LrHS图像和HrMS图像，利用NAM-DuFNet进行重建，输出HrMS图像。
附图说明
图1为本发明的基于迭代阈值收缩算法及非局部自回归的融合模型网络结构。图中实线方块表示张量结构，虚线方块表示操作。
图2为本发明的非局部自回归模块结构。
图3为ISTA-net结构示意图。
图4示出了本发明的方法和其他竞争方法的主观比较。
图5为根据本发明的高光谱图像超分辨率重建方法的流程图。
图6为基于非局部自回归模型的深度展开融合网络整体流程图，由T个更新阶段构成,第t个阶段记为St。
图7是第t(t<T)个阶段的细节流程图。
具体实施方式
如图5所示，这种高光谱图像超分辨率重建方法，其包括以下步骤：
(1)针对高光谱图像，建立基于迭代阈值收缩方法及非局部自回归的融合模型，将非局部矩阵S嵌入到标准的图像退化模型中，表示为公式(1)：
Figure BDA0003485492950000043
其中，Y表示HrMS图像，其高度和宽度为H和W，Z表示由h和w定义的LrHS图像，其高度和宽度分别为h和w，h<<H，w<<W，A、B是可以从整个训练数据中正确得到的固定矩阵，C是LrHS的空间响应，
Figure BDA0003485492950000051
是未知的，需要进行估计，其中λ是一个权重参数，f(·)代表了
Figure BDA0003485492950000052
的正则项；
(2)针对模型进行优化，并展开为一个可解释的深度网络结构，该模型通过迭代收缩阈值算法来求解，该算法通过计算公式(3)进行迭代更新
Figure BDA0003485492950000053
Figure BDA0003485492950000054
是第t次迭代中的更新变量，
Figure BDA0003485492950000055
f(·)分别表示非局部自回归模型定义的先验和重构先验；
(3)网络设计：利用HrMS图像和LrHS图像变换域上的信息设计一个可解释网络基础架构；
(4)网络训练：对待估计图像
Figure BDA0003485492950000059
进行处理，输出训练模型；
(5)网络测试：加载训练好的网络模型，向系统输入LrHS图像和HrMS图像，利用NAM-DuFNet进行重建，输出HrMS图像。
本发明针对高光谱图像，建立基于迭代阈值收缩方法及非局部自回归的融合模型，针对模型进行优化，然后进行网络设计、网络训练、网络测试，因此本发明利用非局部自相似性有效地恢复了缺失的高频信息，同时利用ISTA-Net对变换域的信息加以利用，提升了重建效果。
优选地，所述步骤(1)中，用公式(2)来表示图像的非局部自回归模型：
Figure BDA0003485492950000056
Figure BDA0003485492950000057
表示模型误差。
优选地，所述步骤(2)中，根据公式(2)，更新公式(1)表示为：
Figure BDA0003485492950000058
其中e＝-ex；由此，新表述的优化问题通过解决以下两个子问题来解决：
Figure BDA0003485492950000061
Figure BDA0003485492950000062
使用梯度下降的ISTA方法来求解
Figure BDA0003485492950000063
将上述公式表示为：
Figure BDA0003485492950000064
Figure BDA0003485492950000065
ξ，ζ是控制收敛步长的参数。
优选地，所述步骤(3)包括以下分步骤：
(3.1)初始化，得到需要的相关参数的初始值；在t＝1，
Figure BDA0003485492950000066
e(1)＝0的时候得到以下结构：
e(2)＝-ξ[μCT(C(YA)-Z)BT] (9)
Figure BDA0003485492950000067
(3.2)使用二维卷积函数来执行初始阶段的结果，并与之前的结果YA相加，得到一个临时的融合结果，用X表示为：
Figure BDA0003485492950000068
矩阵C表示空间下采样算子，使用三组卷积+下采样操作，依次实现4倍、16倍和32倍下采样，将X下采样，从LrHS中减去X，得到LrHS信息，用E表示：
E(t)＝downsampling(x(t))-Z (12)
将
Figure BDA0003485492950000069
输入非局部自回归模块，提取其相似块并从
Figure BDA00034854929500000610
中减去它们，得到一个给定图像的相似性，用J表示：
Figure BDA00034854929500000611
将初始阶段的结果e下采样到与E相同的空间大小中，并乘以B得到建模误差，用M表示：
M(t)＝downsampling(e(t))B (14)
矩阵CT表示空间上采样算子，使用与下采样方法相同的滤波器大小的转置卷积运算，将M上采样到与HrMS图像相同的空间大小中，
并乘以BT得到一个暂时的总建模误差，用F表示：
F(t)＝upsampling(E(t)+M(t))BT 15)
将原始误差e与之前的结果J相加，并与临时的总建模误差F合并，得到总体建模误差，用P表示，其中N(t)＝e(t)+J(t)
P(t)＝ξ(μF(t)+γN(t)) 16)
通过ISTA-Net更新e，使用二维卷积函数执行新的e，并添加到前一个阶段的YA中，然后乘以B得到新的建模误差结果H
H(t)＝(YA+e(t+1)B)BT 17)
将其上采样到与HrMS图像相同的空间大小中，并与BT乘以，得到改善的梯度方向G
G(t)＝upsampling(E(t))BT (18)
将新的建模误差H与改善梯度方向G、图像相似度J及其建模误差相结合，得到新的梯度改进方向，用Q表示
Q(t)＝ζ[(1+μ)G(t)+μH(t+1)+γ(J(t)+e(t+1))] 19)
通过ISTA-Net更新
Figure BDA0003485492950000071
(3.3)对初步估计结果进行调整，添加ResNet，以减少待估计的HrHS图像和X之间的差距
x＝ResNet(X(t)) (20)
将整个框架的函数表示为：
X＝NAM-DuFNetΘ(Y，Z，P) 21)
Θ表示网络中涉及的所有参数，P表示需要输入到网络中的其他信息。
优选地，所述步骤(3)还包括分步骤(3.4)，每个训练图像的训练损失定义如下：
Figure BDA0003485492950000072
其中X’和X(t)是网络的最终输出和每阶段输出，α，β，λ是三个权衡参数；损失函数包括：第一项是该网络的输出与真实值X之间的像素级l2距离，第二项是每个阶段的输出X(t)和真值X之间的像素级L2距离，第三项是网络调整阶段的残差的像素级L2距离，最后一项是在满足对称约束
Figure BDA0003485492950000081
时，X(t)和X之间的差异。
优选地，所述步骤(4)包括以下分步骤：
(4.1)向系统输入LrHS图像和HrMS图像；
(4.2)经过卷积和一组上、下采样后得到所需LrHS/HrMS信息F；
(4.3)得到的信息F利用ISTA-Net得到初始建模误差e，将误差与信息结合经过ISTA-Net得到初始待估计图像
Figure BDA0003485492950000082
(4.4)初始待估计图像
Figure BDA0003485492950000083
经过非局部自回归模型得到相似性信息N；
(4.5)相似性信息N与初始误差e经过ISTA-Net得到新的误差e；
(4.6)新的误差e和相似性信息N与上、下采样后的初始待估计图像
Figure BDA0003485492950000084
经过ISTA-Net得到待估计图像
Figure BDA0003485492950000085
(4.7)判断是否达到迭代终止条件，若达到执行步骤(4.8)，若未达到则返回执行步骤(4.4)直至达到要求；
(4.8)利用残差网络对待估计图像
Figure BDA0003485492950000086
的轻微噪声和光强错位进行校正得到结果X’；
(4.9)判断是否达到迭代终止条件(设定迭代次数31次)，若达到则执行步骤(4.10)，若未达到则执行步骤(4.1)直至达到要求；
(4.10)输出训练模型并保存。
优选地，所述步骤(4.7)中迭代终止条件为t＝20，所述步骤(4.9)中迭代终止条件为设定迭代次数31次。
优选地，所述步骤(5)包括以下分步骤：
(5.1)加载训练好的网络模型；
(5.2)向系统输入LrHS图像和HrMS图像；
(5.3)利用NAM-DuFNet进行重建；
(5.4)输出HrMS图像。
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种高光谱图像超分辨率重建装置，该装置通常以与方法各步骤相对应的功能模块的形式表示。该装置包括：
模型建立模块，其配置来针对高光谱图像，建立基于迭代阈值收缩方法及非局部自回归的融合模型，将非局部矩阵S嵌入到标准的图像退化模型中，表示为公式(1)：
Figure BDA0003485492950000091
其中，Y表示HrMS图像，其高度和宽度为H和W，Z表示由h和w定义的LrHS图像，其高度和宽度分别为h和w，h<<H，w<<W，A、B是可以从整个训练数据中正确得到的固定矩阵，C是LrHS的空间响应，
Figure BDA0003485492950000095
是未知的，需要进行估计，其中λ是一个权重参数，f(·)代表了
Figure BDA0003485492950000096
的正则项；
模型优化模块，其配置来针对模型进行优化，并展开为一个可解释的深度网络结构，该模型通过迭代收缩阈值算法来求解，该算法通过计算公式(3)进行迭代更新
Figure BDA0003485492950000092
Figure BDA0003485492950000093
是第t次迭代中的更新变量，
Figure BDA0003485492950000094
f(·)分别表示非局部自回归模型定义的先验和重构先验；
网络设计模块，其配置来利用HrMS图像和LrHS图像变换域上的信息设计一个可解释网络基础架构；
网络训练模块，其配置来对待估计图像
Figure BDA0003485492950000097
进行处理，输出训练模型；网络测试模块，其配置来加载训练好的网络模型，向系统输入LrHS图像和HrMS图像，利用NAM-DuFNet进行重建，输出HrMS图像。
以下更详细地说明本发明。
1基于迭代阈值收缩算法及非局部自回归的融合模型
本发明使用一些自相似性先验来增强重建效果，并使用ISTA方法充分说明了其可解释性。高光谱图像具有丰富的光谱信息和丰富的自相似性及非局部相似性可以在重建中发挥重要作用，因此，本发明引入非局部化模型来对缺失的高频信息进行恢复。将非局部矩阵S嵌入到标准的图像退化模型中，表示为：
Figure BDA0003485492950000101
其中，Y表示HrMS图像，其高度和宽度为H和W。Z表示由h和w定义的LrHS图像，其高度和宽度分别为h和w(h<<H，w<<W)，A、B是可以从整个训练数据中正确得到的固定矩阵，C是LrHS的空间响应，
Figure BDA0003485492950000102
是未知的，需要进行估计。其中λ是一个权重参数，f(·)代表了
Figure BDA0003485492950000103
的正则项。这个非局部化模型反映了图像的非局部相似性，并利用非局部冗余度对图像的局部结构进行了约束。可以用以下方法来表示图像的非局部自回归模型：
Figure BDA0003485492950000104
Figure BDA0003485492950000105
表示模型误差。引入非局部自回归模块后，可以更好地利用图像的自相似性和高光谱图像的低秩先验，并极大程度地保留了图像的细节。
2模型优化
针对1中提出的模型，将对其进行优化，并展开为一个可解释的深度网络结构。该模型很容易地用迭代收缩阈值算法来求解，该算法通过计算以下内容进行迭代更新。
Figure BDA0003485492950000106
Figure BDA0003485492950000107
是第t次迭代中的更新变量，
Figure BDA0003485492950000108
f(·)分别表示非局部自回归模型定义的先验和重构先验。根据
Figure BDA0003485492950000109
更新上述公式表示为：
Figure BDA00034854929500001010
其中e＝-ex。由此，新表述的优化问题可以通过解决以下两个子问题来解决：
Figure BDA00034854929500001011
Figure BDA00034854929500001012
本发明使用梯度下降的ISTA方法来求解
Figure BDA0003485492950000111
e(t+1)将上述公式表示为：
Figure BDA0003485492950000112
Figure BDA0003485492950000113
ξ，ζ是控制收敛步长的参数。不难看出，这个清晰的迭代结构可以很容易地构建一个扩展网络，通过赋予每个操作特定的网络连接结构，而且近端映射可以很容易地表示为卷积网络模块且所有参数(如非线性变换、收缩阈值、步长等)都是端到端学习的。
3基于迭代阈值收缩算法及局部自回归的融合模型网络
3.1网络结构
本发明设计的网络专门用于高光谱图像的高分辨率重建，不仅更好地利用了HSI的低秩先验结构，而且更有效地保留了HrHS的细粒度信息，利用非局部相似性有效地恢复了缺失的高频信息。其结构如图1所示。
第一部分是进行初始化，得到我们需要的相关参数(如
Figure BDA0003485492950000114
e等)的初始值。因此，根据上述公式，在t＝1，
Figure BDA0003485492950000115
e(1)＝0的时候可以得到以下结构：
e(2)＝-ξ[μCT(C(YA)-Z)BT]
Figure BDA0003485492950000116
第二部分是整个网络最主要的部分。首先，使用二维卷积函数来执行初始阶段的结果，并与之前的结果YA相加，得到一个临时的融合结果，用X表示为：
Figure BDA0003485492950000117
然后，矩阵C表示空间下采样算子，这里使用了三组卷积+下采样操作，依次实现了4倍、16倍和32倍下采样。因此，将X下采样，从LrHS中减去X，得到需要的LrHS信息，用E表示。
E(t)＝downsampling(X(t))-Z
同时，将
Figure BDA0003485492950000118
输入非局部自回归模块，提取其相似块并从
Figure BDA0003485492950000119
中减去它们。因此，得到一个给定图像的相似性，用J表示。非局部自回归模块结构如图2所示
Figure BDA0003485492950000121
然后，将初始阶段的结果e下采样到与E相同的空间大小中，并乘以B得到建模误差，用M表示。
M(t)＝dounsampling(e(t))B
矩阵CT表示空间上采样算子，这里使用了与下采样方法相同的滤波器大小的转置卷积运算。因此，将M上采样到与HrMS图像相同的空间大小中，并乘以BT得到一个暂时的总建模误差，用F表示。
F(t)＝upsampling(E(t)+M(t))BT
然后，将原始误差e与之前的结果J相加，并与临时的总建模误差F合并，得到总体建模误差，用P表示。其中N(t)＝e(t)+J(t)
P(t)＝ξ(μF(t)+γN(t))
然后通过ISTA-Net更新e。
ISTA-Net采用一般的非线性变换函数。设计为两个线性卷积算子(无偏置项)的组合，由一个校正后的线性单元(ReLU)分隔。它不仅具有良好的非线性可学习性，而且使网络能够在结构简单的同时平衡重构效率。ISTA-Net利用小波变换的可逆特性，引入的左逆，表示为
Figure BDA0003485492950000122
设计出与的对称的结构。并满足公式
Figure BDA0003485492950000123
其中I是恒等式算子。由于在训练过程中添加了可学习的对称约束，这使得更好地估计和利用更多关于转换域的信息，以便提高重建的效率。ISTA-Net结构如图3所示。接下来，使用二维卷积函数执行新的e，并添加到前一个阶段的YA中，然后乘以B得到新的建模误差结果H。
H(t)＝(YA+e(t+1)B)BT
同时，将其上采样到与HrMS图像相同的空间大小中，并与BT乘以，得到改善的梯度方向G。
G(t)＝upsampling(E(t))BT
然后，将新的建模误差H与改善梯度方向G、图像相似度J及其建模误差相结合，得到新的梯度改进方向，用Q表示。
Q(t)＝ζ[(1+μ)G(t)+μH(t+1)+γ(J(t)+e(t+1))]
最后，通过ISTA-Net更新
Figure BDA0003485492950000124
第三部分是对初步估计结果进行调整。由于HrMS图像Y通常被轻微的噪声或光强错位，这导致以往的低秩假设存在一定的偏差。因此，在网络的最后阶段进行了调整，添加了ResNet，以减少待估计的HrHS图像和X之间的差距。
x＝ResNet(x(t))
通过这种方式，构建了一个结构清晰的、可解释的深度学习网络，称为基于非局部自回归模型的深度展开融合网络(NAM-DuFNet)。将整个框架的函数表示为：
X＝NAM-DuFNetΘ(Y，Z，P)
Θ表示网络中涉及的所有参数，P表示需要输入到网络中的其他信息，如光谱和空间响应。
3.2损失函数设计
每个训练图像的训练损失定义如下：
Figure BDA0003485492950000131
其中X’和X(t)是网络的最终输出和每阶段输出，α，β,λ是三个权衡参数。损失函数的设计包括四个主要方面。第一项是该网络的输出与真实值X之间的像素级l2距离。第二项是每个阶段的输出X(t)和真实值X之间的像素级L2距离。第三项是网络调整阶段的残差的像素级L2距离。最后一项是在满足对称约束
Figure BDA0003485492950000132
时，X(t)和X之间的差异。
4基于非局部自回归模型的深度展开融合网络主要步骤
训练过程：
S1向系统输入LrHS图像和HrMS图像
S2经过卷积和一组上、下采样后得到所需LrHS/HrMS信息F
S3得到的信息F利用ISTA-Net得到初始建模误差e，将误差与信息结合经过ISTA-Net得到初始待估计图像
Figure BDA0003485492950000133
S4初始待估计图像
Figure BDA0003485492950000134
经过非局部自回归模型得到相似性信息N
S5相似性信息N与初始误差e经过ISTA-Net得到新的误差e
S6新的误差e和相似性信息N与上、下采样后的初始待估计图像
Figure BDA0003485492950000141
经过ISTA-Net得到待估计图像
Figure BDA0003485492950000142
S7判断是否达到迭代终止条件(t＝20)，若达到执行S8，若未达到则返回执行S4直至达到要求
S8利用残差网络对待估计图像
Figure BDA0003485492950000143
的轻微噪声和光强错位进行校正得到结果X’
S9判断是否达到迭代终止条件(设定迭代次数31次)，若达到则执行S10,若未达到则执行S1直至达到要求
S10输出训练模型并保存
测试过程
S1加载训练好的网络模型
S2向系统输入LrHS图像和HrMS图像
S3利用NAM-DuFNet进行重建
S4输出HrMS图像
本发明是基于迭代阈值收缩算法及非局部自回归的高光谱图像超分辨率方法，主要包括模型设计、模型优化、网络构建以及网络的训练和测试。如图5所示。具体步骤如下：
(1)模型的建立阶段：根据LrHS图像和HrMS图像的观测模型建立多光谱/高光谱图像融合模型。
(2)模型优化阶段：针对步骤(1)中的模型优化问题，利用ISTA算法设计一个运算简单、结构清晰的迭代求解形式。
(3)网络设计阶段：将上述步骤(2)中的迭代求解形式展开，将其迭代中的每个步骤与网络的模块一一对应，建立基于非局部自回归模型的深度展开融合网络(NAM-DuFNet)。
(4)网络训练阶段：将LrHS图像和HrMS图像输入步骤(3)NAM-DuFNet，根据损失函数，通过迭代更新NAM-DuFNet参数使得输出逐渐接近groundtruth图像，达到设定迭代次数时终止训练并保存模型。
(5)网络测试阶段：将待测试的LrHS图像和HrMS图像输入步骤(4)中保存的模型，其输出结果即为重建后的HrHS图像。
上述步骤具体如下：
步骤:(1)：关于LrHS图像和HrMS图像具有线性关系
Figure BDA0003485492950000151
其中，Y为HrMS图像，Z为LrHS图像，C为空间响应矩阵，A,B均为系数矩阵，
Figure BDA0003485492950000152
为待估计矩阵。因此可以设计LrHS图像和HrMS图像融合模型为，
Figure BDA0003485492950000153
S是非局部自矩阵，表示为：
Figure BDA0003485492950000154
e为建模误差。f(·)为
Figure BDA0003485492950000155
上的正则项。
步骤(2)：在得到问题模型后，采取迭代阈值收缩算法迭代更新
Figure BDA0003485492950000156
和e，具体地，在第k次迭代中，利用如下公式来对
Figure BDA0003485492950000157
和e进行更新。
Figure BDA0003485492950000158
Figure BDA0003485492950000159
步骤(3)：在得到清晰的迭代形式后，利用上、下采样算子来表示空间响应矩阵C及其转置矩阵。利用ISTA-Net构建更新过程。具体更新过程子步骤如图6-7所示。
步骤(4)：使用了CAVE数据集，该数据库由32个场景组成，分为5个部分。这些文件包括10nm步长从400nm到700nm到10nm的全光谱分辨率反射数据(共31个波段)。每个频带都被存储为一个16位灰度的PNG图像。从数据库中取20个作为训练样本。使用和Adam优化器。在实验中有许多不可学习的参数，并将在这里进行说明。在损失函数中存在α，β，λ三个固定值，其值分别为0.1、0.01、0.01。在非局部自回归模型中，只计算以位置i为中心的q×q块，而不是整个图像。为了平衡成本和性能之间的平衡，最终选择了q＝8。本发明使用TensorFlow来实现和训练本发明的网络，进行4000次迭代，批处理大小为7，学习率为0.0001。
步骤(5)：本发明选择剩余选择12个场景作为测试集，将本发明提出的方法与传统处理方法BlindFUse和基于网络的3D-CNN、ResNet、MHF-net方法进行比较。采用四种定量的图像质量指标进行性能评价，峰值信噪比(PSNR)、谱角映射(SAM)、相对无关纲全局误差(ERGAS)和结构相似度(SSIM)进行性能评价。ERGAS和SAM值越小，PSNR、SSIM值越大，说明重建效果越好。
为了验证所提出的网络结构的有效性，将本发明提出的方法在CAVE数据集上进行了测试。表1显示了所有对比算法在CAVE数据集上的定量结果(PSNR/SSIM/SAM/ERGAS)，通过比较，不难发现，本发明在所选的评价指标上优于其他竞争方法。通过图4可以在主观上感觉到，本发明优于其他相互竞争的方法，无论是减色还是边缘的细粒度。对比3D-CNN和MHF-net，本发明在颜色和亮度性能方面取得了更理想的效果，比较BlindFuse和ResNet，本发明的方法的边缘细节和清晰度更加理性。
表1
Figure BDA0003485492950000161
研究了图像自相似性对模型的一些影响。DuFNet是一种采用相同的优化方法和扩展方法获得的可解释网络，而不添加图像自相似性信息。DuFNet与MHF-net的重建效果几乎相同。但根据实验，虽然具有相同的效果，DuFNet使用的训练时间和迭代次数小于MHF-net方法。在相同的实验条件下，分别设置一组增加非局部AR模型，另一组直接用于重建，实验结果如表1所示。不难看出，在添加一些信息图像自相似性，结果实现良好的重建结果在所有四个评价指标，表明改进的非局部化的非相干特性使其适合HSSR应用尤其是在边缘信息以及混叠伪影中发挥积极作用。
为了反映引入
Figure BDA0003485492950000171
的方法效果良好，比较了根据以下模型扩展的网络。
Figure BDA0003485492950000172
该模型根据观测模型进行直接融合，采用与本模型相同的优化方法和扩展方法得到相应的网络，在相同的实验设置下得到的结果见表2。可以直观地看到我们的网络结果优于intDuFNet和intNAM-DuFNet所有评价指标，表明本发明的引入取得了良好的结果，证明光谱的低秩先验信息对重建工作有影响。
表2
Figure BDA0003485492950000173
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (9)

1.高光谱图像超分辨率重建方法，其特征在于：其包括以下步骤：
(1)针对高光谱图像，建立基于迭代阈值收缩方法及非局部自回归的融合模型，将非局部矩阵S嵌入到标准的图像退化模型中，表示为公式(1)：
Figure FDA0003485492940000011
其中，Y表示HrMS图像，其高度和宽度为H和W，Z表示由h和w定义的LrHS图像，其高度和宽度分别为h和w，h<<H，w<<W，A、B是可以从整个训练数据中正确得到的固定矩阵，C是LrHS的空间响应，
Figure FDA0003485492940000017
是未知的，需要进行估计，其中λ是一个权重参数，f(·)代表了
Figure FDA0003485492940000018
的正则项；
(2)针对模型进行优化，并展开为一个可解释的深度网络结构，该模型通过迭代收缩阈值算法来求解，该算法通过计算公式(3)进行迭代更新
Figure FDA0003485492940000012
Figure FDA0003485492940000013
是第t次迭代中的更新变量，
Figure FDA0003485492940000014
f(·)分别表示非局部自回归模型定义的先验和重构先验；
(3)网络设计：利用HrMS图像和LrHS图像变换域上的信息设计一个可解释网络基础架构；
(4)网络训练：对待估计图像
Figure FDA0003485492940000019
进行处理，输出训练模型；
(5)网络测试：加载训练好的网络模型，向系统输入LrHS图像和HrMS图像，利用NAM-DuFNet进行重建，输出HrMS图像。
2.根据权利要求1所述的高光谱图像超分辨率重建方法，其特征在于：所述步骤(1)中，用公式(2)来表示图像的非局部自回归模型：
Figure FDA0003485492940000015
Figure FDA0003485492940000016
表示模型误差。
3.根据权利要求2所述的高光谱图像超分辨率重建方法，其特征在于：
所述步骤(2)中，根据公式(2)，更新公式(1)表示为：
Figure FDA0003485492940000021
其中e＝-eX；由此，新表述的优化问题通过解决以下两个子问题来解决：
Figure FDA0003485492940000022
Figure FDA0003485492940000023
使用梯度下降的ISTA方法来求解
Figure FDA0003485492940000024
e(t+1)将上述公式表示为：
Figure FDA0003485492940000025
Figure FDA0003485492940000026
ξ，ζ是控制收敛步长的参数。
4.根据权利要求3所述的高光谱图像超分辨率重建方法，其特征在于：所述步骤(3)包括以下分步骤：
(3.1)初始化，得到需要的相关参数的初始值；在t＝1，
Figure FDA0003485492940000027
e(1)＝0的时候得到以下结构：
e(2)＝-ξ[μCT(C(YA)-Z)BT] (9)
Figure FDA0003485492940000028
(3.2)使用二维卷积函数来执行初始阶段的结果，并与之前的结果YA相加，得到一个临时的融合结果，用X表示为：
Figure FDA0003485492940000029
矩阵C表示空间下采样算子，使用三组卷积+下采样操作，依次实现4倍、16倍和32倍下采样，将X下采样，从LrHS中减去X，得到LrHS信息，用E表示：
E(t)＝downsampling(X(t))-z (12)
将
Figure FDA00034854929400000210
输入非局部自回归模块，提取其相似块并从
Figure FDA00034854929400000211
中减去它们，得到一个给定图像的相似性，用J表示：
Figure FDA0003485492940000031
将初始阶段的结果e下采样到与E相同的空间大小中，并乘以B得到建模误差，用M表示：
M(t)＝downsampling(e(t))B (14)
矩阵CT表示空间上采样算子，使用与下采样方法相同的滤波器大小的转置卷积运算，将M上采样到与HrMS图像相同的空间大小中，并乘以BT得到一个暂时的总建模误差，用F表示：
F(t)＝upsampling(E(t)+M(t))BT (15)
将原始误差e与之前的结果J相加，并与临时的总建模误差F合并，得到总体建模误差，用P表示，其中N(t)＝e(t)+J(t)
P(t)＝ξ(μF(t)+γN(t)) (16)
通过ISTA-Net更新e，使用二维卷积函数执行新的e，并添加到前一个阶段的YA中，然后乘以B得到新的建模误差结果H
H(t)＝(YA+e(t+1)B)BT (17)
将其上采样到与HrMS图像相同的空间大小中，并与BT乘以，得到改善的梯度方向G
G(t)＝upsampling(E(t))BT (18)
将新的建模误差H与改善梯度方向G、图像相似度J及其建模误差相结合，得到新的梯度改进方向，用Q表示
Q(t)＝ζ[(1+μ)G(t)+μH(t+1)+γ(J(t)+e(t+1))] (19)
通过ISTA-Net更新
Figure FDA0003485492940000032
(3.3)对初步估计结果进行调整，添加ResNet，以减少待估计的HrHS图像和X之间的差距
X＝ResNet(X(t)) (20)
将整个框架的函数表示为：
X＝NAM-DuFNetΘ(Y，Z，P)
(21)
Θ表示网络中涉及的所有参数，P表示需要输入到网络中的其他信息。
5.根据权利要求4所述的高光谱图像超分辨率重建方法，其特征在于：所述步骤(3)还包括分步骤(3.4)，每个训练图像的训练损失定义如下：
Figure FDA0003485492940000041
其中X’和X(t)是网络的最终输出和每阶段输出，α，β,λ是三个权衡参数；损失函数包括：第一项是该网络的输出与真实值X之间的像素级l2距离，第二项是每个阶段的输出X(t)和真值X之间的像素级L2距离，第三项是网络调整阶段的残差的像素级L2距离，最后一项是在满足对称约束
Figure FDA0003485492940000042
时，X(t)和X之间的差异。
6.根据权利要求5所述的高光谱图像超分辨率重建方法，其特征在于：所述步骤(4)包括以下分步骤：
(4.1)向系统输入LrHS图像和HrMS图像；
(4.2)经过卷积和一组上、下采样后得到所需LrHS/HrMS信息F；
(4.3)得到的信息F利用ISTA-Net得到初始建模误差e，将误差与信息结合经过ISTA-Net得到初始待估计图像
Figure FDA0003485492940000043
(4.4)初始待估计图像
Figure FDA0003485492940000044
经过非局部自回归模型得到相似性信息N；
(4.5)相似性信息N与初始误差e经过ISTA-Net得到新的误差e；
(4.6)新的误差e和相似性信息N与上、下采样后的初始待估计图像
Figure FDA0003485492940000045
经过ISTA-Net得到待估计图像
Figure FDA0003485492940000046
(4.7)判断是否达到迭代终止条件，若达到执行步骤(4.8)，若未达到则返回执行步骤(4.4)直至达到要求；
(4.8)利用残差网络对待估计图像
Figure FDA0003485492940000047
的轻微噪声和光强错位进行校正得到结果X’；
(4.9)判断是否达到迭代终止条件(设定迭代次数31次)，若达到则执行步骤(4.10)，若未达到则执行步骤(4.1)直至达到要求；
(4.10)输出训练模型并保存。
7.根据权利要求6所述的高光谱图像超分辨率重建方法，其特征在于：所述步骤(4.7)中迭代终止条件为t＝20，所述步骤(4.9)中迭代终止条件为设定迭代次数31次。
8.根据权利要求7所述的高光谱图像超分辨率重建方法，其特征在于：所述步骤(5)包括以下分步骤：
(5.1)加载训练好的网络模型；
(5.2)向系统输入LrHS图像和HrMS图像；
(5.3)利用NAM-DuFNet进行重建；
(5.4)输出HrMS图像。
9.高光谱图像超分辨率重建装置，其特征在于：其包括：
模型建立模块，其配置来针对高光谱图像，建立基于迭代阈值收缩方法及非局部自回归的融合模型，将非局部矩阵S嵌入到标准的图像退化模型中，表示为公式(1)：
Figure FDA0003485492940000051
其中，Y表示HrMS图像，其高度和宽度为H和W，Z表示由h和w定义的LrHS图像，其高度和宽度分别为h和w，h<<H，w<<W，A、B是可以从整个训练数据中正确得到的固定矩阵，C是LrHS的空间响应，
Figure FDA0003485492940000052
是未知的，需要进行估计，其中λ是一个权重参数，f(·)代表了
Figure FDA0003485492940000053
的正则项；
模型优化模块，其配置来针对模型进行优化，并展开为一个可解释的深度网络结构，该模型通过迭代收缩阈值算法来求解，该算法通过计算公式(3)进行迭代更新
Figure FDA0003485492940000054
Figure FDA0003485492940000055
是第t次迭代中的更新变量，
Figure FDA0003485492940000056
f(·)分别表示非局部自回归模型定义的先验和重构先验；
网络设计模块，其配置来利用HrMS图像和LrHS图像变换域上的信息设计一个可解释网络基础架构；
网络训练模块，其配置来对待估计图像
Figure FDA0003485492940000061
进行处理，输出训练模型；
网络测试模块，其配置来加载训练好的网络模型，向系统输入LrHS图像和HrMS图像，利用NAM-DuFNet进行重建，输出HrMS图像。
CN202210079410.4A 2022-01-24 2022-01-24 高光谱图像超分辨率重建方法及装置 Pending CN114612297A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210079410.4A CN114612297A (zh) 2022-01-24 2022-01-24 高光谱图像超分辨率重建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210079410.4A CN114612297A (zh) 2022-01-24 2022-01-24 高光谱图像超分辨率重建方法及装置

Publications (1)

Publication Number Publication Date
CN114612297A true CN114612297A (zh) 2022-06-10

Family

ID=81857522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210079410.4A Pending CN114612297A (zh) 2022-01-24 2022-01-24 高光谱图像超分辨率重建方法及装置

Country Status (1)

Country Link
CN (1) CN114612297A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563174A (zh) * 2023-07-11 2023-08-08 江西师范大学 一种图像的重建方法、装置和计算机存储介质
WO2024174645A1 (zh) * 2023-02-20 2024-08-29 天翼数字生活科技有限公司 一种基于深度学习的失真图像重建方法及相关装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024174645A1 (zh) * 2023-02-20 2024-08-29 天翼数字生活科技有限公司 一种基于深度学习的失真图像重建方法及相关装置
CN116563174A (zh) * 2023-07-11 2023-08-08 江西师范大学 一种图像的重建方法、装置和计算机存储介质
CN116563174B (zh) * 2023-07-11 2023-09-29 江西师范大学 一种图像的重建方法、装置和计算机存储介质

Similar Documents

Publication Publication Date Title
Jiang et al. Learning spatial-spectral prior for super-resolution of hyperspectral imagery
Chang et al. Spatial-adaptive network for single image denoising
Zhang et al. Image restoration: From sparse and low-rank priors to deep priors [lecture notes]
CN106952228B (zh) 基于图像非局部自相似性的单幅图像的超分辨率重建方法
Wu et al. Demosaicing based on directional difference regression and efficient regression priors
Huang et al. Deep hyperspectral image fusion network with iterative spatio-spectral regularization
Pan et al. Dual convolutional neural networks for low-level vision
US8699790B2 (en) Method for pan-sharpening panchromatic and multispectral images using wavelet dictionaries
CN106920214B (zh) 空间目标图像超分辨率重建方法
CN114612297A (zh) 高光谱图像超分辨率重建方法及装置
CN112529776B (zh) 图像处理模型的训练方法、图像处理方法及装置
CN109636722B (zh) 一种基于稀疏表示的在线字典学习超分辨率重建的方法
CN111340697B (zh) 一种基于聚类回归的图像超分辨方法
Li et al. Underwater image high definition display using the multilayer perceptron and color feature-based SRCNN
CN114820352A (zh) 一种高光谱图像去噪方法、装置及存储介质
CN112163998A (zh) 一种匹配自然降质条件的单图像超分辨率分析方法
Ren et al. Remote sensing image recovery via enhanced residual learning and dual-luminance scheme
Yu et al. Two-stage image decomposition and color regulator for low-light image enhancement
Xiong et al. Gradient boosting for single image super-resolution
Yang et al. Variation learning guided convolutional network for image interpolation
CN113240581A (zh) 一种针对未知模糊核的真实世界图像超分辨率方法
Soh et al. Joint high dynamic range imaging and super-resolution from a single image
CN115880199A (zh) 一种长波红外高光谱与多光谱图像融合方法、系统及介质
Amiri et al. A fast video super resolution for facial image
Zandavi Post-trained convolution networks for single image super-resolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination