CN115601260A - 一种神经网络和优化模型联合驱动的高光谱图像复原方法 - Google Patents

一种神经网络和优化模型联合驱动的高光谱图像复原方法 Download PDF

Info

Publication number
CN115601260A
CN115601260A CN202211236695.4A CN202211236695A CN115601260A CN 115601260 A CN115601260 A CN 115601260A CN 202211236695 A CN202211236695 A CN 202211236695A CN 115601260 A CN115601260 A CN 115601260A
Authority
CN
China
Prior art keywords
hyperspectral image
dimension
neural network
tensor
rank
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211236695.4A
Other languages
English (en)
Inventor
��昌毅
肖雪尧
颜露新
曹舒宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202211236695.4A priority Critical patent/CN115601260A/zh
Publication of CN115601260A publication Critical patent/CN115601260A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种神经网络和优化模型联合驱动的高光谱图像复原方法，属于数字图像处理技术领域。包括：步骤S1、以高光谱图像光谱维和非局部维低秩先验项作为约束，构造低秩张量复原模型；步骤S2、搭建神经网络，将高光谱图像重组张量块T输入所述神经网络，输出高光谱图像光谱维和非局部维的最优子空间维度；步骤S3、计算最优子空间；步骤S4、基于光谱维最优子空间和非局部维最优子空间，采用ADMM交替方向乘子法求解所述低秩张量复原模型，复原所述清晰的高光谱图像。本发明提升了高光谱图像复原的效果，将神经网络以一种新的方式嵌入到了优化模型中，结合了优化模型与神经网络的优势，为高光谱图像复原提供了一种新的思路。

Description

一种神经网络和优化模型联合驱动的高光谱图像复原方法
技术领域
本发明属于数字图像处理技术领域，更具体地，涉及一种神经网络和优化模型联合驱动的高光谱图像复原方法。
背景技术
近年来，高光谱图像在遥感领域引起了广泛关注，与RGB图像相比，高光谱图像具有丰富的光谱信息，这些信息与不同材料的物理性质有关。由于这一特性，高光谱图像在军事、农业、医学和其他相关应用中得到了广泛的应用。但是，高光谱图像很容易受到噪声、模糊和其它通常由光子效应、校准误差、大气湍流和设备限制造成破坏，进而影响后续的应用，如目标识别和分类。因此，在后续应用之前进行高光谱图像复原至关重要。
现有技术中，高光谱图像复原方法主要包括基于模型的方法和基于网络学习的方法。
在基于模型的方法中，包括基于低秩矩阵复原方法和基于低秩张量复原方法；基于低秩矩阵方法主要是将高光谱数据形式展开成矩阵形式，接着在矩阵形式的数据中寻找高光谱图像的先验信息，比如低秩矩阵复原模型(LRMR)，全变分正则化低秩矩阵分解模型(LRTV)。但是基于低秩矩阵复原的方法在将3维形式的高光谱图像数据展开成矩阵形式时，破坏了高光谱图像谱间和空间的相关性，恢复出来的高光谱图像可能会产生畸变，为了更好的利用高光谱图像谱-空之间的相关性，基于低秩张量复原的方法被提出，相对于低秩矩阵复原的方法来说，它直接将高光谱图像数据当成一个3维张量进行处理，如基于全变分正则化低秩张量分解模型(LRTDTV)，基于加权的低秩张量复原模型(WLRTR)，基于子空间低秩张量复原模型(NGM)等。
基于网络学习的方法实现了对高光谱图像进行端到端的复原，可以学习到图像不同结构的差异性，将高光谱图像的先验信息隐式建模在网络中，比如基于空洞卷积和残差学习的HSI-DeNet模型、利用高光谱图像某一波段与其相邻波段相关性的HSID-CNN模型，以及利用3D卷积来提取高光谱图像的谱-空相关性和光谱全局相关性的QRNN3D模型。
然而，基于模型的方法无法像网络方法那样，能学习到图像不同结构的差异性，而且模型中一些超参数对复原结果影响较大，不能进行自适应，而网络方法不仅需要大量的高光谱数据进行学习，更重要的是，泛化能力相对于基于模型的方法来说不足，往往只能处理单个任务。
发明内容
针对现有技术的缺陷和改进需求，本发明提供了一种神经网络和优化模型联合驱动的高光谱图像复原方法，其目的在于结合神经网络强表达能力和优化模型强泛化能力，利用神经网络学习优化模型中的重要参数，表征图像中不同结构的差异性，以此对不同图像结构施加不同约束，实现对不同结构的自适应复原，从而提升高光谱图像复原的效果。
为实现上述目的，按照本发明的一个方面，提供了一种神经网络和优化模型联合驱动的高光谱图像复原方法，包括：
步骤S1、以高光谱图像光谱维和非局部维低秩先验项作为约束，构造低秩张量复原模型，所述低秩张量复原模型的输入为退化的高光谱图像；
步骤S2、搭建神经网络，将高光谱图像重组张量块T输入所述神经网络，输出高光谱图像光谱维和非局部维的最优子空间维度；其中，
Figure BDA0003883284590000021
Figure BDA0003883284590000022
表示清晰的高光谱图像，
Figure BDA0003883284590000023
表示重组相似块的操作算子，i表示第i个重组张量块；
步骤S3、对所述张量块进行SVD分解：
Figure BDA0003883284590000024
其中，(·)(j)表示将张量块沿着模式j展开成矩阵，向量V中正交向量的个数与所述最优子空间维度一致；使Qi j＝V，计算最优子空间
Figure BDA0003883284590000031
j∈{2,3}；j＝2时，模式2表示非局部维，
Figure BDA0003883284590000032
代表非局部维最优子空间，j＝3时，模式3表示光谱维，
Figure BDA0003883284590000033
代表光谱维最优子空间；
步骤S4、基于光谱维最优子空间和非局部维最优子空间，采用ADMM交替方向乘子法求解所述低秩张量复原模型，复原所述清晰的高光谱图像。
进一步地，所述退化的高光谱图像
Figure BDA0003883284590000034
为：
Figure BDA0003883284590000035
其中，
Figure BDA0003883284590000036
表示清晰的高光谱图像，f(.)代表不同的退化算子，
Figure BDA0003883284590000037
表示随机噪声。
进一步地，所述退化算子f(.)为：对高光谱图像去噪、去模糊或修复中的一种或多种。
进一步地，所述低秩张量复原模型为：
Figure BDA0003883284590000038
式中，
Figure BDA0003883284590000039
为数据保真项，Hj(x)表示所述高光谱图像的先验项，ωj表示加权系数。
进一步地，根据高光谱图像的非局部相似性先验及低秩先验，分别在所述高光谱图像的光谱维和非局部维构造先验项Hj(x)：
Figure BDA00038832845900000310
其中，
Figure BDA00038832845900000311
为中间变量，rank(.)表示求秩算子，(×j)表示张量的模式j乘积，λi为超参。
进一步地，步骤S2中，所述神经网络包括两个结构相同的RegNet分类卷积神经网络。
进一步地，步骤S2中，还包括训练两个所述RegNet分类卷积神经网络；
两个所述RegNet分类卷积神经网络的数据集为CAVE数据集；
标签分别为：通过低秩优化算法计算搜索得到的高光谱图像张量块的光谱维最优子空间维度和非局部维最优子空间维度。
按照本发明的第二方面，提供了一种神经网络和优化模型联合驱动的高光谱图像复原系统，包括：
低秩张量复原模型构建模块，用于以高光谱图像光谱维和非局部维低秩先验项作为约束，构造低秩张量复原模型，所述低秩张量复原模型的输入为退化的高光谱图像；
最优子空间维度获取模块，用于搭建神经网络，将高光谱图像重组张量块T输入所述神经网络，输出高光谱图像光谱维和非局部维的最优子空间维度；其中，
Figure BDA0003883284590000041
表示清晰的高光谱图像，
Figure BDA0003883284590000042
表示重组相似块的操作算子，i表示第i个重组张量块；
最优子空间计算模块，用于对所述张量块进行SVD分解：
Figure BDA0003883284590000043
其中，(·)(j)表示将张量块沿着模式j展开成矩阵，向量V中正交向量的个数与所述最优子空间维度一致；使Qi j＝V，计算最优子空间
Figure BDA0003883284590000044
j∈{2,3}；j＝2时，模式2表示非局部维，
Figure BDA0003883284590000045
代表非局部维最优子空间，j＝3时，模式3表示光谱维，
Figure BDA0003883284590000046
代表光谱维最优子空间；
高光谱图像复原模块，用于基于光谱维最优子空间和非局部维最优子空间，采用ADMM交替方向乘子法求解所述低秩张量复原模型，复原所述清晰的高光谱图像。
按照本发明的第三方面，提供了一种信息数据处理终端，所述信息数据处理终端用于实现如第一方面任意一项所述的神经网络和优化模型联合驱动的高光谱图像复原方法。
按照本发明的第四方面，提供了一种计算机存储介质，包括指令，其特征在于，所述指令在计算机上运行时，使得计算机执行如第一方面任意一项所述的神经网络和优化模型联合驱动的高光谱图像复原方法。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
(1)本发明提出一种网络和优化模型结合的高光谱图像复原方式，建立低秩张量复原模型，构造低秩先验项作为低秩张量复原模型的约束，在该低秩张量复原模型的优化框架下，通过神经网络学习低秩张量复原模型中重组高光谱图像块的光谱维和非局部维的最优子空间维度，基于神经网络学习到的最优子空间维度计算光谱维和非局部维的最优子空间，通过数值优化求解构建的低秩张量复原模型。即本发明将神经网络嵌入在优化模型中，既能够在统一的优化模型框架下，可以进行多任务同时优化处理，又能够学习到图像的全局差异性和局部相似性，自适应的得到光谱维和非局部维的最优子空间维度，从而构造出最优子空间，通过网络感知到图像不同结构的差异，以此对不同图像结构施加不同约束，避免采用单纯的优化模型中对图像的不同结构同等看待，本发明的方法充分挖掘了高光谱图像的全局差异性和局部相似性，提升了高光谱图像复原的效果。同时，这种新的神经网络与优化模型的结合方式，利用了优化模型强泛化能力与神经网络强表达能力，为高光谱图像复原提供了一种新的思路。
(2)本发明提出的网络和优化结合的高光谱图像复原方法，对高光谱退化机理进行了分析，针对性地设计出网络和优化结合的低秩张量复原模型，在该模型统一的优化框架下，能对多任务的高光谱图像进行复原，可以实现高光谱图像的去噪、去模糊及修复等。仿真实验表明：在随机噪声、模糊、修补等退化场景下，本发明从主观的视觉效果和客观评价指标上均优于现有算法，能获得较好的复原效果。
附图说明
图1是本发明实施例提供的网络和优化结合的高光谱图像复原方法流程图。
图2是本发明实施例提供的方法的对CAVE数据集中图像进行去噪、去模糊、修复的结果；其中，图中的(a)-(f)分别表示：噪声图像、去噪后图像、模糊图像、去模糊图像、修复退化图像及修复后的图像。
图3是本发明实施例提供的方法与现有技术中的方法的对比仿真实验图，其中，图中的(a)-(h)分别表示原始清晰图像、噪声图像、LRMR复原图像、BM4D复原图像、TDL复原图像、NGM复原图像、KBRreg复原图像及本发明的复原图像。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示，本发明提供了一种神经网络和优化模型联合驱动的的高光谱图像复原方法，包括如下步骤：
步骤S1、以高光谱图像光谱维和非局部维低秩先验项作为约束，构造低秩张量复原模型，其中，低秩张量复原模型的输入为退化的高光谱图像；
步骤S2、搭建神经网络，将高光谱图像重组张量块T输入神经网络，输出低秩张量复原模型中高光谱图像光谱维和非局部维的最优子空间维度；其中，
Figure BDA0003883284590000061
表示清晰的高光谱图像，
Figure BDA0003883284590000062
表示重组相似块操作算子，i表示第i个重组张量块；
Figure BDA0003883284590000063
为将相似块重组后得到的三阶低秩张量；
步骤S3、对张量块
Figure BDA0003883284590000064
沿着模式j展开成矩阵后进行SVD分解：
Figure BDA0003883284590000065
其中，(·)(j)表示将张量块沿着模式j展开成矩阵，向量V中正交向量的个数与最优子空间维度一致使Qi j＝V，进而得到光谱维最优子空间和非局部维子空间
Figure BDA0003883284590000071
j∈{2,3}；j＝2时，模式2代表非局部维，j＝3时，模式3代表光谱维；
步骤S4、基于光谱维最优子空间和非局部维子空间，采用ADMM交替方向乘子法求解低秩张量复原模型，获得复原的清晰高光谱图像。
具体地，步骤S1中，退化的高光谱图像
Figure BDA0003883284590000072
其中，
Figure BDA0003883284590000073
表示清晰的高光谱图像，
Figure BDA0003883284590000074
代表了在不同退化算子下观测到的退化高光谱图像，nl、nc、nb分别表示高光谱图像的高、宽及波段数，
Figure BDA0003883284590000075
表示随机噪声，
Figure BDA0003883284590000076
表示不同的退化算子，比如去噪、去模糊、修复；
对退化的高光谱图像
Figure BDA0003883284590000077
采用最大后验概率框架，确定低秩张量复原模型：
Figure BDA0003883284590000078
式中，
Figure BDA0003883284590000079
为数据保真项，Hj(x)代表了正则化项，ωj表示加权系数，j∈{2,3}，j＝2代表非局部维，j＝3代表光谱维，如：H2(x)、H3(x)分别表示非局部维、光谱维正则化先验项信息；ω2、ω3分别表示非局部维、光谱维先验项信息的加权系数。
具体地，依据图像非局部相似性先验构造：
Figure BDA00038832845900000710
依据图像低秩先验构造：
Figure BDA00038832845900000711
其中，
Figure BDA00038832845900000712
为中间变量，rank(.)表示求秩算子。
高光谱图像光谱维和非局部维先验项为Hj(x)：
Figure BDA00038832845900000713
其中，
Figure BDA00038832845900000714
为将相似块重组后得到的三阶低秩张量，(×j)表示张量的模式-j乘积，λi为超参。
低秩张量复原模型可以转换为：
Figure BDA0003883284590000081
具体地，步骤S2中，搭建神经网络，本实施例中，选择两个结构相同的RegNet分类卷积神经网络分别学习光谱维和非局部维的最优子空间维度。
在对两个网络训练的过程中，均采用CAVE数据集，标签分别为通过低秩优化算法计算搜索得到的数据集中每张图片张量块的光谱维最优子空间维度和非局部维最优子空间维度。将数据集分别输入两个神经网络，训练网络直至网络收敛，得到光谱维和非局部维的最优子空间维度：
Figure BDA0003883284590000082
Figure BDA0003883284590000083
其中，b代表了光谱维的最优子空间维度，k代表了非局部维的最优子空间维度，net()为训练好的神经网络。
具体地，步骤S3中，对
Figure BDA0003883284590000084
进行模式j展开后进行SVD分解：
Figure BDA0003883284590000085
V中正交向量的个数由网络学习得到，与光谱维和非局部维的最优子空间维度一致，取Qi j＝V，那么最优非局部维子空间为：
Figure BDA0003883284590000086
最优光谱子空间为
Figure BDA0003883284590000087
具体地，步骤S4中，包括：
求解中间变量
Figure BDA0003883284590000088
取出与
Figure BDA0003883284590000089
相关的两项，将低秩约束项放缩为用核范数来进行约束，可以得到下列方程：
Figure BDA00038832845900000810
其中，
Figure BDA00038832845900000811
表示低秩约束，通过WNNM算法求解上述方程。
求解待复原的清晰图像
Figure BDA00038832845900000812
取出与
Figure BDA00038832845900000813
相关的两项以后，可得如下式子：
Figure BDA00038832845900000814
引入辅助变量
Figure BDA0003883284590000091
令
Figure BDA0003883284590000092
通过增广的拉格朗日算法，将有约束问题变成为无约束问题，得到下列式子：
Figure BDA0003883284590000093
其中，β是惩罚参数，
Figure BDA0003883284590000094
是拉格朗日乘子。
对上面的式子取出与
Figure BDA0003883284590000095
相关的两项以后，得到下列的方程：
Figure BDA0003883284590000096
对上述方程求其闭式解：
Figure BDA0003883284590000097
其中，
Figure BDA0003883284590000098
表示快速傅里叶逆变换，
Figure BDA0003883284590000099
表示快速傅里叶变换，*表示共轭运算，
Figure BDA00038832845900000910
表示元素的乘积运算，
Figure BDA00038832845900000911
表示单位张量。
对于辅助变量
Figure BDA00038832845900000912
取其相关的项以后，有：
Figure BDA00038832845900000913
求上述方程的解可以等价与求下面方程的解：
Figure BDA00038832845900000914
从而得到其闭式解为：
Figure BDA00038832845900000915
在每次迭代过程中，对其数值进行更新：
Figure BDA00038832845900000916
β(l+1)＝τβ(l)
得到惩罚参数β和拉格朗日乘子
Figure BDA00038832845900000917
本发明还提供了一种神经网络和优化模型联合驱动的高光谱图像复原系统，主要包括：
低秩张量复原模型构建模块，用于以高光谱图像光谱维和非局部维低秩先验项作为约束，构造低秩张量复原模型，低秩张量复原模型的输入为退化的高光谱图像；
最优子空间维度获取模块，用于搭建神经网络，将高光谱图像重组张量块T输入神经网络，输出高光谱图像光谱维和非局部维的最优子空间维度；其中，
Figure BDA0003883284590000101
表示清晰的高光谱图像，
Figure BDA0003883284590000102
表示重组相似块操作算子，i表示第i个重组张量块；
最优子空间计算模块，用于对张量块进行SVD分解：
Figure BDA0003883284590000103
其中，(·)(j)表示将张量块沿着模式j展开成矩阵，向量V中正交向量的个数应与所述最优子空间维度一致，而最优子空间维度由我们的网络得到；使Qi j＝V，计算最优子空间
Figure BDA0003883284590000104
j∈{2,3}；j＝2时，模式2表示非局部维，
Figure BDA0003883284590000105
代表非局部维最优子空间，j＝3时，模式3表示光谱维，
Figure BDA0003883284590000106
代表光谱维最优子空间；
高光谱图像复原模块，用于基于光谱维最优子空间和非局部维最优子空间，采用ADMM交替方向乘子法求解低秩张量复原模型，复原清晰的高光谱图像。
具体地，退化的高光谱图像
Figure BDA0003883284590000107
为：
Figure BDA0003883284590000108
其中，
Figure BDA0003883284590000109
表示清晰的高光谱图像，f(.)代表不同的退化算子，
Figure BDA00038832845900001010
表示随机噪声。
具体地，低秩张量复原模型为：
Figure BDA00038832845900001011
式中，
Figure BDA0003883284590000111
为数据保真项，Hj(x)表示高光谱图像光谱维和非局部维先验项，ωj表示加权系数。
本发明还提供了一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行上述的神经网络和优化模型联合驱动的高光谱图像复原方法。
本实施例中的具体仿真实验：
(1)仿真数据构造过程
随机噪声退化图像由两个步骤生成：第一步，将图像灰度范围放缩到范围[0,255]上，得到原始清晰图像；第二步，使用Matlab函数rand生成含有随机噪声图像，噪声等级大小可以设定多个等级。
(2)数据集
为了评价本发明方法的效果，本发明实施例选取了在CAVE数据集进行实验。CAVE数据集含有32张不同场景，图片大小为512×512×31，波长范围为400nm-700nm。
训练数据集构建：第一步，在CAVE数据集中，设置噪声等级范围为1-50，间隔为1，一共50个噪声等级，每张图像仿真50张不同噪声等级的退化图像；第二步，对每一张清晰图像，随机采样500个25×100×31(空间维*非局部维*光谱维)的张量块，在清晰图像对应的50张噪声等级退化图像中的对应位置上，同样选取500个含噪张量块，对于CAVE数据集中的32张图像，一共有80万个含噪数据；第三步，对每一个含噪数据，枚举出非局部维所有可能的子空间维度，利用低秩优化算法得到在不同子空间维度下的恢复结果，恢复结果最好的子空间维度即为非局部维最优子空间维度，同理也可以得到光谱维最优子空间维度。第四步，将得到的非局部维最优子空间维度和光谱维最优子空间维度作为标签，训练两个网络，一个网络学习非局部维最优子空间维度，一个网络学习光谱维最优子空间维度。80万含噪数据作为网络输入，最优子空间维度作为ground truth来训练网络。
(3)依据上述步骤建模、并求解模型。
(4)算法实现细节
在复原效果和算法速度上折衷处理，去噪迭代次数设为10，去模糊和修复迭代次数设为100，非局部维复原路线和光谱维复原路线的比例正则化参数分别为γ1＝0.6，γ2＝0.4。
(5)选择五个高光谱图像复原算法作为对比例进行对比实验，对比算法包括：LRMR算法、BM4D算法、TDL算法、NGM算法、KBRreg算法。
(6)性能评价指标
采用峰值信噪比PSNR和ERGAS指数来评价算法复原性能：
Figure BDA0003883284590000121
其中，Rmax为图像弧度范围的最大值，如8位图像的最大值Rmax＝255，MSE为均方误差，其定义如下式所示，
Figure BDA0003883284590000122
其中，M为图像中像素数量，i为像素索引，x为复原图像，x为参考图像，PSNR的值越大，复原图像的质量越高，PSNR的单位为dB。
Figure BDA0003883284590000123
其中，λ为常数，N为波段数，RMSE为均方根误差，μi为一个波段平均值。一般来说，ERGAS主要考虑光谱变化的整体情况，反应了光谱质量，它的值越小，表明光谱质量越好。
(7)仿真实验效果：图2中的(a)-(f)是对CAVE数据集中图像进行去噪、去模糊、修复的结果，用于展示本发明的方法可以用于多种不同高光谱图像复原任务。从图中可以看出本发明算法对这几种退化任务都恢复的比较好，复原效果也很清晰。
图3是不同算法去噪结果的视觉比较，每张子图的评价指标为PSNR和ERGAS值，用于同时展示算法的复原指标和视觉质量。图中的(a)-(h)分别表示原始清晰图像、噪声图像、LRMR复原图像、BM4D复原图像、TDL复原图像、NGM复原图像、KBRreg复原图像及本发明的复原图像，表1是几种方法仿真得到的PSNR和ERGAS值，分别对应与图中的(b)-(h)。从表中可以看出本发明的方法，不仅图像去噪的指标比其它方法更加好，而且图像的细节也保存的比其它方法好。
表1几种方法仿真结果
Figure BDA0003883284590000131
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种神经网络和优化模型联合驱动的高光谱图像复原方法，其特征在于，包括：
步骤S1、以高光谱图像光谱维和非局部维低秩先验项作为约束，构造低秩张量复原模型，所述低秩张量复原模型的输入为退化的高光谱图像；
步骤S2、搭建神经网络，将高光谱图像重组张量块T输入所述神经网络，输出高光谱图像光谱维和非局部维的最优子空间维度；其中，
Figure FDA0003883284580000011
Figure FDA0003883284580000012
表示清晰的高光谱图像，
Figure FDA0003883284580000013
表示重组相似块的操作算子，i表示第i个重组张量块；
步骤S3、对所述张量块进行SVD分解：
Figure FDA0003883284580000014
其中，(·)(j)表示将张量块沿着模式j展开成矩阵，向量V中正交向量的个数与所述最优子空间维度一致；使Qi j＝V，计算最优子空间
Figure FDA0003883284580000015
j＝2时，模式2表示非局部维，
Figure FDA0003883284580000016
代表非局部维最优子空间，j＝3时，模式3表示光谱维，
Figure FDA0003883284580000017
代表光谱维最优子空间；
步骤S4、基于光谱维最优子空间和非局部维最优子空间，采用ADMM交替方向乘子法求解所述低秩张量复原模型，复原所述清晰的高光谱图像。
2.根据权利要求1所述的神经网络和优化模型联合驱动的高光谱图像复原方法，其特征在于，所述退化的高光谱图像
Figure FDA0003883284580000018
为：
Figure FDA0003883284580000019
其中，
Figure FDA00038832845800000110
表示清晰的高光谱图像，f(.)代表不同的退化算子，
Figure FDA00038832845800000111
表示随机噪声。
3.根据权利要求2所述的神经网络和优化模型联合驱动的高光谱图像复原方法，其特征在于，所述退化算子f(.)为：对高光谱图像去噪、去模糊或修复中的一种或多种。
4.根据权利要求2所述的神经网络和优化模型联合驱动的高光谱图像复原方法，其特征在于，所述低秩张量复原模型为：
Figure FDA0003883284580000021
式中，
Figure FDA0003883284580000022
为数据保真项，Hj(x)表示所述高光谱图像的先验项，ωj表示加权系数。
5.根据权利要求4所述的神经网络和优化模型联合驱动的高光谱图像复原方法，其特征在于，根据高光谱图像的非局部相似性先验及低秩先验，分别在所述高光谱图像的光谱维和非局部维构造先验项Hj(x)：
Figure FDA0003883284580000023
其中，
Figure FDA0003883284580000024
为中间变量，rank(.)表示求秩算子，(×j)表示张量的模式j乘积，λi为超参。
6.根据权利要求1所述的神经网络和优化模型联合驱动的高光谱图像复原方法，其特征在于，步骤S2中，所述神经网络包括两个结构相同的RegNet分类卷积神经网络。
7.根据权利要求6所述的神经网络和优化模型联合驱动的高光谱图像复原方法，其特征在于，步骤S2中，还包括训练两个所述RegNet分类卷积神经网络；
两个所述RegNet分类卷积神经网络的数据集为CAVE数据集；
标签分别为：通过低秩优化算法计算搜索得到的高光谱图像张量块的光谱维最优子空间维度和非局部维最优子空间维度。
8.一种神经网络和优化模型联合驱动的高光谱图像复原系统，其特征在于，包括：
低秩张量复原模型构建模块，用于以高光谱图像光谱维和非局部维低秩先验项作为约束，构造低秩张量复原模型，所述低秩张量复原模型的输入为退化的高光谱图像；
最优子空间维度获取模块，用于搭建神经网络，将高光谱图像重组张量块T输入所述神经网络，输出高光谱图像光谱维和非局部维的最优子空间维度；其中，
Figure FDA0003883284580000031
Figure FDA0003883284580000032
表示清晰的高光谱图像，
Figure FDA0003883284580000033
表示重组相似块的操作算子，i表示第i个重组张量块；
最优子空间计算模块，用于对所述张量块进行SVD分解：
Figure FDA0003883284580000034
其中，(·)(j)表示将张量块沿着模式j展开成矩阵，向量V中正交向量的个数与所述最优子空间维度一致；使Qi j＝V，计算最优子空间
Figure FDA0003883284580000035
j＝2时，模式2表示非局部维，
Figure FDA0003883284580000036
代表非局部维最优子空间，j＝3时，模式3表示光谱维，
Figure FDA0003883284580000037
代表光谱维最优子空间；
高光谱图像复原模块，用于基于光谱维最优子空间和非局部维最优子空间，采用ADMM交替方向乘子法求解所述低秩张量复原模型，复原所述清晰的高光谱图像。
9.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现如权利要求1-7任意一项所述的神经网络和优化模型联合驱动的高光谱图像复原方法。
10.一种计算机存储介质，包括指令，其特征在于，所述指令在计算机上运行时，使得计算机执行如权利要求1-7任意一项所述的神经网络和优化模型联合驱动的高光谱图像复原方法。
CN202211236695.4A 2022-10-10 2022-10-10 一种神经网络和优化模型联合驱动的高光谱图像复原方法 Pending CN115601260A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211236695.4A CN115601260A (zh) 2022-10-10 2022-10-10 一种神经网络和优化模型联合驱动的高光谱图像复原方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211236695.4A CN115601260A (zh) 2022-10-10 2022-10-10 一种神经网络和优化模型联合驱动的高光谱图像复原方法

Publications (1)

Publication Number Publication Date
CN115601260A true CN115601260A (zh) 2023-01-13

Family

ID=84846032

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211236695.4A Pending CN115601260A (zh) 2022-10-10 2022-10-10 一种神经网络和优化模型联合驱动的高光谱图像复原方法

Country Status (1)

Country Link
CN (1) CN115601260A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116433534A (zh) * 2023-06-09 2023-07-14 四川工程职业技术学院 一种高光谱图像修复方法、装置、存储介质及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116433534A (zh) * 2023-06-09 2023-07-14 四川工程职业技术学院 一种高光谱图像修复方法、装置、存储介质及电子设备
CN116433534B (zh) * 2023-06-09 2023-08-22 四川工程职业技术学院 一种高光谱图像修复方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
Molini et al. Deepsum: Deep neural network for super-resolution of unregistered multitemporal images
Dong et al. Deep spatial–spectral representation learning for hyperspectral image denoising
Shao et al. Remote sensing image fusion with deep convolutional neural network
CN111369487B (zh) 一种高光谱和多光谱图像融合方法、系统及介质
Huang et al. Deep hyperspectral image fusion network with iterative spatio-spectral regularization
Dmitry et al. Deep image prior
Xie et al. Deep convolutional networks with residual learning for accurate spectral-spatial denoising
US20220301114A1 (en) Noise Reconstruction For Image Denoising
Jiang et al. Multi-scale hybrid fusion network for single image deraining
Zhang et al. LR-Net: Low-rank spatial-spectral network for hyperspectral image denoising
CN110400276B (zh) 高光谱图像去噪方法、装置
Guo et al. NERNet: Noise estimation and removal network for image denoising
Wang et al. Training very deep CNNs for general non-blind deconvolution
Xu et al. UPanGAN: Unsupervised pansharpening based on the spectral and spatial loss constrained generative adversarial network
US11741579B2 (en) Methods and systems for deblurring blurry images
Ding et al. Tensor train rank minimization with nonlocal self-similarity for tensor completion
Karwowska et al. Using super-resolution algorithms for small satellite imagery: A systematic review
CN115760814A (zh) 一种基于双耦合深度神经网络的遥感图像融合方法及系统
CN115861076A (zh) 基于矩阵分解网络的无监督高光谱图像超分辨率方法
CN115601260A (zh) 一种神经网络和优化模型联合驱动的高光谱图像复原方法
Wang et al. Underwater image super-resolution using multi-stage information distillation networks
Wen et al. The power of complementary regularizers: Image recovery via transform learning and low-rank modeling
Huang et al. Image restoration from patch-based compressed sensing measurement
Wang et al. Adaptive feature fusion network based on boosted attention mechanism for single image dehazing
Luo et al. A fast denoising fusion network using internal and external priors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination