CN114897737A - 一种基于非配对无监督神经网络的高光谱图像去噪方法 - Google Patents

一种基于非配对无监督神经网络的高光谱图像去噪方法 Download PDF

Info

Publication number
CN114897737A
CN114897737A CN202210572277.6A CN202210572277A CN114897737A CN 114897737 A CN114897737 A CN 114897737A CN 202210572277 A CN202210572277 A CN 202210572277A CN 114897737 A CN114897737 A CN 114897737A
Authority
CN
China
Prior art keywords
network
matrix
hyperspectral
loss function
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210572277.6A
Other languages
English (en)
Inventor
朱虎
刘宏波
邓丽珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202210572277.6A priority Critical patent/CN114897737A/zh
Publication of CN114897737A publication Critical patent/CN114897737A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于非配对无监督神经网络的高光谱图像去噪方法，具体包括：高光谱图像通过仿真生成含噪数据集，并进行矩阵分解操作形成低维投影矩阵；基于对低维投影矩阵最小化均方误差的无偏风险估计，进行无监督网络损失函数的计算；针对低维投影矩阵构建U‑net网络；取另外高质量干净数据集，构建三维小波变换网络；将上述构建的U‑net网络与三维小波变换网络联合，基于U‑net网络的损失函数和三维小波变换网络的重构损失函数得到总损失函数，训练非配对无监督神经网络模型。本发明通过输入不同内容的数据形成非配对输入，利用额外信息引导增强恢复出的高光谱图像，能够恢复出边缘更加清晰的干净图像，解决了无监督方法较难学习良好映射的问题。

Description

一种基于非配对无监督神经网络的高光谱图像去噪方法
技术领域
本发明涉及一种基于非配对无监督神经网络的高光谱图像去噪方法，属于高光谱图像处理领域。
背景技术
当下，得益于遥感技术的发展与光谱分辨率的增强，对地物光谱特征的探索与认知逐渐加深，越来越多的狭窄光谱范围内的隐藏信息被人们所发现，促使高光谱遥感成为21世纪遥感技术领域重要的研究方向之一。在高光谱遥感应用中，采用成像仪获取数据后，需要对高光谱遥感数据进行处理和分析，数据预处理主要目的是为了得到质量尽可能好且真实的高光谱图像，为后续的数据分析和数据应用提供保障。数据预处理和数据分析是数据应用的前提和保障，是拓展高光谱应用的广度和深度的关键所在。因此，对数据预处理和数据分析中的关键技术展开研究具有重大的理论意义和实际应用价值，本发明重点针对高光谱遥感影像数据预处理中的去噪技术展开研究。
近十年来，许多基于深度学习的高光谱去噪方法被提出。基于深度学习的方法由于具有较高的表示性和较强的学习能力，也被用于高光谱去噪。基于深度学习的方法使用可学习的通用网络架构对模型进行参数化，并引入各种损失函数，直接学习从有噪声高光谱数据到干净高光谱数据的非线性映射，如HSID-CNN、HSI-SDeCNN等方法，但这些方法没有考虑联合高光谱数据的空谱相关性，没有有效利用全局相关性。2021年，Wei等人提出了一种用于高光谱图像去噪具有交替方向三维准递归神经网络QRNN3D，网络能有效地将领域知识与结构空间、光谱相关性和全局相关性沿光谱方向嵌入。此外，引入交替方向结构，在不增加计算成本的情况下消除了因果相关性，该模型能够对空间光谱依赖性建模，同时适用于任意通道数目的高光谱数据。
许多基于神经网络的有监督图像去噪方法，通常表现良好，都比传统的去噪算法有更好的性能。但这些基于卷积神经网络的去噪方法非常依赖大量配对的噪声干净高光谱图像数据进行训练，此外使用合成的配对的噪声干净高光谱图像数据训练的模型，由于合成噪声和真实噪声之间差异较大，在仿真数据集训练得到网络模型的泛化性能很差；而无监督方法仅使用低质量数据，无法较好的去学习映射关系，导致恢复的数据可能存在质量低、数据丢失等问题。
发明内容
针对上述存在的问题，本发明提供了一种基于非配对无监督神经网络的高光谱图像去噪方法，通过使用含噪高光谱数据作为输入，能够快速地完成神经网络端到端的训练，解决了有监督方法需要大量配对噪声干净数据的问题；同时通过非配对输入形式，融合多个网络的方法，引入三维小波变换神经网络分支，通过该网络对无监督网络输出的低质量投影矩阵进行增强，通过总损失函数进行训练，指导无监督网络学习更好的映射。
本发明为解决上述技术问题采用的技术方案如下：
一种基于非配对的无监督神经网络的高光谱图像去噪方法，其特征在于，具体包括以下步骤：
S1：初始高光谱图像通过仿真生成含噪数据集，将所述含噪数据集处理成128*128*31大小的通用格式的图像数据；
S2：将完成上述步骤S1的图像数据进行矩阵分解操作后表示为低维投影矩阵；
S3：基于对步骤S2所述低维投影矩阵最小化均方误差的无偏风险估计，进行无监督网络损失函数的计算；
S4：针对低维投影矩阵构建U-net网络；
S5：取另外高质量干净数据集，构建一个三维小波变换网络以提取高质量风格特征，对三维小波变换网络输入的额外信息数据采用主成分分析预处理；
S6：将步骤S4所述的U-net网络与步骤S5所述的三维小波变换网络联合，结合U-net网络的损失函数和三维小波变换网络的重构损失函数作为总损失函数，训练非配对无监督神经网络模型；
S7：将合成的带噪声的测试集ICVL高光谱图像作为输入，经过步骤S6所述的非配对无监督神经网络模型输出得到去噪后的清晰高光谱图像。
步骤2中所述的矩阵分解操作具体实现步骤如下：
一个干净的高光谱图像
Figure BDA0003660652990000031
由B个含有n个像素的谱向量组成，被加性高斯噪声
Figure BDA0003660652990000032
破坏，得到的带噪高光谱观测图像
Figure BDA0003660652990000033
将所述X分解为两个矩阵因子乘积形式的谱低秩模型X＝DZ，其中，由基于Hysime算法估计出子空间数K和算法SVD得到正交矩阵基D＝UK，U是所述Y通过SVD算法得到的具有非递增性质的左奇异值正交矩阵，Z是X在子空间基D下的系数矩阵；考虑在非独立同分布条件下的加性高斯噪声，需要将非独立同分布的Y处理成独立同分布
Figure BDA0003660652990000041
即
Figure BDA0003660652990000042
Σ是由HySime算法得到的噪声协方差矩阵，通过矩阵乘法恢复去噪后的干净高光谱数据
Figure BDA0003660652990000043
Figure BDA0003660652990000044
和
Figure BDA0003660652990000045
分别是
Figure BDA0003660652990000046
对应的
Figure BDA0003660652990000047
得到的正交矩阵基和系数矩阵；
所述步骤S3中计算无监督损失函数的公式具体如下：
LSURE＝LMSE+Ldiv-σ2
其中，LSURE是基于子空间表示的Stein无偏风险估计损失函数，LMSE是均方误差损失，Ldiv是散度损失，σ是数据噪声级；
所述LMSE的求解过程为：
Figure BDA0003660652990000048
假设
Figure BDA0003660652990000049
是基于子空间基的关于
Figure BDA00036606529900000410
的投影矩阵，所述Ldiv的求解过程为：
Figure BDA00036606529900000411
式中，
Figure BDA00036606529900000412
是一个具有均值为0、方差为1的高斯分布矩阵，εb作为投影矩阵的偏差，
Figure BDA00036606529900000413
和
Figure BDA00036606529900000414
是分别对应由网络输出的两个投影矩阵的估计，通过改变ε的大小影响投影矩阵有一个极小的偏差，把ε设置在范围10-9到10-5，噪声级σ通过取
Figure BDA0003660652990000051
信道估计取平均值，其中
Figure BDA0003660652990000052
使用高斯标准差的鲁棒小波估计函数计算，得到每个通道对应的噪声标准差列表
Figure BDA0003660652990000053
步骤S4中所述U-net网络是由一个特征提取层、5对编码器解码器模块和一个重建层进行层级构建的基本架构，所述每一对编码器和解码器之间引入相同分辨率的跳跃连接，所述重建层采用残差连接和三维反卷积来恢复底层干净的高光谱投影图像。
步骤S5中所述高质量干净数据集为Harvard数据集。
步骤S6中所述三维小波变换网络的重构损失函数LWT的定义如下：
Figure BDA0003660652990000054
其中XPCA是经过主成分分析，即PCA降维得到的低维特征投影矩阵，
Figure BDA0003660652990000055
代表三层三维离散小波变换神经网络；
所述总损失函数LT＝LSURE+λLWT，对所述三维小波变换网络分支加入权重项λ来控制额外信息的融合增强；
利用总损失函数LT训练非配对的无监督网络模型。
一种计算机设备，包括存储器、处理器及计算机程序，其中，所述处理器与存储器连接，所述存储器用于储存实现如权利要求1-6任一项所述的高光谱图像去噪方法的计算机程序，当计算机设备运行时，所述处理器加载并执行所述存储器存储的计算机程序，以使计算机设备实现如权利要求1-6任一项所述的高光谱图像去噪方法的各个步骤。
与现有技术相比，本发明的技术方案具有以下的技术效果：
本发明利用子空间表示方法将高光谱数据投影到低维子空间，加快网络训练的同时，简化了Stein损失函数直接使用高维数据计算的过程。同时通过构建小波网络分支与无监督网络分支引入不同内容数据集，构成非配对形式的输入，使用主成分分析方法控制小波变换网络输出的数据维度，令两分支的输出在低维子空间进行融合，通过权重因子控制小波网络分支的影响程度，避免了该分支降低最终重构出的高光谱图像的质量。
附图说明
图1为本发明所述的非配对无监督神经网络模型的整体框架图；
图2为本发明实施例ICVL测试集选取通道15得到对比试验及本发明提出的方法得到的实验结果灰度图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及对应的附图对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
实施例1
本实施例中，如图1所示为本发明所述的非配对无监督神经网络模型的整体框架图，本实施例所述的一种基于非配对无监督神经网络的高光谱图像去噪方法具体包括如下步骤：
步骤1：将原始的ICVL(the Interdisciplinary Computational VisionLaboratory，跨学科计算视觉实验室)数据集通过仿真生成含噪数据集，将所述含噪数据集处理成128*128*31大小的通用格式的图像数据；
步骤2：将完成上述步骤1的图像数据进行矩阵分解操作；
为了充分利用高光谱数据的全局低秩性和非局部自相似性，选择如下矩阵分解的方法，假设一个干净的高光谱图像X，被加性高斯噪声N破坏，得到的带噪高光谱观测图像，将观测图像Y＝X+N的X分解为两个矩阵因子乘积形式的谱低秩模型Y＝DZ+N。其中，
Figure BDA0003660652990000071
是生成子空间的K基矩阵，K＜＜n，用以捕获冗余的光谱信息数据，D和K可以通过基于最小误差的高光谱信号子空间识别HySime算法得到，
Figure BDA0003660652990000072
是X在子空间基D下的系数矩阵。去噪问题可以定义为约束下最小二乘问题：
Figure BDA0003660652990000073
考虑在非独立同分布条件下的加性高斯噪声的情况，需要先将分独立同分布的观测数据转换为独立同分布，进行白化处理
Figure BDA0003660652990000074
Figure BDA0003660652990000075
是由HySime算法通过Y得到的噪声协方差矩阵。
直接从
Figure BDA0003660652990000076
中学习子空间，
Figure BDA0003660652990000077
的前k个左奇异向量近似张成信号子空间
Figure BDA0003660652990000078
Figure BDA0003660652990000079
是
Figure BDA00036606529900000710
通过SVD算法得到的具有非递增性质的左奇异值正交矩阵，即
Figure BDA00036606529900000711
结合HySime计算得到k的数值，得到正交矩阵子空间基
Figure BDA00036606529900000712
通过上述表达式1求解系数矩阵Z：
Figure BDA00036606529900000713
定义处理投影矩阵的神经网络U-net为Θ(·)，令投影矩阵作为网络输入通过表达式2对系数矩阵
Figure BDA0003660652990000081
的求解可以表示为：
Figure BDA0003660652990000082
通过如下反变换得到估计出的去噪后高光谱数据：
Figure BDA0003660652990000083
步骤3：基于对投影图像稀疏矩阵最小化均方误差的无偏风险估计，利用蒙特卡洛对散度项进行计算，进行无监督网络损失函数的计算；
通过引入Stein无偏风险估计，基于子空间表示构造一个无监督损失函数，基于子空间表示的SURE无监督卷积神经网络损失函数的计算方法如下：
LSURE＝LMSE+Ldiv-σ2 (5)
LSURE是无监督网络分支的无偏估计损失函数，LMSE是均方误差损失，Ldiv是在一个极小图像差εb下的散度损失；
在本发明中，第一项所述LMSE的求解过程为：
Figure BDA0003660652990000084
假设
Figure BDA0003660652990000085
是基于子空间基的关于
Figure BDA0003660652990000086
的投影矩阵，第二项Ldiv的求解过程为：
Figure BDA0003660652990000087
式中，
Figure BDA0003660652990000091
是一个具有均值为0、方差为1的高斯分布矩阵，εb作为投影矩阵的偏差，
Figure BDA0003660652990000092
和
Figure BDA0003660652990000093
是分别对应由网络输出的两个投影矩阵的估计，通过改变ε的大小影响投影矩阵有一个极小的偏差，在本实验中，把ε设置在范围10-9到10-5，噪声级σ可通过取
Figure BDA0003660652990000094
信道估计取平均值，其中
Figure BDA0003660652990000095
使用高斯标准差的鲁棒小波估计函数计算，得到每个通道对应的噪声标准差列表
Figure BDA0003660652990000096
步骤4：针对投影图像稀疏矩阵构建U-net网络；
所述U-net网络的空间信息处理模块由一个特征提取层和5对编码器解码器模块和一个重建层构成，为了更好的学习每一层的信息，每一层的编码器与解码器之间引入跳跃连接，空间信息处理模块的U-net网络架构如图1所示；所述特征提取层的目的是通过三维卷积从输入的投影矩阵中提取浅层特征。三维卷积自适应处理任意通道的投影矩阵，同时捕捉投影矩阵之间的局部空间相关性和通道统计相关性。通过级联多个下尺度块，编码器逐渐将空间分辨率降低一半，特征维数增加一倍，产生多尺度空间表示；所述解码器通过一系列的上尺度和反卷积块恢复特征映射的分辨率。每个上标块使特征图的空间分辨率增加一倍，并减少一半的通道数量。此外，编码器和解码器之间建立相同分辨率的跳跃连接，将浅层的特征传播到更深的层，便于在训练过程中保持信息，避免梯度消失。重建层采用残余连接和三维反卷积来恢复底层干净的投影矩阵。
步骤5：取干净高光谱Harvard数据集，构建一个三维小波变换网络提取高质量风格特征；
通过移动裁剪每个数据对应得到50个128*128*31大小的高光谱数据块作为额外干净信息数据集，随机取出100个作为引入的额外信息对应训练用的100个ICVL数据；
对三维小波变换网络输入的额外信息数据使用主成分分析法(PCA)，投影到低维矩阵，经过小波网络分支得出高质量风格特征与空间信息处理模块的输出进行融合，该分支得到的高质量风格特征低维矩阵增强无监督网络数据的投影矩阵的估计，最后通过反变换
Figure BDA0003660652990000101
得到估计的干净高光谱数据。
总损失函数L中的小波重构损失函数定于如下：
Figure BDA0003660652990000102
其中XPCA是经过PCA降维得到的低维特征投影矩阵，
Figure BDA0003660652990000103
代表三层三维离散小波变换神经网络。
步骤6：将步骤:4所述的U-net网络与步骤5所述的三维小波变换网络联合，基于U-net网络的损失函数和三维小波变换网络的重构损失函数作为总损失函数，利用总损失函数LT＝LSURE+λLWT训练非配对的无监督网络模型。
为了验证本发明的有效性，我们在相同的数据集上使用不同的主流去噪方法进行测试，并与本发明的实施例进行对比。
本实施例在GeForce GTX 2080 Ti处理器上使用Python环境中的Pytorch库。在实验中，使用学习率为0.001的Adam优化器。在训练阶段，将迭代次数设置为400，将学习率衰减设置为0.35。学习率衰减步长设置为80。训练完成并保存网络权重，在验证集上的结果如图2所示。
对比例1：按照(Renard N,Bourennane S,Blanc-Talon J.Denoising andDimensionality Reduction Using Multilinear Tools for Hyperspectral Images[J].IEEE Geoscience&Remote Sensing Letters,2008,5(2):138-142.)里的LRTA算法；
对比例2：按照(Liu X,Bourennane S,Fossati C.Denoising of HyperspectralImages Using the PARAFAC Model and Statistical Performance Analysis[J].IEEETransactions on Geoscience&Remote Sensing,2012,50(10):3717-3724.)里的PARAFAC算法；
对比例3：按照(Rasti B,Sveinsson J R,Ulfarsson M O,et al.Hyperspectralimage denoising using first order spectral roughness penalty in waveletdomain[J].IEEE Journal of Selected Topics in Applied Earth Observations andRemote Sensing,2013,7(6):2458-2467.)里的FORPDN算法；
对比例4：按照(Gong X,Chen W,Chen J.A Low-Rank Tensor DictionaryLearning Method for Hyperspectral Image Denoising[J].IEEE Transactions onSignal Processing,2020,68:1168-1180)里的LTDL算法；
对比例5：按照(He W,Yao Q,Li C,et al.Non-local Meets Global:AnIterative Paradigm for Hyperspectral Image Restoration[J].IEEE Transactionson Pattern Analysis and Machine Intelligence,2022,44(4):2089-2107.)里的NGMEET算法；
对比例6：按照(Nguyen H V,Ulfarsson M O,Sveinsson J R.Hyperspectralimage denoising using SURE-based unsupervised convolutional neural networks[J].IEEE Transactions on Geoscience and Remote Sensing,2021,59(4):3369-3382.)里的SURE-CNN算法；
对比例7：按照(K.Wei,Y.Fu and H.Huang.3-D Quasi-Recurrent NeuralNetwork for Hyperspectral Image Denoising.IEEE Transactions on NeuralNetworks and Learning Systems,2021,32(1):363-375)里的QRNN3D算法。
表1
Figure BDA0003660652990000121
表1为本发明以及其他方法在测试集50个ICVL数据上测试得到的关于高光谱数据的指标对比。
为了定量分析提出的方法的有效性，挑选ICVL数据集中的一个结果图，为了可视化去噪效果，展示的结果图通过对(25,18,5)三个通道合成的伪彩色图片，可以直观评估图像的清晰度以及局部细节信息。可以观察到LRTA、PARAFAC的结果有明显的条纹痕迹，LTDL方法的结果虽然没有明显条纹痕迹，但是整体和局部较为模糊，深度学习方法SURE-CNN、QRNN3D和提出的方法得到的结果整体视觉效果相差较小，但是通过局部细节可以看到SURE-CNN含更多的未去除的噪声点，虽然QRNN3D和本实施例提出的方法得到结果的指标相差不大，但是通过观察，本实施例提出的方法得到的结果局部更清晰。
本实施例还提供一种计算机设备，包括存储器、处理器及计算机程序，其中，所述处理器与存储器连接，所述存储器用于储存实现上述的高光谱图像去噪方法的计算机程序，当计算机设备运行时，所述处理器加载并执行所述存储器存储的计算机程序，以使计算机设备实现上述的高光谱图像去噪方法的各个步骤。
上述仅为本发明的优选实施例，并不对本发明起到任何限制作用。任何所属技术领域的技术人员，在不脱离本发明的技术方案的范围内，对本发明揭露的技术方案和技术内容做任何形式的等同替换或修改等变动，均属未脱离本发明的技术方案的内容，仍属于本发明的保护范围之内。

Claims (7)

1.一种基于非配对无监督神经网络的高光谱图像去噪方法，其特征在于，具体包括以下步骤：
S1：初始高光谱图像通过仿真生成含噪数据集，将所述含噪数据集处理成128*128*31大小的通用格式的图像数据；
S2：将完成上述步骤S1的图像数据进行矩阵分解操作后表示为低维投影矩阵；
S3：基于对步骤S2所述低维投影矩阵最小化均方误差的无偏风险估计，进行无监督网络损失函数的计算；
S4：针对低维投影矩阵构建U-net网络；
S5：取另外高质量干净数据集，构建一个三维小波变换网络，对所述三维小波变换网络输入的额外信息数据采用主成分分析预处理；
S6：将步骤S4所述的U-net网络与步骤S5所述的三维小波变换网络联合，结合U-net网络的损失函数和三维小波变换网络的重构损失函数作为总损失函数，训练非配对无监督神经网络模型；
S7：将合成的带噪声的测试集ICVL高光谱图像作为输入，经过步骤S6所述的非配对无监督神经网络模型输出得到去噪后的清晰高光谱图像。
2.根据权利要求1所述的一种基于非配对无监督神经网络的高光谱图像去噪方法，其特征在于，步骤2中所述的矩阵分解操作具体实现步骤如下：
一个干净的高光谱图像
Figure FDA0003660652980000011
由B个含有n个像素的谱向量组成，被加性高斯噪声
Figure FDA0003660652980000012
破坏，得到的带噪高光谱观测图像
Figure FDA0003660652980000021
将所述X分解为两个矩阵因子乘积形式的谱低秩模型X＝DZ，其中，由基于最小误差的高光谱信号识别算法(Hysime算法)估计出子空间数K和算法SVD得到正交矩阵基D＝UK，U是所述Y通过SVD算法得到的具有非递增性质的左奇异值正交矩阵，Z是X在子空间基D下的系数矩阵；考虑在非独立同分布条件下的加性高斯噪声，需要将非独立同分布的Y处理成独立同分布
Figure FDA0003660652980000022
即
Figure FDA0003660652980000023
Σ是由HySime算法得到的噪声协方差矩阵，通过矩阵乘法恢复去噪后的干净高光谱数据
Figure FDA0003660652980000024
Figure FDA0003660652980000025
和
Figure FDA0003660652980000026
分别是
Figure FDA0003660652980000027
对应的
Figure FDA0003660652980000028
得到的正交矩阵基和系数矩阵。
3.根据权利要求1所述的一种基于非配对无监督神经网络的高光谱图像去噪方法，其特征在于，所述步骤S3中计算无监督损失函数的公式具体如下：
LSURE＝LMSE+Ldiv-σ2
其中，LSURE是基于子空间表示的Stein无偏风险估计损失函数，LMSE是均方误差损失，Ldiv是散度损失，σ是数据噪声级；
所述LMSE的求解过程为：
Figure FDA0003660652980000029
假设
Figure FDA00036606529800000210
是基于子空间基的关于
Figure FDA00036606529800000211
的投影矩阵，所述Ldiv的求解过程为：
Figure FDA0003660652980000031
式中，
Figure FDA0003660652980000032
是一个具有均值为0、方差为1的高斯分布矩阵，εb作为投影矩阵的偏差，
Figure FDA0003660652980000033
和
Figure FDA0003660652980000034
是分别对应由网络输出的两个投影矩阵的估计，通过改变ε的大小影响投影矩阵有一个极小的偏差，把ε设置在范围10-9到10-5，噪声级σ通过取
Figure FDA0003660652980000035
信道估计取平均值，其中
Figure FDA0003660652980000036
使用高斯标准差的鲁棒小波估计函数计算，得到每个通道对应的噪声标准差列表
Figure FDA0003660652980000037
4.根据权利要求1所述的一种基于非配对无监督神经网络的高光谱图像去噪方法，其特征在于，步骤S4中所述U-net网络是由一个特征提取层、5对编码器解码器模块和一个重建层进行层级构建的基本架构，所述每一对编码器和解码器之间引入相同分辨率的跳跃连接，所述重建层采用残差连接和三维反卷积来恢复底层干净的高光谱投影图像。
5.根据权利要求4所述的一种基于非配对无监督神经网络的高光谱图像去噪方法，其特征在于，步骤S5中所述高质量干净数据集为Harvard数据集。
6.根据权利要求3-5任一项所述的一种基于非配对无监督神经网络的高光谱图像去噪方法，其特征在于，步骤S6中所述三维小波变换网络的重构损失函数LWT的定义如下：
Figure FDA0003660652980000038
其中XPCA是经过主成分分析PCA降维得到的低维特征投影矩阵，
Figure FDA0003660652980000041
代表三层三维离散小波变换神经网络；
所述总损失函数LT＝LSURE+λLWT，对所述三维小波变换网络分支加入权重项λ来控制额外信息的融合增强；
利用总损失函数LT训练非配对的无监督网络模型。
7.一种计算机设备，其特征在于，包括存储器、处理器及计算机程序，其中，所述处理器与存储器连接，所述存储器用于储存实现如权利要求1-6任一项所述的高光谱图像去噪方法的计算机程序，当计算机设备运行时，所述处理器加载并执行所述存储器存储的计算机程序，以使计算机设备实现如权利要求1-6任一项所述的高光谱图像去噪方法的各个步骤。
CN202210572277.6A 2022-05-25 2022-05-25 一种基于非配对无监督神经网络的高光谱图像去噪方法 Pending CN114897737A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210572277.6A CN114897737A (zh) 2022-05-25 2022-05-25 一种基于非配对无监督神经网络的高光谱图像去噪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210572277.6A CN114897737A (zh) 2022-05-25 2022-05-25 一种基于非配对无监督神经网络的高光谱图像去噪方法

Publications (1)

Publication Number Publication Date
CN114897737A true CN114897737A (zh) 2022-08-12

Family

ID=82725624

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210572277.6A Pending CN114897737A (zh) 2022-05-25 2022-05-25 一种基于非配对无监督神经网络的高光谱图像去噪方法

Country Status (1)

Country Link
CN (1) CN114897737A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117541501A (zh) * 2024-01-09 2024-02-09 清华大学 扫描光场自监督网络去噪方法、装置、电子设备及介质
CN117953391A (zh) * 2024-02-01 2024-04-30 华东交通大学 基于储备池计算的遥感图像时间序列预测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190066346A1 (en) * 2017-08-30 2019-02-28 Korea Advanced Institute Of Science And Technology Apparatus and method for reconstructing image using extended neural network
CN111260576A (zh) * 2020-01-14 2020-06-09 哈尔滨工业大学 一种基于去噪三维卷积自编码网络的高光谱解混算法
CN111860612A (zh) * 2020-06-29 2020-10-30 西南电子技术研究所（中国电子科技集团公司第十研究所） 无监督高光谱图像隐低秩投影学习特征提取方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190066346A1 (en) * 2017-08-30 2019-02-28 Korea Advanced Institute Of Science And Technology Apparatus and method for reconstructing image using extended neural network
CN111260576A (zh) * 2020-01-14 2020-06-09 哈尔滨工业大学 一种基于去噪三维卷积自编码网络的高光谱解混算法
CN111860612A (zh) * 2020-06-29 2020-10-30 西南电子技术研究所（中国电子科技集团公司第十研究所） 无监督高光谱图像隐低秩投影学习特征提取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘冰等: "面对高光谱影像分类的半监督阶梯网络", 测绘科学技术学报, no. 06, 15 December 2017 (2017-12-15) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117541501A (zh) * 2024-01-09 2024-02-09 清华大学 扫描光场自监督网络去噪方法、装置、电子设备及介质
CN117541501B (zh) * 2024-01-09 2024-05-31 清华大学 扫描光场自监督网络去噪方法、装置、电子设备及介质
CN117953391A (zh) * 2024-02-01 2024-04-30 华东交通大学 基于储备池计算的遥感图像时间序列预测方法

Similar Documents

Publication Publication Date Title
Liu et al. Image completion using low tensor tree rank and total variation minimization
Fan et al. Spatial–spectral total variation regularized low-rank tensor decomposition for hyperspectral image denoising
Mamalakis et al. Neural network attribution methods for problems in geoscience: A novel synthetic benchmark dataset
Liu et al. Hyperspectral image restoration by tensor fibered rank constrained optimization and plug-and-play regularization
Ye et al. Multitask sparse nonnegative matrix factorization for joint spectral–spatial hyperspectral imagery denoising
Liu et al. 3D CNN-PCA: A deep-learning-based parameterization for complex geomodels
He et al. A new pansharpening method based on spatial and spectral sparsity priors
Wang et al. Tensor low-rank constraint and $ l_0 $ total variation for hyperspectral image mixed noise removal
CN114897737A (zh) 一种基于非配对无监督神经网络的高光谱图像去噪方法
Zhao et al. A plug-and-play priors framework for hyperspectral unmixing
Wei et al. Intracluster structured low-rank matrix analysis method for hyperspectral denoising
Wang et al. Hyperspectral image mixed noise removal based on multidirectional low-rank modeling and spatial–spectral total variation
Wang et al. Nonlocal self-similarity-based hyperspectral remote sensing image denoising with 3-D convolutional neural network
Ni et al. Example-driven manifold priors for image deconvolution
CN110400276B (zh) 高光谱图像去噪方法、装置
Chen et al. Hyperspectral image denoising by total variation-regularized bilinear factorization
Qian et al. DTAE: Deep tensor autoencoder for 3-D seismic data interpolation
Dong et al. Fusion of hyperspectral and panchromatic images using generative adversarial network and image segmentation
Balestriero et al. A data-augmentation is worth a thousand samples: Exact quantification from analytical augmented sample moments
CN114545494B (zh) 基于稀疏约束的无监督地震数据重建方法及装置
Yang et al. Reconstruction of structurally-incomplete matrices with reweighted low-rank and sparsity priors
Fang et al. Unsupervised CNN based on self-similarity for seismic data denoising
CN118033732A (zh) 一种基于空域频域融合架构的地震数据重建方法
Kumar et al. Enabling uncertainty quantification for seismic data preprocessing using normalizing flows (NF)—An interpolation example
Kong et al. Low-Tubal-Rank tensor recovery with multilayer subspace prior learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Country or region after: China

Address after: No. 8 Yuanhua Road, Qixia District, Nanjing City, Jiangsu Province, China 210046

Applicant after: NANJING University OF POSTS AND TELECOMMUNICATIONS

Address before: 210003, 66 new model street, Gulou District, Jiangsu, Nanjing

Applicant before: NANJING University OF POSTS AND TELECOMMUNICATIONS

Country or region before: China