CN113436111B - 一种基于网络结构搜索的高光谱遥感图像去噪方法 - Google Patents

一种基于网络结构搜索的高光谱遥感图像去噪方法 Download PDF

Info

Publication number
CN113436111B
CN113436111B CN202110824749.8A CN202110824749A CN113436111B CN 113436111 B CN113436111 B CN 113436111B CN 202110824749 A CN202110824749 A CN 202110824749A CN 113436111 B CN113436111 B CN 113436111B
Authority
CN
China
Prior art keywords
network
denoising
noise
image
noise intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110824749.8A
Other languages
English (en)
Other versions
CN113436111A (zh
Inventor
袁媛
马翰文
刘赶超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202110824749.8A priority Critical patent/CN113436111B/zh
Publication of CN113436111A publication Critical patent/CN113436111A/zh
Application granted granted Critical
Publication of CN113436111B publication Critical patent/CN113436111B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Abstract

本发明公开了一种基于网络结构搜索的高光谱遥感图像去噪方法，该方法通过构建一种多尺度特征注意力超网络，使用基于梯度的网络结构搜索机制，来获取可以适用于噪声不一致情况下的盲去噪算法模型。此外还加入了噪声预估子网络，将预估的噪声信息添加进搜索过程中隐形的调节搜索的方向，进而提高了所搜索出的网络的盲去噪性能。本发明方法相对于传统方法，去噪效果更好，盲去噪鲁棒性更好，去噪过程更高效。

Description

一种基于网络结构搜索的高光谱遥感图像去噪方法
技术领域
本发明属于图像处理技术领域，具体涉及一种高光谱遥感图像去噪方法。
背景技术
高光谱遥感图像起源于20世纪60年代初期，是多种高端科学技术如信息处理技术，空间测量技术，计算机科学技术的融合产物，被广泛运用于军事勘探，行星探测，地物分类等多个领域中。由于高光谱图像包含着大量的地物信息，为了能够挖掘出更多的高光谱应用价值，通常都会将获得的高光谱数据进行处理和分析，从而获得所感兴趣的以及有价值的信息。为了获得上述信息，往往需要高质量的高光谱图像，从而尽可能的使得图像能够更真实的反应地物信息，使得进一步分析的结果最大化。然而遗憾的是，几乎所有的高光谱图像在传输的过程中都会不可避免的受到噪声的污染，这些污染的原因也是方方面面的，有设备的因素也有外界环境的干扰，而正是由于这些掺杂的无用的干扰噪声，对于图像的后续研究工作产生了巨大的挑战，甚至于会大大降低处理技术的可靠性。所以，研究出通俗可行的高光谱图像去噪方法是许许多多的科研工作者的学术目标，而高光谱去噪领域也成为了学术界的一个重要的研究向。
在过去的十几年内，许许多多的图像恢复算法被陆续提出，最常见的高光谱图像去噪算法是对逐波段进行分别的去噪处理，而其又可以分为传统算法和基于深度学习的算法。M.Maggioni等人在文献"M.Maggioni,V.Katkovnik,K.Egiazarian,Nonlocaltransform-domain filter for volumetric data denoising and reconstruction,inIEEE Transactions on Image Processing,2013,"中提出了非局部自相似的去噪方法，该方法在三维块自相似的基础上，采用小波变化进行阈值分割，再二次去噪后，取得了满意的去噪效果。H.Zhang等人在文献"H.Zhang,W.He,L.Zhang,Hyperspectral imagerestoration using low-rank matrix recovery,in IEEE Transactions on Geoscienceand Remote Sensing,2014,"中提出了基于低秩恢复的去噪方法，该方法在秩约束的基础上直接对图像进行学习，这样可以根据对图像矩阵秩的约束来提高图像恢复的效果。
然而，无论是自相似方法还是低秩矩阵恢复方法都有着各的局限性。第一，两者都存在大量人工设置的参数来控制去噪效果的好坏。第二，算法计算复杂度较大，对于高维的高光谱数据的处理耗时较大。
近年来随着计算机科学技术的不断发展，深度学习在机器学习领域取得了重大的突破性进展，其在图像分割，图像检测识别以及图像分类等领域取得了极大的的效果提升，因此也被应用于高光谱图像去噪领域中来提升图像去噪的效果。Y.Chang等人在文献"Y.Chang,L.Yan,H.Fang,HSI-DeNet:Hyperspectral image restoration viaconvolutional neural network,in IEEE Transactions on Geoscience and RemoteSensing,2019,"中提出了一个简易的18层堆叠神经网络用于高光谱图像的去噪恢复，并采用GAN模型进行全局图像纠正，取得了良好的恢复效果。而Q.Yuan等人则在此基础上在文献"Q.Yuan,Q.Zhang,J.Li,et al,Hyperspectral image denoising employing aspatial–spectral deep residual convolutional neural network,in IEEETransactions on Geoscience and Remote Sensing,2019,"中提出了一个多光谱与单光谱结合的多尺度特征提取去噪方法，通过在对单通道去噪时加入周边多光谱通道信息来提高图像先验的信息补充，进而在全局去噪的同时提高了去噪效果；A.Maffei等人则在此基础上提出了一个基于噪声预估的单模型去噪网络"A.Maffei,J.Haut,M.Paoletti,J.Plaza,L.Bruzzone,and A.Plaza,Asingle model cnn for hyperspectral imagedenoising,IEEE Transactions on Geoscience and Remote Sensing,pp.1–14,2019."该网络通过引入人工噪声强度的预测先验，使得网络可以隐式的选择针对不同噪声程度的参数进行使用来获得更好的去噪效果，同时只需要一个模型即可解决整个去噪的问题。
然而，上述的方法都有着各自的局限性。第一，传统算法中存在着大量的超参数需要人工修正，对于不同的数据集往往需要大量调参来获得较好的效果。第二，大多数现有的基于CNN的方法都存在一些缺点。例如，现有的大多数方法不能很好地适应不同的噪声情况。另外，由于遥感图像的大尺度差异，需要自适应地提取多尺度特征。然而，现有人工设计的去噪网络在多尺度特征提取上的鲁棒性和泛化性能受到限制。因此，由专家手工设计的网络通常在有固定噪声的情况下表现良好，但在噪声不一致的情况下就不能取得很好的效果。
发明内容
为了克服现有技术的不足，本发明提供了一种基于网络结构搜索的高光谱遥感图像去噪方法，该方法通过构建一种多尺度特征注意力超网络，使用基于梯度的网络结构搜索机制，来获取可以适用于噪声不一致情况下的盲去噪算法模型。此外还加入了噪声预估子网络，将预估的噪声信息添加进搜索过程中隐形的调节搜索的方向，进而提高了所搜索出的网络的盲去噪性能。本发明方法相对于传统方法，去噪效果更好，盲去噪鲁棒性更好，去噪过程更高效。
本发明解决其技术问题所采用的技术方案如下：
步骤1：构建噪声强度预估网络，分别对高光谱单波段和周围K个波段进行噪声强度估计，获取每个波段的噪声强度预估图；
所述噪声强度预估网络由5个3×3卷积层直接串联而成；网络的输入为H×W×C的噪声图像，噪声图像的长宽分别为H和W，通道数为C个；网络的输出为H×W×C的噪声强度预估图，噪声强度预估图的长宽分别为H和W，且通道数也为C；噪声强度预估图为对噪声图像中每一个像素的噪声强度预估；
步骤2：构建搜索子模块Cell；
一个子模块Cell由N个Node组成，各个Node之间由多种特征提取方式共同连接；多个Node的输出进行Concat和卷积操作后作为子模块Cell的输出；其中Node代表不同尺度的图像特征；
步骤3：不断叠加Cell，构建出用于搜索的Group dense结构的去噪超网络；
使用多个Cell串联构成GRDUnit，同时每个Cell的特征结果也会同时输入所构成的GRDUnit最后的融合层中进行特征的融合；
Group dense结构由多个GRDUnit串联组成，每个GRDUnit的输出都进入Groupdense结构最后的特征融合层进行特征融合；
步骤4：进行搜索过程，将步骤1得到的噪声强度预估图和噪声图像-干净图像对输入去噪超网络中，使用梯度下降算法，对去噪超网络训练，优化网络参数；
步骤5：将最终训练完成的网络参数作为最后搜索出来的网络Net；
步骤6：将最后搜索出来的网络Net用于进行高光谱图像噪声去除。
优选地，所述N＝4。
本发明的有益效果如下：
1、去噪效果更好。所搜索的网络，其网络结构是经过梯度下降到达局部最优点而固定下来的，网络结构参数相比于传统手工设计的网络而言具有更好的去噪适应性。同参数量的情况下，其相比于手工设计的网络，具有更好的去噪效果。
2、盲去噪鲁棒性更好。本发明通过噪声预估网络，能够准确的获取不同波段的噪声强度，从而可以将噪声强度先验加入搜索过程中，使得搜索算法可以获得能够更好的针对非一致噪声进行抑制的网络，其盲去噪鲁棒性更强。
3、去噪过程更高效。网络结构搜索的超空间可以进行优化减少超空间的参数，使得在不降低去噪性能的情况下降低所使用的网络层数等相关参数的使用，进而减少所搜索出的子网络的计算量，提高去噪效率。
附图说明
图1为本发明搜索子模块Cell细节图。
图2为本发明方法网络结构图施的具体图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
步骤1：构建噪声强度预估网络，分别对高光谱单波段和周围K个波段进行噪声强度估计，获取每个波段的噪声强度预估图；
所述噪声强度预估网络由5个3×3卷积层直接串联而成；网络的输入为H×W×C的噪声图像，噪声图像的长宽分别为H和W，通道数为C个；网络的输出为H×W×C的噪声强度预估图，噪声强度预估图的长宽分别为H和W，且通道数也为C；噪声强度预估图为对噪声图像中每一个像素的噪声强度预估；
步骤2：构建搜索子模块Cell；
一个子模块Cell由4个Node组成，各个Node之间由多种特征提取方式共同连接；多个Node的输出进行Concat和卷积操作后作为子模块Cell的输出；其中Node代表不同尺度的图像特征，搜索的本质即为在不同Node直接搜索出最适用于此Node连接的特征提取方式；
步骤3：不断叠加Cell，构建出用于搜索的Group dense结构的去噪超网络；
使用多个Cell串联构成GRDUnit，同时每个Cell的特征结果也会同时输入所构成的GRDUnit最后的融合层中进行特征的融合；
Group dense结构由多个GRDUnit串联组成，每个GRDUnit的输出都进入Groupdense结构最后的特征融合层进行特征融合；
步骤4：进行搜索过程，将步骤1得到的噪声强度预估图和噪声图像-干净图像对输入去噪超网络中，使用梯度下降算法，对去噪超网络训练，优化网络参数；
步骤5：将最终训练完成的网络参数作为最后搜索出来的网络Net；
步骤6：将最后搜索出来的网络Net用于进行高光谱图像噪声去除。
具体实施例：
1、仿真条件
本发明是在中央处理器为i5-3470 3.2GHz CPU、内存16G、WINDOWS 10操作系统上，运用MATLAB软件进行的仿真。
实验中使用的数据集来自于机构的Washington DC Mall遥感数据集，其网址为https://engineering.purdue.edu/～biehl/MultiSpec/hyperspectral.html这组数据包含一张长1280，宽303，且有191个波段的高光谱遥感数据，本发明将在此进行实验。
2、仿真内容
对数据集进行聚类实验。为了对比本发明的有效性，选取了M.Maggioni等人在文献"M.Maggioni,V.Katkovnik,K.Egiazarian,Nonlocal transform-domain filter forvolumetric data denoising and reconstruction,in IEEE Transactions on ImageProcessing,2013,"中提到的非局部自相似去噪方法(BM4D)、H.Zhang等人在文献"H.Zhang,W.He,L.Zhang,Hyperspectral image restoration using low-rank matrixrecovery,in IEEE Transactions on Geoscience and Remote Sensing,2014,"中提出的低秩表示去噪方法(LRMR)，和Q.Yuan等人则在此基础上在文献"Q.Yuan,Q.Zhang,J.Li,etal,Hyperspectral image denoising employing a spatial–spectral deep residualconvolutional neural network,in IEEE Transactions on Geoscience and RemoteSensing,2019,"中提到的深度去噪方法(HSID-CNN)及其他方法来与所发明方法进行对比，平均峰值信噪比(MPSNR)、平均结构相似度(MSSIM)等指标在本实验被用来评价去噪的好坏。对比结果如表1所示(最高值由粗体字标出)。
表1实验结果对比(σ＝10-70)
Method LRMR LRTV BM4D HSID-CNN HSI-SDeCNN 本方法
MPSNR 30.88 30.64 27.59 30.63 30.45 32.18
MSSIM 0.970 0.971 0.933 0.966 0.966 0.976
表2实验结果对比(σ＝25)
Method LRMR LRTV BM4D HSID-CNN HSI-SDeCNN 本方法
MPSNR 33.02 33.19 31.14 33.03 33.44 34.08
MSSIM 0.981 0.980 0.969 0.981 0.982 0.984
从表1、2可见，本方法的盲去噪性能和固定噪声去噪性能均优于其他对比方法。通过以上仿真实验可以验证本发明的有效性。

Claims (2)

1.一种基于网络结构搜索的高光谱遥感图像去噪方法，其特征在于，包括以下步骤：
步骤1：构建噪声强度预估网络，分别对高光谱单波段和周围K个波段进行噪声强度估计，获取每个波段的噪声强度预估图；
所述噪声强度预估网络由5个3×3卷积层直接串联而成；网络的输入为H×W×C的噪声图像，噪声图像的长宽分别为H和W，通道数为C个；网络的输出为H×W×C的噪声强度预估图，噪声强度预估图的长宽分别为H和W，且通道数也为C；噪声强度预估图为对噪声图像中每一个像素的噪声强度预估；
步骤2：构建搜索子模块Cell；
一个子模块Cell由N个Node组成，各个Node之间由多种特征提取方式共同连接；多个Node的输出进行Concat和卷积操作后作为子模块Cell的输出；其中Node代表不同尺度的图像特征；
步骤3：不断叠加Cell，构建出用于搜索的Group dense结构的去噪超网络；
使用多个Cell串联构成GRDUnit，同时每个Cell的特征结果也会同时输入所构成的GRDUnit最后的融合层中进行特征的融合；
Group dense结构由多个GRDUnit串联组成，每个GRDUnit的输出都进入Group dense结构最后的特征融合层进行特征融合；
步骤4：进行搜索过程，将步骤1得到的噪声强度预估图和噪声图像-干净图像对输入去噪超网络中，使用梯度下降算法，对去噪超网络训练，优化网络参数；
步骤5：将最终训练完成的网络参数作为最后搜索出来的网络Net；
步骤6：将最后搜索出来的网络Net用于进行高光谱图像噪声去除。
2.根据权利要求1所述的一种基于网络结构搜索的高光谱遥感图像去噪方法，其特征在于，所述N＝4。
CN202110824749.8A 2021-07-21 2021-07-21 一种基于网络结构搜索的高光谱遥感图像去噪方法 Active CN113436111B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110824749.8A CN113436111B (zh) 2021-07-21 2021-07-21 一种基于网络结构搜索的高光谱遥感图像去噪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110824749.8A CN113436111B (zh) 2021-07-21 2021-07-21 一种基于网络结构搜索的高光谱遥感图像去噪方法

Publications (2)

Publication Number Publication Date
CN113436111A CN113436111A (zh) 2021-09-24
CN113436111B true CN113436111B (zh) 2024-01-09

Family

ID=77761322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110824749.8A Active CN113436111B (zh) 2021-07-21 2021-07-21 一种基于网络结构搜索的高光谱遥感图像去噪方法

Country Status (1)

Country Link
CN (1) CN113436111B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109923401A (zh) * 2016-11-08 2019-06-21 南加州大学 高光谱成像系统
WO2020037594A1 (zh) * 2018-08-23 2020-02-27 合刃科技（深圳）有限公司 一种基于高光谱成像的手势识别方法及装置
CN111598790A (zh) * 2020-04-09 2020-08-28 中国科学院遥感与数字地球研究所 基于对偶深度神经网络的高光谱遥感图像去噪方法
WO2021051893A1 (zh) * 2019-09-17 2021-03-25 杭州群核信息技术有限公司 一种基于生成式对抗网络的蒙特卡洛渲染图去噪模型、方法及装置
CN112634159A (zh) * 2020-12-23 2021-04-09 中国海洋大学 基于盲噪声估计的高光谱图像去噪方法
CN112862700A (zh) * 2021-01-16 2021-05-28 西北工业大学 一种基于噪声注意力的高光谱遥感图像盲去噪方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109923401A (zh) * 2016-11-08 2019-06-21 南加州大学 高光谱成像系统
WO2020037594A1 (zh) * 2018-08-23 2020-02-27 合刃科技（深圳）有限公司 一种基于高光谱成像的手势识别方法及装置
WO2021051893A1 (zh) * 2019-09-17 2021-03-25 杭州群核信息技术有限公司 一种基于生成式对抗网络的蒙特卡洛渲染图去噪模型、方法及装置
CN111598790A (zh) * 2020-04-09 2020-08-28 中国科学院遥感与数字地球研究所 基于对偶深度神经网络的高光谱遥感图像去噪方法
CN112634159A (zh) * 2020-12-23 2021-04-09 中国海洋大学 基于盲噪声估计的高光谱图像去噪方法
CN112862700A (zh) * 2021-01-16 2021-05-28 西北工业大学 一种基于噪声注意力的高光谱遥感图像盲去噪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
结合残差编解码网络和边缘增强的遥感图像去噪;吴从中;陈曦;詹曙;;遥感学报(01);全文 *

Also Published As

Publication number Publication date
CN113436111A (zh) 2021-09-24

Similar Documents

Publication Publication Date Title
Chen et al. Denoising hyperspectral image with non-iid noise structure
Liu et al. A 3-D atrous convolution neural network for hyperspectral image denoising
CN107316013B (zh) 基于nsct变换和dcnn的高光谱图像分类方法
CN111860612A (zh) 无监督高光谱图像隐低秩投影学习特征提取方法
CN107239759B (zh) 一种基于深度特征的高空间分辨率遥感图像迁移学习方法
CN111259828A (zh) 基于高分辨率遥感图像多特征的识别方法
CN111368691B (zh) 无监督高光谱遥感图像空谱特征提取方法
CN112580480B (zh) 一种高光谱遥感影像分类方法及装置
CN110569884A (zh) 基于深度学习和形态学的高光谱遥感影像分类方法
Li et al. Spectral-spatial sparse subspace clustering based on three-dimensional edge-preserving filtering for hyperspectral image
CN110443296B (zh) 面向高光谱图像分类的数据自适应激活函数学习方法
Fu et al. Nonlocal spatial–spectral neural network for hyperspectral image denoising
CN112862700B (zh) 一种基于噪声注意力的高光谱遥感图像盲去噪方法
Wang Hyperspectral image classification powered by khatri-rao decomposition-based multinomial logistic regression
CN113436111B (zh) 一种基于网络结构搜索的高光谱遥感图像去噪方法
Zhong et al. Multiscale feature extraction based on convolutional sparse decomposition for hyperspectral image classification
CN116977694A (zh) 一种基于不变特征提取的高光谱对抗样本防御方法
CN113111919B (zh) 一种基于深度高分辨率的高光谱图像分类方法
CN113222016B (zh) 一种基于高层和低层特征交叉增强的变化检测方法及装置
Liu et al. A Fast Matrix Completion Method Based on Matrix Bifactorization and QR Decomposition
Rostami et al. Hyperspectral Image Super-Resolution via Learning An Undercomplete Dictionary and Intra-Algorithmic Post-Processing
Kan et al. Attention-based octave dense network for hyperspectral image denoising
Tojo et al. Image Denoising Using Multi Scaling Aided Double Decker Convolutional Neural Network
Feng et al. An Effective Randomized Algorithm for Hyperspectral Image Feature Extraction
CN113379696B (zh) 一种基于迁移学习张量分解的高光谱异常检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant