CN111340698A - 一种基于神经网络的多光谱图像光谱分辨率增强方法 - Google Patents

一种基于神经网络的多光谱图像光谱分辨率增强方法 Download PDF

Info

Publication number
CN111340698A
CN111340698A CN202010096485.4A CN202010096485A CN111340698A CN 111340698 A CN111340698 A CN 111340698A CN 202010096485 A CN202010096485 A CN 202010096485A CN 111340698 A CN111340698 A CN 111340698A
Authority
CN
China
Prior art keywords
network
dimensional spectrum
multispectral image
spectral resolution
spectrum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010096485.4A
Other languages
English (en)
Inventor
尹继豪
罗旭坤
罗晓燕
李磊
沈维发
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202010096485.4A priority Critical patent/CN111340698A/zh
Publication of CN111340698A publication Critical patent/CN111340698A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种新型的基于神经网络的多光谱图像光谱分辨率增强算法，通过神经网络学习低维光谱到高维光谱的复杂变换关系，从而有效地提高多光谱图像的光谱分辨率。该方法步骤如下：(1)构造训练数据集；(2)搭建光谱分辨率增强网络模型；(3)使用训练数据集训练网络；(4)以多光谱图像中每个像素的低维光谱作为网络输入，生成对应高维光谱，从而完成对多光谱图像的光谱分辨率增强。本方法主要针对多光谱图像，通过从多光谱图像与高光谱图像中学习得到低维光谱到高维光谱的变换关系从而对光谱信息进行有效增强，方法的自适应性强，适用范围广，能够有效增强多光谱图像的光谱分辨率。

Description

一种基于神经网络的多光谱图像光谱分辨率增强方法
技术领域
本发明涉及一种新型的基于神经网络的多光谱图像光谱分辨率增强方法，能够通过技术手段有效增强多光谱图像的光谱分辨率，属于遥感图像处理领域。
背景技术
遥感技术指的是非接触的远距离探测技术，其探测的波段覆盖了包括紫外、可见光、近红外和中红外和热红外的光谱区域(0.4μm-2.5μm)。遥感光谱图像数据主要包括地物的空间信息和光谱信息，并分别由空间分辨率及光谱分辨率决定其信息的质量。空间分辨率即像元的实际大小，像元即影像中最小可区分的区域。空间分辨力的高低决定了图像的清晰程度，高的空间分辨率有助于地物轮廓的精细刻画。光谱分辨率则定义为传感器进行探测的最小波长间隔，高的光谱分辨率能够提供更有区分度的地物信息，有利于对不同地物进行分类识别。
根据传感器探测频谱间隔和波段数目的不同，光谱图像可分为多光谱图像和高光谱图像。高光谱图像光谱分辨率高，通常包含上百个波段，每一个波段对应的频谱范围很窄；但受到传感器在硬件技术上的限制，高光谱图像的空间分辨率低。而多光谱图像的光谱分辨率低，通常具有几到十几个波段，每一个波段对应的频谱范围较宽；但是多光谱图像的空间分辨率高。低的空间分辨率往往会造成图像模糊，并产生大量混合像元，对光谱数据的分析处理极其不利，而低的光谱分辨率则会造成异物同谱的现象，不利于对地物种类的精细划分。而多光谱图像分辨率增强技术能够有效地提升多光谱图像的光谱分辨率，因此在遥感图像的理论研究和应用中都占有很重要的地位。
现有的多光谱图像光谱分辨率增强算法，普遍通过线性模型建立起低维光谱和高维光谱之间的联系，从而完成对低维光谱的光谱分辨率增强。然而，使用线性模型并不能够精确地拟合高分辨率光谱。在光谱图像中，由于光照不均、阴影区域等因素，地物的低维光谱与高维光谱之间的变换关系十分复杂，继而需要更为复杂的数学关系才能准确建模。为了解决复杂环境下多光谱图像光谱分辨率增强的问题，本发明利用神经网络强大的非线性拟合能力，提出了一种高效且精确的光谱分辨率增强方法。
发明内容
针对多光谱图像的光谱分辨率增强问题，本发明提出了一种全新的光谱分辨率增强方法，方法的核心在于使用多光谱图像与对应的高光谱图像构建训练数据集，训练光谱分辨率增强网络，从而完成对多光谱图像的光谱分辨率增强。本发明能够从多光谱图像与高光谱图像中学习得到低维光谱到高维光谱的变换关系，不需要多源数据间的空间降采样参数作为先验信息，方法的自适应性强，适用范围广，能够有效增强多光谱图像的光谱分辨率。
为了实现上述目的，本发明采用的技术方案为：一种全新的多光谱图像光谱分辨率增强方法，主要包括：构造训练数据集、搭建网络模型、训练网络模型、高维光谱生成四个步骤。构造训练数据集指的是构造对应像素的低维光谱与高维光谱数据，用于网络学习低维光谱到高维光谱的变换关系。为了进行光谱分辨率的增强，所搭建的网络模型需以低维光谱作为输入，同时以高维光谱作为输出。为了提高光谱分辨率增强的效果，引入生成对抗策略，进行生成网络与判别网络的迭代训练。最后利用训练好的网络模型，以多光谱图像每一个像素的低维光谱维作为网络输入，生成对应的高维光谱，从而完成对多光谱图像的光谱分辨率增强。
本发明所涉及的方法流程包括以下步骤：(1)构造训练数据集；(2)搭建网络模型；(3)训练网络；(4)以多光谱图像的低维光谱作为网络输入，生成对应高维光谱，从而完成对多光谱图像的光谱分辨率增强。
下面对该方法流程各步骤进行详细说明：
(1)构造训练数据集
给定一幅多光谱图像与对应高光谱图像。训练数据集由两部分构成：对高光谱图像进行光谱降采样得到低维光谱作为训练集的输入，对应高维光谱作为训练集输出；将多光谱图像的低维光谱同时作为训练数据集的输入与输出。
(2)搭建网络模型
基于神经网络的光谱分辨率增强算法网络模型由生成网络和判别网络两部分构成。其中生成网络主要包括一个编码器和一个解码器，编码器将输入的低维光谱转换为隐藏层特征，而解码器则利用隐藏层特征重构出高维光谱并进行输出。判别网络则以高维光谱作为输入，输出一个概率值，代表该光谱为真实光谱的概率。
生成网络模型总共包含5层，其中前3层构成了编码器，后2层构成解码器。网络的第1层为一维卷积层，第2-4层为全连接层。前4层均使用ReLU(Rectified Linear Unit，整流线性单元)作为激活函数以增加网络的非线性能力。第5层为全连接层，输出重构获得的高维光谱。
判别网络的网络结构相对简单，仅包含四个全连接层。前三个全连接层后接ReLU激活函数，最后一层使用Sigmoid激活函数将数值进行归一化，最终输出一个概率值。
(3)训练网络
生成对抗网络在训练时，需要兼顾生成网络和判别网络两个部分。整个网络的训练流程主要包括生成网络的预训练、判别网络的预训练和迭代交替训练三个步骤。
(4)以多光谱图像中每一个像素的低维光谱yi作为网络输入，输出对应高维光谱，遍历整个多光谱图像从而完成对多光谱图像的光谱分辨率增强。
附图说明
图1是基于神经网络的多光谱图像光谱分辨率增强算法流程图。
图2是生成对抗网络模型示意图。
图3是生成网络结构示意图。
图4是判别网络结构示意图。
具体实施方式
下面对本发明的应用方法作进一步详细说明：
步骤一：构造训练数据集
给定一幅多光谱图像与对应高光谱图像。多光谱图像的大小为m行n列，共lM个波段，表示为Y＝{y1,y2,...,yi,...,ym×n}，其中
Figure BDA0002385427000000031
高光谱图像的大小为mH行nH列，共l个波段，表示为
Figure BDA0002385427000000032
其中xi＝{xi1,xi2,...,xil}。训练数据集由两部分构成，分别如下：
1)对高光谱图像进行光谱降采样，得到高维光谱所对应的低维光谱，如公式(1)。xi'代表光谱降采样所得到的低维光谱，R代表光谱响应函数矩阵，通过对高光谱相机与多光谱相机标定获得。
xi'＝Rxi (1)
该部分的训练数据集由高光谱图像mH×nH个像素的低维光谱xi'作为网络输入，对应高维光谱xi作为网络输出构成。
2)将多光谱图像作为训练数据集。该部分的训练数据集由多光谱图像m×n个像素的低维光谱构成。
步骤二：搭建网络模型
基于神经网络的光谱分辨率增强算法网络模型由生成网络和判别网络两部分构成。其中生成网络主要包括一个编码器和一个解码器，编码器将输入的低维光谱转换为隐藏层特征，而解码器则利用隐藏层特征重构出高维光谱并进行输出。判别网络则以高维光谱作为输入，输出一个概率值，代表该光谱为真实光谱的概率。
Figure BDA0002385427000000041
表1
生成网络模型的详细结构如表1所示，该网络总共包含5层，其中前3层构成了编码器，后2层构成解码器。网络的第1层为一维卷积层，使用16个尺寸为3的一维卷积核以单位步长进行卷积操作，从而获得16个通道的隐藏层特征。第2层为全连接层，将第1层的输出拉伸为一维向量作为该层输入，第2层的输出为2S维向量。S为自定义参数，用于控制网络的参数量，可定义为高维光谱的波段数目。第3层和第4层也是全连接层，输出尺寸分别为S和2×l。网络的前4层均使用ReLU(Rectified Linear Unit，整流线性单元)作为激活函数以增加网络的非线性能力，该激活函数如公式(2),其中x表示激活函数的输入。
ReLU:f(x)＝max(x,0) (2)
判别网络的网络结构相对简单，仅包含四个全连接层。前三个全连接层后接ReLU激活函数，最后一层使用Sigmoid激活函数将数值进行归一化。Sigmoid函数的定义如公式(3)，其中x表示激活函数的输入。
Figure BDA0002385427000000042
步骤三：训练网络
生成对抗网络在训练时，需要兼顾生成网络和判别网络两个部分。整个网络的训练流程如表2所示，主要包括生成网络的预训练、判别网络的预训练和迭代交替训练三个步骤。下面对每一个训练过程展开详细的介绍，并定义训练过程中使用的损失函数。
Figure BDA0002385427000000051
表2
首先是生成网络的预训练，主要包括两种方式。方式一，使用步骤(1)中构造的训练数据集中的第一部分，降采样得到的低维光谱xi'作为网络输入，对应高维光谱xi作为网络输出构成，该部分的损失函数定义为：
Figure BDA0002385427000000052
其中，
Figure BDA0002385427000000053
表示计算矩阵的二范数，oi代表生成网络输出的高维光谱，λ为权重因子，可以经验设置为1e-3。W4和W5分别代表生成网络第4层和第5层的参数。方式二，使用步骤(1)中所构造训练数据集的第二部分，将多光谱图像中的低维光谱yi作为网络的输入，对输出的高维光谱oi进行光谱降采样后，计算其与输入低维光谱的重构误差。其损失函数如公式(4)，其中R代表光谱响应函数矩阵。
Figure BDA0002385427000000054
接下来是对判别网络的预训练，通过将生成网络生成的高维光谱作为负样本，真实的来自高光谱图像的高维光谱作为正样本对判别网络进行训练。其损失函数定义为二分类交叉熵损失，如公式(5)，其中p为输入样本的真实标签(正样本为1，负样本为0)，
Figure BDA0002385427000000055
是网络预测的输出。
Figure BDA0002385427000000056
最后是生成网络和判别网络的交替训练。在交替训练的过程中，生成网络损失函数在如公式(6)所示，其中μ是一个权重因子。
Figure BDA0002385427000000061
步骤四：以多光谱图像中每一个像素的低维光谱yi作为网络输入，输出对应高维光谱，遍历整个多光谱图像从而完成对多光谱图像的光谱分辨率增强。

Claims (1)

1.一种基于神经网络的多光谱图像光谱分辨率增强算法，其特征在于：基于神经网络学习低维光谱到高维光谱的变换关系，并通过生成对抗训练策略进一步提高光谱分辨率增强效果，本方法能够实现对多光谱图像光谱分辨率的增强，其步骤如下：
步骤一：构造训练数据集
给定一幅多光谱图像与对应高光谱图像，训练数据集由以下两部分构成：
1)对高光谱图像进行光谱降采样得到的低维光谱作为网络输入，原始高维光谱作为网络输出；
2)以多光谱图像的低维光谱作为网络的输入和输出；
步骤二：搭建网络模型
光谱分辨率增强算法网络模型包含生成网络和判别网络：生成网络由一个编码器和一个解码器构成，编码器将输入的低维光谱转换为隐藏层特征，而解码器则利用隐藏层特征重构出高维光谱并输出；判别网络则以高维光谱作为输入，输出该光谱为真实光谱的概率；
步骤三：训练网络
生成对抗网络在训练时，需要兼顾生成网络和判别网络两个部分，主要包括：生成网络的预训练、判别网络的预训练和迭代交替训练三个步骤；
步骤四：以多光谱图像中每一个像素的低维光谱作为网络输入，输出对应高维光谱，遍历整个多光谱图像从而完成对多光谱图像的光谱分辨率增强。
CN202010096485.4A 2020-02-17 2020-02-17 一种基于神经网络的多光谱图像光谱分辨率增强方法 Pending CN111340698A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010096485.4A CN111340698A (zh) 2020-02-17 2020-02-17 一种基于神经网络的多光谱图像光谱分辨率增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010096485.4A CN111340698A (zh) 2020-02-17 2020-02-17 一种基于神经网络的多光谱图像光谱分辨率增强方法

Publications (1)

Publication Number Publication Date
CN111340698A true CN111340698A (zh) 2020-06-26

Family

ID=71181570

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010096485.4A Pending CN111340698A (zh) 2020-02-17 2020-02-17 一种基于神经网络的多光谱图像光谱分辨率增强方法

Country Status (1)

Country Link
CN (1) CN111340698A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529789A (zh) * 2020-11-13 2021-03-19 北京航空航天大学 一种城市可见光遥感图像阴影去除的弱监督方法
CN112881308A (zh) * 2021-01-22 2021-06-01 浙江大学 一种基于宽光谱编码和深度学习的光谱相机
CN113435474A (zh) * 2021-05-25 2021-09-24 中国地质大学（武汉） 一种基于双生成对抗网络的遥感图像融合方法
CN114079754A (zh) * 2020-08-19 2022-02-22 华为技术有限公司 一种图像传感器、信号处理方法以及设备
CN114821703A (zh) * 2022-03-15 2022-07-29 电子科技大学 一种距离自适应热红外人脸识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609916A (zh) * 2012-01-19 2012-07-25 哈尔滨工业大学 基于多尺度分析的高光谱数据空间分辨率增强方法
CN108960345A (zh) * 2018-08-08 2018-12-07 广东工业大学 一种遥感图像的融合方法、系统及相关组件
CN110046415A (zh) * 2019-04-08 2019-07-23 中国科学院南京地理与湖泊研究所 一种时空精细化的土壤有机质含量遥感动态反演方法
CN110378344A (zh) * 2019-05-05 2019-10-25 北京交通大学 基于谱维转换网络的卷积神经网络多光谱图像分割方法
CN110660038A (zh) * 2019-09-09 2020-01-07 山东工商学院 一种基于生成对抗网络的多光谱图像与全色图像融合方法
CN110751614A (zh) * 2019-09-17 2020-02-04 宁波大学 基于低秩矩阵分解及导向滤波器的高光谱/多光谱影像融合方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609916A (zh) * 2012-01-19 2012-07-25 哈尔滨工业大学 基于多尺度分析的高光谱数据空间分辨率增强方法
CN108960345A (zh) * 2018-08-08 2018-12-07 广东工业大学 一种遥感图像的融合方法、系统及相关组件
CN110046415A (zh) * 2019-04-08 2019-07-23 中国科学院南京地理与湖泊研究所 一种时空精细化的土壤有机质含量遥感动态反演方法
CN110378344A (zh) * 2019-05-05 2019-10-25 北京交通大学 基于谱维转换网络的卷积神经网络多光谱图像分割方法
CN110660038A (zh) * 2019-09-09 2020-01-07 山东工商学院 一种基于生成对抗网络的多光谱图像与全色图像融合方法
CN110751614A (zh) * 2019-09-17 2020-02-04 宁波大学 基于低秩矩阵分解及导向滤波器的高光谱/多光谱影像融合方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孟祥锐等: ""基于卷积神经网络和高分辨率影像的"", 《地理科学》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114079754A (zh) * 2020-08-19 2022-02-22 华为技术有限公司 一种图像传感器、信号处理方法以及设备
CN112529789A (zh) * 2020-11-13 2021-03-19 北京航空航天大学 一种城市可见光遥感图像阴影去除的弱监督方法
CN112529789B (zh) * 2020-11-13 2022-08-19 北京航空航天大学 一种城市可见光遥感图像阴影去除的弱监督方法
CN112881308A (zh) * 2021-01-22 2021-06-01 浙江大学 一种基于宽光谱编码和深度学习的光谱相机
CN113435474A (zh) * 2021-05-25 2021-09-24 中国地质大学（武汉） 一种基于双生成对抗网络的遥感图像融合方法
CN114821703A (zh) * 2022-03-15 2022-07-29 电子科技大学 一种距离自适应热红外人脸识别方法

Similar Documents

Publication Publication Date Title
CN111340698A (zh) 一种基于神经网络的多光谱图像光谱分辨率增强方法
Wang et al. Dnu: Deep non-local unrolling for computational spectral imaging
Kuang et al. Single infrared image optical noise removal using a deep convolutional neural network
He et al. A fully convolutional neural network for wood defect location and identification
Li et al. Hyperspectral image super-resolution using deep convolutional neural network
CN109102469B (zh) 一种基于卷积神经网络的遥感图像全色锐化方法
Müller et al. Super-resolution of multispectral satellite images using convolutional neural networks
CN111274869B (zh) 基于并行注意力机制残差网进行高光谱图像分类的方法
CN109727207B (zh) 基于光谱预测残差卷积神经网络的高光谱图像锐化方法
CN111860351B (zh) 一种基于行列自注意力全卷积神经网络的遥感图像鱼塘提取方法
CN111914909B (zh) 基于空谱联合三方向卷积网络的高光谱变化检测方法
CN109858557B (zh) 一种新的高光谱图像数据半监督分类方法
CN113793275A (zh) 一种Swin Unet低照度图像增强方法
He et al. DsTer: A dense spectral transformer for remote sensing spectral super-resolution
CN116468645B (zh) 一种对抗性高光谱多光谱遥感融合方法
WO2022261550A1 (en) Method and apparatus for image processing
CN115984155A (zh) 一种基于光谱解混的高光谱、多光谱和全色图像融合方法
Dong et al. Novel method for identifying wheat leaf disease images based on differential amplification convolutional neural network
CN114882368A (zh) 非平衡高光谱图像分类方法
CN110992301A (zh) 一种气体轮廓识别方法
Sarpong et al. Hyperspectral image classification using second-order pooling with graph residual unit network
Osin et al. Fast multispectral deep fusion networks
CN110458760B (zh) 基于信息熵的hnmf遥感图像解混方法
Cao et al. Hyperspectral image super-resolution via spectral matching and correction
CN116665051A (zh) 基于rgb图像重建高光谱图像的垃圾中金属再筛选方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200626

WD01 Invention patent application deemed withdrawn after publication