CN108492253B - 基于概率生成模型的高光谱图像超分辨方法 - Google Patents

基于概率生成模型的高光谱图像超分辨方法 Download PDF

Info

Publication number
CN108492253B
CN108492253B CN201810230563.8A CN201810230563A CN108492253B CN 108492253 B CN108492253 B CN 108492253B CN 201810230563 A CN201810230563 A CN 201810230563A CN 108492253 B CN108492253 B CN 108492253B
Authority
CN
China
Prior art keywords
resolution
image
model
low
spectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810230563.8A
Other languages
English (en)
Other versions
CN108492253A (zh
Inventor
陈渤
李婉萍
王正珏
张昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201810230563.8A priority Critical patent/CN108492253B/zh
Publication of CN108492253A publication Critical patent/CN108492253A/zh
Application granted granted Critical
Publication of CN108492253B publication Critical patent/CN108492253B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于概率生成模型的多光谱与高光谱图像超分辨方法，其实现步骤为：(1)建立数据集；(2)建立概率生成模型；(3)输入光谱图像；(4)对联合概率分布对数进行最大化处理；(5)得到超分辨后的光谱图像。本发明克服了现有技术使用估计空间转换矩阵的先验信息会使模型参数不准确，浅层模型表征能力差的问题，使得本发明的模型参数与超分辨后的高分辨率的高光谱图像更准确，是一种高效的高光谱图像超分辨方法。

Description

基于概率生成模型的高光谱图像超分辨方法
技术领域
本发明属于图像处理技术领域，更进一步涉及图像超分辨技术领域的一种基于概率生成模型的多光谱与高光谱图像超分辨方法。本发明可用于低分辨率的高光谱图像与高分辨率的多光谱图像，利用图像超分辨技术，生成高分辨率的高光谱图像。
背景技术
随着传感器技术的迅猛发展，遥感图像的光谱分辨率不断提高。高光谱图像的问世成为遥感领域的一个重大飞跃。与多光谱图像相比，高光谱图像不仅在信息丰富程度方面有了极大的提高，在处理技术上也使对光谱数据进行更为合理的、有效的分析处理提供了可能。因此，高光谱图像在各个领域得到广泛的应用，包括矿产探测、环境检测、生物医学等。但是，由于硬件和预算等约束，要在高光谱传感器的空间分辨率和光谱分辨率之间进行权衡。高光谱图像中存在大量的混合像元，不仅硬性了定量化分析，还严重影响了在其他领域的应用。因此，运用超分辨技术提高高光谱图像的空间分辨率，有着十分重要的意义。现有的图像超分辨算法主要有这几种：基于传统插值理论的方法、基于模型/重建的方法和基于机器学习的方法。
W.Dong,F.Fu,G.Shi,X.Cao,J.Wu,G.Li等人在其发表的论文“Hyperspectralimage super-resolution via non-negative structured sparse representation.”(IEEE Transactions on Image Processing,2016,pages 2337-2352.)中公开了一种基于字典学习稀疏表示的低分辨率与高分辨率光谱图像超分辨方法。该方法首先从低分辨率的高光谱图像中学习场景模型的高光谱字典，然后再从对应的低分辨率与高分辨率光谱图像中估计高光谱图像的稀疏编码，使用基于聚类的结构化稀疏编码方法得到高分辨率的高光谱图像。该方法在高光谱图像恢复技术中表现出了较好的性能，并有着较高的计算效率。但是，该方法仍然存在的不足之处是：该方法并没有考虑到使用估计空间转换矩阵的先验信息，会使得到的模型参数不准确的问题，导致该方法容易在图像超分辨应用中出现大的偏差。
北京航空航天大学在其申请的专利文献“基于光谱重构的三步高光谱图像融合方法”(专利申请专利号201310656056.8，公开号103714572A)中提出了一种基于光谱重构的高光谱图像超分辨方法。该方法通过高光谱图像波段选择模块设计波段选择矩阵，再通过高光谱图像-高空间分辨率图像融合模块对输入的图像进行主成分分析融合，经过高精度光谱重构输出最终融合图像。该方法减少了融合数据了，降低光谱畸变，提升光谱保持性并增强了图像质量。但是，该方法仍然存在的不足之处是：该方法只是利用了一个线性模型来表征图像，只利用了浅层的概率模型融合图像来实现图像超分辨，并不能体现出原图像中的所有信息，使得超分辨后的高光谱图像与原图像有较大的偏差。
发明内容
本发明的目的在于克服上述现有技术存在的不足，提出一种基于概率生成模型的多光谱图像超分辨方法，利用非线性模型对样本建模，提高生成的高分辨率的高光谱图像的分辨率。
实现本发明上述目的的思路是：将低分辨率的高光谱图像，输入低分辨生成子模型，将高分辨率的多光谱图像，输入高分辨生成子模型；同时利用随机梯度下降算法，得到低分辨生成子模型与高分辨生成子模型的隐层与模型参数；从得到的高分辨生成子模型的隐层中，得到超分辨后的高分辨率的高光谱图像。
为实现上述目的，本发明的具体步骤如下：
(1)建立数据集：
建立一个空集作为数据集；
(2)建立概率生成模型：
(2a)建立一个低分辨生成子模型，该子模型包含一个低分辨图像输入层、两个隐层和一个顶层，每层之间有一个多层感知机操作；
(2b)建立一个高分辨生成子模型，该子模型包含一个高分辨图像输入层、三个隐层和一个顶层，每层之间有一个多层感知机操作；
(3)输入光谱图像：
(3a)将单幅低分辨率的高光谱图像，以及该高光谱图像对应的相同场景下的高分辨率的多光谱图像，输入到数据集中，同时将两者之间的光谱转换矩阵输入数据集中；
(3b)将数据集中的低分辨率的高光谱图像，输入到概率生成模型中的低分辨生成子模型，同时将数据集中的高分辨率的多光谱图像，输入到概率生成模型中的高分辨生成子模型；
(4)对联合概率分布对数进行最大化处理：
(4a)利用联合似然公式，对高光谱与多光谱图像联合概率分布进行对数运算，得到联合概率分布对数；
(4b)使用随机梯度下降算法，对联合概率分布对数进行最大化处理，得到低分辨生成子模型和高分辨生成子模型的隐层与所有模型参数；
(5)得到超分辨后的光谱图像：
从得到的高分辨生成子模型的第一个隐层中，得到超分辨后的高分辨率的高光谱图像。
本发明与现有的技术相比具有以下优点：
第一，由于本发明利用无先验条件的低分辨率的高光谱与高分辨率的高光谱图像之间的空间转换矩阵，来描述低分辨率的高光谱与高分辨率的高光谱图像之间的关系，克服了现有技术中由于使用估计空间转换矩阵的先验信息，得到的模型参数不准确的问题，使得本发明中得到的模型参数更加准确。
第二，由于本发明建立了一个高分辨生成子模型，该子模型包含一个高分辨图像输入层、三个隐层和一个顶层，每层之间有一个多层感知机操作，克服了现有技术中由于使用了一个线性模型来表征图像，只利用了浅层的概率模型融合图像来实现图像超分辨，并不能体现出原图像中的所有信息，超分辨后的高光谱图像与原图像有较大的偏差的问题，使得本发明超分辨后的高分辨率的高光谱图像更加准确。
附图说明
图1是本发明的流程图；
图2是本发明的仿真图。
具体实施方式
下面结合附图对本发明做进一步的描述。
参照图1，本发明的具体实施步骤如下。
步骤1.建立数据集。
建立一个空集作为数据集。
步骤2.建立概率生成模型。
建立一个低分辨生成子模型，该子模型包含一个低分辨图像输入层、两个隐层和一个顶层，每层之间有一个多层感知机操作。
所述的低分辨生成子模型的参数设置如下：
将低分辨率的高光谱图像的分布近似为高斯分布，其初始均值设置为0，初始方差设置为1，多层感知机操作的激活函数为双曲正切函数，初始权值设置为1，初始偏置设置为0。
建立一个高分辨生成子模型，该子模型包含一个高分辨图像输入层、三个隐层和一个顶层，每层之间有一个多层感知机操作。
所述的高分辨生成子模型的参数设置如下：
将高分辨率的多光谱图像的分布近似为高斯分布，其初始均值设置为0，初始方差设置为1，多层感知机操作的激活函数为双曲正切函数，初始权值设置为1，初始偏置设置为0。
步骤3.输入光谱图像。
将单幅低分辨率的高光谱图像，以及该高光谱图像对应的相同场景下的高分辨率的多光谱图像，输入到数据集中，同时将两者之间的光谱转换矩阵输入数据集中。
所述低分辨率的高光谱图像是指，光谱维分辨率高，图像维分辨率低的图像。
所述高分辨率的多光谱图像是指，光谱维分辨率低，图像维分辨率高的图像。
所述光谱转换矩阵如下：
Xm＝Φ·Xh+nm
其中，Xm表示高分辨率的多光谱图像，且满足
Figure BDA0001602463160000041
其中，∈表示属于符号，
Figure BDA0001602463160000042
表示实数域，E表示光谱图像的光谱维度为E维，E取值为正整数，AB表示光谱图像的图像维度为A×B维，A与B取值为正整数，Φ表示光谱转换矩阵，·表示乘法符号，Xh表示高分辨率的高光谱图像，且满足
Figure BDA0001602463160000043
其中，F表示光谱图像的光谱维度为F维，F取值为正整数,nm表示高光谱与多光谱图像之间的噪声，且满足
Figure BDA0001602463160000051
步骤4.对联合概率分布对数进行最大化处理。
利用联合似然公式，对高光谱与多光谱图像联合概率分布进行对数运算，得到联合概率分布对数。
所述的联合似然公式如下：
Figure BDA0001602463160000052
其中，log(·)表示以10为底的对数操作，p(·)表示联合概率分布，Xl表示低分辨率的高光谱图像，且满足
Figure BDA0001602463160000053
CD表示光谱图像的图像维度为C×D维，C与D取值为正整数，
Figure BDA0001602463160000054
表示变分下界函数符号，φl表示低分辨率的高光谱图像近似高斯分布的参数，φh表示高分辨率的多光谱图像近似高斯分布的参数，∑表示求和操作，
Figure BDA0001602463160000055
表示相对熵函数符号，表示两个概率分布的差异，qφ(·)表示近似分布，
Figure BDA0001602463160000056
表示低分辨子模型的顶层，
Figure BDA0001602463160000057
表示低分辨子模型的输入层，
Figure BDA0001602463160000058
表示高分辨子模型的顶层，
Figure BDA0001602463160000059
表示高分辨子模型的输入层。
使用随机梯度下降算法，对联合概率分布对数进行最大化处理，得到低分辨生成子模型和高分辨生成子模型的隐层与所有模型参数。
步骤5.得到超分辨后的光谱图像。
从得到的高分辨生成子模型的第一个隐层中，得到超分辨后的高分辨率的高光谱图像。
本发明的效果可通过以下仿真进一步说明。
1.仿真条件：
本发明的仿真试验是在主频3.2GHz的Intel(R)Core(TM)i5-6500CPU、内存8GB的硬件环境和基于Python2.5的软件环境下进行的。
2.仿真内容：
本发明仿真实验是采用本发明的方法与现有技术，对数据集中的高分辨率的多光谱图像与低分辨率的高光谱图像进行超分辨仿真实验，本发明的结果如图2所示。其中图2(a)为低分辨率的高光谱图像，图2(b)为高分辨率的多光谱图像，图2(c)为超分辨后的高分辨率的高光谱图像。本发明仿真所用数据集来自于CAVE图像集，由32幅高分辨率的高光谱图像组成。
本发明仿真内容为：采用本发明的方法与现有技术GSOMP和BSR的方法对数据集CAVE的图像进行图像超分辨实验，其中，GSOMP是一种基于正交匹配的高光谱图像超分辨方法，BSR是一种基于贝叶斯稀疏表示的高光谱图像超分辨方法。
3.仿真效果分析：
用本发明的方法、现有技术GSOMP和BSR的方法对数据集CAVE的图像进行图像超分辨实验，采用均方根误差RMSE和光谱角匹配SAM来作为比较标准，当RMSE值与SAM值越高，图像超分辨的结果越好，结果如表1。表1为GSOMP、BSR、本发明方法在仿真中得到的RMSE、SAM的统计结果。
表1.三种方法仿真结果一览表
方法 RMSE() SAM(°)
GSOMP 5.44 12.23
BSR 4.71 12.93
本发明 2.12 6.81
从表1可以看出：与现有的GSOMP和BSR光谱图像融合方法相比，本发明得到的均方根误差RMSE和光谱角匹配SAM更小，表示本发明提出的这种基于概率生成模型的多光谱与高光谱图像超分辨方法，改进了上述两种方法的不足，能使超分辨后的高分辨率的高光谱图像更准确。

Claims (7)

1.一种基于概率生成模型的高光谱图像超分辨方法，其特征在于，将低分辨率的高光谱图像输入概率生成模型的低分辨生成子模型，将高分辨的多光谱图像输入概率生成模型的高分辨子模型，最大化高光谱与多光谱图像联合概率分布的对数，得到低分辨生成子模型和高分辨生成子模型的隐层与所有模型参数，该方法的具体步骤包括如下：
(1)建立数据集：
建立一个空集作为数据集；
(2)建立概率生成模型：
(2a)建立一个低分辨生成子模型，该子模型包含一个低分辨图像输入层、两个隐层和一个顶层，每层之间有一个多层感知机操作；
(2b)建立一个高分辨生成子模型，该子模型包含一个高分辨图像输入层、三个隐层和一个顶层，每层之间有一个多层感知机操作；
(3)输入光谱图像：
(3a)将单幅低分辨率的高光谱图像，以及该高光谱图像对应的相同场景下的高分辨率的多光谱图像，输入到数据集中，同时将两者之间的光谱转换矩阵输入数据集中；
(3b)将数据集中的低分辨率的高光谱图像，输入到概率生成模型中的低分辨生成子模型，同时将数据集中的高分辨率的多光谱图像，输入到概率生成模型中的高分辨生成子模型；
(4)对联合概率分布对数进行最大化处理：
(4a)利用联合似然公式，对高光谱与多光谱图像联合概率分布进行对数运算，得到联合概率分布对数；
(4b)使用随机梯度下降算法，对联合概率分布对数进行最大化处理，得到低分辨生成子模型和高分辨生成子模型的隐层与所有模型参数；
(5)得到超分辨后的光谱图像：
从得到的高分辨生成子模型的第一个隐层中，得到超分辨后的高分辨率的高光谱图像。
2.根据权利要求1所述的基于概率生成模型的高光谱图像超分辨方法，其特征在于，步骤(2a)中所述的低分辨生成子模型的参数设置如下：
将低分辨率的高光谱图像的分布近似为高斯分布，其初始均值设置为0，初始方差设置为1，多层感知机操作的激活函数为双曲正切函数，初始权值设置为1，初始偏置设置为0。
3.根据权利要求1所述的基于概率生成模型的高光谱图像超分辨方法，其特征在于，步骤(2b)中所述的高分辨生成子模型的参数设置如下：
将高分辨率的多光谱图像的分布近似为高斯分布，其初始均值设置为0，初始方差设置为1，多层感知机操作的激活函数为双曲正切函数，初始权值设置为1，初始偏置设置为0。
4.根据权利要求1所述的基于概率生成模型的高光谱图像超分辨方法，其特征在于，步骤(3a)中所述低分辨率的高光谱图像是指，光谱维分辨率高，图像维分辨率低的图像。
5.根据权利要求1所述的基于概率生成模型的高光谱图像超分辨方法，其特征在于，步骤(3a)中所述高分辨率的多光谱图像是指，光谱维分辨率低，图像维分辨率高的图像。
6.根据权利要求1所述的基于概率生成模型的高光谱图像超分辨方法，其特征在于，步骤(3a)中所述光谱转换矩阵如下：
Xm＝Φ·Xh+nm
其中，Xm表示高分辨率的多光谱图像，且满足
Figure FDA0002296436140000021
其中，∈表示属于符号，
Figure FDA0002296436140000022
表示实数域，E表示光谱图像的光谱维度为E维，E取值为正整数，AB表示光谱图像的图像维度为A×B维，A与B取值为正整数，Φ表示光谱转换矩阵，·表示乘法符号，Xh表示高分辨率的高光谱图像，且满足
Figure FDA0002296436140000023
其中，F表示光谱图像的光谱维度为F维，F取值为正整数,nm表示高光谱与多光谱图像之间的噪声，且满足
Figure FDA0002296436140000031
7.根据权利要求6所述的基于概率生成模型的高光谱图像超分辨方法，其特征在于，步骤(4a)中所述的联合似然公式如下：
Figure FDA0002296436140000032
其中，log(·)表示以10为底的对数操作，p(·)表示联合概率分布，Xl表示低分辨率的高光谱图像，且满足
Figure FDA0002296436140000033
CD表示光谱图像的图像维度为C×D维，C与D取值为正整数，
Figure FDA0002296436140000034
表示变分下界函数符号，φl表示低分辨率的高光谱图像近似高斯分布的参数，φh表示高分辨率的多光谱图像近似高斯分布的参数，∑表示求和操作，
Figure FDA0002296436140000035
表示相对熵函数符号，表示两个概率分布的差异，qφ(·)表示近似分布，
Figure FDA0002296436140000036
表示低分辨子模型的顶层，
Figure FDA0002296436140000037
表示低分辨子模型的输入层，
Figure FDA0002296436140000038
表示高分辨子模型的顶层，
Figure FDA0002296436140000039
表示高分辨子模型的输入层。
CN201810230563.8A 2018-03-20 2018-03-20 基于概率生成模型的高光谱图像超分辨方法 Active CN108492253B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810230563.8A CN108492253B (zh) 2018-03-20 2018-03-20 基于概率生成模型的高光谱图像超分辨方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810230563.8A CN108492253B (zh) 2018-03-20 2018-03-20 基于概率生成模型的高光谱图像超分辨方法

Publications (2)

Publication Number Publication Date
CN108492253A CN108492253A (zh) 2018-09-04
CN108492253B true CN108492253B (zh) 2020-04-14

Family

ID=63318808

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810230563.8A Active CN108492253B (zh) 2018-03-20 2018-03-20 基于概率生成模型的高光谱图像超分辨方法

Country Status (1)

Country Link
CN (1) CN108492253B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584194B (zh) * 2018-10-26 2023-04-07 西安电子科技大学 基于卷积变分概率模型的高光谱图像融合方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104050653A (zh) * 2014-07-07 2014-09-17 西安电子科技大学 基于非负结构稀疏的高光谱图像超分辨率算法
CN106485688A (zh) * 2016-09-23 2017-03-08 西安电子科技大学 基于神经网络的高光谱图像重构方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104050653A (zh) * 2014-07-07 2014-09-17 西安电子科技大学 基于非负结构稀疏的高光谱图像超分辨率算法
CN106485688A (zh) * 2016-09-23 2017-03-08 西安电子科技大学 基于神经网络的高光谱图像重构方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Bayesian dictionary learning for hyperspectral image super resolution in mixed Poisson–Gaussian noise;Changzhong Zou,etc;《Singal Processing:Image Communication》;20170919;第29页至41页 *
基于光谱相似性的高光谱图像超分辨率算法;潘宗序等;《自动化学报》;20140918;第40卷(第12期);第2797页至2807页 *
基于冗余字典的高光谱图像超分辨率复原算;王素玉;《北京工业大学学报》;20151009;第41卷(第10期);第1522页至1527页 *

Also Published As

Publication number Publication date
CN108492253A (zh) 2018-09-04

Similar Documents

Publication Publication Date Title
CN108460749B (zh) 一种高光谱与多光谱图像的快速融合方法
CN108596248B (zh) 一种基于改进深度卷积神经网络的遥感影像分类方法
Xu et al. Reweighted sparse subspace clustering
CN105261000A (zh) 一种基于端元提取与光谱解混的高光谱图像融合方法
Ran et al. Remote sensing images super-resolution with deep convolution networks
CN103077511A (zh) 基于字典学习和结构相似的图像超分辨率重建方法
CN108520495B (zh) 基于聚类流形先验的高光谱图像超分辨重建方法
CN103810755A (zh) 基于结构聚类稀疏表示的压缩感知光谱图像重建方法
CN110288524B (zh) 基于增强型上采样和辨别融合机制的深度学习超分辨率方法
Liu et al. Spectral unmixing via compressive sensing
Mohamadzadeh et al. Content‐based image retrieval system via sparse representation
CN104318243A (zh) 基于稀疏表示和空谱拉普拉斯图的高光谱数据降维方法
CN113902622B (zh) 基于深度先验联合注意力的光谱超分辨率方法
CN105550712A (zh) 基于优化卷积自动编码网络的极光图像分类方法
Delouis et al. Non-Gaussian modelling and statistical denoising of Planck dust polarisation full-sky maps using scattering transforms
Zhang et al. NHNet: A non‐local hierarchical network for image denoising
CN115457311A (zh) 一种基于自表达迁移学习的高光谱遥感影像波段选择方法
Huang et al. Agtgan: Unpaired image translation for photographic ancient character generation
CN108492253B (zh) 基于概率生成模型的高光谱图像超分辨方法
CN108090914B (zh) 基于统计建模与像素分类的彩色图像分割方法
CN104751470A (zh) 一种图像快速匹配方法
Zhou et al. Spectral–Spatial Correlation Exploration for Hyperspectral Image Classification via Self-Mutual Attention Network
Remil et al. Data‐Driven Sparse Priors of 3D Shapes
Liu et al. Diverse Hyperspectral Remote Sensing Image Synthesis With Diffusion Models
CN113887656B (zh) 一种联合深度学习与稀疏表示的高光谱图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant