CN115797175A - 一种基于亚像素字典学习的高光谱遥感图像空间超分辨方法 - Google Patents

一种基于亚像素字典学习的高光谱遥感图像空间超分辨方法 Download PDF

Info

Publication number
CN115797175A
CN115797175A CN202211527017.3A CN202211527017A CN115797175A CN 115797175 A CN115797175 A CN 115797175A CN 202211527017 A CN202211527017 A CN 202211527017A CN 115797175 A CN115797175 A CN 115797175A
Authority
CN
China
Prior art keywords
sub
pixel
matrix
resolution
remote sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211527017.3A
Other languages
English (en)
Other versions
CN115797175B (zh
Inventor
刘天竹
张献豪
谷延锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202211527017.3A priority Critical patent/CN115797175B/zh
Publication of CN115797175A publication Critical patent/CN115797175A/zh
Application granted granted Critical
Publication of CN115797175B publication Critical patent/CN115797175B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于亚像素字典学习的高光谱遥感图像空间超分辨方法，本发明涉及基于亚像素字典学习的高光谱遥感图像空间超分辨方法。本发明的目的是为了解决现有利用端元的解混方法针对最终的类别图，限制了高空间分辨率图像的应用范围，同时端元信息的有限性限制了重建高空间分辨率高光谱图像的质量的问题。一种基于亚像素字典学习的高光谱遥感图像空间超分辨方法具体过程为：步骤1：构建基于亚像素字典学习的高光谱遥感图像空间超分辨模型；步骤2：基于原始高光谱图像进行随机字典初始值选取；步骤3：用Split‑Bregman迭代法对超分辨模型进行迭代优化，输出高空间分辨率高光谱图像。本发明属于遥感图像处理领域。

Description

一种基于亚像素字典学习的高光谱遥感图像空间超分辨方法
技术领域
本发明涉及基于亚像素字典学习的高光谱遥感图像空间超分辨方法。本发明属于遥感图像处理领域。
背景技术
遥感是在不直接接触的情况下，对目标或自然现象远距离探测和感知的一种技术，是一门综合性很强的空间技术科学，同时也是应用领域广泛的应用科学，具有实用性强、效率高、成本低、分辨率较高、覆盖范围大等优点。随着科学技术不断发展，遥感技术也越来越多地应用于自然资源监测、城市规划、灾害预防、自动化农业生产、公共卫生等领域。
高光谱图像通常包含同一场景的数百个光谱数据通道，各个光谱通道间往往是连续的，同时包含图像信息和光谱信息，这种极其丰富的光谱信息有助于实现对地物的精确识别和分类。在高光谱数据的各项应用，土地覆盖分类作为重要的环节越来越受到人们的广泛关注，高光谱数据凭借独特的地物分类能力在相关方向取得了极大的成功。然而受传感器成像能力的制约，高光谱遥感数据普遍存在空间分辨率较低的问题。相对于多光谱图像，高光谱图像可以提供更准确的光谱信息，在解混、变化检测、目标识别、场景解释和分类等应用中优势明显。因此，对高空间分辨率的高光谱图像的需求不断增加使得对高光谱图像的超分辨方法的研究具有一定的现实意义。
目前基于解混的高光谱图像分析方法能够得到像素内不同类别地物的丰度，结合亚像素定位处理流程，可以得到亚像素级别的分类图。然而，利用端元的解混方法针对最终的类别图，限制了高空间分辨率图像的应用范围，同时端元信息的有限性限制了重建高空间分辨率高光谱图像的质量。
发明内容
本发明的目的是为了解决现有利用端元的解混方法针对最终的类别图，限制了高空间分辨率图像的应用范围，同时端元信息的有限性限制了重建高空间分辨率高光谱图像的质量的问题，而提出一种基于亚像素字典学习的高光谱遥感图像空间超分辨方法。
一种基于亚像素字典学习的高光谱遥感图像空间超分辨方法具体过程为：
步骤1：构建基于亚像素字典学习的高光谱遥感图像空间超分辨模型；
步骤2：基于原始高光谱图像进行随机字典初始值选取；
步骤3：用Split-Bregman迭代法对超分辨模型进行迭代优化，输出高空间分辨率高光谱图像；
所述Split-Bregman为分裂布雷格曼。
一种基于亚像素字典学习的高光谱遥感图像空间超分辨系统用于执行一种基于亚像素字典学习的高光谱遥感图像空间超分辨方法。
一种存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行一种基于亚像素字典学习的高光谱遥感图像空间超分辨方法。
本发明的有益效果为：
本发明针对低空间分辨率的高光谱遥感图像，实现了空间分辨率的提高，并相比其他方法取得了更好的重建效果。
本发明提出一种基于亚像素字典学习的高光谱遥感图像空间超分辨方法，充分利用了原始高光谱图像的空间和光谱信息，可以获得高空间高光谱分辨率的重建图像。
由于本方法建立的基于亚像素字典学习的高光谱遥感图像空间超分辨模型避免了仅通过端元来进行高分辨率重构的表示信息的有限性，通过更新学习到的字典来学习原始图像中的空间和光谱信息，因此能够得到更高质量的高空间分辨率的高光谱图像，保持了良好的空间细节，避免了光谱的失真。
本发明为了验证所提出模型的性能，针对两组模拟高光谱数据和真实的GF-5高光谱图像数据进行超分辨率实验，并采用了不同对比方法，利用分类器和PSNR、SSIM、SAM评价指标对重建数据质量进行衡量，实验结果验证了本发明提出的基于亚像素字典学习的高光谱遥感图像空间超分辨模型的有效性。
附图说明
图1是本发明的实现流程示意图；
图2a是原始GF-5高光谱数据假彩色图像；
图2b是高分辨率的类别真值图；
图3a是本发明提出方法在GF-5高光谱数据上的超分辨系数为2的重构结果图；
图3b是SSSM方法在GF-5高光谱数据上的超分辨系数为2的重构结果图；
图3c是SRHSI方法在GF-5高光谱数据上的超分辨系数为2的重构结果图；
图4a是本发明提出方法在GF-5高光谱数据上超分辨系数为2的重构结果的分类结果图；
图4b是SSSM方法在GF-5高光谱数据上超分辨系数为2的重构结果的分类结果图；
图4c是SRHSI方法在GF-5高光谱数据上超分辨系数为2的重构结果的分类结果图；
图5a是本发明提出方法在Urban数据上的重构结果图；
图5b是Bicubic方法在Urban数据上的重构结果图；
图5c是ESPCNN方法在Urban数据上的重构结果图；
图5d是SSSM方法在Urban数据上的重构结果图；
图5e是Fuse方法在Urban数据和模拟的多光谱数据上的融合结果图；
图5f是真实的高空间分辨率Urban高光谱数据；
图6a是本发明提出方法在重构Pavia数据上的分类结果图；
图6b是Bicubic方法在重构Pavia数据上的分类结果图；
图6c是ESPCNN方法在重构Pavia数据上的分类结果图；
图6d是SSSM方法在重构Pavia数据上的分类结果图；
图6e是Fuse方法融合Pavia数据和模拟的多光谱数据的结果上的分类图；
图6f是真实的高空间分辨率Urban高光谱数据。
具体实施方式
具体实施方式一：本实施方式一种基于亚像素字典学习的高光谱遥感图像空间超分辨方法具体过程为：
步骤1：构建基于亚像素字典学习的高光谱遥感图像空间超分辨模型；
步骤2：基于原始高光谱图像进行随机字典初始值选取；
步骤3：用Split-Bregman迭代法对超分辨模型进行迭代优化，输出高空间分辨率高光谱图像；
所述Split-Bregman为分裂布雷格曼。
具体实施方式二：本实施方式与具体实施方式一不同的是，所述步骤1中构建基于亚像素字典学习的高光谱遥感图像空间超分辨模型；具体过程为：
首先输入高光谱遥感图像，并将高光谱遥感图像展开成由单个像元向量组成的观测光谱矩阵
Figure BDA0003973307920000031
其中b代表高光谱遥感图像的波段数，n代表高光谱遥感图像的像素数量；
Figure BDA0003973307920000032
代表实数，yn′代表观测光谱矩阵中第n′个元素；
定义
Figure BDA0003973307920000033
为基于高光谱遥感图像所获得的p个字典的光谱特征；
其中b代表高光谱遥感图像的波段数，mp代表基于高光谱遥感图像所获得的第p个字典的光谱特征；
定义
Figure BDA0003973307920000041
代表以M为字典对观测光谱矩阵Y进行表示的稀疏系数；
利用上述符号定义，线性混合模型可以表示为：
Figure BDA0003973307920000042
式中，
Figure BDA0003973307920000043
表示观测光谱矩阵中的噪声，
Figure BDA0003973307920000044
是对于稀疏表示系数的非负约束与和为1约束，
Figure BDA0003973307920000045
是均为1的p维列向量，T为转置；1n是均为1的n维列向量；
针对上述的线性混合模型，可以引入
Figure BDA0003973307920000046
为亚像素稀疏表示系数矩阵；
其中v＝n×s2是Z中的亚像素的数量，s是比例因子；zv代表亚像素稀疏表示系数矩阵中第v个元素；
定义
Figure BDA0003973307920000047
为下采样矩阵，如果采用平均滤波的方式，那么矩阵D可以定义
Figure BDA0003973307920000048
其中，l和r分别代表原始高光谱图像中的行和列的大小，高光谱遥感图像的像素数量n满足n＝l×r，
Figure BDA0003973307920000049
代表克罗内克积，I代表相应大小的单位矩阵；1s是均为1的s维列向量；Il代表大小为l单位矩阵，Ir代表大小为r的单位矩阵；dn′代表下采样矩阵中第n′个元素；
根据如上定义，可以使用所得到的下采样矩阵建立起稀疏系数与亚像素稀疏表示系数之间的映射关系：A＝ZD；
然后，将映射关系代入到线性混合模型中，可以得到基于亚像素字典表示的超分辨率模型：
Figure BDA00039733079200000410
其中，1v代表均为1的v维列向量；Z≥0和
Figure BDA00039733079200000411
分别是对于亚像素稀疏表示系数的非负性约束与和为1约束；
同时，根据空间相关性，可以施加空间先验约束来正则化问题。在模型中可以引入各向异性全变差作为空间先验项，此空间先验项能够保留图像中的边缘和详细的空间信息，空间先验项可以表示为
Figure BDA00039733079200000412
式中，
Figure BDA00039733079200000413
和
Figure BDA00039733079200000414
表示图像的水平和竖直方向的一阶差分线性算子；TV(Z)代表空间先验项；||代表绝对值；
Figure BDA0003973307920000051
表示亚像素稀疏表示系数矩阵Z的水平方向的一阶差分线性算子，
Figure BDA0003973307920000052
表示亚像素稀疏表示系数矩阵Z的竖直方向的一阶差分线性算子；
对于亚像素稀疏表示系数矩阵Z中字典k的稀疏表示矩阵中像素i，像素i在对应关系图中的二维坐标可以表示为(m,q)，则对应关系可以表示为i＝m×n×s+q，且i≤v，同理可得：
m＝floor(i/(n×s))
q＝i-m×n×s
其中，floor为向下取整符号；m为像素i在对应关系图中x轴的坐标，q为像素i在对应关系图中y轴的坐标；
那么对于亚像素稀疏表示系数矩阵Z中的像素一阶差分算子可以表示为
Figure BDA0003973307920000053
Figure BDA0003973307920000054
其中，Zk代表亚像素稀疏表示系数矩阵Z中字典k的稀疏表示矩阵，
Figure BDA0003973307920000055
代表亚像素稀疏表示系数矩阵Z中字典k的稀疏表示矩阵中像素i的水平方向的一阶差分线性算子，
Figure BDA0003973307920000056
代表亚像素稀疏表示系数矩阵Z中字典k的稀疏表示矩阵中像素i的竖直方向的一阶差分线性算子；
综上所述，构建基于亚像素字典学习的高光谱遥感图像空间超分辨模型如下：
Figure BDA0003973307920000057
其中，λ代表惩罚系数，
Figure BDA0003973307920000058
代表F范数的平方，
Figure BDA0003973307920000059
代表二范数的平方。
其它步骤及参数与具体实施方式一相同。
具体实施方式三：本实施方式与具体实施方式一或二不同的是，所述步骤2中基于原始高光谱图像进行随机字典初始值选取；具体过程为：
对于字典矩阵
Figure BDA00039733079200000510
根据具体需求确定字典的数量p，采用随机选取原始高光谱图像的像素点的方式来确定字典矩阵M的初始值，从而对字典矩阵进行初始化。
其它步骤及参数与具体实施方式一或二相同。
具体实施方式四：本实施方式与具体实施方式一至三之一不同的是，所述步骤3中用Split-Bregman迭代法对超分辨模型进行迭代优化，输出高空间分辨率高光谱图像；具体过程为：
步骤31、使用dx和dy分别表示
Figure BDA0003973307920000061
和
Figure BDA0003973307920000062
那么优化问题转化为
Figure BDA0003973307920000063
Figure BDA0003973307920000064
在优化问题中引入约束条件，可以将问题转换为无约束优化问题：
Figure BDA0003973307920000065
式中，μ为权重参数；
步骤32、应用分裂布雷格曼方法来强制约束：
Figure BDA0003973307920000066
式中，
Figure BDA0003973307920000067
和
Figure BDA0003973307920000068
为迭代中对
Figure BDA0003973307920000069
和
Figure BDA00039733079200000610
施加的强约束；
步骤33、最终，根据分裂布雷格曼方法原理，优化超分辨模型(本发明最终求Z和M)，得到最优亚像素稀疏表示系数矩阵Z*和最优字典矩阵M*；
步骤34、根据最优亚像素稀疏表示系数矩阵Z*和最优字典矩阵M*，得到针对观测矩阵超分辨重建的高光谱图像。
其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五：本实施方式与具体实施方式一至四之一不同的是，所述步骤32中
Figure BDA00039733079200000611
和
Figure BDA00039733079200000612
分别表示为：
Figure BDA0003973307920000071
Figure BDA0003973307920000072
式中，
Figure BDA0003973307920000073
为第j次迭代对亚像素稀疏表示系数矩阵Z水平方向上的一阶差分运算结果，
Figure BDA0003973307920000074
为第j次迭代对亚像素稀疏表示系数矩阵Z竖直方向上的一阶差分运算结果，Zj为第j次迭代的亚像素稀疏表示系数矩阵，
Figure BDA0003973307920000075
为优化
Figure BDA0003973307920000076
的辅助变量，
Figure BDA0003973307920000077
为优化
Figure BDA0003973307920000078
的辅助变量，j为迭代过程中的迭代次数，t为目前迭代的迭代次数。
其它步骤及参数与具体实施方式一至四之一相同。
具体实施方式六：本实施方式与具体实施方式一至五之一不同的是，所述步骤33中最终，根据分裂布雷格曼方法原理，优化超分辨模型(本发明最终求Z和M)，得到最优亚像素稀疏表示系数矩阵Z*和最优字典矩阵M*；具体过程为：
超分辨模型的优化过程可以表示为如下的迭代过程(本发明最终求Z和M)：
初始化dx、bx、dy、by、Z均为0；
Y和D已知；
Figure BDA0003973307920000079
Figure BDA00039733079200000710
Figure BDA00039733079200000711
Figure BDA0003973307920000081
Figure BDA0003973307920000082
Figure BDA0003973307920000083
式中，Zt为第t次迭代的亚像素稀疏表示系数矩阵，Zt+1为第t+1次迭代的亚像素稀疏表示系数矩阵，Mt为第t次迭代的字典矩阵，Mt+1为第t+1次迭代的字典矩阵，
Figure BDA0003973307920000084
为第t次迭代优化
Figure BDA0003973307920000085
的辅助变量，
Figure BDA0003973307920000086
为第t+1次迭代优化
Figure BDA0003973307920000087
的辅助变量，
Figure BDA0003973307920000088
为第t次迭代优化
Figure BDA0003973307920000089
的辅助变量，
Figure BDA00039733079200000810
为第t+1次迭代优化
Figure BDA00039733079200000811
的辅助变量，
Figure BDA00039733079200000812
为第t次迭代中对
Figure BDA00039733079200000813
施加的强约束，
Figure BDA00039733079200000814
为第t+1次迭代中对
Figure BDA00039733079200000815
施加的强约束，
Figure BDA00039733079200000816
为第t次迭代中对
Figure BDA00039733079200000817
施加的强约束，
Figure BDA00039733079200000818
为第t+1次迭代中对
Figure BDA00039733079200000819
施加的强约束；
Figure BDA00039733079200000820
为第t次迭代对亚像素稀疏表示系数矩阵Z水平方向上的一阶差分运算结果，
Figure BDA00039733079200000821
为第t次迭代对亚像素稀疏表示系数矩阵Z竖直方向上的一阶差分运算结果，
Figure BDA00039733079200000822
为第t+1次迭代对亚像素稀疏表示系数矩阵Z水平方向上的一阶差分运算结果，
Figure BDA00039733079200000823
为第t+1次迭代对亚像素稀疏表示系数矩阵Z竖直方向上的一阶差分运算结果；
shrink为shrink算子；
然后，可以通过迭代降低目标函数值，直到达到给定的迭代次数或者相邻两次迭代获得的Z的差值不变(Zt和Zt+1的差值逐渐趋于零值)，得到最优亚像素稀疏表示系数矩阵Z*和最优字典矩阵M*。
其它步骤及参数与具体实施方式一至五之一相同。
具体实施方式七：本实施方式与具体实施方式一至六之一不同的是，所述shrink算子表示为：
shrink(α,β)＝(α/||α||)*max(||α||-β,0)
式中，α为shrink算子的第一个输入参数，β为shrink算子的第二个输入参数，*为点乘，|| ||为矩阵的模。
其它步骤及参数与具体实施方式一至六之一相同。
具体实施方式八：本实施方式与具体实施方式一至七之一不同的是，所述步骤34中根据最优亚像素稀疏表示系数矩阵Z*和最优字典矩阵M*，得到针对观测矩阵超分辨重建的高光谱图像：
Ypred＝M*Z*
式中，Ypred为针对观测矩阵超分辨重建的高光谱图像(和“观测光谱矩阵Y”相比高空分辨率更高)，M*为优化得到的最优字典矩阵，Z*为最优亚像素稀疏表示系数矩阵。
其它步骤及参数与具体实施方式一至七之一相同。
具体实施方式九：本实施方式一种基于亚像素字典学习的高光谱遥感图像空间超分辨系统用于执行具体实施方式一至具体实施方式八之一所述的一种基于亚像素字典学习的高光谱遥感图像空间超分辨方法。
具体实施方式十：本实施方式一种存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现具体实施方式一至具体实施方式八之一所述的一种基于亚像素字典学习的高光谱遥感图像空间超分辨方法。
应当理解，包括本发明描述的任何方法对应的可以被提供为计算机程序产品、软件或计算机化方法，其可以包括其上存储有指令的非暂时性机器可读介质，所述指令可以用于编程计算机系统，或其他电子装置。存储介质可以包括但不限于磁存储介质，光存储介质；磁光存储介质包括：只读存储器ROM、随机存取存储器RAM、可擦除可编程存储器(例如，EPROM和EEPROM)以及闪存层；或者适合于存储电子指令的其他类型的介质。
采用以下实施例验证本发明的有益效果：
实施例一：
实验所用数据是GF-5高光谱真实数据和Urban、Pavia模拟高光谱数据，在表1中进行了具体介绍；
在图2中显示了原始GF-5高光谱数据假彩色图像和高分辨率的类别真值图；
图3是本发明提出方法与对比超分辨方法在GF-5高光谱数据上的超分辨系数为2的重构结果图；
图4是本发明提出方法在GF-5高光谱数据上超分辨系数为2的重构结果的分类结果图；
图5是本发明提出方法与对比超分辨方法在Urban数据上的分类结果图；
图6是本发明提出方法与对比超分辨方法在Pavia数据上的分类结果图；
表2是分类过程中所用到的训练数据和测试数据的数量；
表3是高分辨率多光谱数据、原始数据、对比超分辨方法和本发明方法的结果在GF-5高光谱数据上的KNN分类结果评价对比；
表4是在Urban数据上的重构结果评价对比；
表5是在Pavia数据上的重构结果评价对比；
表6是对Urban数据上的重构结果进行SVM分类结果对比。
从重构图像和对比结果可以看出本发明所提模型生成的高分辨率图像取得了超分辨重建的效果，在图像分类性能上达到了优异的效果。
表1实验所用数据是GF-5高光谱数据的参数说明
Figure BDA0003973307920000101
表2分类过程中所用到的训练数据和测试数据的数量
Figure BDA0003973307920000102
表3高分辨率多光谱数据、原始数据、对比超分辨方法和本发明方法的结果在GF-5高光谱数据上的KNN分类结果评价对比
Figure BDA0003973307920000111
表4在Urban数据上的重构结果评价对比
Figure BDA0003973307920000112
表5在Pavia数据上的重构结果评价对比
Figure BDA0003973307920000113
表6对Urban数据上的重构结果进行SVM分类结果对比
Figure BDA0003973307920000114
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种基于亚像素字典学习的高光谱遥感图像空间超分辨方法，其特征在于：所述方法具体过程为：
步骤1：构建基于亚像素字典学习的高光谱遥感图像空间超分辨模型；
步骤2：基于原始高光谱图像进行随机字典初始值选取；
步骤3：用Split-Bregman迭代法对超分辨模型进行迭代优化，输出高空间分辨率高光谱图像；
所述Split-Bregman为分裂布雷格曼。
2.根据权利要求1所述的一种基于亚像素字典学习的高光谱遥感图像空间超分辨方法，其特征在于：所述步骤1中构建基于亚像素字典学习的高光谱遥感图像空间超分辨模型；具体过程为：
首先输入高光谱遥感图像，并将高光谱遥感图像展开成由单个像元向量组成的观测光谱矩阵
Figure FDA0003973307910000011
其中b代表高光谱遥感图像的波段数，n代表高光谱遥感图像的像素数量；
Figure FDA0003973307910000012
代表实数，yn′代表观测光谱矩阵中第n′个元素；
定义
Figure FDA0003973307910000013
为基于高光谱遥感图像所获得的p个字典的光谱特征；
其中b代表高光谱遥感图像的波段数，mp代表基于高光谱遥感图像所获得的第p个字典的光谱特征；
定义
Figure FDA0003973307910000014
代表以M为字典对观测光谱矩阵Y进行表示的稀疏系数；
利用上述符号定义，线性混合模型可以表示为：Y＝MA+N s.t.:A≥0,
Figure FDA0003973307910000015
式中，
Figure FDA0003973307910000016
表示观测光谱矩阵中的噪声，A≥0,
Figure FDA0003973307910000017
是对于稀疏表示系数的非负约束与和为1约束，
Figure FDA0003973307910000018
是均为1的p维列向量，T为转置；1n是均为1的n维列向量；
针对上述的线性混合模型，引入
Figure FDA0003973307910000019
为亚像素稀疏表示系数矩阵；
其中v＝n×s2是Z中的亚像素的数量，s是比例因子；zv代表亚像素稀疏表示系数矩阵中第v个元素；
定义
Figure FDA00039733079100000110
其中，l和r分别代表原始高光谱图像中的行和列的大小，高光谱遥感图像的像素数量n满足n＝l×r，
Figure FDA0003973307910000021
代表克罗内克积，I代表相应大小的单位矩阵；1s是均为1的s维列向量；Il代表大小为l单位矩阵，Ir代表大小为r的单位矩阵；dn′代表下采样矩阵中第n′个元素；
建立起稀疏系数与亚像素稀疏表示系数之间的映射关系：A＝ZD；
然后，将映射关系代入到线性混合模型中，可以得到基于亚像素字典表示的超分辨率模型：
Y＝MZD+N s.t.:Z≥0,
Figure FDA0003973307910000022
其中，1v代表均为1的v维列向量；Z≥0和
Figure FDA0003973307910000023
分别是对于亚像素稀疏表示系数的非负性约束与和为1约束；
引入空间先验项，此空间先验项能够保留图像中的边缘和详细的空间信息，空间先验项可以表示为TV(Z)＝|▽xZ|+|▽yZ|；
式中，▽x和▽y表示图像的水平和竖直方向的一阶差分线性算子；TV(Z)代表空间先验项；||代表绝对值；▽xZ表示亚像素稀疏表示系数矩阵Z的水平方向的一阶差分线性算子，▽yZ表示亚像素稀疏表示系数矩阵Z的竖直方向的一阶差分线性算子；
对于亚像素稀疏表示系数矩阵Z中字典k的稀疏表示矩阵中像素i，像素i在对应关系图中的二维坐标可以表示为(m,q)，则对应关系可以表示为i＝m×n×s+q，且i≤v，同理可得：
m＝floor(i/(n×s))
q＝i-m×n×s
其中，floor为向下取整符号；m为像素i在对应关系图中x轴的坐标，q为像素i在对应关系图中y轴的坐标；
那么对于亚像素稀疏表示系数矩阵Z中的像素一阶差分算子可以表示为
▽xZk,i＝Zk[m+1,q]-Zk[m,q]
▽yZk,i＝Zk[m,q+1]-Zk[m,q]
其中，Zk代表亚像素稀疏表示系数矩阵Z中字典k的稀疏表示矩阵，▽xZk,i代表亚像素稀疏表示系数矩阵Z中字典k的稀疏表示矩阵中像素i的水平方向的一阶差分线性算子，▽yZk,i代表亚像素稀疏表示系数矩阵Z中字典k的稀疏表示矩阵中像素i的竖直方向的一阶差分线性算子；
综上所述，构建基于亚像素字典学习的高光谱遥感图像空间超分辨模型如下：
Figure FDA0003973307910000031
其中，λ代表惩罚系数，
Figure FDA0003973307910000032
代表F范数的平方，
Figure FDA0003973307910000033
代表二范数的平方。
3.根据权利要求2所述的一种基于亚像素字典学习的高光谱遥感图像空间超分辨方法，其特征在于：所述步骤2中基于原始高光谱图像进行随机字典初始值选取；具体过程为：
采用随机选取原始高光谱图像的像素点的方式来确定字典矩阵M的初始值。
4.根据权利要求3所述的一种基于亚像素字典学习的高光谱遥感图像空间超分辨方法，其特征在于：所述步骤3中用Split-Bregman迭代法对超分辨模型进行迭代优化，输出高空间分辨率高光谱图像；具体过程为：
步骤31、使用dx和dy分别表示▽xZ和▽yZ，那么优化问题转化为
Figure FDA0003973307910000034
s.t.dx＝▽xZ,dy＝▽yZ
在优化问题中引入约束条件，可以将问题转换为无约束优化问题：
Figure FDA0003973307910000035
式中，μ为权重参数；
步骤32、应用分裂布雷格曼方法来强制约束：
Figure FDA0003973307910000036
式中，
Figure FDA0003973307910000041
和
Figure FDA0003973307910000042
为迭代中对▽xZ和▽yZ施加的强约束；
步骤33、优化超分辨模型，得到最优亚像素稀疏表示系数矩阵Z*和最优字典矩阵M*；
步骤34、根据最优亚像素稀疏表示系数矩阵Z*和最优字典矩阵M*，得到针对观测矩阵超分辨重建的高光谱图像。
5.根据权利要求4所述的一种基于亚像素字典学习的高光谱遥感图像空间超分辨方法，其特征在于：所述步骤32中
Figure FDA0003973307910000043
和
Figure FDA0003973307910000044
分别表示为：
Figure FDA0003973307910000045
Figure FDA0003973307910000046
式中，▽xZj为第j次迭代对亚像素稀疏表示系数矩阵Z水平方向上的一阶差分运算结果，▽yZj为第j次迭代对亚像素稀疏表示系数矩阵Z竖直方向上的一阶差分运算结果，Zj为第j次迭代的亚像素稀疏表示系数矩阵，
Figure FDA0003973307910000047
为优化▽xZj的辅助变量，
Figure FDA0003973307910000048
为优化▽yZj的辅助变量，j为迭代过程中的迭代次数，t为目前迭代的迭代次数。
6.根据权利要求5所述的一种基于亚像素字典学习的高光谱遥感图像空间超分辨方法，其特征在于：所述步骤33中优化超分辨模型，得到最优亚像素稀疏表示系数矩阵Z*和最优字典矩阵M*；具体过程为：
超分辨模型的优化过程可以表示为如下的迭代过程：
初始化dx、bx、dy、by、Z均为0；
Y和D已知；
Figure FDA0003973307910000049
Figure FDA0003973307910000051
Figure FDA0003973307910000052
Figure FDA0003973307910000053
Figure FDA0003973307910000054
Figure FDA0003973307910000055
式中，Zt为第t次迭代的亚像素稀疏表示系数矩阵，Zt+1为第t+1次迭代的亚像素稀疏表示系数矩阵，Mt为第t次迭代的字典矩阵，Mt+1为第t+1次迭代的字典矩阵，
Figure FDA0003973307910000056
为第t次迭代优化▽xZ的辅助变量，
Figure FDA0003973307910000057
为第t+1次迭代优化▽xZ的辅助变量，
Figure FDA0003973307910000058
为第t次迭代优化▽yZ的辅助变量，
Figure FDA0003973307910000059
为第t+1次迭代优化▽yZ的辅助变量，
Figure FDA00039733079100000510
为第t次迭代中对▽xZ施加的强约束，
Figure FDA00039733079100000511
为第t+1次迭代中对▽xZ施加的强约束，
Figure FDA00039733079100000512
为第t次迭代中对▽yZ施加的强约束，
Figure FDA00039733079100000513
为第t+1次迭代中对▽yZ施加的强约束；
▽xZt为第t次迭代对亚像素稀疏表示系数矩阵Z水平方向上的一阶差分运算结果，▽yZt为第t次迭代对亚像素稀疏表示系数矩阵Z竖直方向上的一阶差分运算结果，▽xZt+1为第t+1次迭代对亚像素稀疏表示系数矩阵Z水平方向上的一阶差分运算结果，▽yZt+1为第t+1次迭代对亚像素稀疏表示系数矩阵Z竖直方向上的一阶差分运算结果；
shrink为shrink算子；
直到达到给定的迭代次数或者相邻两次迭代获得的Z的差值不变，得到最优亚像素稀疏表示系数矩阵Z*和最优字典矩阵M*。
7.根据权利要求6所述的一种基于亚像素字典学习的高光谱遥感图像空间超分辨方法，其特征在于：所述shrink算子表示为：
shrink(α,β)＝(α/||α||)*max(||α||-β,0)
式中，α为shrink算子的第一个输入参数，β为shrink算子的第二个输入参数，*为点乘，|| ||为矩阵的模。
8.根据权利要求7所述的一种基于亚像素字典学习的高光谱遥感图像空间超分辨方法，其特征在于：所述步骤34中根据最优亚像素稀疏表示系数矩阵Z*和最优字典矩阵M*，得到针对观测矩阵超分辨重建的高光谱图像：
Ypred＝M*Z*
式中，Ypred为针对观测矩阵超分辨重建的高光谱图像，M*为优化得到的最优字典矩阵，Z*为最优亚像素稀疏表示系数矩阵。
9.一种基于亚像素字典学习的高光谱遥感图像空间超分辨系统，其特征在于，所述系统用于执行权利要求1至8之一所述的一种基于亚像素字典学习的高光谱遥感图像空间超分辨方法。
10.一种存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1至8之一所述的一种基于亚像素字典学习的高光谱遥感图像空间超分辨方法。
CN202211527017.3A 2022-11-30 2022-11-30 一种基于亚像素字典学习的高光谱遥感图像空间超分辨方法 Active CN115797175B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211527017.3A CN115797175B (zh) 2022-11-30 2022-11-30 一种基于亚像素字典学习的高光谱遥感图像空间超分辨方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211527017.3A CN115797175B (zh) 2022-11-30 2022-11-30 一种基于亚像素字典学习的高光谱遥感图像空间超分辨方法

Publications (2)

Publication Number Publication Date
CN115797175A true CN115797175A (zh) 2023-03-14
CN115797175B CN115797175B (zh) 2023-07-18

Family

ID=85444303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211527017.3A Active CN115797175B (zh) 2022-11-30 2022-11-30 一种基于亚像素字典学习的高光谱遥感图像空间超分辨方法

Country Status (1)

Country Link
CN (1) CN115797175B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105761234A (zh) * 2016-01-28 2016-07-13 华南农业大学 一种基于结构稀疏表示的遥感影像融合方法
CN106780345A (zh) * 2017-01-18 2017-05-31 西北工业大学 基于耦合字典及空间转换估计的高光谱图像超分辨重建方法
US20170235996A1 (en) * 2015-07-28 2017-08-17 Chiman KWAN Method and system for collaborative multi-satellite remote sensing
US20200019817A1 (en) * 2018-07-11 2020-01-16 Harbin Institute Of Technology Superpixel classification method based on semi-supervised k-svd and multiscale sparse representation
CN113850216A (zh) * 2021-09-30 2021-12-28 哈尔滨工业大学 一种面向大场景遥感图像分类的类指定多模联合表示方法
CN114022364A (zh) * 2021-11-22 2022-02-08 清华大学 基于光谱库优化学习的多光谱图像光谱超分方法和系统
CN114972122A (zh) * 2022-07-27 2022-08-30 中国科学院空天信息创新研究院 高光谱遥感图像坏像元复原方法、装置、电子设备及介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170235996A1 (en) * 2015-07-28 2017-08-17 Chiman KWAN Method and system for collaborative multi-satellite remote sensing
CN105761234A (zh) * 2016-01-28 2016-07-13 华南农业大学 一种基于结构稀疏表示的遥感影像融合方法
CN106780345A (zh) * 2017-01-18 2017-05-31 西北工业大学 基于耦合字典及空间转换估计的高光谱图像超分辨重建方法
US20200019817A1 (en) * 2018-07-11 2020-01-16 Harbin Institute Of Technology Superpixel classification method based on semi-supervised k-svd and multiscale sparse representation
CN113850216A (zh) * 2021-09-30 2021-12-28 哈尔滨工业大学 一种面向大场景遥感图像分类的类指定多模联合表示方法
CN114022364A (zh) * 2021-11-22 2022-02-08 清华大学 基于光谱库优化学习的多光谱图像光谱超分方法和系统
CN114972122A (zh) * 2022-07-27 2022-08-30 中国科学院空天信息创新研究院 高光谱遥感图像坏像元复原方法、装置、电子设备及介质

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
J. YANG, Z. WANG, Z. LIN, S. COHEN AND T. HUANG: "Coupled Dictionary Training for Image Super-Resolution", IEEE TRANSACTIONS ON IMAGE PROCESSING, vol. 21, no. 8, pages 3467 - 3478, XP055260787, DOI: 10.1109/TIP.2012.2192127 *
何阳;黄玮;王新华;郝建坤;: "稀疏阈值的超分辨率图像重建", 中国光学, no. 05, pages 24 - 31 *
史振威;雷森;: "图像超分辨重建算法综述", 数据采集与处理, no. 01, pages 5 - 24 *
张建峰;沈军;张昊平;: "自适应分裂Bregman迭代的编码孔径光谱图像重构方法", 计算机应用与软件, no. 05, pages 255 - 261 *
徐宏根;李春来;杨淼;董小环;: "光谱保真归一化卷积高光谱超分辨率重建方法", 华南地质与矿产, no. 04, pages 108 - 117 *
徐煜明;宋佳伟;肖贤建;: "基于亚像素块匹配和字典学习的超分辨率算法", 计算机科学, no. 08, pages 309 - 313 *
魏巍;吴孔平;郭来功;秦蒙;: "基于联合非负字典学习的遥感图像超分辨重建", 计算机工程, no. 08, pages 277 - 282 *

Also Published As

Publication number Publication date
CN115797175B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
Xie et al. Hyperspectral image super-resolution using deep feature matrix factorization
Li et al. Single hyperspectral image super-resolution with grouped deep recursive residual network
Wang et al. Locality and structure regularized low rank representation for hyperspectral image classification
Huang et al. Bidirectional recurrent convolutional networks for multi-frame super-resolution
CN109102469B (zh) 一种基于卷积神经网络的遥感图像全色锐化方法
CN109727207B (zh) 基于光谱预测残差卷积神经网络的高光谱图像锐化方法
CN109376753B (zh) 一种三维空谱空间维像元类属概率计算方法
CN101140325A (zh) 高光谱图像的空间-光谱信息协同提高分辨率的方法
Song et al. MLFF-GAN: A multilevel feature fusion with GAN for spatiotemporal remote sensing images
Ma et al. Learning a 3D-CNN and transformer prior for hyperspectral image super-resolution
CN115984155A (zh) 一种基于光谱解混的高光谱、多光谱和全色图像融合方法
CN115565045A (zh) 基于多尺度空谱变换的高光谱与多光谱图像融合方法
CN110111276B (zh) 基于空-谱信息深度利用的高光谱遥感影像超分辨率方法
CN109859153B (zh) 一种基于自适应光谱-空间梯度稀疏正则化的多光谱图像融合方法
Yang et al. Constrained nonnegative matrix factorization based on particle swarm optimization for hyperspectral unmixing
Hu et al. Multilevel progressive network with nonlocal channel attention for hyperspectral image super-resolution
Dai et al. Spatial-spectral representation for x-ray fluorescence image super-resolution
Liang et al. Blind super-resolution of single remotely sensed hyperspectral image
CN112819769A (zh) 基于核函数和联合字典的非线性高光谱图像异常探测算法
Li et al. Hyperspectral and Panchromatic images Fusion Based on The Dual Conditional Diffusion Models
CN115797175A (zh) 一种基于亚像素字典学习的高光谱遥感图像空间超分辨方法
Qu et al. Unmixing Guided Unsupervised Network for RGB Spectral Super-Resolution
CN110852950B (zh) 基于稀疏表示和图像融合的高光谱图像超分辨率重建方法
CN115330650A (zh) 一种基于知识图谱的多源异构遥感图像融合方法
Varma et al. HSIS-Net: Hyperspectral Image Segmentation Using Multi-view Active Learning Based FCSN.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant