CN106780423B - 一种基于少数波段高分辨率图像的光谱重建方法 - Google Patents
一种基于少数波段高分辨率图像的光谱重建方法 Download PDFInfo
- Publication number
- CN106780423B CN106780423B CN201710022913.7A CN201710022913A CN106780423B CN 106780423 B CN106780423 B CN 106780423B CN 201710022913 A CN201710022913 A CN 201710022913A CN 106780423 B CN106780423 B CN 106780423B
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- low
- hyperspectral image
- hyperspectral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000003595 spectral effect Effects 0.000 title claims abstract description 21
- 238000001228 spectrum Methods 0.000 claims abstract description 24
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 4
- 230000007547 defect Effects 0.000 abstract description 4
- 230000004927 fusion Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种基于少数波段高分图像与低分高光谱图像的高质量光谱重建方法，首先获得拥有少数波段的高分辨率图像和同一场景下低分辨率高光谱图像；其次将低分辨率高光谱图像在非分解模式下训练得到光谱字典；继而，通过拥有少数波段的高分辨率图像在无非负约束条件下进行稀疏表示，得到稀疏表示系数。再通过空间结构信息估计稀疏表示框架不能表达的部分；最后，利用字典、稀疏系数和估计部分精确重建具有高分辨率的高光谱图像；本发明在稀疏表示框架下，引入非分解模式求解光谱字典，弥补了端元分解对高光谱图像光谱特性描述能力的不足，有效提高了重建光谱精度、高光谱图像重建的有效性及重建高光谱图像的空间准确性。
Description
技术领域
本发明属于图像处理领域，适用于高光谱遥感图像重建，具体涉及一种基于少数波段高分辨率图像与低分辨率高光谱图像的高质量光谱重建方法。
背景技术
高光谱图像由大量的单波段图像构成，图像中每个像素具有一条准连续的光谱曲线。在高光谱图像成像过程中，由于光谱带宽较窄，必须采用较大的瞬时视场(IFOR)才能积累足够多的光量子以维持成像的信噪比，瞬时视场的增大会降低图像的分辨率。然而在高光谱图像的许多应用领域如地物识别与分类、环境检测中，高分辨率图像都是不可缺少的，因此获得具有高分辨率的高光谱图像具有重要意义。
现阶段，基于混合像元分解的高光谱图像融合技术通过融合同一场景下的多光谱图像与高光谱图像，从而获得具有高分辨率的高光谱图像。混合像元分解在高光谱图像分解为各种地物成分(端元)，再通过具有较高分辨率的多光谱图像在非负约束下求解各成分所占的比例(丰度)。然而混合像元分解中端元的个数以及纯净端元的提取都存在一定的困难，因此得到的高光谱图像存在光谱失真的现象，无法在高分辨率高光谱图像重建中获得令人满意的结果。
近年来，稀疏表示框架在图像重建领域展现了巨大的潜力，它将图像表示为字典与稀疏系数的乘积。稀疏表示过程中不需要提取端元，稀疏系数也无非负限制，因此该方法能够克服现阶段图像融合的缺点，并使得图像蕴含的信息得到充分表达。本发明将稀疏表示框架引入高光谱图像重建中，由低分辨率高光谱图像提供字典，通过同一场景下仅有几个波段的高分辨率图像求得稀疏系数，并对系数框架不能表达的部分加以估计，从而获得高质量的重建高分辨率高光谱图像。
发明内容
为了克服上述现有技术存在的不足，本发明的目的在于提供了一种基于少数波段高分辨率图像与低分辨率高光谱图像的高质量光谱重建方法，先利用同一场景下低分辨率高光谱图像学习得到光谱字典。其次通过拥有少数波段的高分辨率图像求解稀疏表示系数。最后通过空间结构信息估计稀疏表示框架不能表达的部分从而得到具有高分辨率的重建高光谱图像。此方法能高效重建高光谱图像，获得更好的重建质量。
为了达到上述目的，本发明所采用的技术方案是：
一种基于少数波段高分辨率图像与低分辨率高光谱图像的高质量光谱重建方法，步骤如下：
步骤1，获得拥有少数波段的高分辨率图像；
步骤2，获得与步骤1中图像同一场景下低分辨率的高光谱图像；
步骤3，通过对步骤2中得到的图像在非分解的模式下进行训练，得到光谱字典D；
步骤4，利用步骤1中得到的具有极少波段的高分辨率图像以及步骤3中得到的光谱字典D，在无非负约束的条件下求解稀疏表示系数A；
步骤5，利用步骤2得到的低分辨率图像以及步骤3中得到的光谱字典D、步骤4中得到的稀疏表示系数A，求解低分辨率图像中稀疏框架不能表达的部分 ER。
步骤6，通过步骤5中得到的ER，在空间维利用空间结构信息估计稀疏框架不能表示的部分E；
步骤7，通过
重建具有高分辨率的高光谱图像。
所述步骤1中拥有少数波段的高分辨率图像通过YL＝LX求得。其中 X∈RB×N为原始高光谱图像，R∈Rb×B为光谱传递函数，B＞＞b，二者分别为两幅图像的波段数，N为高光谱图像空间包含的像素点数目，R为实数空间。
所述步骤2中同一场景下低分辨率的高光谱图像的获得是指，通过对原始高光谱图像的空间维模糊并下采样得到；
所述步骤3中光谱字典D的训练方法采用的是K-SVD字典学习方法通过优化如下最小化问题求得：
其中，YR∈RB×n是与X同一视场下低分辨率的高光谱图像，n为空间像素点数目，λ是正则化系数；
所述步骤4中无非负约束条件下稀疏系数A求解方法是通过交替方向乘子法(ADMM)求解如下1范数约束问题:
其中，η和λ为正则化参数；
所述步骤5中低分辨率图像中稀疏框架不能表达的部分ER是指，通过 ER＝YR-DA求得。
所述步骤6中在空间维利用空间结构信息估计稀疏表示框架不能表示的部分 E是指，将ER的每一行向量映射为一空间图像，对该图像用双三次插值的方法估计得到某波段图像在稀疏框架中不能表示的部分，并将其映射为一行向量，最终得到E。
与现有技术相比，本发明的优点是：
1)本发明在稀疏表示框架下，引入非分解模式求解光谱字典，弥补了端元分解对高光谱图像光谱特性描述能力的不足，有效提高了重建光谱精度。
2)本发明通过无非负约束且非迭代的方法求解稀疏表示系数，提高了高光谱图像重建准确性和有效性。
3)本发明通过引入空间结构信息，估计稀疏表示框架不能表达的部分，提高了重建高光谱图像的空间准确性。
附图说明
图1是本发明基于少数波段高分辨率图像与低分辨率高光谱图像的高质量光谱重建流程图。
图2是本发明实施例中第70波段原始高光谱图像。
图3是本发明实施例中第70波段重建高光谱图像。
具体实施方式
下面结合实施例对本发明做进一步详细说明。
如图1所示，本发明一种基于少数波段高分辨率图像与低分辨率高光谱图像的高质量光谱重建方法，包括如下步骤：
步骤1，获得拥有少数波段的高分辨率图像。
在本实施例中，拥有少数波段的高分辨率图像通过YL＝LX求得。其中 X∈RB×N为原始高光谱图像，L∈Rb×B为光谱传递函数，B＞＞b，分别为两幅图像的波段数，N为高光谱图像空间包含的像素点数目，R代表实数空间；采用的原始高光谱图像(见图2)拥有93个波段，每波段图像大小为300*300，光谱传递函数L∈R4×93，因此得到的高分辨率图像仅含有4个波段。
步骤2，获得与步骤1中图像同一场景下低分辨率的高光谱图像；
在本实施例中，同一场景下低分辨率的高光谱图像通过对原始高光谱图像的空间维模糊并下采样得到，采用5*5的高斯模糊核对原始高光谱图像进行模糊，空间各维度的下采样率为6，获得的低分辨率图像YR∈R93×2500。
步骤3，通过对步骤2中得到的图像在非分解的模式下进行训练，得到光谱字典D。
在本实施例中，对低分辨率图像进行K-SVD字典训练的参数为：稀疏度为 10，字典列数为100。
步骤4，利用步骤1中得到的具有少波段的高分辨率图像以及步骤3中得到的光谱字典D，在无非负约束的条件下求解稀疏表示系数A。
在本实例中，采用拉格朗日算子方法求解式(2)，其参数为：迭代次数T＝1, 正则化参数λ＝10-6，η＝10，拉格朗日参数μ＝10-3。
步骤5，利用步骤2得到的低分辨率图像以及步骤3中得到的光谱字典D、步骤4中得到的稀疏表示系数A，求解低分辨率图像中稀疏框架不能表达的部分 ER。
在本实例中，低分辨率图像中稀疏框架不能表达的部分的求解指的是，通过 ER＝YR-DA求得，且ER∈R93×2500。
步骤6，通过步骤5中得到的ER，在空间维利用空间结构信息估计稀疏框架不能表示的部分E；
在本实例中，将ER映射到空间维得到ERspace∈R50×50×93，再将其每一波段的图像
(代表第i波段图像)进行双三次插值，各方向放大倍数为 6，得到对稀疏框架无法表示部分的估计
并将其映射到光谱维，最终得到E∈R93 ×90000。
步骤7，通过
重建具有高分辨率的高光谱图像。
本实施例中，重建高光谱图像(见图3)的PSNR为54.75，MSE为0.2177，光谱角SAM为0.2520，运行时间为5.91s，本发明获得了高质量的高光谱图像重建效果和重建效率。
Claims (3)
1.一种基于少数波段高分辨率图像与低分辨率高光谱图像的高质量光谱重建方法，其特征在于，包括以下步骤：
步骤1，通过YL∈LX求得获得拥有少数波段的高分辨率图像，其中X∈RB×N为原始高光谱图像，L∈Rb×B为光谱传递函数，B＞＞b，二者分别为两幅图像的波段数，N为高光谱图像空间包含的像素点数目，R为实数空间；
步骤2，获得与步骤1中图像同一场景下低分辨率的高光谱图像；
步骤3，通过对步骤2中得到的图像在非分解的模式下进行训练，得到光谱字典D；
步骤4，利用步骤1中得到的具有少数波段的高分辨率图像以及步骤3中得到的光谱字典D，在无非负约束的条件下求解稀疏表示系数A；
步骤5，利用步骤2得到的低分辨率图像以及步骤3中得到的光谱字典D、步骤4中得到的稀疏表示系数A，求解低分辨率图像中稀疏框架不能表达的部分ER，ER＝YR-DA，其中YR∈RB×b是与X同一视场下低分辨率的高光谱图像，n为空间像素点数目；
步骤6，通过步骤5中得到的ER，在空间维利用空间结构信息估计稀疏框架不能表示的部分E，方法为：将ER的每一行向量映射为一空间图像，对该图像用双三次插值的方法估计得到某波段图像在稀疏框架中不能表示的部分，并将其映射为一行向量，最终得到E；
步骤7，通过
重建具有高分辨率的高光谱图像。
2.根据权利要求1所述一种基于少数波段高分辨率图像与低分辨率高光谱图像的高质量光谱重建方法，其特征在于，所述步骤2中同一场景下低分辨率的高光谱图像通过对原始高光谱图像的空间维模糊并下采样得到。
3.根据权利要求1所述一种基于少数波段高分辨率图像与低分辨率高光谱图像的高质量光谱重建方法，其特征在于，所述步骤3中光谱字典D由K-SVD字典学习方法通过优化如下最小化问题求得：
其中，λ是正则化系数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710022913.7A CN106780423B (zh) | 2017-01-12 | 2017-01-12 | 一种基于少数波段高分辨率图像的光谱重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710022913.7A CN106780423B (zh) | 2017-01-12 | 2017-01-12 | 一种基于少数波段高分辨率图像的光谱重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106780423A CN106780423A (zh) | 2017-05-31 |
| CN106780423B true CN106780423B (zh) | 2020-01-14 |
Family
ID=58948173
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710022913.7A Active CN106780423B (zh) | 2017-01-12 | 2017-01-12 | 一种基于少数波段高分辨率图像的光谱重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106780423B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107993208A (zh) * | 2017-11-30 | 2018-05-04 | 天津师范大学 | 一种基于稀疏重叠组先验约束的非局部全变分图像复原方法 |
| CN108288256B (zh) * | 2018-01-31 | 2020-07-31 | 中国科学院西安光学精密机械研究所 | 一种多光谱马赛克图像复原方法 |
| CN108520488B (zh) * | 2018-04-10 | 2022-06-24 | 深圳劲嘉集团股份有限公司 | 一种重构光谱并进行复制的方法以及电子设备 |
| CN109360147B (zh) * | 2018-09-03 | 2020-08-14 | 浙江大学 | 基于彩色图像融合的多光谱图像超分辨率重建方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103208102A (zh) * | 2013-03-29 | 2013-07-17 | 上海交通大学 | 一种基于稀疏表示的遥感图像融合方法 |
| CN104063897A (zh) * | 2014-06-28 | 2014-09-24 | 南京理工大学 | 基于图稀疏正则化的卫星高光谱图像压缩感知重建方法 |
| CN104063857A (zh) * | 2014-06-30 | 2014-09-24 | 清华大学 | 高光谱图像的生成方法及系统 |
| CN104091368A (zh) * | 2014-07-22 | 2014-10-08 | 西北工业大学 | 基于空谱三维稀疏先验的高光谱解混压缩感知方法 |
| CN105469360A (zh) * | 2015-12-25 | 2016-04-06 | 西北工业大学 | 基于非局部联合稀疏表示的高光谱图像超分辨率重建方法 |
-
2017
- 2017-01-12 CN CN201710022913.7A patent/CN106780423B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103208102A (zh) * | 2013-03-29 | 2013-07-17 | 上海交通大学 | 一种基于稀疏表示的遥感图像融合方法 |
| CN104063897A (zh) * | 2014-06-28 | 2014-09-24 | 南京理工大学 | 基于图稀疏正则化的卫星高光谱图像压缩感知重建方法 |
| CN104063857A (zh) * | 2014-06-30 | 2014-09-24 | 清华大学 | 高光谱图像的生成方法及系统 |
| CN104091368A (zh) * | 2014-07-22 | 2014-10-08 | 西北工业大学 | 基于空谱三维稀疏先验的高光谱解混压缩感知方法 |
| CN105469360A (zh) * | 2015-12-25 | 2016-04-06 | 西北工业大学 | 基于非局部联合稀疏表示的高光谱图像超分辨率重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| SUPER-RESOLUTION HYPERSPECTRAL IMAGING WITH UNKNOWN BLURRING BY LOW-RANK AND GROUP-SPARSE MODELING;Huijuan Huang 等;《IEEE International Conference on image Processing》;20141231;2155-2159 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106780423A (zh) | 2017-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Cai et al. | Mask-guided spectral-wise transformer for efficient hyperspectral image reconstruction | |
| Guo et al. | Deep wavelet prediction for image super-resolution | |
| US8879865B2 (en) | Panchromatic sharpening method of spectral image based on fusion of overall structural information and spatial detail information | |
| CN106780423B (zh) | 一种基于少数波段高分辨率图像的光谱重建方法 | |
| CN106920214B (zh) | 空间目标图像超分辨率重建方法 | |
| CN108288256B (zh) | 一种多光谱马赛克图像复原方法 | |
| CN109146787B (zh) | 一种基于插值的双相机光谱成像系统的实时重建方法 | |
| US10778917B2 (en) | Joint dictionary generation method for image processing, interlace-based high dynamic range imaging apparatus using joint dictionaries and image processing method of the same | |
| CN101980289A (zh) | 基于频域配准和凸集投影的多帧图像超分辨率重建方法 | |
| Tao et al. | Hyperspectral image recovery based on fusion of coded aperture snapshot spectral imaging and RGB images by guided filtering | |
| CN109360147A (zh) | 基于彩色图像融合的多光谱图像超分辨率重建方法 | |
| CN116935214B (zh) | 一种卫星多源遥感数据的时空谱融合方法 | |
| Dai et al. | Dictionary-based multiple frame video super-resolution | |
| CN107833182A (zh) | 基于特征提取的红外图像超分辨率重建方法 | |
| Mishra et al. | Self-FuseNet: data free unsupervised remote sensing image super-resolution | |
| Mandal et al. | Edge preserving single image super resolution in sparse environment | |
| Cerra et al. | Unmixing-based denoising for destriping and inpainting of hyperspectral images | |
| Kang et al. | Self-learning-based single image super-resolution of a highly compressed image | |
| CN106780424A (zh) | 一种基于极少数优化选择波段的高光谱图像获取方法 | |
| Zhong et al. | Attention_FPNet: Two-branch remote sensing image pansharpening network based on attention feature fusion | |
| Oh et al. | Fpanet: Frequency-based video demoireing using frame-level post alignment | |
| CN108492264B (zh) | 一种基于sigmoid变换的单帧图像快速超分辨方法 | |
| Chen et al. | Proximal Gradient Descent Unfolding Dense-spatial Spectral-attention Transformer for Compressive Spectral Imaging | |
| CN110852950B (zh) | 基于稀疏表示和图像融合的高光谱图像超分辨率重建方法 | |
| CN105631839A (zh) | 一种针对颗粒厚度的超分辨率测量方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |