CN106780345A - 基于耦合字典及空间转换估计的高光谱图像超分辨重建方法 - Google Patents

Abstract

本发明公开了一种基于耦合字典及空间转换估计的高光谱图像超分辨重建方法，用于解决现有高光谱图像超分辨重建方法重建精度低的技术问题。技术方案是首先利用光谱解混理论对低分辨率的高光谱图像进行线性解混，求得相应的光谱字典；利用稀疏表示理论建立基于耦合字典的高光谱图像超分辨重建的模型；引入高光谱图像与真彩图像之间的空间转换矩阵正则项，降低了算法的使用限制；然后，利用改进的PALM算法对模型进行求解，获得超分辨重建后的高光谱图像。经测试，在空间超分辨倍数为32倍的情况下，本发明均方根误差RMSE、光谱角匹配SAM等精度指标均高于背景技术高光谱图像超分辨重建方法，具有较好的超分辨效果。

Description

基于耦合字典及空间转换估计的高光谱图像超分辨重建方法

技术领域

本发明涉及一种高光谱图像超分辨重建方法，特别是涉及一种基于耦合字典及空间转换估计的高光谱图像超分辨重建方法。

背景技术

文献“Hyperspectral and Multispectral Image Fusion Based on a SparseRepresentation[J].IEEE Transactions on Geoscience and Remote Sensing,2015,53(7):3658-3668.”公开了一种基于图像融合与稀疏表示的高光谱图像超分辨重建算法，该算法利用在线学习的方法获取高光谱图像的光谱字典，并且在传统的优化框架中引入稀疏约束，使用SALSA图式进行优化求解，最终得到高空间分辨率的高光谱图像。然而，该方法在获取字典时并没有考虑其实际的物理意义。实际的高光谱图像中存在大量的混合像元，利用光谱的线性混合模型对字典进行约束可以提高算法效果；再者，低分辨率高光谱图像与高分辨率真彩图像之间的空间转换矩阵在实际问题中通常是未知的，错误的空间转换矩阵先验会严重影响算法效果，重建精度低。

发明内容

为了克服现有高光谱图像超分辨重建方法重建精度低的不足，本发明提供一种基于耦合字典及空间转换估计的高光谱图像超分辨重建方法。该方法首先利用光谱解混理论对低分辨率的高光谱图像进行线性解混，求得相应的光谱字典；利用稀疏表示理论建立基于耦合字典的高光谱图像超分辨重建的模型；引入高光谱图像与真彩图像之间的空间转换矩阵正则项，降低了算法的使用限制；然后，利用改进的PALM算法对模型进行求解，获得超分辨重建后的高光谱图像。在CAVE数据集和哈佛大学的Harvard数据集上的实验结果表明，在空间超分辨倍数为32倍的情况下，本发明均方根误差RMSE、光谱角匹配SAM等精度指标均高于背景技术高光谱图像超分辨重建方法，具有较好的超分辨效果。

本发明解决其技术问题所采用的技术方案是：一种基于耦合字典及空间转换估计的高光谱图像超分辨重建方法，其特点是包括以下步骤：

步骤一、获得低分辨率高光谱图像的光谱字典。

假设目标图像为对目标图像分别进行空间维降维和光谱维降维，得到下面的式子：

X_H≈YD， (1)

和

X_C≈RY， (2)

这里R表示光谱响应矩阵，D表示空间转换矩阵。

应用光谱的线性混合模型理论，目标高光谱图像表示为：

Y＝EA， (3)

其中，为端元矩阵，为丰度矩阵，p表示端元个数。结合式(1)、式(2)得到：

和

这里

利用光谱解混算法，对高光谱图像进行解混得到光谱字典

步骤二、建立基于耦合字典的高光谱图像超分辨重建模型。

依据式(4)、式(5)得到下述优化问题：

Φ(D)是关于D的正则化项。基于光谱的线性混合模型，加入如下约束：

其中,e_i,j表示E的每一项，a_i,j表示A的每一项。1表示全为1的列向量。第一项表示端元非负有界，后两项表示丰度值非负且和为1。

步骤三、引入高光谱图像与真彩图像之间的空间转换矩阵正则项。

对高光谱图像和真彩图像之间的空间转换关系进行建模并优化求解。若对高光谱图像在光谱维上依据两个相机之间的光谱响应进行降采样，并且对真彩图像在空间上依据两者之间的空间转换关系进行降采样，则理想情况下，会得到一样的两张图。据此加入下述正则项：

其中，R表示光谱响应矩阵，由相机光谱响应测量得到。D表示所求的空间降采样矩阵。

由式(6)、式(7)和式(8)得到总的优化式为：

步骤四、利用改进的PALM算法对问题模型进行优化求解。

使用改进的近端交替线性最小化PALM算法求解。

将原优化问题分成空间估计步骤、低分辨率步骤和高分辨率步骤，然后迭代求解。如下：

空间估计步骤：包含式(6)第一项及正则项。

求得D的更新公式为：

其中,Y＝EA，η为正则系数，在此η值取1。

低分辨率步骤：包含式(6)第一项及关于端元E的约束。

采用下面的迭代式更新：

其中，q为迭代次数，prox_E(·)是关于E的近端函数，包含式(12)的约束项，具体为：E^q＝max{min{U^q,1},0}。

高分辨率步骤：包含式(6)第二项及关于丰度矩阵A的约束。

采用下面的迭代式更新：

其中，prox_A(·)是关于A的近端函数，包含式(14)的约束项，具体为：A^q＝max{V^q,0}。和为1的约束对结果影响不大，故去掉。

初始化：使用SISAL解混算法对E进行初始化。然后，求解下述最小二乘问题初始化A：

最后用迭代后的A^(k)和E^(k)相乘得到重建图像Y。

本发明的有益效果是：该方法首先利用光谱解混理论对低分辨率的高光谱图像进行线性解混，求得相应的光谱字典；利用稀疏表示理论建立基于耦合字典的高光谱图像超分辨重建的模型；引入高光谱图像与真彩图像之间的空间转换矩阵正则项，降低了算法的使用限制；然后，利用改进的PALM算法对模型进行求解，获得超分辨重建后的高光谱图像。在CAVE数据集和哈佛大学的Harvard数据集上的实验结果表明，在空间超分辨倍数为32倍的情况下，本发明均方根误差RMSE、光谱角匹配SAM等精度指标均高于背景技术高光谱图像超分辨重建方法，具有较好的超分辨效果。

下面结合具体实施方式对本发明作详细说明。

具体实施方式

高光谱图像的空间分辨率很低，单纯的使用真彩图像推广而来的超分辨方法，并不能十分有效的提升分辨率。相对而言，真彩图像更容易获取，本发明的主要目的是利用同样场景下的真彩图像提升高光谱图像的空间分辨率。假设已经获得并配准好的高光谱图像和真彩图像分别为和且目标图像是一个空间分辨率和光谱分辨率都很高的图像其中L和l表示高光谱图像和真彩图像的波段数，w,h表示低分辨率高光谱图像的宽和高，W,H表示高分辨率真彩图像的宽和高。又假设n和N表示高光谱图像和真彩图像的像元个数，n＝w×h,N＝W×H，则原图像可以写成矩阵形式和其中L＞＞l,N＞＞n。

本发明基于耦合字典及空间转换估计的高光谱图像超分辨重建方法具体步骤如下：

步骤一、获得低分辨率高光谱图像的光谱字典。

光谱解混是高光谱领域研究的重点之一。由于高光谱图像的空间分辨率低，导致图像中的一个像元往往是几种物质光谱的混合，这些像元称为混合像元。假设目标图像为若对其分别进行空间维和光谱维上的降维，将得到下面的式子：

X_H≈YD， (1)

和

X_C≈RY， (2)

这里R表示光谱响应矩阵，D表示空间转换矩阵。

应用光谱的线性混合模型理论，目标高光谱图像可以表示为：

Y＝EA， (3)

其中，为端元矩阵，为丰度矩阵，p表示端元个数。结合式(1)、式(2)得到：

和

这里

利用光谱解混算法，对高光谱图像进行解混可以得到光谱字典(端元矩阵)具体的光谱解混算法有很多，经典的如顶点成分分析算法(VertexComponent Analysis，VCA)，这里推荐基于分割增广拉格朗日的单一识别算法(SimplexIdentification via Split Augmented Lagrangian，SISAL)，具有较好的稳定性。

步骤二、建立基于耦合字典的高光谱图像超分辨重建模型。

依据式(4)、式(5)得到下述优化问题：

Φ(D)是关于D的正则化项。基于光谱的线性混合模型，可以加入如下约束：

其中e_i,j表示E的每一项，a_i,j表示A的每一项。1表示全为1的列向量。第一项表示端元非负有界，后两项表示丰度值非负且和为1。

步骤三、引入高光谱图像与真彩图像之间的空间转换矩阵正则项。

高光谱图像和真彩图像之间的空间转换关系并不明确，简单的点扩散函数不足对其进行描述，本发明对两者之间的空间转换关系进行建模并优化求解。显然，若对高光谱图像在光谱维上依据两个相机之间的光谱响应进行降采样，并且对真彩图像在空间上依据两者之间的空间转换关系进行降采样，则理想情况下，将会得到一样的两张图。据此加入下述正则项：

其中，R表示光谱响应矩阵，由相机光谱响应测量得到。D表示所求的空间降采样矩阵。

由式(6)、式(7)和式(8)得到总的优化式为：

步骤四、利用改进的PALM算法对问题模型进行优化求解。

上述的优化问题很难直接求解。在此使用改进的近端交替线性最小化PALM算法求解。

将原优化问题分成三个步骤：空间估计步骤、低分辨率步骤和高分辨率步骤，然后迭代求解。具体如下：

空间估计步骤：包含式(6)第一项及正则项。

求得D的更新公式为：

其中Y＝EA，η为正则系数，在此取为1。

低分辨率步骤：包含式(6)第一项及关于端元E的约束。

采用下面的迭代式更新：

其中q为迭代次数，prox_E(·)是关于E的近端函数，包含式(12)的约束项，具体为：E^q＝max{min{U^q,1},0}。

表1改进的PALM算法流程

高分辨率步骤：包含式(6)第二项及关于丰度矩阵A的约束。

采用下面的迭代式更新：

其中prox_A(·)是关于A的近端函数，包含式(14)的约束项，具体为：A^q＝max{V^q,0}。和为1的约束对结果影响不大，故去掉。

初始化：使用SISAL解混算法对E进行初始化。然后，求解下述最小二乘问题初始化A：

最后用迭代后的A^(k)和E^(k)相乘得到重建图像Y。整个算法的流程如表1所示。

Claims (1)

1.一种基于耦合字典及空间转换估计的高光谱图像超分辨重建方法，其特征在于包括以下步骤：

步骤一、获得低分辨率高光谱图像的光谱字典；

假设目标图像为对目标图像分别进行空间维降维和光谱维降维，得到下面的式子：

X_H≈YD， (1)

和

X_C≈RY， (2)

这里R表示光谱响应矩阵，D表示空间转换矩阵；

应用光谱的线性混合模型理论，目标高光谱图像表示为：

Y＝EA， (3)

其中，为端元矩阵，为丰度矩阵，p表示端元个数；结合式(1)、式(2)得到：

$X_H\≈YD=EAD=E\tilde{A},---\left(4\right)$

和

$X_C\≈RY=REA=\tilde{E}A,---\left(5\right)$

这里

利用光谱解混算法，对高光谱图像进行解混得到光谱字典

步骤二、建立基于耦合字典的高光谱图像超分辨重建模型；

依据式(4)、式(5)得到下述优化问题：

$\underset{E,A,D}{\mathrm{argmin}}\left|\right|X_H-EAD|{|}_F^2+||X_C-REA|{|}_F^2+\mathrm{\η}\mathrm{\Φ}\left(D\right),---\left(6\right)$

Φ(D)是关于D的正则化项；基于光谱的线性混合模型，加入如下约束：

$\begin{array}{c}\begin{array}{cc}0\≤e_{i,j}\≤1& \∀i,j\end{array}\\ \begin{array}{cc}{a}_{i,j}\≥0& \∀i,j\end{array}\\ 1^{T}A=1^T\end{array}---\left(7\right)$

其中,e_i,j表示E的每一项，a_i,j表示A的每一项；1表示全为1的列向量；第一项表示端元非负有界，后两项表示丰度值非负且和为1；

步骤三、引入高光谱图像与真彩图像之间的空间转换矩阵正则项；

对高光谱图像和真彩图像之间的空间转换关系进行建模并优化求解；若对高光谱图像在光谱维上依据两个相机之间的光谱响应进行降采样，并且对真彩图像在空间上依据两者之间的空间转换关系进行降采样，则理想情况下，会得到一样的两张图；据此加入下述正则项：

$\mathrm{\Φ}\left(D\right)=\left|\right|{\mathrm{RX}}_H-X_{C}D|{|}_F^2,---\left(8\right)$

其中，R表示光谱响应矩阵，由相机光谱响应测量得到；D表示所求的空间降采样矩阵；

由式(6)、式(7)和式(8)得到总的优化式为：

$\begin{array}{c}\underset{E,A,D}{\mathrm{argmin}}\left|\right|X_H-EAD|{|}_F^2+||X_C-REA|{|}_F^2+\mathrm{\η}\left|\right|{\mathrm{RX}}_H-X_{C}D|{|}_F^2\\ \begin{array}{ccc}s.t.& 0\≤e_{i,j}\≤1& \∀i,j\end{array}\\ \begin{array}{cc}{a}_{i,j}\≥0& \∀i,j\end{array}\\ 1^{T}A=1^T\end{array}---\left(9\right)$

步骤四、利用改进的PALM算法对问题模型进行优化求解；

使用改进的近端交替线性最小化PALM算法求解；

将原优化问题分成空间估计步骤、低分辨率步骤和高分辨率步骤，然后迭代求解；如下：

空间估计步骤：包含式(6)第一项及正则项；

$\underset{E,A,D}{\mathrm{argmin}}\left|\right|X_H-EAD|{|}_F^2+\mathrm{\η}||{\mathrm{RX}}_H-X_{C}D|{|}_F^2---\left(10\right)$

求得D的更新公式为：

其中,Y＝EA，η为正则系数，在此η值取1；

低分辨率步骤：包含式(6)第一项及关于端元E的约束；

$\begin{array}{c}\underset{E}{\mathrm{argmin}}\left|\right|X_H-EAD|{|}_F^2\\ \begin{array}{ccc}s.t.& 0\≤e_{i,j}\≤1& \∀i,j\end{array}\end{array}---\left(12\right)$

采用下面的迭代式更新：

$\begin{array}{c}{E}^q=E^{q-1}-\frac{1}{c}(E^{q-1}AD-X_H)D^T{A}^T\\ E^q={\mathrm{prox}}_E\left(U^q\right)\end{array},---\left(13\right)$

其中，q为迭代次数，prox_E(·)是关于E的近端函数，包含式(12)的约束项，具体为：E^q＝max{min{U^q,1},0}；

高分辨率步骤：包含式(6)第二项及关于丰度矩阵A的约束；

$\begin{array}{c}\underset{A}{\arg \min }\left|\right|X_C-REA|{|}_F^2\\ \begin{array}{ccc}s.t.& a_{i,j}\≥0& \∀i,j\end{array}\\ 1^{T}A=1^T\end{array}---\left(14\right)$

采用下面的迭代式更新：

$\begin{array}{c}{V}^q=A^{q-1}-\frac{1}{d}{E}^T{R}^T({\mathrm{REA}}^{q-1}-X_C)\\ A^q={\mathrm{prox}}_A\left(V^q\right)\end{array}---\left(15\right)$

其中，prox_A(·)是关于A的近端函数，包含式(14)的约束项，具体为：A^q＝max{V^q,0}；和为1的约束对结果影响不大，故去掉；

初始化：使用SISAL解混算法对E进行初始化；然后，求解下述最小二乘问题初始化A：

$\underset{A}{\mathrm{argmin}}\left|\right|X_C-REA|{|}_F^2---\left(16\right)$

最后用迭代后的A^(k)和E^(k)相乘得到重建图像Y。