CN108520495A - 基于聚类流形先验的高光谱图像超分辨重建方法 - Google Patents

Abstract

本发明提供了一种基于聚类流形先验的高光谱图像超分辨重建方法，利用高分辨率RGB图像与高分辨率高光谱图像在空间上的流行结构的相似性来构造空间约束项，并利用其构建新的重建目标函数，再利用ADMM算法对目标函数进行优化求解，得到最终重建的高分辨率高光谱图像，重建图像更加接近原始图像，具有较高的重建精度。

Description

基于聚类流形先验的高光谱图像超分辨重建方法

技术领域

本发明属高光谱图像处理技术领域，具体涉及一种基于聚类流形先验的高光谱图像超分辨重建方法。

背景技术

高光谱图像是利用成像光谱仪将视场中观测到的各种地物的光谱信息记录下来得到的影像数据，相比于传统RGB图像含有更为丰富的光谱信息，这些丰富的光谱信息促使原本主要在常规图像上开展的图像超分辨重建、人脸识别和目标跟踪等逐渐得以延伸到高光谱数据上。但是由于硬件条件的限制，在获得高光谱图像时无法获得具有较高空间分辨率的图像，这极大地限制了高光谱图像在计算机视觉领域的应用，所以通过超分辨重建的方法将低空间分辨率的高光谱图像重建成高空间分辨率的高光谱图像具有重大的研究价值。现有的超分辨重建算法的主要思路是在图像融合的框架下根据光谱解混和矩阵分解得到的丰度矩阵和端元矩阵来重建高分辨率图像，例如文献“Yokoya N,Yairi T,IwasakiA.Coupled Nonnegative Matrix Factorization Unmixing for Hyperspectral andMultispectral Data Fusion[J].IEEE Transactions on Geoscience&Remote Sensing,2012,50(2):528-537.”假设潜在的高分辨率高光谱图像(即待求结果)可以分解成一个端元矩阵和一个丰度矩阵的乘积，提出了一种对偶非负矩阵分解的高光谱图像超分辨重建方法，在光谱解混的思想下，通过构建合理的约束项来优化求解得到更好的端元矩阵和丰度矩阵，并由此求得更好的高分辨率高光谱图像。但该方法并没有考虑到高光谱图像内部的结构特性，如非局部相似性，所以其重建效果仍旧受限。事实上，高光谱图像的内部结构特性对超分辨重建具有重要作用，但目前方法并没有考虑高光谱图像空间域中的流行结构与相应的常规图像的空间域中的流行结构的关系，因此，重建精度并不理想。

发明内容

为了克服现有技术的不足，本发明提供一种基于聚类流形先验的高光谱图像超分辨重建方法，将高光谱图像内部结构(如非局部相似性)应用到高光谱超分辨重建模型中，提高重建精度。

一种基于聚类流形先验的高光谱图像超分辨重建方法，其特征在于包括以下步骤：

步骤1：给定低分辨率高光谱图像X和同一场景下的高分辨率RGB图像Y，在空间维上用一个h×w大小的窗以s＝1为步长扫过图像Y，得到全波段图像块集合，其中，每一个图像块b_k∈R^h×w×3，k＝1,…,K，K为图像块个数，0＜h＜R，0＜w＜C，R为图像的长，C为图像的宽。

步骤2：将步骤1得到的所有图像块均变换为二维矩阵，即对每一个图像块b_k得到一个全波段矩阵B_k∈R^n×3，n＝w×h；再利用K-means算法对所有全波段矩阵进行聚类处理，得到N_c个类，每一类为

步骤3：按照s.t.diag(W_i)＝0计算得到相似性权重矩阵W；其中，W＝{W₁,W₂,...,W_i}，×₂表示为模2的张量乘法，表示矩阵的Frobenius范数，i＝1,…,N_c，λ＝0.3表示权重系数。

步骤4：基于融合的高光谱图像超分辨重建算法的优化模型和流行先验的空间约束，构建高光谱图像超分辨重建的目标函数如下：

其中，Z即为待重建的高分辨率高光谱图像，P为光谱域上的降采样矩阵，H为空间域上的降采样矩阵，为基于流行先验的空间约束项，为的集合，为图像Z潜在的与在空间上对应的类，η＝0.001为平衡参数，i＝1,…,N_c。

步骤5：利用ADMM算法求解步骤4的目标函数，得到重建后的高分辨率高光谱图像Z。

本发明的有益效果是：利用高分辨率RGB图像与高分辨率高光谱图像在空间上的流行结构相似性，设计了基于流行先验的空间约束项并完成重建目标函数构建，使得重建图像更加接近原始图像。

具体实施方式

本发明提供了一种基于聚类流形先验的高光谱图像超分辨重建方法，其具体过程如下：

1、数据预处理。

给定低分辨率高光谱图像X和同一场景下的高分辨率RGB图像Y，假设潜在的(即待重建的)高分辨率高光谱图像为Z，Y可以被看成Z在光谱维上降采样的结果，即Y＝PZ，P可以被看成是光谱域上的降采样矩阵。其中，X和Z为R×C×L维矩阵，Y为R×C×3维矩阵，R表示图像的长，C表示图像的宽，L表示高光谱图像的波段数。

在空间维上用一个h×w大小的窗以s＝1为步长有重叠地扫过RGB图像Y，便得到大量全波段图像块，每一个全波段图像块b_k∈R^h×w×3，k＝1,…,K，K为图像块个数，0＜h＜R，0＜w＜C，本实施例中取h＝w＝4。

2、利用K-means算法进行聚类处理。

为利用K-means算法对得到的图像块进行聚类处理，先将每一个图像块变换为二维矩阵形式，即对每一个图像块b_k得到一个全波段矩阵B_k∈R^n×3，n＝w×h；然后，将这些全波段矩阵用K-means算法进行聚类处理，得到N_c个类，即将相似的m个全波段矩阵聚成一个类每个类可以看成一个具有很强的自相似性的三维张量。类内的每一个全波段矩阵都可以看成是高维流形空间内的一个点。

3、基于流形先验的理论计算RGB图像Y与潜在的高分辨率高光谱图像之间Z的相似性权重矩阵W。

经聚类处理后得到的每一类内的全波段矩阵都是很相似的，所以任意一个全波段矩阵都能由类内的其他全波段矩阵来线性表示，即：

B_j＝w₁B₁+w₂B₂+...+w_mB_m (2)

其中，j＝1，...,m，B_j表示类内的一个全波段矩阵，则整个类的张量化表示为：

其中，×₂表示为模2的张量乘法，W_i表示对角线元素为0的权值矩阵。公式(3)更直观的描述是一个类自己可以被自己重建，只需要一个合适的权值矩阵W_i，i＝1,…,N_c。

通常是被噪声污染或仅只是大致满足上述约束的，所以，对于给定的权值矩阵W_i，引入一个隐含张量并假定是理想无噪声且严格满足上述约束的张量，则满足如下约束：

其中，表示张量的Frobenius范数。

公式(3)和(4)说明了Y具有基于流行结构的非局部相似性。

根据Y＝PZ可推导得到：

其中，是潜在的与在空间上对应的存在于图像Z中的类，表示推导出，×₃表示为模3的张量乘法。可以看出，Y与Z之间共享同一个相似性权重矩阵W＝{W₁,W₂,...,W_i}，i＝1,…,N_c。因此，只需要在Y上求得这个权重矩阵便可以应用到Z上去，而在Y上求这个权重矩阵只需要求解如下公式即可：

λ为权重系数，本发明设置其值为0.3，对上式进行优化求解即得到Y与Z之间共享相似性权重矩阵W。

4、利用Y与Z之间共享相似性权重矩阵W构建约束项，与基于融合的高光谱图像超分辨目标优化式合并，得到基于聚类流形先验的高光谱图像超分辨重建方法的目标优化式。

传统的基于融合的高光谱图像超分辨重建算法的优化模型为：

其中，priors表示需要人工设计的先验，P为光谱域上的降采样矩阵，H为空间域上的降采样矩阵。

由于Z与Y具有基于流行结构的非局部相似性，可以认为Z与Y在结构上是相似的，只是光谱维数不同，则有：

并满足如下约束：

定义为的集合，将上式加入基于融合的高光谱图像超分辨重建算法模型中，用X和Y来重建Z，则得到如下目标式：

其中，标量η是用来平衡观测模型和非局部相似性约束的平衡参数，为了获得最佳的效果，该参数在本发明中设置为0.001；光谱域上的降采样矩阵P是根据使用相机的光谱反射曲线构造的矩阵，与相机的反射曲线对应，本发明使用cave数据集采集相机的光谱降采样矩阵，使用高斯模糊核矩阵作为空间域上的降采样矩阵H。

公式(10)中，约束了潜在的高分辨率高光谱分辨率图像Z，使其经过空间降采样与光谱降采样之后和低分辨率高光谱图像X及RGB图像Y保持一致。约束了Z的非局部相似性。

5、模型优化求解

通过优化求解公式(10)，即可得到最终重建的高分辨率高光谱图像Z。本发明采用ADMM算法(交替方向乘子算法)求解公式(10)，得到高分辨率高光谱图像Z，即重建图像。所述的ADMM算法记录在文献“Gabay D,Mercier B.A dual algorithm for the solution ofnonlinear variational problems via finite element approximation[J].Computers&Mathematics with Applications,1976,2(1):17-40”中。

具体求解过程如下：

由于公式(10)中未知变量Z同时被几个约束条件所耦合，先引入两个分离变量S和U来重写公式(10)，即：

再引入拉格朗日乘子来消除这些约束，化简得目标函数如下：

其中，V₁、V₂表示拉格朗日乘子，<A,B>＝tr(A^TB)表示矩阵A^TB的迹，μ是一个给定的标量，这里取0.1，为拉格朗日乘子法的数学写法，还可将公式(12)转化为如下形式：

其中，const表示一个恒定值。由于直接优化公式(13)比较困难，但是可以通过交替迭代最小化其中的几个更简单的子问题，直到整体收敛。Z与V₁、V₂的初始值为随机矩阵(在优化中迭代更新)，则迭代更新过程为：

1)用自相似性恢复

通过分离待优化公式中与不相关的变量，得到关于的子问题如下：

其中，也满足所以该问题有如下形式的闭合解：

2)更新分离变量U：

同样的，通过分离与U不相关的变量，得到关于U的子问题如下：

这里，用所有更新后的全波段矩阵来重建一个新的高光谱图像L，其中即是把高光谱图像划分成全波段矩阵操作的逆，在重建的过程中，若全波矩阵块有重叠则采取平均操作，则对于给定的L，公式(16)能够被重新表示成如下形式：

上式是一个最简单的凸函数优化问题：二次函数求最小值，只需对其关于U求导，找出导数等于0时的值，因此，上式有如下闭合形式的解：

3)更新分离变量S：

分离与S不相关的变量，得到关于S的子问题如下：

同样的，对上式关于S求导，得到闭合解如下：

其中，I表示单位矩阵。

4)更新超分辨的高光谱图像Z：

分离与Z无关变量，得到关于Z的子问题如下：

关于Z有闭合形式的解如下：

需要注意的是，(HH^T+2μI)是一个尺寸相当大的矩阵，工程上无法直接对其求逆，所以采用共轭梯度下降法来求得一个近似结果。

5)更新乘子V₁和V₂：

按如下公式更新乘子V₁和V₂：

V₁＝V₁+2μ(Z-U),V₂＝V₂+2μ(Z-S) (23)

重复步骤1)至5)，直至重复次数超过T(T＝20)次，得到最终结果Z。

本发明方法利用了高分辨率RGB图像与高分辨率高光谱图像在空间上的流行结构相似性，揭示了潜在的高分辨率高光谱图像在空间域中与高分辨率RGB图像之间的流形结构关系。利用两者在流行结构上的关系，巧妙的设计了基于流行先验的空间约束项并完成重建目标函数构建，使得重建图像更加接近原始图像。

为更好地说明本发明方法的效果，采用cave数据集(Columbia Object ImageLibrary Columbia Gaze Data Set Contaminants Database，地址：http://www.cs.columbia.edu/CAVE/databases/)进行高光谱图像超分辨重建，并与现在主流的超分辨重建方法——lan算法(Yokoya N,Yairi T,Iwasaki A.Coupled Nonnegative MatrixFactorization Unmixing for Hyperspectral and Multispectral Data Fusion[J].IEEE Transactions on Geoscience&Remote Sensing,2012,50(2):528-537)进行对比，分别计算峰值信噪比(PSNR)、结构相似性(SSIM)、均方根误差(RMSE)、光谱角(SAM)，具体数据如表1所示。其中，RMSE值越小表明重建图像与原始图像之间越接近，PSNR值越大表明重建图像与原始图像数值上的平均误差越接近，SSIM值越接近1说明重建图像与原始图像结构越相似，SAM值越小就说明重建图像与原始图像的光谱越接近。可以看出，利用本发明方法进行高光谱图像超分辨重建的效果明显优于lan算法，具有较高的重建精度。

表1

	PSNR	SSIM	RMSE	SAM
					lan算法	34.48	0.9615	5.16	13.14
本发明方法	42.81	0.9927	2.03	4.11

Claims (1)

1.一种基于聚类流形先验的高光谱图像超分辨重建方法，其特征在于包括以下步骤：

步骤1：给定低分辨率高光谱图像X和同一场景下的高分辨率RGB图像Y，在空间维上用一个h×w大小的窗以s＝1为步长扫过图像Y，得到全波段图像块集合，其中，每一个图像块b_k∈R^h×w×3，k＝1,…,K，K为图像块个数，0＜h＜R，0＜w＜C，R为图像的长，C为图像的宽；

步骤2：将步骤1得到的所有图像块均变换为二维矩阵，即对每一个图像块b_k得到一个全波段矩阵B_k∈R^n×3，n＝w×h；再利用K-means算法对所有全波段矩阵进行聚类处理，得到N_c个类，每一类为

步骤3：按照s.t.diag(W_i)＝0计算得到相似性权重矩阵W；其中，W＝{W₁,W₂,...,W_i}，×₂表示为模2的张量乘法，表示矩阵的Frobenius范数，i＝1,…,N_c，λ＝0.3表示权重系数；

步骤4：基于融合的高光谱图像超分辨重建算法的优化模型和流行先验的空间约束，构建高光谱图像超分辨重建的目标函数如下：

其中，Z即为待重建的高分辨率高光谱图像，P为光谱域上的降采样矩阵，H为空间域上的降采样矩阵，为基于流行先验的空间约束项，为的集合，为图像Z潜在的与在空间上对应的类，η＝0.001为平衡参数，i＝1,…,N_c；

步骤5：利用ADMM算法求解步骤4的目标函数，得到重建后的高分辨率高光谱图像Z。