CN113269684B - 基于单张rgb图像和非监督学习的高光谱图像复原方法 - Google Patents

Abstract

本发明公开了一种基于单张RGB图像和非监督学习的高光谱图像复原方法，包括如下步骤：A)获取同一区域内的高光谱图像数据和RGB图像数据，研究高光谱图像数据的统计属性、相邻波段的光谱响应差、不同波段间的结构相似性以及高光谱图像数据与RGB图像数据间的相关性；B)依据高光谱图像数据的统计属性、相邻波段的光谱响应差、不同波段间的结构相似性以及高光谱图像数据与RGB图像数据之间相关性设计损失函数，以能够以无监督的方式训练深度卷积神经网络，从而得到高光谱图像数据与RGB图像数据间的非线性映射关系；C)根据该非线性映射关系利用RGB图像数据复原高光谱图像数据。本发明能够实现利用单张RGB图像复原高光谱图像，实用性高。

Description

基于单张RGB图像和非监督学习的高光谱图像复原方法

技术领域

本发明涉及图像复原方法，具体涉及一种基于单张RGB图像和非监督学习的高光谱图像复原方法。

背景技术

高光谱成像现已广泛应用于遥感，环境监测，异常检测和计算机视觉任务中，例如物体识别，分类和跟踪。

但由于高光谱成像设备的局限性，高光谱的成像分辨率经常遭受空间、光谱或时间的不利影响而下降。

现有技术中的基于深度学习的方法多是在RGB(红绿蓝色彩模式)图像和相应的高光谱图像的可用性下以有监督的方式学习的，这需要具有足够的先验知识，并对先验知识进行人工标注，因而工作量庞大，学习成本高，且对于实际应用来说不具备良好的实用性与便利性。

有鉴于此需要提供一种基于单张RGB图像和非监督学习的高光谱图像复原方法。

发明内容

本发明所要提供的是一种基于单张RGB图像和非监督学习的高光谱图像复原方法，其能够实现利用单张RGB图像复原高光谱图像，且实用性高。

为实现以上发明目的，本发明提供一种基于单张RGB图像和非监督学习的高光谱图像复原方法，包括如下步骤：A)获取高光谱图像数据集中同一研究区域内的高光谱图像数据以及RGB图像数据，以研究所述高光谱图像数据的统计属性、相邻波段的光谱响应差和不同波段之间的结构相似性、以及所述高光谱图像数据与所述RGB图像数据之间的相关性；B)依据所述高光谱图像数据的所述统计属性、所述相邻波段的光谱响应差和所述不同波段之间的结构相似性，以及所述高光谱图像数据与所述RGB图像数据之间相关性设计损失函数，以能够以无监督的方式训练深度卷积神经网络，从而得到所述高光谱图像数据与所述RGB图像数据之间的非线性映射关系；C)根据所述高光谱图像数据与所述RGB图像数据之间的非线性映射关系利用所述RGB图像数据复原所述高光谱图像数据。

具体地，所述步骤A)中，同一研究区域内的所述RGB图像数据和多组所述高光谱图像数据之间的所述统计属性I_c(u,v)表示为：

其中，(u,v)表示空间坐标，H(u,v,i)表示i波段的所述高光谱图像数据，c∈{R,G,B}，R为红色通道，G为绿色通道，B为蓝色通道。r_c(i)表示通道c在波长i处的频谱响应。

进一步具体地，所述步骤A)中，将所述高光谱图像数据归一化，并设所述高光谱图像数据中的波段跨度为d纳米，则所述相邻波段的光谱响应差D表示为：

其中，k和k+d(n-1)表示所述高光谱图像数据中的波段范围，H(u,v,i+d)表示i+d波段的所述高光谱图像数据，‖·‖₁表示L₁范数。

进一步具体地，所述步骤A)中，所述不同波段之间的结构相似性由结构相似度ssim(X,Y)表示：

其中，X＝H(u,v,x)，表示x波段的所述高光谱图像数据；Y＝H(u,v,x)，表示y波段的所述高光谱图像数据；C₁和C₂为常量；w_x是x波段的所述高光谱图像数据在窗口w中的区域，

是w_x的灰度平均值；

和

是w_x的方差和与w_y的协方差。

进一步具体地，所述步骤A)中，所述高光谱图像数据与所述RGB图像数据之间的相关性S_c表示为：

其中，S_c的取值范围为[0,1]，I_c表示输入所述深度卷积神经网络的所述RGB图像数据。

进一步具体地，所述步骤B)中的所述损失函数loss包括图像输入输出差异loss_pro，图像输入输出相关性loss_cor和图像输出波段间的相似性loss_self。

进一步具体地，所述图像输入输出差异loss_pro基于所述统计属性得出：

其中，pro(H)表示所述RGB图像数据经所述深度卷积神经网络处理后得到的反向映射图像数据，H表示经所述深度卷积神经网络重构的所述高光谱图像数据。

进一步具体地，所述图像输入输出相关性loss_cor基于所述高光谱图像数据与所述RGB图像数据之间的相关性得出：

进一步具体地，所述图像输出波段间的相似性loss_self基于所述相邻波段的光谱响应差得出：

更具体地，所述步骤E)中，所述损失函数loss表示为：

loss＝loss_pro+loss_cor+αloss_self

其中，α为平衡因子。

本发明的基于单张RGB图像和非监督学习的高光谱图像复原方法，先是要研究相关的高光谱图像数据集中的某一研究区域内的高光谱图像数据与相对应区域中的RGB图像之间的关联性，包括高光谱图像数据的统计属性、相邻波段的光谱响应差和不同波段之间的结构相似性，以及高光谱图像数据与所述RGB图像数据之间的相关性，并依据上述高光谱图像数据与RGB图像数据之间的关联性设计出损失函数，以将该损失函数应用于深度卷积神经网络，从而实现对高光谱图像数据与RGB图像数据之间的非线性映射关系进行无监督学习，以能够实现利用单张RGB图像复原高光谱图像，且不需要对图像数据进行人工标注，从而提高了利用RGB图像复原高光谱图像的效率，具有良好的实用性。

本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

图1是本发明基于单张RGB图像和非监督学习的高光谱图像复原方法的步骤图；

图2是本发明基于单张RGB图像和非监督学习的高光谱图像复原方法的原理图；

图3是本发明基于单张RGB图像和非监督学习的高光谱图像复原方法中高光谱图像的相邻波段间的光谱响应差图；

图4是本发明基于单张RGB图像和非监督学习的高光谱图像复原方法中深度卷积神经网络复原高光谱图像(无监督学习)的过程示意图；

图5是本发明基于单张RGB图像和非监督学习的高光谱图像复原方法中高光谱图像数据集上高光谱图像的S平均值图；

图6是本发明基于单张RGB图像和非监督学习的高光谱图像复原方法中高光谱图像数据与RGB图像数据之间的相关性图；

图7是本发明基于单张RGB图像和非监督学习的高光谱图像复原方法与稀疏编码方法的效果对比图；

图8是本发明基于单张RGB图像和非监督学习的高光谱图像复原方法中80组测试图像上的定量比较图，其中图8-(a)为RMSE定量比较图、图8-(b)为MRAE定量比较图、图8-(c)为SSIM定量比较图。

具体实施方式

以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。

如图1和图2所示，在本发明基于单张RGB图像和非监督学习的高光谱图像复原方法的一种实施例中，其复原高光谱图像的步骤包括：

A)获取高光谱图像数据集中同一研究区域内的高光谱图像数据以及RGB图像数据，以研究高光谱图像数据的统计属性、相邻波段的光谱响应差和不同波段之间的结构相似性、以及高光谱图像数据与RGB图像数据之间的相关性；

具体地，以研究在iCVL高光谱图像数据集上某一研究区域内的高光谱图像数据为例，该研究区域内RGB图像所对应的高光谱图像包括多组，则RGB图像数据与多组高光谱图像数据之间的统计属性I_c(u,v)表示为：

其中，(u,v)表示空间坐标，H(u,v,i)表示i波段的所述高光谱图像数据，c∈{R,G,B}，R为红色通道，G为绿色通道，B为蓝色通道。r_c(i)表示通道c在波长i处的频谱响应。

以高光谱图像中光的波段为400nm至700nm，且取波段跨度为d＝10nm为例，首先将高光谱图像数据进行归一化，则高光谱图像中相邻波段的光谱响应差D表示为：

其中，H(u,v,i+d)表示i+d波段的所述高光谱图像数据，‖·‖₁表示L₁范数。由此所得到的所有相邻波段间的光谱响应差如图3所示，从图3可知大部分D的值小于0.005，这表明光谱响应在光谱域中是平滑的。

随后，研究高光谱图像中不同波段之间的结构相似性，该结构相似性由结构相似度ssim(X,Y)表示：

其中，X＝H(u,v,x)，表示x波段的高光谱图像数据；Y＝H(u,v,x)，表示y波段的高光谱图像数据；C₁和C₂为常量，C₁和C₂的值可根据具体的研究内容具体设置，在本实施例中C₁可具体设置为1×10^-4，C₂可具体设置为9×10^-4；w_x是x波段的高光谱图像数据在窗口w中的区域，

是w_x的灰度平均值；

和

是w_x的方差和与w_y的协方差。结合如图4所示的深度卷积神经网络复原高光谱图像(无监督学习)的过程示意图可知，该深度卷积神经网络包括特征提取，映射和重建三个卷积层，三个卷积层分别具有128，64，31个输出通道，因此，高光谱图像中第n波段与第m波段的频谱响应的结构相似度可以用一个31×31的矩阵S(m,n)表示，由此所得到的高光谱图像数据集上高光谱图像的S平均值如图5所示，由图5可知，两个波段越接近，结构相似度的值越大。对角线值为1.0(实线标记处)，两个最近邻波段之间的结构相似度更接近1.0(虚线标记)，表明最近邻光谱间具有很高的相似性。

最后，研究高光谱图像数据与RGB图像数据之间的相关性，具体是定义高光谱图像数据与RGB图像数据每个通道(即R(红),G(绿)和B(蓝)三种颜色)之间的相关性，该相关性S_c表示为：

其中，S_c的取值范围为[0,1]，I_c表示输入所述深度卷积神经网络的所述RGB图像数据。所得到的高光谱图像数据与RGB图像数据之间的相关性图如图6所示，由图6可知S_r、S_g、S_b的趋势是一致的。大多数S_c的值大于0.9，S_r和S_g的值接近1.0，这表明RGB图像数据和高光谱图像数据的相似度也很高。因此，相邻波段之间的平滑和高度相似性，以及RGB图像数据和高光谱图像数据之间的相关性均可被用作设计损失函数的标准。

B)依据所述高光谱图像数据的所述统计属性、所述相邻波段的光谱响应差和所述不同波段之间的结构相似性，以及所述高光谱图像数据与所述RGB图像数据之间相关性设计损失函数。

具体地，损失函数loss包括图像输入输出差异loss_pro，图像输入输出相关性loss_cor和图像输出波段间的相似性loss_self。其中，图像输入输出差异loss_pro基于统计属性I_c(u,v)得出：

其中，I_c表示输入深度卷积神经网络的RGB图像数据，pro(H)表示RGB图像数据经深度卷积神经网络处理后得到的反向映射图像数据，H表示经深度卷积神经网络重构的高光谱图像数据；

图像输入输出相关性loss_cor基于高光谱图像数据与RGB图像数据之间的相关性S_c得出：

图像输出波段间的相似性loss_self基于相邻波段的光谱响应差D得出：

由此，损失函数loss可表示为：

loss＝loss_pro+loss_cor+αloss_self

其中，α为平衡因子，在本实施例中α可设为0.1。

将上述的损失函数loss输入深度卷积神经网络，到以能够以无监督的方式训练深度卷积神经网络，从而得到高光谱图像数据与RGB图像数据之间的非线性映射关系。

C)根据高光谱图像数据与RGB图像数据之间的非线性映射关系利用RGB图像数据复原高光谱图像数据。

在训练上述的深度卷积神经网络时，可基于iCVL高光谱图像数据集进行训练，具体地，该数据集是用Specim PS Kappa DX4高光谱相机采集获得的，所得图像的空间分辨率为1392×1300，波段数为31(400nm-700nm，间隔为10nm)。实验中使用121组RGB图像训练网络，并使用80对由本发明的方法复原的高光谱图像与真实的高光谱图像进行测试。可优选将训练用的RGB图像裁剪为大小为40x40的小块，以增强训练数据，并可优选采用了批量大小为128的Adam优化器；学习率最初优选设置为0.0001，然后以0.99的速率呈指数衰减；最大迭代次数设置为100。

随后，使用稀疏编码方法与本发明所提供基于单张RGB图像和非监督学习的高光谱图像复原方法进行比较，其中，稀疏编码方法是在相同训练数据上，以监督学习的方式进行训练。此外，引入均方根误差(RMSE)，平均相对绝对误差(MRAE)和结构相似度(SSIM)用作客观评价指标。

首先，进行消融实验，以验证所提出的损失函数的有效性。使用损失函数中去除loss_cor的部分：loss＝loss_pro+αloss_self对网络进行训练，并使用五个选定的波段(450nm，500nm，550nm，600nm和650nm)评估高光谱图像重构的效果，对比结果如图7所示，图7中同一列的图像的波段相同，从左至右的5列对应的光波波段分别为450nm，500nm，550nm，600nm和650nm，图7中的第一行代表真实的高光谱图像，图7中的第二行代表由本发明的高光谱图像复原方法所复原出的高光谱图像，图7中的第三行代表由本发明的高光谱图像复原方法所复原出的高光谱图像与真实的高光谱图像之间的差异图，图7中的第四行代表由稀疏编码方法所复原出的高光谱图像与真实的高光谱图像之间的差异图，图7中的第五行代表由稀疏编码方法所复原出的高光谱图像。由图7中第5列第三行至第5列第五行的虚线框处的图像内容可明显的看出由本发明所提供的基于单张RGB图像和非监督学习的高光谱图像复原方法所复原出的高光谱图像与由稀疏编码方法所复原出的高光谱图像相比，其与真实的高光谱图像之间的差异更小，即是本发明所提供的基于单张RGB图像和非监督学习的高光谱图像复原方法优于稀疏编码方法，尤其是在长波阶段。

此外，在80组复原的高光谱图像与真实的高光谱图像上的定量比较如图8所示，对于RMSE和MRAE，较小的值表示较好的结果；对于SSIM，较大的值表示较好的结果。由图8可知，在大多数波段上，本发明所提出的方法均优于稀疏编码方法。但是，对于400nm-450nm的短波波段，稀疏编码的性能优于本发明所提供的方法。且所有波段上RMSE、MRAE和SSIM指标的平均值如表1所示：

	RMSE	MRAE	SSIM
				稀疏编码方法	0.0306	0.1544	0.9372
本发明所提供的方法	0.0197	0.1227	0.9793

表1

由表1可知，本发明所提出的方法获得了较小的RMSE和MRAE，以及较高的SSIM，因此，本发明所提出的方法均优于稀疏编码方法。

以上结合附图详细描述了本发明实施例的可选实施方式，但是，本发明实施例并不限于上述实施方式中的具体细节，在本发明实施例的技术构思范围内，可以对本发明实施例的技术方案进行多种简单变型，这些简单变型均属于本发明实施例的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施例对各种可能的组合方式不再另行说明。

此外，本发明实施例的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施例的思想，其同样应当视为本发明实施例所公开的内容。

Claims (1)

1.一种基于单张RGB图像和非监督学习的高光谱图像复原方法，其特征在于，包括如下步骤：

A)获取高光谱图像数据集中同一研究区域内的高光谱图像数据以及RGB图像数据，以研究所述高光谱图像数据的统计属性、相邻波段的光谱响应差和不同波段之间的结构相似性、以及所述高光谱图像数据与所述RGB图像数据之间的相关性；同一研究区域内的所述RGB图像数据和多组所述高光谱图像数据之间的所述统计属性I_c(u，v)表示为：

其中，(u，v)表示空间坐标，H(u，v，i)表示i波段的所述高光谱图像数据，c∈{R，G，B}，R为红色通道，G为绿色通道，B为蓝色通道； r_c(i)表示通道c在波段i处的频谱响应；将所述高光谱图像数据归一化，并设所述高光谱图像数据中的波段跨度为d纳米，则所述相邻波段的光谱响应差D表示为：

其中，k和k+d(n-1)表示所述高光谱图像数据中的波段范围，H(u，v，i+d)表示i+d波段的所述高光谱图像数据，||·||₁表示L₁范数；所述不同波段之间的结构相似性由结构相似度ssim(X，Y)表示：

其中，X＝H(u，v，x)，表示x波段的所述高光谱图像数据；Y＝H(u，v，y)，表示y波段的所述高光谱图像数据；C₁和C₂为常量；w_x是x波段的所述高光谱图像数据在窗口w中的区域，

是w_x的灰度平均值；

和

是w_x的方差和与w_y的协方差；所述高光谱图像数据与所述RGB图像数据之间的相关性S_c表示为：

其中，S_c的取值范围为[0，1]，I_c表示输入深度卷积神经网络的所述RGB图像数据；

B)依据所述高光谱图像数据的所述统计属性、所述相邻波段的光谱响应差和所述不同波段之间的结构相似性，以及所述高光谱图像数据与所述RGB图像数据之间的 相关性设计损失函数，以能够以无监督的方式训练深度卷积神经网络，从而得到所述高光谱图像数据与所述RGB图像数据之间的非线性映射关系；所述损失函数loss包括图像输入输出差异loss_pro，图像输入输出相关性loss_cor和图像输出波段间的相似性loss_self；所述图像输入输出差异loss_pro基于所述统计属性得出：

其中，pro(H)表示所述RGB图像数据经所述深度卷积神经网络处理后得到的反向映射图像数据，H表示经所述深度卷积神经网络重构的所述高光谱图像数据；所述图像输入输出相关性loss_cor基于所述高光谱图像数据与所述RGB图像数据之间的相关性得出：

所述图像输出波段间的相似性loss_self基于所述相邻波段的光谱响应差得出：

所述损失函数loss表示为：

loss＝loss_pro+loss_cor+αloss_self

其中，α为平衡因子；

C)根据所述高光谱图像数据与所述RGB图像数据之间的非线性映射关系利用所述RGB图像数据复原所述高光谱图像数据。

Images