CN113008371B - 一种深度学习解色散模糊的高光谱成像方法 - Google Patents

Abstract

本发明公开了一种深度学习解色散模糊的高光谱成像方法。该方法的步骤是：S1，采集高精度光谱数据和色散RGB数据；S2，制备卷积神经网络训练数据集；S3，构建解色散模糊的卷积神经网络，该网络采用三维卷积核，且多个尺度的卷积核并列；卷积神经网络的输入是色散RGB数据，输出是重建高光谱数据；S4，利用S3构建的卷积神经网络，通过反向传播算法训练网络从色散RGB数据重建出高精度光谱数据的能力；S5，经多次迭代，选择训练得到的最优模型对测试集中的色散RGB数据直接解色散模糊得到高光谱数据。本发明利用深度学习卷积神经网络解色散模糊，实现高光谱重建工作，在保证重建精度的前提下大大提高了光谱重建速度。

Description

一种深度学习解色散模糊的高光谱成像方法

技术领域

本发明属于光谱成像领域，特别涉及一种深度学习解色散模糊的高光谱成像方法。

背景技术

光谱成像系统相较于传统RGB三色成像系统，可获得更丰富的色彩维度信息，在军事、医疗、生物、农业各领域都有重要应用。传统的光谱成像方法存在诸多限制：扫描式成像使用不同滤波器扫描整个光波段得到光谱图像，这和使用的滤波器数量有关，且成像慢；计算层析成像的空间分辨率较低；压缩成像利用编码孔径编码光谱信号，将其色散压缩后重建光谱，但是系统设计复杂、成本高。

近些年随着计算机科学的发展，软件算法可替代一些硬件功能，使得廉价、小型的光谱成像系统被更多地设计和应用。其中无编码孔径的快照型光谱成像系统只需要一个色散元器件和一个图像传感器即可实现高光谱成像。成像系统中光谱信息经过色散元器件后发生色散，再由图像传感器获得色散模糊RGB数据，最后利用优化算法从色散模糊的RGB数据中重建光谱信息。但是解色散是一个欠定问题，相关的优化算法重建光谱需一定迭代时间，难以实现实时重建。另外，解欠定问题需自主设计特征先验，选择的先验信息的好坏会直接影响重建的精度。

发明内容

针对上述现有方法中存在的缺陷，本发明的目的在于提供一种深度学习解色散模糊的高光谱成像方法，该方法可以直接从色散模糊的RGB数据中自主学习获取更多光谱信息，重建出高光谱数据。

本发明采用的技术方案为：

一种深度学习解色散模糊的高光谱成像方法，包括如下步骤：

S1，采集高精度光谱数据和色散RGB数据；

S2，制备卷积神经网络训练数据集；

S3，构建解色散模糊的卷积神经网络，卷积神经网络采用三维卷积核，且多个尺度的卷积核并列；所述卷积神经网络的输入是色散RGB数据，其输出是重建高光谱数据；

S4，利用步骤S2的训练数据集和步骤S3构建的卷积神经网络，通过反向传播算法训练所述卷积神经网络从色散RGB数据重建出高精度光谱数据的能力；

S5，经多次迭代，选择训练得到的最优模型对测试集中的色散RGB数据直接解色散模糊得到高光谱数据。

进一步地，所述步骤S1中，仅使用一个色散元器件和一个图像传感器采集色散RGB数据；高光谱信号通过所述色散元器件后在其对应色散方向形成色散，即每个通道的二维数据在二维空间上发生位移，再由所述图像传感器采集色散模糊的RGB数据。

进一步地，所述步骤S2中，卷积神经网络训练数据集为成对的高精度光谱数据和对应的色散模糊的RGB数据，其中高精度光谱数据的大小为h×w×c，h、w分别表示图像的横向尺寸和纵向尺寸，c为光谱通道数，色散RGB数据的大小为h×w×3。

进一步地，所述步骤S3中，卷积神经网络以采集的真实高光谱数据作为网络监督学习所需的参考数据即训练标签。

进一步地，所述步骤S3中，卷积神经网络的输入和输出层均使用卷积核尺寸为3×3×3 的卷积层；网络的每一个中间层均包含并行的四个不同尺寸的三维卷积核。

进一步地，所述中间层使用三个以上层相连构成，每一个中间层包含的三维卷积核尺寸为： 1×1×1、3×1×1、5×1×1和7×1×1。

进一步地，所述步骤S4中，卷积神经网络的优化目标为使网络输出的重建高光谱图像逼近参照标签的真实高光谱图像，即最小化两者之间的损失值，表示为：

Loss＝min‖θD-S‖

＝min‖S′-S‖

其中S′表示网络输出的重建高光谱图像，S为参照的真实高光谱图像，θ表示网络实现的映射关系，D为网络输入的色散RGB图像。

进一步地，所述步骤S5中，对于不包含在训练集中的测试集数据，直接用获得的最优模型快速解色散，从色散模糊的RGB数据中重建出高光谱数据。

本发明使用深度学习三维卷积神经网络可实现实时高效的高光谱重建。具有以下优点：

(1)数据的采集只需要一个色散元器件和一个图像传感器，所用系统更加简单小巧且成本更小。

(2)相较于传统高光谱成像方法，本发明基于模型的重建方法，可直接从色散模糊的RGB 三通道数据重建得到高光谱数据，免去人工设计先验步骤。

(3)相较于其他重建算法，本发明基于深度学习的数据驱动的算法在获得最优模型参数后，可直接利用该模型对混叠的RGB数据解色散，可以更高效快速，适用于高光谱视频成像。

附图说明

图1是本发明方法的流程图。

图2是本发明成像系统中采集色散RGB数据的示意图。

图3是本发明方法所使用的卷积神经网络结构示意图。

图4是本发明方法对测试集数据进行解色散模糊的结果，(a)网络输入色散模糊的RGB 三通道图像；(b)输入数据对应的真实高光谱图像(共21通道，显示其第5通道的图像信息)； (c)网络输出重建的高光谱图像(共21通道，显示其第5通道的图像信息)；(d)随机选取真实高光谱图像和重建高光谱图像中的一点的光谱曲线对比。

具体实施方式

为使本发明的目的，方法和优点更加清楚，下面将结合附图对本发明实施方法作进一步地详细描述。

本实施例提供了一种深度学习解色散模糊的高光谱成像方法，参见图1，具体包括：

S1：采集高精度光谱数据和色散模糊的RGB数据。

高光谱数据可以理解为一个三维的数据立方体，除了图像二维空间横向和纵向两个维度外，第三个维度是在光谱波段，每一光谱通道的二维数据表示波长在该波段的光谱信号。本发明仅使用一个色散元器件和一个图像传感器实现色散RGB数据的采集。高光谱信号通过色散元器件后在对应色散方向形成色散，即每个通道的二维数据在二维空间上发生位移，再由图像传感器(彩色相机)采集色散模糊的RGB数据。其中采集的高光谱数据和色散RGB数据之间的关系由实际所用成像系统的色散决定。

参见图2示意图，设定色散方向为水平轴方向，相邻光谱通道在二维空间上相对位移为一个像素。这里的色散RGB数据和高光谱数据之间的关系表示为：

D＝ΩΦS

其中大小为h×(w-(c-1))×c的高光谱数据S色散后得到大小为h×w×c数据ΦS，Φ表示各个空间体像素的色散方向和幅度的运算矩阵。Ω为各空间体像素在相机三通道处的传输系数，即将色散后的数据ΦS在对应波段上与相机通道的传输系数进行乘积再求和(积分作用)得到色散模糊的RGB观测数据D。图2中的黑色像素的像素值为0，作用为统一色散RGB数据和高光谱数据在二维空间维度横向和纵向的尺寸。

S2：制备卷积神经网络训练所需的数据集。

该训练数据集的数据为成对的三维高光谱数据和对应的色散模糊的RGB三通道数据，其中高光谱数据的大小为h×w×c，h、w分别表示图像在二维空间维度的横向尺寸和纵向尺寸， c为第三维的光谱通道数，色散RGB数据的大小为h×w×3，即网络训练的目的是学习色散RGB图像映射到高光谱图像的能力。网络输入色散模糊的RGB数据，并以采集的真实高光谱数据作为网络监督学习所需的参考数据即训练数据的标签。

为了提高网络训练速度，降低训练复杂度和计算量，将数据集数据统一裁剪成：色散RGB 数据为128×128×3，高光谱数据为128×128×c。

S3：构建一个端对端解色散模糊的三维卷积神经网络，网络的输入是色散模糊的RGB图像，输出是重建的高光谱图像。

由于该网络的输出结果为一个三维光谱数据立方体，网络中使用3d卷积核取代一般图像处理中的2d卷积核，学习空间光谱维度的特征。

网络在输入、输出层均使用卷积核大小为3×3×3的卷积层；结合Inception网络结构中使用多尺度卷积核以融合不同尺度特征的特点，网络中间层的每一层包含四个不同尺寸的3d 卷积核，大小分别为1×1×1，3×1×1，5×1×1，7×1×1，用于学习不同尺度区间的光谱信息，并将不同尺度特征信息结合起来。且由于网络中使用多个不同尺度的卷积核，可以免去额外的实验来选择合适大小的卷积核。使用三个以上层相连构成网络的中间部分，卷积层之间连有激活函数ReLU以增加网络非线性。

图像经过每一个卷积层后在二维空间维度横向和纵向轴上大小不变，在光谱维度上大小按“3-c-51-51-101-51-c”变化。此处c即为需要重建的光谱通道数，输入是三通道的色散 RGB图像，输出是光谱通道数为c的重建高光谱图像。网络结构示意图参见图2。

S4：利用S3构建的卷积神经网络，训练网络从色散RGB数据重建出高精度光谱数据的能力。

网络优化目标为使网络输出的重建高光谱图像接近于参照的真实高光谱图像，即最小化两者之间的损失值，表示为：

Loss＝min‖θD-S‖

＝min‖S′-S‖

其中S′表示网络输出的重建高光谱图像，S为参照的真实高光谱图像，θ表示网络实现的映射关系，D为网络输入的色散RGB图像，通过最小化S′和S之间的损失使得重建高光谱图像逼近真实高光谱图像。

网络输入色散RGB图像，经过前向传播得到网络的输出即重建高光谱图像；利用神经网络反向传播算法，反向求导损失函数，在梯度下降方向更新网络的权值参数，多次前向、反向传播迭代后使得损失函数值不断下降。

使用Pytorch深度学习框架搭建网络模型。

损失函数选择smooth L1 loss，为一个分段函数，在[-1,1]之间是L2 loss，解决了L1 loss 的不光滑问题，在[-1,1]区间外是L1 loss，解决了离群点梯度爆炸的问题，表示为：

网络训练优化器使用Adam自适应优化器，在大量数据集训练情况下更方便调参训练，且收敛更快。

初始学习率设置为0.001，训练总周期设置为200个，每隔50个训练周期后将学习率乘以 0.5，使优化器一开始以较大步长进行梯度下降靠近全局最优解，接着再逐渐变缓步伐，以准确找到全局最优解。

由于训练使用的数据集庞大，每次更新使用全部数据造成了过大的时间消耗，因此使用批量化的训练方法，设置批尺寸batch size为32。

每隔10个训练周期保存一次参数模型至.pth格式文件中，并记录其对应损失函数值至日志文件loss_history.txt，用于选择最优训练模型。

在本实例中以上这些取值设置不对本发明构成限制。

S5：经S4所述算法多次迭代，选择训练得到的最优网络模型，读取.pth文件，对测试集中的色散RGB图像进行测试，得到解色散后重建的高光谱图像。

重建结果参见图4，对比(b)图和(c)图，可见网络重建的高光谱图像和真实高光谱图像的二维空间信息相近，且由(d)图看出两者的光谱曲线非常接近，即本发明方法可实现高效且高精度的光谱重建目标。

Claims (8)

1.一种深度学习解色散模糊的高光谱成像方法，其特征在于，包括如下步骤：

S1，采集高精度光谱数据和色散RGB数据；

S2，制备卷积神经网络训练数据集；

S3，构建解色散模糊的卷积神经网络，卷积神经网络采用三维卷积核，且多个尺度的卷积核并列；所述卷积神经网络的输入是色散RGB数据，其输出是重建高光谱数据；

S4，利用步骤S2的训练数据集和步骤S3构建的卷积神经网络，通过反向传播算法训练所述卷积神经网络从色散RGB数据重建出高精度光谱数据的能力；

S5，经多次迭代，选择训练得到的最优模型对测试集中的色散RGB数据直接解色散模糊得到高光谱数据。

2.根据权利要求1所述的一种深度学习解色散模糊的高光谱成像方法，其特征在于，所述步骤S1中，仅使用一个色散元器件和一个图像传感器采集色散RGB数据；高光谱信号通过所述色散元器件后在其对应色散方向形成色散，即每个通道的二维数据在二维空间上发生位移，再由所述图像传感器采集色散模糊的RGB数据。

3.根据权利要求1所述的一种深度学习解色散模糊的高光谱成像方法，其特征在于，所述步骤S2中，卷积神经网络训练数据集为成对的高精度光谱数据和对应的色散模糊的RGB数据，其中高精度光谱数据的大小为h×w×c，h、w分别表示图像的横向尺寸和纵向尺寸，c为光谱通道数，色散RGB数据的大小为h×w×3。

4.根据权利要求1所述的一种深度学习解色散模糊的高光谱成像方法，其特征在于，所述步骤S3中，卷积神经网络以采集的真实高光谱数据作为网络监督学习所需的参考数据即训练标签。

5.根据权利要求1所述的一种深度学习解色散模糊的高光谱成像方法，其特征在于，所述步骤S3中，卷积神经网络的输入和输出层均使用卷积核尺寸为3×3×3的卷积层；网络的每一个中间层均包含并行的四个不同尺寸的三维卷积核。

6.根据权利要求5所述的一种深度学习解色散模糊的高光谱成像方法，其特征在于，所述中间层使用三个以上层相连构成，每一个中间层包含的三维卷积核尺寸为：1×1×1、3×1×1、5×1×1和7×1×1。

7.根据权利要求1所述的一种深度学习解色散模糊的高光谱成像方法，其特征在于，所述步骤S4中，卷积神经网络的优化目标为使网络输出的重建高光谱图像逼近参照标签的真实高光谱图像，即最小化两者之间的损失值，表示为：

Loss＝min‖θD-S‖

＝min‖S′-S‖

其中S′表示网络输出的重建高光谱图像，S为参照的真实高光谱图像，θ表示网络实现的映射关系，D为网络输入的色散RGB图像。

8.根据权利要求1所述的一种深度学习解色散模糊的高光谱成像方法，其特征在于，所述步骤S5中，对于不包含在训练集中的测试集数据，直接用获得的最优模型快速解色散，从色散模糊的RGB数据中重建出高光谱数据。

Images