CN106997581A - 一种利用深度学习重建高光谱图像的方法 - Google Patents

Abstract

本发明公开了一种利用深度学习重建高光谱图像的方法。本方法为：1)通过稀疏编码的方式对高光谱训练数据集进行训练并得到一神经网络；2)对目标场景原始的高光谱图像进行空间光谱调制获得一二维传感器图像；3)利用所述神经网络对步骤2)得到的二维传感器图像进行重建，得到该目标场景的重建后的高光谱图像。本发明可以解决高光谱成像速度较慢的问题，并获取分辨率更高的高光谱图像。

Description

一种利用深度学习重建高光谱图像的方法

技术领域

本发明涉及高光谱图像重建领域，具体的说涉及在高光谱图像重建时，一种利用深度学习重建高光谱图像的方法。

背景技术

当今时代，在某些领域普通相机已经不能满足人们的要求。在实际工作、生产中，往往需要通过更高分辨率的图像来对实际的信息进行获取。例如医生往往需要获得病人身体某部分的图像信息，来对其进行更深入的病理分析，此时一般的相机并不能满足此要求。而在相关技术中，彩色相机通过在传感器上加入红、绿、蓝色的滤镜分别来获取场景的颜色记录，这往往忽略了场景的光谱细节。因此为了采集三维高光谱图像往往会采取分时扫描的方法(即通过牺牲时间分辨率或空间分辨率)采集得到高光谱图像。

高光谱成像技术是近二十年来发展起来的基于非常多窄波段的影像数据技术，其最突出的应用是遥感探测领域，并在越来越多的民用领域有着更大的应用前景，它集中了光学、光电子学、电子学、信息处理、计算机科学等领域的先进技术，是传统的二维成像技术和光谱技术有机结合在一起的一门新兴技术。

所谓高光谱图像就是在光谱维度上进行了细致的分割，不仅仅是传统所谓的黑、白或者R、G、B的区别，而是在光谱维度上也有N个通道，例如：本发明可以把400nm-1000nm分为300个通道。因此，通过高光谱设备获取到的是一个数据立方，不仅有图像的信息，并且在光谱维度上进行展开，结果不仅可以获得图像上每个点的光谱数据，还可以获得任一个谱段的影像信息。

发明内容

本发明所要解决的技术问题是：高光谱成像方法仅适用于静态场景，如果采集低空间分辨率的高光谱图像，便会限制其应用范围，即重建图像不清晰，重建速度变慢。

由于在已经有的相关技术中采用的基函数或者小波基获得重建的结果不佳，因此本项目中考虑采用从训练数据集学习得到一个神经网络作为自然界高光谱图像的一个稀疏表示，对初始图像进行编码，并通过深度学习的思想进行解码重建，提供一种利用深度学习重建高光谱图像的方法。具体包括以下步骤：

步骤(1)获得高光谱数据集；

首先将需要训练的样本高光谱图像放在指定文件夹内，然后将每张样本高光谱图像都转换成单通道图片，再将单通道图片切割成20像素点*20像素点的小图片，从而获得高光谱数据集；便于接下来的步骤对高光谱数据集中的图像进行操作；

步骤(2)通过稀疏编码的方式进行训练并得到神经网络；

通过稀疏编码的方式对高光谱数据集中的图像进行处理，得到优化后的高光谱字典；将字典D和二维传感器图像同时输入深度卷积网络模型中，从而进行训练并得到神经网络；

步骤(3)将目标场景中原始的高光谱图像，以空间光谱随机编码的方式编码到光学投影上，形成二维传感器图像；

步骤(4)通过深度神经网络对二维传感器图像进行还原重建，得到高光谱图像。

所述的高光谱字典D的优化过程如下：

通过如下公式对高光谱数据集中的图像进行表示：

其中，h表示向量化的图像，D表示高光谱字典，d_j表示所述高光谱字典的原子，a表示稀疏系数，α_j为矩阵A中的第j个稀疏向量，q为总列数；

利用下述公式(2)进行学习获得优化后的高光谱字典D：

其中，T∈R^n*o为o个图像块所组成的训练集，A＝[a₁,…,a_o]∈R^q*o是每列为k-稀疏向量的矩阵，并且k为指定的稀疏程度，α_i为矩阵A中的第i个稀疏向量；

采用K-SVD算法来求解公式(2)中的优化问题，训练高光谱原子；过完备字典D是从步骤1分割后的大量图像中学习获得的，步骤1分割后的大量图像是三维的空间光谱图像块，每个图像块的分辨率为n＝l_x*l_y*l_λ，其中l_x，l_y，l_λ分别为原子大小；高光谱原子的大小m是在过完备字典训练中的一个重要参数，与训练的图像块大小m＝l_x*l_y相等；设高光谱图像是k-稀疏的，则测量值的数量必须满足条件m>o，其中，o＝(klog(q/k))，q与n成正比关系。

所述的深度神经网络的构建如下：

根据深度卷积网络模型，利用Caffe中的要求进行配置从而建立深度神经网络，具体的网络中有三个卷积层和两个relu层，relu层即激活函数；将步骤1中的原始的样本高光谱图像对应的切分后的二维传感器图像、高光谱数据集生成的字典D同时输入深度卷积网络，其中二维传感器图像经过深度卷积网络后与高光谱数据集中的图像进行比较，两者的欧几里得距离被称为loss function，即损失函数；在训练过程中Caffe会计算网络参数的梯度并更新深度卷积网络的参数并用到激活函数，最终目标为最小化lossfuction，完成网络构建。

所述的根据空间变化的颜色光谱编码，采集的二维传感器图像上保存了更多的高光谱原子信息；单张编码的二维传感器图像，能够通过如下公式得到：

其中h(x,y,λ)表示高光谱数据集中的图像，且x,y表示高光谱数据集中图像的二维空间坐标，λ表示光谱维度，s＝d_m/d_a表示掩模相对于高光谱数据集中图像的剪切形变程度，d_m表示掩模和传感器的距离，d_a表示光谱面和传感器之间的距离，掩模的随机图案函数为f(x,y)。

所述的通过深度神经网络对二维传感器图像进行还原重建，得到高光谱图像，具体如下：

将步骤(2)中构建的深度神经网络从caffe中导出，同时将步骤(3)中的得到的分割后的二维传感器图像带入已生成的深度神经网络中，从而得到重建后的高光谱图像块，同时将高光谱图像块进行进行合并和填充，得到高光谱图像。

本发明的有益效果：

本发明设计出的这一种高光谱图像的生成方法，可以解决高光谱成像速度较慢的问题，并获取分辨率更高的高光谱图像；也通过对普通光学相机的改装，将其此技术运用到实际中，实现单次拍摄下对场景超光谱信息的恢复。

附图说明

图1为本发明的快速高光谱成像的实现流程图。

图2为本发明采用的训练深度神经网络的示意图。

具体实施方式

以下结合附图及实施例，对本发明进行进一步的详细说明。

本发明提出的利用已有的高光谱图像建立深度神经网络，并运用到对现有的二维传感器图像还原成高光谱图像的实施流程如图1所示。本发明所述方法包括以下步骤：

步骤(1)获得高光谱数据集。

首先将需要训练的样本高光谱图像放在指定文件夹内，然后将每张样本高光谱图像都转换成单通道图片，再将单通道图片切割成20像素点*20像素点的小图片，从而获得高光谱数据集；便于接下来的步骤对其进行操作。

步骤(2)通过稀疏编码的方式进行训练并得到神经网络。

通过稀疏编码的方式对高光谱数据集中的图像进行处理，得到优化后的高光谱字典D；将字典D和二维传感器图像同时输入深度卷积网络模型(SRCNN)中，从而进行训练并得到神经网络。

所述的高光谱字典D的优化过程如下：

通过如下公式对高光谱数据集中的图像进行表示：

其中，h表示向量化的图像，D表示高光谱字典，d_j表示所述高光谱字典的原子，a表示稀疏系数，α_j为矩阵A中的第j个稀疏向量，q为总列数。

进一步地，利用下述公式进行学习获得优化后的高光谱字典D：

其中，T∈R^n*o为o个图像块所组成的训练集，A＝[a₁,…,a_o]∈R^q*o是每列为k-稀疏向量的矩阵，并且k为指定的稀疏程度，α_i为矩阵A中的第i个稀疏向量。

采用K-SVD算法来求解公式(2)中的优化问题，训练高光谱原子。过完备字典D是从步骤1分割后的大量图像中学习获得的，步骤1分割后的大量图像是三维的空间光谱图像块，每个图像块的分辨率为n＝l_x*l_y*l_λ，l_x，l_y，l_λ分别为原子大小。高光谱原子的大小m是在过完备字典训练中的一个重要参数，它与训练的图像块大小m＝l_x*l_y相等。设高光谱图像是k-稀疏的，则测量值的数量必须满足条件m>o(klog(q/k))，其中q与n成正比关系。对于固定的光谱尺寸和字典的过完备性，由于随着原子的大小的增大，m线性增加而o(klog(q/k))只是对数增长，因此增大空间原子的大小将使得重建问题变得更为适定。本项目根据经验，选取的原子大小为l_x＝l_y＝10。本发明初步可以估计，当使用少量的参数估计高光谱矩阵时，所述的三维高光谱原子相比其他传统基函数表示能获得更好的压缩重建质量，与三维主成分分析，三维离散余弦变换和三维高光谱原子稀疏重建结果相比，有更好的重建性能。复杂的高光谱结构能够很好地被很少的原子线性组合表示，因此高光谱原子是高光谱图像中的重要组成元素。显然高光谱原子的结构主要取决于特定的训练集；直观上，大量的多样化高光谱图像会呈现出一些相同的结构，而高光谱原子稀疏地表示了这些自然界高光谱图像最基本的结构。

而基于SRCNN模型的联合字典学习则是将高光谱字典输入SRCNN模型中，从而获得更好的学习效果。所述的深度神经网络的构建如下：根据深度卷积网络模型，利用Caffe中的要求进行配置，建立如图2的神经网络。网络中有三个卷积层(conv)，两个relu层(激活函数)。

将步骤1中的原始样本高光谱图像对应的切分后的二维传感器图像、高光谱数据集生成的字典D同时输入深度卷积网络，其中二维传感器图像经过深度卷积网络后与高光谱数据集中的图像进行比较，两者的欧几里得距离被称为loss function(损失函数)。在训练过程中Caffe会计算网络参数的梯度并更新深度卷积网络的参数并用到激活函数，最终目标为最小化lossfuction，完成网络构建。

步骤(3)将目标场景中原始的高光谱图像，以空间光谱随机编码的方式编码到光学投影上，形成二维传感器图像。

根据空间变化的颜色光谱编码，采集的二维传感器图像上保存了更多的高光谱原子信息。单张编码的二维传感器图像，能够通过如下公式得到：

其中h(x,y,λ)表示高光谱数据集中的图像，且x,y表示高光谱数据集中图像的二维空间坐标，λ表示光谱维度，s＝d_m/d_a表示掩模相对于高光谱数据集中图像的剪切形变程度，d_m表示掩模和传感器的距离，d_a表示光谱面和传感器之间的距离，掩模的随机图案函数为f(x,y)。

在传感器前加入一个编码衰减的掩模，不同掩模图案对于重建结果有所印象。本项目实施所用的非线性重建算法能够获取全传感器分辨率的高光谱重建，可以采用宽频编码如MURA(修正均匀冗余阵列)图案的掩模进行观测。为得到高重建效果，观测应该尽可能提供稀疏基下不相干的信号投影，而使用随机编码进行观测在大多数稀疏基下可以满足这个条件，因此作为压缩感知应用中的最常见选择。通过改变掩模的位置或者使用透镜阵列替代，可以获得其他不同形式的光学系统设计。仅在空间进行调制相当于CASSI(编码光圈压缩高光谱成像)的系统，同时动态调节空间编码和光谱编码可以得到对DSCI系统(偶编码压缩高光谱成像)。将针孔掩模应用到高光谱多路复用，相当于PMVIS(棱镜掩模高光谱视频采集系统)。另外，在光谱面进行编码得到纯光谱编码，还可以将微镜阵列替代针孔掩模用于多光谱多路复用。

同时，本发明也将图像切割成20*20的小块，做到统一，从而可以完成下述步骤中深度神经网络的重建要求。

步骤(4)通过深度神经网络对二维传感器图像进行还原重建，得到高光谱图像。

将步骤(2)中构建的深度神经网络从caffe中导出，同时将步骤(3)中的得到的分割后的二维传感器图像带入已生成的深度神经网络中，从而得到重建后的高光谱图像块，同时将高光谱图像块进行进行合并和填充，得到高光谱图像。对不同方法得到的图像进行信噪比的比较，能够发现高光谱图像的重建效果较好。

Claims (5)

1.一种利用深度学习重建高光谱图像的方法，其特征在于包括如下步骤：

步骤(1)获得高光谱数据集；

首先将需要训练的样本高光谱图像放在指定文件夹内，然后将每张样本高光谱图像都转换成单通道图片，再将单通道图片切割成20像素点*20像素点的小图片，从而获得高光谱数据集；便于接下来的步骤对高光谱数据集中的图像进行操作；

步骤(2)通过稀疏编码的方式进行训练并得到神经网络；

通过稀疏编码的方式对高光谱数据集中的图像进行处理，得到优化后的高光谱字典；将字典D和二维传感器图像同时输入深度卷积网络模型中，从而进行训练并得到神经网络；

步骤(3)将目标场景中原始的高光谱图像，以空间光谱随机编码的方式编码到光学投影上，形成二维传感器图像；

步骤(4)通过深度神经网络对二维传感器图像进行还原重建，得到高光谱图像。

2.根据权利要求1所述的一种利用深度学习重建高光谱图像的方法，其特征在于高光谱字典D的优化过程如下：

通过如下公式对高光谱数据集中的图像进行表示：

$h=Da=\underset{j=1}{\overset{q}{\Σ}}{d}_j{a}_j---\left(1\right)$

其中，h表示向量化的图像，D表示高光谱字典，d_j表示所述高光谱字典的原子，a表示稀疏系数，α_j为矩阵A中的第j个稀疏向量，q为总列数；

利用下述公式(2)进行学习获得优化后的高光谱字典D：

$\underset{\{D,A\}}{min}\left|\right|T-DA|{|}_2^2;s.t.\∀i=1,...,o,|\left|{\mathrm{\α}}_i\right|{|}_o\≤k---\left(2\right)$

其中，为o个图像块所组成的训练集，是每列为k-稀疏向量的矩阵，并且k为指定的稀疏程度，α_i为矩阵A中的第i个稀疏向量；

采用K-SVD算法来求解公式(2)中的优化问题，训练高光谱原子；过完备字典D是从步骤1分割后的大量图像中学习获得的，步骤1分割后的大量图像是三维的空间光谱图像块，每个图像块的分辨率为n＝l_x*l_y*l_λ，其中l_x，l_y，l_λ分别为原子大小；高光谱原子的大小m是在过完备字典训练中的一个重要参数，与训练的图像块大小m＝l_x*l_y相等；设高光谱图像是k-稀疏的，则测量值的数量必须满足条件m>o，其中，o＝(klog(q/k))，q与n成正比关系。

3.根据权利要求1所述的一种利用深度学习重建高光谱图像的方法，其特征在于深度神经网络的构建如下：

根据深度卷积网络模型，利用Caffe中的要求进行配置从而建立深度神经网络，具体的网络中有三个卷积层和两个relu层，relu层即激活函数；将步骤1中的原始的样本高光谱图像对应的切分后的二维传感器图像、高光谱数据集生成的字典D同时输入深度卷积网络，其中二维传感器图像经过深度卷积网络后与高光谱数据集中的图像进行比较，两者的欧几里得距离被称为loss function，即损失函数；在训练过程中Caffe会计算网络参数的梯度并更新深度卷积网络的参数并用到激活函数，最终目标为最小化loss fuction，完成网络构建。

4.根据权利要求3所述的一种利用深度学习重建高光谱图像的方法，其特征在于根据空间变化的颜色光谱编码，采集的二维传感器图像上保存了更多的高光谱原子信息；单张编码的二维传感器图像，能够通过如下公式得到：

$\stackrel{\→}{q}={\∫}_{\mathrm{\λ}}f(x+s(\mathrm{\λ}-x),y)h(x,y,\mathrm{\λ})d\mathrm{\λ}---\left(3\right)$

其中h(x,y,λ)表示高光谱数据集中的图像，且x,y表示高光谱数据集中图像的二维空间坐标，λ表示光谱维度，s＝d_m/d_a表示掩模相对于高光谱数据集中图像的剪切形变程度，d_m表示掩模和传感器的距离，d_a表示光谱面和传感器之间的距离，掩模的随机图案函数为f(x,y)。

5.根据权利要求4所述的一种利用深度学习重建高光谱图像的方法，其特征在于步骤(4)所述的通过深度神经网络对二维传感器图像进行还原重建，得到高光谱图像，具体如下：

将步骤(2)中构建的深度神经网络从caffe中导出，同时将步骤(3)中的得到的分割后的二维传感器图像带入已生成的深度神经网络中，从而得到重建后的高光谱图像块，同时将高光谱图像块进行进行合并和填充，得到高光谱图像。