CN107680081A - 基于卷积神经网络的高光谱图像解混方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的高光谱图像解混方法，主要解决了现有技术在高光谱解混过程中，高光谱图像图像解混精度低、模型复杂、耗时长、效率低的问题。本发明的步骤为：获取数据矩阵，对数据矩阵进行预处理，构建含有基于像素的模糊分类结构的10层结构的卷积神经网络，训练卷积神经网络，模糊分类，将卷积神经网络输出结果进行归一化得到解混结果。本发明引入了基于像素的模糊分类结构的卷积神经网络模型，具有解混精度高、模型简单、计算量低、易于实现的优点。

Description

基于卷积神经网络的高光谱图像解混方法

技术领域

本发明属于图像处理技术领域，更进一步涉及解混技术领域中的一种基于卷积神经网络高光谱图像解混方法。本发明用于各种数字设备的高光谱图像解混处理，能有效提高高光谱图像解混的精度。

背景技术

高光谱遥感数据存在着光谱分辨率高但是空间分辨率较低的问题，当有不同的波谱的物质出现在同一个像元内时处于这样情况下的像元被称为混合像元。高光谱图像解混，是从混合像元中分解得到地物光谱信号(端元)及其空间分布(丰度)估计的过程。

Giorgio A.Licciardi和Fabio Del Frate在其发表的论文“Pixel Unmixing inHyperspectral Data by Means of Neural Networks”([J].IEEE Transactions onGeoscience&Remote Sensing,2011,49(11):4163-4172.)中提出一种基于自联想神经网络(autoassociative neural networks,AANNs)的解混方法。该方法使用自联想神经网络对高光谱图像输入向量进行维度降低操作即特征提取，我们选取训练好的自联想神经网络的瓶颈层输出作为特征向量，再利用多层感知器(multilayer perceptron，MLP)对降低维度后的向量进行基于像素的模糊分类，对输出向量进行归一化从而得到输入像素所对应的丰度估计值。但是，该方法仍然存在的不足之处，在解混过程中步骤复杂且无法解决高光谱数据维度高，数据量大的问题，需要将解混分成两个神经网络完成也就是需要同时训练两个网络，并且该方法提取出的特征结构较单一解混精度也较低。

复旦大学在其申请的专利文献“基于约束最小二乘的高光谱图像非线性丰度估计方法”(专利申请号：201310284833，申请公开号：CN103413292A)提出了一种基于约束最小二乘的高光谱图像非线性丰度估计方法。该方法从高光谱观测像素的混合模型出发，通过在目标函数中引入丰度的非负性及和为一约束以及非线性参数的有界约束，将高光谱图像非线性解混问题转化为求解丰度矢量和非线性参数的约束非线性最小二乘问题从而利用交替迭代优化算法求解丰度值。但是，该方法仍然存在不足之处，非线性解混模型较为复杂且公式较多，需要大量计算才能得到解混结果，效率低耗时长。

发明内容

本发明的目的在于，为了解决上述现有技术的高光谱解混方法普遍存在的解混精度较低，不利于后续对图像上的信息进行分析的问题，提出一种基于卷积神经网络的高光谱图像解混方法。

实现本发明目的的具体步骤如下。

(1)获取数据矩阵：

利用成像光谱仪对目标区域成像，获得包含高光谱图像像素的全部波段以及像素对应的真实地物丰度值高光谱图像，将图像存储为数据矩阵；

(2)对数据矩阵进行预处理：

(2a)用ENVI软件对数据矩阵进行大气校正，去除数据矩阵中受大气以及水蒸气影响的损坏波段数据，得到校正后的数据矩阵；

(2b)将数据矩阵按照1:3的比例划分为训练集和测试集；

(3)构建含有基于像素的模糊分类结构的10层结构的卷积神经网络；

(4)训练卷积神经网络：

将训练集输入到卷积神经网络中进行训练，得到训练好的卷积神经网络；

(5)模糊分类：

将测试集输入到训练好的卷积神经网络中，得到卷积神经网络输出的模糊分类结果；

(6)将卷积神经网络输出结果进行归一化处理，得到输入样本对应于每类地物的解混结果的丰度值。

本发明与现有技术相比具有如下优点：

第一，本发明由于引入基于像素的模糊分类结构的卷积神经网络模型，克服了现有技术在高光谱图像解混过程中，解混精度低，解混模型较为复杂且公式较多，需要大量计算才能得到解混结果，效率低耗时长的问题，使得本发明具有高光谱图像解混精度高、模型简单、计算量低、易于实现的优点。

第二，本发明由于引入卷积神经网络进行特征提取，克服了现有技术在高光谱图像解混过程中高光谱数据维度高，数据量大的问题，使得本发明具有降低高光谱数据冗余度，并且能够提取出具有深度结构特征的优点。

附图说明

图1是本发明的流程图；

图2是本发明仿真采用的jasper ridge图像；

图3是本发明与现有解混方法对jasper ridge图像的解混之后各地物分布图。

具体实施方式

下面结合附图对本发明作进一步的详细描述。

参照图1，对本发明的具体步骤作进一步的详细描述。

步骤1，获取数据矩阵。

利用成像光谱仪对目标区域成像，获得包含高光谱图像像素的全部波段以及像素对应的真实地物丰度值高光谱图像，将图像存储为数据矩阵。

步骤2，对数据矩阵进行预处理。

用ENVI软件对数据矩阵进行大气校正，去除数据矩阵中受大气以及水蒸气影响的损坏波段数据，得到校正后的数据矩阵。

将校正后的数据矩阵按照1:3的比例划分为训练集和测试集。

步骤3，构建含有基于像素的模糊分类结构的10层结构的卷积神经网络。

所述的含有基于像素的模糊分类结构的10层结构的卷积神经网络是，从左到右依次为卷积层C1，降采样层S2，卷积层C3，降采样层S4，卷积层C5，降采样层S6，卷积层C7，降采样层S8，全连接层F9，全连接层F10。

所述的构建含有基于像素的模糊分类结构的10层结构的卷积神经网络具体步骤如下：

第1步，将训练集输入到卷积神经网络的卷积层C1中，用3个卷积核，分别对训练集进行块大小为1×5像素和步长为1像素的卷积操作，得到含有3张特征图的卷积神经网络的第1层；

第2步，将卷积层C1输出的3张特征图输入到降采样层S2中，对每个特征图进行最大降采样操作，池化块大小为2×2像素，步长为1像素，得到含有3张分辨率降低一半的特征图的卷积神经网络的第2层；

第3步，将降采样层输出的3张特征图输入到卷积层C3中，用6个卷积核，分别对特征图进行块大小为像素和步长为1像素的卷积操作，得到含有6张特征图的卷积神经网络的第3层；

第4步，将卷积层C3输出的6张特征图输入到降采样层S4中，对每个特征图进行最大降采样操作，池化块大小为2×2像素，步长为1像素，得到含有6张分辨率降低一半的特征图的卷积神经网络的第4层；

第5步，将降采样层输出的6张特征图输入到卷积层C5中，用12个卷积核，分别对特征图进行块大小为1×5像素和步长为1像素的卷积操作，得到含有12张特征图的卷积神经网络的第5层；

第6步，将卷积层C5输出的12张特征图输入到降采样层S6中，对每个特征图进行最大降采样操作，池化块大小为2×2像素，步长为1像素，得到含有12张分辨率降低一半的特征图的卷积神经网络的第6层；

第7步，将降采样层输出的12张特征图输入到卷积层C7中，用24个卷积核，分别对特征图进行块大小为1×4像素和步长为1像素的卷积操作，得到含有24张特征图的卷积神经网络的第7层；

第8步，将卷积层C7输出的24张特征图输入到降采样层S8中，对每个特征图进行最大降采样操作，池化块大小为2×2像素，步长为1像素，得到24张分辨率降低一半的特征图的卷积神经网络的第8层；

第9步，将降采样层S8输出的24张特征图输入到全连接层F9中，利用下式的激活函数，对每个特征图中每一个像素点进行激活：

f(x'_ij)＝max(0,x_ij)

其中，f(·)表示激活函数，x_i'_j表示激活后第i个特征图的第j个像素点值，max表示取最大值操作，x_ij表示激活前第i个特征图第j个像素点的值；

第10步，将卷积神经网络全连接层F9激活后的特征图以列的顺序排列成一维向量，得到输出为一维向量的卷积神经网络的第9层；

第11步，将卷积神经网络全连接层F9输出的特征向量输入全连接层F10，输出一维特征向量；

第12步，将卷积神经网络全连接层F10输出的一维特征向量，按照下式的激活函数，对特征向量的每一个元素进行激活：

其中，S(·)表示激活函数，z_n表示特征向量激活后的第n个元素，g_n表示特征向量激活前的第n个元素，e表示一个无限不循环的自然常数，取值为2.7182，得到输出为激活后一维向量的卷积神经网络的第10层；

第13步，将上述10层网络依次从左到右连接，得到含有基于像素的模糊分类结构的10层结构的卷积神经网络。

步骤4，训练卷积神经网络。

将训练集输入到卷积神经网络中进行训练，得到训练好的卷积神经网络。

所述的训练卷积神经网络的具体步骤如下：

第1步，向前传播阶段，将训练集输入到卷积神经网络中得到卷积神经网络的输出特征向量，按照下式，计算卷积神经网络的输出特征向量与真实地物丰度值的误差总和：

其中，H(w)表示卷积神经网络的输出特征向量与真实地物丰度值的误差总和，∑表示求和操作，p表示输入样本的总数，y'_p表示第p个输入样本的真实地物丰度值，log表示以10为底的对数操作，y_p表示第p个输入样本的卷积神经网络输出特征向量；

第2步，向后传播阶段，将计算得到的卷积神经网络实际输出与真实地物丰度值的误差总和，按极小化误差的方法反向传播调整卷积神经网络的参数；

第3步，重复第1步和第2步的操作，直到卷积神经网络的输出特征向量与训练集中的真实地物丰度值的误差总和H(w)≤0.001为止，得到训练好的卷积神经网络。

步骤5，模糊分类。

将测试集输入到训练好的卷积神经网络中，得到卷积神经网络输出的模糊分类结果。

步骤6，将卷积神经网络输出结果进行归一化处理，得到输入样本对应于每类地物的解混结果的丰度值。

所述归一化处理是指，按照下式，对全连接层F10的每个输出值进行归一化处理，得到输入样本对应于每类地物的丰度值：

其中，a_q表示输入样本对应的第q类地物的丰度值，o_r表示全连接层F10的第r个输出值，∑表示求和操作，M表示全连接层F10的输出值的总数量，o_k表示全连接层F10的第k个输出值。

下面结合仿真实验对本发明的效果做进一步的描述。

1.仿真条件:

本发明的仿真是在CPU为Intel Core i7、主频2.00GHz，内存为8G的WINDOWS 10系统上用MATLAB R2014b以及spyder软件上进行的。

2.仿真内容及结果分析：

使用本发明与现有技术的两种方法(线性解混算法缩写为LSU以及自联想神经网络解混算法缩写为AANNs)对高光谱图像Jasper Ridge进行解混。

本发明所用的仿真实验数据为利用成像光谱仪对目标区域Jasper Ridge成像得到高光谱图像并转化成数据矩阵中的数据，该高光谱图像包含了100×100个像素点，每个像素包含224个波段，波长范围为0.38到2.5微米。该目标区域主要由水、树木、土地和道路四种地物成分组成。

表1对Jasper Ridge数据集定量评估以及丰度值统计表

对本发明与现有技术线性解混算法LSU及自联想神经网络解混算法AANNs在相同的实验设置和实验环境下进行仿真，得到Jasper Ridge数据集定量评估以及丰度值对比如表1所示。

从表1可见，对于Jasper Ridge数据集中的每一个地物，本发明的均方根误差相比于LSU以及AANNs都降低了一半以上。LSU得到的四种地物的均方根误差总和为0.6354，AANNs得到的四种地物的均方根误差总和为0.2881，本发明得到的四种地物的均方根误差总和为0.1261，可见本发明相比于LSU误差降低了80％，相比于AANNs误差降低了56％。

图3为本发明与现有技术LSU及AANNs分别得到的地物水、树木、土地、道路的分布图以及四种地物的真实分布对比图。其中，图(a)、图(e)、图(i)、图(m)分别是地物的水、树木、土地、道路的真实分布图，图(b)、图(f)、图(j)、图(n)分别是采用LSU方法仿真得到的地物的水、树木、土地、道路的分布图，图(c)、图(g)、图(k)、图(o)分别是采用AANNs方法仿真得到的地物的水、树木、土地、道路的分布图，图(d)、图(h)、图(r)、图(p)分别是采用本发明方法仿真得到的地物的水、树木、土地、道路的分布图。对比本发明与现有技术LSU及AANNs分别得到地物的水的分布图可见本发明的结果相比于LSU及AANNs方法更接近水的真实分布图。对比本发明与现有技术LSU及AANNs分别得到地物的树木的分布图可见本发明的结果相比于LSU及AANNs方法更接近树木的真实分布图。对比本发明与现有技术LSU及AANNs分别得到地物的土地的分布图可见本发明的结果相比于LSU及AANNs方法更接近土地的真实分布图。对比本发明与现有技术LSU及AANNs分别得到地物的水的分布图可见本发明的结果相比于LSU及AANNs方法更接近道路的真实分布图。由此说明，本发明相比于现有技术LSU及AANNs能够大幅度提高解混精度。

Claims (5)

1.一种基于卷积神经网络的高光谱图像解混方法，其特征在于，包括如下步骤：

(1)获取数据矩阵：

利用成像光谱仪对目标区域成像，获得包含高光谱图像像素的全部波段以及像素对应的真实地物丰度值高光谱图像，将图像存储为数据矩阵；

(2)对数据矩阵进行预处理：

(2a)用ENVI软件对数据矩阵进行大气校正，去除数据矩阵中受大气以及水蒸气影响的损坏波段数据，得到校正后的数据矩阵；

(2b)将校正后的数据矩阵按照1:3的比例划分为训练集和测试集；

(3)构建含有基于像素模糊分类的10层结构的卷积神经网络；

(4)训练卷积神经网络：

将训练集输入到卷积神经网络中进行训练，得到训练好的卷积神经网络；

(5)模糊分类：

将测试集输入到训练好的卷积神经网络中，得到卷积神经网络输出的模糊分类结果；

(6)将卷积神经网络输出结果进行归一化处理，得到输入样本对应于每类地物的解混结果的丰度值。

2.根据权利要求1所述的基于卷积神经网络的高光谱图像解混方法，其特征在于：步骤(3)中所述的含有基于像素的模糊分类结构的10层结构的卷积神经网络是，从左到右依次为卷积层C1，降采样层S2，卷积层C3，降采样层S4，卷积层C5，降采样层S6，卷积层C7，降采样层S8，全连接层F9，全连接层F10。

3.根据权利要求1所述的基于卷积神经网络的高光谱图像解混方法，其特征在于：步骤(3)中所述的构建含有基于像素的模糊分类结构的10层结构的卷积神经网络的具体步骤如下：

第1步，将训练集输入到卷积神经网络的卷积层C1中，用3个卷积核，分别对训练集进行块大小为1×5像素和步长为1像素的卷积操作，得到含有3张特征图的卷积神经网络的第1层；

第2步，将卷积层C1输出的3张特征图输入到降采样层S2中，对每个特征图进行最大降采样操作，池化块大小为2×2像素，步长为1像素，得到含有3张分辨率降低一半的特征图的卷积神经网络的第2层；

第3步，将降采样层输出的3张特征图输入到卷积层C3中，用6个卷积核，分别对特征图进行块大小为1×4像素和步长为1像素的卷积操作，得到含有6张特征图的卷积神经网络的第3层；

第4步，将卷积层C3输出的6张特征图输入到降采样层S4中，对每个特征图进行最大降采样操作，池化块大小为2×2像素，步长为1像素，得到含有6张分辨率降低一半的特征图的卷积神经网络的第4层；

第5步，将降采样层输出的6张特征图输入到卷积层C5中，用12个卷积核，分别对特征图进行块大小为1×5像素和步长为1像素的卷积操作，得到含有12张特征图的卷积神经网络的第5层；

第6步，将卷积层C5输出的12张特征图输入到降采样层S6中，对每个特征图进行最大降采样操作，池化块大小为2×2像素，步长为1像素，得到含有12张分辨率降低一半的特征图的卷积神经网络的第6层；

第7步，将降采样层输出的12张特征图输入到卷积层C7中，用24个卷积核，分别对特征图进行块大小为1×4像素和步长为1像素的卷积操作，得到含有24张特征图的卷积神经网络的第7层；

第8步，将卷积层C7输出的24张特征图输入到降采样层S8中，对每个特征图进行最大降采样操作，池化块大小为2×2像素，步长为1像素，得到24张分辨率降低一半的特征图的卷积神经网络的第8层；

第9步，将降采样层S8输出的24张特征图输入到全连接层F9中，利用下式的激活函数，对每个特征图中每一个像素点进行激活：

f(x'_ij)＝max(0,x_ij)

其中，f(·)表示激活函数，x′_ij表示激活后第i个特征图的第j个像素点值，max表示取最大值操作，x_ij表示激活前第i个特征图第j个像素点的值；

第10步，将卷积神经网络全连接层F9激活后的特征图以列的顺序排列成一维向量，得到输出为一维向量的卷积神经网络的第9层；

第11步，将卷积神经网络全连接层F9输出的特征向量输入全连接层F10，输出一维特征向量；

第12步，将卷积神经网络全连接层F10输出的一维特征向量，按照下式的激活函数，对特征向量的每一个元素进行激活：

<mrow> <mi>S</mi> <mrow> <mo>(</mo> <msub> <mi>z</mi> <mi>n</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mn>1</mn> <mo>+</mo> <msup> <mi>e</mi> <mrow> <mo>-</mo> <msub> <mi>g</mi> <mi>n</mi> </msub> </mrow> </msup> </mrow> </mfrac> </mrow>

其中，S(·)表示激活函数，z_n表示特征向量激活后的第n个元素，g_n表示特征向量激活前的第n个元素，e表示一个无限不循环的自然常数，取值为2.7182，得到输出为激活后一维向量的卷积神经网络的第10层；

第13步，将上述10层网络依次从左到右连接，得到含有基于像素的模糊分类结构的10层结构的卷积神经网络。

4.根据权利要求1所述的基于卷积神经网络的高光谱图像解混方法，其特征在于：步骤(4)所述的训练卷积神经网络的具体步骤如下：

第1步，向前传播阶段，将训练集输入到卷积神经网络中得到卷积神经网络的输出特征向量，按照下式，计算卷积神经网络的输出特征向量与真实地物丰度值的误差总和：

<mrow> <mi>H</mi> <mrow> <mo>(</mo> <mi>w</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>-</mo> <munder> <mo>&amp;Sigma;</mo> <mi>p</mi> </munder> <msubsup> <mi>y</mi> <mi>p</mi> <mo>&amp;prime;</mo> </msubsup> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mrow> <mo>(</mo> <msub> <mi>y</mi> <mi>p</mi> </msub> <mo>)</mo> </mrow> </mrow>

其中，H(w)表示卷积神经网络的输出特征向量与真实地物丰度值的误差总和，∑表示求和操作，p表示输入样本的总数，y'_p表示第p个输入样本的真实地物丰度值，log表示以10为底的对数操作，y_p表示第p个输入样本的卷积神经网络输出特征向量；

第2步，向后传播阶段，将计算得到的卷积神经网络实际输出与真实地物丰度值的误差总和，按极小化误差的方法反向传播调整卷积神经网络的参数；

第3步，重复第1步和第2步的操作，直到卷积神经网络的输出特征向量与训练集中的真实地物丰度值的误差总和H(w)≤0.001为止，得到训练好的卷积神经网络。

5.根据权利要求1所述的基于卷积神经网络的高光谱图像解混方法，其特征在于：步骤(6)所述归一化处理是指，按照下式，对全连接层F10的每个输出值进行归一化处理，得到输入样本对应于每类地物的丰度值：

<mrow> <msub> <mi>a</mi> <mi>q</mi> </msub> <mo>=</mo> <mfrac> <msub> <mi>o</mi> <mi>r</mi> </msub> <mrow> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>M</mi> </msubsup> <msub> <mi>o</mi> <mi>k</mi> </msub> </mrow> </mfrac> </mrow>

其中，a_q表示输入样本对应的第q类地物的丰度值，o_r表示全连接层F10的第r个输出值，∑表示求和操作，M表示全连接层F10的输出值的总数量，o_k表示全连接层F10的第k个输出值。