CN105975912B - 基于神经网络的高光谱图像非线性解混方法 - Google Patents

Abstract

本发明属于图像处理技术领域，为提供基于神经网络的高光谱图像非线性解混方法，能有效完成相应的提取端元并获得端元丰度和非线性系数的工作，使解混效果得到进一步的提高。本发明：基于神经网络的高光谱图像非线性解混方法，包括如下步骤：(1)：输入高光谱图像数据；(2)：随机产生足够数量的训练样本和测试样本；(3)：利用训练好的多层感知器神经网络提取出高光谱图像中单个像素点的丰度和非线性系数；(4)：使获得的丰度满足对应的约束条件；(5)：重复对图像内所有像素点进行解混后停止计算；否则，返回步骤(3)；(6)：通过计算重构误差和光谱角距离来评价该发明的算法性能。本发明主要应用于图像处理。

Description

基于神经网络的高光谱图像非线性解混方法

技术领域

本发明属于图像处理技术领域,涉及基于高光谱图像解混方法,具体是一种基于神经网络的高光谱图像解混方法。

背景技术

随着科学技术的发展，遥感对地观测技术日益成熟，已经逐渐成为获取空间地理信息的重要手段之一。但是由于高光谱成像仪空间分辨率的限制以及自然界地物的复杂性，获得的遥感图像的某些像素可能是几种不同物质光谱的混合，即混合像元。如何有效地实现混合像元分解，已经成为遥感研究的一个重要方向。混合像元的精确分解对于高精度地物分类以及地面目标检测和识别方面有重要的应用价值，使遥感应用由像元级到达亚像元级。

光谱解混首先需建立光谱的混合模型。根据物质的混合和物理分布的空间尺度大小，光谱混合可以分为线性混合和非线性混合两种模式。

线性光谱混合模型假设一个光子只看到一种物质，像元的光谱是各个端元的线性组合。反之，当地物分布尺度较小时，光子将与多种物质发生作用，导致非线性混合。线性光谱混合模型具有建模简单、物理含义明确的优点，是目前使用最广泛的混合像元分解模型。但它适用于本质上属于或者基本属于线性混合的地物以及在大尺度上可以认为是线性混合的地物，对于一些微观尺度上地物的精细光谱分析或一些小概率目标的检测来说，需要非线性混合模型来解释。

如果假设地物是非线性混合，则图像中每个像元矢量可以用式(1)描述：

y＝f(M,α)+n (1)

其中：M＝[m₁,…,m_p]为该像元点包含的p个端元所对应的光谱向量，α＝[α₁,…,α_p]^T为每个端元的在像元点y中所占的丰度，n＝[n₁,n₂,…,n_L]^T是附加的噪声项，f(M,α)是端元矩阵M和丰度α的未知的非线性函数。

其中较为广泛应用的非线性模型有双线性光谱混合模型，其在线性模型的基础上做了改进。由于发现3种及以上端元之间的多次散射对应的丰度通常非常小，该模型仅考虑了两种物质之间的散射而忽略了3种及以上端元之间的散射，将两种物质之间的乘积项加入线性模型中。

高光谱图像的非线性光谱分解通常包括两个步骤：端元提取和非线性光谱解混。端元提取首先确定高光谱图像中包含的端元数目，然后找出每种端元的光谱曲线。非线性解混则是根据不同的非线性解混方法对像元求出每个端元所占的百分比。

较为广泛应用的双线性模型有Nascimento双线性模型(Nascimento’s Model,NM)、Fan双线性模型(Fan’s Model,FM)和广义的双线性模型(Generalized BilinearModel,GBM)。其中，NM假设观测到的混合像元y为

其中：α_r是端元丰度，m_r是端元光谱向量，m_i×m_j指的是第i个光谱向量和第j个光谱向量逐项相乘：

式(2)中的参数β_i，j指的是第i个端元m_i和第j个端元m_j乘积项的幅度。未知参数(α，β_1,2，…,β_R-1,R)需要满足如下约束：

α_r≥0,β_i,j≥0 (4)

NM将两种端元光谱的乘积项m_i×m_j作为一个新的端元，丰度为β_i,j。因此NM可用线性模型的求解方法来做，例如全约束的最小二乘法或贝叶斯算法。

与NM模型相似，FM也将端元光谱的交叉乘积项m_i×m_j作为附加光谱加入线性光谱混合模型。但是FM假设这些交叉项的幅度与包含其中端元所占的面积有关，将观测到的混合像元光谱可写为式(6)，式(6)需满足式(7)、(8)中的约束条件。该模型可用扩展的泰勒链和最小二乘法求解。

0≤α_r≤1 (7)

与NM和FM模型相似，GBM也将端元光谱的交叉乘积项m_i×m_j作为附加光谱加入线性光谱混合模型，其幅度为γ_i,jα_iα_j。该模型认为，两个端元交叉项的乘积与其中包含端元的丰度乘积有关。但是由于光子经过两种端元折射后到达传感器，该光子的传输路径比只看到一种端元的光子传输路径长，中间能量损失更大，需要乘上系数γ_i,j∈(0,1)。因此，观测到的混合像元光谱可以用式(9)表示：

GBM需要满足的约束条件如式(10)所示：

通过增加因子γ_i,j，GBM比NM和FM更加灵活。如果令γ＝0，则GBM将变成线性混合模型；而如果令γ＝1，GBM将变成FM。

双线性混合模型作为非线性混合模型的一种被广泛研究，其利用特征光谱的Hadamard乘积描述视场中光子之间的散射，但双线混合模型仅考虑了成对端元之间的散射，而端元之间的高阶非线性映射和多层散射并没有被量化进模型。

一些学者提出了基于不同双线性模型的梯度算法，但其有易受初始值影响而陷入局部收敛且只适用于单一模型的缺点。

多层感知器(Multi-layer perceptron,MLP)神经网络是一种广泛应用的神经网络结构，其在分类、模式识别、生产预测和流程建模等方面有较好的表现。感知器神经网络由一系列的独立神经元构成，前层的神经元相应地连接到下一层，前层的输出可作为后层的输入。一般来说，输入层神经元的个数等于输入向量的维数，神经网络输出层中神经元的个数等于要分类的个数。需要注意的是如何分配隐含层中神经元的个数和每层隐含层中神经元的数目。神经网络的输出既可以为二进制的，也可以为连续的值。感知器神经网络的使用包括两个步骤：训练和分类。感知器神经网络通常是由后向传输算法(BackPropagation,BP)有监督的训练得到，其为基于误差的学习过程，并将训练数据分为两部分，第一部分用于训练MLP神经网络，第二部分作为验证数据来指导神经网络的训练，这对于获得更加适应多变环境的网络有重要意义，能有效避免过拟合现象。对于训练神经网络，现在还没有一种明确的方法，这意味着使用者必须训练多次以找到较好的参数设置。在训练完神经网络后，将待求量输入神经网络可在输出层获得相应的预测量。

发明内容

为克服现有技术的不足，本发明旨在提供基于神经网络的高光谱图像非线性解混方法，能有效完成相应的提取端元并获得端元丰度和非线性系数的工作，解混效果得到进一步的提高。本发明采用的技术方案是，基于神经网络的高光谱图像非线性解混方法，包括如下步骤：

步骤(1)：输入高光谱图像数据，采用提取真实高光谱数据端元算法提取真实高光谱图像的端元；

步骤(2)：按照广义的双线性模型GBM随机产生足够数量的训练样本和测试样本，在满足丰度非负，同时丰度和为一约束条件下随机设定像素点的丰度和非线性系数的条件下，产生固定数量的样本；训练多层感知器(Multi-layer perceptron,MLP)神经网络，并测试其预估性能；

步骤(3)：利用训练好的多层感知器神经网络提取出高光谱图像中单个像素点的丰度和非线性系数；

步骤(4)：在神经网络提取单个像素点的丰度后，对获得的丰度进行丰度非负和丰度和为一映射，使获得的丰度满足对应的约束条件。

步骤(5)：重复对图像内所有像素点进行解混后停止计算；否则，返回步骤(3)，对下一像素继续解混；

步骤(6)：由上步获得的丰度和非线性系数重组获得估计的单个像素点，通过计算重构误差和光谱角距离来评价该发明的算法性能。

所述步骤(1)中的提取真实高光谱数据端元算法为顶点成分分析算法VCA(VertexComponent Analysis)或正交子空间投影算法OSP(Orthogonal SubspaceProjection)中的一种。

所述步骤(4)中的丰度非负和丰度和为一约束映射为MLP神经网络预测获得的丰度可能并不满足丰度内在的约束，此时，对所获得丰度进行如式(11)(12)的映射：

α′_ij＝abs(α_ij)(j≤D) (11)

其中，α_ij为神经网络估计获得的高光谱图像丰度，α′_ij为经过丰度非负性约束映射后的高光谱图像丰度、α″_ij为经过丰度和为一约束映射后的高光谱图像丰度，若单个像素点的丰度矢量α和非线性参数β′估计正确，则高光谱图像中某一像素点真实光谱数据y_l和重构像素点重构数据将非常接近，因此构造解混的目标函数

y_l和分别为真实光谱数据和重构数据。

对像素点进行解混归结为针对目标函数的最优化问题，利用神经网络对目标函数进行优化求解，从而得到单个像素点的丰度矢量a和非线性系数β′，根据广义的双线性模型将目标函数转化为最优化问题：

其中,m_i、m_j分别为端元光谱两两组合的端元光谱，其下标i和j的取值范围分别是(1,R-1)、(i+1,R)，其中R为高光谱图像中端元的数目，其乘积代表GBM非线性模型中非线性端元混合作用的效果，前者为高光谱图像中的线性部分，y_l为真实观测到的高光谱图像矩阵，通过设定GBM模型中的非线性系数γ_i,j和端元丰度α_i、α_j，可适宜地模拟真实观测到的高光谱图像，从而实现有效解混的目标。

采用重构误差(Reconstruction Error,RE)和光谱角距离(Spectral AngleMapper,SAM)来评价本发明的重构性能步骤是：

式中，P为像素总数，N为波段数，y_l和分别为真实光谱数据和重构数据。

式中，

本发明的特点及有益效果是：

光谱解混作为高光谱图像的一种预处理手段，不仅是实现地物精确分类和识别的重要前提，而且是遥感技术向定量化深入发展的重要条件。因此，如何有效地解译混合像元是遥感应用的关键。为了提高解混精度，本发明在广义的双线性模型的基础上，提出一种基于MLP估计模型丰度和非线性系数的解混算法。利用神经网络能有效估计待求参数，对遥感图像进行非线性解混，能够提高混合像元解混精度，特别是较为符合广义双线性模型分布的高光谱区域，性能有较大的提升。这对于处理实际复杂高光谱图像有重要意义，并为高光谱图像分析技术进一步优化发展提供了参考，有力地支持了高光谱混合像元非线性解混在民用和军事领域的应用。

附图说明：

图1为本发明高光谱图像非线性解混方法的流程图；

图2为本发明真实数据实验中的从高光谱原始图像中选取的一块区域作为实验对象；

图3为该区域中三种端元的光谱曲线；

图4为使用基于神经网络的非线性解混算法获得的丰度估计图。

图中，(a)植被、(b)水、(c)土壤。

具体实施方式

针对目前国内外研究现状，本发明提出了一种高光谱图像非线性解混框架，能利用神经网络(本发明中采用MLP神经网络)，将解混问题转化为神经网络预测解混待求参数的过程。

本发明结合神经网络估计出高光谱图像像素点的丰度和非线性系数，在给定的高光谱图像解混效果评价标准——重构误差和光谱角距离下，该发明能有效在完成相应的提取端元并获得端元丰度和非线性系数的工作，解混效果得到进一步的提高，具有较好的理论和使用价值，具有一定的推广意义。

本发明的目的就是为了解决上述问题，提供一种基于神经网络的高光谱图像非线性解混方法，相较当今主流解混算法解混它具有更好的性能，能有效获取混合像元中丰度和非线性系数的优点。

为了实现上述目的，本发明采用如下技术方案：

一种基于神经网络的高光谱图像非线性解混方法，包括如下步骤：

步骤(1)：输入高光谱图像数据，VCA算法提取真实高光谱图像的端元。

步骤(2)：按照GBM模型随机产生足够数量的训练样本和测试样本。在满足丰度非负和丰度和为一约束条件下随机设定像素点的丰度和非线性系数，其可产生任意数量的样本。训练多层感知器MLP神经网络，并测试其性能。

步骤(3)：利用训练好的MLP神经网络提取出高光谱图像单个像素点的丰度和非线性系数。

步骤(4)：在获得单个像素点的丰度后，有必要对丰度进行丰度非负和丰度和为一映射，使获得的丰度满足对应的约束条件。

步骤(5)：重复对图像内所有像素点进行解混后停止计算；否则，返回步骤(3)，对下一像素继续解混。

步骤(6)：由上步获得的丰度和非线性系数重组获得估计的单个像素点。通过计算重构误差和光谱角距离来评价该发明的算法性能。

所述步骤(1)中的VCA算法为主流提取真实高光谱数据端元的算法，其也由其他基于几何理论的端元提取算法代替，如OSP等。

所述步骤(4)中的丰度非负和丰度和为一约束映射为MLP神经网络预测获得的丰度可能并不满足丰度内在的约束，对其进行丰度非负和丰度和为一约束有助于获得更加准确的结果，可对所获得丰度进行如式(11)(12)的映射：

α′_ij＝abs(α_ij)(j≤D) (11)

其中，α_ij为神经网络估计获得的高光谱图像丰度，α′_ij为经过丰度非负性约束映射后的高光谱图像丰度、α″_ij为经过丰度和为一约束映射后的高光谱图像丰度。若丰度α和非线性参数β′估计正确，则高光谱图像中某一像素点y_l和重构像素点将非常接近，因此可构造解混的目标函数

本发明将高光谱图像非线性解混问题归结为针对目标函数的最优化问题，并利用神经网络对目标函数进行优化求解，从而得到单个像素点的丰度矢量a和非线性系数β′。根据广义的双线性模型可以将目标函数转化为最优化问题：

m_i、m_j分别为端元光谱两两组合的端元光谱，其下标i和j的取值范围分别是(1,R-1)、(i+1,R)，其中R为高光谱图像中端元的数目，其乘积代表GBM非线性模型中非线性端元混合作用的效果，前者为高光谱图像中的线性部分，y_l为真实观测到的高光谱图像矩阵，通过设定GBM模型中的非线性系数γ_i,j和端元丰度α_i、α_j，可适宜地模拟真实观测到的高光谱图像，从而实现有效解混的目标。

下面结合附图与实施例对本发明作进一步说明。

随机合成样本来训练MLP，训练好的MLP估计真实数据的每个像素点中的丰度和非线性系数。在地物真实信息缺失的情况下在丰度非负和丰度和为一约束下随机产生丰度值和非线性系数，以此合成训练样本和验证样本，且样本的端元是由VCA获取。VCA也可用其他几何端元提取算法代替。MLP估计高光谱图像中每个像素点的丰度和非线性系数，对真实数据中的每个像素点运行解混算法。

具体实施例：

本发明选取1997年AVRIS传感器拍摄美国Nevada州的Moffett地区高光谱图像作为测试对象，由于原始图像太大，运算复杂度较高，选取50×50的子图像块用于实验。其原始含有189个波段，波段范围为401～889nm，如图2所示。

从所用高光谱数据中，得到的水(Water)、土壤(Soil)和植被(Vegetation)三种主要地表覆盖物的光谱曲线，如图3所示。VCA提取的端元光谱曲线基本和真实端元曲线一致，可作为真实值使用。

本发明采用真实数据实验验证算法性能，实验采用重构误差(ReconstructionError,RE)和光谱角距离(Spectral Angle Mapper,SAM)来评价本发明的重构性能。

式中，P为像素总数，N为波段数，y_l和分别为真实光谱数据和重构数据。

式中，

由图4可知：随着训练样本的增加，MLP能更加准确估计非线性阶数，本发明算法解混获得的RE更小，但当训练样本继续增多时对性能的提升并不大。训练样本数量是影响数据重构性能的重要影响因素，但样本数目过多也易于导致过拟合，从而导致性能下降。表1比较了本发明算法和其他主流算法的性能参数。在本次比较中，神经网络的训练样本数目为2000，验证样本数目为1000，采用的学习方法为梯度下降动量学习函数(learngdm)，训练方法为贝叶斯正则化算法(trainbr)，隐含层数为2层，每层隐含层中神经元的个数为5和9，在相应的解混性能参数比较如表1所示。

图4(a)、图4(b)、图4(c)分别为使用本发明算法解混获得的植被(Vegetation)、水(Water)、土壤(Soil)的相对丰度图。其中，0为黑色，1为白色，颜色越白，说明该块区域中该种物质的相对含量越多。例如，图4(a)为植被(Vegetation)在该图像中的相对丰度图，颜色越白的区域说明水分的相对含量越多。

表1四种算法平均RE和SAM的比较

当使用不同数目的训练样本训练神经网络时，随着训练样本数目的增加，使得神经网络估计高光谱图像像素点的非线性系数和丰度的能力变强，但随着样本数目的逐渐增大，神经网络训练容易陷入过拟合，使得神经网络预估能力变差，造成高光谱图像非线性解混性能的下降。在表2中比较了使用不同数目训练样本训练得到的神经网络MLP非线性解混相同高光谱图像的性能参数。

表2不同数目训练样本训练神经网络解混得到的性能参数比较

由表2数据分析可知，随着样本数目的增加，神经网络预估像素点非线性系数和丰度的能力有较大的提升，但是，在到达神经网络训练过拟合的临界值点之后，神经网络解混高光谱图像的RE值保持不变，SAM值有所上升，神经网络非线性解混算法的性能下降。由此可知，本发明算法应在处理不同高光谱图像非线性解混问题时，有必要选择最优训练样本数目，这有助于更好地解混实际高光谱图像。

实验软硬件环境为MATLAB 2014a、2.80GHz Intel i5CPU和4GB内存。为定量衡量算法复杂度，表3给出了本发明测算MLP使用不同数目的样本训练所需的运行时间。MLP训练时间较长，但可采用MATLAB中提供的多核CPU并行计算算法可克服该缺点。四核CPU并行计算能减少原来四分之三的时间。后续将使用基于GPU(Graphics Processing Units)的并行计算来解决上述缺点。

表3使用不同数目的训练样本来训练神经网络的所用时间

为了提高解混精度，本发明在广义的双线性模型的基础上，提出一种基于MLP估计模型丰度和非线性系数的解混算法。在本发明中，将MLP神经网络设计为三层结构，分别为输入层、隐含层和输出层。在训练MLP神经网络时，对其参数进行设置，比如隐含层的层数、在每层隐含层中神经元的数目、学习方法、学习速率和训练的迭代次数等等。实验表明，利用神经网络能有效估计丰度和非线性系数，并对遥感图像进行非线性解混，能提高混合像元解混精度，特别是对于非线性映射和多层散射比较复杂的区域，性能有较大的提升。这对于处理实际复杂高光谱图像有重要意义。本发明后续工作将更多地测试在不同测试环境下本发明算法的效果，优化MLP估计非线性阶数的步骤，减少不必要训练样本的数量和基于GPU并行计算提高运算速度。

上述虽然结合附图对本发明的具体实施方式进行了描述，但非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (3)

1.一种基于神经网络的高光谱图像非线性解混方法，其特征是，步骤如下：

步骤(1)：输入高光谱图像数据，采用提取真实高光谱数据端元算法提取真实高光谱图像的端元；

步骤(2)：按照广义的双线性模型GBM随机产生足够数量的训练样本和测试样本，在满足丰度非负，同时丰度和为一约束条件下随机设定像素点的丰度和非线性系数的条件下，产生固定数量的样本；训练多层感知器(Multi-layer perceptron,MLP)神经网络，并测试其预估性能；

步骤(3)：利用训练好的多层感知器神经网络提取出高光谱图像中单个像素点的丰度和非线性系数；

步骤(4)：在神经网络提取单个像素点的丰度后，对获得的丰度进行丰度非负和丰度和为一映射，使获得的丰度满足对应的约束条件；

步骤(5)：重复对图像内所有像素点进行解混后停止计算；否则，返回步骤(3)，对下一像素继续解混；

步骤(6)：由上步获得的丰度和非线性系数重组获得估计的单个像素点，通过计算重构误差和光谱角距离来评价该方法的算法性能。

2.如权利要求1所述的基于神经网络的高光谱图像非线性解混方法，其特征是，所述步骤(1)中的提取真实高光谱数据端元算法为顶点成分分析算法VCA(VertexComponentAnalysis)或正交子空间投影算法OSP(Orthogonal Subspace Projection)中的一种。

3.如权利要求1所述的基于神经网络的高光谱图像非线性解混方法，其特征是，对像素点进行解混归结为针对目标函数的最优化问题，并利用神经网络对目标函数进行优化求解，从而得到单个像素点的丰度矢量a和非线性系数β′，根据广义的双线性模型将目标函数转化为最优化问题：

其中,m_i、m_j分别为端元光谱两两组合的端元光谱，其下标i和j的取值范围分别是(1,R-1)、(i+1,R)，其中R为高光谱图像中端元的数目，其乘积代表GBM非线性模型中非线性端元混合作用的效果，前者为高光谱图像中的线性部分，y_l为真实观测到的高光谱图像矩阵，通过设定GBM模型中的非线性系数γ_i,j和端元丰度α_i、α_j，可适宜地模拟真实观测到的高光谱图像，从而实现有效解混的目标；

采用重构误差(Reconstruction Error,RE)和光谱角距离(Spectral Angle Mapper,SAM)来评价重构性能步骤是：

式中，P为像素总数，N为波段数，y_l和分别为真实光谱数据和重构数据；

式中，