CN113836483A - 基于信息熵稀疏的深度非负矩阵解混方法和存储介质 - Google Patents

Abstract

本发明提供了一种基于信息熵稀疏的深度非负矩阵解混方法和存储介质，方法包括：对端元矩阵和丰度矩阵进行VCA‑FCLS初始化，并建立深度NMF解混模型；将初始化后的端元矩阵和初始化后的丰度矩阵作为第一目标函数的输入，并利用第一目标函数，基于乘性迭代规则对深度NMF解混模型预训练；利用梯度下降法迭代更新预训练后的端元矩阵和丰度矩阵；将更新后的端元矩阵和更新后的丰度矩阵作为第二目标函数的输入，并利用第二目标函数对预训练后的NMF解混模型迭代微调；再次迭代更新微调后的端元矩阵和丰度矩阵，并通过数据分析确定第二目标函数的最优参数；根据最优参数获得NMF解混模型的全局最优解。

Description

基于信息熵稀疏的深度非负矩阵解混方法和存储介质

技术领域

本发明涉及图像处理技术技术领域，具体涉及一种基于信息熵稀疏的深度非负矩阵解混方法和存储介质。

背景技术

高光谱解混技术是一项重要的图像处理技术，被广泛应用于农业、矿产勘探和环境监测等各领域。其中，非负矩阵分解(NMF)算法是研究的热门，但NMF算法有明显的非凸性，存在多个局部极小值。且大多数基于NMF的解混方法只考虑单层中的信息，而忽略了原始数据包含具有隐藏信息的分层特征的事实，对于复杂和高度混合的数据而言，这可能会导致解混性能不理想。

发明内容

本发明解决的一个主要问题是现有技术中对于复杂和高度混合的数据而言，基于NMF的解混方法解混性能不理想的问题。

根据本发明的一个方面，本发明提供一种基于信息熵稀疏的深度非负矩阵解混方法，包括：

对端元矩阵和丰度矩阵进行VCA-FCLS初始化，并建立深度NMF解混模型；

将初始化后的所述端元矩阵和初始化后的所述丰度矩阵作为第一目标函数的输入，并利用所述第一目标函数，基于乘性迭代规则对所述深度NMF解混模型预训练，所述第一目标函数为：

其中，A为光谱特征矩阵,S为丰度矩阵，X为具有B个波段和P个像元的高光谱数据集，S_ij代表第i种地物类型在第j个像元的丰度，i＝1,2,...,M，j＝1,2,...,P；λ是正则化参数；

利用梯度下降法迭代更新预训练后的所述端元矩阵和所述丰度矩阵；

将更新后的所述端元矩阵和更新后的所述丰度矩阵作为第二目标函数的输入，并利用所述第二目标函数对预训练后的所述NMF解混模型迭代微调，所述第二目标函数为：

其中，minf(A,S)表示重构误差，

l表示第l层，L表示最后一层，

代表第l层的重构的丰度矩阵，ψ_l-1＝A₁A₂…A_l-1，且对于ψ_l-1，当且仅当l＝1时，代表一个单位矩阵；

再次迭代更新微调后的所述端元矩阵和所述丰度矩阵，并通过数据分析确定所述第二目标函数的最优参数；

根据所述最优参数获得所述NMF解混模型的全局最优解。

进一步地，所述深度NMF解混模型的数学表达式为：

X≈A₁A₂…A_L-1A_LS_L。

进一步地，所述利用所述第二目标函数对预训练后的所述NMF解混模型迭代微调还包括：

对所述深度NMF结构的每个中间层结果均进行微调；

进一步地，所述基于乘性迭代规则对所述深度NMF解混模型预训练还包括：

重新定义高光谱数据集为第一表达式：

其中，δ为一常量，

为新的高光谱数据集，向量1是一个全为1的行向量；定义光谱特征矩阵为第二表达式：

为新的光谱特征矩阵。

进一步地，所述基于乘性迭代规则对所述深度NMF解混模型预训练还包括：

基于所述第一目标函数分别对所述光谱特征矩阵和所述丰度矩阵求偏导，

并利用梯度下降法对所述光谱特征矩阵和所述丰度矩阵进行迭代，得到所述光谱特征矩阵和所述丰度矩阵的乘性迭代规则。

进一步地，所述基于乘性迭代规则对所述深度NMF解混模型预训练还包括：

基于所述第二目标函数分别对第l层所述光谱特征矩阵和第l层所述丰度矩阵求偏导，利用梯度下降法进行迭代，得到所述深度NMF解混模型微调第l层分解结果的乘性迭代公式。

进一步地，所述利用所述第二目标函数对预训练后的所述NMF解混模型迭代微调还包括：

微调的迭代过程利用整个所述深度NMF解混模型的参数，并且以预训练得到的所述端元矩阵和所述丰度矩阵每层的结果为迭代的初始值。

根据本发明的另一个方面，还提供一种存储介质，所述存储介质为计算机可读存储介质，所述计算机可读存储介质上存储有如前任一所述的一种基于信息熵稀疏的深度非负矩阵解混方法。

本发明通过使用深度NMF模型代替传统的单层NMF模型，并进行信息熵稀疏，提出了一种基于信息熵稀疏的深度NMF算法(HDNMF)，能够更好的挖掘隐含层信息，充分考虑空间信息，通过模拟数据和真实Cuprite数据集进行验证，验证了该算法的有效性。

附图说明

本发明构成说明书的一部分附图描述了本发明的实施例，并且连同说明书一起用于解释本发明的原理。

图1为本发明实施例中深度NMF解混模型示意图。

图2为本发明实施例中DNMF算法流程图示意图。

图3为本发明实施例中模拟数据4种端元的光谱曲线示意图。

图4为本发明实施例中合成高光谱数据示意图。

图5为本发明实施例中模拟数据端元丰度对比图。

图6为本发明实施例中变化时SAD和RMSE值变化图。

图7为本发明实施例中HDNMF在不同层数下的SAD和RMSE。

图8为本发明实施例中真实数据中玉髓和榍石的丰度图像。

具体实施方式

下面将结合附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

实施例一，如图1所示，为本实施例中的深度NMF模型结构示意图，常用的光谱混合模型有线性混合模型和非线性混合模型两种，本发明实施例一使用的是线性混合模型，它具有清晰的物理特性，有较好的理论基础.假设像元的光谱曲线是多个端元光谱特征的线性组合，按照各个端元的丰度系数加权得到的.设

为具有B个波段和P个像元的高光谱数据集，则该数据集可以用线性混合模型表示为：

X＝AS+E (1)

其中，

代表所有地物类型的光谱特征矩阵，具有B个波段和M个端元，并且A＞0；S_ij代表第i种地物类型在第j个像元的丰度，为了让解混的结果具有物理意义，S中每一列的M个元素之和都为1；E代表传感器接收到的噪声干扰。

Lee和Seung根据噪声服从不同的概论分布提出了基于欧式距离和基于K-L散度的求解方法，

min f(A,S)＝||X-AS||_F s.t.A≥0,S≥0 (2)，

其中，端元矩阵A、丰度矩阵S的所有元素应同时满足非负约束(ANC)，并且在高光谱图像解混中，丰度矩阵S应额外满足列向量和为一约束(ASC)。

由于NMF算法具有明显的非凸性，存在多个局部极小值，需要进一步优化。目前，大多的NMF算法都是通过稀疏正则化来进行优化。在本算法中，为了使最终结果可以接近全局最优解，通过顶点成分分析(VCA)来初始化端元矩阵，用完全约束最小二乘法(FCLS)来初始化丰度矩阵，提高迭代的收敛速度。

利用信息熵来对丰度矩阵进行稀疏约束，同时借助深度学习的思想，将单层的NMF模型扩展到深度NMF模型。如图1所示，是深度NMF模型的框架图。从中可以看出，它的结构是由多个单层的NMF模型一层接着一层堆叠而成的。对于第l层，将前一层经过非负矩阵分解后的输出s_l-1作为当前NMF层的输入，分解得到A_l和s_l，以此类推，直到最后一层第L层。

那么，可以推导出深度NMF模型的数学表达式为：

X≈A₁A₂…A_L-1A_LS_L (3),

本实施例当中的深度NMF模型解混方法主要由两个阶段组成，分别是预训练阶段和微调阶段。

在预训练阶段，其目标函数(即第一目标函数)如下：

其中，min f(A,S)表示重构误差，A为光谱特征矩阵，S为丰度矩阵，X为具有B个波段和P个像元的高光谱数据集，S_ij代表第i种地物类型在第j个像元的丰度，i＝1,2,...,M，j＝1,2,...,P；λ是正则化参数。

由于预训练只能保证每个单层的NMF是收敛的，但是最后得到的解混结果是对整体进行的计算，这样可能会导致误差的累积，为了降低深度NMF结构的整体误差，还需要通过某种优化法则分别对每个中间层结果进行微调。

在微调阶段，将公式(3)中的||X-AS||重写为更详细的形式，如下：

为了方便理解和后续的求解，需要定义两个新的变量：

ψ_l-1＝A₁A₂…A_l-1 (6)

其中，

代表第l层的重构的丰度矩阵，ψ_l-1＝A₁A₂…A_l-1，且对于ψ_l-1，当且仅当l＝1时，代表一个单位矩阵；

因此，在微调阶段，目标函数如下(即第二目标函数)：

其中，

l表示第l层，L表示最后一层，

代表第l层的重构的丰度矩阵，ψ_l-1＝A₁A₂…A_l-1，且对于ψ_l-1，当且仅当l＝1时，代表一个单位矩阵。

在高光谱图像解混中，为了让丰度矩阵S满足ASC约束，需要重新定义数据集和光谱特征矩阵为：

其中δ控制和为一约束的影响，向量1是一个全为1的行向量，因此，可以得到A和S的乘性迭代规则。

在预训练阶段，第一目标函数分别对A，S求偏导得：

其中，S^T是矩阵S的转置，A^T是矩阵A的转置，*是指矩阵的元素对应相乘；选择合适的步长，利用梯度下降法进行迭代,得到A和S的乘性迭代规则如下:

A＝A*XS^T/(ASS^T+ε) (12)

式中利用小正数ε来使分数恒为正数，当迭代到一定次数，f(A，S)的值趋于稳定，其中

为新的光谱特征矩阵，

是

的转置。

在微调阶段，对微调阶段的目标函数(8)分别对A_l、S_l求偏导，选择合适的步长，例如:A←A-步长*对A的偏导，那么会使步长为A/ASST，这样相乘时抵消了A，A←A*XST/ASST；

利用梯度下降法对A_l、S_l进行迭代，推导得到深度NMF微调第l层分解结果的乘性迭代公式为：

其中，

是

的转置，A^T是矩阵A的转置，*是指矩阵的元素对应相乘。

从式子(15)可以看出，和预训练不一样的是：微调的迭代过程是以预训练得到的结果为初始值，并且用到了整个深度NMF模型的参数，当前层参数的更新不仅跟它之前的所有层相关，还与其之后的所有层相关，这就保证了每一次迭代更新后的分解结果都是基于整体误差推算出来的，降低了误差的累积。

该算法的整体流程如图2所示：

其中，在预训练和微调阶段的迭代次数选择为1000次，正则参数λ从有限集合{0.0001，0.0005，0.001，0.005，0.01，0.05，0.1，0.2}中选择。

实施例一的实验验证：

1.模拟数据

模拟数据由4种从美国地质调查局(USGS)数字光谱库中挑选的4种端元光谱线性混合而成，光谱值表示相应地物在0.4-2.5μm波长范围内的反射率，波段数均为B＝224，本文只选择了188个高信噪比的波段用于实验，图3展示了4种端元的光谱特征。

合成影像包含48×48个像元，每个像元包含188个波段。合成影像的丰度图像满足ANC以及ASC，其中第1行为纯像元，第2至4行分别为2种、3种、4种端元的混合，方块周围的背景像素也为相同的4种端元以不同的比例的混合，模拟数据的合成影像如图4所示：

2.真实数据

在本文中，使用的真实数据是1997年6月在美国内华达州拍摄的cuprite高光谱数据，平均有224个波段。在本文中截取了大小为143×123像素的遥感数据，选择了188个高信噪比的波段用于实验。对该图像进行MNF变换和PCA变换，确定该区域主要包含12种地物，即端元数M＝12。

3.实验性能指标

对于模拟数据的解混效果的评估，由于我们知道模拟数据所包含端元的光谱特征和丰度系数等先验信息，所以可以分别使用光谱角距离(SAD)和均方根误差(RMSE)来定量评估提取的端元和丰度的精度，具体定义如下：

(1)光谱角距离SAD：度量原始端元光谱特征A与其估计值

之间的差异，公式如下：

光谱角距离用来评价实验所得的端元光谱矩阵与参考值的近似度。由上述定义可知：SAD值越小，与参考结果越相似，实验结果越好。

(2)均方根误差RMSE：度量丰度真值S_ij与丰度估计值

之间的差异，公式如下：

均方根误差用来评估实验所得的丰度矩阵与参考值的近似度。由上述定义可知：RMSE值越小，与参考结果越相似，实验结果越好。

对于真实数据的解混效果的评估，一般通过定性的方法进行评估。目视评估解混结果的好坏，观察提取出来端元的丰度的物理意义是否明确，丰度构成是否存在明显偏差，以及观察解混得到的光谱特征曲线是否符合某种地物的特征。

实验结果与分析

1.模拟数据实验

本实验首先用合成数据集来验证HDNMF算法的有效性，并与CHNMF算法和L1/2-NMF算法进行比较。实验中的所有结果取重复20次的均值。

如图4所示，是合成数据的4种端元通过L1/2-NMF，CHNMF和HDNMF这三种算法解混出来的丰度图与参考丰度图的比较。端元丰度图中颜色的深浅分别表示该区域含相应端元的比例，即丰度值的大小，颜色越深表示所含端元比例越少(丰度值小)，深色表示不含该端元，亮色(浅色)表示此区域全部都是该种端元，不含其他端元。由图5可得，HDNMF算法的解混效果最好。

表1显示了这三种算法解混结果的SAD值和EMSE值的比较。从实验结果上看，HDNMF算法的两个评估指标均要优于L1/2-NMF算法和CHNMF算法。

表1三种NMF解混算法在模拟数据中的SAD值和RMSE值

2.参数的敏感性分析

本发明提出的HDNMF算法涉及到参数λ的变化，首先设定深度层数为3，参数λ从有限集合{0.0001，0.0005，0.001，0.005，0.01，0.05，0.1，0.2}中选择，随着λ的变化，SAD和RMSE的变化情况分别如图6中的图6a和图6b所示。由图6观察可得，当λ＝0.001时，各地物都有较好的解混效果。

3.深度层数的影响分析

深度学习层数是HDNMF算法的重要影响因素，本实验中，设定λ＝0.001，层数设置从1到5，各个层的SAD和RMSE值如图7所示。当层数为3时，RMSE和SAD的值都最小，解混效果最好，并且随着层数的增加，解混精度反而变差，这是因为随着学习层数的增加，累积了误差，导致了解混效果的降低。因此，在本文的实验中选取3层结构来进行实验。

4.真实数据实验

通过真实数据实验，进一步对比分析L1/2-NMF，CHNMF和HDNMF这三种算法的解混情况。从实验结果中选取了玉髓和榍石这两种比较典型的地物类型用来做解混算法的对比。

表2三种解混算法在真实数据中的SAD值

如图8所示，给出了L1/2-NMF、CHNMF、HDNMF三种算法提取的两种端元丰度图。对端元估计值和USGS参考光谱进行比较，结果如表3所示。可以看出，HDNMF算法与L1/2-NMF、CHNMF算法相比，HDNMF算法的解混效果最好。

以上所述仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则范围之内所作的任何修改、等同替换以及改进等，均应包含在本发明的保护范围之内。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

Claims (8)

1.一种基于信息熵稀疏的深度非负矩阵解混方法，其特征在于，包括：

对端元矩阵和丰度矩阵进行VCA-FCLS初始化，并建立深度NMF解混模型；

将初始化后的所述端元矩阵和初始化后的所述丰度矩阵作为第一目标函数的输入，并利用所述第一目标函数，基于乘性迭代规则对所述深度NMF解混模型预训练，所述第一目标函数为：

其中，minf(A,S)表示重构误差，F为矩阵的2范数，A为光谱特征矩阵，S为丰度矩阵，X为具有B个波段和P个像元的高光谱数据集，S_ij代表第i种地物类型在第j个像元的丰度，i＝1,2,...,M，j＝1,2,...,P；λ是正则化参数；

利用梯度下降法迭代更新预训练后的所述端元矩阵和所述丰度矩阵；

将更新后的所述端元矩阵和更新后的所述丰度矩阵作为第二目标函数的输入，并利用所述第二目标函数对预训练后的所述NMF解混模型迭代微调，所述第二目标函数为：

其中，

l表示第l层，L表示最后一层，

代表第l层的重构的丰度矩阵，ψ_l-1＝A₁A₂…A_l-1，且对于ψ_l-1，当且仅当l＝1时，代表一个单位矩阵；

再次迭代更新微调后的所述端元矩阵和所述丰度矩阵，并通过数据分析确定所述第二目标函数的最优参数；

根据所述最优参数获得所述深度NMF解混模型的全局最优解。

2.如权利要求1所述的一种基于信息熵稀疏的深度非负矩阵解混方法，其特征在于，所述深度NMF解混模型的数学表达式为：

X≈A₁A₂…A_L-1A_LS_L。

3.如权利要求1所述的一种基于信息熵稀疏的深度非负矩阵解混方法，其特征在于，所述利用所述第二目标函数对预训练后的所述NMF解混模型迭代微调还包括：

对所述深度NMF结构的每个中间层结果均进行微调。

4.如权利要求1所述的一种基于信息熵稀疏的深度非负矩阵解混方法，其特征在于，所述基于乘性迭代规则对所述深度NMF解混模型预训练还包括：

重新定义高光谱数据集为第一表达式：

其中，δ为一常量，

为新的高光谱数据集，向量1是一个全为1的行向量；

定义光谱特征矩阵为第二表达式：

为新的光谱特征矩阵。

5.如权利要求1所述的一种基于信息熵稀疏的深度非负矩阵解混方法，其特征在于，所述基于乘性迭代规则对所述深度NMF解混模型预训练还包括：

基于所述第一目标函数分别对所述光谱特征矩阵和所述丰度矩阵求偏导，并利用梯度下降法对所述光谱特征矩阵和所述丰度矩阵进行迭代，得到所述光谱特征矩阵和所述丰度矩阵的乘性迭代规则。

6.如权利要求1所述的一种基于信息熵稀疏的深度非负矩阵解混方法，其特征在于，所述基于乘性迭代规则对所述深度NMF解混模型预训练还包括：

基于所述第二目标函数分别对第l层所述光谱特征矩阵和第l层所述丰度矩阵求偏导，利用梯度下降法进行迭代，得到所述深度NMF解混模型微调第l层分解结果的乘性迭代公式。

7.如权利要求1所述的一种基于信息熵稀疏的深度非负矩阵解混方法，其特征在于，所述利用所述第二目标函数对预训练后的所述NMF解混模型迭代微调还包括：

微调的迭代过程利用整个所述深度NMF解混模型的参数，并且以预训练得到的所述端元矩阵和所述丰度矩阵每层的结果为迭代的初始值。

8.一种存储介质，其特征在于，所述存储介质为计算机可读存储介质，所述计算机可读存储介质上存储有如权利要求1-7任一所述的一种基于信息熵稀疏的深度非负矩阵解混方法。

Images