CN109583380B - 一种基于注意力约束非负矩阵分解的高光谱分类方法 - Google Patents

Abstract

本发明涉及一种基于注意力约束非负矩阵分解的高光谱分类方法，包括以下步骤：S1：输入原始高光谱图像数据；S2：将高光将高光谱图像矩阵归一化，得到待处理数据集X；S3：采用NMF将X分解，得到端元矩阵U和底层丰度矩阵H；S4：将端元矩阵U和底层丰度矩阵H归一化；S5：根据底层丰度矩阵H，对注意力参数化矩阵W进行初始化；S6：对注意力参数化矩阵W进行归一化；S7：将高光谱图像、端元矩阵、底层丰度矩阵注意力参数化矩阵，采用注意力非负矩阵分解更新迭代至收敛得到端元矩阵以及对应丰度矩阵；本发明可使非负矩阵分解技术在分解高光谱图像的时候得到丰度矩阵中端元位置信息不容易丢失，从而提高高光谱图像的分类精度。

Description

一种基于注意力约束非负矩阵分解的高光谱分类方法

技术领域

本发明涉及高光谱分类领域，更具体地，涉及一种基于注意力约束非负矩阵分解的高光谱分类方法。

背景技术

高光谱遥感技术是在成像光谱学基础上发展起来的一种遥感信息获取技术；它可以获得成百上千幅在光谱上连续的高分辨率影像，图像中的每个像素对应一条光谱曲线，其包含的光谱信息维度与成像的幅数相等；由于高光谱图像波段密集且它们之间存在重叠，这样就可以用一条连续的辐射曲线来表示图像数据中每个像元的特征，相应的，一组像元的光谱曲线就可以用来表示地物的分布规律；因其高光谱分辨率及光谱和图像同时获取的能力，在大气探测、航天遥感、地球资源普查、军事侦察、环境监测、农业和海洋遥感等领域有着广泛和重要的应用。

高光谱分类最关键的就是分析不同物质的可分性，“不同类别物质的光谱曲线也必然不相同”的这一光谱域信息使得高光谱数据中的非同类地物存在了可分性。然而高光谱遥感所获取的地面反射光谱信号是以像元为单位记录的，它是像元所对应的地表物质光谱信号的综合；若该像元仅包含一种地物类型，如矿物质、水体、植被等，则称之为端元；若该像元包含不止一种地物类型，则称之为混合像元；高光谱图像中会出现大量的“同物异谱”和“异物同谱”现象，单纯的利用光谱信息进行分类极有可能造成一些地物类型的误分；同时，随着高光谱遥感数据的光谱分辨率的提高，其数据维度和数据量也随之大幅度增加，比如AVIRIS具有244个波段，这使得处理数据时计算机的压力显著增大，为高光谱的识别分类带来困难；所以现有的非负矩阵分解技术在分解高光谱图像的时候得到丰度矩阵中端元位置信息容易丢失，导致高光谱图像的分类精度不高。

发明内容

本发明为克服上述现有的非负矩阵分解技术在分解高光谱图像的时候得到丰度矩阵中端元位置信息丢失的缺点，提供一种基于注意力约束非负矩阵分解的高光谱分类方法。

一种基于注意力约束非负矩阵分解的高光谱分类方法，所述的方法包括以下步骤：

S1：输入原始高光谱图像数据；

S2：将高光将高光谱图像矩阵X归一化；

S3：采用非负矩阵分解(NMF)方法将X分解，得到端元矩阵U和底层丰度矩阵H；

S4：将端元矩阵U和底层丰度矩阵H归一化；

S5：根据底层丰度矩阵H，采用正交匹配追踪算法(OMP-k)，求出注意力参数化矩阵W，对注意力参数化矩阵W进行初始化；

S6：对注意力参数化矩阵W进行归一化；

S7：将步骤S2得到的高光谱图像X、步骤S4得到的端元矩阵U、底层丰度矩阵H和步骤S6得到的注意力参数化矩阵W，采用注意力非负矩阵分解更新迭代至收敛得到端元矩阵以及对应丰度矩阵。

本发明提供基于注意力非负矩阵分解分类方法可以综合利用光谱和各端元的位置信息提高分类器性能；使用非负矩阵分解能有效降低计算机处理数据的压力，同时非负矩阵分解能提取高光谱中端元的光谱信息和空间分布信息；添加了注意力机制后，对于每一次矩阵分解，注意力机制能持续地关注各端元的位置信息，指导更有效的分解；利用注意力机制与非负矩阵分解结合起来可以得到较好的分类效果。

优选地，所述步骤S2的归一化处理公式为：

X＝X./max(max(X))

其中，X为高光谱图像矩阵，X＝[x₁,...,x_m]^T∈R^m×n，X是一个m维的矩阵；m表示高光谱图像的波段数，n表示高光谱图像数据中像元的个数，R表示实数域，T表示矩阵的转置，“./”表示矩阵逐元素除。

优选地，所述步骤S3将步骤S2得到的高光谱图像矩阵采用非负矩阵分解算法，得到高光谱图像的端元矩阵U和丰度矩阵H；

NMF的模型如下所示：

X≈UH

其中，得到的U＝[u₁,...,u_r]∈R^m×r为端元矩阵，r为对应光谱图像中端元的个数，U的列向量ui为第i个端元的光谱向量；H＝[h₁,...,h_r]^T∈R^r×n为丰度特征矩阵，H的行向量h_i为第i个端元的空间分布，R表示实数域。

优选地，所述步骤S4中高光谱图像的端元矩阵和丰度矩阵数值归一化公式为：

U＝U./sum(U)，H＝H./sum(H)

其中，“./”表示矩阵逐元素除。

优选地，所述步骤S5对注意力参数化矩阵W初始化的方法为：采用正交匹配追踪算法，对注意力参数化矩阵W进行初始化。

优选地，正交匹配追踪算法(OMP-k)即为求取如下运算的最小值的过程：

其中，输入h_i为第i个端元光谱对应的丰度向量，输出s_i∈R^r×1为稀疏编码向量；输出字典子集W＝[w₁,...,w_r]∈R^n×r为注意力参数化矩阵，W的列向量w_i为注意力机制的第i个查询。

优选地，所述步骤S6中注意力参数化矩阵W数值归一化公式为：

W＝W./sum(W)

其中，“./”表示矩阵逐元素除。

优选地，所述步骤S7中注意力约束非负矩阵分解的模型如下所示：

X≈UV，V＝attention(H,A)＝A^TH＝(HW)^TH

其中，W为由正交匹配追踪算法得到的注意力参数化矩阵，W的列向量w_i为注意力机制的第i个查询；A＝[a₁,...,a_r]＝HW∈R^r×r为在丰度矩阵H中提取的注意力权重矩阵，r为光谱图像中端元的个数，A的列向量a_i为第i个查询w_i对丰度矩阵H的概率分布，每一个元素a_j,i为第i个查询w_i对第j个丰度向量h_j的得分；V＝attention(H,A)＝A^TH为将注意力权重矩阵A和底层丰度矩阵H融合得到的丰度矩阵。

优选地，所述步骤S7基于注意力约束非负矩阵分解算法的过程为：

S7.1：求取

运算的最小值；

S7.2：通过下述公式更新迭代至收敛，得到最优的U、W和H，

S7.3：令V＝(HW)^TH，从而得到端元光谱矩阵U以及对应的丰度矩阵V。

与现有技术相比，本发明技术方案的有益效果是：本发明提供的基于注意力约束非负矩阵分解的高光谱分类方法，通过采用原始非负矩阵分解算法和正交匹配追踪算法的结果来作为注意力非负矩阵分解的初值，使算法的收敛速度加快；通过加入丰度图的注意力来为每一次矩阵的分解迭代提供各端元的位置信息，解决了现有的非负矩阵分解技术在分解高光谱图像的时候得到丰度矩阵中端元位置信息丢失的技术问题，充分利用高光谱中的信息来达到高光谱更精确分类的目的，有效的提升高光谱图像的分类精度。

附图说明

图1为本发明高光谱图像分类方法的流程图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

本实施例提供了一种基于注意力约束非负矩阵分解的高光谱分类方法，具体包括以下步骤：

S1：首先读取一幅高光谱图像，已知类别数是r，得到高光谱图像矩阵X＝[x₁,...,x_m]^T∈R^m×n；X是一个m维的矩阵。

其中，m表示高光谱图像的波段数，n表示高光谱图像数据中像元的个数，R表示实数域，T表示矩阵的转置；

S2：将步骤S1得到的高光谱图像矩阵进行数值归一化，X＝X./max(max(X))，“./”表示矩阵逐元素除；

S3：将步骤S2得到的高光谱图像矩阵采用非负矩阵分解算法(NMF)，得到高光谱图像的端元矩阵U和丰度矩阵H；

NMF的模型如下所示：

X≈UH

其中，得到的U＝[u₁,...,u_r]∈R^m×r为端元矩阵，这里r对应光谱图像中端元的个数，U的列向量u_i为第i个端元的光谱向量；H＝[h₁,...,h_r]^T∈R^r×n，H为丰度特征矩阵，H的行向量h_i为第i个端元的空间分布；

S4：将步骤S3得到的高光谱图像的端元矩阵和丰度矩阵进行数值归一化，U＝U./sum(U)，H＝H./sum(H)；

S5：将步骤S4得到的丰度矩阵H采用正交匹配追踪算法(OMP-k)，对注意力参数化矩阵W进行初始化；

OMP-k算法即为求取如下运算的最小值的过程：

其中，输入h_i为第i个端元光谱对应的丰度向量，输出s_i∈R^r×1为稀疏编码向量；输出字典W＝[w₁,...,w_r]∈R^n×r为注意力参数化矩阵，W的列向量w_i为注意力机制的第i个查询；

S6：将步骤S5得到的注意力参数化矩阵W进行数值归一化，W＝W./sum(W)；

S7：输入步骤S2得到的高光谱图像矩阵X，把步骤S4得到的端元矩阵U、步骤4得到的丰度矩阵H和步骤S6得到的注意力参数化矩阵W作为注意力非负矩阵分解的初始值，采用注意力非负矩阵分解对高光谱图像进行混合像元分解，更新迭代至收敛得到端元光谱矩阵和对应的丰度矩阵。

基于注意力约束非负矩阵分解的模型如下所示：

X≈UV，V＝attention(H,A)＝A^TH＝(HW)^TH

基于注意力约束非负矩阵分解算法即为求取如下运算的最小值的过程：

基于注意力约束非负矩阵分解的更新公式为：

更新迭代至收敛，得到最优的U、W和H,令V＝(HW)^TH，从而得到端元光谱矩阵U以及对应的丰度矩阵V。

其中，A＝[a₁,...,a_r]＝HW∈R^r×r为在丰度矩阵H中提取的注意力权重矩阵，r为光谱图像中端元的个数，A的列向量a_i为第i个查询w_i对丰度矩阵H的概率分布，a_j,i为矩阵A中第j行i列的元素；大写字母一般为矩阵，小写字母带一个下标的为向量，带两个下标的为元素；每一个元素a_j,i为第i个查询w_i对第j个丰度向量h_j的得分；a_j,i大小落在0到1之间(即a_j,i∈[0,1])；a_j,i的作用就是作为一个权重系数加权在底层丰度矩阵H的元素上(矩阵的形式为A^TH)，这个加权的过程看作一个关注的过程，权重系数a_j,i越大表明对与该系数相乘的特征的关注度就越大，V＝attention(H,A)＝A^TH为将注意力权重矩阵A和底层丰度矩阵H融合得到的丰度矩阵。

附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (6)

1.一种基于注意力约束非负矩阵分解的高光谱分类方法，其特征在于，所述的方法包括以下步骤：

S1：输入原始高光谱图像数据，得到高光谱图像矩阵X；

S2：将高光谱图像矩阵X归一化；

S3：采用非负矩阵分解算法将归一化后的高光谱图像矩阵X分解，得到端元矩阵U和底层丰度矩阵H；

S4：将端元矩阵U和底层丰度矩阵H归一化；

S5：根据底层丰度矩阵H，采用正交匹配追踪算法，求出注意力参数化矩阵W，并对注意力参数化矩阵W进行初始化；

S6：对注意力参数化矩阵W进行归一化；

S7：将高光谱图像矩阵X、端元矩阵U、底层丰度矩阵H和注意力参数化矩阵W，采用注意力非负矩阵分解更新迭代至收敛得到端元矩阵以及对应丰度矩阵；

步骤S5中，对注意力参数化矩阵W初始化的方法为：采用正交匹配追踪算法，对注意力参数化矩阵W进行初始化；

其中，正交匹配追踪算法即为求取如下运算的最小值的过程：

其中，输入h_i为第i个端元光谱对应的丰度向量，输出s_i∈R^r×1为稀疏编码向量；输出字典W＝[w₁,...,w_r]∈R^n×r为注意力参数化矩阵，W的列向量w_i为注意力机制的第i个查询，r为光谱图像中端元的个数；

步骤S7中，注意力约束非负矩阵分解的模型如下所示：

X≈UV，V＝attention(H,A)＝A^TH＝(HW)^TH

其中，W为由正交匹配追踪算法得到的字典子集矩阵，即注意力参数化矩阵，W的列向量w_i为注意力机制的第i个查询；A＝[a₁,...,a_r]＝HW∈R^r×r为在丰度矩阵H中提取的注意力权重矩阵，r为光谱图像中端元的个数，A的列向量a_i为第i个查询w_i对丰度矩阵H的概率分布，每一个元素a_j,i为第i个查询w_i对第j个丰度向量h_j的得分；V＝attention(H,A)＝A^TH为将注意力权重矩阵A和底层丰度矩阵H融合得到的丰度矩阵。

2.根据权利要求1所述的基于注意力约束非负矩阵分解的高光谱分类方法，其特征在于，步骤S2中，高光谱图像矩阵的归一化处理公式为：

X＝X./max(max(X))

其中，X为高光谱图像矩阵，X＝[x₁,...,x_m]^T∈R^m×n，X是一个m维的矩阵；m表示高光谱图像的波段数，n表示高光谱图像数据中像元的个数，R表示实数域，T表示矩阵的转置,“./”表示矩阵逐元素除。

3.根据权利要求1所述的基于注意力约束非负矩阵分解的高光谱分类方法，其特征在于，步骤S3中，将步骤S2得到的高光谱图像矩阵采用非负矩阵分解算法NMF，得到高光谱图像的端元矩阵U和丰度矩阵H；

NMF的模型如下所示：

X≈UH

其中，得到的U＝[u₁,...,u_r]∈R^m×r为端元矩阵，r为对应光谱图像中端元的个数，U的列向量ui为第i个端元的光谱向量；H＝[h₁,...,h_r]^T∈R^r×n为丰度特征矩阵，H的行向量h_i为第i个端元的空间分布，R表示实数域。

4.根据权利要求1所述的基于注意力约束非负矩阵分解的高光谱分类方法，其特征在于，步骤S4中，高光谱图像的端元矩阵和丰度矩阵数值归一化公式为：

U＝U./sum(U)，H＝H./sum(H)

其中，“./”表示矩阵逐元素除。

5.根据权利要求1所述的基于注意力约束非负矩阵分解的高光谱分类方法，其特征在于，步骤S6中，注意力参数化矩阵W数值归一化公式为：

W＝W./sum(W)

其中，“./”表示矩阵逐元素除。

6.根据权利要求5所述的基于注意力约束非负矩阵分解的高光谱分类方法，其特征在于，步骤S7中，基于注意力约束非负矩阵分解算法的过程为：

S7.1：求取

运算的最小值；

S7.2：通过下述公式更新迭代至收敛，得到最优的U、W和H；

S7.3：令V＝(HW)^TH，从而得到端元光谱矩阵U以及对应的丰度矩阵V。

Images