CN117576568A - 一种基于增量学习的深度鲁棒非负矩阵分解方法 - Google Patents

Abstract

本发明提出一种基于增量学习的深度鲁棒非负矩阵分解方法，即基于l_2,1范数的深度增量非负矩阵分解(l_2,1‑DINMF)，用以解决传统NMF无法挖掘SAR目标深层特征的问题。首先，本发明利用深度学习思想构建出全新的NMF模型框架，用于自主学习SAR目标的潜在属性和隐藏信息；同时，通过梯度下降法求得上述模型的近似解，推导出一种收敛速度更快的增量更新算法规则。实验结果表明，随着SAR目标训练样本的数量增长，本发明算法能够显著降低SAR ATR模型的计算复杂度，保障SARATR模型更新的稳定性，还能够在准确率、时间损失和内存空间损失方面始终优于同类非负矩阵分解算法。

Description

一种基于增量学习的深度鲁棒非负矩阵分解方法

技术领域

本发明涉及图像识别技术领域，具体为一种融合深度学习思想的非负矩阵分解方法——基于深度和增量学习的鲁棒非负矩阵分解，用以解决传统NMF无法挖掘SAR目标深层特征的问题。

背景技术

图像识别技术在处理高维图像数据时需要大量的时间成本。特别是在实际军事运用当中，面对海量的雷达数据，图像目标识别技术在各方面都存在巨大挑战。特征提取作为图像目标识别的关键步骤，在现研究领域中已经衍生出了大量的特征提取方法，这些方法都可以有效进行降维，但都存在一定的问题，例如传统特征提取算法中，主成分分析法(Principle Component Analysis，PCA)在进行SAR目标判别时会出现信息丢失的问题，从而导致识别精度下降。线性判别分析法(Linear Discriminant Analysis,LDA)在处理高维图像数据时，容易出现小样本问题。此外，上述算法在进行特征提取时，可能会出现负元素，而负元素在实际任务中往往是没有实际意义的。非负矩阵分解(Nonnegative MatrixFactorization，NMF)则是采用了一种具有正定约束的特征提取方法，使分解后的数据能够有效避免上述问题。然而，利用NMF算法提取出的特征往往易受噪声干扰，无法适应战场上目标样本的动态变化。为了解决这个问题，现研究领域提出一种通过L_2,1范数约束代价函数，从而消除平方误差的鲁棒非负矩阵分解算法(Robust Nonnegative MatrixFactorization，RNMF)，能有效解决非负矩阵分解中异常值的影响问题。

在面对大量高维图像数据时，由于目标样本的不断增加，传统的训练方式会导致重复训练、计算代价增加、识别精度降低等问题。为了解决这一问题，现研究领域提出了一种增量鲁棒非负矩阵分解(Incremental Robust Nonnegative Matrix Factorization，IRNMF)，上述算法在RNMF的基础上，使特征提取模型具有自主更新的能力，能够极大程度地减少训练时间和降低训练样本的存储空间，同时也能保证模型的稳定性。

在实际应用中，很多数据集都包含了多维层次信息，这些信息很难用传统方法进行提取，因此，单层结构的特征提取算法已经无法满足需求。随着深度学习理论的发展，深度学习能够解决复杂非线性非凸优化问题，具有精度高、灵活性高、计算量大等特点，可以极大地提高特征提取效能，这为目标识别研究提供了一种新的途径。

因此，若将深度学习应用在IRNMF上，不仅能够大大减少存储空间和训练时间，保证模型的稳定性，同时还能自主学习SAR目标的潜在属性和隐藏信息，提取出更深层次的特征，进一步提高识别精度。这无疑将是一种更优的特征提取方法。

现有专利

申请号为CN201610561677.1，公开了一种基于SPM和深度增量SVM的SAR图像分类方法。其步骤为：(1)输入SAR图像；(2)提取SAR图像稠密SIFT特征；(3)构建字典；(4)稀疏编码；(5)空间金字塔池化；(6)计算归一化特征；(7)构建增量训练集；(8)初始化深度增量支持向量机；(9)计算测试样本的初始分类准确率；(10)更新深度增量支持向量机；(11)计算测试样本的分类准确率。本发明能有效提取图像的空间信息，并结合了深度学习和增量学习的优点，具有提高SAR图像分类精度，减少训练时间的优点。

图像识别处理的重要两个步骤是：特征提取+分类器，处理步骤是，先对图像进行特征提取，然后通过特征提取的结果，来进行分类器测试其准确率。基于SPM和深度增量SVM的SAR图像分类方法，是从分类器的角度进行图像识别算法的优化，即上述发明专利是通过改进SVM,这个分类器来提升图像识别的准确率，并不涉及特征提取，是从分类器入手。基于SPM和深度增量SVM的SAR图像分类方法相较于本发明存在的一个缺陷在于，基于SPM和深度增量SVM的SAR图像分类方法的发明专利，比较依赖特征提取，如果特征提取算法提取出的特征不明显，尽管优化了分类器，也会导致结果较差。

发明内容

为了解决传统特征提取方法无法挖掘SAR目标深层特征的缺陷，使特征提取方法在降低时间成本，并保持模型的稳定性的情况下，具有自主学习SAR目标的潜在属性和隐藏信息的能力，本发明提出一种基于增量学习的深度鲁棒非负矩阵分解方法，利用深度学习思想构建出全新的NMF模型框架，提供了基于l_2,1范数的深度增量非负矩阵分解方法(l_2,1-Constrained Deep Incremental Nonnegative Matrix Factorization，l_2,1-DINMF)。

本发明采用如下技术方案：

一种基于增量学习的深度鲁棒非负矩阵分解方法，包括以下步骤：

步骤1、对现有的图像样本训练数据进行鲁棒非负矩阵分解初始化，得到初始的基矩阵W、特征矩阵H以及对角元素矩阵D。在RNMF中，对于一个样本矩阵V∈R^m×n，每一列代表一个具有m个像素点的训练样本，共计n个训练样本，将其分解为基矩阵W∈R^m×r、特征矩阵H∈R^r×n，并得到对角元素矩阵D∈R^r×r，在L_2，1稀疏限制的条件下的RNMF的损失函数形为：

式中的F代表的是损失函数。当将原始矩阵V分解为基矩阵W和特征矩阵H，即

WH时，此时会产生一定的误差，我们用原始矩阵V减去WH，即V-WH来表示这个误差，称为损失函数。我们希望V-WH这一损失函数取得最小值，误差可以达到最小，此时我们得到的WH和V之间的误差就相差不大，故此时分解得来的基矩阵W和特征矩阵H也才能更加精确。

a,b代表矩阵的行和列，如当a取3，b取3时，代表该矩阵中第3行第3列的一个元素，故a和b是一个变量，采用这两个变量可以遍历矩阵中所有元素，它们分别代表矩阵的行和列，两者共同代表矩阵中的一个元素。

RNMF的最优解满足约束优化理论的Karush-Kohn-Tucker(KKT)条件。故约束H＞0可得到H的KKT条件，公式为：

其中t＝1,K,r,b＝1,K,n.

H_tb代表的是特征矩阵中的元素，我们将原始矩阵V分解为基矩阵W和特征矩阵H，其中H_tb即代表特征矩阵H中的元素。t和b是角标，用于固定特征矩阵H中的元素。上述公式中，我们已经指出损失函数为：从上式/>这一部分我们形成了损失函数的展开表达式，该式中的W和H代表的是基矩阵W和特征矩阵H中的某一元素；对于H矩阵，当我们用b来代表特征矩阵H的列时，还需要一个代表行的元素，我们采用t来代表特征矩阵H的行。t和b是两个角标变量，当我们固定他们的值以后，此时我们才可通过t和b两个角标来固定特征矩阵H中的每一个元素。

r代表我们降维以后的维度，b代表SAR图片数量。前述已经提到我们将原始矩阵V分解为基矩阵W和特征矩阵H，原始矩阵V的维度是m×n，基矩阵W的维度是m×r，特征矩阵H的维度是r×n，因此这里r的和n表示的是特征矩阵H的维度，拆分开理解r和n就是，r代表原始矩阵V降维以后的维度，n代表SAR图片数量。

同理得到约束W＞0的关于W的KKT条件，公式为：

其中a＝1,K,m,t＝1,K,r。

W_at代表的是基矩阵中的元素，我们将原始矩阵V分解为基矩阵W和特征矩阵H，其中W_at即代表基矩阵W中的元素。a和t是角标，当固定a和t以后，就代表确定了基矩阵W中的一个元素。上述公式中，我们已经指出损失函数为：

从上式

这一部分我们形成了损失函数的展开表达式，该式中的W和代表的是基矩阵W和特征矩阵H中的某一元素，；对于基矩阵W，当我们用a来代表其行时，还需要一个代表列的元素，此时我们采用t来代表基矩阵W的列。a和t是两个角标变量，当我们固定他们的值以后，此时我们才可通过a和t两个角标来固定基矩阵W中的每一个元素。

根据满足KKT条件的解，RNMF的基矩阵W和特征矩阵H有如下的更新规则：

其中

我们所做的工作是根据我们构建的损失函数F，其代表的是原始矩阵V和分解以后产生的基矩阵W和特征矩阵H之间的误差，即V-WH。我们希望这个误差可以达到最小，此时才可保证W和H最精确。在数学中往往采用梯度下降的方法进行求解，令其偏导数等于0时，此时说明损失函数值最小。因此我们在对其损失函数求偏导数的时候即对下式：

求解偏导数的时候，会因为根号以及复合函数求导的性质，产生D_bb。不管是对基矩阵W还是特征矩阵H求解偏导，都会产生D_bb。

以上更新规则是交替执行的，即只有特征矩阵H的更新过程复杂时，基矩阵W的元素才在迭代时更新。

步骤2、在完成部分训练样本的鲁棒非负矩阵分解初始化，并得到初始的基矩阵W、特征矩阵H和对角矩阵D后，假设初始训练样本集合由n个m维非负列向量组成，用非负矩阵V_n表示，即其拥有一系列不同的、未知的属性，故构建的层次框架是要满足数据多属性特性的。

基于DNMF理论，本发明提出l_2,1-DINMF模型，该模型将非负矩阵V_n分解为l+1个因式，即：

V≈W₁W₂L W_lH_l

最开始我们仅将原始矩阵V分解为W和H，这仅仅实现了单层，之后我们又将分解得来的H，视作原始矩阵V进行分解可得到H＝W₂H₂，之后依次类推，我们可以将每一次分解得到的特征矩阵H作为原始矩阵V进行分解，即可得H_k＝W_k+1H_k+1。因此，此时可将原始矩阵V分解为W₁W₂L W_lH_l，其中W₁、W₂、W_l分别代表第1层，第2层以及第l层分解得出的基矩阵W，即W_k代表第k层的基矩阵(也即为上述所描述的第i次分解)。l代表我们将其分解的层数，这个l由人为指定，可将其分解为3层，5层之类，均可。

隐式层次框架为：

H_l-1≈W_lH_l

M

H₂≈W₃L W_lH_l

H₁≈W₂L W_lH_l

V≈W₁L W_lH_l

W_k代表的是第k层分解得来的基矩阵，如当k＝2时，表示第二层分解得来的基矩阵W₂。

当样本数达到k个时，损失函数表示为：

首先k代表k个样本，即我们的原始矩阵V中含有k张图片。

F_k代表样本数为k时的损失函数，如果此时新增了一个样本，即样本数目变为k+1，同理此时的损失函数变为F_k+1。

V_k代表原始矩阵V中含有k个样本。

代表分解到每一层时产生的基矩阵W，如/>表示，样本数为k，分解到第二层产生的基矩阵为/>

表示原始矩阵样本数为k，分解到第l层，即最后一层所得到的特征矩阵H。

和上述V-WH同理，此时我们将其进行多层分解，此时即得到如上表达式，依旧代表原始矩阵V和分解以后的/>之间的差值，此时我们基于l_2,1范数来衡量这个误差。

是上式/>的展开，通过l_2,1范数，展开以后得到如上形式，l_2,1范数即是对/>这一损失函数，对其每一列做l₂范式，之后做l₁范式，即为上述形式。采用l_2,1范式的目的为提高模型的鲁棒性。

其中表示第l层的特征矩阵，/>表示第s层的基矩阵，其中s∈1,2,L,l。

基于INMF的理论，增加一个新的SAR图像数据不会明显改变所采集的目标样本的基矩阵的值。进而上式被改写为：

其中表示有k+1样本时第s层的基矩阵，其中s∈1,2,L,l。

若基矩阵右上角为k，则代表有k个样本，F_k代表样本数为k时的损失函数，V_k代表原始矩阵V中含有k个样本，/>代表分别分解到每一层时产生的基矩阵W；

当新的训练样本加入模型训练时，通过新样本信息实现l_2,1-DINMF算法的计算，完成对基矩阵W的全局更新以及特征矩阵H的局部更新，以实现增量学习。当增加1个样本时，损失函数表示为：

F_k+1表示，当我们的样本数为k+1时，我们的损失函数为F_k+1。

基于增量学习的理论，当我们新增一个SAR图像数据样本时，即样本数从k变为k+1时，不会明显改变基矩阵的值。因此在式中：

用F_k表示。

用f_k+1表示F_k代表原有的k个样本产生的损失函数，f_k+1代表新增加一个样本时，带来的损失函数。

其中v_k+1是新增加的SAR图像数据，是特征矩阵/>最后一列数据。

令

P₀＝I,Q_l+1＝I

P_s-1以及Q_s+1来代表损失函数；I均表示单位矩阵，可理解为1。

此时损失函数的表达式为：F_k+1≈F_k+f_k+1。

其中，

我们前述知道，需要对该损失函数F_k+1进行梯度下降，使其达到最小，我们采用梯度下降法进行求解，即我们对F_k+1进行求取偏导，因为根号以及复合函数求导规则两个作用，即会产生D_s ^k+1和两个变量。

因此可以将损失函数改写为：

所以，对求偏导有：

令

X_i＝X_i-1-αF'(X)这是梯度下降的通用公式，其中α代表学习率或者步长。因此，此式同理，其中代表学习率，也可称为步长。

则可得到的更新规则：

令

G_l代表每一层基矩阵W的乘积；代表特征矩阵/>的最后一列数据

再对求偏导得到：

令

X_i＝X_i-1-αF'(X)这是梯度下降的通用公式，其中α代表学习率或者步长。因此，此式同理，其中代表学习率，也可称为步长。

则可得到的更新规则为：

l层之前的可以通过后一层/>与基矩阵/>乘积得到：

综上所述的更新规则为：

步骤3、基矩阵W更新完成后，进行训练样本和待识别样本在特征空间中的投影；

首先，将所有训练样本重新投影：

其中，V′_train∈R^r×n为训练样本矩阵V_train∈R^m×n在特征空间W的投影；

然后，对待识别样本进行投影：

其中，v′_test∈R^r为识别样本向量v_test∈R^m在特征空间W的投影；

步骤4、进行了特征提取之后进行分类识别，对训练样本的特征V′_train进行训练，对待识别样本v′_test进行分类识别。

本发明的有益效果：

本发明在传统鲁棒非负矩阵分解方法基础上提出了一种基于增量学习的深度鲁棒非负矩阵分解方法，基于l_2,1范数的深度增量非负矩阵分解(l_2,1-DINMF)，实现挖掘复杂数据隐藏信息，对数据进行多角度的特征表达。该算法将IRNMF与深度网络两者的优势结合起来，能在保持“整体是由部分组成的”这一特点的基础上，利用深层网络结构对复杂数据进行分层特征提取。在满足KKT条件的基础上，l_2,1-DINMF算法利用基于梯度下降得到的近似解，推导出收敛性快的更新规则算法，不仅能够极大程度地降低时间成本，降低训练样本的存储空间，更能使得特征提取方法保持稳定，解决传统特征提取方法在高精度识别率和高效特征更新之间的困境。

较现有的特征提取方法，本发明具有了深度学习和增量在线学习的能力，不仅可以减少不必要的重复训练，提高识别率；还能够在提取图像的深层次特征的情况下，保证特征提取模型的稳定性；在提高识别效率基础上，比传统方法的DNMF的识别率更高，同时训练时间大幅减少。

附图说明

图1为2S1自行火炮MSTAR目标切片读取图像，其中(a)-(e)为2S1自行火炮不同角度拍摄的图像。

图2为BMP2步兵战车MSTAR目标切片读取图像，其中(a)-(e)为BMP2步兵战车不同角度拍摄的图像。

图3为BRDM侦查车MSTAR目标切片图像，其中(a)-(e)为BRDM侦查车不同角度拍摄的图像。

图4为BTR60装甲车MSTAR目标切片图像，其中(a)-(e)为BTR60装甲车不同角度拍摄的图像。

图5为BTR70装甲车MSTAR目标切片图像，其中(a)-(e)为BTR70装甲车不同角度拍摄的图像。

图6为D7推土机MSTAR目标切片图像，其中(a)-(e)为D7推土机不同角度拍摄的图像。

图7为T62坦克MSTAR目标切片图像，其中(a)-(e)为T62坦克不同角度拍摄的图像。

图8为T72坦克MSTAR目标切片图像，其中(a)-(e)为T72坦克不同角度拍摄的图像。

图9为ZIL131卡车MSTAR目标切片图像，其中(a)-(e)为ZIL131卡车不同角度拍摄的图像。

图10为ZSU_23防空炮MSTAR目标切片图像，其中(a)-(e)为ZSU_23防空炮不同角度拍摄的图像。

图11为六种方法针对SAR十类目标识别增量学习任务的识别率统计。

图12为六种方法针对SAR十类目标识别增量学习任务的时间代价对比。

图13为本发明的步骤流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

下面以MSTAR十类目标图像识别任务为例，模拟实际基于深度学习和增量学习的应用对本发明做进一步说明。

目标类型	2S1	BMP2	BRDM_2	BTR60	BTR70
						训练集	299	233	298	256	233
测试集	274	587	274	195	588
						目标类型	D7	T62	T72	ZIL131	ZSU_23_4
训练集	299	299	232	299	299
						测试集	274	273	582	274	274

实验基于MSTAR数据集，所有切片均为64×64RAW数据。训练样本主要由俯仰角为17度的SAR目标样本组成。此外，实验选取俯仰角为15度的SAR目标样本作为测试样本。表1为MSTAR十类目标分布。目标切片读取图像例参见附图1-图10。

如图13所示，实验的训练样本总数为2747个，测试样本总数为3203个，包括十类目标样本的异常值。为了实验深度学习，实验将所使用的特征提取方法进行分层、多层提取，并且为了达到增量学习的效果，实验将训练样本分为初始样本和新增样本两部分，新增样本又分多批次进行实验，初始SAR目标样本数量设为200个，每批新SAR目标样本数量也设置为200个。分别统计非负矩阵分解(NMF)、鲁棒非负矩阵分解(RNMF)、增量鲁棒非负矩阵分解(IRNMF)、深度非负矩阵分解(DNMF)、深度鲁棒非负矩阵分解(DRNMF)、基于l_2,1范数的深度增量非负矩阵分解(l_2,1-DINMF)六种方法在每次获取样本后的识别准确率。六种方法随样本数增加的识别准确率折线图见附图11。从图中可以看出，l_2,1-DINMF的识别准确率最终高于其余五种特征提取方法的识别准确率，最终识别准确率达到了94.0968％。此外，在增量过程中，l_2,1-DINMF的学习效果始终随训练样本数的增加且保持稳定增长，虽然DNMF的识别率在一定程度上得到了提高，但随着SAR目标样本的逐渐积累，这几种方法的识别率仍然存在明显的波动。

再分别统计该六种方法每次特征提取所消耗的时间(由于RNMF和DRNMF在自动目标识别模型更新过程中，需要花费更多的时间避免噪声和离群值的影响，时间损失和样本数量之间的关系为超线性，因此，随着SAR目标样本数量的增加，上述算法的时间损失迅速增加，故该实验RNMF和DRNMF仅显示前800个样本时间损失数据)。上述六种特征提取方法随样本数增加而所消耗的时间代价见附图12。因为l_2,1-DINMF算法都可以避免重复学习，以达到降低计算成本的目的，其时间损失几乎不受SAR目标样本数量的影响，并且随着SAR目标样本数量的增加，增量学习方法在时间损失方面的优势越来越显著，l_2,1-DINMF仅占DNMF的8.038％。

实验表明，l_2,1-DINMF不仅能够实现提取深层次的特征，并且既能够继承鲁棒非负矩阵分解可避免噪声和离群值影响的优点，又具备增量学习避免重复学习的优势，以更快更稳定的方式完成了图像识别中特征提取工作。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (2)

1.一种基于增量学习的深度鲁棒非负矩阵分解方法，其特征在于，包括以下步骤：

步骤1.对现有的图像样本训练数据进行鲁棒非负矩阵分解初始化，得到初始的基矩阵W、特征矩阵H以及对角元素矩阵D，RNMF中，对于一个样本矩阵V∈R^m×n，每一列代表一个具有m个像素点的训练样本，共计n个训练样本，将其分解为基矩阵W∈R^m×r、特征矩阵H∈R^r×n，并得到对角元素矩阵D∈R^r×r，在L_2，1稀疏限制的条件下的RNMF的损失函数形为：

其中a,b代表的是矩阵的行和列，F代表的是损失函数，RNMF的最优解满足约束优化理论的Karush-Kohn-Tucker条件，故约束H＞0得到H的KKT条件，公式为：

H_tb代表的是特征矩阵中的元素，其中t＝1，L,r，b＝1，L,n；

同理得到约束W＞0的关于W的KKT条件，公式为：

W_at代表的是基矩阵中的元素，其中a＝1,K,m，t＝1,K,r；

根据满足KKT条件的解，RNMF的基矩阵W和特征矩阵H有如下的更新规则：

其中

以上更新规则是交替执行的，即只有特征矩阵H的更新过程复杂时，基矩阵W的元素才在迭代时更新；

步骤2.在完成部分训练样本的鲁棒非负矩阵分解初始化，并得到初始的基矩阵W、特征矩阵H和对角矩阵D后，假设初始训练样本集合由n个m维非负列向量组成，用非负矩阵V_n表示，即其拥有一系列不同的、未知的属性，故构建的层次框架是要满足数据多属性特性的；

基于DNMF理论，提出l_2,1-DINMF模型，该模型将非负矩阵V_n分解为l+1个因式，即：

V≈W₁W₂L W_lH_l

隐式层次框架为：

H_l-1≈W_lH_l

M

H₂≈W₃L W_lH_l

H₁≈W₂L W_lH_l

V≈W₁L W_lH_l

W_k代表的是第k层分解得来的基矩阵，l代表我们将其分解的层数，当样本数达到k个时，损失函数表示为：

其中表示第l层的特征矩阵，W_s ^k表示第s层的基矩阵，其中s∈1,2,L,l；

基于INMF的理论，增加一个新的SAR图像数据不会明显改变所采集的目标样本的基矩阵的值，进而上式被改写为：

其中W_s ^k+1(s∈1,2,L,l)表示有k+1样本时第s层的基矩阵，若基矩阵W_s ^k+1右上角为k，则代表有k个样本，F_k代表样本数为k时的损失函数，V_k代表原始矩阵V中含有k个样本，代表分别分解到每一层时产生的基矩阵W；

当新的训练样本加入模型训练时，通过新样本信息实现l_2,1-DINMF算法的计算，完成对基矩阵W的全局更新以及特征矩阵H的局部更新，以实现增量学习，当增加1个样本时，损失函数表示为：

其中v_k+1是新增加的SAR图像数据，是特征矩阵/>最后一列数据；

令

P₀＝I,Q_l+1＝I

P_s-1以及Q_s+1来代表损失函数；I均表示单位矩阵，因此将损失函数改写为：

F_k+1＝(V_k+1-P_s-1W_s ^k+1Q_s+1H_l ^k+1)D_s ^k+1(V_k+1-P_s-1W_s ^k+1Q_s+1H_l ^k+1)^T

所以，对W_s ^k+1求偏导有：

令

代表学习率，则得到W_s ^k+1的更新规则：

令

G_l＝W₁ ^k+1W₂ ^k+1…W_l ^k+1

再对求偏导得到：

令

则得到的更新规则为：

l层之前的通过后一层/>与基矩阵/>乘积得到:

代表特征矩阵/>的最后一列数据，综上所述/>的更新规则为：

步骤3.基矩阵W更新完成后，进行训练样本和待识别样本在特征空间中的投影；

步骤4.进行了特征提取之后进行分类识别，对训练样本的特征V′_train进行训练，对待识别样本v′_test进行分类识别。

2.根据权利要求1所述的基于增量学习的深度鲁棒非负矩阵分解方法，其特征在于：步骤3具体包括：

步骤301，将所有训练样本重新投影：

V′_train＝(G_l ^TG_l)^-1G_l ^TV_train

其中，V′_train∈R^r×n为训练样本矩阵V_train∈R^m×n在特征空间W的投影；

步骤302，对待识别样本进行投影：

v′_test＝(G_l ^TG_l)^-1G_l ^Tv_test

其中，v′_test∈R^r为识别样本向量v_test∈R^m在特征空间W的投影，G_l代表每一层基矩阵W的乘积。