CN111191709A - 深度神经网络的持续学习框架及持续学习方法 - Google Patents

Abstract

本发明实施例提供一种深度神经网络的持续学习框架及持续学习方法，其中持续学习框架包括：条件生成器网络，用于生成与当前任务的训练数据同类别的生成数据，并在训练时为当前任务分配特定的参数子空间；判别器网络，用于监督生成数据的生成过程，以使生成数据逐渐逼近旧任务的训练数据，并将逼近的生成数据作为旧任务的等效训练数据；分类器网络，包括独立分类器网络和判别器网络带有的辅助分类器网络，用于利用权重巩固机制，选择性的保持编码旧任务的参数，并利用当前任务的训练数据和旧任务的等效训练数据，持续性的更新并联合训练当前任务。本发明实施例能够有效缓解持续学习过程中对旧任务的灾难性遗忘，提升持续学习能力。

Description

深度神经网络的持续学习框架及持续学习方法

技术领域

本发明涉及人工智能技术领域，更具体地，涉及一种深度神经网络的持续学习框架及持续学习方法。

背景技术

获得持续学习新信息的能力是深度神经网络面临的基本挑战之一，因为从动态分布的数据中连续获取信息通常会导致灾难性遗忘。也就是说，在学习新任务的过程中，深度神经网络往往会调整在旧任务中所学到的参数，从而导致灾难性的遗忘执行旧任务的能力。

根据持续学习的设定，深度神经网络所学习的任务数目是持续增加的，每个任务的训练数据在该任务训练完成后便无法再次获取。解决持续学习任务这一问题常采用生成重演的方法，即：在学习每个任务时，利用深度生成模型对训练数据建模，生成近似于训练数据的生成数据，并在学习新任务时用旧任务的生成数据和新任务的训练数据联合训练任务求解器网络。

然而，生成重演的方法实际上并没有直接解决灾难性遗忘的问题，而是把持续学习问题从任务求解器网络转移到了生成网络。在持续学习的设定下，深度生成模型难以生成大量复杂的数据类别，旧任务的生成数据和新任务的训练数据之间的差异将导致任务求解器网络产生对旧任务的灾难性遗忘。

因此，可以从以下两方面入手，通过生成重演框架来提升任务求解器网络在持续学习问题上的性能，即：持续学习生成新类别的数据，缓解生成器网络的灾难性遗忘；在任务求解器网络中保留旧任务训练数据的信息，缓解生成数据和训练数据的差异造成的性能下降。

基于此，现有技术提出了一种利用动态扩张网络和注意力机制来缓解生成器网络灾难性遗忘的方法，该方法在简单的图片数据集上(如MNIST和SVHN)能持续学习生成特定类别的图片。但是，采用该方法仍然存在上述无法生成大量类别的复杂数据的问题，且该方法使用辅助分类器生成对抗网络作为基本架构，判别器网络和辅助分类器共享除输出层外的其他各层网络，在持续学习的设定下，这种结构存在无法同时达到最优的问题，因而在较复杂的图片数据集上表现不佳。

发明内容

为了克服上述问题或者至少部分地解决上述问题，本发明实施例提供一种深度神经网络的持续学习框架及持续学习方法，用以在较复杂的数据集上，仍能有效缓解生成数据和训练数据间的差异造成的持续学习过程中对旧任务的灾难性遗忘，提升持续学习能力。

第一方面，本发明实施例提供一种深度神经网络的持续学习框架，包括：

条件生成器网络，用于根据给定隐藏变量，生成与当前任务的训练数据同类别的生成数据，并在训练所述当前任务时，为所述当前任务分配特定于所述当前任务的参数子空间；

判别器网络，用于监督所述条件生成器网络生成所述生成数据的过程，以使所述生成数据逐渐逼近所述当前任务之前旧任务的训练数据，并将逼近的生成数据作为所述旧任务的等效训练数据；

分类器网络，包括独立分类器网络和所述判别器网络带有的辅助分类器网络，用于利用权重巩固机制，选择性的保持编码所述旧任务的参数，并利用所述当前任务的训练数据和生成的所述旧任务的等效训练数据，持续性的更新并联合训练所述当前任务。

其中可选的，所述条件生成器网络采用的是动态扩张网络与注意力机制结合的网络结构，具体用于：在训练所述当前任务时，利用注意力机制，通过分别对所述当前任务使用的网络参数和未使用的网络参数赋予注意力权重，为所述当前任务分配所述参数子空间，并利用动态扩张网络，根据所述当前任务使用的网络参数的数目，在所述条件生成器网络中的各层扩张神经元。

其中可选的，所述独立分类器网络和所述辅助分类器网络的损失函数中均含有一额外的正则化权重保护项，所述正则化权重保护项为所述当前任务与所述旧任务的参数差的二次方乘以所述当前任务和所述旧任务的各参数与所述旧任务的关联性的乘积；

所述利用权重巩固机制，选择性的保持编码所述旧任务的参数具体包括：基于所述正则化权重保护项，在训练所述当前任务时，保持所述旧任务的参数，选择性更新所述当前任务的参数。

其中可选的，所述独立分类器网络采用的损失函数如下：

式中，L_C(θ^C)为独立分类器网络的损失函数，

为在联合训练数据集S′上辅助分类器网络的分类结果与独立分类器网络的分类结果的交叉熵损失，

为正则化权重保护项，F_C,i为所述当前任务和所述旧任务的各参数与所述旧任务的关联性，通过在损失函数L_C(θ^C)上叠加第二交叉熵损失得到，所述第二交叉熵损失为所述联合训练数据集S′上所述独立分类器网络的分类结果与训练数据的真实标记y_C的交叉熵损失。

其中可选的，所述辅助分类器网络采用的损失函数如下：

式中，L_D′(θ^D′)为辅助分类器网络的损失函数，

为在联合训练数据集S′上辅助分类器网络的分类结果与训练数据的真实标记y_C的交叉熵损失，

为正则化权重保护项，F_D′,i为所述当前任务和所述旧任务的各参数与所述旧任务的关联性，通过计算损失函数L_D′(θ^D′)的Fisher信息矩阵得到。

其中可选的，所述判别器网络监督所述条件生成器网络生成所述生成数据的过程具体包括：获取所述当前任务的当前数据，并在判别所述当前数据为所述条件生成器网络生成的所述生成数据时，通过判别所述生成数据与所述旧任务的训练数据的接近程度，优化调整所述条件生成器网络的网络参数，以使所述条件生成器网络生成的数据逐渐逼近所述旧任务的训练数据。

其中可选的，所述判别器网络采用WGAN-GP的稳定训练过程，损失函数如下：

式中，L_D(θ^D)为所述判别器网络的损失函数，

分别为所述旧任务的等效训练数据的判别损失和所述生成数据的判别损失，c为所述生成数据的标记，在所述旧任务的生成类别上服从均一分布p_c，z为随机噪声，服从标准正态分布p_z，

为WGAN-GP的梯度惩罚项。

其中可选的，所述条件生成器网络采用的损失函数如下：

式中，L_G(θ^G)为所述条件生成器网络的损失函数，

为所述生成数据的判别损失，

为所述生成数据的分类损失，c为所述生成数据的标记，在所述旧任务的生成类别上服从均一分布p_c，z为随机噪声，服从标准正态分布p_z，R_M为所述注意力权重的稀疏正则化项，用于对当前任务t的l层各参数的注意力权重

进行约束，且

第二方面，本发明实施例提供一种基于如上述第一方面所述的深度神经网络的持续学习框架的深度神经网络持续学习方法，包括：

利用所述条件生成器网络，根据给定隐藏变量，生成与当前任务的训练数据同类别的生成数据，并在训练所述当前任务时，为所述当前任务分配特定于所述当前任务的参数子空间；

利用所述判别器网络，监督所述条件生成器网络生成所述生成数据的过程，使所述生成数据逐渐逼近所述当前任务之前旧任务的训练数据，并将逼近的生成数据作为所述旧任务的等效训练数据；

将所述当前任务之前各旧任务的等效训练数据与所述当前任务的训练数据进行连接并混合，作为所述当前任务的联合训练数据集；

持续性更新所述当前任务和所述联合训练数据集，并利用所述联合训练数据集，持续性训练所述当前任务，同时在训练过程中，利用所述分类器网络，采用权重巩固机制，选择性的保持编码所述旧任务的参数。

第三方面，本发明实施例提供一种图像分类方法，包括：利用如上述第二方面所述的深度神经网络持续学习方法，训练获取深度神经网络分类模型，并利用所述深度神经网络分类模型，对目标图像进行分类预测。

本发明实施例提供的深度神经网络的持续学习框架及持续学习方法，通过引入独立的分类器网络，缓解了因判别器和辅助分类器不能同时达到最优而造成的性能下降，同时通过在辅助分类器和独立分类器网络中使用权重保护机制，保留了额外的训练数据信息，使得在较复杂的数据集上，仍能有效缓解生成数据和训练数据间的差异造成的持续学习过程中对旧任务的灾难性遗忘，提升持续学习能力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的深度神经网络的持续学习框架的结构示意图；

图2为本发明一实施例提供的深度神经网络持续学习方法的流程示意图；

图3为本发明另一实施例提供的深度神经网络持续学习方法的流程示意图；

图4为根据本发明实施例提供的深度神经网络持续学习方法中使用的持续学习算法间相互作用示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明实施例的一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明实施例保护的范围。

本发明实施例针对现有技术在较复杂的图片数据集上表现不佳的问题，通过引入独立的分类器网络，缓解了因判别器和辅助分类器不能同时达到最优而造成的性能下降，同时通过在辅助分类器和独立分类器网络中使用权重保护机制，保留了额外的训练数据信息，使得在较复杂的数据集上，仍能有效缓解生成数据和训练数据间的差异造成的持续学习过程中对旧任务的灾难性遗忘，提升持续学习能力。以下将具体通过多个实施例对本发明实施例进行展开说明和介绍。

图1为本发明实施例提供的深度神经网络的持续学习框架的结构示意图，该学习框架可以用于实现深度神经网络的持续学习，如图1所示，该学习框架包括条件生成器网络101、判别器网络102和分类器网络103。其中：

条件生成器网络101用于根据给定隐藏变量，生成与当前任务的训练数据同类别的生成数据，并在训练当前任务时，为当前任务分配特定于当前任务的参数子空间；判别器网络102用于监督条件生成器网络生成生成数据的过程，以使生成数据逐渐逼近当前任务之前旧任务的训练数据，并将逼近的生成数据作为旧任务的等效训练数据；分类器网络103包括独立分类器网络和判别器网络带有的辅助分类器网络，用于利用权重巩固机制，选择性的保持编码旧任务的参数，并利用当前任务的训练数据和生成的旧任务的等效训练数据，持续性的更新并联合训练当前任务。

可以理解为，本发明实施例的深度神经网络的持续学习框架至少应包括条件生成器网络101、判别器网络102和分类器网络103，分别用于实现旧任务等效训练数据的生成、生成数据的判别以及持续性分类训练过程的处理等。

具体而言，条件生成器网络101利用随机数生成器采样固定维度的隐藏变量，即给定隐藏变量，并根据该给定隐藏变量，通过网络内部运算生成与当前任务训练数据等量或足量的同类别生成数据，并将该生成数据与先前各旧任务的生成数据连接并混合，作为当前的生成数据集。

同时，对于每个训练任务，其对网络中不同区域的敏感度可能不同。因此，在对任务的实际训练过程中，条件生成器网络101可以切分出网络中该任务感兴趣的一块区域，也即为该任务分配其感兴趣的参数子空间。并且，可以在下次训练相同类型任务时，为任务分配相同的参数子空间。

在利用条件生成器网络101生成了生成数据之后，判别器网络102会对其是否符合设定标准进行判别，若不符合则监督条件生成器网络101进行参数更新后重新生成新的生成数据，直至生成数据符合该设定标准。判别器网络102和条件生成器网络101间形成生成对抗关系。

也就是说，判别器网络102会判别当前数据是真实的训练数据还是来自条件生成器网络101的生成数据。理想情况下，判别器网络102会监督条件生成器网络101生成接近真实的训练数据的生成数据，并将该生成数据等效为是当前任务之前旧任务的等效训练数据，即利用生成数据替代旧任务的实际训练数据。

在通过判别器网络102和条件生成器网络101间的生成对抗关系，生成旧任务的等效训练数据之后，分类器网络103利用旧任务的等效训练数据和新任务的实际训练数据，持续性的学习对标记数据的分类任务。具体的，分类器网络103中的辅助分类器和独立分类器网络均利用权重巩固机制，选择性的保护编码旧任务的参数，并利用条件生成器网络101所生成的旧任务的等效生成数据和新任务的训练数据，联合训练新任务，以减少对旧任务的灾难性遗忘。

本发明实施例提供的深度神经网络的持续学习框架，通过引入独立的分类器网络，缓解了因判别器和辅助分类器不能同时达到最优而造成的性能下降，同时通过在辅助分类器和独立分类器网络中使用权重保护机制，保留了额外的训练数据信息，使得在较复杂的数据集上，仍能有效缓解生成数据和训练数据间的差异造成的持续学习过程中对旧任务的灾难性遗忘，提升持续学习能力。

其中，根据上述各实施例可选的，条件生成器网络采用的是动态扩张网络与注意力机制结合的网络结构，具体用于：在训练当前任务时，利用注意力机制，通过分别对当前任务使用的网络参数和未使用的网络参数赋予注意力权重，为当前任务分配参数子空间，并利用动态扩张网络，根据当前任务使用的网络参数的数目，在条件生成器网络中的各层扩张神经元。

可以理解为，本发明实施例通过在生成重演框架中利用动态扩张网络和注意力机制结合的方式，来缓解条件生成器网络的灾难性遗忘。具体的，利用注意力机制，分配特定于当前任务的参数子空间，如将当前任务所使用参数的注意力权重标为1，未使用参数的注意力权重标为0，以防止生成任务之间的相互干扰。同时，利用动态扩张网络结构，根据条件生成器网络各层训练当前任务所使用的参数(注意力权重为1)的数目，在条件生成器网络各层扩张神经元，以保持当前任务未使用的参数(注意力权重为0)的总数不变，从而可以持续学习新的生成任务，生成新类别的数据。

本发明实施例通过在生成网络中引入动态扩张的网络结构和注意力机制，在持续学习过程中将旧任务的生成数据重演到判别器网络和独立分类器网络，并利用辅助分类器和独立分类器网络的权重巩固机制，进一步缓解了对旧任务的灾难性遗忘，显著提升了深度神经网络在分类任务上的持续学习能力。

可以理解的是，在利用条件生成器网络不断生成新的生成数据的过程中，需要对条件生成器网络不断进行优化，以生成符合设定标准的生成数据。其中可选的，在优化条件生成器网络的过程中，采用的损失函数如下：

式中，L_G(θ^G)为条件生成器网络的损失函数，

为生成数据的判别损失，

为生成数据的分类损失，c为生成数据的标记，在旧任务的生成类别上服从均一分布p_c，z为随机噪声，服从标准正态分布p_z，R_M为注意力权重的稀疏正则化项，用于对当前任务t的l层各参数的注意力权重

进行约束，且

其中可选的，判别器网络监督条件生成器网络生成生成数据的过程具体包括：获取当前任务的当前数据，并在判别当前数据为条件生成器网络生成的生成数据时，通过判别生成数据与旧任务的训练数据的接近程度，优化调整条件生成器网络的网络参数，以使条件生成器网络生成的数据逐渐逼近旧任务的训练数据。

可以理解为，在生成新的生成数据的过程中，判别器网络获取到当前任务所使用的数据，即当前数据，并判别当前数据是真实的训练数据还是来自条件生成器网络的生成数据。若为来自条件生成器网络的生成数据，则判断该生成数据与当前任务前旧任务的真实训练数据的接近程度是否达到设定值，并在未达到设定值时，对条件生成器网络的网络参数进行优化调整，以使得条件生成器网络生成的数据逐渐逼近旧任务真实的训练数据。

可以理解的是，在利用判别器网络不断与条件生成器网络进行对抗训练，以生成符合设定标准的生成数据的过程中，需要对判别器网络不断进行优化。其中可选的，在优化判别器网络的过程中，采用WGAN-GP的稳定训练过程，其损失函数如下：

式中，L_D(θ^D)为判别器网络的损失函数，

分别为旧任务的等效训练数据的判别损失和生成数据的判别损失，c为生成数据的标记，在旧任务的生成类别上服从均一分布p_c，z为随机噪声，服从标准正态分布p_z，

为WGAN-GP的梯度惩罚项。

其中可选的，独立分类器网络和辅助分类器网络的损失函数中均含有一额外的正则化权重保护项，正则化权重保护项为当前任务与旧任务的参数差的二次方乘以当前任务和旧任务的各参数与旧任务的关联性的乘积；利用权重巩固机制，选择性的保持编码旧任务的参数具体包括：基于正则化权重保护项，在训练当前任务时，保持旧任务的参数，选择性更新当前任务的参数。

可以理解为，本发明实施例的独立分类器网络和辅助分类器网络均采用的是权重巩固机制，在训练当前任务时，根据正则化权重保护项保持旧任务的参数，仅选择性更新当前任务的参数。具体在损失函数中添加一个额外的正则化项，即正则化权重保护项，其形式为新任务和旧任务的参数差的二次方乘以各参数对旧任务的关联性，以减慢编码旧任务的相关参数的学习速度。为简化计算过程，各参数对旧任务的关联性可使用损失函数的Fisher信息来确定。计算方式为，利用当前任务的训练数据，计算辅助分类器和独立分类器网络损失函数的Fisher信息矩阵。

可以理解的是，在利用独立分类器网络和辅助分类器网络持续性对新任务进行训练的过程中，需要对独立分类器网络和辅助分类器网络不断进行优化。其中可选的，在优化独立分类器网络的过程中，采用的损失函数如下：

式中，L_C(θ^C)为独立分类器网络的损失函数，

为在联合训练数据集S′上辅助分类器网络的分类结果与独立分类器网络的分类结果的交叉熵损失，

为正则化权重保护项，F_C,i为当前任务和旧任务的各参数与旧任务的关联性，通过在损失函数L_C(θ^C)上叠加第二交叉熵损失得到，第二交叉熵损失为联合训练数据集S′上独立分类器网络的分类结果与训练数据的真实标记y_C的交叉熵损失。

其中可选的，在优化辅助分类器网络的过程中，采用的损失函数如下：

式中，L_D′(θ^D′)为辅助分类器网络的损失函数，

为在联合训练数据集S′上辅助分类器网络的分类结果与训练数据的真实标记y_C的交叉熵损失，

为正则化权重保护项，F_D′,i为当前任务和旧任务的各参数与旧任务的关联性，通过计算损失函数L_D′(θ^D′)的Fisher信息矩阵得到。

基于相同的发明构思，本发明实施例根据上述各实施例的深度神经网络的持续学习框架，提供一种深度神经网络持续学习方法，该方法通过应用上述各实施例提供的深度神经网络的持续学习框架，实现深度神经网络的持续学习。因此，在上述各实施例的深度神经网络的持续学习框架中的描述和定义，可以用于本发明实施例中各个处理步骤的理解，具体可参考上述实施例，此处不在赘述。

作为本发明的一个实施例，所提供的深度神经网络持续学习方法如图2所示，为本发明一实施例提供的深度神经网络持续学习方法的流程示意图，包括以下处理步骤：

S201，利用条件生成器网络，根据给定隐藏变量，生成与当前任务的训练数据同类别的生成数据，并在训练当前任务时，为当前任务分配特定于当前任务的参数子空间。

可以理解为，本步骤通过条件生成器网络，利用随机数生成器采样固定维度的隐藏变量，即给定隐藏变量，并根据该给定隐藏变量，通过网络内部运算生成与当前任务训练数据等量或足量的同类别生成数据。之后，将该生成数据与先前各旧任务的生成数据连接并混合，作为当前的生成数据集。

然后，在对任务的实际训练过程中，条件生成器网络可以切分出网络中该任务感兴趣的一块区域，也即为该任务分配其感兴趣的参数子空间。并且，在下次训练相同类型任务时，条件生成器网络可以为任务分配相同的参数子空间。

S202，利用判别器网络，监督条件生成器网络生成生成数据的过程，使生成数据逐渐逼近当前任务之前旧任务的训练数据，并将逼近的生成数据作为旧任务的等效训练数据。

可以理解为，在利用条件生成器网络生成了生成数据之后，判别器网络会判别当前数据是真实的训练数据还是来自条件生成器网络的生成数据。理想情况下，判别器网络会监督条件生成器网络生成接近真实的训练数据的生成数据，并将该生成数据等效为是当前任务之前旧任务的等效训练数据，即利用生成数据替代旧任务的实际训练数据。

S203，将当前任务之前各旧任务的等效训练数据与当前任务的训练数据进行连接并混合，作为当前任务的联合训练数据集。

可以理解为，在通过判别器网络和条件生成器网络间的生成对抗作用，生成先前各旧任务的生成数据之后，将各旧任务的生成数据的联合进一步与当前任务的真实训练数据进行连接并混合，形成新的联合数据即是当前任务的联合训练数据集。

S204，持续性更新当前任务和联合训练数据集，并利用联合训练数据集，持续性训练当前任务，同时在训练过程中，利用分类器网络，采用权重巩固机制，选择性的保持编码旧任务的参数。

可以理解为，本发明实施例的最后，利用得到的当前任务的联合训练数据集对当前任务进行训练。也即，分类器网络利用旧任务的等效训练数据和新任务的实际训练数据，持续性的学习对标记数据的分类任务。具体的，分类器网络中的辅助分类器和独立分类器网络均利用权重巩固机制，选择性的保护编码旧任务的参数，并利用条件生成器网络所生成的旧任务的等效生成数据和新任务的训练数据，联合训练新任务，以减少对旧任务的灾难性遗忘。

本发明实施例提供的深度神经网络持续学习方法，通过引入独立的分类器网络，缓解了因判别器和辅助分类器不能同时达到最优而造成的性能下降，同时通过在辅助分类器和独立分类器网络中使用权重保护机制，保留了额外的训练数据信息，使得在较复杂的数据集上，仍能有效缓解生成数据和训练数据间的差异造成的持续学习过程中对旧任务的灾难性遗忘，提升持续学习能力。

为进一步说明本发明实施例的技术方案，本发明实施例根据上述各实施例提供如下具体的处理流程，但不对本发明实施例的保护范围进行限制。

如图3所示，为本发明另一实施例提供的深度神经网络持续学习方法的流程示意图，该方法包括以下处理过程：

步骤1，假定训练集合中的每个样例带有标注，划分一部分训练集合为验证集合,将训练集合和验证集合的数据按类别划分，并将一类或多类数据划分为一个任务。

步骤2，根据步骤1得到的多个任务的训练数据，取第一个任务的训练数据依次训练判别器网络的辅助分类器、判别器网络、独立分类器网络和条件生成器网络，利用适应性距估计算法分别优化各个网络的参数。

步骤3，利用随机数生成器采样固定维度的隐藏变量，在条件生成器网络中生成与当前任务训练数据等量或足量的同类别生成数据，与先前各任务的生成数据连接并混合，作为当前的生成数据集。

步骤4，将下一个任务的训练数据与步骤3中得到的生成数据集连接并混合，作为下一任务的联合数据集。

步骤5，更新注意力模块，将当前任务所使用参数的注意力权重标为1，未使用参数的注意力权重标为0。

步骤6，根据步骤5中条件生成器网络各层训练当前任务所使用的参数(注意力权重为1)的数目，在条件生成器网络各层扩张神经元，以保持未使用的参数(注意力权重为0)的总数不变。

步骤7，利用当前任务的训练数据分别更新辅助分类器和独立分类器网络损失函数的Fisher信息矩阵。

步骤8，将步骤4中得到的下一任务的联合数据集依次训练判别器网络的辅助分类器、判别器网络、独立分类器网络和条件生成器网络，利用适应性距估计算法分别优化模型参数。

步骤9，重复步骤3至步骤8直至训练完成所有任务，在各任务验证集合上测试模型的性能。

其中，在上述各训练步骤中所使用到的持续学习算法如图4所示，为根据本发明实施例提供的深度神经网络持续学习方法中使用的持续学习算法间相互作用示意图，持续学习算法类型主要包括：

(1)注意力机制：训练各个任务时，利用sigmoid函数为深度神经网络的每个参数学习到一个0或1的注意力权重，权重为1的参数定义为该任务专用的参数子空间，新任务的参数子空间可与旧任务的相互重叠，但重叠部分的参数不再更新。

(2)动态扩张的网络结构：训练完成某个任务时，深度神经网络每层将扩张若干个输出神经元，以保持注意力权重为0的参数的总数不变。

(3)权重巩固机制：在损失函数中添加一个额外的正则化项，其形式为新任务和旧任务的参数差的二次方乘以各个参数对旧任务的关联性，以减慢编码旧任务的相关参数的学习速度，各参数对旧任务的估计可通过计算损失函数的Fisher信息矩阵来获取，也可选用其他估计方式。

(4)生成重演机制：利用条件生成器网络对旧任务的训练数据建模，并生成该类别的生成数据，与新任务的训练数据联合训练新任务，各任务生成数据的数量一般保持和训练数据一致，以平衡联合数据集。

本发明实施例以一个条件生成器网络、一个判别器网络(包含一个辅助分类器)和一个独立分类器网络作为生成重演机制的基本框架，在条件生成器网络中使用注意力机制和动态扩张的网络结构，在辅助分类器和独立分类器网络中使用权重巩固机制，实现深度神经网络的持续学习过程，可以持续的学习生成和分类带有特定标记类别的数据，并在分类器网络中保留了训练数据的信息，缓解生成数据和训练数据之间的差异造成的分类性能的灾难性遗忘，提高了深度神经网络的持续学习能力。本发明实施例可以应用于分类问题的持续学习任务，如图像分类的增量学习任务。

作为本发明实施例的又一个方面，本发明实施例提供一种图像分类方法，包括：利用如上述各实施例所述的深度神经网络持续学习方法，训练获取深度神经网络分类模型，并利用该深度神经网络分类模型，对目标图像进行分类预测。

本发明实施例通过引入独立的分类器网络，缓解了因判别器和辅助分类器不能同时达到最优而造成的性能下降，同时通过在辅助分类器和独立分类器网络中使用权重保护机制，保留了额外的训练数据信息，使得在较复杂的数据集上，仍能有效缓解生成数据和训练数据间的差异造成的持续学习过程中对旧任务的灾难性遗忘，提升持续学习能力。

关于该实施例，以下将通过具体举例的形式，对其作更详细的说明，但不应当理解为是对本发明保护范围的限制。

首先，是分类任务的持续学习过程，主要包括以下步骤：

步骤1，假定训练集合

为一系列任务t∈[T]的训练数据

的集合，划分一部分训练集合为验证集合。

步骤2，利用第一个任务的训练数据S₀，依次训练判别器网络的辅助分类器(D′)、判别器网络(D)、独立分类器网络(C)和条件生成器网络(G)，并利用适应性距估计算法，分别优化各个网络的参数。

步骤3，利用随机数生成器采样固定维度的隐藏变量，在条件生成器网络中生成与当前任务t训练数据等量(N_t)或足量的同类别生成数据

并将其与先前各任务的生成数据连接并混合，作为当前的生成数据集

步骤4，将下一任务t+1的训练数据与步骤3中得到的生成数据集

连接并混合，作为下一任务的联合数据集

步骤5，在条件生成器上训练当前任务t时，神经网络各层l参数学习该任务t的注意力权重

其初始化为0.5，其中s为正值尺度因子，

为实值权重嵌入矩阵，初始化为0，σ为sigmoid函数，能够把实数映射到[0,1]，

通过σ函数接入条件生成器参数的梯度，各层参数的梯度g_l被调整为

以停止更新在先前任务≤t权值

为1的参数，更新累积权值

步骤6，条件生成器网络各层l的输入向量为n维，输出向量为p维，训练任务t所保留的参数(即权值为1)数目为δ_t，该层的自由参数(即权值为0)数目下降至np-δ_t，该层输出神经元数目将扩张

以保持未使用参数的总数不变。

步骤7，利用当前任务t的训练数据St，计算辅助分类器和独立分类器网络损失函数L的Fisher信息矩阵(为简化计算过程，近似为经验Fisher信息矩阵)

并更新平均Fisher信息矩阵F_≤t＝(t×F_＜t+F_t)/(t+1)。

步骤8，将步骤4中得到的下一任务的联合数据集S′依次训练判别器网络的辅助分类器(D′)、判别器网络(D)、独立分类器网络(C)和条件生成器网络(G)，利用适应性距估计算法分别优化模型参数。

步骤9，重复步骤3至步骤8，直至训练完成所有任务，在测试阶段，辅助分类器和独立分类器网络在所有任务验证集合上分别预测特征向量x属于所有K类中的k类的概率P_D′(y＝k|x)和P_C(y＝k|x)，取概率高的预测

为该图片类别的最终预测。

其中，模型训练处理步骤2-8中优化各网络使用的损失函数如下：

(1)辅助分类器(D′)损失函数为：

其中，

为在联合数据集S′上辅助分类器的分类结果和真实标记y_C的交叉熵损失，

为权重保护项，F_D′,i各参数的Fisher信息。

(2)独立分类器网络(C)损失函数为：

其中，

为在联合数据集S′上辅助分类器的分类结果和独立分类器网络的分类结果的交叉熵损失，

为权重保护项，F_C,i是各参数的Fisher信息，独立分类器网络的Fisher信息F_c的计算使用

即在损失函数L_C(θ^C)的基础上添加了一个在联合数据集S′上独立分类器网络的分类结果和真实标记y_C的交叉熵损失，记为CE(p_C,p_D′)。

(3)判别器网络(D)损失函数为：

判别器网络采用了WGAN-GP的稳定训练过程，

分别为真实数据和生成数据的判别损失，c为生成数据的标记，在旧任务的生成类别上服从均一分布p_c，z为随机噪声，服从标准正态分布p_z，

为WGAN-GP的梯度惩罚项。

(4)条件生成器网络(G)损失函数为：

其中，

为生成数据的判别损失，

为生成数据的分类损失，c为所述生成数据的标记，在所述旧任务的生成类别上服从均一分布p_c，z为随机噪声，服从标准正态分布p_z，R_M为注意力权重的稀疏正则化项，用于对当前任务t各l层各参数的注意力权重

进行约束，其中：

其次，模型测试与分类过程，即按照上述各实施例的持续学习方法流程，设置图像分类的增量学习任务包括：先按照模型训练过程的步骤1划分数据集，再按照模型训练过程的步骤2至8训练模型，最后在测试阶段，辅助分类器和独立分类器网络在分类任务验证集合上各自作出预测，并比较预测结果的概率，取两个分类器对各图片预测概率高的标记作为该图片类别的最终预测。

实验结果表明，使用本发明实施例的学习方法在手写数字识别数据集MNIST，街景门牌号码数据集SVHN，彩色图像数据集CIFAR-10和大型彩色图像数据库ImageNet的子集ImageNet-50上进行测试。在图片分类问题的类增量任务(即每个任务为学习1个新类别的分类问题)上，本发明在MNIST、SVHN和CIFAR-10数据集上的10类平均分类准确度分别得到了96.76、76.07和60.12的结果，达到或超过世界领先水平的97.00、74.38和56.21。在图片分类问题的域增量任务(即每个任务为学习多个新类别的分类问题，这里为10类)上，本发明在ImageNet-50数据集上的30类和50类平均分类准确度分别得到了38.23和28.08，超过世界领先水平的32.14和17.82。综上所述，本发明在基于生成对抗网络的生成重演框架中添加了单独的分类器网络，并引入了注意力机制、动态扩张的网络结构和权重巩固机制，可以持续学习有监督的生成和分类任务，并在分类器网络中保留了训练数据的信息，缓解了生成数据和训练数据之间的差异造成的灾难性遗忘，显著提高了深度神经网络在分类任务上的持续学习能力。

可以理解的是，以上所描述的持续学习框架的实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，既可以位于一个地方，或者也可以分布到不同网络单元上。可以根据实际需要选择其中的部分或全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上实施方式的描述，本领域的技术人员可以清楚地了解，各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如U盘、移动硬盘、ROM、RAM、磁碟或者光盘等，包括若干指令，用以使得一台计算机设备(如个人计算机，服务器，或者网络设备等)执行上述各方法实施例或者方法实施例的某些部分所述的方法。

另外，本领域内的技术人员应当理解的是，在本发明实施例的申请文件中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本发明实施例的说明书中，说明了大量具体细节。然而应当理解的是，本发明实施例的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明实施例公开并帮助理解各个发明方面中的一个或多个，在上面对本发明实施例的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。

最后应说明的是：以上实施例仅用以说明本发明实施例的技术方案，而非对其限制；尽管参照前述实施例对本发明实施例进行了详细的说明，本领域的技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例各实施例技术方案的精神和范围。

Claims (10)

1.一种深度神经网络的持续学习框架，其特征在于，包括：

条件生成器网络，用于根据给定隐藏变量，生成与当前任务的训练数据同类别的生成数据，并在训练所述当前任务时，为所述当前任务分配特定于所述当前任务的参数子空间；

判别器网络，用于监督所述条件生成器网络生成所述生成数据的过程，以使所述生成数据逐渐逼近所述当前任务之前旧任务的训练数据，并将逼近的生成数据作为所述旧任务的等效训练数据；

分类器网络，包括独立分类器网络和所述判别器网络带有的辅助分类器网络，用于利用权重巩固机制，选择性的保持编码所述旧任务的参数，并利用所述当前任务的训练数据和生成的所述旧任务的等效训练数据，持续性的更新并联合训练所述当前任务。

2.根据权利要求1所述的深度神经网络的持续学习框架，其特征在于，所述条件生成器网络采用的是动态扩张网络与注意力机制结合的网络结构，具体用于：

在训练所述当前任务时，利用注意力机制，通过分别对所述当前任务使用的网络参数和未使用的网络参数赋予注意力权重，为所述当前任务分配所述参数子空间，并利用动态扩张网络，根据所述当前任务使用的网络参数的数目，在所述条件生成器网络中的各层扩张神经元。

3.根据权利要求1或2所述的深度神经网络的持续学习框架，其特征在于，所述独立分类器网络和所述辅助分类器网络的损失函数中均含有一额外的正则化权重保护项，所述正则化权重保护项为所述当前任务与所述旧任务的参数差的二次方乘以所述当前任务和所述旧任务的各参数与所述旧任务的关联性的乘积；

所述利用权重巩固机制，选择性的保持编码所述旧任务的参数具体包括：基于所述正则化权重保护项，在训练所述当前任务时，保持所述旧任务的参数，选择性更新所述当前任务的参数。

4.根据权利要求3所述的深度神经网络的持续学习框架，其特征在于，所述独立分类器网络采用的损失函数如下：

式中，L_C(θ^C)为独立分类器网络的损失函数，

为在联合训练数据集S′上辅助分类器网络的分类结果与独立分类器网络的分类结果的交叉熵损失，

为正则化权重保护项，F_C,i为所述当前任务和所述旧任务的各参数与所述旧任务的关联性，通过在损失函数L_C(θ^C)上叠加第二交叉熵损失得到，所述第二交叉熵损失为所述联合训练数据集S′上所述独立分类器网络的分类结果与训练数据的真实标记y_C的交叉熵损失。

5.根据权利要求3所述的深度神经网络的持续学习框架，其特征在于，所述辅助分类器网络采用的损失函数如下：

式中，L_D′(θ^D′)为辅助分类器网络的损失函数，

为在联合训练数据集S′上辅助分类器网络的分类结果与训练数据的真实标记y_C的交叉熵损失，

为正则化权重保护项，F_D′,i为所述当前任务和所述旧任务的各参数与所述旧任务的关联性，通过计算损失函数L_D′(θ^D′)的Fisher信息矩阵得到。

6.根据权利要求1或2所述的深度神经网络的持续学习框架，其特征在于，所述判别器网络监督所述条件生成器网络生成所述生成数据的过程具体包括：

获取所述当前任务的当前数据，并在判别所述当前数据为所述条件生成器网络生成的所述生成数据时，通过判别所述生成数据与所述旧任务的训练数据的接近程度，优化调整所述条件生成器网络的网络参数，以使所述条件生成器网络生成的数据逐渐逼近所述旧任务的训练数据。

7.根据权利要求6所述的深度神经网络的持续学习框架，其特征在于，所述判别器网络采用WGAN-GP的稳定训练过程，损失函数如下：

式中，L_D(θ^D)为所述判别器网络的损失函数，

分别为所述旧任务的等效训练数据的判别损失和所述生成数据的判别损失，c为所述生成数据的标记，在所述旧任务的生成类别上服从均一分布p_c，z为随机噪声，服从标准正态分布p_z，

为WGAN-GP的梯度惩罚项。

8.根据权利要求2所述的深度神经网络的持续学习框架，其特征在于，所述条件生成器网络采用的损失函数如下：

式中，L_G(θ^G)为所述条件生成器网络的损失函数，

为所述生成数据的判别损失，

为所述生成数据的分类损失，c为所述生成数据的标记，在所述旧任务的生成类别上服从均一分布p_c，z为随机噪声，服从标准正态分布p_z，R_M为所述注意力权重的稀疏正则化项，用于对当前任务t的l层各参数的注意力权重

进行约束，且

9.一种基于如权利要求1-8中任一项所述的深度神经网络的持续学习框架的深度神经网络持续学习方法，其特征在于，包括：

利用所述条件生成器网络，根据给定隐藏变量，生成与当前任务的训练数据同类别的生成数据，并在训练所述当前任务时，为所述当前任务分配特定于所述当前任务的参数子空间；

利用所述判别器网络，监督所述条件生成器网络生成所述生成数据的过程，使所述生成数据逐渐逼近所述当前任务之前旧任务的训练数据，并将逼近的生成数据作为所述旧任务的等效训练数据；

将所述当前任务之前各旧任务的等效训练数据与所述当前任务的训练数据进行连接并混合，作为所述当前任务的联合训练数据集；

持续性更新所述当前任务和所述联合训练数据集，并利用所述联合训练数据集，持续性训练所述当前任务，同时在训练过程中，利用所述分类器网络，采用权重巩固机制，选择性的保持编码所述旧任务的参数。

10.一种图像分类方法，其特征在于，包括：

利用如权利要求9所述的深度神经网络持续学习方法，训练获取深度神经网络分类模型，并利用所述深度神经网络分类模型，对目标图像进行分类预测。

Images