CN113792874A - 基于先天知识的持续学习方法及装置 - Google Patents

Abstract

本发明提出一种基于先天知识的持续学习方法及装置，方法包括：获取第一训练数据并对所述第一训练数据进行预处理；将预处理后的所述第一训练数据输入至预先训练的生成器，输出第二训练数据；根据所述第二训练数据和分类神经网络，训练神经网络模型的初始化参数；根据所述第一训练数据和预先构建的损失函数，对所述神经网络模型的初始化参数进行更新以得到更新后的所述神经网络模型。本发明在学习任务前引入一个生成器，提前对神经网络进行参数的初始化，在后续训练过程中，综合生成器产生的任务0与当前学习任务，进行正则化约束，使得模型可以进行快速收敛，有效减少神经网络在持续学习中面临的灾难性遗忘问题，提高模型的任务学习能力。

Description

基于先天知识的持续学习方法及装置

技术领域

本发明属于计算机多媒体技术领域，涉及图像分类技术。

背景技术

现有人工智能领域已经取得了不少突破性进步。在人脸识别、语音识别、目标检测等任务中，通过在有监督学习下进行大量的输入-输出训练，深度学习模型可以达到一个相当高的学习准确率，效率高于人类并且达到应用的目的。在具有1000个类别以及100多万训练样本的目标识别任务ImageNet中，训练出的深度学习网络可以达到80％以上的top-1准确率，识别速度也远高于人类。在棋类游戏领域，深蓝战胜卡斯帕罗夫，阿尔法狗战胜李世石、柯洁等。

虽然人工智能取得如此多的突破进展，但是现有人工智能，尤其是深度神经网络，与人类或人脑相应模式仍存在很大差异。人类有能够将一个任务的知识用到另一个任务上，并且学习后一个任务时也不会忘记前一个任务的能力，这种能力叫持续学习能力。而对现有的人工智能，尤其是深度神经网络来说，由于其自身的设计天然存在灾难性遗忘问题。灾难性遗忘现象即在一个顺序无标注的、可能随机切换的、同种任务可能长时间不复现的任务序列中，AI对当前任务B进行学习时，对先前任务A的知识会突然地丢失的现象。简单来说，就是一个深度神经网络模型在学习了新的技能情况下遗忘掉了之前习得的内容就叫做灾难性遗忘现象。当学习一个新任务B时，深度神经网络模型需要更新网络中的参数，但是同时先前任务A提取出的知识也是储存在网络的参数中，因此神经网络在学习新任务时，旧任务的知识就会被覆盖。所以，如何让人工神经网络可以实现像人类一样的持续学习，克服灾难性遗忘问题，在学术和应用领域都十分重要。

为了减少灾难性遗忘问题，目前有三种常用的解决方法。第一类方法为制作样本集为主的数据重放方法。此类方法是从数据角度出发。这种解决思路是存储关于过去的任务样本，在新任务中加入样本重演。制作一个样本集，在后续学习其他任务时将样本集混入训练。由于以前的数据对于当前任务是不可用的，一个简单的解决方案是将之前的一些样本存储到内存中，并在学习每个新任务时重放它们。除了直接存储真实样本外，还有一些研究提出通过训练生成模型来实现伪记忆。例如，人们可以为之前的任务训练生成式对抗网络，并在学习新任务时使用它们生成假样本。这样，生成模型可以从之前的任务中提供无限多样的样本，有利于模型的训练。总而言之，这种思路将数据混合进后续任务中，可以取得一定的对抗遗忘效果。但是，如何挑选数据以及挑选多少数据来制作样本集是本方法面临的一个问题。

第二类方法为设计损失函数的正则化方法。此类方法是从神经网络更新方式出发。这种解决思路主要在损失函数中加入正则项，限制模型更新方向。通过数学推导，结合知识蒸馏等理论，修改损失函数，限制模型的梯度更新方向。出现灾难性遗忘是因为模型参数被无限制地更新，模型参数虽然适应了当前任务，但是丢失了关于前一个任务的信息。为了解决这一问题，许多研究设计了正则化项，保存了之前的知识。基于正则化的方法主要关注参数的更新过程，使其与之前学习的参数保持一致，避免遗忘。与基于重放方法相比，基于正则化的方法有一个优势，即它们通常不需要外部内存来存储以前的数据，从这个角度来看，它们具有更强的鲁棒性。但是，正则化方法中参数更新是不灵活的，因为它被限制在特定的更新位置。此外，在任务较多的情况下，手动设置正则化权值来寻找学习新任务和记忆旧任务之间的最佳平衡点也具有挑战性。

第三类方法为针对特定任务的动态网络结构方法。此类方法是从神经网络结构出发。这种解决思路针对不同任务设计不同网络结构与掩码。修改神经网络，结合生成式对抗网络等思路或者加入一些限制规则或者专门的网络结构层。由于深度网络的参数化过于严重，可以假设不是所有的参数都用于一个任务。基于此假设，可以使用网络中的不同子部件来处理不同的任务，并动态调整这些子部件。基于动态网络结构的方法可以看作是针对不同的任务训练多个子网络，使每个任务对另一个任务的影响很小。然而，架构上进行调整以及迁移到不同任务上是一个相当困难的操作。

虽然现有连续学习研究已经取得了突破性进展，但是距离真正的解决灾难性遗忘问题还有很大距离。在模型学习数量较多以及存储空间大小的限制情况下，现有解决方法很难取得十分有效的结果。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种基于先天知识的持续学习方法，以解决持续学习问题中出现的过往任务遗忘较到、新任务模型收敛较慢的问题。

本发明的第二个目的在于提出一种基于先天知识的持续学习的装置。

为达上述目的，本发明第一方面实施例提出了一种基于先天知识的持续学习的方法，包括：获取第一训练数据，并对所述第一训练数据进行预处理；将预处理后的所述第一训练数据输入至预先训练的生成器，输出第二训练数据；根据所述第二训练数据和分类神经网络，训练神经网络模型的初始化参数；根据所述第一训练数据和预先构建的损失函数，对所述神经网络模型的初始化参数进行更新，以得到更新后的所述神经网络模型。

本发明实施例提出的基于先天知识的持续学习的方法，在学习任务前引入一个生成器，提前对神经网络进行参数的初始化，有效地提高模型的泛化能力。在后续训练过程中，综合生成器产生的任务0与当前学习任务，进行正则化约束，使得模型可以进行快速收敛，并有效减少神经网络在持续学习中面临的灾难性遗忘问题，提高模型的任务学习能力，实现连续任务的高效学习。

另外，根据本发明上述实施例的基于先天知识的持续学习的方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，获取第一训练数据，并对所述第一训练数据进行预处理，包括：

对输入数据进行通用处理，变换为通用行向量的形式。具体表示形式如下：

其中i表示任务的序号，j表示在当前任务i下的第j个数据，n表示在当前数据

下的第n个向量分量。

进一步地，在本发明的一个实施例中，所述初始化模块，包括：

根据任务以及数据构建生成器；

数据

的相应隐变量z服从某种分布，利用生成器学习映射X＝G(z)，实现隐变量分布z与真实数据分布P(X)的转换。将第一训练数据集合

投入生成器进行训练，最终得到生成器映射为：X＝G(z)，加入一个偏差项B,使得最终产生生成器数据与第一训练数据结果存在一定差异，但是均与隐变量分布z产生关联。最终生成器映射为：

X′＝G(z)+B(z)；

根据任务1训练出的生成器，模拟产生相应第二训练数据；

设定任务数据集合为A₀，则任务0的数据集合为：

其中

代表了模拟生成任务0中的数据

任务0的数据数量为t，t的数量与其余任务的数据数量j有关系，一般比较合适的关系为：t＝2j。

进一步地，在本发明的一个实施例中，所述损失函数通过添加了新任务与过往任务模型参数的正则项以及任务0在当前任务模型参数的正则项，限制神经网络的更新，让神经网络保存原有任务参数信息，参数不会与初始参数空间变换太多，实现较强的泛化能力与学习能力，具体设计损失函数如下：

其中，θ表示

与标签

之间的差异，L_p(θ)表示当前任务t下求得的交叉熵函数，

代表了学习当前数据

后，模型参数从H^t-1更新未H^t后参数的变化，

代表了当前神经网络H^t在前向传播任务t数据

与任务0初始化的数据

的总差异。

进一步地，在本发明的一个实施例中，在得到更新后的所述神经网络模型之后，还包括：

不断重复权利要求1的全部步骤，直到神经网络网络分类准确率符合要求；

当一共有i个任务时，需要对不同地任务重复，对模型进行参数更新学习，在经过全部i次训练操作后，得到最终的模型。

为达上述目的，本发明另一方面实施例提出了一种基于先天知识的持续学习的装置，包括：预处理模块，用于获取第一训练数据，并对所述第一训练数据进行预处理；初始化模块，用于将预处理后的所述第一训练数据输入至预先训练的生成器，输出第二训练数据；训练模块，用于根据所述第二训练数据和分类神经网络，训练神经网络模型的初始化参数；更新模块，用于根据所述第一训练数据和预先构建的损失函数，对所述神经网络模型的初始化参数进行更新，以得到更新后的所述神经网络模型。

本发明实施例提出的基于先天知识的持续学习装置，在学习任务前引入一个生成器，提前对神经网络进行参数的初始化，有效地提高模型的泛化能力。在后续训练过程中，综合生成器产生的任务0与当前学习任务，进行正则化约束，使得模型可以进行快速收敛，并有效减少神经网络在持续学习中面临的灾难性遗忘问题，提高模型的任务学习能力，实现连续任务的高效学习。

另外，根据本发明上述实施例的基于先天知识的持续学习装置还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述预处理模块，还用于：

对输入数据进行通用处理，变换为通用行向量的形式。具体表示形式如下：

其中i表示任务的序号，j表示在当前任务i下的第j个数据，n表示在当前数据

下的第n个向量分量。

进一步地，在本发明的一个实施例中，所述初始化模块，还用于：

根据任务以及数据构建生成器；

数据

的相应隐变量z服从某种分布，利用生成器学习映射X＝G(z)，实现隐变量分布z与真实数据分布P(X)的转换。将第一训练数据集合

投入生成器进行训练，最终得到生成器映射为：X＝G(z)，加入一个偏差项B,使得最终产生生成器数据与第一训练数据结果存在一定差异，但是均与隐变量分布z产生关联。最终生成器映射为：

X′＝G(z)+B(z)；

根据任务1训练出的生成器，模拟产生相应第二训练数据；

设定任务数据集合为A₀，则任务0的数据集合为：

其中

代表了模拟生成任务0中的数据

任务0的数据数量为t，t的数量与其余任务的数据数量j有关系，一般比较合适的关系为：t＝2j。

进一步地，在本发明的一个实施例中，根据所述第一训练数据和预先构建的损失函数，对所述神经网络模型的初始化参数进行更新，以得到更新后的所述神经网络模型，其中，所述损失函数通过添加了新任务与过往任务模型参数的正则项以及任务0在当前任务模型参数的正则项，限制神经网络的更新，让神经网络保存原有任务参数信息，参数不会与初始参数空间变换太多，实现较强的泛化能力与学习能力，具体设计损失函数如下：

其中，θ表示

与标签

之间的差异，L_p(θ)表示当前任务t下求得的交叉熵函数，

代表了学习当前数据

后，模型参数从H^t-1更新未H^t后参数的变化，

代表了当前神经网络H^t在前向传播任务t数据

与任务0初始化的数据

的总差异。

进一步地，在本发明的一个实施例中，在得到更新后的所述神经网络模型之后，还包括迭代模块：

不断重复更新后神经网络模型，直到神经网络网络分类准确率符合要求；

当一共有i个任务时，需要对不同地任务重复，对模型进行参数更新学习，在经过全部i次训练操作后，得到最终的模型。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例所提供的一种基于先天知识的持续学习方法的流程示意图。

图2为本发明实施例所提供的一种基于先天知识的持续学习装置的流程示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的基于先天知识的持续学习的方法和装置。

图1为本发明实施例所提供的一种基于先天知识的持续学习方法的流程示意图。

如图1所示，该对神经网络中节点进行染色的方法包括以下步骤：

S1，获取第一训练数据，并对第一训练数据进行预处理。

可以理解的是，为了更好地描述数据信息并且通用处理多种多样的任务，首先对输入数据进行通用处理，变换为通用行向量的形式。

进一步地，在本发明的一个实施例中，获取第一训练数据，并对第一训练数据进行预处理，包括：

对输入数据进行通用处理，变换为通用行向量的形式。具体表示形式如下：

其中i表示任务的序号，j表示在当前任务i下的第j个数据，n表示在当前数据

下的第n个向量分量。

S2，将预处理后的第一训练数据输入至预先训练的生成器，输出第二训练数据。

其中，生成器可以根据任务以及数据自行构建。假设数据

的相应隐变量z服从某种分布，利用生成器学习映射X＝G(z)，实现隐变量分布z与真实数据分布P(X)的转换。将第一训练数据集合

投入生成器进行训练，最终得到生成器映射为：X＝G(z)，加入一个偏差项B,使得最终产生生成器数据与第一训练数据结果存在一定差异，但是均与隐变量分布z产生关联。最终生成器映射为：

X′＝G(z)+B(z)；

进一步地，根据任务1训练出的生成器，模拟产生相应第二训练数据；

设定任务数据集合为A₀，则任务0的数据集合为：

其中

代表了模拟生成任务0中的数据

任务0的数据数量为t，t的数量与其余任务的数据数量j有关系，一般比较合适的关系为：t＝2j。

S3，根据第二训练数据和分类神经网络，训练神经网络模型的初始化参数。

进一步地，在本发明的一个实施例中，根据第二训练数据和分类神经网络，训练神经网络模型的初始化参数，包括：

通过上述模拟生成的任务0数据，对模型进行训练。这里采用随机梯度下降法对模型参数进行更新。网络部分可以根据实际需求选用不同网络结构进行搭建，比如ResNet、DenseNet等。当模型对模拟生成的任务0数据产生90％以上的准确率时，模型参数初始化完毕，得到的神经网络为H⁰。此时模型具备了一定泛化能力，可以更好地训练后续任务。

S4，根据第一训练数据和预先构建的损失函数，对神经网络模型的初始化参数进行更新，以得到更新后的神经网络模型。

其中，损失函数通过添加了新任务与过往任务模型参数的正则项以及任务0在当前任务模型参数的正则项，限制神经网络的更新，让神经网络保存原有任务参数信息，参数不会与初始参数空间变换太多，实现较强的泛化能力与学习能力，具体设计损失函数如下：

其中，θ表示

与标签

之间的差异，L_p(θ)表示当前任务t下求得的交叉熵函数，

代表了学习当前数据

后，模型参数从H^t-1更新未H^t后参数的变化，

代表了当前神经网络H^t在前向传播任务t数据

与任务0初始化的数据

的总差异。

该损失函数综合考虑了神经网络中参数变化即任务0准确率的变化情况以及当前任务与过往任务的正则关系。该损失函数可以很好地限制新任务数据的参数变换情况，在保护历史任务的相关准确率情况下学习新的任务。

进一步地，在本发明的一个实施例中，在得到更新后的神经网络模型之后，还包括：

不断重复权利要求1的全部步骤，直到神经网络网络分类准确率符合要求。

当一共有i个任务时，需要对不同地任务重复，对模型进行参数更新学习，在经过全部i次训练操作后，得到最终的模型。

本发明提出的基于先天知识的持续学习方法可以应用于人脸识别、目标检测等领域。以人脸识别为例，获取初始的人脸数据库，根据基于先天知识的持续学习方法学习初始数据库，训练ResNet或其他神经网络模型，得到可以分类初始人脸数据库的模型。当增加新的人脸数据时，神经网络通过本发明的方法，可以增加分类人脸数量，在不需要存储初始人脸数据库的情况下达到实时维护的目的。在目标检测场景中，可以根据先天知识的持续学习方法学习按照先后顺序学习并增加新的检测目标，实现神经网络的持续学习过程，解决目标增量的检测场景需要重新训练神经网络的问题。

根据本发明实施例提出的基于先天知识的持续学习的方法，在学习任务前引入一个生成器，提前对神经网络进行参数的初始化，有效地提高模型的泛化能力。在后续训练过程中，综合生成器产生的任务0与当前学习任务，进行正则化约束，使得模型可以进行快速收敛，并有效减少神经网络在持续学习中面临的灾难性遗忘问题，提高模型的任务学习能力，实现连续任务的高效学习。

图2为本发明实施例提供的一种基于先天知识的持续学习装置的结构示意图。

如图2所示，该基于先天知识的持续学习装置包括：预处理模块10，初始化模块20，训练模块30，更新模块40。

其中，预处理模块y用于取第一训练数据，并对第一训练数据进行预处理；初始化模块，用于预处理后的第一训练数据输入至预先训练的生成器，输出第二训练数据；训练模块，用于据第二训练数据和分类神经网络，训练神经网络模型的初始化参数；更新模块，用于据第一训练数据和预先构建的损失函数，对神经网络模型的初始化参数进行更新，以得到更新后的神经网络模型。

另外，根据本发明上述实施例的基于先天知识的持续学习装置还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，预处理模块，还用于：

对输入数据进行通用处理，变换为通用行向量的形式。具体表示形式如下：

其中i表示任务的序号，j表示在当前任务i下的第j个数据，n表示在当前数据

下的第n个向量分量。

进一步地，在本发明的一个实施例中，初始化模块，还用于：

根据任务以及数据构建生成器；

假设数据

的相应隐变量z服从某种分布，利用生成器学习映射X＝G(z)，实现隐变量分布z与真实数据分布P(X)的转换。将第一训练数据集合

投入生成器进行训练，最终得到生成器映射为：X＝G(z)，加入一个偏差项B,使得最终产生生成器数据与第一训练数据结果存在一定差异，但是均与隐变量分布z产生关联。最终生成器映射为：

X′＝G(z)+B(z)；

根据任务1训练出的生成器，模拟产生相应第二训练数据；

设定任务数据集合为A₀，则任务0的数据集合为：

其中

代表了模拟生成任务0中的数据

任务0的数据数量为t，t的数量与其余任务的数据数量j有关系，一般比较合适的关系为：t＝2j。

进一步地，在本发明的一个实施例中，根据第一训练数据和预先构建的损失函数，对神经网络模型的初始化参数进行更新，以得到更新后的神经网络模型，其中，损失函数通过添加了新任务与过往任务模型参数的正则项以及任务0在当前任务模型参数的正则项，限制神经网络的更新，让神经网络保存原有任务参数信息，参数不会与初始参数空间变换太多，实现较强的泛化能力与学习能力，具体设计损失函数如下：

其中，θ表示

与标签

之间的差异，L_p(θ)表示当前任务t下求得的交叉熵函数，

代表了学习当前数据

后，模型参数从H^t-1更新未H^t后参数的变化，

代表了当前神经网络H^t在前向传播任务t数据

与任务0初始化的数据

的总差异。

进一步地，在本发明的一个实施例中，在得到更新后的神经网络模型之后，还包括迭代模块：

不断重复更新神经网络模型，直到神经网络网络分类准确率符合要求；

当一共有i个任务时，需要对不同地任务重复，对模型进行参数更新学习，在经过全部i次训练操作后，得到最终的模型。

本发明实施例提出的基于先天知识的持续学习装置，在学习任务前引入一个生成器，提前对神经网络进行参数的初始化，有效地提高模型的泛化能力。在后续训练过程中，综合生成器产生的任务0与当前学习任务，进行正则化约束，使得模型可以进行快速收敛，并有效减少神经网络在持续学习中面临的灾难性遗忘问题，提高模型的任务学习能力，实现连续任务的高效学习。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

尽管上面已经示出和描述了本发明的实施例，可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于先天知识的持续学习方法，其特征在于，包括以下步骤：

获取第一训练数据，并对所述第一训练数据进行预处理；

将预处理后的所述第一训练数据输入至预先训练的生成器，输出第二训练数据；

根据所述第二训练数据和分类神经网络，训练神经网络模型的初始化参数；

根据所述第一训练数据和预先构建的损失函数，对所述神经网络模型的初始化参数进行更新，以得到更新后的所述神经网络模型。

2.根据权利要求1所述的基于先天知识的持续学习方法，其特征在于，对所述第一训练数据进行预处理，包括：

对输入数据进行通用处理，变换为通用行向量的形式。具体表示形式如下：

其中i表示任务的序号，j表示在当前任务i下的第j个数据，n表示在当前数据

下的第n个向量分量。

3.根据权利要求1所述的基于先天知识的持续学习方法，其特征在于，将预处理后的所述第一训练数据输入至预先训练的生成器，输出第二训练数据，包括：

根据任务以及数据构建生成器；

数据

的相应隐变量z服从某种分布，利用生成器学习映射X＝G(z)，实现隐变量分布z与真实数据分布P(X)的转换。将第一训练数据集合

投入生成器进行训练，最终得到生成器映射为：X＝G(z)，加入一个偏差项B，使得最终产生生成器数据与第一训练数据结果存在一定差异，但是均与隐变量分布z产生关联。最终生成器映射为：

X′＝G(z)+B(z)；

根据任务1训练出的生成器，模拟产生相应第二训练数据；

设定任务数据集合为A₀，则任务0的数据集合为：

其中

代表了模拟生成任务0中的数据

任务0的数据数量为t，t的数量与其余任务的数据数量j有关系，一般比较合适的关系为：t＝2j。

4.根据权利要求1所述的基于先天知识的持续学习方法，其特征在于，所述损失函数通过添加了新任务与过往任务模型参数的正则项以及任务0在当前任务模型参数的正则项，限制神经网络的更新，让神经网络保存原有任务参数信息，参数不会与初始参数空间变换太多，实现较强的泛化能力与学习能力，其中，具体设计损失函数如下：

其中，θ表示

与标签

之间的差异，L_p(θ)表示当前任务t下求得的交叉熵函数，

代表了学习当前数据

后，模型参数从H^t-1更新未H^t后参数的变化，

代表了当前神经网络H^t在前向传播任务t数据

与任务0初始化的数据

的总差异。

5.根据权利要求1所述的基于先天知识的持续学习方法，其特征在于，在得到更新后的所述神经网络模型之后，还包括，

不断重复权利要求1的全部步骤，直到神经网络网络分类准确率符合要求；

当一共有i个任务时，需要对不同地任务重复，对模型进行参数更新学习，在经过全部i次训练操作后，得到最终的模型。

6.一种基于先天知识的持续学习的装置，其特征在于，包括：

预处理模块，获取第一训练数据，并对所述第一训练数据进行预处理；

初始化模块，将预处理后的所述第一训练数据输入至预先训练的生成器，输出第二训练数据；

训练模块，根据所述第二训练数据和分类神经网络，训练神经网络模型的初始化参数；

更新模块，根据所述第一训练数据和预先构建的损失函数，对所述神经网络模型的初始化参数进行更新，以得到更新后的所述神经网络模型。

7.根据权利要求6所述的基于先天知识的持续学习装置，其特征在于，对所述预处理模块，还用于：

对输入数据进行通用处理，变换为通用行向量的形式。具体表示形式如下：

其中i表示任务的序号，j表示在当前任务i下的第j个数据，n表示在当前数据

下的第n个向量分量。

8.根据权利要求6所述的基于先天知识的持续学习装置，其特征在于，对所述预处理模块，还用于：

根据任务以及数据构建生成器；

数据

的相应隐变量z服从某种分布，利用生成器学习映射X＝G(z)，实现隐变量分布z与真实数据分布P(X)的转换。将第一训练数据集合

投入生成器进行训练，最终得到生成器映射为：X＝G(z)，加入一个偏差项B，使得最终产生生成器数据与第一训练数据结果存在一定差异，但是均与隐变量分布z产生关联。最终生成器映射为：

X′＝G(z)+B(z)；

根据任务1训练出的生成器，模拟产生相应第二训练数据；

设定任务数据集合为A₀，则任务0的数据集合为：

其中

代表了模拟生成任务0中的数据

任务0的数据数量为t，t的数量与其余任务的数据数量j有关系，一般比较合适的关系为：t＝2j。

9.根据权利要求6所述的基于先天知识的持续学习装置，其特征在于，所述损失函数通过添加了新任务与过往任务模型参数的正则项以及任务0在当前任务模型参数的正则项，限制神经网络的更新，让神经网络保存原有任务参数信息，参数不会与初始参数空间变换太多，实现较强的泛化能力与学习能力，其中，具体设计损失函数如下：

其中，θ表示

与标签

之间的差异，L_p(θ)表示当前任务t下求得的交叉熵函数，

代表了学习当前数据

后，模型参数从H^t-1更新未H^t后参数的变化，

代表了当前神经网络H^t在前向传播任务t数据

与任务0初始化的数据

的总差异。

10.根据权利要求6所述的基于先天知识的持续学习装置，其特征在于，在得到更新后的所述神经网络模型之后，还包括迭代模块：

不断重复更新神经网络模型，直到神经网络网络分类准确率符合要求；

当一共有i个任务时，需要对不同地任务重复，对模型进行参数更新学习，在经过全部i次训练操作后，得到最终的模型。

Images