CN112580806B - 基于任务域知识迁移的神经网络持续学习方法及装置 - Google Patents

Abstract

本公开提出一种基于任务域知识迁移的神经网络持续学习方法、装置、电子设备及介质，该方法包括：提取当前任务的输入图像的特征；根据特征对当前任务的输入图像进行分类；其中，当当前任务对应的分类模块能识别特征时，则利用当前任务对应的分类模块对输入图像进行分类，否则，执行以下操作：利用第一特征迁移模块将特征迁移为与第一任务相关的第一特征，利用第一任务对应的分类模块对第一特征进行分类；若第一任务对应的分类模块不能全部完成对当前任务的分类，则利用第二特征迁移模块将第一特征迁移为与第二任务相关的第二特征，利用第二任务对应的分类模块对第二特征进行分类；以此类推，直到得到当前任务的输入图像的分类结果。

Description

基于任务域知识迁移的神经网络持续学习方法及装置

技术领域

本公开涉及深度神经网络以及计算机视觉领域，具体涉及一种基于任务域知识迁移的神经网络持续学习方法及装置。

背景技术

基于神经网络的持续学习(Continual Learning)，又称终身学习(LifelongLearning)、增量学习(Incremental Learning)和序列学习(Sequential Learning)，即在不忘记如何完成先前训练过的任务的情况下学习连续任务的能力。持续学习具有两个关键点，一是如何把之前任务的经验用上，使得更快更好的完成学习当前任务，二是学习当前任务时，不会忘记之前已经学会的任务。到目前为止，该技术领域仍然面临诸多挑战，其中最为主要的是神经网络存在灾难性遗忘问题。所谓灾难性遗忘，即学习新知识后，几乎彻底遗忘掉之前习得的内容。

根据持续学习过程中如何存储和使用任务信息，可将持续学习方法分为三类：基于回放的方法(Replay-based methods)、基于正则化的方法(Regularization-basedmethods)和基于参数隔离的方法(Parameter isolation-based methods)。基于回放的方法是指根据特定格式存储之前学习过的样本或者构建生成模型生成与旧样本相似的伪样本，与新任务的样本放在一起混合训练，此类方法会占用一定的存储空间。基于正则化的方法不需要额外的存储空间，即在损失函数中加入一个额外的正则化项，以在学习新数据的同时巩固先前的知识，此方法可能会因为惩罚力度不够从而产生灾难性遗忘，并且随着任务量的增加，固定的模型容量不能学习无限量的任务。基于参数隔离的方法是指模型参数的不同子集专用于单个任务，在模型尺寸固定时模型学习的任务数量有限，或者模型尺寸随着任务量的增加而大幅增加。

发明内容

本公开一方面提供一种基于任务域知识迁移的神经网络持续学习方法，包括：提取当前任务的输入图像的特征；根据特征对当前任务的输入图像进行分类；其中，当当前任务对应的分类模块能识别特征时，则利用当前任务对应的分类模块对输入图像进行分类，否则，执行以下操作：利用第一特征迁移模块将特征迁移为与第一任务相关的第一特征，利用第一任务对应的分类模块对第一特征进行分类；若第一任务对应的分类模块不能全部完成对当前任务的分类，则利用第二特征迁移模块将第一特征迁移为与第二任务相关的第二特征，利用第二任务对应的分类模块对第二特征进行分类；以此类推，直到得到当前任务的输入图像的分类结果。

可选地，上述方法还包括：当接收新任务的输入图像时，增加一个特征迁移模块和一个分类模块，并固定已有的特征迁移模块和分类模块；提取新任务的输入图像的特征，利用新增的特征训练新增的分类模块，以实现新增的分类模块对新任务的输入图像分类；将新增的特征送入新增的特征迁移模块，以训练新增的特征迁移模块将新增的特征向前一相邻旧任务的特征迁移，直到得到新任务输入图像的特征映射到旧任务对应的特征。

可选地，将新增的特征送入新增的特征迁移模块，训练新增的特征迁移模块将新增的特征向前一相邻旧任务的特征迁移，包括：根据新增的特征经新增的特征迁移模块迁移后输出的特征与旧任务的特征计算均方误差损失以训练新增的特征迁移模块。

可选地，利用新增的特征训练新增的分类模块，包括：使用交叉熵分类损失训练新增的分类模块。

本公开另一方面提供一种基于任务域知识迁移的神经网络持续学习装置，包括：特征提取模块，用于提取当前任务的输入图像的特征；至少一个特征迁移模块，用于当当前任务对应的分类模块无法识别特征时，利用第一特征迁移模块将特征迁移为与第一任务相关的第一特征；若第一任务对应的分类模块不能全部完成对当前任务的分类，则利用第二特征迁移模块将第一特征迁移为与第二任务相关的第二特征；以此类推，依次将迁移后的特征送入特征迁移模块，直到得到当前任务输入图像映射到旧任务对应的特征；至少一个分类模块，当当前任务对应的分类模块能识别特征时，利用当前任务对应的分类模块根据特征对当前任务的输入图像进行分类；或者，当当前任务对应的分类模块无法识别特征时，对应任务的分类模块用于接收对应的特征迁移模块迁移后的特征并进行分类，得到当前任务的输入图像的分类结果。

可选地，上述装置还包括：配置模块，用于当对新任务的输入图像进行分类时，增加一个特征迁移模块和一个分类模块，并固定已有的旧任务对应的特征迁移模块和分类模块；其中：特征提取模块用于提取新任务的输入图像的特征，并利用新增的特征训练新增的分类模块，以实现新增的分类模块对新任务的输入图像的分类；特征提取模块还用于将新增的特征送入新增的特征迁移模块，以训练新增的特征迁移模块将新增的特征向前一相邻旧任务的特征迁移，直到得到新任务输入图像的特征映射到旧任务对应的特征。

可选地，特征提取模块包括含跳接结构的残差网络，残差网络用于提取每个任务的输入图像的特征。

可选地，特征迁移模块包括全连接层结构和残差结构，全连接层结构和残差结构用于接收特征提取模块提取的每个任务的输入图像的特征，并将特征向前一相邻旧任务迁移，输出与前一相邻旧任务相关的特征。

本公开的另一方面提供一种电子设备，电子设备包括处理器和存储器，存储器中存储有至少一条指令，指令在被处理器执行时实现如上所述的方法。

本公开的又一方面提供一种计算机可读存储介质，存储介质中存储有至少一条指令，指令在被处理器执行时实现如上所述的方法。

附图说明

图1示出了本公开实施例中基于任务域知识迁移的神经网络持续学习模型构建过程的示意图；

图2示出了本公开实施例中基于任务域知识迁移的神经网络持续学习模型结构示意图；

图3示意性示出了本公开实施例中特征迁移模块的结构图；

图4示意性示出了本公开实施例的基于任务域知识迁移的神经网络持续学习方法的流程图；

图5A示意性示出了根据本公开实施例的基于任务域知识迁移的神经网络持续学习装置的框图；

图5B示意性示出了根据本公开另一实施例的基于任务域知识迁移的神经网络持续学习装置的框图；

图6示意性示出了根据本公开实施例的电子设备的框图。

附图标记说明：

300：特征迁移模块；

310：两层全连接层；

320：残差结构；

500：基于任务域知识迁移的神经网络持续学习装置；

510：特征提取模块；

520：特征迁移模块组；

521、522、……、52N-1：特征迁移模块；

530：分类模块组；

531、532、533、……、53N：分类模块；

540：配置模块；

S1、S2、S3：操作步骤；

600：电子设备；

610：处理器；

620：计算机可读存储介质；

621：计算机程序；

621A、621B、……：计算机程序模块。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。

为了解决现有持续学习方法需要额外存储空间、不能无限量学习任务和模型参数量较大的问题，本公开采用迁移学习的思想，构建了一个基于任务域知识迁移的神经网络持续学习模型，并基于上述神经网络持续学习模型提出了一种基于任务域知识迁移的神经网络持续学习方法、装置、电子设备和介质，用以解决上述技术问题的至少之一。

图1示出了本公开实施例中基于任务域知识迁移的神经网络持续学习模型构建过程的示意图。

如图1所示，该持续学习模型构建思路为：基于迁移学习的思想，利用特征迁移模块将提取的输入图像的特征依次向前一任务特征迁移，然后将迁移后的特征送入对应任务的分类模块，实现最终的图像分类任务，输出每个类别的概率值，最大概率值对应的类别即为预测的图像类别。

请继续参照图1，具体地，该持续学习模型的构建方法包括操作S101～S106。

其中，在操作S101中，利用特征提取模块提取第一个任务输入图像(例如图1中的输入图像1)的特征，然后将提取的特征送入与第一个任务对应的分类模块(例如图1中的分类模块1)进行识别，以此确定神经网络参数的初始值。

在操作S102中，当接收第二个任务的输入图像数据时(例如图1中的输入图像2)，在神经网络中增加一个特征迁移模块(例如图1中的特征迁移模块1)和一个分类模块(例如图1中的分类模块2)，并固定已有的分类模块(例如图1中的分类模块1)。

在操作S103中，利用特征提取模块提取第二个任务的输入图像的特征，将上述特征送入新增的分类模块(例如图1中的分类模块2)，以训练新增的分类模块(例如图1中的分类模块2)识别第二个任务中的输入图像(例如图1中的输入图像2)。

在操作S104中，将上述特征提取模块提取的第二个任务的输入图像(例如图1中的输入图像2)的特征送入新增的特征迁移模块(例如图1中的特征迁移模块1)中，利用新增的特征迁移模块将提取的第二个任务的特征迁移并转换为与第一个任务的输入图像相关的特征。

在操作S105中，新增的特征迁移模块将该迁移后的特征送入第一个任务对应的分类模块(例如图1中的分类模块1)中进行识别。

在操作S106中，按照上述操作S102～S105中步骤，具体地，每当接收一个新学习任务的输入图像数据时，在神经网络中增加一个特征迁移模块和一个分类模块，并固定已有的分类模块和特征迁移模块。然后将特征提取模块提取的新任务输入图像的特征分别送入新增的分类模块和特征迁移模块。利用新增的特征训练新增的分类模块识别新任务的输入图像，并利用新增的特征迁移模块将新任务的特征迁移为与前一相邻旧任务对应的特征，以实现对特征迁移模块的训练。以此类推，依次将N(其中，N为大于等于1的正整数，N的取值具体可以根据实际应用需要进行定义，在此不做限定。下文及附图中所述“N”或者“N-1”或者“N+1”均同此定义，后续不再赘述)个任务对应的不同的输入图像送入特征提取模块，以构建如图2所示的持续学习模型结构。

图2示出了本公开实施例中基于任务域知识迁移的神经网络持续学习模型结构示意图。

如图2所示，上述基于任务域知识迁移的神经网络持续学习模型包括一个特征提取模块、N-1个特征迁移模块和N个分类模块。

需要注意的是，根据本公开实施例，上述特征迁移模块和分类模块的数量并不限于图1和图2中所示的内容，在实际操作中，可在训练阶段构建模型时根据具体的任务数量增加相应模块，或者在应用持续学习模型进行图像分类的过程中根据新学习任务相应增加特征迁移模块和分类模块的数量。而对于新增的特征迁移模块和分类模块，只需要利用上述操作S102～S105的方法完成训练后即可实现对新任务的图像分类。通过上述方法可以通过轻量化的特征迁移模块实现新旧任务之间的特征转化，进而将转化后的特征送入对应任务的分类模块，从而实现分类功能。基于此，使得多任务之间共享特征提取模块，在模型参数量增加较少以及不需要存储旧任务样本的情况下实现无限任务的持续学习。

根据本公开实施例，特征提取模块包括含跳接结构的残差网络，残差网络用于提取每个任务的输入图像的特征。例如，特征提取模块可以采用十八层的残差网络实现，通过全局池化生成512维度的特征向量。

根据本公开实施例，特征迁移模块包括全连接层结构和残差结构，全连接层结构和残差结构用于接收特征提取模块提取的每个任务的输入图像的特征，并将所述特征向前一相邻旧任务迁移，输出与所述前一相邻旧任务相关的特征。

具体地，图3示意示出了本公开实施例中特征迁移模块的结构图。如图3所示，该特征迁移模块300由两层全连接层310和残差结构320构成，相比于特征提取模块，该特征迁移模块300属于一种轻量化的网络结构，也即其包含的训练参数少，需要的存储空间小。

特征迁移模块300用于学习相邻两任务特征提取模块之间的差异性。具体地，残差结构320通过加和的形式使得两层全连接层310免于学习新任务的特征中与旧任务的特征相同的部分。也即，两层全连接层310只用学习新旧任务特征之间的差异，最终将两层全连接层310的输出特征与新任务的特征加和，得到迁移后的旧任务对应的特征。

在本公开实施例中，特征迁移模块输入的特征向量是特征提取模块输出的特征向量，特征迁移模块输入的特征向量的维度(即第一层全连接层的节点个数)与特征迁移模块输出的特征向量维度(即第二层的全连接层节点个数)相同，特征迁移模块输出的特征向量的维度与分类模块输入的特征向量的维度相同。换而言之，特征提取模块、特征迁移模块以及分类模块处理的特征向量的维度数相同。例如，特征提取模块输出维度为512的特征向量，特征迁移模块输出的特征向量维度(即第二层的全连接层节点个数)也为512，分类模块处理的特征向量的维度也为512。

其中，两层全连接层310中第一层全连接层的节点个数和第二层全连接层的节点个数可以根据实际情况进行选择和构建，两层全连接层结构构成一个轻量化的模块实现特征迁移。

在本公开实施例中，对应任务的分类模块在将接收到特征之后，对其进行分类，输出每个类别的概率值，最大概率值对应的类别即为预测的图像类别，以得到当前任务的输入图像的分类结果。

本公开采用迁移学习的思想，构建的一种基于任务域知识迁移的神经网络持续学习模型，其通过轻量化的特征迁移模块实现新旧任务之间的特征转化，进而将转化后的特征送入对应任务的分类模块，从而实现分类功能。本公开在保证模型轻量化的同时，也避免灾难性遗忘问题。相比于现有的持续学习模型，本公开中构建的持续学习模型具有以下几个优势：第一，无需额外的存储空间存储旧任务的数据样本；第二，通过迁移模块的级联结构可以实现无限任务的学习；第三，由于各个任务之间共享特征提取模块，因此针对新增任务只需增加一个轻量化的特征迁移模块和分类模块，可以实现整体模型的轻量化，在无需额外存储空间以及模型参数增加较少的情况下完成无限量任务的持续学习。

基于上述神经网络持续学习模型，本公开提出一种基于任务域知识迁移的神经网络持续学习方法、装置、电子设备和介质。

图4示意性示出了本公开实施例的基于任务域知识迁移的神经网络持续学习方法的流程图。

如图4所示，本公开提出一种基于任务域知识迁移的神经网络持续学习方法，包括操作S410～S420。

在操作S410，提取当前任务的输入图像的特征。具体地，利用特征提取模块提取当前任务的输入图像的特征。

在操作S420，根据特征对当前任务的输入图像进行分类。其中，在操作S420中还包括操作S421～S423。

其中，在操作S421，当当前任务对应的分类模块能识别特征时，则利用当前任务对应的分类模块对输入图像进行分类，否则，执行操作S422～S423。

在操作S422，利用第一特征迁移模块将特征迁移为与第一任务相关的第一特征，利用第一任务对应的分类模块对第一特征进行分类。

在操作S423，若第一任务对应的分类模块不能全部完成对当前任务的分类，则利用第二特征迁移模块将第一特征迁移为与第二任务相关的第二特征，利用第二任务对应的分类模块对第二特征进行分类，以此类推，直到得到当前任务的输入图像的分类结果。

根据本公开实施例，上述方法还包括操作S430～S450。

在操作S430，当接收新任务的输入图像时，增加一个特征迁移模块和一个分类模块，并固定已有的特征迁移模块和分类模块。

在操作S440，提取新任务的输入图像的特征，利用新增的特征训练新增的分类模块，以实现新增的分类模块对新任务的输入图像分类。

在操作S450，将新增的特征送入新增的特征迁移模块，以训练新增的特征迁移模块将新增的特征向前一相邻旧任务的特征迁移，直到得到新任务输入图像的特征映射到旧任务对应的特征。

根据本公开实施例，在操作S440中，将新增的特征送入新增的特征迁移模块，训练新增的特征迁移模块将新增的特征向前一相邻旧任务的特征迁移，包括：根据新增的特征经新增的特征迁移模块迁移后输出的特征与旧任务的特征计算均方误差损失以训练新增的特征迁移模块。

根据本公开实施例，在操作S450中，利用新增的特征训练新增的分类模块，包括：使用交叉熵分类损失训练新增的分类模块。其中，使用交叉熵分类损失训练新增的分类模块的方式与现有技术相同，在此不再赘述。

相比于现有的持续学习方法，本公开提出的基于任务域知识迁移的神经网络持续学习方法具有以下几个优势：第一，无需额外的存储空间存储旧任务的数据样本；第二，通过迁移模块的级联结构可以实现无限任务的学习；第三，由于各个任务之间共享特征提取模块，因此针对新增任务只需增加一个轻量化的特征迁移模块和分类模块，可以实现整体模型的轻量化，在无需额外存储空间以及模型参数增加较少的情况下完成无限量任务的持续学习。

图5A和图5B示意性示出了根据本公开实施例的基于任务域知识迁移的神经网络持续学习装置的框图。

如图5A所示，该装置500包括特征提取模块510、特征迁移模块组520和分类模块组530。

特征提取模块510，用于提取当前任务的输入图像的特征。

特征迁移模块组520，包括一个或多个特征迁移模块，例如包括第一特征迁移模块521、第二特征迁移模块522、……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的特征迁移模块或特征迁移模块组合。其中，特征迁移模块组520中各特征迁移模块与图2所示的持续学习模型中的特征迁移模块具有相同的结构(其结构具体如图3所示)和功能，在此不再赘述。

在本公开实施例中，当当前任务对应的分类模块无法识别特征时，例如当第一分类模块531无法识别输入图像的特征时，利用第一特征迁移模块521将特征提取模块510提取的特征迁移为与第一任务相关的第一特征；若第一任务对应的分类模块531不能全部完成对当前任务的分类，则利用第二特征迁移模块522将第一特征迁移为与第二任务相关的第二特征；以此类推，依次将迁移后的特征送入特征迁移模块，直到得到与当前任务的输入图像的特征映射到旧任务对应相关的特征。

分类模块组530，包括一个或多个分类模块，例如包括第一分类模块531、第二分类模块532、……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的分类模块或分类模块组合。其中，分类模块组530中各分类模块与图2所示的持续学习模型中的分类模块具有相同的结构和功能，在此不再赘述。

在本公开实施例中，当当前任务对应的分类模块能识别特征时，利用当前任务对应的分类模块根据特征对当前任务的输入图像进行分类。如图5A所示，例如当第一分类模块531能够识别输入图像的特征时，将特征提取模块510提取的特征送入第一分类模块531中进行分类(图5A中示出的操作S1)，输出对应的分类结果。

当当前任务对应的分类模块无法识别特征时，对应任务的分类模块用于接收对应的特征迁移模块迁移后的特征并进行分类，得到当前任务的输入图像的分类结果。例如，当第一分类模块531无法识别输入图像的特征，而第二分类模块532可以识别上述特征时，利用第一特征迁移模块521将特征提取模块510提取的特征迁移至第二分类模块532(例如图5中示出的操作S2和操作S3)，在此过程中，上述特征转换为第二分类模块532能识别的特征。第二分类模块532接收到上述迁移后的特征后对其进行分类，输出对应的分类结果。

如图5B所示，该装置500还包括：配置模块540。

根据本公开实施例，配置模块540用于当对新任务的输入图像进行分类时，增加一个特征迁移模块和一个分类模块，并固定已有的旧任务对应的特征迁移模块和分类模块；其中：

特征提取模块510用于提取新任务的输入图像的特征，并利用新增的特征训练新增的分类模块，以实现新增的分类模块对新任务的输入图像的分类。

特征提取模块510还用于将新增的特征送入新增的特征迁移模块，以训练新增的特征迁移模块将新增的特征向前一相邻旧任务的特征迁移，直到得到新任务输入图像的特征映射到旧任务对应的特征。

在应用阶段，新增的特征迁移模块与旧任务对应的特征迁移模块将迁移后的特征送入对应任务的分类模块进行分类，得到新任务的输入图像的分类结果。

可见，针对新增的图像分类任务，本公开的基于任务域知识迁移的神经网络持续学习装置只需增加一个轻量化的特征迁移模块和分类模块，在实现整体模型的轻量化的同时，无需额外存储空间以及模型参数增加较少的情况下就可以完成无限量任务的输入图像的分类。

根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

例如，特征提取模块510、特征迁移模块组520、分类模块组530和配置模块540中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，特征提取模块510、特征迁移模块组520、分类模块组530和配置模块540中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，特征提取模块510、特征迁移模块组520、分类模块组530和配置模块540中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图6示意性示出了根据本公开实施例的适于实现上文描述的方法的电子设备的方框图。图6示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图6所示，电子设备600包括处理器610、计算机可读存储介质620。该电子设备600可以执行根据本公开实施例的方法。

具体地，处理器610例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器610还可以包括用于缓存用途的板载存储器。处理器610可以是用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

计算机可读存储介质620，例如可以是非易失性的计算机可读存储介质，具体示例包括但不限于：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；等等。

计算机可读存储介质620可以包括计算机程序621，该计算机程序621可以包括代码/计算机可执行指令，其在由处理器610执行时使得处理器610执行根据本公开实施例的方法或其任何变形。

计算机程序621可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序621中的代码可以包括一个或多个程序模块，例如包括模块621A、模块621B、……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器610执行时，使得处理器610可以执行根据本公开实施例的方法或其任何变形。

根据本发明的实施例，特征提取模块510、特征迁移模块组520、分类模块组530和配置模块540中的至少一个可以实现为参考图6描述的计算机程序模块，其在被处理器610执行时，可以实现上面描述的相应操作。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。

Claims (10)

1.一种基于任务域知识迁移的神经网络持续学习方法，其特征在于，包括：

提取当前任务的输入图像的特征；

根据所述特征对所述当前任务的输入图像进行分类；

其中，当所述当前任务对应的分类模块能识别所述特征时，则利用所述当前任务对应的分类模块对所述输入图像进行分类，否则，执行以下操作：

利用第一特征迁移模块将所述特征迁移为与第一任务相关的第一特征，利用所述第一任务对应的分类模块对所述第一特征进行分类；其中，所述第一任务为所述当前任务的前一相邻旧任务；

若所述第一任务对应的分类模块不能全部完成对所述当前任务的分类，则利用第二特征迁移模块将所述第一特征迁移为与第二任务相关的第二特征，利用所述第二任务对应的分类模块对所述第二特征进行分类；其中，所述第二任务为所述第一任务的前一相邻旧任务；

以此类推，直到得到所述当前任务的输入图像的分类结果。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当接收新任务的输入图像时，增加一个特征迁移模块和一个分类模块，并固定已有的特征迁移模块和分类模块；

提取所述新任务的输入图像的特征，利用新增的特征训练新增的分类模块，以实现所述新增的分类模块对所述新任务的输入图像分类；

将所述新增的特征送入新增的特征迁移模块，以训练所述新增的特征迁移模块将所述新增的特征向前一相邻旧任务的特征迁移，直到得到所述新任务输入图像的特征映射到所述旧任务对应的特征。

3.根据权利要求2所述的方法，其特征在于，所述将所述新增的特征送入新增的特征迁移模块，训练所述新增的特征迁移模块将所述新增的特征向前一相邻旧任务的特征迁移，包括：

根据所述新增的特征经所述新增的特征迁移模块迁移后输出的特征与所述旧任务的特征计算均方误差损失以训练所述新增的特征迁移模块。

4.根据权利要求2所述的方法，其特征在于，所述利用新增的特征训练新增的分类模块，包括：使用交叉熵分类损失训练所述新增的分类模块。

5.一种基于任务域知识迁移的神经网络持续学习装置，其特征在于，包括：

特征提取模块，用于提取当前任务的输入图像的特征；

至少一个特征迁移模块，用于当所述当前任务对应的分类模块无法识别所述特征时，利用第一特征迁移模块将所述特征迁移为与第一任务相关的第一特征；其中，所述第一任务为所述当前任务的前一相邻旧任务；若所述第一任务对应的分类模块不能全部完成对所述当前任务的分类，则利用第二特征迁移模块将所述第一特征迁移为与第二任务相关的第二特征；其中，所述第二任务为所述第一任务的前一相邻旧任务；以此类推，依次将迁移后的特征送入特征迁移模块，直到得到所述当前任务输入图像的特征映射到旧任务对应的特征；

至少一个分类模块，当所述当前任务对应的分类模块能识别所述特征时，利用所述当前任务对应的分类模块根据所述特征对所述当前任务的输入图像进行分类；或者，当所述当前任务对应的分类模块无法识别所述特征时，对应任务的分类模块用于接收对应的特征迁移模块迁移后的特征并进行分类，得到所述当前任务的输入图像的分类结果。

6.根据权利要求5所述的装置，其特征在于，所述装置还包括：

配置模块，用于当对新任务的输入图像进行分类时，增加一个特征迁移模块和一个分类模块，并固定已有的旧任务对应的特征迁移模块和分类模块；其中：

所述特征提取模块用于提取所述新任务的输入图像的特征，并利用新增的特征训练新增的分类模块，以实现所述新增的分类模块对所述新任务的输入图像的分类；

所述特征提取模块还用于将所述新增的特征送入新增的特征迁移模块，以训练所述新增的特征迁移模块将所述新增的特征向前一相邻旧任务的特征迁移，直到得到所述新任务输入图像的特征映射到所述旧任务对应的特征。

7.根据权利要求5或6所述的装置，其特征在于，所述特征提取模块包括含跳接结构的残差网络，所述残差网络用于提取每个任务的输入图像的特征。

8.根据权利要求5或6所述的装置，其特征在于，所述特征迁移模块包括全连接层结构和残差结构，所述全连接层结构和所述残差结构用于接收所述特征提取模块提取的每个任务的输入图像的特征，并将所述特征向前一相邻旧任务迁移，输出与所述前一相邻旧任务相关的特征。

9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如权利要求1-4中任一项所述的方法所执行的操作。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如权利要求1-4中任一项所述的方法所执行的操作。

Images