CN113850302B - 一种增量学习方法、装置及设备 - Google Patents

Abstract

本申请提供一种增量学习方法、装置及设备，该方法包括：将混合数据输入给原始任务模型得到第一特征向量，将混合数据输入给初始增量模型得到第二特征向量，所述混合数据包括目标生成器生成的虚拟数据和增量数据；基于第一特征向量和第二特征向量对初始增量模型的参数值进行调整，得到调整后增量模型；若调整后增量模型未收敛，则将调整后增量模型确定为初始增量模型，返回执行将混合数据输入给原始任务模型得到第一特征向量的操作；若调整后增量模型已收敛，则将调整后增量模型确定为已完成增量学习的目标增量模型。通过本申请的技术方案，可以有效缓解目标增量模型的灾难性遗忘，并保护数据隐私。

Description

一种增量学习方法、装置及设备

技术领域

本申请涉及人工智能技术领域，尤其涉及一种增量学习方法、装置及设备。

背景技术

机器学习是实现人工智能的一种途径，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习用于研究计算机如何模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习更加注重算法设计，使计算机能够自动地从数据中学习规律，并利用规律对未知数据进行预测。机器学习已经有了十分广泛的应用，如深度学习、数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学诊断、语音和手写识别等等。

增量学习是机器学习的一种学习方式，是指算法模型能够从不断新增的样本中学习到新知识，并能够保存大部分以前已经学习到的知识。但是，在进行增量学习时，通常会出现灾难性遗忘现象，灾难性遗忘是一种现象，是指随着增量任务的训练，算法模型在旧任务上的性能出现急剧下降的现象，即旧任务上的性能降低，也就是说，在模型的应用场景更换后，性能下降严重。

发明内容

本申请提供一种增量学习方法，所述方法包括：

获取目标生成器、原始任务模型和初始增量模型；所述原始任务模型基于原始数据训练得到，所述初始增量模型的网络结构与所述原始任务模型的网络结构相同，且所述初始增量模型的参数值与所述原始任务模型的参数值不同；

将混合数据输入给所述原始任务模型得到第一特征向量，将所述混合数据输入给所述初始增量模型得到第二特征向量；其中，所述混合数据包括所述目标生成器生成的虚拟数据、用于对初始增量模型进行增量学习的增量数据；

基于所述第一特征向量和所述第二特征向量对所述初始增量模型的参数值进行调整，得到调整后增量模型；

若所述调整后增量模型未收敛，则将所述调整后增量模型确定为初始增量模型，返回执行将混合数据输入给所述原始任务模型得到第一特征向量的操作；

若所述调整后增量模型已收敛，则将所述调整后增量模型确定为已完成增量学习的目标增量模型，所述目标增量模型用于对待检测数据进行处理。

示例性的，所述基于所述第一特征向量和所述第二特征向量对所述初始增量模型的参数值进行调整，得到调整后增量模型，包括：基于所述第一特征向量和所述第二特征向量确定第一目标损失值；基于所述第一目标损失值对所述初始增量模型的参数值进行调整，得到所述调整后增量模型。

示例性的，所述基于所述第一特征向量和所述第二特征向量确定第一目标损失值，包括：基于特征差异化损失值确定所述第一目标损失值；或者，基于特征差异化损失值和类别交叉熵损失值确定所述第一目标损失值；其中：

所述特征差异化损失值的确定方式包括：确定所述第一特征向量与所述第二特征向量之间的距离，基于所述距离确定所述特征差异化损失值。

示例性的，所述类别交叉熵损失值的确定方式包括：将混合数据输入给所述原始任务模型得到K个类别分别对应的置信度，K为大于1的正整数；

从所有置信度中选取最大置信度，将最大置信度对应的类别确定为所述第一特征向量的伪标签，并将最大置信度确定为所述伪标签的目标置信度；

基于所述伪标签的目标置信度确定所述类别交叉熵损失值。

在一种可能的实施方式中，所述获取目标生成器包括：

基于初始生成器生成模拟数据，将所述模拟数据输入给原始任务模型得到第三特征向量，并将所述模拟数据输入给初始随机模型得到第四特征向量；其中，所述初始随机模型的网络结构与所述原始任务模型的网络结构相同，且所述初始随机模型的参数值与所述原始任务模型的参数值不同；

基于所述第三特征向量和所述第四特征向量对所述初始生成器的参数值进行调整，得到调整后生成器，并基于所述第三特征向量和所述第四特征向量对所述初始随机模型的参数值进行调整，得到调整后随机模型；

若调整后生成器未收敛，则将调整后生成器确定为初始生成器，将调整后随机模型确定为初始随机模型，返回执行基于初始生成器生成模拟数据的操作；

若调整后生成器已收敛，则将所述调整后生成器确定为已完成训练的目标生成器，所述目标生成器用于保持目标增量模型在原始数据的性能。

示例性的，所述基于所述第三特征向量和所述第四特征向量对所述初始生成器的参数值进行调整，得到调整后生成器，并基于所述第三特征向量和所述第四特征向量对所述初始随机模型的参数值进行调整，得到调整后随机模型，包括：基于所述第三特征向量和所述第四特征向量确定第二目标损失值；基于所述第二目标损失值对所述初始生成器的参数值进行调整，得到所述调整后生成器，并基于所述第二目标损失值对所述初始随机模型的参数值进行调整，得到所述调整后随机模型。

示例性的，所述基于所述第三特征向量和所述第四特征向量确定第二目标损失值，包括：基于特征反差异化损失值确定所述第二目标损失值；或者，基于特征反差异化损失值和候选损失值确定所述第二目标损失值；其中：

所述特征反差异化损失值的确定方式包括：确定所述第三特征向量与所述第四特征向量之间的距离，并基于所述距离确定所述特征反差异化损失值。

在一种可能的实施方式中，所述候选损失值可以包括但不限于以下至少一种：统计量约束损失值、类别约束损失值、多样性约束损失值；

所述统计量约束损失值的确定方式包括：将所述模拟数据输入给原始任务模型，得到原始任务模型的目标网络层输出的特征向量对应的目标统计量；基于所述目标统计量与所述目标网络层的固有统计量的差值确定统计量约束损失值；其中，固有统计量为均值，目标统计量为均值，或，固有统计量为方差，目标统计量为方差，或，固有统计量为均值和方差，目标统计量为均值和方差；

所述类别约束损失值的确定方式包括：将所述模拟数据输入给原始任务模型得到K个类别分别对应的置信度；从所有置信度中选取最大置信度，将最大置信度对应的类别确定为所述第三特征向量的伪标签，将最大置信度确定为所述伪标签的目标置信度；基于所述伪标签的目标置信度确定类别约束损失值；

所述多样性约束损失值的确定方式包括：针对M个模拟数据中的每个模拟数据，M为大于1的正整数，将所述模拟数据输入给原始任务模型得到K个类别分别对应的置信度；针对每个类别，确定所述类别对应的所有置信度的平均置信度，并基于K个类别对应的平均置信度确定多样性约束损失值。

在一种可能的实施方式中，所述原始任务模型包括分类网络层，且所述初始随机模型包括分类网络层，所述调整后生成器已收敛之后，所述方法还包括：

拷贝原始任务模型中的分类网络层到初始随机模型中的分类网络层；

基于验证数据集中的每个验证数据，将所述验证数据输入给所述原始任务模型，得到所述验证数据对应的第一分类结果，并将所述验证数据输入给所述初始随机模型，得到所述验证数据对应的第二分类结果；基于所有验证数据对应的第一分类结果和第二分类结果确定所述初始随机模型的检测准确率；

若所述检测准确率大于阈值，则将所述调整后生成器确定为目标生成器。

示例性的，所述目标生成器生成虚拟数据的过程，包括：将固定维度的随机噪声向量输出给所述目标生成器，以使所述目标生成器对所述随机噪声向量进行上采样，得到指定分辨率的虚拟数据；其中，所述虚拟数据包括RGB图像。

本申请提供一种增量学习装置，所述装置包括：

获取模块，用于获取目标生成器、原始任务模型和初始增量模型；所述原始任务模型基于原始数据训练得到，所述初始增量模型的网络结构与所述原始任务模型的网络结构相同，所述初始增量模型的参数值与所述原始任务模型的参数值不同；将混合数据输入给所述原始任务模型得到第一特征向量，将所述混合数据输入给所述初始增量模型得到第二特征向量；其中，所述混合数据包括目标生成器生成的虚拟数据、用于对初始增量模型进行增量学习的增量数据；

训练模块，用于基于所述第一特征向量和所述第二特征向量对所述初始增量模型的参数值进行调整，得到调整后增量模型；若所述调整后增量模型未收敛，则将所述调整后增量模型确定为初始增量模型，以由所述获取模块将混合数据输入给所述原始任务模型得到第一特征向量；若所述调整后增量模型已收敛，则将所述调整后增量模型确定为已完成增量学习的目标增量模型；

其中，所述目标增量模型用于对待检测数据进行处理。

本申请提供一种增量学习设备，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；

所述处理器用于执行机器可执行指令，以实现如下步骤：

获取目标生成器、原始任务模型和初始增量模型；所述原始任务模型基于原始数据训练得到，所述初始增量模型的网络结构与所述原始任务模型的网络结构相同，且所述初始增量模型的参数值与所述原始任务模型的参数值不同；

将混合数据输入给所述原始任务模型得到第一特征向量，将所述混合数据输入给所述初始增量模型得到第二特征向量；其中，所述混合数据包括所述目标生成器生成的虚拟数据、用于对初始增量模型进行增量学习的增量数据；

基于所述第一特征向量和所述第二特征向量对所述初始增量模型的参数值进行调整，得到调整后增量模型；

若所述调整后增量模型未收敛，则将所述调整后增量模型确定为初始增量模型，返回执行将混合数据输入给所述原始任务模型得到第一特征向量的操作；

若所述调整后增量模型已收敛，则将所述调整后增量模型确定为已完成增量学习的目标增量模型，所述目标增量模型用于对待检测数据进行处理。

由以上技术方案可见，本申请实施例中，可以基于目标生成器生成虚拟数据，基于虚拟数据(代替用于训练原始任务模型的原始数据)和增量数据对初始增量模型进行训练(即增量学习)，得到目标增量模型，虽然没有使用原始数据对初始增量模型进行训练(考虑到在某些场景下，出于数据隐私保护的需求，无法得到原始数据)，但是，基于虚拟数据训练的目标增量模型也能够保持针对原始数据的性能，即不会发生灾难性遗忘现象，目标增量模型对数据的性能不会出现急剧下降。例如，对于某些待检测数据来说，原始任务模型具有很好的检测性能，且目标增量模型也具有很好的检测性能。在上述方式中，对初始增量模型进行增量学习时，不需要依赖任何旧任务的训练数据(即原始数据)，仅利用原始任务模型巧妙地训练出目标生成器，目标生成器生成的虚拟数据可以有效缓解目标增量模型的灾难性遗忘，整个训练过程不使用任何旧任务的训练数据。由于不需要依赖任何旧任务的训练数据，因此，可以保护数据隐私。目标生成器生成的虚拟数据，直接和增量数据混合参与模型训练，不需要落盘存储虚拟数据，即虚拟数据不需要额外占用数据存储空间。

附图说明

图1是本申请一种实施方式中的增量学习方法的流程示意图；

图2是本申请一种实施方式中的免数据增量学习的训练框架示意图；

图3是本申请一种实施方式中的初始生成器生成数据的示意图；

图4是本申请一种实施方式中的目标生成器的训练示意图；

图5是本申请一种实施方式中的目标增量模型的训练示意图；

图6是本申请一种实施方式中的增量学习装置的结构示意图。

具体实施方式

在本申请实施例使用的术语仅仅是出于描述特定实施例的目的，而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。还应当理解，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本申请实施例中提出一种增量学习方法，参见图1所示，该方法可以包括：

步骤101、获取目标生成器、原始任务模型和初始增量模型。其中，原始任务模型基于原始数据训练得到，初始增量模型的网络结构与原始任务模型的网络结构相同，且初始增量模型的参数值与原始任务模型的参数值不同。

步骤102、将混合数据输入给原始任务模型得到第一特征向量，并将混合数据输入给初始增量模型得到第二特征向量。其中，混合数据可以包括目标生成器生成的虚拟数据、用于对初始增量模型进行增量学习的增量数据。

步骤103、基于第一特征向量和第二特征向量对初始增量模型的参数值进行调整，得到调整后增量模型(即将调整后的初始增量模型记为调整后增量模型)

比如说，可以基于第一特征向量和第二特征向量确定第一目标损失值，并基于第一目标损失值对初始增量模型的参数值进行调整，得到调整后增量模型。

示例性的，可以基于特征差异化损失值确定第一目标损失值；或者，可以基于特征差异化损失值和类别交叉熵损失值确定第一目标损失值。

在一种可能的实施方式中，特征差异化损失值的确定方式，包括：确定第一特征向量与第二特征向量之间的距离，并基于该距离确定特征差异化损失值。

在一种可能的实施方式中，类别交叉熵损失值的确定方式，可以包括：将混合数据输入给原始任务模型得到K个类别分别对应的置信度，K可以为大于1的正整数。然后，从所有置信度中选取出最大置信度，将最大置信度对应的类别确定为第一特征向量的伪标签，并将最大置信度确定为该伪标签的目标置信度；然后，可以基于伪标签的目标置信度确定类别交叉熵损失值。

步骤104、若调整后增量模型未收敛，则将调整后增量模型确定为初始增量模型，返回执行将混合数据输入给原始任务模型得到第一特征向量的操作。

步骤105、若调整后增量模型已收敛，则将调整后增量模型确定为已完成增量学习的目标增量模型，该目标增量模型用于对待检测数据进行处理(即人工智能处理)。比如说，在得到待检测数据后，可以将待检测数据输入给目标增量模型，由目标增量模型对待检测数据进行人工智能处理，得到处理结果。

在一种可能的实施方式中，获取目标生成器的过程，包括但不限于：获取预先配置的目标生成器。或者，基于初始生成器生成模拟数据，将模拟数据输入给原始任务模型得到第三特征向量，并将模拟数据输入给初始随机模型得到第四特征向量；其中，初始随机模型的网络结构与原始任务模型的网络结构相同，且初始随机模型的参数值与原始任务模型的参数值不同；然后，基于第三特征向量和第四特征向量对初始生成器的参数值进行调整，得到调整后生成器，并基于第三特征向量和第四特征向量对初始随机模型的参数值进行调整，得到调整后随机模型。在此基础上，若调整后生成器未收敛，则将调整后生成器确定为初始生成器，将调整后随机模型确定为初始随机模型，返回执行基于初始生成器生成模拟数据的操作。若调整后生成器已收敛，则将调整后生成器确定为已完成训练的目标生成器，即得到目标生成器，且该目标生成器用于保持目标增量模型在原始数据的性能。

示例性的，在对初始生成器的参数值和初始随机模型的参数值进行调整时，可以基于第三特征向量和第四特征向量确定第二目标损失值，并基于第二目标损失值对初始生成器的参数值进行调整，得到调整后生成器，并基于第二目标损失值对初始随机模型的参数值进行调整，得到调整后随机模型。

示例性的，基于第三特征向量和第四特征向量确定第二目标损失值，可以包括但不限于：基于特征反差异化损失值确定第二目标损失值；或者，基于特征反差异化损失值和候选损失值确定第二目标损失值，候选损失值包括但不限于以下至少一种：统计量约束损失值、类别约束损失值、多样性约束损失值。

其中，该特征反差异化损失值的确定方式，可以包括但不限于：确定第三特征向量与第四特征向量之间的距离，并基于该距离确定特征反差异化损失值。

其中，该统计量约束损失值的确定方式，可以包括但不限于：将模拟数据输入给原始任务模型，得到原始任务模型的目标网络层输出的特征向量对应的目标统计量；基于该目标统计量与目标网络层的固有统计量的差值确定统计量约束损失值。固有统计量为均值，目标统计量为均值，或，固有统计量为方差，目标统计量为方差，或，固有统计量为均值和方差，目标统计量为均值和方差。

其中，该类别约束损失值的确定方式，可以包括但不限于：将模拟数据输入给原始任务模型得到K个类别分别对应的置信度；从所有置信度中选取最大置信度，将最大置信度对应的类别确定为第三特征向量的伪标签，将最大置信度确定为伪标签的目标置信度；基于伪标签的目标置信度确定类别约束损失值。

其中，该多样性约束损失值的确定方式，可以包括但不限于：针对M个模拟数据中的每个模拟数据，M为大于1的正整数，将模拟数据输入给原始任务模型得到K个类别分别对应的置信度；针对每个类别，确定该类别对应的所有置信度的平均置信度，基于K个类别对应的平均置信度确定多样性约束损失值。

在一种可能的实施方式中，原始任务模型可以包括分类网络层，且初始随机模型可以包括分类网络层，在此基础上，在调整后生成器已收敛之后，在将调整后生成器确定为目标生成器之前，还可以拷贝原始任务模型中的分类网络层到初始随机模型中的分类网络层；基于验证数据集中的每个验证数据，将该验证数据输入给原始任务模型，得到该验证数据对应的第一分类结果，并将该验证数据输入给初始随机模型，得到该验证数据对应的第二分类结果；基于所有验证数据对应的第一分类结果和第二分类结果确定初始随机模型的检测准确率。若该检测准确率大于阈值，则将调整后生成器确定为目标生成器。

在一种可能的实施方式中，目标生成器生成虚拟数据的过程，可以包括但不限于：将固定维度的随机噪声向量输出给目标生成器，以使所述目标生成器对随机噪声向量进行上采样，得到指定分辨率的虚拟数据。其中，该虚拟数据可以包括RGB图像，也可以是其它类型的数据，对此不做限制。

由以上技术方案可见，本申请实施例中，可以基于目标生成器生成虚拟数据，基于虚拟数据(代替用于训练原始任务模型的原始数据)和增量数据对初始增量模型进行训练(即增量学习)，得到目标增量模型，虽然没有使用原始数据对初始增量模型进行训练(考虑到在某些场景下，出于数据隐私保护的需求，无法得到原始数据)，但是，基于虚拟数据训练的目标增量模型也能够保持针对原始数据的性能，即不会发生灾难性遗忘现象，目标增量模型对数据的性能不会出现急剧下降。例如，对于某些待检测数据来说，原始任务模型具有很好的检测性能，且目标增量模型也具有很好的检测性能。在上述方式中，对初始增量模型进行增量学习时，不需要依赖任何旧任务的训练数据(即原始数据)，仅利用原始任务模型巧妙地训练出目标生成器，目标生成器生成的虚拟数据可以有效缓解目标增量模型的灾难性遗忘，整个训练过程不使用任何旧任务的训练数据。由于不需要依赖任何旧任务的训练数据，因此，可以保护数据隐私。目标生成器生成的虚拟数据，直接和增量数据混合参与模型训练，不需要落盘存储虚拟数据，即虚拟数据不需要额外占用数据存储空间。

以下结合具体应用场景，对本申请实施例的技术方案进行详细说明。

在介绍本申请的技术方案之前，先介绍与本申请有关的技术术语。

增量学习：增量学习是一种学习方式，是指算法模型能够从不断新增的样本中学习到新知识，并能够保存大部分以前已经学习到的知识。

旧任务：在增量学习过程中，算法模型已经训练过的任务。

增量任务：在增量学习过程中，与旧任务相对的，算法模型需要使用新增数据训练的任务，增量任务中需要尽可能保存算法模型以前学习到的知识。

灾难性遗忘：灾难性遗忘是一种现象，是指随着增量任务的训练，算法模型在旧任务上的性能出现急剧下降的现象，即旧任务上的性能降低。

自蒸馏：将算法模型A的知识迁移到算法模型B的过程，算法模型A是通过真实数据训练得到，算法模型B是与算法模型A同结构但随机初始化的模型。

免数据增量学习：免数据增量学习是指在增量学习过程中，不以任何方式利用旧任务的训练数据对算法模型进行训练，即不需要得到旧任务的训练数据。

在一种可能的实施方式中，为了采用机器学习实现人工智能处理，可以获取大量样本数据，将这些样本数据记为原始数据，并基于原始数据训练出机器学习模型，且将该机器学习模型记为原始任务模型T(也可以称为旧任务模型T)，基于原始任务模型T实现人工智能处理。比如说，在得到待检测数据(如待检测图像等)后，可以将待检测数据输入给原始任务模型T，由原始任务模型T对待检测数据进行人工智能处理，得到处理结果。例如，原始任务模型T用于实现检测功能时，原始任务模型T可以从待检测图像中识别出目标对象(即目标对象所在目标框)，并输出该目标对象的检测类别，如A类型车辆、B类型车辆、猫、狗、鸟、兔子、手机、电话手表等。又例如，原始任务模型T用于实现目标检测与分割功能时，如在自动驾驶中，对街道的行人和车辆等目标进行检测和分割，则原始任务模型T可以对车辆采集到的待检测图像进行准确的检测定位与分割。当然，上述只是原始任务模型T功能的示例，对此不做限制。

需要注意的是，基于原始数据训练出原始任务模型T，是旧任务的训练过程，即采用原始数据实现旧任务，原始任务模型T在原始数据上具有很好的性能。比如说，假设旧任务用于区分“猫、狗”等两个类别，则原始数据包括标签值是“猫”的图像、标签值是“狗”的图像、标签值是非“猫、狗”的图像等，基于这些原始数据训练得到的原始任务模型T，对“猫、狗”的检测具有很好的性能，也就是说，在将待检测图像输入给原始任务模型T后，原始任务模型T可以从待检测图像中准确识别出“猫”、“狗”和非“猫、狗”等。

其中，关于原始任务模型T的结构和功能，本申请实施例中不做限制，只要原始任务模型T能够对待检测图像进行人工智能处理，得到处理结果即可。比如说，原始任务模型T可以是基于机器学习算法训练得到的网络模型，如基于深度学习算法的网络模型、基于神经网络的网络模型等，对此不做限制。

在训练出原始任务模型T之后，由于实际业务的需求，可能需要对原始任务模型T进行增量学习，比如说，获取大量新样本数据，将这些新样本数据记为增量数据，并基于增量数据对原始任务模型T进行增量学习，得到新机器学习模型，且将该新机器学习模型记为目标增量模型(即已完成增量学习的机器学习模型)，基于目标增量模型实现人工智能处理。比如说，在得到待检测数据后，可以将待检测数据输入给目标增量模型，由目标增量模型对待检测数据进行人工智能处理，得到处理结果。例如，目标增量模型用于实现检测功能时，可以从待检测数据中识别出目标对象，并输出检测类别，目标增量模型用于实现目标检测与分割功能时，可以对待检测数据进行准确的检测定位与分割。

其中，关于目标增量模型的结构和功能，本申请实施例中不做限制，只要目标增量模型能够对待检测数据进行人工智能处理，得到处理结果即可。比如说，目标增量模型可以是基于机器学习算法训练得到的网络模型，如基于深度学习算法的网络模型、基于神经网络的网络模型等，对此不做限制。

需要注意的是，基于增量数据对原始任务模型T进行增量学习，得到目标增量模型，是增量任务的训练过程，也就是说，采用增量数据实现增量任务，目标增量模型在增量数据上具有很好的性能。比如说，假设增量数据用于区分“兔子”等类别，则增量数据包括标签值是“兔子”的图像、标签值是非“兔子”的图像等，基于这些增量数据训练得到的目标增量模型，对“兔子”的检测具有很好的性能，也就是说，在将待检测图像输入给目标增量模型之后，目标增量模型可以从待检测图像中准确识别出“兔子”和非“兔子”等。

但是，在训练出目标增量模型之后，可能会发生灾难性遗忘现象，即目标增量模型在旧任务上的性能出现急剧下降。例如，目标增量模型虽然对类别“兔子”具有很好的检测性能，但是对类别“猫、狗”的检测性能比较差。比如说，在将待检测图像输入给目标增量模型之后，目标增量模型可以从待检测图像中准确识别出“兔子”和非“兔子”，但是无法准确识别出“猫”、“狗”。

针对上述问题，在基于增量数据对原始任务模型T进行增量学习时，可以采用原始数据和增量数据共同对原始任务模型T进行增量学习，得到目标增量模型。但是，在某些场景下，原始任务模型T的训练实体与目标增量模型的训练实体可能不同，出于数据隐私保护的需求，原始任务模型T的训练实体不会将原始数据发送给目标增量模型的训练实体，导致无法采用原始数据和增量数据共同对原始任务模型T进行增量学习，目标增量模型发生灾难性遗忘现象。

针对上述发现，本申请实施例中提出一种基于自蒸馏的免数据增量学习方法，在增量学习过程中，不依赖任何旧任务的原始数据，且不固定模型的主干网络，可以基于目标生成器生成虚拟数据，基于虚拟数据(代替用于训练原始任务模型T的原始数据)和增量数据对初始增量模型(即采用自蒸馏方式，基于原始任务模型T构造的)进行训练(即增量学习)，得到目标增量模型。

参见图2所示，基于自蒸馏的免数据增量学习方法，可以包括阶段一和阶段二，阶段一是目标生成器的生成阶段，即需要获取目标生成器，阶段二是增量学习阶段，即需要训练得到目标增量模型，以下对阶段一和阶段二进行说明。

在阶段一中，需要先获取初始生成器、原始任务模型T和初始随机模型S，原始任务模型T是基于原始数据训练得到，参见上述实施例，在此不再赘述。

关于初始生成器，初始生成器可以是数据生成器网络，其功能是用于生成数据，为了区分方便，将初始生成器生成的数据称为模拟数据，初始生成器可以根据经验任意配置，对此初始生成器的获取方式不做限制。比如说，参见图3所示，为初始生成器生成模拟数据的过程：初始生成器的输入为固定维度的随机噪声向量z，初始生成器的输出为指定分辨率的RGB图像。从图3可以看出，初始生成器将随机噪声向量不断上采样最终输出指定分辨率的RGB图像。另外，在初始生成器的网络结构中可以引入如残差连接结构等复杂的网络结构。

关于初始随机模型S，可以基于原始任务模型T构造初始随机模型S，即采用自蒸馏方式构造初始随机模型S，也就是说，初始随机模型S的网络结构与原始任务模型T的网络结构相同，且初始随机模型S的参数值与原始任务模型T的参数值不同。比如说，假设原始任务模型T依次包括网络层1、网络层2和网络层3，网络层1包括参数11和参数12，网络层2包括参数21，网络层3包括参数31，参数11的参数值是a11，参数12的参数值是a12，参数21的参数值是a21，参数31的参数值是a31，则：可以构造初始随机模型S，初始随机模型S依次包括网络层1、网络层2和网络层3，网络层1包括参数11和参数12，网络层2包括参数21，网络层3包括参数31。在此基础上，对参数11的参数值进行随机设置，而不是设置为a11，如参数11的参数值是b11，同理，对参数12的参数值、参数21的参数值、参数31的参数值进行随机设置，如参数12的参数值是b12、参数21的参数值是b21、参数31的参数值是b31。

参见图4所示，原始任务模型T可以包括特征提取网络F和分类层H，初始随机模型S可以包括特征提取网络F’和分类层H’。其中，特征提取网络F用于提取特征向量，分类层H用于基于该特征向量进行分类。同理，特征提取网络F’用于提取特征向量，分类层H’用于基于该特征向量进行分类。原始任务模型T包括K(大于1的正整数)个网络层，将前面K-1个网络层作为特征提取网络F，将第K个网络层作为分类层H。初始随机模型S包括K个网络层，将前面K-1个网络层作为特征提取网络F’，将第K个网络层作为分类层H’。

基于初始生成器、原始任务模型T和初始随机模型S，可以采用如下步骤对初始生成器进行训练，得到目标生成器。训练过程中，原始任务模型T不参与训练(即不需要对原始任务模型T的参数值进行调整)，初始生成器和初始随机模型S参与训练(即需要对初始生成器和初始随机模型S的参数值进行调整)。

步骤P11、基于初始生成器生成模拟数据。

比如说，参见图3所示，可以将固定维度的随机噪声向量z输入给初始生成器，初始生成器对随机噪声向量进行上采样，得到指定分辨率的模拟数据，该模拟数据可以是RGB图像，也可以是其它类型的数据，对此不做限制。

步骤P12、将模拟数据输入给原始任务模型T得到第三特征向量，并将该模拟数据输入给初始随机模型S得到第四特征向量。

比如说，初始生成器可以生成大量模拟数据，针对每个模拟数据来说，可以将该模拟数据输入给原始任务模型T，而原始任务模型T的特征提取网络F可以提取该模拟数据的特征向量(即特征提取网络F输出的特征向量)，该特征向量就是第三特征向量。以及，可以将该模拟数据输入给初始随机模型S，而初始随机模型S的特征提取网络F’可以提取该模拟数据的特征向量(即特征提取网络F’输出的特征向量)，该特征向量就是第四特征向量。

步骤P13、基于第三特征向量和第四特征向量确定特征反差异化损失值。

比如说，可以先确定第三特征向量与第四特征向量之间的距离，对此距离确定方式不做限制。例如，可以采用余弦距离函数，确定第三特征向量与第四特征向量之间的余弦距离。或者，可以采用L1距离函数，确定第三特征向量与第四特征向量之间的L1距离。或者，可以采用L2距离函数，确定第三特征向量与第四特征向量之间的L2距离。当然，上述只是距离确定方式的几个示例，对此不做限制，还可以采用其它衡量两个向量差异的函数。

然后，可以基于该距离确定特征差异化损失值，将该特征差异化损失值记为loss₁，比如说，每个模拟数据对应一个距离，可以计算所有模拟数据对应的距离的平均值，并基于该平均值确定loss₁，如将该平均值确定为loss₁。

在得到特征差异化损失值loss₁之后，还可以基于特征差异化损失值loss₁确定出特征反差异化损失值，且将该特征反差异化损失值记为loss₂，比如说，loss₂＝-loss₁，显然，通过对loss₁进行上述处理，可以扩大loss₁的范围。

步骤P14、将模拟数据输入给原始任务模型T得到统计量约束损失值。

比如说，原始任务模型T可以包括目标网络层，可以将特征提取网络F中的所有网络层均作为目标网络层，也可以将特征提取网络F中的部分网络层作为目标网络层，对此不做限制。例如，特征提取网络F可以包括至少一个BN层(Batch-Normalization Layer，归一化层)，可以将特征提取网络F中的所有BN层均作为目标网络层。针对每个目标网络层来说，该目标网络层具有固有统计量，即目标网络层的参数值包括固有统计量，固有统计量可以为均值和方差。

在将模拟数据输入给原始任务模型T之后，原始任务模型T的每个目标网络层会输出特征向量，基于此，可以确定该特征向量对应的目标统计量，即得到目标网络层输出的特征向量对应的目标统计量，目标统计量为均值和方差。

在此基础上，可以基于目标统计量与固有统计量的差值(如均值之间的差值，以及，方差之间的差值)确定统计量约束损失值，将该统计量约束损失值记为loss₃，比如说，可以采用如下公式确定loss₃，当然，如下公式只是示例，对此不做限制，只要能够基于目标统计量与固有统计量的差值确定loss₃即可。

在上述公式中，E_z～p(z)表示随机噪声向量服从的某种分布，该分布一般为高斯分布。l表示目标网络层的索引，取值范围是1-m，m表示目标网络层的总数量，也就是说，1表示第一个目标网络层，2表示第二个目标网络层，以此类推，m表示第m个目标网络层。表示第l个目标网络层输出的特征向量对应的均值(即目标统计量)，μ_l表示第l个目标网络层的固有均值(即固有统计量)。/>表示第l个目标网络层输出的特征向量对应的方差(即目标统计量)，σ_l表示第l个目标网络层的固有方差(即固有统计量)。

综上所述，针对每个模拟数据来说，在将该模拟数据输入给原始任务模型T后，就可以采用上述公式计算得到该模拟数据对应的loss₃，然后，可以计算所有模拟数据对应的loss₃的平均值，该平均值也就是统计量约束损失值。

步骤P15、将模拟数据输入给原始任务模型T得到类别约束损失值。

比如说，原始任务模型T包括特征提取网络F和分类层H，特征提取网络F输出的是第三特征向量，分类层H输出的是K个类别对应的置信度，K为大于1的正整数，该置信度表示属于某种类别的概率，如类别1对应的置信度，表示属于类别1的概率，…，类别K对应的置信度，表示属于类别K的概率。

在将模拟数据输入给原始任务模型T之后，特征提取网络F会向分类层H输出该模拟数据对应的第三特征向量，且分类层H可以基于该第三特征向量进行分类处理，得到K个类别分别对应的置信度，例如，可以得到类别1对应的置信度1、类别2对应的置信度2、…、类别K对应的置信度K等。

然后，可以从所有置信度中选取最大置信度，并将最大置信度对应的类别确定为第三特征向量的伪标签，将最大置信度确定为伪标签的目标置信度。比如说，假设置信度K是所有置信度中的最大置信度，则类别K是第三特征向量的伪标签，且置信度K是该第三特征向量的伪标签的目标置信度。

然后，可以基于伪标签的目标置信度确定类别约束损失值，将该类别约束损失值记为loss₄，比如说，可以采用如下公式确定loss₄，当然，如下公式只是示例，对此不做限制，只要能够基于伪标签的目标置信度确定loss₄即可。

在上述公式中，E_z～p(z)表示随机噪声向量服从的某种分布，该分布一般为高斯分布。k表示类别的索引，取值范围是1-K，K表示类别总数量，1表示第一个类别，以此类推，K表示第K个类别。y′_k是基于第三特征向量的伪标签确定的数值，取值可以是0或者1，比如说，当类别k是第三特征向量的伪标签时，则y′_k的取值为1，当类别k不是第三特征向量的伪标签时，则y′_k的取值为0。假设类别K是第三特征向量的伪标签，那么，在k的取值是1时，y′₁的取值为0，在k的取值是2时，y′₂的取值为0，以此类推，在k的取值是K时，y′_K的取值为1。H^kF(G(z))表示第k个类别的置信度，在k的取值是1时，表示第1个类别的置信度，以此类推，在k的取值是K时，表示第K个类别的置信度。

显然，由于y′₁的取值为0，y′₂的取值为0，…，y′_K的取值为1，因此，上述公式可以简化为loss₄＝-y′_K*log(c)，y′_K为1，c表示第K个类别的置信度。

综上所述，针对每个模拟数据来说，在将该模拟数据输入给原始任务模型T后，就可以采用上述公式计算得到该模拟数据对应的loss₄，然后，可以计算所有模拟数据对应的loss₄的平均值，该平均值也就是类别约束损失值。

步骤P16、将模拟数据输入给原始任务模型T得到多样性约束损失值。

比如说，原始任务模型T包括分类层H，分类层H输出的是K个类别对应的置信度，K为大于1的正整数，该置信度表示属于某种类别的概率。

假设一共存在M个(M为大于1的正整数)模拟数据，则针对每个模拟数据，在将该模拟数据输入给原始任务模型T之后，分类层H可以输出该模拟数据对应的K个类别分别对应的置信度，例如，针对每个模拟数据，可以得到类别1对应的置信度、类别2对应的置信度、…、类别K对应的置信度等。

然后，针对每个类别，确定该类别对应的所有置信度的平均置信度，比如说，可以确定类别1对应的所有置信度(即M个模拟数据针对类别1对应的置信度)的平均置信度，确定类别2对应的所有置信度的平均置信度，…，确定类别K对应的所有置信度的平均置信度，即一共得到K个平均置信度。

然后，基于K个类别对应的平均置信度确定多样性约束损失值，将该多样性约束损失值记为loss₅，比如说，可以采用如下公式确定loss₅，当然，如下公式只是示例，对此不做限制，只要能够基于K个平均置信度确定loss₅即可。

在上述公式中，k表示类别的索引，取值范围是1-K，K表示类别总数量。E_z～p(z)表示随机噪声向量服从的某种分布，该分布一般为高斯分布。M表示模拟数据的总数量，如200、300等。H^kF(G(z))表示第k个类别的置信度，在k的取值是1时，表示第1个类别的置信度，以此类推，在k的取值是K时，表示第K个类别的置信度。/>表示第k个类别的平均置信度，在k的取值是1时，表示第1个类别对应的所有置信度(即M个模拟数据针对该第1个类别对应的置信度)的平均置信度，以此类推，在k的取值是K时，表示第K个类别对应的所有置信度的平均置信度。

综上所述，针对M个模拟数据来说，在将M个模拟数据输入给原始任务模型T后，就可以采用上述公式计算得到loss₅，即多样性约束损失值。多样性约束损失值用于使初始生成器生成的模拟数据在一批内具有较大的类别多样性。

步骤P17、可以基于特征反差异化损失值确定第二目标损失值。或者，可以基于特征反差异化损失值和候选损失值确定第二目标损失值，该候选损失值可以包括但不限于以下至少一种：统计量约束损失值、类别约束损失值、多样性约束损失值。或者，可以基于候选损失值确定第二目标损失值。

比如说，可以将第二目标损失值记为loss_{all_1}，基于此，可以基于loss₂确定loss_{all_1}，可以基于loss₂和loss₃确定loss_{all_1}，可以基于loss₂和loss₄确定loss_{all_1}，对此确定方式不做限制，也就是说，可以基于loss₂、loss₃、loss₄和loss₅中的至少一个确定出loss_{all_1}，比如说，可以采用如下公式计算出loss_{all_1}：

loss_{all_1}＝α1*loss₂+α2*loss₃+α3*loss₄+α4*loss₅

在上述公式中，α1为特征反差异化损失值的加权系数，可以根据经验配置，如可以是大于等于0的数值，对此不做限制。α2为统计量约束损失值的加权系数，可以根据经验配置，如可以是大于等于0的数值，如α2等于1。α3为类别约束损失值的加权系数，可以根据经验配置，如可以是大于等于0的数值，如α3等于1。α4为多样性约束损失值的加权系数，可以根据经验配置，如可以是大于等于0的数值，如α4等于1。当然，上述取值只是示例，对此不做限制。

步骤P18、基于第二目标损失值对初始生成器的参数值进行调整，得到调整后生成器(即调整后的初始生成器)，并基于第二目标损失值对初始随机模型的参数值进行调整，得到调整后随机模型(即调整后的初始随机模型)。

示例性的，关于初始生成器和初始随机模型的调整方式，本实施例中不做限制，可以采用梯度下降法等，其目标是得到第二目标损失值的最小值。

步骤P19、判断调整后生成器是否已收敛。如果否，即调整后生成器未收敛，则执行步骤P20，如果是，即调整后生成器已收敛，则执行步骤P21。

例如，可以基于当前迭代过程的一个第二目标损失值确定调整后生成器是否已收敛，比如说，若该第二目标损失值不大于阈值，则确定调整后生成器已收敛，若该第二目标损失值大于阈值，则确定调整后生成器未收敛。

又例如，基于多次迭代过程的多个第二目标损失值确定调整后生成器是否已收敛，比如说，在每次迭代过程中，对上次迭代过程的初始生成器和初始随机模型进行调整，得到调整后生成器和调整后随机模型，且每次迭代过程得到一个第二目标损失值。确定多个第二目标损失值的变化幅度曲线，若根据变化幅度曲线确定第二目标损失值的变化幅度已经平稳(连续多次迭代过程的第二目标损失值未发生变化，或变化幅度很小)，且最后一次迭代过程的第二目标损失值不大于阈值，则确定最后一次迭代过程的调整后生成器已收敛，否则，确定最后一次迭代过程的调整后生成器未收敛，继续下一次迭代过程，得到下一次迭代过程的第二目标损失值，并确定多个第二目标损失值的变化幅度曲线。

当然，在实际应用中，还可以采用其它方式确定调整后生成器是否已收敛，对此不做限制。例如，若迭代次数达到预设次数阈值，则确定调整后生成器已收敛；又例如，若迭代时长达到预设时长阈值，则确定调整后生成器已收敛。

步骤P20、若调整后生成器未收敛，则将调整后生成器确定为初始生成器，将调整后随机模型确定为初始随机模型，返回执行步骤P11，也就是说，基于调整后生成器和调整后随机模型，重复执行上述步骤P11-步骤P19。

步骤P21、若调整后生成器已收敛，则将调整后生成器确定为已完成训练的目标生成器，至此，完成阶段一的训练过程，得到目标生成器，且该目标生成器用于保持目标增量模型在原始数据的性能，也就是说，目标生成器生成的数据能够用来保持目标增量模型在增量学习过程中在旧任务上的性能。

在一种可能的实施方式中，在步骤P21中，若调整后生成器已收敛，在将调整后生成器确定为目标生成器之前，还可以先对初始随机模型(即最后一次调整后的初始随机模型)进行验证，若验证结果为初始随机模型的检测准确率大于阈值，则说明初始随机模型的检测性能比较好，此时才将调整后生成器确定为目标生成器，否则，需要继续对调整后生成器进行训练。

参见上述实施例，原始任务模型T包括特征提取网络F和分类层H(记为分类网络层H)，初始随机模型S包括特征提取网络F’和分类层H’(记为分类网络层H’)。基于此，在调整后生成器已收敛之后，还可以拷贝原始任务模型T中的分类网络层H到初始随机模型S中的分类网络层H’，即使用分类网络层H替换初始随机模型S中的分类网络层H’，得到新的初始随机模型S。

在此基础上，可以构建验证数据集，该验证数据集包括多个验证数据(如验证图像)，基于验证数据集中的每个验证数据，可以将该验证数据输入给原始任务模型T，得到该验证数据对应的第一分类结果，并将该验证数据输入给初始随机模型S，得到该验证数据对应的第二分类结果。由于初始随机模型S的分类网络层与原始任务模型T的分类网络层相同，因此，当初始随机模型S的检测性能比较好(即初始随机模型S的检测性能与原始任务模型T的检测性能相同或类似)时，则同一个验证数据对应的第二分类结果与第一分类结果应该一致，反之，若同一个验证数据对应的第二分类结果与第一分类结果不一致，则说明初始随机模型S的检测性能较差，无法达到原始任务模型T的检测性能。

基于上述原理，可以基于所有验证数据对应的第一分类结果和第二分类结果确定初始随机模型S的检测准确率。比如说，统计第二分类结果与第一分类结果一致的验证数据的数量N1，并统计第二分类结果与第一分类结果不一致的验证数据的数量N2，并基于数量N1和数量N2确定初始随机模型S的检测准确率，例如，该初始随机模型S的检测准确率可以为：N1/(N1+N2)。

若初始随机模型S的检测准确率大于阈值(可以根据经验配置，是接近1的数值，如95％、98％、99％等)，则说明初始随机模型的检测性能较好，可以将调整后生成器确定为目标生成器。若该检测准确率不大于阈值，则说明初始随机模型的检测性能不够好，此时不将调整后生成器确定为目标生成器，需要继续对调整后生成器进行训练，训练过程参见上述步骤P11-步骤P21。

在阶段二中，需要先获取目标生成器、原始任务模型T和初始增量模型，原始任务模型T是基于原始数据训练得到，参见上述实施例，在此不再赘述。

目标生成器可以是数据生成器网络，其功能是用于生成数据，为了区分方便，将目标生成器生成的数据称为虚拟数据，目标生成器生成虚拟数据的过程与初始生成器生成模拟数据的过程类似，目标生成器是阶段一中训练得到。

关于初始增量模型，可以基于原始任务模型T构造初始增量模型，即采用自蒸馏方式构造初始增量模型，即，初始增量模型的网络结构与原始任务模型T的网络结构相同，且初始增量模型的参数值与原始任务模型T的参数值不同。

原始任务模型T可以包括特征提取网络F和分类层H，初始增量模型可以包括特征提取网络F”和分类层H”。特征提取网络F用于提取特征向量，分类层H用于基于该特征向量进行分类，得到类别和置信度。特征提取网络F”用于提取特征向量，分类层H”用于基于该特征向量进行分类，得到类别和置信度。

参见图5所示，在增量任务的训练过程中，目标生成器可以生成一批虚拟数据，这批虚拟数据和增量数据混合形成混合数据，这批混合数据用来对初始增量模型进行训练，得到已完成增量学习的目标增量模型，即完成训练过程。

基于目标生成器、原始任务模型T和初始增量模型，可以采用如下步骤对初始增量模型进行训练，得到目标增量模型。训练过程中，目标生成器和原始任务模型T不参与训练(即不需要对目标生成器和原始任务模型T的参数值进行调整)，初始增量模型参与训练(即需要对初始增量模型的参数值进行调整)。

步骤P31、基于目标生成器生成虚拟数据。

比如说，参见图3所示，可以将固定维度的随机噪声向量z输入给目标生成器，目标生成器对随机噪声向量进行上采样，得到指定分辨率的虚拟数据，该虚拟数据可以是RGB图像，也可以是其它类型的数据，对此不做限制。

步骤P32、获取用于对初始增量模型进行增量学习的增量数据。比如说，当需要对原始任务模型T进行增量学习时，获取增量数据(如图像数据)，即增量任务对应的增量数据，这些增量数据也用于对初始增量模型进行增量学习。

步骤P33、将虚拟数据和增量数据混合形成混合数据，也就是说，混合数据可以包括虚拟数据和增量数据。比如说，可以预先配置虚拟数据和增量数据的比例关系，如a：b，a可以大于b，即混合数据中虚拟数据的数量大于增量数据的数量，a可以等于b，即混合数据中虚拟数据的数量等于增量数据的数量，a可以小于b，即混合数据中虚拟数据的数量小于增量数据的数量。

例如，假设a等于b，则将虚拟数据和增量数据等比例混合形成混合数据，即混合数据中一半是虚拟数据，另一半是增量数据，后续均记为混合数据。

步骤P34、将混合数据输入给原始任务模型T得到第一特征向量，并将该混合数据输入给初始增量模型得到第二特征向量。例如，针对每个混合数据，将该混合数据输入给原始任务模型T，原始任务模型T的特征提取网络F可以提取该混合数据的第一特征向量。同理，将该混合数据输入给初始增量模型后，初始增量模型的特征提取网络F”可以提取该混合数据的第二特征向量。

步骤P35、基于第一特征向量和第二特征向量确定特征差异化损失值。

比如说，可以先确定第一特征向量与第二特征向量之间的距离，对此距离的确定方式不做限制。例如，可以采用余弦距离函数，确定出第一特征向量与第二特征向量之间的余弦距离。当然，还可以采用其它衡量两个向量差异的函数，如L1距离函数和L2距离函数等，对此不做限制。然后，可以基于该距离确定特征差异化损失值，将该特征差异化损失值记为loss₆，比如说，每个混合数据(如虚拟数据或者增量数据)对应一个距离，可以计算所有混合数据对应的距离的平均值，并基于该平均值确定loss₆，如将该平均值确定为loss₆。

步骤P36、将混合数据输入给原始任务模型T得到类别交叉熵损失值。

比如说，原始任务模型T包括特征提取网络F和分类层H，特征提取网络F输出的是第一特征向量，分类层H输出的是K个类别对应的置信度。

在将混合数据输入给原始任务模型T之后，特征提取网络F向分类层H输出该混合数据对应的第一特征向量，且分类层H基于该第一特征向量进行分类处理，得到K个类别分别对应的置信度。然后，从所有置信度中选取出最大置信度，并将最大置信度对应的类别确定为第一特征向量的伪标签，将最大置信度确定为该伪标签的目标置信度，基于目标置信度确定类别交叉熵损失值，将该类别交叉熵损失值记为loss₇，比如说，采用如下公式确定loss₇，当然，如下公式只是示例，对此不做限制，只要能够基于目标置信度确定loss₇即可。

E_z～p(z)表示随机噪声向量服从的某种分布，该分布一般为高斯分布。k表示类别的索引，取值范围是1-K，K表示类别总数量，y′_k是基于第一特征向量的伪标签确定的数值，取值是0或者1，比如说，当类别k是第一特征向量的伪标签时，y′_k的取值为1，当类别k不是第一特征向量的伪标签时，y′_k的取值为0。假设类别K是第一特征向量的伪标签，则k的取值是1时，y′₁的取值为0，k的取值是K时，y′_K的取值为1。H^kF(x′)表示第k个类别的置信度，在k的取值是1时，表示第1个类别的置信度，在k的取值是K时，表示第K个类别的置信度。

综上所述，针对每个混合数据来说，在将该混合数据输入给原始任务模型T后，就可以采用上述公式计算得到该混合数据对应的loss₇，然后，可以计算所有混合数据对应的loss₇的平均值，该平均值也就是类别交叉熵损失值。

步骤P37、基于特征差异化损失值确定第一目标损失值；或者，基于特征差异化损失值和类别交叉熵损失值确定第一目标损失值；或者，基于类别交叉熵损失值确定第一目标损失值。比如说，可以将第一目标损失值记为loss_{all_2}，基于此，可以基于loss₆确定loss_{all_2}，或基于loss₆和loss₇确定loss_{all_2}，或基于loss₇确定loss_{all_2}，对此确定方式不做限制，比如说，采用如下公式计算出loss_{all_2}：

loss_{all_2}＝β1*loss₆+β2*loss₇

在上述公式中，β1为特征差异化损失值的加权系数，可以根据经验配置，如可以是大于等于0的数值，对此不做限制。β2为类别交叉熵损失值的加权系数，可以根据经验配置，如可以是大于等于0的数值，如β2等于1。

步骤P38、基于第一目标损失值对初始增量模型的参数值进行调整，得到调整后增量模型(即将调整后的初始增量模型记为调整后增量模型)。

示例性的，关于初始增量模型的调整方式，本申请实施例中不做限制，可以采用梯度下降法等，其目标是得到第一目标损失值的最小值。

步骤P39、判断调整后增量模型是否已收敛。如果否，即调整后增量模型未收敛，则执行步骤P40，如果是，即调整后增量模型已收敛，则执行步骤P41。

其中，调整后增量模型是否已收敛的确定方式，可以参见步骤P19，只是将第二目标损失值更新为第一目标损失值即可，在此不再重复赘述。

步骤P40、若调整后增量模型未收敛，则将调整后增量模型确定为初始增量模型，返回步骤P34，即基于调整后增量模型重复执行步骤P34-步骤P39。

步骤P41、若调整后增量模型已收敛，则将调整后增量模型确定为已完成增量学习的目标增量模型，至此，完成阶段二的训练过程，得到该目标增量模型，且该目标增量模型用于对待检测数据进行处理(即人工智能处理)。

由以上技术方案可见，本申请实施例中，对初始增量模型进行增量学习时，不需要依赖任何旧任务的训练数据(即原始数据)，仅利用原始任务模型巧妙地训练出目标生成器，目标生成器生成的虚拟数据可以有效缓解目标增量模型的灾难性遗忘，整个训练过程不使用任何旧任务的训练数据。由于不需要依赖任何旧任务的训练数据，因此，可以保护数据隐私。在增量任务训练时，不需要固定增量模型的网络主干(backbone)，训练灵活，对新任务的学习具有很好的灵活性。目标生成器生成的虚拟数据，直接和增量数据混合参与模型训练，不需要落盘存储虚拟数据，即虚拟数据不需要额外占用数据存储空间。

基于与上述方法同样的申请构思，本申请实施例中提出一种增量学习装置，参见图6所示，为所述增量学习装置的结构示意图，所述装置可以包括：

获取模块61，用于获取目标生成器、原始任务模型和初始增量模型；原始任务模型基于原始数据训练得到，所述初始增量模型的网络结构与所述原始任务模型的网络结构相同，所述初始增量模型的参数值与所述原始任务模型的参数值不同；将混合数据输入给所述原始任务模型得到第一特征向量，将所述混合数据输入给所述初始增量模型得到第二特征向量；其中，所述混合数据包括目标生成器生成的虚拟数据、用于对初始增量模型进行增量学习的增量数据；

训练模块62，用于基于第一特征向量和第二特征向量对所述初始增量模型的参数值进行调整，得到调整后增量模型；若所述调整后增量模型未收敛，则将所述调整后增量模型确定为初始增量模型，以由所述获取模块将混合数据输入给所述原始任务模型得到第一特征向量；若所述调整后增量模型已收敛，则将所述调整后增量模型确定为已完成增量学习的目标增量模型；

其中，所述目标增量模型用于对待检测数据进行处理。

示例性的，所述训练模块62基于所述第一特征向量和所述第二特征向量对所述初始增量模型的参数值进行调整，得到调整后增量模型时具体用于：基于所述第一特征向量和所述第二特征向量确定第一目标损失值；基于所述第一目标损失值对所述初始增量模型的参数值进行调整，得到所述调整后增量模型。

示例性的，所述训练模块62基于所述第一特征向量和所述第二特征向量确定第一目标损失值时具体用于：基于特征差异化损失值确定所述第一目标损失值；或者，基于特征差异化损失值和类别交叉熵损失值确定所述第一目标损失值。所述训练模块62确定所述特征差异化损失值时具体用于：确定第一特征向量与第二特征向量之间的距离，基于所述距离确定所述特征差异化损失值。

示例性的，所述训练模块62确定所述类别交叉熵损失值时具体用于：将混合数据输入给所述原始任务模型得到K个类别分别对应的置信度，K为大于1的正整数；从所有置信度中选取最大置信度，将最大置信度对应的类别确定为所述第一特征向量的伪标签，并将最大置信度确定为所述伪标签的目标置信度；基于所述伪标签的目标置信度确定所述类别交叉熵损失值。

示例性的，所述获取模块61获取目标生成器时具体用于：基于初始生成器生成模拟数据，将所述模拟数据输入给原始任务模型得到第三特征向量，并将所述模拟数据输入给初始随机模型得到第四特征向量；所述初始随机模型的网络结构与所述原始任务模型的网络结构相同，且所述初始随机模型的参数值与所述原始任务模型的参数值不同；基于所述第三特征向量和所述第四特征向量对所述初始生成器的参数值进行调整，得到调整后生成器，基于所述第三特征向量和所述第四特征向量对所述初始随机模型的参数值进行调整，得到调整后随机模型；若调整后生成器未收敛，则将调整后生成器确定为初始生成器，将调整后随机模型确定为初始随机模型，基于初始生成器生成模拟数据；若调整后生成器已收敛，则将所述调整后生成器确定为已完成训练的目标生成器，所述目标生成器用于保持目标增量模型在原始数据的性能。

示例性的，所述获取模块61基于所述第三特征向量和所述第四特征向量对所述初始生成器的参数值进行调整，得到调整后生成器，并基于所述第三特征向量和所述第四特征向量对所述初始随机模型的参数值进行调整，得到调整后随机模型时具体用于：基于所述第三特征向量和所述第四特征向量确定第二目标损失值；基于所述第二目标损失值对所述初始生成器的参数值进行调整，得到所述调整后生成器，并基于所述第二目标损失值对所述初始随机模型的参数值进行调整，得到所述调整后随机模型。

示例性的，所述获取模块61基于所述第三特征向量和所述第四特征向量确定第二目标损失值时具体用于：基于特征反差异化损失值确定所述第二目标损失值；或者，基于特征反差异化损失值和候选损失值确定所述第二目标损失值。所述获取模块61确定所述特征反差异化损失值时具体用于：确定第三特征向量与第四特征向量之间的距离，并基于所述距离确定所述特征反差异化损失值。

示例性的，所述候选损失值包括以下至少一种：统计量约束损失值、类别约束损失值、多样性约束损失值；所述获取模块61确定所述统计量约束损失值时具体用于：将所述模拟数据输入给原始任务模型，得到原始任务模型的目标网络层输出的特征向量对应的目标统计量；基于所述目标统计量与所述目标网络层的固有统计量的差值确定统计量约束损失值；其中，固有统计量为均值，目标统计量为均值，或，固有统计量为方差，目标统计量为方差，或，固有统计量为均值和方差，目标统计量为均值和方差。所述获取模块61确定所述类别约束损失值时具体用于：将所述模拟数据输入给原始任务模型得到K个类别分别对应的置信度；从所有置信度中选取最大置信度，将最大置信度对应的类别确定为所述第三特征向量的伪标签，将最大置信度确定为所述伪标签的目标置信度；基于所述伪标签的目标置信度确定类别约束损失值。所述获取模块61确定所述多样性约束损失值时具体用于：针对M个模拟数据中的每个模拟数据，M为大于1的正整数，将所述模拟数据输入给原始任务模型得到K个类别分别对应的置信度；针对每个类别，确定所述类别对应的所有置信度的平均置信度，并基于K个类别对应的平均置信度确定多样性约束损失值。

基于与上述方法同样的申请构思，本申请实施例中提出一种增量学习设备，所述增量学习设备可以包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；

所述处理器用于执行机器可执行指令，以实现如下步骤：

获取目标生成器、原始任务模型和初始增量模型；所述原始任务模型基于原始数据训练得到，所述初始增量模型的网络结构与所述原始任务模型的网络结构相同，且所述初始增量模型的参数值与所述原始任务模型的参数值不同；

将混合数据输入给所述原始任务模型得到第一特征向量，将所述混合数据输入给所述初始增量模型得到第二特征向量；其中，所述混合数据包括所述目标生成器生成的虚拟数据、用于对初始增量模型进行增量学习的增量数据；

基于所述第一特征向量和所述第二特征向量对所述初始增量模型的参数值进行调整，得到调整后增量模型；

若所述调整后增量模型未收敛，则将所述调整后增量模型确定为初始增量模型，返回执行将混合数据输入给所述原始任务模型得到第一特征向量的操作；

若所述调整后增量模型已收敛，则将所述调整后增量模型确定为已完成增量学习的目标增量模型，所述目标增量模型用于对待检测数据进行处理。

基于与上述方法同样的申请构思，本申请实施例还提供一种机器可读存储介质，所述机器可读存储介质上存储有若干计算机指令，所述计算机指令被处理器执行时，能够实现本申请上述示例公开的增量学习方法。

其中，上述机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (11)

1.一种增量学习方法，其特征在于，所述方法包括：

获取目标生成器、原始任务模型和初始增量模型；所述原始任务模型基于原始数据训练得到，所述初始增量模型的网络结构与所述原始任务模型的网络结构相同，且所述初始增量模型的参数值与所述原始任务模型的参数值不同；

将混合数据输入给所述原始任务模型得到第一特征向量，将所述混合数据输入给所述初始增量模型得到第二特征向量；其中，所述混合数据包括所述目标生成器生成的虚拟数据、用于对初始增量模型进行增量学习的增量数据；其中，所述目标生成器生成虚拟数据的过程，包括：将固定维度的随机噪声向量输出给所述目标生成器，以使所述目标生成器对所述随机噪声向量进行上采样，得到指定分辨率的虚拟数据；其中，所述虚拟数据包括RGB图像；

基于所述第一特征向量和所述第二特征向量对所述初始增量模型的参数值进行调整，得到调整后增量模型；

若所述调整后增量模型未收敛，则将所述调整后增量模型确定为初始增量模型，返回执行将混合数据输入给所述原始任务模型得到第一特征向量的操作；

若所述调整后增量模型已收敛，则将所述调整后增量模型确定为已完成增量学习的目标增量模型，所述目标增量模型用于对待检测数据进行处理。

2.根据权利要求1所述的方法，其特征在于，

所述基于所述第一特征向量和所述第二特征向量对所述初始增量模型的参数值进行调整，得到调整后增量模型，包括：

基于所述第一特征向量和所述第二特征向量确定第一目标损失值；

基于所述第一目标损失值对所述初始增量模型的参数值进行调整，得到所述调整后增量模型。

3.根据权利要求2所述的方法，其特征在于，

所述基于所述第一特征向量和所述第二特征向量确定第一目标损失值，包括：基于特征差异化损失值确定所述第一目标损失值；或者，基于特征差异化损失值和类别交叉熵损失值确定所述第一目标损失值；其中：

所述特征差异化损失值的确定方式包括：确定所述第一特征向量与所述第二特征向量之间的距离，基于所述距离确定所述特征差异化损失值。

4.根据权利要求3所述的方法，其特征在于，

所述类别交叉熵损失值的确定方式包括：将混合数据输入给所述原始任务模型得到K个类别分别对应的置信度，K为大于1的正整数；

从所有置信度中选取最大置信度，将最大置信度对应的类别确定为所述第一特征向量的伪标签，并将最大置信度确定为所述伪标签的目标置信度；

基于所述伪标签的目标置信度确定所述类别交叉熵损失值。

5.根据权利要求1所述的方法，其特征在于，所述获取目标生成器包括：

基于初始生成器生成模拟数据，将所述模拟数据输入给原始任务模型得到第三特征向量，并将所述模拟数据输入给初始随机模型得到第四特征向量；其中，所述初始随机模型的网络结构与所述原始任务模型的网络结构相同，且所述初始随机模型的参数值与所述原始任务模型的参数值不同；

基于所述第三特征向量和所述第四特征向量对所述初始生成器的参数值进行调整，得到调整后生成器，并基于所述第三特征向量和所述第四特征向量对所述初始随机模型的参数值进行调整，得到调整后随机模型；

若调整后生成器未收敛，则将调整后生成器确定为初始生成器，将调整后随机模型确定为初始随机模型，返回执行基于初始生成器生成模拟数据的操作；

若调整后生成器已收敛，则将所述调整后生成器确定为已完成训练的目标生成器，所述目标生成器用于保持目标增量模型在原始数据的性能。

6.根据权利要求5所述的方法，其特征在于，

所述基于所述第三特征向量和所述第四特征向量对所述初始生成器的参数值进行调整，得到调整后生成器，并基于所述第三特征向量和所述第四特征向量对所述初始随机模型的参数值进行调整，得到调整后随机模型，包括：

基于所述第三特征向量和所述第四特征向量确定第二目标损失值；

基于所述第二目标损失值对所述初始生成器的参数值进行调整，得到所述调整后生成器，并基于所述第二目标损失值对所述初始随机模型的参数值进行调整，得到所述调整后随机模型。

7.根据权利要求6所述的方法，其特征在于，

所述基于所述第三特征向量和所述第四特征向量确定第二目标损失值，包括：基于特征反差异化损失值确定所述第二目标损失值；或者，基于特征反差异化损失值和候选损失值确定所述第二目标损失值；其中：

所述特征反差异化损失值的确定方式包括：确定所述第三特征向量与所述第四特征向量之间的距离，并基于所述距离确定所述特征反差异化损失值。

8.根据权利要求7所述的方法，其特征在于，所述候选损失值包括以下至少一种：统计量约束损失值、类别约束损失值、多样性约束损失值；

所述统计量约束损失值的确定方式包括：将所述模拟数据输入给原始任务模型，得到原始任务模型的目标网络层输出的特征向量对应的目标统计量；基于所述目标统计量与所述目标网络层的固有统计量的差值确定统计量约束损失值；其中，固有统计量为均值，目标统计量为均值，或，固有统计量为方差，目标统计量为方差，或，固有统计量为均值和方差，目标统计量为均值和方差；

所述类别约束损失值的确定方式包括：将所述模拟数据输入给原始任务模型得到K个类别分别对应的置信度；从所有置信度中选取最大置信度，将最大置信度对应的类别确定为所述第三特征向量的伪标签，将最大置信度确定为所述伪标签的目标置信度；基于所述伪标签的目标置信度确定类别约束损失值；

所述多样性约束损失值的确定方式包括：针对M个模拟数据中的每个模拟数据，M为大于1的正整数，将所述模拟数据输入给原始任务模型得到K个类别分别对应的置信度；针对每个类别，确定所述类别对应的所有置信度的平均置信度，并基于K个类别对应的平均置信度确定多样性约束损失值。

9.根据权利要求5所述的方法，其特征在于，原始任务模型包括分类网络层，且初始随机模型包括分类网络层，所述调整后生成器已收敛之后，还包括：

拷贝原始任务模型中的分类网络层到初始随机模型中的分类网络层；

基于验证数据集中的每个验证数据，将所述验证数据输入给所述原始任务模型，得到所述验证数据对应的第一分类结果，并将所述验证数据输入给所述初始随机模型，得到所述验证数据对应的第二分类结果；基于所有验证数据对应的第一分类结果和第二分类结果确定所述初始随机模型的检测准确率；

若所述检测准确率大于阈值，则将所述调整后生成器确定为目标生成器。

10.一种增量学习装置，其特征在于，所述装置包括：

获取模块，用于获取目标生成器、原始任务模型和初始增量模型；所述原始任务模型基于原始数据训练得到，所述初始增量模型的网络结构与所述原始任务模型的网络结构相同，所述初始增量模型的参数值与所述原始任务模型的参数值不同；将混合数据输入给所述原始任务模型得到第一特征向量，将所述混合数据输入给所述初始增量模型得到第二特征向量；其中，所述混合数据包括目标生成器生成的虚拟数据、用于对初始增量模型进行增量学习的增量数据；其中，所述目标生成器生成虚拟数据的过程，包括：将固定维度的随机噪声向量输出给所述目标生成器，以使所述目标生成器对所述随机噪声向量进行上采样，得到指定分辨率的虚拟数据；其中，所述虚拟数据包括RGB图像；

训练模块，用于基于所述第一特征向量和所述第二特征向量对所述初始增量模型的参数值进行调整，得到调整后增量模型；若所述调整后增量模型未收敛，则将所述调整后增量模型确定为初始增量模型，以由所述获取模块将混合数据输入给所述原始任务模型得到第一特征向量；若所述调整后增量模型已收敛，则将所述调整后增量模型确定为已完成增量学习的目标增量模型；

其中，所述目标增量模型用于对待检测数据进行处理。

11.一种增量学习设备，其特征在于，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；

所述处理器用于执行机器可执行指令，以实现如下步骤：

获取目标生成器、原始任务模型和初始增量模型；所述原始任务模型基于原始数据训练得到，所述初始增量模型的网络结构与所述原始任务模型的网络结构相同，且所述初始增量模型的参数值与所述原始任务模型的参数值不同；

将混合数据输入给所述原始任务模型得到第一特征向量，将所述混合数据输入给所述初始增量模型得到第二特征向量；其中，所述混合数据包括所述目标生成器生成的虚拟数据、用于对初始增量模型进行增量学习的增量数据；其中，所述目标生成器生成虚拟数据的过程，包括：将固定维度的随机噪声向量输出给所述目标生成器，以使所述目标生成器对所述随机噪声向量进行上采样，得到指定分辨率的虚拟数据；其中，所述虚拟数据包括RGB图像；

基于所述第一特征向量和所述第二特征向量对所述初始增量模型的参数值进行调整，得到调整后增量模型；

若所述调整后增量模型未收敛，则将所述调整后增量模型确定为初始增量模型，返回执行将混合数据输入给所述原始任务模型得到第一特征向量的操作；

若所述调整后增量模型已收敛，则将所述调整后增量模型确定为已完成增量学习的目标增量模型，所述目标增量模型用于对待检测数据进行处理。