CN111597374A - 图像分类方法、装置及电子设备 - Google Patents

Abstract

本申请提供了一种图像分类方法、装置、电子设备及计算机可读存储介质；方法包括：接收第一分类任务的分类请求；通过增量图像分类模型对待分类图像进行分类处理；第一分类任务需要识别的类型中至少存在与第二分类任务需要识别的第一基础类型不同的类型，增量图像分类模型是在用于执行第二分类任务的基础图像分类模型的基础上、对基础图像分类模型能够识别的第一背景类型进行区分学习得到；根据增量图像分类模型能够识别的类型与第一分类任务需要识别的类型之间的映射关系，将增量图像分类模型识别出的类型进行映射处理，得到第一分类任务的分类结果；响应第一分类任务的分类请求。通过本申请，能够高效准确完成带背景类的图像分类任务。

Description

图像分类方法、装置及电子设备

技术领域

本申请涉及人工智能技术，尤其涉及一种图像分类方法、装置、电子设备及计算机可读存储介质。

背景技术

人工智能（Artificial Intelligence，AI）是计算机科学的一个综合技术，通过研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，例如自然语言处理技术以及机器学习/深度学习等几大方向，随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

人工智能技术中的重要分支是图像识别技术，在涉及到图像识别技术的产品中存在以下应用场景，即在预先完成基础分类任务的情况下，将基础分类任务拓展到其他识别场景，其他识别场景中的新分类任务中的识别目标相对于基础分类任务发生了一定程度的改变，对于如何将基础分类任务学习得到的成熟模型迁移到新分类任务中以取得较好的性能，在相关技术中暂无有效解决办法。

发明内容

本发明实施例提供一种图像分类方法、装置、电子设备及计算机可读存储介质，能够高效准确完成带背景类的图像分类任务。

本发明实施例的技术方案是这样实现的：

本发明实施例提供一种图像分类方法，包括：

接收第一分类任务的分类请求；

通过增量图像分类模型对待分类图像进行分类处理；

其中，所述第一分类任务需要识别的类型中至少存在与第二分类任务需要识别的第一基础类型不同的类型，所述增量图像分类模型是在用于执行所述第二分类任务的基础图像分类模型的基础上、对所述基础图像分类模型能够识别的第一背景类型进行区分学习得到；

根据所述增量分类模型能够识别的类型与所述第一分类任务需要识别的类型之间的映射关系，将所述增量图像分类模型识别出的类型进行映射处理，得到所述第一分类任务的分类结果；

基于所述第一分类任务的分类结果响应所述第一分类任务的分类请求。

在上述方案中，所述通过增量图像分类模型对待分类图像进行分类处理，包括：

通过所述增量图像分类模型对所述待分类图像进行特征提取处理，得到所述待分类图像的特征图；

通过所述增量图像分类模型对所述待分类图像的特征图进行池化处理，得到所述待分类图像的嵌入特征；

通过所述增量图像分类模型，对所述待分类图像进行分类处理，以得到所述待分类图像为每个第一基础类型、每个第二基础类型以及第二背景类型的概率；

将具有最大概率的类型确定为所述增量图像分类模型识别出的所述待分类图像的类型。

在上述方案中，所述将所述第一背景类型的图像样本在所述增量图像分类模型中进行正向传播，得到所述第一背景类型的图像样本属于每个所述第二基础类型的概率，包括：

通过所述增量图像分类模型对所述第一背景类型的图像样本进行特征提取处理，得到所述第一背景类型的图像样本的特征图；

通过所述增量图像分类模型对所述第一背景类型的图像样本的特征图进行池化处理，得到所述第一背景类型的图像样本的嵌入特征；

通过所述增量图像分类模型对所述第一背景类型的图像样本的嵌入特征进行全连接处理，得到所述第一背景类型的图像样本属于每个所述第二基础类型的概率。

在上述方案中，所述基于所述更新后的第二图像样本集合，对所述增量图像分类模型中进行多轮次训练，包括：

基于对应第k-1轮次正向传播和反向传播的第k-1轮次图像样本集合，获取对应第k轮次正向传播和反向传播的第k轮次图像样本集合；

其中，第一轮次正向传播和反向传播的第一轮次图像样本集合为所述更新后的第二图像样本集合；

将所述第k轮次图像样本集合中的图像样本，在所述增量图像分类模型中进行第k轮次的正向传播和反向传播，以更新所述增量图像分类模型，其中，k为大于或者等于2的整数；

当第k轮次的正向传播和反向传播结束时，继续对所述增量图像分类模型进行第k+1轮次的正向传播和反向传播，以继续更新所述增量图像分类模型；

当基于所述增量图像分类模型的损失函数所得到的误差稳定在固定范围内，或者所述增量图像分类模型的训练轮次达到训练轮次阈值时，确定所述增量图像分类模型训练完成。

在上述方案中，所述对应第k-1轮次正向传播和反向传播的第k-1轮次图像样本集合，包括：

通过所述第k-1轮次的正向传播和反向传播，获取所述第k-1轮次图像样本集合中每个所述第一基础类型的图像样本以及第二背景类型的图像样本的误差；

基于所获取的误差，对每个所述第一基础类型的图像样本、所述第二背景类型的图像样本整体上进行降序排序处理；

在降序排序结果中选取每个所述第一基础类型以及所述第二背景类型中排序在前的多个图像样本，并结合所述第k-1轮次图像样本集合中的所述第二基础类型的图像样本，组成第k轮次图像样本集合。

本发明实施例提供一种图像分类装置，包括：

接收模块，用于接收第一分类任务的分类请求；

分类模块，用于通过增量图像分类模型对待分类图像进行分类处理；

其中，所述第一分类任务需要识别的类型中至少存在与第二分类任务需要识别的第一基础类型不同的类型，所述增量图像分类模型是在用于执行所述第二分类任务的基础图像分类模型的基础上、对所述基础图像分类模型能够识别的第一背景类型进行区分学习得到；

映射模块，用于根据所述增量分类模型能够识别的类型与所述第一分类任务需要识别的类型之间的映射关系，将所述增量图像分类模型识别出的类型进行映射处理，得到所述第一分类任务的分类结果；

响应模块，用于基于所述第一分类任务的分类结果响应所述第一分类任务的分类请求。

在上述方案中，所述基础图像分类模型能够识别的类型包括第一背景类型以及至少一种第一基础类型，所述增量图像分类模型能够识别的类型包括第二背景类型、至少一种所述第一基础类型、以及至少一种第二基础类型，所述第一分类任务需要识别的类型包括第三背景类型、以及至少一种第三基础类型；

所述映射模块，还用于：

当所述增量图像分类模型识别出的类型满足以下条件至少之一时，生成所述待分类图像属于所述第三基础类型的分类结果：

所述增量图像分类模型识别出的类型为任一种所述第二基础类型、且与所述第三基础类型具有映射关系；

所述增量图像分类模型识别出的类型为任一种所述第一基础类型、且与所述第三基础类型具有映射关系；

当所述增量图像分类模型识别出的类型满足以下条件至少之一时，生成所述待分类图像属于所述第三背景类型的分类结果：

所述增量图像分类模型识别出的类型为任一种所述第二基础类型、且与所述第三基础类型不具有映射关系；

所述增量图像分类模型识别出的类型为任一种所述第一基础类型、且与所述第三基础类型不具有映射关系；

所述增量图像分类模型识别出的类型是所述第二背景类型。

在上述方案中，所述基础图像分类模型能够识别的类型包括第一背景类型以及至少一种第一基础类型，所述增量图像分类模型能够识别的类型包括第二背景类型、至少一种所述第一基础类型、以及至少一种第二基础类型，所述第一分类任务需要识别的类型包括第三背景类型、以及至少一种第三基础类型；

所述映射模块，还用于：

当所述增量图像分类模型识别出的类型满足以下条件时，生成所述待分类图像属于所述第三基础类型的分类结果：

所述增量图像分类模型识别出的类型为任一种所述第二基础类型、且与所述第三基础类型具有映射关系；

当所述增量图像分类模型识别出的类型不满足所述条件时，生成所述待分类图像属于所述第三背景类型的分类结果。

在上述方案中，所述方法还包括：第二分类任务模块，用于：

接收所述第二分类任务的分类请求；

通过所述基础图像分类模型对待分类图像进行分类处理；

将所述基础图像分类模型识别出的类型，作为所述第二分类任务的分类结果；

基于所述第二分类任务的分类结果响应所述第二分类任务的分类请求。

在上述方案中，所述分类模块，还用于：

通过所述增量图像分类模型对所述待分类图像进行特征提取处理，得到所述待分类图像的特征图；

通过所述增量图像分类模型对所述待分类图像的特征图进行池化处理，得到所述待分类图像的嵌入特征；

通过所述增量图像分类模型，对所述待分类图像进行分类处理，以得到所述待分类图像为每个第一基础类型、每个第二基础类型以及第二背景类型的概率；

将具有最大概率的类型确定为所述增量图像分类模型识别出的所述待分类图像的类型。

在上述方案中，所述装置还包括：训练模块，用于：

在通过增量图像分类模型对待分类图像进行分类处理之前，

在所述基础图像分类模型中的全连接层中增加分类器；

其中，所述分类器用于识别所述第一分类任务需要识别、且所述基础图像分类模型无法识别的第二基础类型，得到初始化的所述增量图像分类模型；

获取用于训练所述基础图像分类模型的第一图像样本集合、以及用于训练所述增量图像分类模型的第二图像样本集合；

通过所述第二图像样本集合，生成初始化的所述增量图像分类模型的全连接层中用于识别所述第二基础类型的分类器的初始参数；

对所述第一图像样本集合中的第一背景类型的图像样本进行样本标注处理，并将标注处理结果应用于所述第二图像样本集合，得到更新后的第二图像样本集合；

基于所述更新后的第二图像样本集合，对所述增量图像分类模型进行多轮次训练，以在初始化的所述增量图像分类模型的基础上得到训练后的增量图像分类模型。

在上述方案中，所述训练模块，还用于：

获取第一基础类型的图像样本、所述第一背景类型的图像样本，以组成所述第一图像样本集合；

其中，所述第一背景类型是除了所述第一基础类型之外的类型；

获取所述第一基础类型的图像样本、所述第二基础类型的图像样本、第二背景类型的图像样本，以组成所述第二图像样本集合；

其中，所述第二背景类型是除所述第一基础类型以及所述第二基础类型的之外的类型。

在上述方案中，所述训练模块，还用于：

将所述第二图像样本集合中对应不同所述第二基础类型的多个图像样本，在所述基础图像分类模型中进行正向传播，得到对应每个所述第二基础类型的嵌入特征；

基于对应每个所述第二基础类型的嵌入特征，生成初始化的所述增量图像分类模型的全连接层中用于识别所述第二基础类型的分类器的初始参数。

在上述方案中，所述训练模块，还用于：

针对所述第二图像样本集合中对应不同所述第二基础类型的多个图像样本，执行以下处理：

通过所述基础图像分类模型对所述图像样本进行特征提取处理，得到所述图像样本的特征图；

通过所述基础图像分类模型对所述图像样本的特征图进行池化处理，得到所述图像样本的嵌入特征。

在上述方案中，所述训练模块，还用于：

针对任一种所述第二基础类型执行以下处理：

将所述第二基础类型的多个图像样本的嵌入特征进行平均处理，得到对应所述第二基础类型的平均嵌入特征，并

将所述平均嵌入特征确定为所述增量图像分类模型的全连接层中用于识别所述第二基础类型的分类器的初始参数。

在上述方案中，所述训练模块，还用于：

针对所述第一图像样本集合中所述第一背景类型的每个图像样本，执行以下处理：

将所述第一背景类型的图像样本在所述增量图像分类模型中进行正向传播，得到所述第一背景类型的图像样本属于每个所述第二基础类型的概率；

基于所述第一背景类型的每个图像样本属于每个所述第二基础类型的概率，获取对应每个所述第二基础类型的混淆样本，并

针对每个所述混淆样本执行以下处理：

将所述混淆样本中属于所述第二基础类型的图像样本标注为所述第二基础类型的图像样本；

将所述混淆样本中不属于所述第二基础类型的图像样本标注为所述第二背景类型的图像样本。

在上述方案中，所述训练模块，还用于：

通过所述增量图像分类模型对所述第一背景类型的图像样本进行特征提取处理，得到所述第一背景类型的图像样本的特征图；

通过所述增量图像分类模型对所述第一背景类型的图像样本的特征图进行池化处理，得到所述第一背景类型的图像样本的嵌入特征；

通过所述增量图像分类模型对所述第一背景类型的图像样本的嵌入特征进行全连接处理，得到所述第一背景类型的图像样本属于每个所述第二基础类型的概率。

在上述方案中，所述训练模块，还用于：

针对所述第一背景类型的每个图像样本，执行以下处理：

确定所述第一背景类型的图像样本属于每个所述第二基础类型的概率中的最大概率；

当所述最大概率大于混淆样本概率阈值时，将所述第一背景类型的图像样本确定为对应所述最大概率的第二基础类型的混淆样本。

在上述方案中，所述训练模块，还用于：

基于对应第k-1轮次正向传播和反向传播的第k-1轮次图像样本集合，获取对应第k轮次正向传播和反向传播的第k轮次图像样本集合；

其中，第一轮次正向传播和反向传播的第一轮次图像样本集合为所述更新后的第二图像样本集合；

将所述第k轮次图像样本集合中的图像样本，在所述增量图像分类模型中进行第k轮次的正向传播和反向传播，以更新所述增量图像分类模型，其中，k为大于或者等于2的整数；

当第k轮次的正向传播和反向传播结束时，继续对所述增量图像分类模型进行第k+1轮次的正向传播和反向传播，以继续更新所述增量图像分类模型；

当基于所述增量图像分类模型的损失函数所得到的误差稳定在固定范围内，或者所述增量图像分类模型的训练轮次达到训练轮次阈值时，确定所述增量图像分类模型训练完成。

在上述方案中，所述训练模块，还用于：

通过第k-1轮次的正向传播和反向传播，获取所述第k-1轮次图像样本集合中每个所述第一基础类型的图像样本以及第二背景类型的图像样本的误差；

基于所获取的误差，对每个所述第一基础类型的图像样本、所述第二背景类型的图像样本整体上进行降序排序处理；

在降序排序结果中选取每个所述第一基础类型以及所述第二背景类型中排序在前的多个图像样本，并结合所述第k-1轮次图像样本集合中的所述第二基础类型的图像样本，组成第k轮次图像样本集合。

本发明实施例提供一种增量图像分类模型的训练方法，

所述增量图像分类模型是基于基础分类模型构建的；所述基础图像分类模型用于识别第一背景类型、以及至少一种第一基础类型，所述增量图像分类模型用于识别至少一种第二基础类型、以及至少一种所述第一基础类型；

所述方法包括：

在所述基础图像分类模型中的全连接层中增加分类器，得到初始化的所述增量图像分类模型，其中，所述分类器用于识别第一分类任务需要识别、且用于执行第二分类任务的所述基础图像分类模型无法识别的所述第二基础类型；

获取用于训练所述基础图像分类模型的第一图像样本集合、以及用于训练所述增量图像分类模型的第二图像样本集合；

通过所述第二图像样本集合，生成初始化的所述增量图像分类模型中的全连接层中用于识别所述第二基础类型的分类器的初始参数；

基于所述第一图像样本集合中的第一背景类型的图像样本，对所述增量图像分类模型进行区分学习，以在具有所述初始参数的增量图像分类模型的基础上得到区分学习后的增量图像分类模型。

在上述方案中，所述获取用于训练所述基础图像分类模型的第一图像样本集合，包括：

获取第一基础类型的图像样本、所述第一背景类型的图像样本，以组成所述第一图像样本集合；

其中，所述第一背景类型是除了所述第一基础类型之外的类型；

所述获取用于训练所述增量图像分类模型的第二图像样本集合，包括：

获取所述第一基础类型的图像样本、所述第二基础类型的图像样本、第二背景类型的图像样本，以组成所述第二图像样本集合；

其中，所述第二背景类型是除所述第一基础类型以及所述第二基础类型的之外的类型。

在上述方案中，所述通过所述第二图像样本集合，生成初始化的所述增量图像分类模型的全连接层中用于识别所述第二基础类型的分类器的初始参数，包括：

将所述第二图像样本集合中对应不同所述第二基础类型的多个图像样本，在所述基础图像分类模型中进行正向传播，得到对应每个所述第二基础类型的嵌入特征；

基于对应每个所述第二基础类型的嵌入特征，生成初始化的所述增量图像分类模型的全连接层中用于识别所述第二基础类型的分类器的初始参数。

在上述方案中，所述将所述第二图像样本集合中对应不同所述第二基础类型的多个图像样本，在所述基础图像分类模型中进行正向传播，得到对应每个所述第二基础类型的嵌入特征，包括：

针对所述第二图像样本集合中对应不同所述第二基础类型的多个图像样本，执行以下处理：

通过所述基础图像分类模型对所述图像样本进行特征提取处理，得到所述图像样本的特征图；

通过所述基础图像分类模型对所述图像样本的特征图进行池化处理，得到所述图像样本的嵌入特征。

在上述方案中，所述基于对应每个所述第二基础类型的嵌入特征，生成初始化的所述增量图像分类模型的全连接层中用于识别所述第二基础类型的分类器的初始参数，包括：

针对任一种所述第二基础类型执行以下处理：

将所述第二基础类型的多个图像样本的嵌入特征进行平均处理，得到对应所述第二基础类型的平均嵌入特征，并

将所述平均嵌入特征确定为所述增量图像分类模型的全连接层中用于识别所述第二基础类型的分类器的初始参数。

在上述方案中，所述基于所述第一图像样本集合中的第一背景类型的图像样本，对所述增量图像分类模型进行区分学习，以在具有所述初始参数的增量图像分类模型的基础上得到区分学习后的增量图像分类模型，包括：

对所述第一图像样本集合中的第一背景类型的图像样本进行样本标注处理，并将标注处理结果应用于所述第二图像样本集合，得到更新后的第二图像样本集合；

基于所述更新后的第二图像样本集合，对所述增量图像分类模型进行多轮次训练，以在初始化的所述增量图像分类模型的基础上得到训练后的增量图像分类模型。

在上述方案中，所述对所述第一图像样本集合中的第一背景类型的图像样本进行样本标注处理，包括：

针对所述第一图像样本集合中所述第一背景类型的每个图像样本，执行以下处理：

将所述第一背景类型的图像样本在所述增量图像分类模型中进行正向传播，得到所述第一背景类型的图像样本属于每个所述第二基础类型的概率；

基于所述第一背景类型的每个图像样本属于每个所述第二基础类型的概率，获取对应每个所述第二基础类型的混淆样本，并

针对每个所述混淆样本执行以下处理：

将所述混淆样本中属于所述第二基础类型的图像样本标注为所述第二基础类型的图像样本；

将所述混淆样本中不属于所述第二基础类型的图像样本标注为所述第二背景类型的图像样本。

在上述方案中，所述将所述第一背景类型的图像样本在所述增量图像分类模型中进行正向传播，得到所述第一背景类型的图像样本属于每个所述第二基础类型的概率，包括：

通过所述增量图像分类模型对所述第一背景类型的图像样本进行特征提取处理，得到所述第一背景类型的图像样本的特征图；

通过所述增量图像分类模型对所述第一背景类型的图像样本的特征图进行池化处理，得到所述第一背景类型的图像样本的嵌入特征；

通过所述增量图像分类模型对所述第一背景类型的图像样本的嵌入特征进行全连接处理，得到所述第一背景类型的图像样本属于每个所述第二基础类型的概率。

在上述方案中，所述基于所述第一背景类型的每个图像样本属于每个所述第二基础类型的概率，获取对应每个所述第二基础类型的混淆样本，包括：

针对所述第一背景类型的每个图像样本，执行以下处理：

确定所述第一背景类型的图像样本属于每个所述第二基础类型的概率中的最大概率；

当所述最大概率大于混淆样本概率阈值时，将所述第一背景类型的图像样本确定为对应所述最大概率的第二基础类型的混淆样本。

在上述方案中，所述基于所述更新后的第二图像样本集合，对所述增量图像分类模型中进行多轮次训练，包括：

基于对应第k-1轮次正向传播和反向传播的第k-1轮次图像样本集合，获取对应第k轮次正向传播和反向传播的第k轮次图像样本集合；

其中，第一轮次正向传播和反向传播的第一轮次图像样本集合为所述更新后的第二图像样本集合；

将所述第k轮次图像样本集合中的图像样本，在所述增量图像分类模型中进行第k轮次的正向传播和反向传播，以更新所述增量图像分类模型，其中，k为大于或者等于2的整数；

当第k轮次的正向传播和反向传播结束时，继续对所述增量图像分类模型进行第k+1轮次的正向传播和反向传播，以继续更新所述增量图像分类模型；

当基于所述增量图像分类模型的损失函数所得到的误差稳定在固定范围内，或者所述增量图像分类模型的训练轮次达到训练轮次阈值时，确定所述增量图像分类模型训练完成。

在上述方案中，所述对应第k-1轮次正向传播和反向传播的第k-1轮次图像样本集合，获取对应第k轮次正向传播和反向传播的第k轮次图像样本集合，包括：

通过第k-1轮次的正向传播和反向传播，获取所述第k-1轮次图像样本集合中每个所述第一基础类型的图像样本以及第二背景类型的图像样本的误差；

基于所获取的误差，对每个所述第一基础类型的图像样本、所述第二背景类型的图像样本整体上进行降序排序处理；

在降序排序结果中选取每个所述第一基础类型以及所述第二背景类型中排序在前的多个图像样本，并结合所述第k-1轮次图像样本集合中的所述第二基础类型的图像样本，组成第k轮次图像样本集合。

本发明实施例提供一种增量图像分类模型的训练装置，

所述增量图像分类模型是基于基础分类模型构建的；

所述基础图像分类模型用于识别第一背景类型、以及至少一种第一基础类型，所述增量图像分类模型用于识别至少一种第二基础类型、以及至少一种所述第一基础类型；

所述装置包括：

构成模块，用于在所述基础图像分类模型中的全连接层中增加分类器，得到初始化的所述增量图像分类模型，其中，所述分类器用于识别第一分类任务需要识别、且用于执行第二分类任务的所述基础图像分类模型无法识别的所述第二基础类型；

集合获取模块，用于获取用于训练所述基础图像分类模型的第一图像样本集合、以及用于训练所述增量图像分类模型的第二图像样本集合；

初始化模块，用于通过所述第二图像样本集合，生成初始化的所述增量图像分类模型中的全连接层中用于识别所述第二基础类型的分类器的初始参数；

训练模块，用于基于所述第一图像样本集合中的第一背景类型的图像样本，对所述增量图像分类模型进行区分学习，以在具有所述初始参数的增量图像分类模型的基础上得到区分学习后的增量图像分类模型。

在上述方案中，所述集合获取模块，还用于：

获取第一基础类型的图像样本、所述第一背景类型的图像样本，以组成所述第一图像样本集合；

其中，所述第一背景类型是除了所述第一基础类型之外的类型；

所述集合获取模块，还用于：

获取所述第一基础类型的图像样本、所述第二基础类型的图像样本、第二背景类型的图像样本，以组成所述第二图像样本集合；

其中，所述第二背景类型是除所述第一基础类型以及所述第二基础类型的之外的类型。

在上述方案中，所述初始化模块，还用于：

将所述第二图像样本集合中对应不同所述第二基础类型的多个图像样本，在所述基础图像分类模型中进行正向传播，得到对应每个所述第二基础类型的嵌入特征；

基于对应每个所述第二基础类型的嵌入特征，生成初始化的所述增量图像分类模型的全连接层中用于识别所述第二基础类型的分类器的初始参数。

在上述方案中，所述初始化模块，还用于：

针对所述第二图像样本集合中对应不同所述第二基础类型的多个图像样本，执行以下处理：

通过所述基础图像分类模型对所述图像样本进行特征提取处理，得到所述图像样本的特征图；

通过所述基础图像分类模型对所述图像样本的特征图进行池化处理，得到所述图像样本的嵌入特征。

在上述方案中，所述初始化模块，还用于：

针对任一种所述第二基础类型执行以下处理：

将所述第二基础类型的多个图像样本的嵌入特征进行平均处理，得到对应所述第二基础类型的平均嵌入特征，并

将所述平均嵌入特征确定为所述增量图像分类模型的全连接层中用于识别所述第二基础类型的分类器的初始参数。

在上述方案中，所述训练模块，还用于：

对所述第一图像样本集合中的第一背景类型的图像样本进行样本标注处理，并将标注处理结果应用于所述第二图像样本集合，得到更新后的第二图像样本集合；

基于所述更新后的第二图像样本集合，对所述增量图像分类模型进行多轮次训练，以在初始化的所述增量图像分类模型的基础上得到训练后的增量图像分类模型。

在上述方案中，所述训练模块，还用于：

针对所述第一图像样本集合中所述第一背景类型的每个图像样本，执行以下处理：

将所述第一背景类型的图像样本在所述增量图像分类模型中进行正向传播，得到所述第一背景类型的图像样本属于每个所述第二基础类型的概率；

基于所述第一背景类型的每个图像样本属于每个所述第二基础类型的概率，获取对应每个所述第二基础类型的混淆样本，并

针对每个所述混淆样本执行以下处理：

将所述混淆样本中属于所述第二基础类型的图像样本标注为所述第二基础类型的图像样本；

将所述混淆样本中不属于所述第二基础类型的图像样本标注为所述第二背景类型的图像样本。

在上述方案中，所述训练模块，还用于：

通过所述增量图像分类模型对所述第一背景类型的图像样本进行特征提取处理，得到所述第一背景类型的图像样本的特征图；

通过所述增量图像分类模型对所述第一背景类型的图像样本的特征图进行池化处理，得到所述第一背景类型的图像样本的嵌入特征；

通过所述增量图像分类模型对所述第一背景类型的图像样本的嵌入特征进行全连接处理，得到所述第一背景类型的图像样本属于每个所述第二基础类型的概率。

在上述方案中，所述训练模块，还用于：

针对所述第一背景类型的每个图像样本，执行以下处理：

确定所述第一背景类型的图像样本属于每个所述第二基础类型的概率中的最大概率；

当所述最大概率大于混淆样本概率阈值时，将所述第一背景类型的图像样本确定为对应所述最大概率的第二基础类型的混淆样本。

在上述方案中，所述训练模块，还用于：

基于对应第k-1轮次正向传播和反向传播的第k-1轮次图像样本集合，获取对应第k轮次正向传播和反向传播的第k轮次图像样本集合；

其中，第一轮次正向传播和反向传播的第一轮次图像样本集合为所述更新后的第二图像样本集合；

将所述第k轮次图像样本集合中的图像样本，在所述增量图像分类模型中进行第k轮次的正向传播和反向传播，以更新所述增量图像分类模型，其中，k为大于或者等于2的整数；

当第k轮次的正向传播和反向传播结束时，继续对所述增量图像分类模型进行第k+1轮次的正向传播和反向传播，以继续更新所述增量图像分类模型；

当基于所述增量图像分类模型的损失函数所得到的误差稳定在固定范围内，或者所述增量图像分类模型的训练轮次达到训练轮次阈值时，确定所述增量图像分类模型训练完成。

在上述方案中，所述训练模块，还用于：

通过第k-1轮次的正向传播和反向传播，获取所述第k-1轮次图像样本集合中每个所述第一基础类型的图像样本以及第二背景类型的图像样本的误差；

基于所获取的误差，对每个所述第一基础类型的图像样本、所述第二背景类型的图像样本整体上进行降序排序处理；

在降序排序结果中选取每个所述第一基础类型以及所述第二背景类型中排序在前的多个图像样本，并结合所述第k-1轮次图像样本集合中的所述第二基础类型的图像样本，组成第k轮次图像样本集合。

本发明实施例提供一种电子设备，包括：

存储器，用于存储可执行指令；

处理器，用于执行所述存储器中存储的可执行指令时，实现本发明实施例提供的图像分类方法或者增量图像分类模型的训练方法。

本发明实施例提供一种计算机可读存储介质，存储有可执行指令，用于被处理器执行时，实现本发明实施例提供的图像分类方法或者增量图像分类模型的训练方法。

本发明实施例具有以下有益效果：

增量图像分类模型能在基础图像分类模型的基础上快速学习与分类相关的信息，并且提高已存在的第一分类任务的数据利用率， 通过对第一背景类型中的图像样本进行区分学习以适应增量图像分类模型所能够识别的类型，从而在具有第一分类任务的识别能力的情况下，能够识别基础图像分类模型不能识别的第二基础类型，提升在混合学习中新类型的识别性能。

附图说明

图1A是相关技术中直接迁移学习的原理示意图；

图1B是相关技术中大规模增量学习的原理示意图；

图2是本发明实施例提供的图像分类系统的架构示意图；

图3是本发明实施例提供的应用图像分类方法与增量图像分类模型的训练方法的服务器的结构示意图；

图4是本发明实施例提供的增量图像分类模型的构建示意图；

图5A-5C是本发明实施例提供的增量图像分类模型的训练方法的流程示意图；

图6是本发明实施例提供的样本清洗示意图；

图7A-7D是本发明实施例提供的图像分类方法的流程示意图；

图8是本发明实施例提供的图像分类方法的应用场景示意图；

图9是本发明实施例提供的图像分类方法的增量图像分类模型的训练示意图；

图10是本发明实施例提供的特征模块（resnet101网络）的结构示意图；

图11是本发明实施例提供的图像分类方法的实现逻辑流程图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解, “一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本发明实施例能够以除了在这里图示或描述的以外的顺序实施。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本申请。

对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。

1）图像识别任务的迁移学习：指的是将某个领域或任务上学习到的识别能力应用到不同但相关的领域或问题中，从相关领域中迁移标注数据或者识别能力以完成或改进目标领域或任务的学习效果，迁移学习可以是同类型识别任务迁移，也可以是不同类型迁移，不同类型识别任务的迁移举例如下：从基于通用图像识别数据库的通用识别任务迁移到狗的品种识别任务，同类型识别任务的迁移举例如下：旧分类任务中需要识别狗的品种：吉娃娃（第一基础类型）、亚摩耶（第一基础类型）以及其他品种（第一背景类型），而在新分类任务中需要识别狗的品种是：德国牧羊犬（第二基础类型）、博美（第二基础类型）以及其他品种（第二背景类型），其中新分类任务中在旧分类任务未出现过的类别称之为新类别，即第二基础类型。

2）增量学习：增量学习是指学习系统能在保存大部分已经学习到的知识的情况下不断地从新样本中学习新的知识，在深度学习中指保持已学到的图像识别能力（识别旧分类任务中第一基础类型的能力），且同时不断获得新类别（第二基础类型）的识别能力。

3）图像识别: 图像识别可以理解为对图像类型进行识别，例如，对人、狗、猫、鸟等类型进行的识别，并给出待识别图像的所属类型，例如，通用图像识别数据库的识别任务可以是识别出待识别图像是属于1000个类别中的哪一个。

4）ImageNet：大型通用物体识别开源数据集。

5）ImageNet预训练模型：基于ImageNet训练一个深度学习网络模型，得到该模型的参数权重即为ImageNet预训练模型。

6）循环神经网络（RNN，Recurrent Neural Network）：是一类用结构递归的方式构建的网络模型。

7）特征图: 对图像和滤波器进行卷积后可以得到特征图，特征图可以和滤波器进行卷积生成新的特征图。

8）深度特征嵌入Embedding：图像在经过深度学习神经网络前向计算后输出的深层高维度特征，一般是对某个特征图进行池化（pooling）操作后得到的一维特征向量。

9）神经网络权重：指深度学习神经网络中的模型权重参数。

10）三元组损失：在机器学习中对识别模型的损失度量方法，针对某个输入样本，先获取该输入样本和与之同类别的某个样本间的特征距离（正样本距离），以及该输入样本和不同类别的某样本间的特征距离（负样本距离），计算负样本距离与正样本距离之间的差异作为对输入样本的误差值。

相关技术中为了实现从旧分类任务（第二分类任务）到新分类任务（第一分类任务）的拓展，例如，基础分类任务（即第二分类任务）需要识别出吉娃娃、藏獒与其他品种（相对于吉娃娃、藏獒的背景类型），在拓展到新分类任务后，新分类任务需要识别出德国牧羊犬、柴犬与其他品种（相对于德国牧羊犬、柴犬的背景类型），会采取如下两种方式：1、直接迁移学习：参见图1A，图1A是相关技术中直接迁移学习的原理示意图，采集新分类任务的训练数据，把旧分类任务的训练数据直接当作新分类任务中的背景类样本，以用于执行旧分类任务的基础图像分类模型为预训练权重，重新训练用于执行新分类任务的新模型或固定基础图像分类模型的前多层网络参数，只学习最后几层网络参数，这种直接迁移学习的方式在源域（第一基础类别与第一背景类型）训练好的基础图像分类模型（用于完成第二分类任务的分类模型）上，直接用目标域（第二基础类别）进行迁移学习；2、大规模增量学习：参见图1B，图1B是相关技术中大规模增量学习的原理示意图，在保持第一基础类别的识别能力的情况下，学习新增类型（第二基础类别）的能力，在大规模增量学习中，假设初始的旧类型（第一基础类型）的样本量或者类型量极少（小于增量学习样本量阈值或者类型量阈值），而新增类型逐渐增加造成增量学习会遗忘第一基础类型，其在增量学习中学习新的分类层（全连接层），新的全连接层用于识别n+m 类型以适合新增类型数量的分类，同时保留旧的全连接层中的分类器（用于识别n个第一基础类型）并借助知识蒸馏技术实现将旧类型的预测结果通过蒸馏损失函数让新增类型学习旧类型的技术效果，同时为了防止遗忘旧类型信息，在学得新增类型后对新增类型采用分类损失函数学习一个线性映射层，使得新增类型的分布与旧类型的分布减少分布偏差。

发明人在实施本发明实施例时发现相关技术中的直接迁移学习存在以下技术缺陷：

1、为了保证迁移学习的效果，要求大量的目标域数据；

2、由于学习新增类型时不能保有源域识别能力，若要保有源域识别能力，则需要把源域数据与目标域数据进行合并学习，从而一定程度破坏了迁移学习的基于已经具有较好性能的源域模型（基础图像分类模型）的学习效果，并且基础识别任务积累的大量带标注样本在直接迁移学习中直接全当作背景类的方法使大量标注信息得不到有效利用；

3、没有针对带背景类型的新增类型迁移提供解决方案，例如，承接前文的示例，由于旧类型中的吉娃娃等类型的识别对新增类型德国牧羊犬等是具有帮助作用的，这些类的学习都需要关注动物的头部、耳朵、身型、爪子等部位，大规模的旧类型实际上在学习这些部位以识别狗的品种，大规模的旧类型为学习过程提供了足够数据量支持，然而新增类型的学习任务中（即n+1，n个新类型与1个背景类型，n可能很小），却常常不具有足够的类别监督信息来让模型学到这些头部、耳朵等部位的差异，基础任务中的类别变成了新任务中的其他品种（即背景类），新任务学习需要把基础类与背景类合并再进行学习，工业界与学术界对如何合理归并有效学习新类的问题研究非常少见。

发明人在实施本发明实施例时发现相关技术中的大规模增量学习存在以下技术缺陷：

1、相关技术中的大规模增量学习中没有考虑到现实应用场景下存在背景类型的问题，因此相关技术中的大规模增量学习无法直接应用到具有大规模背景类型的现实应用场景中；

2、相关技术中的大规模增量学习仅讨论了新增类型的数据量非常多而旧类型数据量非常少的情况，而工业界中常遇到的另一个问题是已经积累了大量的旧类型，并且有性能较好的基础图像分类模型，缺需要学习新增类型中样本量不足/样本量足够但是单类型的情况；

3、由于背景类型的存在，因此还需要考虑解决旧类型与背景类型合并输出的解决方案，而相关技术中的大规模增量学习对这些问题并没有解决方案。

因此，相关技术中的直接迁移学习与大规模增量学习这两种做法均不能解决以下技术问题：

1、源域类型成为新分类任务中的背景类型；

2、没有提供高效利用大量旧类型的数据以帮助新增类型学习的技术方案；

3、所面临这两种方式在实际应用中适用的应用场景与“基于大规模带背景类型的旧类型学习带背景类型的新增类型识别任务”的现实问题存在较大差异，主要差异在于在旧类型的学习过程中由于数据量足够，因此具有较好的识别效果，而新增类型的识别效果却受数据量限制造成相比基础图像分类模型识别旧类型的性能而言，新得到的模型对新增类型的识别性能下降。

为至少解决相关技术的上述技术问题，本发明实施例提供一种图像分类方法、装置、电子设备和计算机可读存储介质，基于增量分类模型能够识别的类型与新分类任务需要识别的类型之间的映射关系对增量图像分类模型识别出的类型进行映射处理，能够有效解决相关技术中没有考虑到存在背景类型的问题，以及旧类型（第一基础类型）成为新分类任务中的背景类型或者保留为基础类型的问题；通过在基础图像分类模型的基础上学习得到增量图像分类模型，可以通过基础图像分类模型提供更强的特征学习监督信息，以使增量图像分类模型能在基础图像分类模型的基础上快速学习与分类相关的信息，并且提高已存在的大规模旧分类任务的数据利用率，使得用于训练增量图像分类模型所使用的其能够识别的类型存在类型少或对应类型的样本量少的情况下，仍然能学习到足够的分类信息；通过对基础图像分类模型能够识别的第一背景类型进行区分学习得到增量图像分类模型，能够对第一背景类型中的图像样本进行区分以适应增量图像分类模型所能够识别的类型，从而在具有大规模旧分类任务的识别能力的情况下，高效学习增量分类模型能够识别的而基础图像分类模型不能识别的新类型（第二基础类型），以避免在混合学习中新类型的识别性能下降的问题。

下面说明本发明实施例提供的应用图像分类的电子设备的示例性应用，本发明实施例提供的应用图像分类的电子设备可以实施为笔记本电脑，平板电脑，台式计算机，机顶盒，移动设备（例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，便携式游戏设备）等各种类型的用户终端，也可以实施为服务器，例如独立的物理服务器，多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器，下面，将结合图2说明电子设备实施为服务器时的示例性应用。

参见图2，图2是本发明实施例提供的图像分类系统的架构示意图，终端400通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合。

服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端400可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本发明实施例中不做限制。

服务器200上预先配置有已经训练完成且实现成熟性能的基础图像分类模型，基础图像分类模型用于执行旧分类任务（至少一种第一基础类型与第一背景类型），即基础图像分类模型可以识别出至少一种第一基础类型与第一背景类型，例如，需要从许多个品种的狗中识别出吉娃娃（第一基础类型）、金毛（第一基础类型），其他品种（第一背景类型），第一背景类型是除了第一基础类型之外的所有品种的狗所属于的类型，即，若待分类图像是牧羊犬，则通过基础图像分类模型输出待分类图像属于第一背景类型。

在已经预先配置有已经训练完成且实现成熟性能的基础图像分类模型的基础上获取增量图像分类模型，服务器中的训练模块200-1获取来自于训练数据库500中的图像样本，用于训练基础图像分类模型的图像样本是各个第一基础类型的图像样本以及第一背景类型的图像样本，用于训练增量图像分类模型的图像样本是各个第一基础类型的图像样本、各个第二基础类型的图像样本以及第二背景类型的图像样本，例如，第二基础类型是牧羊犬，则第二背景类型是除了第一基础类型和第二基础类型之外的所有品种的狗所属于的类型，即，若待分类图像是柯基，则通过增量图像分类模型输出待分类图像属于第二背景类型，在用于执行旧分类任务的基础图像分类模型的基础上进行基于第一背景类型的图像样本的区分学习，即利用第一背景类型的图像样本，区分学习第一背景类型的图像样本中的第二基础类型的图像样本与第二背景类型的图像样本，从而有效利用旧分类任务的训练数据。

终端400上安装有客户端410，客户端410向服务器200发送新分类任务的请求，响应于新分类任务的请求，服务器200的应用模块200-2调用对应新分类任务的增量图像分类模型对获取到的待分类图像进行分类处理，当得到分类处理结果为第一基础类型或者第二背景类型时，将待分类图像的类型确定为第二背景类型，当得到的分类处理结果为第二基础类型时，将待分类图像的类型确定为第二基础类型，这里的待分类图像可以是由客户端410上传至服务器200的，将待分类图像的分类处理结果返回至终端400的客户端410以响应新分类任务的请求。客户端410向服务器200发送旧分类任务的请求，响应于旧分类任务的请求，服务器200调用对应旧分类任务的基础图像分类模型对获取到的待分类图像进行分类处理，得到分类处理结果，将待分类图像的分类处理结果返回至终端400的客户端410以响应旧分类任务的请求。

参见图3，是本发明实施例提供的应用图像分类方法与增量图像分类模型的训练方法的服务器的结构示意图，图3所示的服务器200包括：至少一个处理器210、存储器250、至少一个网络接口220。终端200中的各个组件通过总线系统240耦合在一起。可理解，总线系统440用于实现这些组件之间的连接通信。总线系统240除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图3中将各种总线都标为总线系统240。

处理器210可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器（DSP，Digital Signal Processor），或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。

存储器250可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器250可选地包括在物理位置上远离处理器 210的一个或多个存储设备。

存储器250包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器（ROM，Read Only Memory），易失性存储器可以是随机存取存储器（RAM，Random Access Memory）。本发明实施例描述的存储器250旨在包括任意适合类型的存储器。

在一些实施例中，存储器250能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。

操作系统251，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；

网络通信模块252，用于经由一个或多个（有线或无线）网络接口220到达其他计算设备，示例性的网络接口220包括：蓝牙、无线相容性认证（WiFi）、和通用串行总线（USB，Universal Serial Bus）等；

在一些实施例中，本发明实施例提供的装置可以采用软件方式实现，图3示出了存储在存储器250中的图像分类装置255-1和增量图像分类模型的训练装置255-2，其可以是程序和插件等形式的软件，图像分类装置255-1包括以下软件模块：接收模块2551、分类模块2552、映射模块2553、响应模块2554、旧分类任务模块2555以及训练模块2556，增量图像分类模型的训练装置255-2包括以下软件模块：构成模块2557、集合获取模块2558、初始化模块2559以及训练模块2550，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分，将在下文中说明各个模块的功能。

将结合本发明实施例提供的终端的示例性应用和实施，说明本发明实施例提供的增量图像分类模型的训练方法。

第二分类任务即为旧分类任务，基础图像分类模型是以旧分类任务为目标进行训练得到的，第一分类任务即为以旧分类任务为基础拓展得到的新分类任务，例如，旧分类任务（即第二分类任务）需要识别出吉娃娃、藏獒与其他品种（相对于吉娃娃、藏獒的背景类型），在拓展到新分类任务（第一分类任务）后，新分类任务需要识别出德国牧羊犬、柴犬与其他品种（相对于德国牧羊犬、柴犬的背景类型）。

参见图4，图4是本发明实施例提供的增量图像分类模型的构建示意图，在训练增量图像分类模型之前，已经预先训练好了用于执行旧分类任务的基础图像分类模型，旧分类任务是识别至少一个第一基础类型和第一背景类型，第一背景类型是除了所有第一基础类型之外的类型，从而基础图像分类模型能够识别至少一个第一基础类型（N个）和第一背景类型，即基础图像分类模型的全连接层中有分别对应至少一个第一基础类型和第一背景类型的分类器（N+1个），例如，图4中所显示的对应至少一个第一基础类型的分类器a，b，c，对应第一背景类型的分类器x，增量图像分类模型是基于基础分类模型构建的；基础图像分类模型用于识别第一背景类型、以及至少一种第一基础类型，增量图像分类模型用于识别至少一种第二基础类型、以及至少一种第一基础类型，增量图像分类模型和基础图像分类模型的结构类似，基础图像分类模型中具有特征提取模块与识别模块，特征提取模块中卷积层等等，识别模块中有池化层和全连接层，初始化的增量图像分类模型中的特征提取模块与基础图像分类模型中的特征提取模块相同，初始化的增量图像分类模型中的识别模块中的池化层与基础图像分类模型中的识别模块中的池化层相同，初始化的增量图像分类模型中的识别模块中的全连接层与基础图像分类模型中的识别模块中的全连接层不相同，初始化的增量图像分类模型中的识别模块中的全连接层中有分别对应至少一个第一基础类型、至少一个第二基础类型（M个）和第二背景类型的分类器（N+M+1个），例如，图4中所显示的对应至少一个第一基础类型的分类器a，b，c，对应至少一个第二基础类型的分类器d，e，对应第二背景类型的分类器x，第二背景类型是除了所有第一基础类型和所有第二基础类型之外的类型，在初始化的增量图像分类模型中的识别模块中的全连接层中，对应至少一个第一基础类型的分类器的初始参数（初始化的增量图像分类模型中a，b，c的初始参数）与训练完成的基础图像分类模型中对应至少一个第一基础类型的分类器的参数（训练完成的基础图像分类模型中a，b，c的最终参数）相同，对应第二背景类型的分类器的初始参数（初始化的增量图像分类模型中x的初始参数）与训练完成的基础图像分类模型中对应第一背景类型的分类器的参数（训练完成的基础图像分类模型中x的最终参数）相同，重新生成对应至少一个第二基础类型的分类器d和e的初始参数，上述增量图像分类模型的其他初始参数与训练完成的基础图像分类模型的参数一致（参数继承），基于上述增量图像分类模型的架构与初始参数，得到初始化的增量图像分类模型，作为后续训练的基础。

参见图5A，图5A是本发明实施例提供的增量图像分类模型的训练方法的流程示意图，将结合图5A示出的步骤101-104进行说明。

增量图像分类模型的训练过程除了在独立物理服务器上完成，还可以封装在云服务中或者封装在远程服务器中，由云服务或者远程服务响应于客户端或者本地服务器的调用请求对模型进行训练，在训练完成后向请求发出端返回训练完成的增量图像分类模型以进行针对具体业务逻辑的部署。

在步骤101中，服务器在基础图像分类模型中的全连接层中增加分类器，得到初始化的增量图像分类模型。

作为示例，在基础图像分类模型中的全连接层中增加分类器，得到初始化的增量图像分类模型的方式可以参照上述模型构建过程的详细说明，基础图像分类模型的训练过程如下：所使用的训练数据是第一图像样本集合，第一图像样本集合中包括至少一种第一基础类型的图像样本和第一背景类型的图像样本，例如，当第一基础类型为吉娃娃和金毛时，第一图像样本集合中包括多个吉娃娃的图像样本、多个金毛的图像样本和多个其他品种狗的图像样本，基础图像分类模型中多个卷积层采用在通用数据集上预训练的残差网络ResNet101的参数作为初始参数，基础图像分类模型中的全连接层的初始参数通过方差为0.01且均值为0的高斯分布进行初始化得到，基于具有初始参数的基础图像分类模型进行基于第一图像样本集合的训练，采用随机梯度下降法（SGD，Stochastic GradientDescent）求卷积参数w和偏置参数 b，在每次迭代过程中，计算预测结果与预标记的真实结果之间的误差并反向传播误差到基础图像分类模型中的各层，计算梯度并基于初始参数更新基础图像分类模型的参数，即将基础图像分类模型的所有参数都设为需要学习状态，训练时基础图像分类模型对输入的图像样本（来自第一图像样本集合）进行前向计算得到预测结果，把预测结果与真实结果对比计算模型的损失值，把损失值回传到网络中通过随机梯度下降法更新网络权重参数，从而实现一次权重优化，经过多次优化，最终得到表现良好的基础图像分类模型，初始学习率可以设置为0.01，第一图像样本集合全部经过前向计算和反向传播作为一次训练轮次，每隔30次训练轮次，则将学习率乘以0.1。

作为示例，服务器在基础图像分类模型中的全连接层中所增加的分类器用于识别新分类任务需要识别、且用于执行旧分类任务的基础图像分类模型无法识别的第二基础类型，具体的，基础图像分类模型能够识别的类型包括第一背景类型以及至少一种第一基础类型，增量图像分类模型能够识别的类型包括第二背景类型、至少一种第一基础类型、以及至少一种第二基础类型，新分类任务需要识别的类型包括第三背景类型、以及至少一种第三基础类型，例如，新分类任务需要识别的第三基础类型为牧羊犬、柯基和金毛，但是基础图像分类模型能够识别的第一基础类型是吉娃娃和金毛，从而基础图像分类模型无法识别牧羊犬和柯基，此时增量图像分类模型能够识别的第二基础类型中包括牧羊犬和柯基，因此，在基础图像分类模型中的全连接层中所增加的分类器是用于识别一些新分类任务识别需求，但是预先训练的基础图像分类模型无法识别的类型。

作为示例，增量图像分类模型实际上是在用于执行旧分类任务的基础图像分类模型的基础上增加新分类任务需要识别、且基础图像分类模型无法识别的类型（即增量学习）、对基础图像分类模型能够识别的第一背景类型进行区分学习。

在步骤102中，服务器获取用于训练基础图像分类模型的第一图像样本集合、以及用于训练增量图像分类模型的第二图像样本集合。

在一些实施例中，步骤102中获取用于训练基础图像分类模型的第一图像样本集合，可以通过以下技术方案实现：获取第一基础类型的图像样本、第一背景类型的图像样本，以组成第一图像样本集合；其中，第一背景类型是除了第一基础类型之外的类型；步骤102中获取用于训练增量图像分类模型的第二图像样本集合，可以通过以下技术方案实现：获取第一基础类型的图像样本、第二基础类型的图像样本、第二背景类型的图像样本，以组成第二图像样本集合；其中，第二背景类型是除第一基础类型以及第二基础类型的之外的类型。

在步骤103中，服务器通过第二图像样本集合，生成初始化的增量图像分类模型中的全连接层中用于识别第二基础类型的分类器的初始参数。

参见图5B，图5B是本发明实施例提供的增量图像分类模型的训练方法的流程示意图，步骤103中通过第二图像样本集合，生成初始化的增量图像分类模型中的全连接层中用于识别第二基础类型的分类器的初始参数可以通过图5B示出的步骤1031-1032实现。

在步骤1031中，将第二图像样本集合中对应不同第二基础类型的多个图像样本，在基础图像分类模型中进行正向传播，得到对应每个第二基础类型的嵌入特征。

在一些实施例中，上述将第二图像样本集合中对应不同第二基础类型的多个图像样本，在基础图像分类模型中进行正向传播，得到对应每个第二基础类型的嵌入特征，可以通过以下技术方案实现：针对第二图像样本集合中对应不同第二基础类型的多个图像样本，执行以下处理：通过基础图像分类模型对图像样本进行特征提取处理，得到图像样本的特征图；通过基础图像分类模型对图像样本的特征图进行池化处理，得到图像样本的嵌入特征。

作为示例，第二图像样本集合中有多个第二基础类型的图像样本，例如，牧羊犬的多个图像样本和柯基的多个图像样本，即对应每个第二基础类型，存在有多个图像样本，将这些属于第二基础类型的图像样本均经过基础图像分类模型的卷积层进行特征提取处理，得到每个图像样本的特征图，再通过基础图像分类模型的池化层对每个图像样本的特征图进行池化处理，得到每个图像样本的嵌入特征。

在步骤1032中，基于对应每个第二基础类型的嵌入特征，生成初始化的增量图像分类模型的全连接层中用于识别第二基础类型的分类器的初始参数。

在一些实施例中，上述基于对应每个第二基础类型的嵌入特征，生成初始化的增量图像分类模型的全连接层中用于识别第二基础类型的分类器的初始参数，可以通过以下技术方案实现：针对任一种第二基础类型执行以下处理：将第二基础类型的多个图像样本的嵌入特征进行平均处理，得到对应第二基础类型的平均嵌入特征，并将平均嵌入特征确定为增量图像分类模型的全连接层中用于识别第二基础类型的分类器的初始参数。

作为示例，承接上述实施例中对于第二基础类型的说明，通过上述实施例可以得到第二图像样本集合中所有第二基础类型的图像样本的嵌入特征，为了得到对应每个第二基础类型的分类器的初始参数，需要针对每个第二基础类型执行以下技术方案，将同一个第二基础类型的多个图像样本的嵌入特征进行平均处理，得到该第二基础类型的平均嵌入特征，并将平均嵌入特征确定为增量图像分类模型的全连接层中用于识别该第二基础类型的分类器的初始参数，例如，针对第二基础类型牧羊犬，存在多个图像样本，将这些图像样本的嵌入特征进行平均处理得到第二基础类型牧羊犬所对应的分类器的初始参数，针对第二基础类型柯基，存在多个图像样本，将这些图像样本的嵌入特征进行平均处理得到第二基础类型柯基所对应的分类器的初始参数。

通过这种参数初始化方式来代替相关技术中进行随机初始参数的初始化方式，可以保有第一基础类型的识别能力，从而提供更强的特征学习监督信息，让第二基础类型能在第一基础类型的分类任务的基础上快速学习与分类相关的信息，同时提高已存在的大规模第一基础类型的数据利用率，使得第二基础类型即使在其类型少或相关样本量少的情况下能学习到足够的分类信息，最终第二基础类型能在第一基础类型的基础上快速收敛建立识别能力，相反的，在针对第二基础类型的分类器进行参数初始化时，由于第一基础类型的识别能力已经经过良好训练，第二基础类型的识别能力未经训练，若直接采取基于高斯分布的随机初始化，将使得增量图像分类模型的训练向第一基础类型倾斜，而导致对第二基础类型的学习不充分。

在步骤104中，服务器基于第一图像样本集合中的第一背景类型的图像样本，对增量图像分类模型进行区分学习，以在具有初始参数的增量图像分类模型的基础上得到区分学习后的增量图像分类模型。

参见图5C，图5C是本发明实施例提供的增量图像分类模型的训练方法的流程示意图，步骤104中基于第一图像样本集合中的第一背景类型的图像样本，对增量图像分类模型进行区分学习，以在具有初始参数的增量图像分类模型的基础上得到区分学习后的增量图像分类模型可以通过图5C示出的步骤1041-1042实现。

在步骤1041中，对第一图像样本集合中的第一背景类型的图像样本进行样本标注处理，并将标注处理结果应用于第二图像样本集合，得到更新后的第二图像样本集合。

在一些实施例中，上述对第一图像样本集合中的第一背景类型的图像样本进行样本标注处理，可以通过以下技术方案实现：针对第一图像样本集合中第一背景类型的每个图像样本，执行以下处理：将第一背景类型的图像样本在增量图像分类模型中进行正向传播，得到第一背景类型的图像样本属于每个第二基础类型的概率；基于第一背景类型的每个图像样本属于每个第二基础类型的概率，获取对应每个第二基础类型的混淆样本，并针对每个混淆样本执行以下处理：将混淆样本中属于第二基础类型的图像样本标注为第二基础类型的图像样本；将混淆样本中不属于第二基础类型的图像样本标注为第二背景类型的图像样本。

作为示例，承接上述实施例中所涉及到的狗品种识别的应用场景进行继续说明，参见图6，图6是本发明实施例提供的样本清洗示意图，由于基础图像分类模型是基于旧分类任务训练得到的，因此基础图像分类模型的识别能力与旧分类任务的识别需求是契合的，即基础图像分类模型能够识别出多个第一基础类型（吉娃娃、金毛）以及将除此之外的待分类图像识别为第一背景类型（除了吉娃娃、金毛之外的狗品种），旧分类任务的识别需求也是需要从多个待分类图像中识别出哪些是吉娃娃，哪些是金毛，并将不属于吉娃娃且不属于金毛的待分类图像识别为第一背景类型，对于新分类任务而言，由于新分类任务相对于旧分类任务提出了新增基础类型需要被识别出来，例如，新分类任务的识别需求是需要从多个待分类图像中识别出哪些是牧羊犬，哪些是柯基，因此，需要对增量图像分类模型进行训练以在基础图像分类模型的基础上扩充识别能力，针对这个需求，增量图像分类模型的识别能力是第一基础类型（金毛、吉娃娃）、作为新增类型的第二基础类型（牧羊犬、柯基）以及第二背景类型（除了金毛、吉娃娃、牧羊犬、柯基之外的其他品种），申请人在实施本发明实施例时发现牧羊犬和柯基不属于第一基础类型，从而在基础图像分类模型中会被识别为第一背景类型，因此，在对初始化的增量图像分类模型进行训练之前需要对第一背景类型的图像样本进行重新标注处理，可以理解为是对第一背景类型的图像样本的标签进行清洗，将其清洗为第二基础类型以及第二背景类型，例如，将第一背景类型的图像样本中的对应牧羊犬与柯基的图像样本清洗标注为第二基础类型，将第一背景类型的图像样本中除了牧羊犬与柯基的图像样本之外的图像样本清洗标注为第二背景类型。

在一些实施例中，上述将第一背景类型的图像样本在增量图像分类模型中进行正向传播，得到第一背景类型的图像样本属于每个第二基础类型的概率，可以通过以下技术方案实现：通过增量图像分类模型对第一背景类型的图像样本进行特征提取处理，得到第一背景类型的图像样本的特征图；通过增量图像分类模型对第一背景类型的图像样本的特征图进行池化处理，得到第一背景类型的图像样本的嵌入特征；通过增量图像分类模型对第一背景类型的图像样本的嵌入特征进行全连接处理，得到第一背景类型的图像样本属于每个第二基础类型的概率。

在一些实施例中，上述基于第一背景类型的每个图像样本属于每个第二基础类型的概率，获取对应每个第二基础类型的混淆样本，可以通过以下技术方案实现：针对第一背景类型的每个图像样本，执行以下处理：确定第一背景类型的图像样本属于每个第二基础类型的概率中的最大概率；当最大概率大于混淆样本概率阈值时，将第一背景类型的图像样本确定为对应最大概率的第二基础类型的混淆样本。

作为示例，承接上述实施例中所涉及到的狗品种识别的应用场景进行继续说明，把第一背景类型的图像样本（除了吉娃娃和金毛之外的图像样本）经过增量图像分类模型进行前向计算，输出结果预测向量（1*N_class维度），该预测向量可以表征某一图像样本属于每个第二基础类型（柯基、牧羊犬）的概率，针对于任意一个图像样本，得到该图像样本为柯基的概率，以及该图像样本为牧羊犬的概率，实际应用中，输出结果预测向量是1*N_class维度，因此，还可以得到该图像样本属于每个第一基础类型的概率以及属于第二背景类型的概率，但是这些数据对于清洗标注过程没有帮助，因此可以忽略不计，从该图像样本为柯基的概率和该图像样本为牧羊犬的概率中选取最大概率所对应的第二基础类型作为图像样本的潜在对应类型，例如，该图像样本为柯基的概率是0.3，该图像样本为牧羊犬的概率是0.4，则该图像样本更加有可能为牧羊犬，当最大概率大于混淆样本概率阈值时，例如，混淆样本概率阈值为0.1，则该图像样本是对应牧羊犬的混淆样本，针对第一背景类型中的每个图像样本执行上述处理以收集到多个混淆样本，每个混淆样本均有对应的第二基础类型，将混淆样本中属于牧羊犬的图像样本标注为牧羊犬的图像样本；将混淆样本中不属于牧羊犬的图像样本标注为第二背景类型的图像样本，由于第一背景类型的图像样本中只有类似第二基础类型的样本（混淆样本）需要进行标签清洗，若对全量的第一背景类型的图像样本进行标签清洗容易带来严重的清洗耗时，采用上述技术手段进行清洗可以实现清洗效率高且有效的技术效果。

在步骤1042中，基于更新后的第二图像样本集合，对增量图像分类模型进行多轮次训练，以在初始化的增量图像分类模型的基础上得到训练后的增量图像分类模型。

在一些实施例中，上述基于更新后的第二图像样本集合，对增量图像分类模型中进行多轮次训练，可以通过以下技术方案实现：基于对应第k-1轮次正向传播和反向传播的第k-1轮次图像样本集合，获取对应第k轮次正向传播和反向传播的第k轮次图像样本集合；其中，第一轮次正向传播和反向传播的第一轮次图像样本集合为所述更新后的第二图像样本集合；将第k轮次图像样本集合中的图像样本，在增量图像分类模型中进行第k轮次的正向传播和反向传播，以更新增量图像分类模型，其中，k为大于或者等于2的整数；当第k轮次的正向传播和反向传播结束时，继续对增量图像分类模型进行第k+1轮次的正向传播和反向传播，以继续更新增量图像分类模型；当基于增量图像分类模型的损失函数所得到的误差稳定在固定范围内，或者增量图像分类模型的训练轮次达到训练轮次阈值时，确定增量图像分类模型训练完成。

在一些实施例中，上述基于对应第k-1轮次正向传播和反向传播的第k-1轮次图像样本集合，获取对应第k轮次正向传播和反向传播的第k轮次图像样本集合，可以通过以下技术方案实现：通过第k-1轮次的正向传播和反向传播，获取第k-1轮次图像样本集合中每个第一基础类型的图像样本以及第二背景类型的图像样本的误差；基于所获取的误差，对每个第一基础类型的图像样本、第二背景类型的图像样本整体上进行降序排序处理；在降序排序结果中选取每个第一基础类型以及第二背景类型中排序在前的多个图像样本，并结合第k-1轮次图像样本集合中的第二基础类型的图像样本，组成第k轮次图像样本集合。

作为示例，每一个轮次学习过程中，数据集中的图像样本在增量图像分类模型中均进行了一次正向传播和一次反向传播，可以理解为将所有图像样本训练一次的过程，在实施本发明实施例时发现若是每个轮次的训练中都使用最初的第二图像样本集合则会导致下述技术问题：由于存在大量的第一基础类型的类型数目和对应图像样本的数目，第二基础类型的学习效果容易受影响，从而难以均衡第二基础类型与第一基础类型之间的学习比例，且无法有效区分第二基础类型与第一基础类型，因此，需要在每轮学习（例如，第k-1轮次）之后对第二图像集合进行更新以得到对应下一轮次（第k轮次）训练时所使用的图像样本集合（第k轮次图像样本集合）。

作为示例，在每轮学习结束后，对每个第一基础类型和第二背景类型的图像样本通过损失函数的误差进行记录，损失函数可以是交叉熵损失函数，其误差指的是类型预测结果与真实类型结果之间的误差，针对每个类型，选择损失函数误差从大到小排序的前M个图像样本，共得到M*（N_old+1）个图像样本，N_old为第一基础类型的类型数目，1代表第二背景类型，M为大于或者等于2的整数，将得到的M*（N_old+1）个图像样本与结合第二基础类型的图像样本组合为下一轮次训练时所使用的图像样本集合以进行下一轮次学习。

由于损失函数误差大的图像样本更加有助于学习区分第二基础类型、第一基础类型以及第二背景类型，而针对损失函数误差小的大部分图像样本，表明增量图像分类模型已经有足够的辨识能力，对第一基础类型和第二背景类型的图像样本进行采样可以大量减少此类样本对第二基础类型学习的影响，上述技术方案对存在大规模的第一基础类型的增量学习是高效的。

参见图7A，图7A是本发明实施例提供的图像分类方法的流程示意图，将结合图7A示出的步骤201-204进行说明。

本发明实施例提供的图像分类方法还可以在终端上执行，例如，基于人脸识别的门禁终端等等，将增量图像分类模型离线部署在终端中，由终端执行并输出执行结果。

本发明实施例提供的图像分类方法除了通过在独立物理服务器上完成，还可以将该分类方法的执行逻辑封装在云服务中或者封装在远程服务器中，由云服务或者远程服务响应于客户端或者本地服务器的调用请求执行，并返回执行结果，下面以服务器作为执行主体为例进行说明。

在步骤201中，服务器接收新分类任务的分类请求。

作为示例，服务器所接收的新分类任务的分类请求可以是来自于具有图像识别需求的应用客户端，例如，基于人脸识别的门禁客户端、电商客户端等等，电商客户端可以接收用户所提供的待分类图像，根据待分类图像的分类结果召回多个与分类结果相同商品返回给客户端，从而提供相应的推荐服务。

在步骤202中，服务器通过增量图像分类模型对待分类图像进行分类处理。

作为示例，新分类任务需要识别的类型中至少存在与旧分类任务需要识别的第一基础类型不同的类型，增量图像分类模型是在用于执行旧分类任务的基础图像分类模型的基础上增加新分类任务需要识别、且基础图像分类模型无法识别的类型（即增量学习）、对基础图像分类模型能够识别的第一背景类型进行区分学习得到。

作为示例，旧分类任务需要识别的第一基础类型为吉娃娃、金毛，新分类任务需要识别的类型中至少存在吉娃娃与金毛之外的类型，例如，新分类任务需要识别牧羊犬，基础图像分类模型无法将牧羊犬的图像识别为牧羊犬类型，只能识别为背景类型，从而需要具有识别牧羊犬能力的增量图像分类模型对待分类图像进行分类处理。

参见图7B，图7B是本发明实施例提供的增量图像分类模型的训练方法的流程示意图，步骤202中通过增量图像分类模型对待分类图像进行分类处理可以通过图7B示出的步骤2021-2023实现。

在步骤2021中，通过增量图像分类模型的卷积层对待分类图像进行特征提取处理，得到待分类图像的特征图。

在步骤2022中，通过增量图像分类模型的池化层对待分类图像的特征图进行池化处理，得到待分类图像的嵌入特征。

在步骤2023中，通过增量图像分类模型的全连接层中对应每个第一基础类型、每个第二基础类型以及第二背景类型的分类器，对待分类图像进行分类处理，以得到待分类图像为每个第一基础类型、每个第二基础类型以及第二背景类型的概率。

在步骤2024中，将具有最大概率的类型确定为增量图像分类模型识别出的待分类图像的类型。

作为示例，上述步骤2021-2024所实现的过程是待分类图像在增量图像分类模型进行正向传播的过程，通过卷积层实现针对待分类图像的特征提取处理，得到对应待分类图像的特征图，通过池化层对待分类图像样本的特征图进行最大池化处理，得到待分类图像的嵌入特征，嵌入特征属于深度特征，通过一维向量表示，增量图像分类模型的全连接层中具有对应各个第一基础类型的分类器，对应各个第二基础类型的分类器以及对应第二背景类型的分类器，每个分类器可以输出该待分类图像属于该类型的概率，例如，对应第二背景类型的分类器输出该待分类图像属于第二背景类型的概率，仍然以狗的品种进行举例说明，对于第一基础类型有吉娃娃和金毛，第二背景类型有柯基和牧羊犬，增量图像分类模型的全连接层输出待分类图像样本属于吉娃娃、金毛、柯基、牧羊犬以及第二背景类型的概率，相当于输出了五个概率，将五个概率中最大概率所对应的类型作为模型识别出的类型。

在步骤203中，服务器根据增量分类模型能够识别的类型与新分类任务需要识别的类型之间的映射关系，将增量图像分类模型识别出的类型进行映射处理，得到新分类任务的分类结果。

作为示例，基础图像分类模型能够识别的类型包括第一背景类型以及至少一种第一基础类型，增量图像分类模型能够识别的类型包括第二背景类型、至少一种第一基础类型、以及至少一种第二基础类型，新分类任务需要识别的类型包括第三背景类型、以及至少一种第三基础类型。

作为示例，由于基础图像分类模型是基于旧分类任务训练得到的，因此基础图像分类模型的识别能力与旧分类任务的识别需求是完全契合的，这里为了节约模型训练资源，尽量有效利用增量图像分类模型的识别能力，以满足更多的新分类任务的识别需求，可以对增量分类模型能够识别的类型与新分类任务需要识别的类型进行映射处理。

参见图7C，图7C是本发明实施例提供的增量图像分类模型的训练方法的流程示意图，步骤203中根据增量分类模型能够识别的类型与新分类任务需要识别的类型之间的映射关系，将增量图像分类模型识别出的类型进行映射处理，得到新分类任务的分类结果可以通过图7C示出的步骤2031A-2032A实现。

在步骤2031A中，当增量图像分类模型识别出的类型满足以下条件至少之一时，生成待分类图像属于第三基础类型的分类结果：增量图像分类模型识别出的类型为任一种第二基础类型、且与第三基础类型具有映射关系；增量图像分类模型识别出的类型为任一种第一基础类型、且与第三基础类型具有映射关系。

在步骤2032A中，当增量图像分类模型识别出的类型不满足任一条件时，生成待分类图像属于第三背景类型的分类结果。

作为示例，当增量图像分类模型识别出的类型满足以下条件至少之一时，生成待分类图像属于第三背景类型的分类结果：增量图像分类模型识别出的类型为任一种第二基础类型、且与第三基础类型不具有映射关系；增量图像分类模型识别出的类型为任一种第一基础类型、且与第三基础类型不具有映射关系；增量图像分类模型识别出的类型是第二背景类型。

作为示例，下面以基于人脸识别的门禁客户端的应用场景对增量分类模型能够识别的类型与新分类任务需要识别的类型之间的映射关系进行说明，旧分类任务可以是识别出张三、李四和不具有访问权限的第一背景类型（其他人），由于存在新人入职且李四离职的场景，从而需要识别出第二基础类型（新增类型），例如，王五，从而需要增量图像分类模型具有识别出“王五”的能力，虽然增量图像分类模型仍然具有识别出“张三”和“李四”的能力，但此时新分类任务的识别需求是识别出“张三”、“王五”和第三背景类型，“张三”、“王五”是第三基础类型，当增量图像分类模型识别出的类型为“张三”，且又因为“张三”也属于第三基础类型，即表征该第一基础类型“张三”与第三基础类型“张三”具有映射关系，从而生成待分类图像属于第三基础类型“张三”的分类结果，当增量图像分类模型识别出的类型为“王五”，且又因为“王五”也属于第三基础类型，即表征该第二基础类型“王五”与第三基础类型“王五”具有映射关系，从而生成待分类图像属于第三基础类型“王五”的分类结果，在其他情况下，则识别出待分类图像属于第三背景类型，即除了第三基础类型之外的类型，例如，当增量图像分类模型识别出的类型为“李四”，但是又因为“李四”不属于第三基础类型，即表征该第一基础类型“李四”与第三基础类型不具有映射关系，从而生成待分类图像属于第三背景类型“李四”的分类结果。

参见图7D，图7D是本发明实施例提供的增量图像分类模型的训练方法的流程示意图，步骤203中根据增量分类模型能够识别的类型与新分类任务需要识别的类型之间的映射关系，将增量图像分类模型识别出的类型进行映射处理，得到新分类任务的分类结果可以通过图7D示出的步骤2031B-2032B实现。

在步骤2031B中，当增量图像分类模型识别出的类型满足以下条件时，生成待分类图像属于第三基础类型的分类结果：增量图像分类模型识别出的类型为任一种第二基础类型、且与第三基础类型具有映射关系。

在步骤2032B中，当增量图像分类模型识别出的类型不满足条件时，生成待分类图像属于第三背景类型的分类结果。

作为示例，下面仍然以基于人脸识别的门禁客户端的应用场景对增量分类模型能够识别的类型与新分类任务需要识别的类型之间的映射关系进行说明，旧分类任务可以是识别出张三、李四和不具有访问权限的第一背景类型（其他人），由于存在新人入职且张三、李四离职的场景，从而需要识别出第二基础类型（新增类型），例如，王五，从而需要增量图像分类模型具有识别出“王五”的能力，虽然增量图像分类模型仍然具有识别出“张三”和“李四”的能力，但此时新分类任务的识别需求是识别出“王五”和第三背景类型，仅有“王五”是第三基础类型，“张三”不再如上述实施例那样既是第一基础类型，也是第三基础类型，即不再存在映射关系，当增量图像分类模型识别出的类型为“张三”，但因为“张三”不属于第三基础类型，即表征该第一基础类型“张三”与第三基础类型“张三”不具有映射关系，从而生成待分类图像属于第三背景类型的分类结果，当增量图像分类模型识别出的类型为“王五”，且又因为“王五”也属于第三基础类型，即表征该第二基础类型“王五”与第三基础类型“王五”具有映射关系，从而生成待分类图像属于第三基础类型“王五”的分类结果。

在步骤204中，服务器基于新分类任务的分类结果响应新分类任务的分类请求。

作为示例，服务器将新分类任务的分类结果返回至客户端以响应新分类任务的分类请求，响应基于人脸识别的门禁客户端的分类请求，门禁客户端可以执行根据分类结果执行禁止访问或者允许访问的操作，响应电商客户端的分类请求，电商客户端可以根据分类结果执行相应的类似产品推荐服务。

在一些实施例中，服务器还可以执行以下技术方案：接收旧分类任务的分类请求；通过基础图像分类模型对待分类图像进行分类处理；将基础图像分类模型识别出的类型，作为旧分类任务的分类结果；基于旧分类任务的分类结果响应旧分类任务的分类请求，由于基础图像分类模型是根据旧分类任务训练得到的，因此可以直接调用基础图像分类模型来对待分类图像进行分类处理，并且由于基础图像分类模型的识别能力与旧分类任务的识别需求是完全契合的，所以直接将基础图像分类模型识别出的类型，作为旧分类任务的分类结果。

在一些实施例中，旧分类任务存在其他有别于新分类任务的衍生任务，例如本身旧分类任务是识别出吉娃娃（第一基础类型）、金毛（第一基础类型）和其他（第一背景类型），旧分类任务的衍生任务可以是识别出吉娃娃（第四基础类型）和其他（第四背景类型），例如，当基础图像分类模型识别结果为金毛时，由于其与第四基础类型不存在映射关系，从而将其分类结果确定为第四背景类型，当基础图像分类模型识别结果为吉娃娃时，由于其与第四基础类型存在映射关系，从而将其分类结果确定为第四基础类型。

在一些实施例中，在通过增量图像分类模型对待分类图像进行分类处理之前，还可以执行以下技术方案：在基础图像分类模型中的全连接层中增加分类器；其中，分类器用于识别新分类任务需要识别、且基础图像分类模型无法识别的第二基础类型，得到初始化的增量图像分类模型； 获取用于训练基础图像分类模型的第一图像样本集合、以及用于训练增量图像分类模型的第二图像样本集合；通过第二图像样本集合，生成初始化的增量图像分类模型的全连接层中用于识别第二基础类型的分类器的初始参数；对第一图像样本集合中的第一背景类型的图像样本进行样本标注处理，并将标注处理结果应用于第二图像样本集合，得到更新后的第二图像样本集合；基于更新后的第二图像样本集合，对增量图像分类模型进行多轮次训练，以在初始化的增量图像分类模型的基础上得到训练后的增量图像分类模型。

上述实施例实际上是对增量图像分类模型进行训练的技术方案，具体的训练过程可以直接复用前述实施例中的训练方案。

下面，将说明本发明实施例提供的图像分类方法以及增量图像分类模型的训练方法在一个实际的应用场景中的示例性应用。

在实现带背景类物体识别的产品中常常遇到这样的场景，即首先确立了基础识别任务，在拓展到新场景时其识别目标发生了不完全改变，如从识别（吉娃娃、亚摩耶、金毛、藏獒、边境牧羊犬、贵宾犬、拉布拉多、西伯利亚哈士奇、法国斗牛犬、柯基犬、其他品种）迁移为识别（德国牧羊犬、澳大利亚牧羊犬、杜宾犬、秋田犬、柴犬、其他品种），从基础识别任务学到的较好模型迁移到新任务中。

本发明实施例提供的增量图像分类模型的训练方法提出一种基于增量学习的深度学习模型框架，通过旧类型样本辅助新任务的模型及优化算法，使得新类型能在旧类型基础上快速收敛建立识别能力；通过高效的采样策略使得在大量旧类型图像样本中新类型识别效果逐渐变好而非被旧类型湮没；并且可以有效区分旧类型（与背景类合并）和新类型，具备旧类型、新类型和背景类的识别能力，实现在带背景类的新类型学习任务中，对已有积累数据的高效利用，对第一背景类型的区分性学习，使得完成新分类任务的性能更好。

参见图8，图8是本发明实施例提供的图像分类方法的应用场景示意图，本发明实施例提供的图像分类方法可用于常见的业务拓展迁移识别任务中，例如，对宠物狗进行基础类型（第一基础类型）识别后，新业务需要识别新的狗品种（第二基础类型）；例如，在商品识别中，对国内的酒进行基础类型识别后，可以在原识别能力基础上建立新品牌的酒类识别（包括竞品酒识别，此时竞品酒可能存在于旧分类任务的基础类型中），由于在实际应用中，考虑到数据采集标注成本，一般以识别任务为目标收集类型样本，大量的非目标类型将归到背景类（第二背景类型）中；而在需要执行同类型新任务时，除了需要识别新类型，前期积累的背景类型（旧分类任务中的第一背景类型）将提供有价值信息（例如，旧分类任务中的第一背景类型的图像样本中含有新增类型（第二基础类型）的图像样本）。

参见图9，图9是本发明实施例提供的图像分类方法的增量图像分类模型的训练示意图，增量图像分类模型的训练过程包括四个阶段，分别是：S1、基础类型训练（训练第一基础类型），S2新类型（第二基础类型）参数初始化，S3除基础类型（第一基础类型）之外的第一背景类型的样本清洗，S4新分类任务训练，如图9所示，完整的针对新增类型识别的增量图像分类模型训练系统包括：基础图像分类模型训练、新增类型网络参数初始化、基础图像分类模型中背景类的处理、新增类型带背景类训练等4个模块，假设对于全量N_class个类型分类，其中N_new为新增类型的数量，N_old为基础类型的数量。

在基础图像分类模型训练过程中采用图9中的基础模型框架进行训练，图9中的特征模块均为深度学习神经网络多层结构，多层神经网络CNN结构主要包括多个堆叠的卷积、归一化、跨层连接等深度学习操作，例如，含有跨层连接的残差网络ResNet101，参见图10，图10是本发明实施例提供的特征模块（残差网络ResNet101）的结构示意图，参见表1，表1是特征模块每层输出的深度特征图的列表；图9中的识别模块为池化（输出深度嵌入特征Embedding）、全连层（输出各类型判别的置信度）的组合，以识别模型学习方法训练深度神经网络模型，参见表2，表2是识别模块每层输出的数据列表，本阶段进行了100个训练轮次后停止迭代，或在识别效果稳定后停止迭代，在实际应用中，该阶段的基础图像分类模型会在早期确立任务时完成训练，可以使用不同的网络结构（例如，Inception网络）作为特征模块或者识别模块。

其中，假设输入为表1中conv5_v输出的深度特征（特征图），池化层输出嵌入特征Embedding，全连接层输出各类型的预测概率，N_old+1中1为背景类，N_old为基础类型。

在得到基础图像分类模型后，根据业务需要后续产生新分类任务：将原基础类型（第一基础类型）作为背景类（第二背景类型），原背景类型（第一背景类型）部分样本作为新类型（第二基础类型），例如，图8中的澳洲牧羊犬，为基础图像分类模型的第一背景类型，在新分类任务中成为新类型。

Conv1-Conv5层采用在通用数据集上预训练的残差网络ResNet101的参数，新添加的层，例如全连接层采用方差为0.01，均值为0的高斯分布进行初始化。

基础图像分类模型采用随机梯度下降法（SGD，Stochastic Gradient Descent）求解神经网络模型的卷积模板参数w和偏置参数 b，在每次迭代过程中，计算预测结果误差并反向传播到卷积神经网络模型，计算梯度并更新卷积神经网络模型的参数，具体过程为：把基础图像分类模型的所有参数都设为需要学习状态，训练时神经网络对输入的一张图片进行前向计算得到预测结果，把预测结果与真实结果对比计算模型的损失值，把损失值回传到网络中通过随机梯度下降法更新网络权重参数，从而实现一次权重优化，经过多次优化，最终得到表现良好的基础图像分类模型，初始学习率lr0设置为0.01，每隔30个epoch学习率乘以0.1。

在新增类型网络参数初始化阶段，需要进行增量图像分类模型的设计与新增类别的参数初始化，本阶段的任务是根据新增类型及标注的新增类型的图像样本，进行增量图像分类模型参数初始化，由于需要保有的基础图像分类模型的基础类型（第一基础类型）识别能力以提供更强的特征学习监督信息，识别中将把新增类型（第二基础类型）添加到基础图像分类模型中，基础图像分类模型的原始全连接层的权重为2048xN_old，增量图像分类模型的全连接层为的权重为2048xN_class，其中，2048x N_new的权重用于新增类型分类，作为增量学习的形式进行新旧类最终学习，增量图像分类模型与基础图像分类模型的结构相同，仅全连接层有差异，将基础图像分类模型中的全连接层（N_class=N_old+1）变更为增量图像分类模型的全连接层（N_class=N_old+N_new+1），参见表3，表3为增量图像分类模型的全连接层的结构表。

在新增类型的参数初始化，由于旧类型（第一基础类型）已经经过良好训练，新增类型（第二基础类型）未经训练，若直接用随机初始化的方式对增量图像分类模型的全连接层进行参数初始化，将使得模型训练中向旧类型倾斜，新增类型学习不充分，故需要采取如下技术手段进行新增类型的参数初始化，首先，每个新增类型的图像样本输入到基础图像分类模型中提取特征Embedding，然后，计算每个新增类型的多个图像样本（N_i个）的平均特征Embedding（2048*1），例如，对于新增类型牧羊犬，存在10个图像样本，则计算这10个图像样本的平均特征Embedding作为牧羊犬类型的初始权重，共生成2048*N_new的权重，并以此作为2048xN_class中新增类型的初始权重。全连接层中新增类型的初始权重

的计算方法如下，参见公式（1），假设在基础图像分类模型中，对应类型i的权重为

，当i为旧任务的基础类型（第一基础类型）时，则直接采用基础图像分类模型中训练好的权重，若为新增类型则采用平均特征Embedding，若为其他类（第二背景类型）则采用原先训练好的权重，并将在后续训练中进行修正。

采取上述方式进行权重初始化的作用是让模型的新增类型权重对新增类型更具有一定的初始辨识能力，由于下一步需要清洗第一背景类型中的图像样本，增量图像分类模型具有初始辨识能力可提升清洗效果。

在基础图像分类模型中背景类的处理阶段， 需要对旧任务的背景类型的图像样本（第一背景类型）进行选择与清洗，把第一背景类型的图像样本经过增量图像分类模型进行前向计算，输出结果预测向量（1*N_class维度），在其中选取新增类型的最大预测概率作为该图像样本最有可能的新增类型，当最大预测概率大于阈值时（经过实验发现，阈值大于0.1即可），选择该图像样本作为可能与新增类型混淆的混淆样本，并收集到混淆样本，对混淆样本进行标注处理从而实现标签清洗，若混淆样本为对应新增类型，则将其归并到对应新增类型中，若混淆样本不为对应新增类型，则将其归并到新分类任务的背景类型（第二背景类型）中，得到新分类任务的背景类型，由于第一背景类型中只有类似新增类型的样本需要进行标签清洗，若对全量的第一背景类型进行标签清洗容易带来清洗耗时，采用上述技术手段进行清洗可以实现清洗效率高且有效的技术效果。

在新增类型带背景类训练阶段，需要实现增量图像分类模型训练及高效学习，选取基础类别（第一基础类别）、新类别（第二基础类别）、第二背景类型进行增量图像分类模型的学习，学习过程与基础图像分类模型训练过程类似，学习率上，与基础图像分类模型的结构中所设置的初始学习率类似，可以设置为0.0001，全连接层中设置的学习率为0.001（是基础图像分类模型的全连接层的学习率的10倍），每10轮更新一次所有学习率，即对学习率乘以0.1，训练30轮后结束训练，或训练至收敛，即连续5轮损失函数的误差没有下降或下降低于这5轮中的平均损失函数的误差值的0.2，为保证增量图像分类模型的学习过程中不破坏已经训练好的基础图像分类模型的特征提取能力，可以设置不同的学习率，以减缓基础图像分类模型所输出的基础特征受新增类型的影响程度。

由于存在大量的基础类别（第一基础类型），新增类别的学习效果容易受影响，故采用高效的采样策略，既可以均衡新旧类型的学习比例，又可以有效区分新旧类型，具体采样策略如下，在每轮学习结束后，对每个旧类型（第一基础类型）和背景类（第二背景类型）的图像样本的损失函数的误差进行记录，在每轮学习结束后，针对每个类型选择损失函数误差从大到小排序的前M个图像样本，共得到M*（N_old+1）个图像样本，结合新增类型的图像样本进行新一轮学习，由于损失函数误差大的图像样本对学习区分新增类型（第二基础类型）、旧类型（第一基础类型）、以及第二背景类型的帮助更大，而针对大部分损失函数误差小的图像样本，增量图像分类模型已经有足够的辨识能力，可以大量减少此类样本对新增类型的影响，故这种采样的技术手段对存在大规模的基础类型（第一基础类型）的增量学习是高效的。

作为替换方案，图9中的S3阶段的样本清洗前可以先进行类似S4阶段的训练过程，只需要将S4阶段中全连接层改成

，即为不支持背景类的图像分类模型，训练方法及采样方法跟S4阶段中的方法一致，这样得到经过训练的背景类别选择模型，通过背景类别选择模型清洗第一背景类型的图像样本，将通过全连接层识别出来为新增类型的图像样本标注为对应新增类型，将通过全连接层识别出来为旧类型的图像样本标注为第二背景类型，之后再继续执行S4阶段中训练过程。

在增量图像分类模型的应用阶段中，对于基础类应用，直接输出基础图像分类模型的识别结果作为基础类应用中的旧分类任务的待分类图像的分类结果，对于新分类任务应用中，对于新增类类型而言，背景类的含义改变，故需要对输出结果进行逻辑上重映射，若输出为旧类型（第一基础类型）或背景类（第二背景类型），则输出待分类图像属于背景类的分类结果，若增量图像分类模型输出为新增类型，则输出待分类图像属于新增类型的分类结果，在进行增量学习后，根据业务逻辑的需要也可以将基础图像分类模型更新为增量图像分类模型，以支持更多的类型识别能力，增量图像分类模型可搭载于云服务器，从而提供识别服务。

这里的高效采样策略，可替换为其他的采样手段，只要保证旧类别（第一基础类型）/背景类（第二背景类型）中与新类别（第二基础类型）的区分度小的样本参与到每轮的学习中即可，例如，可以采用图像样本的特征Embedding与新增类型的中心（平均特征Embedding）的距离替代损失函数的误差，并基于距离进行从大到小的排序，选择距离小于某阈值的图像样本或者排序末尾的图像样本参加下一轮学习。

参见图11，图11是本发明实施例提供的图像分类方法的实现逻辑流程图，对于基础图像分类模型，前端A接收到数据（用户输入的待分类图像），然后将待分类图像上传给后端，后端使用本发明实施例提供的增量图像分类模型对待分类图像进行识别处理，将结果输出到前端B或者是前端A，前端B也可与前端A处于同一界面，对于新增类型，通过前端C允许进行图像样本的收集，同时接入清洗背景类的服务，后端采用本发明实施例提供的增量图像分类模型的训练方法训练增量图像分类模型，最后得到训练完成的增量图像分类模型，经过后端更新后在新前端D（或原始前端A）提供新分类任务的识别应用，将结果输出到前端E。

通过本发明实施例提供的图像分类方法，对增量图像分类模型的新增类型的模型参数进行快速初始化及高效学习，对于业务迁移有较大帮助，能够实现对新分类任务的训练样本中的背景类进行高效清洗，并且支持新旧类型的同时识别。

下面继续说明本发明实施例提供的图像分类装置255-1的实施为软件模块的示例性结构，在一些实施例中，如图3所示，存储在存储器240的图像分类装置255-1中的软件模块可以包括：接收模块2551，用于接收新分类任务的分类请求；分类模块2552，用于通过增量图像分类模型对待分类图像进行分类处理；其中，新分类任务需要识别的类型中至少存在与旧分类任务需要识别的第一基础类型不同的类型，增量图像分类模型是在用于执行旧分类任务的基础图像分类模型的基础上、对基础图像分类模型能够识别的第一背景类型进行区分学习得到；映射模块2553，用于根据增量分类模型能够识别的类型与新分类任务需要识别的类型之间的映射关系，将增量图像分类模型识别出的类型进行映射处理，得到新分类任务的分类结果；响应模块2554，用于基于新分类任务的分类结果响应新分类任务的分类请求。

在上述方案中，基础图像分类模型能够识别的类型包括第一背景类型以及至少一种第一基础类型，增量图像分类模型能够识别的类型包括第二背景类型、至少一种第一基础类型、以及至少一种第二基础类型，新分类任务需要识别的类型包括第三背景类型、以及至少一种第三基础类型；映射模块2553，还用于：当增量图像分类模型识别出的类型满足以下条件至少之一时，生成待分类图像属于第三基础类型的分类结果：增量图像分类模型识别出的类型为任一种第二基础类型、且与第三基础类型具有映射关系；增量图像分类模型识别出的类型为任一种第一基础类型、且与第三基础类型具有映射关系；当增量图像分类模型识别出的类型满足以下条件至少之一时，生成待分类图像属于第三背景类型的分类结果：增量图像分类模型识别出的类型为任一种第二基础类型、且与第三基础类型不具有映射关系；增量图像分类模型识别出的类型为任一种第一基础类型、且与第三基础类型不具有映射关系；增量图像分类模型识别出的类型是第二背景类型。

在上述方案中，基础图像分类模型能够识别的类型包括第一背景类型以及至少一种第一基础类型，增量图像分类模型能够识别的类型包括第二背景类型、至少一种第一基础类型、以及至少一种第二基础类型，新分类任务需要识别的类型包括第三背景类型、以及至少一种第三基础类型；映射模块2553，还用于：当增量图像分类模型识别出的类型满足以下条件时，生成待分类图像属于第三基础类型的分类结果：增量图像分类模型识别出的类型为任一种第二基础类型、且与第三基础类型具有映射关系；当增量图像分类模型识别出的类型不满足条件时，生成待分类图像属于第三背景类型的分类结果。

在上述方案中，装置还包括：旧分类任务模块2555，用于：接收旧分类任务的分类请求；通过基础图像分类模型对待分类图像进行分类处理；将基础图像分类模型识别出的类型，作为旧分类任务的分类结果；基于旧分类任务的分类结果响应旧分类任务的分类请求。

在上述方案中，分类模块2552，还用于：通过增量图像分类模型对待分类图像进行特征提取处理，得到待分类图像的特征图；通过增量图像分类模型对待分类图像的特征图进行池化处理，得到待分类图像的嵌入特征；通过增量图像分类模型，对待分类图像进行分类处理，以得到待分类图像为每个第一基础类型、每个第二基础类型以及第二背景类型的概率；将具有最大概率的类型确定为增量图像分类模型识别出的待分类图像的类型。

在上述方案中，装置还包括：训练模块2556，用于：在通过增量图像分类模型对待分类图像进行分类处理之前，在基础图像分类模型中的全连接层中增加分类器；其中，分类器用于识别新分类任务需要识别、且基础图像分类模型无法识别的第二基础类型，得到初始化的增量图像分类模型； 获取用于训练基础图像分类模型的第一图像样本集合、以及用于训练增量图像分类模型的第二图像样本集合；通过第二图像样本集合，生成初始化的增量图像分类模型的全连接层中用于识别第二基础类型的分类器的初始参数；对第一图像样本集合中的第一背景类型的图像样本进行样本标注处理，并将标注处理结果应用于第二图像样本集合，得到更新后的第二图像样本集合；基于更新后的第二图像样本集合，对增量图像分类模型进行多轮次训练，以在初始化的增量图像分类模型的基础上得到训练后的增量图像分类模型。

在上述方案中，训练模块2556，还用于：获取第一基础类型的图像样本、第一背景类型的图像样本，以组成第一图像样本集合；其中，第一背景类型是除了第一基础类型之外的类型；获取第一基础类型的图像样本、第二基础类型的图像样本、第二背景类型的图像样本，以组成第二图像样本集合；其中，第二背景类型是除第一基础类型以及第二基础类型的之外的类型。

在上述方案中，训练模块2556，还用于：将第二图像样本集合中对应不同第二基础类型的多个图像样本，在基础图像分类模型中进行正向传播，得到对应每个第二基础类型的嵌入特征；基于对应每个第二基础类型的嵌入特征，生成初始化的增量图像分类模型的全连接层中用于识别第二基础类型的分类器的初始参数。

在上述方案中，训练模块2556，还用于：针对第二图像样本集合中对应不同第二基础类型的多个图像样本，执行以下处理：

通过基础图像分类模型对图像样本进行特征提取处理，得到图像样本的特征图；通过基础图像分类模型对图像样本的特征图进行池化处理，得到图像样本的嵌入特征。

在上述方案中，训练模块2556，还用于：针对任一种第二基础类型执行以下处理：将第二基础类型的多个图像样本的嵌入特征进行平均处理，得到对应第二基础类型的平均嵌入特征，并将平均嵌入特征确定为增量图像分类模型的全连接层中用于识别第二基础类型的分类器的初始参数。

在上述方案中，训练模块2556，还用于：针对第一图像样本集合中第一背景类型的每个图像样本，执行以下处理：将第一背景类型的图像样本在增量图像分类模型中进行正向传播，得到第一背景类型的图像样本属于每个第二基础类型的概率；基于第一背景类型的每个图像样本属于每个第二基础类型的概率，获取对应每个第二基础类型的混淆样本，并针对每个混淆样本执行以下处理：将混淆样本中属于第二基础类型的图像样本标注为第二基础类型的图像样本；将混淆样本中不属于第二基础类型的图像样本标注为第二背景类型的图像样本。

在上述方案中，训练模块2556，还用于：通过增量图像分类模型对第一背景类型的图像样本进行特征提取处理，得到第一背景类型的图像样本的特征图；通过增量图像分类模型对第一背景类型的图像样本的特征图进行池化处理，得到第一背景类型的图像样本的嵌入特征；通过增量图像分类模型对第一背景类型的图像样本的嵌入特征进行全连接处理，得到第一背景类型的图像样本属于每个第二基础类型的概率。

在上述方案中，训练模块2556，还用于：针对第一背景类型的每个图像样本，执行以下处理：确定第一背景类型的图像样本属于每个第二基础类型的概率中的最大概率；当最大概率大于混淆样本概率阈值时，将第一背景类型的图像样本确定为对应最大概率的第二基础类型的混淆样本。

在上述方案中，训练模块2556，还用于：基于对应第k-1轮次正向传播和反向传播的第k-1轮次图像样本集合，获取对应第k轮次正向传播和反向传播的第k轮次图像样本集合；其中，第一轮次正向传播和反向传播的第一轮次图像样本集合为所述更新后的第二图像样本集合；将第k轮次图像样本集合中的图像样本，在增量图像分类模型中进行第k轮次的正向传播和反向传播，以更新增量图像分类模型，其中，k为大于或者等于2的整数；当第k轮次的正向传播和反向传播结束时，继续对增量图像分类模型进行第k+1轮次的正向传播和反向传播，以继续更新增量图像分类模型；当基于增量图像分类模型的损失函数所得到的误差稳定在固定范围内，或者增量图像分类模型的训练轮次达到训练轮次阈值时，确定增量图像分类模型训练完成。

在上述方案中，训练模块2556，还用于：通过第k-1轮次的正向传播和反向传播，获取第k-1轮次图像样本集合中每个第一基础类型的图像样本以及第二背景类型的图像样本的误差；基于所获取的误差，对每个第一基础类型的图像样本、第二背景类型的图像样本整体上进行降序排序处理；在降序排序结果中选取每个第一基础类型以及第二背景类型中排序在前的多个图像样本，并结合第k-1轮次图像样本集合中的第二基础类型的图像样本，组成第k轮次图像样本集合。

下面继续说明本发明实施例提供的增量图像分类模型的训练装置255-2的实施为软件模块的示例性结构，在一些实施例中，增量图像分类模型是基于基础分类模型构建的；基础图像分类模型用于识别第一背景类型、以及至少一种第一基础类型，增量图像分类模型用于识别至少一种第二基础类型、以及至少一种第一基础类型；如图3所示，存储在存储器240的增量图像分类模型的训练装置255-2中的软件模块可以包括：构成模块2557，用于在基础图像分类模型中的全连接层中增加分类器，得到初始化的增量图像分类模型，其中，分类器用于识别新分类任务需要识别、且用于执行旧分类任务的基础图像分类模型无法识别的第二基础类型；集合获取模块2558，用于获取用于训练基础图像分类模型的第一图像样本集合、以及用于训练增量图像分类模型的第二图像样本集合；初始化模块2559，用于通过第二图像样本集合，生成初始化的增量图像分类模型中的全连接层中用于识别第二基础类型的分类器的初始参数；训练模块2550，用于基于第一图像样本集合中的第一背景类型的图像样本，对增量图像分类模型进行区分学习，以在具有初始参数的增量图像分类模型的基础上得到区分学习后的增量图像分类模型。

在上述方案中，集合获取模块2558，还用于：获取第一基础类型的图像样本、第一背景类型的图像样本，以组成第一图像样本集合；其中，第一背景类型是除了第一基础类型之外的类型；获取第一基础类型的图像样本、第二基础类型的图像样本、第二背景类型的图像样本，以组成第二图像样本集合；其中，第二背景类型是除第一基础类型以及第二基础类型的之外的类型。

在上述方案中，初始化模块2559，还用于：将第二图像样本集合中对应不同第二基础类型的多个图像样本，在基础图像分类模型中进行正向传播，得到对应每个第二基础类型的嵌入特征；基于对应每个第二基础类型的嵌入特征，生成初始化的增量图像分类模型的全连接层中用于识别第二基础类型的分类器的初始参数。

在上述方案中，初始化模块2559，还用于：针对第二图像样本集合中对应不同第二基础类型的多个图像样本，执行以下处理：通过基础图像分类模型对图像样本进行特征提取处理，得到图像样本的特征图；通过基础图像分类模型对图像样本的特征图进行池化处理，得到图像样本的嵌入特征。

在上述方案中，初始化模块2559，还用于：针对任一种第二基础类型执行以下处理：将第二基础类型的多个图像样本的嵌入特征进行平均处理，得到对应第二基础类型的平均嵌入特征，并将平均嵌入特征确定为增量图像分类模型的全连接层中用于识别第二基础类型的分类器的初始参数。

在上述方案中，训练模块2550，还用于：对第一图像样本集合中的第一背景类型的图像样本进行样本标注处理，并将标注处理结果应用于第二图像样本集合，得到更新后的第二图像样本集合；基于更新后的第二图像样本集合，对增量图像分类模型进行多轮次训练，以在初始化的增量图像分类模型的基础上得到训练后的增量图像分类模型。

在上述方案中，训练模块2550，还用于：针对第一图像样本集合中第一背景类型的每个图像样本，执行以下处理：将第一背景类型的图像样本在增量图像分类模型中进行正向传播，得到第一背景类型的图像样本属于每个第二基础类型的概率；基于第一背景类型的每个图像样本属于每个第二基础类型的概率，获取对应每个第二基础类型的混淆样本，并针对每个混淆样本执行以下处理：将混淆样本中属于第二基础类型的图像样本标注为第二基础类型的图像样本；将混淆样本中不属于第二基础类型的图像样本标注为第二背景类型的图像样本。

在上述方案中，训练模块2550，还用于：通过增量图像分类模型对第一背景类型的图像样本进行特征提取处理，得到第一背景类型的图像样本的特征图；通过增量图像分类模型对第一背景类型的图像样本的特征图进行池化处理，得到第一背景类型的图像样本的嵌入特征；通过增量图像分类模型对第一背景类型的图像样本的嵌入特征进行全连接处理，得到第一背景类型的图像样本属于每个第二基础类型的概率。

在上述方案中，训练模块2550，还用于：针对第一背景类型的每个图像样本，执行以下处理：确定第一背景类型的图像样本属于每个第二基础类型的概率中的最大概率；当最大概率大于混淆样本概率阈值时，将第一背景类型的图像样本确定为对应最大概率的第二基础类型的混淆样本。

在上述方案中，训练模块2550，还用于：基于对应第k-1轮次正向传播和反向传播的第k-1轮次图像样本集合，获取对应第k轮次正向传播和反向传播的第k轮次图像样本集合；其中，第一轮次正向传播和反向传播的第一轮次图像样本集合为所述更新后的第二图像样本集合；将第k轮次图像样本集合中的图像样本，在增量图像分类模型中进行第k轮次的正向传播和反向传播，以更新增量图像分类模型，其中，k为大于或者等于2的整数；当第k轮次的正向传播和反向传播结束时，继续对增量图像分类模型进行第k+1轮次的正向传播和反向传播，以继续更新增量图像分类模型；当基于增量图像分类模型的损失函数所得到的误差稳定在固定范围内，或者增量图像分类模型的训练轮次达到训练轮次阈值时，确定增量图像分类模型训练完成。

在上述方案中，训练模块2550，还用于：通过第k-1轮次的正向传播和反向传播，获取第k-1轮次图像样本集合中每个第一基础类型的图像样本以及第二背景类型的图像样本的误差；基于所获取的误差，对每个第一基础类型的图像样本、第二背景类型的图像样本整体上进行降序排序处理；在降序排序结果中选取每个第一基础类型以及第二背景类型中排序在前的多个图像样本，并结合第k-1轮次图像样本集合中的第二基础类型的图像样本，组成第k轮次图像样本集合。

本发明实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本发明实施例上述图像分类方法或者增量图像分类模型的训练方法。

本发明实施例提供一种存储有可执行指令的计算机可读存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本发明实施例提供的图像分类方法或者增量图像分类模型的训练方法，例如，如图5A-5C示出的图像分类方法或者如图7A-7D示出的增量图像分类模型的训练方法。

在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。

在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言（包括编译或解释语言，或者声明性或过程性语言）来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。

作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言（HTML，Hyper TextMarkup Language）文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件（例如，存储一个或多个模块、子程序或代码部分的文件）中。

作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。

综上，通过本发明实施例，基于增量分类模型能够识别的类型与新分类任务需要识别的类型之间的映射关系对增量图像分类模型识别出的类型进行映射处理，能够有效解决相关技术中没有考虑到存在背景类型的问题，以及旧类型（第一基础类型）成为新分类任务中的背景类型或者保留为基础类型的问题。通过在基础图像分类模型的基础上学习得到增量图像分类模型，可以通过基础图像分类模型提供更强的特征学习监督信息，以使增量图像分类模型能在基础图像分类模型的基础上快速学习与分类相关的信息，并且提高已存在的大规模旧分类任务的数据利用率，使得用于训练增量图像分类模型所使用的其能够识别的类型存在类型少或对应类型的样本量少的情况下，仍然能学习到足够的分类信息。通过对基础图像分类模型能够识别的第一背景类型进行区分学习得到增量图像分类模型，能够对第一背景类型中的图像样本进行区分以适应增量图像分类模型所能够识别的类型，从而在具有大规模旧分类任务的识别能力的情况下，高效学习增量分类模型能够识别的而基础图像分类模型不能识别的新类型（第二基础类型），以避免在混合学习中新类型的识别性能下降的问题。

以上，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。

Claims (15)

1.一种图像分类方法，其特征在于，所述方法包括：

接收第一分类任务的分类请求；

通过增量图像分类模型对待分类图像进行分类处理；

其中，所述第一分类任务需要识别的类型中至少存在与第二分类任务需要识别的第一基础类型不同的类型，所述增量图像分类模型是在用于执行所述第二分类任务的基础图像分类模型的基础上、对所述基础图像分类模型能够识别的第一背景类型进行区分学习得到；

根据所述增量分类模型能够识别的类型与所述第一分类任务需要识别的类型之间的映射关系，将所述增量图像分类模型识别出的类型进行映射处理，得到所述第一分类任务的分类结果；

基于所述第一分类任务的分类结果响应所述第一分类任务的分类请求。

2.根据权利要求1所述的方法，其特征在于，

所述基础图像分类模型能够识别的类型包括第一背景类型以及至少一种所述第一基础类型，所述增量图像分类模型能够识别的类型包括第二背景类型、至少一种所述第一基础类型、以及至少一种第二基础类型，所述第一分类任务需要识别的类型包括第三背景类型、以及至少一种第三基础类型；

所述根据所述增量分类模型能够识别的类型与所述第一分类任务需要识别的类型之间的映射关系，将所述增量图像分类模型识别出的类型进行映射处理，得到所述第一分类任务的分类结果，包括：

当所述增量图像分类模型识别出的类型满足以下条件至少之一时，生成所述待分类图像属于所述第三基础类型的分类结果：

所述增量图像分类模型识别出的类型为任一种所述第二基础类型、且与所述第三基础类型具有映射关系；

所述增量图像分类模型识别出的类型为任一种所述第一基础类型、且与所述第三基础类型具有映射关系；

当所述增量图像分类模型识别出的类型满足以下条件至少之一时，生成所述待分类图像属于所述第三背景类型的分类结果：

所述增量图像分类模型识别出的类型为任一种所述第二基础类型、且与所述第三基础类型不具有映射关系；

所述增量图像分类模型识别出的类型为任一种所述第一基础类型、且与所述第三基础类型不具有映射关系；

所述增量图像分类模型识别出的类型是所述第二背景类型。

3.根据权利要求1所述的方法，其特征在于，

所述方法还包括：

接收所述第二分类任务的分类请求；

通过所述基础图像分类模型对待分类图像进行分类处理；

将所述基础图像分类模型识别出的类型，作为所述第二分类任务的分类结果；

基于所述第二分类任务的分类结果响应所述第二分类任务的分类请求。

4.根据权利要求1所述的方法，其特征在于，

在通过增量图像分类模型对待分类图像进行分类处理之前，所述方法还包括：

在所述基础图像分类模型中的全连接层中增加分类器；

其中，所述分类器用于识别所述第一分类任务需要识别、且所述基础图像分类模型无法识别的第二基础类型，得到初始化的所述增量图像分类模型；

获取用于训练所述基础图像分类模型的第一图像样本集合、以及用于训练所述增量图像分类模型的第二图像样本集合；

通过所述第二图像样本集合，生成初始化的所述增量图像分类模型的全连接层中用于识别所述第二基础类型的分类器的初始参数；

对所述第一图像样本集合中的第一背景类型的图像样本进行样本标注处理，并将标注处理结果应用于所述第二图像样本集合，得到更新后的第二图像样本集合；

基于所述更新后的第二图像样本集合，对所述增量图像分类模型进行多轮次训练，以在初始化的所述增量图像分类模型的基础上得到训练后的增量图像分类模型。

5.根据权利要求4所述的方法，其特征在于，

所述获取用于训练所述基础图像分类模型的第一图像样本集合，包括：

获取第一基础类型的图像样本、所述第一背景类型的图像样本，以组成所述第一图像样本集合；

其中，所述第一背景类型是除了所述第一基础类型之外的类型；

所述获取用于训练所述增量图像分类模型的第二图像样本集合，包括：

获取所述第一基础类型的图像样本、所述第二基础类型的图像样本、第二背景类型的图像样本，以组成所述第二图像样本集合；

其中，所述第二背景类型是除所述第一基础类型以及所述第二基础类型的之外的类型。

6.根据权利要求5所述的方法，其特征在于，所述通过所述第二图像样本集合，生成初始化的所述增量图像分类模型的全连接层中用于识别所述第二基础类型的分类器的初始参数，包括：

将所述第二图像样本集合中对应不同所述第二基础类型的多个图像样本，在所述基础图像分类模型中进行正向传播，得到对应每个所述第二基础类型的嵌入特征；

基于对应每个所述第二基础类型的嵌入特征，生成初始化的所述增量图像分类模型的全连接层中用于识别所述第二基础类型的分类器的初始参数。

7.根据权利要求6所述的方法，其特征在于，所述将所述第二图像样本集合中对应不同所述第二基础类型的多个图像样本，在所述基础图像分类模型中进行正向传播，得到对应每个所述第二基础类型的嵌入特征，包括：

针对所述第二图像样本集合中对应不同所述第二基础类型的多个图像样本，执行以下处理：

通过所述基础图像分类模型对所述图像样本进行特征提取处理，得到所述图像样本的特征图；

通过所述基础图像分类模型对所述图像样本的特征图进行池化处理，得到所述图像样本的嵌入特征。

8.根据权利要求6所述的方法，其特征在于，所述基于对应每个所述第二基础类型的嵌入特征，生成初始化的所述增量图像分类模型的全连接层中用于识别所述第二基础类型的分类器的初始参数，包括：

针对任一种所述第二基础类型执行以下处理：

将所述第二基础类型的多个图像样本的嵌入特征进行平均处理，得到对应所述第二基础类型的平均嵌入特征，并

将所述平均嵌入特征确定为所述增量图像分类模型的全连接层中用于识别所述第二基础类型的分类器的初始参数。

9.根据权利要求4所述的方法，其特征在于，所述对所述第一图像样本集合中的第一背景类型的图像样本进行样本标注处理，包括：

针对所述第一图像样本集合中所述第一背景类型的每个图像样本，执行以下处理：

将所述第一背景类型的图像样本在所述增量图像分类模型中进行正向传播，得到所述第一背景类型的图像样本属于每个所述第二基础类型的概率；

基于所述第一背景类型的每个图像样本属于每个所述第二基础类型的概率，获取对应每个所述第二基础类型的混淆样本，并

针对每个所述混淆样本执行以下处理：

将所述混淆样本中属于所述第二基础类型的图像样本标注为所述第二基础类型的图像样本；

将所述混淆样本中不属于所述第二基础类型的图像样本标注为第二背景类型的图像样本。

10.根据权利要求9所述的方法，其特征在于，所述基于所述第一背景类型的每个图像样本属于每个所述第二基础类型的概率，获取对应每个所述第二基础类型的混淆样本，包括：

针对所述第一背景类型的每个图像样本，执行以下处理：

确定所述第一背景类型的图像样本属于每个所述第二基础类型的概率中的最大概率；

当所述最大概率大于混淆样本概率阈值时，将所述第一背景类型的图像样本确定为对应所述最大概率的第二基础类型的混淆样本。

11.一种增量图像分类模型的训练方法，其特征在于，

所述增量图像分类模型是基于基础分类模型构建的；

所述基础图像分类模型用于识别第一背景类型、以及至少一种第一基础类型，所述增量图像分类模型用于识别至少一种第二基础类型、以及至少一种所述第一基础类型；

所述方法包括：

在所述基础图像分类模型中的全连接层中增加分类器，得到初始化的所述增量图像分类模型，其中，所述分类器用于识别第一分类任务需要识别、且用于执行第二分类任务的所述基础图像分类模型无法识别的所述第二基础类型；

获取用于训练所述基础图像分类模型的第一图像样本集合、以及用于训练所述增量图像分类模型的第二图像样本集合；

通过所述第二图像样本集合，生成初始化的所述增量图像分类模型中的全连接层中用于识别所述第二基础类型的分类器的初始参数；

基于所述第一图像样本集合中的第一背景类型的图像样本，对所述增量图像分类模型进行区分学习，以在具有所述初始参数的增量图像分类模型的基础上得到区分学习后的增量图像分类模型。

12.一种图像分类装置，其特征在于，所述装置包括：

接收模块，用于接收第一分类任务的分类请求；

分类模块，用于通过增量图像分类模型对待分类图像进行分类处理；

其中，所述第一分类任务需要识别的类型中至少存在与第二分类任务需要识别的第一基础类型不同的类型，所述增量图像分类模型是在用于执行所述第二分类任务的基础图像分类模型的基础上、对所述基础图像分类模型能够识别的第一背景类型进行区分学习得到；

映射模块，用于根据所述增量分类模型能够识别的类型与所述第一分类任务需要识别的类型之间的映射关系，将所述增量图像分类模型识别出的类型进行映射处理，得到所述第一分类任务的分类结果；

响应模块，用于基于所述第一分类任务的分类结果响应所述第一分类任务的分类请求。

13.一种增量图像分类模型的训练装置，其特征在于，

所述增量图像分类模型是基于基础分类模型构建的；

所述基础图像分类模型用于识别第一背景类型、以及至少一种第一基础类型，所述增量图像分类模型用于识别至少一种第二基础类型、以及至少一种所述第一基础类型；

所述装置包括：

构成模块，用于在所述基础图像分类模型中的全连接层中增加分类器，得到初始化的所述增量图像分类模型，其中，所述分类器用于识别第一分类任务需要识别、且用于执行第二分类任务的所述基础图像分类模型无法识别的所述第二基础类型；

集合获取模块，用于获取用于训练所述基础图像分类模型的第一图像样本集合、以及用于训练所述增量图像分类模型的第二图像样本集合；

初始化模块，用于通过所述第二图像样本集合，生成初始化的所述增量图像分类模型中的全连接层中用于识别所述第二基础类型的分类器的初始参数；

训练模块，用于基于所述第一图像样本集合中的第一背景类型的图像样本，对所述增量图像分类模型进行区分学习，以在具有所述初始参数的增量图像分类模型的基础上得到区分学习后的增量图像分类模型。

14.一种电子设备，其特征在于，包括：

存储器，用于存储可执行指令；

处理器，用于执行所述存储器中存储的可执行指令时，实现如权利要求1至10任一项所述的图像分类方法或者权利要求11所述的增量图像分类模型的训练方法。

15.一种计算机可读存储介质，其特征在于，存储有可执行指令，用于被处理器执行时，实现如权利要求1至10任一项所述的图像分类方法或者权利要求11所述的增量图像分类模型的训练方法。

Images