CN115359316A - 一种基于增量学习的图像分类模型训练方法及分类方法 - Google Patents

Abstract

本发明提供一种基于增量学习的图像分类模型训练方法，所述图像分类模型包括特征提取网络和分类器，所述方法包括对图像分类模型进行多阶段训练直至图像分类模型的准确率达到预设准确率要求，每个阶段训练后获得一个该阶段对应的图像分类模型，每个阶段使用不同类别的图像数据集，每个图像数据集中包含多个图像以及图像对应的分类标签，其中，每阶段训练包括：S1、以上一阶段训练后的图像分类模型的特征提取网络的参数，初始化本阶段训练的图像分类模型对应的特征提取网络；S2、采用本阶段的图像数据集将经步骤S1初始化特征提取网络后的图像分类模型训练至收敛。本发明能够有效抑制灾难性遗忘以及小样本过拟合问题。

Description

一种基于增量学习的图像分类模型训练方法及分类方法

技术领域

本发明涉及计算机视觉领域，具体来说，涉及计算机视觉领域中的图像分类领域，更具体地说，涉及一种基于增量学习的图像分类模型训练方法及分类方法。

背景技术

作为计算机视觉领域的颠覆性技术，深度学习广泛应用于图像处理领域中，在人脸识别、自动驾驶、医疗影像处理等民用领域的应用取得了显著成功。其中，智能目标识别是其中的关键使能技术，其已广泛应用于日常工作和生活中，能够将工作效率提升数十倍。然而，现有的目标识别模型在实际场景中仍然应用受限，其原因在于：(1)目前深度学习算法识别目标种类受限，缺乏类别自动扩展能力；(2)目前模型训练迭代时间较长，识别结果难以在线改进；(3)开放类别样本数据量不足，导致识别准确率低。因此为了增强深度学习模型的实用性，小样本增量学习受到了越来越多的关注。但是，增量学习面临一些新的问题，具体来说，在深度学习领域，增量学习致力于解决模型训练的一个普遍缺陷——灾难性遗忘，即一旦使用新的数据集去训练已有的模型，该模型将会失去对原数据的识别能力。为了克服灾难性遗忘，模型一方面必须表现出从新数据中整合新知识和提炼已有知识的能力(可塑性)，另一方面又必须防止新输入对已有知识的显著干扰(稳定性)。如何提高模型的可塑性，同时兼顾稳定性，在两者间取得平衡，是增量学习研究所面临的挑战。

为了避免灾难性遗忘，寻求模型的可塑性-稳定性平衡，研究者进行了诸多尝试，依据历史任务信息保留的方式，增量学习方法主要可以分为三个类别：基于回放(Replay)的增量学习方法，基于正则化(Regularization)的增量学习方法，基于参数隔离(Parameter Isolation)的增量学习方法。其中，基于回放的增量学习方法指的是通过保留一部分历史数据或者高层表征，在学习新任务的过程中，回放旧的任务数据，减少模型遗忘。基于正则化的增量学习方法指的是通过对模型在新的任务上的优化方向加以约束，减少灾难性遗忘，包括以旧模型为目标添加蒸馏损失、对重要的模型参数进行优化约束、对参数的梯度方向进行投影等等，例如，LwF(2017ECCV)通过蒸馏损失的方式保留旧任务的数据。基于参数隔离的增量学习方法指的是在新任务上扩大旧的模型，对新旧模型的参数进行不同程度的隔离，减少灾难性遗忘，例如，PackNet(2018CVPR)是一种对新旧任务参数进行硬隔离的办法，每次新任务到来时，PackNet增量使用一部分模型空间，通过剪枝的方法保留冗余的模型空间，为下次任务留下余量。在进行小样本增量学习(FSCIL)时，提出将神经气体网络这种拓扑结构的网络用在了增量学习之中，采用锚损失(Anchor Loss)，避免网络经过增量任务训练之后在基础类别上变化过大；CEC法则提出将特征抽取模块与分类器模块进行解耦，每次增量任务只更新分类器部分，用其来应对增量学习任务的变化。

然而，上述增量学习方法在克服灾难性遗忘问题时，依然采用传统网络提取特征后分类，这导致模型在训练的过程中必须平衡可塑性与稳定性，小样本条件下易导致过拟合或学习类别效果差，识别效率低等问题。

发明内容

因此，本发明的目的在于克服上述现有技术的缺陷，提供一种基于增量学习的图像分类模型训练方法和一种图像分类方法。

本发明的目的是通过以下技术方案实现的：

根据本发明的第一方面，提供一种基于增量学习的图像分类模型训练方法，所述图像分类模型包括特征提取网络和分类器，所述方法包括对图像分类模型进行多阶段增量学习以识别新的图像分类，每个阶段训练后获得一个该阶段对应的图像分类模型，每个阶段使用不同类别的图像数据集，其中，每阶段训练包括：S1、以上一阶段训练后的图像分类模型的特征提取网络的参数，初始化本阶段训练的图像分类模型对应的特征提取网络，具体包括：S11、将上一阶段训练后的图像分类模型的特征提取网络与一个随机初始化的图注意力网络组成本阶段的初始模型；S12、采用元学习方法基于上一阶段的图像数据集将本阶段的初始模型训练至收敛；S13、采用经步骤S12训练至收敛的本阶段的初始模型中的特征提取网络参数初始化本阶段的图像分类模型的特征提取网络；S2、采用本阶段的图像数据集将经步骤S1初始化特征提取网络后的图像分类模型训练至收敛。

优选的，所述步骤S12包括：S121、从上一阶段的图像数据集中随机选取预设类别个数所对应的第一预设样本个数的图像样本以组成本阶段的原始支持集、第二预设样本个数的图像样本组成本阶段的原始查询集；S122、对步骤S121中获取到的本阶段的原始支持集和原始查询集中的样本进行随机翻转以获得本阶段的新的支持集和查询集；S123、将本阶段的原始支持集与其对应的新的支持集进行叠加获得本阶段的最终支持集，将本阶段的原始查询集与其对应的新的查询集进行叠加获得本阶段的最终查询集；S124、采用元学习方法，匹配本阶段的最终支持集和最终查询集，并采用交叉熵损失函数优化本阶段的初始模型直至收敛。

优选的，在所述步骤S122中，采用如下方式对本阶段的原始支持集和原始查询集中的样本进行随机翻转：在0°、90°、180°、270°这几个旋转角度中随机选择一个角度对本阶段的原始支持集和原始查询集中的样本进行翻转，以获得本阶段的新的支持集和查询集。

优选的，在所述步骤S124中，通过如下方式对本阶段的初始模型进行训练：S1241、对本阶段的最终支持集和最终查询集进行数据增强处理后输入本阶段的初始模型，得到本阶段的初始模型的特征提取网络的输出；S1242、根据本阶段的最终支持集和最终查询集的预设类别，计算预设类别对应的初始模型的特征提取网络的输出均值，并用其生成预设类别的权重参数；S1243、在图注意力网络中采用多头注意力机制基于步骤S1242生成的预设类别的权重参数以及步骤S1241生成的特征提取网络的输出得到更新后的预设类别的权重参数，并将其用于更新本阶段的初始模型的图注意力网络；S1244、基于步骤S1243得到的图注意力网络的输出，采用交叉熵损失函数和反向传播方法更新本阶段的初始模型的特征提取网络。

优选的，在所述步骤S1243中，采用如下多头注意力机制得到更新后的预设类别的权重参数：

其中，q^j为本阶段的初始模型的特征提取网络的输出，

为本阶段的初始模型的图注意力网络的输出，w^j为预设类别的权重参数，

为新的预设类别的权重参数，

表示向量叠加。

在本发明的一些实施例中，所述预设类别个数为5；所述第一预设样本个数为50；所述第二预设样本个数为100。

优选的，所述步骤S2包括：S21、对本阶段的图像数据集随机采样以获取本阶段的训练图像数据集，并对训练图像数据集进行数据增强处理；

S22、采用经步骤S21处理后的训练图像数据集对经步骤S1初始化特征提取网络后的本阶段的图像分类模型进行多轮迭代训练直至收敛，并基于交叉熵损失函数和反向传播方法更新本阶段的图像分类模型。

在本发明的一些实施例中，预设准确率要求为80％。

优选的，所述方法还包括：S3、从当前阶段及其之前所有阶段对应的所有图像数据集中随机采样以获取测试图像数据集，并采用测试图像数据集验证图像分类模型的准确率，其中，所述测试图像数据集中包括多个测试图像样本以及测试图像样本对应的分类标签，且所述步骤S3包括对测试图像数据集中的图像样本进行尺寸统一和颜色归一化后执行如下步骤：S31、基于每个阶段训练完的图像分类模型获得每个阶段对应的图像数据集中每个类别的原型特征；S32、采用每个阶段训练完的图像分类模型对经尺寸统一和颜色归一化处理后的测试图像数据集中的每个测试图像样本进行处理获得样本特征和样本分类结果；S33、针对每个阶段的图像分类模型，基于其获得的每个类别的原型特征、每个样本特征计算每个类别的原型特征和每个样本特征的散度，每个阶段的图像分类模型所对应的每个样本特征和每个类别的原型特征的散度组成散度矩阵；S34、以散度矩阵中散度最小值所对应的图像分类模型的分类结果作为每个图像样本的最终分类结果；S35、基于步骤S34中获得的所有测试图像样本的分类结果与测试图像样本的分类标签计算分类准确率。

优选的，所述步骤S31包括如下步骤：S311、获取每个阶段训练完的图像分类模型、每个阶段对应的图像数据集；S312、基于每个阶段训练完的图像分类模型获得每个阶段对应的图像数据集中每个图像的特征提取网络的输出；S313、基于步骤S312中得到的每个图像对应的特征提取网络的输出计算每个阶段的图像数据集中每个类别的原型特征，计算方式如下：

其中，P^c表示类别c的原型特征，L表示类别c的样本总数，i表示类别c中第i张图像，

表示类别c中第i张图像对应的特征提取网络的输出。

优选的，所述步骤S33包括：S331、针对每个阶段的图像分类模型，基于其获得的每个类别的原型特征、每个样本特征，采用如下方式计算每个类别的原型特征和每个样本特征散度：

其中，

为第n阶段的图像分类模型所对应的样本特征k和类别c的原型特征的散度，

为基于第n阶段的图像分类模型获取的测试图像样本k的样本特征，P^c为基于第n阶段的图像分类模型获取的类别c的原型特征。

S332、基于经步骤S331处理后的每个样本特征和每个类别的原型特征的散度，得到每个阶段的图像分类模型所对应的每个样本特征和每个类别的原型特征的散度组成散度矩阵；其中，散度矩阵表示如下：

.......

根据本发明的第二方面，提供一种图像分类方法，所述方法包括：T1、获取待处理图像；T2、采用本发明第一方面所述方法训练的图像分类模型对待处理图像进行处理获得分类结果。

与现有技术相比，本发明的优点在于：

1、在训练过程中同时改进了图像分类模型的特征提取网络和分类器，并且在训练过程中采用了元学习方法，提升了图像分类模型基于小样本数据提取关键特征的能力。

2、通过原型匹配的方法，从扩增的图像分类模型中准确选择图像分类模型，能够有效抑制灾难性遗忘以及小样本过拟合问题。

附图说明

以下参照附图对本发明实施例作进一步说明，其中：

图1为根据本发明实施例的图像分类模型训练方法示意图；

图2为根据本发明实施例的各个阶段训练的初始模型结构示意图；

图3为根据本发明实施例的原型特征提取过程示意图；

图4为根据本发明实施例图像分类模型准确率验证过程示意图。

具体实施方式

为了使本发明的目的，技术方案及优点更加清楚明白，以下通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如背景技术中提到的，现有技术中增量学习方法在克服灾难性遗忘问题时，依然采用传统网络提取特征后分类，这导致模型在训练的过程中必须平衡可塑性与稳定性，小样本条件下易导致过拟合或学习类别效果差，识别效率低等问题。针对现有方法的缺陷，本发明提出一种能够适用于小样本增量学习的图像分类模型的训练方法，其通过改进图像分类模型的特征提取网络和分类器，能够提高图像分类模型的基于小样本数据提取关键特征的能力，进一步地，能够提高图像分类模型对于图像样本的分类效率；还通过计算每个样本特征和每个类别的原型特征的散度，能够准确选择图像分类模型输出的分类结果，进一步地，有效抑制灾难性遗忘以及小样本过拟合问题。

本发明在介绍各个部分的详细步骤前，先介绍本发明的主要技术思路。本发明通过对包含特征提取网络和分类器的图像分类模型进行多阶段训练增量学习以识别新的图像分类，每个阶段训练后获得一个该阶段对应的图像分类模型，每个阶段使用不同类别的图像数据集，其中，每阶段训练包括：

以上一阶段训练后的图像分类模型的特征提取网络的参数，初始化本阶段训练的图像分类模型对应的特征提取网络，具体包括：将上一阶段训练后的图像分类模型的特征提取网络与一个随机初始化的图注意力网络组成本阶段的初始模型；采用元学习方法基于上一阶段的图像数据集将本阶段的初始模型训练至收敛；采用训练至收敛的本阶段的初始模型中的特征提取网络参数初始化本阶段的图像分类模型的特征提取网络；采用本阶段的图像数据集将经初始化特征提取网络后的本阶段的图像分类模型训练至收敛。

为了更好的理解本发明，下面结合具体的实施例说明本发明。

本发明包括多个阶段的图像分类模型训练，但是为了更加清楚地说明本发明的相关技术特征，如图1所示，本发明以第一阶段、第二阶段和第三阶段的图像分类模型训练作为示例进行介绍，具体训练过程如下：

第一阶段的图像分类模型训练：其为小样本增量训练的起点

其中，在进行第一阶段的训练时，首先从第一阶段的图像数据集中随机采样以获取第一阶段的训练图像数据集。根据本发明的一个实施例，第一阶段的图像数据集中包括10个基础类别的图像，每个类别中均包括500张图像样本，在第一阶段训练过程中，从10个基础类别的总共5000图像中随机采样以获取第一阶段的训练图像数据集，训练图像数据集的图像样本数量至少要超过图像数据集中的总图像样本数量的一半。对第一阶段的训练图像数据集中的图像样本进行数据增强处理，根据本发明的一个实施例，数据增强处理过程中先对图像样本进行随机翻转、随机裁剪，将图像样本的尺寸统一为32×32，再对图像样本作颜色归一化处理，其中，归一化处理的方式为：

其中，img＇表示归一化后的图像样本的像素值；img表示归一化前的图像样本的像素值，比如，有一张32×32×3的图像，共有32×32个像素点，每个像素点有RGB三个通道，每个通道都有一个值，将每个通道看做一个矩阵，则img表示一个32×32×3矩阵的值；mean表示对32×32×3中RGB通道求均值；std表示mean的方差。根据本发明的一个实施例，均值mean为[0.507,0.487,0.441]，方差std为[0.267,0.256,0.276]。

然后，采用数据增强处理后的第一阶段的训练图像数据集对第一阶段的图像分类模型D₀进行训练直至模型收敛。根据本发明的一个实施例，第一阶段的图像分类模型D₀选用ResNet18模型，并选用开源模型中的一个图像分类模型的参数初始化ResNet18。需要说明的是，根据本发明的其他实施例，第一阶段的图像分类模型D₀还可采用DenseNet模型，以及其它类型的图像分类模型，本发明不对各阶段的模型结构做具体限定。

第二阶段的图像分类模型的训练：其为在第一阶段的训练的基础上进行的小样本增量训练

第二阶段的训练包括步骤S1、S2，下面分别对每个步骤进行详细说明。

在步骤S1中，以第一阶段训练后的图像分类模型D₀的特征提取网络的参数，初始化第二阶段的图像分类模型D₁对应的特征提取网络。

根据本发明的一个实施例，所述步骤S1包括步骤S11、S12、S13。

其中，在步骤S11中，将第一阶段训练后的图像分类模型的特征提取网络与一个随机初始化的图注意力网络G₀组成第二阶段的初始模型。具体的，先将第一阶段训练后的图像分类模型D₀中的分类器去掉得到特征提取网络，再将一个随机初始化的图注意力网络G₀连接在特征提取网络后以组成第二阶段的初始模型。根据本发明的一个实施例，如图2所示，采用第一阶段的图像数据集训练第二阶段的初始模型，采用第二阶段的图像数据集训练第三阶段的初始模型，采用第三阶段的图像数据集训练第四阶段的初始模型，其中，第二阶段、第三阶段、第四阶段的初始模型中包括特征提取网络和图注意力网络。需要说明的是，每一阶段的初始模型中均包括上一阶段的特征提取网络和一个随机初始化的图注意力网络，对每个阶段的初始模型的训练方式与第二阶段的初始模型的训练方式一致，本发明仅对第二阶段、第三阶段的初始模型的训练进行详细说明，其他阶段不进行过多赘述。

在步骤S12中，采用元学习方法基于第一阶段的图像数据集将第二阶段的初始模型训练至收敛。

为了更好的理解本发明，首先通过对比机器学习与元学习的区别来简单介绍一下元学习的基本思想。元学习方法的技术目的是希望模型获取一种学会学习调参的能力，使其可以在获取已有知识的基础上快速学习新的任务。而机器学习是先人为调参，之后直接训练特定任务下深度模型。在机器学习中，训练单位是样本数据，通过样本损失约束来对模型进行优化。元学习则是先通过其它的任务训练出一个较好的超参数，然后再对特定任务进行训练。在元学习中，训练单位是任务，一般有两个任务，分别是训练任务和测试任务。训练任务要准备许多子任务来进行学习，目的是学习出一个较好的超参数。在训练任务中给定若干个子训练任务，每个子训练任务的数据集中分为支持集和查询集，先通过每个子任务的支持集进行模型训练，训练出针对各个子任务的模型参数，再用各个子任务的查询集去测试对应的模型性能，并计算出各个模型的预测值和真实标签的损失，最后利用梯度下降算法求解更新参数，找到最优的超参数。测试任务是利用训练任务学习出的超参数对特定任务进行训练。在测试任务中执行正常的机器学习过程。现有的元学习的主要方法包括：基于记忆memory的方法，基于预测梯度的方法，利用attention注意力机制的方法，借鉴LSTM的方法，面向RL的meta learning方法，利用WaveNet的方法，预测Loss的方法等，本发明不对具体的元学习方法进行限定。

根据本发明的一个实施例，所述步骤S12包括步骤S121、S122、S123、S124。

其中，在步骤S121中，从第一阶段的图像数据集中随机选取预设类别个数所对应的第一预设样本个数的图像样本以组成第二阶段的原始支持集、第二预设样本个数的图像样本组成第二阶段的原始查询集。根据本发明的一个实施例，所述预设类别个数为5，第一预设样本个数为50，第二预设样本个数为100。需要说明的是，在各个阶段中，预设类别个数、第一预设样本个数和第二预设样本个数均相同。

在步骤S122中，对步骤S121中获取到的第二阶段的原始支持集和原始查询集中的样本进行随机翻转以获得第二阶段的新的支持集和查询集。根据本发明的一个实施例，在所述步骤S122中，采用如下方式对第二阶段的原始支持集和原始查询集中的样本进行随机翻转：在0°、90°、180°、270°这几个旋转角度中随机选择一个角度对第二阶段的原始支持集和原始查询集中的样本进行翻转，以获得第二阶段的新的支持集和查询集。

在步骤S123中，将第二阶段的原始支持集与其对应的新的支持集进行叠加获得第二阶段的最终支持集，将第二阶段的原始查询集与其对应的新的查询集进行叠加获得第二阶段的最终查询集。需要说明的是，将第二阶段的原始支持集与对应的新的支持集进行叠加，即将原始支持集和新的支持集合并为一个数据集以获得第二阶段的最终支持集，同理，将第二阶段的原始查询集和新的查询集合并为一个数据集以获得第二阶段的最终查询集。

在步骤S124中，采用元学习方法，匹配第二阶段的最终支持集和最终查询集，并采用交叉熵损失函数优化第二阶段的初始模型直至收敛。

根据本发明的一个实施例，所述步骤S124包括S1241、S1242、S1243、S1244。

其中，在步骤S1241中，对第二阶段的最终支持集和最终查询集进行数据增强处理后输入第二阶段的初始模型，以获取第二阶段的初始模型的特征提取网络的输出。需要说明的是，步骤S1241中的数据增强处理过程与第一阶段的训练图像数据集进行数据增强处理方式相同，此处不再赘述。

在步骤S1242中，获取第二阶段的最终支持集和最终查询集的预设类别，计算预设类别对应的初始模型的特征提取网络的输出均值，并用其生成预设类别的权重参数。

在步骤S1243中，在图注意力网络G₀中采用多头注意力机制基于步骤S1242生成的预设类别的权重参数以及步骤S1241生成的特征提取网络的输出得到更新后的预设类别的权重参数，并将其用于更新第二阶段的初始模型的图注意力网络G₀。根据本发明的一个实施例，在步骤S1243中，采用如下多头注意力机制得到更新后的预设类别的权重参数：

其中，q^j为第二阶段的初始模型的特征提取网络的输出，

为第二阶段的初始模型的图注意力网络G₀的输出，w^j为预设类别的权重参数，

为新的预设类别的权重参数，

表示向量叠加。

在步骤S1244中，基于步骤S1243得到的图注意力网络G₀的输出，采用交叉熵损失函数和反向传播方法更新第二阶段的初始模型的特征提取网络。

在步骤S13中，采用经步骤S12训练至收敛的第二阶段的初始模型中的特征提取网络参数初始化第二阶段的图像分类模型D₁的特征提取网络。

在步骤S2中，采用第二阶段的图像数据集将经步骤S1初始化特征提取网络后的第二阶段的图像分类模型D₁训练至收敛。

根据本发明的一个实施例，所述步骤S2包括：S21、对第二阶段的图像数据集随机采样以获取第二阶段的训练图像数据集，并对训练图像数据集进行数据增强处理。根据本发明的一个实施例，第二阶段的图像数据集中包括5个类别的图像，每个类别中包括50张图像，且第二阶段的图像数据集中的图像类别与第一阶段的图像数据集中的基础图像类别不同，进行第二阶段的训练时，从5个类别的总共250图像中随机采样以获取第二阶段的训练图像数据集，训练图像数据集的图像样本数量至少要超过图像数据集中的总图像样本数量的一半。需要说明的是，步骤S21中的数据增强方式与第一阶段的数据增强方式一致，此处不再赘述。S22、采用经步骤S21处理后的训练图像数据集对经步骤S1初始化特征提取网络后的第二阶段的图像分类模型D₁进行多轮迭代训练直至收敛，并基于交叉熵损失函数和反向传播方法更新第二阶段的图像分类模型D₁。根据本发明的一个实施例，第二阶段的图像分类模型D₁选用ResNet18模型。根据本发明的其他实施例，第二阶段的图像分类模型D₁还可采用DenseNet模型，以及其它类型的图像分类模型，本发明不对各阶段的模型结构做具体限定。

第三阶段的图像分类模型的训练：其为在第二阶段的训练的基础上进行的小样本增量训练

第三阶段的训练包括步骤F1、F2，下面分别对每个步骤进行详细说明。

在步骤F1中，以第二阶段训练后的图像分类模型D₁的特征提取网络的参数，初始化第三阶段的图像分类模型D₂对应的特征提取网络。

根据本发明的一个实施例，所述步骤F1包括F11、F12、F13。

其中，在步骤F11中，将第二阶段训练后的图像分类模型的特征提取网络与一个随机初始化的图注意力网络G₁组成第三阶段的初始模型。具体的，先将第二阶段训练后的图像分类模型D₁中的分类器去掉得到特征提取网络，再将一个随机初始化的图注意力网络G₁连接在特征提取网络后以组成第二阶段的初始模型。在步骤F12中，采用元学习方法基于第二阶段的图像数据集将第三阶段的初始模型训练至收敛。

根据本发明的一个实施例，所述步骤F12包括步骤F121、F122、F123、F124。

其中，在步骤F121中，从第二阶段的图像数据集中随机选取预设类别个数所对应的第一预设样本个数的图像样本以组成第三阶段的原始支持集、第二预设样本个数的图像样本组成第三阶段的原始查询集。根据本发明的一个实施例，所述预设类别个数为5，第一预设样本个数为50，第二预设样本个数为100。在步骤F122中，对步骤F121中获取到的第三阶段的原始支持集和原始查询集中的样本进行随机翻转以获得第三阶段的新的支持集和查询集。

在所述步骤F122中，对第三阶段的原始支持集和查询集中的样本进行随机翻转。根据本发明的一个实施例，采用如下方式对第三阶段的原始支持集和原始查询集中的样本进行随机翻转：在0°、90°、180°、270°这几个旋转角度中随机选择一个角度对第三阶段的原始支持集和原始查询集中的样本进行翻转，以获得第三阶段的新的支持集和查询集。需要说明的是，将第三阶段的原始支持集与对应的新的支持集进行叠加，即将原始支持集和新的支持集合并为一个数据集以获得第三阶段的最终支持集，同理，将第三阶段的原始查询集和新的查询集合并为一个数据集以获得第三阶段的最终查询集。

在步骤F123中，将第三阶段的原始支持集与其对应的新的支持集进行叠加获得第三阶段的最终支持集，将第三阶段的原始查询集与其对应的新的查询集进行叠加获得第三阶段的最终查询集。需要说明的是，将第三阶段的原始支持集与对应的新的支持集进行叠加，即将原始支持集和新的支持集合并为一个数据集以获得第三阶段的最终支持集，同理，将第三阶段的原始查询集和新的查询集合并为一个数据集以获得第三阶段的最终查询集。

在步骤F124中，采用元学习方法，匹配第三阶段的最终支持集和最终查询集，并采用交叉熵损失函数优化第三阶段的初始模型直至收敛。

根据本发明的一个实施例，所述步骤F124包括步骤F1241、F1242、F1243、F1244。

其中，在步骤F1241中，对第三阶段的最终支持集和最终查询集进行数据增强处理后输入第三阶段的初始模型，以获取第三阶段的初始模型的特征提取网络的输出。需要说明的是，步骤F1241中的数据增强处理过程与第一阶段的训练图像数据集进行数据增强处理方式相同，此处不再赘述。在步骤F1242中，获取第三阶段的最终支持集和最终查询集的预设类别，计算预设类别对应的初始模型的特征提取网络的输出均值，并用其生成预设类别的权重参数。在步骤F1243中，在图注意力网络G₁中采用多头注意力机制基于步骤F1242生成的预设类别的权重参数以及步骤F1241生成的特征提取网络的输出得到更新后想预设类别的权重参数，并将其用于更新第三阶段的初始模型的图注意力网络G₁。根据本发明的一个实施例，步骤F1243中的多头注意力机制与第二阶段中的采用的多头注意力机制一致，此处不再赘述。在步骤F1244中，基于步骤F1243得到的图注意力网络G₁的输出，采用交叉熵损失函数和反向传播方法更新第三阶段的初始模型的特征提取网络。

在步骤F13中，采用经步骤F12训练至收敛的第三阶段的初始模型中的特征提取网络参数初始化第三阶段的图像分类模型D₂的特征提取网络。

在步骤F2中，采用第三阶段的图像数据集将经步骤F1初始化特征提取网络后的第三阶段的图像分类模型D₂训练至收敛。

根据本发明的一个实施例，所述步骤F2包括：步骤F21、对第三阶段的图像数据集随机采样以获取第三阶段的训练图像数据集，并对训练图像数据集进行数据增强处理。根据本发明的一个实施例，第三阶段的图像数据集中包括5个类别的图像，每个类别中包括50张图像，且第三阶段的图像数据集中的图像类别与第一阶段的图像数据集中的基础图像类别、第二阶段的图像数据集中的图像类别不同，进行第三阶段的训练时，从5个类别的总共250图像中随机采样以获取第三阶段的训练图像数据集，训练图像数据集的图像样本数量至少要超过图像数据集中的总图像样本数量的一半。根据本发明的一个实施例，在步骤F21中，从第三阶段的图像数据集中获取第三阶段的训练图像数据集，并按照与第一阶段相同的数据增强处理方式对第三阶段的训练图像数据集进行数据增强处理，此处不再赘述。F22、采用经步骤F21处理后的训练图像数据集对经步骤F1初始化特征提取网络后的第三阶段的图像分类模型D₂进行多轮迭代训练直至收敛，并基于交叉熵损失函数和反向传播方法更新第三阶段的图像分类模型D₂。根据本发明的一个实施例，第三阶段的图像分类模型D₂选用ResNet18模型。根据本发明的其他实施例，第三阶段的图像分类模型D₂还可采用DenseNet模型，以及其它类型的图像分类模型，本发明不对各阶段的模型结构做具体限定。

需要说明的是，第三阶段的图像分类模型D₂的训练方式与第二阶段的图像分类模型D₁的训练方式一致，第三阶段后的每一阶段的图像分类模型的训练方式均与第二阶段的图像分类模型D₁的训练方式一致，此处不再赘述。

根据本发明的一个实施例，所述预设准确率要求按照实际需求确定。

根据本发明的一个实施例，所述预设准确率要求为80％。

根据本发明的一个实施例，本发明通过如下方式验证图像分类模型的准确率：

S3、从当前阶段及其之前所有阶段对应的所有图像数据集中随机采样以获取测试图像数据集，并采用测试图像数据集验证图像分类模型的准确率，其中，所述测试图像数据集中包括多个测试图像样本以及测试图像样本对应的分类标签，且所述步骤S3包括对测试图像数据集中的图像样本进行尺寸统一和颜色归一化后执行步骤S31、S32、S33、S34和S35，下面分别对每个步骤进行详细说明。需要说明的是，在验证图像分类模型的准确率时，由于需要验证模型对所有增量学习过程中学习的不同类别图像的分类准确率，因此，本发明在选取测试图像数据集时，需从所有阶段对应的图像数据集中随机采样获取测试图像数据集。

其中，在步骤S31中，基于每个阶段训练完的图像分类模型获得每个阶段对应的图像数据集中每个类别的原型特征。

根据本发明的一个实施例，步骤S31包括：S311、获取每个阶段训练完的图像分类模型、每个阶段对应的图像数据集；S312、基于每个阶段训练完的图像分类模型获得每个阶段对应的图像数据集中每个图像的特征提取网络的输出；S313、基于步骤S312中得到的每个图像对应的特征提取网络的输出计算每个阶段的图像数据集中每个类别的原型特征，计算方式如下：

其中，P^c表示类别c的原型特征，L表示类别c的样本总数，i表示类别c中第i张图像，

表示类别c中第i张图像对应的特征提取网络的输出。

根据本发明的一个示例，如图3所示，以第一阶段、第二阶段和第三阶段的图像分类模型获得每个阶段对应的图像数据集中每个类别的原型特征进行说明，包括：基于图像分类模型D₀、图像分类模型D₁和图像分类模型D₂获取第一阶段、第二阶段和第三阶段的图像数据集中每个图像的特征提取网络的输出；基于第一阶段的图像数据集中每个图像对应的特征提取网络的输出计算第一阶段的图像数据集中每个类别的原型特征，计算方式与步骤S313一致；基于第二阶段的图像数据集中每个图像对应的特征提取网络的输出计算第二阶段的图像数据集中每个类别的原型特征，计算方式与步骤S313一致；基于第三阶段的图像数据集中每个图像对应的特征提取网络的输出计算第三阶段的图像数据集中每个类别的原型特征，计算方式与步骤S313一致。

在步骤S32中，采用每个阶段训练完的图像分类模型对经尺寸统一和颜色归一化处理后的测试图像数据集中的每个测试图像样本进行处理获得样本特征和样本分类结果。

在步骤S33中，针对每个阶段的图像分类模型，基于其获得的每个类别的原型特征、每个样本特征计算每个类别的原型特征和每个样本特征的散度，每个阶段的图像分类模型所对应的每个样本特征和每个类别的原型特征的散度组成散度矩阵。

根据本发明的一个实施例，所述步骤S33包括步骤S331、S332，下面分别对每个步骤进行详细说明。

其中，在步骤S331中，针对每个阶段的图像分类模型，基于其获得的每个类别的原型特征、每个样本特征，采用如下方式计算每个类别的原型特征和每个样本特征散度：

其中，

为第n阶段的图像分类模型所对应的样本特征k和类别c的原型特征的散度，

为基于第n阶段的图像分类模型获取的测试图像样本k的样本特征，P^c为基于第n阶段的图像分类模型获取的类别c的原型特征。

在步骤S332中，基于经步骤S331处理后的每个样本特征和每个类别的原型特征的散度，得到每个阶段的图像分类模型所对应的每个样本特征和每个类别的原型特征的散度组成散度矩阵；其中，散度矩阵表示如下：

.......

在步骤S34中，以散度矩阵中散度最小值所对应的图像分类模型的分类结果作为每个图像样本的最终分类结果；

在步骤S35中，基于步骤S34中获得的所有测试图像样本的分类结果与测试图像样本的分类标签计算分类准确率。

根据本发明的一个实施例，若当前阶段为第二阶段，在第二阶段进行模型准确率验证时，则从第一阶段、第二阶段的图像数据集中随机采样以获取测试图像数据集，如前面实施例所述的，第一阶段的图像数据集中包括5000张图像样本，第二阶段的图像数据集中包括250张图像样本，那么在第二阶段进行模型准确率验证时，则从5250张总图像样本中随机采样以获取测试图像数据集，测试图像数据集至少占总图像样本的10％；若当前阶段为第三阶段，在第三阶段进行模型准确率验证时，则从第一阶段、第二阶段、第三阶段的图像数据集中随机采样以获取测试图像数据集，如前面实施例所述的，第一阶段的图像数据集中包括5000张图像样本，第二阶段、第三阶段的图像数据集中包括250张图像样本，那么在第三阶段进行模型准确率验证时，则从5500张总图像样本中随机采样以获取测试图像数据集，测试图像数据集至少占总图像样本的10％；后续阶段的验证以此类推，此处不再赘述。

通过上述实施例可以看出，本发明在每次增量训练完成后均要进行测试，测试时是基于特征原型并采用散度的方式对所有类别的图像的分类准确率进行验证，基于这样的验证机制并结合元学习方法，可以使得模型自主的往分类准确率更好的方向去学习和调整参数。

根据本发明的一个示例，从第一阶段、第二阶段、第三阶段的图像数据集中随机采样以获取测试图像数据集，如图4所示，以测试图像数据集中的一个测试图像样本为例说明如何验证图像分类模型的准确率，将测试图像样本尺寸统一为32×32,并按照第一阶段的颜色归一化处理方式对该测试图像样本进行归一化处理后执行如下步骤：基于第一阶段的图像分类模型D₀获取第一阶段的图像数据集中每个类别的原型特征，基于第二阶段的图像分类模型D₁获取第二阶段的图像数据集中每个类别的原型特征，基于第三阶段的图像分类模型D₂获取第三阶段的图像数据集中每个类别的原型特征；采用图像分类模型D₀、图像分类模型D₁和图像分类模型D₂对经尺寸统一和颜色归一化处理后的测试图像样本进行处理获得样本特征和样本分类结果；针对图像分类模型D₀、图像分类模型D₁和图像分类模型D₂，基于其获得每个类别的原型特征、样本特征计算每个类别的原型特征和每个样本特征的散度，图像分类模型D₀、图像分类模型D₁和图像分类模型D₂所对应的样本特征和每个类别的原型特征的散度组成散度矩阵；以散度矩阵中散度最小值所对应的图像分类模型的分类结果作为测试图像样本的最终分类结果；基于获得的测试图像样本的分类结果与测试图像样本的分类标签计算分类准确率。所有的测试图像样本的分类结果中与对应测试图像样本的分类标签一致的比例即为分类准确率。根据本发明的一个示例，第一阶段的图像数据集中包括5000张图像样本，第二阶段、第三阶段的图像数据集中包括250张图像样本，那么在第三阶段进行模型准确率验证时，则从5500张总图像样本中随机采样以获取测试图像数据集，若此时测试图像数据集占总图像样本的10％，则测试图像数据集中包括550张图像样本，当存在440张测试图像样本的分类结果与对应测试图像样本的分类标签一致时，此时图像分类模型的准确率达到预设要求。

为了验证本发明的效果，本发明在CIFAR100数据集上进行了试验，首先选取10类数据作为第一阶段的图像数据集，每个类包含500张训练样本和100张测试样本，采用5000张训练样本训练第一阶段的图像分类模型直至收敛。在此基础之上，再选取10类别数据并将其分为2组分别作为第二阶段、第三阶段的图像数据集，每组包含5类数据，每类数据包含50张训练样本和100张测试样本，按照本发明前述实施例的方法进行连续2次增量学习得到第二阶段、第三阶段的图像分类模型。最后，比较第一阶段的图像分流模型与第三阶段的图像分类模型的分类准确率，试验结果显示第三阶段的图像分类模型与第一阶段的图像分类模型相比，分类准确率提升了6.6％。

与现有技术相比，本发明的优点在于：在训练过程中同时改进了图像分类模型的特征提取网络和分类器，并且在训练过程中采用了元学习方法，提升了图像分类模型基于小样本数据提取关键特征的能力；通过原型匹配的方法，从扩增的图像分类模型中准确选择图像分类模型，能够有效抑制灾难性遗忘以及小样本过拟合问题。

需要说明的是，虽然上文按照特定顺序描述了各个步骤，但是并不意味着必须按照上述特定顺序来执行各个步骤，实际上，这些步骤中的一些可以并发执行，甚至改变顺序，只要能够实现所需要的功能即可。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以包括但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (14)

1.一种基于增量学习的图像分类模型训练方法，所述图像分类模型包括特征提取网络和分类器，其特征在于，所述方法包括对图像分类模型进行多阶段增量学习以识别新的图像分类，每个阶段训练后获得一个该阶段对应的图像分类模型，每个阶段使用不同类别的图像数据集，其中，每阶段训练包括：

S1、以上一阶段训练后的图像分类模型的特征提取网络的参数，初始化本阶段训练的图像分类模型对应的特征提取网络，具体包括：

S11、将上一阶段训练后的图像分类模型的特征提取网络与一个随机初始化的图注意力网络组成本阶段的初始模型；

S12、采用元学习方法基于上一阶段的图像数据集将本阶段的初始模型训练至收敛；

S13、采用经步骤S12训练至收敛的本阶段的初始模型中的特征提取网络参数初始化本阶段的图像分类模型的特征提取网络；

S2、采用本阶段的图像数据集将经步骤S1初始化特征提取网络后的图像分类模型训练至收敛。

2.根据权利要求1所述的方法，其特征在于，所述步骤S12包括：

S121、从上一阶段的图像数据集中随机选取预设类别个数所对应的第一预设样本个数的图像样本以组成本阶段的原始支持集、第二预设样本个数的图像样本组成本阶段的原始查询集；

S122、对步骤S121中获取到的本阶段的原始支持集和原始查询集中的样本进行随机翻转以获得本阶段的新的支持集和查询集；

S123、将本阶段的原始支持集与其对应的新的支持集进行叠加获得本阶段的最终支持集，将本阶段的原始查询集与其对应的新的查询集进行叠加获得本阶段的最终查询集；

S124、采用元学习方法，匹配本阶段的最终支持集和最终查询集，并采用交叉熵损失函数优化本阶段的初始模型直至收敛。

3.根据权利要求2所述的方法，其特征在于，在所述步骤S122中，采用如下方式对本阶段的原始支持集和原始查询集中的样本进行随机翻转：

在0°、90°、180°、270°这几个旋转角度中随机选择一个角度对本阶段的原始支持集和原始查询集中的样本进行翻转，以获得本阶段的新的支持集和查询集。

4.根据权利要求2所述的方法，其特征在于，在所述步骤S124中，通过如下方式对本阶段的初始模型进行训练：

S1241、对本阶段的最终支持集和最终查询集进行数据增强处理后输入本阶段的初始模型，得到本阶段的初始模型的特征提取网络的输出；

S1242、根据本阶段的最终支持集和最终查询集的预设类别，计算预设类别对应的初始模型的特征提取网络的输出均值，并用其生成预设类别的权重参数；

S1243、在图注意力网络中采用多头注意力机制基于步骤S1242生成的预设类别的权重参数以及步骤S1241生成的特征提取网络的输出得到更新后的预设类别的权重参数，并将其用于更新本阶段的初始模型的图注意力网络；

S1244、基于步骤S1243得到的图注意力网络的输出，采用交叉熵损失函数和反向传播方法更新本阶段的初始模型的特征提取网络。

5.根据权利要求4所述的方法，其特征在于，在所述步骤S1243中，采用如下多头注意力机制得到更新后的预设类别的权重参数：

其中，q^j为本阶段的初始模型的特征提取网络的输出，

为本阶段的初始模型的图注意力网络的输出，w^j为预设类别的权重参数，

为新的预设类别的权重参数，

表示向量叠加。

6.根据权利要求2所述的方法，其特征在于，

所述预设类别个数为5；

所述第一预设样本个数为50；

所述第二预设样本个数为100。

7.根据权利要求1所述的方法，其特征在于，所述步骤S2包括：

S21、对本阶段的图像数据集随机采样以获取本阶段的训练图像数据集，并对训练图像数据集进行数据增强处理；

S22、采用经步骤S21处理后的训练图像数据集对经步骤S1初始化特征提取网络后的本阶段的图像分类模型进行多轮迭代训练直至收敛，并基于交叉熵损失函数和反向传播方法更新本阶段的图像分类模型。

8.根据权利要求1所述的方法，其特征在于，预设准确率要求为80％。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

S3、从当前阶段及其之前所有阶段对应的所有图像数据集中随机采样以获取测试图像数据集，并采用测试图像数据集验证图像分类模型的准确率，其中，所述测试图像数据集中包括多个测试图像样本以及测试图像样本对应的分类标签，且所述步骤S3包括对测试图像数据集中的图像样本进行尺寸统一和颜色归一化后执行如下步骤：

S31、基于每个阶段训练完的图像分类模型获得每个阶段对应的图像数据集中每个类别的原型特征；

S32、采用每个阶段训练完的图像分类模型对经尺寸统一和颜色归一化处理后的测试图像数据集中的每个测试图像样本进行处理获得样本特征和样本分类结果；

S33、针对每个阶段的图像分类模型，基于其获得的每个类别的原型特征、每个样本特征计算每个类别的原型特征和每个样本特征的散度，每个阶段的图像分类模型所对应的每个样本特征和每个类别的原型特征的散度组成散度矩阵；

S34、以散度矩阵中散度最小值所对应的图像分类模型的分类结果作为每个图像样本的最终分类结果；

S35、基于步骤S34中获得的所有测试图像样本的分类结果与测试图像样本的分类标签计算分类准确率。

10.根据权利要求9所述的方法，其特征在于，所述步骤S31包括如下步骤：

S311、获取每个阶段训练完的图像分类模型、每个阶段对应的图像数据集；

S312、基于每个阶段训练完的图像分类模型获得每个阶段对应的图像数据集中每个图像的特征提取网络的输出；

S313、基于步骤S312中得到的每个图像对应的特征提取网络的输出计算每个阶段的图像数据集中每个类别的原型特征，计算方式如下：

其中，P^c表示类别c的原型特征，L表示类别c的样本总数，i表示类别c中第i张图像，

表示类别c中第i张图像对应的特征提取网络的输出。

11.根据权利要求9所述的方法，其特征在于，所述步骤S33包括：

S331、针对每个阶段的图像分类模型，基于其获得的每个类别的原型特征、每个样本特征，采用如下方式计算每个类别的原型特征和每个样本特征散度：

其中，

为第n阶段的图像分类模型所对应的样本特征k和类别c的原型特征的散度，

为基于第n阶段的图像分类模型获取的测试图像样本k的样本特征，P^c为基于第n阶段的图像分类模型获取的类别c的原型特征；

S332、基于经步骤S331处理后的每个样本特征和每个类别的原型特征的散度，得到每个阶段的图像分类模型所对应的每个样本特征和每个类别的原型特征的散度组成散度矩阵；其中，散度矩阵表示如下：

……

12.一种图像分类方法，其特征在于，所述方法包括：

T1、获取待处理图像；

T2、采用如权利要求1-11任一所述方法训练的图像分类模型对待处理图像进行处理获得分类结果。

13.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序可被处理器执行以实现权利要求1-11、12任一所述方法的步骤。

14.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现如权利要求1-12、13中任一项所述方法的步骤。

Images