CN114612721A - 基于多层次自适应特征融合类增量学习的图像分类方法 - Google Patents

基于多层次自适应特征融合类增量学习的图像分类方法 Download PDF

Info

Publication number
CN114612721A
CN114612721A CN202210253528.4A CN202210253528A CN114612721A CN 114612721 A CN114612721 A CN 114612721A CN 202210253528 A CN202210253528 A CN 202210253528A CN 114612721 A CN114612721 A CN 114612721A
Authority
CN
China
Prior art keywords
model
training
image
image data
incremental
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210253528.4A
Other languages
English (en)
Inventor
杨若瑜
周子杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN202210253528.4A priority Critical patent/CN114612721A/zh
Publication of CN114612721A publication Critical patent/CN114612721A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公开了一种基于多层次自适应特征融合类增量学习的图像分类方法，包括步骤1，第一次训练，获得第1图像样例集和训练完成的第1模型；步骤2，当需要识别新类型时，进行增量更新，第M次增量更新后，获得第M+1模型，以及第M模型和第M+1模型的融合系数；M表示增量更新的次数，为大于等于1的自然数；步骤3，测试时使用第M+1模型和第M模型按照融合系数进行特征融合，输出预测结果。该方法解决了当前物体识别算法无法持续学习新类别、新知识，以及类增量学习算法不能有效利用旧模型的信息，对旧知识的遗忘程度大的问题。

Description

基于多层次自适应特征融合类增量学习的图像分类方法
技术领域
本发明属于计算机视觉领域，尤其涉及一种基于多层次自适应特征融合类增量学习的图像分类方法。
背景技术
计算机视觉中的物体分类方向目前具有非常广泛的应用场景，例如文字识别、商品识别、车辆识别等等，但是传统的模型都是静态的，无法持续学习新的知识，每当有新类别的数据加入时，都必须全部重新训练，需要额外消耗大量的时间和空间，随着新任务越来越多，边际效益越来越低。而类增量学习针对这一现象，提出了解决方案。
目前主流的关于类增量学习的方法主要包含以下三类：
一、基于回放的类增量学习方法：该方法直接以原始格式存储旧任务的样本，或者使用生成模型来生成旧任务的伪样本，将旧任务的样本合并新任务的样本进行训练。
二、基于正则化的类增量学习方法：该方法在对神经网络中的权值更新时，施加更多约束来巩固旧知识。通常是通过加入额外的正则项来实现的，以此惩罚神经网络的映射函数的变化。这类方法主要有两种策略，一种是基于先验概率调整网络参数，另一种是基于数据的。
三、基于动态结构的方法：这一类方法主要是在训练时动态地增加神经元或网络层，通过改变网络结构属性来响应新的信息。这类方法主要有两种策略，一种是对于每一新增的任务，增加固定大小的网络层数或神经元，新增的网络参数与之前的网络互相隔离；另一种是通过平衡网络复杂性和损失来自适应的调整网络结构和权重。
方法一中直接存储旧样例的工作没有利用旧模型的知识，造成了灾难性遗忘。生成伪样本的方法在实际操作中存在困难，生成的伪样本往往不能满足需求。方法二往往无法准确地量化网络中权重的重要性，因此无法准确约束关键权重，同时也没有利用旧模型的表示能力，导致并不能很好地抵抗灾难性遗忘。方法三会使模型持续扩展，虽然一定程度保留了旧模型，但是随着任务增加，网络结构越发复杂，且在只增加部分网络节点的情况下，运行反向传播算法时，效率低下。
发明内容
发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种基于多层次自适应特征融合类增量学习的图像分类方法。
为了解决上述技术问题，本发明公开了一种基于多层次自适应特征融合类增量学习的图像分类方法，包括：
步骤1，第一次训练，获得第1图像样例集和训练完成的第1模型；
步骤2，当需要识别新类型时，进行增量更新，第M次增量更新后，获得第M+1模型，以及第M模型和第M+1模型的融合系数；M表示增量更新的次数，为大于等于1的自然数；
步骤3，测试时使用第M+1模型和第M模型按照融合系数进行特征融合，输出预测结果。
进一步地，所述步骤2中当M等于1时，第1次增量更新后，获得第2模型，以及第1模型和第2模型的融合系数包括：
步骤2-1，创建新分类器并完成初始化，所述第2模型包括第1模型和新分类器；
步骤2-2，获取第二训练图像数据，对所述第二训练图像数据进行预处理，并初始化融合系数；所述第二训练图像数据包括第1图像样例集和增量更新的图像数据集，记第二训练图像数据为N；所述融合系数用于第1模型的特征和第2模型的特征按比例进行特征融合；
步骤2-3，进行第1模型和第2模型训练，训练过程分两个阶段进行：
第一阶段，将第二训练图像数据分别输入第1模型和第2模型进行训练，第1模型参数和融合系数固定，仅训练第2模型的参数，获得训练后的第2模型参数；
第二阶段，在第一阶段训练完成后进行，构建第2图像样例集，将第2图像样例集分别输入第1模型和第2模型进行训练，第1模型和第2模型的所有参数固定，仅训练融合系数，获得训练后的融合系数；
当M大于1时，获得第M+1模型，以及第M模型和第M+1模型的融合系数的过程和M等于1时相同，其中第二训练图像数据包括第M-1次增量更新构造的第M图像样例集和第M次增量更新的图像数据集，步骤2-3中第二阶段构建第M+1图像样例集。
进一步地，所述第一次训练，获得第1图像样例集和训练完成的第1模型包括：
步骤1-1，对第一次训练的图像数据集进行预处理；
步骤1-2，建立和训练第1模型，获得训练完成的第1模型；第1模型包括特征抽取网络和分类器层，分类器层节点的个数为所述第一次训练的图像数据集的类别数；使用交叉熵作为损失函数，随后使用梯度下降算法对第1模型进行训练；当损失收敛后，完成第1模型的训练；
步骤1-3，从第一次训练的图像数据集中筛选获得第1图像样例集，记第1图像样例集为N0。
进一步地，所述步骤2-1中创建新分类器并完成初始化包括：
记需要识别Y’个新类别的物体，则新建Y’个节点的分类器；
使用压印权重(imprint weight)初始化新分类器权重；
按分类将增量更新的图像数据集样本输入第2模型的特征抽取网络，获得增量更新的图像数据集样本的低维嵌入数据，对所述增量更新的图像数据集样本的低维嵌入数据进行标准化并计算平均值，将得到的结果赋值给对应的分类器节点，完成新分类器初始化。
进一步地，所述步骤1-2中的特征抽取网络采用ResNet32网络；所述步骤2-3中，进行第1模型和第2模型训练时，第1模型的特征和第2模型的特征按初始融合系数进行特征融合，在ResNet32网络中，每5个残差模块(residualblock)进行一次融合。
进一步地，所述步骤2-3中，第一阶段包括：
记第二训练图像数据样本为x，将第二训练图像数据样本x分别输入第1模型和第2模型的特征抽取网络，获得第二训练图像数据样本在第1模型中的低维嵌入数据f*(x)和在第2模型中的低维嵌入数据f(x)；
对第二训练图像数据样本在第1模型中的低维嵌入数据f*(x)和在第2模型中的低维嵌入数据f(x)进行标准化，获得标准化后的低维嵌入数据，分别记为
Figure BDA0003547584770000031
和
Figure BDA0003547584770000032
对第2模型施加蒸馏损失
Figure BDA0003547584770000033
公式如下所示：
Figure BDA0003547584770000034
其中，
Figure BDA0003547584770000035
表示
Figure BDA0003547584770000036
和
Figure BDA0003547584770000037
之间的余弦相似度；
增加一个新的约束Lmr(x)，使得类间距增大，避免类之间混淆，
Figure BDA0003547584770000041
其中m是边界阈值，
Figure BDA0003547584770000042
表示第二训练图像数据样本x真实类别的低维嵌入数据进行标准化，
Figure BDA0003547584770000043
是第k个离该低维嵌入最近的且与第二训练图像数据样本x不同类别的低维嵌入，1≤k≤K，K表示大于等于1的自然数；
最终的损失函数L，如下公式所示，
Figure BDA0003547584770000044
其中Lce为交叉熵，λ表示新旧类别数量平衡系数，计算方式如下所示，
Figure BDA0003547584770000045
λbase表示新旧类别数量平衡基数，为常量，根据图像数据集的不同来调整；Cn表示第M次增量更新的图像数据集，即新类别集合，Co表示第一次训练的图像数据集与第1次增量更新至第M-1次增量更新的图像数据集合集，即旧类别集合；
使用随机梯度下降算法进行训练，等待第2模型收敛后，进入第二阶段。
进一步地，所述步骤2-3的第一阶段中对第二训练图像数据样本在第1模型中的低维嵌入数据f*(x)和在第2模型中的低维嵌入数据f(x)进行标准化，获得的标准化后的低维嵌入数据是经过l2规范化后的向量，公式如下：
Figure BDA0003547584770000046
Figure BDA0003547584770000047
分类器层输出经过softmax函数归一化后的输出pi(x)如下面的公式所示；
Figure BDA0003547584770000048
其中，i和j表示分类类别索引，均小于等于分类类别总数，
Figure BDA0003547584770000049
和
Figure BDA00035475847700000410
分别表示分类器层第i个节点和第j个节点标准化后的权重，
Figure BDA00035475847700000411
Figure BDA00035475847700000412
第二训练图像数据θi和θj分别表示分类器层第i个节点和第j个节点的权重，
Figure BDA0003547584770000051
衡量
Figure BDA0003547584770000052
和
Figure BDA0003547584770000053
之间的余弦相似度，η用来将
Figure BDA0003547584770000054
限制在[-1，1]。
进一步地，所述步骤2-3中，第二阶段的损失函数仅使用交叉熵，使用随机梯度下降算法进行训练，直至收敛；
当M等于1时，第2图像样例集包括第1图像样例集和增量更新图像样例集，所述增量更新图像样例集从所述增量更新的图像数据集中筛选获得；
当M大于1时，第M+1图像样例集包括第M-1次增量更新构造的第M图像样例集和增量更新图像样例集。
进一步地，步骤1-1和步骤2-2中对图像数据进行预处理包括：对图像数据进行随机的翻转，翻转包括水平翻转和垂直翻转，随后转化成张量，并进行标准化，标准化计算过程为先计算本次训练图像数据的均值和方差，将每一张图片减去均值后再除以方差。
进一步地，步骤1-3中的第1图像样例集和步骤2-3第二阶段的增量更新图像样例集均基于herding算法分别对第一次训练的图像数据集和增量更新的图像数据集进行筛选，包括：
记被筛选图像数据集为X＝{X1，X2，...，XY}，共有Y个类别，Y为正整数，类别i包含ni个样本，1≤i≤Y，ni为正整数，则类别i的图像数据集为
Figure BDA0003547584770000055
记当前特征抽取网络为
Figure BDA0003547584770000056
为每一类别选取z个样例，1≤z≤min{n1，n2，...，nY}，则当为第i类选取样例时，先计算该类别特征均值，计算方法如下式所示，
Figure BDA0003547584770000057
然后令u＝1，2，...，z，依照下式找出z个样本p1，p2，...，pz；最后将得到的p1，p2，...，pz组成图像样例集Pi。
Figure BDA0003547584770000058
为被筛选图像数据集中的每一类别都执行如上操作，获得筛选后的图像样例集P＝{P1，P2，...，PY}。
有益效果：
现有的类增量学习方案中，大多舍弃旧模型，仅保存图像样例集，或者仅仅使用旧模型来计算蒸馏损失，这样就浪费了旧模型的表示能力。保存图像样例集可以一定程度上使模型回忆起旧知识，但是新模型一旦进行增量训练，就发生了偏移，逐渐弱化对旧类别物体的表示能力，从而产生遗忘。本发明提出的方法，解决了当前物体识别算法无法持续学习新类别、新知识，以及类增量学习算法不能有效利用旧模型的信息，对旧知识的遗忘程度大的问题。
1.不仅在增量学习过程中保存旧样例，同时还保存旧模型，利用旧模型的表示限制新模型的变化，使用旧模型提取多层次特征融合到新模型中，进一步提升了整个模型的记忆力，减轻了新模型对旧知识发生遗忘。
2.在增量学习中使用两阶段进行训练，第一阶段融合新旧模型特征，只更新新模型权重，固定其他所有参数，第二阶段只训练融合参数，固定新旧模型权重。两阶段的训练方式避免了前后图像数据分布相差过大而导致新旧模型间影响过大，融合系数可以逐步调整特征融合的程度，在既保证模型可塑性的情况下又能够最大程度地保留模型的稳定性。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。
图1为本申请实施例提供的一种基于多层次自适应特征融合类增量学习的图像分类方法的流程示意图。
图2为本申请实施例提供的基于多层次自适应特征融合类增量学习的图像分类方法的压印权重示意图。
图3为本申请实施例提供的基于多层次自适应特征融合类增量学习的图像分类方法的新旧模型融合示意图。
图4为本申请实施例提供的基于多层次自适应特征融合类增量学习的图像分类方法的低维嵌入标准化示意图。
图5为蒸馏损失示意图。
图6为为本申请实施例提供的基于多层次自适应特征融合类增量学习的图像分类方法的增加类间距示意图。
具体实施方式
下面将结合附图，对本发明的实施例进行描述。
本申请提供的一种基于多层次自适应特征融合类增量学习的图像分类方法可以应用于快速构建持续自主学习的图像分类系统中。
本方法的具体处理流程如图1所示：
在整个流程中，首先要确定是否第一次进行训练，如果第一次进行训练，则不涉及增量更新操作，否则需要增量更新模型。
接下来根据详细阐述两种情况下的算法细节：
1、第一次训练：
由于不存在增量更新过程，所以可以直接对图像数据进行预处理。预处理过程包括对图像数据进行随机的翻转，翻转包括水平翻转和垂直翻转，随后转化成张量，并进行标准化，标准化计算过程为先计算本次训练图像数据的均值和方差，将每一张图片减去均值后再除以方差。
图像数据处理完成后，需要建立网络模型，即第1模型，第1模型包括特征抽取网络和分类器层，本实施例使用了ResNet32网络作为特征抽取网络，ResNet32网络一共32层，分类器层节点的个数为当前图像数据集的类别数，这里使用交叉熵作为损失函数，随后使用梯度下降算法对模型进行训练。ResNet具体请参见He，Kaiming，et al.″Deep residuallearning for image recognition.″Proceedings of the IEEE conference oncomputer vision and pattern recognition.2016.
当损失收敛后，完成第1模型的训练，接下来从第一次训练的图像数据集中选择合适的图片进行存储，组成第1图像样例集，以便加入下次训练，减轻对旧类别的遗忘。第1图像样例集的筛选算法基于herding算法，记被筛选图像数据集为X＝{X1，X2，...，XY}，共有Y个类别，Y为正整数，类别i包含ni个样本，1≤i≤Y，ni为正整数，则类别i的图像数据集为
Figure BDA0003547584770000071
记当前特征抽取网络为
Figure BDA0003547584770000072
为每一类别选取z个样例，1≤z≤min{n1，n2，...，nY}，则当为第i类选取样例时，先计算该类别特征均值，计算方法如公式(1)所示，
Figure BDA0003547584770000073
然后令u＝1，2，...，z，依照公式(2)找出z个样本p1，p2，...，pz；最后将得到的p1，p2，...，pz组成图像样例集Pi；
Figure BDA0003547584770000081
为被筛选图像数据集中的每一类别都执行如上操作，获得筛选后的图像样例集P＝{P1，P2，...，PY}。
至此，第一次训练完成，然后保存图像样例集、训练完成的模型以及权重，以备增量更新。
2、增量更新模型：
当需要识别新物体时，如果不对模型进行更新，将会出现错误，因为只能输出旧模型所学习过类别中的一种。而大部分物体分类算法如果想要识别更多种类的物体，就需要得到前后所有的训练图像数据，并重新训练模型，不仅浪费了旧模型所学习到的知识，还会多消耗时间和空间。对于这两个问题，本申请提出了有效的解决方案，具体如下：
首先复制旧模型(第1模型)得到新模型(第2模型)，假设需要识别Y’个新类别的物体，则在第2模型中新建Y’个节点的分类器，由于随机初始化新分类器权重再训练会消耗更多的时间，为加速这一过程，使用压印权重初始化新分类器权重。如图2所示，按分类将增量更新的图像数据集样本输入第2模型的特征抽取网络，获得增量更新的图像数据集样本的低维嵌入数据，对所述增量更新的图像数据集样本的低维嵌入数据进行标准化并计算平均值，将得到的结果赋值给对应的分类器节点。
当新分类器创建好并初始化完成之后，需要整理当前增量训练所需要的图像数据，即第二训练图像数据。第二训练图像数据由两部分组成，第一部分为新增类别的所有图像数据，第二部分为之前任务结束时保存的图像样例集。接着初始化融合系数∈，融合系数一共三个(如图3所示，
Figure BDA0003547584770000082
为三个融合系数，其中
Figure BDA0003547584770000083
Figure BDA0003547584770000084
)，都初始化为0.5。随后将第二训练图像数据进行预处理，预处理过程同第一次训练一致，首先进行随机翻转，然后转化成张量，最后进行标准化，注意此时图像数据集已经变化，均值和方差也应重新计算，标准化时减去新的均值后再除以新的方差。
如图3所示，新旧模型需要进行结合融合系数按比例进行特征融合，在ResNet32中，每5个残差块进行一次融合。训练过程分两个阶段进行，第一阶段只训练新模型的参数，第二阶段只训练融合系数，接下来分阶段具体介绍训练过程：
(一)第一阶段
该阶段只训练新模型参数，旧模型参数和融合系数固定。
由于新类别的图像数据多，旧类别图像数据少，所以会导致分类器的分类结果向新类别倾斜，分析特征抽取网络的低维嵌入可以知道新类别低维嵌入的模往往大于旧类别的低维嵌入，因此需要进行标准化，如图4所示。
在常见的CNN(Convolutional Neural Networks，卷积神经网络)中，一个样本的预测值，即分类器层输出经过softmax函数归一化后的输出往往计算方法如公式(3)所示，记第二训练图像数据样本为x，将第二训练图像数据样本x分别输入第1模型和第2模型的特征抽取网络，获得第二训练图像数据样本在第1模型中的低维嵌入数据f*(x)和在第2模型中的低维嵌入数据f(x)；
Figure BDA0003547584770000091
其中i和j表示分类类别索引，均小于等于分类类别总数，θi和θj分别表示分类器层第i个节点和第j个节点的权重，bi和bj分别表示分类器层第i个节点和第j个节点的偏置项。
规范化方法使用余弦归一化(cosine normalization)，具体如公式(4)所示，
Figure BDA0003547584770000092
其中，
Figure BDA0003547584770000093
表示经过12规范化后的向量，
Figure BDA0003547584770000094
衡量两个规范化向量之间的余弦相似度，η用来将
Figure BDA0003547584770000095
限制在[-1，1]。
对第二训练图像数据样本在第1模型中的低维嵌入数据f*(x)和在第2模型中的低维嵌入数据f(x)进行标准化，获得标准化后的低维嵌入数据，分别记为
Figure BDA0003547584770000096
和
Figure BDA0003547584770000097
Figure BDA0003547584770000098
Figure BDA0003547584770000099
Figure BDA00035475847700000910
和
Figure BDA00035475847700000911
分别表示分类器层第i个节点和第j个节点标准化后的权重，
Figure BDA0003547584770000101
Figure BDA0003547584770000102
增量学习中的一个常见问题就是灾难性遗忘，由于只存储了非常少量的旧类别图像数据，同时涌入大量新类别图像数据，并且随着任务不断增加，模型不断更新，网络会逐渐遗忘以前所学的知识，发生偏移，如图5所示。因此，为了减轻网络的遗忘，对前后类别都有一个比较好的识别能力，需要对第2模型施加一个蒸馏损失，如公式(5)所示，
Figure BDA0003547584770000103
该损失鼓励新旧模型抽取的特征尽量相似，以此来减轻遗忘。在限制新模型变化的同时，需要补充旧模型的知识，将旧模型的知识融合进新模型就可以使网络回忆起旧知识，有效的减轻模型对旧类别的遗忘，提升识别效果。ResNet32中有残差模块，以每五个残差模块为节点，将模型分为四个部分，用f1，f2，f3，f4表示，旧模型也分为四个部分，分别用
Figure BDA0003547584770000104
表示，用f1，f2来举例，以第一二部分为例，图像经过f1后输出的特征为
Figure BDA0003547584770000105
经过
Figure BDA0003547584770000106
后输出的特征为
Figure BDA0003547584770000107
此时的融合系数分别为
Figure BDA0003547584770000108
和
Figure BDA0003547584770000109
Figure BDA00035475847700001010
假设f2的输入为
Figure BDA00035475847700001011
具体如公式(6)所示，f2，f3类似。
Figure BDA00035475847700001012
随着新类别物体的加入，新旧类别之间的界限会越发模糊，导致互相识别错误，因此需要增大类间距，让类之间不混淆，如图6所示。为此，需要增加一个新的约束，考虑以某样本x真实类别的低维嵌入作为正例，找到新类别中对x产生最高响应的类别作为困难负类，并用它们的低维嵌入作为对应旧样本低维嵌入的负例，具体如公式(7)所示，
Figure BDA00035475847700001013
其中m是边界阈值，为常数，设为0.5，
Figure BDA00035475847700001014
表示第二训练图像数据样本x真实类别的低维嵌入数据进行标准化，
Figure BDA00035475847700001015
是第k个离该低维嵌入最近的且与第二训练图像数据样本x不同类别的低维嵌入，1≤k≤K，K表示大于等于1的自然数，本实施例中，k值设为2。最终的损失函数如公式(8)所示，
Figure BDA0003547584770000111
其中Lce为交叉熵，N为第二训练图像数据，No为保存的旧图像样例集，λ的计算方式如公式(9)所示，
Figure BDA0003547584770000112
λbase表示新旧类别数量平衡基数，为常量，需要根据图像数据集的不同来调整，本实施例中设为7.5。Cn表示第M次增量更新的图像数据集，即新类别集合，Co表示第一次训练的图像数据集与第1次增量更新至第M-1次增量更新的图像数据集合集，即旧类别集合；
学习率初始值设为0.1，每批训练图像数据的数量设置为128幅，一共训练160个代(epoch)，在第80个代时调整为0.01，在第120个代时调整为0.001，动量(momentum)设为0.9，使用随机梯度下降算法进行训练，等待模型收敛后，便可进入第二阶段。
(二)第二阶段
在第一阶段训练完之后，需要对新类别的样本构建图像样例集，图像样例集的构建方法和第一次训练时一致，构建完成后合并之前的图像样例集，组成第2图像样例集，
第2图像样例集将作为第二阶段的训练集。
因为新旧类别的图像数据分布有差异，新旧模型进行融合时并不能固定按照1∶1的比例进行融合，所以需要适时地调整融合系数。
在进行第二阶段训练时，固定新旧模型的所有参数，只开放融合系数进行训练，损失函数仅使用交叉熵，学习率初始值设为0.1，每批训练图像数据的数量设置为128幅，一共训练100个代，学习率在第50个代时调整为0.01，在第75个代时调整为0.001，动量设为0.9，也使用随机梯度下降算法进行训练，直至收敛。
一二阶段都训练完毕之后，保存新旧模型，测试时使用新旧模型按照经过训练之后的融合系数进行特征融合，并输出预测结果。
当又有新类别的物体需要识别时，舍弃旧模型，处理新图像数据，建立新分类器，然后使用新模型重复增量更新过程。
下表给出了本申请实施例方法和现有技术类增量学习相关方法的实验结果对比，图像数据集使用CIFAR-100，该图像数据集共有100类图片，第一次训练使用50类图像数据，“2类/阶段”表示后面剩余的类别每次增加2类，直至增加到100类。表格里的数值为所有阶段的平均准确率，从下表可看出本申请实施例所提出的方法平均准确率高于其他类增量学习方法。
Figure BDA0003547584770000121
参考文献如下：
[1]Zhizhong Li and Derek Hoiem.Learning without forgetting.IEEEtransactions on pattern analysis and machine intelligence,40(12):2935–2947,2017.
[2]Sylvestre-Alvise Rebuffffi,Alexander Kolesnikov,Georg Sperl,andChristoph H Lampert.icarl:Incremental classifier and representationlearning.In Proceedings of the IEEE conference on Computer Vision and PatternRecognition,pages 2001–2010,2017.
[3]Liu,Yaoyao,et al."Mnemonics training:Multi-class incrementallearning without forgetting."Proceedings of the IEEE/CVF conference onComputer Vision and Pattern Recognition.2020.
[4]Wu,Y.,Chen,Y.,Wang,L.,Ye,Y.,Liu,Z.,Guo,Y.,&Fu,Y.(2019).Large scaleincremental learning.In Proceedings of the IEEE/CVF Conference on ComputerVision and Pattern Recognition(pp.374-382).
[5]Saihui Hou,Xinyu Pan,Chen Change Loy,Zilei Wang,and DahuaLin.Learning a unified classifier incrementally via rebalancing.InProceedings of the IEEE/CVF Conference on Computer Vision and PatternRecognition,pages 831–839,2019.
本发明提供了一种基于多层次自适应特征融合类增量学习的图像分类方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (10)

1.一种基于多层次自适应特征融合类增量学习的图像分类方法，其特征在于，包括：
步骤1，第一次训练，获得第1图像样例集和训练完成的第1模型；
步骤2，当需要识别新类型时，进行增量更新，第M次增量更新后，获得第M+1模型，以及第M模型和第M+1模型的融合系数；M表示增量更新的次数，为大于等于1的自然数；
步骤3，测试时使用第M+1模型和第M模型按照融合系数进行特征融合，输出预测结果，从而进行图像分类。
2.根据权利要求1所述的一种基于多层次自适应特征融合类增量学习的图像分类方法，其特征在于，所述步骤2中当M等于1时，第1次增量更新后，获得第2模型，以及第1模型和第2模型的融合系数包括：
步骤2-1，创建新分类器并完成初始化，所述第2模型包括第1模型和新分类器；
步骤2-2，获取第二训练图像数据，对所述第二训练图像数据进行预处理，并初始化融合系数；所述第二训练图像数据包括第1图像样例集和增量更新的图像数据集，记第二训练图像数据为N；所述融合系数用于第1模型的特征和第2模型的特征按比例进行特征融合；
步骤2-3，进行第1模型和第2模型训练，训练过程分两个阶段进行：
第一阶段，将第二训练图像数据分别输入第1模型和第2模型进行训练，第1模型参数和融合系数固定，仅训练第2模型的参数，获得训练后的第2模型参数；
第二阶段，在第一阶段训练完成后进行，构建第2图像样例集，将第2图像样例集分别输入第1模型和第2模型进行训练，第1模型和第2模型的所有参数固定，仅训练融合系数，获得训练后的融合系数；
当M大于1时，获得第M+1模型，以及第M模型和第M+1模型的融合系数的过程和M等于1时相同，其中第二训练图像数据包括第M-1次增量更新构造的第M图像样例集和第M次增量更新的图像数据集，步骤2-3中第二阶段构建第M+1图像样例集。
3.根据权利要求2所述的一种基于多层次自适应特征融合类增量学习的图像分类方法，其特征在于，所述第一次训练，获得第1图像样例集和训练完成的第1模型包括：
步骤1-1，对第一次训练的图像数据集进行预处理；
步骤1-2，建立和训练第1模型，获得训练完成的第1模型；第1模型包括特征抽取网络和分类器层，分类器层节点的个数为所述第一次训练的图像数据集的类别数；使用交叉熵作为损失函数，随后使用梯度下降算法对第1模型进行训练；当损失收敛后，完成第1模型的训练；
步骤1-3，从第一次训练的图像数据集中筛选获得第1图像样例集，记第1图像样例集为N0。
4.根据权利要求3所述的一种基于多层次自适应特征融合类增量学习的图像分类方法，其特征在于，所述步骤2-1中创建新分类器并完成初始化包括：
记需要识别Y’个新类别的物体，则新建Y’个节点的分类器；
使用压印权重初始化新分类器权重；
按分类将增量更新的图像数据集样本输入第2模型的特征抽取网络，获得增量更新的图像数据集样本的低维嵌入数据，对所述增量更新的图像数据集样本的低维嵌入数据进行标准化并计算平均值，将得到的结果赋值给对应的分类器节点，完成新分类器初始化。
5.根据权利要求4所述的一种基于多层次自适应特征融合类增量学习的图像分类方法，其特征在于，所述步骤1-2中的特征抽取网络采用ResNet32网络；所述步骤2-3中，进行第1模型和第2模型训练时，第1模型的特征和第2模型的特征按初始融合系数进行特征融合，在ResNet32网络中，每5个残差模块进行一次融合。
6.根据权利要求5所述的一种基于多层次自适应特征融合类增量学习的图像分类方法，其特征在于，所述步骤2-3中，第一阶段包括：
记第二训练图像数据样本为x，将第二训练图像数据样本x分别输入第1模型和第2模型的特征抽取网络，获得第二训练图像数据样本在第1模型中的低维嵌入数据f*(x)和在第2模型中的低维嵌入数据f(x)；
对第二训练图像数据样本在第1模型中的低维嵌入数据f*(x)和在第2模型中的低维嵌入数据f(x)进行标准化，获得标准化后的低维嵌入数据，分别记为
Figure FDA0003547584760000021
和
Figure FDA0003547584760000022
对第2模型施加蒸馏损失
Figure FDA0003547584760000023
公式如下所示：
Figure FDA0003547584760000031
其中，
Figure FDA0003547584760000032
表示
Figure FDA0003547584760000033
和
Figure FDA0003547584760000034
之间的余弦相似度；
增加一个新的约束Lmr(x)，使得类间距增大，避免类之间混淆，
Figure FDA0003547584760000035
其中m是边界阈值，
Figure FDA0003547584760000036
表示第二训练图像数据样本x真实类别的低维嵌入数据进行标准化，
Figure FDA0003547584760000037
是第k个离该低维嵌入最近的且与第二训练图像数据样本x不同类别的低维嵌入，1≤k≤K，K表示大于等于1的自然数；
最终的损失函数L，如下公式所示，
Figure FDA0003547584760000038
其中Lce为交叉熵，λ表示新旧类别数量平衡系数，计算方式如下所示，
Figure FDA0003547584760000039
λbase表示新旧类别数量平衡基数，为常量，根据图像数据集的不同来调整；Cn表示第M次增量更新的图像数据集，即新类别集合，Co表示第一次训练的图像数据集与第1次增量更新至第M-1次增量更新的图像数据集合集，即旧类别集合；
使用随机梯度下降算法进行训练，等待第2模型收敛后，进入第二阶段。
7.根据权利要求6所述的一种基于多层次自适应特征融合类增量学习的图像分类方法，其特征在于，所述步骤2-3的第一阶段中对第二训练图像数据样本在第1模型中的低维嵌入数据f*(x)和在第2模型中的低维嵌入数据f(x)进行标准化公式如下：
Figure FDA00035475847600000310
Figure FDA00035475847600000311
分类器层输出经过softmax函数归一化后的输出pi(x)如下面的公式所示；
Figure FDA00035475847600000312
其中，i和j表示分类类别索引，均小于等于分类类别总数，
Figure FDA00035475847600000313
和
Figure FDA00035475847600000314
分别表示分类器层第i个节点和第j个节点标准化后的权重，
Figure FDA0003547584760000041
Figure FDA0003547584760000042
第二训练图像数据θi和θj分别表示分类器层第i个节点和第j个节点的权重，
Figure FDA0003547584760000043
用于衡量
Figure FDA0003547584760000044
和
Figure FDA0003547584760000045
之间的余弦相似度，η用来将
Figure FDA0003547584760000046
限制在[-1,1]。
8.根据权利要求7所述的一种基于多层次自适应特征融合类增量学习的图像分类方法，其特征在于，所述步骤2-3中，第二阶段的损失函数仅使用交叉熵，使用随机梯度下降算法进行训练，直至收敛；
当M等于1时，第2图像样例集包括第1图像样例集和增量更新图像样例集，所述增量更新图像样例集从所述增量更新的图像数据集中筛选获得；
当M大于1时，第M+1图像样例集包括第M-1次增量更新构造的第M图像样例集和增量更新图像样例集。
9.根据权利要求8所述的一种基于多层次自适应特征融合类增量学习的图像分类方法，其特征在于，步骤1-1和步骤2-2中对图像数据进行预处理包括：对图像数据进行随机的翻转，翻转包括水平翻转和垂直翻转，随后转化成张量，并进行标准化，标准化计算过程为先计算本次训练图像数据的均值和方差，将每一张图片减去均值后再除以方差。
10.根据权利要求9所述的一种基于多层次自适应特征融合类增量学习的图像分类方法，其特征在于，步骤1-3中的第1图像样例集和步骤2-3第二阶段的增量更新图像样例集均基于herding算法分别对第一次训练的图像数据集和增量更新的图像数据集进行筛选，包括：
记被筛选图像数据集为X＝{X1,X2,…,XY}，共有Y个类别，Y为正整数，类别i包含ni个样本，1≤i≤Y，ni为正整数，则类别i的图像数据集为
Figure FDA0003547584760000047
记当前特征抽取网络为
Figure FDA0003547584760000048
为每一类别选取z个样例，1≤Z≤min{n1，n2，…，nY}，则当为第i类选取样例时，先计算该类别特征均值，计算方法如下式所示，
Figure FDA0003547584760000051
然后令u＝1,2,...,z，依照下式找出z个样本p1,p2,…,pz；最后将得到的p1,p2,…,pz组成图像样例集Pi；
Figure FDA0003547584760000052
为被筛选图像数据集中的每一类别都执行如上操作，获得筛选后的图像样例集P＝{P1,P2,…,PY}。
CN202210253528.4A 2022-03-15 2022-03-15 基于多层次自适应特征融合类增量学习的图像分类方法 Pending CN114612721A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210253528.4A CN114612721A (zh) 2022-03-15 2022-03-15 基于多层次自适应特征融合类增量学习的图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210253528.4A CN114612721A (zh) 2022-03-15 2022-03-15 基于多层次自适应特征融合类增量学习的图像分类方法

Publications (1)

Publication Number Publication Date
CN114612721A true CN114612721A (zh) 2022-06-10

Family

ID=81862530

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210253528.4A Pending CN114612721A (zh) 2022-03-15 2022-03-15 基于多层次自适应特征融合类增量学习的图像分类方法

Country Status (1)

Country Link
CN (1) CN114612721A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115392451A (zh) * 2022-08-02 2022-11-25 西安工业大学 一种可持续学习的人工神经网络避免遗忘方法
CN115861250A (zh) * 2022-12-14 2023-03-28 深圳技术大学 自适应数据集的半监督医学图像器官分割方法及系统
CN116089883A (zh) * 2023-01-30 2023-05-09 北京邮电大学 用于提高已有类别增量学习新旧类别区分度的训练方法
CN117314892A (zh) * 2023-11-27 2023-12-29 中南大学 一种基于增量学习的太阳能电池缺陷检测持续优化方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115392451A (zh) * 2022-08-02 2022-11-25 西安工业大学 一种可持续学习的人工神经网络避免遗忘方法
CN115392451B (zh) * 2022-08-02 2024-04-16 西安工业大学 一种可持续学习的人工神经网络避免遗忘方法
CN115861250A (zh) * 2022-12-14 2023-03-28 深圳技术大学 自适应数据集的半监督医学图像器官分割方法及系统
CN115861250B (zh) * 2022-12-14 2023-09-22 深圳技术大学 自适应数据集的半监督医学图像器官分割方法及系统
CN116089883A (zh) * 2023-01-30 2023-05-09 北京邮电大学 用于提高已有类别增量学习新旧类别区分度的训练方法
CN116089883B (zh) * 2023-01-30 2023-12-19 北京邮电大学 用于提高已有类别增量学习新旧类别区分度的训练方法
CN117314892A (zh) * 2023-11-27 2023-12-29 中南大学 一种基于增量学习的太阳能电池缺陷检测持续优化方法
CN117314892B (zh) * 2023-11-27 2024-02-13 中南大学 一种基于增量学习的太阳能电池缺陷检测持续优化方法

Similar Documents

Publication Publication Date Title
CN114612721A (zh) 基于多层次自适应特征融合类增量学习的图像分类方法
CN109949317B (zh) 基于逐步对抗学习的半监督图像实例分割方法
Huang et al. Generative dual adversarial network for generalized zero-shot learning
CN107316061B (zh) 一种深度迁移学习的不平衡分类集成方法
WO2020114378A1 (zh) 视频水印的识别方法、装置、设备及存储介质
CN110427875A (zh) 基于深度迁移学习和极限学习机的红外图像目标检测方法
CN111310852B (zh) 一种图像分类方法及系统
CN114841257B (zh) 一种基于自监督对比约束下的小样本目标检测方法
KR20040037180A (ko) 학습 모델 부분들을 사용하는 안면 인식 시스템 및 방법
CN114332578A (zh) 图像异常检测模型训练方法、图像异常检测方法和装置
CN110009030A (zh) 基于stacking元学习策略的污水处理故障诊断方法
CN110363230A (zh) 基于加权基分类器的stacking集成污水处理故障诊断方法
CN110598759A (zh) 一种基于多模态融合的生成对抗网络的零样本分类方法
CN113505792A (zh) 面向非均衡遥感图像的多尺度语义分割方法及模型
CN116110089A (zh) 一种基于深度自适应度量学习的面部表情识别方法
Blot et al. Shade: Information-based regularization for deep learning
CN113011513B (zh) 一种基于通用域自适应的图像大数据分类方法
CN113179276B (zh) 基于显式和隐含特征学习的智能入侵检测方法和系统
CN112541530B (zh) 针对聚类模型的数据预处理方法及装置
CN109409434A (zh) 基于随机森林的肝脏疾病数据分类规则提取的方法
CN108985382A (zh) 基于关键数据通路表示的对抗样本检测方法
CN113095229A (zh) 一种无监督域自适应行人重识别系统及方法
CN113065520A (zh) 一种面向多模态数据的遥感图像分类方法
CN116452854A (zh) 基于宽度学习和随机敏感度的领域自适应图像分类方法
CN113408610B (zh) 一种基于自适应矩阵迭代极限学习机的图像识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination