CN116229154A - 一种基于动态混合模型的类增量图像分类方法 - Google Patents
一种基于动态混合模型的类增量图像分类方法 Download PDFInfo
- Publication number
- CN116229154A CN116229154A CN202310043261.0A CN202310043261A CN116229154A CN 116229154 A CN116229154 A CN 116229154A CN 202310043261 A CN202310043261 A CN 202310043261A CN 116229154 A CN116229154 A CN 116229154A
- Authority
- CN
- China
- Prior art keywords
- classification model
- new
- old
- class
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 98
- 238000013145 classification model Methods 0.000 claims abstract description 149
- 238000012549 training Methods 0.000 claims abstract description 85
- 238000004821 distillation Methods 0.000 claims abstract description 32
- 230000008569 process Effects 0.000 claims abstract description 23
- 230000003321 amplification Effects 0.000 claims abstract description 12
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 12
- 239000013598 vector Substances 0.000 claims description 31
- 230000006870 function Effects 0.000 claims description 19
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000008014 freezing Effects 0.000 claims description 6
- 238000007710 freezing Methods 0.000 claims description 6
- 238000002156 mixing Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 5
- 238000013101 initial test Methods 0.000 claims description 4
- 230000001105 regulatory effect Effects 0.000 claims description 4
- 230000004069 differentiation Effects 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 description 4
- 206010027175 memory impairment Diseases 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000016507 interphase Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012418 validation experiment Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于动态混合模型的类增量图像分类方法，应用于数据分阶段到来的类增量学习场景，步骤如下：在初始时间阶段，利用初始训练数据集训练初始分类模型；在后续各时间阶段，构建并输入增量学习数据集以更新训练得到能够同时识别新旧类的新分类模型。在训练过程中，通过旧分类模型在新类上的表现动态选择训练方法；若可塑性较低则使用扩增方法增加模块以适应新数据提高其可塑性；若可塑性较高则利用局部特征信息代替全局特征信息以合理的调节蒸馏方法强度巩固其稳定性。本发明通过动态选择训练方法调节分类模型可塑性和稳定性，使分类模型在有限存储空间的情况下学习新知识且有效的保留旧知识，是一个高效且实用的类增量学习方法。
Description
技术领域
本发明涉及计算机图像分类技术领域，具体涉及一种基于动态混合模型的类增量图像分类方法。
背景技术
随着近年来计算机技术的不断发展，以卷积神经网络为代表的深度学习技术在图像分类、图像分割等任务上超越了人类大脑。但目前这类深度学习技术往往是以端到端方式进行训练的，要求符合独立同方分布，这就需要在方法训练的开始就准备好所有训练所需的数据。但在实际应用中，数据大多是随着时间分阶段到来的。例如：人脸识别系统需要支持能不断的添加新的人脸数据。传统神经网络面对增量的应用场景是通过将新旧数据都保留进而对模型重头开始训练。在这种方式下，庞大的训练集会占用大量的存储空间和计算资源，会导致训练的周期变长。同时像军事、医疗等领域的数据还会存在用户隐私和安全性问题无法对数据进行保存。而如果让模型在新数据上进行训练，则会导致灾难性遗忘问题，这会使模型在学习过的旧数据上性能表现急剧下降。
增量学习就是用于解决上述问题，它旨在于使模型能像人一样终身学习。使模型在训练时无需一次性获取所有的训练数据，能够采用渐进的方式开展训练。通过增量学习方法训练的模型要求在新类别上具有较强的学习能力，同时也能防止对新数据的学习干扰对旧数据的知识。因此，如何在有限的资源限制下，有效的降低模型的灾难性遗忘是一个亟待解决的问题。现如今的增量学习方法仍会存在灾难性遗忘问题，因此亟需一种增量学习方法在增量学习过程中，可以在可塑性和稳定性之间取得平衡，缓解灾难性遗忘。
发明内容
本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于动态混合模型的类增量图像分类方法。
本发明的目的可以通过采取如下技术方案达到：
一种基于动态混合模型的类增量图像分类方法，其中，类增量图像是分时间阶段到来的，且各时间阶段数据的类别不相交，即D＝{D1,D2,…,Dt-1,Dt,…,DT}，其中Dt代表t时间阶段的任务数据集合，t＝1,2,…,T，T代表时间阶段总数，且
在每个时间阶段仅能使用当前时间阶段新数据和事先选取的旧类别训练数据训练分类模型，且要求训练出的分类模型能对所有已知的类别数据进行分类；所述类增量图像分类方法包括以下步骤：
S1、获取初始任务数据，构建初始训练数据集，搭建初始分类模型并输入初始训练数据集进行训练；
S2、在增量迭代过程中，选取上一时间阶段训练数据集的部分样本作为旧类别训练数据，结合当前时间阶段的新任务数据划分出的训练数据，构建增量学习数据集作为当前时间阶段的训练数据集；
S3、根据上一时间阶段获得的旧分类模型在训练数据上的表现结果动态选择训练方法构建新分类模型，输入增量学习数据集进行训练，最终获得经过训练的新分类模型；其中，步骤S3过程如下：
S31、当旧分类模型在新类上的分类准确率小于等于所设的阈值时，使用扩增方法提高新分类模型的可塑性；
S32、当旧分类模型在新类上的分类准确率大于所设的阈值时，使用蒸馏方法巩固新分类模型的稳定性；
S4、当存在新时间阶段任务数据时，则重复迭代进行步骤S2和S3，以获得具备分类所有已知类别能力的新分类模型，然后通过新分类模型进行类增量图像分类。
进一步地，所述分类模型由特征提取器φt和分类器Ct串联组成，其中，特征提取器φt采用并联的深度残差网络ResNet，以下深度残差网络ResNet简称ResNet模块，分类器Ct采用全连接层；在初始时间阶段，特征提取器φt仅含一个ResNet模块，在后续迭代过程中根据预设条件增添ResNet模块。由特征提取器φt和分类器Ct串联组成的分类模型同时具备特征提取和预测分类的能力，能够对任务数据进行有效的预测。
进一步地，所述步骤S1过程如下：
S11、获取初始任务数据并将其划分为初始训练数据集、初始测试数据集，并对数据进行包括裁剪、归一化、翻转在内的预处理操作；通过裁剪、归一化、翻转在内的预处理操作能实现数据增广，增加训练数据量，提高分类模型的泛化能力。
S12、构建初始分类模型，输入初始训练数据集进行训练；在训练的过程中，采用交叉熵函数作为损失函数。交叉熵函数能帮助初始分类模型快速的收敛，让分类模型获得对初始任务数据分类的能力。
进一步地，所述步骤S2过程如下：
S21、在增量迭代过程中，获取当前时间阶段任务数据并将其划分为训练数据、测试数据，并对训练数据和测试数据进行包括裁剪、归一化、翻转在内的预处理操作；
S22、计算上一时间阶段的增量学习数据集中各类样本的平均特征向量，并选取上一时间阶段的增量学习数据集中各类样本中最靠近平均特征向量的前n个样本作为旧类别训练数据；
S23、将所述旧类别训练数据与预处理操作后的当前时间阶段训练数据进行随机混合，得到增量学习数据集作为当前时间阶段的训练数据集。
获取的增量学习数据集包含旧类别训练数据利用其训练新分类模型能够进一步巩固新分类模型对旧知识的学习，增加分类模型识别的准确率。
进一步地，所述步骤S3过程如下：
在t时间阶段，根据t-1时间阶段的旧分类模型在新类别数据上的分类准确率θ作为训练方法选择的评判指标，阈值取值为
具体方法选择方式如下：
其中θ为旧分类模型在t-1时间阶段在新类别数据上的分类准确率，α是调节阈值的第一参数，β是调节阈值的第二参数，|Cincr|代表每个时间阶段增加的类别数量，|C|代表所有时间阶段的类别数量之和；
当旧分类模型在新类上的分类准确率小于等于所设定的阈值时则反应出旧分类模型并不能充分的学习到新类任务的知识，因此则需要使用扩增方法增加ResNet模块以更好的适应新类任务；
当旧分类模型在新类上的分类准确率大于所设定的阈值时代表旧分类模型能够很好的适应新数据，具备高可塑性，因此仅需使用蒸馏方法进一步巩固新分类模型的稳定性。
通过动态地选择训练方法能够在训练的过程中合理的调节新分类模型的可塑性和稳定性，让新分类模型能够同时在新旧任务数据上均保持良好的分类能力。
进一步地，所述步骤S31过程如下：
S311、当旧分类模型在新类上的分类准确率小于等于所设的阈值时，使用扩增方法增加并联的ResNet模块提高新分类模型的可塑性；
S312、冻结t-1时间阶段的分类模型的参数，并将冻结后的t-1时间阶段的分类模型的特征提取器φt-1与新引入的可学习的ResNet模块二者并联组成t时间阶段的新分类模型的特征提取器φt，同时对分类器Ct-1进行调整构成新分类模型；在训练的过程中，采用交叉熵函数作为损失函数。
在特征提取器φt中增加可学习的ResNet模块可以帮助新分类模型更好的适应新任务数据，增加新分类模型对新任务数据的学习能力。
进一步地，所述步骤S32如下：
S321、当旧分类模型在新类上的分类准确率大于所设定阈值时，使用蒸馏方法巩固新分类模型的稳定性；
S322、冻结t-1时间阶段的分类模型的参数，并将冻结后的t-1时间阶段的分类模型作为旧分类模型；将旧分类模型结构作为基础网络结构，并调整分类器Ct-1构成新分类模型；新分类模型的特征提取器φt仅最后一个ResNet模块可变化，其余ResNet模块均为冻结状态；
S323、依次将增量学习数据集中的样本同时输入新分类模型和旧分类模型的特征提取器，输出并展平为多对特征向量fi t和fi t-1，其中fi t和fi t-1分别代表t时间阶段和t-1时间阶段ResNet模块第i层输出的特征向量；在计算蒸馏损失值的过程中，仅利用新分类模型和旧分类模型的特征提取器中最后一个ResNet模块各层输出的特征向量进行计算；
S324、获取特征向量对fi t和fi t-1，随机选取特征向量中的m维特征依照各维特征在特征向量对fi t和fi t-1中的相对顺序拼接组成新的一维特征向量对
和
其中m为待选取特征维度的大小,
和
分别代表t时间阶段和t-1时间阶段ResNet模块第i层输出后受选取的局部特征组成的特征向量；使用生成的特征向量对
和
计算蒸馏损失值，具体计算公式如下：
其中Lossdistill代表蒸馏损失值，γ为调节损失大小的参数，L代表ResNet模块的层数，d(…,…)为余弦距离函数；
S325、循环Q次步骤S323-步骤S324，仅保留蒸馏损失值最大的一次计算计入总损失值，其中，总损失值为交叉熵函数的损失值与蒸馏损失值之和；仅利用区分度最大的局部特征代替全局特征训练新分类模型，让新分类模型避免特征间的冗余信息，进而更有效地保持可塑性和稳定性之间的平衡。
利用局部特征的蒸馏方法帮助新分类模型巩固对旧任务数据的记忆，提高新分类模型在旧类别上的分类准确率。同时，相较于全局特征蒸馏的方法，局部特征蒸馏方法能更合理的保留旧知识的信息。
进一步地，所述分类器调整具体为：
在构建t时间阶段的分类器Ct时，以t-1时间阶段的分类器Ct-1作为基础，添加x个输出节点；因此新分类模型的分类器Ct则具备s+x个输出节点，其中s为旧分类模型所需识别的类别数量，x为当前时间阶段新增的类别数量。
新分类模型的分类器Ct具备s+x个输出节点，能够输出新旧任务数据中每个类别的预测值，让新分类模型具备对所有新旧类别的预测能力。
本发明相对于现有技术具有如下的优点及效果：
1、本发明结合了扩增方法和蒸馏方法两种训练方法，同时吸收了扩增方法提高分类模型可塑性和蒸馏方法巩固分类模型稳定性的优点，使分类模型在学习新知识的同时也保留对旧知识的记忆。
2、本发明通过设置阈值合理的选择训练算法使分类模型在可塑性和稳定性之间保持平衡，大幅的缓解了灾难性遗忘，从而提高了准确率。同时蒸馏方法的使用也避免分类模型一味扩增造成模型冗余。
3、本发明通过选取局部特征代替全局特征进行蒸馏损失值计算，放宽了对新分类模型学习的约束条件。该方法能在最大程度上去除冗余信息，仅保留最具区分性的局部特征来训练分类模型，能帮助分类模型更好的学习新知识。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例中公开的一种基于动态混合模型的类增量图像分类方法的步骤流程图；
图2是本发明实施例中扩增方法训练新分类模型的模型示意图；
图3是本发明实施例中蒸馏方法训练新分类模型的模型示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
本实施例公开了一种基于动态混合模型的类增量图像分类方法，具体包括下列步骤：
步骤S1、获取初始任务数据，构建初始训练数据集；搭建初始分类模型并输入初始训练数据集进行训练。具体过程如下：
S11、获取初始任务数据，将采集到的图片按5：1的比例划分为初始训练集和初始测试集；将初始任务数据格式统一为png格式并固定图像尺寸大小为64*64像素，然后对数据进行归一化、随机翻转在内的预处理操作得到最终的初始训练集和初始测试集。
S12、采用ResNet模块构建初始分类模型，输入初始训练数据集进行训练；在训练的过程中，采用交叉熵函数作为损失函数；同时设置初始学习率为0.1，批次样本数量为128个，迭代次数为130。
步骤S2、在增量迭代过程中，获取当前时间阶段任务数据并同步骤S11进行划分和预处理。而后计算上一时间阶段的增量学习数据集中各类样本的平均特征向量，并选取上一时间阶段的增量学习数据集中各类样本中最靠近平均特征向量的前20个样本作为旧类别训练数据；并将所述旧类别训练数据与当前时间阶段训练数据进行随机混合，得到增量学习数据集作为当前时间阶段的训练数据集。
步骤S3、在t时间阶段，根据t-1时间阶段的旧分类模型在新类别数据上的分类准确率θ作为训练方法选择的评判指标，阈值取值为
具体方法选择方式如下：
其中θ为旧分类模型在t-1时间阶段在新类别数据上的分类准确率，α是调节阈值的第一参数，β是调节阈值的第二参数，在本发明中α的值为75％，β的值为0.25％。|Cincr|代表每个时间阶段增加的类别数量，|C|代表所有时间阶段的类别数量之和。在训练的过程中，设置初始学习率为0.1，批次样本数量为128个，迭代次数为130。
步骤S31、当旧分类模型在新类上的分类准确率小于等于所设的阈值时，使用扩增方法提高新分类模型的可塑性。具体步骤S31如下：
S311、当旧分类模型在新类上的分类准确率小于等于所设的阈值时，使用扩增方法增加并联的ResNet模块；
S312、冻结t-1时间阶段的分类模型的参数，并将冻结后的t-1时间阶段的分类模型的特征提取器φt-1与新引入的可学习的ResNet模块二者并联组成t时间阶段的新分类模型的特征提取器φt，同时对分类器Ct-1进行调整构成新分类模型；在训练的过程中，采用交叉熵函数作为损失函数。
步骤S32、当旧分类模型在新类上的分类准确率大于所设定阈值时，使用蒸馏方法巩固新分类模型的稳定性。具体步骤S32如下：
S321、当旧分类模型在新类上的分类准确率大于所设定阈值时，使用蒸馏方法巩固新分类模型的稳定性；
S322、冻结t-1时间阶段的分类模型的参数，并将冻结后的t-1时间阶段的分类模型作为旧分类模型；将旧分类模型结构作为基础网络结构，并调整分类器Ct-1构成新分类模型；新分类模型的特征提取器φt仅最后一个ResNet模块可变化，其余ResNet模块均为冻结状态。
S323、依次将增量学习数据集中的样本同时输入新分类模型和旧分类模型的特征提取器，输出并展平为多对特征向量fi t和fi t-1，其中fi t和fi t-1分别代表t时间阶段和t-1时间阶段ResNet模块第i层输出的特征向量；在计算蒸馏损失值的过程中，仅利用新分类模型和旧分类模型的特征提取器中最后一个ResNet模块各层输出的特征向量进行计算；
S324、获取特征向量对fi t和fi t-1，随机选取特征向量中的m维特征依照各维特征在特征向量对fi t和fi t-1中的相对顺序拼接组成新的一维特征向量对
和
其中m为待选取特征维度的大小,
和
分别代表t时间阶段和t-1时间阶段ResNet模块第i层输出后受选取的局部特征组成的特征向量；在本发明中，m的取值为特征维度数量的三分之一。使用生成的特征向量对
和
计算蒸馏损失，具体计算公式如下：
其中Lossdistill代表蒸馏损失值，γ为调节损失大小的参数，L代表ResNet模块的层数，d(…,…)为余弦距离函数；在本发明中γ的值设置为3。
S325、循环Q次步骤S323-步骤S324，仅保留蒸馏损失值最大的一次计算计入总损失值；在本发明中，Q的取值为特征维度数量的平方根。其中，总损失值为交叉熵函数的损失值与蒸馏损失值之和；仅利用区分度最大的局部特征代替全局特征训练新分类模型，让新分类模型避免特征间的冗余信息，进而更有效地保持可塑性和稳定性之间的平衡。
步骤S4、当存在新时间阶段任务数据时，则重复迭代进行步骤S2和步骤S3，以获得具备分类所有已知类别能力的新分类模型。
为证明本申请所提出方法的有效性，下面进行验证实验：
在验证实验中，本发明中提出的一种基于动态混合模型的类增量图像分类方法应用到CIFAR-100数据集分类应用中。
CIFAR-100数据集包括100个类，每个类包含600张图像。各类各有500张训练图像和100张测试图像。
在实验设置上，验证实验设置初始任务数据由50个类构成。在增量迭代阶段，剩余的50个类均等划分为25、10、5个类三种增量方式进行实验。为了对比说明本发明的方法相对于现有技术的优势，本实验同时使用ICARL分类模型、UCIR分类模型、PODNET分类模型在CIFAR-100数据集上进行分类。实验结果由平均增量准确率衡量，同时实验结果以三个不同的类别顺序的均值和方差表示。最终实验结果如表1所示：
表1.实验对比结果表
| 25 | 10 | 5 | |
| ICARL | 60.12±1.86 | 57.38±5.28 | 54.71±5.16 |
| UCIR | 65.33±0.61 | 63.34±1.87 | 60.93±0.80 |
| PODNET | 66.82±1.05 | 65.33±0.78 | 64.64±0.75 |
| DHM | 74.71±0.30 | 72.73±0.18 | 71.98±0.13 |
从表1可以看出，本发明中提出的基于动态混合结构的类增量图像分类方法在不同增量类别情况下相较于现有的方法能更有效的平衡新旧数据的学习，能获得更高的平均增量准确率。同时在三个不同类别顺序下的均值小于其他现有方法，因此本发明提出的分类模型更具鲁棒性。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (8)
1.一种基于动态混合模型的类增量图像分类方法，其中，类增量图像是分时间阶段到来的，且各时间阶段数据的类别不相交，即D＝{D1,D2,…,Dt-1,Dt,…,DT}，其中Dt代表t时间阶段的任务数据集合，t＝1,2,…,T，T代表时间阶段总数，且
在每个时间阶段仅能使用当前时间阶段新数据和事先选取的旧类别训练数据训练分类模型，且要求训练出的分类模型能对所有已知的类别数据进行分类；其特征在于，所述类增量图像分类方法包括以下步骤：
S1、获取初始任务数据，构建初始训练数据集，搭建初始分类模型并输入初始训练数据集进行训练；
S2、在增量迭代过程中，选取上一时间阶段训练数据集的部分样本作为旧类别训练数据，结合当前时间阶段的新任务数据划分出的训练数据，构建增量学习数据集作为当前时间阶段的训练数据集；
S3、根据上一时间阶段获得的旧分类模型在训练数据上的表现结果动态选择训练方法构建新分类模型，输入增量学习数据集进行训练，最终获得经过训练的新分类模型；其中，步骤S3过程如下：
S31、当旧分类模型在新类上的分类准确率小于等于所设的阈值时，使用扩增方法提高新分类模型的可塑性；
S32、当旧分类模型在新类上的分类准确率大于所设的阈值时，使用蒸馏方法巩固新分类模型的稳定性；
S4、当存在新时间阶段任务数据时，则重复迭代进行步骤S2和S3，以获得具备分类所有已知类别能力的新分类模型，然后通过新分类模型进行类增量图像分类。
2.根据权利要求1所述的一种基于动态混合模型的类增量图像分类方法，其特征在于，所述分类模型由特征提取器φt和分类器Ct串联组成，其中，特征提取器φt采用并联的深度残差网络ResNet，以下深度残差网络ResNet简称ResNet模块，分类器Ct采用全连接层；在初始时间阶段，特征提取器φt仅含一个ResNet模块，在后续迭代过程中根据预设条件增添ResNet模块。
3.根据权利要求1所述的一种基于动态混合模型的类增量图像分类方法，其特征在于，所述步骤S1过程如下：
S11、获取初始任务数据并将其划分为初始训练数据集、初始测试数据集，并对数据进行包括裁剪、归一化、翻转在内的预处理操作；
S12、构建初始分类模型，输入初始训练数据集进行训练；在训练的过程中，采用交叉熵函数作为损失函数。
4.根据权利要求1所述的一种基于动态混合模型的类增量图像分类方法，其特征在于，所述步骤S2过程如下：
S21、在增量迭代过程中，获取当前时间阶段任务数据并将其划分为训练数据、测试数据，并对训练数据和测试数据进行包括裁剪、归一化、翻转在内的预处理操作；
S22、计算上一时间阶段的增量学习数据集中各类样本的平均特征向量，并选取上一时间阶段的增量学习数据集中各类样本中最靠近平均特征向量的前n个样本作为旧类别训练数据；
S23、将所述旧类别训练数据与预处理操作后的当前时间阶段训练数据进行随机混合，得到增量学习数据集作为当前时间阶段的训练数据集。
5.根据权利要求1所述的一种基于动态混合模型的类增量图像分类方法，其特征在于，所述步骤S3过程如下：
在t时间阶段，根据t-1时间阶段的旧分类模型在新类别数据上的分类准确率
作为训练方法选择的评判指标，阈值取值为
具体方法选择方式如下：
其中
为旧分类模型在t-1时间阶段在新类别数据上的分类准确率，α是调节阈值的第一参数，β是调节阈值的第二参数，|Cincr|代表每个时间阶段增加的类别数量，|C|代表所有时间阶段的类别数量之和；
当旧分类模型在新类上的分类准确率小于等于所设定的阈值时则反应出旧分类模型并不能充分的学习到新类任务的知识，因此则需要使用扩增方法增加ResNet模块以更好的适应新类任务；
当旧分类模型在新类上的分类准确率大于所设定的阈值时代表旧分类模型能够很好的适应新数据，具备高可塑性，因此仅需使用蒸馏方法进一步巩固新分类模型的稳定性。
6.根据权利要求5所述的一种基于动态混合模型的类增量图像分类方法，其特征在于，所述步骤S31过程如下：
S311、当旧分类模型在新类上的分类准确率小于等于所设的阈值时，使用扩增方法增加并联的ResNet模块；
S312、冻结t-1时间阶段的分类模型的参数，并将冻结后的t-1时间阶段的分类模型的特征提取器φt-1与新引入的可学习的ResNet模块二者并联组成t时间阶段的新分类模型的特征提取器φt，同时对分类器Ct-1进行调整构成新分类模型；在训练的过程中，采用交叉熵函数作为损失函数。
7.根据权利要求5所述的一种基于动态混合模型的类增量图像分类方法，其特征在于，所述步骤S32如下：
S321、当旧分类模型在新类上的分类准确率大于所设定阈值时，使用蒸馏方法巩固新分类模型的稳定性；
S322、冻结t-1时间阶段的分类模型的参数，并将冻结后的t-1时间阶段的分类模型作为旧分类模型；将旧分类模型结构作为基础网络结构，并调整分类器Ct-1构成新分类模型；新分类模型的特征提取器φt最后一个ResNet模块可变化，其余ResNet模块均为冻结状态；
S323、依次将增量学习数据集中的样本同时输入新分类模型和旧分类模型的特征提取器，输出并展平为多对特征向量fi t和fi t-1，其中fi t和fi t-1分别代表t时间阶段和tv1时间阶段ResNet模块第i层输出的特征向量；在计算蒸馏损失值的过程中，仅利用新分类模型和旧分类模型的特征提取器中最后一个ResNet模块各层输出的特征向量进行计算；
S324、获取特征向量对fi t和fi t-1，随机选取特征向量中的m维特征依照各维特征在特征向量对fi t和fi t-1中的相对顺序拼接组成新的一维特征向量对
和
其中m为待选取特征维度的大小，
和
分别代表t时间阶段和t-1时间阶段ResNet模块第i层输出后受选取的局部特征组成的特征向量；使用生成的特征向量对
和
计算蒸馏损失值，具体计算公式如下：
其中Lossdistill代表蒸馏损失值，γ为调节损失大小的参数，L代表ResNet模块的层数，d(...，...)为余弦距离函数；
S325、循环Q次步骤S323-步骤S324，仅保留蒸馏损失值最大的一次计算计入总损失值，其中，总损失值为交叉熵函数的损失值与蒸馏损失值之和；仅利用区分度最大的局部特征代替全局特征训练新分类模型，让新分类模型避免特征间的冗余信息，进而更有效地保持可塑性和稳定性之间的平衡。
8.根据权利要求1所述的一种基于动态混合模型的类增量图像分类方法，其特征在于，所述分类器调整具体为：
在构建t时间阶段的分类器Ct时，以t-1时间阶段的分类器Ct-1作为基础，添加x个输出节点；因此新分类模型的分类器Ct则具备s+x个输出节点，其中s为旧分类模型所需识别的类别数量，x为当前时间阶段新增的类别数量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310043261.0A CN116229154A (zh) | 2023-01-29 | 2023-01-29 | 一种基于动态混合模型的类增量图像分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310043261.0A CN116229154A (zh) | 2023-01-29 | 2023-01-29 | 一种基于动态混合模型的类增量图像分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116229154A true CN116229154A (zh) | 2023-06-06 |
Family
ID=86576098
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310043261.0A Pending CN116229154A (zh) | 2023-01-29 | 2023-01-29 | 一种基于动态混合模型的类增量图像分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116229154A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117788962A (zh) * | 2024-02-27 | 2024-03-29 | 南京信息工程大学 | 基于持续学习的可扩展点云目标识别方法与系统 |
-
2023
- 2023-01-29 CN CN202310043261.0A patent/CN116229154A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117788962A (zh) * | 2024-02-27 | 2024-03-29 | 南京信息工程大学 | 基于持续学习的可扩展点云目标识别方法与系统 |
| CN117788962B (zh) * | 2024-02-27 | 2024-05-10 | 南京信息工程大学 | 基于持续学习的可扩展点云目标识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113159173B (zh) | 一种结合剪枝与知识蒸馏的卷积神经网络模型压缩方法 | |
| CN110807757B (zh) | 基于人工智能的图像质量评估方法、装置及计算机设备 | |
| Rahimi et al. | A parallel fuzzy c-mean algorithm for image segmentation | |
| CN111737743A (zh) | 一种深度学习差分隐私保护方法 | |
| CN113435509B (zh) | 基于元学习的小样本场景分类识别方法及系统 | |
| CN106780639B (zh) | 基于显著性特征稀疏嵌入和极限学习机的哈希编码方法 | |
| CN113240111B (zh) | 基于离散余弦变换通道重要性得分的剪枝方法 | |
| CN112862023B (zh) | 对象密度确定方法、装置、计算机设备和存储介质 | |
| CN111160523B (zh) | 基于特征值区域的动态量化方法、系统及介质 | |
| CN114787826A (zh) | 生成高维高效用合成数据 | |
| CN116229154A (zh) | 一种基于动态混合模型的类增量图像分类方法 | |
| CN113536697A (zh) | 一种基于改进残差网络和wgan的轴承剩余寿命预测方法 | |
| CN113449802A (zh) | 基于多粒度互信息最大化的图分类方法及装置 | |
| KR20230056422A (ko) | 재현 데이터를 생성하기 위한 방법 및 장치 | |
| CN114677535A (zh) | 域适应图像分类网络的训练方法、图像分类方法及装置 | |
| CN114444690B (zh) | 一种基于任务扩增的迁移攻击方法 | |
| CN112528077B (zh) | 基于视频嵌入的视频人脸检索方法及系统 | |
| CN111401412B (zh) | 一种基于平均共识算法的物联网环境下分布式软聚类方法 | |
| CN113554078A (zh) | 一种基于对比类别集中提升连续学习下图分类精度的方法 | |
| CN117095217A (zh) | 多阶段对比知识蒸馏方法 | |
| CN116303386A (zh) | 一种基于关系图谱的缺失数据智能插补方法和系统 | |
| CN112488936B (zh) | 一种基于生成对抗网络的手指静脉模糊图像去模糊的方法 | |
| CN116152263A (zh) | 一种基于cm-mlp网络的医学图像分割方法 | |
| CN115984911A (zh) | 属性生成对抗网络以及基于该网络的人脸图像连续变换方法 | |
| CN114820326B (zh) | 基于可调节核稀疏化的高效单帧图像超分方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |