CN112559784B - 基于增量学习的图像分类方法及系统 - Google Patents

基于增量学习的图像分类方法及系统 Download PDF

Info

Publication number
CN112559784B
CN112559784B CN202011204941.9A CN202011204941A CN112559784B CN 112559784 B CN112559784 B CN 112559784B CN 202011204941 A CN202011204941 A CN 202011204941A CN 112559784 B CN112559784 B CN 112559784B
Authority
CN
China
Prior art keywords
new
old
incremental learning
classification model
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011204941.9A
Other languages
English (en)
Other versions
CN112559784A (zh
Inventor
廖丹萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Visual Intelligence Innovation Center Co ltd
Original Assignee
Zhejiang Smart Video Security Innovation Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Smart Video Security Innovation Center Co Ltd filed Critical Zhejiang Smart Video Security Innovation Center Co Ltd
Priority to CN202011204941.9A priority Critical patent/CN112559784B/zh
Publication of CN112559784A publication Critical patent/CN112559784A/zh
Application granted granted Critical
Publication of CN112559784B publication Critical patent/CN112559784B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例中提供了一种基于增量学习的图像分类方法、系统及计算机介质，选取旧分类模型的旧类别数据，以及新增量数据，构建增量学习数据集；构建增量学习新分类模型；输入增量学习数据集，至增量学习新分类模型，在增量学习损失函数约束下进行增量学习训练，得到训练后的增量学习新分类模型；输入待分类图像至训练后的增量学习新分类模型，进行图像分类，得到图像分类结果。本申请在旧类别数据基础上连同新类别的数据一起进行学习，在增量学习损失函数约束下实现了使旧类别的映射向量的相似度能够在增量学习的过程中保持一致，进而在学习新类别的信息同时，保持了对旧类别的测试数据的分类性能。

Description

基于增量学习的图像分类方法及系统
技术领域
本申请属于图像分类技术领域，具体地，涉及一种基于增量学习的图像分类方法及系统。
背景技术
增量学习是机器学习的一个重要研究课题，增量学习的目标是在不忘记已经学习到的知识的基础上，不断地通过新的数据学习新的知识。计算机视觉的很多现实应用都需要模型具备增量学习的能力。比如，人脸识别系统应该支持添加新的人脸数据，同时不应该降低其在旧的人脸数据上的学习性能。又比如，无人超市中的商品识别系统应该不断学习新增加的商品的知识，同时保持原有商品的识别准确率。增量学习和全量学习(即模型在所有新旧数据上重新训练)相比，增量学习的特点是，新的模型不再在旧的大数据上重新训练，而只在新添加的数据上对原有模型进行适当调整后进行训练。然而，目前大多数利用深度学习进行分类的方法在增量学习的过程中都会遭遇“灾难性遗忘”的问题，即在学习新类别的信息后，模型在旧类别的测试数据上的性能大幅度降低。
图像分类的神经网络通常包括两个部分：特征提取子网络和分类子网络。其中，特征提取网络将输入图像传入一系列的特征提取层后，最终输出提取的特征。分类网络通常是一个全连接层，将特征提取网络提取的特征输入分类字网路后，输出类别概率。常规的增量学习的过程中，通常不改变特征提取网络的结构，仅仅根据新数据的类别，增加全连接层的输出类别数量。由于模型不再在旧类别数据上训练，而只在新的类别上进行训练，因此全连接层倾向于在新的类别上给予很高的预测值。这就导致预测旧的类别的数据时，模型也同样会给新类别很高的分数，导致预测失败。同时，特征提取器提取的特征也更偏向于提取对新的类别更有区分性的特征，因此新学习的特征在旧类别的区分性随着增量学习的过程下降。因此，现有增量学习存在灾难性遗忘的问题。
因此，亟需一种增量学习方法在增量学习过程中，同时可以保留旧类别数据的知识，保证对旧数据的分类效率。
发明内容
本发明提出了一种基于增量学习的图像分类方法及系统，旨在解决现有现有增量学习存在灾难性遗忘，模型在学习新类别的信息后，对旧类别的测试数据的性能大幅度降低的问题。
根据本申请实施例的第一个方面，提供了一种基于增量学习的图像分类方法，具体包括以下步骤：
选取旧分类模型的旧类别数据，以及新增量数据，构建增量学习数据集；
构建增量学习新分类模型；
输入增量学习数据集，至增量学习新分类模型，在增量学习损失函数约束下进行增量学习训练，得到训练后的增量学习新分类模型；
输入待分类图像至训练后的增量学习新分类模型，进行图像分类，得到图像分类结果。
在本申请一些实施方式中，构建增量学习新分类模型具体包括：
将旧分类模型的特征提取网络，作为增量学习新分类模型的特征提取网络；
在旧分类模型的分类网络的输出端，添加新增类别数量的维度后，作为增量学习新分类模型的分类网络。
在本申请一些实施方式中，增量学习损失函数具体包括交叉熵损失函数、蒸馏损失函数以及相似度矩阵的一致性损失函数。
在本申请一些实施方式中，相似度矩阵包括旧相似度矩阵以及新相似度矩阵；旧相似度矩阵由，旧分类模型的各个旧类别的映射向量之间的相似度组成；新相似度矩阵由增量学习新分类模型的各个旧类别的映射向量之间的相似度组成。
在本申请一些实施方式中，相似度矩阵的一致性损失函数L(Sold,Snew)具体公式为：
L(Sold,Snew)＝||Sold-Snew||1；
其中，Sold为旧相似度矩阵；Snew为新相似度矩阵。
在本申请一些实施方式中，交叉熵损失函数LCE具体公式为：
Figure BDA0002756728630000021
其中，yi表示网络的输出；gi表示真实的标签值；K为旧分类模型的类别数量；P为增量学习新分类模型新增加的类别数量；
蒸馏损失函数Ldistill具体公式为：
Figure BDA0002756728630000022
其中，y'i表示旧分类模型的输出，yi表示增量学习新分类模型在旧类别上的输出。
在本申请一些实施方式中，增量学习损失函数Loss具体公式为：
Loss＝LCE+λ1Ldistill+λ2L(Sold,Snew)；
其中，Ldistill为蒸馏损失函数，LCE为交叉熵损失函数，L(Sold,Snew)为相似度矩阵的一致性损失函数，λ1和λ2为约束权重。
根据本申请实施例的第二个方面，提供了一种基于增量学习的图像分类系统，具体包括：
数据集单元：用于选取旧分类模型的旧类别数据，以及新增量数据，构建增量学习数据集；
模型构建单元：用于构建增量学习新分类模型；
增量学习单元：用于输入增量学习数据集，至增量学习新分类模型，在增量学习损失函数约束下进行增量学习训练。
根据本申请实施例的第三个方面，提供了一种基于增量学习的图像分类设备，包括：
存储器：用于存储可执行指令；以及
处理器:用于与存储器连接以执行可执行指令从而完成基于增量学习的图像分类方法。
根据本申请实施例的第四个方面，提供了一种计算机可读存储介质，其上存储有计算机程序；计算机程序被处理器执行以实现基于增量学习的图像分类方法。
采用本申请实施例中的基于增量学习的图像分类方法、系统及计算机介质，选取旧分类模型的旧类别数据，以及新增量数据，构建增量学习数据集；构建增量学习新分类模型；输入增量学习数据集，至增量学习新分类模型，在增量学习损失函数约束下进行增量学习训练，得到训练后的增量学习新分类模型；输入待分类图像至训练后的增量学习新分类模型，进行图像分类，得到图像分类结果。本申请在旧类别数据基础上连同新类别的数据一起进行学习，在增量学习损失函数约束下实现了使旧类别的映射向量的相似度能够在增量学习的过程中保持一致，进而在学习新类别的信息同时，保持了对旧类别的测试数据的分类性能。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1中示出了根据本申请实施例的基于增量学习的图像分类方法的步骤示意图；
图2中示出了根据本申请实施例的基于增量学习的图像分类方法的流程示意图；
图3中示出了根据本申请实施例的基于增量学习的图像分类系统的结构示意图；
图4中示出了根据本申请实施例的基于增量学习的图像分类设备的结构示意图。
具体实施方式
在实现本申请的过程中，发明人发现增量学习的特点是，新的模型不再在旧的大数据上重新训练，而只在新添加的数据上对原有模型进行适当调整后进行训练。然而，目前大多数利用深度学习进行分类的方法在增量学习的过程中都会遭遇“灾难性遗忘”的问题，即在学习新类别的信息后，模型在旧类别的测试数据上的性能大幅度降低。
因此，本申请在分类任务中，增量学习的方法会利用少量旧类别的代表性数据，连同新类别的数据一起进行学习，使得模型尽可能地记住旧类别数据的知识。
申请人还发现，在旧模型由特征提取层和全连接层构成，全连接层为M∈RN×K，其中，N是提取的特征维度，K是输出的类别数量。对于全连接层输出的每一个类别，都有一个N维的映射向量与之对应。通过分析主流的在ImageNet训练集已训练好的深度模型的参数，申请人发现，类别的映射向量之间具有如下关系：越相似的类别，映射向量越相似，即越相似的向量之间的夹角越小；相反的，越不相似的类别，映射向量也越不相似。比如，ImageNet包含狗、狼、飞机等类别，通过分析，可以看出狗和狼的映射向量夹角较小，而狗和飞机的映射向量夹角较大。因此，映射向量的相似度可以作为一种度量类别相似性的指标。
因此，在增量学习的过程中，为了保持原有类别的分类性能，需要使旧类别之间的相似度可以得到保持，即，如果类别A和类别B在增量学习之前是相似的，那么，需要在增量学习的过程中，使类别A和类别B的相似度依然能够得到保持。
基于此，本申请在增量学习的过程中，利用数据池中的旧类别数据和新类别数据对模型进行调整；在模型更新的过程中，全连接层也会同时进行更新；为了使得模型不遗忘旧类别的知识，本申请通过对新模型的全连接层加入类别相似性约束，使旧类别的映射向量的相似度能够在增量学习的过程中保持一致，从而使得新模型可以记住旧类别之间的相似性。
具体的，本申请的基于增量学习的图像分类方法、系统及计算机介质，首先选取旧分类模型的旧类别数据，以及新增量数据，构建增量学习数据集；构建增量学习新分类模型；输入增量学习数据集，至增量学习新分类模型，在增量学习损失函数约束下进行增量学习训练。
为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
实施例1
图1中示出了根据本申请实施例的基于增量学习的图像分类方法的步骤示意图。
如图1所示，本申请实施例的基于增量学习的图像分类方法，具体包括以下步骤：
S101：选取旧分类模型的旧类别数据，以及新增量数据，构建增量学习数据集。
本申请实施例的基于增量学习的图像分类方法的任务是，通过给定的旧的分类模型、新的数据集和部分旧的代表数据，得到一个新的分类模型。
首先在旧分类模型的每一个旧类别中选取一部分数据，这部分旧类别数据连同新的数据一起放入数据池中，构成后续增量学习的训练数据集。
S102：构建增量学习新分类模型。
S102中，将旧分类模型的特征提取网络，作为增量学习新分类模型的特征提取网络；在旧分类模型的分类网络的输出端，添加新增类别数量的维度后，作为增量学习新分类模型的分类网络，从而形成新的分类模型。
具体地，假设旧模型由特征提取层和全连接层M∈RN×K构成。
构造增量学习新分类模型时，首先，构建一个新的分类网络模型。新网络的特征提取层结构与旧分类模型一致；新网络的全连接网络，在原来旧分类模型的分类层的输出端添加了P个维度，即P个数量类别，全连接层由原来的M∈RN×K变成M'∈RN×(K+P)，形成新网络的全连接网络。
S103：输入增量学习数据集，至增量学习新分类模型，在增量学习损失函数约束下进行增量学习训练，得到训练后的增量学习新分类模型。
S104：输入待分类图像至所述训练后的增量学习新分类模型，进行图像分类，得到图像分类结果。
本申请实施例中，增量学习损失函数包括交叉熵损失函数、蒸馏损失函数以及相似度矩阵的一致性损失函数。
图2中示出了根据本申请实施例的基于增量学习的图像分类方法的流程示意图。
如图2所示，本申请将输入图像分别输入给旧模型和新模型，对新模型最小化三个损失函数，包括1、与旧模型的全连接层的相似度损失；2、与真实标签的交叉熵损失；3、旧模型和新模型输出的蒸馏损失。
其中，相似度矩阵的一致性损失函数中，相似度矩阵包括旧分类模型的各个旧类别的映射向量之间的相似度组成的旧相似度矩阵，以及增量学习新分类模型的各个旧类别的映射向量之间的相似度组成的新相似度矩阵。
具体的，首先，对旧模型的类别相似度进行建模。
具体地，对每个分类映射向量构建一个相似度矩阵Sold∈RK×K，Sold是一个对称矩阵。Sold(i,j)表示类别i的映射向量Mi，与类别j的映射向量Mj之间的相似度。
本申请采用余弦相似度来度量映射向量Mi与Mj两个向量的相似度，相似度公式为：
similarity(Mi,Mj)＝cosine(Mi,Mj)；
然后，在增量学习的过程中，对新模型的全连接层的旧类别映射向量也采用同样的方式构建相似度矩阵，Snew∈RK×K,其中，Snew(i,j)表示新模型中类别i的映射向量M'i与类别j的映射向量M'j之间的相似度。
最后，相似度矩阵的一致性损失函数L(Sold,Snew)具体计算公式为：
L(Sold,Snew)＝||Sold-Snew||1；
其中，Sold为旧相似度矩阵；Snew为新相似度矩阵。
本申请实施例中，交叉熵损失函数LCE的具体公式为：
Figure BDA0002756728630000061
其中，yi表示网络的输出；gi表示真实的标签值；K为旧分类模型的类别数量；P为增量学习新分类模型新增加的类别数量。
交叉熵损失保证了新数据的分类准确性。
本申请实施例中，蒸馏损失函数Ldistill的具体公式为：
Figure BDA0002756728630000062
其中，y'i表示旧分类模型的输出，yi表示增量学习新分类模型在旧类别上的输出。蒸馏损失确保新模型在旧类别的输出与旧模型尽量一致。
综上所述，最后，增量学习损失函数Loss具体公式为：
Loss＝LCE+λ1Ldistill+λ2L(Sold,Snew)；
其中，Ldistill为蒸馏损失函数，LCE为交叉熵损失函数，L(Sold,Snew)为相似度矩阵的一致性损失函数，λ1和λ2为约束权重。
采用本申请实施例中的基于增量学习的图像分类方法，选取旧分类模型的旧类别数据，以及新增量数据，构建增量学习数据集；构建增量学习新分类模型；输入增量学习数据集，至增量学习新分类模型，在增量学习损失函数约束下进行增量学习训练，得到训练后的增量学习新分类模型；输入待分类图像至训练后的增量学习新分类模型，进行图像分类，得到图像分类结果。本申请在旧类别数据基础上连同新类别的数据一起进行学习，在增量学习损失函数约束下实现了使旧类别的映射向量的相似度能够在增量学习的过程中保持一致，进而在学习新类别的信息同时，保持了对旧类别的测试数据的分类性能。
具体的，本申请通过约束新旧模型的映射向量的相似度，本申请算法可以辅助分类模型更好地记住旧类别之间的相似度信息，从而能够缓解灾难性遗忘的问题。
实施例2
本实施例提供了一种基于增量学习的图像分类系统，对于本实施例的基于增量学习的图像分类系统中未披露的细节，请参照其它实施例中的基于增量学习的图像分类方法的具体实施内容。
图3中示出了根据本申请实施例的基于增量学习的图像分类系统的结构示意图。
如图3所示，本申请实施例的基于增量学习的图像分类系统，具体包括数据集单元10、模型构建单元20、增量学习单元30以及图像分类单元40。
数据集单元10：用于选取旧分类模型的旧类别数据，以及新增量数据，构建增量学习数据集。
首先在旧分类模型的每一个旧类别中分别选取一部分少量代表数据，这部分旧类别数据连同新的数据一起放入数据池中，构成后续增量学习的训练数据集。
模型构建单元20：用于构建增量学习新分类模型。将旧分类模型的特征提取网络，作为增量学习新分类模型的特征提取网络；在旧分类模型的分类网络的输出端，添加新增类别数量的维度后，作为增量学习新分类模型的分类网络，从而形成新的分类模型。
具体地，假设旧模型由特征提取层和全连接层M∈RN×K构成。
构造增量学习新分类模型时，首先，构建一个新的分类网络模型。新网络的特征提取层结构与旧分类模型一致；新网络的全连接网络，在原来旧分类模型的分类层的输出端添加了P个维度，即P个数量类别，全连接层由原来的M∈RN×K变成M'∈RN×(K+P)，形成新网络的全连接网络。
增量学习单元30：用于输入增量学习数据集，至增量学习新分类模型，在增量学习损失函数约束下进行增量学习训练，得到训练后的增量学习新分类模型。
图像分类单元40：用于输入待分类图像至所述训练后的增量学习新分类模型，进行图像分类，得到图像分类结果。
图2中示出了根据本申请实施例的基于增量学习的图像分类方法的流程示意图。
如图2所示，本申请将输入图像分别输入给旧模型和新模型，对新模型最小化三个损失函数，包括1、与旧模型的全连接层的相似度损失；2、与真实标签的交叉熵损失；3、旧模型和新模型输出的蒸馏损失。
其中，相似度矩阵的一致性损失函数中，相似度矩阵包括旧分类模型的各个旧类别的映射向量之间的相似度组成的旧相似度矩阵，以及增量学习新分类模型的各个旧类别的映射向量之间的相似度组成的新相似度矩阵。
具体的，首先，对旧模型的类别相似度进行建模。
具体地，对每个分类映射向量构建一个相似度矩阵Sold∈RK×K，Sold是一个对称矩阵。Sold(i,j)表示类别i的映射向量Mi，与类别j的映射向量Mj之间的相似度。
本申请采用余弦相似度来度量映射向量Mi与Mj两个向量的相似度，相似度公式为：
similarity(Mi,Mj)＝cosine(Mi,Mj)；
然后，在增量学习的过程中，对新模型的全连接层的旧类别映射向量也采用同样的方式构建相似度矩阵，Snew∈RK×K,其中，Snew(i,j)表示新模型中类别i的映射向量M'i与类别j的映射向量M'j之间的相似度。
最后，相似度矩阵的一致性损失函数L(Sold,Snew)具体计算公式为：
L(Sold,Snew)＝||Sold-Snew||1；
其中，Sold为旧相似度矩阵；Snew为新相似度矩阵。
本申请实施例中，交叉熵损失函数LCE的具体公式为：
Figure BDA0002756728630000081
其中，yx表示网络的输出；gi表示真实的标签值；K为旧分类模型的类别数量；P为增量学习新分类模型新增加的类别数量。
交叉熵损失保证了新数据的分类准确性。
本申请实施例中，蒸馏损失函数Ldistill的具体公式为：
Figure BDA0002756728630000091
其中，y'i表示旧分类模型的输出，yi表示增量学习新分类模型在旧类别上的输出。蒸馏损失确保新模型在旧类别的输出与旧模型尽量一致。
综上所述，最后，增量学习损失函数Loss具体公式为：
Loss＝LCE+λ1Ldistill+λ2L(Sold,Snew)；
其中，Ldistill为蒸馏损失函数，LCE为交叉熵损失函数，L(Sold,Snew)为相似度矩阵的一致性损失函数，λ1和λ2为约束权重。
采用本申请实施例中的基于增量学习的图像分类系统，数据集单元10选取旧分类模型的旧类别数据，以及新增量数据，构建增量学习数据集；模型构建单元20构建增量学习新分类模型；增量学习单元30输入增量学习数据集，至增量学习新分类模型，在增量学习损失函数约束下进行增量学习训练，得到训练后的增量学习新分类模型；输入待分类图像至训练后的增量学习新分类模型，进行图像分类，得到图像分类结果。本申请在旧类别数据基础上连同新类别的数据一起进行学习，在增量学习损失函数约束下实现了使旧类别的映射向量的相似度能够在增量学习的过程中保持一致，进而在学习新类别的信息同时，保持了对旧类别的测试数据的分类性能。
具体的，本申请通过约束新旧模型的映射向量的相似度，本申请算法可以辅助分类模型更好地记住旧类别之间的相似度信息，从而能够缓解灾难性遗忘的问题。
实施例3
本实施例提供了一种基于增量学习的图像分类设备，对于本实施例的基于增量学习的图像分类设备中未披露的细节，请参照其它实施例中的基于增量学习的图像分类方法或系统具体的实施内容。
图4中示出了根据本申请实施例的基于增量学习的图像分类设备400的结构示意图。
如图4所示，增量学习设备400，包括：
存储器402：用于存储可执行指令；以及
处理器401:用于与存储器402连接以执行可执行指令从而完成运动矢量预测方法。
本领域技术人员可以理解，示意图4仅仅是增量学习设备400的示例，并不构成对增量学习设备400的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如增量学习设备400还可以包括输入输出设备、网络接入设备、总线等。
所称处理器401(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器401也可以是任何常规的处理器等，处理器401是增量学习设备400的控制中心，利用各种接口和线路连接整个增量学习设备400的各个部分。
存储器402可用于存储计算机可读指令，处理器401通过运行或执行存储在存储器402内的计算机可读指令或模块，以及调用存储在存储器402内的数据，实现增量学习设备400的各种功能。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据增量学习设备400计算机设备30的使用所创建的数据等。此外，存储器402可以包括硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)或其他非易失性/易失性存储器件。
增量学习设备400集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机可读指令来指令相关的硬件来完成，的计算机可读指令可存储于一计算机可读存储介质中，该计算机可读指令在被处理器执行时，可实现上述各个方法实施例的步骤。
实施例4
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序；计算机程序被处理器执行以实现其他实施例中的基于增量学习的图像分类方法。
采用本申请实施例中的基于增量学习的图像分类设备及计算机介质，选取旧分类模型的旧类别数据，以及新增量数据，构建增量学习数据集；构建增量学习新分类模型；输入增量学习数据集，至增量学习新分类模型，在增量学习损失函数约束下进行增量学习训练，得到训练后的增量学习新分类模型；输入待分类图像至训练后的增量学习新分类模型，进行图像分类，得到图像分类结果。本申请在旧类别数据基础上连同新类别的数据一起进行学习，在增量学习损失函数约束下实现了使旧类别的映射向量的相似度能够在增量学习的过程中保持一致，进而在学习新类别的信息同时，保持了对旧类别的测试数据的分类性能。
具体的，本申请通过约束新旧模型的映射向量的相似度，本申请算法可以辅助分类模型更好地记住旧类别之间的相似度信息，从而能够缓解灾难性遗忘的问题。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (7)

1.一种基于增量学习的图像分类方法，具体包括以下步骤：
选取旧分类模型的旧类别数据，以及新增量数据，构建增量学习数据集；
构建增量学习新分类模型；
输入所述增量学习数据集，至所述增量学习新分类模型，在增量学习损失函数约束下进行增量学习训练，得到训练后的增量学习新分类模型；
输入待分类图像至所述训练后的增量学习新分类模型，进行图像分类，得到图像分类结果；
其中，所述增量学习损失函数具体包括交叉熵损失函数、蒸馏损失函数以及相似度矩阵的一致性损失函数；所述相似度矩阵包括旧相似度矩阵以及新相似度矩阵；所述旧相似度矩阵由旧分类模型的各个旧类别的映射向量之间的相似度组成；所述新相似度矩阵由增量学习新分类模型的各个旧类别的映射向量之间的相似度组成；
其中，所述相似度矩阵的一致性损失函数L(Sold,Snew)具体公式为：
L(Sold,Snew)＝||Sold-Snew||1；
其中，Sold为旧相似度矩阵；Snew为新相似度矩阵。
2.根据权利要求1所述的图像分类方法，其特征在于，所述构建增量学习新分类模型具体包括：
将所述旧分类模型的特征提取网络，作为所述增量学习新分类模型的特征提取网络；
在所述旧分类模型的分类网络的输出端，添加新增类别数量的维度后，作为所述增量学习新分类模型的分类网络。
3.根据权利要求1所述的图像分类方法，其特征在于，所述交叉熵损失函数LCE具体公式为：
Figure FDA0004177600900000011
其中，yi表示网络的输出；gi表示真实的标签值；K为旧分类模型的类别数量；P为增量学习新分类模型新增加的类别数量；
所述蒸馏损失函数Ldistill具体公式为：
Figure FDA0004177600900000012
其中，y'i表示旧分类模型的输出，yi表示增量学习新分类模型在旧类别上的输出。
4.根据权利要求1所述的图像分类方法，其特征在于，所述增量学习损失函数Loss具体公式为：
Loss＝LCE+λ1Ldistill+λ2L(Sold,Snew)；
其中，Ldistill为蒸馏损失函数，LCE为交叉熵损失函数，L(Sold,Snew)为相似度矩阵的一致性损失函数，λ1和λ2为约束权重。
5.一种基于增量学习的图像分类系统，其特征在于，具体包括：
数据集单元：用于选取旧分类模型的旧类别数据，以及新增量数据，构建增量学习数据集；
模型构建单元：用于构建增量学习新分类模型；
增量学习单元：用于输入所述增量学习数据集，至所述增量学习新分类模型，在增量学习损失函数约束下进行增量学习训练，得到训练后的增量学习新分类模型；
图像分类单元：用于输入待分类图像至所述训练后的增量学习新分类模型，进行图像分类，得到图像分类结果；
其中，所述增量学习损失函数具体包括交叉熵损失函数、蒸馏损失函数以及相似度矩阵的一致性损失函数；所述相似度矩阵包括旧相似度矩阵以及新相似度矩阵；所述旧相似度矩阵由旧分类模型的各个旧类别的映射向量之间的相似度组成；所述新相似度矩阵由增量学习新分类模型的各个旧类别的映射向量之间的相似度组成；
其中，所述相似度矩阵的一致性损失函数L(Sold,Snew)公式为：
L(Sold,Snew)＝||Sold-Snew||1；
其中，Sold为旧相似度矩阵；Snew为新相似度矩阵。
6.一种基于增量学习的图像分类设备，其特征在于，包括：
存储器：用于存储可执行指令；以及
处理器:用于与所述存储器连接以执行所述可执行指令从而完成权利要求1-4任一项所述的基于增量学习的图像分类方法。
7.一种计算机可读存储介质，其特征在于，其上存储有计算机程序；计算机程序被处理器执行以实现如权利要求1-4任一项所述的基于增量学习的图像分类方法。
CN202011204941.9A 2020-11-02 2020-11-02 基于增量学习的图像分类方法及系统 Active CN112559784B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011204941.9A CN112559784B (zh) 2020-11-02 2020-11-02 基于增量学习的图像分类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011204941.9A CN112559784B (zh) 2020-11-02 2020-11-02 基于增量学习的图像分类方法及系统

Publications (2)

Publication Number Publication Date
CN112559784A CN112559784A (zh) 2021-03-26
CN112559784B true CN112559784B (zh) 2023-07-04

Family

ID=75041496

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011204941.9A Active CN112559784B (zh) 2020-11-02 2020-11-02 基于增量学习的图像分类方法及系统

Country Status (1)

Country Link
CN (1) CN112559784B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113139487A (zh) * 2021-04-29 2021-07-20 中国地质大学（武汉） 一种面向遥感影像增量数据的建筑物特征学习方法
CN113139612A (zh) * 2021-05-07 2021-07-20 上海商汤临港智能科技有限公司 图像分类方法、分类网络的训练方法和相关产品
CN113408570A (zh) * 2021-05-08 2021-09-17 浙江智慧视频安防创新中心有限公司 一种基于模型蒸馏的图像类别识别方法、装置、存储介质及终端
CN113554078B (zh) * 2021-07-13 2023-10-17 浙江大学 一种基于对比类别集中提升连续学习下图分类精度的方法
CN113516251B (zh) * 2021-08-05 2023-06-06 上海高德威智能交通系统有限公司 一种机器学习系统及模型训练方法
CN113627545B (zh) * 2021-08-16 2023-08-08 山东大学 一种基于同构多教师指导知识蒸馏的图像分类方法及系统
CN113792713B (zh) * 2021-11-16 2022-03-25 北京的卢深视科技有限公司 模型训练、人脸识别模型更新方法、电子设备及存储介质
CN114549894A (zh) * 2022-01-20 2022-05-27 北京邮电大学 基于嵌入增强和自适应的小样本图像增量分类方法及装置
CN114332466B (zh) * 2022-03-11 2022-07-15 中国科学技术大学 图像语义分割网络持续学习方法、系统、设备及存储介质
CN114782960B (zh) * 2022-06-22 2022-09-02 深圳思谋信息科技有限公司 模型训练方法、装置、计算机设备及计算机可读存储介质
CN115578605B (zh) * 2022-11-16 2023-04-07 北京阿丘科技有限公司 基于增量学习的数据分类方法、装置、设备及存储介质
CN116525117B (zh) * 2023-07-04 2023-10-10 之江实验室 一种面向数据分布漂移检测与自适应的临床风险预测系统
CN116778264B (zh) * 2023-08-24 2023-12-12 鹏城实验室 基于类增学习的对象分类方法、图像分类方法及相关设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070049A (zh) * 2019-04-23 2019-07-30 北京市商汤科技开发有限公司 人脸图像识别方法及装置、电子设备和存储介质
CN110210560A (zh) * 2019-05-31 2019-09-06 北京市商汤科技开发有限公司 分类网络的增量训练方法、分类方法及装置、设备及介质
CN111507419A (zh) * 2020-04-22 2020-08-07 腾讯科技（深圳）有限公司 图像分类模型的训练方法及装置
CN111639230A (zh) * 2020-05-29 2020-09-08 广州市百果园信息技术有限公司 一种相似视频的筛选方法、装置、设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070049A (zh) * 2019-04-23 2019-07-30 北京市商汤科技开发有限公司 人脸图像识别方法及装置、电子设备和存储介质
CN110210560A (zh) * 2019-05-31 2019-09-06 北京市商汤科技开发有限公司 分类网络的增量训练方法、分类方法及装置、设备及介质
CN111507419A (zh) * 2020-04-22 2020-08-07 腾讯科技（深圳）有限公司 图像分类模型的训练方法及装置
CN111639230A (zh) * 2020-05-29 2020-09-08 广州市百果园信息技术有限公司 一种相似视频的筛选方法、装置、设备和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Incremental learning of object detectors without;Shmelkov K等;《Proceedings of the IEEE International Conference on Computer》;20171231;全文 *
一种朴素贝叶斯分类增量学习算法;罗福星等;《网络新媒体技术》;20081231;第29卷(第6期);全文 *
基于增量学习思想的改进AdaBoost建模方法;田慧欣等;《控制与决策》;20121231;第27卷(第9期);全文 *

Also Published As

Publication number Publication date
CN112559784A (zh) 2021-03-26

Similar Documents

Publication Publication Date Title
CN112559784B (zh) 基于增量学习的图像分类方法及系统
CN110414432B (zh) 对象识别模型的训练方法、对象识别方法及相应的装置
CN111797893B (zh) 一种神经网络的训练方法、图像分类系统及相关设备
CN111353076B (zh) 训练跨模态检索模型的方法、跨模态检索的方法和相关装置
Lanchantin et al. Deep motif dashboard: visualizing and understanding genomic sequences using deep neural networks
US9811718B2 (en) Method and a system for face verification
CN110362723B (zh) 一种题目特征表示方法、装置及存储介质
CN111553759A (zh) 一种产品信息推送方法、装置、设备及存储介质
JP7250126B2 (ja) 自動エンコーダを用いる人工画像生成のためのコンピュータアーキテクチャ
CN111091175A (zh) 神经网络模型训练方法、分类方法、装置和电子设备
US9842279B2 (en) Data processing method for learning discriminator, and data processing apparatus therefor
CN110414541B (zh) 用于识别物体的方法、设备和计算机可读存储介质
CN113722583A (zh) 推荐方法、推荐模型训练方法及相关产品
US10733483B2 (en) Method and system for classification of data
JP2012203422A (ja) 学習装置、方法及びプログラム
CN114283350B (zh) 视觉模型训练和视频处理方法、装置、设备及存储介质
WO2016086330A1 (en) A method and a system for face recognition
CN109685830B (zh) 目标跟踪方法、装置和设备及计算机存储介质
CN112257758A (zh) 细粒度图像识别方法、卷积神经网络及其训练方法
CN112749737A (zh) 图像分类方法及装置、电子设备、存储介质
CN112380421A (zh) 简历的搜索方法、装置、电子设备及计算机存储介质
CN115982597A (zh) 语义相似度模型训练方法及装置、语义匹配方法及装置
CN113762005B (zh) 特征选择模型的训练、对象分类方法、装置、设备及介质
CN111611796A (zh) 下位词的上位词确定方法、装置、电子设备及存储介质
CN116109449A (zh) 一种数据处理方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 311215 unit 1, building 1, area C, Qianjiang Century Park, ningwei street, Xiaoshan District, Hangzhou City, Zhejiang Province

Patentee after: Zhejiang Visual Intelligence Innovation Center Co.,Ltd.

Address before: 311215 unit 1, building 1, area C, Qianjiang Century Park, ningwei street, Xiaoshan District, Hangzhou City, Zhejiang Province

Patentee before: Zhejiang smart video security Innovation Center Co.,Ltd.

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210326

Assignee: Institute of Information Technology, Zhejiang Peking University

Assignor: Zhejiang Visual Intelligence Innovation Center Co.,Ltd.

Contract record no.: X2024330000024

Denomination of invention: Image classification method and system based on incremental learning

Granted publication date: 20230704

License type: Common License

Record date: 20240401