CN112990280A - 面向图像大数据的类增量分类方法、系统、装置及介质 - Google Patents
面向图像大数据的类增量分类方法、系统、装置及介质 Download PDFInfo
- Publication number
- CN112990280A CN112990280A CN202110223442.2A CN202110223442A CN112990280A CN 112990280 A CN112990280 A CN 112990280A CN 202110223442 A CN202110223442 A CN 202110223442A CN 112990280 A CN112990280 A CN 112990280A
- Authority
- CN
- China
- Prior art keywords
- model
- new
- old
- training
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012549 training Methods 0.000 claims abstract description 67
- 238000004821 distillation Methods 0.000 claims abstract description 29
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 25
- 238000013145 classification model Methods 0.000 claims abstract description 23
- 238000003860 storage Methods 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims description 32
- 238000010276 construction Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 230000008014 freezing Effects 0.000 claims description 3
- 238000007710 freezing Methods 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 2
- 230000002829 reductive effect Effects 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 description 9
- 238000012360 testing method Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 238000013140 knowledge distillation Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000013508 migration Methods 0.000 description 3
- 230000005012 migration Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种面向图像大数据的类增量分类方法、系统、装置及介质，其中方法包括初始化训练阶段和增量学习阶段；所述初始化训练阶段包括：构建图像的初始数据集；根据所述初始数据集训练初始分类模型；所述增量学习阶段包括：根据所述初始数据集和图像的新数据构建增量学习数据集；根据所述初始分类模型获取增量学习新模型，根据增量学习数据集和蒸馏算法训练所述增量学习新模型，得到能够识别新旧类别的模型；其中，所述蒸馏算法使模型的类间距离扩大及类内距离缩小。本发明通过蒸馏算法更新增量学习模型，使模型的类间距离扩大及类内距离缩小，能够在有限的存储空间和计算资源下，提升模型对新旧数据识别性能，可广泛应用于大数据应用领域。
Description
技术领域
本发明涉及大数据应用领域，尤其涉及一种面向图像大数据的类增量分类方法、系统、装置及介质。
背景技术
随着互联网的云计算、物联网、社交网络等新兴信息技术和应用模式的快速发展，促使人类社会的数据种类和规模正以前所未有的速度增长，推动人类社会迈入信息爆炸的大数据时代。而与之相随的是计算机运算能力的不断提升，推动了机器学习的研究与发展，尤其是深度学习领域更是掀起一股研究热潮，被广泛应用在金融、智能制造、医疗健康等各个领域。“大数据+机器学习”技术成为了当今社会耳熟能详的人工智能技术，而在2016年，Google的AlphaGo横空出世，让我们见识到“大数据+机器学习”的巨大威力和其广阔的前景。
虽然目前“大数据+机器学习”技术在各行各业获得广泛应用并取得显著成果，但是目前大多数机器算法是基于静态、封闭的理想环境下进行训练，它们将历史数据作为一个整体进行批量学习，这种批量学习灵活性较差，只能面向静态的批量大数据，而训练得到的模型也只能识别在训练集中出现过的类别，对于未出现在训练集中的类别模型则无法给出分类结果。然而在实际的应用中，各行各业产生的大数据，如传感器数据、图像、视频数据、互联网数据以及传统行业的业务数据等，更多地是一种动态的流数据形态。数据的内容与特征处于不断变化，具有海量性、时变性、无限性等特点。这就需要模型不断在新到来的数据上学习新的类别。
而基于批量学习需要一次性获得训练数据，对于不断产生的新数据，需要将新旧数据混合对模型重新进行训练，该方式存在空间存储和计算资源消耗以及时间成本问题，随着新数据的不断到来，所需要保存的数据量不断扩大，庞大的训练集会导致模型的训练速度下降，计算成本剧增甚至数据无法一次性载入内存，从而无法进行完整的批量学习。如果让模型直接在新数据上训练，模型则会存在对旧数据灾难性遗忘问题。因此，如何在有限的存储空间和计算机资源下，让已训练好的模型在纷至沓来的新数据上较强的学习能力，同时保持对旧数据识别的准确率是一个亟待解决的难题。
发明内容
为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种面向图像大数据的类增量分类方法、系统、装置及介质。
本发明所采用的技术方案是：
一种面向图像大数据的类增量分类方法，包括初始化训练阶段和增量学习阶段；
所述初始化训练阶段包括：
构建图像的初始数据集；
根据所述初始数据集训练初始分类模型；
所述增量学习阶段包括：
根据所述初始数据集和图像的新数据构建增量学习数据集；
根据所述初始分类模型获取增量学习新模型，根据增量学习数据集和蒸馏算法训练所述增量学习新模型，得到能够识别新旧类别的模型；
其中，所述蒸馏算法使模型的类间距离扩大及类内距离缩小。
进一步，所述训练初始分类模型的过程中，采用HM-Softmax作为分类损失函数；
所述分类损失函数的公式为：
其中，
为所有训练样本数量，pi为模型对样本xi输出预测概率，当pi小于阈值ε时，I(pi)＝1，否则I(pi)＝0。
进一步，所述根据所述初始数据集和图像的新数据构建增量学习数据集，包括：
构建记忆池，从所述初始数据集中获取样本作为旧类别训练数据，保存到所述记忆池中；
获取新数据，对新数据进行预处理，预处理的操作包括对新数据中的图像进行尺寸归一化处理以及标注处理；
将所述旧类别训练数据和预处理后的所述新数据进行混合，获得增量学习数据集。
进一步，所述根据所述初始分类模型获取增量学习新模型，包括：
将所述初始分类模型的参数进行冻结，作为旧模型；
对所述旧模型进行结构调整，获得具有类增量学习功能的新模型，作为增量学习新模型；
所述对所述旧模型进行结构调整，包括：
在所述旧模型的全连接层添加k个神经元节点，作为新类别的分类器；
所述增量学习新模型具有s+k个输出节点，s为旧数据中的类别数量，k为新增的类别数量。
进一步，所述根据增量学习数据集和蒸馏算法训练所述增量学习新模型的步骤，包括：
从所述增量学习数据集中获取样本对；
计算所述样本对在所述旧模型上的特征距离，以及在所述新模型上的特征距离，根据所述特征距离获取类间距离和类内距离；
当新模型的类间距离小于旧模型的类间距离时，对所述新模型进行调整，以使新模型的类间距离扩大；
当新模型的类内距离大于旧模型的类内距离时，对所述新模型进行调整，以使新模型的类内距离缩小。
进一步，所述根据增量学习数据集和蒸馏算法训练所述增量学习新模型的步骤，还包括：
获取新模型的分类器输出的logits，以及旧模型的分类器输出的logits；
判断旧模型的logits中的最大预测值是否与标签相符，若相符，根据旧模型的logits调整新模型的参数，以使新模型的logits接近旧模型的logits；若不相符，忽略旧模型的logits。
进一步，所述初始分类模型采用深度残差网络RestNet18作为网络框架，包括17层卷积层和1层全连接层，且第17层卷积层的输出不进行Relu函数激活。
本发明所采用的另一技术方案是：
一种面向图像大数据的类增量分类系统，包括初始化训练模块和增量学习模块；
所述初始化训练模块，包括：
初始数据集构建单元，用于构建图像的初始数据集；
第一训练模块，用于根据所述初始数据集训练初始分类模型；
所述增量学习模块，包括：
增量数据集构建单元，用于根据所述初始数据集和图像的新数据构建增量学习数据集；
第二训练单元，用于根据所述初始分类模型获取增量学习新模型，根据增量学习数据集和蒸馏算法训练所述增量学习新模型，得到能够识别新旧类别的模型；
其中，所述蒸馏算法使模型的类间距离扩大及类内距离缩小。
本发明所采用的另一技术方案是：
一种面向图像大数据的类增量分类装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。
本发明所采用的另一技术方案是：
一种存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行如上所述方法。
本发明的有益效果是：本发明通过蒸馏算法更新增量学习模型，使模型的类间距离扩大及类内距离缩小，能够在有限的存储空间和计算资源下，提升模型对新旧数据识别性能。
附图说明
为了更清楚地说明本发明实施例或者现有技术中的技术方案，下面对本发明实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员而言，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
图1是本发明实施例中一种面向图像大数据分类的类增量方法的步骤流程图；
图2是本发明实施例中增量学习新模型的模型示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
为解决图像分类在大数据应用下，空间存储和计算资源消耗大等难题，本实施例基于样本保留的增量学习策略，通过保留少量旧数据，结合知识迁移和度量学习技术设计了一种面向图像大数据分类的类增量方法，能够在有限的存储空间和计算资源下，提升模型对新旧数据识别性能，平衡模型对旧数据知识保留的稳定和对新数据学习的可塑性。为后续的增量学习的研究和应用提高新的解决方案。如图1所示，技术方案主要包括初始化训练阶段和增量学习阶段，具体如下：
(1)初始化训练阶段包括构建初始数据集和训练初始分类模型两个主要步骤：
步骤一，构建初始数据集。
将采集到的各种图片进行数据清洗，统一格式、尺寸并归一化。然后将数据集按照比例划分为训练集和测试集。最后标注数据统计类别数量，得到初始数据集。首先，将采集到的各种图片进行数据预处理：剔除无效、重复图像；统一格式为png格式并固定尺寸大小为64*64；以及计算数据的均值和标准差进行归一化。接着，将数据集按照7：3的比例划分为训练集和测试集，然后对训练集中的图像进行随机翻转、缩放操作实现数据增广。最后标注数据并统计类别数量，得到初始数据集。
步骤二，训练初始分类模型。
模型的网络框架采用使深度残差网络RestNet18，其结构主要包括：17层卷积层和1层全连接层。本发明对第17层卷积层的输出不进行Relu函数激活，使得特征每一维的元素可以是正值也可以是负值，从而让网络更加好地保留旧数据知识。接下来，设置初始训练和测试参数，其中初始学习率为0.1，迭代次数为160，批次样本数量为128，优化器采用SGD，权重衰减值为0.0005。
结合HM-Softmax作为分类损失函数，进行难例挖掘让模型关注更具有信息量的样本，从而更好地平衡新旧类别的学习，避免灾难性遗忘。具体表达式如下：
其中
为所有训练样本数量，pi为模型对样本xi输出预测概率，当pi小于一定阈值ε时，I(pi)＝1，否则I(pi)＝0。
为能够反映模型在新旧类别上的学习情况，本实施例选择增量top5和平均top5准确率作为评价指标，增量top5代表在新类别测试集上前五中正确的预测概率，而平均top5准确率表示在新旧类别测试集上前五中正确的预测概率，最终得到一个在当前数据集上有良好识别能力的初始分类模型。
(2)增量学习阶段包括构建增量学习数据集和训练增量学习新模型两个主要步骤：
第一步，构建增量学习数据集。
首先，构建记忆池，新建文件夹，作为记忆池用于存放旧类别的部分数据并将其大小固定为2000，即能够保留2000张旧数据图像。在现有的训练数据集上对每个类别根据样本选择算法挑选具有代表性样本保存到记忆池中。在一些实施例中，样本的挑选算法采用herding算法。然后，重复步骤一，获取并构建新到来的数据集，将划分好的新训练数据与记忆池中的旧类别训练数据进行混合，得到下阶段增量学习训练数据。
第二步，训练增量学习新模型。
首先，对初始训练阶段的步骤二得到的初始分类网络添加增量学习模块：复制初始分类神经网络，将原初始分类网络参数进行冻结作为旧模型用于迁移旧类知识，将复制的初始分类网络作为可学习的新模型用于后继增量学习；对新模型进行结构调整：在全连接层添加k个神经元节点(k为新增类别数量)，作为新类别的分类器，使模型具有类增量学习功能。当前新模型的输出结点共有s+k个(s为旧数据中的类别总数)，能够输出新旧数据中每个类别的预测值。同时添加知识蒸馏模块，使模型能够保留旧类知识，其中知识蒸馏模块由特征蒸馏和输出蒸馏损失函数实现，最后得到增量学习新模型。然后，在第一步得到的数据集上基于知识蒸馏算法和HM-Sofmax分类损失函数以迭代的方式训练增量学习新模型。
结合图2说明，进一步阐述第四步增量学习新模型训练的实施过程：
1)特征蒸馏方法的实施过程
首先是计算两两样本的特征在新旧模型上的距离，计算公式分别为：
其中
和
为样本对xi和xj在新模型和旧模型上的特征距离，fN和fO分别新旧模型所提取的特征，d(.)为距离度量函数，本发明采用余弦距离作为距离度量函数。
然后，通过旧模型的DO指导新模型的类间关系学习，使其类间分离。当新模型的类间距离小于旧模型的类间距离时，则对新模型进行惩罚，使新模型的类间距离扩大，计算类内特征蒸馏损失如下所示：
其中xi,xk为新旧类别中的负样本对。
而对于类内关系的学习，则是当新模型的类内距离大于旧模型的类内距离时，损失函数等于新旧特征距离的差值，使新模型上的类内距缩小。计算类间特征蒸馏损失如下所示，其中为xi,xj旧类中的正样本对。
最终整体的特征蒸馏LRKD计算为：LRKD＝LRKD-intra+LKKD-inter
2)输出蒸馏方法的实施过程
获取新旧模型旧类别分类器输出的logits，判断旧模型的logits中最大预测值是否与标签相符，若相符则让相应的新模型的logits与之尽可能地相似，否则，直接忽略旧模型中输出错误的logits。Logits的计算公式如下：
其中n为batch size。I为指示函数，当前旧模型输出的值等于真实标签(groundtruth)时，I等于1，否则等于0。
表示旧类别数量，fO和θO为旧模型的特征提取器和旧类别的分类器，cos<.,.>为余弦相似度。
结合HM-Sofmax分类损失函数后，整体的损失函数定义如下，L＝Lhard-cls+LRKD+LIKD
最终在新旧类别的测试集上基于增量和平均top5指标评估模型。
方案实施效果
为证明本实施例方法的有效性，在表1中对比了未添加本算法与添加了本算法的分别在增量和平均Top5准确率两方面的实验效果。具体实验设置如下：
初始训练数据集由50个类别组成，每个类别有500张64*64的彩色图像。测试集由每个类别100张彩色图像组成。记忆池大小固定为2000，即增量学习的过程中总共可以保留2000张旧数据图像。
模型首先在初始训练数据集上进行学习，然后在后继增量学习的过程中，每次新增10个类别进行学习，最后在当前已学过的所有类别上评估模型。实验效果如下：
表1
由上表可得，本发明中基于改进的知识蒸馏技术的增量学习模型能有效平衡新旧数据的学习，使模型在新数据上有较强的学习能力，同时保持对旧数据识别的准确率。
综上所述，与现有技术相比，本实施例将softmax交叉熵分类损失函数替换为HM-Softmax损失函数，使模型关注更具有信息量的样本，缓解新旧类别样本不均衡问题；通过对知识蒸馏模块进行改进，融合特征蒸馏和输出蒸馏方法，其中特征蒸馏方法结合了度量学习技术，可以使新旧类别类间距扩大，类内距缩小，提升模型对新旧类别的识别性能；而输出蒸馏采用指导性迁移技术，只迁移旧模型中正确的信息，避免负迁移，可以缓解模型对旧类别的灾难性遗忘问题。
本实施例还提供一种面向图像大数据的类增量分类系统，包括初始化训练模块和增量学习模块；
所述初始化训练模块，包括：
初始数据集构建单元，用于构建图像的初始数据集；
第一训练模块，用于根据所述初始数据集训练初始分类模型；
所述增量学习模块，包括：
增量数据集构建单元，用于根据所述初始数据集和图像的新数据构建增量学习数据集；
第二训练单元，用于根据所述初始分类模型获取增量学习新模型，根据增量学习数据集和蒸馏算法训练所述增量学习新模型，得到能够识别新旧类别的模型；
其中，所述蒸馏算法使模型的类间距离扩大及类内距离缩小。
本实施例的一种面向图像大数据的类增量分类系统，可执行本发明方法实施例所提供的一种面向图像大数据的类增量分类方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
本实施例还提供一种面向图像大数据的类增量分类装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。
本实施例的一种面向图像大数据的类增量分类装置，可执行本发明方法实施例所提供的一种面向图像大数据的类增量分类方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
本申请实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
本实施例还提供了一种存储介质，存储有可执行本发明方法实施例所提供的一种面向图像大数据的类增量分类方法的指令或程序，当运行该指令或程序时，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.一种面向图像大数据的类增量分类方法，其特征在于，包括初始化训练阶段和增量学习阶段；
所述初始化训练阶段包括：
构建图像的初始数据集；
根据所述初始数据集训练初始分类模型；
所述增量学习阶段包括：
根据所述初始数据集和图像的新数据构建增量学习数据集；
根据所述初始分类模型获取增量学习新模型，根据增量学习数据集和蒸馏算法训练所述增量学习新模型，得到能够识别新旧类别的模型；
其中，所述蒸馏算法使模型的类间距离扩大及类内距离缩小。
2.根据权利要求1所述的一种面向图像大数据的类增量分类方法，其特征在于，所述训练初始分类模型的过程中，采用HM-Softmax作为分类损失函数；
所述分类损失函数的公式为：
其中，
为所有训练样本数量，pi为模型对样本xi输出预测概率，当pi小于阈值ε时，I(pi)＝1，否则I(pi)＝0。
3.根据权利要求1所述的一种面向图像大数据的类增量分类方法，其特征在于，所述根据所述初始数据集和图像的新数据构建增量学习数据集，包括：
从所述初始数据集中获取样本作为旧类别训练数据；
获取新数据，对新数据进行预处理，预处理的操作包括对新数据中的图像进行尺寸归一化处理以及标注处理；
将所述旧类别训练数据和预处理后的所述新数据进行混合，获得增量学习数据集。
4.根据权利要求1所述的一种面向图像大数据的类增量分类方法，其特征在于，所述根据所述初始分类模型获取增量学习新模型，包括：
将所述初始分类模型的参数进行冻结，作为旧模型；
对所述旧模型进行结构调整，获得具有类增量学习功能的新模型，作为增量学习新模型；
所述对所述旧模型进行结构调整，包括：
在所述旧模型的全连接层添加k个神经元节点，作为新类别的分类器；
所述增量学习新模型具有s+k个输出节点，s为旧数据中的类别数量，k为新增的类别数量。
5.根据权利要求4所述的一种面向图像大数据的类增量分类方法，其特征在于，所述根据增量学习数据集和蒸馏算法训练所述增量学习新模型的步骤，包括：
从所述增量学习数据集中获取样本对；
计算所述样本对在所述旧模型上的特征距离，以及在所述新模型上的特征距离，根据所述特征距离获取类间距离和类内距离；
当新模型的类间距离小于旧模型的类间距离时，对所述新模型进行调整，以使新模型的类间距离扩大；
当新模型的类内距离大于旧模型的类内距离时，对所述新模型进行调整，以使新模型的类内距离缩小。
6.根据权利要求5所述的一种面向图像大数据的类增量分类方法，其特征在于，所述根据增量学习数据集和蒸馏算法训练所述增量学习新模型的步骤，还包括：
获取新模型的分类器输出的logits，以及旧模型的分类器输出的logits；
判断旧模型的logits中的最大预测值是否与标签相符，若相符，根据旧模型的logits调整新模型的参数，以使新模型的logits接近旧模型的logits；若不相符，忽略旧模型的logits。
7.根据权利要求1所述的一种面向图像大数据的类增量分类方法，其特征在于，所述初始分类模型采用深度残差网络RestNet18作为网络框架，包括17层卷积层和1层全连接层，且第17层卷积层的输出不进行Relu函数激活。
8.一种面向图像大数据的类增量分类系统，其特征在于，包括初始化训练模块和增量学习模块；
所述初始化训练模块，包括：
初始数据集构建单元，用于构建图像的初始数据集；
第一训练模块，用于根据所述初始数据集训练初始分类模型；
所述增量学习模块，包括：
增量数据集构建单元，用于根据所述初始数据集和图像的新数据构建增量学习数据集；
第二训练单元，用于根据所述初始分类模型获取增量学习新模型，根据增量学习数据集和蒸馏算法训练所述增量学习新模型，得到能够识别新旧类别的模型；
其中，所述蒸馏算法使模型的类间距离扩大及类内距离缩小。
9.一种面向图像大数据的类增量分类装置，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现权利要求1-7任一项所述方法。
10.一种存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-7任一项所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110223442.2A CN112990280B (zh) | 2021-03-01 | 2021-03-01 | 面向图像大数据的类增量分类方法、系统、装置及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110223442.2A CN112990280B (zh) | 2021-03-01 | 2021-03-01 | 面向图像大数据的类增量分类方法、系统、装置及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112990280A true CN112990280A (zh) | 2021-06-18 |
| CN112990280B CN112990280B (zh) | 2023-08-25 |
Family
ID=76351486
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110223442.2A Active CN112990280B (zh) | 2021-03-01 | 2021-03-01 | 面向图像大数据的类增量分类方法、系统、装置及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112990280B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113449878A (zh) * | 2021-06-24 | 2021-09-28 | 西安交通大学 | 数据分布式的增量学习方法、系统、设备及存储介质 |
| CN113469090A (zh) * | 2021-07-09 | 2021-10-01 | 王晓东 | 水质污染预警方法、装置及存储介质 |
| CN113780473A (zh) * | 2021-09-30 | 2021-12-10 | 平安科技（深圳）有限公司 | 基于深度模型的数据处理方法、装置、电子设备及存储介质 |
| CN113822373A (zh) * | 2021-10-27 | 2021-12-21 | 南京大学 | 一种基于集成与知识蒸馏的图像分类模型训练方法 |
| CN114429153A (zh) * | 2021-12-31 | 2022-05-03 | 苏州大学 | 基于终身学习的齿轮箱增量故障诊断方法及系统 |
| CN114677547A (zh) * | 2022-04-07 | 2022-06-28 | 中国科学技术大学 | 一种基于自保持表征扩展的类增量学习的图像分类方法 |
| CN115082142A (zh) * | 2022-05-10 | 2022-09-20 | 华南理工大学 | 一种基于异构关系图神经网络的推荐方法、装置及介质 |
| CN115578605A (zh) * | 2022-11-16 | 2023-01-06 | 北京阿丘科技有限公司 | 基于增量学习的数据分类方法、装置、设备及存储介质 |
| CN116089883A (zh) * | 2023-01-30 | 2023-05-09 | 北京邮电大学 | 用于提高已有类别增量学习新旧类别区分度的训练方法 |
| CN116310648A (zh) * | 2023-03-23 | 2023-06-23 | 北京的卢铭视科技有限公司 | 模型训练方法、人脸识别方法、电子设备和存储介质 |
| CN117493889A (zh) * | 2023-12-27 | 2024-02-02 | 中国科学院自动化研究所 | 增量式持续学习方法、装置、存储介质和电子设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108960283A (zh) * | 2018-05-30 | 2018-12-07 | 北京市商汤科技开发有限公司 | 分类任务增量处理方法及装置、电子设备和存储介质 |
| CN109492765A (zh) * | 2018-11-01 | 2019-03-19 | 浙江工业大学 | 一种基于迁移模型的图像增量学习方法 |
| CN110011932A (zh) * | 2019-04-18 | 2019-07-12 | 清华大学深圳研究生院 | 一种可识别未知流量的网络流量分类方法和终端设备 |
| CN110059672A (zh) * | 2019-04-30 | 2019-07-26 | 福州大学 | 一种利用增量学习对显微镜细胞图像检测模型进行增类学习的方法 |
| CN111199242A (zh) * | 2019-12-18 | 2020-05-26 | 浙江工业大学 | 一种基于动态修正向量的图像增量学习方法 |
| CN111368874A (zh) * | 2020-01-23 | 2020-07-03 | 天津大学 | 一种基于单分类技术的图像类别增量学习方法 |
| CN112308211A (zh) * | 2020-10-29 | 2021-02-02 | 中国科学院计算技术研究所厦门数据智能研究院 | 一种基于元学习的领域增量方法 |
-
2021
- 2021-03-01 CN CN202110223442.2A patent/CN112990280B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108960283A (zh) * | 2018-05-30 | 2018-12-07 | 北京市商汤科技开发有限公司 | 分类任务增量处理方法及装置、电子设备和存储介质 |
| CN109492765A (zh) * | 2018-11-01 | 2019-03-19 | 浙江工业大学 | 一种基于迁移模型的图像增量学习方法 |
| CN110011932A (zh) * | 2019-04-18 | 2019-07-12 | 清华大学深圳研究生院 | 一种可识别未知流量的网络流量分类方法和终端设备 |
| CN110059672A (zh) * | 2019-04-30 | 2019-07-26 | 福州大学 | 一种利用增量学习对显微镜细胞图像检测模型进行增类学习的方法 |
| CN111199242A (zh) * | 2019-12-18 | 2020-05-26 | 浙江工业大学 | 一种基于动态修正向量的图像增量学习方法 |
| CN111368874A (zh) * | 2020-01-23 | 2020-07-03 | 天津大学 | 一种基于单分类技术的图像类别增量学习方法 |
| CN112308211A (zh) * | 2020-10-29 | 2021-02-02 | 中国科学院计算技术研究所厦门数据智能研究院 | 一种基于元学习的领域增量方法 |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113449878A (zh) * | 2021-06-24 | 2021-09-28 | 西安交通大学 | 数据分布式的增量学习方法、系统、设备及存储介质 |
| CN113449878B (zh) * | 2021-06-24 | 2024-04-02 | 西安交通大学 | 数据分布式的增量学习方法、系统、设备及存储介质 |
| CN113469090A (zh) * | 2021-07-09 | 2021-10-01 | 王晓东 | 水质污染预警方法、装置及存储介质 |
| CN113780473B (zh) * | 2021-09-30 | 2023-07-14 | 平安科技（深圳）有限公司 | 基于深度模型的数据处理方法、装置、电子设备及存储介质 |
| CN113780473A (zh) * | 2021-09-30 | 2021-12-10 | 平安科技（深圳）有限公司 | 基于深度模型的数据处理方法、装置、电子设备及存储介质 |
| CN113822373A (zh) * | 2021-10-27 | 2021-12-21 | 南京大学 | 一种基于集成与知识蒸馏的图像分类模型训练方法 |
| CN113822373B (zh) * | 2021-10-27 | 2023-09-15 | 南京大学 | 一种基于集成与知识蒸馏的图像分类模型训练方法 |
| CN114429153A (zh) * | 2021-12-31 | 2022-05-03 | 苏州大学 | 基于终身学习的齿轮箱增量故障诊断方法及系统 |
| CN114429153B (zh) * | 2021-12-31 | 2023-04-28 | 苏州大学 | 基于终身学习的齿轮箱增量故障诊断方法及系统 |
| CN114677547B (zh) * | 2022-04-07 | 2024-03-29 | 中国科学技术大学 | 一种基于自保持表征扩展的类增量学习的图像分类方法 |
| CN114677547A (zh) * | 2022-04-07 | 2022-06-28 | 中国科学技术大学 | 一种基于自保持表征扩展的类增量学习的图像分类方法 |
| CN115082142A (zh) * | 2022-05-10 | 2022-09-20 | 华南理工大学 | 一种基于异构关系图神经网络的推荐方法、装置及介质 |
| CN115082142B (zh) * | 2022-05-10 | 2024-04-30 | 华南理工大学 | 一种基于异构关系图神经网络的推荐方法、装置及介质 |
| CN115578605A (zh) * | 2022-11-16 | 2023-01-06 | 北京阿丘科技有限公司 | 基于增量学习的数据分类方法、装置、设备及存储介质 |
| CN116089883A (zh) * | 2023-01-30 | 2023-05-09 | 北京邮电大学 | 用于提高已有类别增量学习新旧类别区分度的训练方法 |
| CN116089883B (zh) * | 2023-01-30 | 2023-12-19 | 北京邮电大学 | 用于提高已有类别增量学习新旧类别区分度的训练方法 |
| CN116310648A (zh) * | 2023-03-23 | 2023-06-23 | 北京的卢铭视科技有限公司 | 模型训练方法、人脸识别方法、电子设备和存储介质 |
| CN116310648B (zh) * | 2023-03-23 | 2023-12-12 | 北京的卢铭视科技有限公司 | 模型训练方法、人脸识别方法、电子设备和存储介质 |
| CN117493889A (zh) * | 2023-12-27 | 2024-02-02 | 中国科学院自动化研究所 | 增量式持续学习方法、装置、存储介质和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112990280B (zh) | 2023-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112990280A (zh) | 面向图像大数据的类增量分类方法、系统、装置及介质 | |
| He et al. | AutoML: A survey of the state-of-the-art | |
| CN112669916B (zh) | 一种基于对比学习的分子图表示学习方法 | |
| CN108428478B (zh) | 基于异质医疗数据挖掘的甲状腺癌风险预测方法 | |
| CN112699247A (zh) | 一种基于多类交叉熵对比补全编码的知识表示学习框架 | |
| CN114565053B (zh) | 基于特征融合的深层异质图嵌入模型 | |
| CN112288013A (zh) | 基于元度量学习的小样本遥感场景分类方法 | |
| CN115661550A (zh) | 基于生成对抗网络的图数据类别不平衡分类方法及装置 | |
| Wang et al. | Particle swarm optimization for evolving deep convolutional neural networks for image classification: Single-and multi-objective approaches | |
| CN114692605A (zh) | 一种融合句法结构信息的关键词生成方法及装置 | |
| CN105809200B (zh) | 一种生物启发式自主抽取图像语义信息的方法及装置 | |
| CN110830291A (zh) | 一种基于元路径的异质信息网络的节点分类方法 | |
| CN109344309A (zh) | 基于卷积神经网络堆叠泛化的文档图像分类方法和系统 | |
| CN113920379A (zh) | 一种基于知识辅助的零样本图像分类方法 | |
| CN113609337A (zh) | 图神经网络的预训练方法、训练方法、装置、设备及介质 | |
| CN112668633A (zh) | 一种基于细粒度领域自适应的图迁移学习方法 | |
| CN112598089A (zh) | 图像样本的筛选方法、装置、设备及介质 | |
| CN117391497A (zh) | 一种新闻稿件质量主客观评分一致性评价方法及系统 | |
| CN114281950B (zh) | 基于多图加权融合的数据检索方法与系统 | |
| US20230162518A1 (en) | Systems for Generating Indications of Relationships between Electronic Documents | |
| CN112906824B (zh) | 车辆聚类方法、系统、设备及存储介质 | |
| CN115331754A (zh) | 基于哈希算法的分子分类方法 | |
| CN114611668A (zh) | 一种基于异质信息网络随机游走的向量表示学习方法及系统 | |
| CN114491289A (zh) | 一种双向门控卷积网络的社交内容抑郁检测方法 | |
| CN114418189A (zh) | 水质等级预测方法、系统、终端设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |