CN113222014A - 图像分类模型训练方法、装置、计算机设备和存储介质 - Google Patents
图像分类模型训练方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN113222014A CN113222014A CN202110516064.7A CN202110516064A CN113222014A CN 113222014 A CN113222014 A CN 113222014A CN 202110516064 A CN202110516064 A CN 202110516064A CN 113222014 A CN113222014 A CN 113222014A
- Authority
- CN
- China
- Prior art keywords
- model
- training
- trained
- target
- backup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 189
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000013145 classification model Methods 0.000 title claims abstract description 39
- 230000004927 fusion Effects 0.000 claims abstract description 110
- 238000009499 grossing Methods 0.000 claims abstract description 37
- 238000011156 evaluation Methods 0.000 claims description 42
- 230000006870 function Effects 0.000 claims description 39
- 238000004590 computer program Methods 0.000 claims description 21
- 238000012360 testing method Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 abstract description 14
- 238000012545 processing Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 11
- 230000002829 reductive effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000004821 distillation Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 238000007499 fusion processing Methods 0.000 description 3
- 230000014759 maintenance of location Effects 0.000 description 3
- 239000000126 substance Substances 0.000 description 2
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 108020001507 fusion proteins Proteins 0.000 description 1
- 102000037865 fusion proteins Human genes 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013140 knowledge distillation Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
Abstract
本申请涉及一种图像分类模型训练方法、装置、计算机设备和存储介质，通过获取样本图像数据集，以及待训练的初始模型的备份模型；将样本图像数据集中的数据划分为多个训练批次数据，并分别将各个训练批次数据输入待训练的初始模型进行训练，得到通过各个训练批次数据训练后的初始模型；将训练后的初始模型与备份模型进行融合，得到目标平滑模型；多个训练批次数据还用于对目标平滑模型进行再次训练；目标平滑模型用于对图像进行分类。本申请通过融合实现了图像分类模型训练过程中的平滑处理，基于目标平滑模型进行训练并重复融合步骤，使得模型在训练中能够保持对于旧图像分类任务的识别准确率，提高了图像分类模型的训练效率和准确率。
Description
技术领域
本申请涉及人工智能技术领域，特别是涉及一种图像分类模型训练方法、装置、计算机设备和存储介质。
背景技术
增量学习是一种让模型能够持续从新图像样本中学习新的图像特征知识，同时不忘记已经学习过的图像特征知识的机器学习方法，该方法面对的主要问题是由于缺少旧类别数据，模型通常趋向于拟合新类别的数据，导致对于旧类别的图像分类准确率呈现出断崖式下降。
因此还需要一种能够提高模型训练能够对就旧知识保留程度的图像分类模型训练方法。
发明内容
基于此，有必要针对上述技术问题，提供一种图像分类模型训练方法、装置、计算机设备和存储介质。
一种图像分类模型训练方法，所述方法包括：
获取样本图像数据集，以及待训练的初始模型的备份模型；
将所述样本图像数据集中的数据划分为多个训练批次数据，并分别将各个所述训练批次数据输入所述待训练的初始模型进行训练，得到通过各个所述训练批次数据训练后的初始模型；
将所述训练后的初始模型与所述备份模型进行融合，得到目标平滑模型；所述多个训练批次数据还用于对所述目标平滑模型进行再次训练；所述目标平滑模型用于对图像进行分类。
在其中一个实施例中，所述备份模型通过以下方式获取，包括：
对所述初始模型进行复制处理，得到与所述初始模型一致的模型，并将与所述初始模型一致的模型作为所述备份模型。
在其中一个实施例中，所述将训练后的初始模型与所述备份模型进行融合，得到目标平滑模型，包括：
获取预设的融合参数；
根据所述预设的融合参数，确定与所述训练后的初始模型对应的第一融合权值，以及与所述备份模型对应的第二融合权值；
按照所述第一融合权值以及第二融合权值，将所述训练后的初始模型与所述备份模型进行融合，得到所述目标平滑模型。
在其中一个实施例中，所述按照所述第一融合权值以及第二融合权值，将所述训练后的初始模型与所述备份模型进行融合，得到所述目标平滑模型，包括：
获取所述训练后的初始模型对应的第一模型参数，以及获取所述备份模型对应的第二模型参数；
根据所述第一融合权值与所述第一模型参数，确定出与所述训练后的初始模型对应的第一目标参数；
根据所述第二融合权值与所述第二模型参数，确定出与所述备份模型对应的第二目标参数；
根据所述第一目标参数与所述第二目标参数，生成所述目标平滑模型。
在其中一个实施例中，在得到目标平滑模型之后，还包括：
获取预先构建的准确率评价函数；
通过所述预先构建的准确率评价函数，确定与所述目标平滑模型对应的准确率评价函数值，作为与所述目标平滑模型对应的训练评估结果。
在其中一个实施例中，所述预先构建的准确率评价函数，包括：
其中，OriAcc为所述预先构建的准确率评价函数，x为所述目标平滑模型的输入数据，Model(x)为所述目标平滑模型输出的与x对应的预测标签，y为与x对应的真实标签，count为输入数据的数量，t为模型训练的阶段，D为测试数据集。
在其中一个实施例中，所述目标平滑模型输出的与x对应的预测标签可通过下述方式计算得到：
Model(x)＝argmaxi∈Out0～t-1pi；
其中，Model(x)为x对应的预测标签，pi为所述目标平滑模型的第i个输出层输出的回归系数大小，argmax为所有输出的回归系数中最大值所对应的索引。
一种图像分类模型训练装置，所述装置包括：
模型备份模块，用于获取样本图像数据集，以及待训练的初始模型的备份模型；
模型训练模块，用于将所述样本图像数据集中的数据划分为多个训练批次数据，并分别将各个所述训练批次数据输入所述待训练的初始模型进行训练，得到通过各个所述训练批次数据训练后的初始模型；
模型融合模块，用于将所述训练后的初始模型与所述备份模型进行融合，得到目标平滑模型；所述多个训练批次数据还用于对所述目标平滑模型进行再次训练；所述目标平滑模型用于对图像进行分类。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取样本图像数据集，以及待训练的初始模型的备份模型；
将所述样本图像数据集中的数据划分为多个训练批次数据，并分别将各个所述训练批次数据输入所述待训练的初始模型进行训练，得到通过各个所述训练批次数据训练后的初始模型；
将所述训练后的初始模型与所述备份模型进行融合，得到目标平滑模型；所述多个训练批次数据还用于对所述目标平滑模型进行再次训练；所述目标平滑模型用于对图像进行分类。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取样本图像数据集，以及待训练的初始模型的备份模型；
将所述样本图像数据集中的数据划分为多个训练批次数据，并分别将各个所述训练批次数据输入所述待训练的初始模型进行训练，得到通过各个所述训练批次数据训练后的初始模型；
将所述训练后的初始模型与所述备份模型进行融合，得到目标平滑模型；所述多个训练批次数据还用于对所述目标平滑模型进行再次训练；所述目标平滑模型用于对图像进行分类。
上述图像分类模型训练方法、装置、计算机设备和存储介质，方法包括：获取样本图像数据集，以及待训练的初始模型的备份模型；将样本图像数据集中的数据划分为多个训练批次数据，并分别将各个训练批次数据输入待训练的初始模型进行训练，得到通过各个训练批次数据训练后的初始模型；将训练后的初始模型与备份模型进行融合，得到目标平滑模型；多个训练批次数据还用于对目标平滑模型进行再次训练；目标平滑模型用于对图像进行分类。本申请通过将待训练的初始模型进行备份得到备份模型，在待训练的初始模型完成训练后与备份模型进行融合，实现了图像分类模型训练过程中的平滑处理，得到了目标平滑模型；再基于目标平滑模型进行训练并重复融合步骤，使得模型在训练中能够保持对于旧图像分类任务的识别准确率，提高了图像分类模型的训练效率和准确率。
附图说明
图1为一个实施例中图像分类模型训练方法的应用环境图；
图2为一个实施例中图像分类模型训练方法的流程示意图；
图3为一个实施例中得到目标平滑模型步骤的流程示意图；
图4为一个实施例中按照第一融合权值以及第二融合权值，将训练后的初始模型与备份模型进行融合步骤的流程示意图；
图5为一个实施例中经过一个epoch训练后进行融合的流程示意图；
图6为又一个实施例中经过多个epoch训练后进行融合的流程示意图；
图7为一个实施例中图像分类模型训练装置的结构框图；
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的图像分类模型训练方法，可以应用于如图1所示的应用环境中。其中，终端11通过网络与服务器12进行通信。服务器12获取终端11发送的样本图像数据集，以及服务器12获取待训练的初始模型的备份模型；服务器12将样本图像数据集中的数据划分为多个训练批次数据，并分别将各个训练批次数据输入待训练的初始模型进行训练，得到通过各个训练批次数据训练后的初始模型；服务器12将训练后的初始模型与备份模型进行融合，得到目标平滑模型；多个训练批次数据还用于对目标平滑模型进行再次训练；目标平滑模型用于对图像进行分类。
其中，终端11可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器12可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种图像分类模型训练方法，以该方法应用于图1中的服务器12为例进行说明，包括以下步骤：
步骤21，获取样本图像数据集，以及待训练的初始模型的备份模型。
其中，样本图像数据集是指由多张用于对初始模型进行训练的样本图像组成的数据集。
待训练的初始模型是指针对于训练周期中，前次训练完成后还未进行下一次训练的模型进行说明的；例如一个初始模型需要利用完整的数据集训练十次，则第二次训练完成的模型对于第三次训练得到的模型可作为待训练的初始模型，该“待训练”的含义即为待进行第三次训练，以此类推；即在训练周期内每次训练完成后的模型，相对于下一次训练得到的模型相当于是待训练的初始模型。
备份模型是指与待训练的初始模型一致，尤其是模型内部的各个权重参数均一致的模型。
具体地，服务器从预设数据库中获取与待训练的初始模型对应的样本图像数据集；在多次迭代训练中服务器还可以将之前训练模型所采用的数据集直接作为下一次训练的样本图像数据集；服务器生成与待训练的初始模型一致的模型作为待训练的初始模型的备份模型。
本步骤服务器通过获取样本图像数据集得到对待训练的初始模型进行训练所采用的训练数据，同时通过获取待训练的初始模型的备份模型以便之后进行融合操作；备份模型能够保留待训练的初始模型当前的模型状态和参数信息，能够使得模型在训练过程中更加区域平滑，对图像分类的准确性更高。
步骤22，将样本图像数据集中的数据划分为多个训练批次数据，并分别将各个训练批次数据输入待训练的初始模型进行训练，得到通过各个训练批次数据训练后的初始模型。
其中，样本图像数据集相当于一个epoch(当完整的数据集在神经网络完成一次前传并且反向传播更新了模型一次，这个过程称为一个epoch)；多个训练批次数据相当于Batch(一批样本，通常情况下由于物理条件的限制，模型不能一次性完成所有数据的前传和反向更新，因此需要将完整的样本图像数据集划分为多个batch，每次使用一个batch进行模型的训练)。
利用划分后得到的Batch对模型进行训练，即一次Iteration(迭代，模型对于一个batch的数据完成一次前传和方向传播，这个过程称为一个Iteration，通常情况下一个epoch包含多个Iteration)。
具体地，服务器根据待训练的初始模型的结构、类型以及运行环境等特点为多个训练批次数据确定出适宜的Batch_Size(批大小，一批样本的数据量大小)，将样本图像数据集中的数据按照Batch_Size划分为多个训练批次数据；将各个训练批次数据分别输入待训练的初始模型，当多个训练批次数据全部输入待训练的初始模型完成训练后，即利用样本图像数据集完成了一次对于待训练的初始模型的训练，得到了训练后的初始模型；此时训练后的初始模型相对于待训练的初始模型以及备份模型，模型内的权重参数也发生了改变。
本步骤服务器通过将样本图像数据集中的数据划分为多个训练批次数据实现对样本图像数据集的分批处理，降低了单次运算量，合理利用内存容量，提高了对待训练的初始模型进行训练的效率。
步骤23，将训练后的初始模型与备份模型进行融合，得到目标平滑模型；多个训练批次数据还用于对目标平滑模型进行再次训练；目标平滑模型用于对图像进行分类。
其中，目标平滑模型是指将训练后的初始模型与备份模型的参数进行融合后能够达到平滑参数更新效果的新的模型；对目标平滑模型进行再次训练是指以融合后得到的目标平滑模型作为待训练的初始模型，利用多个训练批次数据对目标平滑模型进行再次训练的过程。
具体地，服务器先后或同时获取训练后的初始模型的参数，以及备份模型的参数，将两个参数根据预先设定好的比例进行融合即得到目标平滑模型；服务器再将目标平滑模型作为待训练的初始模型，并获取目标平滑模型的备份模型，之后重复之前的训练，即利用多个训练批次数据对目标平滑模型进行再次训练，并再次与目标平滑模型的备份模型进行融合，直到达到训练条件，例如达到一定的训练次数，或者新的目标平滑模型对图像进行分类的准确度达到预设阈值等。
本步骤服务器通过将训练后的初始模型与备份模型进行融合，得到能够达到平滑参数更新效果的目标平滑模型；基于该模型进行再次训练以及融合，直到达到预设训练条件得到最终训练完成的目标平滑模型；该模型通过不断训练融合，极大地保留了图像分类中对旧分类任务的处理能力，使得模型整体对图像分类的准确率较高。
上述图像分类模型训练方法，方法包括：获取样本图像数据集，以及待训练的初始模型的备份模型；将样本图像数据集中的数据划分为多个训练批次数据，并分别将各个训练批次数据输入待训练的初始模型进行训练，得到通过各个训练批次数据训练后的初始模型；将训练后的初始模型与备份模型进行融合，得到目标平滑模型；多个训练批次数据还用于对目标平滑模型进行再次训练；目标平滑模型用于对图像进行分类。本申请通过将待训练的初始模型进行备份得到备份模型，在待训练的初始模型完成训练后与备份模型进行融合，实现了图像分类模型训练过程中的平滑处理，得到了目标平滑模型；再基于目标平滑模型进行训练并重复融合步骤，使得模型在训练中能够保持对于旧图像分类任务的识别准确率，提高了图像分类模型的训练效率和准确率。
在一个实施例中，在传统的图像分类任务中，通常使用一个分类损失函数
来指导模型的训练，通过知识蒸馏引入蒸馏损失函数
来帮助图像分类模型保留旧知识，该过程可表示为：
其中，
示图像分类模型的损失函数，Θ表示图像分类模型当前的参数，d表示一次迭代训练的训练数据，
表示分类损失函数，
表示蒸馏损失函数。蒸馏损失函数通过减小新旧模型输出的差异来约束模型对旧知识的遗忘，而在增量学习初期，由于新模型是通过旧模型初始化参数得来的，此时蒸馏损失函数为0，分类损失函数支配了该时期模型的训练，使得模型快速拟合到新的数据上，导致模型对旧的分类知识遗忘过快。
为了解决增量学习过程中模型对旧分类知识遗忘过快这个现象，在单次迭代训练中(也可称为Iteration层级)，通常是通过降低模型的学习率，以减少分类损失函数支配训练阶段对模型的损害，即：
其中，α表示减小后的学习率；
表示模型的一次参数更新，
表示损失函数对于模型参数的偏导，d表示一次迭代训练的训练数据。对于不同大小的增量任务采用不同大小的学习率(随新增类别数减少而减少)，从而能够产生不同的平滑效果。
但是，过低的学习率α会导致图像分类模型学习新数据的效率降低，而图像分类模型在长时间的训练更新中也会导致旧知识的遗忘。为了提升图像分类模型的学习效率并减少长期的遗忘，本申请通过在更长的时间跨度即在一个Epoch训练中使用了融合的方式来平滑图像分类模型的学习过程。
具体地，当模型进行一个epoch的训练，所有的训练数据会被划分为多个batch并依次传入模型进行训练，因此上述步骤22，将样本图像数据集中的数据划分为多个训练批次数据，并分别将各个训练批次数据输入待训练的初始模型进行训练，可以表示为：
其中，
表示模型进行一个epoch训练，α表示减小后的学习率，Θ表示模型当前的参数，D是样本图像数据集，t是Iteration(迭代训练)的数量，
表示模型进行了t个Iteration的更新。
在一个实施例中，备份模型通过以下方式获取，包括：对初始模型进行复制处理，得到与初始模型一致的模型，并将与初始模型一致的模型作为备份模型。
具体地，可以通过对初始模型相关文件、数据、参数等进行复制的方式，保留初始模型的全部模型参数，达到对初始模型进行备份得到备份模型的效果。本实施例中服务器通过对初始模型进行复制得到备份模型，保证了备份模型与初始模型的一致性。
在一个实施例中，如图3所示，上述步骤23，将训练后的初始模型与备份模型进行融合，得到目标平滑模型，包括：
步骤31，获取预设的融合参数；
步骤32，根据预设的融合参数，确定与训练后的初始模型对应的第一融合权值，以及与备份模型对应的第二融合权值；
步骤33，按照第一融合权值以及第二融合权值，将训练后的初始模型与备份模型进行融合，得到目标平滑模型。
其中，预设的融合参数是指预先设定的对初始模型与备份模型各自参数的融合比例的参数设置；融合权值是指根据融合参数分别确定出的与训练后的初始模型对应的融合比例以及与备份模型对应的融合比例；例如融合参数规定初始模型与备份模型的融合比例为(1-m)与m，则在融合时将初始模型的参数按照(1-m)进行计算处理，将备份模型的参数按照m进行计算处理；需要说明的是，预设的融合参数可以根据实际情况进行设置，例如根据模型数量进行调整，或者根据模型训练的进程进行调整设置。
具体地，服务器根据训练后的初始模型获取对应的预设的融合参数，从预设的融合参数中分别确定与训练后的初始模型对应的第一融合权值，以及与备份模型对应的第二融合权值；根据第一融合权值以及第二融合权值分别对各自模型的参数进行计算，根据计算结果进行融合即得到目标平滑模型。
本实施例通过预设的融合参数确定出初始模型以及备份模型对应的融合权值，按照该权值能够对两个模型进行融合得到目标平滑模型，融合过程的计算简单且效率较高。
在一个实施例中，如图4所示，上述步骤33，按照第一融合权值以及第二融合权值，将训练后的初始模型与备份模型进行融合，得到目标平滑模型，包括：
步骤41，获取训练后的初始模型对应的第一模型参数，以及获取备份模型对应的第二模型参数；
步骤42，根据第一融合权值与第一模型参数，确定出与训练后的初始模型对应的第一目标参数；
步骤43，根据第二融合权值与第二模型参数，确定出与备份模型对应的第二目标参数；
步骤44，根据第一目标参数与第二目标参数，生成目标平滑模型。
具体地，第一模型参数是指训练后的初始模型在当前状态下的参数；第二模型参数是指备份模型的参数；第一目标参数是第一模型参数结合第一融合权值进行计算后得到的参数；第二目标参数是第二模型参数结合第二融合权值进行计算后得到的参数。
如图5所示，为训练后的初始模型与备份模型每经过一个epoch训练后进行融合的示意图；其中，待训练的初始模型a经过复制处理后得到备份模型a’；待训练的初始模型a经过一个epoch训练后，得到训练后的初始模型A；将训练后的初始模型A按照(1-m1)的比例，以及备份模型a’按照m1的比例融合后得到目标平滑模型b。在下一次训练中，再将目标平滑模型b经过复制处理后得到备份模型b’，将目标平滑模型b进行一个周期的训练后得到训练后的初始模型B；再将训练后的初始模型B按照(1-m1)的比例，以及备份模型b’按照m1的比例融合后得到目标平滑模型c，以此类推。
若获取到的训练后的初始模型A对应的第一模型参数为A，以及获取到的备份模型a’对应的第二模型参数为a’，则第一融合权值为(1-m1)，第二融入权值为m1；进一步地，第一目标参数可表示为A×(1-m1)，第二目标参数可表示为a’×m1，而目标平滑模型b则根据第一目标参数A×(1-m1)与第二目标参数a’×m1融合得到。
上述过程还可表示为：
其中，m1是用于控制参数融合比例的超参数，即融合参数，G(.)表示根据融合参数m1进行融合，Θ表示模型当前的参数，
表示模型进行一个epoch训练，α表示减小后的学习率，D是样本图像数据集。
本实施例服务器通过融合权值与模型参数确定出与各个模型对应的目标参数，根据各个模型的目标参数进行融合后即得到目标平滑模型，并用于下一次的训练；融合过程中的运算简便，处理速度快；并且使用相同的融合权值进行融合能够使得目标平滑模型的各个部分在融合后保持对齐。
在又一个实施例中，如图6所示，为训练后的初始模型与备份模型进行融合的示意图，但该示意图中为经过多次epoch训练后再进行融合的方法；
其中，待训练的初始模型a经过复制处理后得到备份模型a’；待训练的初始模型a经过多个epoch训练后得到训练后的初始模型N；将训练后的初始模型N按照(1-m2)的比例，以及备份模型a’按照m1的比例融合后得到目标平滑模型。可以预见，在下一次以多个epoch作为一个周期的训练中，再将目标平滑模型又会作为新的待训练的初始模型，并通过复制得到新的备份模型，重复上述步骤直到训练完毕。
上述过程将参数融合拓展到更大的时间跨度，即多个epoch，可表示为：
其中，τ表示进行每次融合所间隔的epoch数量，m1是用于控制参数融合比例的超参数，即融合参数，G(.)表示根据融合参数m1进行融合，Θ表示模型当前的参数，
表示模型进行一个epoch训练，α表示减小后的学习率，D是样本图像数据集。
本实施例在进行融合过程中只需要获取一个未进行过训练更新的备份模型，因此不会消耗过多的存储空间，同时融合带来的额外计算也不会过多消耗资源，使得模型在训练中能够保持对于旧类别的图像分类准确率，提高了图像分类模型的训练效率和分类准确率。还需要说明的是模型融合的周期不限于上述的一个epoch或多个epoch，还可以是一个batch、多个batch等。
在一个实施例中，上述步骤23，在得到目标平滑模型之后，还包括：获取预先构建的准确率评价函数；通过预先构建的准确率评价函数，确定与目标平滑模型对应的准确率评价函数值，作为与目标平滑模型对应的训练评估结果。
其中，准确率评价函数是一种性能评估指标，该评估方法排除了新类别数据和模型新增加的输出层节点对于模型评估的影响，能够更客观地反映出模型的旧知识保留程度。
具体地，服务器通过调用预先构建的准确率评价函数对目标平滑模型进行准确率计算，得到对应的准确率评价函数值，能够得到与目标平滑模型对应的训练评估结果，提高了对目标平滑模型的评估效率和准确率。
在一个实施例中，预先构建的准确率评价函数，包括：
其中，OriAcc为预先构建的准确率评价函数，x为目标平滑模型的输入数据，Model(x)为目标平滑模型输出的与x对应的预测标签，y为与x对应的真实标签，count为输入数据的数量，t为模型训练的阶段，D为测试数据集。
具体地，在增量学习的每一个阶段，模型将会学习一个新的任务，任务包含多个新类别的数据。记增量学习的第t个阶段时，旧任务的测试数据为D0～t-1，新任务的测试数据为Dt，旧任务对应的模型输出层为Out0～t-1,新任务对应的模型输出层为Outt。传统的评估方法并不会区分新旧任务的测试数据和对应的模型输出层，而本申请中预先构建的准确率评价函数，不仅排除了新任务数据的影响，也排除了新任务导致模型新增的输出层对模型评估的影响，因此能够对目标平滑模型作出准确率的评价。
在一个实施例中，目标平滑模型输出的与x对应的预测标签可通过下述方式计算得到：
Model(x)＝argmaxi∈Out0～t-1pi；
其中，Model(x)为x对应的预测标签，pi为目标平滑模型的第i个输出层输出的回归系数大小，argmax为所有输出的回归系数中最大值所对应的索引。
具体地，预先构建的准确率评价函数在计算时只考虑与旧任务相关的数据和与旧任务相关的模型输出层，因此，使用预先构建的准确率评价函数能够更客观反应出模型对于旧任务的测试数据的识别准确率，排除了新任务带来的各种影响，从而能够更好地表示模型的知识保留程度。
应该理解的是，虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-4中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图7所示，提供了一种图像分类模型训练装置，包括：模型备份模块71、模型训练模块72和模型融合模块73，其中：
模型备份模块71，用于获取样本图像数据集，以及待训练的初始模型的备份模型；
模型训练模块72，用于将样本图像数据集中的数据划分为多个训练批次数据，并分别将各个训练批次数据输入待训练的初始模型进行训练，得到通过各个训练批次数据训练后的初始模型；
模型融合模块73，用于将训练后的初始模型与备份模型进行融合，得到目标平滑模型；多个训练批次数据还用于对目标平滑模型进行再次训练；目标平滑模型用于对图像进行分类。
在一个实施例中，模型备份模块71，还用于对初始模型进行复制处理，得到与初始模型一致的模型，并将与初始模型一致的模型作为备份模型。
在一个实施例中，模型融合模块73，还用于获取预设的融合参数；根据预设的融合参数，确定与训练后的初始模型对应的第一融合权值，以及与备份模型对应的第二融合权值；按照第一融合权值以及第二融合权值，将训练后的初始模型与备份模型进行融合，得到目标平滑模型。
在一个实施例中，模型融合模块73，还用于获取训练后的初始模型对应的第一模型参数，以及获取备份模型对应的第二模型参数；根据第一融合权值与第一模型参数，确定出与训练后的初始模型对应的第一目标参数；根据第二融合权值与第二模型参数，确定出与备份模型对应的第二目标参数；根据第一目标参数与第二目标参数，生成目标平滑模型。
在一个实施例中，图像分类模型训练装置中还包括准确率评价模块，用于获取预先构建的准确率评价函数；通过预先构建的准确率评价函数，确定与目标平滑模型对应的准确率评价函数值，作为与目标平滑模型对应的训练评估结果。
关于图像分类模型训练装置的具体限定可以参见上文中对于图像分类模型训练方法的限定，在此不再赘述。上述图像分类模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像分类模型训练数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像分类模型训练方法。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取样本图像数据集，以及待训练的初始模型的备份模型；
将样本图像数据集中的数据划分为多个训练批次数据，并分别将各个训练批次数据输入待训练的初始模型进行训练，得到通过各个训练批次数据训练后的初始模型；
将训练后的初始模型与备份模型进行融合，得到目标平滑模型；多个训练批次数据还用于对目标平滑模型进行再次训练；目标平滑模型用于对图像进行分类。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：对初始模型进行复制处理，得到与初始模型一致的模型，并将与初始模型一致的模型作为备份模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取预设的融合参数；根据预设的融合参数，确定与训练后的初始模型对应的第一融合权值，以及与备份模型对应的第二融合权值；按照第一融合权值以及第二融合权值，将训练后的初始模型与备份模型进行融合，得到目标平滑模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取训练后的初始模型对应的第一模型参数，以及获取备份模型对应的第二模型参数；根据第一融合权值与第一模型参数，确定出与训练后的初始模型对应的第一目标参数；根据第二融合权值与第二模型参数，确定出与备份模型对应的第二目标参数；根据第一目标参数与第二目标参数，生成目标平滑模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取预先构建的准确率评价函数；通过预先构建的准确率评价函数，确定与目标平滑模型对应的准确率评价函数值，作为与目标平滑模型对应的训练评估结果。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取样本图像数据集，以及待训练的初始模型的备份模型；
将样本图像数据集中的数据划分为多个训练批次数据，并分别将各个训练批次数据输入待训练的初始模型进行训练，得到通过各个训练批次数据训练后的初始模型；
将训练后的初始模型与备份模型进行融合，得到目标平滑模型；多个训练批次数据还用于对目标平滑模型进行再次训练；目标平滑模型用于对图像进行分类。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对初始模型进行复制处理，得到与初始模型一致的模型，并将与初始模型一致的模型作为备份模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取预设的融合参数；根据预设的融合参数，确定与训练后的初始模型对应的第一融合权值，以及与备份模型对应的第二融合权值；按照第一融合权值以及第二融合权值，将训练后的初始模型与备份模型进行融合，得到目标平滑模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取训练后的初始模型对应的第一模型参数，以及获取备份模型对应的第二模型参数；根据第一融合权值与第一模型参数，确定出与训练后的初始模型对应的第一目标参数；根据第二融合权值与第二模型参数，确定出与备份模型对应的第二目标参数；根据第一目标参数与第二目标参数，生成目标平滑模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取预先构建的准确率评价函数；通过预先构建的准确率评价函数，确定与目标平滑模型对应的准确率评价函数值，作为与目标平滑模型对应的训练评估结果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上各个实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种图像分类模型训练方法，其特征在于，所述方法包括：
获取样本图像数据集，以及待训练的初始模型的备份模型；
将所述样本图像数据集中的数据划分为多个训练批次数据，并分别将各个所述训练批次数据输入所述待训练的初始模型进行训练，得到通过各个所述训练批次数据训练后的初始模型；
将所述训练后的初始模型与所述备份模型进行融合，得到目标平滑模型；所述多个训练批次数据还用于对所述目标平滑模型进行再次训练；所述目标平滑模型用于对图像进行分类。
2.根据权利要求1所述的方法，其特征在于，所述备份模型通过以下方式获取，包括：
对所述初始模型进行复制处理，得到与所述初始模型一致的模型，并将与所述初始模型一致的模型作为所述备份模型。
3.根据权利要求1所述的方法，其特征在于，所述将训练后的初始模型与所述备份模型进行融合，得到目标平滑模型，包括：
获取预设的融合参数；
根据所述预设的融合参数，确定与所述训练后的初始模型对应的第一融合权值，以及与所述备份模型对应的第二融合权值；
按照所述第一融合权值以及第二融合权值，将所述训练后的初始模型与所述备份模型进行融合，得到所述目标平滑模型。
4.根据权利要求1所述的方法，其特征在于，所述按照所述第一融合权值以及第二融合权值，将所述训练后的初始模型与所述备份模型进行融合，得到所述目标平滑模型，包括：
获取所述训练后的初始模型对应的第一模型参数，以及获取所述备份模型对应的第二模型参数；
根据所述第一融合权值与所述第一模型参数，确定出与所述训练后的初始模型对应的第一目标参数；
根据所述第二融合权值与所述第二模型参数，确定出与所述备份模型对应的第二目标参数；
根据所述第一目标参数与所述第二目标参数，生成所述目标平滑模型。
5.根据权利要求1所述的方法，其特征在于，在得到目标平滑模型之后，还包括：
获取预先构建的准确率评价函数；
通过所述预先构建的准确率评价函数，确定与所述目标平滑模型对应的准确率评价函数值，作为与所述目标平滑模型对应的训练评估结果。
6.根据权利要求5所述的方法，其特征在于，所述预先构建的准确率评价函数，包括：
其中，OriAcc为所述预先构建的准确率评价函数，x为所述目标平滑模型的输入数据，Model(x)为所述目标平滑模型输出的与x对应的预测标签，y为与x对应的真实标签，count为输入数据的数量，t为模型训练的阶段，D为测试数据集。
7.根据权利要求6所述的方法，其特征在于，所述目标平滑模型输出的与x对应的预测标签可通过下述方式计算得到：
Model(x)＝arg maxi∈Out0～t-1pi；
其中，Model(x)为x对应的预测标签，pi为所述目标平滑模型的第i个输出层输出的回归系数大小，argmax为所有输出的回归系数中最大值所对应的索引。
8.一种图像分类模型训练装置，其特征在于，所述装置包括：
模型备份模块，用于获取样本图像数据集，以及待训练的初始模型的备份模型；
模型训练模块，用于将所述样本图像数据集中的数据划分为多个训练批次数据，并分别将各个所述训练批次数据输入所述待训练的初始模型进行训练，得到通过各个所述训练批次数据训练后的初始模型；
模型融合模块，用于将所述训练后的初始模型与所述备份模型进行融合，得到目标平滑模型；所述多个训练批次数据还用于对所述目标平滑模型进行再次训练；所述目标平滑模型用于对图像进行分类。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110516064.7A CN113222014A (zh) | 2021-05-12 | 2021-05-12 | 图像分类模型训练方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110516064.7A CN113222014A (zh) | 2021-05-12 | 2021-05-12 | 图像分类模型训练方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113222014A true CN113222014A (zh) | 2021-08-06 |
Family
ID=77094984
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110516064.7A Pending CN113222014A (zh) | 2021-05-12 | 2021-05-12 | 图像分类模型训练方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113222014A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114493052A (zh) * | 2022-04-08 | 2022-05-13 | 南方电网数字电网研究院有限公司 | 多模型融合自适应新能源功率预测方法和系统 |
| CN114612750A (zh) * | 2022-05-09 | 2022-06-10 | 杭州海康威视数字技术股份有限公司 | 自适应学习率协同优化的目标识别方法、装置及电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110059672A (zh) * | 2019-04-30 | 2019-07-26 | 福州大学 | 一种利用增量学习对显微镜细胞图像检测模型进行增类学习的方法 |
| CN111783630A (zh) * | 2020-06-29 | 2020-10-16 | 上海高德威智能交通系统有限公司 | 一种数据处理方法、装置及设备 |
| CN112115967A (zh) * | 2020-08-06 | 2020-12-22 | 中山大学 | 一种基于数据保护的图像增量学习方法 |
-
2021
- 2021-05-12 CN CN202110516064.7A patent/CN113222014A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110059672A (zh) * | 2019-04-30 | 2019-07-26 | 福州大学 | 一种利用增量学习对显微镜细胞图像检测模型进行增类学习的方法 |
| CN111783630A (zh) * | 2020-06-29 | 2020-10-16 | 上海高德威智能交通系统有限公司 | 一种数据处理方法、装置及设备 |
| CN112115967A (zh) * | 2020-08-06 | 2020-12-22 | 中山大学 | 一种基于数据保护的图像增量学习方法 |
Non-Patent Citations (2)
| Title |
|---|
| 吴定海 等: "《柴油机振动信号分析与故障诊断研究》", 31 December 2012, 国防工业出版社, pages: 173 - 174 * |
| 李念 等: "动态置信度的序列选择增量学习方法", 计算机系统应用, pages 129 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114493052A (zh) * | 2022-04-08 | 2022-05-13 | 南方电网数字电网研究院有限公司 | 多模型融合自适应新能源功率预测方法和系统 |
| CN114612750A (zh) * | 2022-05-09 | 2022-06-10 | 杭州海康威视数字技术股份有限公司 | 自适应学习率协同优化的目标识别方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109241903B (zh) | 样本数据清洗方法、装置、计算机设备及存储介质 | |
| US11537884B2 (en) | Machine learning model training method and device, and expression image classification method and device | |
| US10909455B2 (en) | Information processing apparatus using multi-layer neural network and method therefor | |
| CN111126574B (zh) | 基于内镜图像对机器学习模型进行训练的方法、装置和存储介质 | |
| CN111950656B (zh) | 图像识别模型生成方法、装置、计算机设备和存储介质 | |
| CN111126668B (zh) | 基于图卷积网络的Spark作业时间预测方法和装置 | |
| KR20180134739A (ko) | 전자 장치 및 학습 모델의 재학습 방법 | |
| US20180357539A1 (en) | Electronic apparatus and method for re-learning trained model | |
| KR20210032140A (ko) | 뉴럴 네트워크에 대한 프루닝을 수행하는 방법 및 장치 | |
| CN113837205B (zh) | 用于图像特征表示生成的方法、设备、装置和介质 | |
| JP7457125B2 (ja) | 翻訳方法、装置、電子機器及びコンピュータプログラム | |
| CN113222014A (zh) | 图像分类模型训练方法、装置、计算机设备和存储介质 | |
| US20210312261A1 (en) | Neural network search method and related apparatus | |
| CN110705489B (zh) | 目标识别网络的训练方法、装置、计算机设备和存储介质 | |
| CN111222046B (zh) | 服务配置方法、用于服务配置的客户端、设备及电子设备 | |
| CN112232426A (zh) | 目标检测模型的训练方法、装置、设备及可读存储介质 | |
| CN113919484A (zh) | 基于深度卷积神经网络模型的结构化剪枝方法和装置 | |
| CN113626610A (zh) | 知识图谱嵌入方法、装置、计算机设备和存储介质 | |
| CN113609337A (zh) | 图神经网络的预训练方法、训练方法、装置、设备及介质 | |
| CN114638823B (zh) | 基于注意力机制序列模型的全切片图像分类方法及装置 | |
| JP7073171B2 (ja) | 学習装置、学習方法及びプログラム | |
| US20220351533A1 (en) | Methods and systems for the automated quality assurance of annotated images | |
| US20230086727A1 (en) | Method and information processing apparatus that perform transfer learning while suppressing occurrence of catastrophic forgetting | |
| CN110533158B (zh) | 模型建构方法、系统及非易失性电脑可读取记录介质 | |
| CN111527502B (zh) | 用于部分数字再训练的系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Huang Shijia Inventor after: Liu Shu Inventor after: Shen Xiaoyong Inventor after: Lv Jiangbo Inventor before: Huang Shijia Inventor before: Liu Shu Inventor before: Jia Jiaya Inventor before: Shen Xiaoyong Inventor before: Lv Jiangbo |