CN117726884A - 对象类别识别模型的训练方法、对象类别识别方法及装置 - Google Patents
对象类别识别模型的训练方法、对象类别识别方法及装置 Download PDFInfo
- Publication number
- CN117726884A CN117726884A CN202410178190.XA CN202410178190A CN117726884A CN 117726884 A CN117726884 A CN 117726884A CN 202410178190 A CN202410178190 A CN 202410178190A CN 117726884 A CN117726884 A CN 117726884A
- Authority
- CN
- China
- Prior art keywords
- model
- sample
- training
- student
- category
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 253
- 238000000034 method Methods 0.000 title claims abstract description 152
- 238000012545 processing Methods 0.000 claims abstract description 92
- 230000004927 fusion Effects 0.000 claims abstract description 36
- 238000007499 fusion processing Methods 0.000 claims abstract description 11
- 230000008569 process Effects 0.000 claims description 33
- 238000003860 storage Methods 0.000 claims description 27
- 230000015654 memory Effects 0.000 claims description 21
- 238000009826 distribution Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 230000007423 decrease Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 10
- 238000013473 artificial intelligence Methods 0.000 abstract description 8
- 241000282326 Felis catus Species 0.000 description 16
- 238000012360 testing method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000004821 distillation Methods 0.000 description 10
- 238000001556 precipitation Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000009825 accumulation Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 238000011056 performance test Methods 0.000 description 6
- 238000013499 data model Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000013140 knowledge distillation Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 238000013526 transfer learning Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000499489 Castor canadensis Species 0.000 description 1
- 235000011779 Menyanthes trifoliata Nutrition 0.000 description 1
- 241001506047 Tremella Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- JJWKPURADFRFRB-UHFFFAOYSA-N carbonyl sulfide Chemical compound O=C=S JJWKPURADFRFRB-UHFFFAOYSA-N 0.000 description 1
- 241001233037 catfish Species 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 239000003381 stabilizer Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请公开了一种对象类别识别模型的训练方法、对象类别识别方法及装置，可以应用于云技术、人工智能、智慧交通、车联网等各种场景，所述方法包括：获取样本对象的新增样本图像；基于初始对象类别识别模型，构建教师模型以及学生模型；将新增样本图像输入教师模型进行对象类别识别处理，得到第一样本类别结果；对第一样本类别结果以及新增对象类别标签进行融合处理，得到样本融合标签；将新增样本图像输入学生模型进行对象类别识别处理，得到第二样本类别结果；基于第二样本类别结果与样本融合标签之间的差异，对学生模型进行训练，训练后的学生模型用于确定对象类别识别模型。本申请的模型训练方法大大缩短了训练时长，提高了模型更新效率。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种对象类别识别模型的训练方法、对象类别识别方法及装置。
背景技术
在基于AI的业务交付过程中，随着项目的进行，所收集到的用于训练深度神经网络模型的数据量会越来越大。尤其在视觉感知（基于图像或视频的识别、分割、检测等任务）领域，数据量很容易就累积到非常大。而在模型迭代时，不断累积的数据一方面增加了训练时间及训练卡数的消耗（增加业务成本），另一方面对于一些表现不好的应用场景数据（badcases）难以迅速进行响应和解决（降低业务效率）；而且，由于保密问题和商务权益问题，无法获取或使用历史数据的情况其实非常常见。
相关技术中使用全量数据进行模型迭代和使用增量数据进行模型微调。使用全量数据进行模型迭代时，如果数据量较大，训练消耗的卡数以及卡时都比较高，而且由于历史存量数据一般远大于增量数据，模型对新增badcases响应不高。使用增量数据进行迭代时，随着训练时间拉长或者微调次数增加，模型会逐渐偏移，导致对历史数据出现灾难性的知识遗忘，使模型整体能力快速下降而不稳定。增量学习方法主要针对类增量场景，这些方法更注重模型更新过程中的抗遗忘效果，尚无实例增量方法能够实现知识的累积。迁移学习只注重新数据上的表现，且其关注的域的变化通常较大，如卡通图片到自然场景的转变。
发明内容
本申请提供了一种对象类别识别模型的训练方法、对象类别识别方法及装置，可以在无法获取历史数据的前提下，基于新增样本数据对初始对象类别识别模型进行训练，在保证提高对象类别识别模型的准确率的同时，提高了模型的训练效率。
一方面，本申请提供了一种对象类别识别模型的训练方法，所述方法包括：
获取样本对象的新增样本图像；所述新增样本图像标注了新增对象类别标签；
基于初始对象类别识别模型，构建教师模型以及学生模型；所述初始对象类别识别模型为将所述样本对象的初始样本图像输入预设模型进行对象类别识别训练得到；所述初始样本图像标注了初始样本对象类别标签；所述初始样本对象类别标签不同于所述新增对象类别标签；
将所述新增样本图像输入所述教师模型进行对象类别识别处理，得到第一样本类别结果；
对所述第一样本类别结果以及所述新增对象类别标签进行融合处理，得到样本融合标签；
将所述新增样本图像输入所述学生模型进行对象类别识别处理，得到第二样本类别结果；
基于所述第二样本类别结果与所述样本融合标签之间的差异，对所述学生模型进行训练，训练后的学生模型用于确定对象类别识别模型，所述对象类别识别模型用于图像中所述新增对象类别标签的识别。
另一方面提供了一种对象类别识别方法，所述方法包括：
获取待识别对象的待识别图像；
将所述待识别图像输入对象类别识别模型进行对象类别识别处理，得到所述待识别对象的目标对象类别；
其中，所述对象类别识别模型为基于上述的训练方法训练得到。
另一方面提供了一种对象类别识别模型的训练装置，所述装置包括：
新增样本图像获取模块，用于获取样本对象的新增样本图像；所述新增样本图像标注了新增对象类别标签；
学生模型构建模块，用于基于初始对象类别识别模型，构建教师模型以及学生模型；所述初始对象类别识别模型为将所述样本对象的初始样本图像输入预设模型进行对象类别识别训练得到；所述初始样本图像标注了初始样本对象类别标签；所述初始样本对象类别标签不同于所述新增对象类别标签；
第一样本结果确定模块，用于将所述新增样本图像输入所述教师模型进行对象类别识别处理，得到第一样本类别结果；
样本标签融合模块，用于对所述第一样本类别结果以及所述新增对象类别标签进行融合处理，得到样本融合标签；
第二样本结果确定模块，用于将所述新增样本图像输入所述学生模型进行对象类别识别处理，得到第二样本类别结果；
学生模型训练模块，用于基于所述第二样本类别结果与所述样本融合标签之间的差异，对所述学生模型进行训练，训练后的学生模型用于确定对象类别识别模型，所述对象类别识别模型用于图像中所述新增对象类别标签的识别。
在一示例性实施方式中，所述装置还包括：
样本处理模块，用于对所述新增样本图像进行数据污染处理，得到样本处理数据，所述污染处理用于改变所述新增样本图像的分布；
第一损失确定模块，用于将所述样本处理数据分别输入所述教师模型以及所述学生模型，得到第一损失信息；
所述学生模型训练模块包括：
第二损失确定单元，用于基于所述第二样本类别结果与所述样本融合标签之间的差异，确定第二损失信息；
目标损失确定单元，用于基于所述第一损失信息以及所述第二损失信息，确定目标损失信息；
参数调整单元，用于基于所述目标损失信息，调整所述学生模型的模型参数。
在一示例性实施方式中，所述第一损失确定模块包括：
第三样本结果确定单元，用于将所述样本处理数据输入所述教师模型进行对象类别识别处理，得到第三样本类别结果；
第四样本结果确定单元，用于将所述样本处理数据输入所述学生模型进行对象类别识别处理，得到第四样本类别结果；
第一损失确定单元，用于基于所述第四样本类别结果与所述第三样本类别结果之间的差异，确定所述第一损失信息。
在一示例性实施方式中，所述装置还包括：
更新模块，用于在训练次数达到第一目标次数后，基于学生模型的模型参数对所述教师模型进行更新，得到所述对象类别识别模型，所述训练次数是指利用所述新增样本图像训练所述学生模型的次数。
在一示例性实施方式中，所述更新模块包括：
教师模型更新单元，用于基于学生模型的模型参数对所述教师模型进行更新，得到更新教师模型；
迭代更新单元，用于在所述训练次数达到所述第一目标次数后的训练过程中，基于学生模型的模型参数对所述更新教师模型进行迭代更新，得到所述对象类别识别模型。
在一示例性实施方式中，所述迭代更新单元包括：
模型更新子单元，用于在所述训练次数达到所述第一目标次数后，每经过第二目标次数的训练次数，基于所述学生模型的模型参数，对所述更新教师模型进行更新；
模型确定子单元，用于在训练结束后，将所述更新教师模型确定为所述对象类别识别模型。
在一示例性实施方式中，所述模型更新子单元包括：
当前参数获取子单元，用于每经过第二目标次数的训练次数，获取所述学生模型的当前模型参数；
目标参数确定子单元，用于基于指数移动平均算法对所述当前模型参数进行处理，得到目标模型参数；
更新子单元，用于基于所述目标模型参数对所述更新教师模型进行更新。
在一示例性实施方式中，所述目标参数确定子单元包括：
权重确定子单元，用于基于所述当前模型参数对应的训练次数，确定教师模型的第一权重以及学生模型的第二权重；所述第一权重随着训练次数的增加而减小，所述第二权重随着训练次数的增加而增大；
参数处理子单元，用于基于所述第一权重、所述第二权重以及所述指数移动平均算法，对所述当前模型参数进行处理，得到所述目标模型参数。
在一示例性实施方式中，所述装置还包括：
初始图像获取模块，用于获取所述样本对象的所述初始样本图像；
初始结果确定模块，用于将所述初始样本图像输入所述预设模型进行对象类别识别处理，得到初始样本类别结果；
样本损失确定模块，用于基于所述初始样本类别结果与所述初始样本对象类别标签之间的差异，确定样本损失信息；
初始模型确定模块，用于基于所述样本损失信息调整所述预设模型的模型参数直至满足训练结束条件，将训练结束时的预设模型确定为所述初始对象类别识别模型。
另一方面提供了一种对象类别识别装置，所述装置包括：
待识别图像获取模块，用于获取待识别对象的待识别图像；
目标对象类别确定模块，用于将所述待识别图像输入对象类别识别模型进行对象类别识别处理，得到所述待识别对象的目标对象类别；
其中，所述对象类别识别模型为基于上述的训练方法训练得到。
另一方面提供了一种电子设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上所述的对象类别识别模型的训练方法或对象类别识别方法。
另一方面提供了一种计算机存储介质，所述计算机存储介质存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如上所述的对象类别识别模型的训练方法或对象类别识别方法。
另一方面提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行以实现如上所述的对象类别识别模型的训练方法或对象类别识别方法。
本申请提供的对象类别识别模型的训练方法、对象类别识别方法及装置，具有如下技术效果：
本申请公开了一种对象类别识别模型的训练方法，包括：获取样本对象的新增样本图像；所述新增样本图像标注了新增对象类别标签；基于初始对象类别识别模型，构建教师模型以及学生模型；所述初始对象类别识别模型为将所述样本对象的初始样本图像输入预设模型进行对象类别识别训练得到；所述初始样本图像标注了初始样本对象类别标签；所述初始样本对象类别标签不同于所述新增对象类别标签；将所述新增样本图像输入所述教师模型进行对象类别识别处理，得到第一样本类别结果；对所述第一样本类别结果以及所述新增对象类别标签进行融合处理，得到样本融合标签；将所述新增样本图像输入所述学生模型进行对象类别识别处理，得到第二样本类别结果；基于所述第二样本类别结果与所述样本融合标签之间的差异，对所述学生模型进行训练，训练后的学生模型用于确定对象类别识别模型，所述对象类别识别模型用于图像中所述新增对象类别标签的识别。本申请在模型更新训练的过程中，不需要获取初始样本图像，仅利用新增样本图像对初始对象类别识别模型进行训练，能够在学习新数据提升模型性能的同时不遗忘历史知识，达到跟全量数据模型相似的知识累积效果，且相对于全量数据的训练过程，本申请的模型训练方法大大缩短了训练时长，提高了模型更新效率。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本说明书实施例提供的一种对象类别识别模型的训练系统的示意图；
图2是本说明书实施例提供的一种对象类别识别模型的训练方法的流程示意图；
图3是本说明书实施例提供的一种初始对象类别识别模型的训练方法的流程示意图；
图4是本说明书实施例提供的一种将所述样本处理数据分别输入所述教师模型以及所述学生模型，得到第一损失信息的方法的流程示意图；
图5是本说明书实施例提供的一种基于所述第二样本类别结果与所述样本融合标签之间的差异，对所述学生模型进行训练的方法的流程示意图；
图6是本说明书实施例提供的一种基于目标损失信息，得到对象类别识别模型的方法的流程示意图；
图7是本说明书实施例提供的一种基于所述更新学生模型的模型参数对所述教师模型进行更新，得到所述对象类别识别模型的方法的流程示意图；
图8是本说明书实施例提供的一种基于所述目标损失信息，调整所述学生模型的模型参数直至满足训练结束条件，将训练结束时的学生模型作为更新学生模型的方法的流程示意图；
图9是本说明书实施例提供的一种对所述更新学生模型以及所述更新教师模型进行迭代更新，得到所述对象类别识别模型的方法的流程示意图；
图10是本说明书实施例提供的一种基于多批新增数据对多个模型进行更新训练得到的性能测试曲线；
图11是本实施例与现有技术的模型训练框架对比图；
图12是本说明书实施例提供的一种的对象类别识别方法的流程示意图；
图13是本说明书实施例提供的一种采用Cifar-100数据集对现有技术的模型以及本方案训练得到的模型进行性能测试的测试曲线图；
图14是本说明书实施例提供的一种采用imagenet-100数据集对现有技术的模型以及本方案训练得到的模型进行性能测试的测试曲线图；
图15是本说明书实施例提供的一种对象类别识别模型的训练装置的结构示意图；
图16是本说明书实施例提供的一种对象类别识别装置的结构示意图；
图17是本说明书实施例提供的一种服务器的结构示意图。
具体实施方式
下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
首先，在对本说明书实施例进行描述的过程中出现的部分名词或者术语作如下解释：
1.全量数据模型：指利用已积累的所有数据进行模型训练迭代得到的深度学生模型。
2.增量数据：指新增数据，通常带有标注，其数据量通常远小于全量数据。
3.badcase数据：现有深度学生模型解决不好的场景数据或者说难点数据，比如说识别苹果模型，那些识别不出的苹果图像就是badcases。
4.epoch：深度学生模型使用所有训练数据完成一次训练的过程。
5.batch：由于CPU或者GPU内存容量有限，通常没法对所有数据一次进行训练，而会将所有数据划分成多个组依次进行训练。这样所形成的一组数据就叫一个batch，每个batch中的数据量就叫batchsize。
机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
深度学习：深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。本实施例的方法通过深度学习训练得到对象类别识别模型。
云技术（Cloud technology）基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。
私有云（Private Cloud）是将云基础设施与软硬件资源创建在防火墙内，以供机构或企业内各部门共享数据中心内的资源。创建私有云，除了硬件资源外，一般还有云设备（IaaS，Infrastructure as a Service，基础设施即服务）软件。
私有云计算同样包含云硬件、云平台、云服务三个层次。不同的是，云硬件是用户自己的个人电脑或服务器，而非云计算厂商的数据中心。云计算厂商构建数据中心的目的是为千百万用户提供公共云服务，因此需要拥有几十上百万台服务器。私有云计算，对个人来说只服务于亲朋好友，对企业来说只服务于本企业员工以及本企业的客户和供应商，因此个人或企业自己的个人电脑或服务器已经足够用来提供云服务。本实施例的方法应用于对云平台中图像进行对象类别的识别。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例中，术语“模块”或“单元”是指有预定功能的计算机程序或计算机程序的一部分，并与其他相关部分一起工作以实现预定目标，并且可以通过使用软件、硬件（如处理电路或存储器）或其组合来全部或部分实现。同样的，一个处理器（或多个处理器或存储器）可以用来实现一个或多个模块或单元。此外，每个模块或单元都可以是包含该模块或单元功能的整体模块或单元的一部分。
请参阅图1，图1是本说明书实施例提供的一种对象类别识别模型的训练系统的示意图，如图1所示，该对象类别识别模型的训练系统可以至少包括服务器01和客户端02。
具体的，本说明书实施例中，所述服务器01可以包括一个独立运行的服务器，或者分布式服务器，或者由多个服务器组成的服务器集群，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络（Content Delivery Network，CDN）、以及大数据和人工智能平台等基础云计算服务的云服务器。服务器01可以包括有网络通信单元、处理器和存储器等等。具体的，所述服务器01可以用于对学生模型进行训练，得到对象类别识别模型。
具体的，本说明书实施例中，所述客户端02可以包括智能手机、台式电脑、平板电脑、笔记本电脑、数字助理、智能可穿戴设备、智能音箱、车载终端、智能电视等类型的实体设备，也可以包括运行于实体设备中的软体，例如一些服务商提供给用户的网页页面，也可以为该些服务商提供给用户的应用。具体的，所述客户端02可以用于在线查询待识别对象的待识别图像的目标对象类别。
以下介绍本申请的一种对象类别识别模型的训练方法，图2是本说明书实施例提供的一种对象类别识别模型的训练方法的流程示意图，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行（例如并行处理器或者多线程处理的环境）。具体的如图2所示，所述方法可以包括：
S201：获取样本对象的新增样本图像；所述新增样本图像标注了新增对象类别标签。
在本说明书实施例中，样本图像可以为对样本对象进行拍摄得到的图像，或者从样本对象对应的样本视频中提取的图像，一个样本对象可以对应一个或多个样本图像；样本对象可以包括但不限于自然界的实体或虚拟对象。在不同的应用场景中，样本对象不同；例如，样本对象可以为自然界的动物或植物，本实施例可以对自然界的动物或植物进行分类；样本对象还可以为电子产品，可以对电子产品进行分类等。新增对象类别标签可以表征新增样本图像中样本对象的类别；例如，样本对象为猫时，新增对象类别标签可以为折耳猫等。
示例性的，新增样本图像可以为一个或多个；新增对象类别标签可以为一种或多种；可以通过图像识别方法，对新增样本图像进行标签标注，还可以通过人工标注新增样本图像的新增对象类别标签。
S203：基于初始对象类别识别模型，构建教师模型以及学生模型；所述初始对象类别识别模型为将所述样本对象的初始样本图像输入预设模型进行对象类别识别训练得到；所述初始样本图像标注了初始样本对象类别标签；所述初始样本对象类别标签不同于所述新增对象类别标签。
在本说明书实施例中，新增对象类别标签表征新增样本图像为相对于初始样本图像的新增对象；可以将所述样本对象的初始样本图像输入预设模型进行对象类别识别训练得到初始对象类别识别模型；当存在新增样本图像时，可以在初始对象类别识别模型的基础上继续进行模型更新，从而可以提高更新模型识别对象类别的多样性。所述初始样本对象类别标签不同于所述新增对象类别标签；例如，样本对象为猫时，新增对象类别标签可以为折耳猫，初始样本对象类别标签可以包括狸花猫、加菲猫、波斯猫等。初始对象类别识别模型仅能识别出狸花猫、加菲猫、波斯猫；那么更新后的对象类别识别模型不仅可以识别狸花猫、加菲猫、波斯猫，同时还可以识别出新增对象类别标签对应的折耳猫。
示例性的，可以对初始对象类别识别模型进行复制，分别得到教师模型以及学生模型；初始的教师模型以及学生模型为完全相同的模型，且均为初始对象类别识别模型。大模型往往是单个复杂网络或者是若干网络的集合，拥有良好的性能和泛化能力，而小模型因为网络规模较小，表达能力有限。因此，可以利用大模型学习到的知识去指导小模型训练，使得小模型具有与大模型相当的性能，但是参数数量大幅降低，从而实现模型压缩与加速，这就是知识蒸馏与迁移学习在模型优化中的应用。知识蒸馏采取Teacher-Student模式：将复杂且大的模型作为Teacher（教师模型），Student（学生模型）结构较为简单，用Teacher来辅助Student模型的训练，Teacher学习能力强，可以将它学到的知识迁移给学习能力相对弱的Student模型，以此来增强Student模型的泛化能力。
在本说明书实施例中，如图3所示，所述初始对象类别识别模型的训练方法包括：
S301：获取所述样本对象的所述初始样本图像；
S303：将所述初始样本图像输入所述预设模型进行对象类别识别处理，得到初始样本类别结果；
S305：基于所述初始样本类别结果与所述初始样本对象类别标签之间的差异，确定样本损失信息；
S307：基于所述样本损失信息调整所述预设模型的模型参数直至满足训练结束条件，将训练结束时的预设模型确定为所述初始对象类别识别模型。
在本说明书实施例中，初始样本图像与新增样本图像为同一类样本对象对应的图像，且为不同的类别；预设模型可以为分类模型或分类网络，可以将初始样本图像输入所述预设模型进行图像特征提取，得到样本初始图像特征，再对样本初始图像特征进行对象类别识别处理，得到初始样本类别结果；然后根据所述初始样本类别结果与所述初始样本对象类别标签之间的差异，计算样本损失信息；并根据样本损失信息调整所述预设模型的模型参数直至满足训练结束条件，训练结束条件可以包括但不限于样本损伤信息小于预设损失阈值、样本损伤信息小于预设损失阈值且模型训练的迭代次数达到目标次数。最后将训练结束时的预设模型确定为所述初始对象类别识别模型。
在本说明书实施例中，可以根据初始样本图像对预设模型进行训练，快速、准确得到初始对象类别识别模型，从而可以当存在新增样本图像时，在初始对象类别识别模型的基础上进行模型更新，提高模型更新效率。
S205：将所述新增样本图像输入所述教师模型进行对象类别识别处理，得到第一样本类别结果。
在本说明书实施例中，可以将所述新增样本图像输入所述教师模型，基于教师模型提取样本图像的图像特征，并根据提取的图像特征进行对象类别识别处理，得到第一样本类别结果；第一样本类别结果与新增对象类别标签为同类型的数据。
在本说明书实施例中，基于初始对象类别识别模型构建教师模型以及学生模型之后，可以将新增样本图像输入所述教师模型进行对象类别识别处理，得到第一样本类别结果；从而根据教师模型的输出结果对学生模型进行训练。
S207：对所述第一样本类别结果以及所述新增对象类别标签进行融合处理，得到样本融合标签。
在本说明书实施例中，可以将第一样本类别结果以及所述新增对象类别标签进行融合处理，融合过程如下述公式（1）所示：
其中，为对应于第k类的one-hot（独热）标注标签，/>为对应于第j类的one-hot标注标签，/>为教师模型将新增样本图像预测为第k类的分值，/>为教师模型将新增样本图像预测为第j类的分值，/>为平滑温度。融合后的标签/>将会包含已有模型的决策边界信息，同时又能纠正教师模型的错误。
S209：将所述新增样本图像输入所述学生模型进行对象类别识别处理，得到第二样本类别结果。
在本说明书实施例中，可以将新增样本图像输入所述学生模型，基于学生模型提取新增样本图像的图像特征，并根据提取的图像特征进行对象类别识别处理，得到第二样本类别结果。
S2011：基于所述第二样本类别结果与所述样本融合标签之间的差异，对所述学生模型进行训练，得到对象类别识别模型。
在本说明书实施例中，可以根据第二样本类别结果与所述样本融合标签之间的差异，构建目标损失信息，并通过目标损失信息对所述学生模型进行训练，从而将训练后的学生模型作为对象类别识别模型，还可以根据训练得到的模型进一步得到对象类别识别模型。
在一示例性实施例中，所述获取样本对象的新增样本图像之后，所述方法还包括：
对所述新增样本图像进行数据污染处理，得到样本处理数据，所述污染处理用于改变所述新增样本图像的分布；
将所述样本处理数据分别输入所述教师模型以及所述学生模型，得到第一损失信息。
在本说明书实施例中，在学生模型的训练过程中，考虑到无法获取历史数据，而新数据又相对较少，通过公式（1）保留的边界信息有限。本实施例进一步提出了污染输入空间的方法进行更多的决策边界信息蒸馏。通过数据污染处理用于对样本数据进行扩充，数据污染处理可以包括但不限于对新增样本图像增加高斯噪声、其他噪声或数据变换处理，得到样本处理数据；该样本处理数据不具备标签，通过无监督训练确定第一损失信息。
示例性的，随机将强高斯噪声加入到新增样本图像上，实现新增样本图像在模型决策空间中的重新分布，让尽可能多的样本分布在决策周边，从而在污染后的数据上进行知识蒸馏，达到完整边界蒸馏的效果。高斯噪声是指它的概率密度函数服从高斯分布Q(即正态分布)的一类噪声。常见的高斯噪声包括起伏噪声、宇宙噪声、热噪声和散粒噪声等等。除常用抑制噪声的方法外，对高斯噪声的抑制方法常常采用数理统计方法。如果一个噪声，它的幅度分布服从高斯分布，而它的功率谱密度又是均匀分布的，则称它为高斯白噪声。高斯白噪声的二阶矩不相关，一阶矩为常数，是指先后信号在时间上的相关性。高斯口噪声包括热噪声和散粒噪声。在通信信道测试和建模中，高斯噪声被用作加性白噪声以产生加性白高斯噪声。输入空间污染的方式如公式（2）所示，其中，为新增样本图像，/>为污染后的样本处理数据，/>表示对新增样本图像的标准化操作，/>为具有均值/>和方差/>的高斯噪声。
在本说明书实施例中，如图4所示，所述将所述样本处理数据分别输入所述教师模型以及所述学生模型，得到第一损失信息，包括：
S401：将所述样本处理数据输入所述教师模型进行对象类别识别处理，得到第三样本类别结果；
S403：将所述样本处理数据输入所述学生模型进行对象类别识别处理，得到第四样本类别结果；
S405：基于所述第四样本类别结果与所述第三样本类别结果之间的差异，确定所述第一损失信息。
在本说明书实施例中，可以将样本处理数据分别输入教师模型以及学生模型，得到第三样本类别结果以及第四样本类别结果；并根据第三样本类别结果以及第四样本类别结果进行无监督训练，根据所述第四样本类别结果与所述第三样本类别结果之间的差异，确定所述第一损失信息。
示例性的，如图5所示，所述基于所述第二样本类别结果与所述样本融合标签之间的差异，对所述学生模型进行训练，包括：
S20111：基于所述第二样本类别结果与所述样本融合标签之间的差异，确定第二损失信息；
在本说明书实施例中，可以根据第二样本类别结果与所述样本融合标签进行有监督训练，通过计算第二样本类别结果与所述样本融合标签之间的差异得到第二损失信息。
S20113：基于所述第一损失信息以及所述第二损失信息，确定目标损失信息；
在本说明书实施例中，可以计算第一损失信息与第二损失信息之和，得到目标损失信息；还可以分别设置第一损失信息与第二损失信息各自对应的权重，并计算第一损失信息与第二损失信息的加权和，得到目标损失信息。
S20115：基于所述目标损失信息，调整所述学生模型的模型参数。
在本说明书实施例中，整个决策边界蒸馏过程，即目标损失信息对应的损失函数如公式（3）所示，在新增样本图像上，通过使用融合标签同时实现边界蒸馏和新知识学习效果，在污染后的数据上，主要进行边界蒸馏。公式（3）用于训练学生模型，N为新增样本图像的数量，/>为第二损失信息对应的第二损失函数，/>为第一损失信息对应的第一损失函数，/>为第一损失函数的权重。
/>
在一些实施例中，可以基于所述目标损失信息，调整所述学生模型的模型参数直至满足训练结束条件，并将训练结束时的学生模型作为对象类别识别模型；还可以通过训练结束时的学生模型的模型参数，对教师模型进行知识沉淀（KC），并将最终的教师模型作为对象类别识别模型。
在本说明书实施例中，如图6所示，所述方法还包括：
S601：基于所述目标损失信息，调整所述学生模型的模型参数直至满足训练结束条件，将训练结束时的学生模型作为更新学生模型；
S603：基于所述更新学生模型的模型参数对所述教师模型进行更新，得到所述对象类别识别模型。
在本说明书实施例中，可以根据目标损失信息调整学生模型的模型参数直至满足训练结束条件，训练结束条件可以包括目标损失信息小于预设阈值或目标损失信息小于预设阈值且迭代次数达到预设次数；然后将训练结束时的学生模型作为更新学生模型。
在本说明书实施例中，所述基于所述更新学生模型的模型参数对所述教师模型进行更新，得到所述对象类别识别模型，包括：
基于所述更新学生模型的模型参数对所述教师模型进行更新，得到更新教师模型；
对所述更新学生模型以及所述更新教师模型进行迭代更新，得到所述对象类别识别模型。
在本说明书实施例中，如图7所示，所述基于所述更新学生模型的模型参数对所述教师模型进行更新，得到所述对象类别识别模型，包括：
S6031：获取所述更新学生模型的当前模型参数；
S6033：基于指数移动平均算法对所述当前模型参数进行处理，得到目标模型参数；
S6035：基于所述目标模型参数对所述教师模型进行更新，得到所述对象类别识别模型。
在本说明书实施例中，指数移动平均（Exponential Moving Average，EMA）也叫权重移动平均（Weighted Moving Average），是一种给予近期数据更高权重的平均方法。可以通过指数移动平均算法对更新学生模型的当前模型参数进行处理，得到目标模型参数；并采用目标模型参数替换教师模型中的模型参数，实现对教师模型的更新，得到所述对象类别识别模型。
在一些实施例中，所述方法还包括：
在训练次数达到第一目标次数后，基于学生模型的模型参数对所述教师模型进行更新，得到所述对象类别识别模型，所述训练次数是指利用所述新增样本图像训练所述学生模型的次数。
示例性的，所述在训练次数达到第一目标次数后，基于学生模型的模型参数对所述教师模型进行更新，得到所述对象类别识别模型，包括：
基于学生模型的模型参数对所述教师模型进行更新，得到更新教师模型；
在所述训练次数达到所述第一目标次数后的训练过程中，基于学生模型的模型参数对所述更新教师模型进行迭代更新，得到所述对象类别识别模型。
在本说明书实施例中，在训练次数达到第一目标次数后，可以根据学生模型的模型参数对所述教师模型进行更新，得到更新教师模型；并在所述训练次数达到所述第一目标次数后的训练过程中，根据学生模型的模型参数对所述更新教师模型进行迭代更新，从而可以快速训练得到所述对象类别识别模型。
在一些实施例中，所述在所述训练次数达到所述第一目标次数后的训练过程中，基于学生模型的模型参数对所述更新教师模型进行迭代更新，得到所述对象类别识别模型，包括：
在所述训练次数达到所述第一目标次数后，每经过第二目标次数的训练次数，基于所述学生模型的模型参数，对所述更新教师模型进行更新；
在训练结束后，将所述更新教师模型确定为所述对象类别识别模型。
在本说明书实施例中，所述每经过第二目标次数的训练次数，基于所述学生模型的模型参数，对所述更新教师模型进行更新，包括：
每经过第二目标次数的训练次数，获取所述学生模型的当前模型参数；
基于指数移动平均算法对所述当前模型参数进行处理，得到目标模型参数；
基于所述目标模型参数对所述更新教师模型进行更新。
在本说明书实施例中，第一目标次数可以根据实际情况进行设置，例如第一目标次数可以设置为10个epoch；可以设置第二目标次数小于第一目标次数，示例性的，第二目标次数可以设置为5个epoch；在所述训练次数达到所述第一目标次数后，每经过第二目标次数的训练次数，基于所述学生模型的模型参数，对所述更新教师模型进行更新；从而可以快速训练得到准确率较高的对象类别识别模型。
在一些实施例中，所述基于指数移动平均算法对所述当前模型参数进行处理，得到目标模型参数，包括：
基于所述当前模型参数对应的训练次数，确定教师模型的第一权重以及学生模型的第二权重；所述第一权重随着训练次数的增加而减小，所述第二权重随着训练次数的增加而增大；
基于所述第一权重、所述第二权重以及所述指数移动平均算法，对所述当前模型参数进行处理，得到所述目标模型参数。
在本说明书实施例中，普通的模型EMA操作并不具备知识沉淀的能力。其在模型迭代的每一步都进行模型参数指数平均，导致教师模型和学生模型迅速同质化，从而决策边界的蒸馏失效，导致模型出现严重的遗忘而过拟合到新数据上。因而本实施例提出一种适合知识沉淀的动态知识沉淀KC-EMA操作。其通过设置一个只训练学生模型的冻结窗口，保证模型参数的EMA只发生在学生模型得到充分训练以及学习新知识之后。
示例性的，将该时间窗设置为10个epoch，一个epoch为深度学习模型使用所有训练数据完成一次训练的过程。即KC-EMA在学生模型训练10个epoch后开始执行。其执行过程为每5个epoch执行一次KC-EMA，且EMA的更新momentum（）设置为一个随训练epoch增加而增加的动态值，如公式（4）所示：
（4）
其中，为第一权重，/>为/>的初始值，e为一个epoch，/>是指初始epoch。公式（4）会随着学生模型在不断增强，加速从学生模型到教师模型的知识沉淀过程。
EMA对应的更新公式（5）如下所示，为教师模型的参数，/>为学习模型的参数；第一权重/>作用于教师模型；在模型更新过程中，/>越来越小；/>为第二权重，作用于学生模型上，所以学生模型的权重值越来越大。
（5）
本方案所提出的方法中，学生模型S其实充当了一个快速学习新数据的角色，而教师模型T则是一个慢学习者，是新旧知识的平衡稳定器。
示例性的，如图8所示，所述基于所述目标损失信息，调整所述学生模型的模型参数直至满足训练结束条件，将训练结束时的学生模型作为更新学生模型，包括：
S6011：将所述新增样本图像输入所述学生模型进行一次训练得到的目标损失信息，确定为初始损失信息；
S6013：基于所述初始损失信息调整所述学生模型的模型参数直至满足训练次数达到第一目标次数，将训练结束时的学生模型作为所述更新学生模型。
在本说明书实施例中，第一目标次数可以根据实际情况进行设置，例如第一目标次数可以设置为10个epoch；在进行一次训练之后，可以根据初始损失信息调整所述学生模型的模型参数直至满足训练次数达到第一目标次数，将训练结束时的学生模型作为所述更新学生模型。
示例性的，可以基于所述新增样本图像对所述更新学生模型进行训练，当训练过程中的训练次数每达到第二目标次数时，获取当前学生模型的模型参数；再基于所述当前学生模型的模型参数，对所述更新教师模型进行更新，得到所述对象类别识别模型。
在本说明书实施例中，如图9所示，所述对所述更新学生模型以及所述更新教师模型进行迭代更新，得到所述对象类别识别模型，包括：
S901：将所述更新学生模型作为当前学生模型，将所述更新教师模型作为当前教师模型；
S903：基于所述新增样本图像对所述当前学生模型进行训练直至训练次数达到第二目标次数；
S905：将训练结束时的当前学生模型重新作为当前学生模型，并获取所述当前学生模型的模型参数；
S907：基于所述当前学生模型的模型参数，对所述当前教师模型进行更新，并将更新后的当前教师模型重新作为当前教师模型；
S909：重复所述基于所述新增样本图像对所述当前学生模型进行训练直至训练次数达到第二目标次数，至所述基于所述当前学生模型的模型参数，对所述当前教师模型进行更新，并将更新后的当前教师模型重新作为当前教师模型的步骤直至满足更新结束条件；
S9011：将满足更新结束条件时的当前教师模型确定为所述对象类别识别模型。
在本说明书实施例中，可以设置第二目标次数小于第一目标次数，示例性的，第二目标次数可以设置为5个epoch；将所述更新学生模型作为当前学生模型，将所述更新教师模型作为当前教师模型；基于所述新增样本图像对所述当前学生模型进行训练直至训练次数达到第二目标次数；将训练结束时的当前学生模型重新作为当前学生模型，并获取所述当前学生模型的模型参数；基于所述当前学生模型的模型参数，对所述当前教师模型进行更新，并将更新后的当前教师模型重新作为当前教师模型；再跳转至所述基于所述新增样本图像对所述当前学生模型进行训练直至训练次数达到第二目标次数的步骤并进行后续步骤的重复，当训练过程中的训练次数每达到第二目标次数时，获取当前学生模型的模型参数；基于所述当前学生模型的模型参数，对所述更新教师模型进行更新，得到所述对象类别识别模型，从而在训练过程中不断交替更新学习模型与教师模型的模型参数，从而提高对象类别识别模型的准确率。
在本说明书实施例中，还可以增加部分历史数据一起用于训练。人工智能（AI）的落地应用很大程度上受限于模型的复杂更新过程或者说对新增难点数据的响应速度。由于深度学习模型通常要训练很长时间，使得运营成本高居不下的同时，难以快速响应业务中遇到的问题。这些问题使得AI系统的部署常常难以获得信任和认可。而且深度学习模型通常需要保有全部数据进行训练，在由于保密等因素导致的数据缺失场景或者数据存储成本有限的场景中，模型的更新升级难以完成，进一步限制了AI模型的应用。本方法提出的实例增量学习方法，可以使得模型迭代更新的过程大大加快（降低成本），同时保持和全量数据模型相似的知识累积效果（增效）。本实施例的方法可以在无历史数据的情况下，既不遗忘旧知识又能够学习新知识。
示例性的，如图10所示，图10为一种基于多批新增数据对多个模型进行更新训练得到的性能测试曲线，其中，图10中（A）图为基于全量数据训练得到的模型、基于模型微调得到的模型以及本实施例得到的对象类别识别模型各自对应的性能测试曲线，该测试曲线表征任务标识与准确率的对应关系，多个任务标识对应同一类型的任务，不同的任务标识对应不同的新增数据；曲线包括遗忘区域以及提升区域，其中，遗忘区域是指未采用新增数据之前的历史数据进行模型训练得到的准确率结果区域，提升区域是指模型训练过程中考虑了新增数据之前的历史数据得到的准确率结果区域；曲线a为基于全量数据训练得到的模型对应的性能测试曲线，曲线b为基于模型微调得到的模型对应的性能测试曲线，曲线c为本实施例得到的对象类别识别模型对应的性能测试曲线；图10中（B）图为图10中（A）图的各个模型对应的模型流M和数据流D。在初始阶段，一般会收集足够的数据训练一版初始模型M0。随着业务进行，同类但形态上略有区别的新数据不断开始出现，比如产线上一般会重点挖掘badcases进行模型迭代，提升模型能力。假设第一批新数据/>到来，由于无法获取到历史数据，通常仅使用新数据/>对模型M0进行迭代训练。训练之后的模型M0将更新成M1。以此类推，形成了一个持续且快速更新的模型流。模型更新的过程中，能够像使用全量数据训练得到的模型一样，实现知识的快速累积。可见，本实施例每次更新训练得到的模型的准确率远高于基于模型微调得到的模型的准确率，且略低于基于全量数据训练得到的模型；但是基于全量数据训练得到的模型的训练时长远高于本实施例中模型的训练时长。
如图11所示，图11为本实施例与现有技术的模型训练框架对比图；图11中（a）图为现有技术中基于知识蒸馏训练教师模型（T）与学生模型（S）的框架图；图11中（b）图为本实施例的带有知识沉淀的决策边界蒸馏方法训练教师模型（T）与学生模型（S）的框架图；现有技术将历史数据同时输入教师模型、学生模型，根据两种模型输出的预测结果确定第一损失数据，根据第一损失数据得到更新的学生模型，然后仅采用新数据（new data）对更新的学习模型进行更新，即将新数据输入更新的学生模型，基于更新的学生模型输出的第三预测结果与新数据对应的对象类别标签确定第二损失数据，并根据第二损失数据得到应用模型；而本实施例将新数据（新增样本图像）同时输入教师模型以及学习模型，通过教师模型的输出结果对学习模型进行训练，再通过训练后的学生模型对教师模型进行知识沉淀，最后将教师模型作为应用模型。具体训练过程为：将初始样本对象分别输入教师模型、学生模型，得到第一历史类别结果、第二历史类别结果，并计算得到样本损失信息；当存在新增样本图像时，将新增样本图像分别输入上一次训练得到的教师模型以及学生模型，根据教师模型以及学生模型的输出结果确定第一损失信息；根据教师模型输出的第一样本类别结果以及新增样本图像对应的新增对象类别标签，得到样本融合标签，再根据学生模型输出的第二样本类别结果以及样本融合标签，得到第二损失信息；最后根据第一损失信息、第二损失信息确定目标损失信息；然后根据目标损失信息调整学生模型的参数，再通过训练后的学生模型对教师模型进行知识沉淀，最后将教师模型作为应用模型（对象类别识别模型）。
本实施例的方法可以在没有历史数据的情况下进行模型迭代，提升模型的能力，且不遗忘已学习到的能力，既节约了时间，又提升了对业务场景难点数据的响应效率。综合来讲，本技术方案主要能够解决以下几点问题：
1）减少训练时间和图形处理器（graphics processing unit，GPU）卡数的消耗，提升对应用场景难点数据的响应速度和效率：只使用新增数据在已有模型基础上进行迭代训练，因而相比于使用全量数据从零开始训练更节省时间，需要更少的GPU。业务场景中，难点数据（badcases）传回后，一般结合历史数据使用所有数据重新进行模型迭代。这种方法除了耗时较长，还会可能导致难点数据在所有数据中的比重较低，训练完成后模型对这部分新增数据的感知能力的提升并不大。本方法仅涉及新增难点数据，可以有效避免这个问题。
2）知识累积和知识遗忘问题：传统模型的微调由于只使用新增数据进行模型微调，容易导致对过去知识的遗忘。本方法通过决策边界的蒸馏有助于缓解遗忘问题，同时通过边界拓展和知识沉淀，首次在蒸馏基础之上，实现模型的知识累积。
3）无历史数据时，模型的更新升级问题。
4）本方法可以简易植入任何模型的训练中，具备广泛的推广应用前景。
由以上本说明书实施例提供的技术方案可见，本说明书实施例公开了一种对象类别识别模型的训练方法，包括：获取样本对象的新增样本图像；所述新增样本图像标注了新增对象类别标签；基于初始对象类别识别模型，构建教师模型以及学生模型；所述初始对象类别识别模型为将所述样本对象的初始样本图像输入预设模型进行对象类别识别训练得到；所述初始样本图像标注了初始样本对象类别标签；所述初始样本对象类别标签不同于所述新增对象类别标签；将所述新增样本图像输入所述教师模型进行对象类别识别处理，得到第一样本类别结果；对所述第一样本类别结果以及所述新增对象类别标签进行融合处理，得到样本融合标签；将所述新增样本图像输入所述学生模型进行对象类别识别处理，得到第二样本类别结果；基于所述第二样本类别结果与所述样本融合标签之间的差异，对所述学生模型进行训练，训练后的学生模型用于确定对象类别识别模型，所述对象类别识别模型用于图像中所述新增对象类别标签的识别。本申请在模型更新训练的过程中，不需要获取初始样本图像，仅利用新增样本图像对初始对象类别识别模型进行训练，能够在学习新数据提升模型性能的同时不遗忘历史知识，达到跟全量数据模型相似的知识累积效果，且相对于全量数据的训练过程，本申请的模型训练方法大大缩短了训练时长，提高了模型更新效率。
本说明书实施例还提供了一种对象类别识别方法，如图12所示，所述方法包括：
S1201：获取待识别对象的待识别图像；
在本说明书实施例中，待识别对象与样本对象为同一领域的对象，待识别图像可以为对待识别对象进行拍摄得到的图像，或者从待识别对象对应的待识别视频中提取的图像，一个待识别对象可以对应一个或多个待识别图像。
S1203：将所述待识别图像输入对象类别识别模型进行对象类别识别处理，得到所述待识别对象的目标对象类别；
其中，所述对象类别识别模型为基于上述的训练方法训练得到。
在本说明书实施例中，当待识别对象对应多个待识别图像时，可以根据多个待识别图像的类别预测结果，确定待识别对象的目标对象类别。
在本说明书实施例中，分别采用Cifar-100和imagenet-100数据集对现有技术的模型以及本方案训练得到的模型进行性能测试；Cifar，即加拿大计算机科学家AlexKrizhevsky、Vinod Nair和Geoffrey Hinton开发的“Canadian Institute for AdvancedResearch” (加拿大高级研究所)缩写而来，是一个常用于图像识别的数据集。CIFAR-100数据集是CIFAR数据集的一个子集，共有100个类别，每个类别包含600张图像。其中，包含50000张训练图像和10000张测试图像。每张图像都是32x32大小的，并被标记所属的类别。ImageNet-100是ImageNet ILSVRC2012的子集，其训练集是从原始训练集中随机选择的，由100个类别的500个实例组成。验证集是原始验证集的相应100个类别。ilsxxs-2012数据集是一个使用的图像识别数据集，它是ImageNet Large Scale Visua1RecognitionChallenge (ILSVRC)竞赛的数据集之一。i1svrc-2012数据集是ImageNet项目的一部分，旨在推动计算机视觉领域的发展。该数据集于2012年发布，包含了来自1000个不同类别的120万张图像，这些图像都经过了精确的标注。每个类别都有大约1000张训练图像和50张验证图像，用于模型的训练和评估。i1svrc-2012数据集的图像类别非常广泛，涵盖了人、动物、植物、物体、场景等各个方面。这些图像的分辨率也各不相同，有些图像非常清晰，而有些图像则模糊不清。此外，数据集中还包含了一些具有挑战性的图像，例如遮挡、旋转、缩放、背景复杂等条件下的图像。
如图13-14所示，图13为一种采用Cifar-100数据集对现有技术的模型以及本方案训练得到的模型进行性能测试的测试曲线图；图14为一种采用imagenet-100数据集对现有技术的模型以及本方案训练得到的模型进行性能测试的测试曲线图；横坐标为任务标识，不同的任务标识对应不同的新增样本图像，纵坐标为模型准确率提升百分比。图13、图14中各个曲线标识的含义如下：
曲线1：Full-data，全量数据训练的模型；
曲线2：LwF: learning without forgetting，无遗忘学习模型；
曲线3： Pooled outputs distillation for small-tasks incrementallearning，简称PODNet，用于小任务增量学习的集合输出蒸馏模型；
曲线4：Dynamically expandable representation for class incrementallearning，类增量学习的动态扩展表示模型；
曲线5：Balancing between forgetting and acquisition in incrementalsubpopulation learning，增量亚群学习中遗忘与习得的平衡模型；
曲线6：Fine-tune，微调模型；
曲线7：Incremental classifier and representation learning，简称iCarl；增量分类器和表示学习模型；
曲线8：Incremental learning in online scenario，简称Online_learning，在线场景下的递增式学习模型；
曲线9：Online prototype learning for online continual learning，简称OnPro，用于在线持续学习的在线原型学习模型；
曲线10：本实施例的对象类别识别模型。
从图13-14可以看到，在只使用新数据的情况下，只有本实施例的对象类别识别模型能够在Cifar-100和imagenet-100上实现稳定的模型提升。本方法可以推广使用在任何已部署模型的更新升级过程中。
本说明书实施例还提供了一种对象类别识别模型的训练装置，如图15所示，所述装置包括：
新增样本图像获取模块1510，用于获取样本对象的新增样本图像；所述新增样本图像标注了新增对象类别标签；
学生模型构建模块1520，用于基于初始对象类别识别模型，构建教师模型以及学生模型；所述初始对象类别识别模型为将所述样本对象的初始样本图像输入预设模型进行对象类别识别训练得到；所述初始样本图像标注了初始样本对象类别标签；所述初始样本对象类别标签不同于所述新增对象类别标签；
第一样本结果确定模块1530，用于将所述新增样本图像输入所述教师模型进行对象类别识别处理，得到第一样本类别结果；
样本标签融合模块1540，用于对所述第一样本类别结果以及所述新增对象类别标签进行融合处理，得到样本融合标签；
第二样本结果确定模块1550，用于将所述新增样本图像输入所述学生模型进行对象类别识别处理，得到第二样本类别结果；
学生模型训练模块1560，用于基于所述第二样本类别结果与所述样本融合标签之间的差异，对所述学生模型进行训练，训练后的学生模型用于确定对象类别识别模型，所述对象类别识别模型用于图像中所述新增对象类别标签的识别。
在一示例性实施方式中，所述装置还包括：
样本处理模块，用于对所述新增样本图像进行数据污染处理，得到样本处理数据，所述污染处理用于改变所述新增样本图像的分布；
第一损失确定模块，用于将所述样本处理数据分别输入所述教师模型以及所述学生模型，得到第一损失信息；
所述学生模型训练模块包括：
第二损失确定单元，用于基于所述第二样本类别结果与所述样本融合标签之间的差异，确定第二损失信息；
目标损失确定单元，用于基于所述第一损失信息以及所述第二损失信息，确定目标损失信息；
参数调整单元，用于基于所述目标损失信息，调整所述学生模型的模型参数。
在一示例性实施方式中，所述第一损失确定模块包括：
第三样本结果确定单元，用于将所述样本处理数据输入所述教师模型进行对象类别识别处理，得到第三样本类别结果；
第四样本结果确定单元，用于将所述样本处理数据输入所述学生模型进行对象类别识别处理，得到第四样本类别结果；
第一损失确定单元，用于基于所述第四样本类别结果与所述第三样本类别结果之间的差异，确定所述第一损失信息。
在一示例性实施方式中，所述装置还包括：
更新模块，用于在训练次数达到第一目标次数后，基于学生模型的模型参数对所述教师模型进行更新，得到所述对象类别识别模型，所述训练次数是指利用所述新增样本图像训练所述学生模型的次数。
在一示例性实施方式中，所述更新模块包括：
教师模型更新单元，用于基于学生模型的模型参数对所述教师模型进行更新，得到更新教师模型；
迭代更新单元，用于在所述训练次数达到所述第一目标次数后的训练过程中，基于学生模型的模型参数对所述更新教师模型进行迭代更新，得到所述对象类别识别模型。
在一示例性实施方式中，所述迭代更新单元包括：
模型更新子单元，用于在所述训练次数达到所述第一目标次数后，每经过第二目标次数的训练次数，基于所述学生模型的模型参数，对所述更新教师模型进行更新；
模型确定子单元，用于在训练结束后，将所述更新教师模型确定为所述对象类别识别模型。
在一示例性实施方式中，所述模型更新子单元包括：
当前参数获取子单元，用于每经过第二目标次数的训练次数，获取所述学生模型的当前模型参数；
目标参数确定子单元，用于基于指数移动平均算法对所述当前模型参数进行处理，得到目标模型参数；
更新子单元，用于基于所述目标模型参数对所述更新教师模型进行更新。
在一示例性实施方式中，所述目标参数确定子单元包括：
权重确定子单元，用于基于所述当前模型参数对应的训练次数，确定教师模型的第一权重以及学生模型的第二权重；所述第一权重随着训练次数的增加而减小，所述第二权重随着训练次数的增加而增大；
参数处理子单元，用于基于所述第一权重、所述第二权重以及所述指数移动平均算法，对所述当前模型参数进行处理，得到所述目标模型参数。
在一示例性实施方式中，所述装置还包括：
初始图像获取模块，用于获取所述样本对象的所述初始样本图像；
初始结果确定模块，用于将所述初始样本图像输入所述预设模型进行对象类别识别处理，得到初始样本类别结果；
样本损失确定模块，用于基于所述初始样本类别结果与所述初始样本对象类别标签之间的差异，确定样本损失信息；
初始模型确定模块，用于基于所述样本损失信息调整所述预设模型的模型参数直至满足训练结束条件，将训练结束时的预设模型确定为所述初始对象类别识别模型。
本说明书实施例还提供了一种对象类别识别装置，如图16所示，所述装置包括：
待识别图像获取模块1610，用于获取待识别对象的待识别图像；
目标对象类别确定模块1620，用于将所述待识别图像输入对象类别识别模型进行对象类别识别处理，得到所述待识别对象的目标对象类别；
其中，所述对象类别识别模型为基于上述的训练方法训练得到。
所述的装置实施例中的装置与方法实施例基于同样地发明构思。
本说明书实施例提供了一种电子设备，该设备包括处理器和存储器，该存储器中存储有至少一条指令或至少一段程序，该至少一条指令或至少一段程序由该处理器加载并执行以实现如上述方法实施例所提供的对象类别识别模型的训练方法或对象类别识别方法。
本申请的实施例还提供了一种计算机存储介质，所述存储介质可设置于终端之中以保存用于实现方法实施例中一种对象类别识别模型的训练方法相关的至少一条指令或至少一段程序，该至少一条指令或至少一段程序由该处理器加载并执行以实现上述方法实施例提供的对象类别识别模型的训练方法或对象类别识别方法。
本申请的实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行以实现上述方法实施例提供的对象类别识别模型的训练方法或对象类别识别方法。
可选地，在本说明书实施例中，存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书实施例所述存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。
本说明书实施例所提供的对象类别识别模型的训练方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例，图17是本说明书实施例提供的一种对象类别识别模型的训练方法的服务器的硬件结构框图。如图17所示，该服务器1700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器（Central Processing Units，CPU）1710（中央处理器1710可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置）、用于存储数据的存储器1730，一个或一个以上存储应用程序1723或数据1722的存储介质1720（例如一个或一个以上海量存储设备）。其中，存储器1730和存储介质1720可以是短暂存储或持久存储。存储在存储介质1720的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1710可以设置为与存储介质1720通信，在服务器1700上执行存储介质1720中的一系列指令操作。服务器1700还可以包括一个或一个以上电源1760，一个或一个以上有线或无线网络接口1750，一个或一个以上输入输出接口1740，和/或，一个或一个以上操作系统1721，例如Windows ServerTM，Mac OS XTM，UnixTM， LinuxTM，FreeBSDTM等等。
输入输出接口1740可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器1700的通信供应商提供的无线网络。在一个实例中，输入输出接口1740包括一个网络适配器（Network Interface Controller，NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，输入输出接口1740可以为射频（RadioFrequency，RF）模块，其用于通过无线方式与互联网进行通讯。
本领域普通技术人员可以理解，图17所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，服务器1700还可包括比图17中所示更多或者更少的组件，或者具有与图17所示不同的配置。
由上述本申请提供的对象类别识别模型的训练方法、装置、设备或存储介质的实施例可见，本申请公开了一种对象类别识别模型的训练方法，包括：获取样本对象的新增样本图像；所述新增样本图像标注了新增对象类别标签；基于初始对象类别识别模型，构建教师模型以及学生模型；所述初始对象类别识别模型为将所述样本对象的初始样本图像输入预设模型进行对象类别识别训练得到；所述初始样本图像标注了初始样本对象类别标签；所述初始样本对象类别标签不同于所述新增对象类别标签；将所述新增样本图像输入所述教师模型进行对象类别识别处理，得到第一样本类别结果；对所述第一样本类别结果以及所述新增对象类别标签进行融合处理，得到样本融合标签；将所述新增样本图像输入所述学生模型进行对象类别识别处理，得到第二样本类别结果；基于所述第二样本类别结果与所述样本融合标签之间的差异，对所述学生模型进行训练，训练后的学生模型用于确定对象类别识别模型，所述对象类别识别模型用于图像中所述新增对象类别标签的识别。本申请在模型更新训练的过程中，不需要获取初始样本图像，仅利用新增样本图像对初始对象类别识别模型进行训练，能够在学习新数据提升模型性能的同时不遗忘历史知识，达到跟全量数据模型相似的知识累积效果，且相对于全量数据的训练过程，本申请的模型训练方法大大缩短了训练时长，提高了模型更新效率。
需要说明的是：上述本说明书实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备、存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (15)
1.一种对象类别识别模型的训练方法，其特征在于，所述方法包括：
获取样本对象的新增样本图像；所述新增样本图像标注了新增对象类别标签；
基于初始对象类别识别模型，构建教师模型以及学生模型；所述初始对象类别识别模型为将所述样本对象的初始样本图像输入预设模型进行对象类别识别训练得到；所述初始样本图像标注了初始样本对象类别标签；所述初始样本对象类别标签不同于所述新增对象类别标签；
将所述新增样本图像输入所述教师模型进行对象类别识别处理，得到第一样本类别结果；
对所述第一样本类别结果以及所述新增对象类别标签进行融合处理，得到样本融合标签；
将所述新增样本图像输入所述学生模型进行对象类别识别处理，得到第二样本类别结果；
基于所述第二样本类别结果与所述样本融合标签之间的差异，对所述学生模型进行训练，训练后的学生模型用于确定对象类别识别模型，所述对象类别识别模型用于图像中所述新增对象类别标签的识别。
2.根据权利要求1所述的方法，其特征在于，所述获取样本对象的新增样本图像之后，所述方法还包括：
对所述新增样本图像进行数据污染处理，得到样本处理数据，所述污染处理用于改变所述新增样本图像的分布；
将所述样本处理数据分别输入所述教师模型以及所述学生模型，得到第一损失信息；
所述基于所述第二样本类别结果与所述样本融合标签之间的差异，对所述学生模型进行训练，包括：
基于所述第二样本类别结果与所述样本融合标签之间的差异，确定第二损失信息；
基于所述第一损失信息以及所述第二损失信息，确定目标损失信息；
基于所述目标损失信息，调整所述学生模型的模型参数。
3.根据权利要求2所述的方法，其特征在于，所述将所述样本处理数据分别输入所述教师模型以及所述学生模型，得到第一损失信息，包括：
将所述样本处理数据输入所述教师模型进行对象类别识别处理，得到第三样本类别结果；
将所述样本处理数据输入所述学生模型进行对象类别识别处理，得到第四样本类别结果；
基于所述第四样本类别结果与所述第三样本类别结果之间的差异，确定所述第一损失信息。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
在训练次数达到第一目标次数后，基于学生模型的模型参数对所述教师模型进行更新，得到所述对象类别识别模型，所述训练次数是指利用所述新增样本图像训练所述学生模型的次数。
5.根据权利要求4所述的方法，其特征在于，所述在训练次数达到第一目标次数后，基于学生模型的模型参数对所述教师模型进行更新，得到所述对象类别识别模型，包括：
基于学生模型的模型参数对所述教师模型进行更新，得到更新教师模型；
在所述训练次数达到所述第一目标次数后的训练过程中，基于学生模型的模型参数对所述更新教师模型进行迭代更新，得到所述对象类别识别模型。
6.根据权利要求5所述的方法，其特征在于，所述在所述训练次数达到所述第一目标次数后的训练过程中，基于学生模型的模型参数对所述更新教师模型进行迭代更新，得到所述对象类别识别模型，包括：
在所述训练次数达到所述第一目标次数后，每经过第二目标次数的训练次数，基于所述学生模型的模型参数，对所述更新教师模型进行更新；
在训练结束后，将所述更新教师模型确定为所述对象类别识别模型。
7.根据权利要求6所述的方法，其特征在于，所述每经过第二目标次数的训练次数，基于所述学生模型的模型参数，对所述更新教师模型进行更新，包括：
每经过第二目标次数的训练次数，获取所述学生模型的当前模型参数；
基于指数移动平均算法对所述当前模型参数进行处理，得到目标模型参数；
基于所述目标模型参数对所述更新教师模型进行更新。
8.根据权利要求7所述的方法，其特征在于，所述基于指数移动平均算法对所述当前模型参数进行处理，得到目标模型参数，包括：
基于所述当前模型参数对应的训练次数，确定教师模型的第一权重以及学生模型的第二权重；所述第一权重随着训练次数的增加而减小，所述第二权重随着训练次数的增加而增大；
基于所述第一权重、所述第二权重以及所述指数移动平均算法，对所述当前模型参数进行处理，得到所述目标模型参数。
9.根据权利要求1-8中任意一项所述的方法，其特征在于，所述初始对象类别识别模型的训练方法包括：
获取所述样本对象的所述初始样本图像；
将所述初始样本图像输入所述预设模型进行对象类别识别处理，得到初始样本类别结果；
基于所述初始样本类别结果与所述初始样本对象类别标签之间的差异，确定样本损失信息；
基于所述样本损失信息调整所述预设模型的模型参数直至满足训练结束条件，将训练结束时的预设模型确定为所述初始对象类别识别模型。
10.一种对象类别识别方法，其特征在于，所述方法包括：
获取待识别对象的待识别图像；
将所述待识别图像输入对象类别识别模型进行对象类别识别处理，得到所述待识别对象的目标对象类别；
其中，所述对象类别识别模型为基于权利要求1-9中任一项所述的训练方法训练得到。
11.一种对象类别识别模型的训练装置，其特征在于，所述装置包括：
新增样本图像获取模块，用于获取样本对象的新增样本图像；所述新增样本图像标注了新增对象类别标签；
学生模型构建模块，用于基于初始对象类别识别模型，构建教师模型以及学生模型；所述初始对象类别识别模型为将所述样本对象的初始样本图像输入预设模型进行对象类别识别训练得到；所述初始样本图像标注了初始样本对象类别标签；所述初始样本对象类别标签不同于所述新增对象类别标签；
第一样本结果确定模块，用于将所述新增样本图像输入所述教师模型进行对象类别识别处理，得到第一样本类别结果；
样本标签融合模块，用于对所述第一样本类别结果以及所述新增对象类别标签进行融合处理，得到样本融合标签；
第二样本结果确定模块，用于将所述新增样本图像输入所述学生模型进行对象类别识别处理，得到第二样本类别结果；
学生模型训练模块，用于基于所述第二样本类别结果与所述样本融合标签之间的差异，对所述学生模型进行训练，训练后的学生模型用于确定对象类别识别模型，所述对象类别识别模型用于图像中所述新增对象类别标签的识别。
12.一种对象类别识别装置，其特征在于，所述装置包括：
待识别图像获取模块，用于获取待识别对象的待识别图像；
目标对象类别确定模块，用于将所述待识别图像输入对象类别识别模型进行对象类别识别处理，得到所述待识别对象的目标对象类别；
其中，所述对象类别识别模型为基于权利要求1-9任一项所述的训练方法训练得到。
13.一种电子设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如权利要求1-9任一项所述的训练方法或权利要求10所述的对象类别识别方法。
14.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1-9任一项所述的训练方法或权利要求10所述的对象类别识别方法。
15.一种计算机程序产品，包括计算机指令，其特征在于，所述计算机指令被处理器执行时实现如权利要求1-9任一项所述的训练方法或权利要求10所述的对象类别识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410178190.XA CN117726884B (zh) | 2024-02-09 | 2024-02-09 | 对象类别识别模型的训练方法、对象类别识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410178190.XA CN117726884B (zh) | 2024-02-09 | 2024-02-09 | 对象类别识别模型的训练方法、对象类别识别方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117726884A true CN117726884A (zh) | 2024-03-19 |
| CN117726884B CN117726884B (zh) | 2024-05-03 |
Family
ID=90200175
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410178190.XA Active CN117726884B (zh) | 2024-02-09 | 2024-02-09 | 对象类别识别模型的训练方法、对象类别识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117726884B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117935029A (zh) * | 2024-03-21 | 2024-04-26 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备及存储介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113743514A (zh) * | 2021-09-08 | 2021-12-03 | 庆阳瑞华能源有限公司 | 一种基于知识蒸馏的目标检测方法及目标检测终端 |
| WO2022077646A1 (zh) * | 2020-10-13 | 2022-04-21 | 上海依图网络科技有限公司 | 一种用于图像处理的学生模型的训练方法及装置 |
| WO2022156331A1 (zh) * | 2021-01-22 | 2022-07-28 | 北京市商汤科技开发有限公司 | 知识蒸馏和图像处理方法、装置、电子设备和存储介质 |
| CN115114974A (zh) * | 2022-05-18 | 2022-09-27 | 腾讯科技（深圳）有限公司 | 一种模型蒸馏方法、装置、计算机设备和存储介质 |
| CN115424177A (zh) * | 2022-09-02 | 2022-12-02 | 哈尔滨工程大学 | 一种基于增量学习的孪生网络目标跟踪的方法 |
| CN115795993A (zh) * | 2022-09-14 | 2023-03-14 | 浙江大学杭州国际科创中心 | 一种双向判别性特征对齐的分层知识融合方法及装置 |
| WO2023071743A1 (zh) * | 2021-10-25 | 2023-05-04 | 中兴通讯股份有限公司 | 网络模型训练方法、装置和计算机可读存储介质 |
| US20230196117A1 (en) * | 2020-08-31 | 2023-06-22 | Huawei Technologies Co., Ltd. | Training method for semi-supervised learning model, image processing method, and device |
| WO2023116635A1 (zh) * | 2021-12-24 | 2023-06-29 | 中国科学院深圳先进技术研究院 | 一种基于互学习的半监督医学图像分割方法及其系统 |
| CN116863177A (zh) * | 2023-06-14 | 2023-10-10 | 内蒙古工业大学 | 一种面向通用多视图对象聚类的对象视图蒸馏方法 |
| CN116958729A (zh) * | 2023-03-28 | 2023-10-27 | 腾讯科技（深圳）有限公司 | 对象分类模型的训练、对象分类方法、装置及存储介质 |
| WO2024016949A1 (zh) * | 2022-07-20 | 2024-01-25 | 马上消费金融股份有限公司 | 标签生成、图像分类模型的方法、图像分类方法及装置 |
-
2024
- 2024-02-09 CN CN202410178190.XA patent/CN117726884B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230196117A1 (en) * | 2020-08-31 | 2023-06-22 | Huawei Technologies Co., Ltd. | Training method for semi-supervised learning model, image processing method, and device |
| WO2022077646A1 (zh) * | 2020-10-13 | 2022-04-21 | 上海依图网络科技有限公司 | 一种用于图像处理的学生模型的训练方法及装置 |
| WO2022156331A1 (zh) * | 2021-01-22 | 2022-07-28 | 北京市商汤科技开发有限公司 | 知识蒸馏和图像处理方法、装置、电子设备和存储介质 |
| CN113743514A (zh) * | 2021-09-08 | 2021-12-03 | 庆阳瑞华能源有限公司 | 一种基于知识蒸馏的目标检测方法及目标检测终端 |
| WO2023071743A1 (zh) * | 2021-10-25 | 2023-05-04 | 中兴通讯股份有限公司 | 网络模型训练方法、装置和计算机可读存储介质 |
| WO2023116635A1 (zh) * | 2021-12-24 | 2023-06-29 | 中国科学院深圳先进技术研究院 | 一种基于互学习的半监督医学图像分割方法及其系统 |
| CN115114974A (zh) * | 2022-05-18 | 2022-09-27 | 腾讯科技（深圳）有限公司 | 一种模型蒸馏方法、装置、计算机设备和存储介质 |
| WO2024016949A1 (zh) * | 2022-07-20 | 2024-01-25 | 马上消费金融股份有限公司 | 标签生成、图像分类模型的方法、图像分类方法及装置 |
| CN115424177A (zh) * | 2022-09-02 | 2022-12-02 | 哈尔滨工程大学 | 一种基于增量学习的孪生网络目标跟踪的方法 |
| CN115795993A (zh) * | 2022-09-14 | 2023-03-14 | 浙江大学杭州国际科创中心 | 一种双向判别性特征对齐的分层知识融合方法及装置 |
| CN116958729A (zh) * | 2023-03-28 | 2023-10-27 | 腾讯科技（深圳）有限公司 | 对象分类模型的训练、对象分类方法、装置及存储介质 |
| CN116863177A (zh) * | 2023-06-14 | 2023-10-10 | 内蒙古工业大学 | 一种面向通用多视图对象聚类的对象视图蒸馏方法 |
Non-Patent Citations (4)
| Title |
|---|
| BYEONGHO HEO ET AL: "Knowledge Distillation with Adversarial Samples Supporting Decision Boundary", 《ARXIV》, 14 December 2018 (2018-12-14), pages 1 - 8 * |
| DONG ZHANG ET AL: "Boundary and Relation Distillation for Semantic Segmentation", 《ARXIV》, 24 January 2024 (2024-01-24), pages 1 - 12 * |
| LINGTONG KONG ET AL: "IFRNet: Intermediate Feature Refine Network for Efficient Frame Interpolation", 《ARXIV》, 29 May 2022 (2022-05-29), pages 1 - 16 * |
| ZHIHAO GU ET AL: "Remembering Normality: Memory-guided Knowledge Distillation for Unsupervised Anomaly Detection", 《2023 IEEE》, 31 December 2023 (2023-12-31), pages 1 - 9 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117935029A (zh) * | 2024-03-21 | 2024-04-26 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN117935029B (zh) * | 2024-03-21 | 2024-06-25 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117726884B (zh) | 2024-05-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112632385B (zh) | 课程推荐方法、装置、计算机设备及介质 | |
| CN110852447B (zh) | 元学习方法和装置、初始化方法、计算设备和存储介质 | |
| CN112734775B (zh) | 图像标注、图像语义分割、模型训练方法及装置 | |
| WO2021139191A1 (zh) | 数据标注的方法以及数据标注的装置 | |
| CN112396106B (zh) | 内容识别方法、内容识别模型训练方法及存储介质 | |
| CN117726884B (zh) | 对象类别识别模型的训练方法、对象类别识别方法及装置 | |
| CN109471978B (zh) | 一种电子资源推荐方法及装置 | |
| CN111582409A (zh) | 图像标签分类网络的训练方法、图像标签分类方法及设备 | |
| CN111898703B (zh) | 多标签视频分类方法、模型训练方法、装置及介质 | |
| CN113792871A (zh) | 神经网络训练方法、目标识别方法、装置和电子设备 | |
| CN114550053A (zh) | 一种交通事故定责方法、装置、计算机设备及存储介质 | |
| CN114298122A (zh) | 数据分类方法、装置、设备、存储介质及计算机程序产品 | |
| CN115546576A (zh) | 建立预测模型的方法及装置 | |
| CN116664719A (zh) | 一种图像重绘模型训练方法、图像重绘方法及装置 | |
| CN115187772A (zh) | 目标检测网络的训练及目标检测方法、装置及设备 | |
| CN113128526B (zh) | 图像识别方法、装置、电子设备和计算机可读存储介质 | |
| CN114782752A (zh) | 基于自训练的小样本图像集成分类方法及装置 | |
| CN113569018A (zh) | 问答对挖掘方法及装置 | |
| CN112347976A (zh) | 遥感卫星影像的区域提取方法、装置、电子设备和介质 | |
| CN116958729A (zh) | 对象分类模型的训练、对象分类方法、装置及存储介质 | |
| CN116362294A (zh) | 一种神经网络搜索方法、装置和可读存储介质 | |
| CN117010480A (zh) | 模型训练方法、装置、设备、存储介质及程序产品 | |
| CN116957006A (zh) | 预测模型的训练方法、装置、设备、介质及程序产品 | |
| CN111091198B (zh) | 一种数据处理方法及装置 | |
| CN114566184A (zh) | 音频识别方法及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |