CN109886343B - 图像分类方法及装置、设备、存储介质 - Google Patents

图像分类方法及装置、设备、存储介质 Download PDF

Info

Publication number
CN109886343B
CN109886343B CN201910141482.5A CN201910141482A CN109886343B CN 109886343 B CN109886343 B CN 109886343B CN 201910141482 A CN201910141482 A CN 201910141482A CN 109886343 B CN109886343 B CN 109886343B
Authority
CN
China
Prior art keywords
classifier
sample
initial
winner
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910141482.5A
Other languages
English (en)
Other versions
CN109886343A (zh
Inventor
柯章翰
严琼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN201910141482.5A priority Critical patent/CN109886343B/zh
Publication of CN109886343A publication Critical patent/CN109886343A/zh
Application granted granted Critical
Publication of CN109886343B publication Critical patent/CN109886343B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了图像分类方法及装置、设备、存储介质,其中,所述方法包括:获取待分类图像;根据已训练的目标分类器确定所述待分类图像的类型,其中,所述目标分类器为基于多个初始分类器进行训练得到的满足预定条件的分类器;输出所述待分类图像的类型。

Description

图像分类方法及装置、设备、存储介质
技术领域
本申请实施例涉及计算机视觉,涉及但不限于图像分类方法及装置、设备、存储介质。
背景技术
图像分类是计算机视觉领域的重要问题,随着深度学习的出现,图像分类问题取得了令人激动的进步。图像分类往往也是后续其他任务的一个基础,例如,从图像中重建三维模型时,图像分类是重建三维模型的基础。一般来说,分类器的训练需要数以万计的标签样本,而标签样本的标签成本较高。为了降低标签成本,研究弱监督学习的方法具有很大的意义。这种方法可以用少量标签样本结合大量无标签样本来训练分类器,并达到较高的分类精度。
然而,在训练过程中,无标签样本不带有任何的标签信息,所以需要经过复杂的预处理等操作后才能帮助构建更好的图像分类器。目前,已经有很多方法被提出,例如,VAT方法,即,对同一个样本进行两次预测,再计算两次预测结果的差异,该差异用于生成新样本,从而来辅助训练;再如,Mean-Teacher方法,通过构造一个更好的累积分类器来辅助性能的提升。
但是,这些方法都会造成无标签样本的分类错误,这些错误因为难以被纠正,造成不尽人意的分类结果。
发明内容
有鉴于此,本申请实施例为解决相关技术中存在的至少一个问题而提供图像分类方法及装置、设备、存储介质。
本申请实施例的技术方案是这样实现的:
第一方面,本申请实施例提供一种图像分类方法,所述方法包括:
获取待分类图像;
根据已训练的目标分类器确定所述待分类图像的类型,其中,所述目标分类器为基于多个初始分类器进行训练得到的满足预定条件的分类器;
输出所述待分类图像的类型。
在其他实施例中,所述目标分类器的训练过程包括:
对多个初始分类器进行至少一次竞争训练,得到分类器集合;
将所述分类器集合中分类性能最优的分类器确定为所述目标分类器。
在其他实施例中,所述对多个初始分类器进行至少一次竞争训练,得到分类器集合,包括:
对多个初始分类器进行性能竞争,将当前分类性能最优的初始分类器确定为赢家分类器,将除所述赢家分类器外的其他初始分类器确定为输家分类器;
对所述赢家分类器和所有所述输家分类器进行一次训练;
对所述一次训练后的赢家分类器和所述一次训练后的任一输家分类器再次进行性能竞争和训练;
重复执行N次性能竞争和N次训练,将最后一次迭代得到的所有分类器确定为所述分类器集合;N为大于等于1的整数。
在其他实施例中,对所述赢家分类器进行一次训练,包括:
获取有标签的第一样本组;
基于所述第一样本组,对所述赢家分类器进行训练。
在其他实施例中,所述基于所述第一样本组,对所述赢家分类器进行训练,包括:
基于所述第一样本组,确定所述赢家分类器的第一损失函数;
基于所述第一损失函数,训练所述赢家分类器。
在其他实施例中,所述赢家分类器包括第一子模型和由所述第一子模型生成的第二子模型;
所述基于所述第一样本组,确定所述赢家分类器的第一损失函数,包括:
利用所述赢家分类器的第一子模型和第二子模型分别对所述第一样本组进行预测,得到所述赢家分类器的第一预测概率集和第二预测概率集;
基于所述第一样本组的标签信息、所述第一预测概率集和所述第二预测概率集,确定所述赢家分类器的第一损失函数。
在其他实施例中,所述基于所述第一样本组的标签信息、所述第一预测概率集和所述第二预测概率集,确定所述赢家分类器的第一损失函数,包括:
基于所述第一预测概率集和所述第二预测概率集,确定所述赢家分类器的第一损失值,所述赢家分类器的第一损失值为所述赢家分类器对所述第一样本组的一致性损失;
基于所述第一样本组的标签信息和所述赢家分类器的第一预测概率集,确定所述赢家分类器的第二损失值;
基于所述赢家分类器的第一损失值和所述第二损失值,确定所述赢家分类器的第一损失函数。
在其他实施例中,对所有所述输家分类器进行一次训练,包括:
获取有标签的第一样本组和无标签的第二样本组;
将所述第二样本组输入所述赢家分类器,得到所述第二样本组中每个第二样本的预测类型及其所属预测类型的预测概率;
基于所述第二样本的预测类型及其所属预测类型的预测概率,从所述第二样本组中确定自信样本组;
基于所述自信样本组和所述第一样本组,对所述输家分类器进行训练。
在其他实施例中,所述基于所述第二样本的预测类型及其所属预测类型的预测概率,从所述第二样本组中确定自信样本组,包括:
将所述第二样本组中预测概率大于置信度阈值的第二样本确定为自信样本;
将所述自信样本及其预测类型,确定为自信样本组。
在其他实施例中,所述基于所述自信样本组和所述第一样本组,对所述输家分类器进行训练,包括:
基于所述自信样本组和所述第一样本组,确定所述输家分类器的第二损失函数;
基于所述输家分类器的第二损失函数,训练所述输家分类器。
在其他实施例中,所述基于所述自信样本组和所述第一样本组,确定所述输家分类器的第二损失函数,包括:
利用所述输家分类器的第一子模型和第二子模型分别对所述自信样本组中的自信样本进行预测,得到第一自信概率集和第二自信概率集;
基于所述第一自信概率集和所述第二自信概率集,确定第三损失值,所述第三损失值为所述输家分类器对所述自信样本组的一致性损失;
基于所述自信样本组中每一自信样本的预测类型和所述第一自信概率集,确定第四损失值;
利用所述输家分类器的第一子模型和第二子模型分别对所述第一样本组进行预测,得到所述输家分类器的第一预测概率集和第二预测概率集;
基于所述输家分类器的第一预测概率集和第二预测概率集,确定所述输家分类器的第一损失值,所述输家分类器的第一损失值为所述输家分类器对所述第一样本组的一致性损失;
基于所述第一样本组的标签信息和所述输家分类器的第一预测概率集,确定第五损失值;
基于所述输家分类器的第一损失值、第三损失值、第四损失值和第五损失值,确定所述输家分类器的第二损失函数。
在其他实施例中,所述对多个初始分类器进行性能竞争,将当前分类性能最优的初始分类器确定为赢家分类器,包括:
获取有标签的第一样本组;
利用所述第一样本组,对每一所述初始分类器进行分类性能测试,得到与所述初始分类器对应的当前分类性能;
将当前分类性能最优的初始分类器确定为赢家分类器。
在其他实施例中,所述利用所述第一样本组,对每一所述初始分类器进行分类性能测试,得到与所述初始分类器对应的当前分类性能,包括:
获取预先保存的每一所述初始分类器的历史累积分类误差;
基于所述第一样本组,确定每一所述初始分类器的当前分类误差;
基于每一所述初始分类器的历史累积分类误差和当前分类误差,确定与所述初始分类器对应的当前累积分类误差;
将每一所述初始分类器的当前累积分类误差,确定为与所述初始分类器对应的当前分类性能。
在其他实施例中,所述基于所述第一样本组,确定每一所述初始分类器的当前分类误差,包括:
将所述第一样本组输入到每一所述初始分类器,得到与所述初始分类器对应的第一预测概率集;
基于所述第一样本组中的标签信息和每一所述初始分类器的第一预测概率集,确定与所述初始分类器对应的当前分类误差。
在其他实施例中,所述基于每一所述初始分类器的历史累积分类误差和当前分类误差,确定与所述初始分类器对应的当前累积分类误差,包括:
获取所述历史累积分类误差与所述当前分类误差的第一混合比例,所述第一混合比例小于1;
将所述第一混合比例与每一所述初始分类器的历史累积分类误差相乘,得到与所述初始分类器对应的第一分类误差;
获取第二混合比例,其中所述第二混合比例为1与所述第一混合比例的差值;
将所述第二混合比例与每一所述初始分类器的当前分类误差相乘,得到与所述初始分类器对应的第二分类误差;
将每一所述初始分类器的第一分类误差及其第二分类误差相加,得到与所述初始分类器对应的当前累积分类误差。
在其他实施例中,所述将当前分类性能最优的初始分类器确定为赢家分类器,包括:
将当前累积分类误差最小的初始分类器确定为赢家分类器。
在其他实施例中,所述方法还包括:
利用每一所述初始分类器的当前累积分类误差,更新与所述初始分类器对应的历史累积分类误差。
在其他实施例中,所述多个初始分类器为两个图像分类器,每一所述图像分类器为深度神经网络。
在其他实施例中,所述方法还包括:
获取迁移样本集,所述迁移样本集包括多个有标签的第一样本组和多个无标签的第三样本组,所述迁移样本集中的任一第三样本的类型与任一所述第二样本的类型不同;
基于所述迁移样本集,对所述分类器集合再进行至少一次竞争训练。
第二方面,本申请实施例提供一种图像分类装置,包括:
获取模块,配置为:获取待分类图像;
确定模块,配置为:根据已训练的目标分类器确定所述待分类图像的类型,其中,所述目标分类器为基于多个初始分类器进行训练得到的满足预定条件的分类器;
输出模块,配置为:输出所述待分类图像的类型。
在其他实施例中,所述装置还包括:竞争训练模块和目标确定模块;其中,
所述竞争训练模块,配置为:对多个初始分类器进行至少一次竞争训练,得到分类器集合;
所述目标确定模块,配置为:将所述分类器集合中分类性能最优的分类器确定为所述目标分类器。
在其他实施例中,所述竞争训练模块,包括:
性能竞争子模块,配置为:对多个初始分类器进行性能竞争,将当前分类性能最优的初始分类器确定为赢家分类器,将除所述赢家分类器外的其他初始分类器确定为输家分类器;
训练子模块,配置为:对所述赢家分类器和所有所述输家分类器进行一次训练;
迭代子模块,配置为:对所述一次训练后的赢家分类器和所述一次训练后的任一输家分类器再次进行性能竞争和训练;
目标确定子模块,配置为:重复执行N次性能竞争和N次训练,将最后一次迭代得到的所有分类器确定为所述分类器集合;N为大于等于1的整数。
在其他实施例中,所述训练子模块,包括:
获取单元,配置为:获取有标签的第一样本组;
第一训练单元,配置为:基于所述第一样本组,对所述赢家分类器进行训练。
在其他实施例中,所述第一训练单元,包括:
第一确定子单元,配置为:基于所述第一样本组,确定所述赢家分类器的第一损失函数;
第一训练子单元,配置为:基于所述第一损失函数,训练所述赢家分类器。
在其他实施例中,所述赢家分类器包括第一子模型和由所述第一子模型生成的第二子模型;所述第一确定子单元,包括:
概率预测程序,配置为:利用所述赢家分类器的第一子模型和第二子模型分别对所述第一样本组进行预测,得到所述赢家分类器的第一预测概率集和第二预测概率集;
确定程序,配置为:基于所述第一样本组的标签信息、所述第一预测概率集和所述第二预测概率集,确定所述赢家分类器的第一损失函数。
在其他实施例中,所述确定程序,配置为:
基于所述第一预测概率集和所述第二预测概率集,确定所述赢家分类器的第一损失值,所述赢家分类器的第一损失值为所述赢家分类器对所述第一样本组的一致性损失;
基于所述第一样本组的标签信息和所述赢家分类器的第一预测概率集,确定所述赢家分类器的第二损失值;
基于所述赢家分类器的第一损失值和所述第二损失值,确定所述赢家分类器的第一损失函数。
在其他实施例中,所述训练子模块还包括:预测单元、自信样本确定单元和第二训练单元,其中:
获取单元,配置为:获取有标签的第一样本组和无标签的第二样本组;
预测单元,配置为:将所述第二样本组输入所述赢家分类器,得到所述第二样本组中每个第二样本的预测类型及其所属预测类型的预测概率;
自信样本确定单元,配置为:基于所述第二样本的预测类型及其所属预测类型的预测概率,从所述第二样本组中确定自信样本组;
第二训练单元,配置为:基于所述自信样本组和所述第一样本组,对所述输家分类器进行训练。
在其他实施例中,所述自信样本确定单元,配置为:
将所述第二样本组中预测概率大于置信度阈值的第二样本确定为自信样本;
将所述自信样本及其预测类型,确定为自信样本组。
在其他实施例中,所述第二训练单元,包括:
第二确定子单元,配置为:基于所述自信样本组和所述第一样本组,确定所述输家分类器的第二损失函数;
第二训练子单元,配置为:基于所述输家分类器的第二损失函数,训练所述输家分类器。
在其他实施例中,所述第二确定子单元,配置为:
利用所述输家分类器的第一子模型和第二子模型分别对所述自信样本组中的自信样本进行预测,得到第一自信概率集和第二自信概率集;
基于所述第一自信概率集和所述第二自信概率集,确定第三损失值,所述第三损失值为所述输家分类器对所述自信样本组的一致性损失;
基于所述自信样本组中每一自信样本的预测类型和所述第一自信概率集,确定第四损失值;
利用所述输家分类器的第一子模型和第二子模型分别对所述第一样本组进行预测,得到所述输家分类器的第一预测概率集和第二预测概率集;
基于所述输家分类器的第一预测概率集和第二预测概率集,确定所述输家分类器的第一损失值,所述输家分类器的第一损失值为所述输家分类器对所述第一样本组的一致性损失;
基于所述第一样本组的标签信息和所述输家分类器的第一预测概率集,确定第五损失值;
基于所述输家分类器的第一损失值、第三损失值、第四损失值和第五损失值,确定所述输家分类器的第二损失函数。
在其他实施例中,性能竞争子模块,包括:
获取单元,配置为:获取有标签的第一样本组;
性能测试单元,配置为:利用所述第一样本组,对每一所述初始分类器进行分类性能测试,得到与所述初始分类器对应的当前分类性能;
输赢确定单元,配置为:将当前分类性能最优的初始分类器确定为赢家分类器。
在其他实施例中,所述性能测试单元,包括:
历史误差获取子单元,配置为:获取预先保存的每一所述初始分类器的历史累积分类误差;
当前误差确定子单元,配置为:基于所述第一样本组,确定每一所述初始分类器的当前分类误差;
累积误差确定子单元,配置为:基于每一所述初始分类器的历史累积分类误差和当前分类误差,确定与所述初始分类器对应的当前累积分类误差;
当前性能确定子单元,配置为:将每一所述初始分类器的当前累积分类误差,确定为与所述初始分类器对应的当前分类性能。
在其他实施例中,所述当前误差确定子单元,配置为:
将所述第一样本组输入到每一所述初始分类器,得到与所述初始分类器对应的第一预测概率集;
基于所述第一样本组中的标签信息和每一所述初始分类器的第一预测概率集,确定与所述初始分类器对应的当前分类误差。
在其他实施例中,所述累积误差确定子单元,配置为:
获取所述历史累积分类误差与所述当前分类误差的第一混合比例,所述第一混合比例小于1;
将所述第一混合比例与每一所述初始分类器的历史累积分类误差相乘,得到与所述初始分类器对应的第一分类误差;
获取第二混合比例,其中所述第二混合比例为1与所述第一混合比例的差值;
将所述第二混合比例与每一所述初始分类器的当前分类误差相乘,得到与所述初始分类器对应的第二分类误差;
将每一所述初始分类器的第一分类误差及其第二分类误差相加,得到与所述初始分类器对应的当前累积分类误差。
在其他实施例中,输赢确定单元,配置为:
将当前累积分类误差最小的初始分类器确定为赢家分类器。
在其他实施例中,所述性能测试单元,还包括:
误差更新子单元,配置为:利用每一所述初始分类器的当前累积分类误差,更新与所述初始分类器对应的历史累积分类误差。
在其他实施例中,所述多个初始分类器为两个图像分类器,每一所述图像分类器为深度神经网络。
在其他实施例中,
获取模块,还配置为:获取迁移样本集,所述迁移样本集包括多个有标签的第一样本组和多个无标签的第三样本组,所述迁移样本集中的任一第三样本的类型与任一所述第二样本的类型不同;
竞争训练模块,还配置为:基于所述迁移样本集,对所述分类器集合再进行至少一次竞争训练。
第三方面,本申请实施例提供一种计算机设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述图像分类方法中的步骤。
第四方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述图像分类方法中的步骤。
本申请实施例中,提供一种图像分类方法,通过目标分类器确定待分类图像的类型,由于所述目标分类器为基于多个初始分类器进行训练得到的满足预定条件的分类器,而不是仅对一个初始分类器进行训练得到的目标分类器,所以,在使用所述目标分类器对待分类图像进行分类时,能够更加准确地识别所述待分类图像的类型。
附图说明
图1为本申请实施例图像分类方法的实现流程示意图;
图2为本申请实施例Mean-Teacher网络的结构示意图;
图3为本申请实施例同时独立训练两个分类器的结构示意图;
图4为本申请实施例一次竞争学习的实现流程示意图;
图5为本申请实施例三种训练方案的分类性能比较示意图;
图6为本申请实施例四种迁移适应方案的分类性能比较示意图;
图7为本申请实施例图像分类装置的组成结构示意图;
图8为本申请实施例计算机设备的一种硬件实体示意图。
具体实施方式
下面结合附图和实施例对本申请的技术方案进一步详细阐述。
本申请实施例提供一种图像分类方法,该方法应用于计算机设备,一般来说,计算机设备在实施的过程中可以为各种类型的具有图像分类能力的设备,例如所述计算机设备可以包括手机、平板电脑、台式机、个人数字助理、导航仪、数字电话、视频电话、电视机、传感设备等。该方法所实现的功能可以通过计算机设备中的处理器调用程序代码来实现,当然程序代码可以保存在计算机存储介质中,可见,该计算机设备至少包括处理器和存储介质。
图1为本申请实施例图像分类方法的实现流程示意图,如图1所示,该方法包括步骤S101至步骤S103:
S101、获取待分类图像;
S102、根据已训练的目标分类器确定所述待分类图像的类型,其中,所述目标分类器为基于多个初始分类器进行训练得到的满足预定条件的分类器;
一般来说,所述多个初始分类器可以是两个结构相同且相互独立的图像分类器,每一所述图像分类器为深度神经网络,例如,图2所示,每一所述图像分类器为Mean-Teacher网络21,该网络包括两个子模型,一个是student模型211,也称为实时模型,另一个是teacher模型212,也称为累加模型,teacher模型由student模型生成,用于指导student模型。本申请实施例不受网络结构的限制,可以根据实际应用选择最合适的结构作为所述初始分类器。
可以理解地,对多个初始分类器进行训练来得到所述目标分类器,相比于仅对一个初始分类器进行训练得到所述目标分类器,前者可以从训练后的多个初始分类器中,选择一个分类性能最优的分类器作为目标分类器。例如,在每一次训练中,通过性能较优的分类器(称之为赢家分类器)来指导性能较差的分类器(称之为输家分类器),实现训练,将最终得到的多个分类器中分类性能最优的分类器确定为目标分类器,这样,在利用所述目标分类器对待分类图像进行分类时,能够更加准确地确定待分类器图像的类型。
S103、输出所述待分类图像的类型。
在实际应用中,所述计算机设备输出所述待分类图像的类型,可以是在自身显示屏上输出所述待分类图像的类型,还可以是所述计算机设备将所述类型输出至其他设备,也就是发送给其他设备,例如发送给用户的智能终端上。
本申请实施例中,提供一种图像分类方法,通过目标分类器确定待分类图像的类型,由于所述目标分类器为基于多个初始分类器进行训练得到的满足预定条件的分类器,而不是仅对一个初始分类器进行训练得到的目标分类器,所以,在使用所述目标分类器对待分类图像进行分类时,能够更加准确地识别所述待分类图像的类型。
本申请实施例提供另一图像分类方法,该方法包括步骤S201至步骤S205:
S201、对多个初始分类器进行至少一次竞争训练,得到分类器集合;
需要说明的是,在每一次竞争训练中,首先对当前多个分类器进行性能竞争,从中确定出赢家分类器(即分类性能最优的分类器)和输家分类器,然后,利用标签样本和赢家分类器自信的无标签样本,训练输家分类器,也就是,通过赢家分类器的自信知识增加对输家分类器的约束,从而解决弱监督学习中,仅对一个分类器进行训练而导致的无标签样本的分类错误无法纠正的问题。
S202、将所述分类器集合中分类性能最优的分类器确定为所述目标分类器;
一般来说,在确定所述分类器集合之后,还需要一组标签样本来测试所述分类器集合中每一分类器的分类性能,然后从中选出分类性能最优的分类器作为所述目标分类器。
S203、获取待分类图像;
S204、利用所述目标分类器确定所述待分类图像的类型;
S205、输出所述待分类图像的类型。
在本申请实施例中,通过对多个初始分类器进行至少一次竞争训练,从中选出分类性能最优的分类器作为目标分类器,解决弱监督学习中,仅对一个分类器进行训练而导致的无标签样本的分类错误无法纠正的问题。
本申请实施例提供又一图像分类方法,该方法包括步骤S301至步骤S308:
S301、对多个初始分类器进行性能竞争,将当前分类性能最优的初始分类器确定为赢家分类器,将除所述赢家分类器外的其他初始分类器确定为输家分类器;
在其他实施例中,所述多个初始分类器为两个图像分类器,每一所述图像分类器为深度神经网络,例如,每一所述图像分类器为Mean-Teacher网络。可以理解地,在解决无有标签的样本的分类错误无法纠正的前提下,为了获得分类性能较优的目标分类器,在实际应用中,可以仅对两个图像分类器进行性能竞争和训练,这样,既可以获得分类性能更好的目标分类器,还可以节约时间开销和内存开销。
S302、对所述赢家分类器和所有所述输家分类器进行一次训练;
在基于弱监督学习的分类器训练算法中,无标签样本是影响分类器的分类性能的主要因素。举例来说,假设初始分类器为Mean-Teacher网络,仅对一个Mean-Teacher网络进行训练,将最终训练得到的分类器确定为目标分类器。在对该Mean-Teacher网络进行训练的过程中,如果将一组无标签样本输入至Mean-Teacher网络的student模型中,得到的预测类型与真实类型相差甚远,那么在当前训练中得到的训练后的student模型就会具有较差的分类性能,而Mean-Teacher网络的teacher模型是由student模型生成的,例如,teacher模型的模型参数是由student模型的当前模型参数和历史模型参数累加得到的,那么,随着训练迭代的进行,teacher模型的累积误差越来越大,而teacher模型用于指导student模型,最终导致训练得到的目标分类器的分类性能较差,但却无法纠正。所以,在本申请实施例中,为了避免这种情况的发生,对多个初始分类器同时进行至少一次竞争训练,得到分类器集合,并从中选出分类性能最优的分类器作为目标分类器,从而解决仅对一个初始分类器进行训练而导致的无标签样本的分类错误无法纠正的问题。
S303、对所述一次训练后的赢家分类器和所述一次训练后的任一输家分类器再次进行性能竞争和训练;
S304、重复执行N次性能竞争和N次训练,将最后一次迭代得到的所有分类器确定为所述分类器集合;N为大于等于1的整数;
S305、将所述分类器集合中分类性能最优的分类器确定为所述目标分类器;
一般来说,当前训练后的赢家分类器的分类性能不一定优于训练后的输家分类器的分类性能,所以,在得到所述分类器集合之后,通常还需要通过一组标签样本测试所述分类器集合中每一分类器的分类性能,并将其中分类性能最优的分类器确定为目标分类器。
可以理解地,在得到所述目标分类器之后就可以应用了,例如,在应用中接收到一张待分类器图像,此时就可以通过所述目标分类器对待分类器图像进行分析,从而确定并输出所述待分类图像的类型。也就是说,在得到所述目标分类器之后,如果获取到一张待分类图像,就可以执行如下步骤S307和步骤S308,实现对待分类图像的正确分类。
S306、获取待分类图像;
S307、利用所述目标分类器确定所述待分类图像的类型;
S308、输出所述待分类图像的类型。
本申请实施例中,对多个初始分类器进行性能竞争并同时训练,从中选出分类性能最优的分类器作为目标分类器,从而弥补只对单个分类器进行训练得到目标分类器,而导致的无标签样本的分类错误无法纠正的问题。
本申请实施例提供再一图像分类方法,该方法包括步骤S401至步骤S412:
S401、获取有标签的第一样本组;
一般来说,可以从预设的训练样本集中获取一组有标签的第一样本,训练样本集中包括多个有标签的第一样本组和多个无标签的第二样本组,每一第一样本组中包括至少一张有标签的图像,例如,包括30张图像,每张图像的标签为与该图像对应的图像类型;每一第二样本组中包括至少一张无标签的图像,例如,包括50张没有任何标签的图像。在每一次训练中,可以从所述训练样本集中获取一个第一样本组和一个第二样本组。
S402、利用所述第一样本组,对每一所述初始分类器进行分类性能测试,得到与所述初始分类器对应的当前分类性能;
可以理解地,训练多个初始分类器的最终目的是能够使训练得到的目标分类器尽可能正确地对图像进行分类,所以,利用标签样本(即第一样本)测试多个初始分类器的分类性能,这样确定的分类性能较为准确。一般来说,可以通过分类器对标签样本的分类误差来表征当前分类性能。可以理解地,分类误差是指分类器预测结果和真实结果之间的偏差,因此直观上分类误差越小,分类器的分类性能越好。例如,通过如下实施例的步骤S601至步骤S609,确定每一初始分类器的当前累积分类误差,使用当前累积分类误差表征所述初始分类器的当前分类性能,所以,当前累积分类误差越小,对应的初始分类器的当前分类性能就越好。
S403、将当前分类性能最优的初始分类器确定为赢家分类器;
可以理解地,如果将当前分类性能最优的初始分类器确定为赢家分类器,将除所述赢家分类器外的其他初始分类器确定为输家分类器,那么,在后续对所述赢家分类器和所有所述输家分类器进行一次训练时,可以使每一所述输家分类器得到更好的指导,即,通过标签样本和赢家分类器自信的无标签样本,训练所述输家分类器,从而最大限度地提升所述输家分类器的分类性能。
S404、将除所述赢家分类器外的其他初始分类器确定为输家分类器,然后,进入步骤S405;
需要说明的是,步骤S401至步骤S404实际上是上述实施例中步骤S301的一种实施示例,即,所述对多个初始分类器进行性能竞争,将当前分类性能最优的初始分类器确定为赢家分类器,将除所述赢家分类器外的其他初始分类器确定为输家分类器,包括步骤S401至步骤S404。
S405、基于所述第一样本组,对所述赢家分类器进行训练;
可以理解地,在每一次训练中,只用一组标签样本(如第一样本)训练所述赢家分类器,相比于利用标签样本和无标签样本(如第二样本)训练所述赢家分类器,前者得到的训练后的赢家分类器较为可靠,即分类性能较好。
需要说明的是,步骤S405实际上是上述实施例中步骤S302中对所述赢家分类器进行训练的一种实施示例。
S406、获取无标签的第二样本组;
S407、将所述第二样本组输入所述赢家分类器,得到所述第二样本组中每个第二样本的预测类型及其所属预测类型的预测概率;
S408、基于所述第二样本的预测类型及其所属预测类型的预测概率,从所述第二样本组中确定自信样本组;
一般来说,自信样本组中的每一自信样本为预测概率比较高的第二样本,也就是具有较高的预测准确度的无标签样本。
S409、基于所述自信样本组和所述第一样本组,对所述输家分类器进行训练;
可以理解地,如果只用无标签样本中自信的样本和标签样本去训练输家分类器,相比于在训练输家分类器之前,不对无标签样本进行筛选,即,直接基于所述第一样本组和所述第二样本组,对所述输家分类器进行训练,在本申请实施例中,基于所述自信样本组和所述第一样本组,对所述输家分类器进行训练,得到的训练后的输家分类器的分类性能更好。并且,在本申请实施例中,所述自信样本组是通过分类性能最优的赢家分类器确定的,所以得到的自信样本和自信样本所属的预测类型更加可靠,这样,能够弥补直接使用第二样本组对待训练的分类器(例如所述输家分类器或所述赢家分类器)进行训练导致的分类错误无法纠正的缺陷。
需要说明的是,步骤S406至步骤S409实际上是上述实施例中步骤S302中对所述输家分类器进行训练的一种实施示例。
S410、对所述训练后的赢家分类器和所述训练后的任一输家分类器再次进行性能竞争和训练;
S411、重复执行N次性能竞争和N次训练,将最后一次迭代得到的所有分类器确定为所述分类器集合;N为大于等于1的整数;
S412、将所述分类器集合中分类性能最优的分类器确定为所述目标分类器;至此,所述目标分类器就可以被应用了,即,在获取到一张待分类图像后,执行上述步骤S307和步骤S308,应用目标分类器确定所述待分类图像的类别,并输出该类别。
在本申请实施例中,利用分类性能最优的赢家分类器从无标签样本中确定自信的无标签样本和其所属预测类型,得到自信样本组;利用自信样本组和有标签的第一样本组,训练输家分类器,这样,能够使输家分类器得到赢家分类器的指导,使得训练后的输家分类器的分类性能得到改善。
在其他实施例中,所述方法还包括步骤S412和步骤S413:
S412、获取迁移样本集,所述迁移样本集包括多个有标签的第一样本组和多个无标签的第三样本组,所述迁移样本集中的任一第三样本的类型与任一所述第二样本的类型不同;
需要说明的是,所述迁移样本集中第一样本的数量和第三样本的数量可以相同,也可以不同,这里不限定所述第一样本的数量和所述第三样本的数量。
S413、基于所述迁移样本集,对所述分类器集合再进行至少一次竞争训练。
例如,所述目标分类器当前为用于识别楷体字的图像分类器,为了使所述目标分类器能够识别宋体字,需要重新获取新的训练样本集(即所述迁移样本集),在迁移样本集中包括多个无标签的宋体字的图片。
对所述目标分类器进行迁移适应时,在迁移适应中所用到的迁移样本集包括多个有标签的第一样本组和多个无标签的第三样本组,其中,有标签的第一样本组为所述训练样本集中的第一样本组,这样利用已有的标签样本实现对所述目标分类器的迁移适应,能够大大降低标签样本的标签成本。另外,所述迁移样本集中的任一第三样本的类型与任一所述第二样本的类型不同,即,第三样本组的数据分布与第二样本组的数据分布不同,例如,第三样本组的样本为楷书,第二样本组的样本为行书,这样,在迁移适应之前只能够识别行书的目标分类器,在迁移适应之后,既可以识别行书,也可以识别楷书;再如,第三样本组的样本是通过数码相机拍摄得到的图像,第二样本组的样本是通过手机拍摄得到的图像,这样,在迁移适应之前只能够识别手机拍摄的图像的目标分类器,在迁移适应之后,既可以识别手机拍摄的图像,还可以识别数码相机拍摄的图像。
因此,基于所述迁移样本集,对所述分类器集合再进行至少一次竞争训练,即可提升所述目标分类器跨数据集测试的性能,无需对目标分类器内部或样本进行特定处理,只需基于原有的标签样本和随机获取的新的无标签样本,即可实现所述目标分类器的迁移适应。
本申请实施例提供另一图像分类方法,该方法包括步骤S501至步骤S518:
S501、获取有标签的第一样本组;
S502、获取预先保存的每一所述初始分类器的历史累积分类误差;
S503、基于所述第一样本组,确定每一所述初始分类器的当前分类误差;
实际上,当前分类误差用于表征所述初始分类器对所述第一样本组的预测结果和真实结果之间的偏差,可以用预测结果和真实结果之间的均方差等来计算得到,这里对所述当前分类误差的具体表现形式不做限定。
S504、基于每一所述初始分类器的历史累积分类误差和当前分类误差,确定与所述初始分类器对应的当前累积分类误差;
S505、将每一所述初始分类器的当前累积分类误差,确定为与所述初始分类器对应的当前分类性能;
在本申请实施例中,在确定每一所述初始分类器的当前分类性能时,考虑了分类器的历史累积性能,即,基于每一所述初始分类器的历史累积分类误差和当前分类误差,确定与所述初始分类器对应的当前累积分类误差。相比于仅将分类器的当前分类误差确定为它的当前分类性能,通过步骤S502至步骤S505所确定的分类器的当前分类性能更加准确,更加接近分类器的真实情况,而当前分类误差因为是某个时刻的分类误差,所以,如果直接通过当前分类误差表征分类器的当前分类性能,可能不够准确。
需要说明的是,步骤S502至步骤S505实际上是上述实施例中步骤S402的一种实施示例,即,所述利用所述第一样本组,对每一所述初始分类器进行分类性能测试,得到与所述初始分类器对应的当前分类性能,包括步骤S502至步骤S505。
S506、将当前分类性能最优的初始分类器确定为赢家分类器;
可以理解地,当前累积分类误差越小,分类器的分类性能就越好,因此,这里,可以将当前累积分类误差最小的初始分类器确定为赢家分类器。
S507、将除所述赢家分类器外的其他初始分类器确定为输家分类器,然后,进入步骤S508;
S508、基于所述第一样本组,确定所述赢家分类器的第一损失函数;
S509、基于所述第一损失函数,训练所述赢家分类器;
可以理解地,所述第一损失函数用于调整所述赢家分类器的模型参数的参数值。例如,调整赢家分类器的student模型的模型参数的参数值。一般来说,所述第一损失函数主要由所述赢家分类器对所述第一样本组进行预测后得到的一致性损失和分类损失确定。
需要说明的是,步骤S508和步骤S509实际上是上述实施例中步骤S405的一种实施示例,即,所述基于所述第一样本组,对所述赢家分类器进行训练,包括步骤S508和步骤S509。
S510、获取无标签的第二样本组;
S511、将所述第二样本组输入所述赢家分类器,得到所述第二样本组中每个第二样本的预测类型及其所属预测类型的预测概率;
S512、将所述第二样本组中预测概率大于置信度阈值的第二样本确定为自信样本;
可以理解地,预测概率越大,对应的第二样本的预测类型越接近真实值,所以,通过设置置信度阈值,将所述第二样本组中预测概率大于置信度阈值的第二样本确定为自信样本,这种方式简单有效。另外,置信度阈值的大小影响了选取的自信样本的可靠程度,即接近真实值的程度。
需要说明的是,在对得到的目标分类器进行迁移适应时,需要将置信度阈值设置的较小,这样可以保证多个分类器能够基于足够多的无标签样本进行性能竞争和训练,从而使迁移适应后得到的目标分类器具有更强的适应能力。
S513、将所述自信样本及其预测类型,确定为自信样本组;
例如,得到的自信样本包括:(x1,y1)、(x2,y2)和(x3,y3),其中xi(i=1,2,3)表示自信样本,yi表示xi的预测类型,得到的自信样本组为{(x1,y1),(x2,y2),(x3,y3)}。
需要说明的是,步骤S512至步骤S513实际上是上述实施例步骤S408的一种实例示例,即,所述基于所述第二样本的预测类型和预测概率,从所述第二样本组中确定自信样本组,包括步骤S512至步骤S513。
S514、基于所述自信样本组和所述第一样本组,确定所述输家分类器的第二损失函数;
S515、基于所述输家分类器的第二损失函数,训练所述输家分类器;
可以理解地,所述第二损失函数用于调整所述输家分类器的模型参数的参数值。例如,调整所述输家分类器的student模型的模型参数的参数值。所述第二损失函数由所述输家分类器对自信样本组进行预测后得到的一致性损失(即如下实施例所述的第三损失值)、分类损失(即如下实施例所述的第四损失值,也称为竞争损失)、所述输家分类器对第一样本组的分类损失(即如下实施例所述的第五损失值)和一致性损失(即如下实施例所述的第一损失值)确定。
需要说明的是,步骤S514和步骤S515实际上是上述实施例步骤S409的一种实例示例,即,所述基于所述自信样本组和所述第一样本组,对所述输家分类器进行训练,包括步骤S514和步骤S515。
S516、对所述训练后的赢家分类器和所述训练后的任一输家分类器再次进行性能竞争和训练;
S517、重复执行N次性能竞争和N次训练,将最后一次迭代得到的所有分类器确定为所述分类器集合;N为大于等于1的整数;
S518、将所述分类器集合中分类性能最优的分类器确定为所述目标分类器;至此,所述目标分类器就可以被应用了,即,在获取到一张待分类图像后,执行上述步骤S307和步骤308,应用目标分类器确定所述待分类图像的类别,并输出该类别。
在本申请实施例中,通过自信样本组增加对输家分类器的损失约束,使输家分类器得到赢家分类器的指导,能够适度纠正弱监督训练方案中无标签样本的错误分类,提升输家分类器的分类性能。
本申请实施例提供又一图像分类方法,该方法包括步骤S601至步骤S616:
S601、获取有标签的第一样本组;
S602、获取预先保存的每一所述初始分类器的历史累积分类误差;
S603、将所述第一样本组输入到每一所述初始分类器,得到与所述初始分类器对应的第一预测概率集;
可以理解地,每一第一预测概率集实际上就是对应的初始分类器对所述第一样本组的预测值。
S604、基于所述第一样本组中的标签信息和每一所述初始分类器的第一预测概率集,确定与所述初始分类器对应的当前分类误差;
其中,所述标签信息包括所述第一样本组中每一第一样本所属的类型。
需要说明的是,步骤S603和步骤S604实际上是上述实施例中步骤S503的一种实施示例,即,所述基于所述第一样本组,确定每一所述初始分类器的当前分类误差,包括步骤S603和步骤S604。
S605、获取所述历史累积分类误差与所述当前分类误差的第一混合比例,所述第一混合比例小于1;
S606、将所述第一混合比例与每一所述初始分类器的历史累积分类误差相乘,得到与所述初始分类器对应的第一分类误差;
S607、获取第二混合比例,其中所述第二混合比例为1与所述第一混合比例的差值;
S608、将所述第二混合比例与每一所述初始分类器的当前分类误差相乘,得到与所述初始分类器对应的第二分类误差;
S609、将每一所述初始分类器的第一分类误差及其第二分类误差相加,得到与所述初始分类器对应的当前累积分类误差;
需要说明的是,步骤S605至步骤S609的实施过程,具体可以参见如下公式(1),即,通过公式(1)确定每一所述初始分类器的当前累积分类误差
式中,Mi表示某个分类器,α表示第一混合比例,表示Mi的历史累积分类误差,/>表示Mi的当前分类误差。通过调整α的值,调整历史累积分类误差在计算当前累积分类误差/>时所占的比重。
在本申请实施例中,设置历史累积分类误差与当前分类误差之间的第一混合比例,通过第一混合比例控制当前分类误差和历史累积分类误差分别对当前累积分类误差的影响程度。这样,就增加了算法的灵活度,可以通过调整第一混合比例,寻找到分类性能最优的目标分类器。
需要说明的是,步骤S605至步骤S609实际上是上述实施例中步骤S504的一种实施示例,即,所述基于每一所述初始分类器的历史累积分类误差和当前分类误差,确定与所述初始分类器对应的当前累积分类误差,包括步骤S605至步骤S609。
S610、将当前累积分类误差最小的初始分类器确定为赢家分类器;
可以理解地,当前累积分类误差越小,对应的初始分类器的分类性能越好,所以,将当前累积分类误差最小的初始分类器确定为赢家分类器,即赢家分类器为当前分类性能最优的初始分类器。相比于依据当前分类误差确定赢家分类器,依据当前累积分类误差确定的赢家分类器更为可靠、准确。需要说明的是,步骤S610实际上是上述实施例中步骤S506的一种实施示例。
S611、将除所述赢家分类器外的其他初始分类器确定为输家分类器,然后,进入步骤S612;
S612、对所述赢家分类器和所有所述输家分类器进行一次训练,然后进入步骤S613;
S613、利用每一所述初始分类器的当前累积分类误差,更新与所述初始分类器对应的历史累积分类误差;
例如,将所述当前累积分类误差覆盖历史累积分类误差,以便下一次竞争训练使用。这里不限定步骤的执行时序,可以在步骤S610之后执行。
S614、对所述一次训练后的赢家分类器和所述一次训练后的任一输家分类器再次进行性能竞争和训练;
S615、重复执行N次性能竞争和N次训练,将最后一次迭代得到的所有分类器确定为所述分类器集合;N为大于等于1的整数;
S616、将所述分类器集合中分类性能最优的分类器确定为所述目标分类器;至此,所述目标分类器就可以被应用了,即,在获取到一张待分类图像后,执行上述步骤S307和步骤S308,应用目标分类器确定所述待分类图像的类别,并输出该类别。
本申请实施例提供再一图像分类方法,该方法包括步骤S701至步骤S723:
S701、从预设的训练样本集中获取有标签的第一样本组和无标签的第二样本组;
S702、将所述第一样本组输入到每一预设的初始分类器中的第一子模型和第二子模型中,得到与所述初始分类器对应的第一预测概率集和第二预测概率集;其中,所述第二子模型由所述第一子模型生成;也就是说,将所述第一样本组输入到每一所述初始分类器的第一子模型中,得到与所述初始分类器对应的第一预测概率集;将所述第一样本组输入到每一所述初始分类器的第二子模型中,得到与所述初始分类器对应的第二预测概率集。
举例来说,假设每一所述初始分类器为一个Mean-Teacher网络,该网络包括一个student模型(即所述第一子模型)和一个teacher模型(即所述第二子模型),其中,teacher模型是由student模型生成的,例如,teacher模型的当前模型参数是由student模型的当前模型参数和student模型的历史模型参数进行滑动平均得到的。
S703、将所述第二样本组输入到每一所述初始分类器中的第一子模型和第二子模型中,分别对应得到第一子模型对第二样本组进行预测时输出的第三预测概率集、第二子模型对第二样本组进行预测时输出的第四预测概率集和预测类型集;
需要说明的是,不限定步骤S702和步骤S703的执行顺序,也就是说,不限定所述第一样本组和所述第二样本组输入每一所述初始分类器的顺序,可以是合并为一组数据,同时输入到每一所述初始分类器中。
S704、基于所述第一样本组中的标签信息和每一所述初始分类器的第一预测概率集,确定与所述初始分类器对应的当前分类误差;
S705、基于每一所述初始分类器的历史累积分类误差和当前分类误差,确定与所述初始分类器对应的当前累积分类误差;
S706、将当前累积分类误差最小的初始分类器确定为赢家分类器,将除所述赢家分类器外的其他初始分类器确定为输家分类器;
S707、基于每一所述初始分类器对应的第一预测概率集和第二预测概率集,确定与所述初始分类器对应的第一损失值,所述第一损失值用于表征利用所述初始分类器对所述第一样本组进行预测时得到的一致性损失;
可以理解地,所述第一损失值为所述初始分类器对标签样本(即所述第一样本组中的第一样本)进行预测所得到的一致性损失。例如,假设每一所述初始分类器为Mean-Teacher网络,所述第一损失值为student模型对标签样本的预测结果与teacher模型对标签样本的预测结果之间的偏差。
S708、获取所述赢家分类器的第一预测概率集和第一损失值;
事实上,由于所述赢家分类器就是所述多个初始分类器中的分类性能最优的一个初始分类器,所以,为了避免重复计算,可以直接从上述步骤S702和步骤S707得到的每一所述初始分类器的第一预测概率集和第一损失值中,获取所述赢家分类器的第一预测概率集和第一损失值。
S709、基于所述第一样本组的标签信息和所述赢家分类器的第一预测概率集,确定所述赢家分类器的第二损失值;
可以理解地,所述第二损失值为赢家分类器对标签样本(即所述第一样本组中的第一样本)的预测结果与真实结果之间的偏差。
S710、基于所述赢家分类器的第一损失值和第二损失值,确定所述赢家分类器的第一损失函数;
对于赢家分类器来讲,可以仅通过对应的第一损失值和第二损失值来确定所述赢家分类器的第一损失函数;利用所述第一损失函数调整赢家分类器的模型参数的参数值,实现当前对所述赢家分类器的训练。例如,可以通过如下公式(2)确定所述赢家分类器的第一损失函数
式中,为赢家分类器的第二损失值,即标签样本的分类损失,为赢家分类器的第一损失值,即标签样本的一致性损失,λ1为常数。
需要说明的是,步骤S708至步骤S710实际上是上述实施例步骤S508的一种实施示例,即,所述基于所述第一样本组,确定所述赢家分类器的第一损失函数,包括步骤S708至步骤S710。
S711、基于所述第一损失函数,训练所述赢家分类器;
S712、获取所述赢家分类器对应的第三预测概率集和预测类型集;
可以理解地,如果每一所述初始分类器中包括第一子模型和第二子模型,第二子模型由第一子模型生成,例如,第二子模型的当前模型参数是由第一子模型的当前模型参数和历史模型参数进行滑动平均得到的,第二子模型主要用于指导第一子模型,从而使得获得的无标签样本的预测类型不会有太大的抖动。因此,对于具有第一子模型和第二子模型的赢家分类器,每一所述第二样本的预测类型是通过第二子模型预测得到的。
S713、基于所述赢家分类器对应的第三预测概率集和预测类型集,从所述第二样本组中确定自信样本组;
S714、从每一所述输家分类器对应的第三概率集和第四概率集中,确定每一自信样本的第三概率和第四概率,得到与所述输家分类器对应的第一自信概率集和第二自信概率集;
可以理解地,每一所述输家分类器对应的第一自信概率集中的第一自信概率,实际上就是从与所述输家分类器对应的第三概率集中选出来的每一自信样本的第三预测概率;同样地,每一所述输家分类器对应的第二自信概率集中的第二自信概率,实际上就是从与所述输家分类器对应的第四概率集中选出来的每一自信样本的第四预测概率。
S715、基于每一输家分类器对应的第一自信概率集和第二自信概率集,确定与所述输家分类器对应的第三损失值,所述第三损失值用于表征所述输家分类器对所述自信样本组进行预测时得到的一致性损失;
可以理解地,所述第三损失值为对应输家分类器对自信样本进行预测所得到的一致性损失。例如,假设每一所述输家分类器为Mean-Teacher网络,所述第三损失值为student模型对自信样本的预测结果与teacher模型对自信样本的预测结果之间的偏差。
需要说明的是,步骤S703、步骤S714和步骤S715,实际上是获取每一所述输家分类器的第三损失值和第一自信预测概率集的一种实施示例。
对于Mean-Teacher网络来讲,student模型的模型参数一般是通过标签样本和无标签样本共同确定的损失函数值得到的,也就是基于该损失函数值更新student模型的模型参数。在该损失函数值中,包含两部分内容:第一部分是有监督损失值,即,基于有标签的第一样本组得到的损失值,主要用于保证有标签的第一样本能够更好地拟合;第二部分是无监督损失值,也就是无标签样本输入到两个子模型之后,通过比较两个子模型的输出结果得到的一致性损失,利用该一致性损失可以保证teacher模型对无标签样本的预测类型与student模型对相同样本的预测类型尽可能地相似。可见,无标签样本的样本质量直接影响了Mean-Teacher网络的分类性能。所以,在本申请实施例中,利用分类性能最优的初始分类器(即所述赢家分类器),从无标签样本中确定出自信的无标签样本,利用自信的无标签样本来得到每一所述输家分类器的一致性损失,从而提升训练后的输家分类器的分类性能。
S716、基于自信样本组中每一自信样本对应的预测类型和每一所述输家分类器的第一自信概率集,确定与所述输家分类器对应的第四损失值;
可以理解地,所述第四损失值为所述输家分类器对自信样本的预测结果与赢家分类器对自信样本的预测结果之间的偏差,这种偏差也称为竞争损失。
假设每一初始分类器为Mean-Teacher网络,所述多个初始分类器为两个分类器,如图3所示,同时独立训练分类器31和分类器32,对于每一个分类器,均由两个子模型组成,即,分类器31包括teacher模型和student模型,分类器32包括teacher模型和student模型。在每次竞争训练中,产生第三损失值和第四损失值,增加对输家分类器的损失约束。即,对于输家分类器,在计算第二损失函数时,不仅要考虑标签样本带来的第一损失值和第五损失值(即分类损失),还要考虑自信样本带来的第三损失值和第四损失值。
S717、获取所述输家分类器的第一预测概率集和第一损失值;
其中,所述输家分类器的第一预测概率集为所述输家分类器包括第一子模型和由所述第一子模型生成的第二子模型时,由所述输家分类器的第一子模型对所述第一样本组进行预测时得到的,所述输家分类器的第一损失值用于表征利用所述输家分类器对所述第一样本组进行预测时得到的一致性损失;事实上,由于所述输家分类器是所述多个初始分类器中除所述赢家分类器外的其他初始分类器,所以,这里,为了避免重复计算,可以直接从上述步骤S702和步骤S707得到的第一预测概率集和第一损失值中,获取所述输家分类器的第一预测概率集和第一损失值。
S718、基于所述第一样本组的标签信息和所述输家分类器的第一预测概率集,确定与所述输家分类器对应的第五损失值;
可以理解地,所述第五损失值为所述输家分类器对标签样本(即所述第一样本组中的第一样本)的预测结果与真实结果之间的偏差。
S719、基于所述输家分类器的第一损失值、第三损失值、第四损失值和第五损失值,确定与所述输家分类器对应的第二损失函数;
例如,可以通过如下公式(3)确定每一分类器的第二损失函数从而利用所述第二损失函数调整对应输家分类器的模型参数的参数值,实现当前迭代时对对应输家分类器的训练。
式中,即为输家分类器Mi对应的第五损失值,/>即为输家分类器Mi对应的第一损失值和输家分类器Mi对应的第三损失值之和,/>即为输家分类器Mi对应的第四损失值。
需要说明的是,步骤S714至步骤S718实际上是上述实施例中步骤S515的一种实施示例,即,所述基于所述自信样本组和所述第一样本组,确定所述输家分类器的第二损失函数,包括步骤S714至步骤S718。
S720、基于所述输家分类器的第二损失函数,训练所述输家分类器;
S721、对所述训练后的赢家分类器和所述训练后的任一输家分类器再次进行性能竞争和训练;
S722、重复执行N次性能竞争和N次训练,将最后一次迭代得到的所有分类器确定为所述分类器集合;N为大于等于1的整数;
S723、将所述分类器集合中分类性能最优的分类器确定为所述目标分类器;至此,所述目标分类器就可以被应用了,即,在获取到一张待分类图像后,执行上述步骤S307和步骤308,应用目标分类器确定所述待分类图像的类别,并输出该类别。
在本申请实施例中,通过赢家分类器从无标签的第二样本组中确定自信样本组,利用所述自信样本组增加对每一所述输家分类器的损失约束(包括第三损失值和第四损失值),从而提升每一所述输家分类器的分类性能。
本申请实施例为弱监督方法训练的图像分类器提供了一种竞争策略,以解决只对单个分类器进行弱监督训练时,存在的无标签样本的分类错误无法纠正的问题。竞争策略定义了两个结构相同且独立的分类器(即两个所述初始分类器)并同时训练。首先,每个分类器分别对有标签的图片(即所述第一样本组)进行分类;随后,通过评价标准(即每个分类器的分类性能)选择效果更优的分类器作为赢家分类器;接着,使用赢家分类器辅助提升另一模型的分类性能。在训练过程中,两个分类器不断比较,共同进步,赢家交替,将最后一次迭代训练后的赢家分类器作为应用的图像分类器(即目标分类器)。
在本申请实施例中,为竞争策略设计了可调节参数,例如,所述置信度阈值、第一混合比例,用于控制不同应用场景下的结果和输出。
在本申请实施例中,设计竞争策略得到的目标分类器用于跨数据集测试,大幅提升了现有图像分类器的测试精度。即利用所述竞争策略实现对目标分类器的迁移适应。
本申请实施例主要包含三个技术流程:分类器性能判定、分类器竞争学习和分类器迁移适应,各个流程的详细说明如下。
1、分类器性能判定
为了让分类器在后面的步骤中进行竞争,首先要判断分类器当前性能的好坏。训练分类器时的输入同时包含了标签样本(即所述第一样本)和无标签样本(即所述第二样本),采用标签样本来进行性能判断。可以理解地,由于最终的目的是使目标分类器尽可能正确的分类图片,所以,采用两个分类器对标签样本的分类误差来判断当前状态下的赢家(即所述赢家分类器,简称赢家)。分类误差是指分类器预测结果和真实结果之间的偏差,因此,直观上分类误差小的分类器性能更好。形式上可以用以下公式(4)表示性能判定过程:
式中,表示当前状态下分类器Mi的分类误差,式(4)表示通过比较两个分类器(即分类器M1和M2)的分类误差并从中选出分类误差小的分类器。
2、分类器竞争学习
在获得各分类器的分类性能后,可以使分类性能差的分类器(即所述输家分类器)从赢家分类器中进行学习,随后再进行新一轮的竞争比较。如图4所示,其示出了一次竞争学习的实现流程示意图,包括以下步骤S21至步骤S24:
S21、通过确定每一分类器的累积分类性能,竞争选择赢家;
例如,将每一分类器的当前累积分类误差确定为与所述分类器对应的累积分类性能。在选择出赢家时,并非直接使用当前时刻的分类误差直接作为评价标准,因为某一时刻的分类误差可能并不足够准确。因此,同时考虑了历史保存每一分类器的分类性能,这个过程采用了滑动平均的策略获得累积性能,即每一次比较前,都采用一定的比例混合当前时刻的分类误差(即所述当前分类误差)和历史记录的分类误差(即所述历史累积分类误差),确定与所述分类器对应的累积分类性能(即所述当前累积分类误差),然后进行累积分类性能的比较,比较结束后将当前计算得到的累积分类性能覆盖历史性能记录。
S22、基于置信度阈值,提取赢家知识;
对于赢家,我们希望从它获得有益的知识辅助另一分类器,因此在本申请实施例中引入了置信度阈值,用于抽取出赢家自信的知识(即所述自信样本)。对于赢家的预测,只有预测概率高于置信度阈值的样本才被认为是分类正确的,这些预测结果可以用于指导输家。置信度阈值控制了分类器间竞争的强度,较大的置信度阈值能够减缓分类器间的竞争,而较小的值则可以加强分类器间竞争。置信度阈值帮助确保了来自赢家的知识是尽可能正确的。
S23、输家从赢家处学习额外的知识;
对于赢家预测中预测概率超过置信度阈值的样本(即所述自信样本),如公式(5)所示,可以通过平方差损失(即所述第四损失值)来增加对输家的约束,从而令输家得到赢家的指导。
式中,表示赢家对输家的损失约束。u表示无标签样本集,x表示一个样本,γ表示置信度阈值。上述公式表示,首先从无标签样本集u中获得赢家预测高于γ的样本,组成集合u′(即所述自信样本组),随后,对u′中的数据计算出由赢家添加给输家的约束。
S24、输家更新自身分类器。
这样,S21至S24,这四个步骤形成一个循环,称为一次竞争迭代。该流程实现了分类器间的竞争学习。其中累积分类性能与置信度阈值作为辅助策略。
图5为三种训练过程中每次迭代中分类器的分类性能比较,其中训练样本集包括4000张图像,如图5所示,曲线51为采用两个Mean-Teacher网络进行性能竞争和训练的过程中每次迭代时分类器的分类性能,曲线52为两个student模型进行性能竞争和训练的过程中每次迭代时分类器的分类性能,也就是没有一致性损失时每次迭代的分类性能,曲线53为对一个Mean-Teacher网络进行训练的过程中每次迭代时分类器的分类性能,从图中可以看出,曲线51对应的技术方案获得的分类性能最优。
3、分类器迁移适应
对于训练样本集以外的测试样本,通过调整自信阈值和第一混合比例等参数值,定制了特定的竞争策略。迁移适应中用于训练的样本集称为源样本集(即多个第一样本组组成的样本集合),用于测试的样本称为目标样本集(即所述多个第三样本组组成的样本集合)。在训练分类器时将源样本集和目标样本集组合,其中源样本带有标签,目标样本没有标签。训练中,两个分类器主要在目标样本集上进行竞争,相互学习。在这个过程中,将置信度阈值设置的比较小,以确保在目标样本集上的进行充分竞争。在训练完成后,在目标样本集上进行测试。如图6所示,曲线61为对目标分类器和最后一次迭代得到的训练后的输家分类器进行性能竞争和训练的过程中每次迭代时分类器的分类性能,也就是迁移适应中每次迭代时分类器的分类性能,曲线62至曲线64为其他迁移算法中每次迭代时分类器的分类性能,由图6可见,曲线61对应的迁移算法更优。
为了便于对本申请实施例所提供的技术方案的理解,以下再提供一实施例,描述竞争训练的过程。
首先,在竞争训练的过程中,涉及两个模型(即两个所述初始分类器),这两个模型具有完全相同的结构。两种模型都遵循“师生”的风格,对于每一个模型,它由一个明确的student模型和一个明确的或者隐含的teacher模型组成。这两个互为竞争的模型可以分别表示为:这种模型(即ML、MR)也可以称为Π模型或均值教师等。其次,在训练期间,模型ML和MR会同时并独立地更新,因此最后将得到两个训练后的模型,只选择其中分类性能更好的模型作为目标分类器。最重要的是,模型ML和MR通过竞争损失Lcomp相互竞争。在每次迭代中,其中一个模型将被强制向另一个模型学习,即向赢家学习。在优化过程中,赢家和竞争损失也会发生变化。从上面来看,还有两个问题需要解决:一个是如何确定谁是赢家,另一个是如何强制输家从赢家那里学习。
由于最终目标是获得一个能够将图像正确分类为不同类型的模型,因此可以直接将每一模型的分类损失用作评估标准。假设来自无标签集合U和标签集合S的样本被模型映射后,在特征空间中具有相同的分布,由于没有所述无标签集合U的任何确定标签,所以,可以将对标签集合S的分类误差Lcls作为评估标准。分类误差是指分类器预测结果和真实结果之间的偏差,因此直观上分类误差小的模型性能更好。作为一种经验,由于不同的批次输入,分类误差在连续迭代之间波动,因此当前分类误差只能代表当前批次的模型性能。因此,可以应用滑动平均策略EMA来平滑对分类器的性能判断。对每个模型i∈{L,R}在当前迭代时刻t的最终性能评估标准如下公式(6)所示:
赢家模型被下式(7)确定,即,比较模型ML和MR的分类误差并从中选出分类误差小的模型作为赢家模型。
在选出获胜者之后,可以定义:竞争损失用于强制输家模型向赢家模型学习。在每次迭代中,输入包括标签数据和无标签数据。对于标签数据,它们的标签存在相当好的约束。在这种情况下,不需要来自赢家模型的预测。对于无标签数据,赢家模型对无标签数据的预测可能更好,尤其是无标签数据中的自信数据。因此,利用自信数据可以改善当前的输家模型。竞争损失Lcomp,如下式(8)所示,被定义为平方差损失:
式中,Mwinner即通过上式(7)所确定的赢家模型。γ是一个自信阈值,取值范围在[0,1),用于控制竞争的激烈程度。U表示无标签数据集,x表示一个数据样本。上述公式(8)的含义:首先,从无标签数据集U中获得赢家模型预测高于γ的样本,组成集合U',随后对U'中的数据计算出由赢家模型添加给输家模型的约束Lcomp。一个较大的自信阈值γ,可以强制输家模型从有信心的样本中学习,即,较大的自信阈值γ可以导致较弱竞争但较为可靠的约束,而较小的自信阈值γ会触发较强的竞争但较不可靠的约束。适当的γ值取决于数据集的复杂性。假设U和S在特征空间中具有相同的分布,但实际上U和S之间存在较小的差异,这种差异可以通过鉴别器区分。置信度阈值γ也可以帮助减少它们的影响。
增加竞争损失的另一个可能选择是在卷积层生成的特征之间强制执行,但发现它几乎没有效果。背后的原因是独立模型之间的特征分布的分歧是不可控制的,迫使它们相同的分布将偏向模型以提取错误的特征。另外,我们还尝试使用KL-divergence作为竞争损失,但它导致损失的爆发,因为在开始时模型之间的预测是非常不同的。
在竞争训练中,模型的最终损失Li是三种损失的组合:分类损失Lcls(Mi S),对应的teacher模型的一致性损失Lcons(Mi)和公式(8)中从赢家到输家的竞争损失Lcomp(即所述第三损失值)。Li的计算公式如下式(9):
式中,λ1和λ2是在训练期间平衡损失的超参数。可以看出,损失会在两种竞争模型中动态变化。例如,当模型ML在当前迭代中获胜时,由于它是纯粹的“师生”结构模型,所以,可以继续其自己的优化轨道。否则,如果ML是输家,那么一个额外的竞争损失被增加,以通过MR(即赢家)的近似预测来弥补ML与MR之间的差距。该操作可以被视为向ML添加扰动,以便它更好地概括未知数据。与以前的方法不同,这种扰动来自完全不同的模型,即ML的扰动来自MR,而不是ML本身。由于MR在解空间中从ML的不同初始点开始,因此在优化期间它通过不同的路径进行优化。通过从MR学习,ML实际上逃脱了“老师”的限制,并且搜索比单个模型更广泛的解决方案空间。这个属性解释了为什么我们的方法优于纯粹的“师生”模型。
对于每次迭代,虽然我们在小批量中对相同的样本进行采样,但是对这两个模型ML和MR应用了不同的扩充。在单个模型中,teacher模型和student模型也使用不同的增强。为了有效地利用增强数据,我们在两个竞争模型ML和MR之间镜像输入。假设x1和x2是样本x的不同增强结果,如果{x1,x2}被分别输入到中,那么/>的输入将是{x1,x2}。当只有两个增强结果副本时,这个操作为我们的模型增加了更多的扰动。这个技巧与没有镜像相比,具有较多的性能改善。
基于前述的实施例,本申请实施例提供一种图像分类装置,该装置包括所包括的各模块、以及各模块所包括的各单元,可以通过计算机设备中的处理器来实现;当然也可通过具体的逻辑电路实现;在实施的过程中,处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等。
图7为本申请实施例图像分类装置的组成结构示意图,如图7所示,所述装置70包括获取模块71、确定模块72和输出模块73,其中:
获取模块71,配置为:获取待分类图像;
确定模块72,配置为:根据已训练的目标分类器确定所述待分类图像的类型,其中,所述目标分类器为基于多个初始分类器进行训练得到的满足预定条件的分类器;
输出模块73,配置为:输出所述待分类图像的类型。
在其他实施例中,所述装置70还包括:竞争训练模块74和目标确定模块75;其中,
所述竞争训练模块74,配置为:对多个初始分类器进行至少一次竞争训练,得到分类器集合;
所述目标确定模块75,配置为:将所述分类器集合中分类性能最优的分类器确定为所述目标分类器。
在其他实施例中,所述竞争训练模块74,包括:
性能竞争子模块,配置为:对多个初始分类器进行性能竞争,将当前分类性能最优的初始分类器确定为赢家分类器,将除所述赢家分类器外的其他初始分类器确定为输家分类器;
训练子模块,配置为:对所述赢家分类器和所有所述输家分类器进行一次训练;
迭代子模块,配置为:对所述一次训练后的赢家分类器和所述一次训练后的任一输家分类器再次进行性能竞争和训练;
目标确定子模块,配置为:重复执行N次性能竞争和N次训练,将最后一次迭代得到的所有分类器确定为所述分类器集合;N为大于等于1的整数。
在其他实施例中,所述训练子模块,包括:
获取单元,配置为:获取有标签的第一样本组;
第一训练单元,配置为:基于所述第一样本组,对所述赢家分类器进行训练。
在其他实施例中,所述第一训练单元,包括:
第一确定子单元,配置为:基于所述第一样本组,确定所述赢家分类器的第一损失函数;
第一训练子单元,配置为:基于所述第一损失函数,训练所述赢家分类器。
在其他实施例中,所述赢家分类器包括第一子模型和由所述第一子模型生成的第二子模型;所述第一确定子单元,包括:
概率预测程序,配置为:利用所述赢家分类器的第一子模型和第二子模型分别对所述第一样本组进行预测,得到所述赢家分类器的第一预测概率集和第二预测概率集;
确定程序,配置为:基于所述第一样本组的标签信息、所述第一预测概率集和所述第二预测概率集,确定所述赢家分类器的第一损失函数。
在其他实施例中,所述确定程序,配置为:
基于所述第一预测概率集和所述第二预测概率集,确定所述赢家分类器的第一损失值,所述赢家分类器的第一损失值为所述赢家分类器对所述第一样本组的一致性损失;
基于所述第一样本组的标签信息和所述赢家分类器的第一预测概率集,确定所述赢家分类器的第二损失值;
基于所述赢家分类器的第一损失值和所述第二损失值,确定所述赢家分类器的第一损失函数。
在其他实施例中,训练子模块还包括预测单元、自信样本确定单元和第二训练单元,其中:
获取单元,配置为:获取有标签的第一样本组和无标签的第二样本组;
预测单元,配置为:将所述第二样本组输入所述赢家分类器,得到所述第二样本组中每个第二样本的预测类型及其所属预测类型的预测概率;
自信样本确定单元,配置为:基于所述第二样本的预测类型及其所属预测类型的预测概率,从所述第二样本组中确定自信样本组;
第二训练单元,配置为:基于所述自信样本组和所述第一样本组,对所述输家分类器进行训练。
在其他实施例中,所述自信样本确定单元,配置为:
将所述第二样本组中预测概率大于置信度阈值的第二样本确定为自信样本;
将所述自信样本及其预测类型,确定为自信样本组。
在其他实施例中,所述第二训练单元,包括:
第二确定子单元,配置为:基于所述自信样本组和所述第一样本组,确定所述输家分类器的第二损失函数;
第二训练子单元,配置为:基于所述输家分类器的第二损失函数,训练所述输家分类器。
在其他实施例中,所述第二确定子单元,配置为:
利用所述输家分类器的第一子模型和第二子模型分别对所述自信样本组中的自信样本进行预测,得到第一自信概率集和第二自信概率集;
基于所述第一自信概率集和所述第二自信概率集,确定第三损失值,所述第三损失值为所述输家分类器对所述自信样本组的一致性损失;
基于所述自信样本组中每一自信样本的预测类型和所述第一自信概率集,确定第四损失值;
利用所述输家分类器的第一子模型和第二子模型分别对所述第一样本组进行预测,得到所述输家分类器的第一预测概率集和第二预测概率集;
基于所述输家分类器的第一预测概率集和第二预测概率集,确定所述输家分类器的第一损失值,所述输家分类器的第一损失值为所述输家分类器对所述第一样本组的一致性损失;
基于所述第一样本组的标签信息和所述输家分类器的第一预测概率集,确定第五损失值;
基于所述输家分类器的第一损失值、第三损失值、第四损失值和第五损失值,确定所述输家分类器的第二损失函数。
在其他实施例中,所述性能竞争子模块,包括:
获取单元,配置为:获取有标签的第一样本组;
性能测试单元,配置为:利用所述第一样本组,对每一所述初始分类器进行分类性能测试,得到与所述初始分类器对应的当前分类性能;
输赢确定单元,配置为:将当前分类性能最优的初始分类器确定为赢家分类器。
在其他实施例中,所述性能测试单元,包括:
历史误差获取子单元,配置为:获取预先保存的每一所述初始分类器的历史累积分类误差;
当前误差确定子单元,配置为:基于所述第一样本组,确定每一所述初始分类器的当前分类误差;
累积误差确定子单元,配置为:基于每一所述初始分类器的历史累积分类误差和当前分类误差,确定与所述初始分类器对应的当前累积分类误差;
当前性能确定子单元,配置为:将每一所述初始分类器的当前累积分类误差,确定为与所述初始分类器对应的当前分类性能。
在其他实施例中,所述当前误差确定子单元,配置为:
将所述第一样本组输入到每一所述初始分类器,得到与所述初始分类器对应的第一预测概率集;
基于所述第一样本组中的标签信息和每一所述初始分类器的第一预测概率集,确定与所述初始分类器对应的当前分类误差。
在其他实施例中,所述累积误差确定子单元,配置为:
获取所述历史累积分类误差与所述当前分类误差的第一混合比例,所述第一混合比例小于1;
将所述第一混合比例与每一所述初始分类器的历史累积分类误差相乘,得到与所述初始分类器对应的第一分类误差;
获取第二混合比例,其中所述第二混合比例为1与所述第一混合比例的差值;
将所述第二混合比例与每一所述初始分类器的当前分类误差相乘,得到与所述初始分类器对应的第二分类误差;
将每一所述初始分类器的第一分类误差及其第二分类误差相加,得到与所述初始分类器对应的当前累积分类误差。
在其他实施例中,所述输赢确定单元,配置为:
将当前累积分类误差最小的初始分类器确定为赢家分类器。
在其他实施例中,所述性能测试单元,还包括:
误差更新子单元,配置为:利用每一所述初始分类器的当前累积分类误差,更新与所述初始分类器对应的历史累积分类误差。
在其他实施例中,所述多个初始分类器为两个图像分类器,每一所述图像分类器为深度神经网络。
在其他实施例中,
获取模块71,还配置为:获取迁移样本集,所述迁移样本集包括多个有标签的第一样本组和多个无标签的第三样本组,所述迁移样本集中的任一第三样本的类型与任一所述第二样本的类型不同;
竞争训练模块74,还配置为:基于所述迁移样本集,对所述分类器集合再进行至少一次竞争训练。
以上装置实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
需要说明的是,本申请实施例中,如果以软件功能模块的形式实现上述的图像分类方法,并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得计算机设备(可以是手机、平板电脑、台式机、个人数字助理、导航仪、数字电话、视频电话、电视机、传感设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本申请实施例不限制于任何特定的硬件和软件结合。
对应地,本申请实施例提供一种计算机设备,图8为本申请实施例计算机设备的一种硬件实体示意图,如图8所示,该计算机设备800的硬件实体包括:包括存储器801和处理器802,所述存储器801存储有可在处理器802上运行的计算机程序,所述处理器802执行所述程序时实现上述实施例中提供的图像分类方法中的步骤。
存储器801配置为存储由处理器802可执行的指令和应用,还可以缓存待处理器802以及计算机设备800中各模块待处理或已经处理的数据(例如,图像数据、音频数据、语音通信数据和视频通信数据),可以通过闪存(FLASH)或随机访问存储器(Random AccessMemory,RAM)实现。
对应地,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中提供的图像分类方法中的步骤。
这里需要指出的是:以上存储介质和设备实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得计算机设备(可以是手机、平板电脑、台式机、个人数字助理、导航仪、数字电话、视频电话、电视机、传感设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (30)

1.一种图像分类方法,其特征在于,所述方法包括:
获取待分类图像;
根据已训练的目标分类器确定所述待分类图像的类型,其中,所述目标分类器为基于训练样本集对多个初始分类器进行训练得到的满足预定条件的分类器;每一所述初始分类器为图像分类器;所述训练样本集中包括多个有标签的第一样本组和多个无标签的第二样本组,每一所述第一样本组中包括至少一张有标签的图像,每一所述第二样本组中包括至少一张无标签的图像;
输出所述待分类图像的类型;
所述目标分类器的训练过程包括:
基于所述第一样本组,对多个所述初始分类器进行性能竞争,将当前分类性能最优的所述初始分类器确定为赢家分类器,将除所述赢家分类器外的其他所述初始分类器确定为输家分类器;
基于所述第一样本组,对所述赢家分类器进行一次训练,以及基于所述第一样本组和所述第二样本组,对所有所述输家分类器进行一次训练;
对所述一次训练后的所述赢家分类器,以及对所述一次训练后的任一所述输家分类器再次进行性能竞争和训练;
重复执行N次性能竞争和N次训练,将最后一次迭代得到的所有分类器确定为所述分类器集合;N为大于等于1的整数;
将所述分类器集合中分类性能最优的分类器确定为所述目标分类器;
其中,所述基于所述第一样本组和所述第二样本组,对所有所述输家分类器进行一次训练,包括:
将所述第二样本组输入所述赢家分类器,得到所述第二样本组中每个第二样本的预测类型及其所属预测类型的预测概率;基于所述第二样本的预测类型及其所属预测类型的预测概率,从所述第二样本组中确定自信样本组;基于所述自信样本组和所述第一样本组,对所述输家分类器进行训练;
所述基于所述第二样本的预测类型及其所属预测类型的预测概率,从所述第二样本组中确定自信样本组,包括:
将所述第二样本组中预测概率大于置信度阈值的第二样本确定为自信样本;将所述自信样本及其预测类型,确定为自信样本组。
2.根据权利要求1所述的方法,其特征在于,所述基于所述第一样本组,对所述赢家分类器进行一次训练,包括:
基于所述第一样本组,确定所述赢家分类器的第一损失函数;
基于所述第一损失函数,训练所述赢家分类器。
3.根据权利要求2所述的方法,其特征在于,所述赢家分类器包括第一子模型和由所述第一子模型生成的第二子模型;
所述基于所述第一样本组,确定所述赢家分类器的第一损失函数,包括:
利用所述赢家分类器的第一子模型和第二子模型分别对所述第一样本组进行预测,得到所述赢家分类器的第一预测概率集和第二预测概率集;
基于所述第一样本组的标签信息、所述第一预测概率集和所述第二预测概率集,确定所述赢家分类器的第一损失函数。
4.根据权利要求3所述的方法,其特征在于,所述基于所述第一样本组的标签信息、所述第一预测概率集和所述第二预测概率集,确定所述赢家分类器的第一损失函数,包括:
基于所述第一预测概率集和所述第二预测概率集,确定所述赢家分类器的第一损失值,所述赢家分类器的第一损失值为所述赢家分类器对所述第一样本组的一致性损失;
基于所述第一样本组的标签信息和所述赢家分类器的第一预测概率集,确定所述赢家分类器的第二损失值;
基于所述赢家分类器的第一损失值和所述第二损失值,确定所述赢家分类器的第一损失函数。
5.根据权利要求1所述的方法,其特征在于,所述基于所述自信样本组和所述第一样本组,对所述输家分类器进行训练,包括:
基于所述自信样本组和所述第一样本组,确定所述输家分类器的第二损失函数;
基于所述输家分类器的第二损失函数,训练所述输家分类器。
6.根据权利要求5所述的方法,其特征在于,所述基于所述自信样本组和所述第一样本组,确定所述输家分类器的第二损失函数,包括:
利用所述输家分类器的第一子模型和第二子模型分别对所述自信样本组中的自信样本进行预测,得到第一自信概率集和第二自信概率集;
基于所述第一自信概率集和所述第二自信概率集,确定第三损失值,所述第三损失值为所述输家分类器对所述自信样本组的一致性损失;
基于所述自信样本组中每一自信样本的预测类型和所述第一自信概率集,确定第四损失值;
利用所述输家分类器的第一子模型和第二子模型分别对所述第一样本组进行预测,得到所述输家分类器的第一预测概率集和第二预测概率集;
基于所述输家分类器的第一预测概率集和第二预测概率集,确定所述输家分类器的第一损失值,所述输家分类器的第一损失值为所述输家分类器对所述第一样本组的一致性损失;
基于所述第一样本组的标签信息和所述输家分类器的第一预测概率集,确定第五损失值;
基于所述输家分类器的第一损失值、第三损失值、第四损失值和第五损失值,确定所述输家分类器的第二损失函数。
7.根据权利要求1所述的方法,其特征在于,所述基于所述第一样本组,对多个所述初始分类器进行性能竞争,将当前分类性能最优的所述初始分类器确定为赢家分类器,包括:
利用所述第一样本组,对每一所述初始分类器进行分类性能测试,得到与所述初始分类器对应的当前分类性能;
将当前分类性能最优的所述初始分类器确定为赢家分类器。
8.根据权利要求7所述的方法,其特征在于,所述利用所述第一样本组,对每一所述初始分类器进行分类性能测试,得到与所述初始分类器对应的当前分类性能,包括:
获取预先保存的每一所述初始分类器的历史累积分类误差;
基于所述第一样本组,确定每一所述初始分类器的当前分类误差;
基于每一所述初始分类器的历史累积分类误差和当前分类误差,确定与所述初始分类器对应的当前累积分类误差;
将每一所述初始分类器的当前累积分类误差,确定为与所述初始分类器对应的当前分类性能。
9.根据权利要求8所述的方法,其特征在于,所述基于所述第一样本组,确定每一所述初始分类器的当前分类误差,包括:
将所述第一样本组输入到每一所述初始分类器,得到与所述初始分类器对应的第一预测概率集;
基于所述第一样本组中的标签信息和每一所述初始分类器的第一预测概率集,确定与所述初始分类器对应的当前分类误差。
10.根据权利要求8所述的方法,其特征在于,所述基于每一所述初始分类器的历史累积分类误差和当前分类误差,确定与所述初始分类器对应的当前累积分类误差,包括:
获取所述历史累积分类误差与所述当前分类误差的第一混合比例,所述第一混合比例小于1;
将所述第一混合比例与每一所述初始分类器的历史累积分类误差相乘,得到与所述初始分类器对应的第一分类误差;
获取第二混合比例,其中所述第二混合比例为1与所述第一混合比例的差值;
将所述第二混合比例与每一所述初始分类器的当前分类误差相乘,得到与所述初始分类器对应的第二分类误差;
将每一所述初始分类器的第一分类误差及其第二分类误差相加,得到与所述初始分类器对应的当前累积分类误差。
11.根据权利要求7所述的方法,其特征在于,所述将当前分类性能最优的所述初始分类器确定为赢家分类器,包括:
将当前累积分类误差最小的初始分类器确定为赢家分类器。
12.根据权利要求7所述的方法,其特征在于,所述方法还包括:
利用每一所述初始分类器的当前累积分类误差,更新与所述初始分类器对应的历史累积分类误差。
13.根据权利要求1至12任一所述的方法,其特征在于,每一所述图像分类器为深度神经网络。
14.根据权利要求1至6任一所述的方法,其特征在于,所述方法还包括:
获取迁移样本集,所述迁移样本集包括多个有标签的第一样本组和多个无标签的第三样本组,所述迁移样本集中的任一第三样本的类型与任一所述第二样本的类型不同;
基于所述迁移样本集,对所述分类器集合再进行至少一次竞争训练。
15.一种图像分类装置,其特征在于,包括:
获取模块,配置为:获取待分类图像;
确定模块,配置为:根据已训练的目标分类器确定所述待分类图像的类型,其中,所述目标分类器为基于训练样本集对多个初始分类器进行训练得到的满足预定条件的分类器;每一所述初始分类器为图像分类器;所述训练样本集中包括多个有标签的第一样本组和多个无标签的第二样本组,每一所述第一样本组中包括至少一张有标签的图像,每一所述第二样本组中包括至少一张无标签的图像;
输出模块,配置为:输出所述待分类图像的类型;
所述装置还包括:竞争训练模块和目标确定模块;
所述竞争训练模块,包括:
性能竞争子模块,配置为:基于所述第一样本组,对多个所述初始分类器进行性能竞争,将当前分类性能最优的所述初始分类器确定为赢家分类器,将除所述赢家分类器外的其他所述初始分类器确定为输家分类器;
训练子模块,配置为:基于所述第一样本组,对所述赢家分类器进行一次训练,以及基于所述第一样本组和所述第二样本组,对所有所述输家分类器进行一次训练;
迭代子模块,配置为:对所述一次训练后的所述赢家分类器,以及对所述一次训练后的任一所述输家分类器再次进行性能竞争和训练;
目标确定子模块,配置为:重复执行N次性能竞争和N次训练,将最后一次迭代得到的所有分类器确定为所述分类器集合;N为大于等于1的整数;
所述目标确定模块,配置为:将所述分类器集合中分类性能最优的分类器确定为所述目标分类器;
其中,所述训练子模块还包括:获取单元、预测单元、自信样本确定单元和第二训练单元,其中:
获取单元,配置为:获取有标签的第一样本组和无标签的第二样本组;
预测单元,配置为:将所述第二样本组输入所述赢家分类器,得到所述第二样本组中每个第二样本的预测类型及其所属预测类型的预测概率;
自信样本确定单元,配置为:基于所述第二样本的预测类型及其所属预测类型的预测概率,从所述第二样本组中确定自信样本组;
第二训练单元,配置为:基于所述自信样本组和所述第一样本组,对所述输家分类器进行训练;
所述自信样本确定单元,配置为:将所述第二样本组中预测概率大于置信度阈值的第二样本确定为自信样本;将所述自信样本及其预测类型,确定为自信样本组。
16.根据权利要求15所述的装置,其特征在于,所述训练子模块,包括:
获取单元,配置为:获取有标签的第一样本组;
第一训练单元,配置为:基于所述第一样本组,对所述赢家分类器进行训练;
所述第一训练单元,包括:
第一确定子单元,配置为:基于所述第一样本组,确定所述赢家分类器的第一损失函数;
第一训练子单元,配置为:基于所述第一损失函数,训练所述赢家分类器。
17.根据权利要求16所述的装置,其特征在于,所述赢家分类器包括第一子模型和由所述第一子模型生成的第二子模型;
所述第一确定子单元,包括:
概率预测程序,配置为:利用所述赢家分类器的第一子模型和第二子模型分别对所述第一样本组进行预测,得到所述赢家分类器的第一预测概率集和第二预测概率集;
确定程序,配置为:基于所述第一样本组的标签信息、所述第一预测概率集和所述第二预测概率集,确定所述赢家分类器的第一损失函数。
18.根据权利要求17所述的装置,其特征在于,所述确定程序,配置为:
基于所述第一预测概率集和所述第二预测概率集,确定所述赢家分类器的第一损失值,所述赢家分类器的第一损失值为所述赢家分类器对所述第一样本组的一致性损失;
基于所述第一样本组的标签信息和所述赢家分类器的第一预测概率集,确定所述赢家分类器的第二损失值;
基于所述赢家分类器的第一损失值和所述第二损失值,确定所述赢家分类器的第一损失函数。
19.根据权利要求15所述的装置,其特征在于,所述第二训练单元,包括:
第二确定子单元,配置为:基于所述自信样本组和所述第一样本组,确定所述输家分类器的第二损失函数;
第二训练子单元,配置为:基于所述输家分类器的第二损失函数,训练所述输家分类器。
20.根据权利要求19所述的装置,其特征在于,所述第二确定子单元,配置为:
利用所述输家分类器的第一子模型和第二子模型分别对所述自信样本组中的自信样本进行预测,得到第一自信概率集和第二自信概率集;
基于所述第一自信概率集和所述第二自信概率集,确定第三损失值,所述第三损失值为所述输家分类器对所述自信样本组的一致性损失;
基于所述自信样本组中每一自信样本的预测类型和所述第一自信概率集,确定第四损失值;
利用所述输家分类器的第一子模型和第二子模型分别对所述第一样本组进行预测,得到所述输家分类器的第一预测概率集和第二预测概率集;
基于所述输家分类器的第一预测概率集和第二预测概率集,确定所述输家分类器的第一损失值,所述输家分类器的第一损失值为所述输家分类器对所述第一样本组的一致性损失;
基于所述第一样本组的标签信息和所述输家分类器的第一预测概率集,确定第五损失值;
基于所述输家分类器的第一损失值、第三损失值、第四损失值和第五损失值,确定所述输家分类器的第二损失函数。
21.根据权利要求15所述的装置,其特征在于,性能竞争子模块,包括:
性能测试单元,配置为:利用所述第一样本组,对每一所述初始分类器进行分类性能测试,得到与所述初始分类器对应的当前分类性能;
输赢确定单元,配置为:将当前分类性能最优的所述初始分类器确定为赢家分类器。
22.根据权利要求21所述的装置,其特征在于,所述性能测试单元,包括:
历史误差获取子单元,配置为:获取预先保存的每一所述初始分类器的历史累积分类误差;
当前误差确定子单元,配置为:基于所述第一样本组,确定每一所述初始分类器的当前分类误差;
累积误差确定子单元,配置为:基于每一所述初始分类器的历史累积分类误差和当前分类误差,确定与所述初始分类器对应的当前累积分类误差;
当前性能确定子单元,配置为:将每一所述初始分类器的当前累积分类误差,确定为与所述初始分类器对应的当前分类性能。
23.根据权利要求22所述的装置,其特征在于,所述当前误差确定子单元,配置为:
将所述第一样本组输入到每一所述初始分类器,得到与所述初始分类器对应的第一预测概率集;
基于所述第一样本组中的标签信息和每一所述初始分类器的第一预测概率集,确定与所述初始分类器对应的当前分类误差。
24.根据权利要求23所述的装置,其特征在于,所述累积误差确定子单元,配置为:
获取所述历史累积分类误差与所述当前分类误差的第一混合比例,所述第一混合比例小于1;
将所述第一混合比例与每一所述初始分类器的历史累积分类误差相乘,得到与所述初始分类器对应的第一分类误差;
获取第二混合比例,其中所述第二混合比例为1与所述第一混合比例的差值;
将所述第二混合比例与每一所述初始分类器的当前分类误差相乘,得到与所述初始分类器对应的第二分类误差;
将每一所述初始分类器的第一分类误差及其第二分类误差相加,得到与所述初始分类器对应的当前累积分类误差。
25.根据权利要求24所述的装置,其特征在于,输赢确定单元,配置为:
将当前累积分类误差最小的初始分类器确定为赢家分类器。
26.根据权利要求21所述的装置,其特征在于,所述性能测试单元,还包括:
误差更新子单元,配置为:利用每一所述初始分类器的当前累积分类误差,更新与所述初始分类器对应的历史累积分类误差。
27.根据权利要求15至26任一所述的装置,其特征在于,每一所述图像分类器为深度神经网络。
28.根据权利要求15至20任一所述的装置,其特征在于,
所述获取模块,还配置为:获取迁移样本集,所述迁移样本集包括多个有标签的第一样本组和多个无标签的第三样本组,所述迁移样本集中的任一第三样本的类型与任一所述第二样本的类型不同;
所述竞争训练模块,还配置为:基于所述迁移样本集,对所述分类器集合再进行至少一次竞争训练。
29.一种计算机设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至14任一项所述图像分类方法中的步骤。
30.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至14任一项所述图像分类方法中的步骤。
CN201910141482.5A 2019-02-26 2019-02-26 图像分类方法及装置、设备、存储介质 Active CN109886343B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910141482.5A CN109886343B (zh) 2019-02-26 2019-02-26 图像分类方法及装置、设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910141482.5A CN109886343B (zh) 2019-02-26 2019-02-26 图像分类方法及装置、设备、存储介质

Publications (2)

Publication Number Publication Date
CN109886343A CN109886343A (zh) 2019-06-14
CN109886343B true CN109886343B (zh) 2024-01-05

Family

ID=66929405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910141482.5A Active CN109886343B (zh) 2019-02-26 2019-02-26 图像分类方法及装置、设备、存储介质

Country Status (1)

Country Link
CN (1) CN109886343B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110472669B (zh) * 2019-07-22 2021-07-23 华北电力大学(保定) 一种图像分类方法
CN110472737B (zh) * 2019-08-15 2023-11-17 腾讯医疗健康(深圳)有限公司 神经网络模型的训练方法、装置和医学图像处理系统
CN110674854B (zh) * 2019-09-09 2022-05-17 东软集团股份有限公司 一种图像分类模型训练方法、图像分类方法、装置及设备
CN111325830B (zh) * 2020-02-28 2023-01-31 北京市商汤科技开发有限公司 图像处理方法、装置、电子设备及存储介质
CN111626098B (zh) * 2020-04-09 2023-04-18 北京迈格威科技有限公司 模型的参数值更新方法、装置、设备及介质
CN112036509A (zh) * 2020-09-30 2020-12-04 北京百度网讯科技有限公司 用于训练图像识别模型的方法和装置
WO2024113266A1 (en) * 2022-11-30 2024-06-06 Paypal, Inc. Use of a training framework of a multi-class model to train a multi-label model

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106548190A (zh) * 2015-09-18 2017-03-29 三星电子株式会社 模型训练方法和设备以及数据识别方法
CN108734283A (zh) * 2017-04-21 2018-11-02 通用电气公司 神经网络系统
CN108764462A (zh) * 2018-05-29 2018-11-06 成都视观天下科技有限公司 一种基于知识蒸馏的卷积神经网络优化方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5476879B2 (ja) * 2008-09-29 2014-04-23 ソニー株式会社 画像処理装置および係数学習装置。
US20180268292A1 (en) * 2017-03-17 2018-09-20 Nec Laboratories America, Inc. Learning efficient object detection models with knowledge distillation
CN107247989B (zh) * 2017-06-15 2020-11-24 北京图森智途科技有限公司 一种实时的计算机视觉处理方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106548190A (zh) * 2015-09-18 2017-03-29 三星电子株式会社 模型训练方法和设备以及数据识别方法
CN108734283A (zh) * 2017-04-21 2018-11-02 通用电气公司 神经网络系统
CN108764462A (zh) * 2018-05-29 2018-11-06 成都视观天下科技有限公司 一种基于知识蒸馏的卷积神经网络优化方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Convolutional Neural Network-based Transfer Learning and Knowledge Distillation using Multi-Subject Data in Motor Imagery BCI;Siavash Sakhavi 等;《8th International IEEE EMBS Conference on Neural Engineering》;20170528;全文 *
基于增强监督知识蒸馏的交通标识分类;赵胜伟等;《中国科技论文》;20171023(第20期);全文 *
基于知识蒸馏方法的行人属性识别研究;凌弘毅;《计算机应用与软件》;20181031;第35卷(第10期);全文 *

Also Published As

Publication number Publication date
CN109886343A (zh) 2019-06-14

Similar Documents

Publication Publication Date Title
CN109886343B (zh) 图像分类方法及装置、设备、存储介质
CN110674880B (zh) 用于知识蒸馏的网络训练方法、装置、介质与电子设备
CN110546656B (zh) 前馈生成式神经网络
CN110349185B (zh) 一种rgbt目标跟踪模型的训练方法及装置
US10580432B2 (en) Speech recognition using connectionist temporal classification
CN110799995A (zh) 数据识别器训练方法、数据识别器训练装置、程序及训练方法
CN114332578A (zh) 图像异常检测模型训练方法、图像异常检测方法和装置
US20200334557A1 (en) Chained influence scores for improving synthetic data generation
CN111104831B (zh) 一种视觉追踪方法、装置、计算机设备以及介质
CN110930996A (zh) 模型训练方法、语音识别方法、装置、存储介质及设备
CN113469186A (zh) 一种基于少量点标注的跨域迁移图像分割方法
CN111667016A (zh) 一种基于prototype的增量式信息分类方法
Gil et al. Quantization-aware pruning criterion for industrial applications
CN114842546A (zh) 动作计数方法、装置、设备及存储介质
CN111832817A (zh) 基于mcp罚函数的小世界回声状态网络时间序列预测方法
CN111144462A (zh) 一种雷达信号的未知个体识别方法及装置
CN114091597A (zh) 基于自适应组样本扰动约束的对抗训练方法、装置及设备
CN109101984B (zh) 一种基于卷积神经网络的图像识别方法及装置
CN114970732A (zh) 分类模型的后验校准方法、装置、计算机设备及介质
CN113326832B (zh) 模型训练、图像处理方法、电子设备及存储介质
CN115063374A (zh) 模型训练、人脸图像质量评分方法、电子设备及存储介质
CN113191984B (zh) 基于深度学习的运动模糊图像联合复原与分类方法和系统
Paternain et al. Learning policies for markov decision processes in continuous spaces
CN117291252B (zh) 稳定视频生成模型训练方法、生成方法、设备及存储介质
Lin et al. Convergence rate analysis of allied genetic algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant