CN114821150A - 一种图像分类方法、电子设备、存储介质及程序产品 - Google Patents

一种图像分类方法、电子设备、存储介质及程序产品 Download PDF

Info

Publication number
CN114821150A
CN114821150A CN202210265517.8A CN202210265517A CN114821150A CN 114821150 A CN114821150 A CN 114821150A CN 202210265517 A CN202210265517 A CN 202210265517A CN 114821150 A CN114821150 A CN 114821150A
Authority
CN
China
Prior art keywords
model
training
stage
image
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210265517.8A
Other languages
English (en)
Inventor
赵博睿
宋仁杰
崔权
赵冰辰
梁嘉骏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Kuangshi Jinzhi Technology Co ltd
Beijing Megvii Technology Co Ltd
Original Assignee
Shenzhen Kuangshi Jinzhi Technology Co ltd
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Kuangshi Jinzhi Technology Co ltd, Beijing Megvii Technology Co Ltd filed Critical Shenzhen Kuangshi Jinzhi Technology Co ltd
Priority to CN202210265517.8A priority Critical patent/CN114821150A/zh
Publication of CN114821150A publication Critical patent/CN114821150A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种图像分类方法、电子设备、存储介质及程序产品,涉及计算机技术领域,旨在准确对图像进行分类。所述方法包括:获取待分类图像;将所述待分类图像输入图像分类模型,得到所述待分类图像的分类预测结果;其中,所述图像分类模型是分多个阶段对第一模型进行训练得到的,在训练所述第一模型的每个阶段,所述第一模型向已完成该阶段的训练的第二模型进行学习。

Description

一种图像分类方法、电子设备、存储介质及程序产品
技术领域
本申请涉及计算机技术领域,特别是涉及一种图像分类方法、电子设备、存储介质及程序产品。
背景技术
随着计算机技术的蓬勃发展,图像分类是计算机视觉任务重要的一环,其中,图像分类模型对图像分类任务做出了重要的贡献。图像分类的准确性依赖于图像分类模型的训练效果。
相关技术中,为了提升图像分类模型的训练效果,会利用一个训练好的模型来辅助图像分类模型进行训练。然而,待训练的图像分类模型和训练好的模型之间性能差异太大,辅助训练的效果会大打折扣。因此,如何提升图像分类模型的训练效果,是一个有待解决的技术问题。
发明内容
鉴于上述问题,本发明实施例提供了一种图像分类方法、电子设备、存储介质及程序产品,以便克服上述问题或者至少部分地解决上述问题。
本发明实施例的第一方面,提供了一种图像分类方法,包括:
获取待分类图像;
将所述待分类图像输入图像分类模型,得到所述待分类图像的分类预测结果;
其中,所述图像分类模型是分多个阶段对第一模型进行训练得到的,在训练所述第一模型的每个阶段,所述第一模型向已完成该阶段的训练的第二模型进行学习。
可选地,在训练所述第一模型的每个阶段,所述第一模型向已完成该阶段的训练的第二模型进行学习,包括:
获取已完成该阶段的训练的第二模型针对样本图像提取的图像特征,以及输出的所述样本图像的分类预测结果;
在训练所述第一模型的每个阶段,以学习已完成该阶段的训练的第二模型针对样本图像提取的图像特征,以及输出的所述样本图像的分类预测结果为目标,对所述第一模型进行该阶段的训练。
可选地,所述多个阶段为N个阶段;在训练所述第一模型的每个阶段,所述第一模型向已完成该阶段的训练的第二模型进行学习,包括:
对待训练的第二模型进行第n阶段的训练,并获取完成所述第n阶段的训练的第二模型针对样本图像提取的图像特征,以及输出的所述样本图像的分类预测结果,所述n的取值为从1到N-1的整数;
根据完成所述第n阶段的训练的第二模型针对所述样本图像提取的图像特征,以及输出的所述样本图像的分类预测结果,对第一模型进行第n阶段的训练;
对完成所述第n阶段的训练的第二模型进行第n+1阶段的训练,并获取完成所述第n+1阶段的训练的第二模型针对所述样本图像提取的图像特征,以及输出的所述样本图像的分类预测结果;
根据完成所述第n+1阶段的训练的第二模型针对所述样本图像提取的图像特征,以及输出的所述样本图像的分类预测结果,对完成第n阶段的训练的第一模型进行第n+1阶段的训练。
可选地,所述多个阶段为N个阶段;在训练所述第一模型的每个阶段,所述第一模型向已完成该阶段的训练的第一模型进行学习,包括:
对待训练的第二模型进行所述N个阶段的训练,并存储完成第m阶段的训练的所述第二模型针对样本图像提取的图像特征,以及输出的所述样本图像的分类预测结果,所述m的取值为从1到N的整数;
根据完成第m阶段的训练的第二模型针对所述样本图像提取的图像特征,以及输出的所述样本图像的分类预测结果,对第一模型进行第m阶段的训练。
可选地,所述多个阶段为N个阶段;在训练所述第一模型的每个阶段,所述第一模型向已完成该阶段的训练的第一模型进行学习,包括:
对待训练的第二模型进行所述N个阶段的训练,并记录完成每个阶段的训练的第二模型的模型参数;
根据完成第p阶段的训练的所述第二模型的模型参数,得到完成第p阶段的训练的第二模型,所述p的取值为从1到N的整数;
将所述样本图像输入所述完成第p阶段的训练的第二模型,得到所述完成第p阶段的训练的第二模型针对所述样本图像提取的图像特征,以及输出的所述样本图像的分类预测结果;
根据所述完成第p阶段的训练的第二模型针对所述样本图像提取的图像特征,以及输出的所述样本图像的分类预测结果,对第一模型进行第p阶段的训练。
可选地,在训练所述第一模型的每个阶段,以学习已完成该阶段的训练的第二模型针对样本图像提取的图像特征,以及输出的所述样本图像的分类预测结果为目标,对第一模型进行该阶段的训练,包括:
在训练所述第一模型的每个阶段,执行以下步骤:
获取处于该阶段的第一模型针对所述样本图像以目标尺度提取的图像特征,以及所述已完成该阶段的训练的第二模型针对所述样本图像以所述目标尺度提取的图像特征;
获取处于该阶段的第一模型输出的所述样本图像的分类预测结果,以及所述已完成该阶段的训练的第二模型输出的所述样本图像的分类预测结果;
根据处于该阶段的第一模型和已完成该阶段的训练的第二模型各自针对所述样本图像以所述目标尺度提取的图像特征之间的差异,建立特征损失函数;
根据处于该阶段的第一模型和已完成该阶段的训练的第二模型各自输出的所述样本图像的分类预测结果之间的差异,建立分类损失函数;
基于所述特征损失函数和所述分类损失函数,对处于该阶段的所述第一模型进行训练。
可选地,所述图像分类模型的训练还包括以下步骤:
获取带类别标签的样本图像;
利用所述带类别标签的样本图像,对所述第一模型进行有监督训练。
本发明实施例的第二方面,提供了一种电子设备,包括存储器、处理器及存储在所述存储器上的计算机程序,所述处理器执行所述计算机程序以实现如本申请实施例公开的所述的图像分类方法。
本发明实施例的第三方面,提供了一种计算机可读存储介质,其上存储有计算机程序/指令,该计算机程序/指令被处理器执行时实现如本申请实施例公开的所述的图像分类方法。
本发明实施例的第四方面,提供了一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现如本申请实施例公开的所述的图像分类方法。
本发明实施例包括以下优点:
本实施例中,可以分多个阶段训练第一模型,其中,在训练第一模型的每个阶段,第一模型向已完成该阶段的训练的第二模型进行学习。如此,处于每个阶段的第一模型,和仅仅完成对应阶段的第二模型的性能之间差异不会特别大,因此,相较于直接利用训练完成的第二模型辅助第一模型进行整体的训练,在每个阶段利用已完成该阶段的训练的第二模型辅助第一模型进行训练,可以解决待训练的第一模型和已经训练完成的第二模型之间性能差异太大,造成的辅助训练的效果不好的技术问题,从而提升了第一模型的训练效果,使训练得到的图像分类模型具有优异的性能,能够实现对图像的准确分类。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例中一种图像分类方法的步骤流程图;
图2是本发明实施例中第一模型学习第二模型的流程示意图;
图3是本发明实施例中一种图像分类装置的结构示意图;
图4是本发明实施例中一种电子设备的示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请作进一步详细的说明。
近年来,基于人工智能的计算机视觉、深度学习、机器学习、图像处理、图像识别等技术研究取得了重要进展。人工智能(Artificial Intelligence,AI)是研究、开发用于模拟、延伸人的智能的理论、方法、技术及应用系统的新兴科学技术。人工智能学科是一门综合性学科,涉及芯片、大数据、云计算、物联网、分布式存储、深度学习、机器学习、神经网络等诸多技术种类。计算机视觉作为人工智能的一个重要分支,具体是让机器识别世界,计算机视觉技术通常包括人脸识别、活体检测、指纹识别与防伪验证、生物特征识别、人脸检测、行人检测、目标检测、行人识别、图像处理、图像识别、图像语义理解、图像检索、文字识别、视频处理、视频内容识别、行为识别、三维重建、虚拟现实、增强现实、同步定位与地图构建(SLAM)、计算摄影、机器人导航与定位等技术。随着人工智能技术的研究和进步,该项技术在众多领域展开了应用,例如安全防控、城市管理、交通管理、楼宇管理、园区管理、人脸通行、人脸考勤、物流管理、仓储管理、机器人、智能营销、计算摄影、手机影像、云服务、智能家居、穿戴设备、无人驾驶、自动驾驶、智能医疗、人脸支付、人脸解锁、指纹解锁、人证核验、智慧屏、智能电视、摄像机、移动互联网、网络直播、美颜、美妆、医疗美容、智能测温等领域。
为解决相关技术中待训练的图像分类模型和训练好的模型之间性能差异太大,辅助训练的效果会大打折扣的技术问题,申请人提出:分阶段对图像分类模型进行训练,在每个阶段向完成该阶段训练的第二模型进行学习。
参照图1所示,示出了本申请实施例中一种图像分类方法的步骤流程图,该图像分类方法可以用于计算机、手机、平板电脑、服务器等电子设备中,如图1所示,该图像分类方法包括以下步骤:
步骤S11:获取待分类图像;
步骤S12:将所述待分类图像输入图像分类模型,得到所述待分类图像的分类预测结果;其中,所述图像分类模型是分多个阶段对第一模型进行训练得到的,在训练所述第一模型的每个阶段,所述第一模型向已完成该阶段的训练的第二模型进行学习。
待分类图像可以是任意图像,例如视频帧、照片、制作的图像等。将待分类图像输入图像分类模型,图像分类模型可以输出待分类图像的分类预测结果。
第一模型为待训练的图像分类模型,第二模型是用于辅助第一模型进行训练的模型,因此第二模型也是可以用于图像分类的模型。
可选地,为了使辅助训练的效果更好,第二模型可以是参数量大、完成训练后性能优异的模型。为了节省训练好的图像分类模型的计算资源,第一模型可以是参数量小的模型。通过第二模型的辅助训练,参数量小的第一模型在训练好后也具有优异的性能。
训练完成的第一模型和训练完成的第二模型经历的训练阶段相同,且在每个阶段,用于训练第一模型和第二模型的样本图像相同,且样本图像的训练轮次也相同。一个训练轮次是指将各样本图像输入模型进行一轮训练,一个阶段可以包括多个训练轮次。例如,在训练第二模型的第三阶段,将样本图像集A重复5次输入第二模型,以完成对第二模型第三阶段的训练;则在训练第一模型的第三阶段,也将该样本图像集A重复5次输入第一模型,以完成对第一模型第三阶段的训练。
已完成该阶段的训练的第二模型,可以是完成了该阶段还未进行下一阶段的训练的模型;还可以是经历所有阶段训练完成,在训练过程中记录下来的完成该阶段的训练的第二模型,其中,可以是记录的完成该阶段的训练的第二模型的模型参数,也可以是记录完成该阶段的训练的第二模型针对样本图像提取的图像特征以及输出的分类预测结果。
在训练第一模型的每个阶段,处于该阶段的第一模型向已完成该阶段的训练的第二模型学习是指,让已完成该阶段的训练的第二模型辅助处于该阶段的第一模型进行训练,以使处于该阶段的第一模型可以提取与已完成该阶段的训练的第二模型提取的图像特征相同或者类似的图像特征,并且输出与已完成该阶段的训练的第二模型输出的分类预测结果相同或者类似的分类预测结果。
采用本申请实施例的技术方案,可以分多个阶段训练第一模型,其中,在训练第一模型的每个阶段,第一模型向已完成该阶段的训练的第二模型进行学习。如此,处于每个阶段的第一模型,和仅仅完成对应阶段的第二模型的性能之间差异不会特别大,因此,相较于直接利用训练完成的第二模型辅助第一模型进行整体的训练,在每个阶段利用已完成该阶段的训练的第二模型辅助第一模型进行训练,可以解决待训练的第一模型和已经训练完成的第二模型之间性能差异太大,造成的辅助训练的效果不好的技术问题,从而提升了第一模型的训练效果,使训练得到的图像分类模型具有优异的性能,能够实现对图像的准确分类。
可选地,在上述技术方案的基础上,在训练第一模型的每个阶段,处于该阶段的第一模型向已完成该阶段的训练的第二模型学习是指,使处于每个阶段的第一模型可以生成与已完成该阶段的训练的第二模型相同或相似的结果,该结果可以包括提取的样本图像的图像特征,以及输出的样本图像的分类预测结果。
为了使处于每个阶段的第一模型向已完成该阶段的训练的第二模型学习,需要获取已完成该阶段的训练的第二模型针对样本图像提取的图像特征,以及已完成该阶段的训练的第二模型输出的样本图像的分类预测结果。获取处于该阶段的第一模型在每个训练轮次针对样本图像提取的图像特征,以及输出的样本图像的分类预测结果。
在每个阶段,以学习已完成该阶段的训练的第二模型针对样本图像提取的图像特征,以及输出的样本图像的分类预测结果为目标,对第一模型进行该阶段的训练。具体地:对处于该阶段的第一模型进行训练,让其在该阶段的每个训练轮次针对样本图像提取的图像特征,以及输出的样本图像的分类预测结果,可以与已完成该阶段的训练的第二模型针对样本图像提取的图像特征,以及输出的样本图像的分类预测结果尽可能地相同。
图像分类模型想要对图像进行分类,需要提取图像的图像特征,然后根据图像特征判断图像类别。本发明实施例将模型(包括第一模型和第二模型)内部提取的图像特征进行了输出,以获取模型提取的图像特征。模型(包括第一模型和第二模型)输出的样本图像的分类预测结果,可以是概率分布、向量分布或者二分类结果等,本发明对此不作限制。可以理解的是,为了使第一模型向第二模型进行学习,因此无论是各自提取的图像特征还是输出的分类预测结果,都具有相同的形式。例如,若第二模型提取的图像特征是特征图,则第一模型提取的图像特征也应该是特征图。
为了让第一模型可以学习第二模型提取的样本图像的图像特征,获取的第一模型和第二模型提取的样本图像的图像特征,应该是在相同尺度下提取的图像特征。例如,获取的第二模型提取的样本图像的图像特征,是样本图像进行了两倍下采样后提取到的图像特征,则获取的第一模型提取的样本图像的图像特征,也应该是在进行了两倍下采样后提取到的图像特征。
采用本申请实施例的技术方案,第一模型同时学习第二模型提取的样本图像的图像特征以及输出的分类预测结果,可以让第一模型既学习到第二模型提取的高质量的样本图像的图像特征,又能在高质量的图像特征的基础上对样本图像进行分类,从而使训练得到的图像分类模型在进行图像分类时,具有较高的准确性。
可选地,在上述技术方案的基础上,在训练第一模型的每个阶段,可以通过如下步骤学习已完成该阶段的训练的第二模型针对样本图像提取的图像特征:
获取处于该阶段的第一模型针对样本图像以目标尺度提取的图像特征,并获取已完成该阶段的训练的第二模型针对该样本图像以目标尺度提取的图像特征;根据处于该阶段的第一模型与完成该阶段的训练的第二模型各自针对相同样本图像以目标尺度提取的图像特征之间的差异,建立特征损失函数;基于特征损失函数,对处于该阶段的第一模型进行训练。
其中,第二模型可以是对样本图像进行了多层图像特征的提取,而第一模型对该样本图像进行的图像特征提取的层次,可能少于第二模型提取图像特征的层次。为了让第一模型可以向第二模型进行学习,获取的第一模型和第二模型各自提取的相同样本图像的图像特征,应该是在相同层次或者相同尺度下提取的。
可选地,在训练第一模型的每个阶段,可以通过如下步骤学习已完成该阶段的训练的第二模型输出的样本图像的分类预测结果:
获取处于该阶段的第一模型输出的样本图像的分类预测结果,以及已完成该阶段的训练的第二模型输出的该样本图像的分类预测结果;根据处于该阶段的第一模型与完成该阶段的训练的第二模型各自输出的相同样本图像的分类预测结果之间的差异,建立分类损失函数;基于分类损失函数,对处于该阶段的第一模型进行训练。
可选地,实际训练中,可以是同时基于特征损失函数和分类损失函数,对处于该阶段的第一模型进行该阶段的训练。
图2是第一模型学习第二模型的流程示意图。其中,第一模型是处于目标阶段的第一模型,第二模型是已经完成了目标阶段的训练的模型。获取处于目标阶段的第一模型提取的样本图像的图像特征1,以及输出的样本图像的分类预测结果1;获取已经完成了目标阶段的训练的第二模型提取的样本图像的图像特征2,以及输出的样本图像的分类预测结果2。根据图像特征1和图像特征2建立特征损失函数,根据分类预测结果1和分类预测结果2建立分类损失函数。基于特征损失函数和分类损失函数,对第一模型进行目标阶段的训练。
可选地,在利用第二模型对第一模型进行辅助训练的基础上,第一模型同时还进行了自身的训练。可选地,可以是利用带类别标签的样本图像,对第一模型进行有监督训练。其中,因为第一模型和第二模型在相同阶段的训练轮次相同,因此对第一模型进行有监督训练的样本图像,可以是第一模型和第二模型提取图像特征以及输出分类预测结果的样本图像。
如此,综合第二模型的辅助训练,以及第一模型自身的有监督训练,可以保证训练得到的图像分类模型具有优异的性能。
可选地,在上述技术方案的基础上,训练第一模型的多个阶段为N个阶段。在分多个阶段训练第一模型时,可以是每训练完一个阶段的第二模型后,就利用完成该阶段训练的第二模型,对处于该阶段的第一模型进行辅助训练;在完成第一模型该阶段的训练后,继续训练第二模型下一阶段的训练,并利用完成下一阶段训练的第二模型,对处于下一阶段的第一模型进行训练。
对第二模型进行第n阶段的训练,并得到完成第n阶段训练的第二模型;获取完成第n阶段训练的第二模型针对样本图像提取的图像特征,以及输出的样本图像的分类预测结果,其中,n的取值为从1到N-1的整数。
根据完成第n阶段的训练的第二模型针对样本图像提取的图像特征,以及输出的样本图像的分类预测结果,对处于第n阶段的第一模型进行第n阶段的训练。
在获取了完成第n阶段训练的第二模型针对样本图像提取的图像特征,以及输出的样本图像的分类预测结果之后,对第二模型进行第n+1阶段的训练,并获取完成第n+1阶段训练的第二模型针对样本图像提取的图像特征,以及输出的样本图像的分类预测结果。可选地,第二模型第n+1阶段的训练,可以是在完成第一模型第n阶段的训练之后进行的。
根据完成第n+1阶段的训练的第二模型针对样本图像提取的图像特征,以及输出的样本图像的分类预测结果,对处于第n+1阶段的第一模型进行第n+1阶段的训练。
采用本申请实施例的技术方案,第一模型和第二模型的训练过程可以重叠,从而节省训练时间。并且,在第二模型完成每个阶段的训练后,可以直接根据完成该阶段的第二模型提取的图像特征和输出的分类预测结果辅助第一模型训练,比较方便。
可选地,在上述技术方案的基础上,训练第一模型的多个阶段为N个阶段。因为第一模型和第二模型的训练阶段相同,因此第二模型也进行了N个阶段的训练。在分多个阶段训练第一模型时,可以是已经完成了对第二模型的N个阶段的训练,得到训练好的第二模型。并且,在对第二模型进行N个阶段的训练过程中,每完成一个阶段的训练后,都获取并存储完成该阶段训练的第二模型针对样本图像提取的图像特征,以及输出的样本图像的分类预测结果。然后利用存储的每个阶段的图像特征和分类预测结果,度处于该阶段的第一模型进行训练。
对待训练的第二模型进行N个阶段的训练,并存储完成第m阶段的训练的第二模型针对样本图像提取的图像特征,以及输出的样本图像的分类预测结果,其中,m的取值为从1到N的整数。
根据完成第m阶段的训练的第二模型针对样本图像提取的图像特征,以及输出的样本图像的分类预测结果,对处于第m阶段的第一模型进行第m阶段的训练。
采用本申请实施例的技术方案,可以先完成对第二模型的训练,然后利用存储完成每个阶段的训练后的第二模型的输出,对第一模型进行辅助训练。如此,第二模型和第一模型的训练可以分离,且一个第二模型可以反复辅助训练多个第一模型。
可选地,在上述技术方案的基础上,训练第一模型的多个阶段为N个阶段,相应的,第二模型也需要经历N个阶段的训练。在分多个阶段训练第一模型时,可以是已经完成了对第二模型的N个阶段的训练,得到训练好的第二模型。并且,在对第二模型进行N个阶段的训练过程中,每完成一个阶段的训练后,都获取并存储完成该阶段训练的第二模型的模型参数。
在对需要对第一模型进行第p阶段的训练时,获取完成第p阶段的训练的第二模型的模型参数,其中,p的取值为从1到N的整数。按照完成第p阶段的训练的第二模型的模型参数对开始训练前的第二模型或者其它与第二模型结构相同的模型进行设置,得到完成第p阶段的训练的第二模型。
将样本图像类输入完成第p阶段的训练的第二模型,得到该模型针对样本图像提取的图像特征以及输出的样本图像的分类预测结果。根据该图像特征和分类预测结果,对处于第p阶段的第一模型进行第p阶段的训练。
采用本申请实施例的技术方案,可以先完成对第二模型的训练,并记录完成每个阶段训练的第二模型的模型参数,之后在训练第一模型的每个阶段,可以直接利用记录的模型参数设置出一个完成该阶段的训练的第二模型。如此,既可以将第一模型和第二模型的训练过程分离,又只需要存储模型参数,相比于存储每个阶段的图像特征和分类预测结果,可以节省存储空间。
可以理解的是,若第一模型在完成了与第二模型相同阶段的训练后,其训练结果并未收敛,则可以继续对第一模型进行有监督训练,和/或利用训练好的第二模型继续对第一模型进行辅助训练,以使第一模型收敛,得到训练好的图像分类模型。
可以理解的是,采用本申请提出的利用第二模型分阶段训练第一模型的思想,不止可以训练得到图像分类模型,还可以训练得到其它模型,例如目标检测模型、语言表示模型。例如,将目标检测模型的训练分为多个阶段,在每个阶段让待训练的目标检测模型学习已完成该阶段训练的另一性能优异的目标检测模型,以辅助待训练的目标检测模型的训练,加快待训练的目标检测模型的收敛,得到性能优异的目标检测模型。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
图3是本发明实施例的一种图像分类装置的结构示意图,如图3所示,该图像分类装置包括图像获取模块和结果预测模块,其中:
图像获取模块,用于获取待分类图像;
结果预测模块,用于将所述待分类图像输入图像分类模型,得到所述待分类图像的分类预测结果;
其中,所述图像分类模型是分多个阶段对第一模型进行训练得到的,在训练所述第一模型的每个阶段,所述第一模型向已完成该阶段的训练的第二模型进行学习。
可选地,在训练所述第一模型的每个阶段,所述第一模型向已完成该阶段的训练的第二模型进行学习,包括:
获取已完成该阶段的训练的第二模型针对样本图像提取的图像特征,以及输出的所述样本图像的分类预测结果;
在训练所述第一模型的每个阶段,以学习已完成该阶段的训练的第二模型针对样本图像提取的图像特征,以及输出的所述样本图像的分类预测结果为目标,对所述第一模型进行该阶段的训练。
可选地,所述多个阶段为N个阶段;在训练所述第一模型的每个阶段,所述第一模型向已完成该阶段的训练的第二模型进行学习,包括:
对待训练的第二模型进行第n阶段的训练,并获取完成所述第n阶段的训练的第二模型针对样本图像提取的图像特征,以及输出的所述样本图像的分类预测结果,所述n的取值为从1到N-1的整数;
根据完成所述第n阶段的训练的第二模型针对所述样本图像提取的图像特征,以及输出的所述样本图像的分类预测结果,对第一模型进行第n阶段的训练;
对完成所述第n阶段的训练的第二模型进行第n+1阶段的训练,并获取完成所述第n+1阶段的训练的第二模型针对所述样本图像提取的图像特征,以及输出的所述样本图像的分类预测结果;
根据完成所述第n+1阶段的训练的第二模型针对所述样本图像提取的图像特征,以及输出的所述样本图像的分类预测结果,对完成第n阶段的训练的第一模型进行第n+1阶段的训练。
可选地,所述多个阶段为N个阶段;在训练所述第一模型的每个阶段,所述第一模型向已完成该阶段的训练的第一模型进行学习,包括:
对待训练的第二模型进行所述N个阶段的训练,并存储完成第m阶段的训练的所述第二模型针对样本图像提取的图像特征,以及输出的所述样本图像的分类预测结果,所述m的取值为从1到N的整数;
根据完成第m阶段的训练的第二模型针对所述样本图像提取的图像特征,以及输出的所述样本图像的分类预测结果,对第一模型进行第m阶段的训练。
可选地,所述多个阶段为N个阶段;在训练所述第一模型的每个阶段,所述第一模型向已完成该阶段的训练的第一模型进行学习,包括:
对待训练的第二模型进行所述N个阶段的训练,并记录完成每个阶段的训练的第二模型的模型参数;
根据完成第p阶段的训练的所述第二模型的模型参数,得到完成第p阶段的训练的第二模型,所述p的取值为从1到N的整数;
将所述样本图像输入所述完成第p阶段的训练的第二模型,得到所述完成第p阶段的训练的第二模型针对所述样本图像提取的图像特征,以及输出的所述样本图像的分类预测结果;
根据所述完成第p阶段的训练的第二模型针对所述样本图像提取的图像特征,以及输出的所述样本图像的分类预测结果,对第一模型进行第p阶段的训练。
可选地,在训练所述第一模型的每个阶段,以学习已完成该阶段的训练的第二模型针对样本图像提取的图像特征,以及输出的所述样本图像的分类预测结果为目标,对第一模型进行该阶段的训练,包括:
在训练所述第一模型的每个阶段,执行以下步骤:
获取处于该阶段的第一模型针对所述样本图像以目标尺度提取的图像特征,以及所述已完成该阶段的训练的第二模型针对所述样本图像以所述目标尺度提取的图像特征;
获取处于该阶段的第一模型输出的所述样本图像的分类预测结果,以及所述已完成该阶段的训练的第二模型输出的所述样本图像的分类预测结果;
根据处于该阶段的第一模型和已完成该阶段的训练的第二模型各自针对所述样本图像以所述目标尺度提取的图像特征之间的差异,建立特征损失函数;
根据处于该阶段的第一模型和已完成该阶段的训练的第二模型各自输出的所述样本图像的分类预测结果之间的差异,建立分类损失函数;
基于所述特征损失函数和所述分类损失函数,对处于该阶段的所述第一模型进行训练。
可选地,所述图像分类模型的训练还包括以下步骤:
获取带类别标签的样本图像;
利用所述带类别标签的样本图像,对所述第一模型进行有监督训练。
需要说明的是,装置实施例与方法实施例相近,故描述的较为简单,相关之处参见方法实施例即可。
本发明实施例还提供了一种电子设备,参照图4,图4是本申请实施例提出的电子设备的示意图。如图4所示,电子设备100包括:存储器110和处理器120,存储器110与处理器120之间通过总线通信连接,存储器110中存储有计算机程序,该计算机程序可在处理器120上运行,进而实现本申请实施例公开的图像分类方法中的步骤。
本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序/指令,该计算机程序/指令被处理器执行时实现如本申请实施例公开的所述的图像分类方法。
本发明实施例还提供了一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现如本申请实施例公开的所述的图像分类方法。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装置或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、装置、电子设备和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种图像分类方法、电子设备、介质及程序产品,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种图像分类方法,其特征在于,包括:
获取待分类图像;
将所述待分类图像输入图像分类模型,得到所述待分类图像的分类预测结果;
其中,所述图像分类模型是分多个阶段对第一模型进行训练得到的,在训练所述第一模型的每个阶段,所述第一模型向已完成该阶段的训练的第二模型进行学习。
2.根据权利要求1所述的方法,其特征在于,在训练所述第一模型的每个阶段,所述第一模型向已完成该阶段的训练的第二模型进行学习,包括:
获取已完成该阶段的训练的第二模型针对样本图像提取的图像特征,以及输出的所述样本图像的分类预测结果;
在训练所述第一模型的每个阶段,以学习已完成该阶段的训练的第二模型针对样本图像提取的图像特征,以及输出的所述样本图像的分类预测结果为目标,对所述第一模型进行该阶段的训练。
3.根据权利要求1或2所述的方法,其特征在于,所述多个阶段为N个阶段;在训练所述第一模型的每个阶段,所述第一模型向已完成该阶段的训练的第二模型进行学习,包括:
对待训练的第二模型进行第n阶段的训练,并获取完成所述第n阶段的训练的第二模型针对样本图像提取的图像特征,以及输出的所述样本图像的分类预测结果,所述n的取值为从1到N-1的整数;
根据完成所述第n阶段的训练的第二模型针对所述样本图像提取的图像特征,以及输出的所述样本图像的分类预测结果,对第一模型进行第n阶段的训练;
对完成所述第n阶段的训练的第二模型进行第n+1阶段的训练,并获取完成所述第n+1阶段的训练的第二模型针对所述样本图像提取的图像特征,以及输出的所述样本图像的分类预测结果;
根据完成所述第n+1阶段的训练的第二模型针对所述样本图像提取的图像特征,以及输出的所述样本图像的分类预测结果,对完成第n阶段的训练的第一模型进行第n+1阶段的训练。
4.根据权利要求1或2所述的方法,其特征在于,所述多个阶段为N个阶段;在训练所述第一模型的每个阶段,所述第一模型向已完成该阶段的训练的第一模型进行学习,包括:
对待训练的第二模型进行所述N个阶段的训练,并存储完成第m阶段的训练的所述第二模型针对样本图像提取的图像特征,以及输出的所述样本图像的分类预测结果,所述m的取值为从1到N的整数;
根据完成第m阶段的训练的第二模型针对所述样本图像提取的图像特征,以及输出的所述样本图像的分类预测结果,对第一模型进行第m阶段的训练。
5.根据权利要求1或2所述的方法,其特征在于,所述多个阶段为N个阶段;在训练所述第一模型的每个阶段,所述第一模型向已完成该阶段的训练的第一模型进行学习,包括:
对待训练的第二模型进行所述N个阶段的训练,并记录完成每个阶段的训练的第二模型的模型参数;
根据完成第p阶段的训练的所述第二模型的模型参数,得到完成第p阶段的训练的第二模型,所述p的取值为从1到N的整数;
将所述样本图像输入所述完成第p阶段的训练的第二模型,得到所述完成第p阶段的训练的第二模型针对所述样本图像提取的图像特征,以及输出的所述样本图像的分类预测结果;
根据所述完成第p阶段的训练的第二模型针对所述样本图像提取的图像特征,以及输出的所述样本图像的分类预测结果,对第一模型进行第p阶段的训练。
6.根据权利要求2-5任一所述的方法,其特征在于,在训练所述第一模型的每个阶段,以学习已完成该阶段的训练的第二模型针对样本图像提取的图像特征,以及输出的所述样本图像的分类预测结果为目标,对第一模型进行该阶段的训练,包括:
在训练所述第一模型的每个阶段,执行以下步骤:
获取处于该阶段的第一模型针对所述样本图像以目标尺度提取的图像特征,以及所述已完成该阶段的训练的第二模型针对所述样本图像以所述目标尺度提取的图像特征;
获取处于该阶段的第一模型输出的所述样本图像的分类预测结果,以及所述已完成该阶段的训练的第二模型输出的所述样本图像的分类预测结果;
根据处于该阶段的第一模型和已完成该阶段的训练的第二模型各自针对所述样本图像以所述目标尺度提取的图像特征之间的差异,建立特征损失函数;
根据处于该阶段的第一模型和已完成该阶段的训练的第二模型各自输出的所述样本图像的分类预测结果之间的差异,建立分类损失函数;
基于所述特征损失函数和所述分类损失函数,对处于该阶段的所述第一模型进行训练。
7.根据权利要求1-6任一所述的方法,其特征在于,所述图像分类模型的训练还包括以下步骤:
获取带类别标签的样本图像;
利用所述带类别标签的样本图像,对所述第一模型进行有监督训练。
8.一种电子设备,包括存储器、处理器及存储在所述存储器上的计算机程序,其特征在于,所述处理器执行所述计算机程序以实现权利要求1至7中任一项所述的图像分类方法。
9.一种计算机可读存储介质,其上存储有计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时实现如权利要求1至7中任一项所述的图像分类方法。
10.一种计算机程序产品,包括计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时实现如权利要求1至7中任一项所述的图像分类方法。
CN202210265517.8A 2022-03-17 2022-03-17 一种图像分类方法、电子设备、存储介质及程序产品 Pending CN114821150A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210265517.8A CN114821150A (zh) 2022-03-17 2022-03-17 一种图像分类方法、电子设备、存储介质及程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210265517.8A CN114821150A (zh) 2022-03-17 2022-03-17 一种图像分类方法、电子设备、存储介质及程序产品

Publications (1)

Publication Number Publication Date
CN114821150A true CN114821150A (zh) 2022-07-29

Family

ID=82528843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210265517.8A Pending CN114821150A (zh) 2022-03-17 2022-03-17 一种图像分类方法、电子设备、存储介质及程序产品

Country Status (1)

Country Link
CN (1) CN114821150A (zh)

Similar Documents

Publication Publication Date Title
CN110414432B (zh) 对象识别模型的训练方法、对象识别方法及相应的装置
CN111797893B (zh) 一种神经网络的训练方法、图像分类系统及相关设备
CN111930992B (zh) 神经网络训练方法、装置及电子设备
CN111507378A (zh) 训练图像处理模型的方法和装置
CN111160350B (zh) 人像分割方法、模型训练方法、装置、介质及电子设备
CN111079658B (zh) 基于视频的多目标连续行为分析方法、系统、装置
CN112633459A (zh) 训练神经网络的方法、数据处理方法和相关装置
CN113792871A (zh) 神经网络训练方法、目标识别方法、装置和电子设备
CN113516227B (zh) 一种基于联邦学习的神经网络训练方法及设备
CN115393633A (zh) 数据处理方法、电子设备、存储介质及程序产品
CN115238909A (zh) 一种基于联邦学习的数据价值评估方法及其相关设备
CN114943937A (zh) 行人重识别方法、装置、存储介质及电子设备
CN112560823B (zh) 基于分布学习的自适应方差和权重的人脸年龄估计方法
CN114372580A (zh) 模型训练方法、存储介质、电子设备和计算机程序产品
CN116152938A (zh) 身份识别模型训练和电子资源转移方法、装置及设备
CN113762331A (zh) 关系型自蒸馏方法、装置和系统及存储介质
CN116485943A (zh) 图像生成方法、电子设备及存储介质
CN117216710A (zh) 多模态自动标注方法、标注模型的训练方法及相关设备
CN114387465A (zh) 图像识别方法、装置、电子设备和计算机可读介质
CN114005017A (zh) 目标检测方法、装置、电子设备及存储介质
CN114385846A (zh) 一种图像分类方法、电子设备、存储介质及程序产品
CN114821150A (zh) 一种图像分类方法、电子设备、存储介质及程序产品
CN115222047A (zh) 一种模型训练方法、装置、设备及存储介质
CN114566184A (zh) 音频识别方法及相关装置
CN114373071A (zh) 目标检测方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination