CN111091147B - 一种图像分类方法、装置及设备 - Google Patents

一种图像分类方法、装置及设备 Download PDF

Info

Publication number
CN111091147B
CN111091147B CN201911259994.8A CN201911259994A CN111091147B CN 111091147 B CN111091147 B CN 111091147B CN 201911259994 A CN201911259994 A CN 201911259994A CN 111091147 B CN111091147 B CN 111091147B
Authority
CN
China
Prior art keywords
image
classified
images
target
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911259994.8A
Other languages
English (en)
Other versions
CN111091147A (zh
Inventor
顾文剑
崔朝辉
赵立军
张霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neusoft Corp
Original Assignee
Neusoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neusoft Corp filed Critical Neusoft Corp
Priority to CN201911259994.8A priority Critical patent/CN111091147B/zh
Publication of CN111091147A publication Critical patent/CN111091147A/zh
Application granted granted Critical
Publication of CN111091147B publication Critical patent/CN111091147B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features

Abstract

本申请实施例公开了一种图像分类方法、装置及设备,该方法包括:获取待分类图像的目标热力图;从该目标热力图中提取满足预设提取条件的目标区域;根据目标区域在目标热力图中的占比,确定该待分类图像的分类尺度;基于该待分类图像的分类尺度对待分类图像进行分类,得到包括目标对象的待分类图像的分类结果。其中,因基于目标区域在目标热力图中的占比确定的分类尺度能够准确地表征对包括目标对象的待分类图像进行分类时应该使用的特征尺度信息,使得包括目标对象的待分类图像能够依据恰当的分类尺度进行分类,以便避免因图像分类过程中依据的分类尺度过大或过小而导致图像分类精确性较低,如此能够提高图像分类的精确性。

Description

一种图像分类方法、装置及设备
技术领域
本申请涉及自动化机器学习技术领域,具体涉及一种图像分类方法、装置及设备。
背景技术
随着机器学习技术的发展,图像分类的应用范围逐渐扩大。所谓图像分类是指根据待分类图像中像素信息所反映的图像特征确定图像所属类别。例如,在图像分类过程中,可以将包括苹果的待分类图像划分到“苹果”这一类别中,也可以将包括西瓜的待分类图像划分到“西瓜”这一类别中。然而,如何准确地进行图像分类仍是一个亟待解决的技术问题。
发明内容
有鉴于此,本申请实施例提供一种图像分类方法、装置及设备,能够提高图像分类的精确性。
为解决上述问题,本申请实施例提供的技术方案如下:
一种图像分类方法,所述方法包括:
获取待分类图像的目标热力图;其中,所述目标热力图用于表征所述待分类图像中目标对象的分布区域信息;
从所述目标热力图中提取满足预设提取条件的目标区域,并根据所述目标区域在所述目标热力图中的占比,确定所述待分类图像的分类尺度;
基于所述待分类图像的分类尺度对所述待分类图像进行分类,得到包括所述目标对象的待分类图像的分类结果。
在一种可能的实现方式中,所述获取待分类图像的目标热力图,包括:
将待分类图像输入预先构建的特征图提取模型,得到所述特征图提取模型输出的所述待分类图像的特征图;
根据所述待分类图像的特征图权重和所述待分类图像的特征图,构建所述待分类图像的目标热力图。
在一种可能的实现方式中,当存在至少两组所述待分类图像的特征图权重时,所述根据所述待分类图像的特征图权重和所述待分类图像的特征图,构建所述待分类图像的目标热力图,包括:
基于第一筛选条件,从所述至少两组所述待分类图像的特征图权重中筛选得到至少一个目标权重组;
将所述待分类图像的特征图分别按照各个目标权重组进行加权叠加,得到待分类图像的各个目标热力图。
在一种可能的实现方式中,所述基于第一筛选条件,从所述至少两组所述待分类图像的特征图权重中筛选得到至少一个目标权重组,包括:
将所述待分类图像的特征图进行全局平均池化,得到所述待分类图像的特征图的一维特征值;
将所述待分类图像的特征图的一维特征值分别按照各组所述待分类图像的特征图权重进行加权求和,得到各组所述待分类图像的特征图权重对应的使用概率;
将所述使用概率满足第一筛选条件的各组所述待分类图像的特征图权重,确定为各个目标权重组。
在一种可能的实现方式中,当存在至少两组所述待分类图像的特征图权重时,所述根据所述待分类图像的特征图权重和所述待分类图像的特征图,构建所述待分类图像的目标热力图,包括:
将所述待分类图像的特征图分别按照各组所述待分类图像的特征图权重进行加权叠加,得到所述待分类图像的各个初始热力图;
根据所述待分类图像的特征图和各个初始热力图对应的所述待分类图像的特征图权重,确定各个初始热力图的应用概率;
将所述应用概率满足第二筛选条件的各个初始热力图,确定为所述待分类图像的各个目标热力图。
在一种可能的实现方式中,所述根据所述待分类图像的特征图和各个初始热力图对应的所述待分类图像的特征图权重,确定各个初始热力图的应用概率,包括:
将所述待分类图像的特征图进行全局平均池化,得到所述待分类图像的特征图的一维特征值;
将所述待分类图像的特征图的一维特征值分别按照各个初始热力图对应的所述待分类图像的特征图权重进行加权求和,得到各个初始热力图的应用概率。
在一种可能的实现方式中,所述特征图提取模型和所述待分类图像的特征图权重的获取过程为:
获取训练图像和所述训练图像的实际类别;
将所述训练图像输入待训练预测模型,得到所述待训练预测模型输出的所述训练图像的预测类别;其中,所述待训练预测模型包括特征图提取层和类别预测层,所述类别预测层的层参数包括所述训练图像的特征图权重;所述特征图提取层用于从所述训练图像中提取所述训练图像的特征图;所述类别预测层用于根据所述特征图提取层输出的所述训练图像的特征图和所述训练图像的特征图权重,确定所述训练图像的预测类别;
根据所述训练图像的实际类别以及所述训练图像的预测类别,更新待训练预测模型,并继续执行所述将所述训练图像输入待训练预测模型以及后续步骤,直至达到停止条件,根据所述待训练预测模型中的特征图提取层生成所述特征图提取模型,并将所述类别预测层中的所述训练图像的特征图权重,确定为所述待分类图像的特征图权重。
在一种可能的实现方式中,所述根据所述特征图提取层输出的所述训练图像的特征图和所述训练图像的特征图权重,确定所述训练图像的预测类别,包括:
将所述特征图提取层输出的所述训练图像的特征图进行全局平均池化,得到所述训练图像的特征图的一维特征值;
将所述训练图像的特征图的一维特征值按照所述训练图像的特征图权重进行加权求和,得到所述训练图像的类别归属概率;
根据所述训练图像的类别归属概率,确定所述训练图像的预测类别。
在一种可能的实现方式中,所述基于所述待分类图像的分类尺度对所述待分类图像进行分类,包括:
根据所述待分类图像的分类尺度确定分类模型的模型结构和/或所述待分类图像的目标分辨率;
基于所述待分类图像的目标分辨率和/或具有所述模型结构的分类模型,对所述待分类图像进行分类。
一种图像分类装置,所述装置包括:
热力图获取单元,用于获取待分类图像的目标热力图;其中,所述目标热力图用于表征所述待分类图像中目标对象的分布区域信息;
尺度确定单元,用于从所述目标热力图中提取满足预设提取条件的目标区域,并根据所述目标区域在所述目标热力图中的占比,确定所述待分类图像的分类尺度;
图像分类单元,用于基于所述待分类图像的分类尺度对所述待分类图像进行分类,得到包括所述目标对象的待分类图像的分类结果。
一种图像分类设备,包括:存储器,处理器,及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现上述的图像分类方法。
一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在终端设备上运行时,使得所述终端设备执行上述的图像分类方法。
由此可见,本申请实施例具有如下有益效果:
本申请实施例提供的图像分类方法中,先获取待分类图像的目标热力图,并从该目标热力图中提取满足预设提取条件的目标区域;再根据目标区域在目标热力图中的占比,确定该待分类图像的分类尺度,以便基于该待分类图像的分类尺度对待分类图像进行分类,得到包括目标对象的待分类图像的分类结果。
其中,因目标热力图能够准确地表征待分类图像中目标对象的分布区域信息,使得从该目标热力图中提取的目标区域能够准确地表征目标对象的尺寸大小,也使得目标区域在目标热力图中的占比能够准确地表征目标对象在待分类图像中的占比,从而使得基于该占比确定的分类尺度能够准确地表征对包括目标对象的待分类图像进行分类时应该使用的特征尺度信息(例如,全局特征信息或预设尺度的局部特征信息),如此使得包括目标对象的待分类图像能够依据恰当的分类尺度进行分类,以便避免因图像分类过程中依据的分类尺度过大或过小而导致图像分类精确性较低,如此能够提高图像分类的精确性。
附图说明
图1为本申请实施例提供的待分类图像的示意图;
图2为本申请实施例提供的一种图像分类方法的流程图;
图3为本申请实施例提供的目标热力图的示意图;
图4为本申请实施例提供的获取待分类图像的目标热力图的具体实施方式的流程图;
图5为本申请实施例提供的目标热力图的计算示意图;
图6为本申请实施例提供的S212的第一种实施方式的流程图;
图7为本申请实施例提供的至少一组目标权重组的筛选示意图;
图8为本申请实施例提供的一组目标权重组的筛选示意图;
图9为本申请实施例提供的S212的第二种实施方式的流程图;
图10为本申请实施例提供的初始热力图的应用概率的计算示意图;
图11为本申请实施例提供的同时获取特征图提取模型和待分类图像的特征图权重的实施方式的流程图;
图12为本申请实施例提供的待训练预测模型的类别预测过程示意图;
图13为本申请实施例提供的一种图像分类装置示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请实施例作进一步详细的说明。
发明人在对传统的图像分类方法研究中发现,在对待分类图像进行分类(尤其是多标签分类)时,因待分类图像中不同目标对象的尺寸差别较大,使得在依据相同特征尺度信息(例如,全局特征信息或预设尺度的局部特征信息)对这些具有不同尺寸的目标对象进行分类时,易造成小尺寸目标对象(或大尺寸目标对象)的识别失败,如此导致待分类图像的分类精确性较低。
需要说明的是,①全局特征用于表征待分类图像的全局信息,而且所谓全局信息是指能够表征该待分类图像整体的信息。例如,当待分类图像由200×200个像素点构成时,该待分类图像的全局信息是指该200×200个像素点能够表征的信息;而且该待分类图像的全局特征可以根据该200×200个像素点对应的特征生成。②局部特征用于表征能够表示待分类图像上的局部信息,而且所谓局部信息是指能够表征该待分类图像上的部分区域的信息。例如,当待分类图像由200×200个像素点构成,而且由位于该待分类图像右下角位置的50×50个像素点构成了该待分类图像上的第一局部区域时,该待分类图像的局部信息可以是指该第一局部区域中的50×50个像素点能够表征的信息;该待分类图像的局部特征可以根据该第一局部区域中的50×50个像素点对应的特征生成。
下面结合图1所示的待分类图像对上述技术问题进行解释,其中,图1为本申请实施例提供的待分类图像的示意图。另外,图1中待分类图像包括沙漠、飞机和汽车这三个目标对象,而且沙漠的尺寸>飞机的尺寸>汽车的尺寸。
对于图1所示的待分类图像的分类过程来说,在利用全局特征对该待分类图像进行分类时,因全局特征能够准确地表征该待分类图像的全局信息,却缺失了该待分类图像的大量局部信息,使得该分类过程中只能确定出该待分类图像属于“沙漠”类别,却无法确定出该待分类图像属于“飞机”类别和“汽车”类别,如此导致待分类图像的分类精确性较低。另外,在利用预设尺度的局部特征对该待分类图像进行分类时,因预设尺度的局部特征能够准确地表征该待分类图像的预设尺度局部信息,却缺失了该待分类图像的全局信息,使得该分类过程中可以确定出该待分类图像属于“飞机”类别和/或“汽车”类别,却无法确定出该分类图像属于“沙漠”类别,如此导致待分类图像的分类精确性较低。
需要说明的是,在使用相同预设尺度的局部特征对图1所示的待分类图像进行分类时,因图1中飞机尺寸与汽车尺寸不同,导致该分类过程可能只能确定出该待分类图像属于“飞机”类别和“汽车”类别中的一个,却无法确定出另一个(例如,只确定出该待分类图像属于“汽车”类别,但无法确定出该待分类图像属于“飞机”类别),如此导致待分类图像的分类精确性较低。
基于此,为了解决背景部分的技术问题以及上述技术问题,本申请实施例提供了一种图像分类方法,其具体为:先获取待分类图像的目标热力图,并从该目标热力图中提取满足预设提取条件的目标区域;再根据目标区域在目标热力图中的占比,确定该待分类图像的分类尺度,以便基于该待分类图像的分类尺度对待分类图像进行分类,得到包括目标对象的待分类图像的分类结果。其中,因分类尺度能够准确地表征对包括目标对象的待分类图像进行分类时应该使用的特征尺度信息,使得在基于该分类尺度进行分类时能够依据恰当的特征尺度信息对待分类图像进行分类,提高图像分类的精确性。
为了便于理解本申请,下面结合附图对本申请实施例提供的图像分类方法进行说明。
参见图2,该图为本申请实施例提供的一种图像分类方法的流程图,该图像分类方法可以包括S21-S24:
S21:获取待分类图像的目标热力图。
目标热力图用于表征待分类图像中目标对象的分布区域信息。例如,图3所示的目标热力图能够表征图1所示的待分类图像中飞机的分布区域信息。
其中,目标对象是指待分类图像中的物体。例如,对于图1所示的待分类图像来说,沙漠、飞机和汽车均可以作为目标对象。
另外,目标热力图可以通过特殊显示方式突显出待分类图像中对分类过程贡献比较大的区域(也就是,目标对象所在区域)的分布信息。例如,当目标热力图为图3所示的热力图,且目标对象为飞机时,该目标热力图能够突显出飞机所在区域的分布信息。需要说明的是,本申请实施例不限定特殊显示方式,例如,特殊显示方式可以为采用高亮颜色进行显示。
还需要说明的是,在本申请实施例中,一个目标热力图只用于突出显示一个目标对象的分布区域。例如,对于图1所示的待分类图像来说,因该待分类图像可以包括沙漠、飞机和汽车这三个目标对象,使得在对该待分类图像进行分类过程中,可以分别获取用于突出显示沙漠的目标热力图、用于突出显示飞机的目标热力图(如图3所示)、以及用于突出显示汽车的目标热力图,以便后续能够分别基于各个目标热力图对该待分类图像进行分类,得到该待分类图像所归属的各个类别(例如,“沙漠”类别、“飞机”类别和“汽车”类别)。
此外,关于获取待分类图像的目标热力图的实施方式将在下文进行说明。
S22:从目标热力图中提取满足预设提取条件的目标区域。
预设提取条件用于表征从目标热力图中提取以特殊显示方式显示的区域所依据的条件;而且,预设提取条件可以根据应用场景设定。例如,预设提取条件可以为目标热力图中的像素值大于预设像素阈值。
本申请实施例中,在获取到待分类图像的目标热力图之后,可以从该目标热力图中提取满足预设提取条件的目标区域。例如,可以依据预设提取条件,从图3所示的目标热力图中提取到图3所示的目标区域。
S23:根据目标区域在目标热力图中的占比,确定待分类图像的分类尺度。
目标区域在目标热力图中的占比用于表征目标对象的尺寸与包括目标对象的待分类图像的尺寸之间的比值;而且,本申请实施例不限定目标区域在目标热力图中的占比的计算方式,例如,目标区域在目标热力图中的占比可以根据目标区域的像素个数与目标热力图的像素个数的比值确定,也可以根据目标区域的面积与目标热力图的面积的比值确定。
分类尺度用于表征在对待分类图像进行分类时应该依据的特征尺度信息;而且,分类尺度与目标区域在目标热力图中的占比之间呈正相关,也就是,分类尺度会随着目标区域在目标热力图中的占比的增大而增大。
另外,本申请实施例不限定分类尺度与目标区域在目标热力图中的占比之间的正相关关系。例如,分类尺度可以与目标区域在目标热力图中的占比之间呈线性相关,即,分类尺度=l×目标区域在目标热力图中的占比,其中l为系数。
基于上述内容可知,本申请实施例中,在获取到目标热力图中的目标区域之后,可以先计算目标区域在目标热力图中的占比,再基于该占比来确定待分类图像的分类尺度,以便后续能够基于该分类尺度对待分类图像进行准确地分类。例如,当上述系数l为1时,则在获取到图3所示的目标区域之后,可以先计算图3所示的目标区域在图3所示的目标热力图中的占比(例如,40%),并将该占比确定为图1所示的待分类图像的分类尺度,以便后续能够利用S24对图1所示的待分类图像进行分类。
S24:基于待分类图像的分类尺度对待分类图像进行分类,得到包括目标对象的待分类图像的分类结果。
本申请实施例中,在获取到待分类图像的分类尺度之后,可以依据该分类尺度所表征的在对待分类图像进行分类时应该使用的特征尺度(例如,全局特征或预设尺度的局部特征)对待分类图像进行分类,得到包括目标对象的待分类图像的分类结果。例如,在根据图3所示的目标热力图确定出图1所示的待分类图像的分类尺度之后,依据该分类尺度所表征的第一尺度的局部特征对该待分类图像进行分类,确定该待分类图像的“飞机”类别标签。其中,第一尺度对应于基于图3所示的目标热力图确定的分类尺度。
另外,关于基于待分类图像的分类尺度对待分类图像进行分类的具体实施方式将在后续实施例进行说明。
基于上述S21至S24的内容可知,在本申请实施例提供的图像分类方法中,可以先获取待分类图像的目标热力图,并从该目标热力图中提取满足预设提取条件的目标区域;再根据目标区域在目标热力图中的占比,确定该待分类图像的分类尺度,以便基于该待分类图像的分类尺度对待分类图像进行分类,得到包括目标对象的待分类图像的分类结果。
其中,因目标热力图能够准确地表征待分类图像中目标对象的分布区域信息,使得从该目标热力图中提取的目标区域能够准确地表征目标对象的尺寸大小,此时还因目标热力图的尺寸与待分类图像的尺寸相同,从而使得目标区域在目标热力图中的占比能够准确地表征目标对象的尺寸与待分类图像的尺寸之间的比例,此时因目标对象的尺寸与待分类图像的尺寸之间的比例能够准确地表征目标对象在待分类图像中的占比,从而使得基于该占比确定的分类尺度能够准确地表征对包括目标对象的待分类图像进行分类时应该使用的特征尺度信息,如此使得包括目标对象的待分类图像能够依据恰当的分类尺度进行分类,以便避免因图像分类过程中依据的分类尺度过大或过小而导致图像分类精确性较低,如此能够提高图像分类的精确性。
在本申请实施例一种可能的实施方式中,提供了一种获取待分类图像的目标热力图的具体实施方式,如图4所示,其具体可以包括S211-S212:
S211:将待分类图像输入预先构建的特征图提取模型,得到该特征图提取模型输出的该待分类图像的特征图。
特征图提取模型用于从输入的待分类图像中提取该待分类图像的特征图;而且,特征图提取模型可以采用任一种能够进行特征图提取的模型。例如,特征图提取模型可以是卷积神经网络模型。
需要说明的是,待分类图像的特征图可以包括至少一个特征图,例如,待分类图像的特征图可以包括第1个特征图至第N个特征图。
S212:根据待分类图像的特征图权重和待分类图像的特征图,构建待分类图像的目标热力图。
特征图权重用于表征该特征图权重对应的特征图在目标热力图的构建过程中所占的比重(也就是,该特征图权重对应的特征图对目标热力图中目标对象所处区域的突显效果所产生的影响程度)。其中,特征图与特征图权重之间存在对应关系,例如,对于待分类图像对应的第1个特征图至第N个特征图来说,第1个特征图可以对应于第1个特征图权重W1,第2个特征图可以对应于第2个特征图权重W2,……,第N个特征图可以对应于第N个特征图权重WN。需要说明的是,特征图权重与该特征图权重对应的特征图对目标热力图所产生的影响程度之间呈正相关,也就是,当特征图权重越大时,则表示该特征图权重对应的特征图对目标热力图所产生的影响程度越大。
目标热力图可以由待分类图像的特征图进行加权叠加得到。例如,当待分类图像的特征图可以包括第1个特征图至第N个特征图,待分类图像的特征图权重包括第1个特征图权重W1至第N个特征图权重WN,且第1个特征图与第1个特征图权重W1相对应、第2个特征图与第2个特征图权重W2相对应、……、第N个特征图与第N个特征图权重WN相对应时,则可以按照图5所示的方式得到图3所示的目标热力图。
需要说明的是,不同组待分类图像的特征图权重可以用于生成能够突显出不同物体的热力图;而且,每组待分类图像的特征图权重可以预先根据应用场景设定,也可以基于训练数据训练获得。
基于上述S211至S212的内容可知,在本申请实施例中,可以利用待分类图像的特征图和待分类图像的特征图权重来构建目标热力图。其中,因特征图权重能够准确地表征出其对应特征图对目标热力图中目标对象所处区域的突显效果所产生的影响程度,使得基于该特征图及其特征图权重构建的目标热力图能够准确地突显出目标对象的分布区域信息,从而提高了目标热力图的准确性,进而提高了图像分类的精确性。
另外,在一些情况下,可能存在多组待分类图像的特征图权重(例如,一组能够用于构建飞机热力图的特征图权重、一组能够用于构建沙漠热力图的特征图权重、一组能够用于构建汽车热力图的特征图权重、一组用于构建丛林热力图的特征图权重……)。此时,为了能够实现基于众多待分类图像的特征图权重构建出至少一个目标对象(例如,沙漠、飞机和汽车中的至少一个)的目标热力图,本申请实施例还提供了S212的两种实施方式。下面结合附图依次进行说明。
作为S212的第一种实施方式,如图6所示,当存在至少两组待分类图像的特征图权重时,S212具体可以包括S212A1-S212A2:
S212A1:基于第一筛选条件,从至少两组待分类图像的特征图权重中筛选得到至少一个目标权重组。
第一筛选条件用于表征从多组特征图权重中筛选出构建目标热力图所需特征图权重时所依据的筛选条件。
目标权重组是指适用于结合待分类图像的特征图,构建出该待分类图像的目标热力图的权重。
另外,关于筛选目标权重组的具体实施方式将在下文中进行介绍。
S212A2:将待分类图像的特征图分别按照各个目标权重组进行加权叠加,得到待分类图像的各个目标热力图。
本申请实施例中,在获取到各个目标权重组之后,可以将待分类图像的特征图分别按照各个目标权重组进行加权叠加,得到待分类图像的各个目标热力图。例如,当在S212A1中筛选出了第1个目标权重组至第3个目标权重组时,S212A2具体可以为:将待分类图像的特征图按照第1个目标权重组进行加权叠加,得到待分类图像的第1个目标热力图;将待分类图像的特征图按照第2个目标权重组进行加权叠加,得到待分类图像的第2个目标热力图;将待分类图像的特征图按照第3个目标权重组进行加权叠加,得到待分类图像的第3个目标热力图。
基于上述S212A1至S212A2的内容可知,在S212的第一种实施方式中,可以先基于第一筛选条件从众多组特征图权重中筛选出各个目标权重组,再将待分类图像的特征图分别按照各个目标权重组进行加权叠加,得到待分类图像的各个目标热力图。其中,因第一筛选条件能够从多组特征图权重中筛选出构建目标热力图所需特征图权重,使得基于第一筛选条件筛选得到的目标权重组均为构建目标热力图所需的特征图权重,如此使得根据各个目标权重组构建的各个目标热力图均能够准确地突显出待分类图像中目标对象所处区域,提高了目标热力图的准确性,从而提高了图像分类的精确性。
另外,在本申请实施例一种可能的实施方式中,本申请实施例还提供了筛选目标权重组(也就是S212A1)的一种实施方式,S212A1具体可以包括:
(1)将待分类图像的特征图进行全局平均池化,得到待分类图像的特征图的一维特征值。
其中,全局平均池化用于从特征图中提取能够表征该特征图的一维特征值。
作为示例,假设待分类图像的特征图包括第1个特征图至第N个特征图。基于该假设,如图7所示,该步骤具体可以为:将第1个特征图进行全局平均池化,得到第1个特征图对应的第1特征值V1;将第2个特征图进行全局平均池化,得到第2个特征图对应的第2特征值V2;……(以此类推);将第N个特征图进行全局平均池化,得到第N个特征图对应的第N特征值VN
(2)将待分类图像的特征图的一维特征值分别按照各组待分类图像的特征图权重进行加权求和,得到各组待分类图像的特征图权重对应的使用概率。
其中,使用概率用于表征一组待分类图像的特征图权重被用于构建目标热力图的可能性大小;而且,使用概率越大,则表示该使用概率对应的一组待分类图像的特征图权重被用于构建目标热力图的可能性越大。
作为示例,假设存在第1组待分类图像的特征图权重[W11,W12,……,W1N]至第M组待分类图像的特征图权重[WM1,WM2,……,WMN]。基于该假设以及(1)中示例的相关内容可知,如图7所示,该步骤具体可以为:将第1特征值V1至第N特征值VN按照第1组待分类图像的特征图权重[W11,W12,……,W1N]进行加权求和,得到第1组待分类图像的特征图权重对应的使用概率Puse1(也就是,Puse1=V1×W11+V2×W12+……+VN×W1N);将第1特征值V1至第N特征值VN按照第2组待分类图像的特征图权重[W21,W22,……,W2N]进行加权求和,得到第2组待分类图像的特征图权重对应的使用概率Puse2(也就是,Puse2=V1×W21+V2×W22+……+VN×W2N);……(以此类推);将第1特征值V1至第N特征值VN按照第M组待分类图像的特征图权重[WM1,WM2,……,WMN]进行加权求和,得到第M组待分类图像的特征图权重对应的使用概率PuseM(也就是,PuseM=V1×WM1+V2×WM2+……+VN×WMN)。其中,M≥1且M为正整数。
(3)将使用概率满足第一筛选条件的各组待分类图像的特征图权重,确定为各个目标权重组。
其中,第一筛选条件可以根据应用场景设定。下面结合两个示例进行说明。
作为第一示例,在一些情况下,因待分类图像(如图1所示的待分类图像)中存在多个目标对象,此时为了能够快速获取待分类图像中多个目标对象的热力图,可以同时从众多组特征图权重中筛选出多个目标权重组(例如,3个目标权重组)。此时可以将第一筛选条件设置为超过第一阈值,以便能够基于第一阈值筛选出多个目标权重组。
第一阈值用于表征能够被用于构建目标热力图的特征图权重所具有的使用概率最小值。另外,第一阈值可以预先根据应用场景设定,例如,第一阈值可以为0.5。
基于上述内容以及(2)中示例的相关内容可知,当第一筛选条件为超过第一阈值,且第一阈值为0.5时,如图7所示,该步骤具体可以为:分别判断第1组待分类图像的特征图权重对应的使用概率Puse1至第M组待分类图像的特征图权重对应的使用概率PuseM是否大于0.5,以便将使用概率大于0.5的各组待分类图像的特征图权重,确定为各个目标权重组。
基于上述第一示例的内容可知,本申请实施例可以基于第一阈值从众多组特征图权重中筛选出各个目标权重组。如此能够满足同时从众多组特征图权重中筛选出多个目标权重组的需求,使得后续能够基于该多个目标权重组快速生成待分类图像中多个目标对象(例如,沙漠、飞机和车辆)的目标热力图,提高了图像分类的分类效率。
作为第二示例,在一些情况下,因待分类图像中只存在1个目标对象,此时为了能够快速获取该目标对象的热力图,只需要从众多组特征图权重中只挑选出一组目标权重组即可,此时可以将第一筛选条件设置为取最大值。
基于上述内容以及(2)中示例的相关内容可知,当第一筛选条件为取最大值时,如图8所示,该步骤具体可以为:先从第1组待分类图像的特征图权重对应的使用概率Puse1至第M组待分类图像的特征图权重对应的使用概率PuseM中筛选出最大使用概率Pmax,再将最大使用概率Pmax对应的一组待分类图像的特征图权重作为目标权重组。
基于上述第二示例的内容可知,本申请实施例可以从众多使用概率中筛选出最大使用概率值,以便将该筛选出的最大使用概率值对应的特征图权重作为目标权重组。如此能够满足快速从众多组特征图权重中筛选出1个目标权重组的需求,使得后续能够基于该目标权重组生成待分类图像中目标对象的目标热力图,提高了图像分类的分类效率。
基于上述(1)-(3)的内容可知,在上述S212A1的实施方式中,可以在获取到各组特征图权重的使用概率之后,基于各组特征图权重的使用概率以及第一筛选条件,筛选得到各个目标权重组。其中,因使用概率能够表征一组待分类图像的特征图权重被用于构建目标热力图的可能性大小,使得基于使用概率和第一筛选条件筛选出的目标权重组确实为构建目标热力图所需特征图权重,从而使得根据各个目标权重组构建的各个目标热力图均能够准确地突显出目标对象的分布区域信息,提高了目标热力图的准确性,从而提高了图像分类的精确性。
另外,本申请实施例除了能够按照上述介绍的S212的第一种实施方式来实现基于多组待分类图像的特征图权重构建出至少一个目标热力图以外,还可以采用S212的第二种实施方式来实现。
作为S212的第二种实施方式,如图9所示,当存在至少两组待分类图像的特征图权重时,S212具体可以包括S212B1-S212B3:
S212B1:将待分类图像的特征图分别按照各组待分类图像的特征图权重进行加权叠加,得到待分类图像的各个初始热力图。
作为示例,假设待分类图像的特征图包括第1个特征图至第N个特征图,而且存在第1组待分类图像的特征图权重[W11,W12,……,W1N]至第M组待分类图像的特征图权重[WM1,WM2,……,WMN]。基于该假设,S212B1具体可以为:将第1个特征图至第N个特征图按照第1组待分类图像的特征图权重[W11,W12,……,W1N]进行加权叠加,得到待分类图像的第1个初始热力图;将第1个特征图至第N个特征图按照第2组待分类图像的特征图权重[W21,W22,……,W2N]进行加权叠加,得到待分类图像的第2个初始热力图;……(以此类推);将第1个特征图至第N个特征图按照第M组待分类图像的特征图权重[WM1,WM2,……,WMN]进行加权叠加,得到待分类图像的第M个初始热力图。
S212B2:根据待分类图像的特征图和各个初始热力图对应的该待分类图像的特征图权重,确定各个初始热力图的应用概率。
应用概率用于表征初始热力图能够突显出待分类图像中目标对象的可能性大小;而且,应用概率越大,则表示该应用概率对应的初始热力图越可能突显出待分类图像中目标对象,从而表示该应用概率对应的初始热力图越可能属于该待分类图像的目标热力图。
作为示例,基于上述内容以及S212B1中示例相关内容可知,S212B2具体可以为:根据第1个特征图至第N个特征图和第1个初始热力图对应的第1组待分类图像的特征图权重[W11,W12,……,W1N],确定第1个初始热力图的应用概率;根据第1个特征图至第N个特征图和第2个初始热力图对应的第2组待分类图像的特征图权重[W21,W22,……,W2N],确定第2个初始热力图的应用概率;……(以此类推);根据第1个特征图至第N个特征图和第M个初始热力图对应的第M组待分类图像的特征图权重[WM1,WM2,……,WMN],确定第M个初始热力图的应用概率。
另外,本申请实施例还提供了S212B2的一种实施方式,其具体可以为:将待分类图像的特征图进行全局平均池化,得到待分类图像的特征图的一维特征值;将该待分类图像的特征图的一维特征值分别按照各个初始热力图对应的该待分类图像的特征图权重进行加权求和,得到各个初始热力图的应用概率。
为了便于理解和解释上述S212B2的具体实施方式,下面结合图10所示的示例进行说明。
作为示例,基于上述内容以及S212B1中示例相关内容可知,第1个初始热力图对应于第1组待分类图像的特征图权重[W11,W12,……,W1N]、第2个初始热力图对应于第2组待分类图像的特征图权重[W21,W22,……,W2N]、……、第M个初始热力图对应于第M组待分类图像的特征图权重[WM1,WM2,……,WMN]。
基于此,如图10所示,S212B2具体可以为:首先,分别将第1个特征图至第N个特征图,得到第1个特征图对应的第1特征值V1至第N个特征图对应的第N特征值VN。然后,将第1特征值V1至第N特征值VN按照第1组待分类图像的特征图权重[W11,W12,……,W1N]进行加权求和,得到第1个初始热力图的应用概率Papply1(也就是,Papply1=V1×W11+V2×W12+……+VN×W1N);将第1特征值V1至第N特征值VN按照第2组待分类图像的特征图权重[W21,W22,……,W2N]进行加权求和,得到第2个初始热力图的应用概率Papply2(也就是,Papply2=V1×W21+V2×W22+……+VN×W2N);……(以此类推);将第1特征值V1至第N特征值VN按照第M组待分类图像的特征图权重[WM1,WM2,……,WMN]进行加权求和,得到第M个初始热力图的应用概率PapplyM(也就是,PapplyM=V1×WM1+V2×WM2+……+VN×WMN)。
S212B3:将应用概率满足第二筛选条件的各个初始热力图,确定为待分类图像的各个目标热力图。
第二筛选条件用于表征从多个初始热力图中筛选出能够突显出待分类图像中目标对象的初始热力图时所依据的筛选条件。例如,第二筛选条件为超过第二阈值或取最大值。其中,第二阈值用于表征能够突显出待分类图像中目标对象的初始热力图所具体的应用概率最小值。另外,第二阈值可以预先根据应用场景设定,例如,第二阈值可以为0.5。
下面结合两个示例对S212B3进行说明。
作为第一示例,基于上述内容以及S212B2中示例相关内容可知,当第二筛选条件为超过第二阈值时,S212B3具体可以为:分别判断第1个初始热力图的应用概率至第M个初始热力图的应用概率是否超过第二阈值,以便将应用概率超过第二阈值的各个初始热力图,确定为待分类图像的各个目标热力图。
作为第二示例,基于上述内容以及S212B2中示例相关内容可知,当第二筛选条件为取最大值时,S212B3具体可以为:先确定第1个初始热力图的应用概率至第M个初始热力图的应用概率中的最大应用概率,再将该最大应用概率对应的初始热力图,确定为待分类图像的目标热力图。
基于上述S212B1至S212B3的内容可知,在S212的第二种实施方式,可以先根据各组特征图权重生成各个初始热力图,再基于初始热力图的应用概率和第二筛选条件,从众多初始热力图中筛选出待分类图像的各个目标热力图。其中,因应用概率可以准确地表征出初始热力图能够突显出待分类图像中目标对象的可能性(也就是,初始热力图属于待分类图像中目标对象的目标热力图的可能性),使得基于第二筛选条件筛选出的应用概率对应的初始热力图最有可能属于待分类图像中目标对象的目标热力图,如此能够提高目标热力图的准确性,从而提高了图像分类的精确性。
需要说明的是,对于上述S212的第二种实施方式来说,若第二筛选条件为超过第二阈值,则该实施方式适用于从众多个初始热力图中同时筛选出多个目标热力图(例如,3个目标热力图);若第二筛选条件为取最大值,则该实施方式适用于从众多个初始热力图中只挑选出一个目标热力图。
另外,基于上述提供的图像分类方法的相关内容可知:①目标热力图的优劣程度(也就是,目标热力图是否能够较好地突显出待分类图像中目标对象所处区域)能够直接影响图像分类的精确性。②目标热力图的优劣程度取决于特征图权重的优劣程度、特征图的优劣程度以及特征图权重与特征图之间的匹配程度。③特征图的优劣程度取决于特征图提取模型的提取性能。基于①-③可知,为了能够进一步提高图像分类的精确性,可以利用同一个模型来同时训练该特征图提取模型和特征图权重,以便使得训练好的特征图权重的性能较优,也使得训练好的特征图提取模型能够提取性能较优的特征图,还使得训练好的特征图权重与训练好的特征图提取模型提取的特征图之间的匹配程度较高。
基于此,本申请实施例还提供了一种同时获取特征图提取模型和待分类图像的特征图权重的实施方式,如图11所示,在该实施方式中,特征图提取模型和待分类图像的特征图权重的获取过程包括S111-115:
S111:获取训练图像和训练图像的实际类别。
本申请实施例中,一条训练数据是由一个训练图像和该训练图像的实际类别构成,而且该训练图像的实际类别是该条训练数据的实际标签。
需要说明的是,由于训练图像的实际热力图获取比较艰难,而且训练图像的实际类别也能够准确地衡量待训练预测模型的优劣程度,因而,为了能够在不影响特征图提取模型和特征图权重的优化效果的前提下降低待训练预测模型的实施难度,可以采用训练图像的实际类别作为训练数据的实际标签。
S112:将训练图像输入待训练预测模型,得到该待训练预测模型输出的该训练图像的预测类别。
待训练预测模型用于对输入的训练图像进行类别预测,得到该训练图像的预测类别。
另外,待训练预测模型包括特征图提取层和类别预测层。其中,特征图提取层与类别预测层连接;而且特征图提取层的输出数据是类别预测层的输入数据。另外,特征图提取层用于从训练图像中提取该训练图像的特征图。类别预测层用于根据该特征图提取层输出的该训练图像的特征图和该训练图像的特征图权重,确定该训练图像的预测类别。此外,类别预测层的层参数包括该训练图像的特征图权重。
需要说明的是,类别预测层中可以包括至少一组该训练图像的特征图权重,而且每组该训练图像特征图权重对应于一个类别标签。例如,类别预测层中可以包括第1个特征图权重组[K11,K12,……,K1N]至第M个特征图权重组[KM1,KM2,……,KMN];而且,第1个特征图权重组[K11,K12,……,K1N]对应于第1类别、第2个特征图权重组[K21,K22,……,K2N]对应于第2类别、……(以此类推)、第M个特征图权重组[KM1,KM2,……,KMN]对应于第M类别。
基于上述待训练预测模型的相关内容可知,待训练预测模型的类别预测过程具体包括以下步骤:
步骤一:在训练图像输入到待训练预测模型之后,对该训练图像进行特征图提取,得到该训练图像对应的各个特征图。
步骤二:基于该训练图像对应的各个特征图和该训练图像的特征图权重,确定该训练图像的预测类别。
另外,本申请实施例还提供了步骤二的具体实施方式,其具体包括:
(1)将该训练图像的特征图(也就是,特征图提取层输出的训练图像的特征图)进行全局平均池化,得到该训练图像的特征图的一维特征值。
作为示例,假设训练图像的特征图包括第1个特征图至第N个特征图。基于该假设,如图12所示,该步骤具体可以为:将第1个特征图进行全局平均池化,得到第1个特征图对应的第1个特征值F1;将第2个特征图进行全局平均池化,得到第2个特征图对应的第2个特征值F2;……(以此类推);将第N个特征图进行全局平均池化,得到第N个特征图对应的第N个特征值FN
(2)将该训练图像的特征图的一维特征值按照该训练图像的特征图权重进行加权求和,得到该训练图像的类别归属概率。
其中,类别归属概率用于表征训练图像归属于某一类别的可能性大小;而且,类别归属概率越大,则表示该训练图像属于该类别归属概率对应的类别的可能性越大。
作为示例,假设类别预测层中的训练图像的特征图权重可以包括第1个特征图权重组[K11,K12,……,K1N]至第M个特征图权重组[KM1,KM2,……,KMN]。基于该假设以及(1)中示例的相关内容可知,如图12所示,该步骤具体可以为:将第1个特征值F1至第N个特征值FN按照第1个特征图权重组[K11,K12,……,K1N]进行加权求和,得到第1个类别归属概率Pdiv1(也就是,Pdiv1=F1×K11+F2×K12+……+FN×K1N);将第1个特征值F1至第N个特征值FN按照第2个特征图权重组[K21,K22,……,K2N]进行加权求和,得到第2个类别归属概率Pdiv2(也就是,Pdiv2=F1×K21+F2×K22+……+FN×K2N);……(以此类推);将第1个特征值F1至第N个特征值FN按照第M个特征图权重组[KM1,KM2,……,KMN]进行加权求和,得到第3个类别归属概率PdivM(也就是,PdivM=F1×KM1+F2×KM2+……+FN×KMN)。
(3)根据该训练图像的类别归属概率,确定该训练图像的预测类别。
本申请实施例中,可以根据该训练图像的类别归属概率,确定该训练图像的预测类别,其具体为:将对应类别归属概率满足第三筛选条件的各个类别确定为该训练图像的预测类别。
第三筛选条件可以根据应用场景设定。例如,第三筛选条件可以为超过第三阈值或取最大值。其中,第三阈值用于表征训练图像能够归属的类别所具有的类别归属概率最小值。另外,第三阈值可以预先根据应用场景设定,例如,第三阈值可以为0.5。为了便于理解和解释,下面结合两个示例进行说明。
假设第1个特征图权重组[K11,K12,……,K1N]对应于第1类别、第2个特征图权重组[K21,K22,……,K2N]对应于第2类别、……(以此类推)、第M个特征图权重组[KM1,KM2,……,KMN]对应于第M类别。基于该假设可知,第1个类别归属概率Pdiv1对应于第1类别、第2个类别归属概率Pdiv2对应于第2类别、……、第M个类别归属概率PdivM对应于第M类别。
作为第一示例,基于上述假设以及(2)中示例的相关内容可知,当第三筛选条件为超过第三阈值,且第三阈值为0.5时,如图12所示,该步骤具体可以为:分别判断第1类别对应的第1个类别归属概率Pdiv1至第M类别对应的第M个类别归属概率PdivM是否大于0.5,以便将对应类别归属概率大于0.5的各个类别,确定为训练图像的预测类别。
作为第二示例,基于上述假设以及(2)中示例的相关内容可知,当第三筛选条件为取最大值时,如图12所示,该步骤具体可以为:先从第1个类别归属概率Pdiv1至第M个类别归属概率PdivM中确定类别归属概率最大值,并将该类别归属概率最大值对应的类别确定为训练图像的预测类别。
需要说明的是,在应用过程中,若第三筛选条件为超过第三阈值,则该类别预测过程适用于确定该训练图像中多个对象的预测类别,以便使得包括该类别预测过程的待训练预测模型能够同时预测出该训练图像的多个标签。若第三筛选条件为取最大值,则该类别预测过程适用于确定该训练图像中一个对象的预测类别,以便使得包括该类别预测过程的待训练预测模型能够预测出该训练图像的一个标签。
S113:判断是否达到停止条件,若是,则执行S115;若否,则执行S114。
停止条件是指停止训练该待训练预测模型所需达到的条件;而且,停止条件可以根据应用场景预先设定。例如,停止条件可以包括训练图像的预测类别与该训练图像的实际类别之间的差距低于预设差距阈值、训练图像的预测类别的变化率低于预设变化率阈值、以及待训练预测模型的训练次数达到预设次数阈值中的至少一个条件。
S114:根据训练图像的实际类别以及该训练图像的预测类别,更新待训练预测模型,并返回继续执行S112。
本申请实施例中,因类别预测层的层参数包括所述训练图像的特征图权重,使得在更新待训练预测模型过程中,不仅可以更新特征图提取层还可以更新该特征图权重,如此使得更新后的待训练预测模型中特征图提取层能够提取出性能更优的特征图,也使得在更新后的待训练预测模型的类别预测层中的该训练图像的特征图权重更准确,还使得在更新后的待训练预测模型中特征图提取层提取的特征图与该训练图像的特征图权重之间的匹配程度更高。
S115:根据待训练预测模型中的特征图提取层生成特征图提取模型,并将类别预测层中的训练图像的特征图权重,确定为待分类图像的特征图权重。
本申请实施例中,在获取到训练好的待训练预测模型之后,可以根据待训练预测模型中的特征图提取层生成特征图提取模型,使得该特征图提取模型能够达到待训练预测模型中的特征图提取层能够达到的特征图提取效果;而且,还可以将类别预测层中的训练图像的特征图权重确定为待分类图像的特征图权重。如此使得确定出的特征图提取模型和待分类图像的特征图权重不仅各自具有较优性能,而且这两者之间的匹配程度较高。
基于上述S111至S115的相关内容可知,本申请实施例中,可以先利用训练图像和该训练图像的实际类别对待训练预测模型进行训练,再根据训练好的待训练预测模型中特征图提取层生成特征图提取模型,以及类别预测层中的训练图像的特征图权重确定待分类图像的特征图权重。其中,因在待训练预测模型的训练过程中,该待训练预测模型中的特征图提取层和类别预测层中的训练图像的特征图权重能够同时进行训练更新,使得待训练预测模型中的特征图提取层与训练图像的特征图权重之间具有较高的匹配程度,如此使得基于训练好的待训练预测模型确定出的特征图提取模型和待分类图像的特征图权重不仅各自具有较优性能而且这两者之间的匹配程度也较高,从而使得基于该确定出的特征图提取模型和待分类图像的特征图权重构建的目标热力图能够准确地突显出待分类图像中目标对象所处区域信息,如此有利于提高图像分类的精确性。
基于上述S24的相关内容可知,在获取到待分类图像的分类尺度之后,可以依据该分类尺度表征的特征尺度信息(例如,全局特征信息或预设尺度的局部特征信息)对该待分类图像进行分类。其中,特征尺度信息可以通过分类过程中的多个分类参数配置(例如,分类输入图像参数配置和/或分类模型的模型结构配置)来实现,因而,在本申请实施例一种可能的实施方式中,还提供了基于待分类图像的分类尺度对待分类图像进行分类的三种实施方式,下面将依次进行介绍。
在一些图像分类(例如,使用卷积神经网络模型进行图像分类)情况下,特征尺度信息可以通过分类模型的模型结构配置来实现。例如,当使用卷积神经网络模型进行图像分类时,因浅层的特征图携带有较高的局部特征信息,且深层的特征图携带有较高的全局特征信息,使得特征尺度信息可以通过该卷积神经网络模型的卷积深度来体现,从而使得本申请实施例可以通过控制该卷积神经网络模型的卷积深度来实现不同分类尺度下的分类,其具体为:该卷积神经网络模型的卷积深度越深,则表示该卷积神经网络模型对全局信息的关注度越高,使得该卷积神经网络模型更适用于进行较大分类尺度下的分类;该卷积神经网络模型的卷积深度越浅,则表示该卷积神经网络模型对局部信息的关注度越高,使得该卷积神经网络模型更适用于进行较小分类尺度下的分类。
基于此,本申请实施例提供基于待分类图像的分类尺度对待分类图像进行分类的第一种实施方式,其可以为:根据待分类图像的分类尺度确定分类模型的模型结构,并利用具有该模型结构的分类模型对待分类图像进行分类。
在该实施方式中,在获取到待分类图像的分类尺度之后,先根据该待分类图像的分类尺度确定分类模型的模型结构,再利用具有该模型结构的分类模型对待分类图像进行分类。例如,当分类模型为卷积神经网络模型时,该分类过程具体可以为:先根据待分类图像的分类尺度确定卷积神经网络模型的卷积深度,并将待分类图像输入到具有该卷积深度的分类模型中进行图像分类,以便将该分类模型输出的分类结果作为该待分类图像的分类结果。
需要说明的是,待分类图像的分类尺度与卷积神经网络模型的卷积深度之间呈正相关,也就是,待分类图像的分类尺度越大,则卷积神经网络模型的卷积深度越深。
基于上述提供的基于待分类图像的分类尺度对待分类图像进行分类的第一种实施方式可知,可以根据待分类图像的分类尺度控制分类模型的模型结构,使得具有该模型结构的分类模型能够在分类过程中依据该分类尺度表征的特征尺度信息进行分类,如此使得该分类模型适用于对包括目标对象的待分类图像进行准确地分类,从而能够提高图像分类准确性。
在一些图像分类(例如,使用分类方法或分类模型进行图像分类)情况下,特征尺度信息可以通过分类输入图像参数(例如,分辨率)配置来实现,具体为:分类输入图像的图像分辨率越高,则该分类输入图像携带的局部特征信息越多,使得该分类输入图像的局部特征信息越突出以及全局特征信息越分散;而且,分类输入图像的图像分辨率越低,则该分类输入图像携带的局部特征信息越少,使得该类输入图像的全局特征信息越聚集以及局部特征信息越微小。如此可知,本申请实施例可以通过控制分类输入图像的图像分辨率来实现不同分类尺度下的分类。
基于此,本申请实施例提供了基于待分类图像的分类尺度对待分类图像进行分类的第二种实施方式,其可以为:先根据待分类图像的分类尺度确定该待分类图像的目标分辨率;再基于该待分类图像的目标分辨率对该待分类图像进行分类。
其中,目标分辨率是指在对待分类图像进行分类时该待分类图像应该具有的图像分辨率;而且,目标分辨率是依据待分类图像的分类尺度确定的。另外,待分类图像的目标分辨率与该待分类图像的分类尺度负相关,也就是,待分类图像的分类尺度越大,则该待分类图像的目标分辨率越低。
另外,本申请实施例还提供了一种基于该待分类图像的目标分辨率对该待分类图像进行分类的实施方式,其具体可以包括以下两步:
第一步:根据待分类图像和该待分类图像的目标分辨率,确定分类使用图像。
其中,分类使用图像是指具有目标分辨率的待分类图像;而且,本申请实施例不限定分类使用图像的获取方法,例如可以采用图像金字塔方法获取。
需要说明的是,在图像金字塔中,图像位置越高,则图像尺寸越小且分辨率越低,使得该图像携带的全局特征信息越密集,从而使得该图像越适于进行较大分类尺度的分类;但是,图像位置越低,则图像尺寸越大且分辨率越高,使得该图像携带的局部特征信息越全面,从而使得该图像越适于进行较小分类尺度的分类。
第二步:利用预设图像分类方法对该分类使用图像进行分类,得到包括所述目标对象的待分类图像的分类结果。其中,本申请实施例不限定预设图像分类方法。
基于上述提供的基于待分类图像的分类尺度对待分类图像进行分类的第二种实施方式可知,可以根据待分类图像的分类尺度调整待分类图像的分辨率,使得具有目标分辨率的待分类图像(也就是分类使用图像)能够携带有该分类尺度表征的特征尺度信息,从而使得将该分类使用图像作为分类对象的预设分类方法能够适用于对包括目标对象的待分类图像进行准确地分类,从而能够提高图像分类准确性。
在一些图像分类(例如,使用分类模型进行图像分类)情况下,该特征尺度可以同时通过分类输入图像参数配置和分类模型的模型结构配置来实现。基于此,本申请实施例还提供了基于待分类图像的分类尺度对待分类图像进行分类的第三种实施方式,其可以为:先根据待分类图像的分类尺度确定分类模型的模型结构和该待分类图像的目标分辨率;再基于该待分类图像的目标分辨率和具有该模型结构的分类模型,对该待分类图像进行分类。
其中,本申请实施例提供了基于该待分类图像的目标分辨率和具有该模型结构的分类模型,对该待分类图像进行分类的实施方式,其可以为:先根据待分类图像和该待分类图像的目标分辨率,确定分类使用图像;再将该分类使用图像输入具有该模型结构的分类模型中进行图像分类,以便将该分类模型输出的图像分类结果作为包括所述目标对象的待分类图像的分类结果。
基于上述内容可知,在基于待分类图像的分类尺度对待分类图像进行分类的第三种实施方式中,可以根据待分类图像的分类尺度确定分类模型的模型结构和该待分类图像的目标分辨率,使得在利用具有该模型结构的分类模型对具有该目标分辨率的待分类图像(也就是,分类使用图像)进行分类时,能够依据该分类尺度表征的特征尺度信息进行分类,使得以分类使用图像作为输入图像的分类模型适用于对包括目标对象的待分类图像进行准确地分类,从而能够提高图像分类准确性。需要说明的是,在该第三种实施方式中,只需保证目标分辨率与模型结构配合使用时能够达到分类尺度的效果即可。
基于上述方法实施例提供的图像分类方法,本申请实施例还提供了一种图像分类装置,下面结合附图对该图像分类装置进行说明。
参见图13,该图为本申请实施例提供的一种图像分类装置示意图。如图13所示,该图像分类装置包括:
热力图获取单元1301,用于获取待分类图像的目标热力图;其中,所述目标热力图用于表征所述待分类图像中目标对象的分布区域信息;
尺度确定单元1302,用于从所述目标热力图中提取满足预设提取条件的目标区域,并根据所述目标区域在所述目标热力图中的占比,确定所述待分类图像的分类尺度;
图像分类单元1303,用于基于所述待分类图像的分类尺度对所述待分类图像进行分类,得到包括所述目标对象的待分类图像的分类结果。
在本申请实施例一种可能的实现方式中,所述热力图获取单元1301,包括:
特征图提取子单元,用于将待分类图像输入预先构建的特征图提取模型,得到所述特征图提取模型输出的所述待分类图像的特征图;
热力图生成子单元,用于根据所述待分类图像的特征图权重和所述待分类图像的特征图,构建所述待分类图像的目标热力图。
在本申请实施例一种可能的实现方式中,所述热力图生成子单元,包括:
特征图权重筛选子单元,用于当存在至少两组所述待分类图像的特征图权重时,基于第一筛选条件,从所述至少两组所述待分类图像的特征图权重中筛选得到至少一个目标权重组;
目标热力图确定子单元,用于将所述待分类图像的特征图分别按照各个目标权重组进行加权叠加,得到待分类图像的各个目标热力图。
在本申请实施例一种可能的实现方式中,所述特征图权重筛选子单元,具体用于:当存在至少两组所述待分类图像的特征图权重时,将所述待分类图像的特征图进行全局平均池化,得到所述待分类图像的特征图的一维特征值;将所述待分类图像的特征图的一维特征值分别按照各组所述待分类图像的特征图权重进行加权求和,得到各组所述待分类图像的特征图权重对应的使用概率;将所述使用概率满足第一筛选条件的各组所述待分类图像的特征图权重,确定为各个目标权重组。
在本申请实施例一种可能的实现方式中,所述热力图生成子单元,包括:
初始热力图生成子单元,用于当存在至少两组所述待分类图像的特征图权重时,将所述待分类图像的特征图分别按照各组所述待分类图像的特征图权重进行加权叠加,得到所述待分类图像的各个初始热力图;
应用概率确定子单元,用于根据所述待分类图像的特征图和各个初始热力图对应的所述待分类图像的特征图权重,确定各个初始热力图的应用概率;
初始热力图筛选子单元,用于将所述应用概率满足第二筛选条件的各个初始热力图,确定为所述待分类图像的各个目标热力图。
在本申请实施例一种可能的实现方式中,所述应用概率确定子单元,具体用于:将所述待分类图像的特征图进行全局平均池化,得到所述待分类图像的特征图的一维特征值;将所述待分类图像的特征图的一维特征值分别按照各个初始热力图对应的所述待分类图像的特征图权重进行加权求和,得到各个初始热力图的应用概率。
在本申请实施例一种可能的实现方式中,所述特征图提取模型和所述待分类图像的特征图权重的获取过程为:
获取训练图像和所述训练图像的实际类别;
将所述训练图像输入待训练预测模型,得到所述待训练预测模型输出的所述训练图像的预测类别;其中,所述待训练预测模型包括特征图提取层和类别预测层,所述类别预测层的层参数包括所述训练图像的特征图权重;所述特征图提取层用于从所述训练图像中提取所述训练图像的特征图;所述类别预测层用于根据所述特征图提取层输出的所述训练图像的特征图和所述训练图像的特征图权重,确定所述训练图像的预测类别;
根据所述训练图像的实际类别以及所述训练图像的预测类别,更新待训练预测模型,并继续执行所述将所述训练图像输入待训练预测模型以及后续步骤,直至达到停止条件,根据所述待训练预测模型中的特征图提取层生成所述特征图提取模型,并将所述类别预测层中的所述训练图像的特征图权重,确定为所述待分类图像的特征图权重。
在本申请实施例一种可能的实现方式中,所述根据所述特征图提取层输出的所述训练图像的特征图和所述训练图像的特征图权重,确定所述训练图像的预测类别,包括:
将所述特征图提取层输出的所述训练图像的特征图进行全局平均池化,得到所述训练图像的特征图的一维特征值;
将所述训练图像的特征图的一维特征值按照所述训练图像的特征图权重进行加权求和,得到所述训练图像的类别归属概率;
根据所述训练图像的类别归属概率,确定所述训练图像的预测类别。
在本申请实施例一种可能的实现方式中,所述图像分类单元1303,具体用于:根据所述待分类图像的分类尺度确定分类模型的模型结构和/或所述待分类图像的目标分辨率;基于所述待分类图像的目标分辨率和/或具有所述模型结构的分类模型,对所述待分类图像进行分类。
另外,本申请实施例还提供了一种图像分类设备,包括:存储器,处理器,及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现如上述实施例所述的图像分类方法的任一实施方式。
另外,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在终端设备上运行时,使得所述终端设备执行如上述实施例所述的图像分类方法的任一实施方式。
需要说明的是,本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统或装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。
还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种图像分类方法,其特征在于,所述方法包括:
获取待分类图像的目标热力图;其中,所述目标热力图用于表征所述待分类图像中目标对象的分布区域信息;
从所述目标热力图中提取满足预设提取条件的目标区域,并根据所述目标区域在所述目标热力图中的占比,确定所述待分类图像的分类尺度;所述分类尺度与所述占比之间呈正相关;
基于所述待分类图像的分类尺度对所述待分类图像进行分类,得到包括所述目标对象的待分类图像的分类结果;
所述基于所述待分类图像的分类尺度对所述待分类图像进行分类,包括:
根据所述待分类图像的分类尺度确定分类模型的模型结构和/或所述待分类图像的目标分辨率;
基于所述待分类图像的目标分辨率和/或具有所述模型结构的分类模型,对所述待分类图像进行分类。
2.根据权利要求1所述的方法,其特征在于,所述获取待分类图像的目标热力图,包括:
将待分类图像输入预先构建的特征图提取模型,得到所述特征图提取模型输出的所述待分类图像的特征图;
根据所述待分类图像的特征图权重和所述待分类图像的特征图,构建所述待分类图像的目标热力图。
3.根据权利要求2所述的方法,其特征在于,当存在至少两组所述待分类图像的特征图权重时,所述根据所述待分类图像的特征图权重和所述待分类图像的特征图,构建所述待分类图像的目标热力图,包括:
基于第一筛选条件,从所述至少两组所述待分类图像的特征图权重中筛选得到至少一个目标权重组;
将所述待分类图像的特征图分别按照各个目标权重组进行加权叠加,得到待分类图像的各个目标热力图。
4.根据权利要求3所述的方法,其特征在于,所述基于第一筛选条件,从所述至少两组所述待分类图像的特征图权重中筛选得到至少一个目标权重组,包括:
将所述待分类图像的特征图进行全局平均池化,得到所述待分类图像的特征图的一维特征值;
将所述待分类图像的特征图的一维特征值分别按照各组所述待分类图像的特征图权重进行加权求和,得到各组所述待分类图像的特征图权重对应的使用概率;
将所述使用概率满足第一筛选条件的各组所述待分类图像的特征图权重,确定为各个目标权重组。
5.根据权利要求2所述的方法,其特征在于,当存在至少两组所述待分类图像的特征图权重时,所述根据所述待分类图像的特征图权重和所述待分类图像的特征图,构建所述待分类图像的目标热力图,包括:
将所述待分类图像的特征图分别按照各组所述待分类图像的特征图权重进行加权叠加,得到所述待分类图像的各个初始热力图;
根据所述待分类图像的特征图和各个初始热力图对应的所述待分类图像的特征图权重,确定各个初始热力图的应用概率;
将所述应用概率满足第二筛选条件的各个初始热力图,确定为所述待分类图像的各个目标热力图。
6.根据权利要求5所述的方法,其特征在于,所述根据所述待分类图像的特征图和各个初始热力图对应的所述待分类图像的特征图权重,确定各个初始热力图的应用概率,包括:
将所述待分类图像的特征图进行全局平均池化,得到所述待分类图像的特征图的一维特征值;
将所述待分类图像的特征图的一维特征值分别按照各个初始热力图对应的所述待分类图像的特征图权重进行加权求和,得到各个初始热力图的应用概率。
7.根据权利要求2-6任一项所述的方法,其特征在于,所述特征图提取模型和所述待分类图像的特征图权重的获取过程为:
获取训练图像和所述训练图像的实际类别;
将所述训练图像输入待训练预测模型,得到所述待训练预测模型输出的所述训练图像的预测类别;其中,所述待训练预测模型包括特征图提取层和类别预测层,所述类别预测层的层参数包括所述训练图像的特征图权重;所述特征图提取层用于从所述训练图像中提取所述训练图像的特征图;所述类别预测层用于根据所述特征图提取层输出的所述训练图像的特征图和所述训练图像的特征图权重,确定所述训练图像的预测类别;
根据所述训练图像的实际类别以及所述训练图像的预测类别,更新待训练预测模型,并继续执行所述将所述训练图像输入待训练预测模型以及后续步骤,直至达到停止条件,根据所述待训练预测模型中的特征图提取层生成所述特征图提取模型,并将所述类别预测层中的所述训练图像的特征图权重,确定为所述待分类图像的特征图权重。
8.根据权利要求7所述的方法,其特征在于,所述根据所述特征图提取层输出的所述训练图像的特征图和所述训练图像的特征图权重,确定所述训练图像的预测类别,包括:
将所述特征图提取层输出的所述训练图像的特征图进行全局平均池化,得到所述训练图像的特征图的一维特征值;
将所述训练图像的特征图的一维特征值按照所述训练图像的特征图权重进行加权求和,得到所述训练图像的类别归属概率;
根据所述训练图像的类别归属概率,确定所述训练图像的预测类别。
9.一种图像分类装置,其特征在于,所述装置包括:
热力图获取单元,用于获取待分类图像的目标热力图;其中,所述目标热力图用于表征所述待分类图像中目标对象的分布区域信息;
尺度确定单元,用于从所述目标热力图中提取满足预设提取条件的目标区域,并根据所述目标区域在所述目标热力图中的占比,确定所述待分类图像的分类尺度;所述分类尺度与所述占比之间呈正相关;
图像分类单元,用于基于所述待分类图像的分类尺度对所述待分类图像进行分类,得到包括所述目标对象的待分类图像的分类结果;
所述图像分类单元,具体用于:根据所述待分类图像的分类尺度确定分类模型的模型结构和/或所述待分类图像的目标分辨率;基于所述待分类图像的目标分辨率和/或具有所述模型结构的分类模型,对所述待分类图像进行分类,得到包括所述目标对象的待分类图像的分类结果。
10.一种图像分类设备,其特征在于,包括:存储器,处理器,及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现如权利要求1-8任一项所述的图像分类方法。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有指令,当所述指令在终端设备上运行时,使得所述终端设备执行如权利要求1-8任一项所述的图像分类方法。
CN201911259994.8A 2019-12-10 2019-12-10 一种图像分类方法、装置及设备 Active CN111091147B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911259994.8A CN111091147B (zh) 2019-12-10 2019-12-10 一种图像分类方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911259994.8A CN111091147B (zh) 2019-12-10 2019-12-10 一种图像分类方法、装置及设备

Publications (2)

Publication Number Publication Date
CN111091147A CN111091147A (zh) 2020-05-01
CN111091147B true CN111091147B (zh) 2024-01-19

Family

ID=70395421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911259994.8A Active CN111091147B (zh) 2019-12-10 2019-12-10 一种图像分类方法、装置及设备

Country Status (1)

Country Link
CN (1) CN111091147B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914841B (zh) * 2020-08-07 2023-10-13 温州医科大学 一种ct图像处理方法和装置
CN114495096A (zh) * 2020-10-23 2022-05-13 上海交通大学医学院附属新华医院 一种细胞分类模型的获取方法和装置
CN114972834B (zh) * 2021-05-12 2023-09-05 中移互联网有限公司 多层次多分类器的图像分类方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107315824A (zh) * 2017-07-04 2017-11-03 百度在线网络技术(北京)有限公司 用于生成热力图的方法和装置
CN109829456A (zh) * 2017-11-23 2019-05-31 腾讯科技(深圳)有限公司 图像识别方法、装置及终端
CN110504029A (zh) * 2019-08-29 2019-11-26 腾讯医疗健康(深圳)有限公司 一种医学图像处理方法、医学图像识别方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5164209B2 (ja) * 2008-06-20 2013-03-21 日本電信電話株式会社 分類モデル生成装置、分類装置、分類モデル生成方法、分類方法、分類モデル生成プログラム、分類プログラムおよび記録媒体
CN109830269B (zh) * 2013-10-10 2023-09-19 思高博塔公司 选择材料组合物和设计具有目标特性的材料的方法
CN110349148A (zh) * 2019-07-11 2019-10-18 电子科技大学 一种基于弱监督学习的图像目标检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107315824A (zh) * 2017-07-04 2017-11-03 百度在线网络技术(北京)有限公司 用于生成热力图的方法和装置
CN109829456A (zh) * 2017-11-23 2019-05-31 腾讯科技(深圳)有限公司 图像识别方法、装置及终端
CN110504029A (zh) * 2019-08-29 2019-11-26 腾讯医疗健康(深圳)有限公司 一种医学图像处理方法、医学图像识别方法及装置

Also Published As

Publication number Publication date
CN111091147A (zh) 2020-05-01

Similar Documents

Publication Publication Date Title
CN107766894B (zh) 基于注意力机制和深度学习的遥感图像自然语言生成方法
CN111091147B (zh) 一种图像分类方法、装置及设备
CN109215034B (zh) 一种基于空间金字塔掩盖池化的弱监督图像语义分割方法
Moallem et al. Optimal threshold computing in automatic image thresholding using adaptive particle swarm optimization
CN104751147A (zh) 一种图像识别方法
CN106780485A (zh) 基于超像素分割和特征学习的sar图像变化检测方法
JP6397379B2 (ja) 変化領域検出装置、方法、及びプログラム
CN104866868A (zh) 基于深度神经网络的金属币识别方法和装置
CN108629373B (zh) 一种图像分类方法、系统、设备及计算机可读存储介质
CN106056523B (zh) 数字图像拼接篡改盲检测方法
CN110879982A (zh) 一种人群计数系统及方法
JP2018072938A (ja) 目的物個数推定装置、目的物個数推定方法及びプログラム
CN104766095A (zh) 一种移动终端图像识别方法
CN103886334A (zh) 一种多指标融合的高光谱遥感影像降维方法
CN111160114A (zh) 手势识别方法、装置、设备及计算机可读存储介质
CN112819110A (zh) 基于权重生成的增量式小样本目标检测方法及系统
CN114255403A (zh) 基于深度学习的光学遥感图像数据处理方法及系统
CN102163285A (zh) 一种基于主动学习的跨域视频语义概念检测方法
CN111178178B (zh) 结合区域分布的多尺度行人重识别方法、系统、介质及终端
CN115995042A (zh) 一种视频sar运动目标检测方法及装置
CN111275126A (zh) 样本数据集生成方法、装置、设备及存储介质
CN110321867B (zh) 基于部件约束网络的遮挡目标检测方法
CN114821204A (zh) 一种基于元学习嵌入半监督学习图像分类方法与系统
CN111950411B (zh) 模型确定方法及相关装置
CN110852255B (zh) 一种基于u型特征金字塔的交通目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant