CN111091140A - 目标分类方法、装置及可读存储介质 - Google Patents

目标分类方法、装置及可读存储介质 Download PDF

Info

Publication number
CN111091140A
CN111091140A CN201911143671.2A CN201911143671A CN111091140A CN 111091140 A CN111091140 A CN 111091140A CN 201911143671 A CN201911143671 A CN 201911143671A CN 111091140 A CN111091140 A CN 111091140A
Authority
CN
China
Prior art keywords
target
feature
classification result
determining
feature descriptor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911143671.2A
Other languages
English (en)
Other versions
CN111091140B (zh
Inventor
宋仁杰
胡本翼
魏秀参
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xuzhou Kuangshi Data Technology Co ltd
Nanjing Kuangyun Technology Co ltd
Beijing Kuangshi Technology Co Ltd
Original Assignee
Xuzhou Kuangshi Data Technology Co ltd
Nanjing Kuangyun Technology Co ltd
Beijing Kuangshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xuzhou Kuangshi Data Technology Co ltd, Nanjing Kuangyun Technology Co ltd, Beijing Kuangshi Technology Co Ltd filed Critical Xuzhou Kuangshi Data Technology Co ltd
Priority to CN201911143671.2A priority Critical patent/CN111091140B/zh
Publication of CN111091140A publication Critical patent/CN111091140A/zh
Application granted granted Critical
Publication of CN111091140B publication Critical patent/CN111091140B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种目标分类方法、装置及可读存储介质。本发明标分类方法，包括：对包含目标的目标图像进行特征提取，以获得目标图像的特征图，确定特征图上的特征描述符的类型，确定特征描述符中类型为前景的目标特征描述符，对目标特征描述符进行分类，确定目标特征描述符对应的局部分类结果，根据各目标特征描述符对应的局部分类结果，确定目标图像中的目标的分类结果，从而可以实现依据特征图上的每个特征描述符，对目标图像上的目标进行分类，在一定程度上提高了分类精度。

Description

目标分类方法、装置及可读存储介质
技术领域
本发明涉及通信领域，特别是涉及一种目标分类方法、装置及可读存储介质。
背景技术
细粒度图像分类(Fine-Grained Categorization)，又被称作子类别图像分类(Sub-Category Recognition)，是近年来计算机视觉、模式识别等领域一个非常热门的研究课题。其目的是对粗粒度的大类别进行更加细致的子类划分。细粒度图像分类无论在工业界还是学术界都有着广泛的研究需求与应用场景。与之相关的研究课题主要包括识别不同类别的鸟、狗、花、车、飞机等。在实际生活中，识别不同的子类别又存在着巨大的应用需求。例如,在生态保护中,有效识别不同类别的生物，是进行生态研究的重要前提。
目前，细粒度图像分类方法为通过卷积网络输出细粒度图像的特征图，采用全局平均池化层(GAP，Global Average Pooling)对特征图进行处理，得到池化特征图，再对池化特征图进行分类，进而获得细粒度图像中的目标所属的类别。但是目前的细粒度图像分类方法的精度还有待进一步提高。
发明内容
本发明实施例提供一种目标分类方法、装置及可读存储介质，以提高目前的细粒度图像分类方法的精度。
本发明实施例的第一方面，提供了一种目标分类方法，包括：
对包含目标的目标图像进行特征提取，以获得所述目标图像的特征图；
确定所述特征图上的特征描述符的类型，所述特征描述符的类型包括前景和背景；
确定所述特征描述符中类型为前景的目标特征描述符，对所述目标特征描述符进行分类，确定所述目标特征描述符对应的局部分类结果；
根据各所述目标特征描述符对应的局部分类结果，确定所述目标图像中的所述目标的分类结果。
本发明实施例的第二方面，提供了一种目标分类装置，包括：
特征提取模块，用于对包含目标的目标图像进行特征提取，以获得所述目标图像的特征图；
类型确定模块，用于确定所述特征图上的特征描述符的类型，所述特征描述符的类型包括前景和背景；
第一分类模块，用于确定所述特征描述符中类型为前景的目标特征描述符，对所述目标特征描述符进行分类，确定所述目标特征描述符对应的局部分类结果；
确定模块，用于根据各所述目标特征描述符对应的局部分类结果，确定所述目标图像中的所述目标的分类结果。
本发明实施例的第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现上述所述的目标分类方法的步骤。
本发明的第四方面，提供了一种目标分类装置，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述所述的目标分类方法的步骤。
针对在先技术，本发明具备如下优点：
本发明实施例通过对包含目标的目标图像进行特征提取，以获得目标图像的特征图，确定特征图上的特征描述符的类型，确定特征描述符中类型为前景的目标特征描述符，对目标特征描述符进行分类，确定目标特征描述符对应的局部分类结果，根据各目标特征描述符对应的局部分类结果，确定目标图像中的目标的分类结果，从而可以实现依据特征图上的每个特征描述符，对目标图像上的目标进行分类，在一定程度上提高了分类精度。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本发明实施例提供的一种目标分类方法的步骤流程图；
图2为本发明实施例提供的一种训练卷积神经网络的步骤流程图；
图3为本发明实施例提供的一种目标分类装置的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
应当理解，此处所描述的具体实施例仅用以解释本发明，仅仅是本发明一部分实施例，而不是全部的实施例，并不用于限定本发明。
图像分类是计算机视觉领域的一个热门研究课题。随着深度学习的进步，细粒度图像分类受到了相当多的关注。近年来已经提出了许多基于深度学习的细粒度分类方法。细粒度图像分类旨在将对象与一般类别中的不同子类别区分开来，例如，不同类别的鸟类，狗或不同类型的汽车。然而，细粒度分类是一项非常具有挑战性的任务，因为来自相近子类的对象可能具有微小的类间差异，而同一子类的对象，由于存在拍摄尺度或视角的不同，或是对象姿态的不同、复杂背景和遮挡的变化，导致同一子类的对象可能呈现较大的外观变化，即存在较大的类内差异。因此造成了细粒度分类的难度较大。
细粒度图像分类方法为通过卷积网络输出细粒度图像的特征图，采用全局平均池化层(GAP，Global Average Pooling)对特征图进行处理，得到池化特征图，再对池化特征图进行分类，进而获得细粒度图像中的目标所属的类别。但是这种方案忽视了局部图像特征。针对细粒度级别的分类任务，发明人发现人类专家(例如鸟类专家)在识别目标时不需要观察目标的全部信息，仅仅根据目标的一小块区域便可准确的判断出目标所属的类别。这说明在细粒度识别任务中，局部图像特征也应受到同等重要的关注。但是一般的细粒度分类方法未考虑局部图像特征，对目标进行分类的精度还有待进一步提高。因此，为了进一步提高细粒度图像分类精度，本发明实施例提出了基于特征描述符的细粒度分类方法。
参照图1，图1为本发明实施例提供的一种目标分类方法的步骤流程图，本实施例的目标分类方法适用于基于特征描述符识别目标图像中的目标所属的类别，以提高细粒度图像分类精度的情况。本实施例的方法包括如下步骤：
步骤101、对包含目标的目标图像进行特征提取，以获得目标图像的特征图。
可以采用各种图像处理算法对包含目标的目标图像进行特征提取，以获得目标图像的特征图，例如可以采用尺度不变特征转换(SIFT，Scale-invariant featuretransform)对包含目标的目标图像进行特征提取，也可以采用其他的已知或自主设计的神经网络对包含目标的目标图像进行特征提取，本申请实施例不对神经网络的类型和结构做限定。
步骤102、确定特征图上的特征描述符的类型，特征描述符的类型包括前景和背景。
在实际应用中，对于彩色图像(RGB三通道)的目标图像，即通道数为3，也就是说目标图像的维度是通道数×目标图像长×目标图像宽，目标图像的尺寸为目标图像长×目标图像宽，目标图像长表示目标图像的长度方向上的像素点数目，目标图像宽表示目标图像的宽度方向上的像素点数目。如果以目标图像的尺寸为a×a表示，目标图像的通道数以c1表示，则在步骤101中获得的特征图的维度为c2×b×b，其中，c2表示特征图的通道数，特征图的尺寸为b×b，一般的，c2会远大于c1。特征图上的特征描述符为c2×b×b个。可以采用神经网络的一个全连接层确定特征图上的每个特征描述符的类型，特征描述符的类型包括前景和背景。全连接层的参数矩阵为(c2，2)维的，通过全连接层得到一个2维的向量，如果特征描述符的类型为前景，则输出向量(1，0)；如果特征描述符的类型为背景，则输出向量(0，1)。
步骤103、确定特征描述符中类型为前景的目标特征描述符，对目标特征描述符进行分类，确定目标特征描述符对应的局部分类结果。
局部分类结果可以为目标属于类别集中的每个类别的概率大小，例如，目标为一类别的鸟，鸟的类别共有100种，则类别集对应一个100维的向量。一个局部分类结果对应一个结果向量，结果向量中的第一个值就是目标属于第一个类别的概率，向量中的第二个值就是目标属于第二个类别的概率，依次类推，这100个概率之和等于1。
步骤104、根据各目标特征描述符对应的局部分类结果，确定目标图像中的目标的分类结果。
本实施例提供的目标分类方法，通过对包含目标的目标图像进行特征提取，以获得目标图像的特征图，确定特征图上的特征描述符的类型，确定特征描述符中类型为前景的目标特征描述符，对目标特征描述符进行分类，确定目标特征描述符对应的局部分类结果，根据各目标特征描述符对应的局部分类结果，确定目标图像中的目标的分类结果。由于对目标特征描述符进行分类，确定目标特征描述符对应的局部分类结果，目标特征描述符可以描述目标图像的局部图像特征，因此本实施例中考虑了目标图像的局部图像特征，从而确定目标图像中的目标的分类结果，从而在一定程度上提高了分类精度。
可选的，还可以包括如下步骤：
对特征图进行处理，以获得池化特征图；
对池化特征图进行分类，以获得池化特征图对应的全局分类结果；
相应的，步骤104、根据各目标特征描述符对应的局部分类结果，确定目标图像中的目标的分类结果可以通过如下方式实现：
根据各目标特征描述符对应的局部分类结果、以及全局分类结果，确定目标的分类结果。
可选的，局部分类结果包括目标属于类别集中各个类别的第一概率分布，全局分类结果包括目标属于类别集中各个类别的第二概率分布。
为了简化说明，以步骤102中的特征图共包括4个特征描述符为例进行说明，如果有3个特征描述符的类型为前景，则共有3个目标特征描述符(目标特征描述符1、目标特征描述符2、目标特征描述符3)。如果目标所属的类别集包括3个类别(类别1、类别2、类别3)，获得的每个目标特征描述符对应的第一概率分布如下表1所示：
Figure BDA0002281600190000061
表1
目标特征描述符1对应的第一概率分布(0.6、0.3、0.1)中的0.6表示目标属于类别1的第一概率、0.3表示目标特征描述符2对应的目标属于类别2的第一概率、0.1表示目标属于类别3的第一概率；目标特征描述符2对应的第一概率分布(0.5、0.2、0.3)中的0.5表示目标属于类别1的第一概率，0.2表示目标属于类别2的第一概率，0.3表示目标属于类别3的第一概率；目标特征描述符3对应的第一概率分布(0.8、0.1、0.1)中的0.8表示目标属于类别1的第一概率，从左至右第一个0.1表示目标属于类别2的第一概率，第二个0.1表示目标属于类别3的第一概率。
其中，根据各目标特征描述符对应的局部分类结果，确定目标图像中的目标的分类结果的情况，例如根据上述表1中示出的目标特征描述符1、目标特征描述符2、以及目标特征描述符3分别对应的第一概率分布，对目标属于类别1的所有第一概率、目标属于类别2的所有第一概率、目标属于类别3的所有第一概率求平均值。对目标属于类别1的所有第一概率求平均：即
Figure BDA0002281600190000062
对目标属于类别2的所有第一概率求平均：即
Figure BDA0002281600190000063
Figure BDA0002281600190000064
对目标属于类别3的所有第一概率求平均：即
Figure BDA0002281600190000065
最终获得平均概率分布(0.63、0.2、0.17)，0.63为平均概率分布中最大值，且0.63是平均概率分布中的第一个值，第一个值对应的类别集(类别1、类别2、类别3)中的类别1，可以将类别1作为目标的分类结果。
其中，根据各目标特征描述符对应的局分类结果、以及全局分类结果，确定目标的分类结果可以通过如下步骤实现：
根据第一概率分布、第一概率分布对应的第一权重值、第二概率分布、以及第二概率分布对应的第二权重值，确定加权概率分布；
根据加权概率分布，确定目标的分类结果。
其中，根据加权概率分布，确定目标的分类结果可以通过如下方式实现：
将加权概率分布中的最大概率值对应的类别，确定为目标的分类结果。
需要说明的是，本步骤可以参考上述表1中举例介绍。本步骤中上述举例介绍的区别在于本实施例中考虑了第二概率分布、每个第一概率分布包括的每个第一概率的权重值、以及第二概率分布包括的每个第二概率的权重值计算加权概率分布。特别的，当每个第一概率分布包括的每个第一概率的权重值和每个第二概率的权重值都相同时，第一加权概率分布等于根据每个第一概率分布包括的每个第一概率、以及每个第二概率计算的平均概率分布。以表2为例对本步骤中的加权概率分布和平均概率分布进行介绍。
Figure BDA0002281600190000071
表2
Figure BDA0002281600190000072
即0.6、0.5、0.8、0.7所占的权重值相同都为0.25，即算出平均概率分布中的第一个概率平均值为0.65。同理，根据0.3、0.2、0.1、0.2算出平均概率分布中的第二个概率平均值为0.2，平均概率分布中的第三个概率平均值为0.15。当0.6、0.5、0.8、0.7所占的权重值不同时，例如0.6的权重值为0.5，0.5的权重值为0.2，0.8的权重值为0.2，0.7的权重值为0.1，则计算出的加权概率分布中的第一个值为0.6×0.5+0.5×0.2+0.8×0.2+0.7×0.1＝0.63，同理计算出加权概率分布中的第二个值为0.23，加权概率分布中的第三个值为0.14。即：加权概率分布＝(0.63、0.23、0.14)。
加权概率分布中的最大的加权概率为0.63，该最大加权概率在第一加权概率分布中的位置为加权概率分布中的第一个值，因此对应类别集(类别1、类别2、类别3)中的类别1。
本实施例中通过综合考虑局部分类结果(第一概率分布)、以及全局分类结果(第二概率分布)，可以进一步提高细粒度图像的分类精度。
可选的，确定特征图上的特征描述符的类型可以通过如下步骤实现：
确定每个特征描述符对应的局部图像区域中前景像素点的个数和所有像素点的个数，其中，特征描述符对应的局部图像区域为根据特征描述符映射到目标图像上的中心点坐标、以及局部图像区域的尺寸确定的；
根据前景像素点的个数和所有像素点的个数的比值，以及预设阈值，确定特征图上的特征描述符的类型。
需要说明的是，以每个特征描述符为di,j为例，i的取值范围为{1，2，…，b}，j的取值范围为{1,2，…，b}，当i＝1时，j＝1,2，…，b；当i＝2时，j＝1,2，…，b，依次类推。每个特征描述符为di,j对应目标图像上尺寸为
Figure BDA0002281600190000081
的局部图像区域pi,j，其中，
Figure BDA0002281600190000082
等于小数时向下取整。对于每个特征描述符di,j，特征描述符di,j映射回目标图像上的局部图像区域pi,j的中心点坐标为
Figure BDA0002281600190000083
根据特征描述符对应的局部图像区域的尺寸、以及特征描述符映射到目标图像上的中心点坐标可以确定特征描述符对应目标图像上的局部图像区域的具体位置，即确定了特征描述符对应的局部图像区域。
确定特征描述符对应的局部图像区域后，可以以语义分割图作为参考信息，获得特征描述符对应的局部图像区域中的像素点中的前景像素点的个数，从而可以确定前景像素点的个数与局部图像区域中的所有像素点的个数的比值，在比值大于或等于预设阈值时，确定该局部图像区域对应的特征描述符的类型为前景，在比值小于预设阈值时，确定该局部图像区域对应的特征描述符的类型为背景。
可选的，通过预设分类模型可以确定目标图像中的目标的分类结果。其中，对神经网络进行训练，可以得到预设分类模型，具体的，参照图2，图2为本发明实施例提供的一种神经网络训练的步骤流程图。可以通过如下步骤得到预设分类模型，包括：
步骤201、将包含样本目标的样本目标图像输入神经网络，以获得目标样本图像的样本特征图。
步骤202、通过神经网络获得确定样本特征图上的每个样本特征描述符的预测类型，样本特征描述符的类型包括前景和背景。
步骤203、根据预测类型和标注类型，计算第一损失。
例如可以通过损失函数1计算出样本特征描述符对应的第一损失，每个样本特征描述符对应一个第一损失。损失函数1可以为交叉熵损失函数。
步骤204、通过神经网络，确定样本特征描述符中类型为前景的样本目标特征描述符，对样本目标特征描述符进行分类，确定目标特征描述符对应的预测局部分类结果。
例如可以通过神经网络的最后一层获得预测局部分类结果，由于最后一层往往是全连接层+softmax(分类网络)，通过softmax函数获得每个目标特征描述符对应的预测局部分类结果，预测局部分类结果例如为第一预测概率分布，预测局部分类结果包括目标属于类别集中各个类别的第一预测概率分布，且目标属于类别集中各个类别的第一预测概率之和等于1。
步骤205、根据预测局部分类结果和标注局部分类结果，计算第二损失。
例如可以通过损失函数2计算第二损失，根据预测局部分类结果和标注局部分类结果，通过损失函数2计算第二损失。
步骤206、根据第一损失和第二损失，更新神经网络中的参数，得到预设分类模型。
可选的，还可以包括如下步骤：
通过神经网络对样本特征图进行处理，以获得样本池化特征图；
通过神经网络对样本池化特征图进行分类，以获得样本池化特征图对应的预测全局分类结果；
根据预测全局分类结果和标注全局分类结果，计算第三损失。
相应的，步骤206、根据第一损失和第二损失，更新神经网络中的参数，得到预设分类模型，可通过如下方式实现：
根据第一损失、第二损失和第三损失，更新神经网络中的参数，得到预设分类模型。
其中，根据第一损失、第二损失和第三损失，更新神经网络中的参数。例如为计算第一损失、第二损失和第三损失之和获得综合损失，根据综合损失更新神经网络中的参数。本实施例中通过考虑每个第一损失、每个第二损失、以及第三损失计算综合损失，以使训练好的卷积神经网络更符合实际分类需求。
参照图3，图3为本发明实施例提供的一种目标分类装置的结构示意图，目标分类装置300包括：
特征提取模块310，用于对包含目标的目标图像进行特征提取，以获得所述目标图像的特征图；
类型确定模块320，用于确定所述特征图上的特征描述符的类型，所述特征描述符的类型包括前景和背景；
第一分类模块330，用于确定所述特征描述符中类型为前景的目标特征描述符，对所述目标特征描述符进行分类，确定所述目标特征描述符对应的局部分类结果；
确定模块340，用于根据各所述目标特征描述符对应的局部分类结果，确定所述目标图像中的所述目标的分类结果。
本实施提供的目标分类装置，通过对包含目标的目标图像进行特征提取，以获得目标图像的特征图，确定特征图上的特征描述符的类型，确定特征描述符中类型为前景的目标特征描述符，对目标特征描述符进行分类，确定目标特征描述符对应的局部分类结果，根据各目标特征描述符对应的局部分类结果，确定目标图像中的目标的分类结果，从而可以实现依据特征图上的每个特征描述符，对目标图像上的目标进行分类，在一定程度上提高了分类精度。
可选的，还包括：
第一处理模块，用于对所述特征图进行处理，以获得池化特征图；
第二分类模块，用于对所述池化特征图进行分类，以获得所述池化特征图对应的全局分类结果；
所述确定模块340，具体用于根据各所述目标特征描述符对应的局部分类结果、以及所述全局分类结果，确定所述目标的分类结果。
可选的，所述局部分类结果包括所述目标属于类别集中各个类别的第一概率分布，所述全局分类结果包括所述目标属于所述类别集中各个类别的第二概率分布。
可选的，所述确定模块340包括：
加权概率分布确定单元，用于根据所述第一概率分布、所述第一概率分布对应的第一权重值、所述第二概率分布、以及所述第二概率分布对应的第二权重值，确定加权概率分布；
分类结果确定单元，用于根据所述加权概率分布，确定所述目标的分类结果。
可选的，分类结果确定单元，具体用于将所述加权概率分布中的最大概率值对应的类别，确定为所述目标的分类结果。
可选的，所述类型确定模块320包括：
个数确定单元，用于确定每个所述特征描述符对应的局部图像区域中前景像素点的个数和所有像素点的个数，其中，所述特征描述符对应的局部图像区域为根据所述特征描述符映射到所述目标图像上的中心点坐标、以及所述局部图像区域的尺寸确定的；
类型确定单元，用于根据所述前景像素点的个数和所述所有像素点的个数的比值，以及预设阈值，确定所述特征图上的特征描述符的类型。
可选的，所述个数确定单元，具体用于根据语义分割图和每个所述特征描述符对应的局部图像区域，确定每个所述特征描述符对应的局部图像区域中前景像素点的个数。
可选的，通过预设分类模型确定所述目标图像中的所述目标的分类结果，其中，还可以包括：训练模块，用于对神经网络进行训练，得到所述预设分类模型，其中，训练模块，包括：
样本特征图获得单元，用于将包含样本目标的样本目标图像输入所述神经网络，以获得所述目标样本图像的样本特征图；
预测类型确定单元，用于通过所述神经网络获得确定所述样本特征图上的每个样本特征描述符的预测类型，所述样本特征描述符的类型包括前景和背景；
第一损失计算单元，用于根据所述预测类型和标注类型，计算第一损失；
预测局部分类结果确定单元，用于通过所述神经网络，确定所述样本特征描述符中类型为前景的样本目标特征描述符，对所述样本目标特征描述符进行分类，确定所述目标特征描述符对应的预测局部分类结果；
第二损失计算单元，用于根据所述预测局部分类结果和标注局部分类结果，计算第二损失；
更新单元，用于根据所述第一损失和所述第二损失，更新所述神经网络中的参数，得到所述预设分类模型。
可选的，还包括：
第二处理模块，用于通过所述神经网络对所述样本特征图进行处理，以获得样本池化特征图；
第三分类模块，用于通过所述神经网络对所述样本池化特征图进行分类，以获得所述样本池化特征图对应的预测全局分类结果；
计算模块，用于根据所述预测全局分类结果和标注全局分类结果，计算第三损失；
所述更新单元，具体用于根据所述第一损失、所述第二损失和所述第三损失，更新所述神经网络中的参数，得到所述预设分类模型。
另外，本发明实施例还提供一种目标分类装置，该目标分类装置包括处理器，存储器以及存储在存储器上并可在处理器上运行的计算机程序，该计算机程序被处理器执行时实现上述实施例的目标分类方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述的目标分类方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，的计算机可读存储介质，可以为只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
本发明实施例还提供了一种计算机程序，该计算机程序可以存储在云端或本地的存储介质上。在该计算机程序被计算机或处理器运行时用于执行本发明实施例的目标分类方法的相应步骤，并且用于实现根据本发明实施例的目标分类装置中的相应模块。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域技术人员易于想到的是：上述各个实施例的任意组合应用都是可行的，故上述各个实施例之间的任意组合都是本发明的实施方案，但是由于篇幅限制，本说明书在此就不一一详述了。
在此提供的目标分类方法不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造具有本发明方案的系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的目标分类方法中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (12)

1.一种目标分类方法，其特征在于，包括：
对包含目标的目标图像进行特征提取，以获得所述目标图像的特征图；
确定所述特征图上的特征描述符的类型，所述特征描述符的类型包括前景和背景；
确定所述特征描述符中类型为前景的目标特征描述符，对所述目标特征描述符进行分类，确定所述目标特征描述符对应的局部分类结果；
根据各所述目标特征描述符对应的局部分类结果，确定所述目标图像中的所述目标的分类结果。
2.根据权利要求1所述的方法，其特征在于，还包括：
对所述特征图进行处理，以获得池化特征图；
对所述池化特征图进行分类，以获得所述池化特征图对应的全局分类结果；
所述根据各目标特征描述符对应的局部分类结果，确定所述目标图像中的所述目标的分类结果，包括：
根据各所述目标特征描述符对应的局部分类结果、以及所述全局分类结果，确定所述目标的分类结果。
3.根据权利要求2所述的方法，其特征在于，所述局部分类结果包括所述目标属于类别集中各个类别的第一概率分布，所述全局分类结果包括所述目标属于所述类别集中各个类别的第二概率分布。
4.根据权利要求3所述的方法，其特征在于，所述根据各所述目标特征描述符对应的局部分类结果、以及所述全局分类结果，确定所述目标的分类结果，包括：
根据所述第一概率分布、所述第一概率分布对应的第一权重值、所述第二概率分布、以及所述第二概率分布对应的第二权重值，确定加权概率分布；
根据所述加权概率分布，确定所述目标的分类结果。
5.根据权利要求4所述的方法，其特征在于，所述根据所述加权概率分布，确定所述目标的分类结果，包括：
将所述加权概率分布中的最大概率值对应的类别，确定为所述目标的分类结果。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述确定所述特征图上的特征描述符的类型，包括：
确定每个所述特征描述符对应的局部图像区域中前景像素点的个数和所有像素点的个数，其中，所述特征描述符对应的局部图像区域为根据所述特征描述符映射到所述目标图像上的中心点坐标、以及所述局部图像区域的尺寸确定的；
根据所述前景像素点的个数和所述所有像素点的个数的比值，以及预设阈值，确定所述特征图上的特征描述符的类型。
7.根据权利要求6所述的方法，其特征在于，所述确定每个所述特征描述符对应的局部图像区域中前景像素点的个数，包括：
根据语义分割图和每个所述特征描述符对应的局部图像区域，确定每个所述特征描述符对应的局部图像区域中前景像素点的个数。
8.根据权利要求1所述的方法，其特征在于，通过预设分类模型确定所述目标图像中的所述目标的分类结果，其中，对神经网络进行训练，得到所述预设分类模型，包括：
将包含样本目标的样本目标图像输入所述神经网络，以获得所述目标样本图像的样本特征图；
通过所述神经网络获得确定所述样本特征图上的每个样本特征描述符的预测类型，所述样本特征描述符的类型包括前景和背景；
根据所述预测类型和标注类型，计算第一损失；
通过所述神经网络，确定所述样本特征描述符中类型为前景的样本目标特征描述符，对所述样本目标特征描述符进行分类，确定所述目标特征描述符对应的预测局部分类结果；
根据所述预测局部分类结果和标注局部分类结果，计算第二损失；
根据所述第一损失和所述第二损失，更新所述神经网络中的参数，得到所述预设分类模型。
9.根据权利要求8所述的方法，其特征在于，还包括：
通过所述神经网络对所述样本特征图进行处理，以获得样本池化特征图；
通过所述神经网络对所述样本池化特征图进行分类，以获得所述样本池化特征图对应的预测全局分类结果；
根据所述预测全局分类结果和标注全局分类结果，计算第三损失；所述根据所述第一损失和所述第二损失，更新所述神经网络中的参数，得到所述预设分类模型，包括：
根据所述第一损失、所述第二损失和所述第三损失，更新所述神经网络中的参数，得到所述预设分类模型。
10.一种目标分类装置，其特征在于，包括：
特征提取模块，用于对包含目标的目标图像进行特征提取，以获得所述目标图像的特征图；
类型确定模块，用于确定所述特征图上的特征描述符的类型，所述特征描述符的类型包括前景和背景；
第一分类模块，用于确定所述特征描述符中类型为前景的目标特征描述符，对所述目标特征描述符进行分类，确定所述目标特征描述符对应的局部分类结果；
确定模块，用于根据各所述目标特征描述符对应的局部分类结果，确定所述目标图像中的所述目标的分类结果。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的目标分类方法。
12.一种目标分类装置，其特征在于，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至9中任一项所述的目标分类方法。
CN201911143671.2A 2019-11-20 2019-11-20 目标分类方法、装置及可读存储介质 Active CN111091140B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911143671.2A CN111091140B (zh) 2019-11-20 2019-11-20 目标分类方法、装置及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911143671.2A CN111091140B (zh) 2019-11-20 2019-11-20 目标分类方法、装置及可读存储介质

Publications (2)

Publication Number Publication Date
CN111091140A true CN111091140A (zh) 2020-05-01
CN111091140B CN111091140B (zh) 2024-04-02

Family

ID=70394040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911143671.2A Active CN111091140B (zh) 2019-11-20 2019-11-20 目标分类方法、装置及可读存储介质

Country Status (1)

Country Link
CN (1) CN111091140B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931840A (zh) * 2020-08-04 2020-11-13 中国建设银行股份有限公司 一种图片分类的方法、装置、设备及存储介质
CN114004963A (zh) * 2021-12-31 2022-02-01 深圳比特微电子科技有限公司 目标类别识别方法、装置及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107341488A (zh) * 2017-06-16 2017-11-10 电子科技大学 一种sar图像目标检测识别一体化方法
CN109410220A (zh) * 2018-10-16 2019-03-01 腾讯科技（深圳）有限公司 图像分割方法、装置、计算机设备及存储介质
CN110084156A (zh) * 2019-04-12 2019-08-02 中南大学 一种步态特征提取方法及基于步态特征的行人身份识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107341488A (zh) * 2017-06-16 2017-11-10 电子科技大学 一种sar图像目标检测识别一体化方法
CN109410220A (zh) * 2018-10-16 2019-03-01 腾讯科技（深圳）有限公司 图像分割方法、装置、计算机设备及存储介质
CN110084156A (zh) * 2019-04-12 2019-08-02 中南大学 一种步态特征提取方法及基于步态特征的行人身份识别方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931840A (zh) * 2020-08-04 2020-11-13 中国建设银行股份有限公司 一种图片分类的方法、装置、设备及存储介质
CN114004963A (zh) * 2021-12-31 2022-02-01 深圳比特微电子科技有限公司 目标类别识别方法、装置及可读存储介质
CN114004963B (zh) * 2021-12-31 2022-03-29 深圳比特微电子科技有限公司 目标类别识别方法、装置及可读存储介质

Also Published As

Publication number Publication date
CN111091140B (zh) 2024-04-02

Similar Documents

Publication Publication Date Title
CN111797893B (zh) 一种神经网络的训练方法、图像分类系统及相关设备
US11670071B2 (en) Fine-grained image recognition
CN109685115B (zh) 一种双线性特征融合的细粒度概念模型及学习方法
CN110633745B (zh) 一种基于人工智能的图像分类训练方法、装置及存储介质
CN111027493B (zh) 一种基于深度学习多网络软融合的行人检测方法
CN107103326B (zh) 基于超像素聚类的协同显著性检测方法
Wang et al. A PSO and BFO-based learning strategy applied to faster R-CNN for object detection in autonomous driving
CN110543892A (zh) 一种基于多层随机森林的零部件识别方法
Mathur et al. Crosspooled FishNet: transfer learning based fish species classification model
WO2017023539A1 (en) Media classification
CN110148117B (zh) 基于电力图像的电力设备缺陷识别方法、装置与存储介质
CN113761259A (zh) 一种图像处理方法、装置以及计算机设备
CN109165658B (zh) 一种基于Faster-RCNN的强负样本水下目标检测方法
CN113283404B (zh) 行人属性识别方法、装置、电子设备及存储介质
CN111325276A (zh) 图像分类方法及装置、电子设备、计算机可读存储介质
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN111091140B (zh) 目标分类方法、装置及可读存储介质
CN112132145A (zh) 一种基于模型扩展卷积神经网络的图像分类方法及系统
Tan et al. Rapid fine-grained classification of butterflies based on FCM-KM and mask R-CNN fusion
CN113743426A (zh) 一种训练方法、装置、设备以及计算机可读存储介质
Tong et al. A real-time detector of chicken healthy status based on modified YOLO
Zhuang et al. A novel outdoor scene-understanding framework for unmanned ground vehicles with 3D laser scanners
Zhou et al. Semantic image segmentation using low-level features and contextual cues
CN111414922B (zh) 特征提取方法、图像处理方法、模型训练方法及装置
CN115359296A (zh) 图像识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant