CN111401428A - 一种图像分类方法、装置、电子设备和存储介质 - Google Patents

一种图像分类方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN111401428A
CN111401428A CN202010169967.8A CN202010169967A CN111401428A CN 111401428 A CN111401428 A CN 111401428A CN 202010169967 A CN202010169967 A CN 202010169967A CN 111401428 A CN111401428 A CN 111401428A
Authority
CN
China
Prior art keywords
classification
image
classification model
classified
feature information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010169967.8A
Other languages
English (en)
Inventor
戴秋菊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010169967.8A priority Critical patent/CN111401428A/zh
Publication of CN111401428A publication Critical patent/CN111401428A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种图像分类方法，该方法包括：获得待分类的图像；将待分类的图像输入不同的分类模型中，分别得到每一分类模型输出的每一特征信息；其中，不同的分类模型包括第一种分类模型和第二种分类模型，第一种分类模型能基于深度可分离卷积运算对待分类的图像进行特征提取，且第二种分类模型与第一种分类模型基于不同的处理方式对待分类的图像进行特征提取；基于多个特征信息，对待分类的图像进行细粒度分类以得到分类结果。本申请的实施例同时还公开了一种图像分类装置、电子设备和存储介质。

Description

一种图像分类方法、装置、电子设备和存储介质
技术领域
本申请涉及但不限于图像分类技术领域，尤其涉及一种图像分类方法、装置、电子设备和存储介质。
背景技术
细粒度图像分类又被称作子类别图像分类，其目的是对粗粒度的大类别进行更加细致的子类划分。
目前，在进行细粒度图像分类的过程中，首先基于图像数据库进行初步训练得到一个训练好的分类模型，然后继续在细粒度的数据集上进行微调，使得训练好的分类模型能更适用于区分子类别。然而，这种通过单一模型进行细粒度图像分类得到的结果存在准确性差的问题。
申请内容
本申请实施例期望提供一种图像分类方法、装置、电子设备和存储介质，解决了相关技术中通过单一模型进行细粒度图像分类得到的结果存在准确性差的问题，提升了细粒度图像分类的准确性。
本申请的技术方案是这样实现的：
一种图像分类方法，所述方法包括：
获得待分类的图像；
将所述待分类的图像输入不同的分类模型中，分别得到每一分类模型输出的每一特征信息；其中，所述不同的分类模型包括第一种分类模型和第二种分类模型，所述第一种分类模型能基于深度可分离卷积运算对所述待分类的图像进行特征提取，且所述第二种分类模型与所述第一种分类模型基于不同的处理方式对所述待分类的图像进行特征提取；
基于多个特征信息，对所述待分类的图像进行细粒度分类以得到分类结果。
可选的，所述基于多个特征信息，对所述待分类的图像进行细粒度分类以得到分类结果，包括：
对多个特征信息进行拼接处理，得到第一目标特征信息；
对所述第一目标特征信息进行降维，得到降维后的第二目标特征信息；
基于所述第二目标特征信息，对所述待分类的图像进行细粒度分类以得到所述分类结果。
可选的，所述对所述第一目标特征信息进行降维，得到降维后的第二目标特征信息，包括：
基于主成分分析方式对所述第一目标特征信息进行降维，得到所述第二目标特征信息。
可选的，所述第二目标特征信息包括的各特征信息之间存在差异性。
可选的，所述第二种分类模型包括目标分类模型，所述多个特征信息包括所述目标分类模型基于多个尺度的卷积核对所述待分类的图像进行特征提取所得到的特征信息。
可选的，所述第二种分类模型还包括至少一个残差网络模型，所述多个特征信息包括所述至少一个残差网络模型对所述待分类的图像进行特征提取所得到的特征信息。
可选的，所述残差网络模型的数量为多个，且不同残差网络模型的网络层数之间具有关联关系。
一种图像分类装置，所述图像分类装置包括：
获得模块，用于获得待分类的图像；
处理模块，用于将所述待分类的图像输入不同的分类模型中，分别得到每一分类模型输出的每一特征信息；其中，所述不同的分类模型包括第一种分类模型和第二种分类模型，所述第一种分类模型能基于深度可分离卷积运算对所述待分类的图像进行特征提取，且所述第二种分类模型与所述第一种分类模型基于不同的处理方式对所述待分类的图像进行特征提取；
分类模块，用于基于多个特征信息，对所述待分类的图像进行细粒度分类以得到分类结果。
一种电子设备，所述电子设备包括：处理器、存储器和通信总线；
所述通信总线用于实现处理器和存储器之间的通信连接；
所述处理器用于执行存储器中存储的图像分类程序，以实现上述的图像分类方法的步骤。
一种存储介质，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述的图像分类方法的步骤。
本申请实施例所提供的图像分类方法、装置、电子设备和存储介质，获得待分类的图像；将待分类的图像输入不同的分类模型中，分别得到每一分类模型输出的每一特征信息；其中，不同的分类模型包括第一种分类模型和第二种分类模型，第一种分类模型能基于深度可分离卷积运算对待分类的图像进行特征提取，且第二种分类模型与第一种分类模型基于不同的处理方式对待分类的图像进行特征提取；基于多个特征信息，对待分类的图像进行细粒度分类以得到分类结果；解决了相关技术中通过单一模型进行细粒度图像分类得到的结果存在准确性差的问题，提升了细粒度图像分类的准确性。
附图说明
图1为本申请的实施例提供的一种图像分类方法的流程示意图；
图2为本申请的实施例提供的另一种图像分类方法的流程示意图；
图3为本申请的实施例提供的又一种图像分类方法的流程示意图；
图4为本申请的实施例提供的一种图像分类装置的结构示意图；
图5为本申请的实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
细粒度图像分类是分类的一个分支，由于其类别都属于同一个大的类别，比如不同品种的狗都属于狗这一个大类，所以其类别直接的差异性比较小，但是存在背景和外形的多样性等导致类别之间仍然有很多的差异性。
目前的图像细粒度分类方法大致可以分为以下几个分支：基于现有分类网络的微调、基于细粒度特征学习的方法、基于目标块的检测与分类结合的方法以及基于视觉注意力机制的方法。进一步的，基于现有分类网络微调的方法通常使用现有的分类网络，并在限有的分类网络上面进行初步训练得到一个训练好的分类模型，然后继续在细粒度的数据集上进行微调，使得模型能够更适用于区分子类别。基于目标检测与分类结合的细粒度分类方法借鉴了目标检测的思想，先通过目标检测模块将图像的目标区域框出来，然后基于目标区域进行细粒度分类，分类算法可以是传统的分类器或者通用的分类网络。基于注意力机制的细粒度分类算法相比于通用的分类算法添加了注意力机制使得模型更加关注目标位置的信息表达。
相关技术涉及的细粒度分类方法中，目标区域的定位精度决定了细粒度分类的最终效果；而且不加入关注与检测模块的通用分类算对于细粒度类别效果不够精确。需要说明的是，相关技术中细粒度分类方法均是通过单一模型进行细粒度图像分类，这种通过单一模型进行细粒度图像分类得到的结果存在准确性差的问题。
本申请的实施例提供一种图像分类方法，应用于电子设备，参照图1所示，该方法包括以下步骤：
步骤101、获得待分类的图像。
本申请实施例中，电子设备可以包括诸如手机、平板电脑、笔记本电脑、个人数字助理(Personal Digital Assistant，PDA)、相机、可穿戴设备等移动终端设备，以及诸如台式计算机等固定终端设备。
本申请实施例中，待分类的图像可以是电子设备实时采集得到的；也可以是获得的采集好的图像；这里，待分类的图像的数量可以是一张也可以是多张。
步骤102、将待分类的图像输入不同的分类模型中，分别得到每一分类模型输出的每一特征信息。
其中，不同的分类模型包括第一种分类模型和第二种分类模型，第一种分类模型能基于深度可分离卷积运算对待分类的图像进行特征提取，且第二种分类模型与第一种分类模型基于不同的处理方式对待分类的图像进行特征提取。
本申请实施例中，电子设备通过不同的分类模型对待分类的图像进行处理，需要说明的是，多个分类模型至少包括第一种分类模型，第一种分类模型能基于深度可分离卷积运算对待分类的图像进行特征提取；例如，第一种分类模型包括Xception，Xception为每个通道单独映射空间相关性，然后再执行1*1的深度方面的卷积来获取跨通道的相关性。这里，多个分类模型还包括第二种分类模型，第二种分类模型与第一种分类模型基于不同的处理方式对待分类的图像进行特征提取。如此，电子设备可以通过多个分类模型，提取待分类的图像的特征信息，即结合多个优秀分类模型的优点，提取出特征信息，为细粒度分类奠定基础。
步骤103、基于多个特征信息，对待分类的图像进行细粒度分类以得到分类结果。
这里，电子设备获得不同分类模型提取的多个特征信息后，基于多个特征信息，对待分类的图像进行细粒度分类以得到分类结果。
本申请实施例所提供的图像分类方法，获得待分类的图像；将待分类的图像输入不同的分类模型中，分别得到每一分类模型输出的每一特征信息；其中，不同的分类模型包括第一种分类模型和第二种分类模型，第一种分类模型能基于深度可分离卷积运算对待分类的图像进行特征提取，且第二种分类模型与第一种分类模型基于不同的处理方式对待分类的图像进行特征提取；基于多个特征信息，对待分类的图像进行细粒度分类以得到分类结果；解决了相关技术中通过单一模型进行细粒度图像分类得到的结果存在准确性差的问题，提升了细粒度图像分类的准确性。
本申请的实施例提供一种图像分类方法，应用于电子设备，参照图2所示，该方法包括以下步骤：
步骤201、获得待分类的图像。
步骤202、将待分类的图像输入不同的分类模型中，分别得到每一分类模型输出的每一特征信息。
其中，不同的分类模型包括第一种分类模型和第二种分类模型，第一种分类模型能基于深度可分离卷积运算对待分类的图像进行特征提取，且第二种分类模型与第一种分类模型基于不同的处理方式对待分类的图像进行特征提取。
本申请一些实施例中，第二种分类模型包括目标分类模型，多个特征信息包括目标分类模型基于多个尺度的卷积核对待分类的图像进行特征提取所得到的特征信息。
这里，目标分类模型包括Inception，Inception基于多个尺度的卷积核对待分类的图像进行特征提取；便于理解的，Inception能并行计算同一输入映射上多个不同变换，并将它们的结果都连接到单一的一个输出；也就是说，对于Inception的每一层，Inception都会执行多个不同的卷积变换如5*5卷积变换、3*3卷积变换和最大池化。
本申请一些实施例中，第二种分类模型还包括至少一个残差网络模型，多个特征信息包括至少一个残差网络模型对待分类的图像进行特征提取所得到的特征信息。
这里，第二种分类模型包括的残差网络的个数为至少一个。
本申请一些实施例中，残差网络模型的数量为多个，且不同残差网络模型的网络层数之间具有关联关系。
这里，当第二种分类模型包括的残差网络的个数为多个时，不同残差网络模型的网络层数之间具有关联关系，便于理解的，按照网络层数递增或递减的趋势，具有不同网络层数的相邻两个残差网络的网络层数的差值符合预设差值范围。例如，第二种分类模型包括第一残差网络和第二残差网络，第一残差网络为Resnet50第二残差网络为Resnet101，如此，确保Resnet50提取的是待分类的图像的底层特征，确保Resnet101提取的是待分类的图像的抽象特征。
步骤203、对多个特征信息进行拼接处理，得到第一目标特征信息。
这里，以分类模型包括Resnet50、Resnet101、Inception以及Xception为例，为将四个模型提取的特征拼接为一个特征，其中每个模型提取的特征向量的尺寸为[N,Ci]；其中，i取值范围为[1,2,3,4]对应于分类模型的数量，Ci对应分类模型的提取的特征的通道数量，N为待分类的图像的数量。拼接后得到的一个特征向量的尺寸为[N,C_concat],其中C_concat＝C_1+C_2+C_3+C_4。
步骤204、对第一目标特征信息进行降维，得到降维后的第二目标特征信息。
本申请实施例种，步骤204对第一目标特征信息进行降维，得到降维后的第二目标特征信息，可以通过如下步骤实现：基于主成分分析(Principal Component Analysis)方式对第一目标特征信息进行降维，得到第二目标特征信息。
在本申请的一些实施例中，第二目标特征信息包括的各特征信息之间存在差异性。这里，电子设备对第一目标特征信息进行降维，也就是减少第一目标特征信息中的冗余信息，得到第二目标特征信息。
步骤205、基于第二目标特征信息，对待分类的图像进行细粒度分类以得到分类结果。
这里，电子设备通过将待分类的图像输出到四个分类模型中，去除分类模型最后的全连接层，将提取的四个特征向量拼接到一起形成一个总的特征向量。进一步的，考虑到最终的特征维度较大，且存在较多的冗余信息，如四个模型的特征维度每一Ci个都是4096，因此，拼接后的特征向量冗余分量占比过高，通过PCA降维将最终的维度降低到512维，然后电子设备通过分类器对降维后的特征进行分类；如此，不仅降低运算量，还可以提升分类精度。由此可知，本申请实施例提供的图像分类方法，可以结合多个优秀的模型的优点，将最有差异性的特征保留下来进行分类可以提升分类的精度。当计算资源不受限制的情况下，例如在云端调用分类算法时，也可以基于申请实施例提供的图像分类方法提升分类算法的分类效果。
需要说明的是，本实施例中与其它实施例中相同步骤和相同内容的说明，可以参照其它实施例中的描述，此处不再赘述。
本申请的实施例提供一种图像分类方法，应用于电子设备，以分类模型包括：Resnet50、Resnet101、Inception以及Xception为例，Resnet50、Resnet101、Inception以及Xception均不包括全连接层；参照图3所示，该方法包括以下步骤：
Step1、电子设备获得待分类的图像，并将待分类的图像输入至不同的分类模型中。
这里，电子设备将待分类的图像分别输入至Resnet50、Resnet101、Inception以及Xception中进行特征提取。
Step2、电子设备获得各分类模型输出的特征信息。
这里，电子设备获得Resnet50输出的特征信息如第一特征向量、Resnet101输出的特征信息如第二特征向量、Inception输出的特征信息如第三特征向量以及Xception输出的特征信息如第四特征向量。
Step3、电子设备将多个特征信息进行拼接，形成一个总的特征信息。
这里，电子设备将多个特征信息进行拼接Concat，形成一个总的特征信息，如电子设备将不同分类模型提取的四个特征向量拼接到一起形成一个总的特征向量。
Step4、电子设备基于主成分分析方式对总的特征信息进行降维，得到降维后的特征信息。
这里，电子设备基于PCA方式对总的特征信息如总的特征向量进行降维，得到降维后的特征信息，降维后的特征信息的各特征信息之间存在差异性。
Step5、电子设备将降维后的特征信息输入分类器，得到对该目标特征信息进行分类的分类结果，并输出分类结果。
这里，电子设备将降维后的特征信息输入分类器，得到对该目标特征信息进行分类的分类结果，这个分类结果即对待分类的图像进行细粒度分类的分类结果。
需要说明的是，本实施例中与其它实施例中相同步骤和相同内容的说明，可以参照其它实施例中的描述，此处不再赘述。
本申请的实施例提供一种图像分类装置，该图像分类装置可以应用于图1～2对应的实施例提供的一种图像分类方法中，参照图4所示，该图像分类装置4包括：
获得模块41，用于获得待分类的图像；
处理模块42，用于将待分类的图像输入不同的分类模型中，分别得到每一分类模型输出的每一特征信息；其中，不同的分类模型包括第一种分类模型和第二种分类模型，第一种分类模型能基于深度可分离卷积运算对待分类的图像进行特征提取，且第二种分类模型与第一种分类模型基于不同的处理方式对待分类的图像进行特征提取；
分类模块43，用于基于多个特征信息，对待分类的图像进行细粒度分类以得到分类结果。
在本申请的其他实施例中，分类模块43，还用于对多个特征信息进行拼接处理，得到第一目标特征信息；对第一目标特征信息进行降维，得到降维后的第二目标特征信息；基于第二目标特征信息，对待分类的图像进行细粒度分类以得到分类结果。
在本申请的其他实施例中，分类模块43，还用于基于主成分分析方式对第一目标特征信息进行降维，得到第二目标特征信息。
在本申请的其他实施例中，第二目标特征信息包括的各特征信息之间存在差异性。
在本申请的其他实施例中，第二种分类模型包括目标分类模型，多个特征信息包括目标分类模型基于多个尺度的卷积核对待分类的图像进行特征提取所得到的特征信息。
在本申请的其他实施例中，第二种分类模型还包括至少一个残差网络模型，多个特征信息包括至少一个残差网络模型对待分类的图像进行特征提取所得到的特征信息。
在本申请的其他实施例中，残差网络模型的数量为多个，且不同残差网络模型的网络层数之间具有关联关系。
本申请实施例所提供的图像分类装置，获得待分类的图像；将待分类的图像输入不同的分类模型中，分别得到每一分类模型输出的每一特征信息；其中，不同的分类模型包括第一种分类模型和第二种分类模型，第一种分类模型能基于深度可分离卷积运算对待分类的图像进行特征提取，且第二种分类模型与第一种分类模型基于不同的处理方式对待分类的图像进行特征提取；基于多个特征信息，对待分类的图像进行细粒度分类以得到分类结果；解决了相关技术中通过单一模型进行细粒度图像分类得到的结果存在准确性差的问题，提升了细粒度图像分类的准确性。
需要说明的是，本实施例中各模块所执行的步骤的具体实现过程，可以参照图1～2对应的实施例提供的图像分类方法中的实现过程，此处不再赘述。
本申请的实施例提供一种电子设备，该电子设备可以应用于图1～2对应的实施例提供的一种图像分类方法中，参照图5所示，该电子设备5(图5中的电子设备5与图4中的图像分类装置4相对应)包括：处理器51、存储器52和通信总线53，其中：
通信总线53用于实现处理器51和存储器52之间的通信连接。
处理器51用于执行存储器52中存储的图像分类程序，以实现以下步骤：
获得待分类的图像；
将待分类的图像输入不同的分类模型中，分别得到每一分类模型输出的每一特征信息；其中，不同的分类模型包括第一种分类模型和第二种分类模型，第一种分类模型能基于深度可分离卷积运算对待分类的图像进行特征提取，且第二种分类模型与第一种分类模型基于不同的处理方式对待分类的图像进行特征提取；
基于多个特征信息，对待分类的图像进行细粒度分类以得到分类结果。
在本申请的其他实施例中，处理器51用于执行存储器52中存储的图像分类程序，以实现以下步骤：
对多个特征信息进行拼接处理，得到第一目标特征信息；
对第一目标特征信息进行降维，得到降维后的第二目标特征信息；
基于第二目标特征信息，对待分类的图像进行细粒度分类以得到分类结果。
在本申请的其他实施例中，处理器51用于执行存储器52中存储的图像分类程序，以实现以下步骤：
基于主成分分析方式对第一目标特征信息进行降维，得到第二目标特征信息。
在本申请的其他实施例中，第二目标特征信息包括的各特征信息之间存在差异性。
在本申请的其他实施例中，第二种分类模型包括目标分类模型，多个特征信息包括目标分类模型基于多个尺度的卷积核对待分类的图像进行特征提取所得到的特征信息。
在本申请的其他实施例中，第二种分类模型还包括至少一个残差网络模型，多个特征信息包括至少一个残差网络模型对待分类的图像进行特征提取所得到的特征信息。
在本申请的其他实施例中，残差网络模型的数量为多个，且不同残差网络模型的网络层数之间具有关联关系。
本申请实施例所提供的电子设备，获得待分类的图像；将待分类的图像输入不同的分类模型中，分别得到每一分类模型输出的每一特征信息；其中，不同的分类模型包括第一种分类模型和第二种分类模型，第一种分类模型能基于深度可分离卷积运算对待分类的图像进行特征提取，且第二种分类模型与第一种分类模型基于不同的处理方式对待分类的图像进行特征提取；基于多个特征信息，对待分类的图像进行细粒度分类以得到分类结果；解决了相关技术中通过单一模型进行细粒度图像分类得到的结果存在准确性差的问题，提升了细粒度图像分类的准确性。
需要说明的是，本实施例中处理器所执行的步骤的具体实现过程，可以参照图1～2对应的实施例提供的图像分类方法中的实现过程，此处不再赘述。
本申请的实施例提供一种计算机可读存储介质，该计算机可读存储介质存储有一个或者多个程序，该一个或者多个程序可被一个或者多个处理器执行，以实现如下步骤：
获得待分类的图像；
将待分类的图像输入不同的分类模型中，分别得到每一分类模型输出的每一特征信息；其中，不同的分类模型包括第一种分类模型和第二种分类模型，第一种分类模型能基于深度可分离卷积运算对待分类的图像进行特征提取，且第二种分类模型与第一种分类模型基于不同的处理方式对待分类的图像进行特征提取；
基于多个特征信息，对待分类的图像进行细粒度分类以得到分类结果。
在本申请的其他实施例中，该一个或者多个程序可被一个或者多个处理器执行，还可以实现以下步骤：
对多个特征信息进行拼接处理，得到第一目标特征信息；
对第一目标特征信息进行降维，得到降维后的第二目标特征信息；
基于第二目标特征信息，对待分类的图像进行细粒度分类以得到分类结果。
在本申请的其他实施例中，该一个或者多个程序可被一个或者多个处理器执行，还可以实现以下步骤：
基于主成分分析方式对第一目标特征信息进行降维，得到第二目标特征信息。
在本申请的其他实施例中，第二目标特征信息包括的各特征信息之间存在差异性。
在本申请的其他实施例中，第二种分类模型包括目标分类模型，多个特征信息包括目标分类模型基于多个尺度的卷积核对待分类的图像进行特征提取所得到的特征信息。
在本申请的其他实施例中，第二种分类模型还包括至少一个残差网络模型，多个特征信息包括至少一个残差网络模型对待分类的图像进行特征提取所得到的特征信息。
在本申请的其他实施例中，残差网络模型的数量为多个，且不同残差网络模型的网络层数之间具有关联关系。
本申请实施例所提供的存储介质，获得待分类的图像；将待分类的图像输入不同的分类模型中，分别得到每一分类模型输出的每一特征信息；其中，不同的分类模型包括第一种分类模型和第二种分类模型，第一种分类模型能基于深度可分离卷积运算对待分类的图像进行特征提取，且第二种分类模型与第一种分类模型基于不同的处理方式对待分类的图像进行特征提取；基于多个特征信息，对待分类的图像进行细粒度分类以得到分类结果；解决了相关技术中通过单一模型进行细粒度图像分类得到的结果存在准确性差的问题，提升了细粒度图像分类的准确性。
需要说明的是，本实施例中处理器所执行的步骤的具体实现过程，可以参照图1～2对应的实施例提供的图像分类方法中的实现过程，此处不再赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。

Claims (10)

1.一种图像分类方法，其特征在于，所述方法包括：
获得待分类的图像；
将所述待分类的图像输入不同的分类模型中，分别得到每一分类模型输出的每一特征信息；其中，所述不同的分类模型包括第一种分类模型和第二种分类模型，所述第一种分类模型能基于深度可分离卷积运算对所述待分类的图像进行特征提取，且所述第二种分类模型与所述第一种分类模型基于不同的处理方式对所述待分类的图像进行特征提取；
基于多个特征信息，对所述待分类的图像进行细粒度分类以得到分类结果。
2.根据权利要求1所述的方法，其特征在于，所述基于多个特征信息，对所述待分类的图像进行细粒度分类以得到分类结果，包括：
对多个特征信息进行拼接处理，得到第一目标特征信息；
对所述第一目标特征信息进行降维，得到降维后的第二目标特征信息；
基于所述第二目标特征信息，对所述待分类的图像进行细粒度分类以得到所述分类结果。
3.根据权利要求2所述的方法，其特征在于，所述对所述第一目标特征信息进行降维，得到降维后的第二目标特征信息，包括：
基于主成分分析方式对所述第一目标特征信息进行降维，得到所述第二目标特征信息。
4.根据权利要求2或3所述的方法，其特征在于，所述第二目标特征信息包括的各特征信息之间存在差异性。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述第二种分类模型包括目标分类模型，所述多个特征信息包括所述目标分类模型基于多个尺度的卷积核对所述待分类的图像进行特征提取所得到的特征信息。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述第二种分类模型还包括至少一个残差网络模型，所述多个特征信息包括所述至少一个残差网络模型对所述待分类的图像进行特征提取所得到的特征信息。
7.根据权利要求6所述的方法，其特征在于，所述残差网络模型的数量为多个，且不同残差网络模型的网络层数之间具有关联关系。
8.一种图像分类装置，其特征在于，所述图像分类装置包括：
获得模块，用于获得待分类的图像；
处理模块，用于将所述待分类的图像输入不同的分类模型中，分别得到每一分类模型输出的每一特征信息；其中，所述不同的分类模型包括第一种分类模型和第二种分类模型，所述第一种分类模型能基于深度可分离卷积运算对所述待分类的图像进行特征提取，且所述第二种分类模型与所述第一种分类模型基于不同的处理方式对所述待分类的图像进行特征提取；
分类模块，用于基于多个特征信息，对所述待分类的图像进行细粒度分类以得到分类结果。
9.一种电子设备，其特征在于，所述电子设备包括：处理器、存储器和通信总线；
所述通信总线用于实现处理器和存储器之间的通信连接；
所述处理器用于执行存储器中存储的图像分类程序，以实现如权利要求1至7中任一项所述的图像分类方法的步骤。
10.一种存储介质，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至7中任一项所述的图像分类方法的步骤。
CN202010169967.8A 2020-03-12 2020-03-12 一种图像分类方法、装置、电子设备和存储介质 Pending CN111401428A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010169967.8A CN111401428A (zh) 2020-03-12 2020-03-12 一种图像分类方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010169967.8A CN111401428A (zh) 2020-03-12 2020-03-12 一种图像分类方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN111401428A true CN111401428A (zh) 2020-07-10

Family

ID=71430709

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010169967.8A Pending CN111401428A (zh) 2020-03-12 2020-03-12 一种图像分类方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN111401428A (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017113232A1 (zh) * 2015-12-30 2017-07-06 中国科学院深圳先进技术研究院 一种基于深度学习的产品分类方法及装置
WO2018045626A1 (zh) * 2016-09-07 2018-03-15 深圳大学 基于超像素级信息融合的高光谱图像的分类方法及系统
CN109948643A (zh) * 2019-01-21 2019-06-28 东南大学 一种基于深层网络融合模型的车辆类型分类方法
WO2019154262A1 (zh) * 2018-02-07 2019-08-15 腾讯科技（深圳）有限公司 一种图像分类方法及服务器、用户终端、存储介质
CN110263779A (zh) * 2018-03-19 2019-09-20 腾讯科技（深圳）有限公司 文本区域检测方法及装置、文本检测方法、计算机可读介质
CN110555461A (zh) * 2019-07-31 2019-12-10 中国地质大学（武汉） 基于多结构卷积神经网络特征融合的场景分类方法及系统
WO2019233393A1 (zh) * 2018-06-08 2019-12-12 Oppo广东移动通信有限公司 图像处理方法和装置、存储介质、电子设备
CN110600105A (zh) * 2019-08-27 2019-12-20 武汉科技大学 一种ct影像数据处理方法、装置及存储介质
CN110717470A (zh) * 2019-10-16 2020-01-21 上海极链网络科技有限公司 一种场景识别方法、装置、计算机设备和存储介质
CN110737801A (zh) * 2019-10-14 2020-01-31 腾讯科技（深圳）有限公司 内容分类方法、装置、计算机设备和存储介质
CN110851635A (zh) * 2019-09-30 2020-02-28 拉扎斯网络科技（上海）有限公司 图片推送方法、装置、服务器和非易失性存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017113232A1 (zh) * 2015-12-30 2017-07-06 中国科学院深圳先进技术研究院 一种基于深度学习的产品分类方法及装置
WO2018045626A1 (zh) * 2016-09-07 2018-03-15 深圳大学 基于超像素级信息融合的高光谱图像的分类方法及系统
WO2019154262A1 (zh) * 2018-02-07 2019-08-15 腾讯科技（深圳）有限公司 一种图像分类方法及服务器、用户终端、存储介质
CN110263779A (zh) * 2018-03-19 2019-09-20 腾讯科技（深圳）有限公司 文本区域检测方法及装置、文本检测方法、计算机可读介质
WO2019233393A1 (zh) * 2018-06-08 2019-12-12 Oppo广东移动通信有限公司 图像处理方法和装置、存储介质、电子设备
CN109948643A (zh) * 2019-01-21 2019-06-28 东南大学 一种基于深层网络融合模型的车辆类型分类方法
CN110555461A (zh) * 2019-07-31 2019-12-10 中国地质大学（武汉） 基于多结构卷积神经网络特征融合的场景分类方法及系统
CN110600105A (zh) * 2019-08-27 2019-12-20 武汉科技大学 一种ct影像数据处理方法、装置及存储介质
CN110851635A (zh) * 2019-09-30 2020-02-28 拉扎斯网络科技（上海）有限公司 图片推送方法、装置、服务器和非易失性存储介质
CN110737801A (zh) * 2019-10-14 2020-01-31 腾讯科技（深圳）有限公司 内容分类方法、装置、计算机设备和存储介质
CN110717470A (zh) * 2019-10-16 2020-01-21 上海极链网络科技有限公司 一种场景识别方法、装置、计算机设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
NADIA BRANCATI ET AL.: "Multi-classification of Breast Cancer History Images by Using a Fine-Tuning Strategy", 《INTERNATIONAL CONFERENCE IMAGE ANALYSIS AND RECOGNITION》, pages 771 - 778 *
苏赋 等: "基于深度学习的图像分类研究综述", 《电信科学》, pages 58 - 74 *

Similar Documents

Publication Publication Date Title
CN112184508B (zh) 一种用于图像处理的学生模型的训练方法及装置
CN111950723B (zh) 神经网络模型训练方法、图像处理方法、装置及终端设备
CN112966697B (zh) 基于场景语义的目标检测方法、装置、设备及存储介质
CN111275107A (zh) 一种基于迁移学习的多标签场景图像分类方法及装置
CN106547744A (zh) 一种图像检索方法及系统
CN111862035B (zh) 光斑检测模型的训练方法、光斑检测方法、设备及介质
US20190294863A9 (en) Method and apparatus for face classification
CN113869282B (zh) 人脸识别方法、超分模型训练方法及相关设备
CN115171165A (zh) 全局特征与阶梯型局部特征融合的行人重识别方法及装置
JP2022554068A (ja) ビデオコンテンツ認識方法、装置、プログラム及びコンピュータデバイス
CN107832794A (zh) 一种卷积神经网络生成方法、车系识别方法及计算设备
US20230067934A1 (en) Action Recognition Method, Apparatus and Device, Storage Medium and Computer Program Product
CN114581710A (zh) 图像识别方法、装置、设备、可读存储介质及程序产品
Markatopoulou et al. Local features and a two-layer stacking architecture for semantic concept detection in video
CN116912924B (zh) 一种目标图像识别方法和装置
CN113723352A (zh) 一种文本检测方法、系统、存储介质及电子设备
Wei et al. A study on Shine-Muscat grape detection at maturity based on deep learning
CN112287923A (zh) 卡证信息识别方法、装置、设备及存储介质
CN111401428A (zh) 一种图像分类方法、装置、电子设备和存储介质
CN114155388A (zh) 一种图像识别方法、装置、计算机设备和存储介质
CN113191401A (zh) 基于视觉显著性共享的用于三维模型识别的方法及装置
CN115147434A (zh) 图像处理方法、装置、终端设备及计算机可读存储介质
CN113139617A (zh) 一种输电线路自主定位方法、装置及终端设备
Lou et al. Mse-net: Pedestrian attribute recognition using mlsc and se-blocks
Shen et al. Vehicle detection method based on adaptive multi-scale feature fusion network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination