CN111046933B - 图像分类方法、装置、存储介质及电子设备 - Google Patents

图像分类方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN111046933B
CN111046933B CN201911222113.5A CN201911222113A CN111046933B CN 111046933 B CN111046933 B CN 111046933B CN 201911222113 A CN201911222113 A CN 201911222113A CN 111046933 B CN111046933 B CN 111046933B
Authority
CN
China
Prior art keywords
image
preset
target
sample
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911222113.5A
Other languages
English (en)
Other versions
CN111046933A (zh
Inventor
许志浩
纪勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongsoft Group Dalian Co ltd
Neusoft Corp
Original Assignee
Dongsoft Group Dalian Co ltd
Neusoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongsoft Group Dalian Co ltd, Neusoft Corp filed Critical Dongsoft Group Dalian Co ltd
Priority to CN201911222113.5A priority Critical patent/CN111046933B/zh
Publication of CN111046933A publication Critical patent/CN111046933A/zh
Application granted granted Critical
Publication of CN111046933B publication Critical patent/CN111046933B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开涉及一种图像分类方法、装置、存储介质及电子设备，以解决相关技术中存在的图像分类错误的问题，提高图像分类的准确性。该方法包括：获取待分类的目标图像；将目标图像输入到图像分类模型中进行处理，得到用于表征目标图像内容的分类结果；其中，所述图像分类模型用于通过如下方式对目标图像进行处理：针对多个预设图像中的每个预设图像，确定预设图像与目标图像之间的相似度；在多个预设图像中，将相似度处于预设相似度范围的图像确定为与目标图像最相似的样本图像；根据样本图像的预设分类标签，确定目标图像的分类结果。

Description

图像分类方法、装置、存储介质及电子设备
技术领域
本公开涉及图像处理技术领域，具体地，涉及一种图像分类方法、装置、存储介质及电子设备。
背景技术
图像分类是根据图像信息中所反映的不同图像特征，把不同类别的图像进行区分的图像处理方法。相关技术中，主要是利用大量的样本图像进行训练，得到图像分类模型，以实现对未知图像的分类。但是，如果用于训练模型的样本图像与测试图像的图像特征不一致，那么将会得到错误的分类结果。比如，用于训练模型的样本图像是各种建筑物图像，而测试图像是一张动物图像，这两种图像的图像特征不一致，从而会导致将该动物图像归类为某一类型的建筑物，得到错误的分类结果。
发明内容
本公开的目的是提供一种图像分类方法、装置、存储介质及电子设备，以解决相关技术中存在的图像分类错误的问题，提高图像分类的准确性。
为了实现上述目的，第一方面，本公开提供一种图像分类方法，所述方法包括：
获取待分类的目标图像；
将所述目标图像输入到图像分类模型中进行处理，得到用于表征所述目标图像内容的分类结果；
其中，所述图像分类模型包括用于表征不同内容的多个预设图像，所述多个预设图像中的每个预设图像对应有预设分类标签，所述图像分类模型用于通过如下方式对所述目标图像进行处理：
针对所述多个预设图像中的每个预设图像，确定所述预设图像与所述目标图像之间的相似度；
在所述多个预设图像中，将所述相似度处于预设相似度范围的图像确定为与所述目标图像最相似的样本图像；
根据所述样本图像的预设分类标签，确定所述目标图像的分类结果。
可选地，所述目标图像为目标设备对应的设备状态图像，在得到用于表征所述目标图像内容的分类结果之后，所述方法还包括：
根据所述分类结果，确定所述目标设备是否处于故障状态；
若所述目标设备处于故障状态，则向所述目标设备的维护人员发送故障提示信息。
可选地，所述根据所述样本图像的预设分类标签，确定所述目标图像的分类结果，包括：
针对所述样本图像的当前图像特征以及所述目标图像的当前图像特征，分别根据预设特征映射矩阵进行映射，得到所述样本图像在目标向量空间的目标图像特征、以及所述目标图像在所述目标向量空间的目标图像特征，所述目标向量空间为使所述样本图像的图像特征方差最小的向量空间；
根据所述样本图像在所述目标向量空间的目标图像特征以及所述样本图像的预设分类标签进行训练，得到图像分类器；
根据所述图像分类器以及所述目标图像在所述目标向量空间的目标图像特征，确定所述目标图像的分类结果。
可选地，所述针对所述样本图像的当前图像特征以及所述目标图像的当前图像特征，分别根据预设特征映射矩阵进行映射，得到所述样本图像在目标向量空间的图像特征、以及所述目标图像在所述目标向量空间的图像特征，包括：
针对所述样本图像的当前图像特征以及所述目标图像的当前图像特征，分别根据第一预设特征映射矩阵进行映射，得到所述样本图像在目标向量空间的初始图像特征、以及所述目标图像在所述目标向量空间的初始图像特征，所述第一预设特征映射矩阵是对所述样本图像的图像特征方差进行最小值计算而得到的；
针对所述样本图像的初始图像特征以及所述目标图像的初始图像特征，分别根据第二预设特征映射矩阵进行映射，得到所述样本图像在所述目标向量空间的目标图像特征、以及所述目标图像在所述目标向量空间的目标图像特征，所述第二预设特征映射矩阵是对所述样本图像中各初始图像特征与初始图像特征对应的各分类标签之间的相关性进行最大值计算而得到的。
可选地，所述样本图像为多个，且所述多个样本图像是多个预设图像集合中的图像，所述样本图像的图像特征方差是通过如下公式计算得到的：
其中，N表示所述预设图像集合的数量，表示第k个预设图像集合中分类标签为c的样本图像数量，m表示分类标签的数目，/>表示第k个预设图像集合中第i个样本图像通过特征映射矩阵映射到再生核希尔伯特空间而得到的图像特征，||·||2表示再生核希尔伯特空间中图像特征的2-范数。
可选地，所述样本图像为多个，所述样本图像中各初始图像特征与初始图像特征对应的各分类标签之间的相关性是通过如下公式计算得到的：
其中，X表示所述多个样本图像的图像特征矩阵，β表示所述多个样本图像在所述目标向量空间的图像特征，y表示所述样本图像的图像特征对应的标签向量。
可选地，所述针对所述多个预设图像中的每个预设图像，确定所述预设图像与所述目标图像之间的相似度，包括：
针对所述多个预设图像中的每个预设图像，确定所述预设图像的量化表与所述目标图像的量化表之间的差值；
将所述相似度处于预设相似度范围的图像确定为与所述目标图像最相似的样本图像，包括：
将所述差值小于或等于预设阈值的图像确定为与所述目标图像最相似的所述样本图像。
第二方面，本公开还提供一种图像分类装置，所述装置包括：
获取模块，用于获取待分类的目标图像；
处理模块，用于将所述目标图像输入到图像分类模型中进行处理，得到用于表征所述目标图像内容的分类结果；
其中，所述图像分类模型包括用于表征不同内容的多个预设图像，所述多个预设图像中的每个预设图像对应有预设分类标签，所述处理模块包括：
第一确定子模块，用于针对所述多个预设图像中的每个预设图像，确定所述预设图像与所述目标图像之间的相似度；
第二确定子模块，用于在所述多个预设图像中，将所述相似度处于预设相似度范围的图像确定为与所述目标图像最相似的样本图像；
分类子模块，用于根据所述样本图像的预设分类标签，确定所述目标图像的分类结果。
第三方面，本公开还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面中任一项所述方法的步骤。
第四方面，本公开还提供一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现第一方面中任一项所述方法的步骤。
通过上述技术方案，可以先针对多个预设图像中的每个预设图像，确定预设图像与目标图像之间的相似度，然后在多个预设图像中，将相似度处于预设相似度范围的图像确定为与目标图像最相似的样本图像。最后根据样本图像的预设分类标签，确定目标图像的分类结果。由于样本图像是与目标图像最相似的图像，因此可以避免由于样本图像与目标图像的图像特征差异大而导致的图像分类结果错误的问题，从而提高图像分类的准确性。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是用于训练图像分类模型的样本图像的图像特征分布示意图；
图2是待进行分类的测试图像的图像特征分布示意图；
图3是根据本公开一示例性实施例示出的一种图像分类方法的流程图；
图4是根据本公开一示例性实施例示出的一种图像分类方法中按照第一预设特征映射矩阵对图像特征进行映射的过程示意图；
图5是根据本公开一示例性实施例示出的一种图像分类方法中按照第二预设特征映射矩阵对图像特征进行映射的过程示意图；
图6是根据本公开另一示例性实施例示出的一种图像分类方法的流程图；
图7是根据本公开一示例性实施例示出的一种图像分类装置的框图；
图8是根据本公开一示例性实施例示出的一种电子设备的框图；
图9是根据本公开另一示例性实施例示出的一种电子设备的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
图像分类是根据图像信息中所反映的不同图像特征，把不同类别的图像进行区分的图像处理方法。相关技术中，主要是利用大量的样本图像进行训练，得到图像分类模型，以实现对未知图像的分类。但是，如果用于训练模型的样本图像与测试图像的图像特征不一致，那么将会得到错误的分类结果。比如，用于训练模型的样本图像是各种建筑物图像，而测试图像是一张动物图像，这两种图像的图像特征不一致，从而会导致将该动物图像归类为某一类型的建筑物，得到错误的分类结果。
又比如，用于训练模型的样本图像的图像特征分布如图1所示，而测试图像的图像特征分布如图2所示。参照图1和图2可知，样本图像的图像特征分布与测试图像的图像特征分布有很大差异。如果通过图1所示的样本图像训练得到的图像分类模型对图2所示的测试图像进行图像分类，则可能得到与该测试图像的实际分类结果偏差较大的错误分类结果。
有鉴于此，本公开实施例提供一种图像分类方法、装置、存储介质及电子设备，以解决相关技术中存在的图像分类错误的问题，提高图像分类的准确性。
图3是根据本公开一示例性实施例示出的一种图像分类方法的流程图。参照图3，该图像分类方法包括：
步骤301，获取待分类的目标图像。
示例地，如果将该图像分类方法应用于服务器，那么目标图像可以是服务器接收到的客户端发送的图像。或者将该图像分类方法应用于客户端，那么目标图像可以是该客户端在信息输入框中获取到的用户输入的图像，等等，本公开实施例对于目标图像的获取方式以及具体内容不作限定。
步骤302，将目标图像输入到图像分类模型中进行处理，得到用于表征目标图像内容的分类结果。
示例地，图像分类模型可以是通过具有预设分类标签的多个预设图像训练得到的，该图像分类模型可以对输入的目标图像进行处理，然后输出该目标图像的分类结果，即输出该目标图像的分类标签，从而通过该分类标签可以大致确定该目标图像的内容，比如输出的分类标签是树木，那么可以确定该目标图像是一张树木图像，等等。
具体地，图像分类模型可以包括用于表征不同内容的多个预设图像，多个预设图像中的每个预设图像对应有预设分类标签，图像分类模型用于通过如下方式对目标图像进行处理：
针对多个预设图像中的每个预设图像，确定预设图像与目标图像之间的相似度；在多个预设图像中，将相似度处于预设相似度范围的图像确定为与目标图像最相似的样本图像；根据样本图像的预设分类标签，确定目标图像的分类结果。
通过上述方式，由于样本图像是与目标图像最相似的图像，因此根据样本图像的预设分类标签，确定目标图像的分类结果，可以避免由于样本图像与目标图像的图像特征差异大而导致的图像分类结果错误的问题，从而提高图像分类的准确性。
为了使得本领域技术人员更加理解本公开实施例中的图像分类方法，下面对上述各步骤进行详细举例说明。
首先说明本公开可能的实施场景。本公开实施例中的图像分类方法可以应用于服务器，该服务器可以与多个客户端连接，用于接收该多个客户端发送的设备状态图像。在此场景下，步骤101中的获取待分类的目标图像可以是接收该多个客户端分别发送的设备状态图像。相应地，步骤102可以是将接收到的设备状态图像分别输入到图像分类模型中进行处理，得到各客户端的设备状态图像的分类结果，便于对客户端的设备状态进行分析。
在一种可能的方式中，若目标图像为目标设备对应的设备状态图像，在得到用于表征目标图像内容的分类结果之后，还可以根据分类结果，确定目标设备是否处于故障状态。若目标设备处于故障状态，则可以向目标设备的维护人员发送故障提示信息。通过这样的方式，在根据分类结果确定目标设备处于故障状态之后，可以及时通知相应的维护人员进行故障排除，保证目标设备的正常运行。
下面说明图像分类模型对目标图像进行处理的过程。
在本公开实施例中，图像分类模型可以包括用于表征不同内容的多个预设图像，并且每个预设图像可以对应有预设的分类标签。比如，图像分类模型中可以包括各种建筑物、动物、树木、人物等表征不同内容的多个预设图像，并且该多个预设图像可以根据内容的不同被预先划分为不同类别，并通过相应的分类标签进行区别。进一步，在每一类预设图像中，还可以进行细分，比如针对建筑物图像，可以进一步细分为平房、高楼等等，并且也可以将细分的结果通过分类标签进行表示。也即是说，在可能的方式中，预设图像的分类标签可以包括该预设图像所属的图像大类，还可以包括该预设图像在该大类中所属的图像小类，从而使得后续预设分类标签进行图像分类的结果更加准确。
针对图像分类模型包括的多个预设图像中的每个预设图像，可以确定该预设图像与目标图像之间的相似度，从而可以将相似度处于预设相似度范围的图像确定为与目标图像最相似的样本图像。其中，预设相似度范围可以是根据实际情况进行设定的，本公开实施例对此不作限定。另外应当理解的是，样本图像可以有一个，也可以有多个，等等，在本公开具体实施时，可以通过设定不同的预设相似度范围而得到不同数目的样本图像，本公开实施例对此也不作限定。
示例地，预设图像与目标图像之间的相似度可以是针对每个预设图像的图像特征与目标图像的图像特征分别进行相似度计算而得到的。或者，针对JPEG图像，由于在压缩编码的过程中是根据不同的量化表进行压缩编码的，因此每个JPEG图像具有唯一的量化表，从而还可以根据量化表确定预设图像与目标图像之间的相似度。
也即是说，在一种可能的方式中，针对多个预设图像中的每个预设图像，可以先确定该预设图像的量化表与目标图像的量化表之间的差值。然后，可以将该差值小于或等于预设阈值的图像确定为与目标图像最相似的样本图像。其中，预设阈值可以是根据实际情况设定的，本公开实施例对此不作限定。
应当理解的是，在对图像进行量化编码之前可以先将图像划分成多个图像块，比如8×8个图像块等等，相应地，量化表中可以包括针对该多个图像块的量化编码值，因此确定预设图像的量化表与目标图像的量化表之间的差值，可以是：先分别确定预设图像与目标图像在同一维度量化表下的量化数值，比如确定预设图像与目标图像的量化表均包括对应于8×8个图像块的量化编码值，等等。然后将预设图像的量化表与目标图像的量化表中的每一个对应的数值分别进行差值计算后取平均值。
在得到预设图像的量化表与目标图像的量化表之间的差值后，可以在预设图像中，确定该差值小于或等于预设阈值的多个图像为与目标图像最相似的样本图像，从而可以根据该样本图像的预设分类标签，确定目标图像的分类结果。
在一种可能的方式中，可以直接将该样本图像的预设分类标签作为目标图像的分类标签。或者，在另一种可能的方式中，还可以根据该样本图像的图像特征以及预设分类标签，训练图像分类器，然后将目标图像的图像特征输入到该图像分类器中，得到目标图像的分类结果。又或者，为了进一步减小样本图像与目标图像之间的图像特征差异，还可以将样本图像和目标图像映射到同一向量空间下，然后根据映射后的样本图像的图像特征训练图像分类器进行图像分类。
也即是说，在另一种可能的方式中，还可以针对样本图像的当前图像特征以及目标图像的当前图像特征，分别根据预设特征映射矩阵进行映射，得到样本图像在目标向量空间的目标图像特征、以及目标图像在所述目标向量空间的目标图像特征，其中，目标向量空间为使样本图像的图像特征方差最小的向量空间。然后，根据样本图像在目标向量空间的目标图像特征以及样本图像的预设分类标签进行训练，得到图像分类器。最后，根据图像分类器以及目标图像在目标向量空间的目标图像特征，确定目标图像的分类结果。
在可能的方式中，将预设图像与目标图像映射到同一向量空间可以是先对样本图像的图像特征方差进行最小值计算，得到第一预设特征映射矩阵，然后针对样本图像的当前图像特征以及目标图像的当前图像特征，分别根据第一预设特征映射矩阵进行映射，得到样本图像在目标向量空间的图像特征、以及目标图像在目标向量空间的图像特征。
示例地，样本图像可以有为多个，且该多个样本图像可以是多个预设图像集合中的图像，在此种情况下，样本图像的图像特征方差可以是通过如下公式计算得到的：
其中，N表示预设图像集合的数量，表示第k个预设图像集合中分类标签为c的样本图像数量，m表示分类标签的数目，/>表示第k个预设图像集合中第i个样本图像通过特征映射矩阵映射到再生核希尔伯特空间而得到的图像特征，||·||2表示再生核希尔伯特空间中图像特征的2-范数。
应当理解的是，由公式(1)进行最小值计算得到第一预设特征映射矩阵的过程与相关技术中进行最小值优化的方式相似，这里不再赘述。另外，上述公式(1)中，表示的是样本图像映射到再生核希尔伯特空间的图像特征。因此，在进行图像特征方差计算之前，可以先将样本图像的原始图像特征映射到再生核希尔伯特空间(RKHS)，以去除样本图像的原始图像特征中与大部分图像特征不一致的跳跃图像特征，从而进一步保证后续结果的准确性。
例如，样本图像分别是A预设图像集合、B预设图像集合和C预设图像集合中的图像，并且每个预设图像集合中包括多个预设图像。样本图像的图像特征方差可以是针对样本图像中的每一个分类类别，分别确定A预设图像集合、B预设图像集合和C预设图像集合中相应分类类别的预设图像映射到RKHS的第一图像特征均值、以及所有样本图像中相应分类类别的图像映射到RKHS的第二图像特征均值，然后分别确定第一图像特征均值与第二图像特征均值的差值，并确定该差值的2-范数。接着，将得到的结果进行平均值计算。最后，将每个分类类别下求得的平均值计算结果求和，得到样本图像的图像特征方差。
通过上述方式，可以对公式(1)进行最小值计算，得到第一预设特征映射矩阵，从而可以根据该第一预设特征映射矩阵将样本图像与目标图像映射到同一向量空间中，进一步减小样本图像与目标图像的图像特征差异，进而提高图像分类的准确性。例如，参照图4，样本图像的图像特征为A1，目标图像的图像特征A2，根据第一预设特征映射矩阵进行映射之后，可以得到样本图像在目标向量空间的图像特征B1以及目标图像在目标向量空间的图像特征B2。参照图4可知，映射之后的样本图像和目标图像之间的图像特征差异减小，从而可以提高后续图像分类的准确性。
应当理解的是，通过上述方式进行图像特征映射后，图像特征与分类标签的相关性可能较弱，从而无法较好的区分目标图像所属的图像类别。为了避免上述问题，在通过上述方式进行图像特征映射之后，还可以对映射后的图像特征再进行二次映射，以增加图像特征与分类标签的相关性。
也即是说，在一种可能的方式中，还可以针对样本图像的当前图像特征以及目标图像的当前图像特征，分别根据第一预设特征映射矩阵进行映射，得到样本图像在目标向量空间的初始图像特征、以及目标图像在所述目标向量空间的初始图像特征，该第一预设特征映射矩阵是对样本图像的图像特征方差进行最小值计算而得到的。
然后，针对样本图像的初始图像特征以及目标图像的初始图像特征，分别根据第二预设特征映射矩阵进行映射，得到样本图像在目标向量空间的目标图像特征、以及目标图像在目标向量空间的目标图像特征，该第二预设特征映射矩阵是对样本图像中各初始图像特征与初始图像特征对应的各分类标签之间的相关性进行最大值计算而得到的。
示例地，样本图像为多个，样本图像中各初始图像特征与初始图像特征对应的各分类标签之间的相关性可以是通过如下公式计算得到的：
其中，X表示多个样本图像的图像特征矩阵，β表示多个样本图像在目标向量空间的图像特征，y表示样本图像的图像特征对应的标签向量。
应当理解的是，由公式(2)进行最大值计算得到第二预设特征映射矩阵的过程也与相关技术中进行最大值优化的方式相似，这里不再赘述。
通过上述方式，可以根据第一预设特征映射矩阵和第二预设特征映射矩阵，将样本图像和目标图像的图像特征映射到同一向量空间，并且可以增加在该向量空间中图像特征与分类标签的相关性，从而提高后续图像分类的准确度。例如，参照图5，根据第一预设特征映射矩阵进行映射之后，样本图像在目标向量空间的初始图像特征C1以及目标图像在目标向量空间的初始图像特征C2。然后，根据第二预设特征映射矩阵进行映射之后，可以得到样本图像在目标向量空间的目标图像特征D1以及目标图像在目标向量空间的目标图像特征D2。参照图5可知，相较于初始图像特征中各图像特征杂乱排列的方式，目标图像特征中相近的图像特征排列在一起，增加了图像特征与分类标签的相关性，从而可以更好的实现对目标图像的图像分类过程。
应当理解的是，在可能的方式中，还可以对上述公式(1)和上述公式(2)进行合并计算，得到一个目标预设特征映射矩阵，从而根据该目标预设特征映射矩阵将预设图像与目标图像映射到同一向量空间。其具体的推导过程可以与相关技术中类似，这里不再赘述。
下面以目标图像为JPEG图像为例对本公开的图像分类方法进行说明。参照图6，该图像分类方法可以包括如下步骤：
步骤601，获取待分类的目标图像。其中，目标图像为JPEG图像。
步骤602，针对多个预设图像中的每个预设图像，确定预设图像的量化表与目标图像的量化表之间的差值。
步骤603，将差值小于或等于预设阈值的图像确定为与目标图像最相似的样本图像。
步骤604，针对样本图像的当前图像特征以及目标图像的当前图像特征，分别根据第一预设特征映射矩阵进行映射，得到样本图像在目标向量空间的初始图像特征、以及目标图像在目标向量空间的初始图像特征。
步骤605，针对样本图像的初始图像特征以及目标图像的初始图像特征，分别根据第二预设特征映射矩阵进行映射，得到样本图像在目标向量空间的目标图像特征、以及目标图像在目标向量空间的目标图像特征。
步骤606，根据样本图像在目标向量空间的目标图像特征以及样本图像的预设分类标签进行训练，得到图像分类器。
步骤607，根据图像分类器以及目标图像在目标向量空间的目标图像特征，确定目标图像的分类结果。
上述各步骤的具体实施方式已在上文进行详细举例说明，这里不再赘述。另外应当理解的是，对于上述方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本公开并不受上文所描述的动作顺序的限制。其次，本领域技术人员也应该知悉，上文所描述的实施例属于优选实施例，所涉及的步骤并不一定是本公开所必须的。
通过上述方式，由于样本图像是与目标图像最相似的图像，因此根据样本图像的预设分类标签，确定目标图像的分类结果，可以避免由于样本图像与目标图像的图像特征差异大而导致的图像分类结果错误的问题。并且，可以根据第一预设特征映射矩阵和第二预设特征映射矩阵，将样本图像和目标图像的图像特征映射到同一向量空间，在保证图像特征与分类标签之间相关性的情况下，可以进一步减小样本图像与目标图像之间的图像特征差异，从而提高图像分类的准确度。
基于同一发明构思，本公开实施例还提供一种图像分类装置。参照图7，该图像分类装置700可以通过软件、硬件或两者的结合成为电子设备的部分或全部，可以包括：
获取模块701，用于获取待分类的目标图像；
处理模块702，用于将所述目标图像输入到图像分类模型中进行处理，得到用于表征所述目标图像内容的分类结果；
其中，所述图像分类模型包括用于表征不同内容的多个预设图像，所述多个预设图像中的每个预设图像对应有预设分类标签，所述处理模块702包括：
第一确定子模块7021，用于针对所述多个预设图像中的每个预设图像，确定所述预设图像与所述目标图像之间的相似度；
第二确定子模块7022，用于在所述多个预设图像中，将所述相似度处于预设相似度范围的图像确定为与所述目标图像最相似的样本图像；
分类子模块7023，用于根据所述样本图像的预设分类标签，确定所述目标图像的分类结果。
可选地，所述目标图像为目标设备对应的设备状态图像，所述装置700还包括：
状态确定模块，用于在得到用于表征所述目标图像内容的分类结果之后，根据所述分类结果，确定所述目标设备是否处于故障状态；
发送模块，用于当所述目标设备处于故障状态时，向所述目标设备的维护人员发送故障提示信息。
可选地，所述分类子模块7023用于：
针对所述样本图像的当前图像特征以及所述目标图像的当前图像特征，分别根据预设特征映射矩阵进行映射，得到所述样本图像在目标向量空间的目标图像特征、以及所述目标图像在所述目标向量空间的目标图像特征，所述目标向量空间为使所述样本图像的图像特征方差最小的向量空间；
根据所述样本图像在所述目标向量空间的目标图像特征以及所述样本图像的预设分类标签进行训练，得到图像分类器；
根据所述图像分类器以及所述目标图像在所述目标向量空间的目标图像特征，确定所述目标图像的分类结果。
可选地，所述分类子模块7023用于：
针对所述样本图像的当前图像特征以及所述目标图像的当前图像特征，分别根据第一预设特征映射矩阵进行映射，得到所述样本图像在目标向量空间的初始图像特征、以及所述目标图像在所述目标向量空间的初始图像特征，所述第一预设特征映射矩阵是对所述样本图像的图像特征方差进行最小值计算而得到的；
针对所述样本图像的初始图像特征以及所述目标图像的初始图像特征，分别根据第二预设特征映射矩阵进行映射，得到所述样本图像在所述目标向量空间的目标图像特征、以及所述目标图像在所述目标向量空间的目标图像特征，所述第二预设特征映射矩阵是对所述样本图像中各初始图像特征与初始图像特征对应的各分类标签之间的相关性进行最大值计算而得到的。
可选地，所述样本图像为多个，且所述多个样本图像是多个预设图像集合中的图像，所述装置700还包括第一计算模块，用于通过如下公式计算得到所述样本图像的图像特征方差：
其中，N表示所述预设图像集合的数量，表示第k个预设图像集合中分类标签为c的样本图像数量，m表示分类标签的数目，/>表示第k个预设图像集合中第i个样本图像通过特征映射矩阵映射到再生核希尔伯特空间而得到的图像特征，||·||2表示再生核希尔伯特空间中图像特征的2-范数。
可选地，所述样本图像为多个，所述装置700还包括第二计算模块，用于通过如下公式计算得到所述样本图像中各初始图像特征与初始图像特征对应的各分类标签之间的相关性：
其中，X表示所述多个样本图像的图像特征矩阵，β表示所述多个样本图像在所述目标向量空间的图像特征，y表示所述样本图像的图像特征对应的标签向量。
可选地，所述第一确定子模块7021用于：
针对所述多个预设图像中的每个预设图像，确定所述预设图像的量化表与所述目标图像的量化表之间的差值；
所述第二确定子模块7022用于：
将所述差值小于或等于预设阈值的图像确定为与所述目标图像最相似的所述样本图像。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
基于同一发明构思，本公开实施例还提供一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现第一方面中任一项所述方法的步骤。
在一种可能的方式中，该电子设备的框图可以如图8所示。参照图8，该电子设备800可以包括：处理器801，存储器802。该电子设备800还可以包括多媒体组件803，输入/输出(I/O)接口804，以及通信组件805中的一者或多者。
其中，处理器801用于控制该电子设备800的整体操作，以完成上述的图像分类方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该电子设备800的操作，这些数据例如可以包括用于在该电子设备800上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如多个预设图像等等。
该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-OnlyMemory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器，用于输出音频信号。
I/O接口804为处理器801和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该电子设备800与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(NearField Communication，简称NFC)，2G、3G、4G、NB-IOT、eMTC、或其他5G等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件805可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。
在一示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的图像分类方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的图像分类方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器802，上述程序指令可由电子设备800的处理器801执行以完成上述的图像分类方法。
在另一种可能的方式中，该电子设备可以被提供为一服务器。参照图9，该电子设备900包括处理器922，其数量可以为一个或多个，以及存储器932，用于存储可由处理器922执行的计算机程序。存储器932中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理器922可以被配置为执行该计算机程序，以执行上述的图像分类方法。
另外，电子设备900还可以包括电源组件926和通信组件950，该电源组件926可以被配置为执行电子设备900的电源管理，该通信组件950可以被配置为实现电子设备900的通信，例如，有线或无线通信。此外，该电子设备900还可以包括输入/输出(I/O)接口958。电子设备900可以操作基于存储在存储器932的操作系统，例如Windows ServerTM，Mac OSXTM，UnixTM，LinuxTM等等。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的图像分类方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器932，上述程序指令可由电子设备900的处理器922执行以完成上述的图像分类方法。
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的图像分类方法的代码部分。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (8)

1.一种图像分类方法，其特征在于，所述方法包括：
获取待分类的目标图像；
将所述目标图像输入到图像分类模型中进行处理，得到用于表征所述目标图像内容的分类结果；
其中，所述图像分类模型包括用于表征不同内容的多个预设图像，所述多个预设图像中的每个预设图像对应有预设分类标签，所述图像分类模型用于通过如下方式对所述目标图像进行处理：
针对所述多个预设图像中的每个预设图像，确定所述预设图像与所述目标图像之间的相似度；
在所述多个预设图像中，将所述相似度处于预设相似度范围的图像确定为与所述目标图像最相似的样本图像；
针对所述样本图像的当前图像特征以及所述目标图像的当前图像特征，分别根据第一预设特征映射矩阵进行映射，得到所述样本图像在目标向量空间的初始图像特征、以及所述目标图像在所述目标向量空间的初始图像特征，所述第一预设特征映射矩阵是对所述样本图像的图像特征方差进行最小值计算而得到的；
针对所述样本图像的初始图像特征以及所述目标图像的初始图像特征，分别根据第二预设特征映射矩阵进行映射，得到所述样本图像在所述目标向量空间的目标图像特征、以及所述目标图像在所述目标向量空间的目标图像特征，所述第二预设特征映射矩阵是对所述样本图像中各初始图像特征与初始图像特征对应的各分类标签之间的相关性进行最大值计算而得到的；
根据所述样本图像在所述目标向量空间的目标图像特征以及所述样本图像的预设分类标签进行训练，得到图像分类器；
根据所述图像分类器以及所述目标图像在所述目标向量空间的目标图像特征，确定所述目标图像的分类结果。
2.根据权利要求1所述的方法，其特征在于，所述目标图像为目标设备对应的设备状态图像，在得到用于表征所述目标图像内容的分类结果之后，所述方法还包括：
根据所述分类结果，确定所述目标设备是否处于故障状态；
若所述目标设备处于故障状态，则向所述目标设备的维护人员发送故障提示信息。
3.根据权利要求1所述的方法，其特征在于，所述样本图像为多个，且所述多个样本图像是多个预设图像集合中的图像，所述样本图像的图像特征方差是通过如下公式计算得到的：
其中，N表示所述预设图像集合的数量，表示第k个预设图像集合中分类标签为c的样本图像数量，m表示分类标签的数目，/>表示第k个预设图像集合中第i个样本图像通过特征映射矩阵映射到再生核希尔伯特空间而得到的图像特征，||·||2表示再生核希尔伯特空间中图像特征的2-范数。
4.根据权利要求1所述的方法，其特征在于，所述样本图像为多个，所述样本图像中各初始图像特征与初始图像特征对应的各分类标签之间的相关性是通过如下公式计算得到的：
其中，X表示所述多个样本图像的图像特征矩阵，β表示所述多个样本图像在所述目标向量空间的图像特征，y表示所述样本图像的图像特征对应的标签向量，cov()表示协方差，cov(y,Xβ)表示y和Xβ的协方差，var()表示方差，var(y)表示y的方差，var(Xβ)表示Xβ的方差。
5.根据权利要求1-4任一所述的方法，其特征在于，所述针对所述多个预设图像中的每个预设图像，确定所述预设图像与所述目标图像之间的相似度，包括：
针对所述多个预设图像中的每个预设图像，确定所述预设图像的量化表与所述目标图像的量化表之间的差值；
将所述相似度处于预设相似度范围的图像确定为与所述目标图像最相似的样本图像，包括：
将所述差值小于或等于预设阈值的图像确定为与所述目标图像最相似的所述样本图像。
6.一种图像分类装置，其特征在于，所述装置包括：
获取模块，用于获取待分类的目标图像；
处理模块，用于将所述目标图像输入到图像分类模型中进行处理，得到用于表征所述目标图像内容的分类结果；
其中，所述图像分类模型包括用于表征不同内容的多个预设图像，所述多个预设图像中的每个预设图像对应有预设分类标签，所述处理模块包括：
第一确定子模块，用于针对所述多个预设图像中的每个预设图像，确定所述预设图像与所述目标图像之间的相似度；
第二确定子模块，用于在所述多个预设图像中，将所述相似度处于预设相似度范围的图像确定为与所述目标图像最相似的样本图像；
分类子模块，用于针对所述样本图像的当前图像特征以及所述目标图像的当前图像特征，分别根据第一预设特征映射矩阵进行映射，得到所述样本图像在目标向量空间的初始图像特征、以及所述目标图像在所述目标向量空间的初始图像特征，所述第一预设特征映射矩阵是对所述样本图像的图像特征方差进行最小值计算而得到的；针对所述样本图像的初始图像特征以及所述目标图像的初始图像特征，分别根据第二预设特征映射矩阵进行映射，得到所述样本图像在所述目标向量空间的目标图像特征、以及所述目标图像在所述目标向量空间的目标图像特征，所述第二预设特征映射矩阵是对所述样本图像中各初始图像特征与初始图像特征对应的各分类标签之间的相关性进行最大值计算而得到的；根据所述样本图像在所述目标向量空间的目标图像特征以及所述样本图像的预设分类标签进行训练，得到图像分类器；根据所述图像分类器以及所述目标图像在所述目标向量空间的目标图像特征，确定所述目标图像的分类结果。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-5中任一项所述方法的步骤。
8.一种电子设备，其特征在于，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-5中任一项所述方法的步骤。
CN201911222113.5A 2019-12-03 2019-12-03 图像分类方法、装置、存储介质及电子设备 Active CN111046933B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911222113.5A CN111046933B (zh) 2019-12-03 2019-12-03 图像分类方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911222113.5A CN111046933B (zh) 2019-12-03 2019-12-03 图像分类方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN111046933A CN111046933A (zh) 2020-04-21
CN111046933B true CN111046933B (zh) 2024-03-05

Family

ID=70234531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911222113.5A Active CN111046933B (zh) 2019-12-03 2019-12-03 图像分类方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN111046933B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469265A (zh) * 2021-07-14 2021-10-01 浙江大华技术股份有限公司 数据类别属性的确定方法及装置、存储介质、电子装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105320945A (zh) * 2015-10-30 2016-02-10 小米科技有限责任公司 图像分类的方法及装置
CN105335756A (zh) * 2015-10-30 2016-02-17 苏州大学 一种鲁棒学习模型与图像分类系统
WO2017024963A1 (zh) * 2015-08-11 2017-02-16 阿里巴巴集团控股有限公司 图像识别方法、度量学习方法、图像来源识别方法及装置
CN106777007A (zh) * 2016-12-07 2017-05-31 北京奇虎科技有限公司 相册分类优化方法、装置及移动终端
CN107516105A (zh) * 2017-07-20 2017-12-26 阿里巴巴集团控股有限公司 图像处理方法及装置
WO2018120740A1 (zh) * 2016-12-29 2018-07-05 深圳光启合众科技有限公司 图片分类方法和装置、机器人
CN108280190A (zh) * 2018-01-24 2018-07-13 深圳前海大数金融服务有限公司 图像分类方法、服务器及存储介质
CN108304882A (zh) * 2018-02-07 2018-07-20 腾讯科技（深圳）有限公司 一种图像分类方法、装置及服务器、用户终端、存储介质
CN108460402A (zh) * 2018-01-15 2018-08-28 中国科学院自动化研究所 极化sar图像有监督分类方法及装置
CN109840559A (zh) * 2019-01-24 2019-06-04 北京工业大学 图像筛选方法、装置以及电子设备
CN109993221A (zh) * 2019-03-25 2019-07-09 新华三大数据技术有限公司 一种图像分类方法及装置
CN110210545A (zh) * 2019-05-27 2019-09-06 河海大学 基于迁移学习的红外遥感水体分类器构建方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017024963A1 (zh) * 2015-08-11 2017-02-16 阿里巴巴集团控股有限公司 图像识别方法、度量学习方法、图像来源识别方法及装置
CN105335756A (zh) * 2015-10-30 2016-02-17 苏州大学 一种鲁棒学习模型与图像分类系统
CN105320945A (zh) * 2015-10-30 2016-02-10 小米科技有限责任公司 图像分类的方法及装置
CN106777007A (zh) * 2016-12-07 2017-05-31 北京奇虎科技有限公司 相册分类优化方法、装置及移动终端
WO2018120740A1 (zh) * 2016-12-29 2018-07-05 深圳光启合众科技有限公司 图片分类方法和装置、机器人
CN107516105A (zh) * 2017-07-20 2017-12-26 阿里巴巴集团控股有限公司 图像处理方法及装置
CN108460402A (zh) * 2018-01-15 2018-08-28 中国科学院自动化研究所 极化sar图像有监督分类方法及装置
CN108280190A (zh) * 2018-01-24 2018-07-13 深圳前海大数金融服务有限公司 图像分类方法、服务器及存储介质
CN108304882A (zh) * 2018-02-07 2018-07-20 腾讯科技（深圳）有限公司 一种图像分类方法、装置及服务器、用户终端、存储介质
WO2019154262A1 (zh) * 2018-02-07 2019-08-15 腾讯科技（深圳）有限公司 一种图像分类方法及服务器、用户终端、存储介质
CN109840559A (zh) * 2019-01-24 2019-06-04 北京工业大学 图像筛选方法、装置以及电子设备
CN109993221A (zh) * 2019-03-25 2019-07-09 新华三大数据技术有限公司 一种图像分类方法及装置
CN110210545A (zh) * 2019-05-27 2019-09-06 河海大学 基于迁移学习的红外遥感水体分类器构建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
顾广华 等.图像场景语义分类研究进展综述.《系统工程与电子技术》.2016,第38卷(第4期),第218-230页. *

Also Published As

Publication number Publication date
CN111046933A (zh) 2020-04-21

Similar Documents

Publication Publication Date Title
CN112633384B (zh) 基于图像识别模型的对象识别方法、装置和电子设备
CN110162976B (zh) 风险评估方法、装置及终端
CN108108436B (zh) 数据存储方法、装置、存储介质及电子设备
CN111159413A (zh) 日志聚类方法、装置、设备及存储介质
CN111078639B (zh) 数据标准化方法、装置以及电子设备
CN110135590B (zh) 信息处理方法、装置、介质及电子设备
CN110458184B (zh) 光学字符识别辅助方法、装置、计算机设备及存储介质
CN109753994B (zh) 用户画像方法、装置、计算机可读存储介质及电子设备
CN116049345B (zh) 基于双向事件完全图的文档级事件联合抽取方法及系统
CN111046933B (zh) 图像分类方法、装置、存储介质及电子设备
CN112348203A (zh) 模型训练方法、装置、终端设备及存储介质
CN114781654A (zh) 联邦迁移学习方法、装置、计算机设备及介质
CN108804574B (zh) 告警提示方法、装置、计算机可读存储介质及电子设备
CN114564345A (zh) 一种服务器异常检测方法、装置、设备及存储介质
CN111680645B (zh) 一种垃圾分类处理方法及装置
CN116361567B (zh) 应用于云办公的数据处理方法及系统
CN113542225A (zh) 一种数据的压缩方法、装置、终端设备及存储介质
WO2021072872A1 (zh) 基于字符转换的姓名存储方法、装置、计算机设备
CN116257885A (zh) 基于联邦学习的隐私数据通信方法、系统和计算机设备
CN114881227B (zh) 模型压缩方法、图像处理方法、装置和电子设备
CN113989569B (zh) 图像处理方法、装置、电子设备和存储介质
WO2023050670A1 (zh) 虚假信息检测方法、系统、计算机设备及可读存储介质
CN114900835A (zh) 恶意流量智能检测方法、装置及存储介质
CN113139563A (zh) 一种图像分类模型的优化方法及装置
KR20200121611A (ko) 서버 및 그 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant