CN111694954A - 图像分类方法、装置和电子设备 - Google Patents

图像分类方法、装置和电子设备 Download PDF

Info

Publication number
CN111694954A
CN111694954A CN202010352935.1A CN202010352935A CN111694954A CN 111694954 A CN111694954 A CN 111694954A CN 202010352935 A CN202010352935 A CN 202010352935A CN 111694954 A CN111694954 A CN 111694954A
Authority
CN
China
Prior art keywords
classification
image
classified
category
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010352935.1A
Other languages
English (en)
Other versions
CN111694954B (zh
Inventor
陈坤鹏
姚聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kuangshi Technology Co Ltd
Original Assignee
Beijing Kuangshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kuangshi Technology Co Ltd filed Critical Beijing Kuangshi Technology Co Ltd
Priority to CN202010352935.1A priority Critical patent/CN111694954B/zh
Publication of CN111694954A publication Critical patent/CN111694954A/zh
Application granted granted Critical
Publication of CN111694954B publication Critical patent/CN111694954B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种图像分类方法、装置和电子设备，涉及图像处理的技术领域，包括获取待分类图像；对待分类图像进行处理，得到待分类图像的第一初始分类得分和第一类别关联数据；第一初始分类得分用于表示待分类图像的分类类别为各个预设分类类别的概率，第一类别关联数据用于表示待分类图像中任意两个预设分类类别之间的相关程度；基于第一初始分类得分和第一类别关联数据对待分类图像进行分类，得到分类结果。该方法在对待分类图像进行分类时既考虑了待分类图像为各个预设分类类别的概率，又考虑了任意两个预设分类类别之间的相关程度，深度挖掘了标签之间的相关性，从而有效的缓解了现有技术中的图像分类方法存在的图像分类准确度低的技术问题。

Description

图像分类方法、装置和电子设备
技术领域
本发明涉及图像处理的技术领域，尤其是涉及一种图像分类方法、装置和电子设备。
背景技术
在现实生活中，一张图像往往包含多个场景或物体，在对这些图片做分类时，单标签分类算法已经无法满足要求，这时需要引入多标签图像分类方法，相较于单标签图像分类而言，其情况更加复杂，对数据的标注要求也更高，现有技术中，虽然基于深度学习的多标签图像分类算法能够做到多个标签的预测，但仍然存在漏标、错标的情况，导致图像分类准确度低。
发明内容
本发明的目的在于提供一种图像分类方法、装置和电子设备。
第一方面，本实施例提供了一种图像分类方法，包括：获取待分类图像；对所述待分类图像进行处理，得到所述待分类图像的第一初始分类得分和第一类别关联数据；所述第一初始分类得分用于表示所述待分类图像的分类类别为各个预设分类类别的概率，所述第一类别关联数据用于表示所述待分类图像中任意两个预设分类类别之间的相关程度；基于所述第一初始分类得分和所述第一类别关联数据对所述待分类图像进行分类，得到分类结果。
在可选的实施方式中，所述第一类别关联数据中包含用于表征每个预设分类类别和其他预设分类类别之间的相关程度的多组关联数据；基于所述第一初始分类得分和所述第一类别关联数据对所述待分类图像进行分类，得到分类结果包括：计算每组关联数据和所述第一初始分类得分之间的乘积，得到多个乘积计算结果，并将所述多个乘积计算结果确定为所述待分类图像的最终分类得分；基于所述最终分类得分对所述待分类图像进行分类，得到分类结果。
在可选的实施方式中，对所述待分类图像进行处理，得到所述待分类图像的第一初始分类得分和所述待分类图像的第一类别关联数据包括：通过目标分类模型对所述待分类图像进行处理，得到所述待分类图像的第一初始分类得分和所述待分类图像的第一类别关联数据。
在可选的实施方式中，所述目标分类模型包括：特征提取模型，分类预测模型和关联性预测模型；通过目标分类模型对所述待分类图像进行处理，得到所述待分类图像的第一初始分类得分和所述待分类图像的第一类别关联数据包括：通过所述特征提取模型对所述待分类图像进行特征提取，得到目标图像特征信息；通过所述分类预测模型对所述目标图像特征信息进行处理，得到所述待分类图像的第一初始分类得分；通过所述关联性预测模型对所述目标图像特征信息进行处理，得到所述待分类图像的第一类别关联数据。
在可选的实施方式中，所述特征提取模型包括：目标卷积神经网络模型，所述分类预测模型包括：全局最大池化层和至少一个第一全连接层，所述关联性预测模型包括：至少一个第二全连接层。
在可选的实施方式中，所述方法还包括：获取训练样本，其中，所述训练样本中包含所属于多个预设分类类别的样本图像，所述样本图像包括：至少一个正样本和至少一个负样本；通过初始目标分类模型对所述训练样本中的样本图像进行处理，得到所述训练样本的第二初始分类得分和第二类别关联数据；所述第二初始分类得分用于表示每个样本图像的分类类别为各个预设分类类别的概率，所述第二类别关联数据用于表示每个样本图像中任意两个预设分类类别之间的相关程度；基于所述第二初始分类得分和所述第二类别关联数据对所述初始目标分类模型进行训练，得到所述目标分类模型。
在可选的实施方式中，基于所述第二初始分类得分和所述第二类别关联数据对所述初始目标分类模型进行训练包括：基于所述第二初始分类得分和所述第二类别关联数据计算第一目标损失函数的函数值，并通过第一目标损失函数的函数值对所述初始目标分类模型中的初始特征提取模型和初始分类预测模型进行训练，得到特征提取模型和分类预测模型；基于所述第二类别关联数据计算第二目标损失函数的函数值，并通过第二目标损失函数的函数值对所述初始目标分类模型中的初始关联性预测模型进行训练，得到关联性预测模型。
在可选的实施方式中，所述第二类别关联数据中包含用于表征每个预设分类类别和其他预设分类类别之间的相关程度的多组关联数据；基于所述第二初始分类得分和所述第二类别关联数据计算第一目标损失函数的函数值包括：计算每组关联数据和所述第二初始分类得分之间的乘积，得到多个乘积计算结果，并将所述多个乘积计算结果确定为所述样本图像的最终分类得分；利用算式
Figure BDA0002472254200000031
计算所述第一目标损失函数的函数值，其中，I表示预设分类类别的总数，
Figure BDA0002472254200000032
表示所述训练样本中第i类预设分类类别的样本图像中的正样本比例，yi用于表征所述训练样本中的样本图像所属的预设分类类别，ci′为所述最终分类得分中的数值，表示样本图像的分类类别为第i个预设分类类别的概率。
在可选的实施方式中，基于所述第二类别关联数据计算第二目标损失函数的函数值包括：利用算式
Figure BDA0002472254200000041
计算所述第二目标损失函数的函数值，其中，I表示预设分类类别的总数，Mij′表示第i个预设分类类别和第j个预设分类类别在所述训练样本中同时出现的频率，Mij为所述第二类别关联数据中的数据，表征第i个预设分类类别和第j个预设分类类别之间的相关程度。
第二方面，本实施例还提供了一种图像分类装置，包括：第一获取模块，用于获取待分类图像；第一处理模块，用于对所述待分类图像进行处理，得到所述待分类图像的第一初始分类得分和第一类别关联数据；所述第一初始分类得分用于表示所述待分类图像的分类类别为各个预设分类类别的概率，所述第一类别关联数据用于表示所述待分类图像中任意两个预设分类类别之间的相关程度；分类模块，用于基于所述第一初始分类得分和所述第一类别关联数据对所述待分类图像进行分类，得到分类结果。
第三方面，本实施例提供了一种电子设备，包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面中任一项所述的方法的步骤。
第四方面，本实施例提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述第一方面中任一项所述的方法。
虽然现阶段的基于深度学习的多标签图像分类算法能够做到多个标签的预测，但仍然存在漏标错标的情况，导致图像分类准确度低。与此相比，本发明提供了一种图像分类方法，首先，获取待分类图像，然后，对待分类图像进行处理，得到待分类图像的第一初始分类得分和第一类别关联数据；第一初始分类得分用于表示待分类图像的分类类别为各个预设分类类别的概率，第一类别关联数据用于表示待分类图像中任意两个预设分类类别之间的相关程度；最后，基于第一初始分类得分和第一类别关联数据对待分类图像进行分类，得到分类结果。
本发明方法既考虑了待分类图像为各个预设分类类别的概率，又考虑了任意两个预设分类类别之间的相关程度，最终基于上述两种信息对待分类图像进行分类，通过深度挖掘标签之间的相关性来提升图像分类的准确性，从而有效的缓解了现有技术中的图像分类方法存在的图像分类准确度低的技术问题。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种电子设备的示意图；
图2为本发明实施例提供的一种采用Binary Cross-Entropy loss训练神经网络模型的实现过程示意图；
图3为本发明实施例提供的一种图像分类方法的流程图；
图4为本发明实施例提供的一种对初始目标分类模型进行训练的流程图；
图5为本发明实施例提供的一种可选的目标分类模型的系统架构示意图；
图6为本发明实施例提供的一种图像分类装置的功能模块图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
实施例1：
首先，参照图1来描述用于实现本发明实施例的电子设备100，该电子设备可以用于运行本发明各实施例的图像分类方法。
如图1所示，电子设备100包括一个或多个处理设备102、一个或多个存储器104、输入装置106、输出装置108以及摄像装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。
所述处理设备102可以采用数字信号处理器(DSP，Digital Signal Processing)、现场可编程门阵列(FPGA，Field－Programmable Gate Array)、可编程逻辑阵列(PLA，Programmable Logic Array)和ASIC(Application Specific Integrated Circuit)中的至少一种硬件形式来实现，所述处理设备102可以是中央处理单元(CPU，CentralProcessing Unit)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储器104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理设备102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。
所述摄像装置110用于进行获取待分类图像，其中，摄像装置所采集的数据经过所述图像分类方法得到分类结果。
实施例2：
现阶段基于深度学习的多标签图像分类算法，其着重点往往在如何做出多个标签的预测，却忽略了标签之间本来存在的关联。例如，一张人脸图片的标注包括性别，年龄，皱纹，肤色等，这些特征之间都存在着关联，比如年龄较大的标签和皱纹标签共同出现的概率较高，现有的图像分类方法着重点在于如何识别人脸上是否有皱纹，如何预测年龄，对标签之间的相关信息挖掘不够，因此存在标签漏标、错标的情况。
在一些实施例中，对多分类类别的图像分类模型进行训练过程中，采用BinaryCross-Entropy loss(BCE，二元交叉熵损失函数)训练神经网络模型，其实现过程如图2所示，先利用卷积神经网络提取图像特征，得到featuremaps，假设多标签分类任务有F个类别，将feature maps输入全局池化层和全连接层将得到一个F维分类得分，接下来对上述F维得分归一化至(0，1)区间，最后分别对每一个维度计算BCE loss。
进一步的，多标签图像分类模型训练时，用于训练的数据集均存在各自的偏置，计算损失函数时如果不考虑正负样本不均衡的情况，回传的梯度容易被正样本或负样本的梯度完全控制，导致训练后的模型也存在偏置，进而在图像标签预测时存在明显的倾向，标签识别准确率受到影响。例如，人脸特征数据集中，标注包含人脸是否有黑眼圈，是否有眼袋，是否有皱纹等特征，对于老年群体的人脸图片，样本中皱纹的正样本比例会非常高，在对神经网络模型进行训练时，如果不做针对性处理，训练后的模型保留这种偏置，则会导致识别准确率受到影响。有鉴于此，本发明实施例提供了一种图像分类方法，用于缓解上文中所提及的技术问题。
根据本发明实施例，提供了一种图像分类方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图3是根据本发明实施例的一种图像分类方法的流程图，如图3所示，该方法具体包括如下步骤：
步骤S202，获取待分类图像。
具体的，在本发明实施例中，首先获取待分类图像，如果本发明方法以应用程序或者插件的形式设置于电子设备中，则待分类图像可以是通过上述电子设备的摄像头直接拍摄的图像，或者通过应用程序的交互界面调取上述电子设备的内存中的图像，本发明实施例不对获取待分类图像的途径进行具体限定，用户可以根据实际情况进行设置。
步骤S204，对待分类图像进行处理，得到待分类图像的第一初始分类得分和第一类别关联数据。
在获取到待分类图像后，接下来对待分类图像进行处理，得到待分类图像的第一初始分类得分和第一类别关联数据，其中，第一初始分类得分用于表示待分类图像的分类类别为各个预设分类类别的概率，第一类别关联数据用于表示待分类图像中任意两个预设分类类别之间的相关程度。
为了便于理解，下面举例说明，假设预设分类类别为{A1，A2，A3，A4}，在对待分类图像进行处理后，得到待分类图像的第一初始分类得分可以表示为{99，98，10，90}，需要说明的是，第一初始分类得分中分数越高的分类类别，待分类图像属于该分类类别的概率越大，也就是说，根据上述得分，能够推断待分类图像属于A1、A2和A4的分类类别的概率较大，属于A3的分类类别的概率较小。
在对待分类图像进行处理后，还会得到第一类别关联数据，该第一类别关联数据能够表示待分类图像中任意两个预设分类类别之间的相关程度，且可以确定相关程度具备以下特点：第i个预设分类类别和第j个预设分类类别之间的相关程度与第j个预设分类类别和第i个预设分类类别之间的相关程度相同；相同预设分类类别之间相关程度是1，表示完全相关，即，第i个预设分类类别和第i个预设分类类别之间的相关程度是1。通过排列组合公式可知，若预设分类类别为4类，则第一类别关联数据中“有效”数据为
Figure BDA0002472254200000091
个，上述“有效”数据可理解为从第一类别关联数据中除去相同预设分类类别之间的关联数据，以及相关程度重复的预设分类类别之间的关联数据之后的剩余数据。本发明实施例不对第一类别关联数据的表现形式进行具体限定，用户可以根据实际需求进行设定，但需确保全包含上述“有效”数据。
步骤S206，基于第一初始分类得分和第一类别关联数据对待分类图像进行分类，得到分类结果。
在得到第一初始分类得分和第一类别关联数据后，即可结合上述两种数据对待分类图像进行分类，也即，本发明实施例在对待分类图像进行分类时，即参考了待分类图像的第一初始分类得分，还考虑到任意两个预设分类类别之间的相关程度，从而能够提高图像分类的准确度。
虽然现阶段的基于深度学习的多标签图像分类算法能够做到多个标签的预测，但仍然存在漏标错标的情况，导致图像分类准确度低。与此相比，本发明提供了一种图像分类方法，首先，获取待分类图像，然后，对待分类图像进行处理，得到待分类图像的第一初始分类得分和第一类别关联数据；第一初始分类得分用于表示待分类图像的分类类别为各个预设分类类别的概率，第一类别关联数据用于表示待分类图像中任意两个预设分类类别之间的相关程度；最后，基于第一初始分类得分和第一类别关联数据对待分类图像进行分类，得到分类结果。
本发明方法既考虑了待分类图像为各个预设分类类别的概率，又考虑了任意两个预设分类类别之间的相关程度，最终基于上述两种信息对待分类图像进行分类，通过深度挖掘标签之间的相关性来提升图像分类的准确性，从而有效的缓解了现有技术中的图像分类方法存在的图像分类准确度低的技术问题。
在一个可选的实施方式中，第一类别关联数据中包含用于表征每个预设分类类别和其他预设分类类别之间的相关程度的多组关联数据。上述步骤S206，基于第一初始分类得分和第一类别关联数据对待分类图像进行分类，得到分类结果具体包括如下步骤：
步骤S2061，计算每组关联数据和第一初始分类得分之间的乘积，得到多个乘积计算结果，并将多个乘积计算结果确定为待分类图像的最终分类得分。
通过上述描述可知，第一类别关联数据中包含任意两个预设分类类别之间的关联程度，可选的，第一类别关联数据为数据矩阵的形式体现，该矩阵能够反映不同类别之间的相互影响，若预设分类类别为4类，则第一类别关联数据为4×4矩阵，第1行第1列的元素值表示A1分类类别和A1分类类别的相关程度(等于1)，第1行第2列的元素值表示A1分类类别和A2分类类别的相关程度，第1行第3列的元素值表示A1分类类别和A3分类类别的相关程度，第1行第4列的元素值表示A1分类类别和A4分类类别的相关程度，第2行第1列的元素值表示A2分类类别和A1分类类别的相关程度，矩阵中其他元素值表示的含义依次类推，此处不再一一赘述。根据相关程度的特点可以确定该矩阵具有对称性，且矩阵的一条对角线上的元素值均为1。
当第一类别关联数据为矩阵形式体现时，每一行或者每一列均可表示某个预设分类类别和其他预设分类类别之间的相关程度的一组关联数据，进而整个矩阵包含每个预设分类类别和其他预设分类类别之间的相关程度的多组关联数据。需要说明的是，本发明实施例并不限定上述多组关联数据为矩阵形式体现，用户可以根据实际需求进行适应性设置。
为了提升图像分类效果，本发明实施例在计算待分类图像的最终分类得分时，通过计算每组关联数据和第一初始分类得分之间的乘积，并将得到的多个乘积计算结果作为待分类图像的最终得分。可选的，利用算式
Figure BDA0002472254200000111
计算待分类图像的最终得分，其中，
Figure BDA0002472254200000112
(1×I矩阵，I表示预设分类类别的总数)表示待分类图像的第一初始分类得分矩阵，M(I×I矩阵)表示待分类图像的第一类别关联数据组成的矩阵，C(1×I矩阵)表示待分类图像的最终分类得分矩阵。将上述矩阵乘法拆分后，可以得到
Figure BDA0002472254200000113
其中，
Figure BDA0002472254200000114
表示上述待分类图像在第j类分类类别上的第一初始分类得分，Mji表示第j个预设分类类别和第i个预设分类类别之间的相关程度，ci表示待分类图像在第i类分类类别上的最终分类得分。将ci的累加算式展开，可以确定，第i类分类类别的最终分类得分等于第i类第一初始分类得分和其他分类类别的第一初始分类得分的加权和，所使用的加权的权重来自于第一类别关联数据(类间相关程度)组成的矩阵。
步骤S2062，基于最终分类得分对待分类图像进行分类，得到分类结果。
通过上述描述可知，乘积计算得到I个计算结果，相对应的表示待分类图像在每个分类类别上的最终分类得分，最后可根据上述最终分类得分对待分类图像进行分类，得到分类结果，可选的，可以通过设置得分阈值的方式确定最终的分类，为了便于观察以及后续步骤的计算，将每个分类类别的最终分类得分均归一化至(0，1)区间，根据得分阈值确定分类结果，例如，若得分阈值为0.9，且最终分类得分均归一化至(0，1)区间得到的得分为{0.92，0.75，0.4，0.98}，那么可以确定待分类图像的分类类别为第1类和第4类。本发明实施例不对归一化的手段进行具体限定，可选的，将最终得分统一进行sigmoid变换，具体采用算式
Figure BDA0002472254200000121
其中，ci′为所述最终分类得分中第i个预设分类类别的数值。
在一个可选的实施方式中，上述步骤S204，对待分类图像进行处理，得到待分类图像的第一初始分类得分和待分类图像的第一类别关联数据具体包括如下步骤：
步骤S2041，通过目标分类模型对待分类图像进行处理，得到待分类图像的第一初始分类得分和待分类图像的第一类别关联数据。
在本发明实施例中，利用目标分类模型对待分类图像进行处理，从而得到待分类图像的第一初始分类得分和待分类图像的第一类别关联数据，其中，目标分类模型包括：特征提取模型，分类预测模型和关联性预测模型。上述步骤S2041，通过目标分类模型对待分类图像进行处理，得到待分类图像的第一初始分类得分和待分类图像的第一类别关联数据具体包括以下步骤：
步骤S20411，通过特征提取模型对待分类图像进行特征提取，得到目标图像特征信息。
具体的，本发明实施例中的目标分类模型在获取到待分类图像后，首先利用特征提取模型对待分类图像进行特征提取，进而得到目标特征信息，其中，特征提取模型可以采用ResNet50，VggNet，GoogleNet等卷积神经网络分类模型，本发明实施例不对特征提取模型进行具体的限制，若采用ResNet50作为基础，则可以将conv5_x最后一层输出的featuremaps作为目标图像特征信息。
步骤S20412，通过分类预测模型对目标图像特征信息进行处理，得到待分类图像的第一初始分类得分。
步骤S20413，通过关联性预测模型对目标图像特征信息进行处理，得到待分类图像的第一类别关联数据。
待分类图像经过特征提取模型的处理得到目标图像特征信息后，再进一步的将目标图像特征信息分别输入分类预测模型和关联性预测模型，分类预测模型对目标图像特征信息进行处理，得到待分类图像的第一初始分类得分。其中，第一初始分类得分为I维数据，I表示预设分类类别的总数且与每一个预设分类类别一一对应。关联性预测模型对目标图像特征信息进行处理，得到待分类图像的第一类别关联数据，其中，第一类别关联数据的“有效”数据为
Figure BDA0002472254200000131
个。
在一个可选的实施方式中，特征提取模型包括：目标卷积神经网络模型，分类预测模型包括：全局最大池化层和至少一个第一全连接层，关联性预测模型包括：至少一个第二全连接层。
上文中描述了目标分类模型的组成结构，以及本发明实施例是如何通过目标分类模型对待分类图像进行处理，得到图像分类结果的过程，下面对如何训练初始目标分类模型，以得到目标分类模型的过程进行详细介绍。
如图4所示，本发明方法还包括以下步骤：
步骤S302，获取训练样本。
为了保证目标分类模型的输出结果的准确性，需要确保训练样本的多样性，其中，训练样本中包含所属于多个预设分类类别的样本图像，样本图像包括：至少一个正样本和至少一个负样本。
为了便于理解，下面举例说明，若预设分类类别为{黑眼圈，眼袋，皱纹，女士，男士}，且本发明实施例的目的是通过神经网络模型深度挖掘分类类别之间的相关程度，因此，训练样本中的每个样本图像应所属于多个预设分类类别，例如，A样本图像同属于上述预设分类类别中的{黑眼圈，眼袋，男士}，B样本图像同属于上述预设分类类别中的{黑眼圈，皱纹，女士}。
进一步的，针对每一个预设分类类别，样本图像中应包括：至少一个正样本和至少一个负样本。例如，针对黑眼圈的分类类别，训练样本的样本图像中应保证至少一张图像所属于黑眼圈的分类类别(正样本)，以及，至少一张图像不属于黑眼圈的分类类别(负样本)。
步骤S304，通过初始目标分类模型对训练样本中的样本图像进行处理，得到训练样本的第二初始分类得分和第二类别关联数据。
步骤S304中的数据处理流程与上述步骤S204中的数据处理流程相同，此处不再赘述，步骤S304处理结束后，得到训练样本的第二初始分类得分和第二类别关联数据，其中，第二初始分类得分用于表示每个样本图像的分类类别为各个预设分类类别的概率，第二类别关联数据用于表示每个样本图像中任意两个预设分类类别之间的相关程度。
步骤S306，基于第二初始分类得分和第二类别关联数据对初始目标分类模型进行训练，得到目标分类模型。
本发明实施例利用处理样本图像得到的第二初始分类得分和第二类别关联数据对初始目标分类模型进行训练，训练结束，得到模型参数调整后的目标分类模型。
具体的，基于第二初始分类得分和第二类别关联数据对初始目标分类模型进行训练包括如下步骤：
步骤S3061，基于第二初始分类得分和第二类别关联数据计算第一目标损失函数的函数值，并通过第一目标损失函数的函数值对初始目标分类模型中的初始特征提取模型和初始分类预测模型进行训练，得到特征提取模型和分类预测模型。
步骤S3062，基于第二类别关联数据计算第二目标损失函数的函数值，并通过第二目标损失函数的函数值对初始目标分类模型中的初始关联性预测模型进行训练，得到关联性预测模型。
本发明实施例利用两个目标损失函数(第一目标损失函数和第二目标损失函数)同时对初始目标分类模型进行训练，第一目标损失函数的函数值计算涉及到第二初始分类得分和第二类别关联数据，第二目标损失函数的函数值计算涉及到第二类别关联数据，且第二目标损失函数的函数值用于对初始目标分类模型中的初始关联性预测模型进行训练，从而得到关联性预测模型；第一目标损失函数的函数值对初始目标分类模型中的初始特征提取模型和初始分类预测模型进行训练，从而得到特征提取模型和分类预测模型。
在本发明实施例中，第二类别关联数据中包含用于表征每个预设分类类别和其他预设分类类别之间的相关程度的多组关联数据；上述步骤S3061，基于第二初始分类得分和第二类别关联数据计算第一目标损失函数的函数值具体包括如下步骤：
步骤S30611，计算每组关联数据和第二初始分类得分之间的乘积，得到多个乘积计算结果，并将多个乘积计算结果确定为样本图像的最终分类得分。
具体的，第二类别关联数据与第一类别关联数据均是表征预设分类类别之间的相关程度的数据，上文中已经对第一类别关联数据进行了详细的描述，此处不再赘述。在得到第二初始分类得分和第二类别关联数据后，可以利用上述步骤S2061中的处理方法对第二初始分类得分和第二类别关联数据进行处理，得到每个样本图像在每个预设分类类别的最终分类得分(未归一化处理)，进一步的，为了便于后续步骤中损失函数的计算，还可以将上述最终分类得分进行归一化处理，得到每个预设分类类别的最终分类得分的数值。
步骤S30612，利用算式
Figure BDA0002472254200000161
计算第一目标损失函数的函数值。
在得到每个预设分类类别的最终分类得分中的数值之后，利用上述算式计算第一目标损失函数的函数值，其中，I表示预设分类类别的总数，
Figure BDA0002472254200000165
表示训练样本中第i类预设分类类别的样本图像中的正样本比例，yi用于表征训练样本中的样本图像所属的预设分类类别，ci′为最终分类得分中的数值，表示样本图像的分类类别为第i个预设分类类别的概率。
yi用于表征训练样本中的样本图像所属的预设分类类别，yi∈{0,1}，若样本图像属于第i类分类类别，则yi＝1；若样本图像不属于第i类分类类别，则yi＝0，通过上述算式可知，本发明实施例所采用的第一目标损失函数，为了平衡正负样本对第一目标损失函数的函数值的贡献，将正样本比例
Figure BDA0002472254200000166
作为负样本
Figure BDA0002472254200000162
的权重，将负样本比例
Figure BDA0002472254200000163
作为正样本
Figure BDA0002472254200000164
的权重，这样处理后，当训练样本中某一预设分类类别的正样本比例较高时，赋予它对应loss的权重会比较小，对负样本同理，因此，本发明实施例采用的第一目标损失函数的计算公式可以有效的缓解各分类类别正负样本不平衡对模型带来的影响。
在一个可选的实施方式中，上述步骤S3062，基于第二类别关联数据计算第二目标损失函数的函数值具体包括如下内容：
利用算式
Figure BDA0002472254200000171
计算第二目标损失函数的函数值，其中，I表示预设分类类别的总数，Mij′表示第i个预设分类类别和第j个预设分类类别在训练样本中同时出现的频率，Mij为第二类别关联数据中的数据，表征第i个预设分类类别和第j个预设分类类别之间的相关程度。
为了得到训练后的关联性预测模型，本发明实施例设计一个监督信息来训练初始关联性预测模型，以达到显示建模的目的，首先统计每个训练样本中，各类分类类别在一个样本图像上共现的次数pij，pij表示第i个预设分类类别和第j个预设分类类别在训练样本中共现的次数，然后将Mij′作为该初始关联性预测模型的学习目标，其中，
Figure BDA0002472254200000172
N表示训练样本中样本图像的总数，Mij′越大，表示第i个预设分类类别和第j个预设分类类别在训练样本中同时出现的频率越高，也即，第i个预设分类类别和第j个预设分类类别的相关程度越高。
综上所述，本发明实施例提供的一种可选的目标分类模型的系统架构如图5所示，特征提取模型采用ResNet50，Multi-label loss表示是一目标损失函数，Relation loss表示第二目标损失函数，I表示预设分类类别的总数。fc表示目标图像特征信息。
本发明实施例提供的图像分类方法，在对待分类图像进行分类预测时，所使用的目标分类模型不仅学习了任意两个预设分类类别之间的相关程度，深度挖掘了分类类别之间的关联性，还在计算第一目标损失函数时，均衡了正负样本比例对模型训练的影响，既有效的缓解了由于样本不均衡给模型训练带来的负面影响，又提升了图像分类的准确度。
实施例3：
本发明实施例还提供了一种图像分类装置，该图像分类装置主要用于执行上述实施例一所提供的图像分类方法，以下对本发明实施例提供的图像分类装置做具体介绍。
图6是本发明实施例提供的一种图像分类装置的功能模块图，如图6所示，该装置主要包括：第一获取模块10，第一处理模块20，分类模块30，其中：
第一获取模块10，用于获取待分类图像。
第一处理模块20，用于对待分类图像进行处理，得到待分类图像的第一初始分类得分和第一类别关联数据；第一初始分类得分用于表示待分类图像的分类类别为各个预设分类类别的概率，第一类别关联数据用于表示待分类图像中任意两个预设分类类别之间的相关程度。
分类模块30，用于基于第一初始分类得分和第一类别关联数据对待分类图像进行分类，得到分类结果。
虽然现阶段的基于深度学习的多标签图像分类算法能够做到多个标签的预测，但仍然存在漏标错标的情况，导致图像分类准确度低。与此相比，本发明提供了一种图像分类装置，首先，获取待分类图像，然后，对待分类图像进行处理，得到待分类图像的第一初始分类得分和第一类别关联数据；第一初始分类得分用于表示待分类图像的分类类别为各个预设分类类别的概率，第一类别关联数据用于表示待分类图像中任意两个预设分类类别之间的相关程度；最后，基于第一初始分类得分和第一类别关联数据对待分类图像进行分类，得到分类结果。
本发明装置既考虑了待分类图像为各个预设分类类别的概率，又考虑了任意两个预设分类类别之间的相关程度，最终基于上述两种信息对待分类图像进行分类，通过深度挖掘标签之间的相关性来提升图像分类的准确性，从而有效的缓解了现有技术中的图像分类方法存在的图像分类准确度低的技术问题。
可选的，第一类别关联数据中包含用于表征每个预设分类类别和其他预设分类类别之间的相关程度的多组关联数据。
分类模块30包括：
第一计算单元，用于计算每组关联数据和第一初始分类得分之间的乘积，得到多个乘积计算结果，并将多个乘积计算结果确定为待分类图像的最终分类得分。
分类单元，用于基于最终分类得分对待分类图像进行分类，得到分类结果。
可选的，第一处理模块20包括：
处理单元，用于通过目标分类模型对待分类图像进行处理，得到待分类图像的第一初始分类得分和待分类图像的第一类别关联数据。
可选的，目标分类模型包括：特征提取模型，分类预测模型和关联性预测模型。
处理单元具体用于：
通过特征提取模型对待分类图像进行特征提取，得到目标图像特征信息。
通过分类预测模型对目标图像特征信息进行处理，得到待分类图像的第一初始分类得分。
通过关联性预测模型对目标图像特征信息进行处理，得到待分类图像的第一类别关联数据。
可选的，特征提取模型包括：目标卷积神经网络模型，分类预测模型包括：全局最大池化层和至少一个第一全连接层，关联性预测模型包括：至少一个第二全连接层。
可选的，该装置还包括：
第二获取模块，用于获取训练样本，其中，训练样本中包含所属于多个预设分类类别的样本图像，样本图像包括：至少一个正样本和至少一个负样本。
第二处理模块，用于通过初始目标分类模型对训练样本中的样本图像进行处理，得到训练样本的第二初始分类得分和第二类别关联数据；第二初始分类得分用于表示每个样本图像的分类类别为各个预设分类类别的概率，第二类别关联数据用于表示每个样本图像中任意两个预设分类类别之间的相关程度。
训练模块，用于基于第二初始分类得分和第二类别关联数据对初始目标分类模型进行训练，得到目标分类模型。
可选的，训练模块包括：
第二计算单元，用于基于第二初始分类得分和第二类别关联数据计算第一目标损失函数的函数值，并通过第一目标损失函数的函数值对初始目标分类模型中的初始特征提取模型和初始分类预测模型进行训练，得到特征提取模型和分类预测模型。
第三计算单元，用于基于第二类别关联数据计算第二目标损失函数的函数值，并通过第二目标损失函数的函数值对初始目标分类模型中的初始关联性预测模型进行训练，得到关联性预测模型。
可选的，第二类别关联数据中包含用于表征每个预设分类类别和其他预设分类类别之间的相关程度的多组关联数据。
第二计算单元具体用于：
计算每组关联数据和第二初始分类得分之间的乘积，得到多个乘积计算结果，并将多个乘积计算结果确定为样本图像的最终分类得分。
利用算式
Figure BDA0002472254200000211
计算第一目标损失函数的函数值，其中，I表示预设分类类别的总数，
Figure BDA0002472254200000212
表示训练样本中第i类预设分类类别的样本图像中的正样本比例，yi用于表征训练样本中的样本图像所属的预设分类类别，ci′为最终分类得分中的数值，表示样本图像的分类类别为第i个预设分类类别的概率。
可选的，第三计算单元具体用于：
利用算式
Figure BDA0002472254200000213
计算第二目标损失函数的函数值，其中，I表示预设分类类别的总数，Mij′表示第i个预设分类类别和第j个预设分类类别在训练样本中同时出现的频率，Mij为第二类别关联数据中的数据，表征第i个预设分类类别和第j个预设分类类别之间的相关程度。
本发明实施例所提供的图像分类方法、装置和电子设备的计算机程序产品，包括存储了处理器可执行的非易失的程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
此外，术语“水平”、“竖直”、“悬垂”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。
在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (12)

1.一种图像分类方法，其特征在于，包括：
获取待分类图像；
对所述待分类图像进行处理，得到所述待分类图像的第一初始分类得分和第一类别关联数据；所述第一初始分类得分用于表示所述待分类图像的分类类别为各个预设分类类别的概率，所述第一类别关联数据用于表示所述待分类图像中任意两个预设分类类别之间的相关程度；
基于所述第一初始分类得分和所述第一类别关联数据对所述待分类图像进行分类，得到分类结果。
2.根据权利要求1所述的方法，其特征在于，所述第一类别关联数据中包含用于表征每个预设分类类别和其他预设分类类别之间的相关程度的多组关联数据；
基于所述第一初始分类得分和所述第一类别关联数据对所述待分类图像进行分类，得到分类结果包括：
计算每组关联数据和所述第一初始分类得分之间的乘积，得到多个乘积计算结果，并将所述多个乘积计算结果确定为所述待分类图像的最终分类得分；
基于所述最终分类得分对所述待分类图像进行分类，得到分类结果。
3.根据权利要求1所述的方法，其特征在于，对所述待分类图像进行处理，得到所述待分类图像的第一初始分类得分和所述待分类图像的第一类别关联数据包括：
通过目标分类模型对所述待分类图像进行处理，得到所述待分类图像的第一初始分类得分和所述待分类图像的第一类别关联数据。
4.根据权利要求3所述的方法，其特征在于，所述目标分类模型包括：特征提取模型，分类预测模型和关联性预测模型；
通过目标分类模型对所述待分类图像进行处理，得到所述待分类图像的第一初始分类得分和所述待分类图像的第一类别关联数据包括：
通过所述特征提取模型对所述待分类图像进行特征提取，得到目标图像特征信息；
通过所述分类预测模型对所述目标图像特征信息进行处理，得到所述待分类图像的第一初始分类得分；
通过所述关联性预测模型对所述目标图像特征信息进行处理，得到所述待分类图像的第一类别关联数据。
5.根据权利要求4所述的方法，其特征在于，所述特征提取模型包括：目标卷积神经网络模型，所述分类预测模型包括：全局最大池化层和至少一个第一全连接层，所述关联性预测模型包括：至少一个第二全连接层。
6.根据权利要求3所述的方法，其特征在于，所述方法还包括：
获取训练样本，其中，所述训练样本中包含所属于多个预设分类类别的样本图像，所述样本图像包括：至少一个正样本和至少一个负样本；
通过初始目标分类模型对所述训练样本中的样本图像进行处理，得到所述训练样本的第二初始分类得分和第二类别关联数据；所述第二初始分类得分用于表示每个样本图像的分类类别为各个预设分类类别的概率，所述第二类别关联数据用于表示每个样本图像中任意两个预设分类类别之间的相关程度；
基于所述第二初始分类得分和所述第二类别关联数据对所述初始目标分类模型进行训练，得到所述目标分类模型。
7.根据权利要求6所述的方法，其特征在于，基于所述第二初始分类得分和所述第二类别关联数据对所述初始目标分类模型进行训练包括：
基于所述第二初始分类得分和所述第二类别关联数据计算第一目标损失函数的函数值，并通过第一目标损失函数的函数值对所述初始目标分类模型中的初始特征提取模型和初始分类预测模型进行训练，得到特征提取模型和分类预测模型；
基于所述第二类别关联数据计算第二目标损失函数的函数值，并通过第二目标损失函数的函数值对所述初始目标分类模型中的初始关联性预测模型进行训练，得到关联性预测模型。
8.根据权利要求7所述的方法，其特征在于，所述第二类别关联数据中包含用于表征每个预设分类类别和其他预设分类类别之间的相关程度的多组关联数据；
基于所述第二初始分类得分和所述第二类别关联数据计算第一目标损失函数的函数值包括：
计算每组关联数据和所述第二初始分类得分之间的乘积，得到多个乘积计算结果，并将所述多个乘积计算结果确定为所述样本图像的最终分类得分；
利用算式
Figure FDA0002472254190000031
计算所述第一目标损失函数的函数值，其中，I表示预设分类类别的总数，
Figure FDA0002472254190000032
表示所述训练样本中第i类预设分类类别的样本图像中的正样本比例，yi用于表征所述训练样本中的样本图像所属的预设分类类别，ci′为所述最终分类得分中的数值，表示样本图像的分类类别为第i个预设分类类别的概率。
9.根据权利要求7所述的方法，其特征在于，基于所述第二类别关联数据计算第二目标损失函数的函数值包括：
利用算式
Figure FDA0002472254190000033
计算所述第二目标损失函数的函数值，其中，I表示预设分类类别的总数，Mij′表示第i个预设分类类别和第j个预设分类类别在所述训练样本中同时出现的频率，Mij为所述第二类别关联数据中的数据，表征第i个预设分类类别和第j个预设分类类别之间的相关程度。
10.一种图像分类装置，其特征在于，包括：
第一获取模块，用于获取待分类图像；
第一处理模块，用于对所述待分类图像进行处理，得到所述待分类图像的第一初始分类得分和第一类别关联数据；所述第一初始分类得分用于表示所述待分类图像的分类类别为各个预设分类类别的概率，所述第一类别关联数据用于表示所述待分类图像中任意两个预设分类类别之间的相关程度；
分类模块，用于基于所述第一初始分类得分和所述第一类别关联数据对所述待分类图像进行分类，得到分类结果。
11.一种电子设备，包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至9中任一项所述的方法的步骤。
12.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行权利要求1至9中任一项所述的方法。
CN202010352935.1A 2020-04-28 2020-04-28 图像分类方法、装置和电子设备 Active CN111694954B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010352935.1A CN111694954B (zh) 2020-04-28 2020-04-28 图像分类方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010352935.1A CN111694954B (zh) 2020-04-28 2020-04-28 图像分类方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN111694954A true CN111694954A (zh) 2020-09-22
CN111694954B CN111694954B (zh) 2023-12-08

Family

ID=72476767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010352935.1A Active CN111694954B (zh) 2020-04-28 2020-04-28 图像分类方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN111694954B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113139486A (zh) * 2021-04-29 2021-07-20 北京百度网讯科技有限公司 用于处理图像的方法、装置、设备以及存储介质
CN113537123A (zh) * 2021-07-28 2021-10-22 上海高德威智能交通系统有限公司 手势识别方法、装置、电子设备及可读存储介质
CN113535951A (zh) * 2021-06-21 2021-10-22 深圳大学 用于进行信息分类的方法、装置、终端设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8533134B1 (en) * 2009-11-17 2013-09-10 Google Inc. Graph-based fusion for video classification
US20170109615A1 (en) * 2015-10-16 2017-04-20 Google Inc. Systems and Methods for Automatically Classifying Businesses from Images
CN109086811A (zh) * 2018-07-19 2018-12-25 南京旷云科技有限公司 多标签图像分类方法、装置及电子设备
CN109816009A (zh) * 2019-01-18 2019-05-28 南京旷云科技有限公司 基于图卷积的多标签图像分类方法、装置及设备
CN110580482A (zh) * 2017-11-30 2019-12-17 腾讯科技（深圳）有限公司 图像分类模型训练、图像分类、个性化推荐方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8533134B1 (en) * 2009-11-17 2013-09-10 Google Inc. Graph-based fusion for video classification
US20170109615A1 (en) * 2015-10-16 2017-04-20 Google Inc. Systems and Methods for Automatically Classifying Businesses from Images
CN110580482A (zh) * 2017-11-30 2019-12-17 腾讯科技（深圳）有限公司 图像分类模型训练、图像分类、个性化推荐方法及装置
CN109086811A (zh) * 2018-07-19 2018-12-25 南京旷云科技有限公司 多标签图像分类方法、装置及电子设备
CN109816009A (zh) * 2019-01-18 2019-05-28 南京旷云科技有限公司 基于图卷积的多标签图像分类方法、装置及设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113139486A (zh) * 2021-04-29 2021-07-20 北京百度网讯科技有限公司 用于处理图像的方法、装置、设备以及存储介质
CN113535951A (zh) * 2021-06-21 2021-10-22 深圳大学 用于进行信息分类的方法、装置、终端设备及存储介质
CN113537123A (zh) * 2021-07-28 2021-10-22 上海高德威智能交通系统有限公司 手势识别方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN111694954B (zh) 2023-12-08

Similar Documents

Publication Publication Date Title
Tang et al. Deepchart: Combining deep convolutional networks and deep belief networks in chart classification
CN111079639B (zh) 垃圾图像分类模型构建的方法、装置、设备及存储介质
Stark et al. Captcha recognition with active deep learning
CN111694954B (zh) 图像分类方法、装置和电子设备
JP2022141931A (ja) 生体検出モデルのトレーニング方法及び装置、生体検出の方法及び装置、電子機器、記憶媒体、並びにコンピュータプログラム
CN111126482A (zh) 一种基于多分类器级联模型的遥感影像自动分类方法
CN109840413B (zh) 一种钓鱼网站检测方法及装置
WO2019102984A1 (ja) 学習装置及び学習方法、識別装置及び識別方法、プログラム並びに記録媒体
US10380456B2 (en) Classification dictionary learning system, classification dictionary learning method and recording medium
Wang et al. Energy based competitive learning
Das et al. NAS-SGAN: a semi-supervised generative adversarial network model for atypia scoring of breast cancer histopathological images
WO2022152009A1 (zh) 目标检测方法、装置、设备以及存储介质
CN110287311A (zh) 文本分类方法及装置、存储介质、计算机设备
CN109034218B (zh) 模型训练方法、装置、设备及存储介质
CN111178196B (zh) 一种细胞分类的方法、装置及设备
CN114419378B (zh) 图像分类的方法、装置、电子设备及介质
Silva et al. Superpixel-based online wagging one-class ensemble for feature selection in foreground/background separation
CN111340213B (zh) 神经网络的训练方法、电子设备、存储介质
CN112749737A (zh) 图像分类方法及装置、电子设备、存储介质
CN113627151B (zh) 跨模态数据的匹配方法、装置、设备及介质
Shehu et al. Lateralized approach for robustness against attacks in emotion categorization from images
Salim et al. Kurdish Sign Language Recognition Based on Transfer Learning
CN109101984B (zh) 一种基于卷积神经网络的图像识别方法及装置
Dong et al. A supervised dictionary learning and discriminative weighting model for action recognition
Shinde et al. Feedforward back propagation neural network (FFBPNN) based approach for the identification of handwritten math equations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant