CN109325512A - 图像分类方法及装置、电子设备、计算机程序及存储介质 - Google Patents

图像分类方法及装置、电子设备、计算机程序及存储介质 Download PDF

Info

Publication number
CN109325512A
CN109325512A CN201810866704.5A CN201810866704A CN109325512A CN 109325512 A CN109325512 A CN 109325512A CN 201810866704 A CN201810866704 A CN 201810866704A CN 109325512 A CN109325512 A CN 109325512A
Authority
CN
China
Prior art keywords
image
semantic feature
semantic
marked
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810866704.5A
Other languages
English (en)
Inventor
丁明宇
王哲
石建萍
卢志武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201810866704.5A priority Critical patent/CN109325512A/zh
Publication of CN109325512A publication Critical patent/CN109325512A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种图像分类方法及装置、电子设备、计算机程序及存储介质，其中，方法包括：根据预先训练的转导式语义编码器，将待处理图像的图像特征转化为语义特征；将所述语义特征与未标注图像语义特征库中的语义特征进行比对，得到比对结果；根据所述比对结果确定所述待处理图像的类别。本发明实施例可以实现对未标注图像的分类或者聚类，不需要预先学习所有类别的图像，提高了效率，降低了成本。

Description

图像分类方法及装置、电子设备、计算机程序及存储介质
技术领域
本发明涉及计算机视觉技术，尤其是一种图像分类方法及装置、电子设备、计算机程序及存储介质。
背景技术
近年来，随着深度学习的兴起和ImageNet等大规模数据集的出现，计算机视觉任务的趋势是将分类任务扩展到更大规模的数据集上，并扩展类别的数量。但是，绝大多数现有的分类模型都是基于监督学习的，需要大量标记好的训练数据，然而对于稀有类别的数据收集和对大量数据的标记是很困难的，需要消耗大量的人力和时间资源。
发明内容
本发明实施例提供一种图像分类技术方案。
根据本发明实施例的一个方面，提供一种图像分类方法，包括：
根据预先训练的转导式语义编码器，将待处理图像的图像特征转化为语义特征；
将所述语义特征与未标注图像语义特征库中的语义特征进行比对，得到比对结果；
根据所述比对结果确定所述待处理图像的类别。
可选地，在本发明上述方法实施例中，所述根据预先训练的转导式语义编码器，将待处理图像的图像特征转化为语义特征之前，还包括：
对所述待处理图像进行特征提取，得到所述待处理图像的图像特征。
可选地，在本发明上述任一方法实施例中，所述将所述语义特征与未标注图像语义特征库中的语义特征进行比对，得到比对结果，包括：
将所述语义特征与所述未标注图像语义特征库中的语义特征进行比对，得到至少一个相似度；
将相似度大于预设阈值的所述语义特征库中的语义特征作为比对结果。
可选地，在本发明上述任一方法实施例中，所述根据所述比对结果确定所述待处理图像的类别，包括：
将所述比对结果对应的类别作为所述待处理图像的类别。
可选地，在本发明上述任一方法实施例中，所述根据预先训练的转导式语义编码器，将待处理图像的图像特征转化为语义特征之前，还包括：
根据已标注图像和所述未标注图像训练所述转导式语义编码器。
可选地，在本发明上述任一方法实施例中，所述根据已标注图像和所述未标注图像训练所述转导式语义编码器，包括：
根据所述已标注图像的第一图像特征及其第一语义特征，得到所述第一图像特征与所述第一语义特征之间的正向映射和反向映射；
根据所述正向映射和所述反向映射获取所述转导式语义编码器的第一目标函数；
根据所述正向映射将所述未标注图像的第二图像特征转化为第二语义特征；
将所述第二语义特征与所述未标注图像语义特征库中的语义特征进行比对，获取相似度大于预设阈值的语义特征；
根据所述第二语义特征和所述相似度大于预设阈值的语义特征得到所述转导式语义编码器的第二目标函数；
根据所述第一目标函数和所述第二目标函数优化所述正向映射，得到收敛的正向映射。
可选地，在本发明上述任一方法实施例中，所述根据预先训练的转导式语义编码器，将待处理图像的图像特征转化为语义特征，包括：
根据所述收敛的正向映射将待处理图像的图像特征转化为语义特征。
可选地，在本发明上述任一方法实施例中，所述根据所述正向映射和所述反向映射获取所述转导式语义编码器的第一目标函数，包括：
根据所述正向映射和所述反向映射，基于最小化图像重建误差，得到所述转导式语义编码器的第一目标函数。
可选地，在本发明上述任一方法实施例中，所述将所述第二语义特征与所述未标注图像语义特征库中的语义特征进行比对，获取相似度大于预设阈值的语义特征，包括：
将所述第二语义特征与所述未标注图像语义特征库中的语义特征进行比对，在所述未标注图像语义特征库中获取与所述第二语义特征的相似度最大的语义特征；
在所述第二语义特征与所述未标注图像语义特征库中的语义特征的相似度中，获取与最大相似度之间的差值小于预设阈值的第一相似度，将所述第一相似度对应的语义特征作为相似度大于预设阈值的语义特征。
可选地，在本发明上述任一方法实施例中，所述根据所述第二语义特征和所述相似度大于预设阈值的语义特征得到所述转导式语义编码器的第二目标函数，包括：
根据所述第二语义特征和所述相似度大于预设阈值的语义特征，基于最小化所述第二语义特征与所述相似度大于预设阈值的语义特征的平均距离，得到所述转导式语义编码器的第二目标函数。
可选地，在本发明上述任一方法实施例中，所述根据所述正向映射和所述反向映射获取所述转导式语义编码器的第一目标函数之后，还包括：
对所述转导式语义编码器的第一目标函数求导，得到关于所述正向映射参数的第一方程；
所述根据所述第二语义特征和所述相似度大于预设阈值的语义特征得到所述转导式语义编码器的第二目标函数之后，还包括：
对所述转导式语义编码器的第二目标函数求导，得到关于所述正向映射参数的第二方程；
所述根据所述第一目标函数和所述第二目标函数优化所述正向映射，包括：
结合所述第一方程和所述第二方程，得到关于所述正向映射参数的总方程；
求解关于所述正向映射参数的总方程，得到所述正向映射参数的优化解。
根据本发明实施例的另一个方面，提供一种图像分类装置，包括：
转化单元，用于根据预先训练的转导式语义编码器，将待处理图像的图像特征转化为语义特征；
比对单元，用于将所述语义特征与未标注图像语义特征库中的语义特征进行比对，得到比对结果；
分类单元，用于根据所述比对结果确定所述待处理图像的类别。
可选地，在本发明上述装置实施例中，提取单元，用于对所述待处理图像进行特征提取，得到所述待处理图像的图像特征。
可选地，在本发明上述任一装置实施例中，所述比对单元，用于将所述语义特征与所述未标注图像语义特征库中的语义特征进行比对，得到至少一个相似度；以及将相似度大于预设阈值的所述语义特征库中的语义特征作为比对结果。
可选地，在本发明上述任一装置实施例中，所述分类单元，用于将所述比对结果对应的类别作为所述待处理图像的类别。
可选地，在本发明上述任一装置实施例中，还包括：
训练单元，用于根据已标注图像和所述未标注图像训练所述转导式语义编码器。
可选地，在本发明上述任一装置实施例中，所述训练单元，包括：
映射模块，用于根据所述已标注图像的第一图像特征及其第一语义特征，得到所述第一图像特征与所述第一语义特征之间的正向映射和反向映射；
优化模块，用于根据所述正向映射和所述反向映射获取所述转导式语义编码器的第一目标函数；根据所述正向映射将所述未标注图像的第二图像特征转化为第二语义特征；将所述第二语义特征与所述未标注图像语义特征库中的语义特征进行比对，获取相似度大于预设阈值的语义特征；根据所述第二语义特征和所述相似度大于预设阈值的语义特征得到所述转导式语义编码器的第二目标函数；以及根据所述第一目标函数和所述第二目标函数优化所述正向映射，得到收敛的正向映射。
可选地，在本发明上述任一装置实施例中，所述转化单元，用于根据所述收敛的正向映射将待处理图像的图像特征转化为语义特征。
可选地，在本发明上述任一装置实施例中，所述优化模块，用于根据所述正向映射和所述反向映射，基于最小化图像重建误差，得到所述转导式语义编码器的第一目标函数。
可选地，在本发明上述任一装置实施例中，所述优化模块，用于将所述第二语义特征与所述未标注图像语义特征库中的语义特征进行比对，在所述未标注图像语义特征库中获取与所述第二语义特征的相似度最大的语义特征；以及在所述第二语义特征与所述未标注图像语义特征库中的语义特征的相似度中，获取与最大相似度之间的差值小于预设阈值的第一相似度，将所述第一相似度对应的语义特征作为相似度大于预设阈值的语义特征。
可选地，在本发明上述任一装置实施例中，所述优化模块，用于根据所述第二语义特征和所述相似度大于预设阈值的语义特征，基于最小化所述第二语义特征与所述相似度大于预设阈值的语义特征的平均距离，得到所述转导式语义编码器的第二目标函数。
可选地，在本发明上述任一装置实施例中，所述优化模块，还用于对所述转导式语义编码器的第一目标函数求导，得到关于所述正向映射参数的第一方程；以及对所述转导式语义编码器的第二目标函数求导，得到关于所述正向映射参数的第二方程；以及结合所述第一方程和所述第二方程，得到关于所述正向映射参数的总方程；求解关于所述正向映射参数的总方程，得到所述正向映射参数的优化解。
根据本发明实施例的又一个方面，提供的一种电子设备，包括上述任一实施例所述的装置。
根据本发明实施例的再一个方面，提供的一种电子设备，包括：
存储器，用于存储可执行指令；以及
处理器，用于执行所述可执行指令从而完成上述任一实施例所述的方法。
根据本发明实施例的再一个方面，提供的一种计算机程序，包括计算机可读代码，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现上述任一实施例所述方法的指令。
根据本发明实施例的再一个方面，提供的一种计算机存储介质，用于存储计算机可读指令，所述指令被执行时实现上述任一实施例所述的方法。
基于本发明上述实施例提供的图像分类方法及装置、电子设备、计算机程序及存储介质，通过根据预先训练的转导式语义编码器，将待处理图像的图像特征转化为语义特征，将语义特征与未标注图像语义特征库中的语义特征进行比对，得到比对结果，根据比对结果确定待处理图像的类别，利用预先训练的转导式语义编码器，将图像特征转化为语义特征，根据语义特征的类别得到图像的类别，可以实现对未标注图像的分类或者聚类，而不需要预先学习所有类别的图像，提高了效率，降低了成本。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本发明的实施例，并且连同描述一起用于解释本发明的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本发明，其中：
图1为本发明一些实施例的图像分类方法的流程图；
图2为本发明一些实施例根据已标注图像和未标注图像训练转导式语义编码器的流程图；
图3为本发明实施例的已标注图像和未标注图像的映射关系的示意图；
图4A至图4C为本发明实施例根据已标注图像和未标注图像训练转导式语义编码器的方法在四个数据集的收敛性分析示意图；
图5为本发明一些实施例的图像分类装置的结构示意图；
图6为本发明一些实施例的训练单元的结构示意图；
图7为本发明一些实施例提供的电子设备的结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本发明实施例可以应用于计算机系统/服务器，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
图1为本发明一些实施例的图像分类方法的流程图。
如图1所示，该方法包括：
102，根据预先训练的转导式语义编码器，将待处理图像的图像特征转化为语义特征。
在本实施例中，待处理图像可以为从图像采集设备获得的图像，例如：图像采集设备为照相机、摄像机、扫描仪等，待处理图像也可以为从存储设备获得的图像，例如存储设备为硬盘、光盘、U盘等，待处理图像还可以为通过网络从网站服务器获得的图像，本实施例对待处理图像的获得方法不作限定。转导式语义编码器(Iteratively OptimizedSemantic Autoencoder，简称I-SAE)可以采用神经网络来实现，例如：神经网络采用卷积神经网络，转导式语义编码器也可以采用其它机器学习的方法来实现，本实施例对转导式语义编码器的实现方法不作限定。
104，将语义特征与未标注图像语义特征库中的语义特征进行比对，得到比对结果。
在本实施例中，未标注图像为图像的类别未知的图像，未标注图像语义特征库为包含图像的类别未知的图像的语义特征的语义特征库，其中各语义特征具有对应的类别。
可选地，可以将语义特征与未标注图像语义特征库中的语义特征进行比对，得到至少一个相似度，然后将相似度大于预设阈值的语义特征库中的语义特征作为比对结果。在一个可选的例子中，可以通过计算语义特征与未标注图像语义特征库中的语义特征之间的欧氏距离，得到相似度，本实施例对于得到语义特征之间的相似度的方法不作限定。
106，根据比对结果确定待处理图像的类别。
可选地，可以将比对结果，即未标注图像语义特征库中的语义特征，对应的类别，作为待处理图像的类别。
基于本实施例提供的图像分类方法，通过根据预先训练的转导式语义编码器，将待处理图像的图像特征转化为语义特征，将语义特征与未标注图像语义特征库中的语义特征进行比对，得到比对结果，根据比对结果确定待处理图像的类别，利用预先训练的转导式语义编码器，将图像特征转化为语义特征，根据语义特征的类别得到图像的类别，可以实现对未标注图像的分类或者聚类，而不需要预先学习所有类别的图像，提高了效率，降低了成本。
可选地，在操作102根据预先训练的转导式语义编码器，将待处理图像的图像特征转化为语义特征之前，还可以对待处理图像进行特征提取，得到待处理图像的图像特征。在一个可选的例子中，可以通过神经网络对待处理图像进行特征提取，得到待处理图像得图像特征。本实施例对获得待处理图像的图像特征的方式不作限定。
在一些实施例中，在操作102根据预先训练的转导式语义编码器，将待处理图像的图像特征转化为语义特征之前，还可以根据已标注图像和未标注图像训练转导式语义编码器。
下面将结合图2，详细描述根据已标注图像和未标注图像训练转导式语义编码器的流程。
如图2所示，该方法包括：
202，根据已标注图像的第一图像特征及其第一语义特征，得到第一图像特征与第一语义特征之间的正向映射和反向映射。
在本实施例中，已标注图像可以为选自训练数据集中的图像的类别已知的图像，已标注图像的第一图像特征可以通过对已标注图像进行特征提取获得，已标注图像的第一语义特征可以为预先给定的训练数据集中各已标注图像对应的语义特征，其中各已标注图像的第一语义特征具有对应的类别。
可选地，可以根据已标注图像的第一图像特征及其第一语义特征，得到第一图像特征到第一语义特征的正向映射参数，和第一语义特征到第一图像特征的反向映射参数，从而得到第一图像特征到第一语义特征的正向映射和第一语义特征到第一图像特征的反向映射，本实施例对根据已标注图像的第一图像特征及其第一语义特征，得到第一图像特征到第一语义特征的正向映射参数和反向映射参数的方式不作限定。
204，根据正向映射和反向映射获取转导式语义编码器的第一目标函数。
可选地，可以根据正向映射和反向映射，基于最小化图像重建误差，得到转导式语义编码器的第一目标函数。在一个可选例子中，可以根据正向映射和反向映射，基于最小化图像重建误差，得到第一目标函数，然后根据预设的正向映射参数与反向映射参数之间的约束关系，将第一目标函数中的反向映射参数转换为正向映射参数，得到关于正向映射参数的转导式语义编码器的第一目标函数。
206，根据正向映射将未标注图像的第二图像特征转化为第二语义特征。
在本实施例中，未标注图像可以为选自训练数据集中的图像的类别未知的图像，未标注图像的第二图像特征可以通过对未标注图像进行特征提取获得。由于未标注图像的第二语义特征为根据正向映射对未标注图像的第二图像特征进行转化获得，因此未标注图像的第二语义特征不具有对应的类别。
208，将第二语义特征与未标注图像语义特征库中的语义特征进行比对，获取相似度大于预设阈值的语义特征。
可选地，可以将第二语义特征与未标注图像语义特征库中的语义特征进行比对，在未标注图像语义特征库中获取与第二语义特征的相似度最大的语义特征，然后在第二语义特征与未标注图像语义特征库中的语义特征的相似度中，获取与最大相似度之间的差值小于预设阈值的第一相似度，将这些第一相似度对应的语义特征作为相似度大于预设阈值的语义特征。这里所获得的相似度大于预设阈值的语义特征对应的类别为相关联的多个类别，，可以是包括大类别和大类别下面的小类别的多个类别，例如：马可以为大类别，斑马为小类别等。
在一个可选的例子中，可以通过计算第二语义特征与未标注图像语义特征库中的语义特征之间的欧氏距离，得到相似度，本实施例对于得到语义特征之间的相似度的方法不作限定。
210，根据第二语义特征和相似度大于预设阈值的语义特征得到转导式语义编码器的第二目标函数。
可选地，可以根据第二语义特征和相似度大于预设阈值的语义特征，基于最小化第二语义特征与相似度大于预设阈值的语义特征的平均距离，得到转导式语义编码器的第二目标函数。在一个可选例子中，可以根据第二语义特征和相似度大于预设阈值的语义特征，基于最小化第二语义特征与相似度大于预设阈值的语义特征的平均距离，得到第二目标函数，然后根据预设的正向映射参数与反向映射参数之间的约束关系，将第二目标函数中的反向映射参数转换为正向映射参数，得到关于正向映射参数的转导式语义编码器的第二目标函数。
212，根据第一目标函数和第二目标函数优化正向映射，得到收敛的正向映射。
可选地，在操作204根据正向映射和反向映射获取转导式语义编码器的第一目标函数之后，还可以对转导式语义编码器的第一目标函数求导，得到关于正向映射参数的第一方程；在操作210根据第二语义特征和相似度大于预设阈值的语义特征得到转导式语义编码器的第二目标函数之后，还可以对转导式语义编码器的第二目标函数求导，得到关于正向映射参数的第二方程；则操作212根据第一目标函数和第二目标函数优化正向映射，可以结合第一方程和第二方程，得到关于正向映射参数的总方程，然后求解关于正向映射参数的总方程，得到正向映射参数的优化解，从而实现对正向映射的优化。
本实施例提供的图像分类方法，利用正、反两个方向的映射，即将图像特征映射到语义空间，再从语义空间映射回图像特征，以反向映射对正向映射进行约束，能够更好地还原原始图像的特征，保证正向映射学习到准确的信息，同时利用未标注图像和已标注图像共同对映射进行训练，可以使训练好的映射更加适合对未标注图像的分类。
在一些实施例中，可以迭代执行操作204至操作206的优化操作，直至达到预设迭代次数或者正向映射参数小于预设参数阈值，得到收敛的正向映射，例如：迭代2到4次或者正向映射参数不再发生变化，得到收敛的正向映射。此时，操作102根据预先训练的转导式语义编码器，将待处理图像的图像特征转化为语义特征，可以根据收敛的正向映射将待处理图像的图像特征转化为语义特征。本实施例提供的迭代优化方法可以快速地优化正向映射，得到收敛的正向映射，并且可以方便地扩展到其它深度学习方法中。
在一些实施例中，在根据已标注图像和未标注图像训练转导式语义编码器之后，可以利用测试图像对图像分类方法进行测试。
本发明上述各实施例提供的图像分类方法可以应用于精细分类、半监督聚类等场景，也可以用于为无种类标签图像生成标签。
下面将结合图3的应用实施例，对本发明实施例根据已标注图像和未标注图像训练转导式语义编码器的方法的实现过程进行说明：
其中，图3为本发明实施例的已标注图像和未标注图像的映射关系的示意图。如图3所示，已标注图像的第一图像特征为是由Ns个d维向量组成的矩阵，对应的已标注图像的第一语义特征为是其映射到语义空间后对应的矩阵，W∈Rk×d是第一图像特征到第一语义特征的正向映射参数，用于将图像特征映射为语义特征。类似的，未标注图像的第二图像特征为未标注图像语义特征库中的语义特征为其中Mu表示类别的数目。则最小化图像重建误差可以表示为：
第一图像特征到第一语义特征的反向映射的参数W*＝WT，则得到的第一目标函数可以表示为：
对公式2进行改写，得到新的第一目标函数：
其中，λ1和λ2为表示权重系数，公式3满足西尔维斯特(Sylvester)方程，直接求解可以得到W的初始解。
对于各未标注图像的欧式距离函数可以表示为：
然后，利用W将每个未标注图像的第二图像特征转化为第二语义特征其中，pj为未标注图像语义特征库中的语义特征。对于每个未标注图像，令表示未标注图像语义特征库中与第二语义特征之间的距离最小的语义特征的类别。在第二语义特征与未标注图像语义特征库中的语义特征之间的距离中，寻找与最小距离之间的差值小于预设阈值ε的语义特征，将这些语义特征对应的语义特征的类别称为支持类，则支持类的个数n(i)可以表示为：
公式3可以作为已标注图像的转导式语义编码器的第一目标函数：
对其进行求导：-λ1Ys(Xs T-Ys TW)+λ2(WXs-Ys)Xs T＝0
λ1YsYs TW+λ2WXsXs T＝(λ1+λ2)YsXs T (公式6)
令As＝λ1YsYs T,Bs＝λ2XsXs T,Cs＝(λ1+λ2)YsXs T，公式6满足西尔维斯特方程：
AsW+WBs＝C (公式7)
跟据公式4和公式5可以得到未标注图像的转导式语义编码器的第二目标函数：
对其进行求导：
令
公式9满足西尔维斯特方程：AuW+WBu＝C (公式10)
则结合公式7和公式10，可以得到：
A＝αAs+Au,B＝αBs+Bu,C＝αCs+Cu
AW+WB＝C (公式11)
其中，α为权重系数，公式11同样满足西尔维斯特(Sylvester)方程，直接求解可以得到W的优化解W＝sylvester(A,B,C)。
图4A至图4C为本发明实施例根据已标注图像和未标注图像训练转导式语义编码器的方法在四个数据集的收敛性分析示意图。如图4A至图4C所示，可以看到本发明实施例的方法在四个数据集AwA、CUB、aPY和SUN上均能够得到快速收敛。
图5为本发明一些实施例的图像分类装置的流程图。
如图5所示，该装置包括：转化单元510、比对单元520和分类单元530。其中，
转化单元510，用于根据预先训练的转导式语义编码器，将待处理图像的图像特征转化为语义特征。
在本实施例中，待处理图像可以为从图像采集设备获得的图像，例如：图像采集设备为照相机、摄像机、扫描仪等，待处理图像也可以为从存储设备获得的图像，例如存储设备为硬盘、光盘、U盘等，待处理图像还可以为通过网络从网站服务器获得的图像，本实施例对待处理图像的获得方法不作限定。转导式语义编码器(Iteratively OptimizedSemantic Autoencoder，简称I-SAE)可以采用神经网络来实现，例如：神经网络采用卷积神经网络，转导式语义编码器也可以采用其它机器学习的方法来实现，本实施例对转导式语义编码器的实现方法不作限定。
比对单元520，用于将语义特征与未标注图像语义特征库中的语义特征进行比对，得到比对结果。
在本实施例中，未标注图像为图像的类别未知的图像，未标注图像语义特征库为包含图像的类别未知的图像的语义特征的语义特征库，其中各语义特征具有对应的类别。
可选地，比对单元520可以将语义特征与未标注图像语义特征库中的语义特征进行比对，得到至少一个相似度，然后将相似度大于预设阈值的语义特征库中的语义特征作为比对结果。在一个可选的例子中，可以通过计算语义特征与未标注图像语义特征库中的语义特征之间的欧氏距离，得到相似度，本实施例对于得到语义特征之间的相似度的方法不作限定。
分类单元530，用于根据比对结果确定待处理图像的类别。
可选地，分类单元530可以将比对结果，即未标注图像语义特征库中的语义特征，对应的类别，作为待处理图像的类别。
基于本实施例提供的图像分类装置，通过根据预先训练的转导式语义编码器，将待处理图像的图像特征转化为语义特征，将语义特征与未标注图像语义特征库中的语义特征进行比对，得到比对结果，根据比对结果确定待处理图像的类别，利用预先训练的转导式语义编码器，将图像特征转化为语义特征，根据语义特征的类别得到图像的类别，可以实现对未标注图像的分类或者聚类，而不需要预先学习所有类别的图像，提高了效率，降低了成本。
可选地，该装置还可以包括：提取单元，用于对待处理图像进行特征提取，得到待处理图像的图像特征。在一个可选的例子中，提取单元可以通过神经网络对待处理图像进行特征提取，得到待处理图像得图像特征。本实施例对获得待处理图像的图像特征的方式不作限定。
在一些实施例中，图像分类装置还可以包括，训练单元，用于根据已标注图像和未标注图像训练转导式语义编码器。下面将结合图6，详细描述训练单元的结构。
如图6所示，训练单元包括：映射模块610和优化模块620。其中，
映射模块610，用于根据已标注图像的第一图像特征及其第一语义特征，得到第一图像特征与第一语义特征之间的正向映射和反向映射。
在本实施例中，已标注图像可以为选自训练数据集中的图像的类别已知的图像，已标注图像的第一图像特征可以通过对已标注图像进行特征提取获得，已标注图像的第一语义特征可以为预先给定的训练数据集中各已标注图像对应的语义特征，其中各已标注图像的第一语义特征具有对应的类别。
可选地，映射模块610可以根据已标注图像的第一图像特征及其第一语义特征，得到第一图像特征到第一语义特征的正向映射参数，和第一语义特征到第一图像特征的反向映射参数，从而得到第一图像特征到第一语义特征的正向映射和第一语义特征到第一图像特征的反向映射，本实施例对根据已标注图像的第一图像特征及其第一语义特征，得到第一图像特征到第一语义特征的正向映射参数和反向映射参数的方式不作限定。
优化模块620，用于根据正向映射和反向映射获取转导式语义编码器的第一目标函数；根据正向映射将未标注图像的第二图像特征转化为第二语义特征；将第二语义特征与未标注图像语义特征库中的语义特征进行比对，获取相似度大于预设阈值的语义特征；根据第二语义特征和相似度大于预设阈值的语义特征得到转导式语义编码器的第二目标函数；以及根据第一目标函数和第二目标函数优化正向映射，得到收敛的正向映射。
可选地，优化模块620可以根据正向映射和反向映射，基于最小化图像重建误差，得到转导式语义编码器的第一目标函数。在一个可选例子中，可以根据正向映射和反向映射，基于最小化图像重建误差，得到第一目标函数，然后根据预设的正向映射参数与反向映射参数之间的约束关系，将第一目标函数中的反向映射参数转换为正向映射参数，得到关于正向映射参数的转导式语义编码器的第一目标函数。
在本实施例中，未标注图像可以为选自训练数据集中的图像的类别未知的图像，未标注图像的第二图像特征可以通过对未标注图像进行特征提取获得。由于未标注图像的第二语义特征为根据正向映射对未标注图像的第二图像特征进行转化获得，因此未标注图像的第二语义特征不具有对应的类别。
可选地，优化模块620可以将第二语义特征与未标注图像语义特征库中的语义特征进行比对，在未标注图像语义特征库中获取与第二语义特征的相似度最大的语义特征，然后在第二语义特征与未标注图像语义特征库中的语义特征的相似度中，获取与最大相似度之间的差值小于预设阈值的第一相似度，将这些第一相似度对应的语义特征作为相似度大于预设阈值的语义特征。这里所获得的相似度大于预设阈值的语义特征对应的类别为相关联的多个类别，，可以是包括大类别和大类别下面的小类别的多个类别。
在一个可选的例子中，可以通过计算第二语义特征与未标注图像语义特征库中的语义特征之间的欧氏距离，得到相似度，本实施例对于得到语义特征之间的相似度的方法不作限定。
可选地，优化模块620可以根据第二语义特征和相似度大于预设阈值的语义特征，基于最小化第二语义特征与相似度大于预设阈值的语义特征的平均距离，得到转导式语义编码器的第二目标函数。在一个可选例子中，可以根据第二语义特征和相似度大于预设阈值的语义特征，基于最小化第二语义特征与相似度大于预设阈值的语义特征的平均距离，得到第二目标函数，然后根据预设的正向映射参数与反向映射参数之间的约束关系，将第二目标函数中的反向映射参数转换为正向映射参数，得到关于正向映射参数的转导式语义编码器的第二目标函数。
可选地，优化模块620还可以对转导式语义编码器的第一目标函数求导，得到关于正向映射参数的第一方程；对转导式语义编码器的第二目标函数求导，得到关于正向映射参数的第二方程；以及结合第一方程和第二方程，得到关于正向映射参数的总方程，然后求解关于正向映射参数的总方程，得到正向映射参数的优化解，从而实现对正向映射的优化。
本实施例提供的图像分类装置，利用正、反两个方向的映射，即将图像特征映射到语义空间，再从语义空间映射回图像特征，以反向映射对正向映射进行约束，能够更好地还原原始图像的特征，保证正向映射学习到准确的信息，同时利用未标注图像和已标注图像共同对映射进行训练，可以使训练好的映射更加适合对未标注图像的分类。
在一些实施例中，优化模块可以迭代执行，直至达到预设迭代次数或者正向映射参数小于预设参数阈值，得到收敛的正向映射，例如：迭代2到4次或者正向映射参数不再发生变化，得到收敛的正向映射。此时，转化单元用于根据收敛的正向映射将待处理图像的图像特征转化为语义特征。本实施例提供的迭代优化方法可以快速地优化正向映射，得到收敛的正向映射，并且可以方便地扩展到其它深度学习方法中。
本发明实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图7，其示出了适于用来实现本申请实施例的终端设备或服务器的电子设备700的结构示意图：如图7所示，电子设备700包括一个或多个处理器、通信部等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)701，和/或一个或多个图像处理器(GPU)713等，处理器可以根据存储在只读存储器(ROM)702中的可执行指令或者从存储部分708加载到随机访问存储器(RAM)703中的可执行指令而执行各种适当的动作和处理。通信部712可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡，处理器可与只读存储器702和/或随机访问存储器703中通信以执行可执行指令，通过总线704与通信部712相连、并经通信部712与其他目标设备通信，从而完成本申请实施例提供的任一项方法对应的操作，例如，根据预先训练的转导式语义编码器，将待处理图像的图像特征转化为语义特征；将所述语义特征与未标注图像语义特征库中的语义特征进行比对，得到比对结果；根据所述比对结果确定所述待处理图像的类别。
此外，在RAM 703中，还可存储有装置操作所需的各种程序和数据。CPU701、ROM702以及RAM703通过总线704彼此相连。在有RAM703的情况下，ROM702为可选模块。RAM703存储可执行指令，或在运行时向ROM702中写入可执行指令，可执行指令使中央处理单元701执行上述通信方法对应的操作。输入/输出(I/O)接口705也连接至总线704。通信部712可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。
以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
需要说明的，如图7所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图7的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU713和CPU701可分离设置或者可将GPU713集成在CPU701上，通信部可分离设置，也可集成设置在CPU701或GPU713上，等等。这些可替换的实施方式均落入本发明公开的保护范围。
特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本申请实施例提供的方法步骤对应的指令，例如，根据预先训练的转导式语义编码器，将待处理图像的图像特征转化为语义特征；将所述语义特征与未标注图像语义特征库中的语义特征进行比对，得到比对结果；根据所述比对结果确定所述待处理图像的类别。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本申请的方法中限定的上述功能。
在一个或多个可选实施方式中，本发明实施例还提供了一种计算机程序程序产品，用于存储计算机可读指令，该指令被执行时使得计算机执行上述任一可能的实现方式中的图像分类方法。
该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选例子中，该计算机程序产品具体体现为计算机存储介质，在另一个可选例子中，该计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
在一个或多个可选实施方式中，本发明实施例还提供了一种图像分类方法及其对应的装置、电子设备、计算机存储介质、计算机程序以及计算机程序产品，其中，该方法包括：。
在一些实施例中，该图像分类指示可以具体为调用指令，第一装置可以通过调用的方式指示第二装置执行图像分类，相应地，响应于接收到调用指令，第二装置可以执行上述图像分类方法中的任意实施例中的步骤和/或流程。
应理解，本发明实施例中的“第一”、“第二”等术语仅仅是为了区分，而不应理解成对本发明实施例的限定。
还应理解，在本发明中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
还应理解，对于本发明中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
还应理解，本发明对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
可能以许多方式来实现本发明的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (10)

1.一种图像分类方法，其特征在于，包括：
根据预先训练的转导式语义编码器，将待处理图像的图像特征转化为语义特征；
将所述语义特征与未标注图像语义特征库中的语义特征进行比对，得到比对结果；
根据所述比对结果确定所述待处理图像的类别。
2.根据权利要求1所述的方法，其特征在于，所述将所述语义特征与未标注图像语义特征库中的语义特征进行比对，得到比对结果，包括：
将所述语义特征与所述未标注图像语义特征库中的语义特征进行比对，得到至少一个相似度；
将相似度大于预设阈值的所述语义特征库中的语义特征作为比对结果。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述比对结果确定所述待处理图像的类别，包括：
将所述比对结果对应的类别作为所述待处理图像的类别。
4.根据权利要求1至3中任意一项所述的方法，其特征在于，所述根据预先训练的转导式语义编码器，将待处理图像的图像特征转化为语义特征之前，还包括：
根据已标注图像和所述未标注图像训练所述转导式语义编码器。
5.根据权利要求4所述的方法，其特征在于，所述根据已标注图像和所述未标注图像训练所述转导式语义编码器，包括：
根据所述已标注图像的第一图像特征及其第一语义特征，得到所述第一图像特征与所述第一语义特征之间的正向映射和反向映射；
根据所述正向映射和所述反向映射获取所述转导式语义编码器的第一目标函数；
根据所述正向映射将所述未标注图像的第二图像特征转化为第二语义特征；
将所述第二语义特征与所述未标注图像语义特征库中的语义特征进行比对，获取相似度大于预设阈值的语义特征；
根据所述第二语义特征和所述相似度大于预设阈值的语义特征得到所述转导式语义编码器的第二目标函数；
根据所述第一目标函数和所述第二目标函数优化所述正向映射，得到收敛的正向映射。
6.一种图像分类装置，其特征在于，包括：
转化单元，用于根据预先训练的转导式语义编码器，将待处理图像的图像特征转化为语义特征；
比对单元，用于将所述语义特征与未标注图像语义特征库中的语义特征进行比对，得到比对结果；
分类单元，用于根据所述比对结果确定所述待处理图像的类别。
7.一种电子设备，其特征在于，包括权利要求6所述的装置。
8.一种电子设备，其特征在于，包括：
存储器，用于存储可执行指令；以及
处理器，用于执行所述可执行指令从而完成权利要求1至5中任意一项所述的方法。
9.一种计算机程序，包括计算机可读代码，其特征在于，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现权利要求1至5中任意一项所述方法的指令。
10.一种计算机存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时实现权利要求1至5中任意一项所述的方法。
CN201810866704.5A 2018-08-01 2018-08-01 图像分类方法及装置、电子设备、计算机程序及存储介质 Pending CN109325512A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810866704.5A CN109325512A (zh) 2018-08-01 2018-08-01 图像分类方法及装置、电子设备、计算机程序及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810866704.5A CN109325512A (zh) 2018-08-01 2018-08-01 图像分类方法及装置、电子设备、计算机程序及存储介质

Publications (1)

Publication Number Publication Date
CN109325512A true CN109325512A (zh) 2019-02-12

Family

ID=65264625

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810866704.5A Pending CN109325512A (zh) 2018-08-01 2018-08-01 图像分类方法及装置、电子设备、计算机程序及存储介质

Country Status (1)

Country Link
CN (1) CN109325512A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110110795A (zh) * 2019-05-10 2019-08-09 厦门美图之家科技有限公司 图像分类方法及装置
CN110598790A (zh) * 2019-09-12 2019-12-20 北京达佳互联信息技术有限公司 一种图像的识别方法、装置、电子设备及存储介质
US20220147743A1 (en) * 2020-11-09 2022-05-12 Nvidia Corporation Scalable semantic image retrieval with deep template matching

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105701514A (zh) * 2016-01-15 2016-06-22 天津大学 一种用于零样本分类的多模态典型相关分析的方法
CN106485272A (zh) * 2016-09-30 2017-03-08 天津大学 基于流形约束的跨模态嵌入的零样本分类方法
CN107391505A (zh) * 2016-05-16 2017-11-24 腾讯科技（深圳）有限公司 一种图像处理方法及系统
CN107766873A (zh) * 2017-09-06 2018-03-06 天津大学 基于排序学习的多标签零样本分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105701514A (zh) * 2016-01-15 2016-06-22 天津大学 一种用于零样本分类的多模态典型相关分析的方法
CN107391505A (zh) * 2016-05-16 2017-11-24 腾讯科技（深圳）有限公司 一种图像处理方法及系统
CN106485272A (zh) * 2016-09-30 2017-03-08 天津大学 基于流形约束的跨模态嵌入的零样本分类方法
CN107766873A (zh) * 2017-09-06 2018-03-06 天津大学 基于排序学习的多标签零样本分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ELYOR KODIROV: ""Semantic Autoencoder for Zero-Shot Learning"", 《CVPR2017》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110110795A (zh) * 2019-05-10 2019-08-09 厦门美图之家科技有限公司 图像分类方法及装置
CN110598790A (zh) * 2019-09-12 2019-12-20 北京达佳互联信息技术有限公司 一种图像的识别方法、装置、电子设备及存储介质
US20220147743A1 (en) * 2020-11-09 2022-05-12 Nvidia Corporation Scalable semantic image retrieval with deep template matching

Similar Documents

Publication Publication Date Title
CN111639710B (zh) 图像识别模型训练方法、装置、设备以及存储介质
KR102663519B1 (ko) 교차 도메인 이미지 변환 기법
CN109934249A (zh) 数据处理方法、装置、介质和计算设备
CN109800821A (zh) 训练神经网络的方法、图像处理方法、装置、设备和介质
WO2018217635A1 (en) Application development platform and software development kits that provide comprehensive machine learning services
CN111639679B (zh) 一种基于多尺度度量学习的小样本学习方法
CN109816009A (zh) 基于图卷积的多标签图像分类方法、装置及设备
CN108830288A (zh) 图像处理方法、神经网络的训练方法、装置、设备及介质
CN111898696A (zh) 伪标签及标签预测模型的生成方法、装置、介质及设备
CN109726806A (zh) 信息处理方法及终端设备
CN111709470B (zh) 图像生成方法、装置、设备及介质
CN105354248A (zh) 基于灰度的分布式图像底层特征识别方法及系统
CN111950596A (zh) 一种用于神经网络的训练方法以及相关设备
CN104951791B (zh) 数据分类方法和装置
CN108280451A (zh) 语义分割及网络训练方法和装置、设备、介质、程序
CN115457531A (zh) 用于识别文本的方法和装置
CN109934247A (zh) 电子装置及其控制方法
CN109325512A (zh) 图像分类方法及装置、电子设备、计算机程序及存储介质
CN110427542A (zh) 分类网络训练及数据标注方法和装置、设备、介质
CN109919077A (zh) 姿态识别方法、装置、介质和计算设备
WO2023231954A1 (zh) 一种数据的去噪方法以及相关设备
CN115438215A (zh) 图文双向搜索及匹配模型训练方法、装置、设备及介质
CN109348229A (zh) 基于异构特征子空间迁移的jpeg图像失配隐写分析方法
CN110188825A (zh) 基于离散多视图聚类的图像聚类方法、系统、设备及介质
CN110175469A (zh) 一种社交媒体用户隐私泄漏检测方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190212

RJ01 Rejection of invention patent application after publication